점자 학습 장치 및 이를 이용한 점자 변환 방법

청구범위
청구항 1
점자 문서의 점자 이미지를 캡쳐하는 캡쳐부와,상기 캡쳐된 점자 이미지를 처리하여 점자 숫자로 변환한 후에, 상기 변환된 점자 숫자를 선택된 언어의 문자로변환시키는 처리부와,상기 변환된 문자를 출력하는 출력부를 포함하며,상기 처리부는, 상기 점자 이미지를 전처리하고, 상기 점자 이미지에서 점자셀의 위치에 따라 그룹화하며, 그룹화된 상기 점자셀을 점자 숫자로 변환하고, 상기 변환된 점자 숫자를 상기 선택된 언어의 문자로 변환하며,상기 점자 이미지의 인식률을 높이기 위해 상기 점자 이미지에 대한 광량에 따른 기준값을 변화시키는 방식으로상기 점자 이미지를 전처리하되,상기 점자 이미지를 디스큐하여 정렬하고, 상기 점자 이미지의 칼라를 그레이스케일로 변환하며, 상기 그레이스케일로 변환된 상기 점자 이미지를 블러 방식으로 처리하고, 상기 광량에 따른 기준값을 변화시킨 후에, 상기점자 이미지를 필터링하고, 필터링된 상기 점자 이미지를 흑백 반전시키며, 상기 점자 이미지의 요 및 회전을보정하고,상기 점자 문서를 수직 및 수평으로 투영하여 수직 및 수평의 그리드를 형성하되 수직 라인과 수평 라인별로 화이트 픽셀의 수를 카운트하는 방식으로 상기 그리드를 결정하며, 상기 그리드 내에서 배경 색상 및 점자 색상에따라 상기 화이트 픽셀의 총합이 최대인 부분을 점자 중앙으로 판단하여 점자의 위치를 검출하고, 상기 점자의위치에 따라 육점 단위로 그룹화하여 점자셀을 획득하는 방식으로 상기 점자셀의 위치에 따라 그룹화하며,상기 획득된 점자셀의 육점 위치에 상기 점자 색상의 픽셀이 존재하는지의 여부에 따라 상기 점자 숫자로 변환하는 점자 학습 장치를 이용한 점자 학습 장치.
청구항 2
제 1 항에 있어서,상기 캡쳐부는, 이미지 또는 비디오를 입력받는 광학 장치를 포함하거나, 혹은 상기 점자 문서의 이동을 감지하는 감지센서를 포함하는 점자 학습 장치.
청구항 3
제 2 항에 있어서,상기 감지센서는, 가속도 센서를 포함하는 점자 학습 장치.
청구항 4
제 2 항에 있어서,상기 광학장치는, 웹캠, 3D 카메라 및 적외선 카메라 중에서 선택된 어느 하나를 포함하는 점자 학습 장치.
청구항 5
제 1 항에 있어서,상기 출력부는, 상기 선택된 언어의 문자를 음성으로 변환시켜 출력하는 스피커를 포함하거나, 혹은 상기 선택된 언어의 문자를 디스플레이하는 디스플레이장치를 포함하는 점자 학습 장치.
청구항 6
삭제
청구항 7
삭제
청구항 8
삭제
청구항 9
삭제
청구항 10
점자 문서의 점자 이미지를 캡쳐하는 단계와,상기 캡쳐된 점자 이미지를 처리하여 점자 숫자로 변환하는 단계와,상기 변환된 점자 숫자를 선택된 언어의 문자로 변환하는 단계와,상기 변환된 문자를 출력하는 단계를 포함하며,상기 점자 숫자로 변환하는 단계는, 캡쳐된 상기 점자 이미지를 전처리하는 단계와, 상기 점자 이미지에서 점자셀의 위치에 따라 그룹화하는 단계과, 그룹화된 상기 점자셀을 상기 점자 숫자로 변환하는 단계를 포함하고,상기 점자 이미지를 전처리하는 단계는, 상기 점자 이미지의 인식률을 높이기 위해 상기 점자 이미지에 대한 광량에 따른 기준값을 변화시키되, 상기 점자 이미지를 디스큐하여 정렬하고, 상기 점자 이미지의 칼라를 그레이스케일로 변환하며, 상기 그레이스케일로 변환된 상기 점자 이미지를 블러 방식으로 처리하고, 상기 광량에 따른 기준값을 변화시킨 후에, 상기 점자 이미지를 필터링하고, 필터링된 상기 점자 이미지를 흑백 반전시키며,상기 점자 이미지의 요 및 회전을 보정하고,상기 점자셀의 위치에 따라 그룹화하는 단계는,상기 점자 문서를 수직 및 수평으로 투영하여 수직 및 수평의 그리드를 형성하되 수직 라인과 수평 라인별로 화이트 픽셀의 수를 카운팅하는 방식으로 상기 그리드를 결정하는 단계와, 상기 그리드 내에서 배경 색상 및 점자색상에 따라 상기 화이트 픽셀의 총합이 최대인 부분을 점자 중앙으로 판단하여 점자의 위치를 검출하는단계와, 상기 점자의 위치에 따라 육점 단위로 그룹화하여 점자셀을 획득하는 단계를 포함하며,상기 점자 숫자로 변환하는 단계는, 상기 획득된 점자셀의 육점 위치에 상기 점자 색상의 픽셀이 존재하는지의여부에 따라 상기 점자 숫자로 변환하는 점자 학습 장치를 이용한 점자 변환 방법.
청구항 11
삭제
청구항 12
삭제
청구항 13
삭제
청구항 14
삭제
청구항 15
제 10 항에 있어서,상기 선택된 언어의 문자로 변환하는 단계는, 한글 문자로 변환하거나 혹은 영어 문자로 변환하는 점자 학습 장치를 이용한 점자 변환 방법.
발명의 설명
기 술 분 야
본 발명은 점자 문서를 인식하고, 선택된 언어의 문자로 변환한 후에,음성 [0001] 또는 시각적으로 출력함으로써, 개인적으로 점자를 쉽게 학습할 수 있을 뿐만 아니라 점자 학습 효과를 향상시킬 수 있는 점자 학습 장치 및 이를이용한 점자 변환 방법에 관한 것이다.
배 경 기 술
[0002] 잘 알려진 바와 같이, 점자(braille)는 6개의 점자용 도트(dot)를 이용하여 한글(예를 들면, 초성, 모음, 종성,약자 등을 포함함), 영문, 숫자 등을 각각 표현할 수 있는데, 6개의 점자용 도트를 이용하여 시각 장애인이 원하는 문장 또는 글을 작성하거나, 혹은 점자용 도트 데이터로 저장된 문자, 숫자 등을 점자 돌기로 돌출시켜 시각 디자인의 손 접촉에 의해 읽을 수 있도록 개발되었다.
[0003] 하지만, 많은 비율(대략 95%)의 시각 장애인이 점자 교육을 받지 못하고 있는 실정인데, 이는 공공 시설, 사설학원 등과 같은 교육 장소에 직접 찾아가 교육 받기에는 어려움이 있기 때문이다.
[0004] 아울러, 시각 장애인이 거주하는 장소에 점자 교육 교사가 직접 찾아가서 교육하는 방문 교육 방식도 시도되고있지만, 통계에 따르면 점자 교육 교사가 시각 장애인의 수보다 상대적으로 매우 적기 때문에, 점자 교육 교사가 없는 상황에서도 시각 장애인이 개인적으로 점자를 쉽게 학습할 수 있는 점자 학습 장치의 개발이 시급한 실정이다.
[0005] 아울러, 점자 교육 교사가 문자를 입력할 경우에 시각 장애인이 입력된 문자에 대응하는 점자를 학습할 수 있는점자 학습 장치의 개발 또한 필요로 하고 있다.
선행기술문헌
특허문헌
[0006] (특허문헌 0001) 1. 한국등록특허 제10-0381870호(2003.04.14.등록)
(특허문헌 0002) 2. 한국등록특허 제10-1414169호(2014.06.25.등록)
발명의 내용
해결하려는 과제
[0007] 본 발명은 점자 문서를 인식하고, 선택된 언어의 문자로 변환한 후에, 음성 또는 시각적으로 출력함으로써, 개인적으로 점자를 쉽게 학습할 수 있을 뿐만 아니라 점자 학습 효과를 향상시킬 수 있는 점자 학습 장치 및 이를이용한 점자 변환 방법을 제공하고자 한다.
[0008] 또한, 본 발명은 점자 문서의 점자 이미지를 캡쳐하고, 캡쳐된 점자 이미지를 처리하여 점자 숫자로 변환하며,변환된 점자 숫자를 선택된 언어의 문자로 변환하며, 변환된 문자를 음성적 또는 시각적으로 출력함으로써, 손가락 촉감으로 읽은 점자책의 점자와 음성적 또는 시각적으로 출력된 점자 내용을 실시간으로 비교할 수 있어점자 학습 효과를 획기적으로 향상시킬 수 있는 점자 학습 장치 및 이를 이용한 점자 변환 방법을 제공하고자한다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, [0009] 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
과제의 해결 수단
[0010] 본 발명의 일 측면에 따르면, 점자 문서의 점자 이미지를 캡쳐하는 캡쳐부와,상기 캡쳐된 점자 이미지를 처리하여 점자 숫자로 변환한 후에, 상기 변환된 점자 숫자를 선택된 언어의 문자로 변환시키는 처리부와, 상기 변환된 문자를 출력하는 출력부를 포함하는 점자 학습 장치가 제공될 수 있다.
[0011] 또한, 본 발명의 일 측면에 따르면, 상기 캡쳐부는, 이미지 또는 비디오를 입력받는 광학 장치를 포함하거나,혹은 상기 점자 문서의 이동을 감지하는 감지센서를 포함하는 점자 학습 장치가 제공될 수 있다.
[0012] 또한, 본 발명의 일 측면에 따르면, 상기 감지센서는, 가속도 센서를 포함하는 점자 학습 장치가 제공될 수 있다.
[0013] 또한, 본 발명의 일 측면에 따르면, 상기 광학장치는, 웹캠, 3D 카메라 및 적외선 카메라 중에서 선택된 어느하나를 포함하는 점자 학습 장치가 제공될 수 있다.
[0014] 또한, 본 발명의 일 측면에 따르면, 상기 출력부는, 상기 선택된 언어의 문자를 음성으로 변환시켜 출력하는 스피커를 포함하거나, 혹은 상기 선택된 언어의 문자를 디스플레이하는 디스플레이장치를 포함하는 점자 학습 장치가 제공될 수 있다.
[0015] 또한, 본 발명의 일 측면에 따르면, 상기 처리부는, 상기 점자 이미지를 전처리하고, 상기 점자 이미지에서 점자셀의 위치에 따라 그룹화하며, 그룹화된 상기 점자셀을 점자 숫자로 변환하고, 상기 변환된 점자 숫자를 상기선택된 언어의 문자로 변환하는 점자 학습 장치가 제공될 수 있다.
[0016] 또한, 본 발명의 일 측면에 따르면, 상기 처리부는, 상기 점자 이미지의 인식률을 높이기 위해 상기 점자 이미지에 대한 광량에 따른 기준값을 변화시키는 방식으로 상기 점자 이미지를 전처리하는 점자 학습 장치를 이용한점자 학습 장치가 제공될 수 있다.

[0017] 또한, 본 발명의 일 측면에 따르면, 상기 처리부는, 상기 점자 문서를 수직 및 수평으로 투영하여 수직 및 수평의 그리드를 형성하고, 상기 그리드 내에서 배경 색상 및 점자 색상에 따라 점자 중앙으로 판단하여 점자의 위치를 검출하며, 상기 점자의 위치에 따라 육점 단위로 그룹화하여 점자셀을 획득하는 방식으로 상기 점자셀의위치에 따라 그룹화하는 점자 학습 장치를 이용한 점자 학습 장치가 제공될 수 있다.
[0018] 또한, 본 발명의 일 측면에 따르면, 상기 처리부는, 상기 획득된 점자셀의 육점 위치에 상기 점자 색상의 픽셀이 존재하는지의 여부에 따라 상기 점자 숫자로 변환하는 점자 학습 장치를 이용한 점자 학습 장치가 제공될 수있다.
[0019] 본 발명의 다른 측면에 따르면, 점자 문서의 점자 이미지를 캡쳐하는 단계와, 상기 캡쳐된 점자 이미지를 처리하여 점자 숫자로 변환하는 단계와, 상기 변환된 점자 숫자를 선택된 언어의 문자로 변환하는 단계와, 상기 변환된 문자를 출력하는 단계를 포함하는 점자 학습 장치를 이용한 점자 변환 방법이 제공될 수 있다.
[0020] 또한, 본 발명의 다른 측면에 따르면, 상기 점자 숫자로 변환하는 단계는, 캡쳐된 상기 점자 이미지를 전처리하는 단계와, 상기 점자 이미지에서 점자셀의 위치에 따라 그룹화하는 단계과, 그룹화된 상기 점자셀을 상기 점자숫자로 변환하는 단계를 포함하는 점자 학습 장치를 이용한 점자 변환 방법이 제공될 수 있다.
[0021] 또한, 본 발명의 다른 측면에 따르면, 상기 점자 이미지를 전처리하는 단계는, 상기 점자 이미지의 인식률을 높이기 위해 상기 점자 이미지에 대한 광량에 따른 기준값을 변화시키는 점자 학습 장치를 이용한 점자 변환 방법이 제공될 수 있다.
[0022] 또한, 본 발명의 다른 측면에 따르면, 상기 점자셀의 위치에 따라 그룹화하는 단계는, 상기 점자 문서를 수직및 수평으로 투영하여 수직 및 수평의 그리드를 형성하는 단계와, 상기 그리드 내에서 배경 색상 및 점자 색상에 따라 점자 중앙으로 판단하여 점자의 위치를 검출하는 단계와, 상기 점자의 위치에 따라 육점 단위로 그룹화하여 점자셀을 획득하는 단계를 포함하는 점자 학습 장치를 이용한 점자 변환 방법이 제공될 수 있다.
[0023] 또한, 본 발명의 다른 측면에 따르면, 상기 점자 숫자로 변환하는 단계는, 상기 획득된 점자셀의 육점 위치에상기 점자 색상의 픽셀이 존재하는지의 여부에 따라 상기 점자 숫자로 변환하는 점자 학습 장치를 이용한 점자변환 방법이 제공될 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 선택된 언어의 문자로 변환하는 [0024] 단계는, 한글 문자로 변환하거나 혹은 영어 문자로 변환하는 점자 학습 장치를 이용한 점자 변환 방법이 제공될 수 있다.
발명의 효과
[0025] 본 발명은 점자 문서를 인식하고, 선택된 언어의 문자로 변환한 후에,음성 또는 시각적으로 출력함으로써, 개인적으로 점자를 쉽게 학습할 수 있을 뿐만 아니라 점자 학습 효과를 향상시킬 수 있다.
[0026] 또한, 본 발명은 본 발명은 점자 문서의 점자 이미지를 캡쳐하고, 캡쳐된 점자 이미지를 처리하여 점자 숫자로변환하며, 변환된 점자 숫자를 선택된 언어의 문자로 변환하며, 변환된 문자를 음성적 또는 시각적으로 출력함으로써, 손가락 촉감으로 읽은 점자책의 점자와 음성적 또는 시각적으로 출력된 점자 내용을 실시간으로 비교할수 있어 점자 학습 효과를 획기적으로 향상시킬 수 있다.
도면의 간단한 설명
[0027] 도 1은 본 발명의 일 실시예에 따른 점자 학습 장치의 블록구성도이며,
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 점자 학습 장치를 예시한 도면이고,
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 점자 학습 장치의 각 구성부를 설명하기 위한 도면이며,
도 4는 본 발명의 다른 실시예에 따라 점자 학습 장치를 이용하여 점자를 변환하는 과정을 나타낸 플로우차트이고,
도 5는 본 발명의 다른 실시예에 따라 점자 이미지를 전처리하는 상세 과정을 나타내는 플로우차트이며,

도 6은 본 발명의 다른 실시예에 따라 점자 이미지에서 점자셀의 위치에 따라 그룹화하는 상세 과정을 나타낸플로우차트이고,
도 7은 본 발명의 다른 실시예에 따라 그룹화된 상기 점자셀을 상기 점자 숫자로 변환하는 상세 과정을 나타낸플로우차트이다.
발명을 실시하기 위한 구체적인 내용
[0028] 본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
[0029] 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
[0030] 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
[0031] 도 1은 본 발명의 일 실시예에 따른 점자 학습 장치의 블록구성도이며, 도 2a 및 도 2b는 본 발명의 일 실시예에 따른 점자 학습 장치를 예시한 도면이고, 도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 점자 학습 장치의각 구성부를 설명하기 위한 도면이다.
[0032] 도 1, 도 2a 및 도 2b, 도 3a 내지 도 3c를 참조하면, 본 발명의 일 실시예에 따른 점자 학습 장치는 캡쳐부(110), 처리부(120), 출력부(130) 등을 포함할 수 있다. 여기에서, 문서는 종이 형태, 전자매체 형태 등을 포함하는 포괄적인 의미의 문서를 의미하며, 점자 문서는 점자가 표기된 문서를 의미할 수 있다.
[0033] 이러한 점자 학습 장치는 도 2a에 도시한 바와 같이 프로세싱을 처리하는 컴퓨터(computer)는 PC, MCU 등으로구성될 수 있고, 스피커(speaker)는 TTS 방식으로 음성을 출력할 수 있으며, 광원(light source)는 이미지 처리를 향상시키면서 카메라와 연동시킬 수 있고, 트레이(tray/bed)는 사용하지 않거나 정적 또는 동적 트레이를 사용할 수 있으며, 디스플레이(visual output)은 모니터 등으로 구성될 수 있고, 프레임(frame)은 정적 또는 동적프레임이 사용될 수 있으며, 가속도 센서(accelerometer)는 동적 프레임을 매핑하기 위해 구비될 수 있고, 이미지 캡쳐기(video/image capture device)는 카마라, 웹캠, 3D 카메라, 레이저, IR 프로젝터 등으로 구성될 수있다. 물론, 이러한 점자 학습 장치의 하드웨어 구성은 이에 한정되는 것은 아니다.
캡쳐부(110)는 도 3a에 도시한 바와 같은 점자 문서를 캡쳐하는 것으로, 도3b에 [0034] 도시한 바와 같이 점자 문서의점자 이미지를 캡쳐할 수 있는데, 이미지 또는 비디오를 입력받는 광학 장치(예를 들면, 웹캠, 3D 카메라 및 적외선 카메라 중에서 선택된 어느 하나를 포함함)를 포함하거나, 혹은 점자 문서의 이동을 감지하는 감지센서(예를 들면, 가속도 센서 등을 포함함)를 포함할 수 있다.
[0035] 여기에서, 광학 장치는 웹캠과 같은 카메라가 단독으로 구비되거나, 혹은 레이저와 3D 카메라가 결합되는 형태로 구비되거나, 혹은 입체 3D 카메라로 구비되거나, 혹은 적외선 프로젝터와 카메라가 결합된 형태로 구비될 수있다.
[0036] 이러한 캡쳐부(110)에서는 웹캠을 통해 실시간 비디오가 입력되는 방식, 웹캠에서 실시간으로 촬영된 스냅샷 이지가 입력되는 방식, 점자를 촬영한 비디오가 입력되는 방식, 미가공된 점자 이미지가 입력되는 방식 등으로점자 문서를 캡쳐할 수 있다.
[0037] 처리부(120)는 캡쳐된 점자 이미지를 처리하여 점자 숫자로 변환한 후에, 변환된 점자 숫자를 선택된 언어(예를들면, 한글, 영어 등)의 문자로 변환시킬 수 있는데, 변환시킬 언어는 미리 설정되어 있거나, 혹은 점자 변환과정에서 변환시키고자 하는 언어를 선택할 수 있다.
[0038] 이러한 처리부(120)는 도 2b에 도시한 바와 같이 점자 이미지를 전처리(Pre-Processing)하고, 점자 이미지에서점자셀의 위치에 따라 그룹화(Braille Cell Localization)하며, 그룹화된 점자셀을 점자 숫자로 변환(Segmentation)하고, 변환된 점자 숫자를 선택된 언어의 문자로 변환(Braille Conversion)할 수 있다.
[0039] 여기에서, 처리부(120)에서는 점자 이미지를 전처리(Pre-Processing)하는데 있어서, 점자 이미지의 인식률을 높이기 위해 점자 이미지에 대한 광량에 따른 기준값을 변화(thresholding)시킬 수 있다.
[0040] 이 전처리 과정에서는 점자 이미지를 디스큐(de-skew)하여 정렬(perspective projection correction)하고, 점자 이미지의 칼라를 그레이스케일로 변환(grayscale conversion)할 수 있다. 여기에서, 3D 이미지의 경우 2D 이미지로 변환한 후에 그레이스케일로 변환할 수 있다.
[0041] 그리고, 점자 이미지의 인식률을 높이기 위하여 그레이스케일로 변환된 점자 이미지를 흐릿하게 블러(blur) 방식으로 처리(smoothing)하고, 점자 이미지의 인식률을 높이기 위해 점자 이미지에 대한 광량에 따른 기준값(thresholding)을 변화시킬 수 있다. 여기에서, 점자 이미지의 배경(background)와 점자(dot)를 분리할 수 있으며, 흐릿하게 처리하는 것은 그레이스케일로 변환된 점자 이미지에서 잔류하는 작은 점을 제거하기 위해서 수행될 수 있다.
[0042] 또한, 처리부(120)에서는 광량에 따른 기준값을 변화시킨 후에, 점자 이미지를 필터링(예를 들면, 알파 필터링,드롭쉐도우 필터링, 블러 필터링 등)하고, 필터링된 점자 이미지의 흑백을 반전(inversion)시키며, 점자 이미지의 요(yaw) 및 회전(rotation)을 보정할 수 있다. 여기에서, 처리부(120)에서는 점자 인식률을 높이기 위해 점자 이미지의 에지를 둥글게 처리할 수 있다.
[0043] 상술한 바와 같이 처리부(120)에서는 점자 문서의 점자 이미지를 전처리할 수 있는데, 점자 이미지를 디스큐하 정렬하는 것은 카메라가 문서와 평행하게 정렬되지 않았을 경우 발생하는 원근 투영 왜곡을 보정하여 이미지를 왜곡하고 정렬(예를 들면, 피치(pitch), 롤(roll), 요(yaw) 등)하는 방식으로 전처리 과정이 수행될 수있다.
[0044] 그리고, 점자 이미지를 그레이 스케일로 변환하여 임계값 출력에 따라 배경을 검은 색으로 변환하여 점자를 흰색으로 만드는 방식으로 흑백을 반전시킬 수 있으며, 카메라로 문서의 회전 어긋남을 보정(rotationcorrection)하여 이미지를 기울이거나 맞추는 방식(예를 들면, 요(yaw) 등)으로 전처리 과정이 수행될 수 있다.
[0045] 또한, 처리부(120)에서는 점자 이미지에서 점자셀의 위치에 따라 그룹화(Braille Cell Localization)하는데 있어서, 점자 문서를 수직 및 수평으로 투영(horizontal and vertical projection)하여 수직 및 수평의 그리드를형성하고, 형성된 그리드 내에서 배경 색상 및 점자 색상에 따라 점자 중앙을 판단하여 점자 위치를 검출하며,점자의 위치에 따라 육점 단위로 그룹화하여 점자셀을 획득할 수 있다. 여기에서, 점자 중앙을 판단하기 위해사용되는 색상에는 RGB, YCbCr, YMCK 등의 색모델을 사용할 수 있다.
예를 들면, RGB 색모델에서 그레이 스케일로 변환된 경우 배경 색상은 그레이 [0046] 색상의 픽셀로 나타나며, 점자 색상은 화이트 색상의 픽셀로 나타나는데, 그룹화 하는 과정에서 점자 문서의 수직 라인과 수평 라인별로 화이트픽셀의 수를 카운팅하는 방식으로 그리드를 결정할 수 있으며, 형성된 그리드 내에서 화이트 픽셀의 총합이 최대인 부분(지점)을 점자 중앙으로 판단하여 점자의 위치를 검출할 수 있다. 여기에서, 화이트 픽셀은 칼라코드 white RGB값을 갖는 픽셀을 의미한다.
[0047] 또한, 그리드의 수평 라인 및 수직 라인과 점자의 위치를 보정(horizontal and vertical projectioncorrection)할 수 있고, 가로 및 세로 투영(horizontal and vertical projection)에서 누락된 가로선 및 세로선(또는 가로점 및 세로점)을 각각 보정하는 방식으로 점자셀을 인식(braille cell identification)할 수 있다.
[0048] 한편, 처리부(120)에서는 다른 방식으로 점의 중심을 검출할 수 있는데, 배경에서 추출한 점의 가장자리를 인식(edge detection)하고, 점 외곽선(contour)의 모멘트(moment)를 이용하여 점의 중심(centroid)를 계산하는 방식, 점 외곽선의 왼쪽끝과 오른쪽끝의 평균(average)를 이용하여 점의 중심을 계산하는 방식, 적분을 이용하여점의 중심을 계산하는 방식 등의 수학적 기법을 이용하여 점의 중심을 계산하며, 각 점의 중심을 동일한 직선위에 표시하는 방식으로 점의 중심을 검출할 수 있다.
[0049] 여기에서, 직선을 표시하는 것은 선형회귀(linear regression), 평균/중앙값/최빈값(mean, median, mode), 라인 피팅(line fitting) 등의 수학적 기법을 이용할 수 있다.
[0050] 다음에, 처리부(120)에서는 그룹화된 점자셀을 점자 숫자로 변환(Segmentation)하는데 있어서, 점자셀의 위치를결정한 후에, 결정된 점자셀의 위치에 따라 그룹화한 후 점자셀에 따라 점자 숫자로 변환할 수 있는데, 점자셀각각에 대한 점자(보정된 가로 및 세로 투영)의 점에 점자점(흰색 픽셀)이 포함되어 있는지를 확인하여 점자셀을 육점 단위의 점자 숫자(예를 들면, 1, 2, 3, 4, 5, 6)로 변환할 수 있다.
[0051] 예를 들면, 처리부(120)에서는 획득된 점자셀의 육점 위치에 화이트 픽셀이 존재하는지의 여부에 따라 점자 숫자로 변환할 수 있는데, 육점 중에 3번 위치와 5번 위치에만 화이트 픽셀이 존재할 경우 (3, 5)와 같은 점자 숫자를 생성할 수 있다. 상술한 바와 같은 변환 정보는 메모리에 저장될 수 있으며, 각각의 처리 과정에서 기 설정된 시간주기, 예를 들면, 5분, 10분 등에 따라 또는 하나의 과정이 완료된 후에 각각 변환 정보가 업데이트되어 저장될 수 있음은 물론이다.
[0052] 한편, 처리부(120)에서는 변환된 점자 숫자를 선택된 언어의 문자로 변환(Braille Conversion)하는데 있어서,캡쳐된 점자 이미지에서 추출된 육점 단위의 점자셀에 따른 점자 숫자를 선택된 언어의 문자로 변환할 수 있는데, 변환된 점자 숫자를 라인 및 스페이스에 따라 그룹화하여 선택된 언어의 단어단위로 변경(braille cellword grouping)할 수 있다.
[0053] 여기에서, 모든 언어는 유니코드로 변환하여 표현할 수 있고, 영어의 경우 유니코드 또는 아스키코드로 변환하여 표현할 수 있는데, 처리부(120)에서는 선택된 언어가 영어인 경우 육점 단위의 점자셀을 영어 유니코드 음절또는 아스키코드 음절로 변환시킨 후에 영어 단어로 연관시켜 변환 처리할 수 있다.
[0054] 또한, 처리부(120)에서는 선택된 언어가 한글인 경우 육점 단위의 점자셀을 한글 역점역 변환 방식을 적용하여한글의 초성, 중성 및 종성으로 각각 변환할 수 있으며, 초성, 중성 및 종성으로 변환된 점자셀들을 결합(combine)시킨 후에, 유니코드의 음절(syllables)로 변환시키며, 유니코드로 변환된 음절을 연관시켜 한글 단어로 변환 처리할 수 있다.
[0055] 출력부(130)는 변환된 선택된 언어의 문자(즉, 영어 또는 한글로 변환된 단어로 구성된 한글 문서 또는 영어 문서)를 출력하는 것으로, 선택된 언어의 문자를 음성으로 변환시켜 출력하는 스피커를 포함하거나, 혹은 선택된언어의 문서를 디스플레이하는 디스플레이장치를 포함할 수 있다.
[0056] 여기에서, 출력부(130)에서는 변환된 문자로 구성된 한글 문서 또는 영어 문서를 출력하되, 음성으로 변환시켜출력하거나, 혹은 변환된 문자를 점자 문서에 같이 표기하여 도 3c에 도시한 바와 같이 시각적으로 디스플레이할 수 있다.
[0057] 상술한 바와 같은 음성으로 변환시켜 출력하는 것은, 사용자의 손가락을 인식하여 손가락이 선택한 일반 단어를음성으로 출력하는 방식으로 수행할 수 있다.
[0058] 또한, 상술한 바와 같은 변환된 문자를 점자 문서에 같이 표기하여 시각적으로 디스플레이하는 것은, 한글 단어또는 영어 단어를 점자와 같이 표기하도록, 점자의 위치정보를 파악한 뒤, 한글 단어 또는 영어 단어의 이미지를 합성하여 디스플레이하는 방식으로 수행할 수 있다.
상술한 바와 같은 점자 학습 장치에서는 캡쳐부(110)를 통해 선택된 영역만을 [0059] 인식한 후, 선택된 영역을 처리부(120)에서 처리하여 출력부(130)를 통해 출력할 수 있음은 물론이다.
[0060] 따라서, 본 발명은 점자 문서를 인식하고, 선택된 언어의 문자로 변환한 후에, 음성 또는 시각적으로 출력함으로써, 개인적으로 점자를 쉽게 학습할 수 있을 뿐만 아니라 점자 학습 효과를 향상시킬 수 있다.
[0061] 다음에, 상술한 바와 같은 구성을 갖는 점자 학습 장치에서 점자 문서의 점자 이미지를 캡쳐하고, 캡쳐된 점자이미지를 처리하여 점자 숫자로 변환하며, 변환된 점자 숫자를 선택된 언어의 문자로 변환한 후에, 변환된 문자를 출력하는 과정에 대해 상세히 설명한다.
[0062] 도 4는 본 발명의 다른 실시예에 따라 점자 학습 장치를 이용하여 점자를 변환하는 과정을 나타낸 플로우차트이고, 도 5는 본 발명의 다른 실시예에 따라 점자 이미지를 전처리하는 상세 과정을 나타내는 플로우차트이며, 도6은 본 발명의 다른 실시예에 따라 점자 이미지에서 점자셀의 위치에 따라 그룹화하는 상세 과정을 나타낸 플로우차트이고, 도 7은 본 발명의 다른 실시예에 따라 그룹화된 상기 점자셀을 상기 점자 숫자로 변환하는 상세 과정을 나타낸 플로우차트이다.
[0063] 도 4 내지 도 7을 참조하면, 캡쳐부(110)에서는 점자 문서의 점자 이미지를 캡쳐할 수 있다(단계410).
[0064] 이러한 캡쳐부(110)에서는 웹캠을 통해 실시간 비디오가 입력되는 방식, 웹캠에서 실시간으로 촬영된 스냅샷 이미지가 입력되는 방식, 점자를 촬영한 비디오가 입력되는 방식, 미가공된 점자 이미지가 입력되는 방식 등으로점자 문서를 캡쳐할 수 있다.
[0065] 그리고, 처리부(120)에서는 캡쳐부(110)를 통해 캡쳐된 점자 이미지를 처리하여 점자 숫자로 변환할 수 있다(단계420).
[0066] 여기에서, 처리부(120)에서는 점자 이미지를 전처리(Pre-Processing)할 수 있는데, 점자 이미지의 인식률을 높이기 위해 점자 이미지에 대한 광량에 따른 기준값(thresholding)을 변화시킬 수 있다.
[0067] 이 전처리 과정에 대해 도 5를 참조하여 구체적으로 설명하면, 점자 이미지를 디스큐(de-skew)하여 정렬(perspective projection correction)하고(단계510), 점자 이미지의 칼라를 그레이스케일로 변환(grayscale conversion)할 수 있다(단계520). 여기에서, 3D 이미지의 경우 2D 이미지로 변환한 후에 그레이스케일로 변환할수 있다.
[0068] 그리고, 점자 이미지의 인식률을 높이기 위하여 그레이스케일로 변환된 점자 이미지를 흐릿하게 블러(blur) 방식으로 처리(smoothing)하고(단계530), 점자 이미지의 인식률을 높이기 위해 점자 이미지에 대한 광량에 따른기준값(thresholding)을 변화시킬 수 있다(단계540). 여기에서, 흐릿하게 처리하는 것은 그레이스케일로 변환된점자 이미지에서 잔류하는 작은 점을 제거하기 위해서 수행될 수 있다.
[0069] 또한, 처리부(120)에서는 점자 이미지를 필터링(예를 들면, 알파 필터링, 드롭쉐도우 필터링, 블러 필터링 등)하고(단계550), 필터링된 점자 이미지의 흑백을 반전(inversion)시키며(단계560), 점자 이미지의 요(yaw) 및 회전(rotation)을 보정할 수 있다(단계570). 여기에서, 처리부(120)에서는 점자 인식률을 높이기 위해 점자 이미지의 에지를 둥글게 처리할 수 있다.
[0070] 상술한 바와 같은 전처리 과정은 단계별로 설명하고 있지만, 광량에 따른 기준값을 변화시키는 단계를 수행하는중에, 각 단계의 순서를 변경하여 수행될 수 있음은 물론이다.
[0071] 처리부(120)에서는 점자 이미지에서 점자셀의 위치에 따라 그룹화(Braille Cell Localization)하는데 있어서,점자 문서를 수직 및 수평으로 투영(horizontal and vertical projection)하여 수직 및 수평의 그리드를 형성하고, 형성된 그리드 내에서 배경 색상 및 점자 색상에 따라 점자 중앙으로 판단하여 점자의 위치를 검출하며,점자의 위치에 따라 육점 단위로 그룹화하여 점자셀을 획득할 수 있다. 여기에서, 점자 중앙을 판단하기 위해사용되는 색상에는 RGB, YCbCr, YMCK 등의 색모델을 사용할 수 있다.
[0072] 예를 들면, RGB 색모델에서 그레이 스케일로 변환된 경우 배경 색상은 그레이 색상의 픽셀로 나타나며, 점자 색상은 화이트 색상의 픽셀로 나타나는데, 그룹화 하는 과정에서 점자 문서의 수직 라인과 수평 라인별로 화이트픽셀의 수를 카운팅하는 방식으로 그리드를 결정할 수 있으며, 형성된 그리드 내에서 화이트 픽셀의 총합이 최대인 부분(지점)을 점자 중앙으로 판단하여 점자의 위치를 검출할 수 있다.
이 그룹화하는 과정을 도 6을 참조하여 구체적으로 설명하면, 점자 문서를 수직 및 [0073] 수평으로 투영(horizontaland vertical projection)하여(단계610) 점자 문서의 수직 라인과 수평 라인별로 화이트 픽셀의 수를 카운팅하는 방식으로 그리드를 결정할 수 있다(단계620). 여기에서, 화이트 픽셀은 칼라코드로 white RGB값을 갖는 픽셀을 의미한다.
[0074] 또한, 그리드의 수평 라인 및 수직 라인과 점자의 위치를 보정(horizontal and vertical projectioncorrection)할 수 있고(단계630), 가로 및 세로 투영(horizontal and vertical projection)에서 누락된 가로선및 세로선(또는 가로점 및 세로점)을 각각 보정하는 방식으로 점자셀을 인식(braille cell identification)할수 있다(단계640).
[0075] 처리부(120)에서는 그룹화된 점자셀을 점자 숫자로 변환(Segmentation)하는 과정에 대해 도 7을 참조하여 설명하면, 점자셀의 위치를 결정한 후에(단계710), 결정된 점자셀의 위치에 따라 그룹화한 후(단계720), 점자셀에따라 점자 숫자로 변환할 수 있다(단계730). 여기에서, 점자셀 각각에 대한 점자(보정된 가로 및 세로 투영)의점에 점자점(흰색 픽셀)이 포함되어 있는지를 확인하여 점자셀을 육점 단위의 점자 숫자(예를 들면, 1, 2, 3,4, 5, 6)로 변환할 수 있다.
[0076] 예를 들면, 처리부(120)에서는 획득된 점자셀의 육점 위치에 화이트 픽셀이 존재하는지의 여부에 따라 점자 숫자로 변환할 수 있는데, 육점 중에 3번 위치와 5번 위치에만 화이트 픽셀이 존재할 경우 (3, 5)와 같은 점자 숫자를 생성할 수 있다. 상술한 바와 같은 변환 정보는 메모리에 저장될 수 있으며, 각각의 처리 과정에서 기 설정된 시간주기, 예를 들면, 5분, 10분 등에 따라 또는 하나의 과정이 완료된 후에 각각 변환 정보가 업데이트되어 저장될 수 있음은 물론이다.
[0077] 또한, 처리부(120)에서는 변환된 점자 숫자를 선택된 언어의 문자로 변환할 수 있다(단계430).
[0078] 여기에서, 처리부(120)에서는 변환된 점자 숫자를 선택된 언어의 문자로 변환(Braille Conversion)할 수있는데, 캡쳐된 점자 이미지에서 추출된 육점 단위의 점자셀에 따른 점자 숫자를 선택된 언어의 문자로 변환할수 있다.
[0079] 여기에서, 모든 언어는 유니코드로 변환하여 표현할 수 있고, 영어의 경우 유니코드 또는 아스키코드로 변환하여 표현할 수 있는데, 처리부(120)에서는 선택된 언어가 영어인 경우 육점 단위의 점자셀을 영어 유니코드 음절또는 아스키코드 음절로 변환시킨 후에 영어 단어로 연관시켜 변환 처리할 수 있다.
[0080] 또한, 처리부(120)에서는 선택된 언어가 한글인 경우 육점 단위의 점자셀을 한글 역점역 변환 방식을 적용하여한글의 초성, 중성 및 종성으로 각각 변환할 수 있으며, 초성, 중성 및 종성으로 변환된 점자셀들을 결합(combine)시킨 후에, 유니코드의 음절(syllables)로 변환시키며, 유니코드로 변환된 음절을 연관시켜 한글 단어로 변환 처리할 수 있다.
[0081] 이어서, 출력부(130)에서는 처리부(120)를 통해 변환된 문자를 출력할 수 있다(단계440).
[0082] 여기에서, 출력부(130)에서는 변환된 문자로 구성된 한글 문서 또는 영어 문서를 출력하되, 음성으로 변환시켜출력하거나, 혹은 변환된 문자를 점자 문서에 같이 표기하여 시각적으로 디스플레이할 수 있다.

[0083] 상술한 바와 같은 음성으로 변환시켜 출력하는 것은, 사용자의 손가락을 인식하여 손가락이 선택한 일반 단어를음성으로 출력하는 방식으로 수행할 수 있다.
[0084] 또한, 상술한 바와 같은 변환된 문자를 점자 문서에 같이 표기하여 시각적으로 디스플레이하는 것은, 한글 단어또는 영어 단어를 점자와 같이 표기하도록, 점자의 위치정보를 파악한 뒤, 한글 단어 또는 영어 단어의 이미지를 합성하여 디스플레이하는 방식으로 수행할 수 있다.
[0085] 상술한 바와 같은 점자 학습 장치에서는 캡쳐부(110)를 통해 선택된 영역만을 인식한 후, 선택된 영역을 처리부(120)에서 처리하여 출력부(130)를 통해 출력할 수 있음은 물론이다.
[0086] 따라서, 본 발명은 본 발명은 점자 문서의 점자 이미지를 캡쳐하고, 캡쳐된 점자 이미지를 처리하여 점자 숫자로 변환하며, 변환된 점자 숫자를 선택된 언어의 문자로 변환하며, 변환된 문자를 음성적 또는 시각적으로 출력함으로써, 손가락 촉감으로 읽은 점자책의 점자와 음성적 또는 시각적으로 출력된 점자 내용을 실시간으로 비교할 수 있어 점자 학습 효과를 획기적으로 향상시킬 수 있다.
[0087] 이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
부호의 설명
[0088] 110 : 캡쳐부
120 : 처리부
130 : 출력부