KR101513856B1 - 점자를 음성 신호로 변환하는 시스템 - Google Patents

점자를 음성 신호로 변환하는 시스템 Download PDF

Info

Publication number
KR101513856B1
KR101513856B1 KR1020140001601A KR20140001601A KR101513856B1 KR 101513856 B1 KR101513856 B1 KR 101513856B1 KR 1020140001601 A KR1020140001601 A KR 1020140001601A KR 20140001601 A KR20140001601 A KR 20140001601A KR 101513856 B1 KR101513856 B1 KR 101513856B1
Authority
KR
South Korea
Prior art keywords
braille
camera
image
character
converting
Prior art date
Application number
KR1020140001601A
Other languages
English (en)
Inventor
이주원
박준용
전유진
장재민
Original Assignee
금오공과대학교 산학협력단
이주원
박준용
전유진
장재민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단, 이주원, 박준용, 전유진, 장재민 filed Critical 금오공과대학교 산학협력단
Priority to KR1020140001601A priority Critical patent/KR101513856B1/ko
Application granted granted Critical
Publication of KR101513856B1 publication Critical patent/KR101513856B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L2013/083—Special characters, e.g. punctuation marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

점자를 촬영하는 카메라와, 상기 카메라가 점자를 순서대로 촬영할 수 있도록 상기 카메라의 위치를 이동시키는 구동부와, 상기 카메라가 촬영한 이미지를 점자가 확실하게 구분되도록 보정하는 이미지처리부와, 상기 이미지처리부의 출력 이미지를 디지털 점자코드로 변환하고 상기 디지털 점자코드에 대응되는 문자를 조합하여 완성된 문자를 출력하는 문자출력부와, 상기 문자출력부의 문자를 음성 신호로 변환하여 출력하는 음성출력부, 상기 구동부의 동작을 제어하며 상기 카메라의 촬영 이미지를 상기 이미지처리부에 전송하는 제어부를 포함하는 것을 특징으로 한다.

Description

점자를 음성 신호로 변환하는 시스템 { Braille-to-Voice Translation System }
본 발명은 점자를 음성 신호로 변환하는 시스템에 관한 것으로서, 더욱 상세하게는 점자를 촬영한 이미지로부터 디지털 점자코드를 출력하고 출력된 디지털 점자코드를 문자로 변환하여 음성으로 제공하는 점자를 음성 신호로 변환하는 시스템에 관한 것이다.
점자는 시각장애를 가진 사람들을 위해 개발된 문자 체계로서 시각이 약한 사용자가 촉각으로 읽을 수 있도록 돌출 형성되는 점으로 구성되며 이 점들의 유무 및 위치 관계를 이용하여 문자를 뜻한다.
한편 점자를 배우고 익숙하게 사용하기 위해서는 시간과 노력이 많이 필요하며 완전히 익힌 후에도 점자 문서를 읽기 위해서는 손으로 점자를 읽어야 함으로 눈으로 보고 읽는 것보다 많은 시간이 걸리게 된다.
또한 자원봉사자나 전문 성우에 의해 음성으로 녹음된 오디오 북이 존재하나 사람이 직접 읽고 녹음해야 하는 제한성 때문에 다양한 오디오 북을 접하기가 힘들고 전문가가 아닌 자원봉사자가 녹음한 오디오 북에 있어서도 만족도가 떨어지는 문제점이 있었다.
또한 전공 서적과 같이 오디오 북이 아직 존재하지 않지만 시각장애인이 당장 필요로 하는 점자 책을 읽어줄 수 있는 전문가를 구하기 어려운 문제점이 있었다.
또한 점자 문서의 오타를 검사하기 위해서는 점자교정사가 점자를 손끝으로 점 하나하나를 읽어내려가며 검사를 해야하므로 만약 실수를 해서 오타가 교정되지 않고 그대로 출판된다면 오타 검사 작업을 문서의 처음부터 다시 실시해야 하기 때문에 점자 교정에 시간이 오래 걸릴 수밖에 없었다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 점자로 쓰여진 문서를 통신 가능한 카메라로 촬영하여 촬영된 이미지 보정을 통해 음성 신호로 변환하는 시스템을 제공하는 것이다.
본 발명의 다른 목적은 외부의 신뢰도 높은 음성 변환 시스템을 이용하는 점자를 음성 신호로 변환하는 시스템을 제공하는 것이다.
본 발명의 다른 목적은 점자를 디지털 점자코드로 제공할 수 있는 점자를 음성 신호로 변환하는 시스템을 제공하는 것이다.
본 발명의 다른 목적은 점자를 문자 및 음성 신호로 변환하는 데 있어 점자를 오류 없이 음성 신호로 변환하는 시스템을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 점자를 음성 신호로 변환하는 시스템은 점자를 촬영하는 카메라와, 상기 카메라가 점자를 순서대로 촬영할 수 있도록 상기 카메라의 위치를 이동시키는 구동부와, 상기 카메라가 촬영한 이미지를 점자가 확실하게 구분되도록 보정하는 이미지처리부와, 상기 이미지처리부의 출력 이미지를 디지털 점자코드로 변환하고 상기 디지털 점자코드에 대응되는 문자를 조합하여 완성된 문자를 출력하는 문자출력부와, 상기 문자출력부의 문자를 음성 신호로 변환하여 출력하는 음성출력부, 상기 구동부의 동작을 제어하며 상기 카메라의 촬영 이미지를 상기 이미지처리부에 전송하는 제어부를 포함하는 것을 특징으로 한다.
또한 본 발명의 점자를 음성 신호로 변환하는 시스템의 상기 카메라는 상기 제어부에 촬영 이미지를 전송하기 위한 블루투스 통신 모듈을 더 포함하는 것을 특징으로 한다.
또한 본 발명의 점자를 음성 신호로 변환하는 시스템의 상기 카메라는 점자가 촬영된 이미지에서 밝은 부분과 어두운 부분이 명확하게 구분되도록 LED 광원을 포함하는 것을 특징으로 한다.
또한 본 발명의 점자를 음성 신호로 변환하는 시스템의 상기 이미지처리부는 상기 카메라의 촬영 이미지를 밝은 부분과 어두운 부분으로 이진화처리하며 상기 밝은 부분에 라벨링 처리하여 유용한 영역을 분리하는 것을 특징으로 한다.
또한 본 발명의 점자를 음성 신호로 변환하는 시스템의 상기 음성출력부는 네트워크 연결이 가능한 통신 장치를 더 포함하는 것을 특징으로 한다.
또한 본 발명의 점자를 음성 신호로 변환하는 시스템의 상기 음성출력부는 문자에 대응되는 음성 데이터를 외부 음성 변환 시스템으로부터 수신받아 출력하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 점자를 음성 신호로 변환하는 시스템에 의하면 점자가 촬영된 이미지를 음성 신호로 출력할 수 있는 효과가 있다.
또한 본 발명에 따른 점자를 음성 신호로 변환하는 시스템에 의하면 외부의 음성 변환 시스템을 이용하여 완성도 높은 음성 신호를 제공할 수 있는 효과가 있다.
또한 본 발명에 따른 점자를 음성 신호로 변환하는 시스템에 의하면 점자 문서를 디지털 점자코드로 변환할 수 있는 효과가 있다.
또한 본 발명에 따른 점자를 음성 신호로 변환하는 시스템에 의하면 점자가 문자 및 음성신호로 변환되는 데 있어 오류가 적은 효과가 있다.
도 1은 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 구성을 간략하게 도시한 구성도.
도 2는 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 카메라와 구동부를 간략하게 도시한 구성도.
도 3은 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 이미지처리부가 촬영이미지를 이미지처리한 결과를 도시한 도.
도 4는 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 라벨링 처리 결과를 간략하게 도시한 간략도.
도 5는 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 작동 흐름을 도시한 순서도.
본 발명의 구체적 특징 및 이점들은 이하에서 첨부도면을 참조하여 상세히 설명한다. 이에 앞서 본 발명에 관련된 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 구체적인 설명을 생략하기로 한다.
본 발명은 점자를 음성 신호로 변환하는 시스템에 관한 것으로서, 더욱 상세하게는 점자를 촬영한 이미지로부터 디지털 점자코드를 출력하고 출력된 디지털 점자코드를 문자로 변환하여 음성으로 제공하는 점자를 음성 신호로 변환하는 시스템에 관한 것이다.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 구성을 간략하게 도시한 구성도이며, 도 2는 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 카메라와 구동부를 간략하게 도시한 구성도이고, 도 3은 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 이미지처리부가 촬영이미지를 이미지처리한 결과를 도시한 도이며, 도 4는 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 라벨링 처리 결과를 간략하게 도시한 간략도이고, 도 5는 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 작동 흐름을 도시한 순서도이다.
도 1에 도시된 바와 같이 점자를 촬영하는 카메라(100)와, 상기 카메라가 점자를 순서대로 촬영할 수 있도록 상기 카메라(100)의 위치를 이동시키는 구동부(200)와, 상기 카메라가 촬영한 이미지를 점자가 확실하게 구분되도록 보정하는 이미지처리부(300)와, 상기 이미지처리부의 출력 이미지를 디지털 점자코드로 변환하고 상기 디지털 점자코드에 대응되는 문자를 조합하여 완성된 문자를 출력하는 문자출력부(400)와, 상기 문자출력부의 문자를 음성 신호로 변환하여 출력하는 음성출력부(500), 상기 구동부(200)의 동작을 제어하며 상기 카메라의 촬영 이미지를 상기 이미지처리부(300)에 전송하는 제어부(600)를 포함하는 것을 특징으로 한다.
카메라(100)는 점자를 촬영하는 장치로서 화질에 크게 영향받지 않으므로 고가의 카메라 대신에 일반적인 카메라를 사용하여 구성할 수 있다.
본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 상기 카메라는 점자가 촬영된 이미지에서 밝은 부분과 어두운 부분이 명확하게 구분되도록 LED 광원(미도시)을 포함한다.
점자의 돌출된 점이 명확하게 구분되기 위해서는 돌출된 부분은 밝게 촬영되고 돌출되지 않은 부분은 어둡게 촬영되는 것이 좋으므로 상기 카메라와 점자 문서가 포함되는 촬영 공간을 암막으로 둘러싸서 외부의 빛을 차단하고 상기 LED 광원을 이용하여 상기 점자 문서에 빛을 조사한다.
또한 상기 LED 광원이 점자 문서의 상위 수직인 위치에 설치되면 돌출된 부분과 돌출되지 않은 부분이 구분되기 어려울 수 있으므로 상기 LED 광원이 점자 문서의 상위 비스듬한 위치에 설치됨으로써 돌출된 점에 그림자가 형성되도록 한 후에 촬영하는 것이 바람직할 것이다.
본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 상기 카메라(100)는 상기 제어부(600)에 촬영 이미지를 전송하기 위한 블루투스 통신 모듈(미도시)을 더 포함한다.
촬영 이미지가 전송되는 데에 이용될 수 있는 무선 통신의 종류에는 와이파이, 지그비, 블루투스 등이 있다.
와이파이는 실내에서 약 30m의 통신 가능 거리를 가지며 다른 무선 통신 표준에 비해 소비 전력이 매우 높은 단점이 있고 지그비는 소비 전력을 매우 적게 소모하나 전송 속도가 느린 단점이 있다.
블루투스는 저전력을 소모하며 전송 속도와 전송 용량이 지그비보다 우수하기 때문에 본 발명에서는 블루투스 통신 모듈을 포함하여 촬영 이미지가 전송되는 것이 바람직하다.
또한 상기 제어부는 상기 카메라의 촬영 이미지를 수신하기 위하여 블루투스 신호 리시버를 포함한다.
구동부(200)는 상기 카메라(100)가 점자를 순서대로 촬영할 수 있도록 상기 카메라의 위치를 이동시키는 역할을 하며 모터를 포함한다.
상기 구동부의 일실시 예는 도 2에 도시하였다.
상기 카메라의 촬영 화각 또는 상기 LED 광원의 밝기와 빛 조사 방향에 따라 디지털 점자코드를 출력하는 데 방해되는 노이즈가 생길 수 있으므로 상기 촬영이미지가 서로 보완될 수 있도록 이전 촬영이미지와 이후 촬영이미지가 일정 부분 겹치도록 촬영되어야 한다.
이 때문에 상기 카메라의 위치가 일정 시간 동안 이동되고 멈추어 다시 촬영될 수 있도록 동작하는 스텝모터를 이용하여 구성되는 것이 바람직할 것이다.
상기 구동부의 스텝모터는 점자가 읽혀지는 순서대로 촬영될 수 있도록 한쪽 측면에서부터 반대쪽 측면까지 상기 카메라를 이동시키며 상기 카메라가 반대쪽 측면에 도착하면 촬영 완료 신호를 출력할 수도 있다.
상기 촬영 완료 신호는 한 줄 촬영 완료 또는 한 장 촬영 완료 시에 출력되어 이미지처리부(300)에서 점자 촬영 이미지를 병합하는 신호 및 상기 구동부가 다음 촬영 위치로 이동되도록 작동이 시작되는 신호로 사용될 수 있다.
점자 책을 촬영하기 위하여 상기 구동부는 상기 카메라에 동력을 제공하고 상기 카메라가 상하좌우로 이동하며 점자 책을 촬영될 수 있도록 복수 개의 모터를 포함할 수도 있다.
이미지처리부(300)는 상기 카메라가 촬영한 이미지에서 디지털 점자코드가 구분되기 용이하도록 보정한다.
본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 상기 이미지처리부는 상기 카메라의 촬영 이미지를 밝은 부분과 어두운 부분으로 이진화처리하며 상기 밝은 부분에 라벨링 처리하여 유용한 영역을 분리한다.
상기 카메라의 촬영이미지를 수신받아 이진화처리를 하면 점자가 존재하여 밝게 촬영된 부분(디지털: 1)과 점자가 존재하지 않아 어둡게 촬영된 부분(디지털: 0), 두 부분으로 분리된다.
이진화처리는 명암 대비를 극명하게 하는 처리방법으로서 점의 유무와 같은 단순한 정보를 분리해내기에 유용한 방법이며 본 발명에서의 이진화처리는 200 이상의 픽셀 값은 1(White), 200 미만의 픽셀 값은 0(Black)으로 처리되게 한다.
이진화처리된 이미지는 노이즈가 많이 포함되어 그대로 사용하면 점자를 문자로 변환 과정에서 오류가 발생할 확률이 높다.
또한 점자는 6개 점의 유무와 위치 및 앞뒤 점자 세트와의 관계에 따라 의미가 바뀌게 되므로 픽셀이 뭉개지는 부분이나 의미 없는 부분의 픽셀을 제거하는 과정을 거치는 것이 문자 변환의 오류를 줄일 수 있을 것이다.
노이즈가 제거된 단순화(이진화처리)된 이미지를 라벨링 처리하여 0,0 위치의 픽셀(좌측 상단 픽셀)부터 순차적으로 픽셀을 검사한다. 돌출 형성되어 밝게 촬영된 부분을 검출하면 해당 픽셀에 라벨링 처리(번호 붙임)한 후 해당 픽셀의 근처 픽셀을 검사하여 밝게 촬영된 부분을 검출하고 모두 같은 번호를 부여(라벨링)한다.
이 과정을 반복하여 마지막 픽셀까지 검사하면 각각의 오브젝트(점)의 픽셀들은 다른 번호를 부여받아 어두운 부분과 분리된다.
또한 같은 번호를 부여받은 픽셀들을 하나로 묶어 그룹화하고 각 그룹(한 점을 말함)의 중간 픽셀(상기 한 점의 가운데 픽셀) 위치를 기록하여 각 오브젝트 간의 위치 관계를 분석하는데 사용될 수 있도록 저장한다.
라벨링 처리에 대해서는 이후에 설명할 도 4를 참고로 하여 자세하게 설명하기로 한다.
Figure 112014001346632-pat00001
상기에 도시된 도면은 점자 규격을 나타내며 한국시각장애인연합회에서 제공하는 규격으로서 한 점자 세트 내의 인접한 점 끼리 상하좌우 간격(=2.5)은 동일하며 다음 점자 세트와의 거리(=4.5)는 한 점자 세트 내의 인접한 점 사이의 간격(=2.5)보다 멀다.
이러한 점자 규격을 바탕으로 저장된 오브젝트들의 위치 정보를 검사하고 각 오브젝트들의 중간 픽셀 간의 거리를 모두 조사한다. 각 오브젝트들의 중간 픽셀 간의 거리는 돌출된 점의 유무에 따라 넓거나 좁게 형성될 수 있으나 가장 가까운 위치에 존재하는 두 오브젝트의 간격이 점자 세트 내의 두 점 사이의 거리를 나타낼 것이다.
가장 근접하게 형성된 두 개의 오브젝트를 찾으면 두 오브젝트 간의 거리를 상기 점자 규격에서 2.5로 나타내는 점자 세트 내의 점 사이 거리 기준으로 설정한다. 설정된 점자 세트 내의 점 사이 거리 기준은 동일한 조건에서 촬영되는 동일한 점자 문서 또는 점자 책에서 계속 사용되도록 한다.
상기 점자세트 내의 점 거리를 이용하여 촬영이미지 내에 복수 개로 존재하는 오브젝트가 점자세트 별로 구분될 수 있다.
점자세트 내에 존재하는 점은 1열 또는 2열 모두에 포함될 수 있으며 0개 내지 6개가 존재한다. 점자세트가 올바르게 분류되지 않는다면 제 1 점자세트의 2열에만 존재하는 돌출된 점과 제 2 점자세트의 1열에만 존재하는 돌출된 점은 별개의 점자세트에 존재함에도 불구하고 하나의 점자세트로 인식되어 잘못된 뜻을 나타내게 될 수도 있다.
따라서 하나의 점자세트 내의 점 사이의 거리를 인식하여 돌출된 점들을 점자세트 별로 구분 지어 문자로 변환해야 한다.
또한 점자는 3행 2열의 6개의 점이 한 세트로서 같은 행 또는 열에 속하는 점은 일직선상에 형성되어 있으며 같은 줄에 나란히 포함되는 복수 개 점자 세트의 같은 행에 속하는 점 또한 일직선상에 형성된다.
이와 같은 규칙을 바탕으로 상기 중간 픽셀의 위치 정보는 동일한 x축 상 또는 y축 상에 존재하도록 재보정 처리될 수 있다. 상기 중간 픽셀 위치 정보가 재보정되면 디지털 점자코드를 출력하는 데에 오류가 발생할 확률이 적어지고 이미지가 병합되는 작업이 수월할 수 있다.
각 오브젝트의 중간 픽셀 위치 정보가 재조정되면 재조정된 위치 정보를 기반으로 복수 개 촬영된 이미지를 병합하는 과정을 거친다.
상기 촬영이미지는 이미지 처리 중에 손상되거나 오류가 발생해도 서로 보완되어 점자 이미지가 완성될 수 있도록 테두리 부분의 점자가 서로 겹치도록 촬영된다.
상기 촬영이미지에서 이전에 촬영된 이미지와 이후에 촬영된 이미지의 겹치는 부분을 찾기 위해서 촬영된 순서대로 이전 촬영이미지의 우측 끝 5개의 점자 세트(점 6개가 한 세트) 위치 정보와 이후 촬영이미지의 좌측 끝 5개의 점자 세트의 위치 정보를 비교하여 겹치는 부분을 찾는다.
또한 겹치는 부분을 찾으면 이전 촬영이미지에서 겹치는 픽셀만큼 제거하며 이후 촬영이미지의 x좌표 값을 이전 촬영이미지와 겹치는 크기만큼 좌측으로 시프트(Shift)시켜 병합 처리한다.
또한 이전 촬영이미지의 오브젝트 위치 정보 중에서 겹치는 부분을 삭제하고 이후 촬영이미지의 오브젝트 위치 정보를 이어 붙여 저장한다.
문자출력부(400)는 상기 이미지처리부의 출력 이미지를 디지털 점자코드로 변환하고 상기 디지털 점자코드에 대응되는 문자를 조합하여 완성된 문자를 출력한다.
상기 이미지처리부(300)에서 출력된 이미지와 오브젝트 위치 정보 및 구분된 점자 세트를 바탕으로 점자가 위치될 수 있는 6자리에 존재하는 오브젝트의 존재 유무를 검사하여 디지털 점자코드로 변환한다.
디지털 점자코드는 점이 존재할 수 있는 6개의 자리에 점이 존재하면 1, 존재하지 않으면 0으로 나타내는 코드이다.
예를 들어
Figure 112014001346632-pat00002
로 구성된 점자는 000100으로 나타낼 수 있다.
또한 상기 변환된 디지털 점자코드에 대응되는 문자를 찾아 조합하여 출력한다.
우선 상기 변환된 디지털 점자코드가 초성, 중성(모음), 종성(받침), 또는 약어 등 인지 종류를 파악한 후에 대응되는 문자를 찾고 앞뒤 연관되는 디지털 점자코드를 조합하여 최종 완성된 문자를 출력한다.
또한 '가'와 '나'를 제외한 초성은 'ㄷ=다, ㄹ=라, …'와 같이 'ㅏ'를 생략해도 초성+'아'로 변환되며 자주 쓰이는 중성+종성(억, 얼, 을, 은, …)을 줄여서 표기하는 약자 표기법과 'ㅅ, ㅈ, ㅊ, ㅆ, ㅉ' 다음에 약자 '영'이 쓰이는 경우에는 '엉'으로 바뀌게 되는 등의 예외 표기법을 모두 저장하여 문자로 변환 시에 활용되도록 한다.
또한 문자출력부에서 출력된 문자가 한 문장 또는 한 문단 이상을 구성하게 되면 상기 문자출력부에서 출력된 문자와 점역(점자로 번역)되기 이전의 활자를 워드로 입력한 문자를 한 글자씩 비교하여 빠진 부분이나 다른 부분을 표시해주는 검사 기능을 포함할 수도 있다.
상기 검사 기능은 대량의 점자 문서에서 오타를 검사해야 하는 경우에 사용될 수 있다.
음성출력부(500)는 출력된 문자를 음성 신호로 변환하여 스피커와 같은 출력 장치로 출력하는 역할을 한다.
본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 상기 음성출력부는 네트워크 연결이 가능한 통신 장치를 더 포함한다.
미리 녹음된 음성 데이터 또는 문자 또는 문장을 합성음으로 변환해주는 시스템을 직접 구성하기는 어려우므로 누적된 데이터와 변환 규칙을 포함하는 오픈된 문자-음성 변환 서비스를 이용하기 위하여 통신 장치를 포함한다.
본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 상기 음성출력부는 문자에 대응되는 음성 데이터를 외부 음성 변환 시스템으로부터 수신받아 출력한다.
구글(Google)은 입력된 문자를 음성으로 바꾸어주는 TTS(Text-to-Speech) 서비스를 제공하며 많은 수의 단어와 문법규칙을 포함하여 자연스러운 음성을 제공할 수 있도록 문장을 자동 분석하여 음성 신호를 출력한다.
상기 음성출력부는 외부 TTS 서비스를 이용하여 문자 또는 문장을 음성 신호로 변환하고 해당 출력 데이터를 다운로드 받아 스피커나 이어폰 등으로 출력한다.
도 2에 도시된 바와 같이 상기 구동부(200)의 구동에 따라 위치가 이동되는 상기 카메라(100)로 인해 점자가 촬영된다.
상기 구동부는 스텝모터를 포함하며 상기 스텝모터에 동작 실시 명령이 내려지면 일정시간 동안 구동되어 상기 카메라가 일정 위치만큼 이동된다. 상기 카메라는 이미지처리 과정에서 생길 수 있는 오류의 보완을 위하여 직전에 촬영된 이미지와 다음에 촬영될 이미지가 일정 부분 겹쳐서 촬영되도록 이동되어야 한다.
도 2는 한 줄의 간단한 점자로 구성되어 있으므로 상기 구동부(200)가 좌우로만 움직이도록 도시되어 있으나 복수 개의 줄을 포함하는 점자 책은 상기 구동부를 고정하는 장치가 구동부의 움직임에 수직이 되도록 움직여 다음 줄을 촬영하도록 할 수 있다.
또한 상기 카메라의 촬영 화각에 따라 한번에 3줄 이상의 점자를 촬영하여 이미지처리 할 수 있다.
한글 점자는 초성(ㄱ), 중성(ㅏ), 종성(ㄴ)을 포함하여 최대 3 세트가 하나로 묶여 하나의 문자를 나타낼 수 있다. 따라서 점자는 점과 점의 관계뿐만 아니라 앞뒤 점자 세트와의 관계도 중요하다.
이 때문에 대부분의 점자 책에서 줄 바꿈은 점자를 해석하는 데 혼란을 피하기 위하여 띄어쓰기나 마침표 다음에 형성되므로 한 줄의 마지막 점자와 다음 줄의 첫 점자의 관계에 대해서는 고려하지 않도록 한다.
도 3에 도시된 바와 같이 상기 카메라의 촬영이미지가 이진화처리되면 밝은 부분(디지털:1)과 어두운 부분(디지털:0) 두 가지 상태로 나타나게 된다. 도 3의 (A)는 이진화처리된 이미지의 결과물을 나타낸다.
점자가 존재하여 밝게 촬영된 부분이 확연하게 드러나지만 노이즈가 존재하여 점이 뭉개져 보인다. 점자를 의미 있는 문자로 변환하는 데에 있어서 점의 존재 유무와 간격 등이 중요하기 때문에 노이즈를 포함하는 이미지는 사용될 수 없기 때문에 복수 개의 일부분이 중복되는 이미지를 촬영하여 노이즈로 인해 손상되는 점자 이미지를 최소화한다.
상기 이진화처리된 이미지에서 노이즈를 제거한 결과물은 도 3의 (B)와 같다.
상기 노이즈가 제거된 이미지에 라벨링 처리를 하여 오브젝트를 픽셀 단위로 구분하고 같은 라벨을 가지는 픽셀을 그룹화하여 오브젝트를 출력하고 각 점의 중간값 및 절대 위치를 저장한다.
상기 복수 개 촬영된 이미지를 각각 보정하고 출력된 절대 위치를 바탕으로 겹치는 부분을 찾아내어 순서대로 병합한다. 병합되어 완성된 점자 이미지는 도 3의 (C)와 같다.
도 4에 도시된 바와 같이 라벨링 처리는 같은 색정보를 가지는 인접한 픽셀에 라벨처리(번호 붙임)를 하여 이미지 내에 존재하는 복수 개의 오브젝트를 식별할 수 있는 방법이다.
상기 이미지처리부에서 노이즈가 제거된 촬영이미지의 좌측 상단의 (0,0) 픽셀부터 우측 하단 방향으로 순서대로 픽셀을 검사한다. 검사 중에 돌출 형성된 점에 의해 밝게 촬영된 부분을 만나게 되면 라벨링 처리(도 4에서 1로 표시)하고 해당 픽셀의 좌우상하 인접한 픽셀을 검사하여 밝게 촬영된 픽셀을 찾아 라벨링 처리(처음 찾아 표시한 픽셀과 동일한 번호를 붙임=1)한다.
그 다음 픽셀에 위의 과정을 반복하여 인접한 밝게 촬영된 부분에 모두 동일한 라벨링 처리(인접한 픽셀에 모두 같은 표시=1)한다.
인접한 밝게 촬영된 픽셀 없이 독립된 밝게 촬영된 픽셀을 만나게 되면 새로운 라벨이 붙도록 라벨링 처리(도 4에서 2로 표시)되고 해당 픽셀(=2)과 인접한 밝게 촬영된 픽셀에는 모두 같은 라벨처리(모두 2로 표시)한다.
이후 위의 과정을 마지막 픽셀까지 반복하여 밝게 촬영된 전체 픽셀에 라벨처리(도 4에서 1, 2, 3으로 표시)한다.
이로써 복수 개 존재하는 밝은 영역의 픽셀 중에서 서로 인접한 픽셀끼리는 같은 라벨로 표시된다.
또한 같은 라벨이 표시된 픽셀끼리 그룹화 처리하여 각각의 오브젝트가 별개로 인식될 수 있도록 하여 오브젝트가 존재하는 부분과 존재하지 않는 부분이 구분될 수 있게 된다.
도 5에 도시된 바와 같이 본 발명에 따른 점자를 음성 신호로 변환하는 시스템의 작동 순서는 상기 카메라에 의해 점자가 촬영(S1)되어 촬영이미지를 얻고 상기 촬영이미지가 상기 이미지처리부(300)에 전송(S2)된다.
상기 카메라(100)가 촬영을 마치면 상기 구동부(300)에 포함되는 스텝모터가 지정된 시간 동안 작동하여 상기 카메라의 위치를 옮기고 상기 스텝모터의 작동이 중지되면 상기 카메라가 이동된 위치에서 점자를 촬영(S1)한다.
카메라 촬영(S1)→촬영이미지 전송(S2)→스텝모터 작동(S3)의 과정을 한번 이상 반복하여 점자가 인쇄된 종이의 끝 부분에 도달하게 되면 종료 신호를 발생한다.
종료 신호가 수신되면 복수개의 촬영이미지를 각각 이진화처리(S5)한다. 상기 카메라는 촬영이미지의 이진화처리 시에 오류가 발생할 확률 및 노이즈를 줄이기 위하여 LED 광원을 포함하여 점자 부분과 비점자 부분이 명확하게 구분될 수 있도록 한다.
또한 이진화 처리된 이미지의 테두리 부분에 많이 형성되는 노이즈 및 불필요한 부분을 제거(S6)한 후 점자가 존재하여 밝게 촬영된 부분의 라벨링 처리(S7)를 실시한다.
상기 라벨링 처리(S7) 과정으로 인해 근처에 존재하는 유효한 점들을 한 그룹으로 묶을 수 있으며 이 그룹은 점자의 점 하나를 나타낸다.
상기 그룹의 위치정보를 저장하고 복수 개의 촬영이미지에서 서로 겹친 부분을 찾아 하나의 이미지로 병합(S8)한다.
병합된 이미지로부터 6개의 점의 위치 중에 점자가 존재하지 않는 위치는 0, 점자가 존재하는 위치는 1로 나타내는 디지털 점자코드를 출력(S9)하며 상기 디지털 점자코드를 이용하여 점자→문자 규칙을 적용하여 문자로 변환(S10)한다.
한글 점자에는 초성과 중성, 종성, 약자 등이 포함되며 한 개 내지 세 개 세트(6개 점이 한 세트)의 디지털 점자코드가 조합되어 완성된 문자를 형성한다.
상기 변환된 문자는 디스플레이 장치에 표시될 수 있으며 상기 변환된 문자를 TTS(Text-to-Speech, 텍스트 음성 변환)엔진을 이용하여 대응되는 음성신호를 다운로드하여 스피커와 같은 오디오 출력 장치에 상기 음성신호를 출력(S11)한다.
이상과 같이 본 발명은, 바람직한 실시예를 중심으로 설명하였지만 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 본 발명의 특허청구범위에 기재된 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다. 따라서 본 발명의 범주는 이러한 많은 변형의 예들을 포함하도록 기술된 청구범위에 의해서 해석되어야 한다.
100 : 카메라
200 : 구동부
300 : 이미지처리부
400 : 문자출력부
500 : 음성출력부
600 : 제어부

Claims (6)

  1. 점자를 촬영하는 카메라와;
    상기 카메라가 점자를 순서대로 촬영할 수 있도록 상기 카메라의 위치를 이동시키는 구동부와;
    상기 카메라가 촬영한 이미지를 점자가 확실하게 구분되도록 보정하는 이미지처리부와;
    상기 이미지처리부의 출력 이미지를 디지털 점자코드로 변환하고 상기 디지털 점자코드에 대응되는 문자를 조합하여 완성된 문자를 출력하는 문자출력부와;
    상기 문자출력부의 문자를 음성 신호로 변환하여 출력하는 음성출력부;
    상기 구동부의 동작을 제어하며 상기 카메라의 촬영 이미지를 상기 이미지처리부에 전송하는 제어부;를 포함하며
    상기 이미지처리부는 상기 카메라의 촬영 이미지를 밝은 부분과 어두운 부분으로 이진화처리하며 상기 밝은 부분에 라벨링 처리하여 유용한 영역을 분리하는 것을 특징으로 하는
    점자를 음성 신호로 변환하는 시스템.
  2. 제 1항에 있어서,
    상기 카메라는 상기 제어부에 촬영 이미지를 전송하기 위한 블루투스 통신 모듈을 더 포함하는 것을 특징으로 하는
    점자를 음성 신호로 변환하는 시스템.
  3. 제 1항에 있어서,
    상기 카메라는 점자가 촬영된 이미지에서 밝은 부분과 어두운 부분이 명확하게 구분되도록 LED 광원을 포함하는 것을 특징으로 하는
    점자를 음성 신호로 변환하는 시스템.
  4. 삭제
  5. 제 1항에 있어서,
    상기 음성출력부는 네트워크 연결이 가능한 통신 장치를 더 포함하는 것을 특징으로 하는
    점자를 음성 신호로 변환하는 시스템.
  6. 제 1항에 있어서,
    상기 음성출력부는 문자에 대응되는 음성 데이터를 외부 음성 변환 시스템으로부터 수신받아 출력하는 것을 특징으로 하는
    점자를 음성 신호로 변환하는 시스템.
KR1020140001601A 2014-01-07 2014-01-07 점자를 음성 신호로 변환하는 시스템 KR101513856B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140001601A KR101513856B1 (ko) 2014-01-07 2014-01-07 점자를 음성 신호로 변환하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140001601A KR101513856B1 (ko) 2014-01-07 2014-01-07 점자를 음성 신호로 변환하는 시스템

Publications (1)

Publication Number Publication Date
KR101513856B1 true KR101513856B1 (ko) 2015-04-21

Family

ID=53053714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140001601A KR101513856B1 (ko) 2014-01-07 2014-01-07 점자를 음성 신호로 변환하는 시스템

Country Status (1)

Country Link
KR (1) KR101513856B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101752351B1 (ko) * 2015-07-06 2017-06-29 조선대학교산학협력단 도서 내용 점자 출력 장치
KR101823121B1 (ko) * 2016-04-12 2018-01-29 울산과학기술원 시각장애인용 문자 인식 장치
KR20190007965A (ko) * 2017-07-14 2019-01-23 금오공과대학교 산학협력단 점자 학습 장치 및 이를 이용한 점자 변환 방법
KR20190023464A (ko) * 2017-08-29 2019-03-08 금오공과대학교 산학협력단 점자 학습 장치 및 이를 이용한 문자 변환 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070057351A (ko) * 2005-12-02 2007-06-07 주식회사 팬택 점자를 음성으로 변환하는 이동통신단말기
KR20090105531A (ko) * 2008-04-03 2009-10-07 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
WO2010029980A1 (ja) * 2008-09-12 2010-03-18 パイオニア株式会社 ハンドヘルド点字変換装置、点字変換方法及び点字変換プログラム
KR200460984Y1 (ko) * 2009-10-07 2012-06-15 주식회사 아이네크 시각 장애인을 위한 도서 및 페이퍼 음성 변환 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070057351A (ko) * 2005-12-02 2007-06-07 주식회사 팬택 점자를 음성으로 변환하는 이동통신단말기
KR20090105531A (ko) * 2008-04-03 2009-10-07 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
WO2010029980A1 (ja) * 2008-09-12 2010-03-18 パイオニア株式会社 ハンドヘルド点字変換装置、点字変換方法及び点字変換プログラム
KR200460984Y1 (ko) * 2009-10-07 2012-06-15 주식회사 아이네크 시각 장애인을 위한 도서 및 페이퍼 음성 변환 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101752351B1 (ko) * 2015-07-06 2017-06-29 조선대학교산학협력단 도서 내용 점자 출력 장치
KR101823121B1 (ko) * 2016-04-12 2018-01-29 울산과학기술원 시각장애인용 문자 인식 장치
KR20190007965A (ko) * 2017-07-14 2019-01-23 금오공과대학교 산학협력단 점자 학습 장치 및 이를 이용한 점자 변환 방법
KR102000715B1 (ko) * 2017-07-14 2019-07-16 금오공과대학교 산학협력단 점자 학습 장치 및 이를 이용한 점자 변환 방법
KR20190023464A (ko) * 2017-08-29 2019-03-08 금오공과대학교 산학협력단 점자 학습 장치 및 이를 이용한 문자 변환 방법
KR101957925B1 (ko) * 2017-08-29 2019-03-13 금오공과대학교 산학협력단 점자 학습 장치 및 이를 이용한 문자 변환 방법

Similar Documents

Publication Publication Date Title
KR102147935B1 (ko) 데이터 처리 방법 및 그 전자 장치
KR101513856B1 (ko) 점자를 음성 신호로 변환하는 시스템
US20170011732A1 (en) Low-vision reading vision assisting system based on ocr and tts
KR20130050608A (ko) 휴대단말기의 이미지 표현장치 및 방법
US9704279B2 (en) Image processing device, image processing method, program, and recording medium
RU2634194C1 (ru) Верификация результатов оптического распознавания символов
Shen et al. Towards a real-time system for finding and reading signs for visually impaired users
CN101866415A (zh) 一种计算机阅卷系统的答题卡识别装置及方法
US9159143B2 (en) Apparatus and method for generating character collage message
CN110956138A (zh) 一种基于家教设备的辅助学习方法及家教设备
CN111160333A (zh) Ar眼镜及其文本翻译方法、装置和计算机可读存储介质
US9396389B2 (en) Techniques for detecting user-entered check marks
JP4790080B1 (ja) 情報処理装置，情報表示方法，情報表示プログラム，及び記録媒体
US20070047815A1 (en) Image recognition apparatus, image recognition method, and image recognition program
US20170177968A1 (en) Method for the optical detection of symbols
JP2016082469A (ja) 撮像抽出装置
JPH09138802A (ja) 文字認識翻訳システム
KR102000715B1 (ko) 점자 학습 장치 및 이를 이용한 점자 변환 방법
JP4300083B2 (ja) 帳票読取り装置
CN111611986B (zh) 一种基于手指交互的焦点文本提取和识别方法及系统
JP6746947B2 (ja) 翻訳プログラム及び情報処理装置
CN114120334A (zh) 盲文处理方法、装置、存储介质及电子装置
JP2015141233A (ja) 答案判定補助システム
WO2011129114A1 (ja) 帳票、帳票処理装置、帳票処理方法及び記録媒体
AV et al. Penpal-electronic pen aiding visually impaired in reading and visualizing textual contents

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180416

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee