KR20070029995A

KR20070029995A - 이동통신단말기에 있어서 점자인식 및 변환방법과 그시스템

Info

Publication number: KR20070029995A
Application number: KR1020050084709A
Authority: KR
Inventors: 김주섭
Original assignee: 삼성전자주식회사
Priority date: 2005-09-12
Filing date: 2005-09-12
Publication date: 2007-03-15
Also published as: KR100697625B1

Abstract

본 발명은 이동통신단말기에 있어서 점자인식 및 변환방법과 그 시스템에 관한 것으로, 이동통신단말기의 카메라에서 촬영된 점자이미지를 디코딩한 후 데이터 베이스 상에 있는 점자테이블을 이용하여 사용자가 필요로 하는 점자로 인식하기 위한 것으로 인식된 점자는 일반 문자간의 변환용 문자테이블을 이용하여 매칭이 되는 문자로 변환하되, 지정 또는 선택에 따라 여러 가지 언어(한글, 영어, 일어 ...등)의 문자로 변환하여 표시하고 시각장애자에게 음성으로 들려 줄 수 있다. 이렇게 함으로써 촬영이라는 방법에 의해 비접촉에 의해 점자를 입력하므로 점자 입력의 편리함을 제공함과 동시에 시각장애자가 아닌 점자를 모르는 어느 누구도 쉽게 알 수 있다.

카메라 폰, 점자인식, 점자 변환, 점자 음성 출력

Description

이동통신단말기에 있어서 점자인식 및 변환방법과 그시스템{System AND Method for Recognition and Conversion in Mobile Telephone Terminal}

도 1은 본 발명의 실시예의 설명을 위해 참조되는 이동통신단말기의 시스템도,

도 2는 본 발명의 실시예에 따른 카메라를 장착한 이동통신단말기에서 점자인식 및 변환을 위한 흐름도

본 발명은 카메라가 내장된 이동통신단말기에 있어서 시각장애자용 점자를 인식하는 방법에 관한 것으로서, 특히 이동통신단말기의 카메라의 촬영을 통해 입력된 점자를 인식하여 시각장애 또는 점자에 익숙하지 않은 일반인도 쉽게 알 수 있도록 문자 또는 음성으로 변환하는 이동통신단말기에 있어서 점자인식 및 변환방법과 그 시스템에 관한 것이다.

일반적으로 시각 장애자들이 사용하는 점자는 점판과 점자용 묵지를 이용하여 만들어 지는데, 점자는 일정한 간격으로 점판을 통하여 구멍을 뚫어 볼록하게 표기가 되며, 시각장애자는 손가락으로 접촉에 의해 그것을 인식하도록 되어 있다. 이동통신단말기(휴대폰)의 보급의 확대와 더불어 모든 사람들은 이제 필수품으로 사용하고 있는바, 장애자들 즉, 시각장애자용 이동통신단말기도 점자의 입력에 있어 어려움이 많이 개선되어 보급이 확대되고 있다. 종래의 시각장애자를 위한 이동통신단말기의 몇 가지 예로 국내공개특허 1999-09326호 및 1998-074223호의 개시와 같이 키패드의 버튼표면에 점자를 볼록하게 표시를 하여 키를 누르면 음성으로 확인할 수 있도록 한 것과 국내공개특허 10-2005-0004476호의 개시와 같이 시각장애자들의 익숙한 점자체계에 따라 점자 키패드 구조들을 일반인과 달리하는 방법을 채택토록 한 것이 있다. 그러나 종래 이와 같은 방법들은 모두 이동통신단말기의 키패드를 별도로 제작되어야 하는 문제점이 있으며, 또 다른 방법으로 국내공개특허 10-2005-0027799호의 경우 스캐너를 이동통신단말기에 장착하고 스캐너를 통해 점자를 입력 시 점자로 처리된 명함은 거의 접촉이 되어지며, 이때 점자의 볼록한 부분과의 차이로 부터 점자를 인식하게 된다. 스캐너는 점자의 입력만을 위해 특별히 이동통신단말기의 소정의 위치에 별도로 추가로 설치해야 하므로 기능의 추가와 소형화로 가는 추세에 있어 설계상 공간의 제약을 많이 받게 되며, 점자입력과정의 점자로 된 문서를 스캐닝 시 어느 정도 접촉을 시켜야 하므로 상당한 주의를 하지 않으면 인식 율이 떨어지게 된다.

또한, 최근 이동통신단말기들의 대부분은 카메라가 내장되고, 특히 고 성능으로 변화되고 있으나 목적은 여전히 동영상이나 기존의 카메라의 성능을 향상시킨 것에 불가 할뿐 사용범위에 있어서는 변화를 가져오지 못하는 경향이 있다.

따라서 본 발명의 목적은 카메라가 장착된 이동통신단말기에서 점자를 촬영을 통한 비접촉 방법에 의해 입력할 수 있는 방법 및 그시스템을 제공함에 있다.

본 발명의 다른 목적은 카메라를 내장한 이동통신단말기에서 카메라에 의한 점자 입력으로 고성능 카메라의 활용범위 및 가치를 높일 수 있는 방법을 제공함에 있다.

본 발명의 또 다른 목적은 카메라를 통해 촬영된 점자를 인식하여 한글뿐만 아니라 여러 나라 다른 언어들의 문자로 변환하여 저장하거나 문자전송(e-메일, SMS...)을 할 수 있고 시각장애자들 뿐만 아니라 일반인도 이해를 용이하게 할 수 있는 방법을 제공함에 있다.

본 발명의 또 다른 목적은 카메라를 통해 촬영된 점자를 인식하여 문자로 변환한 후 시각장애자에게 음성으로 변환하여 제공할 수 있는 방법을 제공함에 있다.

상기 목적을 수행하기 위한 본 발명은 점자를 카메라를 통해 촬영하여 이미지화 한후 데이터 형식으로 디코딩하는 점자촬영입력부와,

점자이미지에 대해 다양한 언어의 문자로 변환을 위한 데이터를 보관하고 있는 점자데이타베이스부와, 점자 이미지의 디코딩된 값과 점자데이타베이스부의 출 력과 비교하여 점자를 인식하는 점자인식부와,

상기 점자인식부에서 인식된 점자를 설정된 한글, 영어, 일어.....등의 여러가지 문자로 변환하는 문자변환부와, 상기 문자변환부에서 인식된 점자를 한글, 영어, 일어.....등의 여러 가지 문자로 변환시 참조되는 점자-문자변환용테이블부로 구성되어 있으며, 상기 변환된 문자는 SMS등 다른 용도로 사용할수 있고, TTS로 곧바로 음성으로 들려 줄수 있도록 구성되어 있다.

또한 다른 목적을 위해서는 이동통신단말기의 카메라를 통해 점자를 촬영에 의해 입력하는 점자입력과정과, 상기 점자입력과정에서 촬영된 점자이미지를 디코딩하는 이미지디코딩과정과, 상기 이미지디코딩과정에서 디코딩된 점자데이터의 볼록한 특성의 명암, 굴곡의 차이로 구분하여 이미 저장된 점자 데이터베이스상의 테이블과 이용하여 해당하는 점자를 인식하는 점자인식과정과,상기 점자 인식과정에서 인식된 점자를 이미 저장된 점자와 일반 문자간의 변환테이블을 이용하여 여러 가지 언어(한글, 영어, 중국어, 일어 . . .)중의 매칭이 되는 하나의 문자로 변환하는 문자변환과정으로 구성되며, 또한, 상기 문자 변환과정에서 변환 시 전체 또는 일부분을 변환할 수 있도록 선택이 되며, 상기 변환된 문자를 여러 가지로 저장과 e-메일, SMS등 다른 목적으로 이용하거나 음성으로 출력하는 등, 또한 이미지 점자를 그대로 또는 변환된 문자로 프린팅 하는 과정으로 구성됨을 특징으로 한다.

이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조할 것이다. 도면들 중 동일한 구성들은 가능한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

본 발명은 카메라가 설치되어 된 이동통신단말기에서 실시를 가능하며, 촬영된 점자 이미지를 점자로 인식을 위한 점자테이블용 데이터베이스부와, 인식된 점자를 일반 여러 가지 언어(한글, 영어, 일어, 중국어,,,,등)의 문자로 변환을 위해 마련된 변환 테이블 등과 같은 것은 본 발명에서 만 특정되어지는 것은 아니며, 또한 새로 구성을 하거나 이미 여러 가지 방법으로 제공되고 있는 것을 사용할 수 있는 것이어서 본 발명에서 특별히 특정되어지는 것이 아님을 밝혀 둔다. 따라서 이 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이다.

도 1은 본 발명의 실시 예에 따른 이동통신단말기의 구성을 도시하는 도면으로써, 특히 카메라를 구비하는 이동통신단말기의 구성을 도시하는 도면이다. 점자를 카메라부(140)를 통해 촬영하여 이미지화된 것을 데이터 형식으로 디코딩되어 영상처리부(150)를 통해 입력하는 점자촬영입력부와,

점자이미지에 대해 다양한 언어의 문자로 변환을 위한 점자데이타베이스부와 인식된 점자를 한글, 영어, 일어.....등의 여러 가지 문자로 변환시 참조되는 점자-문자변환용테이블부를 가지는 메모리(103)와,

점자 이미지의 디코딩된 값과 점자데이타베이스부의 출력과 비교하여 점자를 인식을 하도록 제어하는 점자인식부와 인식된 점자를 문자변환부에서 점자-문자변환용테이블부로 부터 설정된 한글, 영어, 일어.....등의 여러가지 문자로 변환하도록 제어하는 제어부(110)를 가지되, 제어부(110)는 상기 변환된 문자는 SMS등 다른 용도로 사용할수 있고, TTS로 곧바로 음성으로 들려 줄수 있도록 구성되어 있 다.

도 1중 설명하지 않은 부분에 대해 다음에서 설명을 하면, 상기 도 1의 RF부(123)는 이동통신단말기의 무선 통신 기능을 수행한다. 상기 RF부(123)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저 잡음으로 증폭하고 주파수를 하강 변환하는 RF 수신기 등을 포함한다.

데이터처리부(120)는 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기 등을 구비한다. 즉, 상기 데이터 처리부(123)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다. 여기서 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비하여 문자로 변환된 점자를 음성으로 출력할 수 있는 데이터로 처리한다.

오디오 처리부(125)는 상기 데이터 처리부(120)의 오디오 코덱에서 출력되는 수신 오디오신호를 재생하거나 또는 마이크로부터 발생되는 송신 오디오신호를 상기 데이터 처리부(120)의 오디오 코덱에 전송하는 기능을 수행하되, 인식이 되어 문자로 변환된 점자가 소리로 출력된다.

메모리(130)는 프로그램 메모리, 데이터 메모리들로 구성될 수 있다. 상기 프로그램 메모리는 이동통신단말기의 일반적인 동작을 제어하기 위한 프로그램들 및 본 발명의 실시 예에 따라 점자 인식 및 변환을 위한 프로그램들이 저장된다. 데이터 메모리는 카메라로부터 촬영되는 점자 이미지를 디코딩을 한 후 점자 인식을 위해 참조되는 점자 데이터베이스부(DB)와, 인식된 점자를 선택 또는 지정에 따 라 여러 가지 언어(한글, 영어, 일어, 중국어 . . .등)의 문자로 변환을 위해 참조되는 점자/일반 문자테이블부을 저장하고 있으며, 또한 상기 인식된 점자와 변환된 언어는 데이터 메모리에 바로 저장되나 선택에 따라 전화번호부, 사전 및 메모용으로 저장된다.

제어부(110)는 점자의 촬영과 점자인식부와 문자 변환부를 통해 점자인식 및 문자변환을 위한 제어할 뿐만 아니라 e-메일, SMS전송과 다른 목적으로 활용을 위해 저장이 되게 하는 등, 이동통신단말기의 전반적인 동작을 제어하는 기능을 수행한다. 또한 상기 제어부(110)는 상기 데이터처리부(120)을 포함할 수도 있다.

카메라부(Camera Module)(140)는 점자를 촬영하며, 촬영된 점자의 광 신호를 전기적 신호로 변환하는 카메라센서와, 상기 카메라센서로 부터 촬영되는 점자의 아날로그 영상신호를 디지털 데이터로 변환하는 신호 처리부를 구비하고 있어 점자이미지를 디지털 데이터로 변환한다.

영상처리부(150)는 상기 카메라부(140)에서 출력되는 점자의 영상신호를 프레임 단위로 처리하며, 상기 프레임 영상데이터를 상기 표시부(160)의 특성 및 크기에 맞춰 출력한다. 또한 상기 영상처리부(150)은 영상코덱을 구비하며, 상기 표시부(160)에 표시되는 프레임 영상데이터를 설정된 방식으로 압축하거나, 상기 압축된 프레임 영상데이터를 원래의 프레임 영상데이터로 복원하는 기능을 수행한다. 여기서 상기 영상코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다.

표시부(160)는 상기 영상처리부(150)에서 출력되는 점자영상신호를 화면으로 표시하는 것으로 점자 이미지 및 인식 또는 변환된 점자가 표시된다.

키입력부(127)는 점자인식처리를 위한 설정 및 선택을 위한 키들 및 각종 기능들을 설정하기 위한 기능키들을 구비하고 있다.

출력포트(170)는 프린터 연결포트로써 기존의 USB포트도 될 수 있으며, 제어부(110)에 의해 인식된 점자 또는 한글, 한자, 영어, 중국어......등 여러 가지 언어로 변환된 문자에 대해 프린팅 하고자 할시 직접 또는 컴퓨터로 옮겨 프린트할 수 있다.

도 2는 본 발명의 실시 예에 따른 카메라를 장착한 이동통신단말기에서 점자인식 및 변환을 위한 흐름도이다.

따라서 본 발명의 일실시 예를 도 1 내지 도 2를 참조하여 상세히 설명하면,일반적으로 점자용 묵지는 일반 종이보다 두껍기 때문에 구멍이 뚫린 부분과 그렇지 않는 부분에서 명. 암의 차이가 심한 것으로 알려져 있다. 본 발명은 점자의 볼록한 부분의 특징을 이용하여 카메라가 장착된 이동통신단말기에서 접촉 방법이 아닌 촬영에 의해 점자의 입력을 쉽게 하고자 하는 것이다. 즉, 촬영된 점자는 명.암의 차이와 점자를 구분하는 간격으로 부터 인식이 된다.

점자묵지에 만들어진 점자를 인식하기 위해서는 먼저 도 1의 예와 같이 카메라부(140)가 장착된 이동통신단말기에서 점자인식 및 변환을 위한 기능선택을 하게 된다. 기능선택을 위해 도 2의 (201)과정에서 키입력부(127)로 부터 키 입력이 있으면 제어부(110)는 촬영모드에 있는지를 (203)과정에서 확인을 한다. 촬영모드에 있으면 점자로 만들어진 문서를 카메라부(140)의 근접한 위치에 두고 촬영을 하면 디지털 점자이미지 데이터로 출력된다(205).

상기 카메라부(140)에서 출력된 점자 이미지 데이터는 제어부(110)의 제어에 의해 (207)과정에서 영상처리부(150)에서 프레임 단위로 받아 영상 코덱에서 디코딩한 후 표시부(160)에 표시를 하게 된다.

상기 디코딩한 점자 이미지 데이터에 대해 점자인식을 위해 지정이 되어 있는가를 (209)과정에서 체크한다.

점자인식을 위한 모드에 있지 않으면 계속 디코딩된 이미지를 그대로 표시를 하고,점자인식을 위한 모드에 있으면 제어부(110)는 (213)과정에서 디코딩된 점자 이미지를 메모리(130)에 있는 점자 데이터베이스(DB)의 테이블과 참조하여 점자를 인식한다.

상기 인식된 점자에 대해 시각장애자 또는 장애자를 돕기 위한 일반인(자원봉사자)가 필요로 하는 언어, 곧 문자로 변환하게 되는데, 인식한 점자의 전체를 필요한 언어로 변환 할 것인지 아니면 일부분만 할 것 인지를 (215)과정에서 선택에 대해 확인을 한다. 전체가 아니고 부분선택이면 (217)과정에서 기준시점으로 부터 방향키를 이용하여 인식할 부분만을 선택한다.

키 입력부(127)의 입력에 의해 제어부(110)은 상기 (215),(217)과정에서 선택한 부분에 따라 변환할 여러 가지 언어(한글, 영어, 일어....등)중 하나를 선택한다. 시각장애자 또는 장애자를 돕는 일반인이 필요로 하는 언어가 지정이 되면 (219)과정에서 제어부(110)는 메모리(130)의 점자를 일반문자로 변환하기 위한 변환테이블을 참조하여 해당 문자로 변환되어 표시부(160)에 표시시킨다(221). 상기 여러 가지 필요한 문자로 변환하여 표시 할 경우 점자라는 특수한 언어를 몰라도 시각장애인은 물론 일반인도 쉽게 읽고 이해할 수 있게 된다.

상기 변환된 문자에 대해 전화번호부(225), 사전 및 메모부로 저장 할 것인지(225,227)에 따라 메모리부(130)의 전화번호부, 사전, 메모부에 저장이 되며(235,237),SMS 또는 메시지 전송모드이면(223), 제어부(110)는 통화의 메시지 전송 모드로 들어가 문자를 데이터처리부(120), RF부(123)를 통해 송신한다(233).

상기 문자에 대해 음성으로 변환(TTS)하기 위한 모드이면(229) 제어부(110)에서 시각장애자가 음성으로 들을 수 있는 데이터로 변환하여 데이터 처리부(120)를 통해 오디오 처리부(125)를 거쳐 음성으로 출력한다(229).

한편, 상기 변환된 문자를 그대로 프린팅 하고자 할시 제어부(110)는 메모리(130)로부터 변환된 문자를 읽어 (241)과정에서 출력포트(170)를 통해 출력하면 컴퓨터로 옮겨 프린터로 출력시킬 수 있게 되고, 상기 (213)과정에서 인식된 점자를 프린팅 하고자 할시 메모리(130)에 저장된 점자를 읽어 (243)과정에서 출력포트(170)를 통해 출력하게 되고, (219)과정에서 문자로 변환된 점자를 출력하고자 할시 메모리(130)로 부터 읽어 (241)과정에서 출력포트(170)를 통해 출력하면 연결된 프린터로 직접 출력하거나 컴퓨터로 옮겨 프린터로 출력시킬 수 있게 된다.

상술한 바와 같이 본 발명은 점자입력을 이동통신단말기의 카메라의 촬영이라는 방법을 통해 입력하므로 점자를 쉽게 입력할 수 있고, 상기 입력된 점자는 자동으로 인식과 여러 가지 언어의 문자로 변환하거나 음성으로 제공할 수 있어 사회 적으로 소외를 받고 있는 시각장애자들에게 도움을 줄 뿐만 아니라 점자를 모르는 자원 봉사자 등, 일반인도 쉽게 해석이 가능하며, 고기능화 되어가는 이동통신단말기의 카메라의 활용 범위를 높이는 이점이 있다.

Claims

카메라를 내장한 이동통신단말기에 있어서,

상기 이동통신단말기의 각입력모드에서 점자입력을 비접촉으로 하는 입력과정과, 상기 입력과정에서 입력된 점자이미지를 인식하는 인식과정과,

상기 점자 인식과정에서 인식된 점자를 변환테이블에 따라 지정되는 문자 또는 음성으로 변환하는 변환과정으로 구성됨을 특징으로 하는 이동통신단말기에 있어서 점자인식 및 변환방법.
제 1항에 있어서,

입력과정은 카메라의 촬영을 통해 비접촉으로 점자를 입력하도록 구성됨을 특징으

로 하는 이동통신단말기에 있어서 점자인식 및 변환방법.
제 1항에 있어서,

문자변환과정은 사용자가 원하는 다국가 사용언어 또는 음성으로 변환하도록 구성됨을 특징으로 하는 이동통신단말기에 있어서 점자인식 및 변환방법.
카메라를 내장한 이동통신단말기에 있어서,

상기 이동통신단말기의 각입력모드에서 카메라를 통해 점자를 촬영하여 입력하는 점자입력과정과, 상기 점자입력과정에서 촬영된 점자이미지를 디코딩하는 이미지디코딩과정과, 상기 이미지디코딩과정에서 디코딩된 점자 데이터의 명암의 차이와 점자를 구분하여 주는 간격의 요소로 부터 기 저장된 점자 데이터 베이스상의 테이블과 참조하여 점자를 인식하는 점자인식과정과, 상기 점자 인식과정에서 인식된 점자를 문자간의 변환테이블에 따라 여러 가지 언어(한글, 영어, 중국어, 일어.....등)의 매치되는 문자로 변환하는 문자변환과정으로 구성됨을 특징으로 하는 이동통신단말기에 있어서 점자인식 및 변환방법.
제4항에 있어서,

상기 문자변환과정에서 문자변환을 전체 또는 일부분을 변환할 것인지에 대해 선택하는 과정을 더 추가함을 특징으로 하는 이동통신단말기에 있어서 점자인식 및 변환방법.
제4에 있어서,

상기 문자변환과정에서 변환된 문자를 저장(전화번호부, 사전부, 메모부...등) 또는 음성으로 변환(TTS)하는 과정을 더 추가함을 특징으로 하는 이동통신단말기에 있어서 점자인식 및 변환방법
제4항에 있어서,

상기 문자변환과정에서 변환된 문자를 e-메일 또는 SMS으로 전송하는 과정을 더 추가함을 특징으로 하는 이동통신단말기에 있어서 점자인식 및 변환방법.
제4항에 있어서,

상기 점자인식과정에서 인식된 점자 또는 문자변환과정에서 변환된 문자를 프린트하는 과정을 더 추가함을 특징으로 하는 이동통신단말기에 있어서 점자인식 및 변환방법.
카메라부를 장착된 이동통신단말기에 있어서,

상기 점자를 이동통신단말기의 각입력모드에서 이미지 데이터 형식으로 디코딩하여 입력하는 점자입력부와,

상기 점자이미지에 대해 다양한 언어의 문자로 변환을 위한 데이터를 보관하고 있는 점자데이타베이스부와,

상기 점자 이미지의 디코딩된 값과 점자데이타베이스부의 출력과 비교하여 점 자를 인식하는 점자인식부와,

상기 점자인식부에서 인식된 점자를 설정된 한글, 영어, 일어.....등의 여러가지 문자로 변환하는 문자변환부와,

상기 문자변환부에서 인식된 점자를 한글, 영어, 일어.....등의 여러 가지 문자로 변환시 참조 되는 점자-문자변환용테이블부로 구성됨을 특징으로 하는 이동통신단말기에 있어서 점자인식 및 변환시스템.
제 9항에 있어서,

점자 입력부는 카메라의 촬영을 통해 입력하도록 구성됨을 특징으로 하는 이동통신단말기에 있어서 점자인식 및 변환시스템.