KR100949353B1 - 언어 장애인용 대화 보조 장치 - Google Patents

Abstract

본 발명은 언어 장애인용 대화 보조 장치에 관한 것이며, 특히 언어 장애인이 휴대하고 다니며 커뮤니케이션을 할 수 있도록 보조하는 포터블 전자 장치에 관한 것이다.

본 발명은, 언어 장애인용 대화 보조 장치인 개인 휴대용 정보 단말기로서, 디스플레이 유닛과, 지정된 기능을 제어부에 전달하는 기능 스위치부를 가지며, 메모리부에는 음절·단어예측 데이터베이스 및 다수의 카테고리로 분류된 문장 데이터베이스가 저장되고, 지정된 음성을 출력하는 스피커부를 가지며, 입력문장을 예측해 주는 예측 입력 애플리케이션 프로세서를 포함하며, 작성된 문장을 기저장된 음성 데이터에 기초하여 음성 합성을 수행하는 음성 합성 애플리케이션 프로세서를 포함한다. 이러한 본 발명을 이용함으로써, 장애인은 언제나 본 발명의 장치를 휴대하면서 신속하고 정확하게 커뮤니케이션할 수 있기 때문에, 장애인 상호 간뿐만 아니라 비장애인과의 소통에도 크게 기여할 것이다.

Description

언어 장애인용 대화 보조 장치{COMMUNICATION ASSISTANCE APPARATUS FOR THE DEAF-MUTISM AND THE LIKE}

본 발명은 언어 장애인용 대화 보조 장치에 관한 것이며, 특히 언어 장애인이 휴대하고 다니며 커뮤니케이션을 할 수 있도록 보조하는 포터블 전자 장치에 관한 것이다.

청각 장애인이나 언어 장애인들(뇌성마비, 유창성 장애 등)은 그들의 장애로 인하여 타인과 의사소통을 하기가 어렵다. 이러한 장애인 또는 유사장애인들의 의사소통을 위하여 수화와 같은 언어소통수단을 이용하지만, 이를 위해서는 수화를 익혀야하는 전제 조건이 필요하다. 따라서 수화를 알지 못하는 일반인들이나 수화에 익숙하지 않은 언어장애인과의 대화는 현실적으로 매우 어렵다. 이러한 객관적인 상황으로 말미암아 청각 장애인이나 언어 장애인들의 생활 영역과 인간관계가 매우 좁은 범위로 한정될 수밖에 없는 결과를 낳고 있다.

한편, 오늘날 유무선 인터넷과 이동통신망을 이용한 네트워크 기술의 발전과, 컴퓨터, 노트북 컴퓨터, 모바일 기기 등의 전자 장치의 보급은 개인과 개인의 소통이 더욱 신속하고 광범위하게 이루어지도록 하고 있다. 이러한 전자 장치들은 소정의 문자입력수단을 구비하고 있기 때문에, 청각 장애인이나 언어 장애인이 이러한 입력수단을 이용하여 소통을 도모하는 것이 가능하다. 그러나 그 소통이 실질적으로 가능하기 위해서는, 정보의 접근이 용이해야 하며, 전자 장치를 쉽게 이용할 수 있어야 한다. 즉, 유저가 장애인임을 전제로 한 유저 인터페이스가 확립되어야 하는 문제점이 있다.

이 문제점을 해결하기 위해서는 장애의 특성이 고려되어야 한다. 다른 신체적인 장애는 없으나(즉, 손을 자유롭게 움직일 수 있음) 말하고 듣기가 안 되는 장애와, 뇌성 마비와 같이 손을 자유롭게 움직이지 못하여 키보드나 마우스와 같은 입력수단을 자유롭게 조작하지 못하는 장애 등을 구별해서 유저 인터페이스가 특성화되어야 한다. 이러한 환경이 확립되지 않으면 장애인의 정보 접근권이 크게 제약될 수밖에 없다.

또한, 전자장치를 이용한 모든 커뮤니케이션에서도 마찬가지이겠지만, 특히 장애인에게 있어서는 자신의 의사표현을 보다 신속하게 할 수 있는 수단, 즉 문자 입력 등이 쉽고 빠르게 입력될 수 있어야 함이 매우 중요하다. 장애인들이 타인과 대화를 함에 있어서 입과 귀를 이용하여 즉시, 즉 바로바로 대화하는 것이 아니기 때문에, 어느 정도 시간이 소요될 수밖에 없고, 전자 장치를 이용함에 있어서도 입력에 시간이 많이 소요되기 때문에, 이 입력 수단을 줄이는 것이 장애인을 위한 전자 장치의 가장 본질적인 문제로 인식된다.

본 발명의 발명가는 이러한 문제를 해결하기 위하여 예의 연구 노력하여 본 발명을 완성하였다.

본 발명이 해결하고자 하는 기본적인 과제는 장애인이 장애인 상호뿐만 아니라 비장애인과도 대화도 용이하게 할 수 있는 휴대용 대화 보조 장치를 제공함에 있다. 이러한 본 발명의 기본적인 과제는 다음의 목적들에 의하여 보다 구체화된다.

1. 휴대가 편리할 것.

2. 휴대가 편리하며 문자 입력이 용이하여 바로바로 의사소통할 수 있도록 할 것.

3. 휴대와 문자 입력이 편리하며, 입력된 문자가 음성 신호로 변환되도록 할 것.

4. 청각 장애인의 수화를 촬영하고 영상 데이터를 생성하여 통신중계센터와 통신할 수 있도록 함으로써, 정보 통신 접근성을 향상시킬 것.

한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.

위와 같은 목적을 달성하기 위하여, 본 발명은, 언어 장애인용 대화 보조 장치인 개인 휴대용 정보 단말기로서,

디스플레이 유닛과, 지정된 기능을 제어부에 전달하는 기능 스위치부를 가지 며, 메모리부에는 음절·단어예측 데이터베이스 및 다수의 카테고리로 분류된 문장 데이터베이스가 저장되고, 지정된 음성을 출력하는 스피커부를 가지며,

텍스트 입력 신호에 응답하여 입력된 문자 또는 기호로부터 근거를 추출하며, 상기 음절·단어예측 데이터베이스로부터 음절 및 단어 예측 후보군을 생성하여, 상기 디스플레이 유닛의 화면에 표시하고,

상기 텍스트 입력 신호가 문장 검색을 명령하는 신호인 경우, 상기 카테고리로 분류된 문장 데이터베이스에 액세스하여 분류화면을 상기 디스플레이 유닛의 화면에 표시하고,

화면에 표시된 예측 정보로부터 입력 문장을 지정하는 절차를 수행하는 예측 입력 애플리케이션 프로세서를 포함하며,

상기 예측 입력 애플리케이션 프로세서를 이용하여 작성된 문장을 기저장된 음성 데이터에 기초하여 음성 합성을 수행하는 음성 합성 애플리케이션 프로세서를 포함하는 것을 특징으로 한다.

또한, 본 발명의 어떤 실시예에서는, 상기 디스플레이 유닛의 전면 방향으로 외부 하우징의 지정된 위치에 설치되는 제 1 카메라와, 원거리에 위치하는 외부 장치와 통신하는 통신장치를 더 포함하며,

상기 제 1 카메라를 통해 사용자의 수화 또는 행동을 실시간으로 촬영하여 화상 전송용 동영상 파일을 생성하고,

상기 통신장치를 통해 상기 동영상 파일을 상기 외부 장치로 송신한다.

또한, 상기 디스플레이 유닛의 배면 방향으로 외부 하우징의 지정된 위치에 설치되는 제 2 카메라를 더 포함하며, 상기 제 2 카메라를 이용하여 일반 촬영을 수행함으로써 2개의 카메라 촬영 시스템으로 구성하여도 좋다.

또한, 본 발명의 다른 실시예에서는, 원거리에 위치하는 통신 중계 서비스 센터와 통신하기 위한 통신장치를 더 포함하며,

상기 예측 입력 애플리케이션 프로세서를 이용하여 작성된 문장을 상기 통신 중계 서비스 센터로 송신하는 것이 좋다.

또한, 상기 예측 입력 애플리케이션 프로세서는, 입력되는 음절·단어의 입력 이벤트에 따라 상기 음절·단어예측 데이터베이스를 갱신하고, 입력되는 문장의 입력 이벤트에 따라 상기 카테고리로 분류된 문장 데이터베이스를 갱신하는 학습모듈을 더 포함하여도 좋다.

또한, 상기 음절·단어예측 데이터베이스와 관련하여, 상기 예측 입력 애플리케이션 프로세서는:

입력된 문자 또는 기호가 갖는 문법적 요소와 의미적 요소를 토대로 근거를 추출하는 근거 추출 모듈; 추출된 근거를 이용하여 다음에 입력될 것으로 예측되는 음절 및 단어 예측 후보군을 상기 음절·단어예측 데이터베이스에서 1개 이상 추출하는 음절·단어 예측후보군 추출 모듈; 추출된 1개 이상의 음절·단어 예측 후보군을 지정된 개수로 선별하여 상기 디스플레이 유닛의 화면에 표시하는 예측후보군 표시 모듈; 및

상기 표시된 음절·단어 예측후보군이 선택되거나 선택되지 아니하고 문자 입력이 행해지는 경우, 실시간 학습 이벤트를 생성하여 상기 음절·단어예측 데이 터베이스를 갱신하는 학습 모듈을 포함할 수 있다.

또한, 상기 카테고리로 분류된 문장 데이터베이스와 관련하여, 상기 예측 입력 애플리케이션 프로세서는:

장소별·상황별로 문장을 분류하여 저장하는 카테고리 생성 모듈; 상기 문장 데이터베이스의 각 카테고리를 삭제·변경·추가하는 카테고리 관리 모듈; 및

입력되는 문장의 입력 이벤트에 따라 상기 카테고리로 분류된 문장 데이터베이스를 갱신하는 학습 모듈;을 포함할 수 있다.

또한, 본 발명의 바람직한 실시예에서, 상기 텍스트 신호가 문장 검색을 명령하는 신호인 경우, 상기 텍스트 입력 신호에 이어서 입력되는 검색어들에 대응하는 상기 카테고리로 분류된 문장 데이터베이스내의 문장들을 검출하는 검색어 기반 문장검색 프로세서를 더 포함하는 것이 좋다.

이 때, 상기 검색어는 검색 대상 문장들의 단어들 또는 어절들내의 1개 이상의 초성 자소인 것이 좋다.

또한, 상기 카테고리로 분류된 문장 데이터베이스 검색시, 특정 카테고리로 지정되면 지정된 카테고리 및 부속 카테고리에서 문장을 검색하는 것이 좋다.

또한, 본 발명의 다른 특징으로는, 언어 장애인용 대화 보조 장치인 개인 휴대용 정보 단말기로서:

디스플레이 유닛과, 지정된 기능을 제어부에 전달하는 기능 스위치부를 가지고,

입력수단에 의해 입력된 문장을 음성 합성 장치에 의해 음성을 생성하고,

생성된 음성을 출력하는 스피커부를 가지고,

상기 디스플레이 유닛의 전면 방향으로 외부 하우징의 지정된 위치에 설치되는 제 1 카메라를 구비하며, 이 제 1 카메라를 통해 사용자의 수화 또는 행동을 실시간으로 촬영하여 화상 전송용 동영상 파일로 생성하고,

원거리에 위치하는 외부 장치와 통신하는 통신장치를 구비하여, 상기 통신장치를 통해 상기 동영상 파일을 상기 외부 장치로 송신하는 것을 특징으로 한다.

또한, 상기 디스플레이 유닛의 배면 방향으로 외부 하우징의 지정된 위치에 설치되는 제 2 카메라를 더 포함하며, 상기 제 2 카메라를 이용하여 일반 촬영을 수행하도록 할 수 있다.

위와 같은 본 발명의 과제 해결 수단에 의하여, 본 발명은 장애인의 신속하고 편리한 커뮤니케이션에 크게 기여한다. 장애인은 휴대용 전자장치인 본 발명의 대화 보조 장치를 언제나 휴대할 수 있으며, 내장된 음절/단어/문장의 예측 애플리케이션 프로세서를 통해 문장을 빠르게 입력할 수 있으며, 입력된 문장을 음성으로 변환함으로써 장애인 상호 간뿐만 아니라 비장애인과의 소통에도 크게 기여할 수 있다.

본 발명을 통해, 장애인들의 사회활동 참여를 기술적으로 보조하는 것이 실질적으로 가능해질 것이다.

본 발명의 명세서에서 구체적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

이하, 첨부된 도면을 참조하여 본 발명의 구체적인 내용을 설명한다. 단, 본 발명을 설명함에 있어서, 관련된 공지기능 등 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

도 1은 디스플레이 화면을 갖는 디스플레이 유닛(140)과 본 발명의 원리들에 따라 예측 입력 애플리케이션 프로세서(120) 및 음성 합성 애플리케이션 프로세서(125)를 포함하는 제어부(100)를 갖는 개인 휴대용 정보 단말기(Personal Digital Apparatus)의 내부 구성을 개념적으로 개략 도시하는 블록도이다. 제어부(100)는 중앙 처리 유닛(CPU)(110)을 포함하며, 화살표의 지시방향과 같이 신호들을 송수신한다. 디스플레이 유닛(140)은 TFT LCD 패널로 이루어지며, 사용자의 문자 입력 수단, 장치내에서 추출되는 음절·문자 예측 후보, 예측 문장, 입력된 문장 등을 표시하며, 터치 스크린 기능이 있어서 제 기능을 화면에서 실행시킬 수 있다. 디스플레이 유닛(140)이 터치 패널 역할을 하기 때문에, 텍스트 입력 장치(190)는 디스플레이 유닛(140)과 그 기능이 일체화된다. 기능 스위치부(150)는 메뉴를 선택하거나 선택된 메뉴를 실행시키고 미리 지정된 기능을 직접 실행하도록 한다. 커넥터부(210)은 USB 연결, DC 전원, 이어폰 등을 연결하며, 스피커부(200)는 텍스트에서 음성으로 변환된 음성 신호를 전달하는 역할을 수행하며, 배터리부(160)는 본 단말장치를 작동시키는 전원을 공급하는 리튬 이온 또는 리튬 폴리머와 같은 고용량 2차 전지로 구성된다.

도 1의 실시예에서 본 발명의 메모리부(130)는 SD 플래시 메모리로 외장형으로 구성되어 응용 애플리케이션 프로그램, 운영 시스템 소프트웨어 및 데이터를 저장한다. 그러나 실시예에 따라서는 외장형 SD 메모리가 아닌 내장형 내부 플래시 메모리로 동일한 기능을 수행하도록 할 수 있음을 첨언한다. 중요 프로그램과 데이터를 저장하는 메모리부(130)를 외장 SD 플래시 메모리로 구성하는 경우, 단말장치 내부의 제어부(100)와 물리적으로 구별될 것이다. 그러나 예측 입력 애플리케이션 프로세서(120) 및 음성 합성 애플리케이션 프로세서(125)는 메모리부(130)에 저장되지만, 메모리부(130)를 어디에 구성할 것인지는 임의적이기 때문에, 단지 설명의 편의를 위하여 예측 입력 애플리케이션 프로세서(120) 및 음성 합성 애플리케이션 프로세서(125)의 구조 및 동작을 메모리부(130)와 구별하여 별개의 유닛으로 기술하기로 한다. 그러나 예측 입력 애플리케이션 프로세서(120)는 메모리부(130)에 저장된 데이터베이스 및 예측 입력 애플리케이션 소프트웨어를 포함하며, 음성 합성 애플리케이션 프로세서(125)도 메모리부(130)에 저장된 데이터베이스 및 음성 합성 애플리케이션 소프트웨어를 포함하며, 본 발명을 수행하기 위해서는 제어부(100) 내 CPU(110)와 통신하여 동작한다는 것은 쉽게 이해될 것이다.

다시 도 1로 돌아가서, 본 발명의 단말장치는, 일 실시예에서, 카메라부(170)를 포함한다. 또한 원거리에 위치하는 외부 장치, 특히 통신 중계 서비스 센터(Telecommunication Relay Service Center; TRS 센터)와 통신하기 위한 통신장치(180)가 포함될 수 있다. 이 통신장치(180)는 IEEE 802.1 표준 프로토콜 및 Wibro 표준에 적합한 통신장치이며, TRS 센터에 단말장치로 입력된 문자 및 상기 카메라부(170)에서 촬영한 영상을 송신한다. 카메라부(170)는 CMOS 영상 센서를 이용한 카메라를 이용하여 실시간으로 입력되는 사용자의 수화 또는 행동을 촬영하여 화상 전송용 동영상 파일로 생성한다. 카메라부(170)에서 생성된 영상은 통신장치(180)을 통하여 원거리에 위치하는 상기 TRS 센터로 송신된다.

도 2는 예측 입력 애플리케이션 프로세서(120)에 포함되는 몇 가지 소프트웨어 모듈을 도시한다. 예측 입력 애플리케이션 프로세서(120)는 음절 및 단어를 예측하는 프로그램인 음절·단어 예측 소프트웨어(121)와 카테고리로 분류된 문장 데이터베이스에서 문장 데이터를 추출하는 문장 예측 소프트웨어(122)로, 크게 2종류의 소프트웨어가 결합되어 있으며, 각각 메모리부의 음절·단어 예측 데이터베이스와 카테고리로 분류된 문장 데이터베이스에 액세스하여 필요한 예측 정보를 디스플레이 유닛(11)의 화면에 표출하는 기능을 수행한다.

음절·단어 예측 소프트웨어(121)는 디스플레이 유닛(140)의 터치스크린을 통해 입력된 문자 또는 기호가 갖는 문법적 요소와 의미적 요소를 토대로 근거를 추출하는 근거 추출 모듈(1211)과, 추출된 근거를 이용하여 다음에 입력될 것으로 예측되는 음절 및 단어 예측 후보군을 음절·단어예측 데이터베이스에서 1개 이상 추출하는 음절·단어 예측후보군 추출 모듈(1212)과, 추출된 1개 이상의 음절·단어 예측 후보군을, 근거와 예측 후보군 사이의 상호 연관성 값을 비교 평가한 후 미리 지정된 개수로 선별하여 디스플레이 유닛의 화면에 표시하는 예측 후보군 표시 모듈(1213)을 포함한다. 또한, 표시된 음절·단어 예측후보군이 선택되거나, 선택되지 아니하고 새롭게 문자 입력이 행해지는 경우, 그러한 사실이 발생하였다는 실시간 학습 이벤트를 생성하여 상기 음절·단어예측 데이터베이스를 갱신하는 학습 모듈(1214)을 포함한다. 음절·단어 예측 소프트웨어(121)의 각 모듈들의 기능 및 관계에 대해서는 다시 후술한다.

문장 예측 소프트웨어(122)는, 장소별·상황별로 문장을 분류하여 저장하는 카테고리 생성 모듈(1221)과, 문장 데이터베이스의 각 카테고리를 삭제·변경·추가하는 카테고리 관리 모듈(1222)와 입력되는 문장의 입력 이벤트에 따라 상기 카테고리로 분류된 문장 데이터베이스을 갱신하는 학습 모듈(1223)을 포함한다. 카테고리 생성 모듈(1221)은 미리 입력 가능한 문장을 장소별로 분류하여 다양한 문장을 미리 저장하며, 또한 상황별로 분류하여 문장을 미리 저장한다. 카테고리 관리 모듈(1222)은 사용자가 각 카테고리를 삭제, 변경하거나, 새로운 카테고리를 생성하거나 또는 각 카테고리로 분류되어 저장된 데이터의 수정, 추가 또는 삭제를 수행하는 모듈로서, 상기 음절·단어 예측 소프트웨어(121)의 프로세스와 달리, 유저가 적극적으로 관리할 수 있는 환경을 제공한다. 그러나 장애인의 장애 유형에 따라서는 적극적으로 카테고리를 편집하고 관리하는 것이 쉽지 않기 때문에, 시스템 내부에서 자동으로 범주화된 문장 데이터베이스(1223)를 갱신하는 학습 모 듈(1223)은 매우 유용하다. 이 학습 모듈(1223)은, 반복적으로 작성되는 문장의 자동인지를 가능하도록 한다. 즉, 사용자에게 의해 입력된 문장의 가중치를 변경함으로써, 해당 카테고리에서 우선적으로 표출되는 문장의 우선 순위에 영향을 미친다.

도 3은 메모리부(130)의 논리적인 구성을 예시하고 있다. 메모리부(130)는 애플리케이션 기능을 수행하는 데 필요한 애플리케이션 프로그램을 저장하는 애플리케이션 프로그램 영역(1310)과 데이터를 저장하는 데이터 저장 영역(1320)을 포함한다. 애플리케이션 프로그램 영역(1310)에는 운영 시스템 소프트웨어, 음절·단어 예측 애플리케이션 소프트웨어, 음성 합성 애플리케이션 소프트웨어, 카메라부(170)부가 촬영한 동영상을 TRS 센터에 전송하기 위한 애플리케이션 소프트웨어 등이 저장된다. 데이터 저장 영역(1320)에는 음절·단어 예측 데이터베이스(1321), 카테고리로 분류된 문장 데이터베이스(1322), 문장을 음성으로 변환(Text to Speech; TTS)하기 위하여 각각의 문자 또는 문장에 대응되는 음성 데이터가 기록된 음성 변환 데이터베이스(1323)를 포함한다.

한편, 상기 애플리케이션 프로그램 영역(1310)에 저장되는 음성 합성 애플리케이션 소프트웨어와 상기 데이터 저장 영역(1320)에 저장되는 음성 변환 데이터베이스(1323)는 음성 합성 애플리케이션 프로세서(125)를 구성하며, 이 음성 합성 애플리케이션 프로세서(125)는 예측 입력 애플리케이션 프로세서(120)를 이용해서 작성된 문장(Text)을 음성 변환 데이터베이스(1323)에 저장된 음성 데이터와 매칭하여 사운드로 변환해서 음성 합성을 수행하며, 합성된 음성을 스피커부(200)를 통해 외부로 출력함으로써 장애인의 의사소통(말하기)을 실현한다.

도 4는 본 발명의 장치가 상기 예측 입력 애플리케이션 프로세서가 수행하는 음절·단어 예측 방법을 설명한다. 이때 음절·단어 예측 애플리케이션 소프트웨어의 각 모듈들의 구체적인 기능이 구현된다. 사용자가 스위치부의 버튼을 누르거나 디스플레이 유닛의 화면의 터치 스크린 버튼을 선택하여 텍스트를 입력하고자 하면, 이 텍스트 입력 신호에 응답하여 입력된 문자 또는 기호로부터 근거를 추출하며, 상기 음절·단어예측 데이터베이스로부터 음절 및 단어 예측 후보군을 생성하여, 상기 디스플레이 유닛의 화면에 표시하는 프로세스이다.

음절·단어 예측 데이터베이스(1322)에는 가능한 다양한 근거별로 함께 나타날 가능성이 높음 음절, 복합 음절, 단어 등의 예측 대상 후보들이 예측정보로서 저장되어 있다. 바람직하게는 각 근거와 각 예측 대상 사이의 상호 연관성 정도를 나타내는 근거와 예측 대상 간의 연관성 값이 함께 저장된다. 이 연관성 값은 일종의 확률로서, 하나의 근거에 대해 함께 나타난 모든 예측 대상 후보들 중 특정 예측 대상 후보의 상대적 연관성 정도를 의미하는 값이다.

음절·단어 예측 소프트웨어(121)의 근거 추출 모듈(1211)은 디스플레이 유닛(110)의 터치스크린을 통해 입력된 문자 또는 기호(예컨대 공백을 의미하는 스페이스, 숫자 등)가 갖는 문법적 요소와 의미적 요소를 토대로 근거를 추출한다. 문법적 요소는 품사, 조사, 활용 접미어 등을 포함하며, 의미적 요소는 입력된 문자에 이어서 연결되어 완성되는 어떤 단어의 의미, 전체 문장의 문맥 등을 포함한다. 즉, 다음에 예측될 대상은 의미적으로, 문법적으로 이미 입력된 단어(또는 문자)와 상관성이 높은 단어나 단어의 구성 음절일 가능성이 크다는 의미이다. 이와 관련한 언어학적 기술에 대해서는 당업자가 충분히 알 수 있는 내용이므로 여기서는 구체적으로 설명하지는 않는다.

음절·단어 예측 후보군 추출 모듈(1212)은 추출된 근거를 이용하여 다음에 입력될 것으로 예측되는 음절 및 단어 예측 후보군을 음절·단어예측 데이터베이스에서 1개 이상 추출하며, 예측 후보군 표시 모듈(1213)은 추출된 1개 이상의 음절·단어 예측 후보군을, 근거와 예측 후보군 사이의 상호 연관성 값을 비교 평가한 후 미리 지정된 개수로 선별하여 디스플레이 유닛의 화면에 표시한다. 즉, 근거 추출 모듈(1211)을 통해 예측 상황에서 사용자의 입력으로부터 하나 이상의 근거들을 추출하고 음절·단어 예측 후보군 추출 모듈(1212)를 이용하여 음절·단어 예측 데이터베이스에서 검색하여 각 근거별로 가능한 예측 대상 후보들을 추출하여 연관성 값을 비교평가한 후 최종 예측 대상 후보를 선정한다.

이때 비교평가는 각 근거들에서 추출된 예측 대상 후보들 중 동일한 후보들이 존재하는 경우 연관성 값을 합하여 일치시키고 나서 다른 후보들과 비교하게 된다. 더 나아가 근거별로 별도의 가중치가 부여될 수 있는데 이 경우는 미리 연관성 값에 가중치를 반영한 후 동일한 예측 대상 후보들끼리 합산하게 된다. 또한, 예측 대상이 음절만이 아니라 복합음절, 단어, 2개 이상의 단어 또는 문장도 포함하는 경우, 예측된 복합음절, 단어, 2개 이상의 단어 또는 문장의 연관성값(일종의 평가된 예상 적중률)이 음절보다 낮다고 하여도 포함된 글자의 길이에 따른 가중치를 반영하여 최종 연관성값을 결정한다. 즉 음절 방식으로 예측할 경우 여러번 입 력하여야 하지만, 단어나 문장은 바로 예측되어 제시될 경우 한번에 입력할 수 있기 때문에 본 발명의 취지에 적합하도록 연관성 값을 높여주어 표출될 가능성을 높여 주는 것이다. 참고로 별도의 가중치를 부여하지 않더라도 관용어구와 같은 문맥에서 나타나는 복합음절이나 단어 또는 문장은 그 자체로 높은 연관성 값을 가질 수도 있다.

다시 말하면, 근거와 예측 후보군 사이의 상호 연관성 값을 연산하여 최종 예측 대상 후보를 선정하여 디스플레이 유닛의 화면에 표시할 때, 예측 후보군의 사용 빈도수, 최근 학습된 데이터, 관용 어구, 문장의 문맥, 미리 정해진 가중치 등이 고려될 것이다. 또한 언어 장애인들에게 짧은 음절이나 단어보다도 문장이 예측되는 것이 가장 효과적이기 때문에, 기구축되어 장소별, 상황별로 카테고리로 분류되어 문장 데이터베이스에 액세스하여 문장 자체를 예측 후보군으로 추출할 수 있다. 이때 카테고리를 먼저 선정하여 텍스트 입력을 개시하는 것이 효과적이다.

또한, 사용자의 선택에 의하여 음절 또는 단어 등이 입력되어 입력 이벤트가 발생한 경우, 학습 모듈(1214)은 음절·단어 예측 데이터베이스를 새롭게 갱신한다. 즉, 표시된 음절·단어 예측후보군이 선택되거나(이 경우는 추출된 후보군 중에 입력하고자 하는 단어, 음절 또는 문장이 있는 경우이다), 선택되지 아니하고 새롭게 문자 입력이 행해지는 경우, 그러한 사실이 발생하였다는 실시간 학습 이벤트를 생성하여 상기 음절·단어예측 데이터베이스를 갱신하는 학습 모듈(1214)을 갱신한다. 이 학습 모듈(1214)는 음절·단어예측 데이터의 가중치를 변경하기 때문에, 상기 근거와 예측 후보군 사이의 상호 연관성 값의 변동을 초래하며, 이를 통 해서 예측의 적중률을 향상시킨다.

다음으로, 상기 예측 입력 애플리케이션 프로세서가 수행하는 문장 예측 방법을 설명한다. 이때 미리 카테고리로 분류되어 저장된 문장 데이터베이스에 액세스하며, 디스플레이 유닛의 화면에는 카테고리로 분류된 데이터베이스에 저장된 문장 데이터들을 사용자 그래픽 인터페이스를 통해 분류화면으로 표시한다. 사용자가 스위치부의 버튼을 누르거나 디스플레이 유닛의 화면의 터치 스크린 버튼을 선택하여 분류된 문장 데이터베이스로부터 "불러오기"를 실행하며, 이 텍스트 입력 신호를 문장 검색을 명령하는 신호로 해석하고, 상기 카테고리로 분류된 문장 데이터베이스에 액세스하여 분류화면을 상기 디스플레이 유닛의 화면에 표시하는 프로세스이다. 사용자는 화면에 표시된 예측 정보로부터 입력 문장을 지정하는 절차를 수행한다. 도 5 및 도 6을 보자.

도 5 및 도 6은 본 발명의 디스플레이 유닛의 화면에 표시되는 일 실시예의 화면 구성을 나타내는 도면이다. 이때, 휴대용 대화 보조 장치의 스위치부(150) 버튼을 눌러서 "불러오기" 기능이 선택되고, 예측 입력 애플리케이션 프로세서가 다수의 카테고리로 분류되어 저장된 문장 데이터베이스에 액세스하여 분류화면을 디스플레이 유닛의 화면에 표시한다.

도 5는 문장 데이터베이스를 장소별로 카테고리화한 경우의 디스플레이 유닛의 화면(141) 구성의 일례로서, 범주 영역(143)에는 상점, 학교, 집, 식당, 교통, 병원, 긴급, 기타로 분류되어 있으며, 사용자가 이 범주 영역(143)의 해당 버튼을 누르면, 표시 영역(142)에 하위 범주 또는 해당 범주에 저장되어 있는 다양한 문장이 표시된다. 예컨대, 사용자가 범주 영역(143)에서 "상점" 카테고리에 해당하는 터치 버튼을 선택하면, 그 범주로 분류된 "이것은 얼마입니까?", "이것을 주세요", "다른 것은 없나요?", "포장해 주세요", "어디에 있습니까?", "유통기한은 언제입니까?", "사용하는데 문제는 없습니까?" 등 상점에서 자주 사용되는 문장이 문장 데이터베이스로부터 표출되어 표시 영역(142)에 표시된다. 사용자는 그 중 어느 하나를 선택할 수 있으며, 이 경우 일일이 문자를 입력하지 않고서도 신속하게 의사를 표현할 수 있게 된다.

도 6은 문장 데이터베이스를 상황별로 카테고리화한 경우의 디스플레이 유닛의 화면(141)의 구성의 예를 나타내고 있다. 범주 영역(143)에는 인사, 쇼핑, 소개, 감사, 사과, 친구, 긴급, 기타로 분류되어 있다. 도 5의 실시예와 마찬가지로 사용자가 이 범주 영역(143)의 해당 카테고리를 지시하는 버튼을 선택하면, 표시 영역(142)에 하위 범주 또는 해당 범주에 저장되어 있는 다양한 문장이 표시된다.

본 발명의 또 다른 실시예에서는, 검색어 기반 문장검색 프로세서(미도시)를 포함한다. 이 검색어 기반 문장검색 프로세서는, 기저장되어 있는 데이터베이스에서 문장을 검색할 때, 검색 대상 문장을 구성하는 어절들의 첫음절 초성 자소들을 입력하여 동일한 첫음절 초성 자소들을 가진 어절들을 포함한 문장들을 검색하거나, 적중률을 높이기 위해, 검색 대상 문장을 구성하는 각 어절의 앞에서부터 순차적으로 대응되는 초성 자소들과 각 어절들을 구별하기 위한 공백을 입력하여 유사 한 초성들이 추출되는 어절들을 포함한 문장을 검색함으로써 최소한의 문자 입력으로 원하는 전체 문장을 예측해 줄 수 있다.

예컨대, "그것은 얼마나 합니까?"라는 문장을 검색하고자 할 때, 구성 어절들의 각 초성 자소에 해당하는 "ㄱㅇㅎ"을 검색어로 입력함으로써, 기구축된 데이터베이스에서 "ㄱㅇㅎ"과 일치하는 초성들로 시작하는 어절들을 가진 "그것은 얼마입니까?"가 포함된 문장을 검출할 수 있게 된다. 또한 각 어절들의 초성 자소열들에 해당하는 "ㄱㄱ ㅇㅁ ㅎ"을 공백으로 분리하여 입력함으로써, 기구축 데이터베이스에서 "ㄱㄱ ㅇㅁ ㅎ"에 대응하는 문장들을 검출하는 것이다. 이를 위해서는 상기 카테고리로 분류된 문장 데이터베이스 내에 특정한 검색어(예컨대, 위의 "ㄱㅇㅎ" 또는 "ㄱㄱ ㅇㅁ ㅎ")에 대응하는 문장이 미리 저장되어야 한다. 또한, 학습 모듈에 의해 실시간으로 학습되어 갱신되는 것이 바람직할 것이다.

한편, 모든 문장 데이터베이스에서 위와 같은 검색어 기반 문장검색을 행하는 경우에는, 데이터베이스의 범위가 넓어져서 정확성이 떨어질 수 있다. 정확성이 떨어지는 것은 문자 입력에 시간이 더 소요됨을 의미하며, 장애인이 자의 의사표현에 직접적인 악영향을 끼치기 때문에, 문장을 검출하는 데이터베이스의 범위를 한정시키는 것은 유용하다. 따라서 카테고리로 미리 분류되는 데이터베이스를 이용하여, 해당 데이터베이스를 특정 카테고리, 예컨대 장소별 또는 상황별 분류를 지정하여, 그 지정된 카테고리 또는 해당 카테고리의 하위 카테고리(부속 카테고리)에 한해서 위와 같은 초성들의 자음을 이용한 "검색어 기반"의 문장 검색을 행할 수 있다.

도 7 내지 도 9는 본 발명의 대화 보조 장치의 외부 하우징의 일예를 나타내고 있다. 도 7은 본 발명의 대화 보조 장치의 정면도, 도 8은 사시도, 도 9는 듀얼 카메라 구조를 예시하는 단면도다. 본 발명의 장치는 PDA 단말 장치이며, 장치 하우징(10)은 정면으로 넓은 영역을 차지하는 디스플레이 유닛의 LCD 표시부(14), 메뉴를 선택하거나 선택된 메뉴를 실행시키고 미리 지정된 기능을 직접 실행하도록 표시하는 스위치부(15), 사용자의 수화나 행동을 촬영하여 원거리에 위치하는 외부 장치로 전송하기 위한 전면 카메라(17), 전원의 온/오프 상태를 표시해 주는 LED 표시부(19), 전원을 온/오프 시키는 스위치(16), TTS 등의 음성 및 사운드를 표출하는 스피커(20)가 도면에서 예시하는 위치에 설치되어 있다. 각 구성의 관계는 이미 도 1에서 설명한 바와 같다. 도 8에서 보는 바와 같이 장치 하우징(10)의 측면 소정 위치에는 USB, AC 어댑터, SD 카드 등이 연결되는 커넥터부(21)가 구성된다.

도 9에서 보는 바와 같이 본 발명의 대화 보조 장치에 있어서, 2개의 카메라가 구성된다. 도 9의 "A" 방향, 즉 디스플레이 유닛의 전면 방향을 지향하면서, 장치 하우징(10)의 상단 영역에는 전면 카메라(17)가 설치되고, 전면 카메라(17)의 피사체가 위치하는 방향의 반대 방향, 즉 디스플레이 유닛의 배면 방향("B" 방향)으로 장치 하우징(10)의 상단 영역(전면카메라(17)의 위치와 대응되는 위치)에는 후면 카메라(17′)가 설치된다. 전면 카메라(17)는 사용자의 수화 또는 행동을 실시간으로 촬영하여 통신장치를 통해 외부로 송신하기 위한 것이기 때문에, 장애인 을 대화를 보조하는 수단의 역할을 한다. 반면에 후면 카메라(17′)는 장애인의 커뮤니케이션과는 달리 사물이나 인물 등의 일반 촬영을 수행하는 역할을 한다.

도 10 내지 도 13은 본 발명의 실제 사용예를 나타내고 있다. 도 10은 초기 화면의 예, 도 11은 문장을 입력할 때 음절이나 단어를 예측해 주는 화면 예, 도 12는 반복 사용하는 문장 자체를 예측해 주는 화면 예, 도 13은 쇼핑으로 분류된 문장 데이터베이스에서 문장을 작성하는 화면 예를 나타낸다.

한편, 본 발명의 보호범위가 이상에서 명시적으로 설명한 실시례에 의해 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서의 자명한 변경이나 치환으로 말미암아 본 발명의 보호범위가 제한될 수도 없음을 첨언한다.

도 1은 본 발명의 내부 구성예를 개념적으로 나타내는 개략도다.

도 2는 본 발명의 일 실시예로서, 예측 입력 애플리케이션 프로세서에 포함되는 소프트웨어 모듈을 나타내는 도면이다.

도 3은 본 발명의 메모리부의 논리적인 구성예를 나타내는 도면이다.

도 4는 본 발명에 따른 음절·단어 예측 프로세스의 일예를 나타내는 도면이다.

도 5 및 도 6은 본 발명에 따라 카테고리로 분류된, 디스플레이 유닛의 화면 구성예를 나타내는 도면이다.

도 7은 본 발명의 외부 하우징의 일예를 나타내는 정면도다.

도 8은 본 발명의 외부 하우징의 일예를 나타내는 사시도다.

도 9는 본 발명에 따른 듀얼 카메라 구조를 나타내는 도면이다.

도 10 내지 도 13은 본 발명에 따른 단말 장치 사용예를 화면구성으로 나타내는 도면이다.

<도면의 주요부분에 대한 부호의 설명>

10 : 단말장치 하우징 14 : LCD 표시부

15 : 스위치부 16 : 전원 스위치

17 : 전면 카메라 17′: 후면 카메라

19 : LED 표시부 20 : 스피커

21 : 커넥터부

100 : 제어부 110 : 중앙 처리 유닛(CPU)

120 : 예측 입력 애플리케이션 프로세서

125 : 음성 합성 애플리케이션 프로세서

130 : 메모리부 140 : 디스플레이 유닛

150 : 기능 스위치부 160 : 배터리부

170 : 카메라부 180 : 통신장치

190 : 텍스트 입력 장치 200 : 스피커부

210 : 커넥터부

121 : 음절·단어 예측 소프트웨어

1211 : 근거 추출 모듈 1212 : 예측후보군 추출 모듈

1213 : 예측 후보군 표시 모듈 1214 : 학습 모듈

122 : 문장 예측 소프트웨어

1221 : 카테고리 생성 모듈 1222 : 카테고리 관리 모듈

1223 : 학습 모듈

1310 : 애플리케이션 프로그램 영역

1320 : 데이터 저장 여역

1321 : 음절·단어 예측 데이터베이스

1322 : 문장 데이터베이스

1323 : 음성 변환 데이터베이스

※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.

Claims (12)

1. 언어 장애인용 대화 보조 장치인 개인 휴대용 정보 단말기로서,

   디스플레이 유닛과, 지정된 기능을 제어부에 전달하는 기능 스위치부를 가지며, 메모리부에는 음절·단어예측 데이터베이스 및 다수의 카테고리로 분류된 문장 데이터베이스가 저장되고, 지정된 음성을 출력하는 스피커부를 가지며,

   (1) 텍스트 입력 신호에 응답하여 입력된 문자 또는 기호로부터 근거를 추출하며, 상기 음절·단어예측 데이터베이스로부터 음절 및 단어 예측 후보군을 생성하여, 상기 디스플레이 유닛의 화면에 표시하고,

   (2) 상기 텍스트 입력 신호가 문장 검색을 명령하는 신호인 경우, 상기 카테고리로 분류된 문장 데이터베이스에 액세스하여 분류화면을 상기 디스플레이 유닛의 화면에 표시하고,

   화면에 표시된 예측 정보로부터 입력문장을 지정하는 절차를 수행하는 예측 입력 애플리케이션 프로세서를 포함하며,

   상기 예측 입력 애플리케이션 프로세서를 이용하여 작성된 문장을 기저장된 음성 데이터에 기초하여 음성 합성을 수행하는 음성 합성 애플리케이션 프로세서를 포함하며,

   상기 예측 입력 애플리케이션 프로세서는, 입력되는 음절·단어의 입력 이벤트에 따라 상기 음절·단어예측 데이터베이스를 갱신하는 학습모듈을 더 포함하며, 또한, 상기 예측 입력 애플리케이션 프로세서는,

   상기 음절·단어예측 데이터베이스와 관련하여, 입력된 문자 또는 기호가 갖는 문법적 요소와 의미적 요소를 토대로 근거를 추출하는 근거 추출 모듈;

   추출된 근거를 이용하여 다음에 입력될 것으로 예측되는 음절 및 단어 예측 후보군을 상기 음절·단어예측 데이터베이스에서 1개 이상 추출하는 음절·단어 예측후보군 추출 모듈;

   추출된 1개 이상의 음절·단어 예측 후보군을 지정된 개수로 선별하여 상기 디스플레이 유닛의 화면에 표시하는 예측후보군 표시 모듈; 및

   상기 표시된 음절·단어 예측후보군이 선택되거나 선택되지 아니하고 문자 입력이 행해지는 경우, 실시간 학습 이벤트를 생성하여 상기 음절·단어예측 데이터베이스를 갱신하는 학습 모듈을 포함하는 것을 특징으로 하는, 언어 장애인용 대화 보조 장치.
2. 제 1 항에 있어서, 상기 디스플레이 유닛의 전면 방향으로 외부 하우징의 지정된 위치에 설치되는 제 1 카메라와, 원거리에 위치하는 외부 장치와 통신하는 통 신장치를 더 포함하며,

   상기 제 1 카메라를 통해 사용자의 수화 또는 행동을 실시간으로 촬영하여 화상 전송용 동영상 파일을 생성하고,

   상기 통신장치를 통해 상기 동영상 파일을 상기 외부 장치로 송신하는, 언어 장애인용 대화 보조 장치.
3. 제 2 항에 있어서, 상기 디스플레이 유닛의 배면 방향으로 외부 하우징의 지정된 위치에 설치되는 제 2 카메라를 더 포함하며,

   상기 제 2 카메라를 이용하여 일반 촬영을 수행하는, 언어 장애인용 대화 보조 장치.
4. 제 1 항에 있어서, 원거리에 위치하는 통신 중계 서비스 센터와 통신하기 위한 통신장치를 더 포함하며,

   상기 예측 입력 애플리케이션 프로세서를 이용하여 작성된 문장을 상기 통신 중계 서비스 센터로 송신하는, 언어 장애인용 대화 보조 장치.
5. 제 1 항에 있어서, 상기 예측 입력 애플리케이션 프로세서는, 입력되는 문장의 입력 이벤트에 따라 상기 카테고리로 분류된 문장 데이터베이스를 갱신하는 학습모듈을 더 포함하는, 언어 장애인용 대화 보조 장치.
6. 삭제
7. 제 1 항에 있어서, 상기 카테고리로 분류된 문장 데이터베이스와 관련하여,

   상기 예측 입력 애플리케이션 프로세서는:

   장소별·상황별로 문장을 분류하여 저장하는 카테고리 생성 모듈;

   상기 문장 데이터베이스의 각 카테고리를 삭제·변경·추가하는 카테고리 관리 모듈; 및

   입력되는 문장의 입력 이벤트에 따라 상기 카테고리로 분류된 문장 데이터베 이스를 갱신하는 학습 모듈;을 포함하는, 언어 장애인용 대화 보조 장치.
8. 제 1 항에 있어서, 상기 텍스트 신호가 문장 검색을 명령하는 신호인 경우,

   상기 텍스트 입력 신호에 이어서 입력되는 검색어들에 대응하는 상기 카테고리로 분류된 문장 데이터베이스내의 문장들을 검출하는 검색어 기반 문장검색 프로세서를 더 포함하는, 언어 장애인용 대화 보조 장치.
9. 제 8 항에 있어서, 상기 검색어는 검색 대상 문장들의 단어들 또는 어절들내의 1개 이상의 초성 자소인 것을 특징으로 하는, 언어 장애인용 대화 보조 장치.
10. 제 8 항에 있어서, 상기 카테고리로 분류된 문장 데이터베이스 검색시, 특정 카테고리로 지정되면 지정된 카테고리 및 부속 카테고리에서 문장을 검색하는 것을 특징으로 하는, 언어 장애인용 대화 보조 장치.
11. 삭제
12. 삭제

Images