KR101277313B1 - 의사소통 보조 장치 및 방법 - Google Patents

Abstract

의사소통 보조 애플리케이션을 통한 사용자에 대한 의사소통 보조 서비스 제공 방법은, (a) 대화 상대방의 메시지를 표시하는 제 1 메시지 창, 상기 사용자의 메시지를 표시하는 제 2 메시지 창 및 문자 입력 인터페이스를 포함하는 사용자 인터페이스를 실행하는 단계, (b) 상기 대화 상대방의 음성 데이터를 문자 데이터로 변환하여 상기 제 1 메시지 창에 표시하는 단계, (c) 상기 (b) 단계에서 표시된 문자 데이터에 대한 응답으로서, 상기 사용자가 상기 문자 입력 인터페이스를 통해 입력한 문자 데이터를 상기 제 2 메시지 창에 표시하는 단계 및 (d) 상기 제 2 메시지 창에 표시된 문자 데이터에 대한 음성 데이터를 출력하는 단계를 포함한다.

Description

의사소통 보조 장치 및 방법{METHOD AND APPARATUS FOR AIDING COMMNUICATION}

본 발명은 의사소통 장애인의 의사소통을 도울 수 있는 애플리케이션에 관한 것으로서, 보다 상세하게는, 의사소통 보조 장치 및 방법에 관한 것이다.

의사소통에 장애가 있는 사용자들의 의사소통을 보조하기 위하여, 다양한 보조 기구들이 개발되고 있으나, 그 기능들이 제한적이거나 상당히 고가의 비용을 필요로 한다. 예를 들어, 청각 장애인을 위한 보청기의 경우 청력을 보조할 수는 있으나, 말을 하지 못하는 경우에는 효과적이지 못한 점이 있으며, 통상의 보청기는 외부에 노출되기 때문에 착용이 불편하고, 심미감을 주지 못하는 단점이 있다. 또한, 보청기로도 해결하지 못하는 고심도 난청인을 위해 인공와우 기술이 적용되고 있으나, 그 시술비용이 수천만원대에 이르고, 인공와우에 대한 별도의 적응 훈련이 필요하다는 단점이 있다.

한편, 최근에는 이동 통신 단말기를 이용하여 의사소통을 보조하는 기술도 개발되고 있다. 예를 들어, 문자 메시지를 음성으로 전환하여 상대방에게 전달하도록 하거나, 음성 메시지를 문자 메시지로 전환하여 사용자에게 전달하여 의사소통을 보조하도록 한다. 그러나, 이러한 시스템은 이동통신 시스템을 이용한 것으로, 이동통신 망의 중계 서버를 반드시 거치도록 하여, 전체 시스템을 구축하는데 있어 상당한 어려움이 있다. 또한, 이러한 응용 프로그램을 탑재하고 있는 이동통신 단말기를 별도로 구매해야 하는 문제점이 있다.

이러한 여러 문제점을 해결하기 위하여, 본원 발명에서는 최근 폭발적으로 보급되고 있는 스마트 폰 등을 통해 편리하게 사용될 수 있는 의사소통 보조 장치를 제공하고자 한다.

본 발명의 일부 실시예는 휴대용 단말 등을 통해 용이하게 의사소통 보조 서비스를 제공할 수 있는 의사소통 보조 장치 및 방법을 제공한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 의사소통 보조 애플리케이션을 통한 사용자에 대한 의사소통 보조 서비스 제공 방법은, (a) 대화 상대방의 메시지를 표시하는 제 1 메시지 창, 상기 사용자의 메시지를 표시하는 제 2 메시지 창 및 문자 입력 인터페이스를 포함하는 사용자 인터페이스를 실행하는 단계, (b) 상기 대화 상대방의 음성 데이터를 문자 데이터로 변환하여 상기 제 1 메시지 창에 표시하는 단계, (c) 상기 (b) 단계에서 표시된 문자 데이터에 대한 응답으로서, 상기 사용자가 상기 문자 입력 인터페이스를 통해 입력한 문자 데이터를 상기 제 2 메시지 창에 표시하는 단계 및 (d) 상기 제 2 메시지 창에 표시된 문자 데이터에 대한 음성 데이터를 출력하는 단계를 포함한다.

또한, 본 발명의 제 2 측면에 따른 의사소통 보조 장치는 대화 상대방의 음성 데이터를 제 1 문자 메시지로 변환하여 출력하고, 사용자가 전달할 제 2 문자 메시지를 음성 데이터로 변환하여 출력하는 데이터 변환부, 상기 제 1 문자 메시지를 표시하는 제 1 메시지 창, 상기 제 2 문자 메시지를 표시하는 제 2 메시지 창 및 상기 사용자의 문자 입력을 수행하는 문자 입력 인터페이스를 포함하는 사용자 인터페이스의 실행을 관리하는 사용자 인터페이스 관리부 및 상기 미리 등록된 복수의 문자 메시지를 저장한 메시지 데이터베이스를 포함하되, 상기 문자 입력 인터페이스는 상기 사용자의 선택에 따라 상기 메시지 데이터베이스에 저장된 문자 메시지를 검색하여, 상기 제 2 문자 메시지로서 상기 제 2 메시지 창에 표시한다.

전술한 본 발명의 과제 해결 수단에 의하면, 최소의 비용으로 최고의 효율을 거둘 수 있는 의사소통 보조 장치를 구현할 수 있다. 즉, 본원 발명의 구성을 포함하고 있는 의사소통 보조 애플리케이션을 통상의 범용 휴대용 단말에 설치하는 동작만으로, 의사소통 보조 장치의 구현이 가능하다.

또한, 전술한 본 발명의 과제 해결 수단에 의하면, 최적화된 사용자 인터페이스의 제공을 통해 의사소통 보조 애플리케이션의 사용의 편의성을 증진할 수 있다.

도 1은 본원 발명의 일 실시예에 따른 의사소통 보조장치를 도시한 도면이다.
도 2a 내지 도 2g는 본원 발명의 일실시예에 따른 의사소통 보조 애플리케이션의 실행 화면을 도시한 도면이다.
도 3은 본원 발명의 일 실시예에 따른 의사소통 보조 서비스의 제공 방법을 도시한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본원 발명의 일 실시예에 따른 의사소통 보조장치를 도시한 도면이다.

의사소통 보조장치(100)는 중앙 제어부(110), 전원 공급부(120), 메모리(122), 입력부(124), 출력부(126), 통신부(128), 사용자 인터페이스 관리부(130), 데이터 변환부(140), 메시지 데이터베이스(150)를 포함한다.

참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

의사소통 보조장치(100)는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 노트북, 데스크톱(desktop), 랩톱(laptop) 또는 타블렛 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트 폰 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

중앙 제어부(110)는 전원 공급부(120), 메모리(122), 입력부(124), 출력부(126), 통신부(128), 사용자 인터페이스 관리부(130) 및 데이터 변환부(140)의 동작을 제어한다.

전원 공급부(120)는 배터리 또는 유선 어댑터 등을 통해 전원 전압을 중앙 제어부(110), 메모리(122), 입력부(124), 출력부(126) 및 통신부(128) 에 공급한다.

메모리(122)는 의사소통 보조장치(100)의 동작에 관한 각종 데이터를 영구 저장 또는 임시 저장한다. 메모리(122)는 DRAM, SRAM, 롬, 하드 디스크 또는 플래쉬 메모리 등 다양한 형태로 구현될 수 있다.

입력부(124)는 의사소통 보조장치(100)에 대하여 사용자가 데이터를 입력할 수 있도록 한다. 예를 들면, 입력부(124)는 키보드, 터치 패드 또는 터치 스크린 등을 통해 데이터를 입력받을 수 있다. 또한, 입력부(124)는 마이크 등을 통해 음성 데이터를 입력받을 수 있다.

출력부(126)는 의사소통 보조장치(100)의 데이터를 외부로 출력한다. 예를 들면, 출력부(126)는 디스플레이 스크린을 통해, 각종 텍스트 데이터 또는 영상 데이터를 출력한다. 또한, 출력부(126)는 스피커 등을 통해 음성 데이터를 출력할 수 있다.

통신부(128)는 CDMA 또는 3G 통신망과 같은 이동 통신망에 접속하기 위한 통신 모듈을 포함할 수 있다. 또한, 무선 네트워크에 접속하기 위한 Wi-fi 모듈을 포함할 수 있다. 또한, 근거리 무선 통신을 위한 적외선 통신 모듈, 블루투스 통신 모듈 또는 RFID 통신 모듈 등을 포함할 수 있다.

사용자 인터페이스 관리부(130)는 의사소통 보조장치(100)를 통한 의사소통 보조 서비스를 제공할 수 있는 최적의 사용자 인터페이스의 실행을 관리한다. 이때, 사용자 인터페이스는 애플리케이션의 형태로 의사소통 보조장치(100)에 설치될 수 있으며, 이러한 애플리케이션은 스마트 폰 또는 태블릿 PC 용 애플리케이션을 제공하는 서버로부터 다운로드 받아 설치할 수 있다.

또한, 사용자 인터페이스 관리부(130)는 의사소통 보조장치(100)의 동작 상태에 따라 애플리케이션의 실행을 자동 제어할 수 있다. 즉, 의사소통 보조장치(100)에 대하여 전화 통화가 개시되는 경우, 애플리케이션을 자동으로 실행하거나, 애플리케이션의 실행 모드를 사용자가 선택할 수 있도록 한다.

데이터 변환부(140)는 음성 데이터를 문자 데이터로 변환하거나, 문자 데이터를 음성 데이터로 변환한다. 이를 위해, 데이터 변환부(140)는 TTS 모듈(142)과 STT 모듈(144)을 포함한다.

TTS 모듈(142)은 TTS(Text to Speech) 기술에 기반한 것으로, 문자 데이터를 기계 합성음을 통하여 음성으로 변환시킨다. 즉, 문자 정보 또는 기호를 음성으로 변환하여 출력한다. 이를 위하여, 모든 음소에 대한 발음 데이터베이스를 구축하고, 입력된 문자에 따라 복수의 발음 데이터를 결합시켜 연속된 음성을 생성한다. 이때 음성의 크기, 길이 또는 높낮이 등을 조절해 자연스러운 음성을 합성하도록 한다.

STT 모듈(144)은 STT(Speech to Text) 기술에 기반한 것으로, 음성 데이터를 텍스트로 변환한다. 즉, 음성 정보 또는 소리를 이동 통신 단말기의 화면에 문자로 출력한다. 이를 위하여, 모든 음소에 대한 발음 데이터베이스를 구축하고, 음성을 인식하여 문자를 추출하고, 이를 결합시켜 문자를 생성한다.

메시지 데이터베이스(150)는 사용자가 전송할 복수의 문자 메시지를 미리 저장한다. 추후에 상세히 설명하겠지만, 사용자의 문자 메시지 입력의 편의성을 위해, 사용자가 자주 사용하는 문구나 사용자의 상황에 맞는 문구를 미리 저장하고, 사용자의 선택에 해당하는 문구를 출력하도록 한다. 이때, 데이터베이스에 저장된 문자 메시지에 매칭하여 음성 데이터를 미리 저장할 수 있다. 즉, 문자 메시지의 변환 작업을 매번 수행하는 것이 아니라, 미리 저장된 음성 데이터가 바로 출력되도록 할 수 있다.

한편, 제품 출시 당시에 미리 저장된 메시지에 대해서뿐만 아니라, 사용자에 의하여 새롭게 등록된 메시지에 대해서도 음성 데이터를 매칭하여 저장할 수 있다. 즉, 사용자가 특정 문자 메시지를 메시지 데이터베이스(150)에 저장시킨 경우, 이를 음성 데이터로 변환한 것을 메시지 데이터베이스(150)에 저장할 수 있다.

도 2a 내지 도 2g는 본원 발명의 일실시예에 따른 의사소통 보조 애플리케이션의 실행 화면을 도시한 도면이다.

도시된 실행 화면은 본 발명의 이해를 돕기 위한 예시에 해당하는 것으로, 실시자의 선택에 따라 충분히 변경 가능하다.

먼저, 도 2a는 의사소통 보조 애플리케이션 실행 초기화면을 도시한다. 애플리케이션의 제목 아래에 음성소통을 선택할 수 있는 메뉴(200)와 생활소통을 선택할 수 있는 메뉴(202)가 활성화된다.

음성소통은 의사소통 보조장치(100)에 포함된 이동 통신 모듈을 이용한 전화 통화시에 본 애플리케이션을 실행하도록 한다. 예를 들어, 전화가 걸려오는 경우 상기 의사소통 보조 애플리케이션이 자동으로 실행되고, 이때 음성소통 메뉴를 활성화하면, 본 의사소통 보조 애플리케이션이 실행되어, 전화 통화과정에서 수신된 음성을 문자 메시지로 변환하고, 문자 메시지를 음성으로 변환하여 대화 상대방에게 전송하도록 한다. 이때, 사용자의 편의성을 위해, 음성소통 메뉴를 활성화하는 과정없이 곧바로 본 애플리케이션을 실행하도록 구성할 수도 있다.

생활소통은 전화 통화와는 무관하게, 오프라인 상에서 대화를 수행할 때 대화 상대방의 음성을 메시지로 변환하고, 사용자의 문자 메시지를 음성으로 변환하도록 한다. 따라서, 이동 통신 모듈은 불필요하며, 소리가 입력되는 마이크와 소리를 출력하는 스피커가 필수 구성요소가 된다. 예를 들어, 은행이나 식당과 같이 상대방과의 의사소통이 불가피한 경우, 생활소통 메뉴의 활성화를 통해 본 의사소통 보조 애플리케이션이 실행되어, 음성과 문자 메시지간의 변환을 수행한다.

도 2b는 본원 발명의 일 실시예에 따른 사용자 인터페이스를 도시한 도면이다. 도시된 바와 같이, 사용자 인터페이스는 대화 상대방의 메시지를 표시하는 제 1 메시지 창(210), 사용자의 메시지를 표시하는 제 2 메시지 창(220) 및 하나 이상의 문자 입력 인터페이스(232, 234, 236, 238)를 포함한다.

제 1 메시지 창(210)은 데이터 변환부(140)를 통해 변환된 대화 상대방의 문자 메시지를 출력한다. 이때, 변환 대상이 되는 대화 상대방의 음성 데이터는 전화 통신 모듈을 통해 수신한 음성 데이터이거나, 오프라인 대화에서 마이크를 통해 수신한 음성 데이터일 수 있다.

제 2 메시지 창(220)은 제 1 메시지 창(210)에 표시된 대화 상대방의 메시지에 응답하여, 사용자가 각종 문자 입력 인터페이스(232, 234, 236, 238)를 통해 입력한 문자 데이터를 표시한다. 또한, 제 2 메시지 창(220)은 메시지 전송 버튼(222)을 포함하며, 메시지 전송 버튼(222)이 활성화되면, 제 2 메시지 창(220)에 표시된 문자 데이터가 데이터 변환부(140)를 음성 데이터로 변환된다. 그리고, 변환된 음성 데이터는 통신부(128)를 통해 대화 상대방의 단말로 전송되거나, 출력부(126)를 통해 외부로 출력된다.

제 2 메시지 창(220)에 입력될 문자 데이터는 다양한 문자 입력 인터페이스를 통해 입력될 수 있다. 본 발명에서는 문자 입력을 위해 제 1 내지 제 4 입력 인터페이스(232, 234, 236, 238)를 제공하고 있다. 그러나, 이는 예시에 해당하는 것으로, 사용자의 선택에 따라 변경 가능하다. 한편, 제 1 내지 제 4 입력 인터페이스(232, 234, 236, 238)는 탭 형태로 구성되어, 사용자는 특정 인터페이스를 터치하는 행위만으로 입력 인터페이스를 용이하게 선택할 수 있다.

제 1 입력 인터페이스(232)는 일반적으로 사용되는 키보드 또는 키패드이다. 사용자는 터치 스크린에 표시된 키보드 또는 키패드를 터치하여 원하는 문자 입력을 수행할 수 있다.

제 2 입력 인터페이스(234)는 사용자의 필기를 인식하는 것으로, 스타일러스 펜과 같은 각종 입력수단을 통해 사용자가 터치 스크린에 직접 입력한 것을 문자 데이터로서 인식한다.

제 3 입력 인터페이스(236)는 미리 저장된 즐겨찾기 문구, 즉 즐김문구를 선택할 수 있도록 한다. 즉, 사용자에 의하여 미리 등록되었거나, 애플리케이션에 미리 등록되어 있는 문자 메시지 문구를 선택하여 입력할 수 있도록 한다.

도 2c에 도시된 바와 같이, 복수의 문자 메시지가 즐김문구로서 등록될 수 있으며, 사용자는 이와 같이 등록된 즐김문구 중 어느 하나를 선택하여 제 2 메시지 창(220)에 표시시킬 수 있다. 즉, ‘여보세요’, ‘안녕하세요’, ‘잘 지내셨나요?’, ‘고맙습니다’, ‘알겠습니다’, ‘천천히 말씀해 주세요’ 등 일상생활에서 자주 사용되는 문구를 메시지 데이터베이스(150)에 저장하고, 이를 사용자의 선택에 따라 출력하도록 한다. 이러한 구성에 따라, 사용자는 키보드를 통해 문자를 직접 입력하지 않고서도 전송할 메시지를 입력할 수 있어, 더욱 편리한 메시지 입력이 가능하다.

제 4 입력 인터페이스(238)는 사용자의 위치 또는 각종 대화 상황에 따라 분류된 그룹별로 미리 저장된 문구를 선택하여 입력할 수 있도록 한다. 예를 들면, 은행, 식당, 마트 또는 관공서와 같이 일상생활에서 자주 접하게 되는 대화 상황에 적합한 문자 메시지를 미리 저장하도록 하고, 이를 용이하게 선택할 수 있도록 한다.

도 2d에 도시된 바와 같이, 각각의 상황을 나타내는 복수의 그룹이 표시되고, 사용자는 표시된 그룹 중 어느 하나를 선택할 수 있다. 한편, 각각의 그룹은 해당 상황에 맞는 하나 이상의 문자 메시지를 저장한다. 이러한 구성에 따라, 사용자는 키보드를 통해 문자를 직접 입력하지 않고서도 전송할 메시지를 입력할 수 있어, 더욱 편리한 메시지 입력이 가능하다.

한편, 제 3 입력 인터페이스(236)와 제 4 입력 인터페이스(238)의 경우 복수의 문자 메시지를 미리 저장하고 있는 구성을 사용한다. 즉, 메시지 데이터베이스(150)에 대하여 각각의 문자 메시지를 저장하고, 사용자의 선택에 따라 출력될 수 있도록 한다. 또한, 각각의 문자 메시지를 음성 데이터와 매칭시켜 저장하고, 사용자의 선택에 따라 바로 출력하도록 구성할 수 있다. 이때, 음성 데이터는 제품의 출시 당시에 미리 저장된 데이터이거나, 사용자에 의하여 새롭게 등록된 문자 메시지에 대한 음성 데이터일 수 있다. 즉, 사용자가 특정 문자 메시지를 메시지 데이터베이스(150)에 저장시킨 경우, 이를 데이터 변환부(140)를 통해 음성 데이터로 변환한 후에 메시지 데이터베이스(150)에 저장할 수 있다.

또한, 본 발명의 제 2 메시지 창(220)에 입력되는 메시지는 제 1 내지 제 4 입력 인터페이스 중 복수의 입력 인터페이스를 통해 연속적으로 입력한 문자를 조합한 것일 수 있다. 예를 들어, 제 1 입력 인터페이스를 통해 사용자가 키패드를 통해 ‘엄마’ 라는 문자를 직접 입력하고, 제 3 입력 인터페이스를 통해 ‘사랑합니다’ 라는 즐김 문구를 선택하고, 제 2 입력 인터페이스를 통해 ‘♡’를 필기 인식시켜, 제 2 메시지 창(220)에 ‘엄마 사랑합니다 ♡ ‘ 라고 입력할 수 있다.

도 2e 및 도 2f는 사용자 인터페이스를 통해 메시지 데이터베이스(150)에 저장된 문구나 그룹을 설정하는 과정을 도시하고 있다.

먼저, 도 2e에 도시된 바와 같이, 사용자는 인터페이스 관리 메뉴(240)를 통해 상황별로 문자 메시지를 저장하고 있는 그룹을 수정할 수 있다. 즉, 그룹관리 메뉴를 통해 특정 그룹을 새롭게 등록하거나, 등록된 그룹을 삭제할 수 있다. 또한, 등록된 그룹명의 수정도 가능하다.

다음으로, 도 2f에 도시된 바와 같이, 사용자는 인터페이스 관리 메뉴(240)를 통해 즐겨찾기 문구를 수정할 수 있다. 즉, 문구관리 메뉴를 통해 문자 메시지를 새롭게 등록하거나, 등록된 문자 메시지를 삭제할 수 있다. 또한, 등록된 문자 메시지의 수정도 가능하다.

한편, 환경설정 메뉴(250)를 통해 변환되는 음성 데이터의 형식을 변경할 수 있다. 즉, 도 2g에 도시된 바와 같이, 출력되는 음성의 성별 또는 연령을 설정할 수 있으며, 데이터 변환부(140)는 이에 기초하여 음성 변환을 수행할 수 있다. 이에 따라, 사용자는 자신의 성별 또는 연령에 맞는 음성을 설정하고 이에 해당하는 음성 출력이 되도록 하여, 상대방으로 하여금 음성 출력이 최대한 자연스럽다는 느낌을 줄 수 있도록 한다.

도 3은 본원 발명의 일 실시예에 따른 의사소통 보조 서비스의 제공 방법을 도시한 순서도이다.

먼저, 본원 발명의 일 실시예에 따른 사용자 인터페이스가 실행된다(S310). 사용자의 애플리케이션 실행에 따라 사용자 인터페이스가 실행될 수 도 있으나, 상기 애플리케이션이 설치된 범용 휴대용 단말에 대한 대화 상대방의 통화 요청을 수신하는 경우 또는 대화 상대방에게 전화를 거는 경우에 자동으로 실행될 수 도 있다.

다음으로, 현재 대화 상황이 음성 데이터를 수신하는 상황인지 메시지를 송신하는 상황인지에 각기 다른 동작을 수행한다(S312).

음성 데이터를 수신하는 경우에는, 음성 데이터를 문자 데이터로 변환하고, 변환된 문자 데이터를 제 1 메시지 창에 표시한다(S314).

다음으로, 메시지를 송신하는 경우에는, 송신할 문자 메시지의 입력 방법을 선택하도록 하고, 선택된 문자 입력 인터페이스를 실행시킨다(S316). 그리고, 사용자는 실행된 문자 입력 인터페이스를 통해 메시지를 입력한다. 문자 입력 인터페이스의 구체적인 예에 대해서는 앞서 설명한 바와 같다.

다음으로, 입력된 문자 메시지를 음성 데이터로 변환한다(S318). 이때, 문자 메시지를 실시간으로 변환하는 방법외에도, 이미 변환된 음성 데이터를 검색하여 출력하도록 제어하는 방법을 사용할 수 있다.

다음으로, 대화의 지속 여부에 따라 상기 동작들을 반복 수행하거나, 애플리케이션의 실행을 중단하도록 한다(S320).

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 의사소통 보조장치 110: 중앙 제어부
120: 전원 공급부 122: 메모리
124: 입력부 126: 출력부
128: 통신부
130: 사용자 인터페이스 관리부 140: 데이터 변환부
150: 메시지 데이터베이스

Claims (12)

1. 의사소통 보조 애플리케이션을 통한 사용자에 대한 의사소통 보조 서비스 제공 방법에 있어서,
   (a) 대화 상대방의 메시지를 표시하는 제 1 메시지 창, 상기 사용자의 메시지를 표시하는 제 2 메시지 창 및 문자 입력 인터페이스를 포함하는 사용자 인터페이스를 실행하는 단계,
   (b) 상기 대화 상대방의 음성 데이터를 문자 데이터로 변환하여 상기 제 1 메시지 창에 표시하는 단계,
   (c) 상기 (b) 단계에서 표시된 문자 데이터에 대한 응답으로서, 상기 사용자가 상기 문자 입력 인터페이스를 통해 입력한 문자 데이터를 상기 제 2 메시지 창에 표시하는 단계 및
   (d) 상기 제 2 메시지 창에 표시된 문자 데이터에 대한 음성 데이터를 출력하는 단계를 포함하되,
   상기 (a) 단계는,
   상기 사용자 인터페이스의 실행에 따라, 키보드 방식으로 문자 입력을 수행하는 제 1 입력 인터페이스, 터치 스크린에 대한 필기 입력 행위를 센싱하여 문자 입력을 수행하는 제 2 입력 인터페이스, 미리 저장된 즐겨찾기 문구들 중 어느 하나를 사용자가 선택하도록 하여 문자 입력을 수행하는 제 3 입력 인터페이스 및 그룹 별로 분류 저장된 문구들 중 어느 하나를 사용자가 선택하도록 하여 문자 입력을 수행하는 제 4 입력 인터페이스 중 어느 하나의 문자 입력 인터페이스를 표시하는 단계를 포함하며,
   상기 (d) 단계는,
   상기 제 2 메시지 창에 표시된 문자 데이터와 매칭되어 저장된 음성 데이터를 검색하여 출력하는 의사소통 보조 서비스 제공 방법.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 (a) 단계는,
   상기 의사소통 보조 애플리케이션이 설치된 범용 휴대용 단말에 대한 통화 요청을 수신한 경우 자동으로 실행되는 것인 의사소통 보조 서비스 제공 방법.
   
4. 제 1 항에 있어서,
   상기 (d) 단계는,
   상기 문자 데이터를 음성 데이터로 변환하는 단계를 포함하고,
   (e) 상기 (d) 단계에서 변환된 음성 데이터를 상기 제 2 메시지 창에 표시된 문자 데이터와 매칭하여 저장하는 단계를 더 포함하는 의사소통 보조 서비스 제공 방법.
   
5. 삭제
6. 제 1 항에 있어서,
   상기 (b) 단계는,
   상기 의사소통 보조장치에 포함된 이동 통신 모듈을 통해 수신한 음성 데이터를 문자 데이터로 변환하고,
   상기 (d) 단계는,
   상기 제 2 메시지 창에 표시된 문자 데이터에 대한 음성 데이터를 상기 의사소통 보조장치에 포함된 이동 통신 모듈을 통해 상기 대화 상대방의 통신 단말로 전송하는 것인 의사소통 보조 서비스 제공 방법.
   
7. 제 1 항에 있어서,
   상기 (b) 단계는,
   상기 의사소통 보조장치에 포함된 마이크를 통해 수신한 음성 데이터를 문자 데이터로 변환하고,
   상기 (d) 단계는,
   상기 제 2 메시지 창에 표시된 문자 데이터에 대한 음성 데이터를 상기 의사소통 보조장치에 포함된 스피커를 통해 출력하는 것인 의사소통 보조 서비스 제공 방법.
   
8. 제 1 항에 있어서,
   상기 (c) 단계는,
   상기 제 1 입력 인터페이스 내지 제 4 입력 인터페이스 중 복수의 입력 인터페이스를 통해 연속적으로 입력된 문자 데이터를 상기 제 2 문자 메시지 창에 표시하는 것인 의사소통 보조 서비스 제공 방법.
   
9. 청구항 1, 3, 4, 6, 7, 및 8 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
   
10. 의사소통 보조 장치에 있어서,
    대화 상대방의 음성 데이터를 제 1 문자 메시지로 변환하여 출력하고, 사용자가 전달할 제 2 문자 메시지를 음성 데이터로 변환하여 출력하는 데이터 변환부,
    상기 제 1 문자 메시지를 표시하는 제 1 메시지 창, 상기 제 2 문자 메시지를 표시하는 제 2 메시지 창 및 상기 사용자의 문자 입력을 수행하는 문자 입력 인터페이스를 포함하는 사용자 인터페이스의 실행을 관리하는 사용자 인터페이스 관리부 및
    미리 등록된 복수의 문자 메시지를 저장한 메시지 데이터베이스를 포함하되,
    상기 문자 입력 인터페이스는 상기 사용자의 선택에 따라 상기 메시지 데이터베이스에 저장된 문자 메시지를 검색하여, 상기 제 2 문자 메시지로서 상기 제 2 메시지 창에 표시하되,
    상기 문자 입력 인터페이스는 미리 저장된 즐겨찾기 문구들 중 어느 하나를 사용자가 선택하도록 하여 문자 입력을 수행하는 입력 인터페이스이거나, 그룹 별로 분류 저장된 문구들 중 어느 하나를 사용자가 선택하도록 하여 문자 입력을 수행하는 입력 인터페이스이며,
    상기 메시지 데이터베이스는,
    상기 문자 메시지를 음성으로 변환한 음성 데이터를 상기 문자 메시지와 매칭하여 저장하고,
    상기 데이터 변환부는 상기 제 2 문자 메시지가 상기 메시지 데이터베이스에 미리 저장된 문자 메시지인 경우, 해당 문자 메시지와 매칭하여 저장된 음성 데이터를 검색하여 출력하는 것인 의사소통 보조 장치.
    
11. 삭제
12. 삭제

Images