KR101303755B1 - 모션 기반 의사전달 장치 및 방법 - Google Patents

모션 기반 의사전달 장치 및 방법 Download PDF

Info

Publication number
KR101303755B1
KR101303755B1 KR1020110047482A KR20110047482A KR101303755B1 KR 101303755 B1 KR101303755 B1 KR 101303755B1 KR 1020110047482 A KR1020110047482 A KR 1020110047482A KR 20110047482 A KR20110047482 A KR 20110047482A KR 101303755 B1 KR101303755 B1 KR 101303755B1
Authority
KR
South Korea
Prior art keywords
motion
information
unit
speech
storage unit
Prior art date
Application number
KR1020110047482A
Other languages
English (en)
Other versions
KR20120129310A (ko
Inventor
봉래 박
Original Assignee
(주)클루소프트
봉래 박
한국정보화진흥원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)클루소프트, 봉래 박, 한국정보화진흥원 filed Critical (주)클루소프트
Priority to KR1020110047482A priority Critical patent/KR101303755B1/ko
Publication of KR20120129310A publication Critical patent/KR20120129310A/ko
Application granted granted Critical
Publication of KR101303755B1 publication Critical patent/KR101303755B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

감지된 사용자의 모션에 해당하는 문장을 음성으로 출력하고, 동일한 모션에 대해 사용자의 현재 상황에 따라 다른 문장을 음성으로 출력하여 의사소통시 빠른 응대가 가능하도록 한 모션 기반 의사전달 장치 및 방법이 제시된다. 제시된 모션 기반 의사전달 장치는, 현재 상황에 해당하는 상황정보를 검출하여 상황정보로 설정하는 상황정보 설정부; 휴대용 단말기의 움직임에 해당하는 모션을 감지하는 모션 감지부; 감지한 모션에 해당하는 모션유형을 검출하는 모션유형 검출부; 설정된 상황정보 및 검출한 모션유형에 연계되는 발화정보를 검출하는 발화정보 검출부; 및 검출한 발화정보를 출력하는 발화정보 출력부를 포함한다.

Description

모션 기반 의사전달 장치 및 방법{AN APPARATUS AND METHOD FOR COMMUNICATION BASED ON MOTION}
본 발명은 모션 기반 의사전달 장치 및 방법에 관한 것으로, 더욱 상세하게는 휴대용 단말기를 이용한 사용자의 모션에 대응되는 음성을 출력하는 모션 기반 의사전달 장치 및 방법에 관한 것이다.
청각장애인들은 서로 간에는 수화를 통해 의사소통이 가능하지만 일반인 즉, 건청인들과는 원활한 의사소통이 쉽지 않은 상황이다. 청각장애인의 경우 건청인의 입모양과 표정을 보면서 어느 정도는 건청인의 의사를 전달받을 수 있지만 어눌한 발음 때문에 자신의 의사를 건청인에게 전달하기는 특히나 어려운 상황이다.
또한, 일반인의 경우, 외국 방문 등의 상황에서 외국인과 대화시 외국인이 한글을 모르고 일반인이 외국어를 모르는 경우 양자 간의 의사소통이 어려운 상황이다.
그에 따라, 다양한 형태의 의사전달용 보조기기들이 개발되었다. 하지만, 청각장애인이 사용하는 대부분의 의사전달용 보조기기들은 전달하고자 하는 의사를 글로 작성하여 제시할 수 있게 지원하거나, 작성한 또는 검출된 문장을 음성합성기술을 통해 음성으로 전달할 수 있도록 지원하는 방식들이다.
일반인의 경우 전자사전, 외국어 회화 책, 휴대전화 등을 통해 전달하고자 하는 의사를 찾아 직접 발음하거나, 기기에서 발음을 주는 방식이 주로 사용된다.
하지만, 이러한 방식들은 말로서 전달할 때보다 느릴 수밖에 없기 때문에 건청인의 입장에서는 여전히 답답하게 느껴질 수 있어 원활한 의사소통을 지원하는 데에는 한계가 있다.
본 발명의 목적은 감지된 사용자의 모션에 해당하는 문장을 음성으로 출력하여 의사소통시 빠른 응대가 가능하도록 한 모션 기반 의사전달 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 동일한 모션에 대해 사용자의 현재 상황에 따라 다른 문장을 음성으로 출력하도록 한 모션 기반 의사전달 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 모션 기반 의사전달 장치는, 휴대용 단말기에 설치되는 모션 기반 의사전달 장치에 있어서, 복수의 모션유형 및 복수의 발화정보를 저장하는 저장부; 휴대용 단말기의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기 자체의 모션을 감지하는 모션 감지부; 저장부로부터 모션 감지부에서 감지한 모션에 해당하는 모션유형을 검출하는 모션유형 검출부; 저장부로부터 모션유형 검출부에서 검출한 모션유형에 연계되는 발화정보를 검출하는 발화정보 검출부; 및 발화정보 검출부에서 검출한 발화정보를 출력하는 발화정보 출력부를 포함한다.
저장부에는, 복수의 모션유형 각각에 발화정보가 연계되어 저장된다.
저장부는 장소와 위치 및 시점 중에 적어도 하나를 포함하는 의사전달 상황들에 따라 구분된 복수의 상황정보를 추가로 저장하고, 저장부에 저장된 복수의 상황정보 중에서 현재상황에 해당하는 상황정보를 검출하여 상황정보로 설정하는 상황정보 설정부를 추가로 포함하며, 발화정보 검출부는 저장부로부터 상황정보 설정부에서 설정된 상황정보 및 모션유형 검출부에서 검출한 모션유형에 연계되는 발화정보를 검출한다.
상황정보 설정부는, 저장부로부터 모션유형 검출부에서 검출한 모션유형에 연계되는 상황정보를 검출하여 현재 상황정보로 설정한다.
휴대용 단말기의 현재 위치에 대한 정보를 제공하는 위치기반 서비스 제공부를 더 포함하고, 상황 설정부는, 위치기반 서비스 제공부로부터 현재위치 정보를 수신하여 대응되는 상황정보를 현재 상황정보로 설정한다.
저장부에는, 복수의 상황정보 각각에 복수의 모션유형이 연계되어 저장되고, 복수의 모션유형 각각에 해당 모션유형에 연계된 상황정보에 해당하는 발화정보가 연계되어 저장된다.
저장부는 언어들을 별도로 구분한 복수의 언어정보를 추가로 저장하고,
저장부에 저장된 복수의 언어정보 중에서 현재언어에 해당하는 언어정보를 검출하여 언어정보로 설정하는 언어정보 설정부를 추가로 포함하며, 발화정보 검출부는 저장부로부터 언어정보 설정부에서 설정된 언어정보와 모션유형 검출부에서 검출한 모션유형에 연계되는 발화정보를 검출한다.
언어정보 설정부는, 저장부로부터 모션유형 검출부에서 검출한 모션유형에 연계되는 언어정보를 검출하여 현재 언어정보로 설정한다.
저장부에는, 복수의 언어정보 각각에 복수의 모션유형이 연계되어 저장되며, 복수의 모션유형 각각에 해당 모션유형에 연계된 언어정보에 해당하는 발화정보가 연계되어 저장된다.
모션의 시작 시점 정보가 입력되면 모션 감지부를 활성화하고, 종료 시점 정보가 입력되면 모션 감지부를 비활성화하는 모션감지 제어부를 더 포함한다.
모션 감지부에서 감지된 모션에 대응되는 모션유형이 모션유형 검출부로부터 검출되지 않을 때, 감지된 모션을 새로운 모션유형으로 생성하고, 언어정보와 상황정보 및 발화정보 중에 적어도 하나를 생성한 모션유형과 연계하여 저장부에 저장하는 모션유형 생성부를 더 포함한다.
저장부로부터 임의의 발화정보 및 임의의 발화정보와 연계된 모션유형을 검출하고, 사용자에게 발화정보를 출력하고, 사용자로부터 출력된 발화정보에 대응되는 모션을 감지하여, 모션유형과 비교한 후 사용자의 모션 적응도를 평가하는 모션 적응도 평가부를 더 포함한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 모션 기반 의사전달 방법은, 휴대용 단말기의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기 자체의 모션을 감지하는 단계; 저장부로부터 감지한 모션에 해당하는 모션유형을 검출하는 단계; 검출하는 단계에서 검출한 모션유형에 연계되는 발화정보를 저장부로부터 검출하는 단계; 및 검출한 발화정보를 출력하는 단계를 포함한다.
복수의 모션유형 각각에 발화정보를 연계하여 저장부에 저장하는 단계를 더 포함한다.
저장하는 단계에서는 장소와 위치 및 시점 중에 적어도 하나를 포함하는 의사전달 상황들에 따라 구분된 복수의 상황정보를 추가로 저장하고, 저장된 복수의 상황정보 중에서 현재상황에 해당하는 상황정보를 검출하여 현재 상황정보로 설정하는 단계를 추가로 포함하고, 발화정보를 검출하는 단계에서는 설정된 상황정보 및 검출한 모션유형에 연계되는 발화정보를 저장부로부터 검출한다.
현재 상황정보로 설정하는 단계에서는, 검출한 모션유형에 연계되는 상황정보를 저장부로부터 검출하여 현재 상황정보로 설정한다.
휴대용 단말기의 현재 위치에 대한 현재위치 정보를 제공하는 단계를 더 포함하고, 현재 상황정보로 설정하는 단계에서는, 제공되는 현재위치 정보에대응되는 상황정보를 현재 상황정보로 설정한다.
저장하는 단계에서는, 복수의 상황정보 각각에 복수의 모션유형이 연계되어 저장되고, 복수의 모션유형 각각에 해당 모션유형에 연계된 상황정보에 해당하는 발화정보가 연계되어 저장된다.
저장하는 단계에서는 언어들을 별도로 구분한 복수의 언어정보를 추가로 저장하고, 저장된 복수의 언어정보 중에서 현재 언어에 해당하는 언어정보를 검출하여 현재 언어정보로 설정하는 단계를 추가로 포함하며, 발화정보를 검출하는 단계에서는 설정된 현재 언어정보와 검출한 모션유형에 연계되는 발화정보를 검출한다.
현재 언어정보로 설정하는 단계에서는, 모션유형 검출부에서 검출한 모션유형에 연계되는 언어정보를 검출하여 현재 언어정보로 설정한다.
저장하는 단계에서는, 복수의 언어정보 각각에 복수의 모션유형을 연계하여 저장하고, 복수의 모션유형 각각에 해당 모션유형에 연계된 언어정보에 해당하는 발화정보를 연계하여 저장한다.
모션을 감지하는 단계에서는, 모션의 시작 시점 정보가 입력되면 모션 감지를 활성화하는 단계; 및 종료 시점 정보가 입력되면 모션 감지를 비활성화하는 단계를 포함한다.
모션을 감지하는 단계에서 감지된 모션에 대응되는 모션유형이 모션유형을 검출하는 단계에서 검출되지 않을 때, 감지된 모션을 새로운 모션유형으로 생성하고, 언어정보와 상황정보 및 발화정보 중에 적어도 하나를 생성한 모션유형와 연계하여 저장하는 단계를 더 포함한다.
저장부로부터 임의의 발화정보 및 임의의 발화정보와 연계된 모션유형을 검출하는 단계; 검출한 임의의 발화정보를 휴대용 단말기에 출력하는 단계; 출력된 발화정보에 대응되는 휴대용 단말기의 모션을 감지하는 단계; 및 감지한 모션과 모션유형을 비교하여 사용자의 모션 적응도를 평가하는 단계를 더 포함한다.
본 발명에 의하면, 모션 기반 의사전달 장치 및 방법은 청각장애인 또는 언어장애인들이 자주 사용하거나 급하게 사용해야 하는 문장들에 대해 모션을 설정하고 모션 입력시 즉시 음성으로 출력함으로써, 청각장애인 또는 언어장애인들과 일반인의 원활한 의사소통이 가능한 효과가 있다.
또한, 모션 기반 의사전달 장치 및 방법은 복수의 모션 각각에 상황별로 서로 다른 문장을 연계하여 관리하고 사용자에 의해 설정된 상황정보에 적합한 문장을 음성 출력함으로써, 상황에 따라 적합한 문장을 출력하여 원활한 의사소통이 가능한 효과가 있다.
또한, 모션 기반 의사전달 장치 및 방법은 사용자의 위치를 기반으로 사용자의 현재 상황을 판단하여 상황정보를 설정함으로써, 상황에 따라 적합한 문장을 출력하여 원활한 의사소통이 가능한 효과가 있다.
도 1은 본 발명의 제1실시예에 따른 모션 기반 의사전달 장치의 구성을 설명하기 위한 도면.
도 2는 도 1의 모션유형정보 저장부를 설명하기 위한 도면.
도 3은 도 1의 발화정보 저장부를 설명하기 위한 도면.
도 4 내지 도 7은 도 1의 모션 감지부를 설명하기 위한 도면.
도 8은 본 발명의 제1실시예에 따른 모션 기반 의사전달 장치의 변형예를 설명하기 위한 도면.
도 9는 본 발명의 제1실시예에 따른 모션 기반 의사전달 방법을 설명하기 위한 흐름도.
도 10은 본 발명의 제2실시예에 따른 모션 기반 의사전달 장치의 구성을 설명하기 위한 도면.
도 11은 도 10의 상황정보 저장부를 설명하기 위한 도면.
도 12는 도 10의 발화정보 저장부를 설명하기 위한 도면.
도 13은 도 10의 상황정보 설정부를 설명하기 위한 도면.
도 14는 본 발명의 제2실시예에 따른 모션 기반 의사전달 방법을 설명하기 위한 흐름도.
도 15는 본 발명의 제3실시예에 따른 모션 기반 의사전달 장치의 구성을 설명하기 위한 도면.
도 16 및 도 17은 도 15의 저장부를 설명하기 위한 도면.
도 18 및 도 19는 본 발명의 제3실시예의 변형예를 설명하기 위한 도면.
도 20은 본 발명의 제3실시예에 따른 모션 기반 의사전달 방법을 설명하기 위한 흐름도.
도 21은 본 발명의 제3실시예에 따른 모션 기반 의사전달 방법의 변형예를 설명하기 위한 흐름도.
도 22는 본 발명의 제4실시예에 따른 모션 기반 의사전달 장치의 구성을 설명하기 위한 도면.
도 23은 본 발명의 제4실시예에 따른 모션 기반 의사전달 방법을 설명하기 위한 흐름도.
도 24는 본 발명의 제5실시예에 따른 모션 기반 의사전달 장치를 설명하기 위한 도면.
도 25 내지 도 29는 도 24의 모션 적응도 평가부를 설명하기 위한 도면.
도 30은 본 발명의 제5실시예에 따른 모션 기반 의사전달 장치를 이용한 모션 적응도 평가 방법을 설명하기 위한 흐름도.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
(제1실시예)
이하, 본 발명의 제1실시예에 따른 모션 기반 의사전달 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1은 본 발명의 제1실시예에 따른 모션 기반 의사전달 장치의 구성을 설명하기 위한 도면이다. 도 2는 도 1의 모션유형정보 저장부를 설명하기 위한 도면이고, 도 3은 도 1의 발화정보 저장부를 설명하기 위한 도면이고, 도 4 내지 도 7은 도 1의 모션 감지부를 설명하기 위한 도면이다. 도 8은 본 발명의 제1실시예에 따른 모션 기반 의사전달 장치의 변형예를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 모션 기반 의사전달 장치는 저장부(110), 모션 감지부(120), 모션유형 검출부(130), 발화정보 검출부(140), 발화정보 출력부(150)를 포함하여 구성된다.
저장부(110)는 복수의 모션유형 및 복수의 발화정보를 저장한다. 즉, 저장부(110)는 휴대용 단말기(400)의 상하 방향과 앞뒤 방향 및 좌우 방향의 움직임과, 회전 움직임을 조합하여 생성된 복수의 모션유형을 저장한다. 저장부(110)는 음성으로 출력될 음성정보 또는 음성정보로 전환될 수 있는 의미나 텍스트 정보로 구성된 복수의 발화정보를 저장한다. 이를 위해, 저장부(110)는 복수의 모션유형을 저장하는 모션유형정보 저장부(112), 및 복수의 발화정보를 저장하는 발화정보 저장부(114)를 포함하여 구성된다.
모션유형정보 저장부(112)는 휴대용 단말기(400)의 상하 방향과 앞뒤 방향 및 좌우 방향의 움직임과 회전 움직임을 조합하여 생성된 복수의 모션유형을 저장한다. 즉, 모션유형정보 저장부(112)는 3차원 공간상에서 시작 위치에서 종료 위치까지의 일련의 움직임인 모션을 의미하는 모션유형을 저장한다. 여기서, 모션은 3차원 공간에서 휴대용 단말기(400)의 직진 운동, 회전 운동 등과 같이 후술한 모션 감지부(120; 예를 들면, 모션 센서)에 의해 감지된 일련의 움직임을 의미한다. 모션유형은 3차원 공간에서 휴대용 단말기(400)의 직진 운동, 회전 운동 등으로 생성되는 일련의 움직임인 모션을 적어도 하나 포함하여 구성된다. 모션유형에 포함되는 모션들간에는 상호 구분이 명확한 것들도 있지만 구분이 명확하지 않은 것들도 존재한다. 따라서, 도 2에 도시된 바와 같이, 모션유형정보 저장부(112)는 다른 모션들과는 구분이 용이하면서 상호 유사한 모션들을 대표하여 유효하게 사용될 모션유형들을 저장한다. 여기서, 모션유형정보 저장부(112)는 미리 정의된 복수의 모션유형들을 저장하고 있거나, 사용자에 의해 실시간으로 정의한 모션유형을 저장할 수도 있다.
발화정보 저장부(114)는 모션유형정보 저장부(112)에 저장된 복수의 모션유형 각각에 연계되는 복수의 발화정보를 저장한다. 즉, 도 3에 도시된 바와 같이, 발화정보 저장부(114)는 복수의 모션유형 각각에 일 대 일로 대응되는 다수의 발화정보를 저장한다. 여기서, 발화정보는 음성으로 출력될 음성정보, 음성정보로 전환될 수 있는 텍스트 정보를 의미한다. 즉, 발화정보는 모션을 통해 음성으로 표현하고자 하는 음성데이터일 수도 있고, 음성데이터를 생성할 수 있는 문장과 같은 텍스트 정보일 수도 있다.
모션 감지부(120)는 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지한다. 즉, 도 4에 도시된 바와 같이, 모션 감지부(120)는 지자기센서, 가속도 센서, 자이로스코프 등과 같이 직진운동이나 회전 등의 모션을 감지할 수 있는 모션센서로 구성되어 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지한다. 이때, 도 5에 도시된 바와 같이, 모션 감지부(120)는 휴대용 단말기(400)의 터치 패널에 모션감지 시작/종료 버튼(420)이 포함된 화면을 출력한다. 이후, 도 6에 도시된 바와 같이, 모션 감지부(120)는 사용자에 의해 휴대용 단말기(400)에 표시된 모션감지 시작/종료 버튼(420)이 터치된 상태로 유지되면 휴대용 단말기(400)의 모션을 감지한다. 이후, 도 7에 도시한 바와 같이, 모션 감지부(120)는 사용자에 의해 휴대용 단말기(400)에 표시된 모션감지 시작/종료 버튼(420)의 터치가 해제되면 휴대용 단말기(400)의 모션 감지를 종료한다. 여기서, 모션의 시작과 종료를 설정하는 버튼을 터치 패널 상에 출력하는 것으로 설명하였으나, 별도의 물리적 버튼으로 대체될 수도 있다. 모션 감지부(120)는 후술할 모션감지 제어부(160)의 제어에 의해 모션의 감지를 수행할 수도 있다.
모션유형 검출부(130)는 모션 감지부(120)에서 감지한 모션에 대응되는 모션유형을 저장부(110)로부터 검출한다. 즉, 모션유형 검출부(130)는 모션유형정보 저장부(112)에 저장된 복수의 모션유형 중에서 모션 감지부(120)에서 감지된 모션과 직진 방향, 회전 방향이 크게 다르지 않으면서 유사한 모션유형을 검출한다.
발화정보 검출부(140)는 검출된 모션유형에 대응되는 발화정보를 검출한다. 즉, 발화정보 검출부(140)는 발화정보 저장부(114)에 저장된 복수의 발화정보 중에서 모션유형 검출부(130)에서 검출한 모션유형에 연계된 발화정보를 검출한다. 여기서, 발화정보 저장부(114)에는 유효하게 사용될 모션유형별로 발화정보들이 연계되어 저장되어 있기 때문에, 발화정보 검출부(140)는 단순 매칭 방법으로 검출하게 된다.
발화정보 출력부(150)는 검출된 발화정보를 음성으로 출력한다. 이때, 발화정보 출력부(150)는 텍스트 데이터로 구성된 발화정보인 경우 음성으로 합성한 후 합성음을 출력한다. 즉, 발화정보 출력부(150)는 발화정보가 텍스트 정보인 경우 음성합성장치(TTS)에 의해 음성으로 변환하여 출력한다. 이때, 발화정보 출력부(150)는 청각장애인의 경우 선택한 발화정보가 음성으로 출력되었음을 확인시키기 위해서 화면에 음성 출력결과를 표시하거나 휴대용 단말기(400)에 진동을 가하는 방식 등으로 음성이 출력되었음을 알려줄 수도 있다.
발화정보 출력부(150)는 발화정보를 음성 출력하기 전에 출력될 음성에 대응되는 텍스트, 이미지 등을 휴대용 단말기(400)의 화면에 먼저 출력하여 사용자가 출력될 내용을 먼저 확인할 수 있도록 할 수도 있다. 이 경우, 발화정보 출력부(150)는 모션 종료 후 바로 발화정보에 대응되는 음성을 출력하지 않고, 사용자로부터 해당 음성의 출력 여부를 입력받는다. 발화정보 출력부(150)는 사용자로부터 음성 출력에 해당하는 명령이 입력되는 해당 음성을 출력한다. 예를 들어, 터치 패널을 장착한 휴대용 단말기(400)의 경우 모션 종료 및 발화될 텍스트 출력 후 사용자가 터치 패널을 터치한 후에 바로 터치를 해제하면, 발화정보 출력부(150)는 이를 출력 허용으로 간주하여 음성을 출력한다.
발화정보 출력부(150)는 출력될 음성의 출력 볼륨을 조절할 수도 있다. 예를 들어, 모션 입력의 종료를 위해 터치 패널에서 터치를 해제할 때 우측으로 슬라이드하면서 해제하면 볼륨을 높여 음성을 출력하고, 좌측으로 슬라이드하면서 해제하면 볼륨을 낮춰 음성을 출력한다. 물론, 발화정보 출력부(150)는 환경설정을 통해 음성 출력 볼륨을 미리 설정하거나, 휴대용 단말기(400)에 형성된 볼륨 버튼을 통해 음성 출력 볼륨을 조절할 수도 있다.
발화정보 출력부(150)는 사용자의 설정에 따라 발화정보에 대응되는 문자나 이미지로 출력할 수도 있다. 발화정보 출력부(150)는 발화정보 검출부(140)에서 검출된 발화정보가 문자 또는 이미지인 경우 휴대용 단말기(400)의 화면상에 발화정보를 출력할 수도 있다.
도 8에 도시된 바와 같이, 모션 기반 의사전달 장치는 모션감지 제어부(160), 모션유형 생성부(170)를 더 포함하여 구성된다.
모션감지 제어부(160)는 모션의 시작 시점과 종료 시점 정보를 사용자로부터 입력받아 모션 감지부(120)의 활성화 유무를 결정한다. 즉, 모션감지 제어부(160)는 모션의 시작 시점 정보가 입력되면 모션 감지부(120)를 활성화하고, 종료 시점 정보가 입력되면 모션 감지부(120)를 비활성화한다. 여기서, 모션이란 일정 시간대의 움직임이므로 모션의 시작시점과 종료시점의 인지기 필요하다. 따라서, 모션감지 제어부(160)는 휴대용 단말기(400)의 터치 패널(즉, 터치 화면)에 모션감지의 시작과 종료를 결정하는 별도의 버튼(즉, 상술한 도 6에 도시된 모션감지 시작/종료 버튼(420))을 출력한다. 사용자는 별도 버튼을 터치한 채 모션을 취하고 버튼에서 터치를 해지하여 모션 생성을 완료한다. 이때, 모션의 시작과 종료를 설정하는 버튼을 터치 패널 상에 출력하는 것으로 설명하였으나, 휴대용 단말기(400)에 형성된 별도의 물리적 버튼으로 대체될 수도 있다.
모션유형 생성부(170)는 모션 감지부(120)에서 감지된 단위모션들을 조합하여 새로운 모션유형을 생성한다. 여기서, 단위모션은 3차원 공간에서의 상호 간 명확한 구별이 가능한 이동 움직임 및 회전 움직임의 기본적인 모션을 의미한다. 이때, 모션유형 생성부(170)는 하나 이상의 단위모션을 조합하여 모션유형을 생성한다. 모션유형 생성부(170)는 생성한 모션유형을 저장부(110)에 저장한다. 즉, 모션유형 생성부(170)는 생성한 모션유형을 모션유형정보 저장부(112)에 저장한다. 여기서, 모션유형 생성부(170)는 모션유형정보 저장부(112)에 저장된 복수의 모션유형과 생성한 모션유형을 비교하여 신규 생성된 모션유형으로 판단된 경우에만 생성한 모션유형을 저장한다. 이를 통해, 감지된 모션이 기존 모션유형들과 구분이 명확한지를 평가하여 모션간 모호성을 최소화한다. 이때, 모션유형 생성부(170)는 생성한 모션유형을 상황정보를 연계하여 저장한다. 모션유형 생성부(170)는 생성한 모션유형에 대응되는 발화정보를 설정하여 저장부(110)에 저장한다.
모션유형 생성부(170)는 기생성된 모션유형을 삭제, 변경할 수도 있다. 즉, 모션유형 생성부(170)는 편집툴을 사용자에게 제공하여 모션유형의 삭제/변경을 수행한다. 물론, 모션유형 생성부(170)는 새롭게 생성된 모션유형에 대응되는 발화정보의 배정도 함께 이뤄지는 편집툴을 사용자에게 제공한다.
이하, 본 발명의 제1실시예에 따른 모션 기반 의사전달 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 9는 본 발명의 제1실시예에 따른 모션 기반 의사전달 방법을 설명하기 위한 흐름도이다.
모션 감지부(120)는 사용자의 조작에 따라 휴대용 단말기(400)의 모션 감지를 시작한다(S110). 이때, 모션 감지부(120)는 사용자의 조작에 의해 휴대용 단말기(400)의 모션 감지 시작 명령이 입력되면 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지하기 시작한다.
모션 감지부(120)에서 모션이 감지가 종료되면(S120; YES), 모션유형 검출부(130)는 감지된 모션에 해당하는 모션유형을 검출한다(S130). 즉, 모션 감지부(120)는 사용자의 조작에 따라 모션 감지 종료 명령이 입력되면 휴대용 단말기(400)의 모션 감지를 종료한다. 모션 감지부(120)는 감지한 모션을 모션유형 검출부(130)로 전송한다. 모션유형 검출부(130)는 수신한 모션에 해당하는 모션유형을 저장부(110)로부터 검출한다. 모션유형 검출부(130)는 검출한 모션유형을 발화정보 검출부(140)로 전송한다.
발화정보 검출부(140)는 검출된 모션유형에 해당하는 발화정보를 검출한다(S140). 즉, 발화정보 검출부(140)는 모션유형 검출부(130)로부터 모션유형을 수신한다. 발화정보 수신한 모션유형과 연계되어 저장된 발화정보를 저장부(110)로부터 검출한다. 이때, 검출되는 발화정보는 음성 데이터, 텍스트 데이터, 이미지 데이터 등이 될 수 있다. 발화정보 검출부(140)는 검출한 발화정보를 발화정보 출력부(150)로 전송한다.
발화정보 출력부(150)는 검출된 발화정보를 출력한다(S150). 발화정보 출력부(150)는 발화정보 검출부(140)로부터 발화정보를 수신한다. 발화정보 출력부(150)는 수신한 발화정보를 출력한다. 이때, 발화정보 출력부(150)는 발화정보가 음성 데이터인 경우 그대로 음성 출력한다. 발화정보 출력부(150)는 발화정보가 텍스트 데이터인 경우 음성합성장치 등을 통해 텍스트 데이터를 음성 데이터로 변환하여 출력한다.
상술한 바와 같이, 모션 기반 의사전달 장치 및 방법은 청각장애인 또는 언어장애인들이 자주 사용하거나 급하게 사용해야 하는 문장들에 대해 모션을 설정하고 모션 입력시 즉시 음성으로 출력함으로써, 청각장애인 또는 언어장애인들과 일반인의 원활한 의사소통이 가능한 효과가 있다.
(제2실시예)
이하, 본 발명의 제2실시예에 따른 모션 기반 의사전달 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 10은 본 발명의 제2실시예에 따른 모션 기반 의사전달 장치의 구성을 설명하기 위한 도면이다. 도 11은 도 10의 상황정보 저장부를 설명하기 위한 도면이고, 도 12는 도 10의 발화정보 저장부를 설명하기 위한 도면이고, 도 13은 도 10의 상황정보 설정부를 설명하기 위한 도면이다.
먼저, 본 발명의 제2실시예는 하나의 모션에 대해 사용자가 설정한 상황에 따라 다른 문장을 출력하는 것이 상술한 제1실시예와의 차이점이다. 이를 위해, 본 발명의 제2실시예에서는 사용자가 처할 수 있는 다양한 상황(예를 들면, 사무소, 학교, 경찰서, 거래처 등과 같이 장소에 따른 상황)에 따라 다양한 문장을 설정하고, 상황별로 설정된 문장들에 모션을 설정하여 사용자에 의해 설정된 상황 및 모션에 따라 사용자가 원하는 문장을 음성 출력하도록 하는 것을 특징으로 한다.
이를 위해, 도 10에 도시된 바와 같이, 모션 기반 의사전달 장치는 저장부(210), 상황정보 설정부(220), 모션 감지부(230), 모션유형 검출부(240), 발화정보 검출부(250), 발화정보 출력부(260), 모션감지 제어부(270), 모션유형 생성부(280)를 포함하여 구성된다.
저장부(210)는 복수의 상황정보, 복수의 모션유형, 복수의 발화정보를 저장한다. 이를 위해, 저장부(210)는 복수의 상황정보를 저장하는 상황정보 저장부(216), 복수의 모션유형을 저장하는 모션유형정보 저장부(212), 복수의 발화정보를 저장하는 발화정보 저장부(214)를 포함하여 구성된다.
상황정보 저장부(216)는 현재 위치(장소)에 따라 구분되는 상황정보 또는 사용되는 언어에 따라 구분되는 상황정보를 저장한다. 즉, 도 11에 도시된 바와 같이, 상황정보 저장부(216)는 사용자의 현재 위치에 따라 구분되는 복수의 상황정보를 상황유형으로 구분하여 저장한다.
모션유형정보 저장부(212)는 휴대용 단말기(400)의 상하 방향과 앞뒤 방향 및 좌우 방향의 움직임과 회전 움직임을 조합하여 생성된 복수의 모션유형을 저장한다. 즉, 모션유형정보 저장부(212)는 3차원 공간상에서 시작 위치에서 종료 위치까지의 일련의 움직임인 모션을 의미하는 모션유형을 저장한다. 여기서, 모션은 3차원 공간에서 휴대용 단말기(400)의 직진 운동, 회전 운동 등과 같이 후술한 모션 감지부(230; 예를 들면, 모션 센서)에 의해 감지된 일련의 움직임을 의미한다. 모션유형은 3차원 공간에서 휴대용 단말기(400)의 직진 운동, 회전 운동 등으로 생성되는 일련의 움직임인 모션을 적어도 하나 포함하여 구성된다. 모션유형에 포함되는 모션들간에는 상호 구분이 명확한 것들도 있지만 구분이 명확하지 않은 것들도 존재한다. 따라서, 모션유형정보 저장부(212)는 다른 모션들과는 구분이 용이하면서 상호 유사한 모션들을 대표하여 유효하게 사용될 모션유형들을 저장한다. 여기서, 모션유형정보 저장부(212)는 미리 정의된 복수의 모션유형들을 저장하고 있거나, 사용자에 의해 실시간으로 정의한 모션유형을 저장할 수도 있다.
발화정보 저장부(214)는 음성으로 출력될 음성정보 또는 음성정보로 전환될 수 있는 의미나 텍스트 정보로 구성된 복수의 발화정보를 저장한다. 발화정보 저장부(214)는 복수의 상황정보 및 복수의 모션유형에 연계되는 복수의 발화정보를 저장한다. 이때, 도 12에 도시된 바와 같이, 발화정보 저장부(214)에는 복수의 상황정보 각각에 복수의 모션유형이 연계되어 저장되고, 복수의 모션유형 각각에 해당 모션유형에 연계된 상황정보에 해당하는 발화정보가 연계되어 저장된다. 즉, 발화정보 저장부(214)에는 상황정보 저장부(216)에 저장된 복수의 상황정보 각각에 모션유형정보 저장부(212)에 저장된 복수의 모션유형이 연계되고, 각각의 모션유형에는 상황정보에 따라 정의된 발화정보가 연계되어 저장된다. 즉, 하나의 상황정보에 복수의 모션유형이 일 대 다수로 연계되고, 복수의 모션유형 각각에는 복수의 발화정보가 일 대 일로 연계된다. 여기서, 발화정보는 음성으로 출력될 음성정보, 음성정보로 전환될 수 있는 텍스트 정보를 의미한다. 즉, 발화정보는 모션을 통해 음성으로 표현하고자 하는 음성데이터일 수도 있고, 음성데이터를 생성할 수 있는 문장과 같은 텍스트 정보일 수도 있다.
상황정보 설정부(220)는 저장부(210)에 저장된 복수의 상황정보 중에서 현재 상황에 해당하는 상황정보를 검출하여 현재 상황정보로 설정한다. 이때, 상황정보 설정부(220)는 사용자에 의해 선택되는 사용자의 상황정보를 설정한다. 즉, 상황정보 설정부(220)는 저장부(210)에 저장된 복수의 상황정보를 검출하여 휴대용 단말기(400)의 터치 패널 상에 출력한다. 상황정보 설정부(220)는 사용자가 터치 패널을 터치한 부분에 출력된 상황정보를 사용자의 상황정보로 설정한다. 예를 들면, 도 13에 도시된 바와 같이, 휴대용 단말기(400)의 터치 패널에 상황정보 설정버튼(420)을 포함하는 화면을 출력된다. 사용자가 상황정보 설정버튼(420)을 터치하면 상황정보 설정부(220)는 저장된 복수의 상황정보를 검출하여 터치 패널에 표시한다. 사용자가 상황정보의 선택을 위해 터치 패널을 터치하면, 상황정보 설정부(220)는 해당하는 상황정보를 사용자의 상황정보로 설정한다.
상황정보 설정부(220)는 후술한 모션 감지부(230)에서 감지한 모션에 해당하는 모션유형과 연계된 상황정보를 검출하여 현재 상황정보로 설정할 수도 있다. 상황정보 설정부(220)는 저장부(210)에 저장된 복수의 모션유형 중에서 모션 감지부(230)에서 감지한 모션에 해당하는 모션유형의 검출을 모션유형 검출부(240)로 요청한다. 상황정보 설정부(220)는 저장부(210)에 저장된 복수의 상황정보 중에서 모션유형 검출부(240)로부터 수신한 모션유형에 연계된 상황정보를 검출한다. 상황정보 설정부(220)는 검출한 상황정보를 현재 상황정보로 설정한다.
모션 감지부(230)는 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지한다. 즉, 모션 감지부(230)는 지자기센서, 가속도 센서, 자이로스코프 등과 같이 직진운동이나 회전 등의 모션을 감지할 수 있는 모션센서로 구성되어 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지한다. 이때, 모션 감지부(230)는 휴대용 단말기(400)의 터치 패널에 모션감지 시작/종료 버튼(420)이 포함된 화면을 출력한다. 이후, 모션 감지부(230)는 사용자에 의해 휴대용 단말기(400)에 표시된 모션감지 시작/종료 버튼(420)이 터치된 상태로 유지되면 휴대용 단말기(400)의 모션을 감지한다. 이후, 모션 감지부(230)는 사용자에 의해 휴대용 단말기(400)에 표시된 모션감지 시작/종료 버튼(420)의 터치가 해제되면 휴대용 단말기(400)의 모션 감지를 종료한다. 여기서, 모션의 시작과 종료를 설정하는 버튼을 터치 패널 상에 출력하는 것으로 설명하였으나, 별도의 물리적 버튼으로 대체될 수도 있다. 모션 감지부(230)는 후술할 모션감지 제어부(270)의 제어에 의해 모션의 감지를 수행할 수도 있다.
모션 감지부(230)는 상황정보 및 발화정보 중에 적어도 하나를 선택하기 위한 휴대용 단말기(400)의 모션을 감지한다. 이를 위해, 모션 감지부(230)는 상술한 바와 같이 시작/종료 버튼(420)을 통해 현재 상황정보의 설정 또는 발화정보의 설정을 위한 모션을 감지한다. 즉, 모션 감지부(230)는 첫 번째로 시작/종료 버튼(420)이 터치되면 휴대용 단말기(400)의 모션을 감지하기 시작하여, 두 번째로 시작/종료 버튼(420)이 터치되면 모션의 감지를 종료하고 감지한 모션을 상황정보 설정부(220)로 전송한다. 모션 감지부(230)는 세 번째로 시작/종료 버튼(420)이 터치되면 휴대용 단말기(400)의 모션을 감지하기 시작하여, 네 번째로 시작/종료 버튼(420)이 터치되면 모션의 감지를 종료하고 감지한 모션을 발화정보 검출부(250)로 전송한다.
모션 감지부(230)는 현재 상황정보를 설정하기 위한 버튼과, 발화정보를 설정하기 위한 버튼을 각각 출력할 수도 있다. 즉, 모션 감지부(230)는 현재 상황정보를 설정하기 위한 버튼이 터치된 상태에서 휴대용 단말기(400)의 모션을 감지하여 상황정보 설정부(220)로 전송한다. 모션 감지부(230)는 발화정보의 설정을 위한 버튼이 터치된 상태에서 휴대용 단말기(400)의 모션을 감지하여 발화정보 검출부(250)로 전송한다.
모션유형 검출부(240)는 모션 감지부(230)에서 감지한 모션에 대응되는 모션유형을 저장부(210)로부터 검출한다. 즉, 모션유형 검출부(240)는 모션유형정보 저장부(212)에 저장된 복수의 모션유형 중에서 모션 감지부(230)에서 감지된 모션과 직진 방향, 회전 방향이 크게 다르지 않으면서 유사한 모션유형을 검출한다. 모션유형 검출부(240)는 검출한 모션유형을 상황정보 설정부(220) 또는 발화정보 검출부(250)로 전송한다.
발화정보 검출부(250)는 기설정된 상황정보 및 기검출된 모션유형에 해당하는 발화정보를 저장부(210)로부터 검출한다. 즉, 발화정보 검출부(250)는 상황정보 설정부(220)에서 설정된 상황정보 및 모션유형 검출부(240)에서 검출한 모션유형에 연계되는 발화정보를 발화정보 저장부(214)로부터 검출한다. 여기서, 발화정보 저장부(214)에는 유효하게 사용될 상황정보 및 모션유형별로 발화정보들이 연계되어 저장되어 있기 때문에, 발화정보 검출부(250)는 단순 매칭 방법으로 검출하게 된다.
발화정보 출력부(260)는 검출된 발화정보를 음성으로 출력한다. 이때, 발화정보 출력부(260)는 텍스트 데이터로 구성된 발화정보인 경우 음성으로 합성한 후 합성음을 출력한다. 즉, 발화정보 출력부(260)는 발화정보가 텍스트 정보인 경우 음성합성장치(TTS)에 의해 음성으로 변환하여 출력한다. 이때, 발화정보 출력부(260)는 청각장애인의 경우 선택한 발화정보가 음성으로 출력되었음을 확인시키기 위해서 화면에 음성 출력결과를 표시하거나 휴대용 단말기(400)에 진동을 가하는 방식 등으로 음성이 출력되었음을 알려줄 수도 있다.
발화정보 출력부(260)는 발화정보를 음성 출력하기 전에 출력될 음성에 대응되는 텍스트, 이미지 등을 휴대용 단말기(400)의 화면에 먼저 출력하여 사용자가 출력될 내용을 먼저 확인할 수 있도록 할 수도 있다. 이 경우, 발화정보 출력부(260)는 모션 종료 후 바로 발화정보에 대응되는 음성을 출력하지 않고, 사용자로부터 해당 음성의 출력 여부를 입력받는다. 발화정보 출력부(260)는 사용자로부터 음성 출력에 해당하는 명령이 입력되는 해당 음성을 출력한다. 예를 들어, 터치 패널을 장착한 휴대용 단말기(400)의 경우 모션 종료 및 발화될 텍스트 출력 후 사용자가 터치 패널을 터치한 후에 바로 터치를 해제하면, 발화정보 출력부(260)는 이를 출력 허용으로 간주하여 음성을 출력한다.
발화정보 출력부(260)는 출력될 음성의 출력 볼륨을 조절할 수도 있다. 예를 들어, 모션 입력의 종료를 위해 터치 패널에서 터치를 해제할 때 우측으로 슬라이드하면서 해제하면 볼륨을 높여 음성을 출력하고, 좌측으로 슬라이드하면서 해제하면 볼륨을 낮춰 음성을 출력한다. 물론, 발화정보 출력부(260)는 환경설정을 통해 음성 출력 볼륨을 미리 설정하거나, 휴대용 단말기(400)에 형성된 볼륨 버튼을 통해 음성 출력 볼륨을 조절할 수도 있다.
발화정보 출력부(260)는 사용자의 설정에 따라 발화정보에 대응되는 문자나 이미지로 출력할 수도 있다. 발화정보 출력부(260)는 발화정보 검출부(250)에서 검출된 발화정보가 문자 또는 이미지인 경우 휴대용 단말기(400)의 화면상에 발화정보를 출력할 수도 있다.
모션감지 제어부(270)는 모션의 시작 시점과 종료 시점 정보를 사용자로부터 입력받아 모션 감지부(230)의 활성화 유무를 결정한다. 즉, 모션감지 제어부(270)는 모션의 시작 시점 정보가 입력되면 모션 감지부(230)를 활성화하고, 종료 시점 정보가 입력되면 모션 감지부(230)를 비활성화한다. 여기서, 모션이란 일정 시간대의 움직임이므로 모션의 시작시점과 종료시점의 인지기 필요하다. 따라서, 모션감지 제어부(270)는 휴대용 단말기(400)의 터치 패널(즉, 터치 화면)에 모션감지의 시작과 종료를 결정하는 별도의 버튼(즉, 상술한 도 6에 도시된 모션감지 시작/종료 버튼(420))을 출력한다. 사용자는 별도 버튼을 터치한 채 모션을 취하고 버튼에서 터치를 해지하여 모션 생성을 완료한다. 이때, 모션의 시작과 종료를 설정하는 버튼을 터치 패널 상에 출력하는 것으로 설명하였으나, 휴대용 단말기(400)에 형성된 별도의 물리적 버튼으로 대체될 수도 있다.
모션유형 생성부(280)는 모션 감지부(230)에서 감지된 단위모션들을 조합하여 새로운 모션유형을 생성한다. 이때, 모션유형 생성부(280)는 하나 이상의 단위모션을 조합하여 모션유형을 생성한다. 모션유형 생성부(280)는 생성한 모션유형을 저장부(210)에 저장한다. 즉, 모션유형 생성부(280)는 생성한 모션유형을 모션유형정보 저장부(212)에 저장한다. 여기서, 모션유형 생성부(280)는 모션유형정보 저장부(212)에 저장된 복수의 모션유형과 생성한 모션유형을 비교하여 신규 생성된 모션유형으로 판단된 경우에만 생성한 모션유형을 저장한다. 이를 통해, 감지된 모션이 기존 모션유형들과 구분이 명확한지를 평가하여 모션간 모호성을 최소화한다. 이때, 모션유형 생성부(280)는 생성한 모션유형을 상황정보를 연계하여 저장한다. 모션유형 생성부(280)는 생성한 모션유형에 대응되는 발화정보를 설정하여 저장부(210)에 저장한다.
모션유형 생성부(280)는 기생성된 모션유형을 삭제, 변경할 수도 있다. 즉, 모션유형 생성부(280)는 편집툴을 사용자에게 제공하여 모션유형의 삭제/변경을 수행한다. 물론, 모션유형 생성부(280)는 새롭게 생성된 모션유형에 대응되는 발화정보의 배정도 함께 이뤄지는 편집툴을 사용자에게 제공한다.
이하, 본 발명의 제2실시예에 따른 모션 기반 의사전달 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 14는 본 발명의 제2실시예에 따른 모션 기반 의사전달 방법을 설명하기 위한 흐름도이다.
상황정보 설정부(220)는 사용자의 현재 위치, 현재 상황에 해당하는 현재 상황정보를 설정한다(S210). 즉, 상황정보 설정부(220)는 복수의 상황정보를 휴대용 단말기(400)의 터치 패널 상에 출력하고, 사용자에 의해 터치된 부분에 출력된 상황정보를 현재 상황정보로 설정한다. 상황정보 설정부(220)는 저장된 복수의 상황정보 중에서 모션 감지부(230)에서 감지한 모션에 해당하는 모션유형에 연계된 상황정보를 검출하여 현재 상황정보로 설정할 수도 있다.
모션 감지부(230)는 사용자의 조작에 따라 휴대용 단말기(400)의 모션 감지를 시작한다(S2200). 이때, 모션 감지부(230)는 사용자의 조작에 의해 휴대용 단말기(400)의 모션 감지 시작 명령이 입력되면 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지하기 시작한다.
모션 감지부(230)에서 모션이 감지가 종료되면(S230; YES), 모션유형 검출부(240)는 감지된 모션에 해당하는 모션유형을 검출한다(S240). 즉, 모션 감지부(230)는 사용자의 조작에 따라 모션 감지 종료 명령이 입력되면 휴대용 단말기(400)의 모션 감지를 종료한다. 모션 감지부(230)는 감지한 모션을 모션유형 검출부(240)로 전송한다. 모션유형 검출부(240)는 수신한 모션에 해당하는 모션유형을 저장부(210)로부터 검출한다. 모션유형 검출부(240)는 검출한 모션유형을 발화정보 검출부(250)로 전송한다.
발화정보 검출부(250)는 설정된 상황정보 및 검출한 모션유형에 해당하는 발화정보를 검출한다(S250). 발화정보 검출부(250)는 상황정보 설정부(220)로부터 설정된 상황정보를 수신한다. 발화정보 검출부(250)는 모션유형 검출부(240)로부터 모션유형을 수신한다. 발화정보 수신한 상황정보 및 모션유형과 연계되어 저장된 발화정보를 저장부(210)로부터 검출한다. 이때, 검출되는 발화정보는 음성 데이터, 텍스트 데이터, 이미지 데이터 등이 될 수 있다. 발화정보 검출부(250)는 검출한 발화정보를 발화정보 출력부(260)로 전송한다.
발화정보 출력부(260)는 검출된 발화정보를 출력한다(S260). 발화정보 출력부(260)는 발화정보 검출부(250)로부터 발화정보를 수신한다. 발화정보 출력부(260)는 수신한 발화정보를 출력한다. 이때, 발화정보 출력부(260)는 발화정보가 음성 데이터인 경우 그대로 음성 출력한다. 발화정보 출력부(260)는 발화정보가 텍스트 데이터인 경우 음성합성장치 등을 통해 텍스트 데이터를 음성 데이터로 변환하여 출력한다.
(제3실시예)
이하, 본 발명의 제3실시예에 따른 모션 기반 의사전달 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 15는 본 발명의 제3실시예에 따른 모션 기반 의사전달 장치의 구성을 설명하기 위한 도면이고, 도 16 및 도 17은 도 15의 저장부를 설명하기 위한 도면이다.
먼저, 본 발명의 제3실시예는 하나의 모션에 대해 사용자가 설정한 언어에 따라 다른 문장을 출력하는 것이 상술한 제1실시예와의 차이점이고, 제3실시예의 변형예는 하나의 모션에 대해 언어와 상황에 따라 다른 문장을 출력하는 것이 제3실시예와의 차이점이다. 이를 위해, 본 발명의 제3실시예에서는 복수의 모션에 다양한 언어(예를 들면, 영어, 일어, 중국어 등)에 따라 다양한 문장을 설정하고, 언어별로 설정된 문장들에 모션을 설정하여 사용자에 의해 설정된 상황 및 모션에 따라 사용자가 원하는 문장을 음성 출력하도록 하는 것을 특징으로 한다.
이를 위해, 도 15에 도시된 바와 같이, 모션 기반 의사전달 장치는 저장부(310), 언어정보 설정부(320), 모션 감지부(330), 모션유형 검출부(340), 발화정보 검출부(350), 발화정보 출력부(360), 모션감지 제어부(370), 모션유형 생성부(380)를 포함하여 구성된다.
저장부(310)는 복수의 언어정보, 복수의 모션유형, 복수의 발화정보를 저장한다. 이를 위해, 저장부(310)는 복수의 언어정보를 저장하는 언어정보 저장부(316), 복수의 모션유형을 저장하는 모션유형정보 저장부(312), 복수의 발화정보를 저장하는 발화정보 저장부(314)를 포함하여 구성된다.
언어정보 저장부(316)는 현재 위치(장소)에 따라 구분되는 언어정보 또는 사용되는 언어에 따라 구분되는 언어정보를 저장한다. 즉, 도 16에 도시된 바와 같이, 언어정보 저장부(316)는 사용자의 현재 위치에 따라 구분되는 복수의 언어정보를 모션유형으로 구분하여 저장한다. 이때, 언어정보 저장부(316)는 복수의 모션유형 각각에 복수의 언어정보를 일 대 일로 연계하여 저장한다.
모션유형정보 저장부(312)는 휴대용 단말기(400)의 상하 방향과 앞뒤 방향 및 좌우 방향의 움직임과 회전 움직임을 조합하여 생성된 복수의 모션유형을 저장한다. 즉, 모션유형정보 저장부(312)는 3차원 공간상에서 시작 위치에서 종료 위치까지의 일련의 움직임인 모션을 의미하는 모션유형을 저장한다. 여기서, 모션은 3차원 공간에서 휴대용 단말기(400)의 직진 운동, 회전 운동 등과 같이 후술한 모션 감지부(330; 예를 들면, 모션 센서)에 의해 감지된 일련의 움직임을 의미한다. 모션유형은 3차원 공간에서 휴대용 단말기(400)의 직진 운동, 회전 운동 등으로 생성되는 일련의 움직임인 모션을 적어도 하나 포함하여 구성된다. 모션유형에 포함되는 모션들간에는 상호 구분이 명확한 것들도 있지만 구분이 명확하지 않은 것들도 존재한다. 따라서, 모션유형정보 저장부(312)는 다른 모션들과는 구분이 용이하면서 상호 유사한 모션들을 대표하여 유효하게 사용될 모션유형들을 저장한다. 여기서, 모션유형정보 저장부(312)는 미리 정의된 복수의 모션유형들을 저장하고 있거나, 사용자에 의해 실시간으로 정의한 모션유형을 저장할 수도 있다.
발화정보 저장부(314)는 음성으로 출력될 음성정보 또는 음성정보로 전환될 수 있는 의미나 텍스트 정보로 구성된 복수의 발화정보를 저장한다. 발화정보 저장부(314)는 복수의 언어정보 및 복수의 모션유형에 연계되는 복수의 발화정보를 저장한다. 이때, 도 17에 도시된 바와 같이, 발화정보 저장부(314)에는 복수의 언어정보 각각에 복수의 모션유형이 연계되어 저장되고, 복수의 모션유형 각각에 해당 모션유형에 연계된 언어정보에 해당하는 발화정보가 연계되어 저장된다. 즉, 발화정보 저장부(314)에는 언어정보 저장부(316)에 저장된 복수의 언어정보 각각에 모션유형정보 저장부(312)에 저장된 복수의 모션유형이 연계되고, 각각의 모션유형에는 언어정보에 따라 정의된 발화정보가 연계되어 저장된다. 즉, 하나의 언어정보에 복수의 모션유형이 일 대 다수로 연계되고, 복수의 모션유형 각각에는 복수의 발화정보가 일 대 일로 연계된다. 여기서, 발화정보는 음성으로 출력될 음성정보, 음성정보로 전환될 수 있는 텍스트 정보를 의미한다. 즉, 발화정보는 모션을 통해 음성으로 표현하고자 하는 음성데이터일 수도 있고, 음성데이터를 생성할 수 있는 문장과 같은 텍스트 정보일 수도 있다.
언어정보 설정부(320)는 저장부(310)에 저장된 복수의 언어정보 중에서 현재 상황에 해당하는 언어정보를 검출하여 현재 언어정보로 설정한다. 이때, 언어정보 설정부(320)는 사용자에 의해 선택되는 사용자의 언어정보를 설정한다. 즉, 언어정보 설정부(320)는 저장부(310)에 저장된 복수의 언어정보를 검출하여 휴대용 단말기(400)의 터치 패널 상에 출력한다. 언어정보 설정부(320)는 사용자가 터치 패널을 터치한 부분에 출력된 언어정보를 사용자의 언어정보로 설정한다. 예를 들면, 휴대용 단말기(400)의 터치 패널에 언어정보 설정버튼(420)을 포함하는 화면을 출력된다. 사용자가 언어정보 설정버튼(420)을 터치하면 언어정보 설정부(320)는 저장된 복수의 언어정보를 검출하여 터치 패널에 표시한다. 사용자가 언어정보의 선택을 위해 터치 패널을 터치하면, 언어정보 설정부(320)는 해당하는 언어정보를 사용자의 언어정보로 설정한다.
언어정보 설정부(320)는 후술한 모션 감지부(330)에서 감지한 모션에 해당하는 모션유형과 연계된 언어정보를 검출하여 현재 언어정보로 설정할 수도 있다. 언어정보 설정부(320)는 저장부(310)에 저장된 복수의 모션유형 중에서 모션 감지부(330)에서 감지한 모션에 해당하는 모션유형의 검출을 모션유형 검출부(340)로 요청한다. 언어정보 설정부(320)는 저장부(310)에 저장된 복수의 언어정보 중에서 모션유형 검출부(340)로부터 수신한 모션유형에 연계된 언어정보를 검출한다. 언어정보 설정부(320)는 검출한 언어정보를 현재 언어정보로 설정한다.
모션 감지부(330)는 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지한다. 즉, 모션 감지부(330)는 지자기센서, 가속도 센서, 자이로스코프 등과 같이 직진운동이나 회전 등의 모션을 감지할 수 있는 모션센서로 구성되어 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지한다. 이때, 모션 감지부(330)는 휴대용 단말기(400)의 터치 패널에 모션감지 시작/종료 버튼(420)이 포함된 화면을 출력한다. 이후, 모션 감지부(330)는 사용자에 의해 휴대용 단말기(400)에 표시된 모션감지 시작/종료 버튼(420)이 터치된 상태로 유지되면 휴대용 단말기(400)의 모션을 감지한다. 이후, 모션 감지부(330)는 사용자에 의해 휴대용 단말기(400)에 표시된 모션감지 시작/종료 버튼(420)의 터치가 해제되면 휴대용 단말기(400)의 모션 감지를 종료한다. 여기서, 모션의 시작과 종료를 설정하는 버튼을 터치 패널 상에 출력하는 것으로 설명하였으나, 별도의 물리적 버튼으로 대체될 수도 있다. 모션 감지부(330)는 후술할 모션감지 제어부(370)의 제어에 의해 모션의 감지를 수행할 수도 있다.
모션 감지부(330)는 언어정보 및 발화정보 중에 적어도 하나를 선택하기 위한 휴대용 단말기(400)의 모션을 감지한다. 이를 위해, 모션 감지부(330)는 상술한 바와 같이 시작/종료 버튼(420)을 통해 현재 언어정보의 설정 또는 발화정보의 설정을 위한 모션을 감지한다. 즉, 모션 감지부(330)는 첫 번째로 시작/종료 버튼(420)이 터치되면 휴대용 단말기(400)의 모션을 감지하기 시작하여, 두 번째로 시작/종료 버튼(420)이 터치되면 모션의 감지를 종료하고 감지한 모션을 언어정보 설정부(320)로 전송한다. 모션 감지부(330)는 세 번째로 시작/종료 버튼(420)이 터치되면 휴대용 단말기(400)의 모션을 감지하기 시작하여, 네 번째로 시작/종료 버튼(420)이 터치되면 모션의 감지를 종료하고 감지한 모션을 발화정보 검출부(350)로 전송한다.
모션 감지부(330)는 현재 언어정보를 설정하기 위한 버튼과, 발화정보를 설정하기 위한 버튼을 각각 출력할 수도 있다. 즉, 모션 감지부(330)는 현재 언어정보를 설정하기 위한 버튼이 터치된 상태에서 휴대용 단말기(400)의 모션을 감지하여 언어정보 설정부(320)로 전송한다. 모션 감지부(330)는 발화정보의 설정을 위한 버튼이 터치된 상태에서 휴대용 단말기(400)의 모션을 감지하여 발화정보 검출부(350)로 전송한다.
모션유형 검출부(340)는 모션 감지부(330)에서 감지한 모션에 대응되는 모션유형을 저장부(310)로부터 검출한다. 즉, 모션유형 검출부(340)는 모션유형정보 저장부(312)에 저장된 복수의 모션유형 중에서 모션 감지부(330)에서 감지된 모션과 직진 방향, 회전 방향이 크게 다르지 않으면서 유사한 모션유형을 검출한다. 모션유형 검출부(340)는 검출한 모션유형을 언어정보 설정부(320) 또는 발화정보 검출부(350)로 전송한다.
발화정보 검출부(350)는 기설정된 언어정보 및 기검출된 모션유형에 해당하는 발화정보를 저장부(310)로부터 검출한다. 즉, 발화정보 검출부(350)는 언어정보 설정부(320)에서 설정된 언어정보 및 모션유형 검출부(340)에서 검출한 모션유형에 연계되는 발화정보를 발화정보 저장부(314)로부터 검출한다. 여기서, 발화정보 저장부(314)에는 유효하게 사용될 언어정보 및 모션유형별로 발화정보들이 연계되어 저장되어 있기 때문에, 발화정보 검출부(350)는 단순 매칭 방법으로 검출하게 된다.
발화정보 출력부(360)는 검출된 발화정보를 음성으로 출력한다. 이때, 발화정보 출력부(360)는 텍스트 데이터로 구성된 발화정보인 경우 음성으로 합성한 후 합성음을 출력한다. 즉, 발화정보 출력부(360)는 발화정보가 텍스트 정보인 경우 음성합성장치(TTS)에 의해 음성으로 변환하여 출력한다. 이때, 발화정보 출력부(360)는 청각장애인의 경우 선택한 발화정보가 음성으로 출력되었음을 확인시키기 위해서 화면에 음성 출력결과를 표시하거나 휴대용 단말기(400)에 진동을 가하는 방식 등으로 음성이 출력되었음을 알려줄 수도 있다.
발화정보 출력부(360)는 발화정보를 음성 출력하기 전에 출력될 음성에 대응되는 텍스트, 이미지 등을 휴대용 단말기(400)의 화면에 먼저 출력하여 사용자가 출력될 내용을 먼저 확인할 수 있도록 할 수도 있다. 이 경우, 발화정보 출력부(360)는 모션 종료 후 바로 발화정보에 대응되는 음성을 출력하지 않고, 사용자로부터 해당 음성의 출력 여부를 입력받는다. 발화정보 출력부(360)는 사용자로부터 음성 출력에 해당하는 명령이 입력되는 해당 음성을 출력한다. 예를 들어, 터치 패널을 장착한 휴대용 단말기(400)의 경우 모션 종료 및 발화될 텍스트 출력 후 사용자가 터치 패널을 터치한 후에 바로 터치를 해제하면, 발화정보 출력부(360)는 이를 출력 허용으로 간주하여 음성을 출력한다.
발화정보 출력부(360)는 출력될 음성의 출력 볼륨을 조절할 수도 있다. 예를 들어, 모션 입력의 종료를 위해 터치 패널에서 터치를 해제할 때 우측으로 슬라이드하면서 해제하면 볼륨을 높여 음성을 출력하고, 좌측으로 슬라이드하면서 해제하면 볼륨을 낮춰 음성을 출력한다. 물론, 발화정보 출력부(360)는 환경설정을 통해 음성 출력 볼륨을 미리 설정하거나, 휴대용 단말기(400)에 형성된 볼륨 버튼을 통해 음성 출력 볼륨을 조절할 수도 있다.
발화정보 출력부(360)는 사용자의 설정에 따라 발화정보에 대응되는 문자나 이미지로 출력할 수도 있다. 발화정보 출력부(360)는 발화정보 검출부(350)에서 검출된 발화정보가 문자 또는 이미지인 경우 휴대용 단말기(400)의 화면상에 발화정보를 출력할 수도 있다.
모션감지 제어부(370)는 모션의 시작 시점과 종료 시점 정보를 사용자로부터 입력받아 모션 감지부(330)의 활성화 유무를 결정한다. 즉, 모션감지 제어부(370)는 모션의 시작 시점 정보가 입력되면 모션 감지부(330)를 활성화하고, 종료 시점 정보가 입력되면 모션 감지부(330)를 비활성화한다. 여기서, 모션이란 일정 시간대의 움직임이므로 모션의 시작시점과 종료시점의 인지기 필요하다. 따라서, 모션감지 제어부(370)는 휴대용 단말기(400)의 터치 패널(즉, 터치 화면)에 모션감지의 시작과 종료를 결정하는 별도의 버튼(즉, 상술한 도 6에 도시된 모션감지 시작/종료 버튼(420))을 출력한다. 사용자는 별도 버튼을 터치한 채 모션을 취하고 버튼에서 터치를 해지하여 모션 생성을 완료한다. 이때, 모션의 시작과 종료를 설정하는 버튼을 터치 패널 상에 출력하는 것으로 설명하였으나, 휴대용 단말기(400)에 형성된 별도의 물리적 버튼으로 대체될 수도 있다.
모션유형 생성부(380)는 모션 감지부(330)에서 감지된 단위모션들을 조합하여 새로운 모션유형을 생성한다. 이때, 모션유형 생성부(380)는 하나 이상의 단위모션을 조합하여 모션유형을 생성한다. 모션유형 생성부(380)는 생성한 모션유형을 저장부(310)에 저장한다. 즉, 모션유형 생성부(380)는 생성한 모션유형을 모션유형정보 저장부(312)에 저장한다. 여기서, 모션유형 생성부(380)는 모션유형정보 저장부(312)에 저장된 복수의 모션유형과 생성한 모션유형을 비교하여 신규 생성된 모션유형으로 판단된 경우에만 생성한 모션유형을 저장한다. 이를 통해, 감지된 모션이 기존 모션유형들과 구분이 명확한지를 평가하여 모션간 모호성을 최소화한다. 이때, 모션유형 생성부(380)는 생성한 모션유형을 언어정보를 연계하여 저장한다. 모션유형 생성부(380)는 생성한 모션유형에 대응되는 발화정보를 설정하여 저장부(310)에 저장한다.
모션유형 생성부(380)는 기생성된 모션유형을 삭제, 변경할 수도 있다. 즉, 모션유형 생성부(380)는 편집툴을 사용자에게 제공하여 모션유형의 삭제/변경을 수행한다. 물론, 모션유형 생성부(380)는 새롭게 생성된 모션유형에 대응되는 발화정보의 배정도 함께 이뤄지는 편집툴을 사용자에게 제공한다.
이하, 본 발명의 제3실시예에 따른 모션 기반 의사전달 장치의 변형예를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 18 및 도 19는 본 발명의 제3실시예의 변형예를 설명하기 위한 도면이다.
도 18에 도시된 바와 같이, 모션 기반 의사전달 장치는 상황정보 설정부(390)을 더 포함하고, 저장부(310)에는 상황정보 저장부(318)가 포함되어 구성될 수도 있다. 즉, 상술한 제2실시예에 기재된 상황정보 설정부(390) 및 상황정보 저장부(318)를 더 포함하여 구성된다.
저장부(310)는 상술한 모션유형정보 저장부(312)와 발화정보 저장부(314) 및 언어정보 저장부(316) 외에 상황정보 저장부(318)를 추가로 포함하여 구성된다. 이때, 상황정보 저장부(318)는 제2실시예의 상황정보 저장부(216)와 동일하게 복수의 모션유형 각각에 언어정보가 일 대 일로 연계되어 저장된다. 그에 따라, 도 19에 도시된 바와 같이, 발화정보 저장부(314)는 각각의 언어정보에 복수의 상황정보가 연계되고, 각각의 상황정보에 복수의 모션유형이 연계되고, 각각의 모션유형에는 일 대 일로 발화정보가 연계되어 저장된다.
상황정보 설정부(390)는 언어정보 설정부(320)에서 현재 언어정보를 설정하기 전 또는 설정한 후에 현재 상황정보를 설정한다. 즉, 상황정보 설정부(390)는 현재 언어정보의 설정 후에 상황정보 저장부(318)에 저장된 복수의 상황정보 중에 어느 하나를 검출하여 현재 상황정보로 설정한다. 이때, 상황정보 설정부(390)에서 현재 상황정보를 설정하는 방법은 상술한 제2실시예의 상황정보 설정부(220)과 동일하다.
그에 따라, 발화정보 검출부(350)는 현재 언어정보와 현재 상황정보 및 기검출된 모션유형에 해당하는 발화정보를 저장부(310)로부터 검출한다. 즉, 발화정보 검출부(350)는 언어정보 설정부(320)에서 설정된 현재 언어정보에 해당하는 언어정보와 연계된 복수의 발화정보를 일차로 검출한다. 발화정보 검출부(350)는 일차로 검출된 복수의 발화정보 중에서 상황정보 설정부(390)에서 설정된 상황정보에 해당하는 복수의 발화정보를 이차로 검출한다. 발화정보 검출부(350)는 이차로 검출된 복수의 발화정보 중에서 모션 감지부(330)에서 감지한 모션에 해당하는 모션유형에 연계된 발화정보를 검출한다.
이하, 본 발명의 제3실시예에 따른 모션 기반 의사전달 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 20은 본 발명의 제3실시예에 따른 모션 기반 의사전달 방법을 설명하기 위한 흐름도이고, 도 21은 본 발명의 제3실시예에 따른 모션 기반 의사전달 방법의 변형예를 설명하기 위한 흐름도이다.
언어정보 설정부(320)는 현재 언어정보를 설정한다(S310). 즉, 언어정보 설정부(320)는 복수의 언어정보를 휴대용 단말기(400)의 터치 패널 상에 출력하고, 사용자에 의해 터치된 부분에 출력된 언어정보를 현재 언어정보로 설정한다. 언어정보 설정부(320)는 저장된 복수의 언어정보 중에서 모션 감지부(330)에서 감지한 모션에 해당하는 모션유형에 연계된 언어정보를 검출하여 현재 언어정보로 설정할 수도 있다.
모션 감지부(330)는 사용자의 조작에 따라 휴대용 단말기(400)의 모션 감지를 시작한다(S320). 이때, 모션 감지부(330)는 사용자의 조작에 의해 휴대용 단말기(400)의 모션 감지 시작 명령이 입력되면 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지하기 시작한다.
모션 감지부(330)에서 모션이 감지가 종료되면(S330; YES), 모션유형 검출부(340)는 감지된 모션에 해당하는 모션유형을 검출한다(S340). 즉, 모션 감지부(330)는 사용자의 조작에 따라 모션 감지 종료 명령이 입력되면 휴대용 단말기(400)의 모션 감지를 종료한다. 모션 감지부(330)는 감지한 모션을 모션유형 검출부(340)로 전송한다. 모션유형 검출부(340)는 수신한 모션에 해당하는 모션유형을 저장부(310)로부터 검출한다. 모션유형 검출부(340)는 검출한 모션유형을 발화정보 검출부(350)로 전송한다.
발화정보 검출부(350)는 설정된 언어정보 및 검출한 모션유형에 해당하는 발화정보를 검출한다(S350). 발화정보 검출부(350)는 언어정보 설정부(320)로부터 설정된 언어정보를 수신한다. 발화정보 검출부(350)는 모션유형 검출부(340)로부터 모션유형을 수신한다. 발화정보 수신한 언어정보 및 모션유형과 연계되어 저장된 발화정보를 저장부(310)로부터 검출한다. 이때, 검출되는 발화정보는 음성 데이터, 텍스트 데이터, 이미지 데이터 등이 될 수 있다. 발화정보 검출부(350)는 검출한 발화정보를 발화정보 출력부(360)로 전송한다.
발화정보 출력부(360)는 검출된 발화정보를 출력한다(S360). 발화정보 출력부(360)는 발화정보 검출부(350)로부터 발화정보를 수신한다. 발화정보 출력부(360)는 수신한 발화정보를 출력한다. 이때, 발화정보 출력부(360)는 발화정보가 음성 데이터인 경우 그대로 음성 출력한다. 발화정보 출력부(360)는 발화정보가 텍스트 데이터인 경우 음성합성장치 등을 통해 텍스트 데이터를 음성 데이터로 변환하여 출력한다.
이때, 도 21에 도시된 바와 같이, 상황정보 설정부(320)가 사용자의 현재 위치, 현재 상황에 해당하는 현재 상황정보를 설정하는 단계(S315)를 더 포함할 수도 있다. 즉, 상황정보 설정부(320)는 복수의 상황정보를 휴대용 단말기(400)의 터치 패널 상에 출력하고, 사용자에 의해 터치된 부분에 출력된 상황정보를 현재 상황정보로 설정한다. 상황정보 설정부(320)는 저장된 복수의 상황정보 중에서 모션 감지부(330)에서 감지한 모션에 해당하는 모션유형에 연계된 상황정보를 검출하여 현재 상황정보로 설정할 수도 있다.
그에 따라, 발화정보를 검출하는 단계(S350)에서는 현재 언어정보와 현재 상황정보 및 기검출된 모션유형에 해당하는 발화정보를 저장부(310)로부터 검출한다. 즉, 발화정보 검출부(350)는 언어정보 설정부(320)에서 설정된 현재 언어정보에 해당하는 언어정보와 연계된 복수의 발화정보를 일차로 검출한다. 발화정보 검출부(350)는 일차로 검출된 복수의 발화정보 중에서 상황정보 설정부(390)에서 설정된 상황정보에 해당하는 복수의 발화정보를 이차로 검출한다. 발화정보 검출부(350)는 이차로 검출된 복수의 발화정보 중에서 모션 감지부(330)에서 감지한 모션에 해당하는 모션유형에 연계된 발화정보를 검출한다. 발화정보 검출부(350)는 최종 검출된 발화정보를 발화정보 출력부(360)로 전송한다.
(제4실시예)
이하, 본 발명의 제5실시예에 따른 모션 기반 의사전달 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 22는 본 발명의 제4실시예에 따른 모션 기반 의사전달 장치의 구성을 설명하기 위한 도면이다.
먼저, 본 발명의 제4실시예는 위치기반 서비스를 통해 사용자의 현재 위치를 판단하여 사용자의 상황을 설정하는 것이 상술한 제1실시예 내지 제3실시예와의 차이점이다. 이를 위해, 본 발명의 제4실시예에서는 사용자가 처할 수 있는 다양한 상황(예를 들면, 사무소, 학교, 경찰서 등, 거래처, 미국, 일본, 중국 등)에 따라 다양한 문장을 설정하고, 상황별로 설정된 문장들에 모션을 설정하여 위치기반 서비스를 통해 판단한 사용자의 상황 및 사용자의 모션에 따라 사용자가 원하는 문장을 음성 출력하도록 하는 것을 특징으로 한다.
이를 위해, 도 22에 도시된 바와 같이, 모션 기반 의사전달 장치는 저장부(510), 위치기반 서비스 제공부(520), 상황정보 설정부(530), 모션 감지부(540), 모션유형 검출부(550), 발화정보 검출부(560), 발화정보 출력부(570), 모션감지 제어부(580), 모션유형 생성부(590)를 포함하여 구성된다.
저장부(510)는 복수의 상황정보, 복수의 모션유형, 복수의 발화정보를 저장한다. 이를 위해, 저장부(510)는 복수의 상황정보를 저장하는 상황정보 저장부(516)와, 복수의 모션유형을 저장하는 모션유형정보 저장부(512), 및 복수의 발화정보를 저장하는 발화정보 저장부(514)를 포함하여 구성된다.
상황정보 저장부(516)는 현재 위치(장소)에 따라 구분되는 상황정보 또는 사용되는 언어에 따라 구분되는 상황정보를 저장한다. 즉, 상황정보 저장부(516)는 사용자의 현재 위치에 따라 구분되는 복수의 상황정보를 상황유형으로 구분하여 저장한다. 상황정보 저장부(516)는 사용자가 사용할 언어에 따라 구분되는 복수의 상황정보를 상황유형으로 구분하여 저장할 수도 있다.
모션유형정보 저장부(512)는 휴대용 단말기(400)의 상하 방향과 앞뒤 방향 및 좌우 방향의 움직임과 회전 움직임을 조합하여 생성된 복수의 모션유형을 저장한다. 즉, 모션유형정보 저장부(512)는 3차원 공간상에서 시작 위치에서 종료 위치까지의 일련의 움직임인 모션을 의미하는 모션유형을 저장한다. 여기서, 모션은 3차원 공간에서 휴대용 단말기(400)의 직진 운동, 회전 운동 등과 같이 후술한 모션 감지부(540; 예를 들면, 모션 센서)에 의해 감지된 일련의 움직임을 의미한다. 모션유형은 3차원 공간에서 휴대용 단말기(400)의 직진 운동, 회전 운동 등으로 생성되는 일련의 움직임인 모션을 적어도 하나 포함하여 구성된다. 모션유형에 포함되는 모션들간에는 상호 구분이 명확한 것들도 있지만 구분이 명확하지 않은 것들도 존재한다. 따라서, 모션유형정보 저장부(512)는 다른 모션들과는 구분이 용이하면서 상호 유사한 모션들을 대표하여 유효하게 사용될 모션유형들을 저장한다. 여기서, 모션유형정보 저장부(512)는 미리 정의된 복수의 모션유형들을 저장하고 있거나, 사용자에 의해 실시간으로 정의한 모션유형을 저장할 수도 있다.
발화정보 저장부(514)는 음성으로 출력될 음성정보 또는 음성정보로 전환될 수 있는 의미나 텍스트 정보로 구성된 복수의 발화정보를 저장한다. 발화정보 저장부(514)는 복수의 상황정보 및 복수의 모션유형에 연계되는 복수의 발화정보를 저장한다. 이때, 발화정보 저장부(514)에는 복수의 상황정보 각각에 복수의 모션유형이 연계되어 저장되고, 복수의 모션유형 각각에 해당 모션유형에 연계된 상황정보에 해당하는 발화정보가 연계되어 저장된다. 즉, 발화정보 저장부(514)에는 상황정보 저장부(516)에 저장된 복수의 상황정보 각각에 모션유형정보 저장부(512)에 저장된 복수의 모션유형이 연계되고, 각각의 모션유형에는 상황정보에 따라 정의된 발화정보가 연계되어 저장된다. 즉, 하나의 상황정보에 복수의 모션유형이 일 대 다수로 연계되고, 복수의 모션유형 각각에는 일 대 일로 복수의 발화정보가 연계된다. 여기서, 발화정보는 음성으로 출력될 음성정보, 음성정보로 전환될 수 있는 텍스트 정보를 의미한다. 즉, 발화정보는 모션을 통해 음성으로 표현하고자 하는 음성데이터일 수도 있고, 음성데이터를 생성할 수 있는 문장과 같은 텍스트 정보일 수도 있다.
위치기반 서비스 제공부(520)는 휴대용 단말기(400)의 현재 위치를 근거로 현재 상황정보를 설정한다. 즉, 위치기반 서비스 제공부(520)는 위치기반서비스(LBS; Location-Based Service) 방식을 통해 휴대용 단말기(400)의 현재 위치를 파악한다. 이때, 위치기반 서비스 제공부(520)는 일반적은 위치기반서비스 방식과 같이 GPS, Wi-Fi망 등을 통해 휴대용 단말기(400)의 위치정보를 수집하여 현재 위치를 파악한다. 위치기반 서비스 제공부(520)는 파악된 휴대용 단말기(400)의 현재 위치를 근거로 사용자의 현재 상황정보를 설정한다. 예를 들면, 상황정보 저장부(516)에 '경찰서', '학교', '집'이 저장되어 있는 것으로 가정한다. 위치기반 서비스 제공부(520)에서 수집한 휴대용 단말기(400)의 현재 위치에 해당하는 좌표를 파악한다. 위치기반 서비스 제공부(520)는 파악한 현재 위치의 좌표가 경찰서에 해당하면 상황정보 저장부(516)에 저장된 '경찰서'를 검출하여 현재 상황정보로 설정한다.
위치기반 서비스 제공부(520)는 파악한 현재 위치에 해당하는 상황정보가 상황정보 저장부(516)에 저장되어 있지 않은 경우 상황정보의 설정을 수행하지 않을 수도 있다. 예를 들면, 상황정보 저장부(516)에 '경찰서', '학교', '집'이 저장되어 있는 것으로 가정한다. 위치기반 서비스 제공부(520)에서 수집한 휴대용 단말기(400)의 현재 위치에 해당하는 좌표를 파악한다. 위치기반 서비스 제공부(520)에서 파악한 현재 위치의 좌표가 상점에 해당하면 상황정보의 설정을 수행하지 않는다.
상황정보 설정부(530)는 위치기반 서비스 제공부(520)에서 상황정보가 설정되지 않으면 상황정보를 설정한다. 이를 위해, 상황정보 설정부(530)는 저장부(510)에 저장된 복수의 상황정보 중에서 현재 상황에 해당하는 상황정보를 검출하여 상황정보로 설정할 수도 있다. 이때, 상황정보 설정부(530)는 사용자에 의해 선택되는 사용자의 상황정보를 설정한다. 즉, 상황정보 설정부(530)는 저장부(510)에 저장된 복수의 상황정보를 검출하여 휴대용 단말기(400)의 터치 패널 상에 출력한다. 상황정보 설정부(530)는 사용자가 터치 패널을 터치한 부분에 출력된 상황정보를 사용자의 상황정보로 설정한다. 예를 들면, 휴대용 단말기(400)의 터치 패널에 상황정보 설정버튼(420)을 포함하는 화면을 출력된다. 사용자가 상황정보 설정버튼(420)을 터치하면 상황정보 설정부(530)는 저장된 복수의 상황정보를 검출하여 터치 패널에 표시한다. 사용자가 상황정보의 선택을 위해 터치 패널을 터치하면, 상황정보 설정부(530)는 해당하는 상황정보를 사용자의 상황정보로 설정한다.
모션 감지부(540)는 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지한다. 즉, 모션 감지부(540)는 지자기센서, 가속도 센서, 자이로스코프 등과 같이 직진운동이나 회전 등의 모션을 감지할 수 있는 모션센서로 구성되어 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지한다. 이때, 모션 감지부(540)는 휴대용 단말기(400)의 터치 패널에 모션감지 시작/종료 버튼(420)이 포함된 화면을 출력한다. 이후, 모션 감지부(540)는 사용자에 의해 휴대용 단말기(400)에 표시된 모션감지 시작/종료 버튼(420)이 터치된 상태로 유지되면 휴대용 단말기(400)의 모션을 감지한다. 이후, 모션 감지부(540)는 사용자에 의해 휴대용 단말기(400)에 표시된 모션감지 시작/종료 버튼(420)의 터치가 해제되면 휴대용 단말기(400)의 모션 감지를 종료한다. 여기서, 모션의 시작과 종료를 설정하는 버튼을 터치 패널 상에 출력하는 것으로 설명하였으나, 별도의 물리적 버튼으로 대체될 수도 있다. 모션 감지부(540)는 후술할 모션감지 제어부(580)의 제어에 의해 모션의 감지를 수행할 수도 있다.
모션유형 검출부(550)는 모션 감지부(540)에서 감지한 모션에 대응되는 모션유형을 저장부(510)로부터 검출한다. 즉, 모션유형 검출부(550)는 모션유형정보 저장부(512)에 저장된 복수의 모션유형 중에서 모션 감지부(540)에서 감지된 모션과 직진 방향, 회전 방향이 크게 다르지 않으면서 유사한 모션유형을 검출한다.
발화정보 검출부(560)는 기설정된 상황정보 및 기검출된 모션유형에 해당하는 발화정보를 저장부(510)로부터 검출한다. 즉, 발화정보 검출부(560)는 위치기반 서비스 제공부(520) 또는 상황정보 설정부(530)에서 설정된 상황정보, 및 모션유형 검출부(550)에서 검출한 모션유형에 연계되는 발화정보를 발화정보 저장부(514)로부터 검출한다. 여기서, 발화정보 저장부(514)에는 유효하게 사용될 상황정보 및 모션유형별로 발화정보들이 연계되어 저장되어 있기 때문에, 발화정보 검출부(560)는 단순 매칭 방법으로 검출하게 된다.
발화정보 출력부(570)는 검출된 발화정보를 음성으로 출력한다. 이때, 발화정보 출력부(570)는 텍스트 데이터로 구성된 발화정보인 경우 음성으로 합성한 후 합성음을 출력한다. 즉, 발화정보 출력부(570)는 발화정보가 텍스트 정보인 경우 음성합성장치(TTS)에 의해 음성으로 변환하여 출력한다. 이때, 발화정보 출력부(570)는 청각장애인의 경우 선택한 발화정보가 음성으로 출력되었음을 확인시키기 위해서 화면에 음성 출력결과를 표시하거나 휴대용 단말기(400)에 진동을 가하는 방식 등으로 음성이 출력되었음을 알려줄 수도 있다.
발화정보 출력부(570)는 발화정보를 음성 출력하기 전에 출력될 음성에 대응되는 텍스트, 이미지 등을 휴대용 단말기(400)의 화면에 먼저 출력하여 사용자가 출력될 내용을 먼저 확인할 수 있도록 할 수도 있다. 이 경우, 발화정보 출력부(570)는 모션 종료 후 바로 발화정보에 대응되는 음성을 출력하지 않고, 사용자로부터 해당 음성의 출력 여부를 입력받는다. 발화정보 출력부(570)는 사용자로부터 음성 출력에 해당하는 명령이 입력되는 해당 음성을 출력한다. 예를 들어, 터치 패널을 장착한 휴대용 단말기(400)의 경우 모션 종료 및 발화될 텍스트 출력 후 사용자가 터치 패널을 터치한 후에 바로 터치를 해제하면, 발화정보 출력부(570)는 이를 출력 허용으로 간주하여 음성을 출력한다.
발화정보 출력부(570)는 출력될 음성의 출력 볼륨을 조절할 수도 있다. 예를 들어, 모션 입력의 종료를 위해 터치 패널에서 터치를 해제할 때 우측으로 슬라이드하면서 해제하면 볼륨을 높여 음성을 출력하고, 좌측으로 슬라이드하면서 해제하면 볼륨을 낮춰 음성을 출력한다. 물론, 발화정보 출력부(570)는 환경설정을 통해 음성 출력 볼륨을 미리 설정하거나, 휴대용 단말기(400)에 형성된 볼륨 버튼을 통해 음성 출력 볼륨을 조절할 수도 있다.
발화정보 출력부(570)는 사용자의 설정에 따라 발화정보에 대응되는 문자나 이미지로 출력할 수도 있다. 발화정보 출력부(570)는 발화정보 검출부(560)에서 검출된 발화정보가 문자 또는 이미지인 경우 휴대용 단말기(400)의 화면상에 발화정보를 출력할 수도 있다.
모션감지 제어부(580)는 모션의 시작 시점과 종료 시점 정보를 사용자로부터 입력받아 모션 감지부(540)의 활성화 유무를 결정한다. 즉, 모션감지 제어부(580)는 모션의 시작 시점 정보가 입력되면 모션 감지부(540)를 활성화하고, 종료 시점 정보가 입력되면 모션 감지부(540)를 비활성화한다. 여기서, 모션이란 일정 시간대의 움직임이므로 모션의 시작시점과 종료시점의 인지기 필요하다. 따라서, 모션감지 제어부(580)는 휴대용 단말기(400)의 터치 패널(즉, 터치 화면)에 모션감지의 시작과 종료를 결정하는 별도의 버튼(즉, 상술한 도 6에 도시된 모션감지 시작/종료 버튼(420))을 출력한다. 사용자는 별도 버튼을 터치한 채 모션을 취하고 버튼에서 터치를 해지하여 모션 생성을 완료한다. 이때, 모션의 시작과 종료를 설정하는 버튼을 터치 패널 상에 출력하는 것으로 설명하였으나, 휴대용 단말기(400)에 형성된 별도의 물리적 버튼으로 대체될 수도 있다.
모션유형 생성부(590)는 모션 감지부(540)에서 감지된 단위모션들을 조합하여 새로운 모션유형을 생성한다. 이때, 모션유형 생성부(590)는 하나 이상의 단위모션을 조합하여 모션유형을 생성한다. 모션유형 생성부(590)는 생성한 모션유형을 저장부(510)에 저장한다. 즉, 모션유형 생성부(590)는 생성한 모션유형을 모션유형정보 저장부(512)에 저장한다. 여기서, 모션유형 생성부(590)는 모션유형정보 저장부(512)에 저장된 복수의 모션유형과 생성한 모션유형을 비교하여 신규 생성된 모션유형으로 판단된 경우에만 생성한 모션유형을 저장한다. 이를 통해, 감지된 모션이 기존 모션유형들과 구분이 명확한지를 평가하여 모션간 모호성을 최소화한다. 이때, 모션유형 생성부(590)는 생성한 모션유형을 상황정보를 연계하여 저장한다. 모션유형 생성부(590)는 생성한 모션유형에 대응되는 발화정보를 설정하여 저장부(510)에 저장한다.
모션유형 생성부(590)는 기생성된 모션유형을 삭제, 변경할 수도 있다. 즉, 모션유형 생성부(590)는 편집툴을 사용자에게 제공하여 모션유형의 삭제/변경을 수행한다. 물론, 모션유형 생성부(590)는 새롭게 생성된 모션유형에 대응되는 발화정보의 배정도 함께 이뤄지는 편집툴을 사용자에게 제공한다.
이하, 본 발명의 제4실시예에 따른 모션 기반 의사전달 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 23은 본 발명의 제4실시예에 따른 모션 기반 의사전달 방법을 설명하기 위한 흐름도이다.
위치기반 서비스 제공부(520)는 휴대용 단말기(400)의 현재 위치를 판단한다(S510). 위치기반 서비스 제공부(520)는 GPS, Wi-Fi망을 통해 위치정보를 수집하여 휴대용 단말기(400)의 현재 위치를 판단한다.
위치기반 서비스 제공부(520)는 휴대용 단말기(400)의 현재 위치를 근거로 상황정보를 검출한다(S520). 위치기반 서비스 제공부(520)는 상황정보 저장부(516)에 저장된 복수의 상황정보 중에서 S310 단계에서 판단한 휴대용 단말기(400)의 현재 위치에 해당하는 상황정보를 검출한다. 예를 들면, 상황정보 저장부(516)에 '경찰서', '학교', '집'이 저장되어 있는 것으로 가정한다. 위치기반 서비스 제공부(520)는 파악한 현재 위치의 좌표가 경찰서에 해당하면 상황정보 저장부(516)에 저장된 '경찰서'를 검출하여 상황정보로 설정한다. 여기서, S310 단계에서 판단한 휴대용 단말기(400)의 현재 위치에 해당하는 상황정보가 상황정보 저장부(516)에 저장되어 있지 않은 경우, 상황정보 설정부(530)가 사용자의 현재 위치, 현재 상황에 해당하는 상황정보를 설정할 수도 있다. 즉, 상황정보 설정부(530)는 저장부(510)에 저장된 복수의 상황정보를 검출한다. 상황정보 설정부(530)는 검출한 복수의 상황정보를 휴대용 단말기(400)의 터치 패널 상에 출력한다. 모션 감지부(540)에서 사용자의 터치 패널 터치가 감지되면, 상황정보 설정부(530)는 사용자가 터치 패널을 터치한 부분에 출력된 상황정보를 사용자의 상황정보로 설정한다. 상황정보 설정부(530)는 설정한 상황정보를 발화정보 검출부(560)에게로 전송한다.
모션 감지부(540)는 사용자의 조작에 따라 휴대용 단말기(400)의 모션 감지를 시작한다(S530). 이때, 모션 감지부(540)는 사용자의 조작에 의해 휴대용 단말기(400)의 모션 감지 시작 명령이 입력되면 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지하기 시작한다.
모션 감지부(540)에서 모션이 감지가 종료되면(S540; YES), 모션유형 검출부(550)는 감지된 모션에 해당하는 모션유형을 검출한다(S550). 즉, 모션 감지부(540)는 사용자의 조작에 따라 모션 감지 종료 명령이 입력되면 휴대용 단말기(400)의 모션 감지를 종료한다. 모션 감지부(540)는 감지한 모션을 모션유형 검출부(550)로 전송한다. 모션유형 검출부(550)는 수신한 모션에 해당하는 모션유형을 저장부(510)로부터 검출한다. 모션유형 검출부(550)는 검출한 모션유형을 발화정보 검출부(560)로 전송한다.
발화정보 검출부(560)는 설정된 상황정보 및 검출된 모션유형에 해당하는 발화정보를 검출한다(S560). 발화정보 검출부(560)는 위치기반 서비스 제공부(520) 또는 상황정보 설정부(530)로부터 설정된 상황정보를 수신한다. 발화정보 검출부(560)는 모션유형 검출부(550)로부터 모션유형을 수신한다. 발화정보 수신한 상황정보 및 모션유형과 연계되어 저장된 발화정보를 저장부(510)로부터 검출한다. 이때, 검출되는 발화정보는 음성 데이터, 텍스트 데이터, 이미지 데이터 등이 될 수 있다. 발화정보 검출부(560)는 검출한 발화정보를 발화정보 출력부(570)로 전송한다.
발화정보 출력부(570)는 검출된 발화정보를 출력한다(S570). 발화정보 출력부(570)는 발화정보 검출부(560)로부터 발화정보를 수신한다. 발화정보 출력부(570)는 수신한 발화정보를 출력한다. 이때, 발화정보 출력부(570)는 발화정보가 음성 데이터인 경우 그대로 음성 출력한다. 발화정보 출력부(570)는 발화정보가 텍스트 데이터인 경우 음성합성장치 등을 통해 텍스트 데이터를 음성 데이터로 변환하여 출력한다.
(제5실시예)
이하, 본 발명의 제5실시예에 따른 모션 기반 의사전달 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 24는 본 발명의 제5실시예에 따른 모션 기반 의사전달 장치를 설명하기 위한 도면이고, 도 25 내지 도 29는 도 24의 모션 적응도 평가부를 설명하기 위한 도면이다.
먼저, 본 발명의 제5실시예에 따른 모션 기반 의사전달 장치는 기설정된 모션에 대한 사용자의 적응도 평가를 수행하는 것을 특징으로 한다. 즉, 모션 기반 의사전달 장치를 이용해 모션에 대응되는 발화정보에 대한 어학정보를 제공하거나, 필요한 상황에서 발화정보를 제대로 인지하여 적합한 모션을 취하는지를 평가한다.
도 24에 도시된 바와 같이, 모션 기반 의사전달 장치는 저장부(610), 모션 적응도 평가부(620), 모션유형 검출부(670), 발화정보 검출부(630), 발화정보 출력부(640), 모션감지 제어부(650), 모션 감지부(660)를 포함하여 구성된다.
저장부(610)는 복수의 상황정보, 복수의 모션유형, 복수의 발화정보를 저장한다. 이를 위해, 저장부(610)는 복수의 상황정보를 저장하는 상황정보 저장부(616)와, 복수의 모션유형을 저장하는 모션유형정보 저장부(612), 및 복수의 발화정보를 저장하는 발화정보 저장부(614)를 포함하여 구성된다.
상황정보 저장부(616)는 현재 위치(장소)에 따라 구분되는 상황정보 또는 사용되는 언어에 따라 구분되는 상황정보를 저장한다. 즉, 상황정보 저장부(616)는 사용자의 현재 위치에 따라 구분되는 복수의 상황정보를 상황유형으로 구분하여 저장한다. 상황정보 저장부(616)는 사용자가 사용할 언어에 따라 구분되는 복수의 상황정보를 상황유형으로 구분하여 저장할 수도 있다.
모션유형정보 저장부(612)는 휴대용 단말기(400)의 상하 방향과 앞뒤 방향 및 좌우 방향의 움직임과 회전 움직임을 조합하여 생성된 복수의 모션유형을 저장한다. 즉, 모션유형정보 저장부(612)는 3차원 공간상에서 시작 위치에서 종료 위치까지의 일련의 움직임인 모션을 의미하는 모션유형을 저장한다. 여기서, 모션은 3차원 공간에서 휴대용 단말기(400)의 직진 운동, 회전 운동 등과 같이 후술한 모션 감지부(660; 예를 들면, 모션 센서)에 의해 감지된 일련의 움직임을 의미한다. 모션유형은 3차원 공간에서 휴대용 단말기(400)의 직진 운동, 회전 운동 등으로 생성되는 일련의 움직임인 모션을 적어도 하나 포함하여 구성된다. 모션유형에 포함되는 모션들간에는 상호 구분이 명확한 것들도 있지만 구분이 명확하지 않은 것들도 존재한다. 따라서, 모션유형정보 저장부(612)는 다른 모션들과는 구분이 용이하면서 상호 유사한 모션들을 대표하여 유효하게 사용될 모션유형들을 저장한다. 여기서, 모션유형정보 저장부(612)는 미리 정의된 복수의 모션유형들을 저장하고 있거나, 사용자에 의해 실시간으로 정의한 모션유형을 저장할 수도 있다.
발화정보 저장부(614)는 음성으로 출력될 음성정보 또는 음성정보로 전환될 수 있는 의미나 텍스트 정보로 구성된 복수의 발화정보를 저장한다. 발화정보 저장부(614)는 복수의 상황정보 및 복수의 모션유형에 연계되는 복수의 발화정보를 저장한다. 이때, 발화정보 저장부(614)에는 복수의 상황정보 각각에 복수의 모션유형이 연계되어 저장되고, 복수의 모션유형 각각에 해당 모션유형에 연계된 상황정보에 해당하는 발화정보가 연계되어 저장된다. 즉, 발화정보 저장부(614)에는 상황정보 저장부(616)에 저장된 복수의 상황정보 각각에 모션유형정보 저장부(612)에 저장된 복수의 모션유형이 연계되고, 각각의 모션유형에는 상황정보에 따라 정의된 발화정보가 연계되어 저장된다. 즉, 하나의 상황정보에 복수의 모션유형이 일 대 다수로 연계되고, 복수의 모션유형 각각에는 일 대 일로 복수의 발화정보가 연계된다. 여기서, 발화정보는 음성으로 출력될 음성정보, 음성정보로 전환될 수 있는 텍스트 정보를 의미한다. 즉, 발화정보는 모션을 통해 음성으로 표현하고자 하는 음성데이터일 수도 있고, 음성데이터를 생성할 수 있는 문장과 같은 텍스트 정보일 수도 있다.
모션 적응도 평가부(620)는 사용자의 모션 적응도를 평가한다. 즉, 모션 적응도 평가부(620)는 모션유형 검출부(670), 발화정보 검출부(630), 발화정보 출력부(640), 모션감지 제어부(650), 모션 감지부(660)를 제어하여, 저장된 모션유형에 해당하는 발화정보를 저장부(610)로부터 검출하고, 검출한 발화정보를 출력하여 사용자에게 모션의 입력을 요청하도록 제어한다. 모션 적응도 평가부(620)는 사용자의 모션을 감지하여 모션유형을 검출하도록 제어한다. 모션 적응도 평가부(620)는 검출한 모션유형을 근거로 사용자의 모션 적응도를 평가한다. 모션 적응도 평가부(620)는 평가한 결과를 출력하여 사용자에게 통보하도록 제어한다. 이를 위해, 도 25에 도시된 바와 같이, 모션 적응도 평가부(620)는 설정모듈(622), 평가모듈(624), 제어모듈(626)을 포함하여 구성된다.
설정모듈(622)은 사용자에게 제공될 상황정보 및 발화정보를 설정한다. 즉, 설정모듈(622)은 사용자에 의해 선택된 상황정보 또는 임의로 선택된 상황정보를 사용자에게 제공될 상황정보로 설정한다. 이때, 설정모듈(622)은 발화정보 표시부를 제어하여 상황정보의 입력을 요청하는 화면을 출력하여 사용자로부터 상황정보를 입력받는다. 설정모듈(622)은 저장부(610)의 상황정보 저장부(616)에 저장된 복수의 상황정보 중에서 임의로 하나를 검출한다. 설정모듈(622)은 설정된 상황정보에 해당하는 발화정보 중에서 임의의 발화정보를 검출하여 사용자에게 제공될 발화정보로 설정한다. 이때, 설정모듈(622)은 기설정된 상황정보에 해당하는 발화정보 중에서 임의로 하나를 발화정보 저장부(614)로부터 검출하도록 발화정보 검출부(630)를 제어한다. 여기서, 설정모듈(622)은 발화정보가 상황정보에 따라 구분되지 않은 경우에는 상황정보의 설정이 생략될 수도 있다.
평가모듈(624)은 사용자에 의해 입력되는 모션에 해당하는 모션유형과 설정모듈(622)에서 설정된 발화정보에 해당하는 모션유형을 비교하여 사용자의 모션 적응도를 평가한다. 즉, 평가모듈(624)은 모션유형 검출부(670)에서 검출한 모션유형과, 설정모듈(622)에서 설정된 발화정보에 연계된 모션유형을 비교하여 사용자가 입력한 모션을 비교하여 모션 입력의 정확도를 평가하여 사용자의 모션 적응도를 평가한다.
제어모듈(626)은 사용자의 모션을 감지하여 해당 모션에 대한 모션유형을 검출하도록 제어한다. 즉, 제어모듈(626)은 모션감지 제어부(650)를 제어하여 사용자의 모션 입력을 감지하도록 제어한다. 제어모듈(626)은 모션 감지부(660)에서 감지한 사용자의 모션에 해당하는 모션유형을 검출하도록 모션유형 검출부(670)를 제어한다.
제어모듈(626)은 설정모듈(622)에 의해 설정된 발화정보를 화면에 출력하여 사용자에게 모션의 입력을 요청하도록 제어한다. 즉, 도 26에 도시된 바와 같이, 제어모듈(626)은 발화정보의 모션 입력을 요청하는 화면을 출력하도록 발화정보 출력부(640)를 제어한다. 물론, 도 27에 도시된 바와 같이, 제어모듈(626)은 발화정보 없이 모션 유형에 해당하는 이미지를 출력하도록 발화정보 출력부(640)를 제어하여, 사용자에게 모션 입력의 학습 기능을 제공할 수도 있다.
제어모듈(626)은 평가모듈(624)에 평가결과를 출력하도록 제어한다. 즉, 제어모듈(626)은 평가모듈(624)에서 판단한 평가 결과를 출력하도록 발화정보 출력부(640)를 제어하여, 사용자가 출력된 발화정보(또는, 모션 이미지)에 해당하는 정확한 모션을 입력했는지에 대한 결과를 사용자에게 통보하도록 제어한다(도 28, 도 29 참고). 이때, 제어모듈(626)은 평가모듈(624)에서 판정한 정확도를 출력하거나, 정확도와 기준범위를 비교하여 모션 적응도를 상중하로 출력하도록 제어할 수도 있다.
발화정보 검출부(630)는 모션 적응도 평가부(620)의 제어에 따라 발화정보를 검출한다. 즉, 발화정보 검출부(630)는 저장된 복수의 발화정보 중에서 모션 적응도 평가부(620)에서 설정된 상황정보에 해당하는 발화정보들을 발화정보 저장부(614)로부터 검출한다. 발화정보 검출부(630)는 검출한 발화정보들 중에서 임의로 하나의 발화정보를 발화정보 저장부(614)로부터 검출한다.
발화정보 출력부(640)는 모션 적응도 평가부(620)의 제어에 따라 설정된 발화정보를 출력하여 사용자에게 모션의 입력을 요청한다. 이때, 발화정보 출력부(640)는 발화정보에 해당하는 문자, 이미지, 음성 등으로 출력한다. 여기서, 발화정보의 출력은 상술한 제1실시예 내지 제3실시예에 기재된 발화정보 출력부(640)와 동일하므로 상세한 설명을 생략한다.
발화정보 출력부(640)는 모션 적응도 평가부(620)의 제어에 따라 사용자의 모션 적응도 평가 결과를 출력한다. 이때, 발화정보 출력부(640)는 모션 적응도 평가 결과를 문자, 이미지, 음성 등으로 출력한다. 발화정보 출력부(640)는 모션 입력의 정확도나, 상중하 등으로 구분된 평가 결과를 표시할 수도 있다.
모션감지 제어부(650)는 모션 적응도 평가부(620)의 제어에 따라 사용자의 모션을 감지하기 위해 모션 감지부(660)를 활성화시킨다. 즉, 모션감지 제어부(650)는 모션의 시작 시점 정보가 입력되면 모션 감지부(660)를 활성화하고, 종료 시점 정보가 입력되면 모션 감지부(660)를 비활성화한다. 여기서, 모션이란 일정 시간대의 움직임이므로 모션의 시작시점과 종료시점의 인지기 필요하다. 따라서, 모션감지 제어부(650)는 휴대용 단말기(400)의 터치 패널(즉, 터치 화면)에 모션감지의 시작과 종료를 결정하는 별도의 버튼을 출력한다. 사용자는 별도 버튼을 터치한 채 모션을 취하고 버튼에서 터치를 해지하여 모션 생성을 완료한다. 이때, 모션의 시작과 종료를 설정하는 버튼을 터치 패널 상에 출력하는 것으로 설명하였으나, 휴대용 단말기(400)에 형성된 별도의 물리적 버튼으로 대체될 수도 있다.
모션 감지부(660)는 모션감지 제어부(650)에 의해 활성화되면 사용자의 움직임에 따른 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지한다. 즉, 모션 감지부(660)는 지자기센서, 가속도 센서, 자이로스코프 등과 같이 직진운동이나 회전 등의 모션을 감지할 수 있는 모션센서로 구성되어 휴대용 단말기(400)의 휴대용 단말기(400)의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 휴대용 단말기(400) 자체의 모션을 감지한다. 이때, 모션 감지부(660)는 휴대용 단말기(400)의 터치 패널에 모션감지 시작/종료 버튼이 포함된 화면을 출력한다. 이후, 모션 감지부(660)는 사용자에 의해 휴대용 단말기(400)에 표시된 모션감지 시작/종료 버튼이 터치된 상태로 유지되면 휴대용 단말기(400)의 모션을 감지한다. 이후, 모션 감지부(660)는 사용자에 의해 휴대용 단말기(400)에 표시된 모션감지 시작/종료 버튼의 터치가 해제되면 휴대용 단말기(400)의 모션 감지를 종료한다. 여기서, 모션의 시작과 종료를 설정하는 버튼을 터치 패널 상에 출력하는 것으로 설명하였으나, 별도의 물리적 버튼으로 대체될 수도 있다.
모션유형 검출부(670)는 모션 감지부(660)에서 감지한 모션에 대응되는 모션유형을 저장부(610)로부터 검출한다. 즉, 모션유형 검출부(670)는 모션유형정보 저장부(612)에 저장된 복수의 모션유형 중에서 모션 감지부(660)에서 감지된 모션과 직진 방향, 회전 방향이 크게 다르지 않으면서 유사한 모션유형을 검출한다.
이하, 본 발명의 제5실시예에 따른 모션 기반 의사전달 장치를 이용한 모션 학습 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 30은 본 발명의 제5실시예에 따른 모션 기반 의사전달 장치를 이용한 모션 적응도 평가 방법을 설명하기 위한 흐름도이다.
모션 적응도 평가부(620)는 모션 학습을 위해 발화정보를 포함하는 학습 환경을 설정한다(S610). 즉, 모션 적응도 평가부(620)는 기저장된 복수의 발화정보 중에서 하나를 검출하여 학습 환경으로 설정한다. 여기서, 모션 적응도 평가부(620)는 상황정보를 설정하고, 설정된 상황정보에 해당하는 복수의 발화정보 중에서 하나를 검출하여 학습 환경으로 설정할 수도 있다. 이때, 모션 적응도 평가부(620)는 상황정보를 화면출력하여 사용자에게 상황정보의 선택을 요청하고, 사용자에 의해 선택된 상황정보를 학습 환경으로 설정한다. 물론, 모션 적응도 평가부(620)는 복수의 상황정보 중에서 임의로 선택된 상황정보를 학습 환경으로 설정할 수도 있다.
모션 적응도 평가부(620)는 설정된 학습 환경의 발화정보를 출력하여 사용자에게 모션의 입력을 요청한다(S620). 즉, 모션 적응도 평가부(620)는 기설정된 학습 정보의 발화정보를 화면에 출력하여 사용자에게 모션의 입력을 요청하도록 제어한다. 그에 따라, 발화정보 출력부(640)는 발화정보에 해당하는 문자 또는 이미지를 출력하여 사용자에게 모션의 입력을 요청한다. 이때, 모션 적응도 평가부(620)는 설정된 학습 정보를 대신하여 모션 유형에 해당하는 이미지를 출력하여 사용자에게 해당 모션 유형에 해당하는 모션의 입력을 요청할 수도 있다. 이 경우, 상술한 S410 단계는 생략될 수도 있다.
모션 적응도 평가부(620)는 사용자의 움직임에 따른 휴대용 단말기(400)의 모션을 감지하도록 제어한다(S630). 모션 적응도 평가부(620)는 모션의 입력요청에 따른 사용자의 움직임에 의해 발생하는 휴대용 단말기(400)의 모션을 감지하도록 모션감지 제어부(650)를 제어한다. 모션감지 제어부(650)는 모션 적응도 평가부(620)의 제어에 따라 모션 감지부(660)를 활성화한다. 모션 감지부(660)는 사용자의 움직임에 따른 휴대용 단말기(400)의 모션을 감지한다. 모션유형 검출부(670)는 모션 감지부(660)에서 감지한 사용자의 모션에 해당하는 모션유형을 검출하여 모션 적응도 평가부(620)로 전송한다.
모션 적응도 평가부(620)는 감지한 휴대용 단말기(400)의 모션을 근거로 사용자의 모션 적응도를 평가한다(S640). 이때, 모션 적응도 평가부(620)는 기설정된 발화정보에 해당하는(연계된) 모션유형과 모션유형 검출부(670)에서 검출한 모션유형을 비교하여 모션 입력의 정확도를 평가한다.
모션 적응도 평가부(620)는 사용자의 모션 적응도 평가 결과를 출력한다(450). 모션 적응도 평가부(620)는 S440 단계에서의 평가결과를 출력하도록 발화정보 출력부(640)를 제어한다. 그에 따라, 발화정보 출력부(640)는 판단결과를 화면 또는 음성 출력하여 사용자에게 정확한 모션을 입력했는지에 대한 결과를 통보한다.
상술한 바와 같이, 모션 기반 의사전달 장치 및 방법은 사용자의 위치를 기반으로 사용자의 현재 상황을 판단하여 상황정보를 설정함으로써, 상황에 따라 적합한 문장을 출력하여 원활한 의사소통이 가능한 효과가 있다.
이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
110: 저장부 112: 모션유형정보 저장부
114: 발화정보 저장부 120: 모션 감지부
130: 모션유형 검출부 140: 발화정보 검출부
150: 발화정보 출력부 160: 모션감지 제어부
170: 모션유형 생성부 210: 저장부
212: 모션유형정보 저장부 214: 발화정보 저장부
216: 상황정보 저장부 220: 상황정보 설정부
230: 모션 감지부 240: 모션유형 검출부
250: 발화정보 검출부 260: 발화정보 출력부
270: 모션감지 제어부 280: 모션유형 생성부
310: 저장부 312: 모션유형정보 저장부
314: 발화정보 저장부 316: 언어정보 저장부
318: 상황정보 저장부 320: 언어정보 설정부
330: 모션 감지부 340: 모션유형 검출부
350: 발화정보 검출부 360: 발화정보 출력부
370: 모션감지 제어부 380: 모션유형 생성부
390: 상황정보 설정부 400: 휴대용 단말기
510: 저장부 512: 모션유형정보 저장부
514: 발화정보 저장부 516: 상황정보 저장부
520: 위치기반 서비스 제공부 530: 상황정보 설정부
540: 모션 감지부 550: 모션유형 검출부
560: 발화정보 검출부 570: 발화정보 출력부
580: 모션감지 제어부 590: 모션유형 생성부
610: 저장부 612: 모션유형정보 저장부
614: 발화정보 저장부 616: 상황정보 저장부
620: 모션 적응도 평가부 622: 학습 설정모듈
624: 학습 판단모듈 626: 학습 제어모듈
630: 발화정보 검출부 640: 발화정보 출력부
650: 모션감지 제어부 660: 모션 감지부
670: 모션유형 검출부

Claims (24)

  1. 휴대용 단말기에 설치되는 모션 기반 의사전달 장치에 있어서,
    복수의 모션유형 및 복수의 발화정보를 저장하는 저장부;
    상기 휴대용 단말기의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 상기 휴대용 단말기 자체의 모션을 감지하는 모션 감지부;
    상기 저장부로부터 상기 모션 감지부에서 감지한 모션에 해당하는 모션유형을 검출하는 모션유형 검출부;
    상기 저장부로부터 상기 모션유형 검출부에서 검출한 모션유형에 연계되는 발화정보를 검출하는 발화정보 검출부; 및
    상기 발화정보 검출부에서 검출한 발화정보를 출력하는 발화정보 출력부를 포함하되,
    모션의 시작 시점 정보가 입력되면 상기 모션 감지부를 활성화하고, 종료 시점 정보가 입력되면 상기 모션 감지부를 비활성화하는 모션감지 제어부를 더 포함하는 것을 특징으로 하는 모션 기반 의사전달 장치.
  2. 청구항 1에 있어서,
    상기 저장부에는,
    상기 복수의 모션유형 각각에 발화정보가 연계되어 저장되는 것을 특징으로 하는 모션 기반 의사전달 장치.
  3. 청구항 1에 있어서,
    상기 저장부는 장소와 위치 및 시점 중에 적어도 하나를 포함하는 의사전달 상황들에 따라 구분된 복수의 상황정보를 추가로 저장하고,
    상기 저장부에 저장된 복수의 상황정보 중에서 현재상황에 해당하는 상황정보를 검출하여 상황정보로 설정하는 상황정보 설정부를 추가로 포함하며,
    상기 발화정보 검출부는 상기 저장부로부터 상기 상황정보 설정부에서 설정된 상황정보 및 상기 모션유형 검출부에서 검출한 모션유형에 연계되는 발화정보를 검출하는 것을 특징으로 하는 모션 기반 의사전달 장치.
  4. 청구항 3에 있어서,
    상기 상황정보 설정부는,
    상기 저장부로부터 상기 모션유형 검출부에서 검출한 모션유형에 연계되는 상황정보를 검출하여 현재 상황정보로 설정하는 것을 특징으로 하는 모션 기반 의사전달 장치.
  5. 청구항 3에 있어서,
    상기 휴대용 단말기의 현재 위치에 대한 정보를 제공하는 위치기반 서비스 제공부를 더 포함하고,
    상기 상황정보 설정부는, 상기 위치기반 서비스 제공부로부터 현재위치 정보를 수신하여 대응되는 상황정보를 현재 상황정보로 설정하는 것을 특징으로 하는 모션 기반 의사전달 장치.
  6. 청구항 3에 있어서,
    상기 저장부에는,
    상기 복수의 상황정보 각각에 복수의 모션유형이 연계되어 저장되고, 상기 복수의 모션유형 각각에 해당 모션유형에 연계된 상황정보에 해당하는 발화정보가 연계되어 저장되는 것을 특징으로 하는 모션 기반 의사전달 장치.
  7. 청구항 1 또는 3에 있어서,
    상기 저장부는 언어들을 별도로 구분한 복수의 언어정보를 추가로 저장하고,
    상기 저장부에 저장된 복수의 언어정보 중에서 현재언어에 해당하는 언어정보를 검출하여 언어정보로 설정하는 언어정보 설정부를 추가로 포함하며,
    상기 발화정보 검출부는 상기 저장부로부터 상기 언어정보 설정부에서 설정된 언어정보와 상기 모션유형 검출부에서 검출한 모션유형에 연계되는 발화정보를 검출하는 것을 특징으로 하는 모션 기반 의사전달 장치.
  8. 청구항 7에 있어서,
    상기 언어정보 설정부는,
    상기 저장부로부터 상기 모션유형 검출부에서 검출한 모션유형에 연계되는 언어정보를 검출하여 현재 언어정보로 설정하는 것을 특징으로 하는 모션 기반 의사전달 장치.
  9. 청구항 7에 있어서,
    상기 저장부에는,
    상기 복수의 언어정보 각각에 복수의 모션유형이 연계되어 저장되며, 상기 복수의 모션유형 각각에 해당 모션유형에 연계된 언어정보에 해당하는 발화정보가 연계되어 저장되는 것을 특징으로 하는 모션 기반 의사전달 장치.
  10. 삭제
  11. 청구항 1에 있어서,
    상기 모션 감지부에서 감지된 모션에 대응되는 모션유형이 상기 모션유형 검출부로부터 검출되지 않을 때, 상기 감지된 모션을 새로운 모션유형으로 생성하고,
    언어정보와 상황정보 및 발화정보 중에 적어도 하나를 상기 생성한 모션유형과 연계하여 상기 저장부에 저장하는 모션유형 생성부를 더 포함하는 것을 특징으로 하는 모션 기반 의사전달 장치.
  12. 청구항 1에 있어서,
    상기 저장부로부터 임의의 발화정보 및 상기 임의의 발화정보와 연계된 모션유형을 검출하고, 사용자에게 상기 발화정보를 출력하고, 사용자로부터 상기 출력된 발화정보에 대응되는 모션을 감지하여, 상기 모션유형과 비교한 후 사용자의 모션 적응도를 평가하는 모션 적응도 평가부를 더 포함하는 것을 특징으로 하는 모션 기반 의사전달 장치.
  13. 모션 감지부에 의해, 휴대용 단말기의 직진 움직임 및 회전 움직임 중에 적어도 하나를 포함하여 형성되는 상기 휴대용 단말기 자체의 모션을 감지하는 단계;
    모션유형 검출부에 의해, 저장부로부터 상기 감지한 모션에 해당하는 모션유형을 검출하는 단계;
    발화정보 검출부에 의해, 상기 검출하는 단계에서 검출한 모션유형에 연계되는 발화정보를 상기 저장부로부터 검출하는 단계; 및
    발화정보 출력부에 의해, 상기 검출한 발화정보를 출력하는 단계를 포함하되,
    상기 모션을 감지하는 단계는,
    모션감지 제어부에 의해, 모션의 시작 시점 정보가 입력되면 모션 감지를 활성화하는 단계; 및
    모션감지 제어부에 의해, 종료 시점 정보가 입력되면 모션 감지를 비활성화하는 단계를 포함하는 것을 특징으로 하는 모션 기반 의사전달 방법.
  14. 청구항 13에 있어서,
    상기 저장부에 의해, 복수의 모션유형 각각에 발화정보를 연계하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 모션 기반 의사전달 방법.
  15. 청구항 14에 있어서,
    상기 저장하는 단계에서는 상기 저장부에 의해, 장소와 위치 및 시점 중에 적어도 하나를 포함하는 의사전달 상황들에 따라 구분된 복수의 상황정보를 추가로 저장하고,
    상황정보 설정부에 의해, 상기 저장된 복수의 상황정보 중에서 현재상황에 해당하는 상황정보를 검출하여 현재 상황정보로 설정하는 단계를 추가로 포함하고,
    상기 발화정보를 검출하는 단계에서는 상기 발화정보 검출부에 의해, 상기 설정된 상황정보 및 상기 검출한 모션유형에 연계되는 발화정보를 상기 저장부로부터 검출하는 것을 특징으로 하는 모션 기반 의사전달 방법.
  16. 청구항 15에 있어서,
    상기 현재 상황정보로 설정하는 단계에서는,
    상기 상황정보 설정부에 의해, 상기 검출한 모션유형에 연계되는 상황정보를 상기 저장부로부터 검출하여 현재 상황정보로 설정하는 것을 특징으로 하는 모션 기반 의사전달 방법.
  17. 청구항 15에 있어서,
    위치기반 서비스 제공부에 의해, 상기 휴대용 단말기의 현재 위치에 대한 현재위치 정보를 제공하는 단계를 더 포함하고,
    상기 현재 상황정보로 설정하는 단계에서는, 상기 상황 설정부에 의해, 상기 제공되는 현재위치 정보에 대응되는 상황정보를 현재 상황정보로 설정하는 것을 특징으로 하는 모션 기반 의사전달 방법.
  18. 청구항 15에 있어서,
    상기 저장하는 단계에서는,
    상기 저장부에 의해, 상기 복수의 상황정보 각각에 복수의 모션유형이 연계되어 저장되고, 상기 복수의 모션유형 각각에 해당 모션유형에 연계된 상황정보에 해당하는 발화정보가 연계되어 저장되는 것을 특징으로 하는 모션 기반 의사전달 방법.
  19. 청구항 14 또는 청구항 15에 있어서,
    상기 저장하는 단계에서는 상기 저장부에 의해, 언어들을 별도로 구분한 복수의 언어정보를 추가로 저장하고,
    언어정보 설정부에 의해, 상기 저장된 복수의 언어정보 중에서 현재 언어에 해당하는 언어정보를 검출하여 현재 언어정보로 설정하는 단계를 추가로 포함하며,
    상기 발화정보를 검출하는 단계에서는 상기 발화정보 검출부에 의해, 상기 설정된 현재 언어정보와 상기 검출한 모션유형에 연계되는 발화정보를 검출하는 것을 특징으로 하는 모션 기반 의사전달 방법.
  20. 청구항 19에 있어서,
    상기 현재 언어정보로 설정하는 단계에서는,
    상기 언어정보 설정부에 의해, 상기 모션유형을 검출하는 단계에서 검출한 모션유형에 연계되는 언어정보를 검출하여 현재 언어정보로 설정하는 것을 특징으로 하는 모션 기반 의사전달 방법.
  21. 청구항 19에 있어서,
    상기 저장하는 단계에서는,
    상기 저장부에 의해, 상기 복수의 언어정보 각각에 복수의 모션유형을 연계하여 저장하고, 상기 복수의 모션유형 각각에 해당 모션유형에 연계된 언어정보에 해당하는 발화정보를 연계하여 저장하는 것을 특징으로 하는 모션 기반 의사전달 방법.
  22. 삭제
  23. 청구항 13에 있어서,
    모션유형 생성부에 의해, 상기 모션을 감지하는 단계에서 감지된 모션에 대응되는 모션유형이 상기 모션유형을 검출하는 단계에서 검출되지 않을 때, 상기 감지된 모션을 새로운 모션유형으로 생성하고, 언어정보와 상황정보 및 발화정보 중에 적어도 하나를 상기 생성한 모션유형와 연계하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 모션 기반 의사전달 방법.
  24. 청구항 13에 있어서,
    모션 적응도 평가부에 의해, 상기 저장부로부터 임의의 발화정보 및 상기 임의의 발화정보와 연계된 모션유형을 검출하는 단계;
    상기 모션 적응도 평가부에 의해, 상기 검출한 임의의 발화정보를 상기 휴대용 단말기에 출력하는 단계;
    상기 모션 적응도 평가부에 의해, 상기 출력된 발화정보에 대응되는 상기 휴대용 단말기의 모션을 감지하는 단계; 및
    상기 모션 적응도 평가부에 의해, 상기 감지한 모션과 상기 모션유형을 비교하여 사용자의 모션 적응도를 평가하는 단계를 더 포함하는 것을 특징으로 하는 모션 기반 의사전달 방법.
KR1020110047482A 2011-05-19 2011-05-19 모션 기반 의사전달 장치 및 방법 KR101303755B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110047482A KR101303755B1 (ko) 2011-05-19 2011-05-19 모션 기반 의사전달 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110047482A KR101303755B1 (ko) 2011-05-19 2011-05-19 모션 기반 의사전달 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120129310A KR20120129310A (ko) 2012-11-28
KR101303755B1 true KR101303755B1 (ko) 2013-09-04

Family

ID=47513826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110047482A KR101303755B1 (ko) 2011-05-19 2011-05-19 모션 기반 의사전달 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101303755B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102527523B1 (ko) * 2020-12-31 2023-05-03 주식회사 닷 접근 가이드 제공 및 맞춤형 사전 설정을 지원하는 정보 단말 및 이를 이용한 정보 제공 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060088275A (ko) * 2005-02-01 2006-08-04 삼성전자주식회사 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060088275A (ko) * 2005-02-01 2006-08-04 삼성전자주식회사 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법

Also Published As

Publication number Publication date
KR20120129310A (ko) 2012-11-28

Similar Documents

Publication Publication Date Title
KR102100389B1 (ko) 개인화된 엔티티 발음 학습
US9129011B2 (en) Mobile terminal and control method thereof
JP6635049B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN106104677B (zh) 所识别的语音发起的动作的视觉指示
KR101829855B1 (ko) 컴퓨팅 디바이스 상에서의 음성 액션들
TWI410906B (zh) 使用擴增實境導航路徑之方法及使用該方法之行動終端機
EP3624120A1 (en) Method and device for determining karaoke score
US20130053007A1 (en) Gesture-based input mode selection for mobile devices
EP2821991A1 (en) Apparatus and method for recognizing voice and text
KR102193029B1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
CN107636594A (zh) 用于处理触摸输入的设备和方法
CN110322760B (zh) 语音数据生成方法、装置、终端及存储介质
TW201610716A (zh) 在訊息中的存錄回答
US9558733B1 (en) Audibly indicating secondary content with spoken text
KR20170073543A (ko) 입력 처리 방법, 장치 및 설비
CN107491283A (zh) 用于动态地调整音频输出的呈现的设备、方法和图形用户界面
JP2019061590A (ja) 情報処理装置、情報処理システム及びプログラム
US11474683B2 (en) Portable device and screen control method of portable device
KR101567154B1 (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
KR102330218B1 (ko) 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
KR101303755B1 (ko) 모션 기반 의사전달 장치 및 방법
CN109257942A (zh) 用户特定的声学模型
US9865250B1 (en) Audibly indicating secondary content with spoken text
JP6950708B2 (ja) 情報処理装置、情報処理方法、および情報処理システム
CN111028823B (zh) 音频生成方法、装置、计算机可读存储介质及计算设备

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160725

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee