KR20110009614A - 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법 - Google Patents

멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법 Download PDF

Info

Publication number
KR20110009614A
KR20110009614A KR1020100036031A KR20100036031A KR20110009614A KR 20110009614 A KR20110009614 A KR 20110009614A KR 1020100036031 A KR1020100036031 A KR 1020100036031A KR 20100036031 A KR20100036031 A KR 20100036031A KR 20110009614 A KR20110009614 A KR 20110009614A
Authority
KR
South Korea
Prior art keywords
user
user intention
intention
modal
predicted
Prior art date
Application number
KR1020100036031A
Other languages
English (en)
Other versions
KR101652705B1 (ko
Inventor
조정미
김정수
김남훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to JP2012508401A priority Critical patent/JP5911796B2/ja
Priority to CN201080017476.6A priority patent/CN102405463B/zh
Priority to PCT/KR2010/002723 priority patent/WO2010126321A2/ko
Priority to US12/770,168 priority patent/US8606735B2/en
Priority to EP10769966.2A priority patent/EP2426598B1/en
Publication of KR20110009614A publication Critical patent/KR20110009614A/ko
Application granted granted Critical
Publication of KR101652705B1 publication Critical patent/KR101652705B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

멀티 모달 정보를 이용하여 사용자 의도를 추론하는 장치 및 방법이 개시된다. 일 측면에 따른 사용자 의도 추론 장치는, 적어도 하나의 모션 정보를 이용하여 사용자 의도의 일부분을 예측하는 1차 예측부와, 예측된 사용자 의도의 일부분 및 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 2차 예측부를 포함한다.

Description

멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법{Apparatus for predicting intention of user using multi modal information and method thereof}
하나 이상의 양상은 멀티 모달 정보를 이용하는 시스템에 관한 것으로, 더욱 상세하게는 멀티 모달 정보를 이용하여 사용자 입력을 처리하는 장치 및 방법에 관한 것이다.
멀티모달 인터페이스는 인간과 기계의 통신을 위해 음성, 키보드, 펜 등을 이용해 인터페이스하는 방법을 의미한다. 이러한 멀티모달 인터페이스를 통한 멀티 모달 정보가 입력된 경우, 사용자 의도를 분석하는 방식은 멀티 모달 입력을 신호 레벨에서 융합하여 분석하는 방식과 각 모달리티 입력 정보를 각각 분석한 후 분석된 결과를 의미 레벨에서 융합하여 분석하는 방법이 있다.
신호 레벨에서 융합하는 방식은 멀티 모달 입력 신호를 융합하여 한꺼번에 분석 및 분류하는 것으로 예를 들어, 음성 신호와 입술 움직임과 같이 동시에 발생하는 신호 처리에 적합하게 이용될 수 있다. 그러나 2 이상의 신호를 통합하여 처리하기 때문에 특징 공간이 매우 크고 신호 간의 연관성을 계산하기 위한 모델이 매우 복잡하고 학습량이 많아지게 된다. 또한 다른 모달리티와 결합하거나 다른 단말에 적용하는 등의 경우와 같은 확장성이 용이하지 않다.
각 모달리티를 의미 레벨에서 융합하는 방식은 각각의 모달리티 입력 신호의 의미를 분석한 후 분석 결과를 융합하는 것으로, 모달리티 간 독립성을 유지할 수 있어 학습 및 확장이 용이하다. 그러나, 사용자가 멀티 모달 입력을 하는 이유는 모달리티 간 연관성이 있기 때문인데, 개별적으로 의미를 분석할 경우 이 연관성을 찾아내기 힘들다.
모션 정보에 의해 사용자 의도를 예측하고, 예측된 사용자 의도를 멀티 모달 입력 정보를 이용하여 추론함으로써 효율적이고 정확하게 사용자 의도를 추론할 수 있는 장치 및 방법이 제공된다.
일 측면에 따른 사용자 의도 추론 장치는, 적어도 하나의 모션 정보를 이용하여 사용자 의도의 일부분을 예측하는 1차 예측부와, 예측된 사용자 의도의 일부분 및 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 2차 예측부를 포함한다.
1차 예측부는 예측된 사용자 의도의 일부분을 이용하여 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호를 생성할 수 있다.
사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호는 사용자 의도 추론 장치에 의해 제어되는 멀티 모달 센서의 동작을 제어하는 제어 신호일 수 있다.
2차 예측부는 사용자 의도를 예측하기 위하여 멀티 모달 센서로부터 입력되는 멀티 모달 정보를 예측된 사용자 의도의 일부분과 연관되도록 해석할 수 있다.
예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택이고, 멀티 모달 센서로부터 음성이 입력되면, 2차 예측부는 입력된 음성을 오브젝트 선택과 연관하여 해석함으로써 사용자 의도를 예측할 수 있다.
2차 예측부는, 예측된 사용자 의도의 일부분의 범위 내에서, 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측할 수 있다.
예측된 사용자 의도의 일부분이 마이크를 입에 가져가는 동작인 경우, 2차 예측부는, 음향 신호를 감지하고, 감지된 음향 신호에 대하여 특징을 추출 및 분석하여, 사용자 의도를 예측할 수 있다.
2차 예측부는, 음향 신호에서 음성 구간이 검출되는지 결정하고, 음성 구간이 검출되는 경우 사용자 의도를 음성 명령 의도로 예측할 수 있다.
2차 예측부는, 음향 신호에서 호흡음이 검출된 경우, 사용자 의도를 불기로 예측할 수 있다.
예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택인 경우, 2차 예측부는, 멀티 모달 정보를 이용하여 사용자 의도를 선택된 오브젝트에 대한 삭제, 분류 및 정렬 중 적어도 하나로 예측할 수 있다.
사용자 의도 예측 결과를 이용하여 사용자 의도 추론 장치에서 제어되는 소프트웨어 또는 하드웨어를 제어하는 사용자 의도 적용부를 더 포함할 수 있다.
다른 측면에 따른 사용자 의도 추론 방법은, 적어도 하나의 모션 정보를 수신하는 단계와, 수신된 모션 정보를 이용하여 사용자 의도의 일부분을 예측하는 단계와, 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 수신하는 단계와, 예측된 사용자 의도의 일부분 및 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 단계를 포함한다.
일 실시예에 따르면, 사용자 모션 인식을 통해 사용자 의도의 일부분을 예측하고, 예측된 사용자 의도의 일부분에 따라 멀티 모달 정보를 분석하여 2차적으로 사용자 의도를 예측함으로써 모달리티간 독립성을 유지하면서도 모달리티간 연관성 파악이 용이하여 사용자 의도를 정확하게 추론할 수 있다.
또한, 모션 정보를 이용하여 또는 모션 정보와 함께 음성 또는 영상 정보 등 멀티모달 정보를 융합하여 사용자의 음성 입력 시작 및 종료 의도를 예측할 수 있으므로 사용자는 특별한 음성 입력 방식을 학습하지 않고도 사용자 의도 추론 장치에 음성을 입력할 수 있다.
도 1은 일 실시예에 따른 사용자 의도 추론 장치의 구성을 나타내는 도면이다.
도 2는 도 1의 사용자 의도 예측부의 구성의 일 예를 나타내는 도면이다.
도 3은 도 2의 사용자 의도 예측부의 예시적인 동작을 나타내는 도면이다.
도 4a는 1차적으로 사용자 의도의 일부분이 예측된 후, 추가적인 멀티모달 입력을 받아 2차적으로 사용자의 의도를 예측하는 동작의 일 예를 나타내는 도면이고, 도 4b는 1차적으로 사용자 의도의 일부분이 예측된 후, 추가적인 멀티모달 입력을 받아 2차적으로 사용자의 의도를 예측하는 동작의 다른 예를 나타내는 도면이다.
도 5는 음향 신호와 영상 신호를 결합하여 신호를 분류하는 구성의 일예를 나타내는 도면이다.
도 6은 일 실시예에 따른 멀티 모달 정보를 이용하는 사용자 의도 추론 방법을 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명의 다양한 실시예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
도 1은 일 실시예에 따른 사용자 의도 추론 장치의 구성을 나타내는 도면이다.
사용자 의도 추론 장치(100)는 모션 센서(110), 제어부(120) 및 멀티 모달 감지부(130)를 포함한다. 사용자 의도 추론 장치(100)는 개인용 컴퓨터, 서버 컴퓨터, 휴대용 단말, 셋탑 박스 등 어떤 형태의 장치 또는 시스템으로도 구현될 수 있다. 또한, 사용자 의도 추론 장치(100)는 사용자 인터페이스부, 디스플레이부, 음향 출력부 등 멀티 모달 인터페이스를 위한 구성요소와 같이 구현예에 따라 다양한 구성요소를 더 포함하여 구성될 수 있다.
모션 센서(110)는 모션 정보를 감지하기 위하여 관성 센서, 방향을 감지하는 지자기 센서 및 움직임을 감지하는 가속도 센서 또는 자이로 센서 등을 포함할 수 있다. 모션 센서(110)는 위에 열거한 센서 외에도, 영상 센서, 음향 센서 등을 포함할 수 있다. 일 실시예에 따르면 복수 개의 모션 센서가 사용자의 신체의 일부 부위와 사용자 의도 추론 장치(100)에 부착되어 모션 정보를 감지할 수 있다.
멀티 모달 감지부(130)는 적어도 하나의 멀티 모달 센서(132, 134, 136, 138)를 포함할 수 있다. 음향 센서(132)는 음향 신호를 감지하는 센서이고, 영상 센서(134)는 이미지 정보를 감지하는 센서이고, 생체 정보 센서(136)는 체온 등 생체 정보를 감지하고, 터치 센서(138)는 터치 패드상의 터치 제스처를 감지할 수 있으며, 기타 다양한 종류 또는 형태의 멀티 모달 센서가 포함될 수 있다.
도 1에는 멀티 모달 감지부(130)에 4개의 센서가 포함되어 있는 것으로 도시되어 있으나, 개수에는 제한이 없다. 멀티 모달 감지부(130)에 포함되는 센서의 종류 및 범위는 모션 감지를 목적으로 하는 모션 센서(110)에 포함되는 센서의 종류 및 범위보다 넓을 수 있다. 또한, 도 1에는 모션 센서(110)와 멀티 모달 감지부(130)가 별도로 존재하는 것으로 도시되어 있으나, 일체화되어 구성될 수도 있다. 또는, 모션 센서(110)에 포함되는 센서와 멀티 모달 감지부(130)에 동일한 종류의 센서 예를 들어, 영상 센서 및 음향 센서가 중복적으로 포함될 수 있다.
멀티 모달 감지부(130)는 각각의 멀티 모달 센서(132, 134, 136, 138)에서 감지된 멀티 모달 정보를 그 종류에 따라 특징값을 추출하여 의미를 분석하는 모듈을 포함하여 구성될 수 있다. 멀티 모달 정보를 분석하는 구성요소는 제어부(120)에 포함될 수도 있다.
제어부(120)는 사용자 의도 추론 장치(100)의 각 구성 요소의 동작을 제어하기 위한 애플리케이션, 데이터 및 오퍼레이팅 시스템을 포함할 수 있다. 일 실시예에 따르면 제어부(120)는 사용자 의도 예측부(122) 및 사용자 의도 적용부(124)를 포함한다.
사용자 의도 예측부(122)는 모션 센서(110)로부터 감지된 적어도 하나의 모션 정보를 수신하고, 수신된 모션 정보를 이용하여 1차적으로 사용자 의도의 일부분을 예측한다. 또한, 사용자 의도 예측부(122)는 예측된 사용자 의도의 일부분 및 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 2차적으로 사용자 의도를 예측할 수 있다. 즉, 사용자 의도 예측부(122)는 2차적으로 사용자 의도를 예측할 때 모션 센서(110)로부터 감지된 모션 정보 및 멀티 모달 감지부(130)로부터 입력된 멀티 모달 정보를 이용하여 최종적으로 사용자 의도를 예측할 수 있다. 사용자 의도 예측부(122)는 사용자의 의도를 추론하기 위한 알려진 여러 가지 추론 모델을 이용할 수 있다.
또한, 사용자 의도 예측부(122)는 1차적으로 예측된 사용자 의도의 일부분을 이용하여 2차적으로 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호를 생성할 수 있다. 사용자 의도 추론 과정에서 수행되는 동작을 실행시키기 위한 제어 신호는 사용자 의도 추론 장치(100)에 의해 제어되는 멀티 모달 감지부(130)의 동작을 제어하는 제어 신호일 수 있다.
예를 들어, 모션 정보를 이용하여 1차적으로 예측된 사용자 의도의 일부분에 기반하여 멀티 모달 감지부(130)의 센서 중 1차적으로 예측된 사용자 의도의 일부분과 연관된 일부 센서 동작을 활성화시킬 수 있으며 이 경우 멀티 모달 감지부(130)의 모든 센서를 활성화하는 경우에 비하여 센서 동작에 사용하는 전력 소모를 감소시킬 수 있다. 또한, 일부 센서로부터 입력되는 감지 정보를 분석하게 되므로, 멀티 모달 입력 정보의 해석을 단순화하여 사용자 의도 예측 과정의 복잡도를 감소시키면서도 정확한 사용자 의도를 추론할 수 있다.
사용자 의도 예측부(122)는 2차적으로 사용자 의도를 예측하기 위하여 멀티 모달 정보의 종류에 따라 특징을 추출하고 분석하는 모듈(도시되지 않음)을 포함하여 구성될 수 있다. 또한, 사용자 의도 예측부(122)는 멀티 모달 감지부(130)로부터 입력되는 멀티 모달 정보를 1차적으로 예측된 사용자 의도의 일부분과 연관되도록 해석할 수 있다.
예를 들어, 사용자 의도 예측부(122)에서 1차적으로 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택으로 결정되는 경우, 멀티 모달 감지부(130)로부터 음성이 입력되면, 입력된 음성을 오브젝트 선택과 연관하여 해석함으로써 2차적으로 사용자 의도를 예측할 수 있다. 구체적으로, 1차로 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택으로 결정되고, 멀티 모달 감지부(130)에서 입력된 음향 신호가 "날짜별로 정리"라고 분석된 경우, 사용자 의도 예측부(122)는 사용자 의도를 "디스플레이 화면에서 선택된 오브젝트를 날짜 순서대로 정렬"하라는 의미로 해석할 수 있다.
또한, 사용자 의도 예측부(122)는 1차적으로 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택인 경우, 멀티 모달 정보를 이용하여 2차적 사용자 의도를 삭제, 분류 및 정렬 중 적어도 하나로 예측할 수 있다.
사용자 의도 적용부(124)는 사용자 의도 예측 결과를 이용하여 사용자 의도 추론 장치에서 제어되는 소프트웨어 또는 하드웨어를 제어할 수 있다. 사용자 의도 적용부(124)는 예측된 사용자 의도에 인터랙션하기 위한 멀티 모달 인터페이스를 제공할 수 있다. 예를 들어, 사용자의 의도가 음성 명령으로 예측된 경우, 음성 명령내 의미를 파악하기 위해 음성 인식을 수행하고, 인식 결과에 따라 특정 사람에 대하여 자동으로 전화를 연결하는 애플리케이션이나 검색 애플리케이션을 실행할 수 있으며, 사용자가 선택한 오브젝트를 전송하려는 의도인 경우에는 이메일 애플리케이션을 실행할 수 있다. 다른 예로, 사용자 의도가 허밍(humming)으로 예측되는 경우, 허밍 음원과 유사한 음악을 검색하는 애플리케이션이 구동될 수 있다. 또 다른 예로, 사용자 의도가 불기(blow)로 예측되는 경우, 게임 애플리케이션에서 아바타가 특정 동작을 실행하는 명령으로 이용될 수 있다.
일 실시예에 따르면, 사용자 모션 인식을 통해 사용자 의도의 일부분을 예측하고, 예측된 사용자 의도의 일부분에 따라 멀티 모달 정보를 분석하여 2차적으로 사용자 의도를 예측함으로써 멀티 모달 정보를 해석하는 과정에서 독립성을 유지하면서도 일차적으로 예측된 사용자 의도의 일부분과 관련지어 멀티 모달 정보를 해석할 수 있으므로, 모달리티간 연관성 파악이 용이하여 사용자 의도를 정확하게 추론할 수 있다.
도 2는 도 1의 사용자 의도 예측부의 구성의 일 예를 나타내는 도면이다.
사용자 의도 예측부(122)는 모션 정보 분석부(210), 1차 예측부(220) 및 2차 예측부(230)를 포함할 수 있다.
모션 정보 분석부(210)는 모션 센서(110)로부터 수신되는 하나 이상의 모션 정보를 분석한다. 모션 정보 분석부(210)는 모션 센서(110)가 부착된 사용자의 신체의 각 부위의 위치 정보 및 각도 정보를 측정할 수 있고, 측정된 위치 정보 및 각도 정보를 이용하여 모션 센서(110)가 부착되지 않은 사용자의 신체의 각 부위의 위치 정보 및 각도 정보도 계산할 수 있다.
예를 들어, 모션 센서(110)가 양 손목 및 머리에 부착된 경우, 센서와 센서간 거리가 측정되고, 각 센서는 기준 좌표계에 대한 3차원 회전각 정보를 얻을 수 있다. 따라서, 모션 정보로부터 손목 부위와 머리 부위 사이의 거리 및 손목의 회전각 정보를 계산하여 손목과 얼굴의 입 부위 사이의 거리 및 손목의 회전각 정보를 계산할 수 있다. 사용자가 손에 사용자 의도 추론 장치(100)의 음향 센서(132)에 해당하는 마이크를 잡고 있는 경우를 가정하면, 마이크의 입 사이의 거리와 마이크의 방향이 계산될 수 있다.
다른 예로, 모션 센서(110)가 사용자의 머리와 음향 센서에 해당하는 마이크에 장착된 경우, 모션 정보로부터 마이크와 머리 부위 사이의 거리가 측정되고, 마이크에 부착된 관성센서로부터 센서를 부착한 축의 3차원 각도 정보를 획득하여, 모션 정보 분석부(210)는 손목과 얼굴의 입 부위 사이의 거리 및 마이크의 회전각 정보를 계산할 수 있다.
또 다른 예로, 모션 센서(110)에 영상 센서가 포함되어, 모션 정보 분석부(210)로 영상 정보들을 입력할 수 있다. 이 경우, 모션 정보 분석부(210)는 영상내 얼굴이나 손과 같은 오브젝트(object)를 인식한 후 오브젝트 간 위치 관계를 계산할 수 있다. 예를 들어, 모션 정보 분석부(210)는 얼굴과 2개의 손 사이의 거리 및 각도, 2개의 손 사이의 거리 및 각도 등을 계산할 수 있다.
1차 예측부(220)는 모션 정보 분석에 의해 트리거된 사용자 의도의 일부분을 예측한다. 예를 들어, 1차 예측부(220)는 영상을 포함하는 모션 정보 분석을 통해 1차적으로 스크린에 있는 오브젝트를 선택하는 모션인지 예측할 수 있다.
2차 예측부(230)는 1차 예측부(220)에서 예측된 사용자 의도의 일부분 및 멀티 모달 감지부(130)로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측한다.
2차 예측부(230)는 사용자 의도를 예측하기 위하여 멀티 모달 센서로부터 입력되는 멀티 모달 정보를 1차적으로 예측된 사용자 의도의 일부분과 연관되도록 해석할 수 있다. 일예로, 1차적으로 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택이고, 2차 예측부(230)는 멀티 모달 감지부(130)로부터 음성이 입력되면, 입력된 음성을 오브젝트 선택과 연관하여 해석함으로써 2차적으로 사용자 의도를 예측할 수 있다.
또 다른 예로, 1차 예측부(220)가 1차적으로 예측된 사용자 의도의 일부분을 마이크를 입으로 가져가는 것으로 예측하고, 멀티모달 감지부(130)에서 카메라와 같은 영상 센서(134)를 통해 입의 움직임이 감지되고, 마이크와 같은 음향 센성(132)를 통해 음성이 입력되는 경우, 2차 예측부(230)는 사용자 의도를 음성 명령 입력으로 예측할 수 있다. 음성 명령 입력 의도를 예측하기 위해, 2차 예측부(230) 음향 신호로부터 음성 구간을 검출하고, 검출된 음성 구간에 대한 특징 추출 및 분석을 통한 의미 분석을 수행하여 사용자 의도 적용부(124)에서 이용할 수 있는 형태로 만들 수 있다.
또 다른 예로, 1차 예측부(220)가 마이크를 입으로 가져가는 것을 1차적으로 사용자 의도의 일부분으로 예측하고, 멀티모달 감지부(130)에서 카메라와 같은 영상 센서(134)를 통해 입술이 앞으로 돌출되는 영상이 일관성있게 감지되고, 마이크를 통해 호흡음(breath sound)이 입력되는 경우, 2차 예측부(230)는 사용자 의도를 불기(blow)로 예측할 수 있다.
위의 두 예에서 사용자 의도는 “마이크를 입으로 가져가 음성 명령 입력”과 “마이크를 입으로 가져가 불기”로 각각 다르다. 그러나 두 사용자 의도의 일부분은 “마이크를 입으로 가져가”는 것으로 공통이며, 1차 예측부(220)는 이러한 사용자 의도의 일부분을 먼저 예측하여 사용자 의도의 범위를 좁힐 수 있다. 1차 예측부(220)에 의해 좁혀진 사용자 의도의 범위내에서 2차 예측부(230)는 멀티모달 정보를 고려하여 사용자 의도를 예측할 수 있다. 위의 두 예의 경우만 고려하면, “마이크를 입으로 가져가”는 모션이 감지되면 1차 예측부(220)에 의하여 사용자 의도의 범위는 “음성 명령 입력”과 “불기”로 제한되며, 2차 예측부(230)는 감지되는 멀티 모달 정보를 고려하여 사용자 의도가 “음성 명령 입력”인지 “불기”인지 판단할 수 있다.
도 3은 이러한 도 2의 사용자 의도 예측부의 예시적인 동작을 나타내는 도면이다.
1차 예측부(220)는 모션 정보 분석부(210)에서 분석된 모션 정보를 이용하여 사용자 의도의 일부분을 예측할 수 있다. 2차 예측부(230)는 멀티 모달 감지부(130)의 영상 센서(134)에 의해 감지된 영상 또는 음향 센서(132)로부터 감지된 음향 신호 등의 멀티 모달 신호를 입력 받아서, 음성이 검출되고 있는지 여부에 대한 정보를 생성하여 사용자의 의도를 예측할 수 있다.
일 예로, 모션 정보 분석부(210)는 사용자의 머리 및 손목에 장착된 모션 센서로부터 감지된 모션 정보를 이용하여 사용자의 입과 마이크를 잡은 손 사이의 거리를 계산한다(310). 모션 정보 분석부(210)는 손목의 회전 각도로부터 마이크의 방향을 계산한다(320).
1차 예측부(220)는 모션 정보 분석부(210)에 의해 계산된 거리 및 방향 정보를 이용하여, 사용자가 마이크를 입으로 가져다 대는 모션인지 예측하여 사용자 의도의 일부분을 예측한다(330). 예를 들어, 1차 예측부(220)는 사용자의 입과 마이크를 잡은 손의 위치가 입 주위 반경 20 cm 이내이고, 마이크 방향이 입을 향하고 있다고 결정되면, 사용자가 마이크를 입으로 가져오려고 하는 것으로 예측할 수 있다.
이 경우, 2차 예측부(230)는 마이크와 같은 음향 센서(132)와 카메라와 같은 영상 센서(134)로부터 입력된 멀티모달 입력 신호를 분석하여 음성 명령 의도인지, 허밍이나 불기와 같은 의도인지 등으로, 사용자 의도를 예측할 수 있다.
2차 예측부(230)는 사용자 의도 일부분 예측, 즉 1차 예측이 마이크를 입으로 가져오는 것이고, 카메라로부터 입술의 움직임이 감지되고, 마이크에 의해 감지된 음향 신호로부터 음성이 검출되면 사용자 의도를 음성 명령 의도로 결정할 수 있다(340). 이와 달리 1차 예측이 마이크를 입으로 가져오는 것이고, 카메라로부터 입술을 앞으로 돌출하는 영상이 감지되고, 마이크로부터 입력되는 음향 신호로부터 호흡음(breath sound)이 검출되면, 2차 예측부(230)는 사용자 의도를 불기(blow)로 결정할 수 있다(350).
도 4a는 1차적으로 사용자 의도의 일부분이 예측된 후, 추가적인 멀티모달 입력을 받아 2차적으로 사용자의 의도를 예측하는 동작의 일 예를 나타내는 도면이다.
2차 예측부(230)는 1차 예측부(220)로부터 수신된 1차 예측된 사용자 의도의 일부분이 마이크를 입으로 가져가는 것인 경우(410), 멀티 모달 감지부(130)에 포함된 마이크와 카메라 등의 센서를 활성화하여 멀티모달 신호를 입력 받는다(420).
2차 예측부(230)는 마이크로부터 입력받은 음향 신호와 카메라로부터 입력받은 영상 신호로부터 특징들을 추출하고, 특징들을 분류 및 분석한다(430).
음향 특징으로서 마이크로부터 입력받은 음향 신호에서 시간 에너지(Time Energy), 주파수 에너지(Frequency Energy), 영교차율(Zero Crossing Rate), LPC(Linear Predictive Coding), 셉스트럴 계수(Cepstral coefficients), 피치(pitch) 등 시간 영역의 특징이나 주파수 스펙트럼과 같은 통계적 특징 등이 추출될 수 있다. 추출될 수 있는 특징은 이들에 한정되지 않고 다른 특징 알고리즘에 의해 추출될 수 있다. 추출된 특징은 결정 트리(Decision Tree), 지원 벡터 머신(Support Vector Machine), 베이에시안 네트워크(Bayesian Network), 신경망(Neural Network)와 같은 분류 및 학습 알고리즘 등을 사용하여 입력 특징 음성(speech) 활동 클래스인지, 비음성(non-speech) 활동 클래스인지를 분류될 수 있으나, 이에 한정되지 않는다.
특징 분석 결과 음성 구간이 검출되면(440), 2차 예측부(230)는 음성 명령 입력으로 사용자 의도를 예측할 수 있다. 2차 예측부(230)는 특징 분석 결과, 음성 구간이 검출되지 않고(440), 호흡음이 검출되면(450), 불기(blow)의도로 예측할 수 있다. 또한, 다른 종류의 특징이 검출됨에 따라 사용자 의도를 허밍 등 여러가지로 결정될 수 있다. 이때 2차 예측부(230)는 1차 예측으로부터 한정되는 범위내에서 사용자 의도를 예측할 수 있다.
따라서, 일 실시예에 따르면, 사용자의 멀티 모달 정보를 이용하여 사용자 의도를 예측하고, 예측 결과에 따라 음성 검출 동작의 수행을 제어할 수 있으므로 음성 인터페이스 사용시 사용자가 음성 입력 방법 예를 들어 사용자가 음성 입력을 위한 별도의 버튼이나 화면 터치 등의 동작 방법 등을 별도로 학습하지 않고도 직관적으로 음성을 입력할 수 있다.
2차 예측부(230)는, 마이크로부터 음향 정보 외에도, 카메라와 같은 영상 센서(134)로부터 입력되는 영상 정보와 성대 마이크와 같은 생체 정보 센서(136)로부터 입력되는 사람이 음성을 발화할 때 변화되는 적어도 하나의 감지 정보 중 적어도 하나를 음향 신호로부터 추출된 특징 정보와 함께 이용하여 음성 구간을 검출하고, 검출된 음성 구간의 음성을 처리할 수 있다. 여기에서, 감지 정보는 사용자의 입 모양 변화 등 나타내는 영상 정보, 발화시 나오는 입김 등에 의해 변화하는 온도 정보 및 발화시 진동하는 목구멍 또는 턱뼈 등 신체 부위의 진동 정보, 발화시 얼굴이나 입에서 나오는 적외선 감지 정보 중 적어도 하나를 포함할 수 있다.
사용자 의도 적용부(124)는 음성 구간이 검출되면(440), 검출된 음성 구간에 속한 음성 신호를 처리하여 음성 인식을 수행하고, 음성 인식 결과를 이용하여 응용 모듈을 전환시킬 수 있다. 예를 들어, 인식 결과에 따라 애플리케이션이 실행되어, 이름이 인식되면, 인식된 이름에 대한 전화번호가 검색되거나, 검색된 전화번호로 전화를 거는 동작 등 지능적인 음성 입력 시작 및 종료 전환이 가능해질 수 있다. 또한, 사용자 의도 추론 장치(100)가 모바일 커뮤니케이션 디바이스로 구현된 경우, 멀티 모달 정보에 기반하여 음성 통화 시작 및 종료 의도를 파악하여 사용자가 통화 버튼을 누르는 등 별도의 동작을 하지 않더라도 자동으로 음성 통화 모드로 동작 모드가 전환될 수 있다.
도 4b는 1차적으로 사용자 의도의 일부분이 예측된 후, 추가적인 멀티모달 입력을 받아 2차적으로 사용자의 의도를 예측하는 동작의 다른 예를 나타내는 도면이다.
2차 예측부(230)는 1차 예측부(220)로부터 수신된 1차 예측된 사용자 의도의 일부분이 특정 오브젝트의 선택인 경우(460), 카메라와 초음파 센서 등의 센서를 활성화하여 멀티모달 신호를 입력 받는다(470).
2차 예측부(230)는 입력받은 멀티모달 신호를 분석하여(480), 사용자 의도를 예측한다. 이때, 예측되는 사용자 의도는 1차 예측으로부터 한정되는 범위내의 의도들일 수 있다.
2차 예측부(230)는 멀티모달 신호 분석 결과, 손을 흔드는 동작으로 판단할 수 있다(490). 2차 예측부(230)는 사용자 의도 적용부(124)에서 실행중인 애플리케이션에 따라서, 손을 흔드는 동작을 화면상에 도시되는 특정 아이템 또는 파일을 삭제하라는 의도로 해석하여, 사용자 의도 적용부(224)에서 특정 아이템 또는 파일이 삭제되도록 제어할 수 있다.
도 5는 2차 예측부(230)에서 음향 신호와 영상 신호를 함께 이용하여 통합 분석하는 특징 기반 신호 분류에 대한 일예를 나타내는 도면이다.
2차 예측부(230)는 음향 특징 추출부(510), 음향 특징 분석부(520), 영상 특징 추출부(530), 영상 특징 분석부(540) 및 통합 분석부(550)를 포함할 수 있다.
음향 특징 추출부(510)는 음향 신호로부터 음향 특징을 추출한다. 음향 특징 분석부(520)는 음향 특징들에 분류 및 학습 알고리즘을 적용하여 음성 구간을 추출한다. 영상 특징 추출부(530)는 일련의 영상 신호로부터 영상 특징을 추출한다. 영상 특징 분석부(540)는 추출된 영상 특징들에 분류 및 학습 알고리즘을 적용하여 음성 구간을 추출한다.
통합 분석부(550)는 음향 신호와 영상 신호에 의해 각각 분류된 결과를 융합하여 최종적으로 음성 구간을 검출한다. 이때, 음향 특징 및 영상 특징을 개별적으로 적용하거나 두 특징을 융합하여 적용할 수 있으며, 다른 신호 예를 들어, 진동, 온도 등을 나타내는 신호로부터 특징이 추출 및 분석되는 경우, 통합 분석부(550)에서 음향 신호 및 영상 신호로부터 추출된 검출 정보와 융합하여 음성 구간이 검출될 수 있다.
일 실시예에 따르면, 음성 인터페이스 사용시 사용자가 음성 입력 방법을 별도로 학습하지 않고도 직관적으로 음성을 입력할 수 있다. 일 예로, 사용자가 음성 입력을 위한 별도의 버튼이나 화면 터치 등의 동작을 할 필요가 없다. 또한, 가정 잡음, 차량 잡음, 비화자 잡음 등 잡음의 종류나 정도 등에 관계없이 다양한 잡은 환경에서 정확한 사용자 음성 구간 검출을 할 수 있다. 또한, 영상 이외에도 다른 생체 정보를 이용하여 음성 검출을 할 수 있으므로 조명이 너무 밝거나 어두운 경우 또는 사용자 입이 가려지는 상황에서도 사용자의 음성 구간을 정확하게 검출할 수 있다.
도 6은 일 실시예에 따른 멀티 모달 정보를 이용하는 사용자 의도 추론 방법을 나타내는 도면이다.
사용자 의도 추론 장치(100)는 적어도 하나의 모션 센서로부터 감지된 모션 정보를 수신한다(610). 사용자 의도 추론 장치(100)는 수신된 모션 정보를 이용하여 1차적으로 사용자 의도의 일부분을 예측한다(620).
적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보가 수신되면(630), 사용자 의도 추론 장치(100)는 1차적으로 예측된 사용자 의도의 일부분 및 멀티 모달 정보를 이용하여 2차적으로 사용자 의도를 예측한다(640). 2차적으로 사용자 의도를 예측하는 단계에서, 멀티 모달 센서로부터 입력되는 멀티 모달 정보를 1차적으로 예측된 사용자 의도의 일부분과 연관되도록 해석하는 동작이 수행될 수 있다.
1차적으로 예측된 사용자 의도의 일부분을 이용하여 2차적 사용자 의도 예측 과정에서 수행되는 동작을 실행시키기 위한 제어 신호를 생성할 수 있다. 2차적 사용자 의도 예측 과정에서 수행되는 동작을 실행시키기 위한 제어 신호는 사용자 의도 추론 장치(100)에 의해 제어되는 멀티 모달 센서의 동작을 제어하는 제어 신호일 수 있다. 사용자 의도는 1차적으로 예측된 사용자 의도의 일부분의 범위 내에서, 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 결정될 수 있다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (17)

  1. 적어도 하나의 모션 정보를 이용하여 사용자 의도의 일부분을 예측하는 1차 예측부; 및
    상기 예측된 사용자 의도의 일부분 및 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 2차 예측부를 포함하는 사용자 의도 추론 장치.
  2. 제1항에 있어서,
    상기 1차 예측부는 상기 예측된 사용자 의도의 일부분을 이용하여 상기 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호를 생성하는 사용자 의도 추론 장치.
  3. 제2항에 있어서,
    상기 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호는 상기 사용자 의도 추론 장치에 의해 제어되는 멀티 모달 센서의 동작을 제어하는 제어 신호인 사용자 의도 추론 장치.
  4. 제1항에 있어서,
    상기 2차 예측부는 사용자 의도를 예측하기 위하여 상기 멀티 모달 센서로부터 입력되는 멀티 모달 정보를 상기 예측된 사용자 의도의 일부분과 연관되도록 해석하는 사용자 의도 추론 장치.
  5. 제4항에 있어서,
    상기 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택이고, 상기 멀티 모달 센서로부터 음성이 입력되면, 상기 2차 예측부는 상기 입력된 음성을 상기 오브젝트 선택과 연관하여 해석함으로써 사용자 의도를 예측하는 사용자 의도 추론 장치.
  6. 제1항에 있어서,
    상기 2차 예측부는, 상기 예측된 사용자 의도의 일부분의 범위 내에서, 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 사용자 의도 추론 장치.
  7. 제6항에 있어서,
    상기 예측된 사용자 의도의 일부분이 마이크를 입에 가져가는 동작인 경우, 상기 2차 예측부는, 음향 신호를 감지하고, 감지된 음향 신호에 대하여 특징을 추출 및 분석하여, 사용자 의도를 예측하는 사용자 의도 추론 장치.
  8. 제7항에 있어서,
    상기 2차 예측부는, 상기 음향 신호에서 음성 구간이 검출되는지 결정하고, 음성 구간이 검출되는 경우 사용자 의도를 음성 명령 의도로 예측하는 사용자 의도 추론 장치.
  9. 제8항에 있어서,
    상기 2차 예측부는, 상기 음향 신호에서 호흡음이 검출된 경우, 사용자 의도를 불기로 예측하는 사용자 의도 추론 장치.
  10. 제1항에 있어서,
    상기 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택인 경우, 상기 2차 예측부는, 멀티 모달 정보를 이용하여 사용자 의도를 상기 선택된 오브젝트에 대한 삭제, 분류 및 정렬 중 적어도 하나로 예측하는 사용자 의도 추론 장치.
  11. 제1항에 있어서,
    상기 사용자 의도 예측 결과를 이용하여 상기 사용자 의도 추론 장치에서 제어되는 소프트웨어 또는 하드웨어를 제어하는 사용자 의도 적용부를 더 포함하는 사용자 의도 추론 장치.
  12. 적어도 하나의 모션 정보를 수신하는 단계;
    상기 수신된 모션 정보를 이용하여 사용자 의도의 일부분을 예측하는 단계;
    적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 수신하는 단계; 및
    상기 예측된 사용자 의도의 일부분 및 상기 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 단계를 포함하는 사용자 의도 추론 방법.
  13. 제12항에 있어서,
    상기 예측된 사용자 의도의 일부분을 이용하여 상기 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호를 생성하는 단계를 더 포함하는 사용자 의도 추론 방법.
  14. 제13항에 있어서,
    상기 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호는 상기 사용자 의도 추론 장치에 의해 제어되는 멀티 모달 센서의 동작을 제어하는 제어 신호인 사용자 의도 추론 방법.
  15. 제12항에 있어서,
    상기 사용자 의도를 예측하는 단계는,
    상기 멀티 모달 센서로부터 입력되는 멀티 모달 정보를 상기 예측된 사용자 의도의 일부분과 연관되도록 해석하는 단계를 포함하는 사용자 의도 추론 방법.
  16. 제12항에 있어서,
    상기 사용자 의도를 예측하는 단계에서, 사용자 의도는 상기 예측된 사용자 의도의 일부분의 범위 내에서, 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 예측되는 사용자 의도 추론 방법.
  17. 제12항에 있어서,
    상기 사용자 의도 예측 결과를 이용하여 상기 사용자 의도 추론 장치에서 제어되는 소프트웨어 또는 하드웨어를 제어하는 단계를 더 포함하는 사용자 의도 추론 방법.
KR1020100036031A 2009-04-30 2010-04-19 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법 KR101652705B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012508401A JP5911796B2 (ja) 2009-04-30 2010-04-29 マルチモーダル情報を用いるユーザ意図推論装置及び方法
CN201080017476.6A CN102405463B (zh) 2009-04-30 2010-04-29 利用多模态信息的用户意图推理装置及方法
PCT/KR2010/002723 WO2010126321A2 (ko) 2009-04-30 2010-04-29 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
US12/770,168 US8606735B2 (en) 2009-04-30 2010-04-29 Apparatus and method for predicting user's intention based on multimodal information
EP10769966.2A EP2426598B1 (en) 2009-04-30 2010-04-29 Apparatus and method for user intention inference using multimodal information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090067034 2009-07-22
KR20090067034 2009-07-22

Publications (2)

Publication Number Publication Date
KR20110009614A true KR20110009614A (ko) 2011-01-28
KR101652705B1 KR101652705B1 (ko) 2016-09-01

Family

ID=43615279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100036031A KR101652705B1 (ko) 2009-04-30 2010-04-19 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101652705B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015012500A1 (ko) * 2013-07-26 2015-01-29 엘지전자 주식회사 멀티미디어 장치 및 그의 사용자 명령 예측 방법
WO2021080177A1 (ko) * 2019-10-22 2021-04-29 한국전자기술연구원 적응형 추론 시스템 및 이의 운용 방법
CN113723528A (zh) * 2021-09-01 2021-11-30 斑马网络技术有限公司 车载语视融合多模态交互方法及系统、设备、存储介质
US11750689B2 (en) 2021-08-10 2023-09-05 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Speech processing method and apparatus, device, storage medium and program
KR102590988B1 (ko) * 2023-01-06 2023-10-23 주식회사 구스랩스 아바타와 함께 운동하는 메타버스 서비스 제공 장치, 방법 및 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030055655A1 (en) * 1999-07-17 2003-03-20 Suominen Edwin A. Text processing system
KR20040072286A (ko) * 2003-02-10 2004-08-18 한국과학기술원 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
US20090262078A1 (en) * 2008-04-21 2009-10-22 David Pizzi Cellular phone with special sensor functions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030055655A1 (en) * 1999-07-17 2003-03-20 Suominen Edwin A. Text processing system
KR20040072286A (ko) * 2003-02-10 2004-08-18 한국과학기술원 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
US20090262078A1 (en) * 2008-04-21 2009-10-22 David Pizzi Cellular phone with special sensor functions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
고광은외 1인, '멀티모달 감정인식 시스템 기반 상황인식 서비스 추론 기술 개발', 한국지능시스템학회논문지 19권 1호, 2009. *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015012500A1 (ko) * 2013-07-26 2015-01-29 엘지전자 주식회사 멀티미디어 장치 및 그의 사용자 명령 예측 방법
WO2021080177A1 (ko) * 2019-10-22 2021-04-29 한국전자기술연구원 적응형 추론 시스템 및 이의 운용 방법
US11455837B2 (en) 2019-10-22 2022-09-27 Korea Electronics Technology Institute Adaptive inference system and operation method therefor
US11750689B2 (en) 2021-08-10 2023-09-05 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Speech processing method and apparatus, device, storage medium and program
CN113723528A (zh) * 2021-09-01 2021-11-30 斑马网络技术有限公司 车载语视融合多模态交互方法及系统、设备、存储介质
CN113723528B (zh) * 2021-09-01 2023-12-29 斑马网络技术有限公司 车载语视融合多模态交互方法及系统、设备、存储介质
KR102590988B1 (ko) * 2023-01-06 2023-10-23 주식회사 구스랩스 아바타와 함께 운동하는 메타버스 서비스 제공 장치, 방법 및 프로그램

Also Published As

Publication number Publication date
KR101652705B1 (ko) 2016-09-01

Similar Documents

Publication Publication Date Title
JP5911796B2 (ja) マルチモーダル情報を用いるユーザ意図推論装置及び方法
KR101581883B1 (ko) 모션 정보를 이용하는 음성 검출 장치 및 방법
EP3387628B1 (en) Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
US10126826B2 (en) System and method for interaction with digital devices
EP2327005B1 (en) Enhanced detection of waving gesture
KR101295003B1 (ko) 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법
KR20190084789A (ko) 전자 장치 및 그 제어 방법
US20130211843A1 (en) Engagement-dependent gesture recognition
US20080111710A1 (en) Method and Device to Control Touchless Recognition
KR102695966B1 (ko) 안내 로봇 및 안내 로봇의 동작 방법
JP2005202653A (ja) 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
KR101652705B1 (ko) 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
LaViola Jr An introduction to 3D gestural interfaces
US10360775B1 (en) Systems and methods for designing haptics using speech commands
Wang et al. A gesture-based method for natural interaction in smart spaces
CN109725722A (zh) 有屏设备的手势控制方法和装置
KR101019655B1 (ko) 사용 유도 장치 및 방법
Shree et al. A Virtual Assistor for Impaired People by using Gestures and Voice
Hanheide et al. Combining environmental cues & head gestures to interact with wearable devices
KR102643720B1 (ko) 로봇용 인공지능 인터페이스 시스템
EP4047552A1 (en) Information processing device, information processing method, and program
Gong Enhancing touch interactions with passive finger acoustics
KR20150066156A (ko) 디스플레이 장치 및 이의 제어 방법
KR20220129818A (ko) 전자 장치 및 전자 장치 제어방법
CN118092722A (zh) 云会议互动方法、云会议服务器、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant