KR101652705B1 - Apparatus for predicting intention of user using multi modal information and method thereof - Google Patents

Apparatus for predicting intention of user using multi modal information and method thereof Download PDF

Info

Publication number
KR101652705B1
KR101652705B1 KR1020100036031A KR20100036031A KR101652705B1 KR 101652705 B1 KR101652705 B1 KR 101652705B1 KR 1020100036031 A KR1020100036031 A KR 1020100036031A KR 20100036031 A KR20100036031 A KR 20100036031A KR 101652705 B1 KR101652705 B1 KR 101652705B1
Authority
KR
South Korea
Prior art keywords
user
intention
multimodal
predicting
information
Prior art date
Application number
KR1020100036031A
Other languages
Korean (ko)
Other versions
KR20110009614A (en
Inventor
조정미
김정수
김남훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP10769966.2A priority Critical patent/EP2426598B1/en
Priority to US12/770,168 priority patent/US8606735B2/en
Priority to CN201080017476.6A priority patent/CN102405463B/en
Priority to PCT/KR2010/002723 priority patent/WO2010126321A2/en
Priority to JP2012508401A priority patent/JP5911796B2/en
Publication of KR20110009614A publication Critical patent/KR20110009614A/en
Application granted granted Critical
Publication of KR101652705B1 publication Critical patent/KR101652705B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

멀티 모달 정보를 이용하여 사용자 의도를 추론하는 장치 및 방법이 개시된다. 일 측면에 따른 사용자 의도 추론 장치는, 적어도 하나의 모션 정보를 이용하여 사용자 의도의 일부분을 예측하는 1차 예측부와, 예측된 사용자 의도의 일부분 및 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 2차 예측부를 포함한다. An apparatus and method for inferring a user's intention using multimodal information are disclosed. A user's intention inferring apparatus according to one aspect includes a primary predictor for predicting a part of a user's intention using at least one motion information, a part of the predicted user's intention, and a multimodal information input from at least one multimodal sensor And a second prediction unit for predicting the user's intention using the second prediction unit.

Description

멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법{Apparatus for predicting intention of user using multi modal information and method thereof} BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a user's intention inferencing apparatus and method using multi-modal information,

하나 이상의 양상은 멀티 모달 정보를 이용하는 시스템에 관한 것으로, 더욱 상세하게는 멀티 모달 정보를 이용하여 사용자 입력을 처리하는 장치 및 방법에 관한 것이다. More than one aspect relates to a system that utilizes multimodal information, and more particularly to an apparatus and method for processing user input using multimodal information.

멀티모달 인터페이스는 인간과 기계의 통신을 위해 음성, 키보드, 펜 등을 이용해 인터페이스하는 방법을 의미한다. 이러한 멀티모달 인터페이스를 통한 멀티 모달 정보가 입력된 경우, 사용자 의도를 분석하는 방식은 멀티 모달 입력을 신호 레벨에서 융합하여 분석하는 방식과 각 모달리티 입력 정보를 각각 분석한 후 분석된 결과를 의미 레벨에서 융합하여 분석하는 방법이 있다. A multimodal interface means a method of interfacing with voice, keyboard, pen, etc. for human and machine communication. When multi-modal information is inputted through such a multi-modal interface, the method of analyzing the user's intention is a method of analyzing the multi-modal input at the signal level and analyzing each of the respective modal input information, There is a method to analyze by fusion.

신호 레벨에서 융합하는 방식은 멀티 모달 입력 신호를 융합하여 한꺼번에 분석 및 분류하는 것으로 예를 들어, 음성 신호와 입술 움직임과 같이 동시에 발생하는 신호 처리에 적합하게 이용될 수 있다. 그러나 2 이상의 신호를 통합하여 처리하기 때문에 특징 공간이 매우 크고 신호 간의 연관성을 계산하기 위한 모델이 매우 복잡하고 학습량이 많아지게 된다. 또한 다른 모달리티와 결합하거나 다른 단말에 적용하는 등의 경우와 같은 확장성이 용이하지 않다. The method of fusing at the signal level can be suitably used for signal processing that occurs simultaneously such as voice signal and lip motion, for example, by analyzing and classifying multimodal input signals at one time by fusing them. However, since two or more signals are integrated and processed, the feature space is very large and the model for calculating the correlation between signals is very complicated and the amount of training is increased. Also, the scalability is not as easy as combining with other modalities or applying to other terminals.

각 모달리티를 의미 레벨에서 융합하는 방식은 각각의 모달리티 입력 신호의 의미를 분석한 후 분석 결과를 융합하는 것으로, 모달리티 간 독립성을 유지할 수 있어 학습 및 확장이 용이하다. 그러나, 사용자가 멀티 모달 입력을 하는 이유는 모달리티 간 연관성이 있기 때문인데, 개별적으로 의미를 분석할 경우 이 연관성을 찾아내기 힘들다. The method of fusing each modality at the semantic level analyzes the meaning of each of the modality input signals and then fuses the analysis result, so that the independence between the modalities can be maintained, and learning and expansion are easy. However, the reason users make multimodal input is because there is a correlation between the modalities, and it is difficult to find this correlation when analyzing the meaning individually.

모션 정보에 의해 사용자 의도를 예측하고, 예측된 사용자 의도를 멀티 모달 입력 정보를 이용하여 추론함으로써 효율적이고 정확하게 사용자 의도를 추론할 수 있는 장치 및 방법이 제공된다. There is provided an apparatus and method for efficiently and accurately inferring a user's intention by predicting a user's intention based on motion information and deducing a predicted user's intention using multimodal input information.

일 측면에 따른 사용자 의도 추론 장치는, 적어도 하나의 모션 정보를 이용하여 사용자 의도의 일부분을 예측하는 1차 예측부와, 예측된 사용자 의도의 일부분 및 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 2차 예측부를 포함한다. A user's intention inferring apparatus according to one aspect includes a primary predictor for predicting a part of a user's intention using at least one motion information, a part of the predicted user's intention, and a multimodal information input from at least one multimodal sensor And a second prediction unit for predicting the user's intention using the second prediction unit.

1차 예측부는 예측된 사용자 의도의 일부분을 이용하여 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호를 생성할 수 있다. The first prediction unit may generate a control signal for executing an operation performed in the process of predicting the user's intention using a part of the predicted user intention.

사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호는 사용자 의도 추론 장치에 의해 제어되는 멀티 모달 센서의 동작을 제어하는 제어 신호일 수 있다. The control signal for executing the operation performed in the process of predicting the user's intention may be a control signal for controlling the operation of the multimodal sensor controlled by the user's intention reasoning device.

2차 예측부는 사용자 의도를 예측하기 위하여 멀티 모달 센서로부터 입력되는 멀티 모달 정보를 예측된 사용자 의도의 일부분과 연관되도록 해석할 수 있다. The second prediction unit may interpret the multimodal information input from the multimodal sensor to be related to a part of the predicted user intention to predict the user intention.

예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택이고, 멀티 모달 센서로부터 음성이 입력되면, 2차 예측부는 입력된 음성을 오브젝트 선택과 연관하여 해석함으로써 사용자 의도를 예측할 수 있다. When a part of the predicted user intention is the selection of the object displayed on the display screen and the voice is input from the multimodal sensor, the secondary prediction unit can predict the user's intention by analyzing the input voice in association with object selection.

2차 예측부는, 예측된 사용자 의도의 일부분의 범위 내에서, 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측할 수 있다. The secondary prediction unit can predict the user's intention using the multimodal information input from at least one multimodal sensor within a range of the predicted user intention.

예측된 사용자 의도의 일부분이 마이크를 입에 가져가는 동작인 경우, 2차 예측부는, 음향 신호를 감지하고, 감지된 음향 신호에 대하여 특징을 추출 및 분석하여, 사용자 의도를 예측할 수 있다. If a part of the predicted user intention is an operation to take the microphone to the mouth, the second prediction unit can sense the acoustic signal and extract and analyze the characteristics of the sensed acoustic signal to predict the user intention.

2차 예측부는, 음향 신호에서 음성 구간이 검출되는지 결정하고, 음성 구간이 검출되는 경우 사용자 의도를 음성 명령 의도로 예측할 수 있다. The second prediction unit may determine whether a speech interval is detected in the acoustic signal, and predict the user intention in the voice command intention when the speech interval is detected.

2차 예측부는, 음향 신호에서 호흡음이 검출된 경우, 사용자 의도를 불기로 예측할 수 있다. The second prediction unit can predict the user's intention when the respiratory sound is detected in the acoustic signal.

예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택인 경우, 2차 예측부는, 멀티 모달 정보를 이용하여 사용자 의도를 선택된 오브젝트에 대한 삭제, 분류 및 정렬 중 적어도 하나로 예측할 수 있다. When a part of the predicted user intention is a selection of the object displayed on the display screen, the secondary predictor can predict the user intention using at least one of deletion, classification, and alignment of the selected object using the multimodal information.

사용자 의도 예측 결과를 이용하여 사용자 의도 추론 장치에서 제어되는 소프트웨어 또는 하드웨어를 제어하는 사용자 의도 적용부를 더 포함할 수 있다. And a user intention application unit for controlling software or hardware controlled by the user's intention reasoning device using the user's intention prediction result.

다른 측면에 따른 사용자 의도 추론 방법은, 적어도 하나의 모션 정보를 수신하는 단계와, 수신된 모션 정보를 이용하여 사용자 의도의 일부분을 예측하는 단계와, 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 수신하는 단계와, 예측된 사용자 의도의 일부분 및 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 단계를 포함한다. According to another aspect, there is provided a method of inferring a user's intention, comprising: receiving at least one motion information; predicting a portion of a user's intention using the received motion information; And predicting the user's intention using a portion of the predicted user intent and multi-modal information.

일 실시예에 따르면, 사용자 모션 인식을 통해 사용자 의도의 일부분을 예측하고, 예측된 사용자 의도의 일부분에 따라 멀티 모달 정보를 분석하여 2차적으로 사용자 의도를 예측함으로써 모달리티간 독립성을 유지하면서도 모달리티간 연관성 파악이 용이하여 사용자 의도를 정확하게 추론할 수 있다. According to one embodiment, a part of the user's intention is predicted through user's motion recognition, and the multimodal information is analyzed according to a part of the predicted user's intention, thereby predicting the user's intention secondarily to thereby maintain the independency between the modalities, It is easy to grasp the user's intention.

또한, 모션 정보를 이용하여 또는 모션 정보와 함께 음성 또는 영상 정보 등 멀티모달 정보를 융합하여 사용자의 음성 입력 시작 및 종료 의도를 예측할 수 있으므로 사용자는 특별한 음성 입력 방식을 학습하지 않고도 사용자 의도 추론 장치에 음성을 입력할 수 있다. In addition, since the user can predict the intention of starting and ending the voice input by using the motion information or by fusion of the multi-modal information such as voice or image information together with the motion information, the user can input the user's intention reasoning device Voice can be input.

도 1은 일 실시예에 따른 사용자 의도 추론 장치의 구성을 나타내는 도면이다.
도 2는 도 1의 사용자 의도 예측부의 구성의 일 예를 나타내는 도면이다.
도 3은 도 2의 사용자 의도 예측부의 예시적인 동작을 나타내는 도면이다.
도 4a는 1차적으로 사용자 의도의 일부분이 예측된 후, 추가적인 멀티모달 입력을 받아 2차적으로 사용자의 의도를 예측하는 동작의 일 예를 나타내는 도면이고, 도 4b는 1차적으로 사용자 의도의 일부분이 예측된 후, 추가적인 멀티모달 입력을 받아 2차적으로 사용자의 의도를 예측하는 동작의 다른 예를 나타내는 도면이다.
도 5는 음향 신호와 영상 신호를 결합하여 신호를 분류하는 구성의 일예를 나타내는 도면이다.
도 6은 일 실시예에 따른 멀티 모달 정보를 이용하는 사용자 의도 추론 방법을 나타내는 도면이다. 1 is a diagram illustrating a configuration of a user's intention reasoning device according to an embodiment.
FIG. 2 is a diagram showing an example of the configuration of the user's intention predicting unit of FIG. 1. FIG.
FIG. 3 is a diagram showing an exemplary operation of the user intention predicting unit of FIG. 2. FIG.
FIG. 4A is a diagram showing an example of an operation of predicting a user's intention by receiving an additional multimodal input after a part of the user's intention is primarily predicted. FIG. FIG. 5 is a diagram showing another example of an operation of predicting a user's intention by receiving an additional multimodal input after being predicted; FIG.
5 is a diagram showing an example of a configuration for classifying a signal by combining an acoustic signal and a video signal.
6 is a diagram illustrating a user's intention reasoning method using multimodal information according to an embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명의 다양한 실시예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

도 1은 일 실시예에 따른 사용자 의도 추론 장치의 구성을 나타내는 도면이다. 1 is a diagram illustrating a configuration of a user's intention reasoning device according to an embodiment.

사용자 의도 추론 장치(100)는 모션 센서(110), 제어부(120) 및 멀티 모달 감지부(130)를 포함한다. 사용자 의도 추론 장치(100)는 개인용 컴퓨터, 서버 컴퓨터, 휴대용 단말, 셋탑 박스 등 어떤 형태의 장치 또는 시스템으로도 구현될 수 있다. 또한, 사용자 의도 추론 장치(100)는 사용자 인터페이스부, 디스플레이부, 음향 출력부 등 멀티 모달 인터페이스를 위한 구성요소와 같이 구현예에 따라 다양한 구성요소를 더 포함하여 구성될 수 있다. The user's intention reasoning device 100 includes a motion sensor 110, a control unit 120, and a multimodal sensing unit 130. The user's intention reasoning device 100 may be implemented as any type of device or system, such as a personal computer, a server computer, a portable terminal, a set-top box, and the like. In addition, the user's intention reasoning device 100 may include various components according to an embodiment, such as a component for a multimodal interface such as a user interface unit, a display unit, and a sound output unit.

모션 센서(110)는 모션 정보를 감지하기 위하여 관성 센서, 방향을 감지하는 지자기 센서 및 움직임을 감지하는 가속도 센서 또는 자이로 센서 등을 포함할 수 있다. 모션 센서(110)는 위에 열거한 센서 외에도, 영상 센서, 음향 센서 등을 포함할 수 있다. 일 실시예에 따르면 복수 개의 모션 센서가 사용자의 신체의 일부 부위와 사용자 의도 추론 장치(100)에 부착되어 모션 정보를 감지할 수 있다. The motion sensor 110 may include an inertial sensor for sensing motion information, a geomagnetic sensor for sensing a direction and an acceleration sensor or a gyro sensor for sensing motion. The motion sensor 110 may include an image sensor, an acoustic sensor, and the like in addition to the above-described sensors. According to one embodiment, a plurality of motion sensors may be attached to a part of the user's body and the user's intention inferencing apparatus 100 to sense motion information.

멀티 모달 감지부(130)는 적어도 하나의 멀티 모달 센서(132, 134, 136, 138)를 포함할 수 있다. 음향 센서(132)는 음향 신호를 감지하는 센서이고, 영상 센서(134)는 이미지 정보를 감지하는 센서이고, 생체 정보 센서(136)는 체온 등 생체 정보를 감지하고, 터치 센서(138)는 터치 패드상의 터치 제스처를 감지할 수 있으며, 기타 다양한 종류 또는 형태의 멀티 모달 센서가 포함될 수 있다. The multimodal sensing unit 130 may include at least one multimodal sensor 132, 134, 136, 138. The sound sensor 132 senses sound signals, the image sensor 134 senses image information, the living body information sensor 136 senses living body information such as body temperature, A touch gesture on the pad, or any other type or type of multimodal sensor.

도 1에는 멀티 모달 감지부(130)에 4개의 센서가 포함되어 있는 것으로 도시되어 있으나, 개수에는 제한이 없다. 멀티 모달 감지부(130)에 포함되는 센서의 종류 및 범위는 모션 감지를 목적으로 하는 모션 센서(110)에 포함되는 센서의 종류 및 범위보다 넓을 수 있다. 또한, 도 1에는 모션 센서(110)와 멀티 모달 감지부(130)가 별도로 존재하는 것으로 도시되어 있으나, 일체화되어 구성될 수도 있다. 또는, 모션 센서(110)에 포함되는 센서와 멀티 모달 감지부(130)에 동일한 종류의 센서 예를 들어, 영상 센서 및 음향 센서가 중복적으로 포함될 수 있다. Although FIG. 1 shows that the multimodal sensing unit 130 includes four sensors, the number of the sensors is not limited. The type and range of the sensor included in the multimodal sensing unit 130 may be wider than the type and range of the sensor included in the motion sensor 110 for motion detection. In addition, although the motion sensor 110 and the multimodal sensing unit 130 are separately shown in FIG. 1, they may be integrated. Alternatively, the sensors included in the motion sensor 110 and the multimodal sensing unit 130 may include sensors of the same type, for example, an image sensor and an acoustic sensor in a redundant manner.

멀티 모달 감지부(130)는 각각의 멀티 모달 센서(132, 134, 136, 138)에서 감지된 멀티 모달 정보를 그 종류에 따라 특징값을 추출하여 의미를 분석하는 모듈을 포함하여 구성될 수 있다. 멀티 모달 정보를 분석하는 구성요소는 제어부(120)에 포함될 수도 있다. The multimodal sensing unit 130 may include a module for extracting the multimodal information sensed by each of the multimodal sensors 132, 134, 136, and 138, . The component for analyzing the multi-modal information may be included in the control unit 120. [

제어부(120)는 사용자 의도 추론 장치(100)의 각 구성 요소의 동작을 제어하기 위한 애플리케이션, 데이터 및 오퍼레이팅 시스템을 포함할 수 있다. 일 실시예에 따르면 제어부(120)는 사용자 의도 예측부(122) 및 사용자 의도 적용부(124)를 포함한다. The control unit 120 may include an application, data, and an operating system for controlling the operation of each component of the user's intent reasoning device 100. [ According to one embodiment, the control unit 120 includes a user's intention predicting unit 122 and a user's intention applying unit 124.

사용자 의도 예측부(122)는 모션 센서(110)로부터 감지된 적어도 하나의 모션 정보를 수신하고, 수신된 모션 정보를 이용하여 1차적으로 사용자 의도의 일부분을 예측한다. 또한, 사용자 의도 예측부(122)는 예측된 사용자 의도의 일부분 및 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 2차적으로 사용자 의도를 예측할 수 있다. 즉, 사용자 의도 예측부(122)는 2차적으로 사용자 의도를 예측할 때 모션 센서(110)로부터 감지된 모션 정보 및 멀티 모달 감지부(130)로부터 입력된 멀티 모달 정보를 이용하여 최종적으로 사용자 의도를 예측할 수 있다. 사용자 의도 예측부(122)는 사용자의 의도를 추론하기 위한 알려진 여러 가지 추론 모델을 이용할 수 있다. The user intention predicting unit 122 receives at least one motion information sensed by the motion sensor 110 and predicting a part of the user's intention primarily using the received motion information. In addition, the user intent predicting unit 122 may predicatively predict the user intention using a part of the predicted user intention and the multimodal information input from the at least one multimodal sensor. That is, when predicting the user's intention, the user's intention predicting unit 122 finally determines the user's intention using the motion information detected from the motion sensor 110 and the multimodal information input from the multimodal sensing unit 130 Can be predicted. The user's intention predicting unit 122 may use various known inference models for inferring a user's intention.

또한, 사용자 의도 예측부(122)는 1차적으로 예측된 사용자 의도의 일부분을 이용하여 2차적으로 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호를 생성할 수 있다. 사용자 의도 추론 과정에서 수행되는 동작을 실행시키기 위한 제어 신호는 사용자 의도 추론 장치(100)에 의해 제어되는 멀티 모달 감지부(130)의 동작을 제어하는 제어 신호일 수 있다. Also, the user's intention predicting unit 122 may generate a control signal for executing an operation performed in the process of predicting the user's intention by using a part of the user's intention initially. The control signal for executing the operation performed in the user's intention reasoning process may be a control signal for controlling the operation of the multimodal sensing unit 130 controlled by the user's intention reasoning device 100. [

예를 들어, 모션 정보를 이용하여 1차적으로 예측된 사용자 의도의 일부분에 기반하여 멀티 모달 감지부(130)의 센서 중 1차적으로 예측된 사용자 의도의 일부분과 연관된 일부 센서 동작을 활성화시킬 수 있으며 이 경우 멀티 모달 감지부(130)의 모든 센서를 활성화하는 경우에 비하여 센서 동작에 사용하는 전력 소모를 감소시킬 수 있다. 또한, 일부 센서로부터 입력되는 감지 정보를 분석하게 되므로, 멀티 모달 입력 정보의 해석을 단순화하여 사용자 의도 예측 과정의 복잡도를 감소시키면서도 정확한 사용자 의도를 추론할 수 있다. For example, based on a portion of the user's intention predicted primarily using the motion information, some of the sensors of the multimodal sensing unit 130 may activate some sensor activity associated with a portion of the user's intention In this case, power consumption used in the sensor operation can be reduced as compared with the case where all the sensors of the multimodal sensing unit 130 are activated. Also, since the sensing information input from some sensors is analyzed, it is possible to infer the accurate user intention while reducing the complexity of the user's intention prediction process by simplifying the analysis of the multimodal input information.

사용자 의도 예측부(122)는 2차적으로 사용자 의도를 예측하기 위하여 멀티 모달 정보의 종류에 따라 특징을 추출하고 분석하는 모듈(도시되지 않음)을 포함하여 구성될 수 있다. 또한, 사용자 의도 예측부(122)는 멀티 모달 감지부(130)로부터 입력되는 멀티 모달 정보를 1차적으로 예측된 사용자 의도의 일부분과 연관되도록 해석할 수 있다. The user intention predicting unit 122 may include a module (not shown) for extracting and analyzing features according to the type of the multimodal information in order to predict the user's intention. In addition, the user intent predicting unit 122 may interpret the multimodal information input from the multimodal sensing unit 130 to be related to a part of the user's intention that is primarily predicted.

예를 들어, 사용자 의도 예측부(122)에서 1차적으로 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택으로 결정되는 경우, 멀티 모달 감지부(130)로부터 음성이 입력되면, 입력된 음성을 오브젝트 선택과 연관하여 해석함으로써 2차적으로 사용자 의도를 예측할 수 있다. 구체적으로, 1차로 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택으로 결정되고, 멀티 모달 감지부(130)에서 입력된 음향 신호가 "날짜별로 정리"라고 분석된 경우, 사용자 의도 예측부(122)는 사용자 의도를 "디스플레이 화면에서 선택된 오브젝트를 날짜 순서대로 정렬"하라는 의미로 해석할 수 있다. For example, when a part of the user's intention predicted primarily by the user's intention predicting unit 122 is determined as a selection of an object displayed on the display screen, when a voice is inputted from the multimodal sensing unit 130, Can be predicted secondarily by interpreting it in association with object selection. Specifically, when a part of the user's intention predicted in the first place is determined as a selection of an object displayed on the display screen, and the sound signal input from the multimodal sensing unit 130 is analyzed as "organizing by date & The user interface 122 can interpret the user's intention as "ordering the selected objects in the display screen in the order of the date ".

또한, 사용자 의도 예측부(122)는 1차적으로 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택인 경우, 멀티 모달 정보를 이용하여 2차적 사용자 의도를 삭제, 분류 및 정렬 중 적어도 하나로 예측할 수 있다. Also, when the part of the user's intention predicted primarily is the selection of the object displayed on the display screen, the user's intention predicting unit 122 predicts the secondary user's intention by at least one of deletion, classification, and alignment using the multimodal information .

사용자 의도 적용부(124)는 사용자 의도 예측 결과를 이용하여 사용자 의도 추론 장치에서 제어되는 소프트웨어 또는 하드웨어를 제어할 수 있다. 사용자 의도 적용부(124)는 예측된 사용자 의도에 인터랙션하기 위한 멀티 모달 인터페이스를 제공할 수 있다. 예를 들어, 사용자의 의도가 음성 명령으로 예측된 경우, 음성 명령내 의미를 파악하기 위해 음성 인식을 수행하고, 인식 결과에 따라 특정 사람에 대하여 자동으로 전화를 연결하는 애플리케이션이나 검색 애플리케이션을 실행할 수 있으며, 사용자가 선택한 오브젝트를 전송하려는 의도인 경우에는 이메일 애플리케이션을 실행할 수 있다. 다른 예로, 사용자 의도가 허밍(humming)으로 예측되는 경우, 허밍 음원과 유사한 음악을 검색하는 애플리케이션이 구동될 수 있다. 또 다른 예로, 사용자 의도가 불기(blow)로 예측되는 경우, 게임 애플리케이션에서 아바타가 특정 동작을 실행하는 명령으로 이용될 수 있다. The user intention application unit 124 can control software or hardware controlled by the user's intention reasoning device using the user's intention prediction result. The user intent application unit 124 may provide a multimodal interface for interacting with the predicted user intent. For example, if a user's intention is predicted by a voice command, voice recognition may be performed to understand the meaning in the voice command, and an application or a search application that automatically connects the phone to a specific person may be executed And may execute an email application if the user intends to transfer the selected object. As another example, if user intentions are predicted to be humming, an application that searches for music that resembles a humming sound source may be driven. As another example, when the user's intention is predicted as blow, the avatar in the game application can be used as an instruction to execute a specific action.

일 실시예에 따르면, 사용자 모션 인식을 통해 사용자 의도의 일부분을 예측하고, 예측된 사용자 의도의 일부분에 따라 멀티 모달 정보를 분석하여 2차적으로 사용자 의도를 예측함으로써 멀티 모달 정보를 해석하는 과정에서 독립성을 유지하면서도 일차적으로 예측된 사용자 의도의 일부분과 관련지어 멀티 모달 정보를 해석할 수 있으므로, 모달리티간 연관성 파악이 용이하여 사용자 의도를 정확하게 추론할 수 있다. According to one embodiment, in the process of interpreting the multimodal information by predicting a part of the user's intention through user motion recognition and analyzing the multimodal information according to a part of the predicted user intention to secondarily predict the user's intention, Modal information can be interpreted in association with a part of the predicted user intention while keeping the correlation between the modalities, so that the user intention can be accurately deduced.

도 2는 도 1의 사용자 의도 예측부의 구성의 일 예를 나타내는 도면이다. FIG. 2 is a diagram showing an example of the configuration of the user's intention predicting unit of FIG. 1. FIG.

사용자 의도 예측부(122)는 모션 정보 분석부(210), 1차 예측부(220) 및 2차 예측부(230)를 포함할 수 있다. The user intention prediction unit 122 may include a motion information analysis unit 210, a primary prediction unit 220, and a secondary prediction unit 230.

모션 정보 분석부(210)는 모션 센서(110)로부터 수신되는 하나 이상의 모션 정보를 분석한다. 모션 정보 분석부(210)는 모션 센서(110)가 부착된 사용자의 신체의 각 부위의 위치 정보 및 각도 정보를 측정할 수 있고, 측정된 위치 정보 및 각도 정보를 이용하여 모션 센서(110)가 부착되지 않은 사용자의 신체의 각 부위의 위치 정보 및 각도 정보도 계산할 수 있다. The motion information analysis unit 210 analyzes one or more pieces of motion information received from the motion sensor 110. The motion information analyzing unit 210 may measure positional information and angle information of each part of the user's body of the user to which the motion sensor 110 is attached and use the measured position information and angle information to determine whether the motion sensor 110 Position information and angle information of each part of the body of the unattached user can also be calculated.

예를 들어, 모션 센서(110)가 양 손목 및 머리에 부착된 경우, 센서와 센서간 거리가 측정되고, 각 센서는 기준 좌표계에 대한 3차원 회전각 정보를 얻을 수 있다. 따라서, 모션 정보로부터 손목 부위와 머리 부위 사이의 거리 및 손목의 회전각 정보를 계산하여 손목과 얼굴의 입 부위 사이의 거리 및 손목의 회전각 정보를 계산할 수 있다. 사용자가 손에 사용자 의도 추론 장치(100)의 음향 센서(132)에 해당하는 마이크를 잡고 있는 경우를 가정하면, 마이크의 입 사이의 거리와 마이크의 방향이 계산될 수 있다. For example, when the motion sensor 110 is attached to both wrists and head, the distance between the sensor and the sensor is measured, and each sensor can obtain three-dimensional rotation angle information about the reference coordinate system. Accordingly, the distance between the wrist and the head and the rotation angle information of the wrist from the motion information can be calculated, and the distance between the wrist and the mouth of the face and the rotation angle information of the wrist can be calculated. Assuming that the user holds a microphone corresponding to the acoustic sensor 132 of the user's intention reasoning device 100 in the hand, the distance between the mouth of the microphone and the direction of the microphone can be calculated.

다른 예로, 모션 센서(110)가 사용자의 머리와 음향 센서에 해당하는 마이크에 장착된 경우, 모션 정보로부터 마이크와 머리 부위 사이의 거리가 측정되고, 마이크에 부착된 관성센서로부터 센서를 부착한 축의 3차원 각도 정보를 획득하여, 모션 정보 분석부(210)는 손목과 얼굴의 입 부위 사이의 거리 및 마이크의 회전각 정보를 계산할 수 있다. As another example, when the motion sensor 110 is mounted on the microphone corresponding to the user's head and the acoustic sensor, the distance between the microphone and the head part is measured from the motion information, and the distance from the inertial sensor attached to the microphone Dimensional angle information, and the motion information analysis unit 210 can calculate the distance between the wrist and the mouth of the face and the rotation angle information of the microphone.

또 다른 예로, 모션 센서(110)에 영상 센서가 포함되어, 모션 정보 분석부(210)로 영상 정보들을 입력할 수 있다. 이 경우, 모션 정보 분석부(210)는 영상내 얼굴이나 손과 같은 오브젝트(object)를 인식한 후 오브젝트 간 위치 관계를 계산할 수 있다. 예를 들어, 모션 정보 분석부(210)는 얼굴과 2개의 손 사이의 거리 및 각도, 2개의 손 사이의 거리 및 각도 등을 계산할 수 있다. As another example, the motion sensor 110 may include an image sensor, and may input image information to the motion information analysis unit 210. In this case, the motion information analyzing unit 210 can calculate a positional relationship between objects after recognizing an object such as a face or a hand in the image. For example, the motion information analysis unit 210 may calculate a distance and an angle between a face and two hands, a distance and an angle between two hands, and the like.

1차 예측부(220)는 모션 정보 분석에 의해 트리거된 사용자 의도의 일부분을 예측한다. 예를 들어, 1차 예측부(220)는 영상을 포함하는 모션 정보 분석을 통해 1차적으로 스크린에 있는 오브젝트를 선택하는 모션인지 예측할 수 있다. The primary prediction unit 220 predicts a part of the user intention triggered by the motion information analysis. For example, the primary prediction unit 220 can predict whether the motion of the object on the screen is primarily selected through the motion information analysis including the image.

2차 예측부(230)는 1차 예측부(220)에서 예측된 사용자 의도의 일부분 및 멀티 모달 감지부(130)로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측한다. The second prediction unit 230 predicts the user's intention using a part of the user's intention predicted by the first prediction unit 220 and the multimodal information input from the multimodal sensing unit 130.

2차 예측부(230)는 사용자 의도를 예측하기 위하여 멀티 모달 센서로부터 입력되는 멀티 모달 정보를 1차적으로 예측된 사용자 의도의 일부분과 연관되도록 해석할 수 있다. 일예로, 1차적으로 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택이고, 2차 예측부(230)는 멀티 모달 감지부(130)로부터 음성이 입력되면, 입력된 음성을 오브젝트 선택과 연관하여 해석함으로써 2차적으로 사용자 의도를 예측할 수 있다. The second prediction unit 230 may interpret the multimodal information input from the multimodal sensor to be associated with a part of the user's intention that is primarily predicted to predict the user's intention. For example, when a voice is input from the multimodal sensing unit 130, the secondary prediction unit 230 selects an object to be displayed on the display screen, The user's intention can be predicted secondarily.

또 다른 예로, 1차 예측부(220)가 1차적으로 예측된 사용자 의도의 일부분을 마이크를 입으로 가져가는 것으로 예측하고, 멀티모달 감지부(130)에서 카메라와 같은 영상 센서(134)를 통해 입의 움직임이 감지되고, 마이크와 같은 음향 센성(132)를 통해 음성이 입력되는 경우, 2차 예측부(230)는 사용자 의도를 음성 명령 입력으로 예측할 수 있다. 음성 명령 입력 의도를 예측하기 위해, 2차 예측부(230) 음향 신호로부터 음성 구간을 검출하고, 검출된 음성 구간에 대한 특징 추출 및 분석을 통한 의미 분석을 수행하여 사용자 의도 적용부(124)에서 이용할 수 있는 형태로 만들 수 있다. As another example, the primary prediction unit 220 predicts that a part of the user's intention predicted primarily is taken by the microphone, and the multimodal sensing unit 130 When the mouth motion is detected and the voice is inputted through the acoustic sensitivity 132 such as a microphone, the second prediction unit 230 can predict the user's intention as a voice command input. In order to predict a voice command input intention, a voice interval is detected from an acoustic signal of the secondary predictor 230, a feature is extracted and analyzed for the detected voice interval, and the result is analyzed by the user intention application unit 124 It can be made in an available form.

또 다른 예로, 1차 예측부(220)가 마이크를 입으로 가져가는 것을 1차적으로 사용자 의도의 일부분으로 예측하고, 멀티모달 감지부(130)에서 카메라와 같은 영상 센서(134)를 통해 입술이 앞으로 돌출되는 영상이 일관성있게 감지되고, 마이크를 통해 호흡음(breath sound)이 입력되는 경우, 2차 예측부(230)는 사용자 의도를 불기(blow)로 예측할 수 있다.As another example, the primary predictor 220 may primarily predict that the microphone is taken as part of the user's intention, and the multi-modal sensing unit 130 may detect that the lips When a projected image is consistently detected and a breath sound is input through the microphone, the second prediction unit 230 can predict the user's intention by blowing.

위의 두 예에서 사용자 의도는 “마이크를 입으로 가져가 음성 명령 입력”과 “마이크를 입으로 가져가 불기”로 각각 다르다. 그러나 두 사용자 의도의 일부분은 “마이크를 입으로 가져가”는 것으로 공통이며, 1차 예측부(220)는 이러한 사용자 의도의 일부분을 먼저 예측하여 사용자 의도의 범위를 좁힐 수 있다. 1차 예측부(220)에 의해 좁혀진 사용자 의도의 범위내에서 2차 예측부(230)는 멀티모달 정보를 고려하여 사용자 의도를 예측할 수 있다. 위의 두 예의 경우만 고려하면, “마이크를 입으로 가져가”는 모션이 감지되면 1차 예측부(220)에 의하여 사용자 의도의 범위는 “음성 명령 입력”과 “불기”로 제한되며, 2차 예측부(230)는 감지되는 멀티 모달 정보를 고려하여 사용자 의도가 “음성 명령 입력”인지 “불기”인지 판단할 수 있다.In the above two examples, the user intent is different from "take the microphone to the mouth and enter the voice command" and "blow the microphone to the mouth". However, a part of the intentions of the two users is common to "take the microphone to the mouth", and the first prediction unit 220 can predict a part of the intention of the user first so as to narrow the range of the intention of the user. The secondary prediction unit 230 can predict the user's intention in consideration of the multimodal information within the range of the intention of the user narrowed down by the primary prediction unit 220. [ Considering only the case of the above two examples, the range of the intention of the user is limited to " voice command input " and " blowing " by the first prediction unit 220 when a motion of " The difference estimator 230 may determine whether the user's intention is " voice command input " or " blown " in consideration of the sensed multimodal information.

도 3은 이러한 도 2의 사용자 의도 예측부의 예시적인 동작을 나타내는 도면이다. 3 is a diagram showing an exemplary operation of the user intention predicting unit of FIG.

1차 예측부(220)는 모션 정보 분석부(210)에서 분석된 모션 정보를 이용하여 사용자 의도의 일부분을 예측할 수 있다. 2차 예측부(230)는 멀티 모달 감지부(130)의 영상 센서(134)에 의해 감지된 영상 또는 음향 센서(132)로부터 감지된 음향 신호 등의 멀티 모달 신호를 입력 받아서, 음성이 검출되고 있는지 여부에 대한 정보를 생성하여 사용자의 의도를 예측할 수 있다. The primary prediction unit 220 can predict a part of the user's intention using the motion information analyzed by the motion information analysis unit 210. [ The secondary prediction unit 230 receives a multimodal signal such as an image sensed by the image sensor 134 of the multimodal sensing unit 130 or an acoustic signal sensed by the acoustic sensor 132, It is possible to predict the intention of the user by generating information on whether or not the user exists.

일 예로, 모션 정보 분석부(210)는 사용자의 머리 및 손목에 장착된 모션 센서로부터 감지된 모션 정보를 이용하여 사용자의 입과 마이크를 잡은 손 사이의 거리를 계산한다(310). 모션 정보 분석부(210)는 손목의 회전 각도로부터 마이크의 방향을 계산한다(320). For example, the motion information analyzing unit 210 calculates the distance between the user's mouth and the hand holding the microphone using the motion information detected from the motion sensor mounted on the user's head and wrist (310). The motion information analysis unit 210 calculates the direction of the microphone from the rotation angle of the wrist (320).

1차 예측부(220)는 모션 정보 분석부(210)에 의해 계산된 거리 및 방향 정보를 이용하여, 사용자가 마이크를 입으로 가져다 대는 모션인지 예측하여 사용자 의도의 일부분을 예측한다(330). 예를 들어, 1차 예측부(220)는 사용자의 입과 마이크를 잡은 손의 위치가 입 주위 반경 20 cm 이내이고, 마이크 방향이 입을 향하고 있다고 결정되면, 사용자가 마이크를 입으로 가져오려고 하는 것으로 예측할 수 있다.The first order predicting unit 220 predicts a part of the user's intention by predicting whether the user takes a microphone to the mouth using the distance and direction information calculated by the motion information analyzing unit 210 (330). For example, when the position of the user's mouth holding the microphone and the position of the hand holding the microphone are within 20 cm of the mouth-surrounding radius and the direction of the microphone is determined to be directed toward the mouth, the primary predictor 220 tries to bring the microphone into the mouth Can be predicted.

이 경우, 2차 예측부(230)는 마이크와 같은 음향 센서(132)와 카메라와 같은 영상 센서(134)로부터 입력된 멀티모달 입력 신호를 분석하여 음성 명령 의도인지, 허밍이나 불기와 같은 의도인지 등으로, 사용자 의도를 예측할 수 있다.In this case, the secondary prediction unit 230 analyzes the multimodal input signal input from the acoustic sensor 132 such as a microphone and the image sensor 134 such as a camera to determine whether the voice signal is a voice command intention, an intention recognition The user's intention can be predicted.

2차 예측부(230)는 사용자 의도 일부분 예측, 즉 1차 예측이 마이크를 입으로 가져오는 것이고, 카메라로부터 입술의 움직임이 감지되고, 마이크에 의해 감지된 음향 신호로부터 음성이 검출되면 사용자 의도를 음성 명령 의도로 결정할 수 있다(340). 이와 달리 1차 예측이 마이크를 입으로 가져오는 것이고, 카메라로부터 입술을 앞으로 돌출하는 영상이 감지되고, 마이크로부터 입력되는 음향 신호로부터 호흡음(breath sound)이 검출되면, 2차 예측부(230)는 사용자 의도를 불기(blow)로 결정할 수 있다(350). The second predicting unit 230 predicts a user's intention when a voice is detected from a sound signal sensed by a microphone and a motion of the lips is sensed by the camera. (340). ≪ / RTI > In contrast, when the primary prediction is to bring the microphone into the mouth, an image of the lips protruding forward from the camera is sensed, and a breath sound is detected from the acoustic signal input from the microphone, May determine 350 the user intention to blow.

도 4a는 1차적으로 사용자 의도의 일부분이 예측된 후, 추가적인 멀티모달 입력을 받아 2차적으로 사용자의 의도를 예측하는 동작의 일 예를 나타내는 도면이다. FIG. 4A is a diagram illustrating an example of an operation of predicting a user's intention by receiving an additional multimodal input after predicting a part of the user's intention.

2차 예측부(230)는 1차 예측부(220)로부터 수신된 1차 예측된 사용자 의도의 일부분이 마이크를 입으로 가져가는 것인 경우(410), 멀티 모달 감지부(130)에 포함된 마이크와 카메라 등의 센서를 활성화하여 멀티모달 신호를 입력 받는다(420). The second prediction unit 230 may be configured to determine whether the first predicted user intention received from the first prediction unit 220 is to take the microphone to the mouth 410, And activates a sensor such as a microphone and a camera to receive a multimodal signal (420).

2차 예측부(230)는 마이크로부터 입력받은 음향 신호와 카메라로부터 입력받은 영상 신호로부터 특징들을 추출하고, 특징들을 분류 및 분석한다(430). The second prediction unit 230 extracts features from the sound signal received from the microphone and the image signal received from the camera, and classifies and analyzes the features (430).

음향 특징으로서 마이크로부터 입력받은 음향 신호에서 시간 에너지(Time Energy), 주파수 에너지(Frequency Energy), 영교차율(Zero Crossing Rate), LPC(Linear Predictive Coding), 셉스트럴 계수(Cepstral coefficients), 피치(pitch) 등 시간 영역의 특징이나 주파수 스펙트럼과 같은 통계적 특징 등이 추출될 수 있다. 추출될 수 있는 특징은 이들에 한정되지 않고 다른 특징 알고리즘에 의해 추출될 수 있다. 추출된 특징은 결정 트리(Decision Tree), 지원 벡터 머신(Support Vector Machine), 베이에시안 네트워크(Bayesian Network), 신경망(Neural Network)와 같은 분류 및 학습 알고리즘 등을 사용하여 입력 특징 음성(speech) 활동 클래스인지, 비음성(non-speech) 활동 클래스인지를 분류될 수 있으나, 이에 한정되지 않는다. As an acoustic feature, the time energy, frequency energy, zero crossing rate, linear predictive coding (LPC), cepstral coefficients, pitch pitch, etc.) and statistical features such as frequency spectrum can be extracted. Features that can be extracted are not limited to these and can be extracted by other feature algorithms. The extracted features can be classified into input feature speech using a classification and learning algorithm such as a decision tree, a support vector machine, a Bayesian network, a neural network, An activity class, and a non-speech activity class. However, the present invention is not limited thereto.

특징 분석 결과 음성 구간이 검출되면(440), 2차 예측부(230)는 음성 명령 입력으로 사용자 의도를 예측할 수 있다. 2차 예측부(230)는 특징 분석 결과, 음성 구간이 검출되지 않고(440), 호흡음이 검출되면(450), 불기(blow)의도로 예측할 수 있다. 또한, 다른 종류의 특징이 검출됨에 따라 사용자 의도를 허밍 등 여러가지로 결정될 수 있다. 이때 2차 예측부(230)는 1차 예측으로부터 한정되는 범위내에서 사용자 의도를 예측할 수 있다. As a result of the feature analysis, if the voice interval is detected (440), the second prediction unit 230 can predict the user's intention by voice command input. The second prediction unit 230 can predict the result of the feature analysis based on the intention of blowing if a voice interval is not detected (440) and a breathing sound is detected (450). Further, as other types of features are detected, the user's intention can be determined in various ways such as humming. At this time, the secondary prediction unit 230 can predict the user's intention within a limited range from the primary prediction.

따라서, 일 실시예에 따르면, 사용자의 멀티 모달 정보를 이용하여 사용자 의도를 예측하고, 예측 결과에 따라 음성 검출 동작의 수행을 제어할 수 있으므로 음성 인터페이스 사용시 사용자가 음성 입력 방법 예를 들어 사용자가 음성 입력을 위한 별도의 버튼이나 화면 터치 등의 동작 방법 등을 별도로 학습하지 않고도 직관적으로 음성을 입력할 수 있다. Therefore, according to the embodiment, the user's intention can be predicted using the user's multimodal information, and the execution of the voice detection operation can be controlled according to the prediction result. Therefore, when the user uses the voice input method, It is possible to intuitively input a voice without separately learning a separate button for input or an operation method of touching the screen or the like.

2차 예측부(230)는, 마이크로부터 음향 정보 외에도, 카메라와 같은 영상 센서(134)로부터 입력되는 영상 정보와 성대 마이크와 같은 생체 정보 센서(136)로부터 입력되는 사람이 음성을 발화할 때 변화되는 적어도 하나의 감지 정보 중 적어도 하나를 음향 신호로부터 추출된 특징 정보와 함께 이용하여 음성 구간을 검출하고, 검출된 음성 구간의 음성을 처리할 수 있다. 여기에서, 감지 정보는 사용자의 입 모양 변화 등 나타내는 영상 정보, 발화시 나오는 입김 등에 의해 변화하는 온도 정보 및 발화시 진동하는 목구멍 또는 턱뼈 등 신체 부위의 진동 정보, 발화시 얼굴이나 입에서 나오는 적외선 감지 정보 중 적어도 하나를 포함할 수 있다. The secondary prediction unit 230 may be configured to receive the image information input from the image sensor 134 such as a camera and the image information input from the biometric information sensor 136 such as the laryngeal microphone, At least one of the at least one piece of detection information may be used together with the feature information extracted from the sound signal to detect a voice section and process the voice of the detected voice section. Here, the sensed information may include image information representing changes in mouth shape of the user, temperature information that changes due to a sound coming out from the utterance, vibration information of a body part such as a throat or jawbone that vibrates at the time of utterance, And / or information.

사용자 의도 적용부(124)는 음성 구간이 검출되면(440), 검출된 음성 구간에 속한 음성 신호를 처리하여 음성 인식을 수행하고, 음성 인식 결과를 이용하여 응용 모듈을 전환시킬 수 있다. 예를 들어, 인식 결과에 따라 애플리케이션이 실행되어, 이름이 인식되면, 인식된 이름에 대한 전화번호가 검색되거나, 검색된 전화번호로 전화를 거는 동작 등 지능적인 음성 입력 시작 및 종료 전환이 가능해질 수 있다. 또한, 사용자 의도 추론 장치(100)가 모바일 커뮤니케이션 디바이스로 구현된 경우, 멀티 모달 정보에 기반하여 음성 통화 시작 및 종료 의도를 파악하여 사용자가 통화 버튼을 누르는 등 별도의 동작을 하지 않더라도 자동으로 음성 통화 모드로 동작 모드가 전환될 수 있다. If the user's intent application unit 124 detects a voice section (440), the user intent application unit 124 processes the voice signal belonging to the detected voice section to perform voice recognition, and can switch the application module using the voice recognition result. For example, when the application is executed according to the recognition result and the name is recognized, a phone number for the recognized name can be searched, or an intelligent voice input start and end conversion such as a call to the searched phone number can be made have. In addition, when the user's intention inferencing apparatus 100 is implemented as a mobile communication device, the intention of starting and ending a voice call based on the multimodal information can be grasped, and even if a user does not perform a separate operation such as pressing a call button, The operation mode can be switched.

도 4b는 1차적으로 사용자 의도의 일부분이 예측된 후, 추가적인 멀티모달 입력을 받아 2차적으로 사용자의 의도를 예측하는 동작의 다른 예를 나타내는 도면이다. FIG. 4B is a diagram showing another example of an operation of predicting a user's intention by receiving an additional multimodal input after a part of the user's intention is primarily predicted.

2차 예측부(230)는 1차 예측부(220)로부터 수신된 1차 예측된 사용자 의도의 일부분이 특정 오브젝트의 선택인 경우(460), 카메라와 초음파 센서 등의 센서를 활성화하여 멀티모달 신호를 입력 받는다(470).The secondary predictor 230 activates sensors such as a camera and an ultrasonic sensor to select a specific object if a part of the primary predicted user intention received from the primary predictor 220 is a selection of a specific object 460, (470).

2차 예측부(230)는 입력받은 멀티모달 신호를 분석하여(480), 사용자 의도를 예측한다. 이때, 예측되는 사용자 의도는 1차 예측으로부터 한정되는 범위내의 의도들일 수 있다. The second prediction unit 230 analyzes the input multimodal signal (480) and predicts the user's intention. At this time, the predicted user intention may be intentions within a range limited from the primary prediction.

2차 예측부(230)는 멀티모달 신호 분석 결과, 손을 흔드는 동작으로 판단할 수 있다(490). 2차 예측부(230)는 사용자 의도 적용부(124)에서 실행중인 애플리케이션에 따라서, 손을 흔드는 동작을 화면상에 도시되는 특정 아이템 또는 파일을 삭제하라는 의도로 해석하여, 사용자 의도 적용부(224)에서 특정 아이템 또는 파일이 삭제되도록 제어할 수 있다. The secondary prediction unit 230 may determine that the hand shake operation is a result of the multimodal signal analysis (490). The secondary prediction unit 230 interprets the shaking motion according to the application being executed in the user intention applying unit 124 with the intent of deleting the specific item or file shown on the screen and outputs the result to the user intention application unit 224 ) To delete a specific item or file.

도 5는 2차 예측부(230)에서 음향 신호와 영상 신호를 함께 이용하여 통합 분석하는 특징 기반 신호 분류에 대한 일예를 나타내는 도면이다. 5 is a diagram illustrating an example of feature-based signal classification in which a secondary predictor 230 performs an integrated analysis using an acoustic signal and a video signal together.

2차 예측부(230)는 음향 특징 추출부(510), 음향 특징 분석부(520), 영상 특징 추출부(530), 영상 특징 분석부(540) 및 통합 분석부(550)를 포함할 수 있다. The secondary prediction unit 230 may include an acoustic feature extraction unit 510, an acoustic feature analysis unit 520, an image feature extraction unit 530, an image feature analysis unit 540, and an integration analysis unit 550 have.

음향 특징 추출부(510)는 음향 신호로부터 음향 특징을 추출한다. 음향 특징 분석부(520)는 음향 특징들에 분류 및 학습 알고리즘을 적용하여 음성 구간을 추출한다. 영상 특징 추출부(530)는 일련의 영상 신호로부터 영상 특징을 추출한다. 영상 특징 분석부(540)는 추출된 영상 특징들에 분류 및 학습 알고리즘을 적용하여 음성 구간을 추출한다. The acoustic feature extraction unit 510 extracts an acoustic feature from the acoustic signal. The acoustic feature analysis unit 520 applies a classification and a learning algorithm to the acoustic features to extract a voice segment. The video feature extraction unit 530 extracts video features from a series of video signals. The image characteristic analyzing unit 540 extracts a speech region by applying a classification and a learning algorithm to the extracted image features.

통합 분석부(550)는 음향 신호와 영상 신호에 의해 각각 분류된 결과를 융합하여 최종적으로 음성 구간을 검출한다. 이때, 음향 특징 및 영상 특징을 개별적으로 적용하거나 두 특징을 융합하여 적용할 수 있으며, 다른 신호 예를 들어, 진동, 온도 등을 나타내는 신호로부터 특징이 추출 및 분석되는 경우, 통합 분석부(550)에서 음향 신호 및 영상 신호로부터 추출된 검출 정보와 융합하여 음성 구간이 검출될 수 있다. The integration analyzer 550 finally fuses the results classified by the acoustic signal and the video signal to detect the voice interval. In this case, the acoustic feature and the image feature may be applied individually or the two features may be fused. When the feature is extracted and analyzed from other signals such as vibration, temperature, etc., The audio signal and the detection information extracted from the video signal can be fused with the audio signal.

일 실시예에 따르면, 음성 인터페이스 사용시 사용자가 음성 입력 방법을 별도로 학습하지 않고도 직관적으로 음성을 입력할 수 있다. 일 예로, 사용자가 음성 입력을 위한 별도의 버튼이나 화면 터치 등의 동작을 할 필요가 없다. 또한, 가정 잡음, 차량 잡음, 비화자 잡음 등 잡음의 종류나 정도 등에 관계없이 다양한 잡은 환경에서 정확한 사용자 음성 구간 검출을 할 수 있다. 또한, 영상 이외에도 다른 생체 정보를 이용하여 음성 검출을 할 수 있으므로 조명이 너무 밝거나 어두운 경우 또는 사용자 입이 가려지는 상황에서도 사용자의 음성 구간을 정확하게 검출할 수 있다. According to one embodiment, a user can intuitively input voice without learning the voice input method separately when using the voice interface. For example, the user does not need to perform an operation such as a separate button or a screen touch for voice input. In addition, it is possible to detect the accurate user voice interval in various receiving environments regardless of kinds and degree of noise such as home noise, vehicle noise, and non-speaker noise. In addition, since voice detection can be performed using other biometric information besides the image, the user's voice interval can be accurately detected even when the illumination is too bright or dark or the user's mouth is blocked.

도 6은 일 실시예에 따른 멀티 모달 정보를 이용하는 사용자 의도 추론 방법을 나타내는 도면이다. 6 is a diagram illustrating a user's intention reasoning method using multimodal information according to an embodiment.

사용자 의도 추론 장치(100)는 적어도 하나의 모션 센서로부터 감지된 모션 정보를 수신한다(610). 사용자 의도 추론 장치(100)는 수신된 모션 정보를 이용하여 1차적으로 사용자 의도의 일부분을 예측한다(620). The user's intention reasoning device 100 receives motion information sensed from at least one motion sensor (610). The user's intention reasoning device 100 predicts a part of the user's intention primarily using the received motion information (620).

적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보가 수신되면(630), 사용자 의도 추론 장치(100)는 1차적으로 예측된 사용자 의도의 일부분 및 멀티 모달 정보를 이용하여 2차적으로 사용자 의도를 예측한다(640). 2차적으로 사용자 의도를 예측하는 단계에서, 멀티 모달 센서로부터 입력되는 멀티 모달 정보를 1차적으로 예측된 사용자 의도의 일부분과 연관되도록 해석하는 동작이 수행될 수 있다. When the multimodal information input from the at least one multimodal sensor is received (630), the user's intention reasoning device 100 firstly estimates the user's intention using the part of the user's intention predicted and the multimodal information (640). In the second stage of predicting the user's intention, an operation may be performed in which the multimodal information input from the multimodal sensor is interpreted to be associated with a part of the user's originally predicted intention.

1차적으로 예측된 사용자 의도의 일부분을 이용하여 2차적 사용자 의도 예측 과정에서 수행되는 동작을 실행시키기 위한 제어 신호를 생성할 수 있다. 2차적 사용자 의도 예측 과정에서 수행되는 동작을 실행시키기 위한 제어 신호는 사용자 의도 추론 장치(100)에 의해 제어되는 멀티 모달 센서의 동작을 제어하는 제어 신호일 수 있다. 사용자 의도는 1차적으로 예측된 사용자 의도의 일부분의 범위 내에서, 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 결정될 수 있다. A control signal for executing an operation performed in the secondary user's intention predicting process may be generated using a part of the user's intention that is primarily estimated. The control signal for executing the operation performed in the secondary user's intention predicting process may be a control signal for controlling the operation of the multimodal sensor controlled by the user's intention reasoning device 100. [ The user intention can be determined using the multimodal information input from at least one multimodal sensor within a range of a part of the user intention predicted primarily.

본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.One aspect of the present invention may be embodied as computer readable code on a computer readable recording medium. The code and code segments implementing the program can be easily deduced by a computer programmer in the field. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, and the like. The computer-readable recording medium may also be distributed over a networked computer system and stored and executed in computer readable code in a distributed manner.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be construed to include various embodiments within the scope of the claims.

Claims (17)

적어도 하나의 모션 정보를 이용하여 사용자 의도의 일부분을 예측하는 1차 예측부; 및
상기 예측된 사용자 의도의 일부분의 범위 내에서 적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 2차 예측부를 포함하는 사용자 의도 추론 장치. A first predictor for predicting a part of the user's intention using at least one motion information; And
And a second predicting unit for predicting the user's intention using the multimodal information input from at least one multimodal sensor within a range of the predicted user intention. 제1항에 있어서,
상기 1차 예측부는 상기 예측된 사용자 의도의 일부분을 이용하여 상기 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호를 생성하는 사용자 의도 추론 장치. The method according to claim 1,
Wherein the first predicting unit generates a control signal for executing an operation performed in the process of predicting the user intention using a part of the predicted user intention. 제2항에 있어서,
상기 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호는 상기 사용자 의도 추론 장치에 의해 제어되는 멀티 모달 센서의 동작을 제어하는 제어 신호인 사용자 의도 추론 장치. 3. The method of claim 2,
Wherein the control signal for executing the operation performed in the process of predicting the user intention is a control signal for controlling the operation of the multimodal sensor controlled by the user's intention reasoning device. 제1항에 있어서,
상기 2차 예측부는 사용자 의도를 예측하기 위하여 상기 멀티 모달 센서로부터 입력되는 멀티 모달 정보를 상기 예측된 사용자 의도의 일부분과 연관되도록 해석하는 사용자 의도 추론 장치. The method according to claim 1,
Wherein the second predicting unit interprets the multimodal information input from the multimodal sensor to associate the multimodal information with a part of the predicted user intent to predict the user intention. 제4항에 있어서,
상기 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택이고, 상기 멀티 모달 센서로부터 음성이 입력되면, 상기 2차 예측부는 상기 입력된 음성을 상기 오브젝트 선택과 연관하여 해석함으로써 사용자 의도를 예측하는 사용자 의도 추론 장치. 5. The method of claim 4,
Wherein when a voice is input from the multimodal sensor, the secondary prediction unit predicts the user's intention by analyzing the input voice in association with the selection of the object User intention reasoning device. 삭제delete 제1항에 있어서,
상기 예측된 사용자 의도의 일부분이 마이크를 입에 가져가는 동작인 경우, 상기 2차 예측부는, 음향 신호를 감지하고, 감지된 음향 신호에 대하여 특징을 추출 및 분석하여, 사용자 의도를 예측하는 사용자 의도 추론 장치. The method according to claim 1,
If a part of the predicted user's intention is an operation to take a microphone to the mouth, the secondary predictor detects the acoustic signal, extracts and analyzes a characteristic of the sensed acoustic signal, Reasoning device. 제7항에 있어서,
상기 2차 예측부는, 상기 음향 신호에서 음성 구간이 검출되는지 결정하고, 음성 구간이 검출되는 경우 사용자 의도를 음성 명령 의도로 예측하는 사용자 의도 추론 장치. 8. The method of claim 7,
Wherein the second predicting unit determines whether a speech interval is detected in the acoustic signal and predicts the user intention by a voice command intention when a speech interval is detected. 제8항에 있어서,
상기 2차 예측부는, 상기 음향 신호에서 호흡음이 검출된 경우, 사용자 의도를 불기로 예측하는 사용자 의도 추론 장치. 9. The method of claim 8,
Wherein the second predicting unit predicts the intention of the user when the breath sounds are detected in the acoustic signal. 제1항에 있어서,
상기 예측된 사용자 의도의 일부분이 디스플레이 화면에 표시된 오브젝트의 선택인 경우, 상기 2차 예측부는, 멀티 모달 정보를 이용하여 사용자 의도를 상기 선택된 오브젝트에 대한 삭제, 분류 및 정렬 중 적어도 하나로 예측하는 사용자 의도 추론 장치. The method according to claim 1,
If the part of the predicted user intention is a selection of an object displayed on the display screen, the secondary predictor may include a user intention to predict at least one of deletion, classification and sorting of the user intention using the multimodal information Reasoning device. 제1항에 있어서,
상기 사용자 의도 예측 결과를 이용하여 상기 사용자 의도 추론 장치에서 제어되는 소프트웨어 또는 하드웨어를 제어하는 사용자 의도 적용부를 더 포함하는 사용자 의도 추론 장치.The method according to claim 1,
And a user intention application unit for controlling software or hardware controlled by the user's intention reasoning device using the user's intention prediction result. 적어도 하나의 모션 정보를 수신하는 단계;
상기 수신된 모션 정보를 이용하여 사용자 의도의 일부분을 예측하는 단계;
적어도 하나의 멀티 모달 센서로부터 입력된 멀티 모달 정보를 수신하는 단계; 및
상기 예측된 사용자 의도의 일부분의 범위 내에서 상기 멀티 모달 정보를 이용하여 사용자 의도를 예측하는 단계를 포함하는 사용자 의도 추론 방법. Receiving at least one motion information;
Predicting a portion of the user's intention using the received motion information;
Receiving multimodal information input from at least one multimodal sensor; And
And predicting the user intention using the multimodal information within a range of the predicted user intention. 제12항에 있어서,
상기 예측된 사용자 의도의 일부분을 이용하여 상기 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호를 생성하는 단계를 더 포함하는 사용자 의도 추론 방법. 13. The method of claim 12,
Further comprising generating a control signal for executing an operation performed in the process of predicting the user intention using a part of the predicted user intention. 제13항에 있어서,
상기 사용자 의도를 예측하는 과정에서 수행되는 동작을 실행시키기 위한 제어 신호는 상기 사용자 의도 추론 장치에 의해 제어되는 멀티 모달 센서의 동작을 제어하는 제어 신호인 사용자 의도 추론 방법. 14. The method of claim 13,
Wherein the control signal for executing the operation performed in the process of predicting the user intention is a control signal for controlling the operation of the multimodal sensor controlled by the user's intention reasoning device. 제12항에 있어서,
상기 사용자 의도를 예측하는 단계는,
상기 멀티 모달 센서로부터 입력되는 멀티 모달 정보를 상기 예측된 사용자 의도의 일부분과 연관되도록 해석하는 단계를 포함하는 사용자 의도 추론 방법. 13. The method of claim 12,
Wherein the step of predicting the user intention comprises:
Modal information input from the multi-modal sensor to be associated with a portion of the predicted user intent. 삭제delete 제12항에 있어서,
상기 사용자 의도 예측 결과를 이용하여 상기 사용자 의도 추론 장치에서 제어되는 소프트웨어 또는 하드웨어를 제어하는 단계를 더 포함하는 사용자 의도 추론 방법. 13. The method of claim 12,
And controlling software or hardware controlled by the user's intention reasoning device using the user's intention prediction result.
KR1020100036031A 2009-04-30 2010-04-19 Apparatus for predicting intention of user using multi modal information and method thereof KR101652705B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP10769966.2A EP2426598B1 (en) 2009-04-30 2010-04-29 Apparatus and method for user intention inference using multimodal information
US12/770,168 US8606735B2 (en) 2009-04-30 2010-04-29 Apparatus and method for predicting user's intention based on multimodal information
CN201080017476.6A CN102405463B (en) 2009-04-30 2010-04-29 Utilize the user view reasoning device and method of multi-modal information
PCT/KR2010/002723 WO2010126321A2 (en) 2009-04-30 2010-04-29 Apparatus and method for user intention inference using multimodal information
JP2012508401A JP5911796B2 (en) 2009-04-30 2010-04-29 User intention inference apparatus and method using multimodal information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090067034 2009-07-22
KR1020090067034 2009-07-22

Publications (2)

Publication Number Publication Date
KR20110009614A KR20110009614A (en) 2011-01-28
KR101652705B1 true KR101652705B1 (en) 2016-09-01

Family

ID=43615279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100036031A KR101652705B1 (en) 2009-04-30 2010-04-19 Apparatus for predicting intention of user using multi modal information and method thereof

Country Status (1)

Country Link
KR (1) KR101652705B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150012677A (en) * 2013-07-26 2015-02-04 엘지전자 주식회사 multimedia apparatus and method for predicting user command using the same
KR102349402B1 (en) * 2019-10-22 2022-01-11 한국전자기술연구원 System for adaptive inference and operation method thereof
CN113643696B (en) 2021-08-10 2024-06-21 阿波罗智联(北京)科技有限公司 Voice processing method, device, equipment, storage medium and program
CN113723528B (en) * 2021-09-01 2023-12-29 斑马网络技术有限公司 Vehicle-mounted language-vision fusion multi-mode interaction method and system, equipment and storage medium
KR102590988B1 (en) * 2023-01-06 2023-10-23 주식회사 구스랩스 Apparatus, method and program for providing metaverse service to exercise with avatar

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030055655A1 (en) 1999-07-17 2003-03-20 Suominen Edwin A. Text processing system
US20090262078A1 (en) 2008-04-21 2009-10-22 David Pizzi Cellular phone with special sensor functions

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100515798B1 (en) * 2003-02-10 2005-09-21 한국과학기술원 Robot driving method using facial gestures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030055655A1 (en) 1999-07-17 2003-03-20 Suominen Edwin A. Text processing system
US20090262078A1 (en) 2008-04-21 2009-10-22 David Pizzi Cellular phone with special sensor functions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
고광은외 1인, '멀티모달 감정인식 시스템 기반 상황인식 서비스 추론 기술 개발', 한국지능시스템학회논문지 19권 1호, 2009.

Also Published As

Publication number Publication date
KR20110009614A (en) 2011-01-28

Similar Documents

Publication Publication Date Title
JP5911796B2 (en) User intention inference apparatus and method using multimodal information
KR101581883B1 (en) Appratus for detecting voice using motion information and method thereof
US10126826B2 (en) System and method for interaction with digital devices
JP5323770B2 (en) User instruction acquisition device, user instruction acquisition program, and television receiver
TWI411935B (en) System and method for generating control instruction by identifying user posture captured by image pickup device
LaViola Jr 3d gestural interaction: The state of the field
US8793134B2 (en) System and method for integrating gesture and sound for controlling device
JP2005202653A (en) Behavior recognition device and method, animal object recognition device and method, equipment control device and method, and program
KR101652705B1 (en) Apparatus for predicting intention of user using multi modal information and method thereof
Gillian Gesture recognition for musician computer interaction
LaViola Jr An introduction to 3D gestural interfaces
CN114995657B (en) Multimode fusion natural interaction method, system and medium for intelligent robot
CN109725727A (en) There are the gestural control method and device of screen equipment
Wang et al. A gesture-based method for natural interaction in smart spaces
CN111050266B (en) Method and system for performing function control based on earphone detection action
JP2012118679A (en) Information processor, word discrimination device, screen display operation device, word registration device and method and program related to the same
Shree et al. A Virtual Assistor for Impaired People by using Gestures and Voice
Le et al. Multimodal smart interactive presentation system
Hanheide et al. Combining environmental cues & head gestures to interact with wearable devices
CN109725722A (en) There are the gestural control method and device of screen equipment
KR102643720B1 (en) Artificial intelligence interface system for robot
EP4047552A1 (en) Information processing device, information processing method, and program
Gong Enhancing touch interactions with passive finger acoustics
Christopoulos et al. From gesture to sound: A study for a musical interface using gesture following techniques
KR20150066156A (en) Display apparatus and Method for controlling display item thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant