KR20180046649A - 멀티모달 지각을 이용한 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법 - Google Patents
멀티모달 지각을 이용한 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법 Download PDFInfo
- Publication number
- KR20180046649A KR20180046649A KR1020160142070A KR20160142070A KR20180046649A KR 20180046649 A KR20180046649 A KR 20180046649A KR 1020160142070 A KR1020160142070 A KR 1020160142070A KR 20160142070 A KR20160142070 A KR 20160142070A KR 20180046649 A KR20180046649 A KR 20180046649A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- information
- robot
- sensor
- unit
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 57
- 230000008447 perception Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 title claims description 32
- 230000000977 initiatory effect Effects 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 74
- 230000002996 emotional effect Effects 0.000 claims abstract description 16
- 230000008921 facial expression Effects 0.000 claims description 7
- 230000008451 emotion Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000036760 body temperature Effects 0.000 claims description 5
- 231100000430 skin reaction Toxicity 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims 1
- 238000004148 unit process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G06K9/00302—
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
멀티모달 지각을 이용한 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법에서, 상기 상호작용 의도 검출시스템은 센서부, 신호 처리부, 멀티모달 지각부, 사용자 성격 입력부 및 사용자 의도 판단부를 포함한다. 상기 센서부는 로봇에 장착된 로봇 센서부, 및 로봇의 외부에 장착된 외부 센서부를 포함하여 사용자의 정보를 센싱한다. 상기 신호 처리부는 상기 센싱된 사용자의 정보에 관한 센싱 신호를 처리한다. 상기 멀티모달 지각부는 상기 처리된 센싱 신호를 선택적으로 분류하여, 사용자, 사용자 위치, 감정상태 및 대화의미를 파악한다. 상기 사용자 성격 입력부는 사용자의 성격에 관한 정보가 제공된다. 상기 사용자 의도 판단부는 상기 멀티모달 지각부에서 파악된 정보와, 상기 사용자 성격에 관한 정보를 바탕으로 사용자의 상기 로봇과의 상호작용의 의도를 판단한다.
Description
본 발명은 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법에 관한 것으로, 더욱 상세하게는 사용자와의 상호작용을 위한 서비스 로봇에서, 멀티모달 지각을 이용하여 서비스 로봇이 사용자의 상호작용 의도를 검출할 수 있는 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법에 관한 것이다.
사용자의 다양한 행위를 보조할 수 있는 다양한 형태의 서비스 로봇이 개발되고 있으며, 이러한 서비스 로봇은 사용자의 다양한 편의를 향상시키고 있다.
특히, 최근에는 대한민국 공개특허 제10-2014-0076966호에 개시된 바와 같이, 사용자의 생활 패턴이나 의도를 파악하여 로봇이 사용자와의 상호작용을 수행하는 기술도 개발되고 있는 상황이다.
그러나, 사용자의 생활 패턴이나 의도를 파악하는 구체적인 방법은 매우 초보적인 것에 불과하며, 사용자마다 성격이나 성향의 차이로 서로 다른 패턴으로 의도를 표현하게 되는데 이러한 사용자의 성격이나 성향 상의 차이는 고려되지 않고 있어, 피상적인 상호작용만 수행되는 한계가 이다.
나아가, 현재까지 개발된 서비스 로봇의 경우, 동작된 로봇과의 상호작용을 수행하는 기술은 개발되고는 있으나, 사용자가 로봇을 동작시키기 위해서는 별도의 리모컨이나 시작 버튼을 작동시켜야 하는 불편함이 있었으며, 현재까지 로봇이 사용자가 로봇의 동작을 개시하려는 의도까지 파악하는 기술은 개발되고 있지 않는 상황이다.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 멀티모달 지각을 통해 추론된 사용자의 성격과 감정 상태를 반영하여 사용자의 상호작용의 의도를 보다 정확하게 판단할 수 있는 사용자의 상호작용 의도 검출시스템에 관한 것이다.
또한, 본 발명의 다른 목적은 상기 사용자의 상호작용 의도 검출시스템을 이용한 사용자의 상호작용 의도 검출방법에 관한 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 상호작용 의도 검출시스템은 센서부, 신호 처리부, 멀티모달 지각부, 사용자 성격 입력부 및 사용자 의도 판단부를 포함한다. 상기 센서부는 로봇에 장착된 로봇 센서부, 및 로봇의 외부에 장착된 외부 센서부를 포함하여 사용자의 정보를 센싱한다. 상기 신호 처리부는 상기 센싱된 사용자의 정보에 관한 센싱 신호를 처리한다. 상기 멀티모달 지각부는 상기 처리된 센싱 신호를 선택적으로 분류하여, 사용자, 사용자 위치, 감정상태 및 대화의미를 파악한다. 상기 사용자 성격 입력부는 사용자의 성격에 관한 정보가 제공된다. 상기 사용자 의도 판단부는 상기 멀티모달 지각부에서 파악된 정보와, 상기 사용자 성격에 관한 정보를 바탕으로 사용자의 상기 로봇과의 상호작용의 의도를 판단한다.
일 실시예에서, 상기 로봇 센서부는, 사용자의 음성 정보를 센싱하는 로봇 오디오 센서, 및 사용자의 영상 정보를 센싱하는 로봇 비전 센서를 포함하고, 상기 외부 센서부는, 사용자가 위치한 공간에 설치되어 사용자의 위치 정보를 센싱하는 외부 비전 센서, 및 사용자에 장착되어 사용자의 생체 정보를 센싱하는 생체신호 센서를 포함할 수 있다.
일 실시예에서, 상기 신호처리부는, 상기 로봇 오디오 센서로부터의 센싱 신호를 처리하는 오디오센서 처리부, 상기 로봇 비전 센서로부터의 센싱 신호를 처리하는 로봇 비전센서 처리부, 상기 외부 비전 센서로부터의 센싱 신호를 처리하는 외부 비전센서 처리부, 및 상기 생체신호 센서로부터의 센싱 신호를 처리하는 생체센서 처리부를 포함할 수 있다.
일 실시예에서, 상기 멀티모달 지각부는,
상기 신호처리부에서 처리된 신호들 중, 사용자를 식별할 수 있는 신호를 바탕으로 사용자를 식별하거나, 사용자의 위치를 식별할 수 있는 신호를 바탕으로 사용자의 위치를 식별하거나, 사용자의 감정상태를 식별할 수 있는 신호를 바탕으로 사용자의 감정상태를 식별하거나, 사용자의 대화 의미를 파악할 수 있는 신호를 바탕으로 사용자의 대화 의미를 분석할 수 있다.
일 실시예에서, 상기 사용자 의도 판단부는, 상기 멀티모달 지각부로부터의 사용자 식별 정보, 사용자 위치 식별 정보, 사용자 감정상태 식별 정보 및 사용자 대화의미 분석 정보와, 상기 사용자 성격 입력부에서 입력된 사용자 성격에 관한 정보를 바탕으로 사용자가 상기 로봇과 상호작용을 시작하려는 의도가 있는지의 여부를 판단할 수 있다.
일 실시예에서, 상기 오디오센서 처리부는, 신호 처리를 통해, 사용자의 음성을 인식하거나, 사용자의 음원의 위치를 인식하거나, 사용자의 발화 톤을 인식하거나, 사용자의 발화 음압을 인식할 수 있다.
일 실시예에서, 상기 로봇 비전센서 처리부는, 신호 처리를 통해, 사용자 얼굴을 검출 또는 인식하거나, 사용자의 표정을 인식하거나, 사용자의 동작을 인식할 수 있다.
일 실시예에서, 외부 비전센서 처리부는, 신호 처리를 통해, 사용자의 위치를 검출하거나 추적할 수 있다.
일 실시예에서, 생체센서 처리부는, 신호 처리를 통해, 사용자의 심박수를 측정하거나, 사용자의 자이로(Gyro) 신호를 측정하거나, 사용자의 체온을 측정하거나, 사용자의 전류 피부반응을 측정할 수 있다.
일 실시예에서, 상기 멀티모달 지각부는, 사용자의 음성 인식 결과로부터 사용자의 대화 의미를 분석하고, 사용자의 발화 톤 인식, 사용자의 발화 음압 인식 및 사용자의 얼굴 검출 또는 인식 결과들 중 적어도 하나로부터 사용자를 식별하고, 사용자의 음원 위치 인식, 사용자의 위치 검출 또는 추적 결과들 중 적어도 하나로부터 사용자의 위치를 식별하고, 사용자의 발화 톤 인식, 사용자의 발화 음압 인식, 사용자의 표정 인식, 사용자의 동작 인식, 사용자의 심박수 측정, 사용자의 자이로 신호 측정, 사용자의 체온 측정, 사용자의 전류 피부반응 측정 결과들 중 적어도 하나로부터 사용자의 감정상태를 식별할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 상호작용 의도 검출방법에서, 로봇에 장착된 로봇 센서부, 및 로봇의 외부에 장착된 외부 센서부를 포함하는 센서부를 통해 사용자의 정보를 센싱한다. 상기 센싱된 사용자의 정보에 관한 센싱 신호를 처리한다. 상기 처리된 센싱 신호를 선택적으로 분류하여, 사용자, 사용자 위치, 감정상태 및 대화의미를 파악한다. 사용자의 성격에 관한 정보를 제공받는다. 상기 처리된 센싱 신호로부터 파악된 정보와 상기 사용자의 성격에 관한 정보로부터 사용자의 상기 로봇과의 상호작용 의도를 판단한다.
본 발명의 실시예들에 의하면, 로봇에 장착된 로봇 센서부와 외부에 장착된 외부 센서부를 통해 센싱된 정보를 바탕으로 사용자에 대한 정보를 파악하므로, 사용자가 로봇에 근접하여 위치하지 않은 경우라도 사용자의 생활 환경에 외부 센서부를 장착할 수 있어, 사용자의 정보를 보다 정확하게 파악할 수 있다.
특히, 사용자의 의도 파악에 있어, 사용자의 정보는 물론, 사용자의 성격에 관한 정보를 추가로 활용하므로, 사용자의 성격이 내성적이나 외향적인 경우 등의 다양한 사용자에 대하여 보다 정확하게 사용자의 상호작용의 의도를 파악할 수 있다.
또한, 사용자의 정보의 파악을 위해, 오디오 센서, 비전 센서 및 생체 신호 센서 등 다양한 센서를 통해 사용자에 대한 보다 다양한 정보를 획득할 수 있으므로 사용자의 상호작용의 의도 파악의 정확성을 더욱 향상시킬 수 있다.
특히, 멀티모달 지각부를 통해 상기 사용자의 다양한 정보들을 상호작용의 의도 파악을 위한 중요한 요소인 대화의미 분석, 사용자 식별, 사용자 위치 식별 및 감정상태 식별의 항목으로 분류하여 분류된 항목들에 대한 데이터를 활용하므로, 다양한 정보들을 용이하게 분류하여 필요한 정보만 신속하게 선별함으로써, 사용자의 상호작용의 의도를 보다 정확하게 판단할 수 있다.
도 1은 본 발명의 일 실시예에 의한 사용자의 상호작용 의도 검출 시스템을 도시한 블록도이다.
도 2는 도 1의 상호작용 의도 검출시스템을 구체화한 블록도이다.
도 3은 도 1의 상호작용 의도 검출시스템이 구현된 환경을 도시한 모식도이다.
도 4는 도 3의 상호작용 의도 검출시스템이 구현된 환경에서의 상호작용 의도 검출 시스템의 구성을 도시한 블록도이다.
도 5는 도 1의 사용자의 상호작용 의도 검출시스템을 이용한 사용자의 상호작용 의도 검출방법을 도시한 흐름도이다.
도 2는 도 1의 상호작용 의도 검출시스템을 구체화한 블록도이다.
도 3은 도 1의 상호작용 의도 검출시스템이 구현된 환경을 도시한 모식도이다.
도 4는 도 3의 상호작용 의도 검출시스템이 구현된 환경에서의 상호작용 의도 검출 시스템의 구성을 도시한 블록도이다.
도 5는 도 1의 사용자의 상호작용 의도 검출시스템을 이용한 사용자의 상호작용 의도 검출방법을 도시한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 의한 사용자의 상호작용 의도 검출 시스템을 도시한 블록도이다. 도 2는 도 1의 상호작용 의도 검출시스템을 구체화한 블록도이다. 도 3은 도 1의 상호작용 의도 검출시스템이 구현된 환경을 도시한 모식도이다. 도 4는 도 3의 상호작용 의도 검출시스템이 구현된 환경에서의 상호작용 의도 검출 시스템의 구성을 도시한 블록도이다. 도 5는 도 1의 사용자의 상호작용 의도 검출시스템을 이용한 사용자의 상호작용 의도 검출방법을 도시한 흐름도이다.
본 실시예에 의한 사용자의 상호작용 의도 검출 시스템(10)은 도 3에 예시된 바와 같이, 사용자가 위치하는 공간(11)에 로봇(12)이 동시에 위치하는 경우는 물론이며, 도시하지는 않았으나 사용자가 위치하는 공간(11)에 로봇(12)이 위치하지 않는 경우에도 사용자의 의도를 검출할 수 있다. 이를 위해, 사용자가 위치하는 공간(11)에는 후술되는 외부 센서부(120)가 설치되어야 하며, 이에 따라 사용자가 위치할 수 있는 모든 공간에는 상기 외부 센서부(120)가 설치되는 것이 바람직하다.
한편, 도 4에서는 도 3의 예시한 상호작용 의도 검출 시스템에서의 시스템 블록도를 도시한 것으로, 실질적으로 도 2에서 도시된 상호작용 의도 검출시스템에 대한 블록도를 재구성한 것과 동일하다.
또한, 본 실시예에서 사용자의 상호작용 의도 검출을 위한 센서부(100)는 도시된 센서들 외에 다양한 센서들이 추가로 설치되어 사용자의 상태에 대한 추가적인 정보를 획득할 수 있는 것은 자명하다.
이하에서는, 도 1 내지 도 5를 동시에 참조하여, 본 실시예에 의한 사용자의 상호작용 의도 검출시스템(10) 및 이를 이용한 사용자의 상호작용 의도 검출방법을 동시에 설명한다.
본 실시예에 의한 사용자의 상호작용 의도 검출시스템(10)은 센서부(100), 신호처리부(200), 멀티모달 지각부(300), 사용자 성격 입력부(400) 및 사용자 의도 판단부(500)를 포함한다.
본 실시예에서의 사용자의 상호작용 의도 검출을 위해서는, 우선 상기 센서부(100)가 사용자의 정보를 센싱한다(단계 S10).
보다 구체적으로, 상기 센서부(100)는 로봇(12)에 장착된 로봇 센서부(110), 및 상기 로봇(12)의 외부에 장착된 외부 센서부(120)를 포함한다.
상기 로봇 센서부(110)는 로봇(12)에 장착되어 로봇(12)의 위치에서 사용자의 상태를 센싱하는 것으로, 예를 들어 로봇 오디오 센서(111) 및 로봇 비전센서(112)를 포함할 수 있다. 그 외에도 필요에 따라 상기 로봇 센서부(110)는 다양한 종류의 센서가 장착되어 사용자의 상태를 센싱할 수 있다.
상기 로봇 오디오 센서(111)는 사용자가 나타내는 음성 정보를 센싱하며, 상기 로봇 비전센서(112)는 사용자가 나타내는 영상 정보를 센싱한다.
상기 외부 센서부(120)는 상기 로봇(12)과는 별도로 사용자 또는 사용자가 활동하는 공간(11)에 설치되어 사용자의 상태를 센싱하는 것으로, 예를 들어 사용자가 활동하는 공간(11)에 설치된 외부 비전센서(121), 및 사용자에 직접 부착되는 생체신호 센서(122)를 포함할 수 있다.
상기 외부 비전센서(121)는 사용자의 위치 정보를 센싱하며, 상기 생체신호 센서(122)는 사용자의 생체 정보를 센싱한다.
이 경우, 상기 외부 센서부(120) 역시, 필요에 따라 다양한 종류의 센서가 장착되어 사용자의 상태를 센싱할 수 있다.
이와 같이, 본 실시예에서는, 로봇에 장착된 로봇 센서부(110) 외에 사용자 또는 사용자가 활동하는 공간에 설치된 외부 센서부(120)가 구비되므로, 사용자가 로봇과 별도의 공간에서 로봇과의 상호 작용을 필요로 하는 경우, 상기 외부 센서부(120)를 통해 사용자의 상태를 센싱하여 사용자의 상호 작용의 의도를 판단할 수 있는 장점이 있다.
이와 달리, 상기 외부 비전센서(121)를 통해 사용자의 위치에 관한 정보가 센싱되면, 상기 로봇(12)이 사용자가 위치하는 공간으로 이동하여, 사용자의 상태에 대하여 보다 구체적으로 센싱하여 사용자의 상호 작용의 의도를 파악할 수도 있다.
결국, 본 실시예에서는 상기 외부 센서부(120)가 구비됨으로써, 로봇(12)과 사용자가 하나의 공간에 위치하지 않고 서로 다른 공간에 위치하더라도 사용자의 로봇에 대한 상호 작용의 의도를 보다 정확하게 판단할 수 있다.
이와 같이, 상기 센서부(100)에 의해 사용자의 정보가 센싱되면, 이 후, 상기 신호 처리부(200)는 상기 센싱된 사용자의 정보에 관한 센싱 신호를 처리한다(단계 S20).
이 경우, 상기 신호 처리부(200)는 상기 센서부(100)가 포함하는 각각의 센서들에 매칭되어 각각의 센서들에서 센싱된 정보를 처리하는 각각의 신호 처리부를 포함한다.
즉, 상기 신호 처리부(200)는 상기 로봇 오디오 센서(111)로부터의 센싱 신호를 처리하는 오디오센서 처리부(210), 상기 로봇 비전센서(112)로부터의 센싱 신호를 처리하는 로봇 비전센서 처리부(220), 상기 외부 비전센서(121)로부터의 센싱 신호를 처리하는 외부 비전센서 처리부(230), 및 상기 생체신호 센서(122)로부터의 센싱 신호를 처리하는 생체센서 처리부(240)를 포함한다.
보다 구체적으로, 상기 오디오센서 처리부(210)는 상기 로봇 오디오 센서(111)로부터 센싱된 사용자의 음성 정보를 처리하여, 예를 들어, 상기 사용자의 음성 정보로부터 사용자의 음성을 인식하거나(211), 상기 사용자가 발성하는 음성의 음원의 위치를 인식하거나(212), 상기 사용자의 음성의 발화 톤을 인식하거나(213), 상기 사용자의 음성의 발화 음압을 인식(214)할 수 있다.
또한, 상기 로봇 비전센서 처리부(220)는 상기 로봇 비전센서(112)로부터 센싱된 상기 사용자의 영상 정보를 처리하여, 예를 들어, 상기 영상 정보로부터 상기 사용자의 얼굴을 검출 또는 인식하거나(221), 상기 사용자의 표정을 인식하거나(222), 상기 사용자의 동작(223)을 인식할 수 있다.
또한, 상기 외부 비전센서 처리부(230)는 상기 외부 비전센서(121)로부터 센싱된 상기 사용자의 위치 정보를 처리하여, 예를 들어, 상기 사용자의 위치를 검출하거나 추적(231)할 수 있다.
나아가, 상기 생체센서 처리부(240)는 상기 생체신호 센서(122)로부터 센싱된 사용자의 생체 정보를 처리하여, 예를 들어, 상기 사용자의 심박수를 측정하거나(241), 상기 사용자의 자이로(Gyro) 신호를 측정하거나(242), 상기 사용자의 체온을 측정하거나(243), 상기 사용자의 전류에 대한 피부반응을 측정(244)할 수 있다.
이상과 같이, 상기 신호 처리부(200)는 상기 센서부(100)에서 센싱된 사용자에 대한 정보를 바탕으로, 센싱 신호를 처리하여 사용자의 각종 상태에 관한 정보를 개별적으로 획득한다.
이 경우, 획득되는 정보는 상기에서 예시한 바와 같으며, 앞서 설명한 바와 같이 상기 센서부(100)가 보다 다양한 종류의 센서를 추가로 구비할 수 있으며, 이에 따라 상기 신호 처리부(200)도 상기 추가된 센서로부터 센싱된 정보를 바탕으로 사용자의 보다 다양한 상태에 관한 정보를 개별적으로 획득할 수 있다.
한편, 상기 신호 처리부(200)에서 처리된 사용자의 각종 상태에 관한 정보는, 개별적으로 산재된 정보이며, 상기 산재된 정보들로부터 궁극적으로는 사용자가 로봇(12)과의 상호작용의 의도가 있는지를 파악하기 위해서는, 상기 사용자의 각종 상태에 대한 산재된 정보들을 보다 체계적으로 분석할 필요가 있다.
이에 따라, 본 실시예에서는, 상기 멀티모달 지각부(300)를 통해 상기 신호 처리부(200)에서 처리된 센싱 신호들을 선택적으로 분류하여, 사용자의 상태에 대한 정보를 보다 체계적으로 획득한다(단계 S30).
즉, 도 3에 도시된 바와 같이, 상기 멀티모달 지각부(300)는 상기 다양한 사용자의 개별적 정보들로부터 상기 사용자의 대화의 의미를 분석하고(301), 상기 사용자를 식별하고(302), 상기 사용자의 위치를 식별하고(303), 상기 사용자의 감정상태를 식별(304)한다.
이와 같이, 상기 멀티모달 지각부(300)에서 사용자의 대화의 의미를 분석하고, 사용자를 식별하고, 사용자의 위치를 식별하고, 사용자의 감정상태를 식별하기 위해서, 상기 멀티모달 지각부(300)는 상기 신호 처리부(200)에서 처리된 신호들을 선택적으로 분류한다.
즉, 상기 멀티모달 지각부(300)는 상기 신호 처리부(200)에서 처리된 신호들 중, 사용자를 식별할 수 있는 신호를 선택하여 이를 바탕으로 사용자를 식별하고, 사용자의 위치를 식별할 수 있는 신호를 선택하여 이를 바탕으로 사용자의 위치를 식별하고, 사용자의 감정상태를 식별할 수 있는 신호를 선택하여 이를 바탕으로 사용자의 감정상태를 식별하고, 사용자의 대화 의미를 파악할 수 있는 신호를 선택하여 이를 바탕으로 사용자의 대화 의미를 분석한다.
이 경우, 상기 신호 처리부(200)는 각각의 센서들에 따라 신호 처리부들이 구분되어 획득된 신호를 처리하지만, 상기 멀티모달 지각부(300)는 상기 센서들의 종류 또는 상기 신호 처리부들의 종류와 무관하게, 상기 신호 처리부(200)가 포함하는 각각의 신호 처리부들(210, 220, 230, 240)에서 처리된 모든 정보들로부터 필요한 신호를 선택하여, 사용자의 대화의 의미를 분석하고, 사용자를 식별하고, 사용자의 위치를 식별하고, 사용자의 감정상태를 식별한다.
예를 들어, 상기 멀티모달 지각부(300)는 상기 사용자의 음성 인식 결과(211)로부터 상기 사용자의 대화 의미를 분석한다(301).
또한, 상기 멀티모달 지각부(300)는 상기 사용자의 발화 톤 인식 결과(213), 상기 사용자의 발화 음압 인식 결과(214), 및 상기 사용자의 얼굴 검출 또는 인식 결과(221)들 중 적어도 하나를 바탕으로 상기 사용자를 식별한다(302). 즉, 사용자가 어떠한 사용자인지에 대한 정보를 식별한다.
또한, 상기 멀티모달 지각부(300)는 상기 사용자의 음원 위치 인식 결과(212), 및 상기 사용자의 위치 검출 또는 추적 결과(231)들 중 적어도 하나를 바탕으로 상기 사용자의 위치를 식별한다(303).
또한, 상기 멀티모달 지각부(300)는 상기 사용자의 발화 톤 인식 결과(213), 상기 사용자의 발화 음압 인식 결과(214), 상기 사용자의 표정 인식 결과(222), 상기 사용자의 동작 인식결과(223), 상기 사용자의 심박수 측정결과(241), 상기 사용자의 자이로 신호 측정 결과(242), 상기 사용자의 체온 측정결과(243), 및 상기 사용자의 전류 인가 대비 피부반응 측정결과(244)들 중 적어도 하나를 바탕으로 상기 사용자의 감정상태를 식별한다(304).
한편, 상기 멀티모달 지각부(300)에서 상기와 같이 신호 처리부에서 처리된 정보를 바탕으로 필요한 정보로부터 사용자의 대화 의미를 분석하거나, 사용자를 식별하거나, 사용자의 위치를 식별하거나, 사용자의 감정상태를 식별하기 위해서는, 상기 멀티모달 지각부(300)는 도시하지는 않았으나, 사용자의 대화 의미의 종류, 시용자의 종류, 사용자의 위치를 식별을 위한 공간 정보, 사용자의 감정상태의 종류 등에 대한 정보가 데이터베이스에 저장되어야 하며, 상기 멀티 모달 지각부(300)는 상기 데이터베이스로부터 획득된 정보와 매칭되는 정보를 도출하게 된다.
이 후, 사용자의 성격에 관한 정보가 상기 사용자 성격 입력부(400)를 통해 상기 사용자 의도 판단부(500)로 제공된다(단계 S40).
이 경우, 상기 사용자 성격 입력부(400)는 상기 상호작용 의도 검출 시스템을 사용하는 사용자별로 성격적인 특성에 관한 정보를 저장한 데이터베이스(미도시)로부터, 상기 멀티모달 지각부(300)에서 사용자가 식별(302)되면 해당 사용자의 성격을 상기 사용자 의도 판단부(500)로 제공한다.
예를 들어, 상기 사용자 성격 입력부(400)에서 제공하는 성격에 관한 정보는 해당 사용자가 내성적인 성격, 외향적인 성격, 혈액형 등에 관한 정보를 포함할 수 있다.
즉, 사용자의 성격에 따라, 내성적인 성격의 사용자는 상대적으로 수줍은 형태의 발화 톤, 표정, 동작 등을 바탕으로 로봇(12)과의 상호작용 의도를 표현할 수 있으나, 외향적인 성격의 사용자는 상대적으로 적극적이고 과장된 형태로 발화 톤, 표정, 동작 등을 표현하여 로봇(120)과의 상호작용 의도를 표현할 수 있다.
따라서, 본 실시예에서 사용자의 식별을 바탕으로 해당 사용자의 성격에 관한 정보를 동시에 제공받음으로써, 상기 멀티모달 지각부(300)에서 지각된 정보를 보다 정확하게 해석할 수 있다.
이와 같이, 상기 멀티모달 지각부(300)에서 사용자의 대화 의미를 분석하고, 사용자를 식별하고, 사용자의 위치를 식별하며, 사용자의 감정상태를 식별한 후, 상기 사용자 성격 입력부(400)를 통해 사용자의 성격에 관한 정보가 제공되면, 상기 사용자 의도 판단부(500)에서는 최종적으로 상기 사용자가 상기 로봇(120)과의 상호작용의 의도가 있는지의 여부를 판단한다(단계 S50).
즉, 상기 사용자 의도 판단부(500)에서는, 상기 사용자를 식별하여 해당 사용자의 성격에 관한 정보를 제공받은 상태에서, 상기 사용자가 의도하는 대화의 의미를 분석하고, 상기 사용자의 감정상태에 대하여 정확한 정보를 파악하고, 상기 사용자가 어느 공간에 위치하는지 또는 어느 공간으로 이동하고 있는지에 대한 정보를 모두 종합적으로 분석하여, 상기 사용자가 상기 로봇(12)과 소통하거나 상호작용하려는 의도가 있는지의 여부를 판단한다.
그리하여, 사용자의 상호작용의 의도가 있다고 판단되면, 상기 로봇(12)은 동작을 시작하며 상기 사용자와 의사소통 또는 상호작용을 수행하게 된다.
이 경우, 상기 로봇(12)이 사용자가 위치한 공간으로부터 이격되어 있다면, 상기 로봇(12)은 사용자의 상호작용의 의도가 판단됨과 동시에 상기 사용자가 위치한 공간으로 이동할 수 있다.
물론, 앞서 설명한 바와 같이, 상기 로봇(12)이 사용자의 상호작용의 의도를 보다 정확하게 판단하기 위해, 사용자의 위치가 식별됨과 동시에 해당 사용자의 위치로 이동한 상태에서, 추가적인 정보를 통해 사용자의 상호작용의 의도를 파악할 수도 있다.
상기와 같은 본 발명의 실시예들에 의하면, 로봇에 장착된 로봇 센서부와 외부에 장착된 외부 센서부를 통해 센싱된 정보를 바탕으로 사용자에 대한 정보를 파악하므로, 사용자가 로봇에 근접하여 위치하지 않은 경우라도 사용자의 생활 환경에 외부 센서부를 장착할 수 있어, 사용자의 정보를 보다 정확하게 파악할 수 있다.
특히, 사용자의 의도 파악에 있어, 사용자의 정보는 물론, 사용자의 성격에 관한 정보를 추가로 활용하므로, 사용자의 성격이 내성적이나 외향적인 경우 등의 다양한 사용자에 대하여 보다 정확하게 사용자의 상호작용의 의도를 파악할 수 있다.
또한, 사용자의 정보의 파악을 위해, 오디오 센서, 비전 센서 및 생체 신호 센서 등 다양한 센서를 통해 사용자에 대한 보다 다양한 정보를 획득할 수 있으므로 사용자의 상호작용의 의도 파악의 정확성을 더욱 향상시킬 수 있다.
특히, 멀티모달 지각부를 통해 상기 사용자의 다양한 정보들을 상호작용의 의도 파악을 위한 중요한 요소인 대화의미 분석, 사용자 식별, 사용자 위치 식별 및 감정상태 식별의 항목으로 분류하여 분류된 항목들에 대한 데이터를 활용하므로, 다양한 정보들을 용이하게 분류하여 필요한 정보만 신속하게 선별함으로써, 사용자의 상호작용의 의도를 보다 정확하게 판단할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명에 따른 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법은 사용자와의 상호작용을 수행하는 서비스 로봇에 사용될 수 있는 산업상 이용 가능성을 갖는다.
10 : 상호작용 의도 검출 시스템
100 : 센서부 110 : 로봇 센서부
120 : 외부 센서부 200 : 신호 처리부
210 : 오디오센서 처리부 220 : 로봇 비전센서 처리부
230 : 외부 비전센서 처리부 240 : 생체 센서 처리부
300 : 멀티모달 지각부 400 : 사용자 성격 입력부
500 : 사용자 의도 판단부
100 : 센서부 110 : 로봇 센서부
120 : 외부 센서부 200 : 신호 처리부
210 : 오디오센서 처리부 220 : 로봇 비전센서 처리부
230 : 외부 비전센서 처리부 240 : 생체 센서 처리부
300 : 멀티모달 지각부 400 : 사용자 성격 입력부
500 : 사용자 의도 판단부
Claims (11)
- 로봇에 장착된 로봇 센서부, 및 로봇의 외부에 장착된 외부 센서부를 포함하여 사용자의 정보를 센싱하는 센서부;
상기 센싱된 사용자의 정보에 관한 센싱 신호를 처리하는 신호 처리부;
상기 처리된 센싱 신호를 선택적으로 분류하여, 사용자, 사용자 위치, 감정상태 및 대화의미를 파악하는 멀티모달 지각부;
사용자의 성격에 관한 정보가 제공되는 사용자 성격 입력부; 및
상기 멀티모달 지각부에서 파악된 정보와, 상기 사용자 성격에 관한 정보를 바탕으로 사용자의 상기 로봇과의 상호작용의 의도를 판단하는 사용자 의도 판단부를 포함하는 상호작용 의도 검출시스템. - 제1항에 있어서,
상기 로봇 센서부는, 사용자의 음성 정보를 센싱하는 로봇 오디오 센서, 및 사용자의 영상 정보를 센싱하는 로봇 비전 센서를 포함하고,
상기 외부 센서부는, 사용자가 위치한 공간에 설치되어 사용자의 위치 정보를 센싱하는 외부 비전 센서, 및 사용자에 장착되어 사용자의 생체 정보를 센싱하는 생체신호 센서를 포함하는 것을 특징으로 하는 상호작용 의도 검출시스템. - 제2항에 있어서, 상기 신호처리부는,
상기 로봇 오디오 센서로부터의 센싱 신호를 처리하는 오디오센서 처리부;
상기 로봇 비전 센서로부터의 센싱 신호를 처리하는 로봇 비전센서 처리부;
상기 외부 비전 센서로부터의 센싱 신호를 처리하는 외부 비전센서 처리부; 및
상기 생체신호 센서로부터의 센싱 신호를 처리하는 생체센서 처리부를 포함하는 것을 특징으로 하는 상호작용 의도 검출시스템. - 제3항에 있어서, 상기 멀티모달 지각부는,
상기 신호처리부에서 처리된 신호들 중,
사용자를 식별할 수 있는 신호를 바탕으로 사용자를 식별하거나, 사용자의 위치를 식별할 수 있는 신호를 바탕으로 사용자의 위치를 식별하거나, 사용자의 감정상태를 식별할 수 있는 신호를 바탕으로 사용자의 감정상태를 식별하거나, 사용자의 대화 의미를 파악할 수 있는 신호를 바탕으로 사용자의 대화 의미를 분석하는 것을 특징으로 하는 상호작용 의도 검출시스템. - 제4항에 있어서, 상기 사용자 의도 판단부는,
상기 멀티모달 지각부로부터의 사용자 식별 정보, 사용자 위치 식별 정보, 사용자 감정상태 식별 정보 및 사용자 대화의미 분석 정보와, 상기 사용자 성격 입력부에서 입력된 사용자 성격에 관한 정보를 바탕으로 사용자가 상기 로봇과 상호작용을 시작하려는 의도가 있는지의 여부를 판단하는 것을 특징으로 하는 상호작용 의도 검출시스템. - 제3항에 있어서, 상기 오디오센서 처리부는,
신호 처리를 통해, 사용자의 음성을 인식하거나, 사용자의 음원의 위치를 인식하거나, 사용자의 발화 톤을 인식하거나, 사용자의 발화 음압을 인식하는 것을 특징으로 하는 상호작용 의도 검출시스템. - 제3항에 있어서, 상기 로봇 비전센서 처리부는,
신호 처리를 통해, 사용자 얼굴을 검출 또는 인식하거나, 사용자의 표정을 인식하거나, 사용자의 동작을 인식하는 것을 특징으로 하는 상호작용 의도 검출시스템. - 제3항에 있어서, 외부 비전센서 처리부는,
신호 처리를 통해, 사용자의 위치를 검출하거나 추적하는 것을 특징으로 하는 상호작용 의도 검출시스템. - 제3항에 있어서, 생체센서 처리부는,
신호 처리를 통해, 사용자의 심박수를 측정하거나, 사용자의 자이로(Gyro) 신호를 측정하거나, 사용자의 체온을 측정하거나, 사용자의 전류 피부반응을 측정하는 것을 특징으로 하는 상호작용 의도 검출시스템. - 제6항 내지 제9항 중 적어도 한 항에 있어서, 상기 멀티모달 지각부는,
사용자의 음성 인식 결과로부터 사용자의 대화 의미를 분석하고,
사용자의 발화 톤 인식, 사용자의 발화 음압 인식 및 사용자의 얼굴 검출 또는 인식 결과들 중 적어도 하나로부터 사용자를 식별하고,
사용자의 음원 위치 인식, 사용자의 위치 검출 또는 추적 결과들 중 적어도 하나로부터 사용자의 위치를 식별하고,
사용자의 발화 톤 인식, 사용자의 발화 음압 인식, 사용자의 표정 인식, 사용자의 동작 인식, 사용자의 심박수 측정, 사용자의 자이로 신호 측정, 사용자의 체온 측정, 사용자의 전류 피부반응 측정 결과들 중 적어도 하나로부터 사용자의 감정상태를 식별하는 것을 특징으로 하는 상호작용 의도 검출시스템. - 로봇에 장착된 로봇 센서부, 및 로봇의 외부에 장착된 외부 센서부를 포함하는 센서부를 통해 사용자의 정보를 센싱하는 단계;
상기 센싱된 사용자의 정보에 관한 센싱 신호를 처리하는 단계;
상기 처리된 센싱 신호를 선택적으로 분류하여, 사용자, 사용자 위치, 감정상태 및 대화의미를 파악하는 단계;
사용자의 성격에 관한 정보를 제공받는 단계; 및
상기 처리된 센싱 신호로부터 파악된 정보와 상기 사용자의 성격에 관한 정보로부터 사용자의 상기 로봇과의 상호작용 의도를 판단하는 단계를 포함하는 상호작용 의도 검출방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160142070A KR20180046649A (ko) | 2016-10-28 | 2016-10-28 | 멀티모달 지각을 이용한 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160142070A KR20180046649A (ko) | 2016-10-28 | 2016-10-28 | 멀티모달 지각을 이용한 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180046649A true KR20180046649A (ko) | 2018-05-09 |
Family
ID=62200973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160142070A KR20180046649A (ko) | 2016-10-28 | 2016-10-28 | 멀티모달 지각을 이용한 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180046649A (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109176535A (zh) * | 2018-07-16 | 2019-01-11 | 北京光年无限科技有限公司 | 基于智能机器人的交互方法及系统 |
| CN109278051A (zh) * | 2018-08-09 | 2019-01-29 | 北京光年无限科技有限公司 | 基于智能机器人的交互方法及系统 |
| CN110216687A (zh) * | 2019-04-29 | 2019-09-10 | 金华市盘古信息技术有限公司 | 一种机器人自动聊天方法、装置、设备及存储介质 |
| US10800043B2 (en) | 2018-09-20 | 2020-10-13 | Electronics And Telecommunications Research Institute | Interaction apparatus and method for determining a turn-taking behavior using multimodel information |
| CN112002321A (zh) * | 2020-08-11 | 2020-11-27 | 海信电子科技(武汉)有限公司 | 显示设备、服务器及语音交互方法 |
| WO2021080177A1 (ko) * | 2019-10-22 | 2021-04-29 | 한국전자기술연구원 | 적응형 추론 시스템 및 이의 운용 방법 |
| CN112732074A (zh) * | 2020-12-29 | 2021-04-30 | 珠海新天地科技有限公司 | 一种机器人交互的方法 |
| US11393468B2 (en) | 2018-11-02 | 2022-07-19 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
-
2016
- 2016-10-28 KR KR1020160142070A patent/KR20180046649A/ko active Search and Examination
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109176535A (zh) * | 2018-07-16 | 2019-01-11 | 北京光年无限科技有限公司 | 基于智能机器人的交互方法及系统 |
| CN109176535B (zh) * | 2018-07-16 | 2021-10-19 | 北京光年无限科技有限公司 | 基于智能机器人的交互方法及系统 |
| CN109278051A (zh) * | 2018-08-09 | 2019-01-29 | 北京光年无限科技有限公司 | 基于智能机器人的交互方法及系统 |
| US10800043B2 (en) | 2018-09-20 | 2020-10-13 | Electronics And Telecommunications Research Institute | Interaction apparatus and method for determining a turn-taking behavior using multimodel information |
| US11393468B2 (en) | 2018-11-02 | 2022-07-19 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
| US11631413B2 (en) | 2018-11-02 | 2023-04-18 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
| CN110216687A (zh) * | 2019-04-29 | 2019-09-10 | 金华市盘古信息技术有限公司 | 一种机器人自动聊天方法、装置、设备及存储介质 |
| WO2021080177A1 (ko) * | 2019-10-22 | 2021-04-29 | 한국전자기술연구원 | 적응형 추론 시스템 및 이의 운용 방법 |
| US11455837B2 (en) | 2019-10-22 | 2022-09-27 | Korea Electronics Technology Institute | Adaptive inference system and operation method therefor |
| CN112002321A (zh) * | 2020-08-11 | 2020-11-27 | 海信电子科技(武汉)有限公司 | 显示设备、服务器及语音交互方法 |
| CN112002321B (zh) * | 2020-08-11 | 2023-09-19 | 海信电子科技(武汉)有限公司 | 显示设备、服务器及语音交互方法 |
| CN112732074A (zh) * | 2020-12-29 | 2021-04-30 | 珠海新天地科技有限公司 | 一种机器人交互的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180046649A (ko) | 멀티모달 지각을 이용한 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법 | |
| US9443536B2 (en) | Apparatus and method for detecting voice based on motion information | |
| US10514766B2 (en) | Systems and methods for determining emotions based on user gestures | |
| US8606735B2 (en) | Apparatus and method for predicting user's intention based on multimodal information | |
| Ward et al. | Activity recognition of assembly tasks using body-worn microphones and accelerometers | |
| US20180018974A1 (en) | System and method for detecting tantrums | |
| US20170220122A1 (en) | Efficient Gesture Processing | |
| KR102588906B1 (ko) | 생체 신호 품질 평가 장치 및 방법 | |
| US20130158415A1 (en) | Ballistocardiogram analysis apparatus and method, and system for utilizing ballistocardiogram for vehicle using the same | |
| US11315557B2 (en) | Method and system for providing voice recognition trigger and non-transitory computer-readable recording medium | |
| JP2020034835A (ja) | 音声対話システム、音声対話方法、プログラム、学習モデル生成装置及び学習モデル生成方法 | |
| US20130096397A1 (en) | Sensitivity evaluation system, sensitivity evaluation method, and program | |
| KR20080086791A (ko) | 음성 기반 감정 인식 시스템 | |
| KR102277811B1 (ko) | 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법 | |
| WO2004082248A1 (en) | Configurable control of a mobile device by means of movement patterns | |
| Dávid Sztahó et al. | Deep learning solution for pathological voice detection using LSTM-based autoencoder hybrid with multi-task learning | |
| Gonçalves et al. | Detection of stereotyped hand flapping movements in Autistic children using the Kinect sensor: A case study | |
| Nguyen et al. | Cover your cough: Detection of respiratory events with confidence using a smartwatch | |
| KR101341481B1 (ko) | 동작인식 기반의 로봇 제어 시스템 및 방법 | |
| KR20110022520A (ko) | 손가락 움직임 검출 장치 및 그 방법 | |
| Iliou et al. | Classification on speech emotion recognition-a comparative study | |
| KR101652705B1 (ko) | 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법 | |
| KR20220019558A (ko) | 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법 | |
| JP7021488B2 (ja) | 情報処理装置、及びプログラム | |
| KR20150076932A (ko) | 뇌파 신호 분석 장치 및 그의 분석 방법과, 그 분석 결과를 사용하는 사용자 단말 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment |