KR102558873B1 - 상호 작용 장치 및 그것의 상호 작용 방법 - Google Patents
상호 작용 장치 및 그것의 상호 작용 방법 Download PDFInfo
- Publication number
- KR102558873B1 KR102558873B1 KR1020160034779A KR20160034779A KR102558873B1 KR 102558873 B1 KR102558873 B1 KR 102558873B1 KR 1020160034779 A KR1020160034779 A KR 1020160034779A KR 20160034779 A KR20160034779 A KR 20160034779A KR 102558873 B1 KR102558873 B1 KR 102558873B1
- Authority
- KR
- South Korea
- Prior art keywords
- participants
- participation
- state
- role
- information
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims description 16
- 206010013710 Drug interaction Diseases 0.000 title 2
- 230000033001 locomotion Effects 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims description 25
- 230000002452 interceptive effect Effects 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims 11
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 230000036544 posture Effects 0.000 description 3
- 230000000981 bystander Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
Abstract
본 출원은 인간과 상호 작용을 수행할 수 있는 상호 작용 장치에 관한 것으로, 특히 복수의 참가자들과 상호 작용을 수행할 수 있는 상호 작용 장치에 관한 것이다. 본 출원의 실시 예에 따른 상호 작용 장치는 복수의 참가자들 각각에 대한 외부 자극 신호에 기초하여, 상기 복수의 참가자들 각각의 역할을 분류하는 역할 분류부 및 상기 복수의 참가자들 각각에 대한 역할에 기초하여, 상기 복수의 참가자들 각각에 대하여 서로 다른 상호 작용 동작을 수행하는 행위 조정부를 포함한다. 본 출원의 실시 예에 따른 상호 작용 장치는 참여도에 따라 복수의 참가자들의 역할을 분류하고, 분류된 역할에 따라 참가자들 각각에 대하여 맞춤형 상호 작용 동작을 제공함으로써, 복수의 참가자들과 자연스러운 상호 작용 동작을 수행할 수 있다.
Description
본 출원은 인간과 상호 작용을 수행할 수 있는 상호 작용 장치에 관한 것으로, 특히 복수의 참가자들과 상호 작용을 수행할 수 있는 상호 작용 장치에 관한 것이다.
인간과 로봇 사이의 상호 작용에 대한 기술이 연구되어 왔다. 인간과 로봇의 상호 작용(human-robot interaction) 기술은 로봇이 사용자의 의도를 판단하고 적합한 반응과 행동을 수행함으로써 인간과의 의사 소통 및 협력을 가능하게 하는 기술을 말한다. 로봇과 인간 사이의 상호 작용에 있어서 중요한 기술 중 하나는 순서 교대(turn taking) 기술이 있다. 순서 교대는 상호 작용의 참가자들 사이에 대화와 같은 상호 작용의 순서를 주고받는 것을 의미한다.
그러나 순서 교대 기술을 비롯한 종래의 인간과 로봇 사이의 상호 작용에 대한 기술은 인간과 로봇의 일대일 상호 작용을 전제로 상호 작용을 제어한다. 따라서 로봇이 두 명 이상의 인간들과 상호 작용을 할 때에는 자연스러운 상호 작용을 수행하는 것이 어렵다는 한계가 있다.
본 출원의 목적은 적어도 두 명의 참가자들과 자연스러운 상호작용을 수행할 수 있는 상호 작용 장치 및 방법을 제공하는데 목적이 있다.
본 출원의 실시 예에 따른 상호 작용 장치는 복수의 참가자들 각각에 대한 외부 자극 신호에 기초하여, 상기 복수의 참가자들 각각의 역할을 분류하는 역할 분류부 및 상기 복수의 참가자들 각각에 대한 역할에 기초하여, 상기 복수의 참가자들 각각에 대하여 서로 다른 상호 작용 동작을 수행하는 행위 조정부를 포함한다.
실시 예로써, 상기 역할 분류부는 상기 복수의 참가자들 각각에 대한 외부 자극 정보를 분석하는 자극 분석부, 상기 외부 자극 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 참여도 값을 계산하는 참여도 계산부 및 상기 복수의 참가자들 각각에 대한 참여도 값에 기초하여, 상기 복수의 참가자들 각각의 역할을 결정하는 역할 결정부를 포함한다.
본 출원의 실시 예에 따른 상호 작용 방법은 멀티 모달 센서부로부터 복수의 참여자들 각각에 대한 외부 자극 정보를 수신하는 단계, 상기 복수의 참가자들 각각에 대한 외부 자극 정보에 기초하여, 상기 복수의 참가자들 각각의 참여 행위 상태를 결정하는 단계, 상기 복수의 참가자들 각각에 대한 외부 자극 정보에 기초하여, 상기 복수의 참가자들 각각의 역할을 결정하는 단계 및 상기 복수의 참가자들 각각의 참여 행위 상태 또는 상기 복수의 참가자들 각각의 역할 중 적어도 하나에 기초하여, 상기 복수의 참가자들에 대하여 서로 다른 상호 작용 동작을 수행하는 단계를 포함한다.
실시 예로서, 상기 복수의 참가자들 각각의 참여 행위 상태를 결정하는 단계와 상기 복수의 참가자들 각각의 역할을 결정하는 단계는 병렬적으로 수행된다.
본 출원의 실시 예에 따른 상호 작용 장치는 참여도 및/또는 행위 상태에 따라 복수의 참가자들의 역할을 분류하고, 분류된 역할에 따라 참가자들 각각에 대하여 맞춤형 상호 작용 동작을 제공한다. 따라서, 본 출원의 실시 예에 따른 상호 작용 장치는 복수의 참가자들과 자연스러운 상호 작용 동작을 수행할 수 있다.
도 1은 본 출원의 기술적 사상의 실시 예에 따른 다자간 상호 작용 시스템을 보여주는 도면이다.
도 2는 본 출원의 기술적 사상에 따른 상호 작용 장치를 예시적으로 보여주는 블록도이다.
도 3은 도 2의 행위 상태 분류부의 구성을 좀 더 자세히 보여주는 블록도이다.
도 4는 도 2의 역할 분류부의 구성을 좀 더 자세히 보여주는 블록도이다.
도 5는 도 2의 상호 작용 장치의 동작을 보여주는 순서도이다.
도 6은 도 4의 역할 분류부의 동작을 보여주는 순서도이다.
도 7은 본 출원의 기술적 사상의 다른 실시 예에 따른 상호 작용 장치를 보여주는 도면이다.
도 8은 본 출원의 기술적 사상의 다른 실시 예에 따른 상호 작용 장치를 보여주는 도면이다.
도 2는 본 출원의 기술적 사상에 따른 상호 작용 장치를 예시적으로 보여주는 블록도이다.
도 3은 도 2의 행위 상태 분류부의 구성을 좀 더 자세히 보여주는 블록도이다.
도 4는 도 2의 역할 분류부의 구성을 좀 더 자세히 보여주는 블록도이다.
도 5는 도 2의 상호 작용 장치의 동작을 보여주는 순서도이다.
도 6은 도 4의 역할 분류부의 동작을 보여주는 순서도이다.
도 7은 본 출원의 기술적 사상의 다른 실시 예에 따른 상호 작용 장치를 보여주는 도면이다.
도 8은 본 출원의 기술적 사상의 다른 실시 예에 따른 상호 작용 장치를 보여주는 도면이다.
이하에서는 본 출원의 기술분야에서 통상의 지식을 가진 자가 본 출원의 기술적 사상을 용이하게 이해할 수 있을 정도로 상세히 설명하기 위하여, 본 출원의 기술적 사상을 첨부된 도면을 참조하여 설명한다.
도 1은 본 출원의 기술적 사상의 실시 예에 따른 다자간 상호 작용 시스템(multi-party interaction system)을 보여주는 도면이다. 도 1을 참조하면, 다자간 상호 작용 시스템은 로봇(10), 주 참가자(active participant)(20), 청자(addressee)(30), 주변 참가자(side-participant)(40) 및 구경꾼(bystander)(50)을 포함한다.
로봇(10)은 복수의 참가자들과 상호 작용 동작을 수행한다. 복수의 참가자들과의 자연스러운 상호 작용을 위하여, 로봇(10)은 이하의 도 2 내지 도 8에서 설명될 본 출원의 기술적 사상의 실시 예에 따른 상호 작용 장치를 탑재한다.
로봇(10)에 탑재된 상호 작용 장치는 참여도 및/또는 참여 행위 상태에 따라 복수의 참가자들의 역할을 분류할 수 있다.
예를 들어, 로봇(10)에 탑재된 상호 작용 장치는 각 참가자에 대응하는 참여도 값의 크기 순서에 따라, 복수의 참가자들을 각각 주 참가자(20), 청자(30), 주변 참가자(40), 구경꾼(50)의 순서로 분류할 수 있다.
다른 예로, 로봇(10)에 탑재된 상호 작용 장치는 복수의 참가자들 중 참여도가 가장 높은 참가자를 주 참가자(20)로 분류하고, 복수의 참가자들 중 참여도가 높으나 상호 작용 순서를 기다리는 참여 행위 상태의 참가자를 청자(30)로 분류하며, 복수의 참가자들 중 참여도가 비교적 낮은 참가자를 주변 참가자(40)로 분류하고, 복수의 참가자들 중 참여도가 가장 낮은 참가자를 구경꾼(50)으로 분류할 수 있다.
로봇(10)에 탑재된 상호 작용 장치는 분류된 역할에 따라 각 참가자에 대하여 맞춤형 상호 작용을 제공하도록 로봇(10)을 제어할 수 있다.
예를 들어, 상호 작용 장치는 주 참가자(20) 및 청자(30)를 중심으로 상호 작용이 진행되도록 순서 교대(turn taking)의 흐름을 제어할 수 있다. 또한, 상호 작용 장치는 주변 참가자(40) 및 구경꾼(50)이 상호 작용에 참여하도록 유도하기 위하여 대화의 주제를 변경하거나 질문을 생성할 수 있다.
이와 같이, 본 출원의 기술적 사상에 따른 상호 작용 장치 및 그것이 탑재된 로봇(10)은 참여도 및/또는 참여 행위 상태에 따라 복수의 참가자들의 역할을 분류하고, 분류된 역할에 따라 각 참가자에 대하여 맞춤형 상호 작용을 제공함으로써, 자연스러운 상호 작용 동작을 수행할 수 있다.
한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 예를 들어, 도 1에서는 로봇과 상호 작용을 하는 참가자의 숫자가 4명인 것으로 가정되었다. 다만, 이는 예시적인 것이며, 본 출원의 기술적 사상에 따른 상호 작용 장치 및 그것이 탑재된 로봇은 2명 또는 3명의 참가자들과 상호 작용 동작을 수행할 수 있으며, 5명 이상의 참가자들과도 상호 작용 동작을 수행할 수도 있다.
도 2는 본 출원의 기술적 사상에 따른 상호 작용 장치(100)를 예시적으로 보여주는 블록도이다. 도 2를 참조하면, 상호 작용 장치(100)는 멀티 모달 센서부(multi-modal sensor unit)(110), 참여 행위 상태 분류부(120), 역할 분류부(130), 행위 조정부(140) 및 제어부(150)를 포함한다.
멀티 모달 센서부(110)는 복수의 참가자들 각각에 대한 외부 자극(external stimulus)을 감지하고, 감지된 외부 자극을 참여 행위 상태 분류부(120) 및 역할 분류부(130)에 제공한다. 멀티 모달 센서부(110)는 음성 감지 모듈(111), 시선 감지 모듈(112), 움직임 감지 모듈(113), 머리 방향 감지 모듈(114) 및 터치 감지 모듈(115)을 포함한다.
음성 감지 모듈(111)은 복수의 참가자들 각각의 음성을 감지한다. 음성 감지 모듈(111)은, 예를 들어, 마이크 또는 마이크로 마이크에 연결된 음성 인식 센서를 이용하여 구현될 수 있다. 음성 감지 모듈(111)은 복수의 참가자들 각각에 대한 음성 정보를 참여 행위 상태 분류부(120) 및 역할 분류부(130)에 제공한다.
시선 감지 모듈(112)은 복수의 참가자들 각각의 시선 방향을 감지한다. 움직임 감지 모듈(113)은 복수의 참가자들 각각에 대한 손의 움직임, 제스처, 몸의 자세 등과 같은 움직임을 감지한다. 머리 방향 감지 모듈(114)은 복수의 참가자들 각각의 머리 방향이 로봇을 기준으로 어느 방향을 향하고 있는지를 감지한다.
시선 감지 모듈(112), 움직임 감지 모듈(113) 및 머리 방향 감지 모듈(114)은 각각 카메라, 3D Depth 카메라로 구현될 수 있으며, 하나의 카메라 혹은 3D Depth 카메라로써 통합적으로 구현될 수도 있다. 시선 감지 모듈(112), 움직임 감지 모듈(113) 및 머리 방향 감지 모듈(114)은 각각 감지된 시선 방향 정보, 움직임 정보, 머리 방향 정보를 참여 행위 상태 분류부(120) 및 역할 분류부(130)에 제공한다.
터치 감지 모듈(115)은 복수의 참여자들 각각이 상호 작용 장치(100) 또는 상호 작용 장치(100)가 탑재된 로봇에 직접 접촉하는 지의 여부를 감지한다. 터치 감지 모듈(115)은, 예를 들어, 촉각 센서를 이용하여 구현될 수 있다. 터치 감지 모듈(115)은 복수의 참가자들 각각에 대한 터치 정보를 참여 행위 상태 분류부(120) 및 역할 분류부(130)에 제공한다.
참여 행위 상태 분류부(120)는 멀티 모달 센서부(110)로부터 복수의 참가자들 각각에 대한 외부 자극 정보를 수신한다. 예를 들어, 참여 행위 상태 분류부(120)는 멀티 모달 센서부(110)로부터 복수의 참가자들 각각에 대한 음성 정보, 시선 방향 정보, 움직임 정보, 머리 방향 정보, 터치 정보를 수신한다.
참여 행위 상태 분류부(120)는 수신된 외부 자극 정보에 기초하여, 복수의 참여자들 각각의 참여 행위 상태를 결정한다. 참여 행위 상태 분류부(120)는, 예를 들어, 복수의 참가자들 각각의 참여 행위 상태를 Grap 상태, Release 상태, Wait 상태, Keep 상태 중 어느 하나로 분류할 수 있다. 참여 행위 상태 분류부(120)의 구성 및 동작은 이하의 도 3에서 좀 더 자세히 설명될 것이다.
역할 분류부(130)는 멀티 모달 센서부(110)로부터 복수의 참가자들 각각에 대한 외부 자극 정보를 수신한다. 예를 들어, 역할 분류부(130)는 멀티 모달 센서부(110)로부터 복수의 참가자들 각각에 대한 음성 정보, 시선 방향 정보, 움직임 정보, 머리 방향 정보, 터치 정보를 수신한다.
역할 분류부(130)는 수신된 외부 자극 정보에 기초하여, 복수의 참여자들 각각의 역할을 결정한다. 역할 분류부는, 예를 들어, 복수의 참가자들 각각의 역할을 주 참가자, 청자, 주변 참가자, 구경꾼 중 어느 하나로 분류할 수 있다. 역할 분류부(130)의 구성 및 동작은 이하의 도 4에서 좀 더 자세히 설명될 것이다.
행위 조정부(140)는 참여 행위 상태 분류부(120)로부터 복수의 참가자들 각각에 대한 참여 행위 상태 정보를 수신하고, 역할 분류부(120)로부터 복수의 참가자들 각각에 대한 역할 정보를 수신한다. 행위 조정부(140)는 수신된 참여 행위 상태 정보 및 역할 정보에 기초하여, 복수의 참가자들 각각에 대한 맞춤형 상호 작용 동작을 수행하도록 상호 작용 장치(100) 또는 상호 작용 장치(100)가 탑재된 로봇을 제어한다.
예를 들어, 참여 행위 상태 분류부(120)로부터 4개의 참여 행위 상태 정보(Grap 상태, Release 상태, Wait 상태, Keep 상태)를 수신하고, 역할 분류부(130)로부터 4개의 역할 정보(주 참가자, 청자, 주변 참가자, 구경꾼)를 수신하는 경우, 행위 조정부(140)는 참여 행위 상태 정보 및 역할 정보를 활용하여 다양한 서로 다른 맞춤형 상호 작용 동작을 제공할 수 있다.
예를 들어, 복수의 참가자들 중 어느 하나의 참가자가 Grap 상태 및 청자에 대응한다면, 참여 행위 상태 분류부(120)는 해당 참가자로 대화 순서를 변경하는 순서 교대(turn taking) 동작이 수행되도록 상호 작용 장치(100)를 제어할 수 있다. 다만, 이는 예시적인 것이며 설계자에 따라 다양하게 적용 및 응용될 수 있다. 예를 들어, 맞춤형 상호 작용의 종류, 로봇의 각 참가자에 대한 시선, 음성, 제스처, 동작 등의 상호 작용 표현 방식 및/또는 내용은 설계자에 따라 다양하게 변경될 수 있다.
한편, 제어부(150)는 멀티 모달 센서부(110), 참여 행위 상태 분류부(120), 역할 분류부(130) 및 행위 조정부(140)에 연결되며, 상호 작용 장치(100)의 전반적인 동작을 제어한다.
도 3은 도 2의 참여 행위 상태 분류부(120)의 구성을 좀 더 자세히 보여주는 블록도이다. 도 3을 참조하면, 참여 행위 상태 분류부(120)는 단서 생성부(121) 및 참여 행위 상태 결정부(122)를 포함한다.
단서 생성부(121)는 멀티 모달 센서(110)로부터 복수의 참가자들 각각에 대한 외부 자극 정보를 수신하며, 이를 이용하여 복수의 참가자들 각각에 대한 상태 판단 단서를 생성하다. 단서 생성부(121)는 음성 단서 모듈(121_1), 시선 단서 모듈(121_2), 움직임 단서 모듈(121_3) 및 터치 단서 모듈(121_4)을 포함한다.
음성 단서 모듈(121_1)은 음성 감지 모듈(111)로부터 음성 정보를 수신하며, 수신된 음성 정보에 기초하여 음성 상태 판단 단서를 생성한다. 음성 상태 판단 단서는, 예를 들어, 발화(utterance), 발화의 일시적 중지(즉, 휴지)(pause), 높은 억양(high intonation), 일정한 억양(flat intonation)을 포함할 수 있다.
시선 단서 모듈(121_2)은 시선 감지 모듈(112)로부터 시선 방향 정보를 수신하며, 수신된 시선 정보에 기초하여 시선 상태 판단 단서를 생성한다. 시선 상태 판단 단서는, 예를 들어, 참가자가 상호 작용 장치(100) 또는 상호 작용 장치(100)가 탑재된 로봇을 보고 있는 지(즉, eye contact)에 대한 정보를 포함할 수 있다.
움직임 단서 모듈(121_3)은 움직임 감지 모듈(113)로부터 움직임 정보를 수신하며, 수신된 움직임 정보에 기초하여 움직임 상태 판단 단서를 생성한다. 움직임 상태 판단 단서는, 예를 들어, 손짓 또는 몸짓이 있는지에 대한 정보, 몸의 자세에 대한 정보를 포함할 수 있다.
터치 단서 모듈(121_4)은 터치 모듈(114)로부터 터치 정보를 수신하며, 수신된 터치 정보에 기초하여 터치 상태 판단 단서를 생성한다. 터치 상태 판단 단서는, 예를 들어, 참가자가 상호 작용 장치(100) 또는 상호 작용 장치(100)가 탑재된 로봇에 대한 명확한 터치가 있었는지의 여부에 대한 정보를 포함할 수 있다.
참여 행위 상태 결정부(122)는 단서 생성부(121)로부터 복수의 참가자들 각각에 대한 음성 상태 판단 단서, 시선 상태 판단 단서, 움직임 상태 판단 단서, 터치 상태 판단 단서와 같은 상태 판단 단서를 수신하며, 이를 이용하여 복수의 참가자들 각각에 대한 참여 행위 상태를 결정한다. 참여 행위 상태는, 예를 들어, Grap 상태, Release 상태, Wait 상태 및 Keep 상태를 포함할 수 있다.
Grap 상태는 상호 작용의 순서를 가져오려는 상태를 의미한다. 예를 들어, 특정 참가자의 상태 판단 단서들이 발화, 시선 맞춤(eye contact), 터치와 같은 단서들을 포함할 때, 참여 행위 상태 결정부(122)는 해당 참가자의 참여 행위 상태를 Grap 상태로 결정할 수 있다.
Release 상태는 상호 작용의 순서를 다른 참가자에게 넘겨주려는 상태를 의미한다. 예를 들어, 특정 참가자의 상태 판단 단서들이 휴지(pause), 손짓 또는 몸짓이 없음과 같은 단서들을 포함할 때, 참여 행위 상태 결정부(122)는 해당 참가자의 참여 행위 상태를 Release 상태로 결정할 수 있다.
Wait 상태는 상호 작용 순서를 기다리는 상태를 의미한다. 예를 들어, 특정 참가자의 상태 판단 단서들이 상대방의 말에 동의하는 음성 상태 판단 단서를 포함 할 때, 참여 행위 상태 결정부(122)는 해당 참가자의 참여 행위 상태를 Wait 상태로 결정할 수 있다.
Keep 상태는 상호 작용의 순서를 가지고 있는 상태를 의미한다. 예를 들어, 특정 참가자의 상태 판단 단서들이 높은 억양, 일정한 억양, 손짓이나 몸짓과 같은 단서들을 포함할 때, 참여 행위 상태 결정부(122)는 해당 참가자의 참여 행위 상태를 Keep 상태로 결정할 수 있다.
한편, 참여 행위 상태 결정부(122)는 결정된 복수의 참가자들 각각에 대한 참여 행위 상태 정보를 행위 조정부(140)로 전달하며, 행위 조정부(140)는 전달된 복수의 참가자들 각각에 대한 참여 행위 상태 정보를 맞춤형 상호 작용 동작을 지원하는데 사용한다.
도 4는 도 2의 역할 분류부(130)의 구성을 좀 더 자세히 보여주는 블록도이다. 도 4를 참조하면, 역할 분류부(130)는 자극 분석부(131), 참여도 계산부(132) 및 역할 결정부(133)를 포함한다.
자극 분석부(131)는 멀티 모달 센서(110)로부터 복수의 참가자들 각각에 대한 외부 자극 정보를 수신하며, 이를 이용하여 복수의 참가자들 각각에 대한 참여도 팩터를 생성하다. 자극 분석부(131)는 음성 분석 모듈(131_1), 시선 분석 모듈(131_2), 움직임 분석 모듈(131_3) 및 머리 방향 분석 모듈(131_4)을 포함한다.
음성 분석 모듈(131_1)은 음성 감지 모듈(111)로부터 음성 정보를 수신하며, 수신된 음성 정보에 기초하여 음성 참여도 팩터를 생성한다. 음성 참여도 팩터는, 예를 들어, 말을 하고 있는 상태, 일정기간 말이 없는 상태, 일정기간을 초과하여 말이 없는 상태를 포함할 수 있다.
시선 분석 모듈(131_2)은 시선 감지 모듈(112)로부터 시선 방향 정보를 수신하며, 수신된 시선 정보에 기초하여 시선 참여도 팩터를 생성한다. 시선 참여도 팩터는, 예를 들어, 참가자가 상호 작용 장치(100) 또는 상호 작용 장치(100)가 탑재된 로봇을 보고 있는 지(즉, eye contact)에 대한 정보를 포함할 수 있다.
움직임 분석 모듈(131_3)은 움직임 감지 모듈(113)로부터 움직임 정보를 수신하며, 수신된 움직임 정보에 기초하여 움직임 참여도 팩터를 생성한다. 움직임 참여도 팩터는, 예를 들어, 손짓 또는 몸짓이 있는지에 대한 정보, 몸의 자세에 대한 정보를 포함할 수 있다.
머리 방향 분석 모듈(131_4)은 터치 모듈(114)로부터 머리 방향 정보를 수신하며, 수신된 머리 방향 정보에 기초하여 머리 방향 참여도 팩터를 생성한다. 머리 방향 참여도 팩터는, 예를 들어, 참가자의 머리가 로봇을 기준으로 상, 하, 좌, 우 중 어느 방향을 향하고 있는지에 대한 정보를 포함할 수 있다.
참여도 계산부(132)는 자극 분석부(131)로부터 복수의 참가자들 각각에 대한 음성 참여도 팩터, 시선 참여도 팩터, 움직임 참여도 팩터, 머리 방향 참여도 팩터를 수신하며, 이를 이용하여 복수의 참가자들 각각에 대한 참여도를 결정한다.
좀 더 자세히 설명하면, 특정 참가자의 참여도(degree of participation)은 Pd(i)로 표현될 수 있으며, 참여도(Pd(i))를 결정하는 각 팩터들인 음성 참여도 팩터, 시선 참여도 팩터, 움직임 참여도 팩터, 머리 방향 참여도 팩터, 참여 행위 상태 팩터는 각각 Vs(i), Gs(i), Ms(i), Hs(i), As(i)로 표현될 수 있다. 특정 참가자의 참여도(Pd(i))는 음성 참여도 팩터(Vs(i)), 시선 참여도 팩터(Gs(i)), 움직임 참여도 팩터(Ms(i)), 머리 방향 참여도 팩터(Hs(i)), 참여 행위 상태 팩터(As(i))의 집합에 의하여 결정될 수 있다.
구체적으로, 예를 들면, 만약 특정 참가자가 말을 하고 있는 상태에 속한다면, 이는 음성 참여도 팩터(Vs(i)) 및 참여도(Pd(i))에 긍정적인 영향을 준다. 반대로, 만약 특정 참가자가 일정기간 말이 없는 상태 또는 일정기간을 초과하여 말이 없는 상태에 속한다면, 이는 음성 참여도 팩터(Vs(i)) 및 참여도(Pd(i))에 부정적인 영향을 준다.
만약 특정 참가자의 시선이 상호 작용 장치(100) 또는 상호 작용 장치(100)가 탑재된 로봇을 향하고 있다면, 이는 시선 참여도 팩터(Gs(i)) 및 참여도(Pd(i))에 긍정적인 영향을 준다. 반대로, 만약 특정 참가자의 시선이 상호 작용 장치(100) 또는 상호 작용 장치(100)가 탑재된 로봇을 향하고 있지 않다면, 이는 시선 참여도 팩터(Gs(i)) 및 참여도(Pd(i))에 부정적인 영향을 준다.
만약 특정 참가자의 손짓 또는 몸짓이 감지된다면, 이는 움직임 참여도 팩터(Ms(i)) 및 참여도(Pd(i))에 긍정적인 영향을 준다. 반대로, 만약 특정 참가자의 손짓 또는 몸짓이 감지되지 않는다면, 이는 움직임 참여도 팩터(Ms(i)) 및 참여도(Pd(i))에 부정적인 영향을 준다.
만약 특정 참가자의 머리 방향이 상호 작용 장치(100) 또는 상호 작용 장치(100)가 탑재된 로봇을 기준으로 정면을 향하고 있다면, 이는 머리 방향 참여도 팩터(Hs(i)) 및 참여도(Pd(i))에 긍정적인 영향을 준다. 반대로, 만약 특정 참가자의 머리 방향이 상호 작용 장치(100) 또는 상호 작용 장치(100)가 탑재된 로봇을 기준으로 다른 방향을 향하고 있다면, 이는 머리 방향 참여도 팩터(Hs(i)) 및 참여도(Pd(i))에 부정적인 영향을 준다.
이와 같은 참여도(Pd(i))의 계산 방법은 이하의 수학식 1과 같이 표현될 수 있다.
여기서, Pd(X)는 참가자 X에 대한 참여도 값을 나타내며, Fs(i)는 음성 참여도 팩터(Vs(i)), 시선 참여도 팩터(Gs(i)), 움직임 참여도 팩터(Ms(i)), 머리 방향 참여도 팩터(Hs(i)), 참여 행위 상태 팩터(As(i))의 집합을 나타낸다. Fs(i)는 5개의 특성 값을 사용하므로, n=5이다. 또한, 참여도(Pd(i)) 계산 시에 각 참여도 팩터에 대한 가중치를 부여할 수 있다. 가중치는, 수학시 1과 같이, W i 로 표현될 수 있다.
계속해서 도 4를 참조하면, 역할 결정부(133)는 참여도 계산부(132)로부터 복수의 참가자들 각각에 대한 참여도 값을 수신한다. 역할 결정부(133)는 수신된 참여도 값에 기초하여, 복수의 참가자들 각각의 역할을 주 참가자, 청자, 주변 참가자, 구경꾼 중 어느 하나로 결정할 수 있다.
예를 들어, 역할 결정부(133)는 복수의 참가자들 중 참여도 값이 가장 높은 참가자를 주 참가자로 분류할 수 있다. 이 경우, 역할 결정부(133)는 이하의 수학식 2에 의하여 주 참가자를 결정할 수 있다.
여기서, Pd(1), Pd(2) 등은 제 1 참가자, 제 2 참가자 등을 나타내고, Pa(X)는 주 참가자를 나타내며, k는 참가자의 숫자를 나타낸다.
다른 예로, 역할 결정부(133)는 참여도 값의 크기 순서에 따라 복수의 참가자들을 각각 청자, 주변 참가자, 구경꾼의 순서로 분류할 수 있다. 다만, 이는 예시적인 것이며, 역할 결정부(133)는 복수의 참가자들 각각에 대한 참여도 값에 기초하여, 다양한 방법으로 참가자의 역할을 분류할 수 있음이 이해될 것이다.
한편, 역할 결정부(133)는 결정된 복수의 참가자들 각각에 대한 역할 정보를 행위 조정부(140, 도 2 참조)로 전달하며, 행위 조정부(140)는 전달된 복수의 참가자들 각각에 대한 역할 정보를 참여 행위 상태 정보와 함께 맞춤형 상호 작용 동작을 지원하는데 사용한다.
도 5는 도 2의 상호 작용 장치(100)의 동작을 보여주는 순서도이다.
S110 단계에서, 멀티 모달 센서부(110)는 복수의 참가자들 각각에 대한 외부 자극(external stimulus)을 감지하고, 감지된 외부 자극을 참여 행위 상태 분류부(120) 및 역할 분류부(130)에 제공한다. 예를 들어, 멀티 모달 센서부(110)는 복수의 참가자들 각각에 대한 음성 정보, 시선 방향 정보, 움직임 정보, 머리 방향 정보 및/또는 터치 정보를 참여 행위 상태 분류부(120) 및 역할 분류부(130)에 제공한다.
S120 단계에서, 참여 행위 상태 분류부(120)는 수신된 외부 자극 정보에 기초하여 복수의 참여자들 각각의 참여 행위 상태를 결정하고, 역할 분류부(130)는 수신된 외부 자극 정보에 기초하여 복수의 참여자들 각각의 역할을 결정한다. 이 경우, 참여 행위 상태 분류부(120) 및 역할 분류부(130)는 각각 병렬적으로 참여 행위 상태 결정 동작 및 역할 결정 동작을 수행할 수 있다.
예를 들어, 참여 행위 상태 분류부(120)는 복수의 참가자들 각각의 참여 행위 상태를 Grap 상태, Release 상태, Wait 상태, Keep 상태 중 어느 하나로 분류할 수 있다(S121 단계). 역할 분류부(130)는 복수의 참가자들 각각의 역할을 주 참가자, 청자, 주변 참가자, 구경꾼 중 어느 하나로 분류할 수 있다. 참여 행위 상태 분류부(120) 및 역할 분류부(130)는 각각 참여 행위 상태 정보 및 역할 정보를 행위 조정부(140)에 제공한다.
S130 단계에서, 행위 조정부(140)는 수신된 참여 행위 상태 정보 및 역할 정보에 기초하여, 복수의 참가자들 각각에 대한 맞춤형 상호 작용 동작을 수행하도록 상호 작용 장치(100) 또는 상호 작용 장치(100)가 탑재된 로봇을 제어한다.
도 6은 도 4의 역할 분류부(130)의 동작을 보여주는 순서도이다.
S210 단계에서, 자극 분석부(131)는 멀티 모달 센서(110)로부터 복수의 참가자들 각각에 대한 외부 자극 정보를 수신한다.
S220 단계에서, 자극 분석부(131)는 수신된 외부 자극 정보를 이용하여 복수의 참가자들 각각에 대한 참여도 팩터를 생성하다. 자극 분석부(131)는, 예를 들어, 복수의 참가자들 각각에 대한 음성 참여도 팩터, 시선 참여도 팩터, 움직임 참여도 팩터, 머리 방향 참여도 팩터를 생성할 수 있다.
S230 단계에서, 참여도 계산부(132)는 자극 분석부(131)로부터 복수의 참가자들 각각에 대한 음성 참여도 팩터, 시선 참여도 팩터, 움직임 참여도 팩터, 머리 방향 참여도 팩터를 이용하여 복수의 참가자들 각각에 대한 참여도 값을 계산한다.
S240 단계에서, 역할 결정부(133)는 복수의 참가자들 각각에 대한 참여도 값에 기초하여, 복수의 참가자들 각각의 역할을 주 참가자, 청자, 주변 참가자, 구경꾼 중 어느 하나로 결정할 수 있다. 예를 들어, 역할 결정부(133)는 참여도 값의 크기 순서에 따라 복수의 참가자들을 각각 청자, 주변 참가자, 구경꾼의 순서로 분류할 수 있다.
상술한 바와 같이, 본 출원의 기술적 사상에 따른 상호 작용 장치(100)는 참여도 값에 따라 복수의 참가자들의 역할을 분류하고, 참가자들 각각에 대한 역할 및 참여 행위 상태에 기초하여 참가자들 각각에 대한 맞춤형 상호 작용을 제공할 수 있다. 따라서, 상호 작용 장치(100)는 자연스러운 상호 작용을 수행할 수 있다.
도 7은 본 출원의 기술적 사상의 다른 실시 예에 따른 상호 작용 장치(200)를 보여주는 도면이다. 도 7의 상호 작용 장치(200)는 도 2의 상호 작용 장치(100)와 유사하다. 따라서, 명확한 설명을 위하여, 유사한 구성 요소는 유사한 참조 번호를 사용하여 설명된다. 또한, 간략한 설명을 위하여, 도 2의 상호 작용 장치(100)와 동일 또는 유사한 구성 요소에 대한 설명은 생략된다.
도 7을 참조하면, 상호 작용 장치(200)는 멀티 모달 센서부(210), 참여 행위 상태 분류부(220), 역할 분류부(230), 행위 조정부(240) 및 제어부(250)를 포함한다.
도 2의 상호 작용 장치(100)의 참여 행위 상태 분류부(120)와 달리, 도 7의 참여 행위 상태 분류부(220)는 참여 행위 상태 정보를 역할 분류부(230)에 제공한다. 역할 분류부(230)는 역할 결정부(233)를 포함하며, 역할 결정부(233)는 수신된 참여 행위 상태 정보를 참조하여 복수의 참가자들 각각에 대한 역할을 결정한다.
다시 말하면, 역할 결정부(233)는 역할 분류부(230)에서 계산한 복수의 참가자들 각각에 대한 참여도 값 뿐만 아니라, 참여 행위 상태 분류부(220)로부터 수신된 복수의 참가자들 각각에 대한 참여 행위 상태 정보를 이용하여 복수의 참가자들 각각에 대한 역할을 결정할 수 있다.
예를 들어, 역할 결정부(233)는 복수의 참가자들 중 참여도가 높으나 상호 작용 순서를 기다리는 참여 행위 상태의 참가자를 청자(30)로 분류하며, 복수의 참가자들 중 참여도가 낮으나 상호 작용 순서를 기다리는 참가자를 주변 참가자(40)로 분류할 수 있다. 다만, 이는 예시적인 것이며, 역할 결정부(233)는 참여 행위 상태 정보 및 역할 정보의 다양한 조합을 이용하여, 복수의 참가자들의 역할을 다양하게 분류할 수 있음이 이해될 것이다.
도 8은 본 출원의 기술적 사상의 다른 실시 예에 따른 상호 작용 장치(300)를 보여주는 도면이다. 도 8의 상호 작용 장치(300)는 도 2의 상호 작용 장치(100)와 유사하다. 따라서, 명확한 설명을 위하여, 유사한 구성 요소는 유사한 참조 번호를 사용하여 설명된다. 또한, 간략한 설명을 위하여, 도 2의 상호 작용 장치(100)와 동일 또는 유사한 구성 요소에 대한 설명은 생략된다.
도 8을 참조하면, 상호 작용 장치(300)는 참여 행위 상태 분류부(320), 역할 분류부(330), 행위 조정부(340) 및 제어부(350)를 포함한다.
도 2의 상호 작용 장치(100)의 참여 행위 상태 분류부(120)와 달리, 도 8의 상호 작용 장치(300)는 멀티 모달 센서부를 포함하지 않는다. 다시 말하면, 도 8의 상호 작용 장치(300)는 외부에 설치된 멀티 모달 센서로부터 복수의 참가자들 각각에 대한 외부 자극 정보를 수신한다. 이 경우, 참여 행위 상태 분류부(320) 및 역할 분류부(330)는 각각 유선 또는 무선을 통하여 외부로부터 복수의 참가자들 각각에 대한 외부 자극 정보를 수신할 수 있다.
한편, 상술한 설명은 예시적인 것이며, 본 출원의 기술적 사상은 이에 한정되지 않음이 이해될 것이다. 본 출원의 기술분야에서 통상의 지식을 가진 자는 본 출원의 기술적 사상의 범주 내에서 상술한 본 출원의 실시 예들을 다양한 방식으로 변형, 적용 및/또는 응용할 수 있으며, 이러한 변형 예, 적용 예 및/또는 응용 예들은 모두 본 출원의 기술적 사상의 범주에 속함이 또한 이해될 것이다.
10: 상호 작용 시스템
20: 주 참가자
30: 청자
40: 주변 참가자
50: 구경꾼
100, 200, 300: 상호 작용 장치
110, 210: 멀티 모달 센서부
120, 220, 320: 참여 행위 상태 분류부
130, 230, 330: 역할 분류부
140, 240, 340: 행위 조정부
150, 250, 350: 제어부
20: 주 참가자
30: 청자
40: 주변 참가자
50: 구경꾼
100, 200, 300: 상호 작용 장치
110, 210: 멀티 모달 센서부
120, 220, 320: 참여 행위 상태 분류부
130, 230, 330: 역할 분류부
140, 240, 340: 행위 조정부
150, 250, 350: 제어부
Claims (20)
- 복수의 참가자들 각각에 대한 외부 자극을 감지하는 멀티 모달 센서부;
복수의 참가자들 각각에 대한 외부 자극 신호에 기초하여, 상기 복수의 참가자들 각각의 역할을 분류하는 역할 분류부;
복수의 참가자들 각각에 대한 외부 자극 신호에 기초하여, 상기 복수의 참가자들 각각의 참여 행위 상태를 분류하는 참여 행위 상태 분류부; 및
상기 복수의 참가자들 각각에 대한 역할 및 상기 복수의 참가자들 각각의 참여 행위 상태 중 적어도 하나에 기초하여, 상기 복수의 참가자들 각각에 대하여 서로 다른 상호 작용 동작을 수행하는 행위 조정부를 포함하는 상호 작용 장치. - 제 1 항에 있어서,
상기 역할 분류부는
상기 복수의 참가자들 각각에 대한 외부 자극 정보를 분석하는 자극 분석부;
상기 외부 자극 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 참여도 값을 계산하는 참여도 계산부; 및
상기 복수의 참가자들 각각에 대한 참여도 값에 기초하여, 상기 복수의 참가자들 각각의 역할을 결정하는 역할 결정부를 포함하는 상호 작용 장치. - 제 2 항에 있어서,
상기 자극 분석부는
상기 복수의 참가자들 각각에 대한 음성 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 음성 참여도 팩터를 생성하는 음성 분석 모듈;
상기 복수의 참가자들 각각에 대한 시선 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 시선 참여도 팩터를 생성하는 시선 분석 모듈;
상기 복수의 참가자들 각각에 대한 움직임 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 움직임 참여도 팩터를 생성하는 움직임 분석 모듈; 및
상기 복수의 참가자들 각각에 대한 머리 방향 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 머리 방향 참여도 팩터를 생성하는 머리 방향 분석 모듈을 포함하는 상호 작용 장치. - 제 3 항에 있어서,
상기 참여도 계산부는 상기 음성 참여도 팩터, 상기 시선 참여도 팩터, 상기 움직임 참여도 팩터 및 상기 머리 방향 참여도 팩터에 기초하여, 상기 복수의 참가자들 각각에 대한 참여도 값을 계산하는 상호 작용 장치. - 제 4 항에 있어서,
상기 참여도 계산부는 상기 음성 참여도 팩터, 상기 시선 참여도 팩터, 상기 움직임 참여도 팩터 및 상기 머리 방향 참여도 팩터에 서로 다른 가중치를 부여하여 상기 복수의 참가자들 각각에 대한 참여도 값을 계산하는 상호 작용 장치. - 제 1 항에 있어서, 참여 행위 상태 분류부는,
복수의 참가자들 각각의 참여 행위 상태를 상호 작용의 순서를 가져오려는 상태인 Grap 상태, 상호 작용의 순서를 다른 참가자에게 넘겨주려는 상태인 Release 상태, 상호 작용 순서를 기다리는 상태인 Wait 상태 및 상호 작용의 순서를 가지고 있는 상태인 Keep 상태 중 어느 하나로 분류하는, 상호 작용 장치. - 제 6 항에 있어서,
상기 참여 행위 상태 분류부는
상기 복수의 참가자들 각각에 대한 외부 자극 신호에 기초하여, 상기 복수의 참가자들 각각에 대한 상태 판단 단서를 생성하는 단서 생성부; 및
상기 복수의 참가자들 각각에 대한 상태 판단 단서에 기초하여, 상기 복수의 참가자들 각각의 참여 행위 상태를 결정하는 참여 행위 상태 결정부를 포함하는 상호 작용 장치. - 제 7 항에 있어서,
상기 단서 생성부는
상기 복수의 참가자들 각각에 대한 음성 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 음성 상태 판단 단서를 생성하는 음성 단서 모듈;
상기 복수의 참가자들 각각에 대한 시선 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 시선 상태 판단 단서를 생성하는 시선 단서 모듈;
상기 복수의 참가자들 각각에 대한 움직임 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 움직임 상태 판단 단서를 생성하는 움직임 단서 모듈; 및
상기 복수의 참가자들 각각에 대한 터치 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 터치 상태 판단 단서를 생성하는 터치 단서 모듈을 포함하는 상호 작용 장치. - 제 8 항에 있어서,
상기 참여 행위 상태 결정부는 상기 음성 상태 판단 단서, 상기 시선 상태 판단 단서, 상기 움직임 상태 판단 단서, 상기 터치 상태 판단 단서 중 적어도 하나에 기초하여 상기 복수의 참가자들 각각의 참여 행위 상태를 결정하는 상호 작용 장치. - 제 1 항에 있어서,
상기 행위 조정부는 상기 복수의 참가자들 각각의 역할 및 상기 복수의 참가자들 각각의 참여 행위 상태에 기초하여, 상기 복수의 참가자들 각각에 대하여 서로 다른 상호 작용 동작을 수행하는 상호 작용 장치. - 제 1 항에 있어서,
상기 역할 분류부는 상기 복수의 참가자들 각각에 대한 외부 자극 신호 및 상기 복수의 참가자들 각각에 대한 참여 행위 상태에 기초하여, 상기 복수의 참가자들 각각의 역할을 분류하는 상호 작용 장치. - 제 1 항에 있어서, 역할 분류부는,
복수의 참가자들 각각의 역할을 주 참가자, 청자, 주변 참가자, 구경꾼 중 어느 하나로 분류하는 상호 작용 장치. - 제 12 항에 있어서,
상기 멀티 모달 센서부는
상기 복수의 참가자들 각각에 대한 음성을 감지하는 음성 감지 모듈;
상기 복수의 참가자들 각각에 대한 시선, 움직임, 머리 방향 중 적어도 하나를 감지하는 영상 감지 모듈; 및
상기 복수의 참가자들 각각에 대한 터치 행위를 감지하는 터치 감지 모듈을 포함하는 상호 작용 장치. - 멀티 모달 센서부로부터 복수의 참가자들 각각에 대한 외부 자극 정보를 수신하는 단계;
상기 복수의 참가자들 각각에 대한 외부 자극 정보에 기초하여, 상기 복수의 참가자들 각각의 참여 행위 상태를 결정하는 단계;
상기 복수의 참가자들 각각에 대한 외부 자극 정보에 기초하여, 상기 복수의 참가자들 각각의 역할을 결정하는 단계; 및
상기 복수의 참가자들 각각의 참여 행위 상태 또는 상기 복수의 참가자들 각각의 역할 중 적어도 하나에 기초하여, 상기 복수의 참가자들에 대하여 서로 다른 상호 작용 동작을 수행하는 단계를 포함하는 상호 작용 방법. - 제 14 항에 있어서,
상기 복수의 참가자들 각각의 참여 행위 상태를 결정하는 단계와 상기 복수의 참가자들 각각의 역할을 결정하는 단계는 병렬적으로 수행되는 상호 작용 방법. - 제 14 항에 있어서,
상기 복수의 참가자들 각각의 참여 행위 상태를 결정하는 단계는 상기 복수의 참가자들 각각의 역할을 결정하는 단계에 선행하여 수행되며,
상기 복수의 참가자들 각각의 역할을 결정하는 단계는 상기 복수의 참가자들 각각에 대한 외부 자극 정보 및 상기 복수의 참가자들 각각의 참여 행위 상태에 기초하여 상기 복수의 참가자들 각각의 역할을 결정하는 상호 작용 방법. - 제 14 항에 있어서,
상기 복수의 참가자들 각각의 역할을 결정하는 단계는
상기 복수의 참가자들 각각에 대한 외부 자극 정보에 기초하여, 상기 복수의 참가자들 각각에 대한 참여도 팩터를 생성하는 단계;
상기 복수의 참가자들 각각에 대한 참여도 팩터에 기초하여, 상기 복수의 참가자들 각각의 참여도를 계산하는 단계; 및
상기 복수의 참가자들 각각의 참여도에 기초하여, 상기 복수의 참가자들 각각의 역할을 분류하는 단계를 포함하는 상호 작용 방법. - 제 17 항에 있어서,
상기 참여도 팩터는 음성에 대한 정보, 시선에 대한 정보, 움직임에 대한 정보 그리고 머리 방향에 대한 정보 중 적어도 하나를 이용하여 생성되는 상호 작용 방법. - 제 18 항에 있어서,
상기 참여도는 상기 음성에 대한 정보, 시선에 대한 정보, 움직임에 대한 정보 그리고 머리 방향에 대한 정보 중 적어도 하나에 가중치를 부여하여 계산되는 상호 작용 방법. - 복수의 참가자들 각각에 대한 외부 자극을 감지하는 멀티 모달 센서부;
복수의 참가자들 각각에 대한 외부 자극 신호에 기초하여, 상기 복수의 참가자들 각각의 역할을 분류하는 역할 분류부;
상기 복수의 참가자들 각각에 대한 외부 자극 신호에 기초하여, 상기 복수의 참가자들 각각의 참여 행위 상태를 분류하는 참여 행위 상태 분류부; 및
상기 복수의 참가자들 각각의 역할 및 상기 복수의 참가자들 각각의 행위 상태에 기초하여, 상기 복수의 참가자들 각각에 대하여 서로 다른 상호 작용 동작을 수행하는 행위 조정부를 포함하되,
참여 행위 상태 분류부는,
복수의 참가자들 각각의 참여 행위 상태를 상호 작용의 순서를 가져오려는 상태인 Grap 상태, 상호 작용의 순서를 다른 참가자에게 넘겨주려는 상태인 Release 상태, 상호 작용 순서를 기다리는 상태인 Wait 상태 및 상호 작용의 순서를 가지고 있는 상태인 Keep 상태 중 어느 하나로 분류하고,
역할 분류부는,
복수의 참가자들 각각의 역할을 주 참가자, 청자, 주변 참가자, 구경꾼 중 어느 하나로 분류하는, 로봇.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160034779A KR102558873B1 (ko) | 2016-03-23 | 2016-03-23 | 상호 작용 장치 및 그것의 상호 작용 방법 |
| US15/466,085 US10596708B2 (en) | 2016-03-23 | 2017-03-22 | Interaction device and interaction method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160034779A KR102558873B1 (ko) | 2016-03-23 | 2016-03-23 | 상호 작용 장치 및 그것의 상호 작용 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170110417A KR20170110417A (ko) | 2017-10-11 |
| KR102558873B1 true KR102558873B1 (ko) | 2023-07-25 |
Family
ID=59897034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160034779A KR102558873B1 (ko) | 2016-03-23 | 2016-03-23 | 상호 작용 장치 및 그것의 상호 작용 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10596708B2 (ko) |
| KR (1) | KR102558873B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102616403B1 (ko) * | 2016-12-27 | 2023-12-21 | 삼성전자주식회사 | 전자 장치 및 그의 메시지 전달 방법 |
| CN108182942B (zh) * | 2017-12-28 | 2021-11-26 | 瑞芯微电子股份有限公司 | 一种支持不同虚拟角色交互的方法和装置 |
| KR102168802B1 (ko) | 2018-09-20 | 2020-10-22 | 한국전자통신연구원 | 상호 작용 장치 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010110864A (ja) | 2008-11-06 | 2010-05-20 | Nec Corp | ロボットシステム、コミュニケーション活性化方法及びプログラム |
| JP2010128281A (ja) | 2008-11-28 | 2010-06-10 | Waseda Univ | 対話活性化システム及び対話活性化ロボット |
| JP2012076162A (ja) * | 2010-09-30 | 2012-04-19 | Waseda Univ | 会話ロボット |
| JP2016032261A (ja) * | 2014-07-30 | 2016-03-07 | Kddi株式会社 | 集中度推定装置、方法及びプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR0136501B1 (ko) | 1994-12-21 | 1998-07-01 | 양승택 | 신호중계교환기 운용관리시스템의 제어방법 |
| WO2006069358A2 (en) | 2004-12-22 | 2006-06-29 | Enterprise Integration Group | Turn-taking model |
| US20110153079A1 (en) | 2009-12-18 | 2011-06-23 | Electronics And Telecommunication Research Institute | Apparatus and method for distributing and monitoring robot application and robot driven thereby |
| US9619018B2 (en) * | 2011-05-23 | 2017-04-11 | Hewlett-Packard Development Company, L.P. | Multimodal interactions based on body postures |
| KR101295003B1 (ko) * | 2011-10-12 | 2013-08-16 | 한국과학기술연구원 | 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법 |
| US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
| CA2904359A1 (en) * | 2013-03-15 | 2014-09-25 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
| US20180009118A1 (en) * | 2015-02-17 | 2018-01-11 | Nec Corporation | Robot control device, robot, robot control method, and program recording medium |
-
2016
- 2016-03-23 KR KR1020160034779A patent/KR102558873B1/ko active IP Right Grant
-
2017
- 2017-03-22 US US15/466,085 patent/US10596708B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010110864A (ja) | 2008-11-06 | 2010-05-20 | Nec Corp | ロボットシステム、コミュニケーション活性化方法及びプログラム |
| JP2010128281A (ja) | 2008-11-28 | 2010-06-10 | Waseda Univ | 対話活性化システム及び対話活性化ロボット |
| JP2012076162A (ja) * | 2010-09-30 | 2012-04-19 | Waseda Univ | 会話ロボット |
| JP2016032261A (ja) * | 2014-07-30 | 2016-03-07 | Kddi株式会社 | 集中度推定装置、方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170274535A1 (en) | 2017-09-28 |
| US10596708B2 (en) | 2020-03-24 |
| KR20170110417A (ko) | 2017-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11398067B2 (en) | Virtual reality presentation of body postures of avatars | |
| Xu et al. | Earbuddy: Enabling on-face interaction via wireless earbuds | |
| Nakano et al. | Estimating user's engagement from eye-gaze behaviors in human-agent conversations | |
| CN107199571B (zh) | 机器人控制系统 | |
| US11452941B2 (en) | Emoji-based communications derived from facial features during game play | |
| JP6798484B2 (ja) | 情報処理システム、制御方法、およびプログラム | |
| KR20180102871A (ko) | 이동단말기 및 이동단말기의 차량 제어 방법 | |
| Kondo et al. | A gesture-centric android system for multi-party human-robot interaction | |
| KR102558873B1 (ko) | 상호 작용 장치 및 그것의 상호 작용 방법 | |
| KR102490916B1 (ko) | 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체 | |
| US20210081044A1 (en) | Measurement of Facial Muscle EMG Potentials for Predictive Analysis Using a Smart Wearable System and Method | |
| CN106503786B (zh) | 用于智能机器人的多模态交互方法和装置 | |
| JP5975947B2 (ja) | ロボットを制御するためのプログラム、及びロボットシステム | |
| KR20190089451A (ko) | 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 | |
| Matsusaka et al. | Conversation robot participating in group conversation | |
| US11376742B2 (en) | Robot and method of controlling the same | |
| Sugiyama et al. | Natural deictic communication with humanoid robots | |
| CN115398879A (zh) | 用于以增强现实进行通信的电子装置及其方法 | |
| JP7259447B2 (ja) | 発話者検出システム、発話者検出方法及びプログラム | |
| Tasaki et al. | Dynamic communication of humanoid robot with multiple people based on interaction distance | |
| Jarosz et al. | Multi-Platform Intelligent System for Multimodal Human-Computer Interaction. | |
| Anzalone et al. | Multimodal people engagement with iCub | |
| Mead et al. | Toward robot adaptation of human speech and gesture parameters in a unified framework of proxemics and multimodal communication | |
| Mori et al. | Analysis of body behaviours in human-human and human-robot interactions | |
| Jeong et al. | mGlove: Enhancing user experience through hand gesture recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |