KR20180072978A - 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치 - Google Patents
홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치 Download PDFInfo
- Publication number
- KR20180072978A KR20180072978A KR1020160176320A KR20160176320A KR20180072978A KR 20180072978 A KR20180072978 A KR 20180072978A KR 1020160176320 A KR1020160176320 A KR 1020160176320A KR 20160176320 A KR20160176320 A KR 20160176320A KR 20180072978 A KR20180072978 A KR 20180072978A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- user
- home robot
- robot apparatus
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 66
- 230000004913 activation Effects 0.000 title 1
- 230000008451 emotion Effects 0.000 claims description 125
- 238000009826 distribution Methods 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 claims description 11
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 210000001503 joint Anatomy 0.000 description 50
- 230000008921 facial expression Effects 0.000 description 21
- 210000003128 head Anatomy 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000002996 emotional effect Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000611 regression analysis Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- 241000195493 Cryptophyta Species 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 210000001226 toe joint Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0003—Home robots, i.e. small robots for domestic use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39254—Behaviour controller, robot have feelings, learns behaviour
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40116—Learn by operator observation, symbiosis, show, watch
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Manipulator (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Signal Processing (AREA)
Abstract
본 발명의 실시 예는 지정된 동작 실행 정보를 저장하는 메모리, 홈 로봇 장치의 동작을 수행하는 운동 모듈, 상기 메모리 및 상기 운동 모듈과 전기적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 지정된 동작 실행 정보에 따라 상기 운동 모듈을 운용하여 동작을 수행하고, 사용자의 피드백 정보를 획득하고, 상기 사용자의 피드백 정보를 기반으로 상기 지정된 동작 실행 정보의 적어도 일부를 변경한 변형된 동작 실행 정보를 생성하고, 상기 변형된 동작 실행 정보에 따라 상기 홈 로봇 장치의 동작을 수행하되, 상기 동작 실행 정보를 생성과 관련하여, 상기 지정된 동작 실행 정보와 관련한 확률 모델에서 상기 홈 로봇 장치의 적어도 하나의 관절 또는 관절에 연계된 적어도 하나의 지지대의 움직임 변화를 선택하도록 설정된 홈 로봇 장치를 개시한다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.
Description
본 발명의 다양한 실시 예는 홈 로봇 장치에 관한 것이다.
최근 홈 로봇 장치가 다양화되면서, 많은 사람들이 홈 로봇 장치를 이용하고 있다. 홈 로봇 장치는 청소를 위한 로봇 장치나, 집 지킴 로봇 장치 등 다양한 가사 업무를 지원하는 형태로 발전하고 있으며, 또한, 공부 지원 서비스나 자료 검색 서비스를 제공하는 형태로도 발전하고 있다.
상술한 종래 홈 로봇 장치는 설계 시, 세팅된 움직임이나 알고리즘을 기반으로 동작하거나 안내 정보를 출력하는 형태이기 때문에, 장치의 동작이 사용자의 다양한 니즈를 만족할 수 없는 문제가 있었다. 예컨대, 애완용 로봇 장치의 경우, 정해진 움직임만을 반복하여 제공하기 때문에, 사용자가 쉽게 흥미를 잃게 하거나 지루함을 느끼는 문제가 있었다. 또한, 종래 로봇 장치의 움직임 설계 후, 설계된 움직임을 다른 종류의 로봇 장치에 적용할 수 없어, 새로운 로봇 장치 제작 시마다 로봇 장치의 움직임을 새롭게 생성해야 하는 문제가 있었다.
본 발명의 다양한 실시 예들은 서로 다른 관절과 지지대 수를 가진 전자 장치의 움직임을 수집하더라도, 로봇 장치의 움직임에 적용할 수 있는 형태로 변형 및 변환하여, 로봇 동작의 호환성을 개선할 수 있는 홈 로봇 장치 운용 방법 및 이를 지원하는 홈 로봇 장치를 제공함에 있다.
본 발명의 다양한 실시 예들은 로봇의 동작을 다양하게 변화시키되 사용자의 선호도를 개선할 수 있는 방향으로 변경할 수 있도록 하는 홈 로봇 장치 운용 방법 및 이를 지원하는 홈 로봇 장치를 제공함에 있다.
본 발명의 다양한 실시 예들은 로봇 동작과 관련한 움직임 요소를 다양한 형태로 조합하고 변환할 수 있도록 하여 반복된 로봇 동작이 발생하지 않고 보다 자연스러운 동작을 수행할 수 있도록 하는 홈 로봇 장치 운용 방법 및 이를 지원하는 홈 로봇 장치를 제공함에 있다.
본 발명의 다양한 실시 예에 따른 홈 로봇 장치는 지정된 동작 실행 정보를 저장하는 메모리, 홈 로봇 장치의 동작을 수행하는 운동 모듈, 상기 메모리 및 상기 운동 모듈과 전기적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 지정된 동작 실행 정보에 따라 상기 운동 모듈을 운용하여 동작을 수행하고, 사용자의 피드백 정보를 획득하고, 상기 사용자의 피드백 정보를 기반으로 상기 지정된 동작 실행 정보의 적어도 일부를 변경한 변형된 동작 실행 정보를 생성하고, 상기 변형된 동작 실행 정보에 따라 상기 홈 로봇 장치의 동작을 수행하되, 상기 동작 실행 정보를 생성과 관련하여, 상기 지정된 동작 실행 정보와 관련한 확률 모델에서 상기 홈 로봇 장치의 적어도 하나의 관절 또는 관절에 연계된 적어도 하나의 지지대의 움직임 변화를 선택하도록 설정될 수 있다.
본 발명의 다양한 실시 예에 따른 홈 로봇 장치의 동작 운용 방법은 지정된 동작 실행 정보를 기반으로 홈 로봇 장치의 동작을 수행하는 과정, 사용자의 피드백 정보를 획득하는 과정, 상기 사용자의 피드백 정보를 기반으로 상기 지정된 동작 실행 정보의 적어도 일부를 변경한 변형된 동작 실행 정보를 생성하는 과정, 상기 변형된 동작 실행 정보에 따라 상기 홈 로봇 장치의 동작을 수행하는 과정을 포함하고, 상기 동작 실행 정보를 생성하는 과정은 상기 지정된 동작 실행 정보와 관련한 확률 모델에서 상기 홈 로봇 장치의 적어도 하나의 관절 또는 관절에 연계된 적어도 하나의 지지대의 움직임 변화를 선택하는 동작을 포함할 수 있다.
상술한 바와 같이 다양한 실시 예들은 홈 로봇 장치와 사용자 간의 감정 교류를 보다 원활하고 상세하게 할 수 있도록 하며, 홈 로봇 장치로 인한 흥미 유발과 흥미의 지속성을 제공할 수 있다. 또한, 본 발명의 다양한 실시 예들은 로봇 장치들 간의 움직임 호환성을 높이고, 보다 자연스럽고 새로운 동작을 수행할 수 있도록 한다.
도 1은 본 발명의 실시 예에 따른 홈 로봇 장치 운용 환경의 한 예를 나타낸 도면이며, 도 2는 본 발명의 실시 예에 따른 홈 로봇 장치 구성의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 홈 로봇 장치의 프로세서의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 변환을 설명하는 도면이다.
도 5는 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 변형의 한 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 변형의 다른 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 홈 로봇 동작의 학습과 관련한 도면이다.
도 8은 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 운용 방법 중 초기 동작 정보 생성 방법의 한 예를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 운용 방법의 한 예를 나타낸 도면이다.
도 10은 본 발명의 실시 예에 따른 사용자 선호 정보 수집 방법의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 홈 로봇 장치의 프로세서의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 변환을 설명하는 도면이다.
도 5는 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 변형의 한 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 변형의 다른 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 홈 로봇 동작의 학습과 관련한 도면이다.
도 8은 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 운용 방법 중 초기 동작 정보 생성 방법의 한 예를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 운용 방법의 한 예를 나타낸 도면이다.
도 10은 본 발명의 실시 예에 따른 사용자 선호 정보 수집 방법의 한 예를 나타낸 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 전자 장치는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC (desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라 모듈, 또는 웨어러블 전자 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 발명의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치 (예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 실시 예에 따른 홈 로봇 장치 운용 환경의 한 예를 나타낸 도면이며, 도 2는 본 발명의 실시 예에 따른 홈 로봇 장치 구성의 한 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 홈 로봇 장치 운용 환경(1000)은 동작 정보 제공 소스(10) 및 홈 로봇 장치(100)를 포함할 수 있다.
상기 동작 정보 제공 소스(10)는 행동 또는 움직임을 발생시킬 수 있는 사람(11)(또는 그에 대응하는 로봇 장치), 행동 또는 움직임을 발생시킬 수 있는 동물(12)(또는 그에 대응하는 로봇 장치), 행동 또는 움직임에 대응하는 객체를 출력하는 전자 장치(13) 중 적어도 하나를 포함할 수 있다. 상기 사람(11), 동물(12) 또는 전자 장치(13)의 디스플레이를 통해 출력되는 이미지에 포함된 객체는 적어도 하나의 관절과, 관절을 통해 연결된 복수개의 지지대를 포함할 수 있다. 예컨대, 사람(11)의 경우, 상기 관절은 팔목 관절, 팔꿈치 관절, 어깨 관절, 목 관절, 허리 관절, 무릎 관절, 발목 관절, 고관절, 손가락 관절, 발가락 관절 등 다양한 관절을 포함할 수 있다. 상기 지지대는 사람(11)의 경우 상기 팔목 관절이 연결하는 손과 팔의 하박, 상기 어깨 관절이 연결하는 팔의 하박과 몸통 등을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 동작 정보 제공 소스(10)는 홈 로봇 장치(100)가 카메라(180)를 이용하여 피사체를 촬영하고, 촬영된 영상 분석을 통하여 외부 동작 정보를 수집하는 실시 예를 기준으로 기재한 것으로, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 동작 정보 제공 소스(10)는 외부 동작 정보 또는 외부 동작 정보에 대응하는 영상 분석된 자료가 저장된 메모리 장치를 포함할 수 있다. 이 경우, 상기 홈 로봇 장치(100)는 통신 회로(170)를 이용하여 동작 정보 제공 소스(10)와 통신 채널을 형성하고, 상기 통신 채널을 기반으로 외부 동작 정보를 수신할 수 있다. 상기 외부 동작 정보는 예컨대, 적어도 하나의 관절 정보(예: 관절의 움직임 방향 정보) 및 상기 관절의 적어도 일측과 연결된 지지대의 움직임 정보(예: 상기 지지대의 길이, 폭, 회전 방향이나 다른 지지대와의 상대적 거리나 상대적 거리의 변화에 대한 정보 등)을 포함할 수 있다. 또한, 상기 외부 동작 정보는 특정 관절을 기준으로 지지대의 이동 방향, 이동 거리, 이동 속도 중 적어도 하나의 정보를 포함할 수 있다.
상기 홈 로봇 장치(100)는 카메라(180)(예: RGB 카메라, Depth 카메라 등)를 이용하여 상기 동작 정보 제공 소스(10)로부터 외부 동작 정보를 수집할 수 있다. 상기 홈 로봇 장치(100)는 상기 수집된 외부 동작 정보를 자신의 바디(101) 조건에 맞도록 변환하여 운용할 수 있다. 이와 관련하여, 상기 홈 로봇 장치(100)는 초기 동작 정보(또는 지정된 동작 실행 정보) 생성을 수행할 수 있다. 또는, 상기 홈 로봇 장치(100)는 외부 전자 장치로부터 초기 동작 정보를 통신 채널을 통해 수신할 수도 있다.
다양한 실시 예에 따르면, 상기 홈 로봇 장치(100)는 메모리(130)에 저장된 초기 동작 정보를 지정된 알고리즘(예: 동작 변형 알고리즘)을 기반으로 변형하고, 변형된 동작을 수행할 수 있다. 상기 홈 로봇 장치(100)는 변형된 동작을 수행하면서, 사용자의 선호도를 수집하고, 수집된 선호도에 따라 어떠한 형태로 동작을 변형할지를 결정한 후, 변형된 동작을 출력할 수 있다.
상술한 본 발명의 홈 로봇 장치(100)는 예컨대, 사람(11)의 동작 데이터를 활용하고, 사용자의 피드백(또는 사용자 선호도 값)을 이용하여 자연스럽고 사용자가 공감할 수 있는 동작을 자동으로 생성 및 운용할 수 있다. 예컨대, 상기 홈 로봇 장치(100)는 초기 동작 정보에 대한 확률적 모델과 학습 결과를 이용하여 홈 로봇 장치의 동작을 자동으로 새롭게 생성할 수 있다. 또한, 본 발명의 홈 로봇 장치(100)는 장치의 기구적 차이에도 대응(예: 관절의 위치와 수가 다른 동작 데이터를 기반의 자신의 동작 실행 정보를 생성 가능)할 수 있으며, 매번 새로운 동작을 생성할 수 있어 사용자의 홈 로봇 장치 만족도를 개선할 수 있다. 이와 관련하여, 예컨대, 상기 홈 로봇 장치(100)는 사람(11)의 동작 데이터를 장치의 초기 동작 정보(또는 지정된 동작 실행 정보)로 자동 변환하고, 이를 다양하게 변형하여, 홈 로봇 장치(100)가 변형할 수 있는 동작 범위에 대한 탐색 영역을 넓힐 수 있다.
도 1 및 도 2를 참조하면, 상기 홈 로봇 장치(100)는 바디(101), 프로세서(120), 메모리(130), 마이크(140), 카메라(180), 운동 제어 회로(190) 및 운동 모듈(191)을 포함할 수 있다. 추가적으로, 상기 홈 로봇 장치(100)는 스피커(150), 디스플레이(160), 통신 회로(170)를 더 포함할 수 있다.
상기 바디(101)는 홈 로봇 장치(100)의 외관을 형성할 수 있다. 상기 바디(101)의 적어도 일부는 비금속 재질 또는 금속 재질로 마련될 수 있다. 상기 바디(101)는 예컨대, 상기 운동 모듈(191), 프로세서(120)와 메모리(130), 운동 제어 회로(190) 등이 안착된 인쇄회로기판 등이 내장될 수 있는 하우징을 포함할 수 있다. 상기 바디(101)의 적어도 일측에는 적어도 일부가 외부로 노출되는 디스플레이(160)를 포함할 수 있다. 또한, 상기 바디(101) 일측에는 마이크(140) 및 스피커(150)가 배치될 수 있다. 도시된 도면에서, 상기 바디(101)는 동물의 형상으로 도시하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 바디(101)는 조류나, 어류 등 다양한 동물의 형태로 마련될 수 있고, 곤충 등의 형태로도 마련될 수 있다. 상기 바디(101)의 일측에는 관절 장치(102) 및 관절 장치(102)에 연결되는 지지대(103)가 배치될 수 있다.
상기 메모리(130)는 상기 홈 로봇 장치(100) 운용과 관련한 적어도 하나의 어플리케이션 및 데이터를 저장할 수 있다. 한 실시 예에 따르면, 상기 메모리(130)는 외부 동작 정보, 초기 동작 정보(또는 지정된 동작 실행 정보), 변형된 동작 실행 정보 등을 저장할 수 있다. 또한, 상기 메모리(130)는 외부 동작 정보에서 초기 동작을 생성하는 초기 동작 생성 어플리케이션, 초기 동작을 일정 알고리즘에 따라 변형하는 동작 변형 어플리케이션 중 적어도 하나를 포함할 수 있다. 상기 메모리(130)에 저장된 데이터 또는 어플리케이션들은 상기 프로세서(120)에 의해 실행되어, 본 발명의 실시 예에 따른 동작 자동 생성 및 운용에 이용될 수 있다.
상기 마이크(140)는 외부 오디오 신호를 수집할 수 있도록 바디(101) 일측에 배치될 수 있다. 한 실시 예에 따르면, 상기 마이크(140)는 지정된 사용자의 음성 신호를 수집할 수 있다. 상기 마이크(140)가 수집한 음성 신호는 프로세서(120)에 전달되고, 사용자 감정 정보 획득 또는 사용자 선호도 분석에 이용될 수 있다. 이와 관련하여, 상기 메모리(130)는 음성 신호를 기반으로 사용자 선호도를 분석할 수 있는 분석 알고리즘을 저장할 수 있다.
상기 분석 알고리즘은 상기 음성 신호에서 사용자의 감정을 판별할 수 있는 음성 특징 벡터를 추출하고, 추출된 음성 특징 벡터를 상기 메모리(130)에 기 저장된 감정 테이블과 비교하여 사용자의 선호도를 제공하도록 설정된 적어도 하나의 명령어 셋(set)을 포함하고, 상기 감정 테이블을 이용할 수 있도록 설계될 수 있다. 상기 감정 테이블은 통계적으로 또는 수학적으로 적어도 일부 또는 일정 기간 획득된 음성의 특징 벡터들이 사용자의 어떠한 감정을 대변하는지를 정의한 데이터들을 저장할 수 있다. 다양한 실시 예에 따르면, 상기 홈 로봇 장치(100)는 상기 음성 신호를 통해 획득된 감정들을 학습한 결과에 따른 감정 분포 데이터를 저장할 수 있다. 상기 홈 로봇 장치(100)는 새로운 음성 신호에 따른 음성 특징 벡터가 수신되면, 기 저장된 감정 분포 데이터를 기반으로 학습하여 감정 정보를 추정할 수 있다. 상기 마이크(140)는 프로세서(120) 제어에 따라 지정된 시간 동안 턴-온되거나 또는 항상 턴온(always on) 상태를 가질 수 있다. 예를 들면, 상기 마이크(140)는 홈 로봇 장치(100)가 지정된 동작을 수행 한 후, 프로세서(120) 제어에 대응하여 활성화되고, 사용자의 음성을 수집하는데 이용될 수 있다.
상기 스피커(150)는 상기 바디(101) 일측에 배치되데 오디오 신호를 출력할 수 있도록 적어도 일부가 외측과 통하도록 배치될 수 있다. 상기 스피커(150)는 프로세서(120) 제어에 대응하여 지정된 오디오 신호를 출력할 수 있다. 예컨대, 상기 스피커(150)는 메모리(130)에 저장된 다양한 종류의 오디오 정보(예: 동물 울음 소리 등)를 출력할 수 있다. 상기 메모리(130)는 다양한 사용자 감정에 대응되는 복수의 오디오 정보(예: 지정된 음색이나 감정을 대변하는 일정 길이의 오디오 신호들로서, 시계열적 음성 특징 벡터를 추출할 수 있는 정보)를 저장할 수 있다.
상기 복수의 오디오 정보는 예컨대, 홈 로봇 장치(100)가 즐거움을 표현하도록 정의한 제1 오디오 정보, 홈 로봇 장치(100)가 심심함을 표현하도록 정의한 제2 오디오 정보, 홈 로봇 장치(100)가 우울함이나 슬픔을 표현하도록 정의한 제3 오디오 정보, 사용자의 기분 전환과 관련하여 정의된 제4 오디오 정보 등을 포함할 수 있다. 상기 복수의 오디오 정보는 통계적으로 수집된 정보들의 분류에 의하여 결정되고 갱신될 수 있다. 상술한 다양한 오디오 정보 중 적어도 하나는 홈 로봇 장치(100)가 실행하는 적어도 하나의 동작에 매핑되고, 해당 동작 실행 시 출력될 수 있다.
본 발명의 실시 예에 따른, 홈 로봇 장치(100)의 경우 거의 매번 새로운 동작을 수행할 수 있도록 설계될 수 있기 때문에, 상기 복수의 오디오 정보는 행동의 범위 구간(예: 홈 로봇 장치(100)의 운동 범위(예: 팔 흔듦 폭 또는 고개 흔듦 폭, 보폭 등)에 있어서, 행동의 크기나 속도를 일정 크기 단위로 구분한 범위 구간들)에 따라 매핑될 수 있다. 예를 들어, 팔을 흔들 수 있는 폭이 제1 각도에서 제2 각도 사이일 경우, 행동 범위 구간들은 제1 각도와 제2 각도 사이를 10도 단위씩 구분한 구간들을 포함할 수 있다. 또는 보폭이 50cm인 경우, 행동 범위 구간들은 일정 단위(예: 5cm, 10cm, 등)로 구분된 구간들을 포함할 수 있다.
각 행동 범위 구간에 따라 매핑된 복수의 오디오 정보는 해당 행동 범위의 크기 변화에 따라 오디오 신호의 출력 레벨 및 출력 시간이 조정될 수 있다. 예컨대, 상대적으로 큰 행동 범위에 따라 홈 로봇 장치(100)가 동작하는 경우, 해당 동작에 매핑된 오디오 정보의 출력 레벨 및 출력 시간이 상대적으로 커질 수 있다. 또는, 상대적으로 작은 행동 범위에 따라 홈 로봇 장치(100)가 동작하는 경우, 해당 동작에 매핑된 오디오 정보의 출력 레벨 및 출력 시간이 상대적으로 작아질 수 있다.
상기 디스플레이(160)는 홈 로봇 장치(100) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예컨대, 상기 디스플레이(160)는 홈 로봇 장치(100)의 현재 상태 정보(예: 즐거움 상태, 슬픔 상태, 심심한 상태, 우울한 상태 등)에 대응하는 텍스트 및 이미지 중 적어도 하나를 출력할 수 있다. 상기 디스플레이(160)는 홈 로봇 장치(100)가 지정된 동작을 수행하는 동안 지정된 정보를 출력할 수 있다. 상기 디스플레이(160)는 홈 로봇 장치(100)가 동작을 중지하고 있는 상태에서는 턴-오프 상태를 가질 수도 있다. 다양한 실시 예에 따르면, 상기 디스플레이(160)는 홈 로봇 장치(100)의 특정 동작 수행 후, 해당 동작에 대한 사용자의 선호도 선택과 관련한 선택지를 출력할 수 있다. 상기 디스플레이(160)는 사용자 입력에 따라 사용자의 선호도가 선택되면, 선택된 사용자 선호도 정보를 프로세서(120)에 전달할 수 있다. 다양한 실시 예에 따르면, 상기 홈 로봇 장치(100)가 특정 동작을 수행하도록 설계된 경우, 상기 디스플레이(160) 구성은 상기 홈 로봇 장치(100)에서 생략될 수도 있다.
상기 통신 회로(170)는 상기 홈 로봇 장치(100)의 통신 기능 수행과 관련한 기능을 처리할 수 있다. 한 실시 예에 따르면, 상기 통신 회로(170)는 상기 홈 로봇 장치(100)의 초기 동작 정보 수신과 관련하여 외부 전자 장치와 통신 채널을 형성할 수 있다. 다양한 실시 예에 따르면, 상기 통신 회로(170)는 일정 주기로 주변을 스캐닝하고, 주변에 지정된 전자 장치가 일정 거리 이내에 접근(예: 무선 신호 수신 세기를 기준으로 판단)하였는지 확인할 수 있다. 상기 통신 회로(170)를 이용하여 지정된 전자 장치(예: 사용자의 스마트폰)이 일정 거리 이내에 접근한 경우, 이를 프로세서(120)에 전달할 수 있다. 또는, 상기 통신 회로(170)는 도어락 시스템 등과 연계되고, 도어락이 해제되는 경우, 도어락 해제 신호를 수신할 수 있다. 수신된 도어락 해제 신호는 프로세서(120)에 전달될 수 있다. 또는, 상기 통신 회로(170)는 통신 가능한 냉장고 등과 통신 채널을 형성할 수 있고, 냉장고 사용 이력 발생(예: 냉장고 열림 및 닫힘 상태 발생) 시, 해당 정보를 프로세서(120)에 전달할 수 있다.
상기 카메라(180)는 바디(101)의 일측(예: 머리 부분 일측 또는 눈 등)에 배치될 수 있다. 상기 카메라(180)는 지정된 조건이 만족되면 활성화되어 영상을 촬영하고, 촬영된 영상을 프로세서(120)에 전달할 수 있다. 한 실시 예에 따르면, 상기 카메라(180)는 상기 통신 회로(170)가 지정된 신호(예: 도어락 해제, 냉장고 문 열림, 지정된 전자 장치가 일정 거리 이내에 접근하는 등에 대응하는 신호)를 전달하는 경우, 활성화될 수 있다. 상기 카메라(180)가 획득한 영상은 프로세서(120)에 전달되고, 상기 프로세서(120)는 지정된 각도(예: 0도~360도 중 적어도 일부)를 촬영하여, 지정된 사용자 얼굴이 검출되는지 확인할 수 있다. 상기 카메라(180)는 상기 운동 모듈(191)이 운동 제어 회로(190)의 제어에 대응하여 임의의 동작을 수행하는 동안 사용자의 얼굴과 관련한 영상을 획득할 수 있다. 이와 관련하여, 상기 카메라(180)가 배치된 바디(101)의 일측에는 운동 모듈(191)이 배치되며, 운동 모듈(191)의 조절에 따라, 홈 로봇 장치(100)가 운동을 수행하는 중에 사용자의 얼굴 부분을 추적하도록 카메라(180)의 방향이 조정될 수 있다. 상기 카메라(180)가 획득한 사용자 얼굴 정보는 사용자의 선호도 정보 또는 사용자의 감정 정보를 분석하는데 이용될 수 있다. 홈 로봇 장치(100)의 동작이 중지되면, 상기 카메라(180)는 비활성화될 수 있다. 상기 카메라(180)가 획득한 영상은 예컨대, 일정 시간 동안 사용자 얼굴 표정이나 사용자 몸짓을 촬영한 영상을 포함할 수 있다. 프로세서(120)는 일정 시간 동안 획득된 영상에서 시계열 벡터들을 추출하고, 추출된 시계열 벡터로부터 사용자 선호도를 추정할 수 있다.
상기 운동 모듈(191)은 홈 로봇 장치(100)의 움직임을 발생시키는 적어도 하나의 모터, 상기 모터에 연결되는 관절 장치(102), 관절 장치(102)에 연결되는 지지대(103)를 포함할 수 있다. 상기 모터는 예컨대, 상기 관절 장치(102)를 기준으로 상기 지지대(103)를 회전시키거나 또는 상기 지지대(103)를 늘리는 방향으로 동작할 수 있다. 이와 관련하여, 상기 지지대(103)는 모터 동작에 의하여 늘어나거나 줄어들 수 있도록 마련될 수 있다. 다양한 실시 예에 따르면, 상기 운동 모듈(191)은 상기 모터에 연결되는 바퀴 또는 궤도 등을 포함할 수도 있다. 상기 운동 모듈(191)은 운동 제어 회로(190)의 제어에 대응하여 상기 관절 장치(102)를 회전시키거나 또는 상기 지지대(103)의 배치 방향을 변경할 수 있다.
상기 운동 제어 회로(190)는 상기 운동 모듈(191)을 제어하여 상기 홈 로봇 장치(100)가 지정된 동작을 수행할 수 있도록 제어할 수 있다. 이와 관련하여, 상기 운동 제어 회로(190)는 프로세서(120)로부터 동작 실행 정보를 수신하고, 수신된 동작 실행 정보에 대응하여 관절 장치(102) 제어 및 지지대(103) 제어와 관련한 제어 신호를 운동 모듈(191)에 전달할 수 있다.
상기 프로세서(120)는 홈 로봇 장치(100) 제어와 관련한 신호 처리를 수행할 수 있다. 예컨대, 상기 프로세서(120)는 홈 로봇 장치(100)의 동작 제어와 관련하여, 메모리(130)에 저장된 초기 동작 정보(또는 지정된 동작 실행 정보)를 운동 제어 회로(190)에 전달하여 홈 로봇 장치(100)가 초기 동작을 수행하도록 제어할 수 있다. 상기 프로세서(120)는 홈 로봇 장치(100)가 지정된 동작을 수행하는 동안, 카메라(180)를 활성화하고, 카메라(180)가 획득한 영상을 분석하여 사용자의 선호도 및 감정 정보를 수집할 수 있다. 상기 프로세서(120)는 획득된 사용자 선호도 또는 감정 정보를 기반으로 새로운 행동 양식(또는 변형된 동작 실행 정보)을 생성하고, 이를 운동 제어 회로(190)를 통하여 운동 모듈(191)에 전달할 수 있다.
상술한 바와 같이, 상기 프로세서(120)는 초기 동작 정보 생성, 동작 학습, 자동 동작 생성 중 적어도 하나를 처리할 수 있다. 상기 초기 동작 정보는 예컨대, 홈 로봇 장치(100)가 판매되는 시점에 메모리(130)에 탑재된 형태로 제공될 수 있다. 이 경우, 상기 프로세서(120)는 초기 동작 동작 생성과 관련한 데이터 처리를 수행하지 않을 수 있다. 상기 프로세서(120)의 홈 로봇 장치(100) 동작 운용과 관련하여 도 3에서 설명하는 구성들을 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 홈 로봇 장치의 프로세서의 한 예를 나타낸 도면이다.
도 3을 참조하면, 상기 홈 로봇 장치(100)의 프로세서(120)는 기본 동작 생성부(121), 동작 학습부(123), 동작 자동 생성부(125)를 포함할 수 있다. 상기 기본 동작 생성부(121), 동작 학습부(123) 및 동작 자동 생성부(125) 중 적어도 하나는 하드웨어 프로세서로 마련될 수 있다. 또는, 상기 기본 동작 생성부(121), 동작 학습부(123) 및 동작 자동 생성부(125) 중 적어도 하나는 독립된 프로세서로 마련되고, 상기 프로세서(120)와 통신을 수행하여 본 발명의 홈 로봇 장치 동작 운용과 관련한 신호 처리를 수행할 수 있다.
상기 기본 동작 생성부(121)는 카메라(180)를 이용하여 외부 동작 정보를 수집할 수 있다. 예컨대, 기본 동작 생성부(121)는 카메라(180)가 획득한 영상에서 지정된 객체(예: 사람 객체, 동물 객체 또는 지정된 움직임을 보이는 객체)의 외부 동작 정보를 수집할 수 있다. 상기 외부 동작 정보는 예컨대, 관절의 개수, 관절과 연결된 지지대들의 개수 및 지지대들의 위치, 움직임이 있는 지지대가 연결된 관절의 움직임 방향, 지지대의 이동 거리, 지지대의 이동 속도 중 적어도 하나를 포함할 수 있다. 상기 기본 동작 생성부(121)는 수집된 외부 동작 정보를 기반으로 초기 동작 정보(또는 지정된 동작 실행 정보)를 생성할 수 있다. 예컨대, 상기 기본 동작 생성부(121)는 외부 동작 정보에 포함된 관절의 개수 및 지지대를 홈 로봇 장치(100)의 관절의 개수 및 지지대들에 축소(또는 함축) 매핑 또는 확대 매핑을 수행할 수 있다. 한 실시 예에 따르면, 외부 동작 정보에 21개의 관절과 45개의 지지대가 존재하고, 홈 로봇 장치(100)는 7개의 관절 장치와 15개의 지지대들이 존재하는 경우, 기본 동작 생성부(121)는 3:1의 비율로 외부 동작 정보에 포함된 관절 장치와 지지대들을 홈 로봇 장치(100)에 매핑할 수 있다. 다양한 실시 예에 따르면, 상기 기본 동작 생성부(121)는 외부 동작 정보에 부위별 관절 정보가 포함된 경우, 해당 관절 정보를 홈 로봇 장치(100)의 부위별 관절 장치에 매핑할 수 있다. 예컨대, 외부 동작 정보에 영상 분석을 통해 추출된 객체의 머리, 팔, 다리별 관절의 개수 정보를 홈 로봇 장치(100)의 머리, 팔, 다리별 관절 장치에 함축 매핑 또는 1:1 매핑을 수행할 수 있다. 함축 매핑 또는 1:1 매핑 후, 기본 동작 생성부(121)는 외부 동작 정보에 포함된 관절 및 지지대의 움직임들을 기반으로 홈 로봇 장치(100)의 관절 장치(102) 및 지지대(103)에 적용할 초기 동작 정보(또는 지정된 동작 실행 정보)를 생성할 수 있다. 초기 동작 정보가 메모리(130)에 저장되어 홈 로봇 장치(100)에 탑재되는 경우, 상기 기본 동작 생성부(121)는 생략되고, 초기 동작 생성 동작은 생략될 수 있다.
상기 동작 학습부(123)는 상기 초기 동작 정보 또는 직전 수행한 동작 갱신 정보에 따라 지정된 동작을 수행하고, 사용자의 선호도 분석을 수행할 수 있다. 이와 관련하여, 상기 동작 학습부(123)는 지정된 이벤트 발생 또는 지정된 조건 만족에 대응하여 지정된 동작을 수행할 수 있다. 예컨대, 동작 학습부(123)는 마이크(140)를 활성화하고, 지정된 음성 신호(예: 홈 로봇 장치(100)를 호출하는 음성 신호)가 수집되는지 확인할 수 있다. 또는, 동작 학습부(123)는 지정된 사용자가 지정된 거리 이내에 근접하였는지를 판단할 수 있는 적어도 하나의 조건(예: 도어락 해제, TV 턴-온, 냉장고 이용 등에 따른 통신 신호 수신) 만족 여부를 확인할 수 있다. 상기 동작 학습부(123)는 지정된 이벤트가 발생하거나 지정된 조건이 만족되면, 상기 동작 학습부(123)는 카메라(180)를 활성화하여 사용자의 위치 파악을 수행할 수 있다. 또는, 상기 동작 학습부(123)는 통신 회로(170)를 이용하여 사용자가 파지하고 있는 전자 장치의 위치를 판단할 수도 있다. 또는, 상기 동작 학습부(123)는 통신 회로(170)가 수신한 신호를 기반으로 해다 신호를 제공한 IOT 기기가 있는 위치를 사용자가 있는 위치로 판단할 수 있다. 상기 동작 학습부(123)는 사용자 위치 확인이 되면, 사용자가 있는 위치를 중심으로 일정 거리 이내에 접근한 후, 지정된 동작 실행 정보에 따른 동작을 수행할 수 있다.
상기 동작 학습부(123)는 지정된 동작 실행 정보에 따른 동작을 수행한 후, 사용자 선호도 정보 또는 사용자 감정 정보를 수집할 수 있다. 이와 관련하여, 상기 동작 학습부(123)는 카메라(180)를 이용하여 사용자의 얼굴 영상을 획득하고, 획득된 사용자 얼굴 영상을 분석하여, 사용자가 현재 어떠한 감정 상태 또는 선호도 의견을 가지는지를 판단할 수 있다. 이 동작에서, 상기 동작 학습부(123)는 사용자의 얼굴 표정에 따른 사용자 감정을 학습한 감정 분포 데이터를 메모리(130)에서 읽고, 새로 수집된 사용자 감정을 학습하여 사용자의 감정 상태를 추정할 수 있다. 또는, 상기 동작 학습부(123)는 사용자의 얼굴 표정에 따른 사용자 감정을 매핑한 감정 테이블을 메모리(130)에서 읽고, 이를 이용하여 사용자의 감정 상태 또는 선호도 상태를 분석할 수 있다.
다양한 실시 예에 따르면, 상기 동작 학습부(123)는 마이크(140)를 이용하여 사용자가 발화하는 음성 신호를 수집하고, 수집된 음성 신호의 특성을 분석(예: 일정 시간 동안의 음성의 시계열 벡터 분석)한 후, 분석된 결과를 기반으로 사용자의 감정 상태 또는 선호도 상태를 분석할 수 있다. 이와 관련하여, 상기 동작 학습부(123)는 메모리(130)에 저장된 이전 감정 들에 대한 감정 분포 데이터 또는 음성 신호의 특징별 사용자의 감정 상태를 매핑한 감정 테이블을 읽어와서, 이용할 수 있다. 상기 동작 학습부(123)는 동작 실행 정보 및 분석된 사용자 선호도 값 또는 리워드 값을 동작 자동 생성부(125)에 전달할 수 있다.
상기 동작 자동 생성부(125)는 초기 동작의 확률 모델 및 학습된 변수 값(또는 사용자 선호 값)을 기반으로 다음에 수행할 새로운 동작을 자동으로 생성할 수 있다. 예컨대, 상기 동작 자동 생성부(125)는 상기 사용자의 선호도 값 또는 감정 상태에 따라 이전 실행된 동작 실행 정보 중 적어도 일부 행동을 변화시킬 수 있다. 변화 적용과 관련하여, 상기 동작 자동 생성부(125)는 초기 동작의 확률 모델을 이용하여 새로운 동작 실행 정보를 생성할 수 있다. 한 실시 예에 따르면, 상기 동작 자동 생성부(125)는 적어도 하나의 관절 장치의 움직임 크기와 각도, 지지대의 이동 거리, 이동 방향, 이동 속도 중 적어도 하나를 조정하여 동작 실행 정보를 생성할 수 있다. 새로 생성된 동작 실행 정보는 동작 학습부(123)에 전달되고, 동작 학습부(123)는 새로 전달된 동작 실행 정보에 따른 동작을 수행할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서(120)(예: 동작 학습부(123))는 홈 로봇 장치(100)의 동작 운용과 관련하여 마이크(140)를 이용할 수 있다. 예컨대, 상기 마이크(140)가 수집한 오디오 신호 중 지정된 사용자 음성에 대응하는 오디오 신호가 수집되는 경우, 상기 프로세서(120)는 카메라(180)를 활성화하여 지정된 사용자가 지정된 거리 이내에 존재하는지 확인할 수 있다. 이와 관련하여, 지정된 사용자의 얼굴 인식 정보가 메모리(130)에 저장 관리될 수 있다. 상기 프로세서(120)는 지정된 사용자가 지정된 거리 이내에 존재하면, 해당 사용자를 중심으로 일정 거리 이내로 접근하도록 운동 모듈(191)을 제어하고, 지정된 동작 실행 정보를 기반으로 홈 로봇 장치(100)의 동작을 실행할 수 있다. 이 동작에서, 상기 프로세서(120)는 해당 동작 실행 정보에 매핑된 오디오 정보를 출력할 수 있다.
상기 프로세서(120)는 사용자의 감정에 대응하여 지정된 오디오 정보를 출력할 수 있다. 이와 관련하여, 상기 메모리(130)는 사용자의 감정에 대응하여 출력할 오디오 정보의 종류를 결정하고, 해당 오디오 정보 출력 후, 사용자의 감정 분석을 수행할 수 있다. 예컨대, 상기 메모리(130)는 상기 사용자의 감정이 개선되는 방향으로 상기 스피커(150)를 통해 출력할 오디오 정보의 종류와 출력 시간 등을 결정할 수 있다. 한 실시 예에 따르면, 상기 프로세서(120)는 홈 로봇 장치(100)의 즐거움을 표현하는 것으로 정의된 제1 오디오 정보를 출력한 후, 사용자의 감정 분석(예: 사용자의 얼굴 변화 분석)을 수행할 수 있다. 사용자의 감정이 이전 상태보다 양호한 상태의 감정으로 검출된 경우, 상기 프로세서(120)는 제1 오디오 정보의 출력 횟수를 늘리거나 또는 제1 오디오 정보의 출력 시간을 늘릴 수 있다.
다양한 실시 예에 따르면, 상기 프로세서(120)는 일정 주기 또는 제1 오디오 정보의 출력 직후, 사용자의 감정 분석이 이전 상태보다 양호하지 않은 감정 상태로 분석된 경우, 제1 오디오 정보의 출력을 중지하거나, 제1 오디오 정보의 출력 시간을 줄이거나, 다른 종류의 제2 오디오 정보를 출력할 수 있다. 상술한 동작은 지정된 시간 동안 수행되거나 또는 지정된 웨이크 업 워드(예: 사용자가 홈 로봇 장치(100)를 호출하는 음성 신호) 발생 시마다 반복적으로 수행할 수 있다.
도 4는 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 변환을 설명하는 도면이다.
도 4를 참조하면, 홈 로봇 장치(100)는 예컨대, 사람(11)의 동작 데이터를 로봇의 동작으로 자동 변환할 수 있다. 사람(11)의 동작 데이터는 홈 로봇 장치(100)의 카메라(180)(예: RGB 카메라 및 Depth 카메라)를 이용하여 사람을 촬영하고 촬영된 영상을 분석하여 수집하거나, 외부 전자 장치(예: 웹 서버 장치 등)에 저장된 사람(11)의 동작 데이터(예: 비디오 데이터)를 수신할 수도 있다.
상기 사람(11)의 동작 데이터에 포함된 외부 동작 정보는 사람 몸에 있는 관절들의 위치, 관절 각도로 표현될 수 있다. 홈 로봇 장치(100)는 외부 동작 정보에 포함된 관절의 시계열 정보를 기계 학습 알고리즘으로 학습하여, 사람 동작의 특징을 가능한 유지하면서 사람과 기구학적 특징이 다른 로봇의 관절각으로 변환할 수 있다. 예컨대, 상기 홈 로봇 장치(100)는 사람의 부위별 움직임을 로봇의 부위별 움직임으로 매핑하여 사람 동작의 특징을 유지할 수 있다. 또는, 홈 로봇 장치(100)는 사람의 특정 관절의 움직임 각도와 움직임 속도 및 움직임 거리에 대한 정보를 부위별로 매핑된 또는 랜덤하게 매핑된 로봇의 특정 관절에 동일하게 적용할 수 있다. 사용자는 사람의 관절과 다른 위치의 로봇 관절 장치가 움직이더라도 사람의 특정 관절의 움직임과 유사한 형태로 움직이기 때문에, 로봇 관절 장치의 움직임 방식을 자연스러운 동작 방식으로 인식할 수 있다.
상기 홈 로봇 장치(100)는 높은 자유도의 사람(11) 데이터들을 지정된 데이터(예: 주요 특징으로 분류된 데이터)로 함축할 수 있다. 예컨대, 홈 로봇 장치(100)는 도시된 바와 같이 높은 자유도의 사람 동작을 로봇의 모터수에 해당하는 latent space 상에 함축할 수 있다. 이에 따라, 로봇의 기구학적인 특성이 외부 동작 정보와 다르더라도, 알고리즘을 수정할 필요 없이, 높은 자유도의 사람 동작을 다양한 로봇에 쉽게 적용할 수 있다. 상기 홈 로봇 장치(100)의 프로세서(120)(예: 기본 동작 생성부(121))는 초기 동작 정보(또는 지정된 동작 실행 정보)를 생성하는 동안 사람의 동작 데이터를 이용하지 않고, 디자이너나 애니메이터가 만든 로봇의 동작을 기본 동작으로 구성할 수 있으며, 필요에 따라 둘을 혼용할 수도 있다. 도시된 도면에서는 사람의 다양한 관절들의 동작 데이터를, latent space 상에 매핑한 것을 나타낸 것이다.
홈 로봇 장치(100)의 프로세서(120)(예: 기본 동작 생성부(121))는 사용자가 특정되면 카메라(180)(예: RGB 카메라 및 Depth 카메라)를 이용하여 해당 사용자의 움직임을 관측하고, 이로부터 사용자의 움직임 정보를 추출할 수 있다. 이 동작에서 프로세서(120)는 사용자의 표정이나 음성 등으로부터 홈 로봇 장치(100)의 움직임과 관련된 정보를 수집할 수 있다. 예컨대, 프로세서(120)는 홈 로봇 장치(100)의 지정된 동작에 대한 사용자의 특정 감정 정보(예: 얼굴 분석을 통한 감정 정보) 또는 홈 로봇 장치(100)의 특정 기능에 대한 사용자의 동작 데이터를 수집하여 사용자가 선호하는 홈 로봇 장치(100)의 동작 정보를 수집할 수 있다. 또는, 홈 로봇 장치(100)의 프로세서(120)는 외부 전자 장치로부터 통계적으로 선호하는 초기 동작 정보를 수집하고, 이를 기반으로 초기 동작을 수행할 수도 있다.
도 5는 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 변형의 한 예를 나타낸 도면이다.
도 5를 참조하면, 홈 로봇 장치(100)의 프로세서(120)(예: 동작 학습부(123))는 초기 동작 정보(또는 지정된 동작 실행 정보)에 따라 동작을 수행하면서, 사용자의 선호도를 높일 수 있도록 로봇의 동작을 변형할 수 있다. 이 동작에서, 홈 로봇 장치(100)의 프로세서(120)는 초기 동작 정보의 시퀀스를 다양하게 변형시킬 수 있다. 이와 관련하여, 홈 로봇 장치(100)의 프로세서(120)는 rotation, translation, scaling 등의 Lie group operation을 사용하거나 nolinear temporal sequence mapping, 또는 smoothness가 고려된 임의의 noise를 추가하여 특징의 큰 변화 없이 동작을 변형시킬 수 있다. 501 화면은 미리 디자인된 로봇의 대표적 동작 시퀀스를 나타낸 것이며, 503 화면은 대표적 동작 시퀀스에 대하여 smoothness가 고려된 임의의 노이즈를 추가한 동작 변형의 예를 나타낸 것이다.
도 6은 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 변형의 다른 예를 나타낸 도면이다.
도 6을 참조하면, 앞서 설명한 바와 같이, 홈 로봇 장치(100)의 프로세서(120)(예: 동작 학습부(123))는 로봇 동작 수행 후, 사용자 반응을 고려하여 로봇 동작을 자동으로 변형할 수 있다. 이 동작에서, 홈 로봇 장치(100)의 프로세서(120)는 로봇의 동작을 관측한 사용자의 반응을 표정으로 추정하거나(예: 카메라(180)를 이용하여 얼굴의 특징점 좌표를 추출한 후 표정을 분석하고, 기 저장된 감정 분포 데이터 또는 감정 테이블을 기반으로 사용자 감정 값을 추출) 또는 음성으로부터 추정(예: 마이크(140)를 이용하여 사용자의 음성 특징 벡터를 추출하고, 기 저장된 감정 분포 데이터 또는 감정 테이블과 비교하여 사용자 감정 값을 추출)하여 사용자의 선호도를 예측할 수 있다. 예컨대, 프로세서(120)는 RGB 카메라를 이용하여 사용자의 얼굴 특징점 좌표를 추출하거나, 마이크(140)를 이용하여 사용자 음성에 대한 특징 벡터를 추출하고, 시계열 벡터 분석 모델 예컨대, Bayesian regression 또는 RNN(recurrent neural network) 모델을 이용하여, 사용자의 감정 변화를 분석하고, 홈 로봇 장치(100)의 동작에 대해 보다 정확한 사용자의 선호도를 추정할 수 있다. 홈 로봇 장치(100)의 프로세서(120)는 추정된 사용자의 선호도를 지정된 기준에 따라 점수로 변환하고, 변환된 점수를 동작 학습 과정에서 리워드(보상)로 사용할 수 있다. 상기 홈 로봇 장치(100)의 프로세서(120)는 홈 로봇 장치(100)가 수행한 동작 실행 정보에 대하여 다양한 방법으로 변형을 가하여 탐색 영역을 넓히고, 시계열 분석 예컨대, Bayesian optimization을 이용하여 reward 값이 들어올 때마다 실시간으로 최적 동작을 탐색할 수 있다. 이에 따라, 홈 로봇 장치(100)는 사용자의 선호도를 높일 수 있도록 로봇의 동작을 변형할 수 있다. 홈 로봇 장치(100)의 프로세서(120)는 변형된 동작을 사용자의 감정 상태나 상황 정보에 매핑하여 저장한 후, 다음에 비슷한 사용자의 감정 상태나 상황 발생 시에 재사용하여 개개의 사용자의 선호도, 취향에 특화된 맞춤형 동작을 생성 및 운용할 수 있다. 상기 홈 로봇 장치(100)의 프로세서(120)는 홈 로봇 장치(100)의 동작에 대한 사용자 반응을 적용하는 루틴을 지정된 횟수만큼 적용하여 홈 로봇 장치(100)와 사용자 간의 감정 또는 정보 교류 기능을 제공할 수 있다. 또는, 상기 홈 로봇 장치(100)의 프로세서(120)는 사용자의 선호도 점수를 지정된 횟수동안 받아서, 선호도에 대한 분포 자체를 추정하고, 추정된 선호도 분포 정보를 기반으로 홈 로봇 장치(100)의 동작을 변형할 수 있다. 예컨대, 상기 홈 로봇 장치(100)의 프로세서(120)는 10회 정도 사용자의 선호도를 수집하고, 이에 대한 선호도 분포를 추정할 수 있다. 이 동작에서, 상기 프로세서(120)는 상기 프로세서(120)는 선호도가 최대화되도록 선호도 분포에 대한 학습을 수행할 수 있다.
도시된 도면에서와 같이, 홈 로봇 장치(100)의 프로세서(120)는 홈 로봇 장치(100)의 동작에 대한 사용자의 리워드를 점수로 적용하되, 동작의 변형과 관련한 3차원 포인트를 일정 조건에 따라 선정할 수 있다. 예컨대, 홈 로봇 장치(100)의 프로세서(120)는 홈 로봇 장치(100)의 초기 동작(a)에 대한 사용자 선호도를 수집하고, 선호도 분석에 따라, 제1 리워드 값(예: 1)을 임의의 제1 변형 포인트(예: (0,0,0))에 적용(b)하여 새로 변형된 동작 정보(c)를 생성할 수 있다. 상기 홈 로봇 장치(100)의 프로세서(120)는 동작 정보(c)에 따른 동작을 수행하고, 사용자 선호도를 수집하여 분석하고, 분석에 따른 제2 리워드 값(예: 0.5)을 임의의 제2 변형 포인트(예: d에 기재된 inspection point)에 적용할 수 있다. 홈 로봇 장치(100)의 프로세서(120)는 제2 리워드 값이 임의의 제2 변형 포인트에 적용된 형태를 기준으로 새로운 동작 정보(e)를 생성할 수 있다. 홈 로봇 장치(100)는 해당 동작 정보(e)에 따른 동작을 수행할 수 있다. 상기 홈 로봇 장치(100)의 프로세서(120)는 동작 정보(e)에 따른 동작을 수행하고, 사용자 선호도를 수집하여 분석하고, 분석에 따른 제3 리워드 값(예: 2)을 임의의 제3 변형 포인트(예: f에 기재된 inspection point)에 적용할 수 있다. 홈 로봇 장치(100)의 프로세서(120)는 제3 리워드 값이 임의의 제3 변형 포인트에 적용된 형태를 기준으로 새로운 동작 정보(g)를 생성할 수 있다. 상기 홈 로봇 장치(100)는 상술한 새로운 동작 정보의 생성과, 사용자 선호도 수집과 리워드 적용 등을 지정된 횟수 이상 적용(h)한 후, 리워드가 적용된 지정된 동작 정보(i)를 사용자 선호 동작으로 결정할 수 있다.
상술한 동작에서, 홈 로봇 장치(100)는 4개의 사분 공간(예: 중앙의 십자로 배치된 측벽들에 의해 구분된 4개의 공간)의 중심점(예: 십자 형태의 측벽들이 엇갈려 배치된 중심점)을 기준으로 4개의 공간의 임의의 지점에 대한 동작 변형을 수행하고, 동작 변형에 따른 사용자 선호도가 높은 값(예: 리워드가 큰 값)을 가지는 공간쪽으로 동작 변형이 몰리도록 처리(또는 동작 변형의 가중치를 사용자 선호도가 높은 동작에 치우쳐 적용되도록 처리)할 수 있다. 도시된 도면은 제1 공간(사분 공간 중 좌상측에 배치된 공간)에서의 리워드 값이 상대적으로 높게 나타남(예: 리워드 값이 2)에 따라, 이후 동작 변형을 주는 임의의 변형 포인트를 제1 공간 쪽에 치우쳐 배치한 형태를 나타낸 것이다. 상기 4개의 사분 공간은 예컨대, 홈 로봇 장치(100)의 복수개의 부위별 동작들에 대한 가중치를 적용할 수 있는 공간들에 대응할 수 있다. 예컨대, 4개의 사분 공간 중 좌상측 제1 공간은 홈 로봇 장치(100)의 머리 관절에 상대적으로 높은 가중치를 부여할 수 있는 공간에 대응할 수 있다. 또는 4개의 사분 공간 중 우상측 제2 공간은 홈 로봇 장치(100)의 허리 관절에 상대적으로 높은 가중치를 부여할 수 있는 공간에 대응할 수 있다. 도는 4개의 사분 공간 중 좌하측 및 우하측 제2 공간은 홈 로봇 장치(100)의 팔 관절 및 다리 관절에 각각 상대적으로 높은 가중치를 부여할 수 있는 공간에 대응할 수 있다. 각 공간에 대한 홈 로봇 장치(100)의 부위별 매핑(또는 홈 로봇 장치(100)의 관절 또는 모터들의 매핑)은 설계 방식에 따라 변경될 수 있다.
한 실시 예에 따르면, 제1 공간 쪽에 리워드를 적용하도록 설정된 경우, 홈 로봇 장치(100)의 프로세서(120)는 제1 공간에 대응하여 홈 로봇 장치(100)의 머리 동작을 다른 동작들에 비하여 상대적으로 강조하는 동작 정보(예: 머리의 흔들림이나 흔들림 속도 또는 흔들림 거리 등을 이전보다 크게 하는 동작 시퀀스를 가지도록 하고, 다른 부위들 예컨대, 발이나 팔 등의 동작은 이전보다 작게 하는 동작 시퀀스를 가지도록 변형된 동작)를 생성할 수 있다.
상술한 설명에서, 리워드 값은 사용자의 선호도를 결정할 수 있도록 사전 정의된 감정 테이블을 기반으로 산출될 수 있다. 예컨대, 홈 로봇 장치(100)의 메모리(130)에 저장된 리워드 값 계산 방식은 사용자의 선호도 중 웃는 표정 또는 놀람 표정 등이 찡그린 표정이나 슬픈 표정 등에 비하여 상대적으로 높은 점수를 가지도록 설정될 수 있다. 또한, 리워드 값 계산 방식은 웃음 소리 또는 감탄사 등의 음성 신호가 우는 소리 또는 실망한 소리 등에 대한 음성 신호에 비하여 상대적으로 높은 점수를 가지도록 설정될 수 있다. 상기 홈 로봇 장치(100)는 설정된 리워드 값 계산 방식과, 현재 사용자의 감정 상태와 관련하여 수집된 정보를 비교하여 리워드 값을 결정할 수 있다.
도 7은 본 발명의 실시 예에 따른 홈 로봇 동작의 학습과 관련한 도면이다.
도 7을 참조하면, 홈 로봇 장치(100)의 프로세서(120)는 상기 도 5 및 도 6 등에서 설명한 변형된 동작들에 대하여 Bayesian optimization 기술을 사용하여 최대한 적은 수의 피드백(평가)만으로 최적의 동작을 탐색할 수 있다. 이와 관련하여, 홈 로봇 장치(100)의 프로세서(120)는 홈 로봇 장치(100)의 동작에 따른 사용자 선호도(또는 만족도)를 수집할 수 있다. 사용자 선호도를 수집하는 방안으로, 상기 홈 로봇 장치(100)는 리워드 값을 사용자가 입력할 수 있도록 리워드 선택 화면을 디스플레이를 통해 출력하거나, 또는 리워드 값을 선택하기 위한 사용자 질문을 오디오 정보를 출력한 후, 사용자 입력(또는 음성 입력)을 수집할 수 있다. 다양한 실시 예에 따르면, 상기 홈 로봇 장치(100)는 도 6에서 설명한 방식에서와 같이 영상을 통한 사용자의 표정 또는 음성 신호의 시계열적 벡터 분석을 기반으로 리워드 값을 산출할 수도 있다.
상기 홈 로봇 장치(100)는 리워드 값이 산출되면, 이를 기반으로 사용자의 선호도를 높이는 방향으로 동작 변형을 수행하고, 지정된 횟수(또는 지정된 크기의 리워드 값 수집 시까지)의 동작 변형 이후, 최종적으로 사용자 선호도가 높은 동작을 결정할 수 있다. 이 동작에서, 홈 로봇 장치(100)의 프로세서(120)는 초기 동작에 대한 확률적 모델(701)과, 학습 결과에 따른 리워드 값의 적용(703)을 기반으로 매번 새로운 동작을 실행할 수 있도록 동작 실행 정보를 생성할 수 있다. 예컨대, 홈 로봇 장치(100)의 프로세서(120)는 기쁨 또는 슬픔과 같은 감정에 대한 동작 명령이나 power on 또는 off 와 같은 기능을 나타내는 동작 명령에 대해 해당 초기 동작(예: 상기 초기 동작에 대한 확률적 모델)과 변수(예: 리워드 값)를 조합하여 매번 조금씩 다른 동작을 생성할 수 있다. 이 동작에서, 홈 로봇 장치(100)는 초기 동작 정보를 생성하는데 이용하는 데이터의 범위(예: 동작의 이동 거리, 이동 속도 등에 대응하는 범위)를 조절하여 동작의 변화량을 조절할 수 있다.
상술한 다양한 실시 예에 따르면, 한 실시 예에 따른 홈 로봇 장치는 상대적으로 많은 관절 수를 가지는 동작 데이터를 저장하는 메모리, 상기 동작 데이터의 관절 수보다 적은 수의 적어도 하나의 관절 장치를 운동 시키는 운동 모듈, 상기 메모리 및 상기 운동 모듈에 전기적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 동작 데이터의 관절들을 상기 관절 장치들에 함축 매핑하여, 상기 운동 모듈 기반의 초기 동작 정보를 생성하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 동작 데이터의 각 관절의 위치를 기준으로 부위별로 구분하고, 상기 동작 데이터의 부위별 관절들을 상기 홈 로봇 장치의 부위별 관절 장치에 함축 매핑 또는 1:1 매핑을 수행하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 관절 장치 중 적어도 하나의 관절 장치의 움직임 각도, 움직임 거리, 움직임 방향을 상기 동작 데이터의 적어도 하나의 관절의 움직임 각도, 움직임 거리, 움직임 방향과 실질적으로 동일 또는 유사하도록 설정될 수 있다. 관절 장치를 지정된 관절에 대해 유사하게 동작시키는 것은, 예컨대, 상기 동작 데이터의 관절 움직임의 70%~99% 이상 유사하게 동작시키는 상태를 포함할 수 있다. 상기 움직임의 70%~99%는 예컨대, 움직임 각도 범위의 일정 비율, 움직임 거리의 일정 비율, 움직임 방향의 일정 비율이 유사한 형태를 포함할 수 있다.
상술한 다양한 실시 예에 따르면, 한 실시 예에 따른 홈 로봇 장치는 지정된 동작 실행 정보를 저장하는 메모리, 홈 로봇 장치의 동작을 수행하는 운동 모듈, 상기 메모리 및 상기 운동 모듈과 전기적으로 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 지정된 동작 실행 정보에 따라 상기 운동 모듈을 운용하여 동작을 수행하고, 사용자의 피드백 정보를 획득하고, 상기 사용자의 피드백 정보를 기반으로 상기 지정된 동작 실행 정보의 적어도 일부를 변경한 변형된 동작 실행 정보를 생성하고, 상기 변형된 동작 실행 정보에 따라 상기 홈 로봇 장치의 동작을 수행하되, 상기 동작 실행 정보를 생성과 관련하여, 상기 지정된 동작 실행 정보와 관련한 확률 모델에서 상기 홈 로봇 장치의 적어도 하나의 관절 또는 관절에 연계된 적어도 하나의 지지대의 움직임 변화를 선택하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 동작 정보 제공 소스로부터 외부 동작 정보를 획득하고, 상기 외부 동작 정보에 포함된 객체의 관절의 수, 관절의 위치, 관절의 움직임 방향, 관절의 움직임 각도 정보 중 적어도 하나를 포함하는 참조 정보를 추출하고, 상기 추출된 참조 정보를 상기 홈 로봇 장치의 관절 장치에 함축 매핑하여 상기 지정된 동작 실행 정보를 생성하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 추출된 참조 정보에서 관절들의 위치를 부위별로 구분하고, 상기 홈 로봇 장치의 부위별로 상기 참조 정보의 관절들을 상기 홈 로봇 장치의 부위에 해당하는 관절 장치들에 함축 매핑하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 참조 정보에서의 적어도 하나의 관절의 움직임 방향, 움직임 각도, 움직임 속도를 상기 홈 로봇 장치의 적어도 하나의 관절 장치에 동일하게 매핑하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 홈 로봇 장치는 상기 외부 동작 정보 획득과 관련하여 움직임을 가진 피사체의 영상을 획득할 수 있는 카메라 및 상기 외부 동작 정보를 저장한 외부 전자 장치로부터 수신할 수 있는 통신 회로 중 적어도 하나를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 홈 로봇 장치는 카메라를 더 포함하고, 상기 프로세서는 상기 카메라를 이용하여 획득된 영상을 분석하여 사용자의 얼굴 특징점 좌표를 추출하고, 상기 얼굴 특징점 좌표를 기반으로 기 저장된 감정 테이블과 비교하여, 사용자의 감정 정보를 획득하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 메모리에 저장된 선호도 분포 정보를 기반으로 상기 사용자 감정 정보를 학습하여 상기 사용자의 선호도 점수 값을 결정하도록 설정될 수 있다. 또는 상기 프로세서는 상기 사용자 감정 정보를 상기 메모리에 저장된 선호도 테이블과 비교하고, 비교 결과에 따라 사용자 선호도 점수 값을 결정하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 사용자의 선호도 점수 값이 증가하는 형태로 상기 동작 실행 정보의 적어도 일부를 변형하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 지정된 횟수 이상 상기 동작 실행 정보를 변형하거나, 상기 사용자 선호도 점수 값을 지정된 횟수 이상 획득하고 획득된 사용자 선호도 점수들의 선호도 분포를 추정한 후, 선호도 분포가 지정된 값 이상(또는 최대값)이 될 때까지 상기 동작 실행 정보를 변형하거나, 또는 상기 사용자 선호도 점수 값이 증가 추세에서 감소 추세로 변경되는 변곡점까지 상기 동작 실행 정보를 변형하도록 설정될 수 있다.
다양한 실시 예에 따르면, 상기 홈 로봇 장치는 카메라 및 마이크 중 적어도 하나를 더 포함하고, 상기 프로세서는 상기 카메라를 기반으로 획득한 영상의 시계열 벡터 또는 상기 마이크가 수집한 일정 시간 길이의 상기 사용자의 음성 신호에 대한 음성 특징 벡터들 중 적어도 하나를 추출하고, 상기 음성 및 영상 중 적어도 하나의 시계열 벡터의 분석 결과와 기 저장된 감정 분포 데이터를 기반으로 감정 정보를 추정하거나, 또는 상기 음성 및 영상 중 적어도 하나의 시계열 벡터의 분석 결과와 기 저장된 감정 테이블을 비교하여, 사용자의 감정 정보를 획득하도록 설정될 수 있다.
도 8은 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 운용 방법 중 초기 동작 정보 생성 방법의 한 예를 나타낸 도면이다.
도 8을 참조하면, 본 발명의 홈 로봇 장치의 초기 동작 정보 생성과 관련하여, 동작 801에서, 홈 로봇 장치(100)의 프로세서(120)는 외부 동작 정보를 수집할 수 있다. 예컨대, 상기 프로세서(120)(예: 기본 동작 생성부(121))는 카메라(180)(RGB 카메라 및 Depth 카메라)를 이용하여 사람 등의 피사체에 대한 영상을 획득하고, 획득된 영상에 대한 분석을 기반으로 사람의 동작 정보(또는 동작 데이터)를 추출할 수 있다. 또는, 상기 프로세서(120)는 통신 회로(170)를 통하여 초기 동작 정보를 저장한 전자 장치와 통신 채널을 형성하고, 상기 전자 장치로부터 초기 동작 정보를 수신할 수도 있다.
동작 803에서, 프로세서(120)(예: 기본 동작 생성부(121))는 참조 정보를 추출할 수 있다. 예컨대, 상기 프로세서(120)는 외부 동작 정보에 포함된 객체의 관절 부분들을 위치와, 관절의 움직임 방향, 관절의 움직임 속도, 움직임 각도 등에 대한 정보를 추출할 수 있다. 또는, 상기 프로세서(120)는 관절에 연결되는 지지대들의 움직임 방향, 움직임 속도, 움직임 거리 등에 대한 정보를 추출할 수 있다.
동작 805에서, 프로세서(120)(예: 기본 동작 생성부(121))는 로봇의 관절 수 및 관절의 위치를 기반으로 초기 동작 정보를 생성할 수 있다. 예컨대, 상기 프로세서(120)는 참조 정보에서 관절들의 위치를 확인하고, 지정된 룰에 따라 위치 확인된 관절들을 로봇의 관절들에 매핑할 수 있다. 예컨대, 프로세서(120)는 참조 정보에서 부위별 관절들의 위치를 수집하고, 로봇의 관절 부위에 매핑할 수 있다. 여기서, 참조 정보에 로봇의 관절 수에 비하여 상대적으로 많은 관절들이 포함된 경우, 프로세서(120)는 일부 관절들을 부위별로 통합하거나, 일부 관절들을 제거하여 로봇 관절의 수에 맞도록 매핑할 수 있다. 관절이 매핑되면, 프로세서(120)는 해당 관절의 움직임 속도, 움직임 각도, 움직임의 거리 등을 매핑된 로봇 관절의 움직임으로 치환하여, 초기 동작 정보를 생성할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서(120)는 참조 정보에 포함된 관절의 움직임 최소 및 최대 값을 로봇 관절의 움직임 최소 값 및 최대 값으로 매핑하고, 매핑된 로봇 관절의 움직임 최소 값 및 최대 값을 기반으로 초기 확률 모델을 생성할 수 있다. 상기 프로세서(120)는 상기 초기 확률 모델에서 임의의 값(예: 중간 값 또는 주요 특징 값)을 초기 동작 정보로 생성할 수 있다. 상기 로봇 관절의 최소 값 및 최대 값은 예컨대, 관절이 움직일 수 있는 일정 방향에 대한 최대 각도 및 최소 각도 정보를 포함할 수 있다. 이에 따라, 로봇 관절의 수가 많을수록, 각 관절별로 최소 값 및 최대 값의 범위를 가지고, 해당 범위 내에서의 관절의 움직임이 선택되는 경우, 상기 프로세서(120)는 초기 확률 모델에서 거의 무한에 가깝게 홈 로봇 장치(100)의 동작 실행 정보를 생성할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서(120)는 참조 정보에 포함된 관절과 연결된 지지대들(예: 사람 기준으로 손가락, 손, 팔, 머리, 몸통, 허벅지, 정강이, 발, 발가락, 둔부 등)을 로봇의 관절에 연결된 지지대들(예: 도 1 기준으로 머리, 몸통, 팔, 다리 등)에 함축 매핑할 수 있다. 예컨대, 프로세서(120)는 사람의 손, 손가락, 팔 지지대를 로봇의 팔에 매핑할 수 있다. 상기 프로세서(120)는 참조 정보에 포함된 지지대들의 움직임 거리의 최소 및 최대 값 또는 움직임 각도의 최소 및 최대 값을 로봇의 관절에 연결된 지지대들의 움직임 거리의 최소 및 최대 값 또는 움직임 각도의 최소 및 최대 값에 매핑하여 지지대들을 기준으로 한 초기 확률 모델을 생성할 수 있다. 상기 프로세서(120)는 초기 확률 모델에서 각 지지대들 중 적어도 하나의 지지대의 움직임을 최소 및 최대 값 사이에서 선택하여 다양한 동작 실행 정보(또는 초기 동작 정보의 변형된 정보)를 생성할 수 있도록 지원한다.
도 9는 본 발명의 실시 예에 따른 홈 로봇 장치의 동작 운용 방법의 한 예를 나타낸 도면이다.
도 9를 참조하면, 본 발명의 홈 로봇 장치의 동작 운용 방법과 관련하여, 동작 901에서, 홈 로봇 장치(100)의 프로세서(120)(예: 동작 학습부(123))는 지정된 동작 정보(또는 지정된 동작 실행 정보)에 따른 동작을 실행할 수 있다. 한 실시 예에 따르면, 상기 프로세서(120)는 메모리(130)에 저장된 초기 동작 정보를 기반으로 동작을 수행할 수 있다. 상기 프로세서(120)는 초기 동작 정보가 복수개이고, 지정된 상황에 따라 수행하도록 설정된 경우, 지정된 상황을 인식하기 위하여 카메라(180) 및 마이크(140) 중 적어도 하나를 활성화하고, 사용자 정보 및 사용자 음성 정보를 수집할 수 있다. 상기 프로세서(120)는 수집된 사용자 얼굴 정보 및 사용자 음성 정보를 기반으로 사용자의 감정 상태를 판단하고, 감정 상태에 따라 지정된 초기 동작을 수행하도록 제어할 수 있다. 또는, 상기 프로세서(120)는 카메라(180)로 획득된 정보를 기반으로 사용자가 인식할 수 있는 일정 거리를 판단하고, 해당 거리 이내로 홈 로봇 장치(100)를 이동시킨 후, 지정된 초기 동작을 실행할 수 있다. 다양한 실시 예에 따르면, 메모리(130)에 저장된 상기 초기 동작 정보는 이후 설명하는 사용자 선호도 정보를 기반으로 갱신될 수 있다. 이에 따라, 홈 로봇 장치(100)가 수행하는 초기 동작은 동작 수행 시점에 따라 매번 다른 초기 동작을 수행할 수도 있다.
동작 903에서, 프로세서(120)는 초기 동작 실행 후, 사용자 감정 정보를 수집할 수 있다. 예컨대, 상기 프로세서(120)는 카메라(180)(예: RGB 카메라 및 Depth 카메라)를 이용하여 사용자의 위치 및 얼굴 영상을 획득할 수 있다. 상기 프로세서(120)는 사용자의 얼굴 표정 분석과 관련하여, 얼굴의 특징점을 추출하고, 추출된 특징점들에 대한 모델 생성 생성된 모델 기반으로 사용자 감정 정보를 추정할 수 있다. 또는, 상기 프로세서(120)는 얼굴의 특징점 벡터들을 기 저장된 감정 테이블과 비교하고, 비교 결과에 따른 사용자 감정 정보를 수집할 수도 있다. 이와 관련하여, 상기 감정 테이블은 얼굴 표정에 대한 특징점 분포 또는 얼굴 표정에 대한 모델들 및 해당 모델들에 매핑된 감정 정보들을 포함할 수 있다. 다양한 실시 예에 따르면, 상기 프로세서(120)는 마이크(140)를 이용하여 사용자의 음성을 수집하고, 수집된 사용자 음성의 특징점 분포와 감정 테이블에 저장된 정보들을 비교하여 사용자 감정 정보를 수집할 수도 있다.
동작 905에서, 프로세서(120)는 로봇 동작에 따른 사용자 선호도를 추출할 수 있다. 상기 프로세서(120)는 수집된 사용자 감정 정보를 기반으로 사용자의 선호도를 추출할 수 있다. 이와 관련하여, 상기 홈 로봇 장치(100)는 사용자 감정 정보에 대한 사용자 선호도 분포 정보를 저장하고, 이를 기반으로, 사용자 감정에 대한 사용자 선호도 정보를 추출할 수 있다. 한 실시 예에 따르면, 상기 홈 로봇 장치(100)는 이전 수집된 사용자 감정 정보들을 이용하여 선호도 분포 정보를 생성 및 학습하고, 새로운 사용자 감정 정보가 수신되면, 학습된 선호도 분포 정보를 기반으로 사용자 선호도를 예측할 수 있다. 이 동작에서, 홈 로봇 장치(100)의 프로세서(120)는 지정된 시간 동안의 사용자 감정의 변화에 따른 사용자 감정 정보들을 수집하고, 수집된 사용자 감정 정보들을 기반으로 사용자 선호도를 예측할 수 있다. 이와 관련하여, 프로세서(120)는 Bayesian regression, RNN 모델링 방법을 기반으로, 사용자 선호도 함수를 획득할 수 있다. 예컨대, 프로세서(120)는 사용자의 얼굴 표정 변화를 나타내는 프레임들 또는 사용자의 감정을 나타낼 수 있는 일정 길이(또는 일정 시간)의 음성의 시계열 벡터들로부터 사용자 선호도를 추정할 수 있다.
또는, 다양한 실시 예에 따르면, 상기 홈 로봇 장치(100)는 사용자 감정별로 지정된 점수를 부여한 선호도 테이블을 저장하고, 상기 선호도 테이블을 기반으로 획득된 감정 정보의 점수를 홈 로봇 장치(100)의 동작에 대응한 사용자 선호도 값으로 결정할 수 있다. 또는, 다양한 실시 예에 따르면, 프로세서(120)는 사용자 선호도를 수집할 수 있는 사용자 인터페이스(예: 홈 로봇 장치(100)의 동작에 대한 사용자 선호도를 입력할 수 있는 화면 인터페이스)를 디스플레이(160)에 출력할 수 있다. 상기 프로세서(120)는 디스플레이(160)에 표시된 화면 인터페이스를 통해 사용자 입력이 수신되면, 사용자 입력에 대응하여 사용자 선호도 정보를 수집할 수 있다. 또는, 프로세서(120)는 사용자 선호도와 관련한 질문을 스피커(150)를 통해 출력하고, 마이크(140)를 통해 입력되는 사용자 음성 입력에 따라 사용자 선호도를 수집할 수도 있다.
동작 907에서, 프로세서(120)는 사용자 선호도에 따른 동작 변형 및 실행을 수행할 수 있다. 한 실시 예에 따르면, 상기 프로세서(120)는 사용자 선호도가 홈 로봇 장치(100)에 대하여 호감을 가지는 형태로 수집되면, 홈 로봇 장치(100)의 이전 동작 실행 정보(예: 초기 동작 정보)의 적어도 일부를 변형하여 새로운 동작 실행 정보를 생성할 수 있다. 예를 들어, 프로세서(120)는 이전 동작 실행 정보에서 움직임 비중이 상대적으로 높은 부위(예: 머리 부위 또는 머리와 관련한 관절 장치)의 움직임 비중을 더 높인(예: 머리 부위를 보다 빠른 속도로 움직이거나, 머리 부위를 움직임 크기를 더 크게 하도록 동작을 변형) 변형된 동작 실행 정보를 생성할 수 있다.
다양한 실시 예에 따르면, 사용자 선호도가 홈 로봇 장치(100)에 대하여 비호감을 가지는 형태로 수집되면, 홈 로봇 장치(100)의 이전 동작 실행 정보(예: 초기 동작 정보)의 적어도 일부를 변형하여 새로운 동작 실행 정보를 생성할 수 있다. 예를 들어, 프로세서(120)는 이전 동작 실행 정보에서 움직임 비중이 상대적으로 높은 부위(예: 머리 부위 또는 머리와 관련한 관절 장치)의 움직임 비중을 낮추고, 움직임 비중이 상대적으로 낮은 부위(예: 꼬리 부위 또는 꼬리와 관련된 관절 장치)의 움직임 비중을 더 높인(예: 꼬리 부위의 움직임 크기를 더 높이거나, 움직임 각도를 더 크게 하거나, 움직임 속도를 더 빠르게 하도록 동작을 변형) 변형된 동작 실행 정보를 생성할 수 있다.
동작, 909에서, 프로세서(120)는 사용자 선호도가 지정된 값 이상인지 확인할 수 있다. 사용자 선호도가 지정된 값 미만인 경우, 프로세서(120)는 동작 903 이전으로 분기하여 이후 동작을 재수행할 수 있다. 사용자 선호도가 지정된 값 이상인 경우, 동작 911에서, 프로세서(120)는 로봇 동작 생성, 저장 및 출력을 수행할 수 있다. 이와 관련하여, 상기 프로세서(120)는 앞서 언급한 바와 같이, 사용자 선호도를 학습할 수 있도록 이전 사용자 감정 정보들에 대하여 선호도 분포 정보를 학습하여 생성하고, 새로운 사용자 감정 정보가 수집되면, 학습된 선호도 분포 정보를 기반으로 상기 새로운 사용자 감정 정보에 대한 사용자 선호도를 추정할 수 있다. 이 동작에서, 프로세서(120)는 일시적인 사용자 감정 정보에 대한 사용자 선호도를 추정하는 것뿐만 아니라, 일정 시간 동안의 사용자 감정 정보에 대한 사용자 선호도를 추정할 수도 있다. 예컨대, 프로세서(120)는 일정 시간 동안 사용자 감정 정보와 관련한 사용자 얼굴 표정을 찍은 복수의 프레임들이나 음성 신호들(또는 복수의 프레임들 또는 음성 신호들에서 시계열적으로 추출한 벡터들)을 기반으로 사용자 선호도를 추정할 수 있다.
또는, 상기 프로세서(120)는 사용자 선호도를 점수로 변환할 수 있는 선호도 테이블을 기 저장하고, 이를 기반으로, 사용자 선호도 값을 수집할 수 있다. 다양한 실시 예에 따르면, 상기 프로세서(120)는 홈 로봇 장치(100)의 특정 동작에 대하여 사용자 선호도의 변화를 확인하고, 변화의 정도가 양호(또는 호감)를 나타내는 값에서 나쁨(또는 비호감)을 나타내는 값으로 변경된 경우, 변곡점에 해당하는 동작 실행 정보를 로봇의 지정된 동작 정보로 저장할 수 있다. 이때, 상기 프로세서(120)는 사용자의 표정이나 음성 신호 등을 기반으로 사용자의 감정 정보를 확인하고, 해당 감정 정보와 상기 지정된 동작 정보를 매핑하여 저장할 수 있다. 상기 프로세서(120)는 추후, 사용자의 감정 정보 확인에 따라, 상기 지정된 동작 정보를 기반으로 동작을 실행할 수 있다. 다양한 실시 예에 따르면, 상기 프로세서(120)는 정해진 횟수동안 선호도 점수를 받아서 선호도에 대한 분포 자체를 추정하고, 추정된 선호도 분포 정보를 기반으로 동작을 변형(예: 선호도 분포가 최대값을 가지도록 학습하면서 동작을 변형)할 수 있다. 예컨대, 프로세서(120)는 10번 정도 선호도 점수를 받아서 이에 대한 분포를 추정하고, 추정된 선호도 점수 값을 이용하여 홈 로봇 장치(100)의 동작 변형을 수행할 수 있다.
동작 913에서, 프로세서(120)는 로봇 동작 종료와 관련한 이벤트가 발생하는지 확인할 수 있다. 로봇 동작 종료와 관련한 이벤트가 발생하지 않으면, 상기 프로세서(120)는 동작 901 이전으로 분기하여 이하 동작을 재수행할 수 있다. 로봇 동작 종료와 관련한 이벤트가 발생하면, 상기 프로세서(120)는 로봇 동작을 종료할 수 있다. 예컨대, 상기 프로세서(120)는 초기 동작 실행 후, 일정 횟수 이상 동작 변형을 수행한 후, 로봇 동작을 종료할 수 있다. 또는, 상기 프로세서(120)는 사용자의 얼굴 방향이 홈 로봇 장치(100)를 벗어난 후, 지정된 시간이 경과하면 로봇 동작을 종료할 수 있다. 또는, 상기 프로세서(120)는 홈 로봇 장치(100) 호출과 관련한 음성 신호 수집 후, 지정된 시간 동안 지정된 동작을 수행하면서, 사용자의 음성 신호가 지정된 시간 동안 수신되지 않으면 동작을 중지할 수 있다. 또는, 상기 프로세서(120)는 사용자의 음성 신호 중 로봇의 동작 종료를 요청하는 음성 신호를 수신하면, 로봇의 동작을 종료할 수 있다. 로봇 동작 종료의 방법으로서, 상기 프로세서(120)는 모든 동작을 일시적으로 멈추거나, 홈 로봇 장치(100)의 부위별 움직임을 단계적으로 멈추거나, 홈 로봇 장치(100)의 움직임 크기와 속도를 점진적으로 줄여서 멈출 수 있다. 또는, 상기 프로세서(120)는 로봇 동작 종료 시, 지정된 위치로 이동한 후, 지정된 자세를 취하면서 동작을 중지할 수 있다.
도 10은 본 발명의 실시 예에 따른 사용자 선호 정보 수집 방법의 한 예를 나타낸 도면이다.
도 10을 참조하면, 본 발명의 사용자 선호 정보 수집 방법과 관련하여, 동작 1001에서, 홈 로봇 장치(100)의 프로세서(120)는 이미지 수집 및 음성 수집 중 적어도 하나를 수행할 수 있다. 이와 관련하여, 상기 프로세서(120)는 사용자의 얼굴 인식과 관련한 카메라(180)(예: RGB 카메라) 및 음성 인식과 관련한 마이크(140) 중 적어도 하나를 활성화할 수 있다.
동작 1003에서, 프로세서(120)는 얼굴 특징점 좌표 추출 및 음성 특징 벡터 추출 중 적어도 하나를 수행할 수 있다. 예컨대, 상기 프로세서(120)는 카메라(180)가 획득한 영상을 분석하여 특징점을 추출할 수 있다. 한 실시 예에 따르면, 상기 프로세서(120)는 눈 영역, 입술 영역, 이마 영역 등 표정과 관련하여 변경되는 부위의 특징점들의 좌표 정보를 추출할 수 있다. 또는, 상기 프로세서(120)는 사용자 음성 신호에서, 특징이 되는 특징 벡터를 추출할 수 있다. 이때, 상기 프로세서(120)는 음성 신호에 대한 음성 인식을 수행하여, 사용자가 발화하는 음성 신호의 종류 정보를 수집할 수 있다.
동작 1005에서, 프로세서(120)는 음성 및 영상 중 적어도 하나의 시계열 벡터 분석을 수행할 수 있다. 한 실시 예에 따르면, 상기 프로세서(120)는 추출된 영상 또는 음성 중 적어도 하나의 특징점들의 좌표 정보와 기 저장된 감정 분포 데이터 또는 감정 테이블을 이용하여 현재 사용자가 어떠한 표정을 짓고 있는지를 결정할 수 있다. 이 동작에서, 프로세서(120)는 홈 로봇 장치(100)의 동작 수행 후, 일정 시간 동안 획득된 사용자의 표정 정보의 변화를 시계열 Bayesian Regression 분석 방법 또는 RNN 모델링 기반의 분석 방법을 통하여 분석함으로써, 일시적인 표정 값들이 아닌, 일정 시간 동안 유지되는 사용자의 감정 정보를 수집함으로써, 홈 로봇 장치(100)에 대한 보다 정확한 사용자 감정 상태를 확인할 수 있다. 또한, 음성의 시계열 벡터 분석과 관련하여, 상기 프로세서(120)는 시계열 Bayesian Regression 분석 방법 또는 RNN 모델링 기반의 분석 방법을 적용하여, 일시적으로 음성 신호를 통해 분석되는 사용자의 감정상태가 아닌, 일정 기간 동안 획득된 음성 신호의 음성 특징 벡터 분석을 통하여 일정 기간 동안 사용자의 감정 상태를 확인할 수 있다. 예를 들어, 상기 프로세서(120)는 Bayesian regression 적용과 관련하여, 감정 값의 sequence가 수신되면, 수신된 감정 값의 시퀀스에 따른 리워드를 회귀 분석(regression)할 수 있다. 상기 프로세서(120)는 회귀 분석 과정에서 데이터의 분포로부터 관계식(예: 선호도 함수 또는 리워드 함수)을 산출할 수 있다. 또는, 상기 프로세서(120)는 RNN 모델링 분석 방식을 통해 사용자의 표정으로부터 감정을 인식하고 감정 변화 데이터에 따른 reward(보상값)을 labeling하고, 감정 변화에 따른 리워드의 함수(또는 선호도 함수) 또는 표정/음성 시계열 벡터에 대한 리워드의 함수를 산출할 수 있다. 이 동작에서, 상기 프로세서(120)는 Reward labeling과 관련하여, 예컨대, 표정 검출(예: smile detector) 값으로 labeling을 수행할 수 있다. 표정 검출과 관련하여, 프로세서(120)는 시계열적으로 수집된 감정 벡터들에 대해 지정된 시계열 함수들을 적용하여, 시계열적으로 리워드 값들을 검출할 수 있다.
동작 1007에서, 프로세서(120)는 동작에 대한 선호도 추정을 수행할 수 있다. 예컨대, 홈 로봇 장치(100)는 음성 또는 영상 중 적어도 하나의 시계열 벡터 값과 저장된 감정 분포 데이터 또는 감정 테이블을 기반으로 감정 정보를 획득하고, 이를 기반으로 사용자의 선호도 값을 추정할 수 있다. 이와 관련하여, 상기 홈 로봇 장치(100)는 감정 분포 데이터 또는 감정 테이블을 메모리(130)에 기 저장 관리할 수 있다.
상술한 다양한 실시 예에 따르면, 한 실시 예에 따른 홈 로봇 장치 동작 운용 방법은 지정된 동작 실행 정보를 기반으로 홈 로봇 장치의 동작을 수행하는 과정, 사용자의 피드백 정보를 획득하는 과정, 상기 사용자의 피드백 정보를 기반으로 상기 지정된 동작 실행 정보의 적어도 일부를 변경한 변형된 동작 실행 정보를 생성하는 과정, 상기 변형된 동작 실행 정보에 따라 상기 홈 로봇 장치의 동작을 수행하는 과정을 포함하고, 상기 동작 실행 정보를 생성하는 과정은 상기 지정된 동작 실행 정보와 관련한 확률 모델에서 상기 홈 로봇 장치의 적어도 하나의 관절 또는 관절에 연계된 적어도 하나의 지지대의 움직임 변화를 선택하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 방법은 상기 지정된 동작 실행 정보를 생성하는 과정을 더 포함하고, 상기 지정된 동작 실행 정보를 생성하는 과정은 동작 정보 제공 소스로부터 외부 동작 정보를 획득하는 과정, 상기 외부 동작 정보에 포함된 객체의 관절의 수, 관절의 위치, 관절의 움직임 방향, 관절의 움직임 각도를 포함하는 참조 정보를 추출하는 과정, 상기 추출된 참조 정보를 상기 홈 로봇 장치의 관절 장치에 함축 매핑하여 상기 지정된 동작 실행 정보를 생성하는 과정을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 외부 동작 정보를 획득하는 과정은 카메라를 이용하여 움직임을 가진 피사체의 영상을 획득하는 과정, 상기 외부 동작 정보를 저장한 외부 전자 장치와 통신 채널을 형성하고, 상기 외부 전자 장치로부터 상기 외부 동작 정보를 획득하는 과정 중 적어도 하나의 과정을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 지정된 동작 실행 정보를 생성하는 과정은 상기 추출된 참조 정보에서 관절들의 위치를 부위별로 구분하고, 상기 홈 로봇 장치의 부위별로 상기 참조 정보의 관절들을 상기 홈 로봇 장치의 부위에 해당하는 관절 장치들에 함축 매핑하는 과정을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 지정된 동작 실행 정보를 생성하는 과정은 상기 참조 정보에서의 적어도 하나의 관절의 움직임 방향, 움직임 각도, 움직임 속도를 상기 홈 로봇 장치의 적어도 하나의 관절 장치에 동일하게 매핑하는 과정을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 사용자의 피드백 정보를 획득하는 과정은 카메라를 활성화하는 과정, 상기 카메라를 이용하여 획득된 영상을 분석하여 사용자의 얼굴 특징점 좌표를 추출하는 과정, 상기 얼굴 특징점 좌표를 기반으로 기 저장되고 학습된 감정 분포 데이터를 기반으로 감정 정보를 추정하거나 또는 기 저장된 감정 테이블과 비교하여, 사용자의 감정 정보를 획득하는 과정을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 사용자의 피드백 정보를 획득하는 과정은 상기 사용자 감정 정보를 기 저장된 선호도 테이블과 비교하는 과정, 상기 비교 결과에 따라 상기 사용자의 선호도 점수 값을 결정하는 과정 또는 기 저장된 선호도 분포 정보를 기반으로 수신된 사용자 감정 정보를 학습하여 상기 사용자의 선호도 점수 값을 결정하는 과정 중 적어도 하나의 과정을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 변형된 동작 실행 정보를 생성하는 과정은 상기 사용자의 선호도 점수 값이 증가하는 형태로 상기 동작 실행 정보의 적어도 일부를 변형하는 과정을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 변형된 동작 실행 정보를 생성하는 과정은 지정된 횟수 이상 상기 동작 실행 정보를 변형하는 과정, 상기 사용자 선호도 점수 값이 지정된 값 이상이 될 때까지 상기 동작 실행 정보를 변형하는 과정, 복수의 사용자 선호도 점수 값들의 선호도 분포를 추정하고, 추정된 선호도 분포가 최대 값을 가지도록 상기 동작 실행 정보를 변경하는 과정, 또는 상기 사용자 선호도 점수 값이 증가 추세에서 감소 추세로 변경되는 변곡점까지 상기 동작 실행 정보를 변형하는 과정 중 어느 하나의 과정을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 사용자의 피드백 정보를 획득하는 과정은 카메라 및 마이크 중 적어도 하나를 활성화하는 과정, 상기 카메라를 기반으로 획득한 영상의 시계열 벡터 또는 상기 마이크가 수집한 일정 시간 길이의 상기 사용자의 음성 신호에 대한 음성 특징 벡터들 중 적어도 하나를 추출하는 과정, 상기 음성 및 영상 중 적어도 하나의 시계열 벡터의 분석 결과와 기 저장된 감정 분포 데이터를 기반으로 감정 정보를 추정하는 과정 또는 상기 음성 및 영상 중 적어도 하나의 시계열 벡터의 분석 결과와 기 저장된 감정 테이블을 비교하여, 사용자의 감정 정보를 획득하는 과정 중 적어도 하나의 과정을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
Claims (20)
- 지정된 동작 실행 정보를 저장하는 메모리;
홈 로봇 장치의 동작을 수행하는 운동 모듈;
상기 메모리 및 상기 운동 모듈과 전기적으로 연결되는 프로세서;를 포함하고,
상기 프로세서는
상기 지정된 동작 실행 정보에 따라 상기 운동 모듈을 운용하여 동작을 수행하고, 사용자의 피드백 정보를 획득하고, 상기 사용자의 피드백 정보를 기반으로 상기 지정된 동작 실행 정보의 적어도 일부를 변경한 변형된 동작 실행 정보를 생성하고, 상기 변형된 동작 실행 정보에 따라 상기 홈 로봇 장치의 동작을 수행하되,
상기 동작 실행 정보를 생성과 관련하여, 상기 지정된 동작 실행 정보와 관련한 확률 모델에서 상기 홈 로봇 장치의 적어도 하나의 관절 또는 관절에 연계된 적어도 하나의 지지대의 움직임 변화를 선택하도록 설정된 홈 로봇 장치. - 제1항에 있어서,
상기 프로세서는
동작 정보 제공 소스로부터 외부 동작 정보를 획득하고, 상기 외부 동작 정보에 포함된 객체의 관절의 수, 관절의 위치, 관절의 움직임 방향, 관절의 움직임 각도 정보 중 적어도 하나를 포함하는 참조 정보를 추출하고, 상기 추출된 참조 정보를 상기 홈 로봇 장치의 관절 장치에 함축 매핑하여 상기 지정된 동작 실행 정보를 생성하도록 설정된 홈 로봇 장치. - 제2항에 있어서,
상기 프로세서는
상기 추출된 참조 정보에서 관절들의 위치를 부위별로 구분하고, 상기 홈 로봇 장치의 부위별로 상기 참조 정보의 관절들을 상기 홈 로봇 장치의 부위에 해당하는 관절 장치들에 함축 매핑하도록 설정된 홈 로봇 장치. - 제2항에 있어서,
상기 프로세서는
상기 참조 정보에서의 적어도 하나의 관절의 움직임 방향, 움직임 각도, 움직임 속도를 상기 홈 로봇 장치의 적어도 하나의 관절 장치에 동일하게 매핑하도록 설정된 홈 로봇 장치. - 제2항에 있어서,
상기 외부 동작 정보 획득과 관련하여 움직임을 가진 피사체의 영상을 획득할 수 있는 카메라;
상기 외부 동작 정보를 저장한 외부 전자 장치로부터 수신할 수 있는 통신 회로; 중 적어도 하나를 더 포함하는 홈 로봇 장치. - 제1항에 있어서,
카메라;를 더 포함하고,
상기 프로세서는
상기 카메라를 이용하여 획득된 영상을 분석하여 사용자의 얼굴 특징점 좌표를 추출하고, 상기 얼굴 특징점 좌표를 기반으로 기 저장되고 학습된 감정 분포 데이터를 기반으로 감정 정보를 추정하거나, 또는 기 저장된 감정 테이블과 비교하여, 사용자의 감정 정보를 획득하도록 설정된 홈 로봇 장치. - 제6항에 있어서,
상기 프로세서는
상기 사용자 감정 정보를 상기 메모리에 저장된 선호도 테이블과 비교하고, 상기 비교 결과에 따라 상기 사용자의 선호도 점수 값을 결정하도록 설정되거나,
상기 메모리에 기 저장된 선호도 분포 정보를 기반으로 상기 사용자 감정 정보를 학습하여 상기 사용자의 선호도 점수 값을 결정하도록 설정된 홈 로봇 장치. - 제7항에 있어서,
상기 프로세서는
상기 사용자의 선호도 점수 값이 증가하는 형태로 상기 동작 실행 정보의 적어도 일부를 변형하도록 설정된 홈 로봇 장치. - 제8항에 있어서,
상기 프로세서는
지정된 횟수 이상 상기 동작 실행 정보를 변형하거나, 상기 사용자 선호도 점수 값이 지정된 값 이상이 될 때까지 상기 동작 실행 정보를 변형하거나, 복수의 사용자 선호도 점수 값들의 선호도 분포를 추정하고, 추정된 선호도 분포가 최대 값을 가지도록 상기 동작 실행 정보를 변경하거나, 또는 상기 사용자 선호도 점수 값이 증가 추세에서 감소 추세로 변경되는 변곡점까지 상기 동작 실행 정보를 변형하도록 설정된 홈 로봇 장치. - 제1항에 있어서,
카메라 및 마이크 중 적어도 하나를 더 포함하고,
상기 프로세서는
상기 카메라를 기반으로 획득한 영상의 시계열 벡터 또는 상기 마이크가 수집한 일정 시간 길이의 상기 사용자의 음성 신호에 대한 음성 특징 벡터들 중 적어도 하나를 추출하고, 상기 음성 및 영상 중 적어도 하나의 시계열 벡터의 분석 결과와 기 저장된 감정 분포 데이터를 기반으로 감정 정보를 추정하거나, 또는 상기 음성 및 영상 중 적어도 하나의 시계열 벡터의 분석 결과와 기 저장된 감정 테이블을 비교하여, 사용자의 감정 정보를 획득하도록 설정된 홈 로봇 장치. - 지정된 동작 실행 정보를 기반으로 홈 로봇 장치의 동작을 수행하는 과정;
사용자의 피드백 정보를 획득하는 과정;
상기 사용자의 피드백 정보를 기반으로 상기 지정된 동작 실행 정보의 적어도 일부를 변경한 변형된 동작 실행 정보를 생성하는 과정;
상기 변형된 동작 실행 정보에 따라 상기 홈 로봇 장치의 동작을 수행하는 과정;을 포함하고,
상기 동작 실행 정보를 생성하는 과정은
상기 지정된 동작 실행 정보와 관련한 확률 모델에서 상기 홈 로봇 장치의 적어도 하나의 관절 또는 관절에 연계된 적어도 하나의 지지대의 움직임 변화를 선택하는 동작;을 포함하는 홈 로봇 장치의 동작 운용 방법. - 제11항에 있어서,
상기 지정된 동작 실행 정보를 생성하는 과정;을 더 포함하고,
동작 정보 제공 소스로부터 외부 동작 정보를 획득하는 과정;
상기 외부 동작 정보에 포함된 객체의 관절의 수, 관절의 위치, 관절의 움직임 방향, 관절의 움직임 각도를 포함하는 참조 정보를 추출하는 과정;
상기 추출된 참조 정보를 상기 홈 로봇 장치의 관절 장치에 함축 매핑하여 상기 지정된 동작 실행 정보를 생성하는 과정;을 포함하는 홈 로봇 장치의 동작 운용 방법. - 제12항에 있어서,
상기 외부 동작 정보를 획득하는 과정은
카메라를 이용하여 움직임을 가진 피사체의 영상을 획득하는 과정;
상기 외부 동작 정보를 저장한 외부 전자 장치와 통신 채널을 형성하고, 상기 외부 전자 장치로부터 상기 외부 동작 정보를 획득하는 과정; 중 적어도 하나의 과정을 포함하는 홈 로봇 장치의 동작 운용 방법. - 제12항에 있어서,
상기 지정된 동작 실행 정보를 생성하는 과정은
상기 추출된 참조 정보에서 관절들의 위치를 부위별로 구분하고, 상기 홈 로봇 장치의 부위별로 상기 참조 정보의 관절들을 상기 홈 로봇 장치의 부위에 해당하는 관절 장치들에 함축 매핑하는 과정;을 포함하는 홈 로봇 장치의 동작 운용 방법. - 제12항에 있어서,
상기 지정된 동작 실행 정보를 생성하는 과정은
상기 참조 정보에서의 적어도 하나의 관절의 움직임 방향, 움직임 각도, 움직임 속도를 상기 홈 로봇 장치의 적어도 하나의 관절 장치에 동일하게 매핑하는 과정;을 포함하는 홈 로봇 장치의 동작 운용 방법. - 제11항에 있어서,
상기 사용자의 피드백 정보를 획득하는 과정은
카메라를 활성화하는 과정;
상기 카메라를 이용하여 획득된 영상을 분석하여 사용자의 얼굴 특징점 좌표를 추출하는 과정;
상기 얼굴 특징점 좌표를 기반으로 기 저장되고 학습된 감정 분포 데이터를 기반으로 감정 정보를 추정하거나 또는 기 저장된 감정 테이블과 비교하여, 사용자의 감정 정보를 획득하는 과정;을 포함하는 홈 로봇 장치의 동작 운용 방법. - 제16항에 있어서,
상기 사용자의 피드백 정보를 획득하는 과정은
상기 사용자 감정 정보를 기 저장된 선호도 테이블과 비교하고, 상기 비교 결과에 따라 상기 사용자의 선호도 점수 값을 결정하는 과정;
상기 메모리에 기 저장된 선호도 분포 정보를 기반으로 상기 사용자 감정 정보를 학습하여 상기 사용자의 선호도 점수 값을 결정하는 과정; 중 어느 하나의 과정을 더 포함하는 홈 로봇 장치의 동작 운용 방법. - 제17항에 있어서,
상기 변형된 동작 실행 정보를 생성하는 과정은
상기 사용자의 선호도 점수 값이 증가하는 형태로 상기 동작 실행 정보의 적어도 일부를 변형하는 과정;을 포함하는 홈 로봇 장치의 동작 운용 방법. - 제18항에 있어서,
상기 변형된 동작 실행 정보를 생성하는 과정은
지정된 횟수 이상 상기 동작 실행 정보를 변형하는 과정;
상기 사용자 선호도 점수 값이 지정된 값 이상이 될 때까지 상기 동작 실행 정보를 변형하는 과정; 또는
상기 사용자 선호도 점수 값이 증가 추세에서 감소 추세로 변경되는 변곡점까지 상기 동작 실행 정보를 변형하는 과정;
복수의 사용자 선호도 점수 값들의 선호도 분포를 추정하고, 추정된 선호도 분포가 최대 값을 가지도록 상기 동작 실행 정보를 변경하는 과정; 또는
상기 사용자 선호도 점수 값이 증가 추세에서 감소 추세로 변경되는 변곡점까지 상기 동작 실행 정보를 변형하는 과정 중 어느 하나의 과정 중 어느 하나의 과정을 포함하는 홈 로봇 장치의 동작 운용 방법. - 제11항에 있어서,
상기 사용자의 피드백 정보를 획득하는 과정은
카메라 및 마이크 중 적어도 하나를 활성화하는 과정;
상기 카메라를 기반으로 획득한 영상의 시계열 벡터 또는 상기 마이크가 수집한 일정 시간 길이의 상기 사용자의 음성 신호에 대한 음성 특징 벡터들 중 적어도 하나를 추출하는 과정;
상기 음성 및 영상 중 적어도 하나의 시계열 벡터의 분석 결과와 기 저장된 감정 분포 데이터를 기반으로 감정 정보를 추정하는 과정 또는 상기 음성 및 영상 중 적어도 하나의 시계열 벡터의 분석 결과와 기 저장된 감정 테이블을 비교하여, 사용자의 감정 정보를 획득하는 과정 중 적어도 하나의 과정;을 포함하는 홈 로봇 장치의 동작 운용 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160176320A KR102640420B1 (ko) | 2016-12-22 | 2016-12-22 | 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치 |
| US15/831,843 US10786895B2 (en) | 2016-12-22 | 2017-12-05 | Operation method for activation of home robot device and home robot device supporting the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160176320A KR102640420B1 (ko) | 2016-12-22 | 2016-12-22 | 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180072978A true KR20180072978A (ko) | 2018-07-02 |
| KR102640420B1 KR102640420B1 (ko) | 2024-02-26 |
Family
ID=62625524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160176320A KR102640420B1 (ko) | 2016-12-22 | 2016-12-22 | 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10786895B2 (ko) |
| KR (1) | KR102640420B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102084690B1 (ko) * | 2018-09-13 | 2020-04-23 | 이승일 | 객체인식과 기계학습을 이용한 이동형 장난감 제어시스템 |
| WO2021221373A1 (ko) * | 2020-04-29 | 2021-11-04 | 주식회사 매크로액트 | 로봇으로 동물의 동작을 재현하는 방법, 시스템 및 비일시성 판독 가능 기록 매체 |
| KR20210133869A (ko) * | 2020-04-29 | 2021-11-08 | 주식회사 매크로액트 | 로봇으로 동물의 동작을 재현하는 방법, 시스템 및 비일시성 판독 가능 기록 매체 |
| KR102367469B1 (ko) * | 2020-11-02 | 2022-02-25 | 임서준 | 공기 청정 기능을 갖는 이동식 얼굴 인식 로봇 및 그의 제어 시스템 |
| KR20220023543A (ko) * | 2020-08-21 | 2022-03-02 | 한국전자통신연구원 | 로봇 인터랙션 행위 생성 장치 및 방법 |
| KR20230030793A (ko) * | 2021-08-26 | 2023-03-07 | 한국로봇융합연구원 | 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 장치 및 이를 위한 방법 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11484685B2 (en) * | 2010-06-07 | 2022-11-01 | Affectiva, Inc. | Robotic control using profiles |
| US20190184569A1 (en) * | 2017-12-18 | 2019-06-20 | Bot3, Inc. | Robot based on artificial intelligence, and control method thereof |
| KR102385263B1 (ko) * | 2018-01-04 | 2022-04-12 | 삼성전자주식회사 | 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법 |
| CN108197115B (zh) * | 2018-01-26 | 2022-04-22 | 上海智臻智能网络科技股份有限公司 | 智能交互方法、装置、计算机设备和计算机可读存储介质 |
| US11633863B2 (en) * | 2018-04-06 | 2023-04-25 | Digital Dream Labs, Llc | Condition-based robot audio techniques |
| US11158206B2 (en) * | 2018-09-20 | 2021-10-26 | International Business Machines Corporation | Assisting learners based on analytics of in-session cognition |
| US11921509B2 (en) * | 2018-10-30 | 2024-03-05 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
| US11120599B2 (en) * | 2018-11-08 | 2021-09-14 | International Business Machines Corporation | Deriving avatar expressions in virtual reality environments |
| JP2020121381A (ja) * | 2019-01-31 | 2020-08-13 | セイコーエプソン株式会社 | 機械学習器、ロボットシステム、及び機械学習方法 |
| JP2020136828A (ja) * | 2019-02-15 | 2020-08-31 | シャープ株式会社 | 電子機器、制御方法及びプログラム |
| KR20210020312A (ko) * | 2019-08-14 | 2021-02-24 | 엘지전자 주식회사 | 로봇 및 그의 제어 방법 |
| US11417041B2 (en) | 2020-02-12 | 2022-08-16 | Adobe Inc. | Style-aware audio-driven talking head animation from a single image |
| US11854328B2 (en) | 2020-10-14 | 2023-12-26 | 1Ahead Technologies | Access management system |
| US11756357B2 (en) | 2020-10-14 | 2023-09-12 | 1Ahead Technologies | Access management system |
| US20230005312A1 (en) * | 2020-10-14 | 2023-01-05 | 1Ahead Technologies | Access management system |
| CA3157774A1 (en) * | 2021-05-05 | 2022-11-05 | Sanctuary Cognitive Systems Corporation | Robots, tele-operation systems, and methods of operating the same |
| US11839982B2 (en) * | 2021-11-12 | 2023-12-12 | Animax Designs, Inc. | Systems and methods for real-time control of a robot using a robot animation system |
| CN117215403A (zh) * | 2023-07-26 | 2023-12-12 | 北京小米机器人技术有限公司 | 智能设备控制方法、装置、智能设备与存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150217449A1 (en) * | 2014-02-03 | 2015-08-06 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100429976B1 (ko) | 2002-02-01 | 2004-05-03 | 엘지전자 주식회사 | 로봇의 행동학습방법 |
| JP2005078376A (ja) * | 2003-08-29 | 2005-03-24 | Sony Corp | 対象物検出装置、対象物方法、及びロボット装置 |
| KR101483713B1 (ko) * | 2008-06-30 | 2015-01-16 | 삼성전자 주식회사 | 모션 캡쳐 장치 및 모션 캡쳐 방법 |
| US9052710B1 (en) * | 2009-03-20 | 2015-06-09 | Exelis Inc. | Manipulation control based upon mimic of human gestures |
| JP5836565B2 (ja) * | 2009-03-24 | 2015-12-24 | ディズニー エンタープライゼス インコーポレイテッド | モーションキャプチャデータを模倣するロボットの追跡及びバランス維持システム及び方法 |
| KR20110055062A (ko) * | 2009-11-19 | 2011-05-25 | 삼성전자주식회사 | 로봇 시스템 및 그 제어 방법 |
| US9056396B1 (en) * | 2013-03-05 | 2015-06-16 | Autofuss | Programming of a robotic arm using a motion capture system |
| US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
| CN105409197A (zh) | 2013-03-15 | 2016-03-16 | 趣普科技公司 | 用于提供持久伙伴装置的设备和方法 |
| US9381642B2 (en) * | 2014-01-13 | 2016-07-05 | Massachusetts Institute Of Technology | Wearable robot assisting manual tasks |
| US10194163B2 (en) * | 2014-05-22 | 2019-01-29 | Brain Corporation | Apparatus and methods for real time estimation of differential motion in live video |
| JP6467965B2 (ja) * | 2015-02-13 | 2019-02-13 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
| US9427868B1 (en) * | 2015-02-24 | 2016-08-30 | Disney Enterprises, Inc. | Method for developing and controlling a robot to have movements matching an animation character |
| US9962831B2 (en) * | 2015-07-08 | 2018-05-08 | Stephen Favis | Biomimetic humanoid robotic model, control system, and simulation process |
| US20190105779A1 (en) * | 2016-03-24 | 2019-04-11 | Polygon T.R Ltd. | Systems and methods for human and robot collaboration |
| WO2017177128A1 (en) * | 2016-04-08 | 2017-10-12 | The Trustees Of Columbia University In The City Of New York | Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface |
| US10427305B2 (en) * | 2016-07-21 | 2019-10-01 | Autodesk, Inc. | Robotic camera control via motion capture |
| US11072071B2 (en) * | 2017-09-19 | 2021-07-27 | Autodesk, Inc. | Modifying robot dynamics in response to human presence |
-
2016
- 2016-12-22 KR KR1020160176320A patent/KR102640420B1/ko active IP Right Grant
-
2017
- 2017-12-05 US US15/831,843 patent/US10786895B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150217449A1 (en) * | 2014-02-03 | 2015-08-06 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102084690B1 (ko) * | 2018-09-13 | 2020-04-23 | 이승일 | 객체인식과 기계학습을 이용한 이동형 장난감 제어시스템 |
| WO2021221373A1 (ko) * | 2020-04-29 | 2021-11-04 | 주식회사 매크로액트 | 로봇으로 동물의 동작을 재현하는 방법, 시스템 및 비일시성 판독 가능 기록 매체 |
| KR20210133869A (ko) * | 2020-04-29 | 2021-11-08 | 주식회사 매크로액트 | 로봇으로 동물의 동작을 재현하는 방법, 시스템 및 비일시성 판독 가능 기록 매체 |
| KR20220023543A (ko) * | 2020-08-21 | 2022-03-02 | 한국전자통신연구원 | 로봇 인터랙션 행위 생성 장치 및 방법 |
| US11691291B2 (en) | 2020-08-21 | 2023-07-04 | Electronics And Telecommunications Research Institute | Apparatus and method for generating robot interaction behavior |
| KR102367469B1 (ko) * | 2020-11-02 | 2022-02-25 | 임서준 | 공기 청정 기능을 갖는 이동식 얼굴 인식 로봇 및 그의 제어 시스템 |
| KR20230030793A (ko) * | 2021-08-26 | 2023-03-07 | 한국로봇융합연구원 | 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 장치 및 이를 위한 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10786895B2 (en) | 2020-09-29 |
| KR102640420B1 (ko) | 2024-02-26 |
| US20180178372A1 (en) | 2018-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102640420B1 (ko) | 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치 | |
| US11937929B2 (en) | Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders | |
| Moon et al. | Multiple kinect sensor fusion for human skeleton tracking using Kalman filtering | |
| JP5863423B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US11407106B2 (en) | Electronic device capable of moving and operating method thereof | |
| US10853649B2 (en) | Context-aware hazard detection using world-facing cameras in virtual, augmented, and mixed reality (xR) applications | |
| CN114391163A (zh) | 手势检测系统和方法 | |
| JP2017208126A (ja) | オブジェクト認識装置、分類ツリー学習装置及びその動作方法 | |
| KR20150057424A (ko) | 증강현실 아바타 상호작용 방법 및 시스템 | |
| CN104520849A (zh) | 使用外在物理表达的搜索用户界面 | |
| CN102222431A (zh) | 基于机器的手语翻译器 | |
| EP3739415A1 (en) | Information processing device, information processing method and program | |
| JP6109288B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Essig et al. | ADAMAAS: towards smart glasses for mobile and personalized action assistance | |
| JPWO2019216016A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| bin Mohd Sidik et al. | A study on natural interaction for human body motion using depth image data | |
| Valenti et al. | Facial expression recognition: A fully integrated approach | |
| CN113033526A (zh) | 基于计算机实现的方法、电子设备和计算机程序产品 | |
| Trejo et al. | Recognition of Yoga poses through an interactive system with Kinect based on confidence value | |
| Michieletto et al. | Robot learning by observing humans activities and modeling failures | |
| Shah et al. | Gesture recognition technique: a review | |
| Gavrilă et al. | Towards the development of a medical rehabilitation system | |
| Helmert et al. | Design and Evaluation of an AR Voice-based Indoor UAV Assistant for Smart Home Scenarios | |
| US20240127459A1 (en) | Method and apparatus for classifying and evaluating motion based on motion feature | |
| Dwiputra et al. | The b-it-bots robocup@ home 2014 team description paper |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |