KR20160051020A - 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법 - Google Patents

사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법 Download PDF

Info

Publication number
KR20160051020A
KR20160051020A KR1020140150358A KR20140150358A KR20160051020A KR 20160051020 A KR20160051020 A KR 20160051020A KR 1020140150358 A KR1020140150358 A KR 1020140150358A KR 20140150358 A KR20140150358 A KR 20140150358A KR 20160051020 A KR20160051020 A KR 20160051020A
Authority
KR
South Korea
Prior art keywords
user
information
input
intention
output
Prior art date
Application number
KR1020140150358A
Other languages
English (en)
Inventor
윤재민
Original Assignee
얄리주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 얄리주식회사 filed Critical 얄리주식회사
Priority to KR1020140150358A priority Critical patent/KR20160051020A/ko
Priority to US14/582,374 priority patent/US20160125295A1/en
Priority to JP2014266418A priority patent/JP2016087402A/ja
Priority to CN201410852411.3A priority patent/CN105536264A/zh
Publication of KR20160051020A publication Critical patent/KR20160051020A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Toys (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법에 관한 것으로서, 더욱 상세하게는 사용자의 행위의 의도를 인식하고 이에 대한 반응을 선택하여 사용자에게 출력해 줌으로써 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법에 관한 것이다.
본 발명에 의하면, 사용자와 상호작용 가능한 완구에서, 사용자의 행위, 음성의 의도를 2개 이상의 센서 등의 감지 수단을 이용하여 더욱 정확히 파악할 수 있도록 하고, 이에 따라 사용자에게 적절한 응답이 이루어지도록 함으로써, 사용자와 행위와 음성을 통하여 교감하는 것을 더욱 생생하게 즐길 수 있게 해 주는, 사용자와 상호작용 가능한 완구를 제공한다.

Description

사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법{USER-INTERACTION TOY AND INTERACTION METHOD OF THE TOY}
본 발명은 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법에 관한 것으로서, 더욱 상세하게는 사용자의 행위의 의도를 인식하고 이에 대한 반응을 선택하여 사용자에게 출력해 줌으로써 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법에 관한 것이다.
종래 대화형 완구는 사용자의 음성을 인식하여 그에 대하여 몇 가지 음성 대답으로써 응답하는 수준에 불과하였다. 이를 좀 더 개선하기 위하여, 사용자의 터치 등 행위를 감지하여 그에 따라 반응하는 완구가 개시되기도 하였으나, 이 경우에도 하나의 행위는 하나의 종류의 감지 수단을 이용하여 인식하게 됨으로써, 유사한 행위들이지만 사용자의 다른 감정이나 의도를 표현하는 행위를 좀 더 정확하게 인식하지는 못하였고, 그에 따라 사용자와의 좀 더 세밀한 교감의 행동을 제공하지는 못하는 문제점이 있었다.
KR 10-0332966 B1
본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 사용자와 상호작용 가능한 완구에서, 사용자의 의도를 2개 이상의 센서 등의 감지 수단을 이용하여 더욱 정확히 파악할 수 있도록 하고, 이에 따라 사용자에게 적절한 응답이 이루어지도록 함으로써, 사용자와 음성, 음향, 행위, 영상을 통해서 교감함으로써 더욱 생생하게 즐길 수 있는, 사용자와 상호작용 가능한 완구를 제공하는데 그 목적이 있다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 사용자와의 상호작용이 가능한 완구(이하 '사용자 상호작용 완구'라 한다)가, 사용자의 의도를 인식하고 이에 대한 반응을 표현하는 방법은, (a) 사용자가 발생시키는 자극(이하 '입력자극'이라 한다)을 감지하는 2개 이상의 다른 종류의 센서의 입력에 의해 획득된 정보에 기초하여, 사용자가 상기 사용자 상호작용 완구에 전달하려는 의미(이하 '사용자 의도'라 한다)를 판정하는 단계; 및 (b) 판정된 사용자 의도를 기초로, 사용자에 대하여 출력할 반응을 선택하여 사용자에게 출력하는 단계를 포함한다.
상기 단계(a)에서, 상기 입력자극에 대한 각 센서의 입력에 의해 획득된 정보는, 시각정보, 청각정보, 촉각정보, 후각정보, 미각정보, 운동정보, 자세정보 중 하나 이상일 수 있다.
상기 단계(a)는, (a11) 2개 이상의 다른 종류의 센서에서 각각 감지된 사용자의 특정 입력자극에 대한 입력값을 획득하는 단계; (a12) 각 센서에서 감지된 입력값을 분석하여, 해당 센서에 의해 감지된 상기 입력자극이 나타내는 정보(이하 '입력정보'라 한다)의 내용을 결정하는 단계; 및 (a13) 상기 단계(a12)에서 결정된 상기 입력정보의 내용들을 조합하여, 상기 입력정보에 의한 사용자 의도를 판정하는 단계를 포함할 수 있다.
상기 단계(a)와 단계(b) 사이에, (b01) 상기 단계(a)에서 사용자 의도가 확정되지 않은 경우, 그 확정을 위하여 사용자에 대한 음성, 음향, 행위, 영상 중 하나 이상의 출력을 발생시키는 단계; 및 (b02) 상기 단계(b01)의 출력에 대한 사용자의 반응에 기초하여 사용자 의도를 판정하는 단계를 더 포함할 수 있다.
상기 단계(b)에서, 판정된 사용자 의도를 기초로, 사용자에 대하여 출력할 반응을 선택하여 사용자에게 출력할 경우, 음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 정보를 출력할 수 있다.
상기 단계(a)에서 사용자 의도가 확정된 경우 또는 확정되지 않은 경우에 대해서, 사용자에 대하여 출력할 반응을 선택하여 사용자에게 출력할 경우, 데이터베이스에 기 저장되어 있는 시나리오를 통해서 그 출력 내용을 결정할 수 있다.
본 발명의 다른 측면에 따르면, 사용자의 의도를 인식하고 이에 대한 반응을 표현함에 의해 사용자와의 상호작용이 가능한 완구(이하 '사용자 상호작용 완구'라 한다)는, 사용자가 발생시키는 자극(이하 '입력자극'이라 한다)을 감지하여 그 입력자극에 대한 입력값을 획득하는 센서입력부; 사용자의 입력에 대응하는 출력을 발생시키는 출력부; 입력자극을 감지하는 상기 센서입력부의 2개 이상의 다른 종류의 센서의 입력에 의해 획득된 정보에 기초하여, 사용자가 상기 사용자 상호작용 완구에 전달하려는 의미(이하 '사용자 의도'라 한다)를 판정하는 사용자 의도 판정부; 상기 사용자 의도 판정부에 의해 판정된 사용자 의도를 기초로, 사용자에 대하여 출력할 반응을 선택하는 출력결정부; 및 사용자 의도 판정을 위한 기준 데이터를 저장하는 판정기준 데이터베이스를 포함한다.
상기 입력자극에 대한 각 센서의 입력에 의해 획득된 정보는, 시각정보, 청각정보, 촉각정보, 후각정보, 미각정보, 운동정보, 자세정보 중 하나 이상일 수 있다.
상기 사용자 상호작용 완구는, 상기 센서입력부의 2개 이상의 다른 종류의 센서에서 각각 획득된, 사용자가 발생시킨 특정 입력자극에 대한 입력값을 분석하여, 해당 센서에 의해 감지된 상기 입력자극이 나타내는 정보(이하 '입력정보'라 한다)의 내용을 결정하는 입력정보 내용 결정부를 더 포함하고, 상기 사용자 의도 판정부는, 각 센서에서 감지된 입력값을 이용하여 상기 입력정보 내용 결정부가 결정한 상기 입력정보의 내용들을 조합하여, 상기 입력자극에 대한 사용자 의도를 판정할 수 있다.
상기 사용자 의도 판정부는, 상기 센서입력부의 2개 이상의 다른 종류의 센서의 입력에 의해 획득된 정보에 기초한 판정으로부터 사용자 의도가 확정되지 않은 경우, 그 확정을 위하여 사용자에 대한 음성, 음향, 행위, 영상 중 하나 이상의 출력을 발생시키도록 상기 출력결정부를 제어하며, 해당 출력에 대한 사용자의 반응에 기초하여 사용자 의도를 판정하는 기능을 더 포함하며, 상기 음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 정보를 저장하는 출력정보 데이터베이스를 더 포함할 수 있다.
상기 출력결정부가, 판정된 사용자 의도를 기초로 사용자에 대하여 출력할 반응을 선택하여 사용자에게 출력할 경우, 음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 정보를 출력하며, 상기 사용자 상호작용 완구는, 상기 음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 정보를 저장하는 출력정보 데이터베이스를 더 포함할 수 있다.
상기 사용자 상호작용 완구는, 상기 사용자 의도 판정부에 의해 사용자 의도가 확정되었거나 또는 확정되지 않은 경우에 대해서, 사용자에 대하여 출력할 반응을 선택하여 사용자에게 출력할 경우, 그 출력 내용을 결정하는 시나리오를 저장하는 시나리오 데이터베이스를 더 포함할 수 있다.
본 발명에 의하면, 사용자와 상호작용 가능한 완구에서, 사용자의 행위, 음성의 의도를 2개 이상의 센서 등의 감지 수단을 이용하여 더욱 정확히 파악할 수 있도록 하고, 이에 따라 사용자에게 적절한 응답이 이루어지도록 함으로써, 사용자와 행위와 음성을 통하여 교감하는 것을 더욱 생생하게 즐길 수 있게 해 주는, 사용자와 상호작용 가능한 완구를 제공하는 효과가 있다.
도 1은 본 발명에 따른 사용자 상호작용 완구가 사용자 입력에 대한 반응 표현을 수행하기 위한 순서도.
도 2는 사용자의 특정 행위가 다양한 센서에 의해 감지되는 경우, 센서에 기초한 사용자 의도 판정 테이블의 일 실시예를 도시한 도면.
도 3은 사용자 의도 판정을 위한 방법의 다른 실시예로서, 사용자로부터 입력될 수 있는 행위의 패턴 또는 음성의 인식된 내용을 행과 열에 모두 동일하게 나열하고 그 매칭에 의해 사용자의 의도를 파악하도록 하는 판정 테이블을 나타내는 도면.
도 4는 사용자 의도의 내용을 구체적으로 세분한 실시예를 도시한 도면.
도 5는 도 4와 같이 사용자 의도를 구분한 경우의 사용자 의도 판정 테이블의 실시예를 도시한 도면.
도 6은 사용자 의도 판정을 위한 방법의 다른 실시예로서, 사용자의 행위에 의해 사용자 의도가 파악되지 않을 경우, 확정을 위하여 사용자에 대하여 출력한 음성에 대한 사용자의 반응으로부터 사용자의 의도를 2차 판정하기 위한 판정 테이블을 나타내는 도면.
도 7은 본 발명에 따른 사용자 상호작용 완구의 구성을 나타내는 도면.
도 8은 출력결정부(140)에서 출력하기로 결정하는 음성정보, 음향정보, 행위정보, 영상정보의 내용의 실시예를 도시한 도면.
도 9는 사용자 의도가 확정된 경우 또는 확정되지 않는 경우에 모두 사용하는 질문과 답변의 패턴을 도시한 도면.
도 10은 질문과 답변으로 구성된 시나리오의 흐름을 일 실시예로서 도시한 도면.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 사용자 상호작용 완구가 사용자 입력에 대한 반응 표현을 수행하기 위한 순서도이다. 도 2는 사용자의 특정 행위가 다양한 센서에 의해 감지되는 경우, 센서에 기초한 사용자 의도 판정 테이블의 일 실시예를 도시한 도면이고, 도 3은 사용자 의도 판정을 위한 방법의 다른 실시예로서, 사용자로부터 입력될 수 있는 행위의 패턴 또는 음성의 인식된 내용을 행과 열에 모두 동일하게 나열하고 그 매칭에 의해 사용자의 의도를 파악하도록 하는 판정 테이블을 나타내는 도면이다.
이하에서는 도 1의 순서도에 따라, 도 2 및 도 3의 실시예에 따른 테이블을 참조하여 본 발명의 방법을 설명한다. 도 2 또는 도 3의 판정 테이블은, 본 발명의 사용자 상호작용 완구(100, 도 7 참조)의 판정기준 데이터베이스(160, 도 7 참조)에 저장되어 있을 수 있다.
먼저 사용자는 완구(100)에 대하여 특정 행위, 자세, 음성, 음향 등을 입력하고, 완구(100)의 2개 이상의 센서에서 그러한 행위, 자세, 음성, 음향 등에 대하여 감지된 입력값을 획득한다(S110). 여기서 '행위'라 함은 제스처, 완구(100)를 쓰다듬거나 완구(100)와 악수하기, 머리 좌우 흔들기, 눈깜박임, 눈동자 위치, 얼굴표정, 터치, 근접, 이동 등의 움직임(동작) 등 다양한 동작을 의미한다. 자세는 사용자의 정적인 포즈 등을 의미한다. 음성에는 사람이 내는 목소리 중 '말'로써 인식될 수 있는 소리를 의미하며, '음향'이란, 사람이 내는 목소리 중 웃음 소리, 우는 소리, 기침 소리, 단순한 외침 등, '말'로서 표현되기 어려운 소리를 의미한다. 또한 더욱 넓게는 사용자가 발생시키는 냄새, 맛 등도 포함할 수 있으며, 이러한 자극 역시 사용자가 완구(100)에 대하여 입력할 수 있는 것 중 하나이다.
즉 이러한 사용자의 행위, 자세, 음성, 음향, 더욱 넓게는 사용자가 발생시키는 냄새, 맛 등을 '입력'한다는 것은, 완구에 구비된 각종 센서에 의하여 이러한 사용자가 발생시키는 행위, 자세, 음성, 음향, 냄새, 맛 등이 감지될 수 있도록 한다는 것을 의미한다.
이상 기술한 바를 정리하면, 사용자에 의해 완구의 각 센서의 입력에 의해 획득될 수 있는 정보에는, 시각정보, 청각(소리)정보, 촉각정보, 후각정보, 미각정보, 운동정보, 자세정보 등 다양한 자극을 포함하는 것이라고 할 수 있다.
이후 단계 S130을 통하여 설명하는 바와 같이, 사용자가 발생시키는 행위, 자세, 음성, 음향, 냄새, 맛 등이 완구(100)의 센서에 입력된 후, 입력된 정보로부터 사용자의 의도를 파악하게 되는 것이다. 이후에는 이와 같이 센서를 통해 완구에 입력되도록 하여, 완구로 하여금 사용자의 의도를 파악하도록 하기 위한 요소로서 작용하는 것들, 즉, 사용자가 발생시키는 행위, 자세, 음성, 음향, 냄새, 맛 등의 다양한 자극들을 '입력자극'이라 총칭하여 부르기로 한다.
예를 들어, 완구의 센서입력부(110)의 '소리 센서' 또는 마이크 등은 이와 같은 입력자극 중 사용자의 음성, 음향을 포함하는 모든 소리가 입력될 수 있으며, 입력정보 내용 결정부(120)의 음성인식부(121)는 이로부터 사용자의 대화로서의 '음성'을 인식해 낼 수 있게 된다. 또한 음향인식부(122)는 입력된 소리가 전술한 바와 같은 '음향'의 내용을 인식한다. 또한 행위인식부(123)은 사용자의 다양한 행위의 내용을, 자세인식부(124)는 사용자의 다양한 자세의 내용을 인식해 낸다.
전술한 바와 같이 도 2는 센서에 기초한 사용자 의도 판정 테이블의 일 실시예를 도시한 도면이다. 즉, 본 발명은 사용자의 특정 입력자극에 대하여 이와 같이 다양한 센서(입력 디바이스)로 감지되어 입력된 데이터를 분석함으로써, 사용자의 목적, 상황, 감정 등을 포함하는 사용자의 의도를 기존의 발명보다 더욱 정확하게 식별해 내는 기술적 사상이다. 도 2의 1행과 1열은 사용자의 다양한 입력자극을 감지하는 센서들이 나열되어 있으며, 각 행과 열이 매칭되는 칸에는 해당 센서들에 의해 감지되어 파악된 사용자의 의도가 예시되어 있다.
또한 도 3의 경우는, 1행과 1열에, 센서 자체가 아닌, 사용자의 특정 입력자극에 대하여 각 센서에서 감지되어 파악된 입력자극의 내용이 기재되어 있다. 즉, 각 센서에서 감지된 입력값을 분석하여, 해당 센서에 의해 감지된 상기 입력자극이 나타내는 정보(이하 '입력정보'라 한다)의 내용을 결정한 후(S120), 그 행위에 대하여 결정된 입력정보의 내용이 1열과 1행에 나열되어 있는 것이다. 이후, 이와 같이 결정된 상기 입력정보의 내용들을 조합하여, 상기 입력정보에 의한 사용자 의도를 판정하게 된다(S130). 그와 같이 판정된 사용자의 의도가 도 3의 각 행과 열의 매칭된 칸에 예시되어 있다.
도 3 판정 테이블(310)은, 사용자로부터의 입력자극에 대한 2개 이상의 다른 종류의 센서의 입력에 기초하여 사용자의 의도를 파악하도록 한 판정 테이블이다. 이와 같은 방법을 하나의 테이블로 수행할 수 있도록 구성한 것이다. 뿐만 아니라 도 3의 판정 테이블은 해당 입력자극에 대한 1개의 센서의 입력에 기초하여 사용자 의도를 파악할 수 있는 경우까지 포함하고 있다. 또한 도 3의 판정 테이블(310)에는 '목소리'의 내용 중 음향 요소가 행,열에 기재되지 아니하였으나, 그와 같은 요소 역시 사용자 의도 파악을 위한 1행 및 1열의 행위의 내용에 들어갈 수 있음은 물론이다.
도 3의 판정 테이블(310)의 실시예에서 'A_'은 행위 센서 또는 자세 센서에 의해 감지된 행위 또는 자세를 의미하며, 'V_'은 인식된 사용자의 음성 내용을 의미한다. 다만, 이 판정 테이블(310)에서 행 또는 열에 나열된 행위의 내용은, 전술한 바와 같이 센서의 감지된 값 그 자체가 아니라, 입력정보 내용 결정부(120, 도 7 참조)가 센서의 감지된 값으로부터 인식해 낸 입력자극의 내용을 의미한다.
판정 테이블(310)에서, 예를 들어 '세게 터치하기(A_b1)' 및 '약하게 터치하기(A_b2)'는 센서입력부(110, 도 7 참조)의 터치센서에 의해 각각 다른 값으로 감지된 터치 행위값으로부터, 행위인식부(123, 도 7 및 이에 대한 설명부분 참조)에 의해 인식된 행위의 내용을 의미한다. 전술한 바와 같이 행위인식부(123)는 행위센서에서 행위에 대하여 감지된 값으로부터, 입력정보 내용패턴 데이터베이스(170)를 이용하여, 그 행위 패턴을 인식하는 것이다. 즉, 판정 테이블(310)에서 좌측 열에 쓰여진 '머리 쓰다듬기 (A_a)', '세게 터치하기(A_b1)', '약하게 터치하기(A_b2)'... 등은 모두 행위인식부(123)에 의해 인식된 행위의 내용을 의미한다.
또한 마찬가지로 '서기(A_e1)', '앉기(A_e2)' 및 '눕기(A_e3)' 역시 센서입력부(110)의 경사센서에 의해 각각 감지된 값으로부터 행위인식부(123) 또는 자세인식부(124)에 의해 인식된 행위의 내용을 의미하며, "A_c1 및 A_c2", "A_d1 및 A_d2" 등 각각의 페어(pair) 역시 각각 하나의 센서에 의해 다른 값으로 감지된 행위 값으로부터 행위인식부(123)에 의해 인식된 행위의 내용을 의미한다.
판정 테이블(310)을 참조하면, 완구(100)에서 경사센서에서 감지된 행위 값에 의해 눕혀진 것으로 인식되고(A_e3), 가속도 센서에서 감지된 행위 값에 의해 완구(100)가 약하게 흔들리고 있는 것으로 인식되었다면(A_d2), 그 2개의 인식된 입력자극 내용(또는 패턴)에 의해 현재 사용자가 완구에 대해 '재우기'의 의도를 가진 행위를 하고 있다는 것으로 1차 판정하게 된다.
또한 예를 들어 완구(100)를 포옹하는 동일한 행위라 하더라도, 터치센서에서 감지된 입력값의 차이에 따라 그 행위 인식도 차이가 나고(A_b1, A_b2), 이로부터 사용자의 행위에 담긴 의도 역시 '매우 반갑게 포옹' 또는 '가볍게 포옹' 등으로 차별화되어 1차 판정할 수 있는 것이다.
또한 도 3의 판정 테이블(310)을 참조하면, 사용자의 행위에 대한 1개 이상의 센서의 입력 및 입력된 음성의 인식에 의하여 파악된 내용을 기초로 사용자의 의도를 판정하는 경우의 예시도 도시되어 있다. 즉 가속도 센서에서 감지된 행위 값에 의해 사용자가 다가오고 있는 것으로 인식된 경우(A_c1), 사용자의 음성이 "안녕"으로 인식되었다면, 사용자가 다른 곳에 있다가 이제 완구(100) 쪽으로 다가오고 있는 것, 즉 판정 테이블(310)에서 '떠나있다 만남'으로 사용자의 의도가 파악될 수 있다. 또한 가속도 센서에서 감지된 행위 값에 의해 사용자가 멀어지고 있는 것으로 인식된 경우(A_c2)에 사용자의 음성이 "안녕"으로 인식되었다면, 사용자가 함께 있다가 이제 완구(100)로부터 떠나고 있는 것, 즉 판정 테이블(310)에서 '헤어짐'으로 사용자의 의도가 파악될 수 있는 것이다.
도 3의 판정 테이블(310)에서 예를 들어 행과 열의 행위가 모두 'A_a'인 경우는 하나의 센서 입력값에 의해 인식된 행위로부터 사용자의 의도를 파악하는 것으로서, 정전기 센서에 의해 머리부분의 정전기가 감지된 경우 이를 바로 사용자가 '머리 쓰다듬기'를 하고 있는 것으로 그 의도를 파악하게 할 수도 있다. 물론, 정전기 센서 값만으로 이를 파악할지, 또는 정전기 센서와 터치 센서값을 이용하여 파악할지는 얼마나 정교하게 사용자 의도를 파악할 것이냐의 문제이다.
도 4는 사용자 의도의 내용을 구체적으로 세분한 실시예(410)를 도시한 도면이고,도 5는 도 4와 같이 사용자 의도를 구분한 경우의 사용자 의도 판정 테이블(510)의 실시예를 도시한 도면이다.
도 4는, 사용자 의도를 '대화 목적', '상황', '감정'의 유형으로 구분하고 있으며, 도 5의 제2행이 그와 같이 세가지 요소로 구분한 사용자 의도를 도시하고 있다. 도 5의 제2행에도 예시하였듯이, 사용자 대화목적/상황/감정 중 3가지 요소가 모두 분석될 수도 있고, 하나 또는 두 가지 요소만 분석될 수도 있다. 이때, 하나의 요소도 분석이 안 될 경우나, 분석이 되었어도 사용자 의도 파악에 있어 불충분할 경우 역시 존재할 수 있다. 이 경우의 실시예에 대하여는 도 6을 참조하여 후술한다.
사용자가 시스템에게 먼저 의도를 제시할 수도 있고(시각, 청각, 촉각, 기타 센서 정보 제공), 시스템이 사용자에게 의도를 알기 위해서 질문할 수도 있다(시각, 청각, 촉각, 기타 센서 정보 제공). 후자의 경우는 센서입력에 의한 판정으로는 사용자의 의도가 확정되지 않을 경우이다.
테이블(410)의 예시를 따라 설명하면, 사용자의 행위를 1개 또는 2개 이상의 센서 입력을 통하여 분석했을 때, 사용자의 '대화목적'은 '대화요청'이면서 현재의 '상황'은 오전에 집에서 휴식을 취하고 있는 상황(집 - 휴식(오전))이고, 현재의 감정은 기쁨이라고 판단될 수 있다.
또한 예를 들어, 사용자가 얼굴을 찡그리면서(시각센서), “배가 아파요”(청각센서)라고 말하면, 완구(100)는 사용자의 의도가 “도움요청”이며, 현재의 감정은 “고통”이라고 판단할 수 있다.
사용자와 완구(100) 간의 대화는 시나리오에 따라 다양하게 구성될 수 있다. 시나리오 DB가 미리 구축되어 있어서, 현재의 사용자 의도(대화목적), 상황, 감정에 따라서 다른 시나리오가 적용될 수 있다.
사용자에 대하여 출력한 음성에 대한 사용자의 반응으로부터 사용자의 의도를 2차적으로 판정하는 실시예에 대하여는 이하에서 도 6 및 도 4를 참조하여 더 후술한다.
한편, 전술한 바와 같은 단계를 거쳐서도 사용자의 의도가 파악되지 않을 수 있다. 도 6은 이러한 경우에 사용자 의도 판정을 하기 위한 방법의 실시예로서, 전술한 단계에 의해서 사용자의 입력자극에 의해 사용자 의도가 정확히 파악되지 않을 경우(S140), 확정을 위하여 사용자에 대하여 출력한 음성에 대한 사용자의 반응으로부터 사용자의 의도를 2차적으로 판정하기 위한 판정 테이블을 나타내는 도면이다.
예를 들어 도 3의 테이블(310)에서 터치센서에서 감지된 입력값에 의해 사용자가 완구(100)를 세게 터치한 것으로 인식되었고, 이때 다른 센서에서 감지된 내용이 없다면, 도 3의 테이블(310)로부터 사용자의 의도를 파악하기 어렵다. 이 경우, 완구(100)는 그 의도의 확정을 위하여 사용자에 대하여 "때린 거니?"라고 묻는 음성을 출력할 수 있다(S150). 이후 사용자로부터의 응답 음성(RV, response voice)이 '응' 또는 '그래' 등으로 인식된다면 사용자가 때린 것으로 사용자 의도를 파악하고, 사용자로부터의 응답 음성(RV, response voice)이 '아니' 등으로 인식된다면 사용자가 때린 것은 아닌 것으로 사용자 의도를 2차적으로 판정할 수 있는 것이다(S160).
즉, 사용자 의도가 확정되지 않은 경우, 그 확정을 위하여 사용자에 대하여 전술한 바와 같이 음성정보를 출력하거나, 또는 음성정보 이외에 음향정보, 행위정보, 영상정보 중 하나 이상의 출력을 발생시키고, 그 출력에 대한 사용자의 반응에 기초하여 사용자 의도를 판정하게 되는 것이다.
어떤 음성을 출력하고, 그에 따른 사용자의 반응을 어떻게 매칭시켜 어떤 의도로 파악하느냐는 본 발명의 기술적 사상의 범위 내에서 매우 다양한 방법이 있을 수 있음은 물론이다.
또한 이와 같이 확정을 위하여 사용자에 대하여 출력한 음성에 대한 사용자의 반응으로부터 사용자의 의도를 2차적으로 판정하는 실시예를 도 4를 참조하여 설명하면, 사용자 대화목적/상황/감정 중 3가지 요소가 모두 분석될 수도 있고, 하나 또는 두 가지 요소만 분석될 수도 있다. 이때, 하나의 요소도 분석이 안 될 경우나, 분석이 되었어도 사용자 의도 파악에 있어 불충분할 경우, 되물어서 사용자의 의도를 파악할 수 있다.
또 하나의 예를 들자면, 사용자가 “배가 아파요”(청각센서)라고 말할 경우, 완구(100)는 “누가 아픈가요?”라고 되물어 볼 수 있고, 사용자가 “아빠가요”라고 대답하면, 시스템이 “많이 아프시면 119를 부르겠습니다. 119로 전화 연결할까요?”라고 이야기하고, 사용자가 수락(예를들어, ”응”)하면, 전화를 직접 연결할 수도 있다.
사용자가 “빵 먹고 싶어”라고 이야기하면, 완구(100)가 “어떤 빵 먹고 싶으세요?”라고 말하면서, 빵 그림을 화면에 표시(시각정보 제공) 할 수 있고, 사용자가 이들 중에 하나를 선택하게 하여(손가락으로 터치하거나, 음성으로 1번, 2번 이렇게 선택하거나, 빵 이름을 직접 이야기해서) 온라인으로 주문할 수도 있다.
지금까지의 단계를 거치면서 사용자의 의도가 파악될 수 있는 단계에서(S140,S160) 사용자의 의도가 파악되었다면, 판정된 사용자의 의도를 기초로 하여 그에 대하여 완구(100)가 사용자에게 출력해 줄 반응을 선택한다(S170). 그 출력은 음성일 수도 있고 완구의 동작일 수도 있다. 선택된 반응을 출력함으로써(S180), 사용자의 행위 또는 음성에 대한 완구(100)의 반응 표현을 수행하게 된다.
도 7은 본 발명에 따른 사용자 상호작용 완구(100)의 구성을 나타내는 도면이다. 지금까지 순서도와 사용자 의도 판정을 위한 테이블 등의 실시예를 통하여 완구(100)가 행하는 반응 과정을 상세히 설명한 바 있으므로, 이하에서는 그와 같은 과정을 수행하는 사용자 상호작용 완구(100)의 각 구성모듈의 기능에 대해서만 간략히 설명하기로 한다.
센서입력부(110)는 사용자의 입력자극을 감지하여 그 입력자극에 대한 입력값을 획득한다. 감지되는 입력자극에는 전술한 바와 같이 행위, 자세, 음성, 음향, 냄새, 맛 등 다양한 '자극'을 포함함은 전술한 바와 같다.
입력정보 내용 결정부(120)는 센서입력부(110)의 2개 이상의 다른 종류의 센서에서 각각 획득된, 감지된 사용자의 특정 입력자극에 대한 입력값으로부터 그 행위의 패턴을 인식하여, 해당 센서에 의해 감지된 상기 입력자극에 의해 획득된 정보의 내용을 결정하며, 이에 따라 사용자 의도 판정부(130)는, 각 센서에서 감지된 입력값을 이용하여 입력정보 내용 결정부(120)가 결정한 행위의 내용들을 조합하여, 상기 입력자극에 대한 사용자 의도를 판정하게 된다.
입력정보 내용 결정부(120)는 센서입력부(110)에서 감지된 입력자극에 대하여 감지된 값으로부터 입력정보 내용패턴 데이터베이스(170)를 이용하여, 그 음성, 음향, 행위, 자세, 냄새, 맛 등을 인식하여 그 음성, 음향, 행위, 자세, 냄새, 맛 등의 내용을 결정할 수 있다.
이러한 상기 입력정보 내용 결정부(120)의 음성인식부(121)는 이로부터 사용자의 대화로서의 '음성'을 인식해 낸다. 또한 음향인식부(122)는 입력된 소리가 전술한 바와 같은 '음향'인 경우, 그 음향의 내용을 인식한다. 또한 행위인식부(123)는 사용자의 다양한 행위의 내용을, 자세인식부(124)는 사용자의 다양한 자세의 내용을 인식해 낸다. 또한 사용자가 발생시킨 냄새를 인식하는 후각인식부(125), 사용자가 발생시킨 맛을 인식하는 미각인식부(126)를 더 포함할 수도 있다.
사용자 의도 판정부(130)는, 사용자가 상기 사용자 상호작용 완구(100)에 전달하려는 의미(이하 '사용자 의도'라 한다)를, 상기 센서입력부(110)의 2개 이상의 다른 종류의 센서의 입력에 의해 획득된 정보에 기초하여 판정한다. 즉, 센서입력부(110)에서 입력자극을 감지하고, 입력정보 내용 결정부(120)가 그와 같이 감지된 입력자극에 대한 내용을 결정한 후, 결정된 입력정보의 내용으로부터 사용자 의도 판정부(130)가 사용자 의도를 판정하는 것이다.
이때의 판정을 위한 판정기준 데이터베이스(160)는 사용자 의도 판정을 위한 기준 데이터를 저장한다. 기준 데이터의 실시예는 도 2 내지 도 5의 판정 테이블을 통하여 예시하여 설명한 바 있다.
출력결정부(140)는 사용자 의도 판정부(130)에 의해 판정된 사용자 의도를 기초로, 사용자에 대하여 출력할 반응을 선택한다. 출력결정부(140)는, 사용자에 대하여 출력할 반응을, 음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 방식으로 출력을 발생시키도록 결정한다. 이를 위한 출력정보 데이터베이스(180)를 구비한다(S180).
또한 상기 센서입력부(110)에서 감지된 입력자극 및, 입력정보 내용 결정부(120)가 그와 같이 감지된 입력자극에 대한 내용 결정에 의해서도 사용자 의도 판정부(130)가 사용자 의도를 판정할 수 없을 경우, 출력결정부(140)는 사용자에게 사용자 의도파악을 위하여 어떤 음성을 출력할지도 결정하게 된다(도 1, S150 참조). 이때 출력은 음성에만 국한되지 않는데, 즉, 음성정보 이외에도 음향정보, 행위정보, 영상정보 중 하나 이상의 방식으로 출력할 수 있다.
즉, 출력결정부(140)는, 사용자 의도 판정부(130)에 의한 판정으로부터 사용자 의도가 확정되는 경우와 또는 확정되지 않는 경우 대해서도 사용자에 대한 출력을 결정하게 되며, 이때 시나리오 데이터베이스(190)를 통해서 그 출력할 내용을 판단할 수 있다.
출력부(150)는 사용자의 입력에 대응하여 출력결정부(140)가 결정한 출력을 발생시키며, 출력결정부(140)가 결정한 바와 같이 음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 방식으로 출력을 발생시킨다.
도 8은 출력결정부(140)에서 출력하기로 결정하는 음성정보, 음향정보, 행위정보, 영상정보를 저장하는 출력정보 데이터베이스(180) 내용의 실시예를 도시한 도면이며, 도 9는 사용자 의도가 확정된 경우 또는 확정되지 않는 경우에 모두 사용하는 질문과 답변의 패턴을 도시한 도면이고, 도 10은 질문과 답변으로 구성된 시나리오의 흐름을 일 실시예로서 도시한 도면이다.
시나리오 데이터베이스(190)에서 [질문1패턴]에 해당하는 대화요청, 지식요청, 놀이요청 등의 경우는 사용자의 의도가 분명히 확정된 경우이다.
[질문1패턴]에서 사용자 의도가 불명확할 경우에는, [답변1패턴]에서 '의도확인'이나 '필요한 정보 요청'에 해당하는 답변이 사용자에게 출력된다. 예를 들어 "전화해줘" 라고 사용자가 음성을 출력하면, 사용자 의도가 명확하지 않기 때문에, "누구에게 전화할까요?" 라고 되물어 질문이 사용자에게 출력되게 된다.
[질문1패턴]에서 사용자 의도가 확정되었을 경우, [답변1패턴]에서는 '명령실행', 검색' 등 사용자 의도에 맞는 답변이 출력된다. 예를 들어　“뽀로로 노래 틀어줘”라고 사용자가 "놀이대화"를 요청하면, 사용자 의도가 명확하기 때문에, "뽀로로 노래를 들려드리겠습니다."라는 답변 멘트와 함께, "뽀로로" 노래를 로컬에서 찾아서 틀어주거나, 유투브에서 검색해서 동영상을 출력하는 등의 행동을 취할 수 있다.
즉, 사용자 의도가 확정된 경우이든, 아니든 시나리오 데이터베이스(190)에 따라 제어가 실행될 수 있다. 시나리오는 일종의 규칙기반의 지능화 시스템이라고 할 수 있으며, 시나리오의 범주를 넘어서는 경우에는 통계나 확률기반으로 계산하여, 다음 시나리오를 제시할 수 있다.
100: 사용자 상호작용 완구
310: 1개 또는 2개의 행위센서 감지로부터의 행위인식 또는 음성인식에 의해 사용자 의도를 파악하는 경우의 실시예로서의 판정 테이블
410: 사용자 의도의 내용을 구체적으로 세분한 실시예로서의 테이블
510: 테이블(410)과 같이 사용자 의도를 구분한 경우의 사용자 의도 판정 테이블의 실시예
610: 행위에 대한 확인 질문에 따른 사용자의 응답에 따라 사용자 의도를 파악하는 경우의 판정 테이블

Claims (12)

  1. 사용자와의 상호작용이 가능한 완구(이하 '사용자 상호작용 완구'라 한다)가, 사용자의 의도를 인식하고 이에 대한 반응을 표현하는 방법으로서,
    (a) 사용자가 발생시키는 자극(이하 '입력자극'이라 한다)을 감지하는 2개 이상의 다른 종류의 센서의 입력에 의해 획득된 정보에 기초하여, 사용자가 상기 사용자 상호작용 완구에 전달하려는 의미(이하 '사용자 의도'라 한다)를 판정하는 단계; 및
    (b) 판정된 사용자 의도를 기초로, 사용자에 대하여 출력할 반응을 선택하여 사용자에게 출력하는 단계
    를 포함하는, 사용자 상호작용 완구의 사용자 입력에 대한 반응 표현 방법.
  2. 청구항 1에 있어서,
    상기 단계(a)에서, 상기 입력자극에 대한 각 센서의 입력에 의해 획득된 정보는,
    시각정보, 청각정보, 촉각정보, 후각정보, 미각정보, 운동정보, 자세정보 중 하나 이상인 것
    을 특징으로 하는, 사용자 상호작용 완구의 사용자 입력에 대한 반응 표현 방법.
  3. 청구항 1에 있어서,
    상기 단계(a)는,
    (a11) 2개 이상의 다른 종류의 센서에서 각각 감지된 사용자의 특정 입력자극에 대한 입력값을 획득하는 단계;
    (a12) 각 센서에서 감지된 입력값을 분석하여, 해당 센서에 의해 감지된 상기 입력자극이 나타내는 정보(이하 '입력정보'라 한다)의 내용을 결정하는 단계; 및
    (a13) 상기 단계(a12)에서 결정된 상기 입력정보의 내용들을 조합하여, 상기 입력정보에 의한 사용자 의도를 판정하는 단계
    를 포함하는 것을 특징으로 하는, 사용자 상호작용 완구의 사용자 입력에 대한 반응 표현 방법.
  4. 청구항 1에 있어서,
    상기 단계(a)와 단계(b) 사이에,
    (b01) 상기 단계(a)에서 사용자 의도가 확정되지 않은 경우, 그 확정을 위하여 사용자에 대한 음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 출력을 발생시키는 단계; 및
    (b02) 상기 단계(b01)의 출력에 대한 사용자의 반응에 기초하여 사용자 의도를 판정하는 단계
    를 더 포함하는 것을 특징으로 하는, 사용자 상호작용 완구의 사용자 입력에 대한 반응 표현 방법.
  5. 청구항 1에 있어서,
    상기 단계(b)에서, 판정된 사용자 의도를 기초로, 사용자에 대하여 출력할 반응을 선택하여 사용자에게 출력할 경우,
    음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 정보를 출력하는 것
    을 특징으로 하는, 사용자 상호작용 완구의 사용자 입력에 대한 반응 표현 방법.
  6. 청구항 4에 있어서,
    상기 단계(a)에서 사용자 의도가 확정된 경우 또는 확정되지 않은 경우에 대해서, 사용자에 대하여 출력할 반응을 선택하여 사용자에게 출력할 경우,
    데이터베이스에 기 저장되어 있는 시나리오를 통해서 그 출력 내용을 결정하는 것
    을 특징으로 하는, 사용자 상호작용 완구의 사용자 입력에 대한 반응 표현 방법.
  7. 사용자의 의도를 인식하고 이에 대한 반응을 표현함에 의해 사용자와의 상호작용이 가능한 완구(이하 '사용자 상호작용 완구'라 한다)로서,
    사용자가 발생시키는 자극(이하 '입력자극'이라 한다)을 감지하여 그 입력자극에 대한 입력값을 획득하는 센서입력부;
    사용자의 입력에 대응하는 출력을 발생시키는 출력부;
    입력자극을 감지하는 상기 센서입력부의 2개 이상의 다른 종류의 센서의 입력에 의해 획득된 정보에 기초하여, 사용자가 상기 사용자 상호작용 완구에 전달하려는 의미(이하 '사용자 의도'라 한다)를 판정하는 사용자 의도 판정부;
    상기 사용자 의도 판정부에 의해 판정된 사용자 의도를 기초로, 사용자에 대하여 출력할 반응을 선택하는 출력결정부; 및
    사용자 의도 판정을 위한 기준 데이터를 저장하는 판정기준 데이터베이스
    를 포함하는 사용자 상호작용 완구.
  8. 청구항 7에 있어서,
    상기 입력자극에 대한 각 센서의 입력에 의해 획득된 정보는,
    시각정보, 청각정보, 촉각정보, 후각정보, 미각정보, 운동정보, 자세정보 중 하나 이상인 것
    을 특징으로 하는 사용자 상호작용 완구.
  9. 청구항 7에 있어서,
    상기 센서입력부의 2개 이상의 다른 종류의 센서에서 각각 획득된, 사용자가 발생시킨 특정 입력자극에 대한 입력값을 분석하여, 해당 센서에 의해 감지된 상기 입력자극이 나타내는 정보(이하 '입력정보'라 한다)의 내용을 결정하는 입력정보 내용 결정부
    를 더 포함하고,
    상기 사용자 의도 판정부는,
    각 센서에서 감지된 입력값을 이용하여 상기 입력정보 내용 결정부가 결정한 상기 입력정보의 내용들을 조합하여, 상기 입력자극에 대한 사용자 의도를 판정하는 것
    을 특징으로 하는 사용자 상호작용 완구.
  10. 청구항 6에 있어서,
    상기 사용자 의도 판정부는,
    상기 센서입력부의 2개 이상의 다른 종류의 센서의 입력에 의해 획득된 정보에 기초한 판정으로부터 사용자 의도가 확정되지 않은 경우, 그 확정을 위하여 사용자에 대한 음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 출력을 발생시키도록 상기 출력결정부를 제어하며, 해당 출력에 대한 사용자의 반응에 기초하여 사용자 의도를 판정하는 기능을 더 포함하며,
    상기 음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 정보를 저장하는 출력정보 데이터베이스를 더 포함하는 것
    을 특징으로 하는 사용자 상호작용 완구.
  11. 청구항 7에 있어서,
    상기 출력결정부가, 판정된 사용자 의도를 기초로 사용자에 대하여 출력할 반응을 선택하여 사용자에게 출력할 경우,
    음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 정보를 출력하며,
    상기 음성정보, 음향정보, 행위정보, 영상정보 중 하나 이상의 정보를 저장하는 출력정보 데이터베이스를 더 포함하는 것
    을 특징으로 하는 사용자 상호작용 완구.
  12. 청구항 10에 있어서,
    상기 사용자 의도 판정부에 의해 사용자 의도가 확정되었거나 또는 확정되지 않은 경우에 대해서, 사용자에 대하여 출력할 반응을 선택하여 사용자에게 출력할 경우,
    그 출력 내용을 결정하는 시나리오를 저장하는 시나리오 데이터베이스를 더 포함하는 것
    을 특징으로 하는 사용자 상호작용 완구.

KR1020140150358A 2014-10-31 2014-10-31 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법 KR20160051020A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140150358A KR20160051020A (ko) 2014-10-31 2014-10-31 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법
US14/582,374 US20160125295A1 (en) 2014-10-31 2014-12-24 User-interaction toy and interaction method of the toy
JP2014266418A JP2016087402A (ja) 2014-10-31 2014-12-26 ユーザーとの相互作用が可能な玩具およびその玩具のユーザーとの相互作用方法
CN201410852411.3A CN105536264A (zh) 2014-10-31 2014-12-31 可与使用者进行交互的玩具及其与使用者的交互实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140150358A KR20160051020A (ko) 2014-10-31 2014-10-31 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법

Publications (1)

Publication Number Publication Date
KR20160051020A true KR20160051020A (ko) 2016-05-11

Family

ID=55816116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140150358A KR20160051020A (ko) 2014-10-31 2014-10-31 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법

Country Status (4)

Country Link
US (1) US20160125295A1 (ko)
JP (1) JP2016087402A (ko)
KR (1) KR20160051020A (ko)
CN (1) CN105536264A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054519A (ko) 2017-11-13 2019-05-22 박순덕 정확한 반응 동작에 의해 교감하는 느낌을 제공하는 반응형 캐릭터 완구.
KR102062759B1 (ko) * 2018-08-14 2020-02-11 주식회사 크라스아이디 얼굴 인식을 이용한 감성 교류가 가능한 완구 장치 및 그 제어 방법
KR20210012748A (ko) * 2019-07-26 2021-02-03 주식회사 모랑스 장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템
KR20210066681A (ko) * 2019-11-28 2021-06-07 숭실대학교산학협력단 행렬 인수분해 기법에 기초한 데이터 확대 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437350A (zh) * 2016-05-25 2017-12-05 杨西同 一种儿童学习编程玩具
WO2019087495A1 (ja) * 2017-10-30 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003311028A (ja) * 2002-04-26 2003-11-05 Matsushita Electric Ind Co Ltd ペットロボット装置
JP2003326479A (ja) * 2003-05-26 2003-11-18 Nec Corp 自律行動ロボット
CN2662963Y (zh) * 2003-10-23 2004-12-15 天威科技股份有限公司 语音玩具
JP4700316B2 (ja) * 2004-09-30 2011-06-15 株式会社タカラトミー 対話型玩具
US7551161B2 (en) * 2004-12-30 2009-06-23 Mann W Stephen G Fluid user interface such as immersive multimediator or input/output device with one or more spray jets
JP5429462B2 (ja) * 2009-06-19 2014-02-26 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054519A (ko) 2017-11-13 2019-05-22 박순덕 정확한 반응 동작에 의해 교감하는 느낌을 제공하는 반응형 캐릭터 완구.
KR102062759B1 (ko) * 2018-08-14 2020-02-11 주식회사 크라스아이디 얼굴 인식을 이용한 감성 교류가 가능한 완구 장치 및 그 제어 방법
KR20210012748A (ko) * 2019-07-26 2021-02-03 주식회사 모랑스 장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템
KR20210066681A (ko) * 2019-11-28 2021-06-07 숭실대학교산학협력단 행렬 인수분해 기법에 기초한 데이터 확대 방법

Also Published As

Publication number Publication date
US20160125295A1 (en) 2016-05-05
CN105536264A (zh) 2016-05-04
JP2016087402A (ja) 2016-05-23

Similar Documents

Publication Publication Date Title
US20220254343A1 (en) System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
KR20160051020A (ko) 사용자와의 상호작용이 가능한 완구 및 그 완구의 사용자와의 상호작용 수행 방법
CN112204564A (zh) 经由基于集成音频和视觉的语音识别进行语音理解的系统和方法
TWI713000B (zh) 線上學習輔助方法、系統、設備以及電腦可讀取記錄媒體
CN107225578B (zh) 机器人控制装置、机器人、机器人控制方法及系统
CN108537321A (zh) 一种机器人教学方法、装置、服务器和存储介质
US20210043106A1 (en) Technology based learning platform for persons having autism
CN112262024B (zh) 用于增强数字体验的动态机器人配置的系统和方法
CN117541445B (zh) 一种虚拟环境交互的口才训练方法、系统、设备及介质
CN117541444B (zh) 一种互动虚拟现实口才表达训练方法、装置、设备及介质
US20200251211A1 (en) Mixed-Reality Autism Spectrum Disorder Therapy
Spyrou et al. Exploiting IoT technologies for personalized learning
CN116188642A (zh) 交互方法、装置、机器人和存储介质
CN113748449B (zh) 评估和培训系统
US11386920B2 (en) Interactive group session computing systems and related methods
Mead et al. Toward robot adaptation of human speech and gesture parameters in a unified framework of proxemics and multimodal communication
KR20130139137A (ko) 센서입력에 반응하는 대화인형 및 그 운용 방법
Nishimuta et al. Development of a robot quizmaster with auditory functions for speech-based multiparty interaction
TWI824883B (zh) 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統
US11605390B2 (en) Systems, methods, and apparatus for language acquisition using socio-neuorocognitive techniques
US12032807B1 (en) Assistive communication method and apparatus
JP2019152761A (ja) 外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラム
CN108172226A (zh) 一种可学习应答语音和动作的语音控制机器人
US20240203435A1 (en) Information processing method, apparatus and computer program
Ahmad An emotion and memory model for social robots: A long-term interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment