KR20170098675A - 로봇 제어 시스템 - Google Patents

로봇 제어 시스템 Download PDF

Info

Publication number
KR20170098675A
KR20170098675A KR1020160091189A KR20160091189A KR20170098675A KR 20170098675 A KR20170098675 A KR 20170098675A KR 1020160091189 A KR1020160091189 A KR 1020160091189A KR 20160091189 A KR20160091189 A KR 20160091189A KR 20170098675 A KR20170098675 A KR 20170098675A
Authority
KR
South Korea
Prior art keywords
information
user
robot
conversation
conversational
Prior art date
Application number
KR1020160091189A
Other languages
English (en)
Inventor
로샨 타프리야
Original Assignee
후지제롯쿠스 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지제롯쿠스 가부시끼가이샤 filed Critical 후지제롯쿠스 가부시끼가이샤
Publication of KR20170098675A publication Critical patent/KR20170098675A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40411—Robot assists human in non-industrial environment like home or office
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40414—Man robot interface, exchange of information between operator and robot
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)

Abstract

본 발명은, 이용자의 감정 반응을 반영한 총합적인 대화 정보를 보다 많이 수집하는 것이 가능한 로봇 제어 시스템을 제공하는 것을 과제로 한다.
이러한 과제를 해결하기 위한 수단으로서, 로봇 제어 시스템(10)은, 이용자(200)와의 대화 시의 대화 내용(콘텍스트), 배경 정보(콘텐츠), 상기 이용자의 감정 반응에 관한 정보(노하우)를 포함하는 대화 정보를 취득하는 취득 수단을 갖는 복수의 회화형 로봇(210)과, 취득된 대화 정보를 수집하는 수집 수단(411)과, 수집된 대화 정보를 이용해서 복수의 회화형 로봇을 제어하는 제어 정보를 생성하는 생성 수단(413)을 구비하고, 복수의 회화형 로봇(210)은, 제어 정보를 이용해서 이용자와 대화해, 이용자로부터 새로운 대화 정보를 취득한다.

Description

로봇 제어 시스템{ROBOT CONTROL SYSTEM}
본 발명은, 로봇 제어 시스템에 관한 것이다.
특허문헌 1에는, 사람에게 정보를 전달하는 동작을 로봇에게 실행시킬 때에, 의뢰, 설득, 명령, 경고와 같은 강제 정도의 조건에 따라서, 로봇의 얼굴 표정을, 웃는 얼굴, 보통의 얼굴, 화난 얼굴 등, 서로 다른 동작을 실행하는 커뮤니케이션 로봇 시스템이 개시되어 있다.
일본국 특개2010-110862호 공보
종래의 대화 정보 수집 시스템에서는, 회화형 로봇 등의 대화형 커뮤니케이션 툴을 이용해서 이용자와의 대화의 내용(콘텐츠)이나 그 대화, 또한 이용자의 배경(콘텍스트)과 같은 정보를 수집하고, 수집한 정보에 의거해서 회화형 로봇 등의 대화형 커뮤니케이션 툴을 제어하는 제어 정보를 갱신하고 있었다. 그러나, 인간은 말만으로 감정을 표현하는 것은 아니기 때문에, 같은 말이어도, 그 말이 발언되었을 때의 이용자의 심리 상태에 따라서는 의도하는 내용이 달라지는 경우가 있다.
그 때문에, 단지 이용자와의 대화 시의 정보를 수집하고, 수집한 정보에 의거해서 회화형 로봇 등의 대화형 커뮤니케이션 툴을 제어했다고 해도, 이용자의 감정을 정확히 판독하고, 그에 따른 제어를 실현하는 것은 어려웠다.
본 발명의 목적은, 총합적인 대화 정보를 사용하지 않고 동작하는 회화형 로봇의 경우에 비해서, 이용자와의 대화를 통해 이용자의 감정 반응을 더 끌어내어, 수집되는 총합적인 대화 정보의 양을 늘릴 수 있는 로봇 제어 시스템을 제공하는 것이다.
상기 과제를 해결하기 위하여, 청구항 1에 기재된 발명은,
이용자와의 대화 시의 대화 내용, 배경 정보, 상기 이용자의 감정 반응에 관한 정보를 포함하는 대화 정보를 취득하는 취득 수단을 갖는 복수의 회화형 로봇과,
취득된 대화 정보를 수집하는 수집 수단과,
수집된 상기 대화 정보를 이용해서 상기 복수의 회화형 로봇을 제어하는 제어 정보를 생성하는 생성 수단을 구비하고,
상기 복수의 회화형 로봇은, 상기 제어 정보를 이용해서 이용자와 대화해, 이용자로부터 새로운 대화 정보를 취득하는,
로봇 제어 시스템이다.
또한, 청구항 2에 기재된 발명은, 청구항 1에 기재된 로봇 제어 시스템에 있어서, 이용자가 행하는 업무가 본질적 업무와 간접적 업무로 구성되어 있으며, 상기 로봇으로부터의 지시를 받아서 상기 간접적 업무를 실행하는 업무 실행형 로봇을 포함하는 것을 특징으로 한다.
또한, 청구항 3에 기재된 발명은, 청구항 1 또는 청구항 2에 기재된 로봇 제어 시스템에 있어서, 상기 회화형 로봇이 인간형 로봇인 것을 특징으로 한다.
또한, 청구항 4에 기재된 발명은, 청구항 1 내지 청구항 3 중 어느 한 항에 기재된 로봇 제어 시스템에 있어서, 상기 이용자의 감정 반응에 관한 정보는, 이용자의 거동, 표정, 안색, 목소리의 상태, 목소리의 빠르기, 심박수 중 어느 적어도 하나 또는 복수의 조합에 의거한 정보인 것을 특징으로 한다.
또한, 청구항 5에 기재된 발명은, 청구항 1 내지 청구항 4 중 어느 한 항에 기재된 로봇 제어 시스템에 있어서,
상기 취득 수단은, 이용자의 화상을 촬상하는 촬상 수단과, 대화의 음성을 녹음하는 녹음 수단을 포함하고,
상기 촬상 수단에 의해 촬상된 화상으로부터 이용자의 거동, 표정, 안색, 심박수의 정보를 취득하고,
상기 녹음 수단에 의해 녹음된 음성으로부터 대화 내용, 목소리의 상태, 목소리의 빠르기의 정보를 취득하는 것을 특징으로 한다.
또한, 청구항 6에 기재된 발명은, 청구항 1 내지 청구항 5 중 어느 한 항에 기재된 로봇 제어 시스템에 있어서,
상기 수집 수단과 상기 생성 수단은, 복수의 회화형 로봇과 통신 가능한 서버에 마련되어 있는 것을 특징으로 한다.
대화 정보를 취득하는 취득 수단을 갖는 복수의 회화형 로봇으로 이루어지는 로봇 제어 시스템을 제어하는 청구항 7에 기재된 발명의 방법으로서,
이용자와의 대화 시의 대화 내용, 배경 정보, 상기 이용자의 감정 반응에 관한 정보를 포함하는 대화 정보를 취득하도록 상기 취득 수단을 제어하는 공정과,
취득된 대화 정보를 수집하는 공정과,
수집된 상기 대화 정보를 이용해서 상기 복수의 회화형 로봇을 제어하는 제어 정보를 생성하는 공정과,
상기 제어 정보를 이용해서 이용자와 대화해, 이용자로부터 새로운 대화 정보를 취득하도록 상기 복수의 회화형 로봇을 제어하는 공정
을 포함하는 것을 특징으로 하는 상기 로봇 제어 시스템의 제어 방법.
청구항 1에 기재된 로봇 제어 시스템의 발명에 따르면, 총합적인 대화 정보를 사용하지 않고 동작하는 회화형 로봇의 경우에 비해서, 이용자와의 대화를 통해 이용자의 감정 반응을 더 끌어내어, 수집되는 총합적 대화 정보의 양을 늘릴 수 있다.
청구항 2에 기재된 로봇 제어 시스템의 발명에 따르면, 업무 실행형 로봇을 사용하지 않는 경우에 비해서, 이용자가 행하는 본질적 업무의 비율을 증대시킬 수 있어, 이용자로부터 취득할 수 있는 총합적 대화 정보가 증대한다.
청구항 3에 기재된 로봇 제어 시스템의 발명에 따르면, 인간형 로봇을 사용하지 않는 경우에 비해서, 이용자로부터 끌어낼 수 있는 감정 반응이 늘어, 이용자로부터 취득할 수 있는 총합적 대화 정보가 증대한다.
청구항 4에 기재된 로봇 제어 시스템의 발명에 따르면, 회화형 로봇과 이용자의 대화의 내용이나 배경 정보에 대해서, 이용자의 거동, 표정, 안색, 목소리의 상태, 목소리의 빠르기, 심박수와 같은 정보를 관련지어서 수집할 수 있다.
청구항 5에 기재된 로봇 제어 시스템의 발명에 따르면, 촬상 수단이나 녹음 수단과 같은 회화형 로봇이 이미 갖고 있는 기능을 사용해서 이용자의 감정 반응에 관한 정보를 수집할 수 있다.
도 1은 본 발명의 실시형태에 따른 로봇 제어 시스템(10)의 일례를 나타내는 전체 개략도.
도 2는 도 1에 나타내는 각 거점(20-1∼20-N)의 각각의 구성을 나타내는 설명도.
도 3은 회화형 로봇(210)의 하드웨어 구성도를 나타내는 도면.
도 4는 회화형 로봇(210)의 기능 블록도를 나타내는 도면.
도 5는 각 거점(20-1∼20-N)에 있어서 이용자(200)가 행해야 할 모든 업무의 구성의 일례를 나타내는 설명도.
도 6은 정보 수집 서버(40)의 하드웨어 구성도.
도 7은 정보 수집 서버(40)의 기능 블록도.
도 8은 도 8의 (A)는, 슬레이브형 로봇(220)의 수가 적을 때의, 이용자(200)가 행할 수 있는 본질적 업무와 간접적 업무의 비율을 나타내는 도면이고, 도 8의 (B)는, 슬레이브형 로봇(220)의 수가 많을 때의, 이용자(200)가 행할 수 있는 본질적 업무와 간접적 업무의 비율을 나타내는 도면.
도 9는 거점(20-1∼20-N)의 수, 및 슬레이브형 로봇(220)이 이용자(200) 대신에 행하는 간접적 업무의 비율과, 회화형 로봇(210)이 수집할 수 있는 실천적 지식의 양의 관계를 나타내는 도면.
도 10은 실시형태의 로봇 제어 시스템에 있어서의 정보 수집 동작의 흐름을 나타내는 플로차트.
본 발명의 일 실시형태의 회화형 로봇을 이용한 로봇 제어 시스템(10)을 도 1∼3을 참조해서 설명한다. 도 1은 본 실시형태의 로봇 제어 시스템(10)의 전체 개략도이다. 로봇 제어 시스템(10)은, 복수(도 1에서는 N개소)의 거점(20-1∼20-N)과, 각 거점(20-1∼20-N)에 대해서 네트워크(인터넷)(30) 경유로 접속된 정보 수집 서버(40)를 구비해서 구성된다.
도 2는 도 1에 나타내는 각 거점(20-1∼20-N)의 각각의 구성을 나타내는 설명도이다. 설명을 간단히 하기 위하여 거점(20-1)의 구성을 예로 들어서 설명한다. 도 2에 나타내는 바와 같이, 거점(20-1)에는 이용자(200)가 있으며, 이용자(200)와 대화하는 회화형 로봇(210), 업무 실행형 로봇(이하, 슬레이브형 로봇이라 함)(220)이 배치된다. 여기에서 거점(20-1)은 예를 들면 오피스이며, 이용자(200)는 오피스에 있어서 다양한 업무를 행하는 오피스 워커이다. 또, 거점(20-1)에는 이용자(200)가 1인, 회화형 로봇(210)이 1대, 슬레이브형 로봇(220)이 3대 배치되어 있지만, 본 발명은 상기로 한정되지 않으며, 이용자(200)가 복수 명, 슬레이브형 로봇(220)이 1대나 2대, 혹은 4대 이상인 경우여도 된다.
회화형 로봇(210)은 이용자(200)와 대화한다. 회화형 로봇(210)은 전체적인 외형으로서 얼굴, 팔, 다리를 갖는 인간형 로봇의 형태로 구성되어 있다. 그리고 회화형 로봇(210)은, 이용자(200)와의 대화 시의 대화 내용, 배경 정보, 상기 이용자의 감정 반응에 관한 정보를 포함하는 총합적인 대화 정보(즉, 콘텐츠, 콘텍스트, 노하우)를 취득하고, 인터넷(30)을 통해서 정보 수집 서버(40)에 송신함과 함께, 정보 수집 서버(40)로부터 수신한 제어 정보를 이용해서 이용자에 대해 거동이나 표정을 수반하는 회화로 응답한다. 슬레이브형 로봇(220)은 회화형 로봇(210)과는 다른 외형, 외관을 갖고 있으며, 얼굴이나 수족을 갖고 있지 않아도 된다. 슬레이브형 로봇(220)은 후술하지만 회화형 로봇(210)의 지시에 의거해서 각종 간접적 업무를 행한다.
도 3은 회화형 로봇(210)의 하드웨어 구성도를 나타낸다. 도 3에 나타내는 바와 같이, 회화형 로봇(210)은, 제어용 마이크로 프로세서(211), 메모리(212), 하드디스크 드라이브(HDD)나 솔리드 스테이트 드라이브(SSD) 등의 기억 장치(213), 통신 인터페이스(214), 카메라(215), 마이크로폰(216), 스피커(217), 모터(218)를 구비해서 구성되며, 각각 제어 버스(219)에 접속되어 있다.
제어용 마이크로 프로세서(211)는 기억 장치(213)에 기억된 제어 프로그램에 의거해서 회화형 로봇(210)의 각 부의 동작을 제어 통괄한다. 메모리(212)에는, 회화형 로봇(210)이 이용자(200)와 행한 대화 시의 총합적 대화 정보, 회화형 로봇(210)이 인터넷(30)을 통해서 정보 수집 서버(40)로부터 수신한 제어 정보 등이 일시적으로 기억된다.
통신 인터페이스(214)는, 회화형 로봇(210)이 인터넷(30)을 통해서 정보 수집 서버(40)와 통신을 행하기 위한 통신 제어를 행해, 회화형 로봇(210)에 있어서 취득된 총합적인 대화 정보를 인터넷(30)을 통해서 정보 수집 서버(40)에 송신하거나, 인터넷(30)을 통해서 정보 수집 서버(40)로부터 제어 정보를 수신하거나 한다.
카메라(215)는 이용자(200)의 거동, 표정, 신체 상태의 변화 등의 징후를 촬영해 메모리(212)에 기억한다. 마이크로폰(216)은 이용자(200)와 대화를 행했을 때에 이용자(200)의 음성을 검출해 메모리(212)에 기억, 즉 녹음한다. 스피커(217)는 회화형 로봇(210)이 정보 수집 서버(40)로부터 수신한 제어 정보에 의거해서 생성된 음성을 출력한다. 모터(218)는 상기 제어 정보에 의거해서 회화형 로봇(210)의 수족, 얼굴 등의 각 부를 움직여 특정의 표정을 표현하거나 거동을 행하거나 한다.
또한, 회화형 로봇(210)은 접촉 센서(도시하지 않음) 등을 포함하고 있어도 된다. 접촉 센서에 의해서 이용자의 심박수나 체온, 도전율의 변화 등을 검출할 수 있다. 접촉 센서는 이용자의 신체에 장착하는 웨어러블 센서여도 되지만, 그 경우에는 접촉 센서는 회화형 로봇(210)과는 별개로 된다.
도 4는 회화형 로봇(210)의 기능 블록도를 나타낸다. 회화형 로봇(210)은, 기억 장치(213)에 기억되어 있는 제어 프로그램을 제어용 마이크로 프로세서(211)에 있어서 실행함으로써, 도 4에 나타나는 바와 같이, 인식 엔진(221), 대화 제어부(222), 동작 제어부(223)로서 기능한다.
인식 엔진(221)은, 이용자(200)의 감정 반응에 관한 정보, 즉, 이용자(200)의 거동, 표정, 안색, 목소리의 상태, 목소리의 빠르기, 심박수 중 어느 적어도 하나, 혹은 복수의 조합으로 구성되는 정보에 의거해서 이용자(200)의 감정을 해석한다. 구체적으로는, 카메라(215)에 의해서 촬영된 이용자(200)의 거동, 표정, 안색, 심박수 등의 감정 반응을 나타내는 징후를 해석한다. 예를 들면, 안색의 변화는 카메라(215)에 의해 촬영한 이용자의 얼굴 화상의 RGB의 비율 변화로부터 검출 가능하다. 인식 엔진(221)은 이용자의 안색의 변화에 의거해서 이용자의 심박수나 체온의 변화를 산출하고, 그 산출 결과에 의거해서 이용자(200)의 감정을 해석한다.
인식 엔진(221)은, 또한 마이크로폰(216)에 의해서 검출되며, 메모리(212)에 기억된 이용자(200)의 음성 신호를 해석해, 목소리의 상태(톤)나 목소리의 빠르기(말의 빠르기) 등에 의거해서, 이용자(200)의 감정을 해석한다. 감정의 해석에 대해서는, 예를 들면 안색의 변화와 입의 열림 정도로부터, 『기뻐하고 있음』, 심박수와 피부의 전도율의 변화로부터 『긴장하고 있음』, 목소리의 상태와 말의 빠르기로부터 『초조해하고 있음』이라는 바와 같은 해석을 행한다.
대화 제어부(222) 및 동작 제어부(223)는 정보 수집 서버(40)로부터 수신한 제어 정보에 의거해서 이용자와의 대화의 내용 및/또는 방법을 제어한다. 예를 들면, 대화 제어부(222)는 정보 수집 서버(40)로부터 수신한 제어 정보에 의거해서 응답 메시지를 생성하고 스피커(217)에 출력한다. 그때, 대화 제어부(222)는 제어 정보에 의거해서 메시지의 출력 음성의 크기나 발언 속도를 조정한다. 또한, 동작 제어부(223)는 정보 수집 서버(40)로부터 수신한 제어 정보에 의거해서 회화형 로봇(210)의 수족의 거동, 또한 얼굴의 표정을 제어하기 위한 제어 신호를 생성하고 모터(218)를 제어한다.
여기에서 대화 정보에 포함되는 콘텐츠란, 이용자(200)와 회화형 로봇(210) 사이에서 이루어지는 대화로부터 직접적으로 파악할 수 있는 대화의 내용이다. 또한, 콘텍스트란, 이용자와의 대화를 통해서, 혹은 카메라(215)나 마이크로폰(216), 접촉 센서 등을 사용해서 취득하는, 이용자의 의도, 배경, 전후 정보이다. 이 콘텍스트에는, 이용자(200)의 의도로서, 예를 들면 이용자가 『무엇을 해결하고자 하는가?』, 『무엇이 불안한가?』와 같은 질문에 대한 회답이 포함된다. 또한, 이용자의 배경이나 전후 정보로서는 이용자의 국적, 성별, 연령과 같은 정보, 또한 거점의 장소나 이용자의 현 시점의 위치, 또한 어떠한 상태인지, 시각 정보와 같은 것도 포함된다.
또한, 노하우란, 이용자(200)의 감정 반응에 관한 정보로서, 콘텐츠나 콘텍스트에는 포함되지 않는 뉘앙스, 즉 이용자의 대화 시의 감정이나 기분, 예를 들면, 『기뻐하고 있음』, 『불쾌감을 나타내고 있음』, 『당혹해하고 있음』과 같은 말 이외로 표현된 화자의 감정에 대한 정보이며, 본 실시형태에 있어서는, 회화형 로봇(210)의 인식 엔진(221)에 의해서 해석되는 정보이고, 이용자(200)의 거동, 표정, 안색, 목소리의 상태, 목소리의 빠르기, 심박수 중 어느 적어도 하나 또는 복수의 조합에 의거한 것이다.
간접적 업무를 행하는 슬레이브형 로봇(220)은 각 거점(20-1∼20-N)의 각각에 1대 혹은 복수 대 배치된다. 여기에서, 각 거점(20-1∼20-N)에 있어서 이용자(200)가 행해야 할 모든 업무는 본질적 업무와 간접적 업무로 분류된다. 그 일례를 도 5에 나타낸다. 본질적 업무에는 전문적 지식을 필요로 하는 전문적 업무가 포함된다. 회화형 로봇(210)은 이용자(200)와 대화를 행하면서 이용자(200)가 행하는 본질적 업무를 지원한다. 한편, 간접적 업무에는 전문적 업무를 포함하지 않는 직업적 일반적 지식만을 필요로 하는 정형 업무가 포함된다. 정형 업무는, 정형 서류를 다수의 상대에게 발송하는 것, 연락 메일을 다수의 상대에게 송신하는 것, 다른 부서에 서류를 운반하는 것, 품의서, 제안서, 계약서의 서식을 검토하는 것 등이 포함된다. 슬레이브형 로봇(220)은 회화형 로봇(210)으로부터의 지시에 의거해서 이용자(200)의 업무 중의 정형 업무 등을 실행함으로써, 이용자(200)를 간접적 업무로부터 해방시켜 본질적 업무에 전념할 수 있도록 한다.
도 6은 정보 수집 서버(40)의 하드웨어 구성도이다. 정보 수집 서버(40)는 CPU(401), 메모리(402), 기억 장치(403), 통신 인터페이스(404), 유저 인터페이스(405)를 구비해서 구성되며, 각각 제어 버스(406)에 접속되어 있다. 정보 수집 서버(40)의 기억 장치(403)에는 제어 프로그램이 보존되어 있고, 이 제어 프로그램을 CPU(401)에 있어서 실행함으로써, 정보 수집 서버(40)의 각 부의 동작이 제어된다. 통신 인터페이스(404)는, 각 거점(20-1∼20-N)의 회화형 로봇(210)으로부터 송신되어 온 총합적인 대화 정보를 수신하거나, 정보 수집 서버(40)에 있어서 생성한 제어 정보를 인터넷(30)을 통해서 각 거점(20-1∼20N)에 송신하는 등의 데이터의 송수신의 제어를 행한다. 또한, 유저 인터페이스(405)는 키보드 등의 입력 수단이나 디스플레이 등의 출력 수단으로 구성된다.
도 7은 정보 수집 서버(40)의 기능 블록도이다. 정보 수집 서버(40)는, 상기 제어 프로그램을 CPU(401)에 있어서 실행함으로써, 대화 정보 수집부(411), 추론 엔진(412), 제어 정보 생성부(413), 지식 베이스(414)의 각 기능을 구비한 서버로서 동작한다. 대화 정보 수집부(411)는 각 거점(20-1∼20-N)으로부터 콘텐츠, 콘텍스트, 노하우를 포함하는 이용자(200)와의 총합적인 대화 정보를 수집한다. 대화 정보의 수집은 각 거점(20-1∼20-N)의 각각으로부터 리얼타임으로 보내져오는 대화 정보를 수집하는 것이어도 되고, 소정 시간마다 각 거점에 대해서 대화 정보의 송신을 요구하고 그에 대한 응답으로서의 대화 정보를 수집하는 것이어도 된다.
추론 엔진(412)은 수집한 총합적인 대화 정보를 평가함과 함께, 대화 정보를 조직화해 컴퓨터가 판독 가능한 형식으로 변환하고 지식 베이스(414)에 축적한다. 대화 정보의 평가란, 이전에 축적된 것과 동일한 대화 정보인지의 여부를 판정하고, 서로 다르면 새로운 실천적 지식으로서 지식 베이스(414)에 축적하고, 이미 축적되어 있는 것과 동일하면, 출현 빈도가 높은 실천적 지식인 것으로 해서 출현 빈도에 관한 정보를 부여해 정보를 갱신한다. 지식 베이스(414)에는 각 거점(20-1∼20-N)으로부터 수집된 콘텐츠, 콘텍스트, 노하우가 실천적 지식으로서 축적되어 있다.
제어 정보 생성부(413)는, 각 거점(20-1∼20-N)의 회화형 로봇(210)으로부터 송신되어 온 총합적인 대화 정보에 따라, 회화형 로봇(210)이 이용자(200)에 대해서 응답하는데 적절한 대화 내용, 대화 방법을 포함하는 제어 정보를 생성하고, 해당하는 거점(20)에 송신하는 것이다.
전술한 로봇 제어 시스템(10)에 의해서 정보 수집 서버(40)의 지식 베이스(414)에 축적되는 실천적 지식 Keff의 양은 하기 (1)식으로 표시된다.
[수학식 1]
Figure pat00001
상기 (1)식에 있어서, 실천적 지식 Keff는, 본질적 업무의 양 W(M), 복수의 거점에 있어서 모인 지식의 양 KA(N, p), 이용자(200)의 감정적 임펄스 응답 A(P, E), 및 회화형 로봇(210)과 이용자(200) 사이의 신뢰도 T(Di)의 함수로 표시되어 있다.
상기 식으로부터 이해할 수 있는 바와 같이, 이용자(200)가 실행 가능한 본질적 업무의 비율 W(M)는 슬레이브형 로봇(220)의 수 M이 증가함에 따라서 증가한다. 즉, 슬레이브형 로봇(220)이 이용자(200) 대신에 간접적 업무를 보다 많이 행하게 되면, 이용자(200)는 본질적 업무에 전념할 수 있게 되어 결과적으로 본질적 업무를 지원하는 회화형 로봇(210)과 이용자(200) 사이의 대화량이 늘어, 이용자(200)와의 대화로부터 취득할 수 있는 총합적인 대화 정보의 양이 는다.
이 상황은 도 8에 나타나 있다. 도 8의 (A)는 슬레이브형 로봇(220)의 수가 적을 때의 이용자(200)가 행할 수 있는 본질적 업무와 간접적 업무의 비율을 나타내는 도면이고, 도 8의 (B)는 슬레이브형 로봇(220)의 수가 많을 때의, 이용자(200)가 행할 수 있는 본질적 업무와 간접적 업무의 비율을 나타내는 도면이다. 도 8의 (A)에 나타내는 바와 같이, 슬레이브형 로봇(220)의 수 M이 적을 때, 이용자(200)는 많은 간접적 업무를 행해야만 해, 행할 수 있는 본질적 업무의 비율은 적다. 그러나, 도 8의 (B)에 나타내는 바와 같이, 슬레이브형 로봇(220)의 수가 많아지면, 슬레이브형 로봇(220)이 보다 많은 간접적 업무를 실행하게 되어, 이용자(200)는 많은 간접적 업무로부터 해방된다. 결과적으로, 이용자(200)가 행할 수 있는 본질적 업무의, 모든 업무에 있어서의 비율 W(M)는 높아진다.
또한, 상기 (1)식에 있어서, 복수의 거점(20-1∼20-N)에 있어서 수집되는 지식의 양 KA(N, p)는 회화형 로봇(210)과 이용자(200)가 대화를 행하는 거점의 수 N이 늘면 늘수록 증가한다. 또한, 각 거점(20-1∼20-N)에 있어서 취득되는 지식이 같은 가치의 것이며, 그 밖의 것과 상이한 정도 p가 높으면 높은 것일수록 지식의 양 KA(N, p)은 증가해간다.
도 9의 그래프는, 거점(20-1∼20-N)의 수, 및 슬레이브형 로봇(220)이 이용자(200) 대신에 행하는 간접적 업무의 비율과, 회화형 로봇(210)이 수집할 수 있는 지식의 양 KA의 관계를 나타내고 있다. 도 9로부터 알 수 있는 바와 같이, 거점의 수 N이 증가함에 따라서 회화형 로봇(210)이 수집할 수 있는 지식의 양 KA는 대폭으로 증가한다. 또한, 슬레이브형 로봇(220)이 이용자 대신에 행하는 간접적 업무의 비율이 증가하면(즉, 이용자가 행하는 모든 업무에 있어서의 본질적 업무의 비율 W=1에 가까워지면), 회화형 로봇(210)이 수집할 수 있는 지식의 양 KA는 증가한다. 이것은, 이용자(200)가 한층 더 본질적 업무에 전념할 수 있게 될수록, 이용자(200)와 회화형 로봇(210) 사이의 대화량이 늘어 이용자(200)의 감정 반응도 늘고, 회화형 로봇(210)이 수집할 수 있는 이용자의 뉘앙스를 포함하는 총합적 대화 정보가 느는 것을 나타내고 있다.
또한, 상기 식(1)에 있어서, 이용자(200)의 감정 임펄스 응답 A(P, E)는 이용자(200)의 원래의 성격 P와 감정의 상태 E에 의존해서 변화한다. 즉, 이용자(200)가 감정을 나타내기 쉬운 성격일수록 감정 임펄스 응답 A는 현저한 것으로 되며, 또한 감정의 상태(E)가 불안정한 경우일수록 감정 임펄스 응답 A는 현저한 것으로 된다. 즉, 감정 임펄스 응답 A가 현저할수록 이용자의 감정 반응이 판독하기 쉬워져 회화형 로봇(210)이 수집할 수 있는 실천적 지식의 양 KA는 증대한다.
또한, 상기 (1)식에 있어서, 회화형 로봇(210)과 이용자(200) 사이의 신뢰도 T(Di)는 회화형 로봇의 디자인 Di가 인간에 보다 근사한 것으로 됨에 따라서 높아진다. 즉, 회화형 로봇(210)으로서, 보다 인간에 근사한 것, 즉 인간같이 수족, 얼굴이 있는 인간형 로봇을 사용함으로써, 또한 회화형 로봇(210)의 얼굴에 표정을 표현시킴으로써, 이용자(200)와의 대화로부터 취득할 수 있는 실천적 지식의 정보량 KA가 증가한다.
도 10은, 실시형태의 로봇 제어 시스템에 있어서의 정보 수집, 및 로봇 제어 동작의 흐름을 나타내는 플로차트이다. 스텝S1001에 있어서, 어느 거점(예를 들면 20-1)에 있어서 이용자(200)가 회화형 로봇(210)과 대화를 행한다. 스텝S1002에 있어서, 회화형 로봇은 이용자(200)와의 대화로부터 얻어지는 대화의 내용(콘텐츠), 또한 대화 및 이용자의 배경 정보(콘텍스트)를 취득한다.
스텝S1003에 있어서, 회화형 로봇(210)은, 카메라(215), 마이크로폰(216) 등의 센서에 의해 이용자의 거동, 표정, 신체 상태의 변화 등의 징후를 검출한다. 구체적으로는, 카메라에 의해서 이용자의 표정, 안색, 거동을 검출하거나, 마이크로폰에 의해 이용자의 말의 속도, 말투(톤)를 검출하거나, 접촉 센서에 의해서 심박수, 체온, 도전율의 변화 등을 검출하거나 한다.
스텝S1004에 있어서 인식 엔진(221)은, 카메라(215)나 마이크로폰(216)에 의해서 검출된 징후에 의거해 이용자(200)의 감정을 해석한다. 구체적으로는, 이용자의 얼굴 표정, 예를 들면, 입을 열고 있는 크기, 구각(口角)의 각도나 안색의 변화에 의거해서, 『기뻐하고 있음』, 심박수나 피부의 전도율의 변화로부터 『긴장하고 있음』, 목소리의 상태와 말의 빠르기로부터 『초조해하고 있음』과 같은 해석을 행한다.
스텝S1005에 있어서, 회화형 로봇(210)은, 취득한 콘텐츠, 콘텍스트, 및 감정 반응을 포함하는 총합적인 대화 정보를 정보 수집 서버(40)에 송신한다. 스텝S1006에 있어서, 정보 수집 서버(40)의 대화 정보 수집부(411)는, 각 거점(20)의 회화형 로봇(210)으로부터 송신되어 온 콘텐츠, 콘텍스트, 및 감정 반응으로 이루어지는 대화 정보를 수신하고 지식 베이스(414)에 축적한다. 이때, 정보 수집 서버(40)의 추론 엔진(412)은 수신한 대화 정보를 평가한다. 즉, 이전에 축적된 것과 동일한 대화 정보인지의 여부를 판정하고, 다르면 새로운 실천적 지식으로서 지식 베이스(414)에 축적하고, 이미 축적되어 있는 것과 동일하면 출현 빈도가 높은 실천적 지식인 것으로 해서 출현 빈도에 관한 정보를 부여해 정보를 갱신한다.
스텝S1007의 처리에서는, 제어 정보 생성부(413)가 전술한 거점(20-1)과는 다른 거점(예를 들면 거점(20-2))으로부터 수신한 대화 정보에 포함되는 콘텐츠, 콘텍스트에 의거해서, 지식 베이스(414)에 이미 축적되어 있는 대화 정보를 사용해 회화형 로봇(210)의 동작 및 회화를 제어하기 위한 제어 정보를 생성하고, 스텝S1008에 있어서, 해당하는 거점(20-2)의 회화형 로봇(210)에 송신한다.
스텝S1009에 있어서, 거점(20-2)의 회화형 로봇(210)은, 정보 수집 서버(40)로부터 수신한 제어 정보에 의거해서 이용자(200)에게 응답하거나, 혹은 표정이나 거동을 표현하거나 해서 이용자와 대화를 행한다.
또, 상기에는, 수많은 거점(20-1∼20-N) 중, 하나의 거점(20-1)의 회화형 로봇(210)이 이용자(200)로부터 총합적인 대화 정보를 수집해서 정보 수집 서버(40)에 축적하고, 정보 수집 서버(40)에 축적된 대화 정보를 사용해서 제어 정보를 생성하고, 이 제어 정보에 의거해서 다른 거점(20-2)에 있는 이용자(200)와의 대화를 제어하는 예를 설명했지만, 본 발명은 상기한 예로 한정되지 않으며, 정보를 수집한 거점과 동일한 거점(예를 들면 20-1)에 제어 정보를 송신하도록 해도 된다.
[구체적 적용예 1]
이하에, 구체적 적용예 1로서, 전술한 로봇 제어 시스템을 은행에 적용한 경우에 대하여 설명한다. 이 예에 있어서는, 은행의 각 점포는, 전술한 각 거점(20-1∼20-N)에 상당하고 점포의 고객은 이용자(200)에 상당한다. 어느 은행의 점포(예를 들면 20-1)에 있어서, 회화형 로봇(210)이 중년의 고객(200)과 대화한다. 고객(210)이 방문한 것에 대해서 회화형 로봇(210)이 회답하지만, 고객(200)은 잘 듣지 못하고 얼굴을 찌푸린다. 회화형 로봇(210)은 카메라(215)에 의해서 고객(200)의 얼굴을 촬영하고 인식 엔진(221)에 의해서 고객(200)의 표정으로부터 감정을 해석한다. 인식 엔진(221)은 「얼굴을 찌푸렸다」라는 표정에 의거해서, 「고객은 대답이 잘 들리지 않으므로 당혹해 하고 있음」, 또는 「내용을 이해할 수 없으므로 고민하고 있음」과 같은 해석을 행한다. 다음으로, 고객(200)의 질문, 당해 회화형 로봇(210)이 고객(200)에게 행한 대답, 고객의 표정, 「들리지 않았으므로 당혹해하고 있음」, 「회답 내용을 난해하게 느끼고 있음」이라는 바와 같은 감정 해석 정보로 구성되는 총합적인 대화 정보를 정보 수집 서버(40)에 송신한다.
정보 수집 서버(40)는 취득한 대화 정보를 지식 베이스(414)에 축적한다. 그때에, 추론 엔진(412)은, 특정 연령의 고객에 대해서는 통상의 음량으로는 청취하기 어려움, 회답 내용이 난해하다는 정보도 부가해서 지식 베이스(414)에 축적한다.
은행의 다른 점포(예를 들면 20-2)에 있어서, 그 점포에 배치되어 있는 전술한 것과는 다른 회화형 로봇(210)이 다른 중년의 고객(200)과 대화한다. 고객(200)이 방문한 것에 대해서 회화형 로봇(210)이 응답한다. 그때에, 회화형 로봇(210)은, 카메라에 찍히는 고객의 화상을 분석해서 연령을 추정하고, 총합적인 대화 정보와 함께 정보 수집 서버(40)에 송신한다. 정보 수집 서버(40)의 제어 정보 생성부(413)는, 지식 베이스(414)에 축적된 정보에 의거해 고객(200)에 대해서 큰 목소리로 대답을 행할 필요가 있음, 혹은 평이한 표현을 사용해서 회답할 필요가 있다는 제어 정보를 생성하고, 점포(20-2)에 배치되어 있는 회화형 로봇(210)에게 제공한다.
회화형 로봇(210)은, 제어 정보에 의거해서, 최초의 은행에서 행해진 고객과의 문답보다 큰 음량, 혹은 평이한 표현을 이용해서 대답을 행한다. 그리고, 그 회답에 의해서 고객(200)이 어떠한 반응을 했는지를 관찰해 정보 수집 서버(40)에 총합적인 대화 정보로서 출력한다.
[구체적 적용예 2]
구체적 적용예 2로서, 전술한 로봇 제어 시스템(10)을 오피스에 적용한 예를 설명한다. 이 예에서는, 오피스의 복수의 부서가 각 거점(20-1∼20-N)에 대응하고, 각 부서에서 업무를 행하는 오피스 워커가 이용자(200)에 대응한다. 어느 부서(예를 들면 20-1)에 있어서, 회화형 로봇(210)은 오피스 워커(200)와 대화를 행하고, 대화를 통해서 취득할 수 있는 총합적인 대화 정보를 정보 수집 서버(40)에 송신한다. 각각의 부서(20)에는 복수의 슬레이브형 로봇(220)이 배치된다. 슬레이브형 로봇(220)은 오피스 워커(200)가 행해야 할 간접적 업무를 실행한다. 예를 들면, 오피스 워커(200)가 발송처 리스트를 슬레이브형 로봇(220)에 넘기는 것만으로, 정형 서류를 대량의 발송처에 송부하거나, 다른 부서의 사람에게 짐이나 자료를 배포, 운반하거나, 연락 메일을 다수의 송신처에 송신하는 등의 작업이다.
슬레이브형 로봇(220)이 간접적 업무를 실행함으로써, 오피스 워커(200)는 간접적 업무로부터 해방되어 본질적 업무에 한층 더 전념할 수 있다. 따라서, 오피스 워커(200)와 회화형 로봇(210)의 대화량이 늘어, 회화형 로봇(210)은 오피스 워커(200)로부터 한층 많은 총합적인 대화 정보를 취득하고 정보 수집 서버(40)에 송신할 수 있다.
또한, 정보 수집 서버(40)의 제어 정보 수집부(411)는, 지식 베이스(414)에 축적된 총합적인 대화 정보에 의거해서 제어 정보를 생성하고, 다른 제2 부서(20-2)에 있어서 다른 오피스 워커(200)와 대화하고 있는 회화형 로봇(210)에 대해 출력한다. 이 부서(20-2)의 회화형 로봇(210)의 대화 제어부(222), 동작 제어부(223)는, 정보 수집 서버(40)로부터 수신한 제어 정보에 의거해서 오피스 워커(200)와의 대화 내용이나 회화형 로봇(210)의 동작을 제어한다. 이렇게, 이 로봇 제어 시스템(10)에 있어서는, 제2 부서(20-2)의 오피스 워커(200)와의 대화에 대해서, 최초의 부서(20-1)에서 수집된 총합적인 대화 정보를 반영시키고, 제2 부서(20-2)의 오피스 워커(200)로부터 총합적인 대화 정보를 더 취득해서 정보 수집 서버(40)의 지식 베이스(414)에 축적할 수 있다.
10 : 로봇 제어 시스템 20-1∼20-N : 각 거점
30 : 인터넷 40 : 정보 수집 서버
200 : 이용자 210 : 회화형 로봇
211 : 제어용 마이크로 프로세서 212 : 메모리
213 : 기억 장치 214 : 통신 인터페이스
215 : 카메라 216 : 마이크로폰
217 : 스피커 218 : 모터
219 : 제어 버스 220 : 슬레이브형 로봇
221 : 인식 엔진 222 : 대화 제어부
223 : 동작 제어부 402 : 메모리
403 : 기억 장치 404 : 통신 인터페이스
405 : 유저 인터페이스 406 : 제어 버스
411 : 대화 정보 수집부 412 : 추론 엔진
413 : 제어 정보 생성부 414 : 지식 베이스

Claims (7)

  1. 이용자와의 대화 시의 대화 내용, 배경 정보, 상기 이용자의 감정 반응에 관한 정보를 포함하는 대화 정보를 취득하는 취득 수단을 갖는 복수의 회화형 로봇과,
    취득된 대화 정보를 수집하는 수집 수단과,
    수집된 상기 대화 정보를 이용해서 상기 복수의 회화형 로봇을 제어하는 제어 정보를 생성하는 생성 수단을 구비하고,
    상기 복수의 회화형 로봇은, 상기 제어 정보를 이용해서 이용자와 대화해, 이용자로부터 새로운 대화 정보를 취득하는
    로봇 제어 시스템.
  2. 제1항에 있어서,
    이용자가 행하는 업무가 본질적 업무와 간접적 업무로 구성되어 있으며, 상기 로봇으로부터의 지시를 받아서 상기 간접적 업무를 실행하는 업무 실행형 로봇을 포함하는 로봇 제어 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 회화형 로봇이 인간형 로봇인 로봇 제어 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 이용자의 감정 반응에 관한 정보는, 이용자의 거동, 표정, 안색, 목소리의 상태, 목소리의 빠르기, 심박수 중 어느 적어도 하나 또는 복수의 조합에 의거한 정보인 로봇 제어 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 취득 수단은, 이용자의 화상을 촬상(撮像)하는 촬상 수단과, 대화의 음성을 녹음하는 녹음 수단을 포함하고,
    상기 촬상 수단에 의해 촬상된 화상으로부터 이용자의 거동, 표정, 안색, 심박수의 정보를 취득하고,
    상기 녹음 수단에 의해 녹음된 음성으로부터 대화 내용, 목소리의 상태, 목소리의 빠르기의 정보를 취득하는 로봇 제어 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 수집 수단과 상기 생성 수단은, 복수의 회화형 로봇과 통신 가능한 서버에 마련되어 있는 것을 특징으로 하는 로봇 제어 시스템.
  7. 대화 정보를 취득하는 취득 수단을 갖는 복수의 회화형 로봇으로 이루어지는 로봇 제어 시스템을 제어하는 방법으로서,
    이용자와의 대화 시의 대화 내용, 배경 정보, 상기 이용자의 감정 반응에 관한 정보를 포함하는 대화 정보를 취득하도록 상기 취득 수단을 제어하는 공정과,
    취득된 대화 정보를 수집하는 공정과,
    수집된 상기 대화 정보를 이용해서 상기 복수의 회화형 로봇을 제어하는 제어 정보를 생성하는 공정과,
    상기 제어 정보를 이용해서 이용자와 대화해, 이용자로부터 새로운 대화 정보를 취득하도록 상기 복수의 회화형 로봇을 제어하는 공정
    을 포함하는 것을 특징으로 하는 상기 로봇 제어 시스템의 제어 방법.
KR1020160091189A 2016-02-22 2016-07-19 로봇 제어 시스템 KR20170098675A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2016-030842 2016-02-22
JP2016030842A JP2017151517A (ja) 2016-02-22 2016-02-22 ロボット制御システム

Publications (1)

Publication Number Publication Date
KR20170098675A true KR20170098675A (ko) 2017-08-30

Family

ID=56567387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160091189A KR20170098675A (ko) 2016-02-22 2016-07-19 로봇 제어 시스템

Country Status (5)

Country Link
US (1) US10226866B2 (ko)
EP (1) EP3208053A1 (ko)
JP (1) JP2017151517A (ko)
KR (1) KR20170098675A (ko)
CN (1) CN107097234B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156314A1 (ko) * 2018-02-07 2019-08-15 삼성전자 주식회사 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6761598B2 (ja) * 2016-10-24 2020-09-30 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム
US10120386B2 (en) * 2016-11-18 2018-11-06 Robert Bosch Start-Up Platform North America, LLC, Series 1 Robotic creature and method of operation
JP6468274B2 (ja) * 2016-12-08 2019-02-13 カシオ計算機株式会社 ロボット制御装置、生徒ロボット、教師ロボット、学習支援システム、ロボット制御方法及びプログラム
US10318799B2 (en) * 2017-02-16 2019-06-11 Wipro Limited Method of predicting an interest of a user and a system thereof
JP2019175432A (ja) * 2018-03-26 2019-10-10 カシオ計算機株式会社 対話制御装置、対話システム、対話制御方法及びプログラム
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
JP7322374B2 (ja) * 2018-10-03 2023-08-08 カシオ計算機株式会社 ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム
JP2020121375A (ja) * 2019-01-30 2020-08-13 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 制御装置、制御対象装置、制御方法及びプログラム
KR20190116190A (ko) * 2019-09-23 2019-10-14 엘지전자 주식회사 로봇
US11444893B1 (en) 2019-12-13 2022-09-13 Wells Fargo Bank, N.A. Enhanced chatbot responses during conversations with unknown users based on maturity metrics determined from history of chatbot interactions
CN114267356B (zh) * 2021-12-30 2024-04-02 重庆特斯联智慧科技股份有限公司 一种人机交互物流机器人及其控制方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271194A (ja) * 2002-03-14 2003-09-25 Canon Inc 音声対話装置及びその制御方法
JP2003345435A (ja) * 2002-05-24 2003-12-05 Mitsubishi Heavy Ind Ltd ロボットおよびロボットシステム
JP2004310034A (ja) * 2003-03-24 2004-11-04 Matsushita Electric Works Ltd 対話エージェントシステム
US8965762B2 (en) * 2007-02-16 2015-02-24 Industrial Technology Research Institute Bimodal emotion recognition method and system utilizing a support vector machine
JP2009061547A (ja) * 2007-09-06 2009-03-26 Olympus Corp ロボット制御システム、ロボット、プログラム及び情報記憶媒体
JP2010110862A (ja) 2008-11-06 2010-05-20 Nec Corp コミュニケーションロボットシステム、コミュニケーションロボット制御方法およびプログラム
US9202171B2 (en) * 2008-11-11 2015-12-01 Digideal Corporation Virtual game assistant based on artificial intelligence
CN101567058B (zh) * 2009-05-31 2011-11-09 塔米智能科技（北京）有限公司 一种管理机器人情绪生成及表现的方法和系统
JP5158022B2 (ja) * 2009-06-04 2013-03-06 トヨタ自動車株式会社 対話処理装置、対話処理方法、及び対話処理プログラム
US8996429B1 (en) * 2011-05-06 2015-03-31 Google Inc. Methods and systems for robot personality development
US9480910B2 (en) 2011-11-09 2016-11-01 Marta Isabel santos Paiva Ferraz Conceicao Interactive embodied robot videogame through the use of sensors and physical objects
FR2989209B1 (fr) * 2012-04-04 2015-01-23 Aldebaran Robotics Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d'utilisation dudit robot
CN103369303B (zh) * 2013-06-24 2016-08-17 深圳市宇恒互动科技开发有限公司 动作行为分析记录及重现的系统及方法
EP2933064A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics System, method and computer program product for handling humanoid robot interaction with human
EP2933071A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems for managing dialogs of a robot
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
EP2933065A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Humanoid robot with an autonomous life capability
EP2933067B1 (en) * 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
US9576190B2 (en) 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
CN105094011A (zh) * 2015-06-30 2015-11-25 青岛海尔智能家电科技有限公司 一种家务管家机器人及其任务处理方法
CN105082150B (zh) * 2015-08-25 2017-04-05 国家康复辅具研究中心 一种基于用户情绪及意图识别的机器人人机交互方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156314A1 (ko) * 2018-02-07 2019-08-15 삼성전자 주식회사 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
US11646022B2 (en) 2018-02-07 2023-05-09 Samsung Electronics Co., Ltd Electronic device for chatting with chatbot and operation method thereof

Also Published As

Publication number Publication date
US10226866B2 (en) 2019-03-12
US20170239812A1 (en) 2017-08-24
EP3208053A1 (en) 2017-08-23
CN107097234A (zh) 2017-08-29
JP2017151517A (ja) 2017-08-31
CN107097234B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
KR20170098675A (ko) 로봇 제어 시스템
JP6465077B2 (ja) 音声対話装置および音声対話方法
CN105843381B (zh) 用于实现多模态交互的数据处理方法及多模态交互系统
US6513011B1 (en) Multi modal interactive system, method, and medium
JP2018072876A (ja) 感情推定システム、感情推定モデル生成システム
JP2004237022A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
US10836044B2 (en) Robot control device and robot control method
JP2018032164A (ja) 面接システム
JP7323098B2 (ja) 対話支援装置、対話支援システム、及び対話支援プログラム
KR102222911B1 (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
JP2011186521A (ja) 感情推定装置および感情推定方法
KR20190136706A (ko) 개인 관심상황 발생 예측/인지 장치 및 방법
EP4020468A1 (en) System, method and apparatus for conversational guidance
US11443738B2 (en) Electronic device processing user utterance and control method thereof
JP6887035B1 (ja) 制御システム、制御装置、制御方法及びコンピュータプログラム
WO2020125252A1 (zh) 机器人会话切换方法、装置及计算设备
JP2018060374A (ja) 情報処理装置、評価システムおよびプログラム
CN111241256A (zh) 一种用于优化机器人对话质量的系统
CN110086937A (zh) 通话界面的显示方法、电子设备和计算机可读介质
JP2017208052A (ja) ウェアラブル端末を用いた電気契約業務支援装置
EP4093005A1 (en) System method and apparatus for combining words and behaviors
JP2020067562A (ja) ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法
CN115222857A (zh) 生成虚拟形象的方法、装置、电子设备和计算机可读介质
EP3435313A1 (en) Response data collection system, customer response system and program
CN115309882A (zh) 基于多模态特征的交互信息生成方法、系统及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application