JPWO2016068262A1 - コミュニケーションロボット - Google Patents

コミュニケーションロボット Download PDF

Info

Publication number
JPWO2016068262A1
JPWO2016068262A1 JP2016556640A JP2016556640A JPWO2016068262A1 JP WO2016068262 A1 JPWO2016068262 A1 JP WO2016068262A1 JP 2016556640 A JP2016556640 A JP 2016556640A JP 2016556640 A JP2016556640 A JP 2016556640A JP WO2016068262 A1 JPWO2016068262 A1 JP WO2016068262A1
Authority
JP
Japan
Prior art keywords
communication robot
sensor
robot according
information
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016556640A
Other languages
English (en)
Inventor
木村 正美
正美 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2016068262A1 publication Critical patent/JPWO2016068262A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00Dolls
    • A63H3/28Arrangements of sound-producing means in dolls; Means in dolls for producing sounds
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H5/00Musical or noise- producing devices for additional toy effects other than acoustical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/04Training, enrolment or model building
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Toys (AREA)
  • Manipulator (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)

Abstract

コミュニケーションロボットは、筺体と、スピーカとを備える。コミュニケーションロボットは、特定の音素を含む音を発する動作を実行する。このような構成とすることで、言語の聴取能の発育に寄与する新たなコミュニケーションロボットを提供することができる。例えば、コミュニケーションロボットは、記憶部を備えてもよい。コミュニケーションロボットは、当該記憶部の情報に基づいて、実行する動作を決定するように構成してもよい。

Description

本発明は、コミュニケーションロボットに関する。
特許文献1には、人間相手にコミュニケーションをとるコミュニケーションロボットにおいて、相手方となる人間との親密度を算出して、当該算出した数値に応じて発話内容を変更することが記載されている。
また、特許文献2には、相手方の顔画像を認識して表情を読み取って感情認識を行い、当該認識結果に応じた行動をとるように制御されたコミュニケーションロボットが開示されている。
特開2011−000681号公報 特開2006−123136号公報
しかしながら、いずれの発明も言語の聴取能の発育に関してコミュニケーションロボットを利用することは全く想定されていない。
本発明は、この点に着目して、新たなコミュニケーションロボットを提供するものである。
本発明に係るコミュニケーションロボットは、筺体と、スピーカとを備え、特定の音素を含む音を発する動作を実行する。
新たなコミュニケーションロボットを提供することができる。
図1は、本発明の一実施態様にかかるコミュニケーションロボットの概略図である。 図2は、本発明の一実施態様にかかるコミュニケーションロボットの機能ブロック図である。 図3は、本発明の一実施態様にかかるコミュニケーションロボットの断面図である。 図4は、本発明の一実施態様にかかるコミュニケーションロボットの動作内容を示す図である。 図5は、本発明の一実施態様にかかるコミュニケーションロボットの反応情報の概念を示す略図である。
以下、本発明の実施の形態について説明する。
本発明の一実施形態に係るコミュニケーションロボットは、図1に示すように、卵型の筺体1と、これを覆う外皮2と、表情を示す表示部10と、入力部4とを有する。コミュニケーションロボットは、もちろん卵型に限定されない。コミュニケーションロボットは、例えば、球形、矩形、星型、およびダルマ型(スノーマン型)のうちのいずれかの形状でもでもよい。
筺体1は、例えば卵のような形状をしている。筺体1は、内部に回路基板や各種制御用のセンサ等を搭載するために空間を有している。筺体1の材質は、例えばプラスティック、ポリカーボネート樹脂等でもよい。さらに筺体1の材質は、アルミニウム、ステンレススティール、チタン等の金属製でもよい。筐体1は、転がりやすくするために、脚を設けていない場合について説明するが、これに限定されない。筐体1は、例えば、脚を設けてもよい。
樹脂製の外皮2は、筺体1の素材よりも軟性の例えばシリコーン等の樹脂製とすることができる。外皮2は、衝撃を吸収するためや筺体1を保護するために、筺体1の周囲を覆っている。なお、外皮2は、表示部10に対応する部分に開口が設けられている。外皮2の開口は、表示部10を露出するようになっている。なお、外皮2は、開口を設けずに、表示部が外部から視認できるようにしてもよい。例えば、外皮2は、少なくとも表示部10の部分だけ、透明な樹脂としてもよい。この場合、外皮2は、防水構造が取りやすい。
また、コミュニケーションロボットは、図2に示すように、制御部3、スピーカ9、各機能を有する各種センサ等を備える。
以下に詳細に説明する。
制御部3は、各センサからの各種の入力や記憶部8の各種情報に基づき、各種の動作を実行させることができる。各センサは、例えば、入力部4やマイク6やカメラ7等を含む。各種の動作は、例えば、スピーカ9、モータ11、表示部10等における各種の動作を含む。各種の入力、情報および、これに対応する動作については後述する。
入力部4は、各種の設定や、情報の入力を行う際に使用される。入力部4は、一例としてタッチセンサである。例えば、入力部4は、タッチセンサの一部を表示部10と重畳させて、部分的に、所謂タッチパネルを構成してもよい。例えば、入力部4は、操作キーを備えた操作ボタン等としてもよい。例えば、入力部4は、着脱自在なキーボード等を使用可能なようにしてもよい。コミュニケーションロボットは、外部端子15を備えてもよい。外部端子15は、例えば、筺体1の下面や背面等に設けてもよい。背面は、例えば、コミュニケーションロボットの背中側を含む。外部端子15は、記憶部8に情報を入力させるために用いてもよい。外部端子15は、記憶部8から情報を出力するために用いてもよい。外部端子15は、通常使用時、キーボードや外部メモリ等の外部機器が取り外されてもよい。例えば、コミュニケーションロボットは、筺体1の周囲にタッチセンサを配置してもよい。この場合、コミュニケーションロボットは、ユーザがコミュニケーションロボットを抱きあげる動作を検出することができる。タッチセンサは、筺体1の左右、すなわちコミュニケーションロボットの両脇腹に当たる箇所に配置してもよい。例えば、タッチセンサは、筐体1の360°の全周に亘って配置してもよい。例えば、タッチセンサは、所定角度に数か所の配置領域を設けてもよい。配置領域は、例えば、180°等の半周の領域を含む。配置領域は、例えば、半周における45°や60°の領域を含む。
TOFセンサ5及びカメラ7は、画像系センサである。TOFセンサ5及びカメラ7は、それぞれが単独で、あるいは互いに協働して、コミュニケーションロボット自体のおかれた周囲の様子や人の位置や表情等を撮影することができる。例えば、TOFセンサ5の場合、簡単に対象物の形状情報と距離情報とを同時に取得できる。対象物は、例えば、大人、乳児、幼児等の人を含む。コミュニケーションロボットは、例えばカメラ7で所謂顔認識に加え、人の表情や視線の方向を読み取ってもよい。コミュニケーションロボットは、例えば、TOFセンサ5で接近の距離を随時取得してもよい。コミュニケーションロボットは、接近してくる人までの距離の差と経過時間から移動速度を算出することができる。距離の差は、例えば、前回測定した距離と今回測定した距離との差を含む。経過時間は、例えば、前回測定から今回測定までの経過時間を含む。コミュニケーションロボットは、算出した移動速度に基づいて、接近が駆け寄りであるのか、ゆっくりであるのか、警戒しながらの接近であるのか等を判別することができる。コミュニケーションロボットは、判別結果を、接近情報として記憶部8に記憶させることもできる。コミュニケーションロボットは、例えば、カメラ7から画像と距離情報を得てもよい。この場合、距離情報は、オートフォーカス技術により容易に取得できる。また、コミュニケーションロボットは、コミュニケーションロボットの前方をカメラ7、後方をTOFセンサ5で監視するようにしてもよい。コミュニケーションロボットは、カメラ7及びTOFセンサ5のいずれか一方を単数或いは複数用いてもよい。
マイク6は、周囲の音や人の発する音を収集することができる。例えば、コミュニケーションロボットは、人がいずれの方向からコミュニケーションロボットに向かって話しかけるかが予めわからない。例えば、コミュニケーションロボットは、人がいずれの方向からコミュニケーションロボットの発した音に対して声を発するかが予めわからない。このため、コミュニケーションロボットは、前もって広い指向性をもつマイク6が好ましい。また、コミュニケーションロボットは、マイク6を顔(すなわち表示部10)の左右に配置してもよい。例えば、コミュニケーションロボットは、カメラ7やTOFセンサ5等の画像系センサでは、コミュニケーションロボットの後方の人を捕捉できない。しかし、コミュニケーションロボットは、左右双方のマイク6による音像定位により、当該後方の人の方向を認識できる。
記憶部8には、基本情報が記憶されている。基本情報は、例えば入力部4から監護者が入力した情報を含む。基本情報は、予め記憶部8に記憶されている情報を含む。例えば、基本情報は、性別、年齢(月齢)、ユーザである乳児等の名前や監護者の名前、性格、好み、住居地の地域情報、母国語情報、ターゲットとする他の言語情報である。性格は、例えば、積極的、内気、行動的等を含む。好みは、例えば、音楽、人物、アニメのキャラクタ等を含む。母国語情報は、例えば、父親や母親等の身近な監護者の母国語情報等を含む。なお、コミュニケーションロボットは、後述する種々の反応情報から、例えば性格や好み等が定性的に読み取れる場合、これらを基本情報として取り込んでもよい。例えば、コミュニケーションロボットは、コミュニケーションロボットが発した異なる種類の動作に対して、複数回にわたってコミュニケーションロボットに対して急接近してきたことを、反応情報から検出することができる。コミュニケーションロボットは、急接近してきたことを検出した場合、積極的な性格であることを基本情報として記憶するようにしてもよい。この場合、コミュニケーションロボットは、以降、積極的なタイプの乳児等に適合した動作を選出するようにしてもよい。
また、記憶部8には、予め先に述べたユーザの情緒情報を記憶している。情緒情報は、例えば、接近情報、表情情報等を含む。表情情報は、例えば、人の笑った顔、怒った顔、悲しい顔等の情報を含む。情緒情報は、例えば、ユーザの監護者、兄弟姉妹の情緒情報も有していてもよい。即ち、記憶部8には、ユーザ等の人の顔から、現在、人がいずれの感情を有している状態であるかの判定をするための比較情報を記憶することができる。また、記憶部8は、コミュニケーションロボットの動作に対して、人の顔から発言した笑いや悲しみを取得できたことを反応情報(表情)として、動作と対応付けて新たに記憶することができる。記憶部8は、接近してきたことを反応情報(接近)として、動作と対応付けて新たに記憶することができる。コミュニケーションロボットは、例えば、スピーカ9や、表示部10からの出力された動作の直後に取得された笑いや怒り等の反応情報(表情)と、ユーザがコミュニケーションロボットに接近した場合の反応情報(接近)とを対応付けて記憶してもよい。なお、コミュニケーションロボットは、予め記憶された一般的な人の笑い顔を、ユーザの笑い顔に置き換えて、これを比較判定のための情緒情報として設定してもよい。コミュニケーションロボットは、ユーザが利用した後、他のユーザが使用するケースも想定して、一般的な人の笑い顔等の表情情報は消去しなくともよい。
記憶部8には、コミュニケーションロボットが実行する各種の動作が記憶されている。各動作には、基本情報に対応する性質を示す分類情報が付されている。分類情報は、例えば乳児等における月齢1カ月から4カ月向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、同様に月齢5カ月から8カ月向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、月齢9カ月から12カ月向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、年齢1歳から2歳向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、年齢3歳から4歳向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、年齢5歳から6歳向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、男の子向けの動作であること、あるいは女の子向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、ターゲットとなるユーザの監護者或いは兄弟姉妹向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、日本語圏に住む人向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、英語圏に住む人向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、日本語をターゲット言語とする人向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、同様に月齢5カ月から8カ月向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、英語をターゲット言語とする人向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、同様に月齢5カ月から8カ月向けの動作であることを示す情報を含んでもよい。分類情報は、例えば、フランス語をターゲット言語とする人向けの動作であること示す情報を含んでもよい。コミュニケーションロボットは、図4に示すように、基本情報や分類情報を参照して、対応する動作候補を一つまたは複数選択することができる(選択された動作は第1選定群ということがある)。コミュニケーションロボットは、対応する動作候補が一つの場合、この動作を実行すればよい。
記憶部8には、後述する反応情報が記憶される。反応情報は、例えば、反応の種別、各種別における反応の強度レベル、強度レベルから演算されるスコア等の情報を含む。上述のように、候補となる動作が複数ある場合は、コミュニケーションロボットは、第1選定群から反応情報や後述する環境情報等を参照していずれの動作を実行するかを決定してもよい。
スピーカ9は、例えば、音声により必要な情報を報知したり、楽曲音を発したり、人に対しての呼びかけをしたりする。コミュニケーションロボットは、指向性スピーカを用いて特定の対象者に向けて、或いは特定の方向に向けて音を聞かせるようにしてもよい。
図1に示すように、表示部10は、コミュニケーションロボットの顔の部分として顔のパーツからなる表情を表示する。また、各種設定や入力の際のディスプレイとして用いてもよい。そのため、表示部10は、顔の表示にとどまらず、動画再生や静止画、文字等も表示することができる。表示部10は、例えばLCDや有機EL等でもよい。
モータ11x及び偏心錘12は、コミュニケーションロボットの向きをかえたりする駆動機構となる。図3に例示的に示すように、筺体1の下部1yは丸く設計されている。モータ11x及び偏心錘12は、筺体1の上部1xに設置されて、モータ11xと偏心錘12によって揺動するようにしてある。モータ11xは、筺体1の内部で、筺体1の上下方向を軸とする軸心を中心として回転する。モータ11xは、回転軸に機械的に接続された偏心錘12が前後左右に回転する。その結果、コミュニケーションロボットは、筺体1にモーメントが生じ、コミュニケーションロボットが転がるようなしぐさをする。コミュニケーションロボットは、モータ11xと偏心錘12との組み合わせに限らず、種々の駆動機構が採用可能である。例えば、駆動機構は、一対のタイヤやクローラ等でもよい。
コミュニケーションロボットは、地磁気センサ14及び加速度センサ13によりコミュニケーションロボットの向きや動きが随時捕捉することができる。コミュニケーションロボットは、捕捉された情報からさらにモータ11xの出力が再調整してもよい。このような構成は、コミュニケーションロボットが木の床に載置されたのか、絨毯や畳等に載置されたかにできる限りよらずに、必要な量だけ移動させたい際に有効である。
筺体1の下部1yに固定されたモータ11yは、その回転力がギア16xを介して、筺体1の上部1xに固定されたギア16yに伝達され、当該ギア16x、yにより筺体1の上部1xを下部1yに対して回転させるようにしてもよい。例えば、ギア16yは、筺体1の上部1xの内周面に歯を刻んだものであってもよい。例えば、ギア16yは、筺体1の上部1xに固定され、自身の内周面に歯を持つギアでもよい。
加速度センサ13は、コミュニケーションロボット自身の状態、すなわち移動状態や転倒状態等を把握するのに用いることができる。地磁気センサ14は、コミュニケーションロボット自身の方位を検出することで、自身の向きを把握するのに用いることができる。コミュニケーションロボットは、地磁気センサ14の情報と、例えば人の声のする方向や人のいる方向とを併せて記憶してもよい。無線通信部17は、外部の電子機器と無線通信を行う。
次に本発明のコミュニケーションロボットの動作の一例について、図4等を用いて説明する。
なお、本明細書において、後述する特定の音素、あるいは当該特定の音素を含む単語、あるいは当該特定の音素を含む単語を含む文章による話しかけ、あるいは当該特定の音素を含む歌等を含む音を、特定の音素と記載することがある。本明細書において、前記特定の音素に加え、その他の種々の音を含む場合を単に音或いは特定の音素を含む音と記載することがある。
コミュニケーションロボットは、コミュニケーションロボットの動作として、以下に例示する特定の音素およびこれらを含む音を発する。特定の音素は、例えば想定された母国語の使用者には、そもそも存在しない音素を含んでもよい。すなわち、特定の音素は、母国語(第1言語)を日本語としている場合、日本語では使用されない音素を含んでもよい。特定の音素は、例えば母国語には存在するものの大人には違いが判別できない第2言語の音素を含んでもよい。すなわち、特定の音素は、類似の音素との区別がない音素同士の組み合わせであって、ターゲットとする他の言語(第2言語)では使用される音素が例示的に上げられる。
このような音素は、例えば記憶部8に登録された母国語が日本語である場合、日本語には区別がないが英語等では区別される/l/や/r/等が挙げられる。音素は、例えば、母国語をフランス語とする人がターゲットとする言語に日本語を選択した場合における/h/等が挙げられる。音素は、例えば、母国語を韓国語とする人がターゲット言語を日本語とする場合の/ε/や/e/等が挙げられる。さらに、コミュニケーションロボットは、判別の困難な音素だけ或いはそのような音素を含む単語だけを含むような文章から発する音を構成するようにしてもよい。
本発明のコミュニケーションロボットは、人の存在を検知することができる。コミュニケーションロボットは、例えば、カメラ7及びTOFセンサ5の一方あるいは双方により検知してもよい。コミュニケーションロボットは、例えば、近くに人がいる場合、その人が特定の音素を聞かせるターゲットであるユーザか否かを検出してもよい。コミュニケーションロボットは、例えば、人が大人ではなく乳児や幼児であるかの確認をしてもよい。コミュニケーションロボットは、カメラ7及びマイク6の少なくとも一方により、乳児或いは幼児(以下、乳児等と記載する。)の声を収集し、その存在を検知してもよい。乳児等がだれであるかを特定してもよい。コミュニケーションロボットは、特定された人ごとに発する音を変化させてもよい。その際、コミュニケーションロボットは、カメラ7等の画像系センサを用いる場合、登録されたユーザの顔写真等から人の特定をし、人物照合をしてもよい。また、コミュニケーションロボットは、マイク6を用いる場合、予めユーザ本人や監護者や兄弟姉妹等の身近な人の声紋や声の特徴を記憶部8に記録しておき人物照合をしてもよい。
コミュニケーションロボットは、人の存在の確認或いは人の特定ができたら、これを条件に、人がいることや特定の人が認識できた反応動作1として、特定の音素或いは音を発生してもよい。反応動作1は、人を検出したことをもって、当該人が誰かにかかわらず、すなわち、基本情報に関係なく実行されてもよい。また、コミュニケーションロボットは、記憶部8に登録された人が検出できた場合に基本情報に基づき、特定の音素或いは音を発生してもよい。
コミュニケーションロボットは、基本情報を参照したら、次に一致する動作候補を一つまたは複数個選定する(第1選定群)。第1選定群の形成は、上述したように、各動作の分類情報を基にする。さらに、コミュニケーションロボットは、各動作に対応付けられた反応情報を参照して、後述する強度レベル或いはそこから算出されたスコアが最上位のものを第1選定群から選定し、これを一の動作として実行する。
また、コミュニケーションロボットは、一の動作として音を発したときの乳児等の反応を、反応情報の収集のために、カメラ7やマイク6等で検出するとよい。そして、乳児等の反応は、図5に例示的に示すように、乳児等の反応を例えば喜ぶ(笑うを含む)・悲しむ(泣くを含む)・驚く・反応なしの4つの種別に分類して記憶部8に記憶されてもよい。なお、乳児等の反応は、怒りといった種別があってもよい。さらに、コミュニケーションロボットは、「喜ぶ(笑うを含む)」・「悲しむ(泣くを含む)」の強度レベルを、それぞれ例えば3段階に分けて反応情報として記憶部8に記憶してもよい。具体的には、コミュニケーションロボットは、コミュニケーションロボットが音を発したときの乳児等の表情を記録し、種別及び強度レベルの判定を行う。例えば、種別「喜ぶ(笑うを含む)」における3段階の強度レベルの判定は、もっとも強いレベル3が口をもっとも大きくあけて笑うである。種別「喜ぶ(笑うを含む)」のレベル2は、口を開けて笑うがレベル3よりも開口面積が小さい場合である。種別「喜ぶ(笑うを含む)」のレベル1は、乳児等が笑ったがレベル2よりも開口面積が小さい場合である。反応なしは、笑わない場合である。この場合、レベルは、0(零)となる。或いは、コミュニケーションロボットは、口角の上り度合いによりレベル判定をしてもよい。コミュニケーションロボットは、上述した情緒情報をレベル分けのために用いてもよい。
コミュニケーションロボットは、単にユーザの反応を順位付けするだけでは、特定の音素だけリピート回数が多くなることはない。もちろん、コミュニケーションロボットは、記憶部8に記憶されている全単語(音)のうち、ターゲットとなる言語における特定の音素を含む単語等を、通常の会話に用いられる場合よりも高い割合で記憶している。このため、コミュニケーションロボットは、それだけでも通常の会話よりも特定の音素を含む音が発せられやすいが、さらに、頻度を上げることもできる。例えば、コミュニケーションロボットは、特定の音素を含むコミュニケーションロボットの動作に対しては機械的にレベル1つ上げることとしてもよい。例えば、コミュニケーションロボットは、カメラ7による表情の取得においては、種別「喜ぶ(笑うを含む)」のレベル1であったが、特定の音素を含むため、種別「喜ぶ(笑うを含む)」のレベル2としてもよい。
また、コミュニケーションロボットは、乳児等が発した声の種別やボリュームにより例えば各種別における3段階の強度レベルの判定をしてもよい。例えば子供の笑い声であれば、コミュニケーションロボットの動作に対する反応として、「キャッキャッ」というような笑い声があった場合、コミュニケーションロボットは、種別「喜ぶ(笑うを含む)」のレベル3とする。また、コミュニケーションロボットは、動作に対する反応として「あー」・「うー」といったような発声があると、種別「喜ぶ(笑うを含む)」のレベル2とする。コミュニケーションロボットは、動作に対して発声がない場合をレベル1とする。或いは、コミュニケーションロボットは、コミュニケーションロボットが発した音をまねするように、同様の音を発した場合をレベル3或いはより高いレベルであるレベル4としてもよい。コミュニケーションロボットは、判定したレベルを、反応情報として記憶部8に記憶することができる。ここでも同様に、コミュニケーションロボットは、特定の音素だけレベルを引き上げてもよい。
コミュニケーションロボットは、乳児等の動作についても、近くに寄ってきた場合を種別「喜ぶ(笑うを含む)」の強度レベル3、両手を上下にふるような動作を強度レベル2、少し近づく様子を見せて止まった場合を強度レベル1としてもよい。なお、例えば月齢が9カ月或いは10カ月になる場合、乳児等は、ハイハイ(crawl)が可能となる。このため、コミュニケーションロボットは、乳幼児等が近寄ってきた場合に、9カ月以降、独立歩行(つかまり立ちではない)が可能となる13カ月までの間は、そのハイハイのスピードにより、さらに詳細に強度レベル分けをしてもよい。例えば、コミュニケーションロボットは、近寄る際のハイハイのスピードが速い場合に強度レベル4として、ゆっくりの場合に強度レベル3のままとしてもよい。同様に、コミュニケーションロボットは、独り歩きができる13カ月以降も、近寄ってくる歩行のスピードにより強度レベル分けをしてもよい。ここでも同様に、コミュニケーションロボットは、特定の音素だけレベルを引き上げてもよい。
そして、コミュニケーションロボットは、例えば表情、声、動作の3要素のそれぞれにおいて、強度レベル1なら1、強度レベル2なら2、強度レベル3なら3、強度レベル4なら4として、3つの要素をかけたスコアを記憶する。例えば、コミュニケーションロボットは、種々の動作に対するスコアを掛け算して或いは足し算して、「喜ぶ(笑うを含む)」のスコアの高いコミュニケーションロボットの動作を、対話において優先的に実行するとよい。なお、コミュニケーションロボットは、特定の音素を含む動作に対する反応の場合、特定の音素を含まない動作の場合と異なり、スコアを例えば10だけ底上げして記憶するようにしてもよい。これにより、コミュニケーションロボットは、特定の音素を含む動作のリピート回数があがることとなる。スコアは、反応情報として動作と対応付けて記憶部8に記憶される。ここで、コミュニケーションロボットの動作には、特定の音素を発する動作、音を発する動作等のスピーカ9の動作以外にも、筺体1の揺動や表示部10に表示された顔の変更等を含めることができる。なお、コミュニケーションロボットは、直近の動作に対する強度レベル或いはスコアを記憶することができる。コミュニケーションロボットは、当該動作が実行されると、当該実行された動作の前回の強度レベル或いはスコアの記憶に、今回の強度レベル或いはスコアを上書きすることができる。これにより、コミュニケーションロボットは、例えば何度も同じ動作が実行されたために乳児等の反応が低下してきた(興味が失せてきた)場合には、当該動作の相対的なレベル或いはスコアが下がり、変わって、他の動作が上位に繰り上がる。このため、コミュニケーションロボットは、他の動作が優先して実行されやすくなる。結果として、コミュニケーションロボットは、新鮮な動作を提示できることから、コミュニケーションロボットに対して興味が失せてしまうことを低減できる。
なお、コミュニケーションロボットは、一度も実行していない動作を、種別「喜ぶ(笑うを含む)」として分類し、そのスコアを設定することができる。例えば、コミュニケーションロボットは、スコアとして設定可能な範囲の最低値(1)と最高値(例えば64(=4×4×4))の算術平均値である33に、スコアを設定することができる。算術平均値は、以下、平均値という。コミュニケーションロボットは、平均値が整数とならない場合、大きいほうの整数値とすればよい。従って、初期においては、全ての動作に順列がないため、コミュニケーションロボットは、一通り、全てを順次実行するようにしてもよい。そして、コミュニケーションロボットは、順位が決まればこれに従って、選択的に動作を実行するとよい。
「悲しむ(泣くを含む)」の強度レベル判定は、例えばカメラ7から口角が下がる度合いと目が閉じてしまうことが同時に起こった場合を強度レベル3としてもよい。「悲しむ(泣くを含む)」の強度レベル判定は、例えば、口角が下がったものの目が閉じて泣くまでには至らなかった場合に強度レベル2としてもよい。「悲しむ(泣くを含む)」の強度レベル判定は、例えば、すこし口角が下がっただけの場合に強度レベル1としてもよい。「悲しむ(泣くを含む)」の強度レベル判定は、例えば、声をマイク6で拾って、その大きさで強度レベルの判定をしてもよい。この場合、「悲しむ(泣くを含む)」の強度レベル判定は、単純に音圧で強度レベルを分けてもよい。なお、「悲しむ(泣くを含む)」の場合、コミュニケーションロボットは、表情の強度レベルの値に泣き声の強度レベルの値が掛けられ、これにより得られたスコアの積にさらにマイナスを付して記憶する。例えば表情が強度レベル2で、声が強度レベル2の場合、記憶部8に記憶されるスコアは、マイナス4である。なお、マイナスの強度レベルが付された動作は、以降、めったに使用されることはなくなるが、強度レベルの記憶から一定の月日、例えば2か月以上経過した後は、再び上記平均値に設定しなおしてもよい。或いは、マイナスの強度レベルが付された動作は、2か月以上経過した後に、記憶されたスコアにかかわらず、再度動作をさせるようにしてもよい。或いは、マイナスの強度レベルが付された動作は、一定の月齢に達したのちに、再度動作をさせるようにしてもよい。これは、乳児等は、月齢が進むにつれて何が怖いかが変化すること、或いはコミュニケーションロボット自体への親近感から、もはや同じ動作に対して恐怖心を抱かない可能性があるからである。これにより、コミュニケーションロボットは、動作の多様性を確保しやすくすることができる。なお、コミュニケーションロボットは、マイナススコアの高いものほど、上述した平均値に再設定されるまでの期間を長くしてもよい。例えば、コミュニケーションロボットは、マイナス4であれば、再設定までは2か月、マイナス8であれば、再設定までは4か月といった設定をしてもよい。
「驚く」は、例えば、ユーザである乳児等の動作中における動作の停止といった反応としてもよい。「驚く」は、例えば、コミュニケーションロボットを凝視した状態の所定時間以上の継続としてもよい。「驚く」の場合、スコアは、「喜ぶ(笑うを含む)」と同様プラスで先の平均値が記憶部8に記憶される。そのため、スコアは、平均値と同じスコアを有する「喜ぶ(笑うを含む)」と分類された動作と、出現頻度がほぼ同じとなる。両者のスコアがまったく同じ場合、コミュニケーションロボットは、動作の回数が少ない方を選択してもよい。
「反応なし」は、例えば、ユーザがコミュニケーションロボットを「全く見ていない」状態が継続する、或いはコミュニケーションロボットの方を見ようとしない場合としてもよい。「反応なし」は、さらに声も発しない場合としてもよい。なお、どの種別にも当てはまらなかった動作を「反応なし」としてもよい。「反応なし」に分類された動作は、スコア値が0(零)である。このため、「反応なし」に分類された動作は、以降、めったに使用されることはなくなるが、分類後から2か月以上経過した後は、再び上記「喜ぶ(笑うを含む)」と分類された動作の平均値に設定し直してもよい。或いは、「反応なし」に分類された動作は、2か月以上経過した後は、再度動作をさせるようにしてもよい。或いは、「反応なし」に分類された動作は、一定の月齢に達したのちに、再度動作をさせるようにしてもよい。これは、乳児等は、月齢が進むにつれて以前は反応しなかったものに対して反応をすることがあること、或いはコミュニケーションロボット自体への親近感から、以前は反応しなかったものに対して反応をすることがあるからである。これにより、コミュニケーションロボットは、動作の多様性を確保しやすい。
また、コミュニケーションロボットは、一の動作として音を発したときの乳児等の反応を検出したら、人の反応に対するコミュニケーションロボットの反応として、反応動作2を実行してもよい。たとえば、コミュニケーションロボットは、人のコミュニケーションロボットまでの距離情報に基づいて、接近が確認できたら特定の音素或いは音を発生してもよい。すなわち、コミュニケーションロボットは、ユーザの反応情報の収集後に、反応動作2を行ってもよい。また、コミュニケーションロボットは、カメラ7による表情の検出により、コミュニケーションロボットを見ている状態を検出したらコミュニケーションロボットの動作として特定の音素或いは音を発生してもよい。また、コミュニケーションロボットは、乳児等が、コミュニケーションロボットを触った場合や抱き上げた場合、コミュニケーションロボットの動作として特定の音素或いは音を発生してもよい。この場合、コミュニケーションロボットは、タッチセンサによってコミュニケーションロボットを抱く動作を検出してもよい。例えば、コミュニケーションロボットは、筺体1の周囲に面状に配置したタッチセンサにおいて、乳児等の手が筺体1の左右において接触していることにより当該動作を検出してもよい。或いは、コミュニケーションロボットは、加速度センサ13によりコミュニケーションロボットを抱き上げる際に生じる加速度を予め記憶しておき、加速度センサ13に生じた加速度から抱き上げられたことを検出してもよい。コミュニケーションロボットは、乳児等のこの動作を検出したら、コミュニケーションロボットの動作として特定の音素或いは音を発生してもよい。このような反応動作2は、記憶部8に記憶された反応情報に関係なく実行されてもよい。すなわち、コミュニケーションロボットは、乳児等の特定の反応に対応づけられた特定の動作を単純に実行するだけでもよい。これは、乳児等の反応に対応づけられた動作が存在する場合、数回繰り返されてもよい。すなわち、コミュニケーションロボットは、一の動作を実行し、これに対して乳児等が反応し、当該乳児等の反応に対応した動作を反応動作2として実行し、当該反応動作2に対する反応に対応した動作を反応動作2としてさらに実行するといった具合である。
以下に、より具体的な例を示す。コミュニケーションロボットは、第1の検知が基本情報等を参照した結果、「ユーザであるRyo-kunの存在を検知」である場合、コミュニケーションロボットの内部動作として、基本情報に合致した動作候補を選定する。そして、コミュニケーションロボットは、過去の反応情報から、ユーザが呼びかけに対しては、その他のロボットの動作に比較して、最も大きな反応を示す場合、第1の音を発する(一の動作)。第1の音は、例えば「Hi, Ryo-kun. How are you?」を含む。次に、コミュニケーションロボットは、第2の検出として、第1の音に対する乳児等の反応である「ユーザが笑ったこと」を検出したら、コミュニケーションロボットの動作として第2の音を発する(反応動作2)。第2の音は、例えば、「Happy? Terrific!」を含む。その後、コミュニケーションロボットは、コミュニケーションロボットを抱く乳児等の動作が検出されたら、コミュニケーションロボットの動作として第3の音を発してもよい(反応動作2)。第3の音は、例えば、「Let’s sing together.」を含む。この場合、コミュニケーションロボットは、第2の音に音素/r/を含んでいる。また、コミュニケーションロボットは、第3の音に音素/l/を含んでいる。もちろん、コミュニケーションロボットは、第2の検出として、「笑い」を検出したら、コミュニケーションロボットの動作としての音の発生に加え、コミュニケーションロボットの動作としてコミュニケーションロボットの表示部10に笑顔を出してもよい。また、コミュニケーションロボットは、コミュニケーションロボットの動作として、マイク6等により集音された乳児等が発した音をまねるようにしてもよい。コミュニケーションロボットは、例えばスコアが特定の閾値を超えた著しく高い場合だけ行うようにしてもよい。コミュニケーションロボットは、例えばコミュニケーションロボットの動作として表示部10にて表示するコミュニケーションロボットの顔を、あたかもコミュニケーションロボットがうなずいているように表示にしてもよい。この場合、コミュニケーションロボットは、コミュニケーションロボットの動作として、例えば表示部10に表示する顔全体を表示の領域の中で上下するようにしてもよい。コミュニケーションロボットは、コミュニケーションロボットの動作として、例えば筺体1を偏心錘12とモータ11xにより揺動させてあたかもコミュニケーションロボットがうなずいているかのようにしてもよい。
日本語の場合、コミュニケーションロボットの動作としての第1の音は、例えば「ひろし君!」を含む。日本語の場合、コミュニケーションロボットの動作としての第2の音は、例えば「こんにちは」を含む。日本語の場合、コミュニケーションロボットの動作としての第3の音は、例えば「一緒に遊ぼうよ!」を含む。この場合、第1の音は、音素/h/を含む文章となっている。これは、フランス語を母国語とする人の日本語の特定の音素の習得に寄与する例である。
コミュニケーションロボットは、「喜ぶ(笑うを含む)」の強度レベルの高い動作をした後に続けて上述した音素を含む音を発する場合、両者の時間を調整してもよい。すなわち、コミュニケーションロボットは、初めてその動作を行う場合と、2回目以降の場合とでは、1回目の方が長く設定されてもよい。もちろん、コミュニケーションロボットは、センシングの時間も長くしてもよい。なお、コミュニケーションロボットは、継続的にずっとセンシングを行ってもよい。具体的には、コミュニケーションロボットは、「喜ぶ(笑うを含む)」の強度レベルが高い動作であった「Hi, Ryo-kun.」の音の発生と、表示部10による笑顔の表示とを行う。その後、コミュニケーションロボットは、初回であれば、3〜5秒後に次の音である「Let’s sing together.」を発する。コミュニケーションロボットは、、2回目以降、乳児等の反応である「笑う」までの時間(反応時間)が短くなるため、1〜3秒後に次の音である「Let’s sing together.」を発してもよい。これにより、コミュニケーションロボットは、間延びして乳児等の興味が他に移る暇を与えないようにすることができる。なお、コミュニケーションロボットは、カメラ7及びマイク6により笑いの検出を行い、笑い声が収まるまで次の音である「Let’s sing together.」を発するのを待ってもよい。これにより、コミュニケーションロボットは、発した音が自身の笑い声によりかき消される懸念が少なくなる。なお、コミュニケーションロボットは、第1の音に対する乳児等の反応として、笑い声が発現した場合、即座に表示部10にて笑顔を返しつつ、第2の音の発生を、当該笑い声が収まるまで待ってもよい。
また、コミュニケーションロボットは、コミュニケーションロボットが歌を歌っている途中に乳児等から「笑い」が検出された場合、歌を中断して乳児等の「笑い」に対する反応を示す音を発してもよい。例えば、コミュニケーションロボットは、歌の途中に「笑い」を検出すると、「You like this song ? Good.」という音を発してもよい。この場合、コミュニケーションロボットは、音声出力である歌の発声中も、マイク6やカメラ7による乳児等の反応を入力しておき、これらを平行して処理することにより達成できる。このような場合も、コミュニケーションロボットは、乳児等の興味がコミュニケーションロボットに向かっている状態において、乳児等に対して音素を含む音を聞かせやすくできる。
なお、上述の強度レベルは、コミュニケーションロボットが発した特定の音素或いは音に対する乳児等の反応に対するものであったが、これに限定されない。例えば、上述の強度レベルは、コミュニケーションロボットのその他の動作に対する乳児等の反応の強度レベルを判定してもよい。コミュニケーションロボットは、例えばコミュニケーションロボットが表示部10の顔により笑いかけた場合の強度レベル、コミュニケーションロボットが内部に偏心錘12を備えたモータ11を有している。この場合、コミュニケーションロボットは、前後左右に体(筺体1)を傾かせる動作を実行し、このような動作をした場合の強度レベルを記憶してもよい。そして、コミュニケーションロボットは、音の「喜ぶ(笑うを含む)」の強度レベルの高いものと、動作の「喜ぶ(笑うを含む)」の強度レベルの高いもの同士を組み合わせて、コミュニケーションロボットの動作を実行してもよい。これにより、コミュニケーションロボットは、乳児等が高い関心を示すことが予想される。このときに、コミュニケーションロボットは、反応動作として、上述した特定の音素を含む音を発してもよい。或いは、コミュニケーションロボットは、高い関心を示すコミュニケーションロボットの動作をした直後に、後続の動作として、上述した特定の音素を含む音を発してもよい。コミュニケーションロボットは、これらの動作を反応動作として処理してもよい。すなわち、コミュニケーションロボットは、強度レベルやスコアの高い動作をトリガーとしてコミュニケーションロボットに注目している状態において乳児等に音素を聞かせることができる。
どのタイミングでどのような動作をコミュニケーションロボットが実施するかについて更なる例を述べる。上述した通り、記憶部8には、入力部4から入力された使用者の基本情報等が記憶されている。コミュニケーションロボットは、使用者の基本情報等に基づき、いずれの動作を行うかを選択するが、この際、環境情報を用いてもよい。すなわち、コミュニケーションロボットは、ユーザである乳児等のいる場所情報、現在時刻情報、乳児等の行動情報、天候情報、季節情報、周辺人物情報等を有していてもよい。場所情報は、例えば、ベッド、居間、自宅の庭、自宅外等の情報を含む。乳児等の行動情報は、例えば、食事中であるかや睡眠中であるか、或いは誰かと遊んでいるか等を示す情報を含む。周辺人物情報は、例えば、監護者が近くにいるか同一空間内にいるかどうか、また近くにいるのがだれか(母親か父親か祖父母か、兄弟か等)等を示す情報を含む。コミュニケーションロボットは、上述の基本情報や接近情報に加え、環境情報を記憶部8に記憶してもよい。そして、コミュニケーションロボットは、例えば基本情報及び接近情報に違いがない場合において、環境情報に違いがある場合、環境ごとに異なる音を発してもよい。
例えば、コミュニケーションロボットは、環境情報において、ベッドの上や寝室にいることが判別できた場合、居間にいるときに比較して小さめの音圧により、或いはやさしめのゆっくりしたスピードにより音を発してもよい。これにより、コミュニケーションロボットは、就寝前に乳児等をいたずらに興奮させて、就寝を阻害しにくくできる。なお、コミュニケーションロボットは、音を発する回数を居間等にいる場合よりも減らしてもよい。また、コミュニケーションロボットは、子守歌を音として発してもよい。また、コミュニケーションロボットは、兄弟が近くにいることが判別できている場合、兄弟がいない場合とは異なり、名前による呼びかけを乳児等単独の名前ではなく、兄弟の名前も一緒に呼びかけるようにしてもよい。このように、コミュニケーションロボットは、動作として新たな音を作り出すこともできる。これにより、コミュニケーションロボットは、コミュニケーションロボットに対する興味が時間の経過とともに、薄れていくことを低減させることができる。その結果、コミュニケーションロボットは、長期間の使用により乳児等の聴覚の発達を促しやすくしたり、聴取能の衰えを抑制しやすくしたりできる。
また、コミュニケーションロボットは、上記のレベル判定の対象となる動作とは別に、レベル判定をしない動作をしてもよい。例えば、コミュニケーションロボットは、筺体1が上部1xと下部1yとに分離しており、下部1yに対して上部1xが回転するように動作してもよい。例えば、コミュニケーションロボットは、コミュニケーションロボットの背後からの乳児等の声をマイク6により取得した場合、背後に顔が向くように、下部1yは動かずとも、上部1xだけをモータ11により回転させることにより達成できる。この場合、コミュニケーションロボットは、上部1xを覆う部位と下部1yを覆う部位とで外皮2が予め分離されている。また、コミュニケーションロボットは、乳児等がハイハイをすることにより進む方向に追従して、乳児等に常に顔が向いているようにすることもできる。また、コミュニケーションロボットは、乳児等がコミュニケーションロボットを見ているときにまたたきをする動作をしてもよい。また、コミュニケーションロボットは、監護者等が「おはよう」というと、「Good Morning!」と返答してもよい。逆に、コミュニケーションロボットは、監護者や兄弟姉妹等をカメラ7により捕捉した場合、「Good Morning!」と呼びかけてもよい。また、2台以上のコミュニケーションロボットがある場合、コミュニケーションロボット同士で会話をしてもよい。この場合、コミュニケーションロボットは、相手方のコミュニケーションロボットを、一時的に登録された乳児等として扱い、設定された乳児等に対する動作と同じ動作を実行してもよい。これにより、コミュニケーションロボットは、特段の対コミュニケーションロボット用の動作を設計しなくともよい。或いは、コミュニケーションロボットは、2台以上のコミュニケーションロボットの会話を予め設定されたシナリオに基づいて動作させて乳児等がこれを見るような環境を作ってもよい。
コミュニケーションロボットの表情は、プリセットの目と口だけのものでもよいが、監護者である両親の輪郭の(座標)平均値を取りこんでもよい。この場合、コミュニケーションロボットは、両目の間の位置を0(零)として、左右をプラスマイナス座標で数値化し、さらにその数値の両親の平均値を取る。その後、コミュニケーションロボットは、鼻からあごまでの長さの平均値(両親の長さの和/2)に、0.8を乗じて鼻からあごまでの長さを小さくしてもよい。さらに、コミュニケーションロボットは、眉毛から頭髪の生え際までの長さ(概ねおでこの長さ)の平均値(両親の長さの和/2)に1.1を乗じて長さをながくしてもよい。これにより、コミュニケーションロボットは、両親の顔に近く且つ顔つきを幼くすることができる。同様に、コミュニケーションロボットは、コミュニケーションロボットが発する声を母親の声に近づけたり父親の声に近づけたりしてもよい。また、コミュニケーションロボットは、父親の声の周波数を高くすることにより父親の声をさらに若くしてもよい。このような声を使用することにより、コミュニケーションロボット、親和性を増加させることができる。
また、コミュニケーションロボットは、ユーザが幼児や子供であり、その幼児や子供と一緒にテレビ画面等でビデオを視聴しているときに、コンテンツの内容に対して反応を提示するようにしてもよい。例えば、コミュニケーションロボットは、面白い場面になると、笑う表情を表示部10に表示しつつ、「Funny!」という音を発してもよい。このようなコンテンツ内容の把握は、コンテンツに付与されたタグから行ってもよい。なお、タグ情報のコミュニケーションロボットにおける取得は、例えばテレビ等の外部表示装置から無線通信を介して送信されたものを無線通信部17により取得するようにしてもよい。或いは、コミュニケーションロボットは、コンテンツ情報とタグ情報の双方を、一旦、外部サーバ等から無線通信部17や外部端子15を介して受領し、当該コンテンツの情報をテレビ等の外部表示装置側に送信してもよい。
或いは、画像の中に例えば笑う場面であることを示すタグを表示させるようにした場合、コミュニケーションロボットは、カメラ7で表示されたタグを捕捉して、コミュニケーションロボットが笑うという仕組みを作製してもよい。或いは、映像のタグに変えて、例えば人間の可聴域外の例えば25kHzといった高周波の音を所定時間だけスピーカから出力してもよい。この場合、コミュニケーションロボットは、マイク6で高周波の音を捕捉した場合、コミュニケーションロボットが笑うという仕組みを作成してもよい。なお、コミュニケーションロボットは、笑いの場合25kHz、悲しみの場合30kHzといったように、音の高さの種類とタグの種類とを対応させてもよい。
また、コミュニケーションロボットは、外部端子15や無線通信部17を介して、各動作に対しての反応情報をサーバに吸い上げて、サーバにおいて、同じ動作に対する異なる乳児等からサンプリングされたスコア等の平均値を取ってもよい。コミュニケーションロボットは、当該平均値をベースにしたスコア表を再度、外部端子15や無線通信部17を介して、コミュニケーションロボットの記憶部8に記憶させてもよい。コミュニケーションロボットは、アプリケーションをバージョンアップさせることができる。これにより、コミュニケーションロボットは、常に多くのユーザの反応をベースに、効果的な動作を選び出し、動作させることができる。なお、悲しみ等のマイナス要素の強かった動作は、動作リストから削除してから、各コミュニケーションロボットに配信してもよい。
また、上述では、コミュニケーションロボットは、カメラ7により顔認識や表情読み取り、視線方向の推定について述べた。コミュニケーションロボットは、顔認識により本人同定をしたのちに、その他の部分、例えば衣服や髪形に変化があった場合に、この点について、コミュニケーションロボットが言及するようにしてもよい。具体的には、コミュニケーションロボットは、カメラ7で捕捉した本人画像を保存しておき、今後の本人同定に用いることとする。そして、コミュニケーションロボットは、次に本人同定を行ったときに、顔認識では本人に一致(本人同定完了)したが、顔の周囲の衣服や髪形に変化があった場合に、「その髪型、かわいいね!」等の呼びかけを行ってもよい。コミュニケーションロボットは、この動作を、反応動作1として行ってもよいが、その他のタイミングでもよい。
また、コミュニケーションロボットは、上述のセンサ群に変えて、例えば温度センサや湿度センサ、輝度センサを備えてもよい。コミュニケーションロボットは、例えば温度センサや湿度センサ、輝度センサで検出した内容により、例えば「今日は暑いね!」等の対応する文章を発してもよい。
なお、上述した動作や各種条件等は、記載した内容同士で種々の組み合わせが可能であることは言うまでもない。
1 筺体
2 外皮
3 制御部
4 入力部(タッチパネル)
5 TOFセンサ
6 マイク
7 カメラ
8 記憶部
9 スピーカ
10 表示部
11 モータ
12 偏心錘
13 加速度センサ
14 地磁気センサ
15 外部端子
16x、16y ギア
17 無線通信部

Claims (40)

  1. 筺体と、スピーカとを備え、特定の音素を含む音を発する動作を実行するコミュニケーションロボット。
  2. 記憶部を備え、当該記憶部の情報に基づいて、実行する動作を決定する請求項1に記載のコミュニケーションロボット。
  3. 記憶部を備え、当該記憶部には、ユーザのターゲットとする言語情報が記憶される請求項1に記載のコミュニケーションロボット。
  4. 前記記憶部には、ユーザの母国語の情報が記憶される請求項3に記載のコミュニケーションロボット。
  5. 記憶部を備え、当該記憶部には、ユーザの名前情報及びユーザの年齢情報、或いはユーザの名前情報及び月齢情報が記憶される請求項1に記載のコミュニケーションロボット。
  6. 記憶部を備え、当該記憶部には、ユーザの情緒情報が記憶される請求項1に記載のコミュニケーションロボット。
  7. 記憶部を備え、当該記憶部には、ユーザの周囲の環境に関する環境情報が記憶される請求項1に記載のコミュニケーションロボット。
  8. 記憶部を備え、当該記憶部には、ユーザの顔情報が記憶される請求項1に記載のコミュニケーションロボット。
  9. 記憶部を備え、当該記憶部には、ユーザの声情報が記憶される請求項1に記載のコミュニケーションロボット。
  10. 前記記憶部には、ユーザの監護者および兄弟姉妹の双方あるいは一方の声が記憶されている請求項2に記載のコミュニケーションロボット。
  11. 筺体と、スピーカと、センサを備え、該センサからの情報により、特定の音素を含む音を発する動作を実行するコミュニケーションロボット。
  12. 前記センサとして、前記筺体の脇腹部分に配置されたタッチセンサを備える請求項11に記載のコミュニケーションロボット。
  13. 前記センサが画像系センサであり、当該画像系センサの情報により、人の存在を検知する或いは人の識別をする請求項11に記載のコミュニケーションロボット。
  14. 前記センサとして、単数あるいは複数のマイクを備え、前記マイクにより人の存在を検知する請求項11に記載のコミュニケーションロボット。
  15. 前記マイクにより集音した音に基づいて、人を識別する請求項14に記載のコミュニケーションロボット。
  16. 前記マイクを前記筺体の左右にそれぞれ備えるとともに、表示部を筺体の正面に備え、前記左右のマイクにより音源方向を特定し、当該方向に向かって前記音を発する請求項14に記載のコミュニケーションロボット。
  17. 前記センサにより、前記音を発した後の人の反応を捕捉する請求項11に記載のコミュニケーションロボット。
  18. 前記人の反応の強度レベルを判定する請求項17に記載のコミュニケーションロボット。
  19. 捕捉した前記人の反応を種別ごとに分類する請求項17に記載のコミュニケーションロボット。
  20. 前記種別には、感情としての「喜ぶ」と「悲しむ」を含む請求項19に記載のコミュニケーションロボット。
  21. 前記センサとしてマイクを備え、該マイクにより集音された音から、前記強度レベルを判定する請求項18に記載のコミュニケーションロボット。
  22. 前記マイクにより集音された人の発声の内容により、前記強度レベルを判定する請求項21に記載のコミュニケーションロボット。
  23. 前記センサとしてカメラを備え、該カメラにより撮影された画像から、前記強度レベルを判定する請求項18に記載のコミュニケーションロボット。
  24. 前記カメラの画像から人の表情を解析して、当該表情から前記強度レベルを判定する請求項23に記載のコミュニケーションロボット。
  25. 前記カメラの画像から人の動作を解析して、当該動作から前記強度レベルを判定する請求項23に記載のコミュニケーションロボット。
  26. 前記センサとして距離を計測するセンサを備え、前記音を発したのちに人が近寄ってくる速度を測定して、当該速度に応じて前記強度レベルを判定する請求項18に記載のコミュニケーションロボット。
  27. 前記動作に対する、複数の異なる要素における人の反応を、前記センサにより捕捉し、前記複数の要素の強度レベルを判別する請求項11に記載のコミュニケーションロボット。
  28. 前記複数の要素の強度レベルから前記動作に対するスコアを決定する請求項27に記載のコミュニケーションロボット。
  29. 筺体と、スピーカと、センサとを備え、第1の動作を実行するとともに、当該第1の動作に対する人の反応に基づいて、第2の動作を実行するコミュニケーションロボットにおいて、
    前記第1の動作及び第2の動作の少なくとも一方は、特定の音素を含む音を発する動作であるコミュニケーションロボット。
  30. 前記スピーカが指向性スピーカであり、前記センサがマイクであり、該マイクで検出した人のいる方向に向けて前記第2の動作を実行する請求項29に記載のコミュニケーションロボット。
  31. 前記センサは画像系センサであり、当該画像系センサの情報により、人がコミュニケーションロボット自身を見ていると判定されたときに前記第2の動作を実行する請求項29に記載のコミュニケーションロボット。
  32. 前記センサは加速度センサであり、当該加速度センサの情報により、コミュニケーションロボット自身が持ちあげられる動きを検出したら、音を発する請求項29に記載のコミュニケーションロボット。
  33. 前記センサはタッチセンサであり、前記タッチセンサにより接触を検知したら、第2の動作を実行する請求項29に記載のコミュニケーションロボット。
  34. 前記センサは、前記筺体の左右にそれぞれ配置されたタッチセンサであり、前記タッチセンサにより左右双方の接触を検知したら、前記第2の動作を実行する請求項29に記載のコミュニケーションロボット。
  35. 前記センサは、マイク、画像系センサ、タッチセンサ及び加速度センサのうちから選択される複数種類からなり、前記センサの種類及び各センサの検出内容により、互いに異なる第2の動作を実行する請求項29に記載のコミュニケーションロボット。
  36. 前記センサはマイクであり、人の発生した音を集音した直後に、前記スピーカから当該発生した音を再生して人のまねをする請求項29に記載のコミュニケーションロボット。
  37. 前記センサはマイクであり、モータを備え、前記マイクにより人の発生した音を集音した直後に、前記モータにより前記筺体を揺動させる動作をする請求項29に記載のコミュニケーションロボット。
  38. 前記センサは、画像系センサであり、当該画像系センサの情報により、人の接近を監視するとともに、当該接近の種別を判定し、当該種別に応じて選択される第2の動作を実行する請求項29に記載のコミュニケーションロボット。
  39. 人の存在を検知する第1のセンサを備え、当該第1のセンサが人を検知すると、第1の音を発し、第1の音を発した後の人の動作を検知する第2のセンサを備え、当該第2のセンサにより特定の動作が検出されたら、第2の音を発し、前記第1の音及び前記第2の音の少なくとも一方が特定の音素を含むコミュニケーションロボット。
  40. 前記特定の動作は、感情のうち、喜び或いは驚きに分類される動作である請求項39に記載のコミュニケーションロボット。
JP2016556640A 2014-10-29 2015-10-29 コミュニケーションロボット Pending JPWO2016068262A1 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2014220346 2014-10-29
JP2014220346 2014-10-29
JP2014220504 2014-10-29
JP2014220503 2014-10-29
JP2014220504 2014-10-29
JP2014220503 2014-10-29
PCT/JP2015/080618 WO2016068262A1 (ja) 2014-10-29 2015-10-29 コミュニケーションロボット

Publications (1)

Publication Number Publication Date
JPWO2016068262A1 true JPWO2016068262A1 (ja) 2017-08-10

Family

ID=55857597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016556640A Pending JPWO2016068262A1 (ja) 2014-10-29 2015-10-29 コミュニケーションロボット

Country Status (3)

Country Link
US (1) US10366689B2 (ja)
JP (1) JPWO2016068262A1 (ja)
WO (1) WO2016068262A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180542A (ja) * 2017-04-14 2018-11-15 ネイバー コーポレーションNAVER Corporation ネットワークに連結した音響機器とのマルチモーダルインタラクション方法およびシステム

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017205324A (ja) * 2016-05-19 2017-11-24 パナソニックIpマネジメント株式会社 ロボット
JP2017205313A (ja) * 2016-05-19 2017-11-24 パナソニックIpマネジメント株式会社 ロボット
JP6735013B2 (ja) * 2016-05-31 2020-08-05 パナソニック株式会社 ロボット
JP6844135B2 (ja) * 2016-07-05 2021-03-17 富士ゼロックス株式会社 移動ロボットおよび移動制御システム
JP6681800B2 (ja) * 2016-07-15 2020-04-15 株式会社日立製作所 制御装置、制御システム、および制御方法
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
JP6695061B2 (ja) * 2016-07-27 2020-05-20 パナソニックIpマネジメント株式会社 ロボット
CN107731225A (zh) * 2016-08-10 2018-02-23 松下知识产权经营株式会社 待客装置、待客方法以及待客系统
JP6461058B2 (ja) * 2016-09-06 2019-01-30 国立大学法人京都大学 音声対話装置および音声対話装置を用いた自動対話方法
JP6544333B2 (ja) * 2016-10-13 2019-07-17 トヨタ自動車株式会社 コミュニケーション装置
JP6316385B1 (ja) * 2016-11-16 2018-04-25 株式会社バンダイ 演出出力玩具
JP6795387B2 (ja) * 2016-12-14 2020-12-02 パナソニック株式会社 音声対話装置、音声対話方法、音声対話プログラム及びロボット
JP2018117821A (ja) * 2017-01-25 2018-08-02 群馬電機株式会社 福祉用ぬいぐるみ
JP6712961B2 (ja) * 2017-03-15 2020-06-24 日立グローバルライフソリューションズ株式会社 コミュニケーションシステム及びコミュニケーション制御装置
CN110809749A (zh) * 2017-06-16 2020-02-18 本田技研工业株式会社 互动装置、互动方法及程序
JP2019005842A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
JP6572943B2 (ja) 2017-06-23 2019-09-11 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
GB2565315B (en) * 2017-08-09 2022-05-04 Emotech Ltd Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers
CN111093913A (zh) * 2017-09-11 2020-05-01 Groove X 株式会社 注视对方的行为自主型机器人
JP7022547B2 (ja) * 2017-09-22 2022-02-18 パナソニック株式会社 ロボット
CN107944542A (zh) * 2017-11-21 2018-04-20 北京光年无限科技有限公司 一种基于虚拟人的多模态交互输出方法及系统
WO2019133615A1 (en) * 2017-12-26 2019-07-04 Intuition Robotics, Ltd. A method for personalized social robot interaction
US11110608B2 (en) * 2017-12-29 2021-09-07 International Business Machines Corporation Robotic physical movement adjustment based on user emotional state
US11504856B2 (en) 2017-12-29 2022-11-22 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
US11222632B2 (en) 2017-12-29 2022-01-11 DMAI, Inc. System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
WO2019133710A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for dialogue management
WO2019160613A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for dynamic program configuration
CN112262024B (zh) * 2018-02-15 2024-05-03 暗物智能科技(广州)有限公司 用于增强数字体验的动态机器人配置的系统和方法
WO2019160612A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for dynamic robot profile configurations based on user interactions
JP7109207B2 (ja) * 2018-02-23 2022-07-29 パナソニックホールディングス株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット
JP7102169B2 (ja) * 2018-02-28 2022-07-19 パナソニックホールディングス株式会社 装置、ロボット、方法、及びプログラム
JP7326707B2 (ja) * 2018-06-21 2023-08-16 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
US11134308B2 (en) 2018-08-06 2021-09-28 Sony Corporation Adapting interactions with a television user
US10969763B2 (en) * 2018-08-07 2021-04-06 Embodied, Inc. Systems and methods to adapt and optimize human-machine interaction using multimodal user-feedback
US11372408B1 (en) * 2018-08-08 2022-06-28 Amazon Technologies, Inc. Dynamic trajectory-based orientation of autonomous mobile device component
CN112601592A (zh) * 2018-08-30 2021-04-02 Groove X 株式会社 机器人及声音生成程序
WO2020086725A1 (en) * 2018-10-23 2020-04-30 Thomas Dair Surround sound applications and devices for vertically-oriented content
US11557297B2 (en) 2018-11-09 2023-01-17 Embodied, Inc. Systems and methods for adaptive human-machine interaction and automatic behavioral assessment
US10515531B1 (en) * 2018-11-21 2019-12-24 James Wang Bidirectional proximity announcer
US10834452B2 (en) * 2019-01-02 2020-11-10 International Business Machines Corporation Dynamic live feed recommendation on the basis of user real time reaction to a live feed
KR20200144366A (ko) * 2019-06-18 2020-12-29 엘지전자 주식회사 로봇을 위한 기동어 인식 모델의 생성
KR20210020312A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 로봇 및 그의 제어 방법
US11426885B1 (en) * 2019-08-27 2022-08-30 X Development Llc Robot docking station identification surface
JP7403552B2 (ja) 2019-10-16 2023-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ロボット、制御処理方法及び制御処理プログラム
CN111459450A (zh) * 2020-03-31 2020-07-28 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
US11386888B2 (en) * 2020-07-17 2022-07-12 Blue Ocean Robotics Aps Method of adjusting volume of audio output by a mobile robot device
JP7466409B2 (ja) 2020-09-01 2024-04-12 アルプスアルパイン株式会社 可動玩具
US20230050509A1 (en) * 2021-08-10 2023-02-16 Sophie Amayaka Inspiration Quotes Delivering Toy
WO2023170843A1 (ja) * 2022-03-09 2023-09-14 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、コントローラ装置の制御方法、及びプログラム

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000053281A1 (fr) * 1999-03-05 2000-09-14 Namco, Ltd. Dispositif d'animal virtuel et support d'enregistrement de son programme de commande
JP2001242780A (ja) * 2000-02-29 2001-09-07 Sony Corp 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム
JP2002351305A (ja) * 2001-05-23 2002-12-06 Apollo Seiko Ltd 語学研修用ロボット
JP2003122236A (ja) * 2001-10-10 2003-04-25 Kunio Kasai 人 形
US20030099919A1 (en) * 2000-12-14 2003-05-29 Tru Love Bilingual toy
JP2005342862A (ja) * 2004-06-04 2005-12-15 Nec Corp ロボット
JP2006068489A (ja) * 2004-08-02 2006-03-16 Tomy Co Ltd 対話型ペットロボット
JP2006123136A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2007021719A (ja) * 2006-08-01 2007-02-01 Sony Corp 学習装置及び学習方法並びにロボット装置
JP2008096884A (ja) * 2006-10-16 2008-04-24 Hitachi Software Eng Co Ltd 外国語学習通信システム
JP2011000681A (ja) * 2009-06-19 2011-01-06 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2013099823A (ja) * 2011-11-09 2013-05-23 Panasonic Corp ロボット装置、ロボット制御方法、ロボット制御プログラム、およびロボットシステム
JP2013237124A (ja) * 2012-05-15 2013-11-28 Fujitsu Ltd 端末装置、情報提供方法及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6684127B2 (en) * 2000-02-14 2004-01-27 Sony Corporation Method of controlling behaviors of pet robots
CN1398214A (zh) * 2000-10-23 2003-02-19 索尼公司 有足机器人、用于有足机器人的动作控制方法、和存储介质
WO2002072317A1 (fr) * 2001-03-09 2002-09-19 Japan Science And Technology Corporation Systeme de robot audiovisuel
US7614880B2 (en) * 2002-10-03 2009-11-10 James Bennett Method and apparatus for a phoneme playback system for enhancing language learning skills
US8272874B2 (en) * 2004-11-22 2012-09-25 Bravobrava L.L.C. System and method for assisting language learning
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
KR100850352B1 (ko) * 2006-09-26 2008-08-04 한국전자통신연구원 상태 정보를 이용하여 감성을 표현하기 위한 지능형 로봇의감성 표현 장치 및 그 방법
US8909370B2 (en) * 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
US20110118870A1 (en) * 2007-09-06 2011-05-19 Olympus Corporation Robot control system, robot, program, and information storage medium
US8380507B2 (en) * 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
KR101239866B1 (ko) * 2009-09-01 2013-03-06 한국전자통신연구원 이동 로봇을 이용한 조류 통제 방법 및 그 장치
JP4725936B1 (ja) * 2011-02-01 2011-07-13 有限会社Bond 入力支援装置、入力支援方法及びプログラム
US8996429B1 (en) * 2011-05-06 2015-03-31 Google Inc. Methods and systems for robot personality development
US20130030789A1 (en) * 2011-07-29 2013-01-31 Reginald Dalce Universal Language Translator
US10176725B2 (en) * 2011-08-29 2019-01-08 Worcester Polytechnic Institute System and method of pervasive developmental disorder interventions
US9058751B2 (en) * 2011-11-21 2015-06-16 Age Of Learning, Inc. Language phoneme practice engine
US20150138333A1 (en) * 2012-02-28 2015-05-21 Google Inc. Agent Interfaces for Interactive Electronics that Support Social Cues
US20140149177A1 (en) * 2012-11-23 2014-05-29 Ari M. Frank Responding to uncertainty of a user regarding an experience by presenting a prior experience
CN110096712B (zh) * 2013-03-15 2023-06-20 苹果公司 通过智能数字助理的用户培训
US9594742B2 (en) * 2013-09-05 2017-03-14 Acxiom Corporation Method and apparatus for matching misspellings caused by phonetic variations
US9177549B2 (en) * 2013-11-01 2015-11-03 Google Inc. Method and system for cross-lingual voice conversion
US10339920B2 (en) * 2014-03-04 2019-07-02 Amazon Technologies, Inc. Predicting pronunciation in speech recognition
US9323984B2 (en) * 2014-06-06 2016-04-26 Wipro Limited System and methods of adaptive sampling for emotional state determination
US9746901B2 (en) * 2014-07-31 2017-08-29 Google Technology Holdings LLC User interface adaptation based on detected user location
WO2016048350A1 (en) * 2014-09-26 2016-03-31 Nuance Communications, Inc. Improving automatic speech recognition of multilingual named entities

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000053281A1 (fr) * 1999-03-05 2000-09-14 Namco, Ltd. Dispositif d'animal virtuel et support d'enregistrement de son programme de commande
JP2001242780A (ja) * 2000-02-29 2001-09-07 Sony Corp 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム
US20030099919A1 (en) * 2000-12-14 2003-05-29 Tru Love Bilingual toy
JP2002351305A (ja) * 2001-05-23 2002-12-06 Apollo Seiko Ltd 語学研修用ロボット
JP2003122236A (ja) * 2001-10-10 2003-04-25 Kunio Kasai 人 形
JP2005342862A (ja) * 2004-06-04 2005-12-15 Nec Corp ロボット
JP2006068489A (ja) * 2004-08-02 2006-03-16 Tomy Co Ltd 対話型ペットロボット
JP2006123136A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2007021719A (ja) * 2006-08-01 2007-02-01 Sony Corp 学習装置及び学習方法並びにロボット装置
JP2008096884A (ja) * 2006-10-16 2008-04-24 Hitachi Software Eng Co Ltd 外国語学習通信システム
JP2011000681A (ja) * 2009-06-19 2011-01-06 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2013099823A (ja) * 2011-11-09 2013-05-23 Panasonic Corp ロボット装置、ロボット制御方法、ロボット制御プログラム、およびロボットシステム
JP2013237124A (ja) * 2012-05-15 2013-11-28 Fujitsu Ltd 端末装置、情報提供方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Q.S.M. ZIA-UL-HAQUE ET AL.: "A Robot that learns and teaches english language to native Chinese children", 2007 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS(2007. ROBIO), JPN6018001934, December 2007 (2007-12-01), pages 1087 - 1092, XP031252957, ISSN: 0003725368 *
TAKAYUKI KANDA ET AL.: "Interactive robots as social partners and peer tutors for children: a field trial", JOURNAL HUMAN-COMPUTER INTERACTION, vol. Vol. 19, Issue 1, JPN6018001933, June 2004 (2004-06-01), pages 61 - 84, ISSN: 0003725367 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180542A (ja) * 2017-04-14 2018-11-15 ネイバー コーポレーションNAVER Corporation ネットワークに連結した音響機器とのマルチモーダルインタラクション方法およびシステム

Also Published As

Publication number Publication date
US10366689B2 (en) 2019-07-30
US20170352351A1 (en) 2017-12-07
WO2016068262A1 (ja) 2016-05-06

Similar Documents

Publication Publication Date Title
WO2016068262A1 (ja) コミュニケーションロボット
TWI692717B (zh) 影像顯示裝置、話題選擇方法及程式
US10702991B2 (en) Apparatus, robot, method and recording medium having program recorded thereon
JP7400923B2 (ja) 情報処理装置および情報処理方法
CN109644303A (zh) 识别声源方向的行为自主型机器人
JP6165302B1 (ja) 画像表示装置、話題選択方法、話題選択プログラム
JP2019008510A (ja) ロボット、ロボットの制御方法及びプログラム
CN108363492A (zh) 一种人机交互方法及交互机器人
JP7363764B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11220009B2 (en) Interaction device, interaction method, recording medium storing interaction program, and robot
JP2013099823A (ja) ロボット装置、ロボット制御方法、ロボット制御プログラム、およびロボットシステム
US20190283257A1 (en) Emotionally intelligent companion device
JP2019139170A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2002049385A (ja) 音声合成装置、疑似感情表現装置及び音声合成方法
JP6747423B2 (ja) ロボット、ロボット制御システム、ロボットの制御方法及びプログラム
JP2018014091A (ja) 画像表示装置、話題選択方法、話題選択プログラム
US11544968B2 (en) Information processing system, information processingmethod, and recording medium
JP6798258B2 (ja) 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム
JP6972526B2 (ja) コンテンツ提供装置、コンテンツ提供方法、及びプログラム
JP7156300B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021117479A (ja) 表示装置等
TWI599215B (zh) 互動式喇叭裝置及系統
JP7448142B2 (ja) 表示装置等
JP2022157245A (ja) システム等
JP2022006610A (ja) 社会的能力生成装置、社会的能力生成方法、およびコミュニケーションロボット

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180330

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181211

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190111