JP7180470B2 - コミュニケーションシステム、及びコミュニケーションシステムの制御方法 - Google Patents

コミュニケーションシステム、及びコミュニケーションシステムの制御方法 Download PDF

Info

Publication number
JP7180470B2
JP7180470B2 JP2019049961A JP2019049961A JP7180470B2 JP 7180470 B2 JP7180470 B2 JP 7180470B2 JP 2019049961 A JP2019049961 A JP 2019049961A JP 2019049961 A JP2019049961 A JP 2019049961A JP 7180470 B2 JP7180470 B2 JP 7180470B2
Authority
JP
Japan
Prior art keywords
user
head
communication system
sight
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019049961A
Other languages
English (en)
Other versions
JP2020151012A (ja
Inventor
美奈 舩造
航 加来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019049961A priority Critical patent/JP7180470B2/ja
Priority to CN202010118732.6A priority patent/CN111708428B/zh
Priority to US16/819,683 priority patent/US11491660B2/en
Publication of JP2020151012A publication Critical patent/JP2020151012A/ja
Application granted granted Critical
Publication of JP7180470B2 publication Critical patent/JP7180470B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0426—Programming the control sequence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04—Structural association of microphone with electric circuitry therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2666—Toy
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39391—Visual servoing, track end effector with camera image feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)
  • Toys (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Description

本発明はコミュニケーションシステム、及びコミュニケーションシステムの制御方法に関する。
近年、ユーザとコミュニケーションをとるコミュニケーションシステムの開発が進んでいる。特許文献１には、ユーザの音声を認識してアクションする音声認識ロボットに関する技術が開示されている。
特開２００８－１２６３２９号公報
特許文献１に開示されている音声認識ロボットはマイクロフォンを保持する保持部を備えている。そして、カメラで撮影したユーザの画像を用いてユーザの口の位置を特定し、音声認識ロボットが保持しているマイクロフォンがユーザの口に近づくように、保持部の姿勢を制御している。
しかしながら、特許文献１に開示されている音声認識ロボットでは、保持部でマイクロフォンを保持するように構成しているため、装置構成が煩雑になるという問題がある。また、コミュニケーションシステムでは、ユーザとのコミュニケーションを適切に行う必要があるため、ユーザの音声を精度よく認識する必要がある。したがって、装置構成が簡易であると共に、ユーザの音声を精度よく認識することが可能なコミュニケーションシステムが必要とされている。
上記課題に鑑み本発明の目的は、装置構成が簡易であると共に、ユーザの音声を精度よく認識することが可能なコミュニケーションシステム、及びコミュニケーションシステムの制御方法を提供することである。
本発明の一態様にかかるコミュニケーションシステムは、本体部と、前記本体部に対して変位可能に取り付けられた頭部と、前記本体部に対する前記頭部の位置を制御可能な制御部と、前記頭部に設けられ、コミュニケーション相手であるユーザを撮影可能なカメラと、前記頭部に設けられ、特定の方向にビームフォーミングを形成可能なマイクロフォンと、を備える。前記制御部は、前記カメラで撮影された前記ユーザの画像を用いて前記ユーザの口の位置を特定し、前記特定されたユーザの口の位置が前記ビームフォーミングの領域に含まれるように、前記頭部の位置を制御する。
上述のコミュニケーションシステムでは、ユーザを撮影可能なカメラと、特定の方向にビームフォーミングを形成可能なマイクロフォンと、をコミュニケーションシステムの頭部に設けている。よって、マイクロフォンを保持する保持部を省略することができるので、コミュニケーションシステムの装置構成を簡易にすることができる。また、コミュニケーション相手であるユーザの画像を用いてユーザの口の位置を特定し、特定されたユーザの口の位置がマイクロフォンのビームフォーミングの領域に含まれるように、頭部の位置を制御している。したがって、ユーザの音声を精度よく認識することができる。
上述のコミュニケーションシステムにおいて、前記制御部は更に、前記頭部に設けられた目部の視線の向きを制御可能に構成されていてもよい。そして、前記制御部は、前記頭部の位置を制御した際に前記視線の向きが前記ユーザの顔の方向を向くように前記視線の向きを制御してもよい。
このように、視線の向きがユーザの顔の方向を向くように視線の向きを制御することで、コミュニケーションシステムの視線の向きがユーザから外れてしまうことを抑制することができる。したがって、ユーザに対してコミュニケーションシステムが話をよく聞いているという印象を与えることができる。
上述のコミュニケーションシステムにおいて、前記制御部は、前記カメラで撮影された前記ユーザの画像を用いて前記ユーザの顔の位置を特定し、前記視線の向きが前記ユーザの顔の方向を向くように前記視線の向きを制御してもよい。
上述のコミュニケーションシステムにおいて、前記制御部は、前記頭部の位置を制御した際の前記頭部の移動量に基づいて前記視線の向きを制御してもよい。
上述のコミュニケーションシステムにおいて、前記制御部は、前記カメラで撮影された前記ユーザの画像を用いて前記ユーザの口の位置の座標を算出してもよく、前記算出された口の位置の座標と、前記マイクロフォンおよび前記カメラの相対的な位置関係と、を用いて、前記頭部の移動量を算出してもよい。
本発明の一態様にかかるコミュニケーションシステムの制御方法は、本体部と、当該本体部に対して変位可能に取り付けられた頭部と、前記頭部に設けられ、コミュニケーション相手であるユーザを撮影可能なカメラと、前記頭部に設けられ、特定の方向にビームフォーミングを形成可能なマイクロフォンと、を備えるコミュニケーションシステムの制御方法であって、コミュニケーション相手であるユーザを撮影するステップと、前記撮影された前記ユーザの画像を用いて前記ユーザの口の位置を特定するステップと、前記特定されたユーザの口の位置が前記ビームフォーミングの領域に含まれるように、前記頭部の位置を制御するステップと、を備える。
上述のコミュニケーションシステムの制御方法では、コミュニケーション相手であるユーザの画像を用いてユーザの口の位置を特定し、特定されたユーザの口の位置がマイクロフォンのビームフォーミングの領域に含まれるように、頭部の位置を制御している。したがって、ユーザの音声を精度よく認識することができる。
上述のコミュニケーションシステムの制御方法において、前記頭部の位置を制御した際に前記視線の向きが前記ユーザの顔の方向を向くように前記視線の向きを制御するステップを更に備えていてもよい。
このように、視線の向きがユーザの顔の方向を向くように視線の向きを制御することで、コミュニケーションシステムの視線の向きがユーザから外れてしまうことを抑制することができる。したがって、ユーザに対してコミュニケーションシステムが話をよく聞いているという印象を与えることができる。
本発明により、装置構成が簡易であると共に、ユーザの音声を精度よく認識することが可能なコミュニケーションシステム、及びコミュニケーションシステムの制御方法を提供することができる。
実施の形態にかかるコミュニケーションシステムの外観構成の一例を示す正面図である。 実施の形態にかかるコミュニケーションシステムの外観構成の一例を示す側面図である。 実施の形態にかかるコミュニケーションシステムのシステム構成の一例を示すブロック図である。 実施の形態にかかるコミュニケーションシステムの動作を説明するためのフローチャートである。 実施の形態にかかるコミュニケーションシステムの動作を説明するための側面図である。 実施の形態にかかるコミュニケーションシステムの動作を説明するための側面図である。 実施の形態にかかるコミュニケーションシステムの動作を説明するための側面図である。 実施の形態にかかるコミュニケーションシステムの動作を説明するための図である。 実施の形態にかかるコミュニケーションシステムの動作を説明するための図である。 実施の形態にかかるコミュニケーションシステムのハードウェア構成を示すブロック図である。
以下、図面を参照して本発明の実施の形態について説明する。
図１、図２はそれぞれ、本実施の形態にかかるコミュニケーションシステムの外観構成の一例を示す正面図、及び側面図である。図１、図２に示すように、本実施の形態にかかるコミュニケーションシステム１は、頭部１００および本体部１１０を備える。頭部１００は、本体部１１０に対して変位可能に取り付けられている。頭部１００には、耳部３１ａ、３１ｂ、目部３２ａ、３２ｂ、及び鼻部３３が設けられている。本体部１１０には、胴部３６、腕部３７ａ、３７ｂ、及び脚部３８ａ、３８ｂが設けられている。図１、図２では、一例として動物を模した外観を有する装置（ロボット）を示しているが、本実施の形態にかかるコミュニケーションシステムの外観構成についてはこれに限定されることはなく、任意に決定することができる。
耳部３１ａ、３１ｂにはそれぞれ、マイクロフォン１２ａ、１２ｂが設けられている。マイクロフォン１２ａ、１２ｂを用いることで、コミュニケーションシステム１の周辺の音（特にユーザの声）を収音することができる。本実施の形態においてマイクロフォン１２ａ、１２ｂは特定の方向にビームフォーミングを形成可能に構成されている。例えば図２に示すように、マイクロフォン１２ａは、特定の方向４１を中心に所定の角度広がった略円錐形のビームフォーミング４５を形成可能に構成されている。
マイクロフォン１２ａおよびマイクロフォン１２ｂは、各々独立にビームフォーミングを形成してもよく、また、マイクロフォン１２ａおよびマイクロフォン１２ｂの両方を用いて１つのビームフォーミングを形成してもよい。
例えば、マイクロフォン１２ａおよびマイクロフォン１２ｂが各々独立にビームフォーミングを形成する場合は、例えば、各々のマイクロフォン１２ａ、１２ｂに複数のマイクロフォン（例えば、無指向性のマイクロフォン）をそれぞれ設ける。そして、これら複数のマイクロフォンで収音した音声信号に対して各々ビームフォーミング処理を施すことで、特定の方向４１に指向性を有するビームフォーミング４５を各々のマイクロフォン１２ａ、１２ｂにおいて独立に形成することができる。
また、例えば、マイクロフォン１２ａおよびマイクロフォン１２ｂの両方を用いて１つのビームフォーミングを形成する場合は、マイクロフォン１２ａで収音した音声信号およびマイクロフォン１２ｂで収音した音声信号の両方を用いてビームフォーミング処理を施すことで、特定の方向４１に指向性を有するビームフォーミング４５を形成することができる。
例えば、ビームフォーミング処理は制御部１０で実施することができる。また、ビームフォーミング処理は、マイクロフォン１２のマイクアレーに内蔵されているＣＰＵで実施してもよい。また、本実施の形態では、各々のマイクロフォン１２ａ、１２ｂに指向性のマイクロフォンを用いてもよい。なお、マイクロフォン１２ａ、１２ｂは、耳部３１ａ又は耳部３１ｂのいずれか一方のみに設けられていてもよく、頭部１００における耳部３１ａ、３１ｂ以外の部分（例えば、額など）に設けられていてもよい。以下では、マイクロフォン１２ａとマイクロフォン１２ｂとを特に区別せずに言及する場合は、単にマイクロフォン１２と記載する。他の構成要素（目部３２等）についても同様である。
鼻部３３には、カメラ１１が設けられている。カメラ１１は、コミュニケーションシステム１の前方（特に、コミュニケーション相手であるユーザ）を撮影する。また、鼻部３３は、動物の鼻を模すために、頭部１００において前方に突出している。このようにカメラ１１を頭部１００の突出した位置に設けることで、カメラ１１からコミュニケーションシステム１の前方を広く見渡すことが可能となる（つまり、広角に撮影することができる）。
本実施の形態にかかるコミュニケーションシステム１では、マイクロフォン１２ａ、１２ｂが耳部３１ａ、３１ｂに固定されており、また、カメラ１１が鼻部３３に固定されている。したがって、本体部１１０に対して頭部１００を動かした場合であっても、マイクロフォン１２ａ、１２ｂとカメラ１１との相対的な位置関係は固定されたままとなる。
また、図１に示すように、頭部１００には目部３２ａ、３２ｂが設けられている。各々の目部３２ａ、３２ｂは、ディスプレイ１４ａ、１４ｂを用いて構成することができる。つまり、各々のディスプレイ１４ａ、１４ｂに目の画像３４ａ、３４ｂを表示することで、コミュニケーションシステム１の視線を表現することができる。コミュニケーションシステム１の視線の向きは、ディスプレイ１４ａ、１４ｂに表示される目の画像３４ａ、３４ｂを変更することで、制御することができる。なお、目についての画像は、目球のみならず、瞼、眉、涙などの目に関連する要素の画像を含んでいてもよい。また、ディスプレイ１４ａ、１４ｂには、例えば液晶パネルや有機ＥＬパネルを用いることができる。
なお、目部３２ａ、３２ｂはディスプレイ１４ａ、１４ｂ以外にも、例えば目を模した模型と当該目の模型を駆動するサーボモータとを用いて構成してもよい。この場合は、サーボモータで目の模型を変位させることで、コミュニケーションシステム１の視線の向きを変更することができる。
次に、本実施の形態にかかるコミュニケーションシステムのシステム構成について、図３に示すブロック図を用いて説明する。図３に示すように、本実施の形態にかかるコミュニケーションシステム１は、カメラ１１、マイクロフォン１２、駆動部１３、ディスプレイ１４、スピーカ１５、及び制御部１０を備える。
図３のブロック図に示すカメラ１１は、図１に示したコミュニケーションシステム１の鼻部３３に設けられているカメラ１１に対応している。カメラ１１は、コミュニケーションシステム１の前方（具体的には、コミュニケーション相手であるユーザ）を撮影し、撮影した画像データを制御部１０に供給する。
図３のブロック図に示すマイクロフォン１２は、図１に示したコミュニケーションシステム１の耳部３１ａ、３１ｂに設けられているマイクロフォン１２ａ、１２ｂに対応している。マイクロフォン１２は、コミュニケーションシステム１の周辺の音（特にユーザの声）を収音し、収音した音声信号を制御部１０に供給する。例えば、マイクロフォン１２は複数のマイクロフォン（例えば、無指向性のマイクロフォン）で構成されており、制御部１０は、これらのマイクロフォンで収音した音声信号に対してビームフォーミング処理を施すことで、特定の方向４１に指向性を有するビームフォーミング４５（図２参照）を形成することができる。
駆動部１３は、頭部１００を駆動する。具体的には、駆動部１３は、制御部１０から供給された制御信号に応じて、頭部１００を駆動する。例えば、駆動部１３は、頭部１００が下または上を向くように、また、左または右を向くように駆動することができる。また、駆動部１３は、頭部１００が斜め方向を向くように駆動してもよい。例えば駆動部１３は、サーボモータ等を用いて構成することができる。
図３のブロック図に示すディスプレイ１４は、図１に示したコミュニケーションシステム１の目部３２ａ、３２ｂに設けられているディスプレイ１４ａ、１４ｂに対応している。ディスプレイ１４は、制御部１０から供給された制御信号に応じた目の画像３４ａ、３４ｂ（図１参照）を表示するように構成されている。つまり、制御部１０は、各々のディスプレイ１４ａ、１４ｂに表示される目の画像３４ａ、３４ｂ（図１参照）を制御することで、コミュニケーションシステム１の視線の向きを制御する。
スピーカ１５は、制御部１０から供給された音声信号に応じた音声を出力する。これにより、コミュニケーションシステム１は、ユーザ（コミュニケーション相手）に対して話しかけることができる。
制御部１０は、コミュニケーションシステム１の各種の制御を行う。具体的には、制御部１０は、カメラ１１から画像データを入力し、マイクロフォン１２から音声信号を入力する。また、制御部１０は、頭部１００の移動量に応じた制御信号を駆動部１３に出力する。また、制御部１０は、ディスプレイ１４に目の画像を表示するための制御信号をディスプレイ１４に出力する。また、制御部１０は、スピーカ１５から音声を出力するための音声信号をスピーカ１５に出力する。
また、本実施の形態にかかるコミュニケーションシステム１では、制御部１０は、カメラ１１で撮影されたユーザの画像を用いてユーザの口の位置を特定し、特定されたユーザの口の位置がマイクロフォン１２のビームフォーミングの領域に含まれるように、頭部１００の位置を制御する。
具体的には、図３に示すように、制御部１０は、位置特定部２１、移動量算出部２２、及び制御信号出力部２３を備える。位置特定部２１は、カメラ１１で撮影されたユーザの画像を用いてユーザの口の位置を特定する。このとき、位置特定部２１は、カメラ１１で撮影されたユーザの画像を用いて、ユーザの口の位置の座標を算出してもよい。
移動量算出部２２は、ユーザの口の位置がマイクロフォン１２のビームフォーミングの領域に含まれるように頭部１００の位置を移動させる際の、頭部１００の移動量を算出する。例えば、移動量算出部２２は、ユーザの口の位置の座標と、マイクロフォン１２およびカメラ１１の相対的な位置関係と、を用いて、頭部１００の移動量を算出してもよい。なお、頭部１００の移動量の具体的な算出方法については後述する。
制御信号出力部２３は、移動量算出部２２で算出された頭部１００の移動量に応じた制御信号（すなわち、駆動部１３の制御信号）を生成して、駆動部１３に出力する。
また、本実施の形態にかかるコミュニケーションシステム１において、制御部１０は、頭部１００に設けられた目部３２の視線の向きを制御可能に構成されていてもよい。例えば、制御部１０は、頭部１００の位置を制御した際に、視線の向きがユーザの顔の方向を向くように視線の向きを制御してもよい。
また、制御部１０は、カメラ１１で撮影されたユーザの画像を用いてユーザの顔の位置を特定し、視線の向きがユーザの顔の方向を向くように視線の向きを制御してもよい。また、制御部１０は、頭部１００の位置を制御した際の頭部１００の移動量に基づいて、視線の向きを制御してもよい。
次に、本実施の形態にかかるコミュニケーションシステムの動作について説明する。図４は、本実施の形態にかかるコミュニケーションシステムの動作を説明するためのフローチャートである。図５～図７は、本実施の形態にかかるコミュニケーションシステムの動作を説明するための側面図である。以下の説明では、一例として、コミュニケーションシステム１がテーブル４０の上に置かれており、ユーザ５０とコミュニケーションシステム１とが向かい合っている場合について説明する。
まず、コミュニケーションシステム１は、コミュニケーション相手であるユーザ５０を撮影する（図４のステップＳ１）。具体的には図５に示すように、コミュニケーションシステム１の鼻部３３に設けられているカメラ１１を用いて、ユーザ５０を撮影する。なお、この時点では、マイクロフォン１２のビームフォーミングの中心方向４１は、ユーザ５０の口５１の位置よりも上の位置を向いている。
次に、コミュニケーションシステム１は、ステップＳ１で撮影されたユーザ５０の画像を用いてユーザ５０の口５１の位置を特定する（図４のステップＳ２）。すなわち、図８に示すように、撮影された画像６０にはユーザ５０が写っているので、制御部１０の位置特定部２１（図３参照）は、撮影された画像６０に画像処理を施すことで、ユーザ５０の口５１の位置を特定する。例えば、位置特定部２１は、ユーザ５０の口５１の位置の中心座標（Ｘ２、Ｙ２）を求める。
具体的に説明すると、位置特定部２１は、撮影された画像６０に顔検出処理を施してユーザ５０の顔を特定する。その後、位置特定部２１は、特定したユーザ５０の顔の中から口唇を部分的に抽出する。口唇を抽出する手法としては、顔の輪郭内部に含まれる領域の中で、予め記憶された複数の口唇データと略一致する部分を口唇として認識し、その認識した部分を顔中の口唇として抽出することができる。また、位置特定部２１は、このようにして抽出した口唇の輪郭の重心位置を口唇の中心点、つまりユーザ５０の口５１の中心座標（Ｘ２、Ｙ２）として特定する。
次に、コミュニケーションシステム１は、特定されたユーザ５０の口５１の位置がビームフォーミングの領域に含まれるように、頭部１００の位置を制御する（図４のステップＳ３）。つまり、図６に示すように、コミュニケーションシステム１の頭部１００が下を向くように、頭部１００の位置を制御する。これにより、マイクロフォン１２のビームフォーミングの中心方向４１がユーザ５０の口５１の方向を向くようになる。よって、ユーザ５０の口５１の位置がビームフォーミングの領域に含まれるようになる。
例えば、制御部１０の移動量算出部２２（図３参照）は、ユーザ５０の口５１の位置の座標と、マイクロフォン１２およびカメラ１１の相対的な位置関係と、を用いて、コミュニケーションシステム１の頭部１００の移動量を算出する。
具体的には、マイクロフォン１２及びカメラ１１は頭部１００に固定されているので、マイクロフォン１２とカメラ１１の相対的な位置関係は固定されている。したがって、図８に示すように、撮影された画像６０において、カメラの中心位置６１とビームフォーミングの中心位置６２（ビームフォーミングの中心方向４１をユーザ５０に投影した位置）との相対的な位置関係は、コミュニケーションシステム１とユーザ５０との距離を用いて求めることができる。
つまり、図９に示すように、カメラ１１の中心方向４３とビームフォーミングの中心方向４１とが成す角度αは一定であるので、コミュニケーションシステム１とユーザ５０との距離を用いることで、図８に示すカメラの中心位置６１（Ｘ０、Ｙ０）に対するビームフォーミングの中心位置６２（Ｘ１、Ｙ１）を求めることができる。
例えば、図９に示す例において、コミュニケーションシステム１に対するユーザ５０の位置が位置Ａ１である場合は、図８に示すカメラの中心位置６１とビームフォーミングの中心位置６２との距離ＣはＣ１となる。同様に、コミュニケーションシステム１に対するユーザ５０の位置が位置Ａ２（図９参照）である場合は、図８に示すカメラの中心位置６１とビームフォーミングの中心位置６２との距離ＣはＣ２となる。このように、コミュニケーションシステム１とユーザ５０との距離を用いることで、カメラの中心位置６１とビームフォーミングの中心位置６２との距離Ｃを求めることができる。
ここで、コミュニケーションシステム１とユーザ５０との距離は、撮影されたユーザ５０の顔画像サイズを用いて推定してもよく、また、距離センサや３次元位置測定センサなどのセンサを用いてコミュニケーションシステム１とユーザ５０との距離を別途測定してもよい。ユーザの顔画像サイズを使用してコミュニケーションシステム１とユーザ５０との距離を推定する場合は、事前に、平均的な顔の大きさを持つユーザについて、カメラ画像上のユーザの顔画像サイズと距離との相関データを予め入力しておく。そして、カメラ１１で撮影されたカメラ画像上のユーザの顔画像サイズと、予め入力された相関データと、に基づいて、ユーザとの距離を推定することができる。
なお、カメラ１１の中心方向とビームフォーミングの中心方向４１とが平行である場合は、画像６０中におけるカメラの中心位置６１とビームフォーミングの中心位置６２との相対的な位置関係は一定となる。
図８に示すように、カメラの中心位置６１の座標は（Ｘ０、Ｙ０）、ビームフォーミングの中心位置６２の座標は（Ｘ１、Ｙ１）、ユーザ５０の口５１の位置の中心座標は（Ｘ２、Ｙ２）である。したがって、この場合は、コミュニケーションシステム１の頭部１００の移動量Ｄは、（Ｘ２－Ｘ１、Ｙ２－Ｙ１）となる。
このような手法を用いることで、制御部１０の移動量算出部２２（図３参照）は、コミュニケーションシステム１の頭部１００の移動量Ｄを算出することができる。また、制御信号出力部２３は、移動量算出部２２で算出された頭部１００の移動量Ｄに応じた制御信号（すなわち、駆動部１３の制御信号）を生成して、駆動部１３に出力する。そして、駆動部１３がこの制御信号に応じて駆動することで、頭部１００が移動量Ｄ、移動する。
なお、上記説明では、マイクロフォン１２のビームフォーミングの中心方向４１がユーザ５０の口５１の方向を向くように制御する場合について説明した。しかし本実施の形態では、ユーザ５０の口５１がビームフォーミングの領域に含まれるのであれば、必ずしもビームフォーミングの中心方向４１がユーザ５０の口５１の方向を向くようにしなくてもよい。
すなわち、図２に示した略円錐形４５であるビームフォーミングの底面４８は、図８において、ビームフォーミングの中心位置６２を中心とした略円形状（略円錐形４５のビームフォーミングをユーザ５０に投影した形状）となる。したがって、本実施の形態では、ユーザ５０の口５１の位置がビームフォーミングの底面４８に含まれるのであれば、必ずしもビームフォーミングの中心方向４１とユーザ５０の口５１の位置とが一致するように制御しなくてもよい。
次に、コミュニケーションシステム１は、コミュニケーションシステム１の視線の向きがユーザ５０の顔の方向を向くように視線の向きを制御する（図４のステップＳ４）。図６に示したように、マイクロフォン１２のビームフォーミングの中心方向４１がユーザ５０の口５１の方向を向くように、コミュニケーションシステム１の頭部１００を移動させると、この頭部１００の移動に伴ってコミュニケーションシステム１の視線の向き４２も移動する。このため、コミュニケーションシステム１の視線の向き４２がユーザ５０の顔から外れてしまう。
このように、コミュニケーションシステム１の視線の向き４２がユーザ５０の顔から外れてしまうと、ユーザ５０に対して話を聞いていないという印象を与えてしまう場合がある。本実施の形態では、図７に示すように、コミュニケーションシステム１の視線の向き４２がユーザ５０の顔の方向（例えば目の位置）を向くように視線の向きを制御することで、ユーザ５０に話を聞いていないという印象を与えることを抑制することができる。換言すると、ユーザ５０に対してコミュニケーションシステム１が話をよく聞いているという印象を与えることができる。
例えば、制御部１０は、カメラ１１で撮影されたユーザの画像を用いてユーザの顔の位置を特定し、視線の向きがユーザの顔の方向を向くように視線の向きを制御してもよい。具体的には、図８に示すように、撮影された画像６０に画像処理を施すことで、ユーザ５０の顔の位置を特定する。例えば、撮影された画像６０に画像処理を施すことで、ユーザ５０の両目の位置を特定し、この両目の中心の位置を目標位置としてもよい。制御部１０は、コミュニケーションシステム１の視線の向きがこの目標位置を向くように、ディスプレイ１４に目の画像３４を表示する。
また、制御部１０は、頭部１００の位置を制御した際の頭部１００の移動量に基づいて、視線の向きを制御してもよい。具体的には、図５に示した初期状態において、予めコミュニケーションシステム１の視線の向きをユーザ５０に合わせていた場合は、図６に示したように、コミュニケーションシステム１の頭部１００を移動させた際にコミュニケーションシステム１の視線の向き４２も移動する。この視線の向き４２の移動量は、図８に示した頭部１００の移動量Ｄに対応している。したがって、制御部１０は、頭部１００の移動量Ｄを用いることで、視線の向き４２をユーザ５０に合わせることができる。つまり、頭部１００の移動量Ｄの分だけ、視線の向き上側に戻す処理をする。
また、制御部１０は、カメラ１１で撮影されたユーザの画像、及び頭部１００の位置を制御した際の頭部１００の移動量の２つを組み合わせて、視線の向きを制御してもよい。
なお、ステップＳ４の処理（視線の向きを制御する処理）は、ステップＳ３の処理（頭部１００の位置を制御する処理）と同時に実施してもよい。このように、頭部１００の位置の制御（ステップＳ３）と視線の向きの制御（ステップＳ４）とを同時に実施することで、コミュニケーションシステム１の動作を自然な動作とすることができる。
また、ステップＳ４の処理（視線の向きを制御する処理）は適宜省略してもよい。例えば、頭部１００の位置を制御する処理（ステップＳ３）において、頭部１００の移動量Ｄが少ない場合など、コミュニケーションシステム１の視線の向きを動かさなくてもユーザ５０に違和感を与えないような場合には、ステップＳ４の処理を省略してもよい。
以上で説明したように、本実施の形態にかかるコミュニケーションシステム１では、コミュニケーション相手であるユーザを撮影可能なカメラ１１と、特定の方向にビームフォーミングを形成可能なマイクロフォン１２と、をコミュニケーションシステム１の頭部１００に設けている。よって、マイクロフォンを保持する保持部を省略することができるので、コミュニケーションシステム１の装置構成を簡易にすることができる。
また、本実施の形態にかかるコミュニケーションシステム１では、コミュニケーション相手であるユーザを撮影し、撮影されたユーザの画像を用いてユーザの口の位置を特定している。そして、特定されたユーザの口の位置がマイクロフォン１２のビームフォーミングの領域に含まれるように、頭部の位置を制御している。このように、本実施の形態では、ユーザの口の位置がマイクロフォン１２のビームフォーミングの領域に含まれるようにしているので、ユーザの音声を精度よく認識することができる。
したがって本実施の形態にかかる発明により、装置構成が簡易であると共に、ユーザの音声を精度よく認識することが可能なコミュニケーションシステム、及びコミュニケーションシステムの制御方法を提供することができる。
更に本実施の形態にかかるコミュニケーションシステム１では、視線の向きがユーザの顔の方向を向くように視線の向きを制御している。よって、頭部１００の位置が移動した際に、コミュニケーションシステム１の視線の向きがユーザの顔から外れてしまうことを抑制することができる。したがって、ユーザ５０に対してコミュニケーションシステム１が話をよく聞いているという印象（親近感）を与えることができる。
なお、図５～図８で説明したコミュニケーションシステム１の動作では、一例としてコミュニケーションシステム１が下方向を向く動作について説明した。しかし本実施の形態では、コミュニケーションシステム１の頭部１００が上を向くように、また、左または右を向くように、更には斜め方向を向くように構成してもよい。
また、本実施の形態では、コミュニケーションシステム１が頭部１００を動かす際に、腕部３７ａ、３７ｂも動かすように構成してもよい。例えば、図６、図７に示したように、コミュニケーションシステム１が頭部１００を下に向けた際に、腕部３７ａ、３７ｂを上方向に移動させて、腕部３７ａ、３７ｂの先端が耳部３１ａ、３１ｂに近づくようにしてもよい。これにより、ユーザの話をよく聞いているような仕草をコミュニケーションシステム１にさせることができる。
また、例えば、ユーザの声の音量が所定の音量よりも小さい場合に、腕部３７ａ、３７ｂの先端が耳部３１ａ、３１ｂに近づくような動作をコミュニケーションシステム１にさせることで、ユーザの声が小さいことをユーザに伝えることができる。
上述の説明では、一例としてコミュニケーションシステム１の鼻部３３にカメラ１１を設け、耳部３１ａ、３１ｂにマイクロフォン１２ａ、１２ｂを設けた構成を示した。しかし本実施の形態では、カメラ１１およびマイクロフォン１２を設ける位置はこれらに限定されることはなく、任意の位置に取り付けることができる。本発明は特に小型のコミュニケーションシステム（ロボット）に好適に用いることができる。よって、カメラ１１およびマイクロフォン１２は互いに近傍な位置に配置することが好ましい。
また、上述の説明では、自立歩行しないタイプのコミュニケーションシステム１について説明したが、本実施の形態ではコミュニケーションシステム１が自立して移動できるように構成してもよい。
図１０は、本実施の形態にかかるコミュニケーションシステムのハードウェア構成を示すブロック図である。本実施の形態にかかるコミュニケーションシステム１の制御部１０は、プロセッサ７１とメモリ７２とを備えている。そして、メモリ７２に格納されているプログラム（つまり、上述の制御部１０の動作を実現することができるプログラム）をプロセッサ７１で実行することで、上述の制御部１０の動作を実現することができる。なお、図１０では制御部１０以外の図示を省略している。
また、本実施の形態にかかるコミュニケーションシステムでは、制御部１０の動作の一部をサーバ８０（例えば、クラウドサーバ）において実施してもよい。サーバ８０は、プロセッサ８１とメモリ８２とを備えている。そして、メモリ８２に格納されているプログラム（つまり、上述の制御部１０の動作の一部を実施するためのプログラム）をプロセッサ８１で実行することで、制御部１０の動作の一部をサーバ８０で実施することができる。コミュニケーションシステム１とサーバ８０は、ネットワーク回線を介して接続されている。
例えば、制御部１０の動作のうち位置特定部２１（図３参照）の動作をサーバ８０において実施してもよい。すなわち、撮影されたユーザの画像を用いてユーザの口の位置を特定する処理をサーバ８０において実施してもよい。この場合、コミュニケーションシステム１は、カメラ１１で撮影された画像をサーバ８０に送信する。このとき、コミュニケーションシステム１は、送信するデータ容量を削減するために、撮影された画像から背景画像を切り取ってサーバ８０に送信してもよい（つまり、ユーザが写っている部分のみをサーバ８０に送信してもよい）。
そして、サーバ８０は、受信した画像に画像処理を施して、ユーザの口の位置を特定する。その後、サーバ８０は特定された口の位置の情報（口の位置の座標）をコミュニケーションシステム１に送信する。コミュニケーションシステム１の制御部１０は、受信した口の位置の情報を用いて、移動量算出処理を実施する。以降の動作については、上述したコミュニケーションシステム１の動作と同様であるので重複した説明は省略する。
また、サーバ８０は、ネットワーク回線を介して複数のコミュニケーションシステム１と接続されていてもよい。このような構成とすることで、複数のコミュニケーションシステム１を、共通のサーバ８０を用いて制御（管理）することができる。
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
１ コミュニケーションシステム
１０ 制御部
１１ カメラ
１２ マイクロフォン
１３ 駆動部
１４ ディスプレイ
１５ スピーカ
２１ 位置特定部
２２ 移動量算出部
２３ 制御信号出力部
３１ａ、３１ｂ 耳部
３２ａ、３２ｂ 目部
３３ 鼻部
３４ａ、３４ｂ 目の画像
３６ 胴部
３７ａ、３７ｂ 腕部
３８ａ、３８ｂ 脚部
５０ ユーザ
５１ 口
１００ 頭部
１１０ 本体部

Claims (3)

  1. 本体部と、
    前記本体部に対して変位可能に取り付けられた頭部と、
    前記本体部に対する前記頭部の位置および前記頭部に設けられた目部の視線の向きを制御可能な制御部と、
    前記頭部に設けられ、コミュニケーション相手であるユーザを撮影可能なカメラと、
    前記頭部に設けられ、特定の方向にビームフォーミングを形成可能なマイクロフォンと、を備え、
    前記制御部は、
    前記目部の視線の向きが前記ユーザの顔の方向を向くように前記視線の向きを予め制御し、
    前記カメラで撮影された前記ユーザの画像を用いて前記ユーザの口の位置を特定し、前記特定されたユーザの口の位置が前記ビームフォーミングの領域に含まれるように、前記頭部の位置を制御し、
    前記頭部の移動によって前記視線の向きが前記ユーザの顔から外れた場合、前記視線の向きが前記ユーザの顔の方向を向くように、前記頭部の位置を制御した際の前記頭部の移動量に基づいて前記視線の向きを戻す処理をする、
    コミュニケーションシステム。
  2. 前記制御部は、
    前記カメラで撮影された前記ユーザの画像を用いて前記ユーザの口の位置の座標を算出し、
    前記算出された口の位置の座標と、前記マイクロフォンおよび前記カメラの相対的な位置関係と、を用いて、前記頭部の移動量を算出する、
    請求項１に記載のコミュニケーションシステム。
  3. 本体部と、当該本体部に対して変位可能に取り付けられた頭部と、前記頭部に設けられた目部と、前記頭部に設けられ、コミュニケーション相手であるユーザを撮影可能なカメラと、前記頭部に設けられ、特定の方向にビームフォーミングを形成可能なマイクロフォンと、を備えるコミュニケーションシステムの制御方法であって、
    コミュニケーション相手であるユーザを前記カメラで撮影するステップと、
    前記目部の視線の向きが前記ユーザの顔の方向を向くように前記視線の向きを予め制御するステップと、
    前記カメラで撮影された前記ユーザの画像を用いて前記ユーザの口の位置を特定するステップと、
    前記特定されたユーザの口の位置が前記ビームフォーミングの領域に含まれるように、前記頭部の位置を制御するステップと、
    前記頭部の位置を制御するステップによって前記視線の向きが前記ユーザの顔から外れた場合、前記視線の向きが前記ユーザの顔の方向を向くように、前記頭部の位置を制御した際の前記頭部の移動量に基づいて前記視線の向きを戻すステップと、を備える、
    コミュニケーションシステムの制御方法。
JP2019049961A 2019-03-18 2019-03-18 コミュニケーションシステム、及びコミュニケーションシステムの制御方法 Active JP7180470B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019049961A JP7180470B2 (ja) 2019-03-18 2019-03-18 コミュニケーションシステム、及びコミュニケーションシステムの制御方法
CN202010118732.6A CN111708428B (zh) 2019-03-18 2020-02-26 通信系统和用于控制通信系统的方法
US16/819,683 US11491660B2 (en) 2019-03-18 2020-03-16 Communication system and method for controlling communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049961A JP7180470B2 (ja) 2019-03-18 2019-03-18 コミュニケーションシステム、及びコミュニケーションシステムの制御方法

Publications (2)

Publication Number Publication Date
JP2020151012A JP2020151012A (ja) 2020-09-24
JP7180470B2 true JP7180470B2 (ja) 2022-11-30

Family

ID=72516016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049961A Active JP7180470B2 (ja) 2019-03-18 2019-03-18 コミュニケーションシステム、及びコミュニケーションシステムの制御方法

Country Status (3)

Country Link
US (1) US11491660B2 (ja)
JP (1) JP7180470B2 (ja)
CN (1) CN111708428B (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003066986A (ja) 2001-08-23 2003-03-05 Sharp Corp 音声認識ロボット
JP2007181888A (ja) 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International コミュニケーションロボットシステム
JP2007221300A (ja) 2006-02-15 2007-08-30 Fujitsu Ltd ロボット及びロボットの制御方法
JP2008087140A (ja) 2006-10-05 2008-04-17 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
JP2018149625A (ja) 2017-03-13 2018-09-27 大日本印刷株式会社 コミュニケーションロボット、プログラム及びシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2886800A1 (fr) * 2005-06-03 2006-12-08 France Telecom Procede et dispositif de commande d'un deplacement d'une ligne de visee, systeme de visioconference, terminal et programme pour la mise en oeuvre du procede
JP2008126329A (ja) 2006-11-17 2008-06-05 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
CN105812969A (zh) * 2014-12-31 2016-07-27 展讯通信（上海）有限公司 一种拾取声音信号的方法、系统及装置
CN105975930A (zh) * 2016-05-04 2016-09-28 南靖万利达科技有限公司 一种机器人语音定位过程的摄像头角度校准方法
CN106863320B (zh) * 2017-01-18 2019-12-24 北京光年无限科技有限公司 一种用于智能机器人的语音交互数据获取方法及装置
JP6686977B2 (ja) * 2017-06-23 2020-04-22 カシオ計算機株式会社 音源分離情報検出装置、ロボット、音源分離情報検出方法及びプログラム
US20190028817A1 (en) * 2017-07-20 2019-01-24 Wizedsp Ltd. System and method for a directional speaker selection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003066986A (ja) 2001-08-23 2003-03-05 Sharp Corp 音声認識ロボット
JP2007181888A (ja) 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International コミュニケーションロボットシステム
JP2007221300A (ja) 2006-02-15 2007-08-30 Fujitsu Ltd ロボット及びロボットの制御方法
JP2008087140A (ja) 2006-10-05 2008-04-17 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
JP2018149625A (ja) 2017-03-13 2018-09-27 大日本印刷株式会社 コミュニケーションロボット、プログラム及びシステム

Also Published As

Publication number Publication date
US20200298412A1 (en) 2020-09-24
JP2020151012A (ja) 2020-09-24
CN111708428B (zh) 2023-08-15
CN111708428A (zh) 2020-09-25
US11491660B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP7378553B2 (ja) 完全な顔画像の眼球周囲およびオーディオ合成
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US11366518B2 (en) Evaluating alignment of inputs and outputs for virtual environments
US10516853B1 (en) Aligning virtual representations to inputs and outputs
US20200117267A1 (en) Reference frames for virtual environments
JP5732632B2 (ja) ロボットシステムおよびそれに用いる空間陣形認識装置
JP7355748B2 (ja) 眼球位置合わせを使用した頭部走査整合
JP2021529380A (ja) 異種入力の補間のための方法およびシステム
US10576633B2 (en) Communication device
US10824247B1 (en) Head-coupled kinematic template matching for predicting 3D ray cursors
JPWO2017213070A1 (ja) 情報処理装置および方法、並びに記録媒体
US20190302880A1 (en) Device for influencing virtual objects of augmented reality
CN115023738A (zh) 中性化身
US11276215B1 (en) Spatial audio and avatar control using captured audio signals
JP2018200568A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP7180470B2 (ja) コミュニケーションシステム、及びコミュニケーションシステムの制御方法
JP2010112979A (ja) インタラクティブ看板システム
US11182976B2 (en) Device for influencing virtual objects of augmented reality
JP4831750B2 (ja) コミュニケーション誘発システム
Haritaoglu et al. Attentive Toys.
JP7133840B2 (ja) ロボット、ロボット制御プログラムおよびロボット制御方法
JP2022008613A (ja) コミュニケーション装置
JP2020042593A (ja) プログラム、情報処理装置、および方法
WO2021131950A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240219562A1 (en) Tracking facial expressions using ultrasound and millimeter waves

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R151 Written notification of patent or utility model registration

Ref document number: 7180470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151