JP7426631B2 - 無人移動体及び情報処理方法 - Google Patents

無人移動体及び情報処理方法 Download PDF

Info

Publication number
JP7426631B2
JP7426631B2 JP2021511090A JP2021511090A JP7426631B2 JP 7426631 B2 JP7426631 B2 JP 7426631B2 JP 2021511090 A JP2021511090 A JP 2021511090A JP 2021511090 A JP2021511090 A JP 2021511090A JP 7426631 B2 JP7426631 B2 JP 7426631B2
Authority
JP
Japan
Prior art keywords
sound
person
unmanned
unmanned moving
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021511090A
Other languages
English (en)
Other versions
JPWO2020202621A1 (ja
Inventor
俊介 久原
ステファン ウィリアム ジョン
一暢 小西
勝彦 浅井
和夫 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020202621A1 publication Critical patent/JPWO2020202621A1/ja
Application granted granted Critical
Publication of JP7426631B2 publication Critical patent/JP7426631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12Target-seeking control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Manipulator (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、無人移動体等に関する。
特許文献1において、移動体の外部への発音状態を制御する発音制御装置が提案されている。特許文献1では、認識した被検知体の位置に対応する方向を発音させる方向として設定することが示されている。
特開2005-319952号公報
しかしながら、複数の対象に対して出音又は収音を行う場合において、音の方向の制御のみでは、出音又は収音を複数の対象に対して一体的に行うことが困難なおそれがある。
そこで、本開示は、出音又は収音を複数の対象に対して一体的に行うことができる無人移動体を提供することを目的とする。
例えば、本開示の一態様に係る無人移動体は、無人移動体であって、指向方向へ指向幅で音を出力する指向性スピーカと、一以上のセンシングデータを取得するプロセッサと、を備え、前記プロセッサは、前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、前記指向性スピーカにより所定の品質以上で音が届く範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させ、前記第一位置は、前記第一対象及び前記第二対象の間ではなく、前記第一対象及び前記第二対象の横側の位置であり、前記第一対象及び前記第二対象が前記指向方向の前記指向幅に含まれる、前記無人移動体の位置である。
また、例えば、本開示の一態様に係る無人移動体は、無人移動体であって、指向方向から指向幅で音を収音する指向性マイクロフォンと、前記指向性マイクロフォンから取得されるデータを含む一以上のセンシングデータを取得するプロセッサと、を備え、前記プロセッサは、前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、前記指向性マイクロフォンにより所定の品質以上で音が収音される範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させ、前記第一位置は、前記第一対象及び前記第二対象の間ではなく、前記第一対象及び前記第二対象の横側の位置であり、前記第一対象及び前記第二対象が前記指向方向の前記指向幅に含まれる、前記無人移動体の位置である。
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様に係る無人移動体等は、出音又は収音を複数の対象に対して一体的に行うことができる。
図1は、実施の形態1における無人移動体の基本的な構成例を示すブロック図である。 図2は、実施の形態1における無人移動体の基本的な動作例を示すフローチャートである。 図3は、実施の形態1における無人移動体の具体的な動作例を示す概念図である。 図4は、実施の形態1における無人移動体の具体的な構成例を示すブロック図である。 図5は、実施の形態1における無人移動体の具体的な動作例を示すフローチャートである。 図6は、実施の形態1における音圧の減衰を示す概念図である。 図7は、実施の形態1における音源の音圧と音源から離れた場所における音圧との関係を示すデータ図である。 図8は、実施の形態1における会話者と関係者と無人移動体との位置関係を示す概念図である。 図9は、実施の形態1における会話者と関係者との離間距離、無人移動体が出す音の音圧および出音範囲の関係を示すデータ図である。 図10は、実施の形態1における音源の音圧と所定範囲の音圧で音が届く範囲との関係を示すデータ図である。 図11は、実施の形態1における会話者と関係者との離間距離が3mである場合の例を示す概念図である。 図12は、実施の形態1における会話者と関係者との離間距離が10mである場合の例を示す概念図である。 図13は、実施の形態1における会話者と接触している関係者の例を示す概念図である。 図14は、実施の形態1における会話者と物を介して接触している関係者の例を示す概念図である。 図15は、実施の形態1における会話者と会話している関係者の例を示す概念図である。 図16は、実施の形態1における会話者に対する距離が小さい関係者の例を示す概念図である。 図17は、実施の形態1における会話者と服装が同じ関係者の例を示す概念図である。 図18は、実施の形態1における会話者と所定エリアに存在する関係者の例を示す概念図である。 図19は、実施の形態1における会話者に近づく関係者の例を示す概念図である。 図20は、実施の形態1における会話者の声が届く範囲に存在する関係者の例を示す概念図である。 図21は、実施の形態1における会話者の声が届く範囲に存在する関係者を出音範囲に含める移動例を示す概念図である。 図22は、実施の形態1における会話者とは別に会話を行う関係者の例を示す概念図である。 図23は、実施の形態1における出音及び収音に適切な関係者の例を示す概念図である。 図24は、実施の形態1における会話者の位置と関係者の位置とを通る直線上の出音位置の例を示す概念図である。 図25は、実施の形態1における会話者に近い出音位置の例を示す概念図である。 図26は、実施の形態1における高齢者に近い出音位置の例を示す概念図である。 図27は、実施の形態1における関係者を中心に正面側に補正された出音位置の例を示す概念図である。 図28は、実施の形態1における関係者が出音範囲に含まれるように会話者を中心に決定された出音位置の例を示す概念図である。 図29は、実施の形態1における会話者及び関係者の正面側の出音位置の例を示す概念図である。 図30は、実施の形態1における水平面に対して斜め方向の直線上の出音位置の例を示す概念図である。 図31は、実施の形態1における水平方向の直線上の出音位置の例を示す概念図である。 図32は、実施の形態1における会話者及び関係者と同じ高さの出音位置の例を示す概念図である。 図33は、実施の形態1における会話者及び関係者よりも高い出音位置の例を示す概念図である。 図34は、実施の形態1における出音位置の高さの例を示す概念図である。 図35は、実施の形態1における出音範囲から非関係者を排除するための出音位置の例を示す概念図である。 図36は、実施の形態1における非関係者と会話者と無人移動体との水平面上の位置関係の例を示す概念図である。 図37は、実施の形態1における非関係者と会話者と無人移動体との垂直面上の位置関係の例を示す概念図である。 図38は、実施の形態1における出音範囲から別の人を排除するための出音位置の例を示す概念図である。 図39は、実施の形態1における無人移動体が出音位置へ移動する例を示す概念図である。 図40は、実施の形態1における無人移動体が出音を開始してから出音位置へ移動する例を示す概念図である。 図41は、実施の形態1における無人移動体が正面側を通って出音位置へ移動する例を示す概念図である。 図42は、実施の形態1における無人移動体が出音範囲を変更する例を示す概念図である。 図43は、実施の形態1における移動と出音範囲の変更との選択的動作の例を示す概念図である。 図44は、実施の形態1における関係者が出音範囲から外れた場合の例を示す概念図である。 図45は、実施の形態1における別の人が出音範囲に入った場合の例を示す概念図である。 図46は、実施の形態2における無人移動体の基本的な構成例を示すブロック図である。 図47は、実施の形態2における無人移動体の基本的な動作例を示すフローチャートである。 図48は、実施の形態2における無人移動体の具体的な動作例を示す概念図である。 図49は、実施の形態2における無人移動体の具体的な構成例を示すブロック図である。 図50は、実施の形態2における無人移動体の具体的な動作例を示すフローチャートである。 図51は、実施の形態2における会話者の位置と関係者の位置とを通る直線上の収音位置の例を示す概念図である。 図52は、実施の形態2における会話者に近い収音位置の例を示す概念図である。 図53は、実施の形態2における高齢者に近い収音位置の例を示す概念図である。 図54は、実施の形態2における関係者を中心に正面側に補正された収音位置の例を示す概念図である。 図55は、実施の形態2における関係者が収音範囲に含まれるように会話者を中心に決定された収音位置の例を示す概念図である。 図56は、実施の形態2における会話者及び関係者の正面側の収音位置の例を示す概念図である。 図57は、実施の形態2における水平面に対して斜め方向の直線上の収音位置の例を示す概念図である。 図58は、実施の形態2における水平方向の直線上の収音位置の例を示す概念図である。 図59は、実施の形態2における会話者及び関係者と同じ高さの収音位置の例を示す概念図である。 図60は、実施の形態2における会話者及び関係者よりも高い収音位置の例を示す概念図である。 図61は、実施の形態2における収音位置の高さの例を示す概念図である。 図62は、実施の形態2における収音範囲から非関係者を排除するための収音位置の例を示す概念図である。 図63は、実施の形態2における非関係者と会話者と無人移動体との水平面上の位置関係の例を示す概念図である。 図64は、実施の形態2における非関係者と会話者と無人移動体との垂直面上の位置関係の例を示す概念図である。 図65は、実施の形態2における収音範囲から別の人を排除するための収音位置の例を示す概念図である。 図66は、実施の形態2における会話者が出す音及び関係者が出す音に従って決定される収音位置の例を示す概念図である。 図67は、実施の形態2における無人移動体が収音位置へ移動する例を示す概念図である。 図68は、実施の形態2における無人移動体が正面側を通って収音位置へ移動する例を示す概念図である。 図69は、実施の形態2における無人移動体が収音範囲を変更する例を示す概念図である。 図70は、実施の形態2における移動と収音範囲の変更との選択的動作の例を示す概念図である。 図71は、実施の形態2における関係者が収音範囲から外れた場合の例を示す概念図である。 図72は、実施の形態2における別の人が収音範囲に入った場合の例を示す概念図である。 図73は、実施の形態2におけるグループが収音範囲に入った場合の例を示す概念図である。 図74は、実施の形態2における関係者が収音範囲に入った場合の例を示す概念図である。 図75は、実施の形態3における無人移動体の基本的な構成例を示すブロック図である。 図76は、実施の形態3における無人移動体の基本的な動作例を示すフローチャートである。 図77は、実施の形態3における出音範囲と収音範囲との例を示す概念図である。 図78は、実施の形態3における出音範囲と収音範囲とが重複しない範囲から音が収音される例を示す概念図である。 図79は、実施の形態3における出音範囲と収音範囲とが重複しない範囲を調整する例を示す概念図である。 図80は、実施の形態3における無人移動体の具体的な構成例を示すブロック図である。 図81は、実施の形態3における無人移動体の具体的な動作例を示すフローチャートである。
(本開示の基礎となった知見)
無人移動体が、マイクロフォン(マイク)及びスピーカを搭載し、人と会話を行うことが検討されている。このような無人移動体は、ロボットであってもよいし、ドローンとも呼ばれる無人飛行体であってもよい。また、無人移動体は、無人移動体に搭載された人工知能(AI)等によって会話内容を自ら識別し、人と会話を行ってもよい。あるいは、無人移動体の遠隔操縦者又は遠隔管理者等が、無人移動体を介して、遠隔操縦者又は遠隔管理者等とは別の人と会話を行ってもよい。
また、無人飛行体は、プロペラを高速に回転して飛行するため、飛行音が大きいという特徴を有する。そのため、例えば、無人飛行体は、人と会話を行う際に、飛行音を考慮して、大きな音量で音を発する。これにより、無人飛行体は、無人飛行体と会話を行う人に、無人飛行体が発する音を認識させることができる。一方、無人飛行体と会話を行う人の周辺に存在する人に、無人飛行体が発する大きな音は、不快感を与える。
このような弊害を抑制するため、音量を大きくするのみではなく、無人飛行体と会話を行う人のみに、無人飛行体が発する音が届くように、指向性スピーカが用いられてもよい。この場合、指向性スピーカが、無人飛行体と会話を行う人に向けられる。これにより、無人飛行体と会話を行う人は、無人飛行体が発する音を聞き取ることができる。
また、大きい飛行音がノイズとしてマイクに入らないように、かつ、無人飛行体と会話を行う人のみから音がマイクに入るように、指向性マイクが用いられてもよい。この場合、指向性マイクが、無人飛行体と会話を行う人に向けられる。これにより、無人飛行体は、無人飛行体と会話を行う人が発する音を認識することができる。
しかしながら、無人飛行体と会話を行う人は、必ずしも一人とは限らない。例えば、無人飛行体と会話を行う会話者は、会話者の知人、家族、又は、会社の同僚等のような会話者の関係者と一緒に無人飛行体と会話を行う場合がある。このような場合において、無人飛行体が会話者のみに音を発すると、会話者の周辺に存在する関係者には無人飛行体が発する音を聞き取ることが困難である。また、無人飛行体は、単にマイクを会話者に向けたのみでは、会話者の周辺に存在する関係者が発する音を適切に収音することは困難である。
したがって、関係者が無人飛行体と会話者との間の会話に入ることが困難であり、無人飛行体と会話者と関係者との間で会話を成立させることが困難である。このような弊害は、無人飛行体に限らず、無人飛行体以外の無人移動体においても起こり得る。
そこで、例えば、本開示の一態様に係る無人移動体は、無人移動体であって、指向方向へ音を出力する指向性スピーカと、一以上のセンシングデータを取得するプロセッサと、を備え、前記プロセッサは、前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、前記指向性スピーカにより所定の品質以上で音が届く範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させる。
これにより、無人移動体は、第一対象及び第二対象へ適切に出音を行うことができる。すなわち、無人移動体は、出音を複数の対象に対して一体的に行うことができる。
また、例えば、本開示の一態様に係る無人移動体は、無人移動体であって、指向方向から音を収音する指向性マイクロフォンと、前記指向性マイクロフォンから取得されるデータを含む一以上のセンシングデータを取得するプロセッサと、を備え、前記プロセッサは、前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、前記指向性マイクロフォンにより所定の品質以上で音が収音される範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させる。
これにより、無人移動体は、第一対象及び第二対象から適切に収音を行うことができる。すなわち、無人移動体は、収音を複数の対象に対して一体的に行うことができる。
また、例えば、前記プロセッサは、前記位置関係に従って前記範囲を調整し、調整された前記範囲に従って前記第一位置を決定する。
これにより、無人移動体は、位置関係に従って出音又は収音の範囲を適切に調整することができ、調整された範囲に複数の対象を適切に含めることができる。
また、例えば、前記第一位置は、前記第一対象及び前記第二対象の正面側の位置である。
これにより、無人移動体は、複数の対象と会話を行うための適切な位置に移動することができる。
また、例えば、前記プロセッサは、前記一以上のセンシングデータのうちの少なくとも一つに従って、前記第一対象の身体情報及び前記第二対象の身体情報を取得し、前記第一対象の身体情報及び前記第二対象の身体情報に従って前記第一位置を決定する。
これにより、無人移動体は、第一対象の身体情報及び第二対象の身体情報に対して適切な位置に移動することができる。
また、例えば、前記プロセッサは、前記一以上のセンシングデータのうちの少なくとも一つに従って、前記第一対象の年齢及び前記第二対象の少なくとも一方の年齢を推定し、前記第一対象及び前記第二対象の少なくとも一方の年齢にも従って前記第一位置を決定する。
これにより、無人移動体は、年齢に従って適切な位置へ移動することができ、複数の対象に対して出音又は収音を適切に行うことができる。
また、例えば、前記プロセッサは、前記第一対象及び前記第二対象と関連のない第三対象を前記範囲内に含ませない前記第一位置を決定する。
これにより、無人移動体は、関連のない第三対象に対して出音又は収音を行うことを抑制することができる。
また、例えば、前記プロセッサは、前記一以上のセンシングデータのうちの少なくとも一つに従って、障害物の位置を検知し、前記障害物の位置に従って、前記第一位置を決定する。
これにより、無人移動体は、複数の対象に対して出音又は収音を行うための位置を障害物の位置に従って適切に決定することができる。そして、無人移動体は、例えば、障害物を用いて、関連のない第三対象に対して出音又は収音を行うことを抑制することができる。
また、例えば、前記プロセッサは、前記第一対象に対して出音又は収音が行われている期間に前記第二対象が存在すると判定した場合、前記第一対象が前記範囲に含まれる状態で前記第一位置へ前記無人移動体を移動させる。
これにより、無人移動体は、第一対象との会話を継続しながら、第一対象及び第二対象との会話を行うための適切な位置に移動することができる。
また、例えば、前記プロセッサは、前記第一対象に対して出音又は収音が行われている期間に前記第二対象が存在すると判定した場合、前記第一対象の正面側を通って前記第一位置へ前記無人移動体を移動させる。
これにより、無人移動体は、第一対象と会話を行うための適切な領域を通って、第一対象及び第二対象との会話を行うための適切な位置に移動することができる。
また、例えば、前記プロセッサは、前記第一対象に対して出音又は収音が行われている期間に前記第二対象が存在すると判定した場合、前記第一対象に対して出音又は収音の品質を一定に維持しながら、前記第一位置へ前記無人移動体を移動させる。
これにより、無人移動体は、第一対象との会話を適切に継続しながら、第一対象及び第二対象との会話を行うための適切な位置に移動することができる。
また、例えば、前記第二対象は、前記第一対象に関連する対象であり、前記プロセッサは、前記一以上のセンシングデータのうちの少なくとも一つから、前記第一対象との関連を示す情報、及び、前記無人移動体との関連を示す情報のうちの少なくとも一つを取得し、前記第一対象との関連を示す情報、及び、前記無人移動体との関連を示す情報のうちの少なくとも一つに従って、前記第一対象の周辺に存在する対象が前記第一対象に関連するか否かを判定することにより、前記第一対象の周辺に前記第二対象が存在するか否かを判定する。
これにより、無人移動体は、第一対象に関連する第二対象が第一対象の周辺に存在するか否かを適切に判定することができる。
また、例えば、前記プロセッサは、前記一以上のセンシングデータのうちの少なくとも一つに従って、前記第一対象が音を出す頻度及び前記第二対象が音を出す頻度を検知し、前記第一対象及び前記第二対象のうち音を出す頻度の低い方よりも前記第一対象及び前記第二対象のうち音を出す頻度の高い方に近い前記第一位置を決定する。
これにより、無人移動体は、音を出す頻度の高い対象の近くに移動することができる。したがって、無人移動体は、音を出す頻度の高い対象から適切に収音を行うことができる。
また、例えば、前記プロセッサは、前記一以上のセンシングデータのうち少なくとも一つに従って、前記第一対象の音量及び前記第二対象の音量を検知し、前記第一対象及び前記第二対象のうち音量の大きい方よりも前記第一対象及び前記第二対象のうち音量の小さい方に近い前記第一位置を決定する。
これにより、無人移動体は、音量の小さい対象の近くに移動することができる。したがって、無人移動体は、音量の小さい対象から適切に収音を行うことができる。
また、例えば、前記無人移動体は、さらに、指向性マイクロフォンを備え、前記範囲は、さらに、前記指向性マイクロフォンにより所定の品質以上で音が収音される範囲である。
これにより、無人移動体は、第一対象及び第二対象へ適切に出音を行うことができ、かつ、第一対象及び第二対象から適切に収音を行うことができる。
また、例えば、前記プロセッサは、前記第一対象と前記無人移動体との会話に従って、前記無人移動体の移動のタイミングを制御する。
これにより、無人移動体は、会話に応じた適切なタイミングで移動することができる。
また、例えば、前記プロセッサは、前記第一対象に対して収音が行われている期間に、前記第一位置へ前記無人移動体を移動させる。
これにより、無人移動体は、第一対象が音を出しており、かつ、無人移動体が出音を行っていないと想定される期間に移動することができる。したがって、無人移動体は、出音の途中に、第二対象が出音の範囲に入ることを抑制することができ、出音の全体の内容を第二対象へ伝達することができる。
また、例えば、前記プロセッサは、前記無人移動体の移動の途中で前記第一対象から出される音が終わった場合、前記無人移動体の移動が完了してから前記指向性スピーカに出音を開始させる。
これにより、無人移動体は、第一対象及び第二対象に対して出音を行うための適切な位置に移動した後に、出音を開始することができる。したがって、無人移動体は、出音の途中に、第二対象が出音の範囲に入ることを抑制することができ、出音の全体の内容を第二対象へ伝達することができる。
また、例えば、前記プロセッサは、前記第一対象に対する出音又は収音が行われていない期間に、前記無人移動体を移動させる。
これにより、無人移動体は、音の断片化を抑制することができ、まとまった単位で出音又は収音を行うことができる。また、無人移動体は、移動に伴うノイズの混入を抑制することができる。
また、例えば、前記一以上のセンシングデータは、イメージセンサによって生成された画像データを含み、前記プロセッサは、前記イメージセンサによって生成された画像データに従って前記位置関係を取得する。
これにより、無人移動体は、画像データに従って第一対象及び第二対象の位置関係を適切に取得することができる。
また、例えば、前記一以上のセンシングデータは、測距センサによって生成された測距データを含み、前記プロセッサは、前記測距センサによって生成された測距データに従って前記位置関係を取得する。
これにより、無人移動体は、測距データに従って第一対象及び第二対象の位置関係を適切に取得することができる。
また、例えば、前記位置関係は、前記第一対象と前記第二対象とに関連する距離及び位置のうち少なくとも一つを含む。
これにより、無人移動体は、第一対象及び第二対象に関連する距離又は位置に従って適切な位置へ移動することができる。
また、例えば、本開示の一態様に係る情報処理方法は、一以上のセンシングデータを取得し、前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、無人移動体が備える指向性スピーカにより所定の品質以上で音が届く範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させる。
これにより、情報処理方法が行われることで、第一対象及び第二対象へ適切に出音が行われ得る。すなわち、出音が複数の対象に対して一体的に行われ得る。
また、例えば、本開示の一態様に係るプログラムは、前記情報処理方法をコンピュータに実行させる。
これにより、プログラムが実行されることで、第一対象及び第二対象へ適切に出音が行われ得る。すなわち、出音が複数の対象に対して一体的に行われ得る。
また、例えば、本開示の一態様に係る情報処理方法は、一以上のセンシングデータを取得し、前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、無人移動体が備える指向性マイクロフォンにより所定の品質以上で音が収音される範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させる。
これにより、情報処理方法が行われることで、第一対象及び第二対象から適切に収音が行われ得る。すなわち、収音が複数の対象に対して一体的に行われ得る。
また、例えば、本開示の一態様に係るプログラムは、前記情報処理方法をコンピュータに実行させる。
これにより、プログラムが実行されることで、第一対象及び第二対象から適切に収音が行われ得る。すなわち、収音が複数の対象に対して一体的に行われ得る。
さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、以下の説明において、第一、第二及び第三等の序数が要素に付けられている場合がある。これらの序数は、要素を識別するため、要素に付けられており、意味のある順序に必ずしも対応しない。これらの序数は、適宜、入れ替えられてもよいし、新たに付与されてもよいし、取り除かれてもよい。
また、以下の説明において、音圧は、音圧レベル又は音量に読み替えられてもよいし、音量は、音圧又は音圧レベルに読み替えられてもよい。また、会話はコミュニケーションに読み替えられてもよい。
(実施の形態1)
図1は、本実施の形態における無人移動体の基本的な構成例を示すブロック図である。図1において、指向性スピーカ107及びプロセッサ150を備える無人移動体100が示されている。
無人移動体100は、移動する装置である。例えば、無人移動体100は、自律的に移動又は静止する。無人移動体100は、操作を受けた場合に、操作に従って移動してもよい。また、無人移動体100は、典型的には無人飛行体であるが、無人飛行体に限られず、面上を走行する装置であってもよい。無人移動体100は、空中又は面上を移動するためのモータ及びアクチュエータ等の移動機構を備えていてもよい。
また、無人移動体100は、一以上のセンサを備えていてもよい。例えば、無人移動体100は、イメージセンサを備えていてもよいし、測距センサを備えていてもよいし、マイクロフォンを音センサとして備えていてもよいし、人検知センサを備えていてもよいし、位置検知器を位置センサとして備えてもよい。
指向性スピーカ107は、指向方向へ出音を行うスピーカである。指向性スピーカ107の指向方向が調整可能であってもよいし、指向性スピーカ107が出す音の音圧が調整可能であってもよい。指向性スピーカ107の指向方向は、出音方向とも表現され得る。
プロセッサ150は、情報処理を行う回路で構成される。例えば、プロセッサ150は、無人移動体100の移動を制御してもよい。具体的には、プロセッサ150は、空中又は面上を移動するためのモータ及びアクチュエータ等の移動機構の動作を制御することにより、無人移動体100の移動を制御してもよい。
また、プロセッサ150は、指向性スピーカ107に対して制御信号を送ることにより、指向性スピーカ107の指向方向を調整してもよいし、指向性スピーカ107が出す音の音圧を調整してもよい。また、プロセッサ150は、無人移動体100の向きを調整することにより、指向性スピーカ107の指向方向を調整してもよい。
図2は、図1に示された無人移動体100の基本的な動作例を示すフローチャートである。主に、無人移動体100におけるプロセッサ150が、図2に示された動作を行う。
まず、プロセッサ150は、一以上のセンシングデータを取得する(S101)。プロセッサ150は、無人移動体100の内部の一以上のセンサから一以上のセンシングデータを取得してもよいし、無人移動体100の外部の一以上のセンサから一以上のセンシングデータを取得してもよい。また、プロセッサ150は、無人移動体100の内部の一以上のセンサ、及び、無人移動体100の外部の一以上のセンサから、複数のセンシングデータを取得してもよい。
例えば、無人移動体100の外部の一以上のセンサとして、イメージセンサ、測距センサ、マイクロフォン、人検知センサ、又は、位置検知器等が用いられてもよい。
そして、プロセッサ150は、取得された一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定する(S102)。例えば、第一対象は会話者であり、第二対象は会話者に関連する関係者である。ただし、第一対象及び第二対象のそれぞれは、人に限られず、動物であってもよいし、装置であってもよい。なお、第一対象の周辺は、第一対象を基準とした所定範囲である。
そして、第一対象の周辺に第二対象が存在すると判定された場合、プロセッサ150は、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係を算出する(S103)。つまり、プロセッサ150は、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係を導出する。
例えば、位置関係は、第一対象及び第二対象に関連する位置及び距離のうち少なくとも一つを含む。位置関係は、第一対象及び第二対象のそれぞれの位置を含んでいてもよいし、第一対象と第二対象との間の距離を含んでいてもよい。
具体的には、プロセッサ150は、イメージセンサから取得された画像データを用いて、第一対象の位置、第二対象の位置、及び、第一対象と第二対象との間の距離等を算出してもよい。また、プロセッサ150は、測距センサから取得された測距データを用いて、無人移動体100と第一対象との間の距離、無人移動体100と第二対象との間の距離、及び、第一対象と第二対象との間の距離等を算出してもよい。
そして、プロセッサ150は、算出された位置関係に従って第一位置を決定する。第一位置は、指向性スピーカ107により所定の品質以上で音が届く範囲内に第一対象と第二対象とが含まれるような無人移動体100の位置である。そして、プロセッサ150は、決定された第一位置へ無人移動体100を移動させる(S104)。
これにより、無人移動体100は、第一対象及び第二対象へ適切に出音を行うことができる。すなわち、無人移動体100は、出音を複数の対象に対して一体的に行うことができる。
例えば、第二対象は、第一対象に関連する対象である。プロセッサ150は、一以上のセンシングデータのうちの少なくとも一つに従って、第一対象の周辺に存在する対象が第一対象に関連するか否かを判定してもよい。そして、これにより、プロセッサ150は、第一対象の周辺に第二対象が存在するか否かを判定してもよい。
その際、プロセッサ150は、一以上のセンシングデータのうちの少なくとも一つから、第一対象との関連を示す情報、及び、無人移動体100との関連を示す情報のうちの少なくとも一つを取得してもよい。そして、プロセッサ150は、第一対象との関連を示す情報、及び、無人移動体100との関連を示す情報のうちの少なくとも一つに従って、第一対象の周辺に存在する対象が第一対象に関連するか否かを判定してもよい。
具体的には、プロセッサ150は、第一対象の周辺に存在する対象が複数の条件のうちの一以上を満たす場合に、第一対象の周辺に存在する対象が第一対象に関連すると判定してもよい。
例えば、この複数の条件は、「第一対象と接触している」、「第一対象と会話している」、「第一対象に対して閾値以下の距離に存在する」、「第一対象と服装が同一である」、「所定エリアに第一対象と存在する」、「第一対象と紐づけられている」、「第一対象に近づいている」、「第一対象の声が届く範囲に存在する」、「第一対象と無人移動体100との会話中に無人移動体100に声をかけている」、及び、「第一対象と無人移動体100との会話中に無人移動体100を見ている」等を含んでいてもよい。
図3は、図1に示された無人移動体100の具体的な動作例を示す概念図である。この例において、無人移動体100は、ドローンとも呼ばれる無人飛行体である。会話者は第一対象に対応し、関係者は第二対象に対応する。
例えば、無人移動体100は、会話者の周辺において、会話者に対して出音を行う。そして、無人移動体100は、会話者の周辺に関係者が存在するか否かを判定する。
例えば、無人移動体100は、無人移動体100が備えるセンサを用いて会話者の周辺をセンシングし、その結果に従って、会話者の周辺に人が存在するか否かを判定する。具体的には、無人移動体100が備えるセンサとして、イメージセンサが用いられ得る。そして、無人移動体100は、会話者の周辺に存在する人が会話者の関係者であると判定される場合に、会話者の周辺に関係者が存在すると判定する。
そして、無人移動体100は、会話者の周辺に関係者が存在すると判定された場合、無人移動体100が出す音が届く出音範囲に会話者及び関係者が含まれるように、出音位置を決定する。無人移動体100が出す音が届く出音範囲は、指向性スピーカ107の指向方向に従って定められてもよい。
そして、無人移動体100は、決定された出音位置に移動して出音を行う。これにより、無人移動体100は、出音範囲に含まれる会話者及び関係者に音を届けることができる。
図4は、図3に示された無人移動体100の具体的な構成例を示すブロック図である。図4に示された無人移動体100は、GPS受信機101、ジャイロセンサ102、加速度センサ103、人検知センサ104、測距センサ105、イメージセンサ106、指向性スピーカ107、指向性マイクロフォン108、駆動部109、通信部110、制御部120、記憶部130、及び、電力供給部141を備える。
GPS受信機101は、位置を測定するためのGPS(Global Positioning System)を構成し、信号を受信することにより位置を取得する受信機である。例えば、GPS受信機101は、無人移動体100の位置を取得する。すなわち、GPS受信機101は、無人移動体100の位置を検知するセンサとして動作する。
ジャイロセンサ102は、無人移動体100の姿勢、つまり、無人移動体100の角度又は傾きを検知するセンサである。加速度センサ103は、無人移動体100の加速度を検知するセンサである。人検知センサ104は、無人移動体100の周辺の人を検知するセンサである。人検知センサ104は、赤外線センサであってもよい。
測距センサ105は、無人移動体100と対象との間の距離を測定するセンサであって測距データを生成する。イメージセンサ106は、撮像を行うセンサであり、撮像によって画像を生成する。イメージセンサ106は、カメラであってもよい。
指向性スピーカ107は、上述した通り、指向方向へ出音を行うスピーカである。指向性スピーカ107の指向方向が調整可能であってもよいし、指向性スピーカ107が出す音の音圧が調整可能であってもよい。指向性マイクロフォン108は、指向方向から収音を行うマイクロフォンである。指向性マイクロフォン108の指向方向が調整可能であってもよいし、指向性マイクロフォン108の収音感度が調整可能であってもよい。指向性マイクロフォン108の指向方向は、収音方向とも表現され得る。
駆動部109は、無人移動体100を移動させるモータ及びアクチュエータ等である。通信部110は、無人移動体100の外部の装置と通信を行う通信器である。通信部110は、無人移動体100の移動のための操作信号を受けてもよい。また、通信部110は、会話の内容を送受信してもよい。
制御部120は、図1に示されたプロセッサ150に対応し、情報処理を行う回路で構成される。具体的には、この例において、制御部120は、人検知部121、関係者判定部122、出音範囲決定部123、出音位置決定部124、出音制御部125、及び、移動制御部126を備える。すなわち、プロセッサ150は、これらの役割を果たしてもよい。
人検知部121は、無人移動体100の周辺に存在する人を検知する。人検知部121は、人検知センサ104又は他のセンサから得られるセンシングデータに従って、無人移動体100の周辺に存在する人を検知する。
関係者判定部122は、人検知部121で検知された人が会話者に関連する関係者であるか否かを判定する。出音範囲決定部123は、会話者と関係者との位置関係に従って出音範囲を決定する。出音位置決定部124は、決定された出音範囲に従って出音位置を決定する。出音制御部125は、指向性スピーカ107へ制御信号を送信することにより、指向性スピーカ107の出音を制御する。
移動制御部126は、駆動部109へ制御信号を送信することにより、無人移動体100の移動を制御する。この例において、移動制御部126は、無人飛行体である無人移動体100の飛行を制御する。
記憶部130は、情報を記憶するためのメモリであり、制御プログラム131及び音圧出音範囲対応情報132を記憶している。制御プログラム131は、制御部120が行う情報処理のプログラムである。音圧出音範囲対応情報132は、指向性スピーカ107が出す音の音圧と、所定以上の品質で音が届く出音範囲との対応関係を示す情報である。
電力供給部141は、無人移動体100に含まれる複数の構成要素に対して電力を供給する回路である。例えば、電力供給部141は、電源を含む。
図5は、図3に示された無人移動体100の具体的な動作例を示すフローチャートである。例えば、図4に示された無人移動体100における複数の構成要素が連携して図5に示された動作を行う。
まず、無人移動体100は、会話者と会話を行うための会話位置に移動する(S111)。例えば、会話位置は、会話者の位置から会話者が発する声が届き、かつ、無人移動体100が発する音が届く位置である。会話者は、事前に決定されていてもよい。無人移動体100は、飛行中に会話者を決定してもよい。
例えば、無人移動体100において、人検知部121が、人検知センサ104又はイメージセンサ106等から得られるセンシングデータに従って、会話者を検知する。そして、移動制御部126は、駆動部109を介して、会話者から所定範囲内の会話位置へ無人移動体100を移動させる。
そして、無人移動体100は、会話を開始する(S112)。つまり、無人移動体100は、出音及び収音の少なくとも一方を開始する。例えば、出音制御部125は、指向性スピーカ107に出音を開始させる。また、制御部120は、指向性マイクロフォン108に収音を開始させてもよい。
そして、無人移動体100は、会話者の周辺をセンシングする(S113)。例えば、人検知部121は、人検知センサ104又はイメージセンサ106等に、会話者の周辺をセンシングさせることにより、会話者の周辺の人を検知する。この検知には、人を検知するための任意のセンサが用いられ得る。また、会話者の周辺は、例えば、会話者から所定範囲内の領域に対応する。
そして、無人移動体100は、会話者以外の人が検知されたか否かを判定する(S114)。例えば、人検知部121は、会話者の周辺において、会話者以外の人が検知されたか否かを判定する。会話者以外の人が検知されなかった場合(S114でNo)、無人移動体100は、会話者の周辺のセンシング(S113)を繰り返す。
会話者以外の人が検知された場合(S114でYes)、無人移動体100は、検知された人が会話者の関係者であるか否かを判定する(S115)。例えば、関係者判定部122が、会話者と関係者との距離が閾値以内であるか否かに従って、検知された人が関係者であるか否かを判定してもよいし、グルーピング等に関するその他の判定基準に従って、検知された人が関係者であるか否かを判定してもよい。この判定については、後述する。
検知された人が関係者でない場合(S115でNo)、無人移動体100は、会話者の周辺のセンシング(S113)を繰り返す。
検知された人が関係者である場合(S115でYes)、無人移動体100は、会話者と関係者との間の離間距離を測定する(S116)。例えば、出音範囲決定部123は、センシングデータに従って検知された会話者の位置と、センシングデータに従って検知された関係者の位置との間の距離を算出することにより、会話者と関係者との離間距離を測定してもよい。
そして、無人移動体100は、会話者と関係者との離間距離に従って、出音範囲を決定する(S117)。例えば、出音範囲決定部123は、測定された離間距離に従って、出音範囲を決定する。その際、出音範囲決定部123は、測定された離間距離が大きいほど、出音範囲を大きくする。
また、出音範囲は、例えば、無人移動体100を基準に用いて相対的に定められる範囲であり、指向性スピーカ107により所定品質以上で音が届く範囲である。所定品質以上は、所定範囲内の音圧に対応していてもよいし、所定範囲内のSN比(信号対雑音比)に対応していてもよい。出音範囲の決定については、後述する。
そして、無人移動体100は、会話者の位置、関係者の位置、及び、出音範囲に従って、出音位置を決定する(S118)。例えば、出音位置決定部124は、決定された出音範囲に、検知された会話者の位置、及び、検知された関係者の位置が含まれるように、出音位置を決定する。出音位置の決定については、後述する。
そして、無人移動体100は、出音位置に移動する(S119)。例えば、移動制御部126は、駆動部109の動作を制御することにより、無人移動体100を出音位置に移動させる。また、出音制御部125は、出音範囲に所定品質以上で音が届くように、指向性スピーカ107の出音を制御してもよい。
これにより、無人移動体100は、会話者及び関係者に対して適切に出音を行うことができる。
なお、上記の例では、無人移動体100は、会話者と会話を開始した後(S112の後)に、出音位置に移動するための処理(S113~S119)を行っているが、会話者と会話を開始する前に、出音位置に移動するための処理を行ってもよい。
また、上記の例では、検知された人が関係者でない場合(S115でNo)、無人移動体100は、会話者の周辺のセンシング(S113)を繰り返す。しかし、無人移動体100は、関係者でない人(第三対象)に対して出音を行わないように、出音位置を修正してもよい。つまり、無人移動体100における出音位置決定部124は、関係者でない人が出音範囲に含まれないように、出音位置を修正してもよい。
また、出音位置決定部124は、関係者でない人が出音方向から外れるように、出音位置を修正してもよい。これにより、関係者でない人が移動した場合に出音範囲に入る可能性が抑制される。
また、出音範囲が固定である場合、つまり、指向性スピーカ107が出す音の音圧が固定である場合、無人移動体100は、会話者と関係者との離間距離が出音範囲内に入るか否かを判定してもよい。そして、無人移動体100は、離間距離が出音範囲内に入る場合に、出音位置を決定して、決定された出音位置に移動してもよい。無人移動体100は、離間距離が出音範囲内に入らない場合に、移動しなくてもよい。
図6は、音圧の減衰を示す概念図である。音源(具体的には、点音源)に対して、距離が2倍に遠ざかると、音圧は6dB減衰すると想定され得る。図6の例では、音源から1mの位置において音圧は74dBである。音源から2mの位置において音圧は68dBである。音源から4mの位置において音圧は62dBである。音源から8mの位置において音圧は56dBである。
図7は、音源の音圧と音源から離れた場所における音圧との関係を示すデータ図である。この例では、音源の音圧が56dBである場合に、音源から2m離れた場所の音圧は50dBであり、音源から4m離れた場所の音圧は44dBであり、音源から8m離れた場所の音圧は38dBである。
また、音源の音圧が62dBである場合に、音源から2m離れた場所の音圧は56dBであり、音源から4m離れた場所の音圧は50dBであり、音源から8m離れた場所の音圧は44dBである。また、音源の音圧が68dBである場合に、音源から2m離れた場所の音圧は62dBであり、音源から4m離れた場所の音圧は56dBであり、音源から8m離れた場所の音圧は50dBである。
したがって、音源の音圧が56dBである場合に、50dB以上で音が届く範囲は、音源から2mの範囲である。音源の音圧が62dBである場合に、50dB以上で音が届く範囲は、音源から4mの範囲である。音源の音圧が68dBである場合に、50dB以上で音が届く範囲は、音源から8mの範囲である。このような特性を用いて、無人移動体100が出す音の音圧、及び、無人移動体100から出音方向へ延在する出音範囲が定められる。
図8は、会話者と関係者と無人移動体100との位置関係を示す概念図である。例えば、無人移動体100が会話者及び関係者に届ける音の音圧が、50dB以上であると予め定められていてもよい。そして、会話者及び関係者のうち無人移動体100に近い方と、無人移動体100との離間距離が、0.5m以上であると予め定められていてもよい。例えば、このような前提において、無人移動体100が出す音の音圧、及び、無人移動体100から出音方向へ延在する出音範囲が定められる。
図9は、本実施の形態における会話者と関係者との離間距離、無人移動体100が出す音の音圧および出音範囲の関係を示すデータ図である。例えば、図6~図8を用いて説明された前提において、無人移動体100が出す音の音圧が56dBである場合、無人移動体100から出音方向へ延在する出音範囲、つまり、50dB以上の音圧で音が届く範囲は、指向幅×2mの範囲である。指向幅は、出音方向に対して垂直な方向に音が広がる幅である。
また、無人移動体100が出す音の音圧が62dBである場合、無人移動体100から出音方向へ延在する出音範囲は、指向幅×4mの範囲である。また、無人移動体100が出す音の音圧が68dBである場合、無人移動体100から出音方向へ延在する出音範囲は、指向幅×8mの範囲である。
また、無人移動体100は、会話者及び関係者から少なくとも0.5m離れた位置において、出音を行う。したがって、会話者と関係者との間の距離が0m~1.5mの範囲である場合、無人移動体100から2mの範囲に、会話者と関係者とを含めることが可能である。したがって、この場合、無人移動体100は、無人移動体100が出す音の音圧を56dBと定めることができ、無人移動体100から出音方向へ延在する出音範囲を指向幅×2mと定めることができる。
同様に、会話者と関係者との間の距離が1.5m~3.5mの範囲である場合、無人移動体100は、無人移動体100が出す音の音圧を62dBと定めることができ、無人移動体100から出音方向へ延在する出音範囲を指向幅×4mと定めることができる。同様に、会話者と関係者との間の距離が3.5m~7.5mの範囲である場合、無人移動体100は、無人移動体100が出す音の音圧を68dBと定めることができ、無人移動体100から出音方向へ延在する出音範囲を指向幅×8mと定めることができる。
図10は、音源の音圧と所定範囲の音圧で音が届く範囲との関係を示すデータ図である。この例において、所定範囲の音圧は、具体的には、46~54dBである。
また、この例において、音源の音圧が60dBである場合、音源から2m離れた位置に54dBで音が届き、音源から4m離れた位置に48dBで音が届き、音源から8m離れた位置に42dBで音が届き、音源から16m離れた位置に36dBで音が届く。また、音源の音圧が70dBである場合、音源から2m離れた位置に64dBで音が届き、音源から4m離れた位置に58dBで音が届き、音源から8m離れた位置に52dBで音が届き、音源から16m離れた位置に46dBで音が届く。
したがって、46~54dBで音が届く位置は、音源の音圧が60dBである場合において音源から約2~5mの位置であり、音源の音圧が70dBである場合において音源から約6~16mの位置である。すなわち、46~54dBで音が届く範囲は、音源の音圧が60dBである場合において3mの長さを有し、音源の音圧が70dBである場合において10mの長さを有する。
例えば、このような所定範囲の音圧で音が届く範囲に、会話者及び関係者が含まれるように、出音位置が定められる。
図11は、会話者と関係者との離間距離が3mである場合の例を示す概念図である。具体的には、会話者と関係者との離間距離が3mである場合に、図10に基づいて定められる出音位置の例が示されている。会話者と関係者との離間距離が3mである場合、無人移動体100は、60dBで音を出すことにより、互いに3m離れている会話者と関係者とを46~54dBで音が届く範囲に含めることができる。
そこで、無人移動体100は、会話者と関係者とを46~54dBで音が届く範囲に含めることができる出音位置に移動し、60dBで音を出す。これにより、無人移動体100は、会話者と関係者とに46~54dBで音を届けることができる。
図12は、会話者と関係者との離間距離が10mである場合の例を示す概念図である。具体的には、会話者と関係者との離間距離が10mである場合に、図10に基づいて定められる出音位置の例が示されている。会話者と関係者との離間距離が10mである場合、無人移動体100は、70dBで音を出すことにより、互いに10m離れている会話者と関係者とを46~54dBで音が届く範囲に含めることができる。
そこで、無人移動体100は、会話者と関係者とを46~54dBで音が届く範囲に含めることができる出音位置に移動し、70dBで音を出す。これにより、無人移動体100は、会話者と関係者とに46~54dBで音を届けることができる。
なお、無人移動体100は、70dBで音を出すことにより、互いに3m離れている会話者と関係者とを46~54dBで音が届く範囲に含めることもできる。しかしながら、音圧を上げることにより、消費電力も大きくなる。そこで、無人移動体100は、会話者と関係者とが3m離れている場合、60dBで音を出す。
すなわち、無人移動体100は、会話者と関係者とを所定品質以上で音が届く範囲に含めることができる最小の音圧で音を出す。そして、無人移動体100は、最小の音圧に従って出音位置を決定し、決定された出音位置に移動する。これにより、消費電力が削減される。また、これにより、出音範囲が縮小され、非関係者が出音範囲に含まれる可能性が低減される。
また、無人移動体100は、会話者に届いている音の現在の音圧が維持されるように、かつ、新たに関係者に音が届くように、出音位置を決定してもよい。これにより、会話者に対する違和感が抑制される。また、この場合、会話者に届いている音の音圧を維持するため、上記のような最小の音圧が用いられなくてもよい。すなわち、上記のような最小の音圧よりも大きい音圧が用いられてもよい。
また、図6~図12において、無人移動体100によって発生する騒音が考慮されていないが、無人移動体100によって発生する騒音が考慮されてもよい。例えば、より大きい音圧が用いられてもよい。
また、上述したような、音圧と出音範囲との関係が、音圧出音範囲対応情報132として、記憶部130に記憶されていてもよい。
次に、図13~図23を用いて、検知された人が関係者であるか否かを判定するための基準の例を説明する。無人移動体100は、基本的に、会話者の周辺の撮像を行うことにより生成された画像の画像認識処理を行って、関係者の判定を行う。関係者の判定は、会話前に行われてもよいし、会話中に行われてもよい。また、例えば、無人移動体100の関係者判定部122が、以下の基準に従って、関係者の判定を行う。
図13は、会話者と接触している関係者の例を示す概念図である。無人移動体100は、会話者と接触している人を関係者と判定してもよい。また、人が会話者に接触している時間が所定時間を経過した場合に、無人移動体100は、会話者に接触している人を関係者と判定してもよい。これにより、無人移動体100は、人が会話者に誤って触れたことによって発生する誤判定を抑制することができる。
なお、図13には、手を繋いだ親子のうち、親が会話者であり、子が関係者である例が示されているが、会話者と関係者とは反対であってもよい。
図14は、会話者と物を介して接触している関係者の例を示す概念図である。無人移動体100は、会話者と直接接触している人に限らず、物を介して会話者と接触している人を関係者と判定してもよい。図14の例では、車椅子を介して、会話者に人が接触している。この場合に、無人移動体100は、車椅子を介して会話者に接触している人を関係者と判定してもよい。
なお、図13の例と同様に、物を介して人が会話者に接触している時間が所定時間を経過した場合に、無人移動体100は、会話者に接触している人を関係者と判定してもよい。また、図14には、車椅子に乗っている人が会話者であり、車椅子を押している人が関係者である例が示されているが、会話者と関係者とは反対であってもよい。
図15は、会話者と会話している関係者の例を示す概念図である。無人移動体100は、会話者と会話している人を関係者と判定してもよい。例えば、無人移動体100は、画像認識処理によって、会話者が人に向いて口を開いていることを検知した場合、その人が関係者であると判定してもよい。また、例えば、無人移動体100は、画像認識処理によって、人が会話者に向いて口を開いていることを検知した場合、その人が関係者であると判定してもよい。
なお、図15には、会話者に向いて口を開いている人が関係者である例が示されているが、会話者と関係者とは反対であってもよい。
図16は、会話者に対する距離が小さい関係者の例を示す概念図である。無人移動体100は、会話者に対する距離が小さい人を関係者と判定してもよい。例えば、無人移動体100は、会話者の位置と、会話者以外の人の位置とを検知し、会話者の位置と、会話者以外の人の位置とに従って、会話者と、会話者以外の人との距離を算出する。そして、算出された距離が閾値以下である場合に、無人移動体100は、その人を関係者と判定する。
なお、会話者と、会話者以外の人との距離が閾値以下である時間が所定時間を経過した場合に、無人移動体100は、その人を関係者と判定してもよい。これにより、無人移動体100は、会話者と、会話者以外の人とが一時的に近づいたことによって発生する誤判定を抑制することができる。
図17は、会話者と服装が同じ関係者の例を示す概念図である。無人移動体100は、会話者と同じ服装の人を関係者と判定してもよい。具体的には、無人移動体100は、会話者と同じ制服の人を関係者と判定してもよい。例えば、無人移動体100は、画像認識処理を行うことによって、会話者の服装と、会話者以外の人の服装とが互いに同じであるか否かを判定してもよい。そして、会話者の服装と、会話者以外の人の服装とが互いに同じである場合、無人移動体100は、その人を関係者と判定してもよい。
なお、会話者の服装と、会話者以外の人の服装とが互いに同じであって、その同じ服装が、さらに他の人とは異なる場合に、無人移動体100は、会話者と同じ服装の人を関係者と判定してもよい。
例えば、多数の人が同じ服装である場合、無人移動体100は、同じ服装の多数の人が関係者でないと判定してもよい。より具体的には、多数の人がスーツ及びネクタイを着用している場合、これらの人は関係者でない可能性がある。したがって、無人移動体100は、同じ服装の多数の人が関係者でないと判定することにより、誤判定を抑制するこができる。
図18は、会話者と所定エリアに存在する関係者の例を示す概念図である。無人移動体100は、会話者と所定エリアに存在する人を関係者と判定してもよい。ここで、所定エリアは、会話者と関係者とが一緒に利用する場所であって、予め登録されていてもよい。具体的には、図18のように、所定エリアは、ベンチの設置された場所であってもよい。また、所定エリアは、1つのテーブルの周辺であってもよいし、ミーティングルームであってもよいし、ボート等の少人数で同乗可能な乗り物であってもよい。
図19は、会話者に近づく関係者の例を示す概念図である。無人移動体100は、会話者に近づく人を関係者と判定してもよい。
例えば、無人移動体100は、会話者の位置と、会話者以外の人の位置とを随時検知することにより、会話者に近づく人を検知し、会話者に近づく人を関係者と判定してもよい。会話者に近づく人は、会話者に関連する人である可能性が高く、また、無人移動体100が出す音を聞こうとしていると推定される。よって、無人移動体100は、会話者に近づく人を関係者と判定することにより、これらの人に対して適切に出音を行うことができる。
なお、無人移動体100は、会話者から所定範囲内に会話者以外の人が近づいた場合に、その人を関係者と判定してもよい。また、無人移動体100は、会話者から所定範囲内に会話者以外の人が近づいた状態における時間が所定時間を経過した場合に、その人を関係者と判定してもよい。
図20は、会話者の声が届く範囲に存在する関係者の例を示す概念図である。無人移動体100は、会話者の声が届く範囲に存在する人を関係者と判定してもよい。例えば、無人移動体100は、会話者が発する音の音圧に従って会話者が発する音が届く範囲を推定する。そして、無人移動体100は、推定された範囲に存在する人を関係者と判定する。なお、この例は、図16を用いて説明された例における閾値が、会話者が発する音の音圧に従って定められることに対応する。
図21は、会話者の声が届く範囲に存在する関係者を出音範囲に含める移動例を示す概念図である。
無人移動体100は、会話者と会話を行う場合、会話者の問いかけに対して応答を行う。会話者以外の人にとって、会話者の問いかけが聞こえない状態で、無人移動体100によって行われる応答が聞こえても、応答の意味を理解することは困難である。そのため、無人移動体100は、会話者の声が届く範囲に存在する人を関係者と判定し、会話者の声が届く範囲に存在する人が出音範囲に含まれるように移動する。
これにより、会話者以外の人に、問いかけ及び応答のうち一方のみが聞こえて、混乱を与えることが抑制され得る。
図22は、会話者とは別に無人移動体100と会話を行う関係者の例を示す概念図である。無人移動体100は、会話者と会話中に、会話者以外の人が無人移動体100に話しかけた場合、無人移動体100に話しかけた人を関係者と判定してもよい。例えば、無人移動体100は、指向性マイクロフォン108を用いて会話者と会話中に、会話者とは異なる方向から音又は声を検知した場合、その方向に存在する人を関係者と判定する。
また、例えば、無人移動体100は、会話者と会話中に、会話者の声とは異なる声を検知した場合、その声を発した人を関係者と判定してもよい。この場合、無指向性マイクロフォンが用いられてもよい。また、関係者は会話者の近くにいると想定されるため、無人移動体100は、指向性マイクロフォン108を用いて会話者と会話中に、会話者と同じ方向から会話者の声とは異なる声を検知した場合、その声を発した人を関係者と判定してもよい。
また、例えば、無人移動体100は、会話者と会話中に、その会話内容の文脈に整合する内容に関して会話者以外の人が無人移動体100に話しかけた場合、無人移動体100に話しかけた人を関係者と判定してもよい。すなわち、無人移動体100は、会話者と会話中に、その会話内容の文脈に整合しない内容に関して会話者以外の人が無人移動体100に話しかけた場合、無人移動体100に話しかけた人を非関係者と判定してもよい。
図13~図22を用いて説明された複数の判定基準のうちのいずれか一つが用いられてもよいし、これらの判定基準のうちの任意の二以上の組み合わせが用いられてもよい。また、複数の人のそれぞれが関係者であると判定された場合、無人移動体100は、それぞれが関係者であると判定された複数の人から関係者の絞り込みを行ってもよい。つまり、無人移動体100は、複数の関係者の中から、音を届ける最終的な関係者を選択してもよい。
例えば、無人移動体100は、複数の関係者から、会話者に最も近い関係者を最終的な関係者として選択してもよい。
また、例えば、無人移動体100は、出音範囲に入る関係者の数が最も多くなるように、一以上の関係者を選択してもよい。より具体的には、例えば、無人移動体100は、会話者の位置を通る直線上に存在する関係者の数が最も多くなるように、一以上の関係者を選択してもよい。これにより、無人移動体100は、より多くの関係者に対して適切に出音を行うことができる。
また、例えば、無人移動体100は、それぞれが関係者であると判定された複数の人の中から、関係者の確度の高い人を最終的な関係者として選択してもよい。
具体的には、例えば、無人移動体100は、判定基準毎に予め定められた確度レベルに従って、最終的な関係者を選択してもよい。ここで、会話者と接触しているか否かの判定基準(図13及び図14)、又は、会話者と会話しているか否かの判定基準(図15)等に対して、確度レベルが予め高く定められていてもよい。また、会話者と同じ服装であるか否かの判定基準(図16)、又は、会話者と所定エリアに存在するか否かの判定基準(図18)等に対して、確度レベルが予め中程度に定められていてもよい。
そして、無人移動体100は、それぞれが関係者であると判定された複数の人の中から、より高い確度の判定基準によって関係者と判定された人を最終的な関係者として選択してもよい。
あるいは、無人移動体100は、それぞれが関係者であると判定された複数の人の中から、複数の判定基準における複数の条件をより多く満たしている人を最終的な関係者として選択してもよい。例えば、会話者に近いという条件(図16)、所定時間以上において会話者に近いという条件(図16)、及び、会話者と同じ服装であるという条件(図17)が満たされる場合、満たされている条件の数は3である。このようにカウントされる数に従って、最終的な関係者が選択されてもよい。
あるいは、無人移動体100は、満たされている条件の数を判定基準毎に予め定められた確度レベルに従って重み付けして評価してもよい。
あるいは、無人移動体100は、それぞれが関係者であると判定された複数の人の中から、会話者の正面側の領域等のような所定範囲内のみにおける移動によって音が届く人を最終的な関係者として選択してもよい。これにより、会話者は会話を適切に継続することができる。所定範囲によって無人移動体100が大きく移動することが抑制される。よって、会話者は、無人移動体100の移動をあまり気にせず、会話を適切に継続することができる。
あるいは、無人移動体100は、それぞれが関係者であると判定された複数の人の中から、適切に出音及び収音が行われる人を最終的な関係者として選択してもよい。つまり、無人移動体100は、出音及び収音に適切な関係者を選択してもよい。さらに言い換えれば、無人移動体100は、無人移動体100と会話を行うための適切な関係者を選択してもよい。
図23は、出音及び収音に適切な関係者の例を示す概念図である。無人移動体100は、指向性スピーカ107によって音が届く出音範囲に存在し、かつ、指向性マイクロフォン108によって音が収音される収音範囲に存在する人を最終的な関係者として選択する。ここで、収音範囲は、平均的な人の声の音圧として予め定められる音圧に従って定められてもよい。収音範囲は、人声収音可能範囲とも表現され得る。
例えば、出音範囲と収音範囲との重複範囲が会話範囲として定められる。無人移動体100は、会話範囲に含まれる人を最終的な関係者として選択する。
なお、無人移動体100の移動に伴って、出音範囲及び収音範囲は変位し、会話範囲も変位する。そのため、無人移動体100は、無人移動体100の移動をシミュレーションし、複数の関係者の中から会話者と共に会話範囲に入れることが可能な関係者を最終的な関係者として選択してもよい。
また、上記において説明された複数の絞り込み方法が、適宜、組み合わせられてもよい。また、図23は、複数の関係者に対する絞り込みの例が示されているが、関係者の判定に用いられてもよい。つまり、無人移動体100は、会話に適切な位置に存在する人を関係者として判定してもよい。また、その他の絞り込み方法も、複数の関係者候補に対して関係者を最終的に判定するための方法として用いられてもよい。
また、図13~図23に示されていないが、無人移動体100は、顔認証によって、会話者以外の人が会話者の関係者であるか否かを判定してもよい。例えば、会話者と、会話者の関係者の顔とが予め紐づけられて管理されていてもよい。そして、無人移動体100は、会話者以外の人の顔が、会話者の関係者の顔として会話者に紐づけられた顔に適合する場合、その人を関係者として判定してもよい。なお、無人移動体100は、顔に限らず、体格等のその他の特徴を用いてもよい。
また、無人移動体100と会話者との会話中に、会話者以外の人が無人移動体100に向いている場合、無人移動体100と会話者との会話に会話者以外の人が関心を示していると推定される。したがって、この場合、無人移動体100は、その人を関係者と判定してもよい。
無人移動体100は、会話者及び関係者を出音範囲に含めることができるような、無人移動体100の位置を出音位置として決定する。例えば、無人移動体100の出音位置決定部124が、出音位置を決定する。以下、図24~図38を用いて、より具体的な出音位置の決定方法を説明する。
図24は、会話者の位置と関係者の位置とを通る直線上の出音位置の例を示す概念図である。この例では、無人移動体100は、会話者の位置と関係者の位置とを通る直線上の位置であって、かつ、その位置によって相対的に定められる出音範囲に会話者及び関係者が含まれるような位置を出音位置として決定する。これにより、無人移動体100は、出音方向に沿って、適切に会話者及び関係者へ出音を行うことができる。
図25は、会話者に近い出音位置の例を示す概念図である。例えば、無人移動体100は、会話者の位置と関係者の位置とを通る直線上において、会話者及び関係者の外側の出音位置から会話者及び関係者に指向方向を向けて出音を行う。図25の例において、無人移動体100は、会話者側の出音位置において出音を行う。つまり、無人移動体100は、会話者に近い位置を出音位置として決定する。
予め定められた会話者は、関係者よりも無人移動体100とより多く会話を行うと推定される。また、無人移動体100と会話者との間に関係者が存在する場合、関係者が無人移動体100と会話者との会話の妨げになる可能性がある。したがって、会話者に近い位置が出音位置として決定されることにより、より多く行われる会話が円滑に行われ得る。
図26は、高齢者に近い出音位置の例を示す概念図である。無人移動体100は、会話者に近い位置の代わりに、高齢者に近い位置を出音位置として決定してもよい。例えば、無人移動体100は、会話者が予め定められていない場合、高齢者に近い位置を出音位置として決定する。無人移動体100は、顔認証で年齢を推定してもよい。
聴力は、加齢に伴って低下すると想定される。無人移動体100は、高齢者に近い位置を出音位置として決定することにより、より大きい音圧の音を高齢者に届けることができる。したがって、無人移動体100は、低下した聴力を補うことができる。
なお、親子の場合、高齢者に近い位置、すなわち、親に近い位置が出音位置として決定される。これにより、無人移動体100から子を遠ざけることが可能である。
また、無人移動体100は、年齢が所定の年齢以上と推定される人を高齢者と判定してもよい。そして、無人移動体100は、会話者及び関係者の一方が高齢者であると判定された場合、その高齢者に近い位置を出音位置として決定してもよい。また、無人移動体100は、会話者及び関係者の両方が高齢者であると判定された場合、両者から等距離の位置を出音位置として決定してもよいし、他の条件に従って出音位置を決定してもよい。
図27は、関係者を中心に正面側に補正された出音位置の例を示す概念図である。図27の上側に示されているように、会話者及び関係者の横側に無人移動体100が存在する場合であっても、無人移動体100は、会話者及び関係者に音を届けることができる。一方で、会話者及び関係者の横側よりも正面側に無人移動体100が存在している方が、会話者及び関係者は無人移動体100と会話しやすい。
すなわち、無人移動体100は、会話者及び関係者の正面側に存在することにより、会話者及び関係者に対して円滑な会話を提供することができる。したがって、無人移動体100は、会話者及び関係者の正面側に出音位置を補正してもよい。
具体的には、無人移動体100は、図27の下側に示されているように、関係者を中心として想定される円に沿って、会話者及び関係者の正面側に出音位置を補正してもよい。これにより、無人移動体100は、関係者に対する距離を変えずに、出音位置を補正することができる。
なお、無人移動体100は、会話者を中心に想定される円に沿って出音位置を補正してもよい。これにより、無人移動体100は、会話者に対する距離を変えずに、出音位置を補正することができる。ただし、無人移動体100は、会話者及び関係者のうち無人移動体100から遠い方を中心に想定される円を用いることにより、会話者及び関係者のそれぞれと無人移動体100との間における距離の変動を抑制することができる。
また、無人移動体100は、円に沿って出音位置を補正することに限らず、会話者及び関係者のうちの少なくとも一方の正面方向に移動し、出音方向を会話者及び関係者のうちの少なくとも一方に向けてもよい。無人移動体100は、このような動作を行うための正面方向の位置に出音位置を補正してもよい。
図28は、関係者が出音範囲に含まれるように会話者を中心に決定された出音位置の例を示す概念図である。例えば、図28の上側に示されるように、無人移動体100は、会話者と会話中において会話者の正面側に存在する。その後、図28の下側に示されるように、無人移動体100は、出音範囲に関係者が含まれるように、会話者を中心に想定される円に沿って移動してもよい。この場合、無人移動体100は、会話者を中心に想定される円に沿って出音位置を決定してもよい。
これにより、無人移動体100は、会話者に対する距離を変えずに、会話者及び関係者に音を届けることが可能な位置に移動することができる。
図29は、会話者及び関係者の正面側の出音位置の例を示す概念図である。会話者及び関係者の正面方向に対して垂直な横方向における会話者と関係者との間の距離が、指向幅以内である場合、無人移動体100は、会話者及び関係者の正面側の位置を出音位置として決定してもよい。
これにより、無人移動体100は、会話者及び関係者の正面側の位置から会話者及び関係者へ出音を行うことができる。すなわち、無人移動体100は、会話者及び関係者の正面側の位置から会話を行うことができる。よって、無人移動体100は、会話者及び関係者に対して円滑な会話を提供することができる。
なお、会話者及び関係者の横側の位置よりも会話者及び関係者の正面側の位置が会話に適していると想定される。したがって、無人移動体100は、会話者及び関係者の正面側の位置を優先的に出音位置として決定してもよい。
図30は、水平面に対して斜め方向の直線上の出音位置の例を示す概念図である。例えば、無人移動体100は、画像認識処理又は顔認証処理等によって、会話者の身体情報及び関係者の身体情報を取得してもよい。そして、無人移動体100は、会話者の身体情報及び関係者の身体情報に従って、出音位置を決定してもよい。身体情報は、身長であってもよいし、顔の高さであってもよい。
具体的には、無人移動体100は、会話者の顔の高さと、関係者の顔の高さとが乖離している場合、会話者の顔の位置と、関係者の顔の位置とを通る直線上の位置であって、かつ、出音範囲に会話者及び関係者が含まれるような位置を出音位置として決定する。この場合、無人移動体100は、水平面に対して斜めの出音方向に沿って出音を行う。
これにより、無人移動体100は、出音方向に沿って、適切に会話者及び関係者へ出音を行うことができる。
なお、会話者の顔の高さと、関係者の顔の高さとに乖離がある場合の例として、会話者と関係者とが親子である場合、又は、会話者と関係者とが車椅子に乗る人と車椅子を押す人とである場合がある。また、図30には、親が会話者であり、子が関係者である例が示されているが、会話者と関係者とは反対であってもよい。
また、斜め方向の出音として、低い方から高い方へ向かって行われる出音と、高い方から低い方へ向かって行われる出音とが想定される。低い方から高い方へ向かって出音が行われる場合、飛行高度が低いため、飛行が困難であり、人と接触する可能性がある。また、無人移動体100が小さな子供に近づいてしまう。したがって、高い方から低い方へ向かって出音が行われてもよい。これにより、例えば、衝突等の可能性が抑制される。
図31は、水平方向の直線上の出音位置の例を示す概念図である。無人移動体100は、会話者の顔と、関係者の顔とが、出音の指向幅に入る場合、出音範囲に会話者の顔及び関係者の顔が含まれるような位置であって、水平方向に出音を行うための位置を出音位置として決定してもよい。すなわち、会話者の顔の高さと、関係者の顔の高さとが所定範囲を超えて乖離している場合において、無人移動体100は、図30のように、斜め方向に出音を行うための位置を出音位置として決定してもよい。
さらに言い換えれば、会話者の顔の高さと、関係者の顔の高さとの差が所定範囲内であれば、無人移動体100は、高度を変更しなくてもよい。これにより、処理が簡素化される。ただし、無人移動体100は、高度を高くすることで、衝突等の可能性を抑制することができ、円滑な会話を提供することができる。
図32は、会話者及び関係者と同じ高さの出音位置の例を示す概念図である。上述した通り、無人移動体100は、水平方向に出音を行うための位置を出音位置として決定してもよい。これにより、処理が簡素化される。
ただし、この場合、無人移動体100は、人と接触する可能性がある。また、無人移動体100から遠い人と、無人移動体100とは、無人移動体100に近い人を跨いで会話を行うため、会話を行い難い。具体的には、図32の例において、関係者と無人移動体100とは、会話者を跨いで会話を行うため、会話を行い難い。
図33は、会話者及び関係者よりも高い出音位置の例を示す概念図である。無人移動体100は、会話者及び関係者よりも高い位置を優先して出音位置として決定してもよい。これにより、無人移動体100は、衝突等の可能性を抑制することができる。また、無人移動体100は、無人移動体100に近い人にも、無人移動体100から遠い人にも、円滑な会話を提供することができる。
図34は、出音位置の高さの例を示す概念図である。出音位置が高くなりすぎると、会話者及び関係者が無人移動体100を見上げる角度が大きくなりすぎる。これにより、会話者及び関係者が無人移動体100を見上げながら会話を行うことになり、円滑な会話が困難になる。
そこで、出音位置の高度、又は、出音方向と水平面との角度に上限が定められてもよい。例えば、出音位置の高度の上限は、無人移動体100と、会話者及び関係者のうち無人移動体100に近い方との離間距離に従って定められてもよい。例えば、会話者及び関係者に近いほど、出音位置の高度の上限は低く定められる。これにより、会話者及び関係者が無人移動体100を見上げる角度が小さく抑制される。
図35は、出音範囲から非関係者を排除するための出音位置の例を示す概念図である。無人移動体100は、会話者以外の人が関係者でないと判定された場合、関係者でないと判定された人が出音範囲に含まれないように出音位置を決定してもよい。つまり、無人移動体100は、会話者以外の人が非関係者であると判定された場合、非関係者が出音範囲に含まれないように出音位置を決定してもよい。
例えば、無人移動体100は、無人移動体100と非関係者との離間距離が大きくなるように、出音位置を決定して、出音位置へ移動する。これにより、無人移動体100は、非関係者に音が届きにくくすることができる。
また、例えば、無人移動体100は、非関係者に音が届かず、会話者に音が届く範囲で出音位置を決定する。つまり、無人移動体100は、非関係者が出音範囲に含まれず、かつ、会話者が出音範囲に含まれるように、出音位置を決定する。これにより、無人移動体100は、非関係者に対して出音を行わずに、会話者に対して出音を行うことができる。
なお、無人移動体100は、非関係者が出音範囲に含まれず、かつ、会話者及び関係者が出音範囲に含まれるように、出音位置を決定してもよい。これにより、無人移動体100は、非関係者に対して出音を行わずに、会話者及び関係者に対して出音を行うことができる。
図36は、非関係者と会話者と無人移動体100との水平面上の位置関係の例を示す概念図である。例えば、無人移動体100は、図36の上側の例ように、非関係者から遠い位置を出音位置として決定してもよい。しかし、図36の上側の例では、非関係者が出音方向に入っているため、非関係者に音が届く可能性がある。
そこで、無人移動体100は、図36の下側の例ように、非関係者が出音方向から外れるように出音位置を決定してもよい。具体的には、無人移動体100は、会話者の位置と関係者の位置とを通る直線上に含まれない位置を出音位置として決定してもよい。これにより、無人移動体100は、非関係者に音が届く可能性を抑制することができる。
なお、図36の下側の例においても、無人移動体100は、非関係者が出音範囲に含まれず、かつ、会話者及び関係者が出音範囲に含まれるように、出音位置を決定してもよい。
図37は、非関係者と会話者と無人移動体100との垂直面上の位置関係の例を示す概念図である。無人移動体100から水平方向に出音が行われた場合、非関係者が出音範囲又は出音方向に入る可能性が比較的高く、非関係者に音が届く可能性がある。したがって、無人移動体100は、会話者の上側から会話者に対して出音を行ってもよい。これにより、無人移動体100は、非関係者が出音範囲又は出音方向に入る可能性を抑制することができ、非関係者に音が届く可能性を抑制することができる。
なお、無人移動体100は、非関係者が出音範囲に含まれず、かつ、会話者及び関係者が出音範囲に含まれるように、出音位置の高度を決定してもよい。
図38は、出音範囲から別の人を排除するための出音位置の例を示す概念図である。無人移動体100は、出音範囲から別の人を排除するため、無人移動体100と障害物とで会話者を挟む無人移動体100の位置を出音位置として決定してもよい。そして、無人移動体100は、出音位置へ移動し、会話者に対して出音を行ってもよい。これにより、無人移動体100は、別の人に音が届く可能性を抑制することができる。
ここで、障害物は、例えば、出音範囲に別の人が入ることを妨げる物理的環境である。障害物は、出音範囲の広がりを妨げる物理的環境であってもよいし、人が通れない物理的環境であってもよい。具体的には、障害物は、壁であってもよいし、建物であってもよいし、崖であってもよい。
また、無人移動体100は、画像認識処理によって障害物の位置を検知してもよいし、図示しない障害物検知センサによって障害物の位置を検知してもよい。
また、無人移動体100は、障害物の位置を含むマップ情報から障害物の位置を特定してもよい。マップ情報は、無人移動体100の記憶部130に予め記憶されていてもよいし、無人移動体100の通信部110を用いて外部装置から無人移動体100へ入力されてもよい。そして、無人移動体100は、無人移動体100の位置を検知することにより、マップ情報に従って障害物の位置を検知してもよい。
例えば、図38の上側では、無人移動体100から会話者を挟んで反対側に障害物が存在しないため、出音範囲に別の人が入る可能性がある。これに対して、図38の下側では、無人移動体100から会話者を挟んで反対側に壁等の障害物が存在するため、出音範囲に別の人が入る可能性が抑制される。
なお、会話者のみでなく、関係者が考慮されてもよい。具体的には、無人移動体100と障害物とで会話者及び関係者を挟む無人移動体100の位置を出音位置として決定してもよい。これにより、無人移動体100は、別の人に対して出音を行わずに、会話者及び関係者に対して出音を行うことができる。
出音位置の決定方法に関して、図24~図38を用いて説明された複数の決定方法のうちのいずれか一つが用いられてもよいし、これらの決定方法のうちの任意の二以上の組み合わせが用いられてもよい。続いて、無人移動体100の移動等に関する複数の例を説明する。
図39は、無人移動体100が出音位置へ移動する例を示す概念図である。例えば、無人移動体100は、会話者に対して出音を行いながら出音位置へ移動する場合、移動中において会話者が出音範囲から外れないように、出音位置へ移動する。これにより、無人移動体100は、継続的に会話者へ音を届けることができる。
具体的には、この場合、無人移動体100は、指向性スピーカ107の指向方向を会話者へ向けながら出音位置へ移動する。また、無人移動体100は、会話者から所定距離内で移動する。この所定距離は、出音方向における出音範囲の長さに対応する。無人移動体100は、会話者から所定距離内の移動経路を作成して、作成された移動経路に沿って出音位置へ移動してもよい。これにより、無人移動体100は、移動中において会話者が出音範囲から外れないように、出音位置へ移動することができる。
また、無人移動体100は、移動中において、会話者へ届く音の音圧が一定に維持されるように、無人移動体100と会話者との間の距離に従って、無人移動体100が出す音の音圧を変更してもよい。例えば、無人移動体100は、会話者から遠ざかる場合、無人移動体100が出す音の音圧を上げながら移動してもよい。逆に、無人移動体100は、会話者へ近づく場合、無人移動体100が出す音の音圧を下げながら移動してもよい。
図40は、無人移動体100が出音を開始してから出音位置へ移動する例を示す概念図である。例えば、無人移動体100は、会話者に対して出音を行いながら出音位置へ移動する。すなわち、無人移動体100は、出音を開始した後に、出音位置へ移動する。この場合、出音の途中に、関係者が出音範囲に入る。したがって、関係者が出音の内容のうち始めの内容を把握することは困難である。
そこで、無人移動体100は、無人移動体100と会話者との会話に応じて、無人移動体100の移動のタイミングを制御してもよい。
具体的には、無人移動体100は、会話者が無人移動体100に話しかけている間に、出音位置へ向かって移動してもよい。会話者が無人移動体100に話しかけている間、無人移動体100は、出音を行わないと想定される。したがって、無人移動体100は、出音を行いながら出音位置へ移動することを抑制することができ、出音の途中に関係者が出音範囲に入ることを抑制することができる。
例えば、無人移動体100は、画像認識処理によって、会話者が無人移動体100に話しかけているか否かを判定してもよいし、指向性マイクロフォン108によって、会話者が無人移動体100に話しかけているか否かを判定してもよい。
また、無人移動体100は、会話者に対して収音が行われている期間に、出音位置へ向かって移動してもよい。会話者に対して収音が行われている期間において、会話者が無人移動体100に話しかけていると想定され、無人移動体100は、出音を行わないと想定される。したがって、無人移動体100は、会話者に対して収音が行われている期間において、出音位置へ向かって移動することにより、出音の途中に関係者が出音範囲に入ることを抑制することができる。
また、無人移動体100は、指向性マイクロフォン108によって収音される音の状況によって、移動を行うか否かを制御してもよい。具体的には、指向性マイクロフォン108によって収音される音の状況が悪い場合、無人移動体100は移動しない。これにより、無人移動体100は、移動に伴って、収音される音の状況がさらに悪化することを抑制することができる。
また、例えば、無人移動体100が出音位置へ向かって移動を開始した後、無人移動体100が出音位置へ到達する前に、会話者が無人移動体100に話し終わった場合、無人移動体100は、出音位置へ向かって移動を継続する。そして、無人移動体100は、出音位置へ到達した後に、出音を行う。これにより、無人移動体100は、出音の途中に関係者が出音範囲に入ることを抑制することができる。
また、例えば、移動距離が長い場合、無人移動体100は、出音位置へ段階的に移動してもよい。具体的には、無人移動体100は、出音位置へ向かって移動と停止とを繰り返し、停止中に出音を行ってもよい。これにより、無人移動体100は、一回の出音の途中に関係者が出音範囲に入ることを抑制することができる。また、無人移動体100は、会話者に対する応答の遅延を抑制することができる。
また、例えば、無人移動体100は、無人移動体100と会話者と会話が一時的に途切れている間に、出音位置へ向かって移動してもよい。これにより、無人移動体100は、出音の途中に関係者が出音範囲に入ることを抑制することができ、会話者に対する出音及び収音の劣化を抑制することができる。
また、無人移動体100は、会話者に対して出音及び収音が行われていない期間に、出音位置へ向かって移動してもよい。これにより、無人移動体100は、出音の途中に関係者が出音範囲に入ることを抑制することができ、出音及び収音の劣化を抑制することができる。
また、例えば、無人移動体100は、無人移動体100と会話者との間の会話が終了した場合、出音及び収音を行わないため、移動を中止してもよい。無人移動体100は、会話内容を認識することにより、無人移動体100と会話者と会話が一時的に途切れたか、無人移動体100と会話者との間の会話が終了したかを認識してもよい。
図41は、無人移動体100が正面側を通って出音位置へ移動する例を示す概念図である。例えば、無人移動体100は、会話者の正面側を通って、出音位置へ移動する。会話者の正面側は、会話者の視界範囲に対応する。会話者の視界範囲から無人移動体100が外れた場合、会話者が無人移動体100と会話を行うことが困難になる。無人移動体100は、会話者の正面側を通って出音位置へ移動することにより、移動中において円滑な会話を会話者へ提供することができる。
具体的には、無人移動体100は、画像認識処理によって、会話者の正面側を検知することにより、会話者の視界範囲を特定してもよい。そして、無人移動体100は、特定された視界範囲内の移動経路を作成して、作成された移動経路に沿って出音位置へ移動してもよい。
また、上記の説明では、無人移動体100は会話者の正面側を通って出音位置へ移動しているが、無人移動体100は会話者及び関係者の正面側を通って出音位置へ移動してもよい。これにより、無人移動体100は、円滑な会話を関係者にも提供することができる。
図42は、無人移動体100が出音範囲を変更する例を示す概念図である。無人移動体100は、会話者及び関係者が出音範囲に含まれるように、出音範囲を調整してもよい。具体的には、無人移動体100は、指向性スピーカ107が出す音の音圧を調整することにより、出音範囲を調整してもよい。
また、図42の上側の例のように、無人移動体100は、会話者以外の人が関係者である確度が中程度であると判定された場合、会話者及び会話者以外の人が出音方向に入る出音位置に移動する。そして、無人移動体100は、会話者に音が届き、会話者以外の人に音が届かないように、指向性スピーカ107が出す音の音圧を調整する。つまり、無人移動体100は、指向性スピーカ107が出す音の音圧を小さくする。
そして、図42の下側の例のように、無人移動体100は、会話者以外の人が関係者である確度が高いと判定された場合、会話者以外の人に音が届くように、指向性スピーカ107が出す音の音圧を調整する。つまり、無人移動体100は、指向性スピーカ107が出す音の音圧を大きくする。
これにより、無人移動体100は、会話者以外の人が関係者である確度が上昇した場合に、移動なしで即時に、会話者以外の人に対して出音を行うことができる。なお、無人移動体100は、音圧を大きくせずに、出音方向に移動してもよい。これにより、無人移動体100は、音圧を大きくすることに伴う消費電力の増加を抑制することができる。
図43は、移動と出音範囲の変更との選択的動作の例を示す概念図である。無人移動体100は、会話者と関係者とが共に出音方向に存在する場合、出音範囲を拡大するか、出音方向に移動するかを選択することができる。つまり、無人移動体100は、出音範囲を拡大することにより、会話者と関係者とを出音範囲に含めることもできるし、出音方向に移動することにより、会話者と関係者とを出音範囲に含めることもできる。
ただし、無人移動体100は、出音範囲を拡大する場合、無人移動体100が出す音の音圧を大きくする。これにより、消費電力が大きくなると想定される。したがって、無人移動体100は、出音範囲を拡大することよりも、出音方向に移動することを優先してもよい。
また、無人移動体100は、会話者に近すぎる場合、会話者に接触する可能性がある。また、無人移動体100は、会話者に近すぎる場合、無人移動体100から届く音が大きすぎる場合がある。したがって、無人移動体100は、可能な範囲で会話者に最も近くまで、出音方向に移動してもよい。その状態において、関係者が出音範囲に含まれない場合、無人移動体100は、出音範囲を拡大してもよい。これにより、無人移動体100は、会話者及び関係者に対して適切に出音を行うことができる。
図44は、関係者が出音範囲から外れた場合の例を示す概念図である。例えば、関係者が出音範囲から外れた場合、より具体的には、関係者が自ら出音範囲から離れて出て行った場合、その関係者は、無人移動体100と会話を行う意思を有していないと想定される。
したがって、例えば、上記の場合、無人移動体100は、その関係者を出音範囲に含めるための出音位置に移動しない。これにより、無人移動体100は、無駄な移動に伴う消費電力を抑制することができ、また、その関係者に対する不要な出音を抑制することができる。
また、例えば、無人移動体100の出音中に関係者が出音範囲から離れた場合、その関係者は、無人移動体100から音を聞く意思を有していない可能性がより高い。したがって、例えば、この場合に、無人移動体100は、その関係者を出音範囲に含めるための移動をスキップしてもよい。
ただし、関係者が、無人移動体100と会話を行う意思を有しつつ、移動する可能性もある。例えば、関係者が出音範囲からあまり離れていない状態が所定時間以上続いた場合、関係者が無人移動体100と会話を行う意思を有している可能性がある。そこで、関係者が出音範囲からあまり離れていない状態が所定時間以上続いた場合、無人移動体100は、その関係者を出音範囲に含めるための移動を行ってもよい。
なお、関係者が出音範囲からあまり離れていない状態は、例えば、関係者が出音範囲内に存在せず、かつ、関係者が出音範囲の周辺の所定範囲内に存在する状態である。
図45は、別の人が出音範囲に入った場合の例を示す概念図である。無人移動体100は、会話者に対して出音を行っている間に、会話者とは別の人が出音範囲又は出音方向に入ってきた場合、その別の人が出音範囲又は出音方向から外れるように、移動してもよい。例えば、無人移動体100は、画像認識処理によって、別の人が出音範囲又は出音方向に入ったことが検知された場合、別の人が出音範囲又は出音方向から外れるように、出音位置を変更し、変更された出音位置へ移動してもよい。
また、無人移動体100は、別の人が関係者であるか否かを判定し、別の人が関係者でないと判定された場合に、別の人が出音範囲又は出音方向から外れるように、出音位置を変更してもよい。
また、無人移動体100は、会話者及び関係者に対して出音を行っている間に、会話者及び関係者とは別の人が出音範囲又は出音方向に入ってきた場合、その別の人が出音範囲又は出音方向から外れるように、移動してもよい。
上述したように、本実施の形態における無人移動体100は、指向性スピーカ107及びプロセッサ150を備える。指向性スピーカ107は、指向方向へ音を出力する。プロセッサ150は、一以上のセンシングデータを取得する。
そして、プロセッサ150は、一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定する。プロセッサ150は、第二対象が存在すると判定した場合に、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係を算出する。
そして、プロセッサ150は、指向性スピーカ107により所定の品質以上で音が届く範囲内に第一対象と第二対象とを含ませる、無人移動体100の第一位置を位置関係に従って決定し、第一位置へ無人移動体100を移動させる。
これにより、無人移動体100は、第一対象及び第二対象へ適切に出音を行うことができる。すなわち、無人移動体100は、出音を複数の対象に対して一体的に行うことができる。
なお、上記の説明では、可変の出音範囲が用いられているが、固定の出音範囲が用いられてもよい。つまり、無人移動体100が出す音の音圧は、固定されていてもよい。また、指向性スピーカ107の代わりに、無指向性スピーカが用いられてもよい。このような構成でも、適切な出音位置に移動することにより、複数の対象に対して適切に出音が行われ得る。
(実施の形態2)
実施の形態1は、主に出音に関連する。本実施の形態は、主に収音に関連する。実施の形態1に示された構成及び動作は、実施の形態1の出音及びスピーカ等を収音及びマイクロフォン等に読み替えることにより、本実施の形態に適用され得る。以下、具体的に、本実施の形態における構成及び動作を説明する。
図46は、本実施の形態における無人移動体の基本的な構成例を示すブロック図である。図46において、指向性マイクロフォン208及びプロセッサ250を備える無人移動体200が示されている。
無人移動体200は、移動する装置である。例えば、無人移動体200は、自律的に移動又は静止する。無人移動体200は、操作を受けた場合に、操作に従って移動してもよい。また、無人移動体200は、典型的には無人飛行体であるが、無人飛行体に限られず、面上を走行する装置であってもよい。無人移動体200は、空中又は面上を移動するためのモータ及びアクチュエータ等の移動機構を備えていてもよい。
また、無人移動体200は、一以上のセンサを備えていてもよい。例えば、無人移動体200は、イメージセンサを備えていてもよいし、測距センサを備えていてもよいし、指向性マイクロフォン208又は他のマイクロフォンを音センサとして備えていてもよいし、人検知センサを備えていてもよいし、位置検知器を位置センサとして備えてもよい。
指向性マイクロフォン208は、指向方向から収音を行うマイクロフォンである。指向性マイクロフォン208の指向方向が調整可能であってもよいし、指向性マイクロフォン208の収音感度が調整可能であってもよい。指向性マイクロフォン208の指向方向は、収音方向とも表現され得る。
プロセッサ250は、情報処理を行う回路で構成される。例えば、プロセッサ250は、無人移動体200の移動を制御してもよい。具体的には、プロセッサ250は、空中又は面上を移動するためのモータ及びアクチュエータ等の移動機構の動作を制御することにより、無人移動体200の移動を制御してもよい。
また、プロセッサ250は、指向性マイクロフォン208に対して制御信号を送ることにより、指向性マイクロフォン208の指向方向を調整してもよいし、指向性マイクロフォン208の収音感度を調整してもよい。また、プロセッサ250は、無人移動体200の向きを調整することにより、指向性マイクロフォン208の指向方向を調整してもよい。
図47は、図46に示された無人移動体200の基本的な動作例を示すフローチャートである。主に、無人移動体200におけるプロセッサ250が、図47に示された動作を行う。
まず、プロセッサ250は、一以上のセンシングデータを取得する(S201)。プロセッサ250は、無人移動体200の内部の一以上のセンサから一以上のセンシングデータを取得してもよいし、無人移動体200の外部の一以上のセンサから一以上のセンシングデータを取得してもよい。また、プロセッサ250は、無人移動体200の内部の一以上のセンサ、及び、無人移動体200の外部の一以上のセンサから、複数のセンシングデータを取得してもよい。
例えば、無人移動体200の外部の一以上のセンサとして、イメージセンサ、測距センサ、マイクロフォン、人検知センサ、又は、位置検知器等が用いられてもよい。
そして、プロセッサ250は、取得された一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定する(S202)。例えば、第一対象は会話者であり、第二対象は会話者に関連する関係者である。ただし、第一対象及び第二対象のそれぞれは、人に限られず、動物であってもよいし、装置であってもよい。
そして、第一対象の周辺に第二対象が存在すると判定された場合、プロセッサ250は、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係を算出する(S203)。つまり、プロセッサ250は、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係を導出する。
例えば、位置関係は、第一対象及び第二対象に関連する位置及び距離のうち少なくとも一つを含む。位置関係は、第一対象及び第二対象のそれぞれの位置を含んでいてもよいし、第一対象と第二対象との間の距離を含んでいてもよい。
具体的には、プロセッサ250は、イメージセンサから取得された画像データを用いて、第一対象の位置、第二対象の位置、及び、第一対象と第二対象との間の距離等を算出してもよい。また、プロセッサ250は、測距センサから取得された測距データを用いて、無人移動体200と第一対象との間の距離、無人移動体200と第二対象との間の距離、及び、第一対象と第二対象との間の距離等を算出してもよい。
そして、プロセッサ250は、算出された位置関係に従って第一位置を決定する。第一位置は、指向性マイクロフォン208により所定の品質以上で音が収音される範囲内に第一対象と第二対象とが含まれるような無人移動体200の位置である。そして、プロセッサ250は、決定された第一位置へ無人移動体200を移動させる(S204)。
これにより、無人移動体200は、第一対象及び第二対象から適切に収音を行うことができる。すなわち、無人移動体200は、収音を複数の対象に対して一体的に行うことができる。
例えば、第二対象は、第一対象に関連する対象である。プロセッサ250は、一以上のセンシングデータのうちの少なくとも一つに従って、第一対象の周辺に存在する対象が第一対象に関連するか否かを判定してもよい。そして、これにより、プロセッサ250は、第一対象の周辺に第二対象が存在するか否かを判定してもよい。
その際、プロセッサ250は、一以上のセンシングデータのうちの少なくとも一つから、第一対象との関連を示す情報、及び、無人移動体200との関連を示す情報のうちの少なくとも一つを取得してもよい。そして、プロセッサ250は、第一対象との関連を示す情報、及び、無人移動体200との関連を示す情報のうちの少なくとも一つに従って、第一対象の周辺に存在する対象が第一対象に関連するか否かを判定してもよい。
具体的には、プロセッサ250は、第一対象の周辺に存在する対象が複数の条件のうちの一以上を満たす場合に、第一対象の周辺に存在する対象が第一対象に関連すると判定してもよい。
例えば、この複数の条件は、「第一対象と接触している」、「第一対象と会話している」、「第一対象に対して閾値以下の距離に存在する」、「第一対象と服装が同一である」、「所定エリアに第一対象と存在する」、「第一対象と紐づけられている」、「第一対象に近づいている」、「第一対象の声が届く範囲に存在する」、「第一対象と無人移動体200との会話中に無人移動体200に声をかけている」、及び、「第一対象と無人移動体200との会話中に無人移動体200を見ている」等を含んでいてもよい。
図48は、図46に示された無人移動体200の具体的な動作例を示す概念図である。この例において、無人移動体200は、ドローンとも呼ばれる無人飛行体である。会話者は第一対象に対応し、関係者は第二対象に対応する。
例えば、無人移動体200は、会話者の周辺において、会話者に対して収音を行う。そして、無人移動体200は、会話者の周辺に関係者が存在するか否かを判定する。
例えば、無人移動体200は、無人移動体200が備えるセンサを用いて会話者の周辺をセンシングし、その結果に従って、会話者の周辺に人が存在するか否かを判定する。具体的には、無人移動体200が備えるセンサとして、イメージセンサが用いられ得る。そして、無人移動体200は、会話者の周辺に存在する人が会話者の関係者であると判定される場合に、会話者の周辺に関係者が存在すると判定する。
そして、無人移動体200は、会話者の周辺に関係者が存在すると判定された場合、無人移動体200によって音が収音される収音範囲に会話者及び関係者が含まれるように、収音位置を決定する。無人移動体200によって音が収音される収音範囲は、指向性マイクロフォン208の指向方向に従って定められてもよい。
そして、無人移動体200は、決定された収音位置に移動して収音を行う。これにより、無人移動体200は、収音範囲に含まれる会話者及び関係者から収音を行うことができる。
図49は、図48に示された無人移動体200の具体的な構成例を示すブロック図である。図49に示された無人移動体200は、GPS受信機201、ジャイロセンサ202、加速度センサ203、人検知センサ204、測距センサ205、イメージセンサ206、指向性スピーカ207、指向性マイクロフォン208、駆動部209、通信部210、制御部220、記憶部230、及び、電力供給部241を備える。
GPS受信機201は、位置を測定するためのGPS(Global Positioning System)を構成し、信号を受信することにより位置を取得する受信機である。例えば、GPS受信機201は、無人移動体200の位置を取得する。すなわち、GPS受信機201は、無人移動体200の位置を検知するセンサとして動作する。
ジャイロセンサ202は、無人移動体200の姿勢、つまり、無人移動体200の角度又は傾きを検知するセンサである。加速度センサ203は、無人移動体200の加速度を検知するセンサである。人検知センサ204は、無人移動体200の周辺の人を検知するセンサである。人検知センサ204は、赤外線センサであってもよい。
測距センサ205は、無人移動体200と対象との間の距離を測定するセンサであって測距データを生成する。イメージセンサ206は、撮像を行うセンサであり、撮像によって画像を生成する。イメージセンサ206は、カメラであってもよい。
指向性スピーカ207は、指向方向へ出音を行うスピーカである。指向性スピーカ207の指向方向が調整可能であってもよいし、指向性スピーカ207が出す音の音圧が調整可能であってもよい。指向性スピーカ207の指向方向は、出音方向とも表現され得る。指向性マイクロフォン208は、上述した通り、指向方向から収音を行うマイクロフォンである。指向性マイクロフォン208の指向方向は調整可能であってもよいし、指向性マイクロフォン208の収音感度が調整可能であってもよい。
駆動部209は、無人移動体200を移動させるモータ及びアクチュエータ等である。通信部210は、無人移動体200の外部の装置と通信を行う通信器である。通信部210は、無人移動体200の移動のための操作信号を受けてもよい。また、通信部210は、会話の内容を送受信してもよい。
制御部220は、図46に示されたプロセッサ250に対応し、情報処理を行う回路で構成される。具体的には、この例において、制御部220は、人検知部221、関係者判定部222、収音範囲決定部223、収音位置決定部224、収音制御部225、及び、移動制御部226を備える。すなわち、プロセッサ250は、これらの役割を果たしてもよい。
人検知部221は、無人移動体200の周辺に存在する人を検知する。人検知部221は、人検知センサ204又は他のセンサから得られるセンシングデータに従って、無人移動体200の周辺に存在する人を検知する。
関係者判定部222は、人検知部221で検知された人が会話者に関連する関係者であるか否かを判定する。収音範囲決定部223は、会話者と関係者との位置関係に従って収音範囲を決定する。収音位置決定部224は、決定された収音範囲に従って収音位置を決定する。収音制御部225は、指向性マイクロフォン208へ制御信号を送信することにより、指向性マイクロフォン208の収音を制御する。
移動制御部226は、駆動部209へ制御信号を送信することにより、無人移動体200の移動を制御する。この例において、移動制御部226は、無人飛行体である無人移動体200の飛行を制御する。
記憶部230は、情報を記憶するためのメモリであり、制御プログラム231及び収音感度収音範囲対応情報232を記憶している。制御プログラム231は、制御部220が行う情報処理のプログラムである。収音感度収音範囲対応情報232は、指向性マイクロフォン208の収音感度と、所定以上の品質で音が収音される収音範囲との対応関係を示す情報である。
電力供給部241は、無人移動体200に含まれる複数の構成要素に対して電力を供給する回路である。例えば、電力供給部241は、電源を含む。
図50は、図48に示された無人移動体200の具体的な動作例を示すフローチャートである。例えば、図49に示された無人移動体200における複数の構成要素が連携して図50に示された動作を行う。
まず、無人移動体200は、会話者と会話を行うための会話位置に移動する(S211)。例えば、会話位置は、会話者の位置から会話者が発する声が届き、かつ、無人移動体200が発する音が届く位置である。会話者は、事前に決定されていてもよい。無人移動体200は、飛行中に会話者を決定してもよい。
例えば、無人移動体200において、人検知部221が、人検知センサ204又はイメージセンサ206等から得られるセンシングデータに従って、会話者を検知する。そして、移動制御部226は、駆動部209を介して、会話者から所定範囲内の会話位置へ無人移動体200を移動させる。
そして、無人移動体200は、会話を開始する(S212)。つまり、無人移動体200は、出音及び収音の少なくとも一方を開始する。例えば、収音制御部225は、指向性マイクロフォン208に収音を開始させる。また、制御部220は、指向性スピーカ207に出音を開始させてもよい。
そして、無人移動体200は、会話者の周辺をセンシングする(S213)。例えば、人検知部221は、人検知センサ204又はイメージセンサ206等に、会話者の周辺をセンシングさせることにより、会話者の周辺の人を検知する。この検知には、人を検知するための任意のセンサが用いられ得る。また、会話者の周辺は、例えば、会話者から所定範囲内の領域に対応する。
そして、無人移動体200は、会話者以外の人が検知されたか否かを判定する(S214)。例えば、人検知部221は、会話者の周辺において、会話者以外の人が検知されたか否かを判定する。会話者以外の人が検知されなかった場合(S214でNo)、無人移動体200は、会話者の周辺のセンシング(S213)を繰り返す。
会話者以外の人が検知された場合(S214でYes)、無人移動体200は、検知された人が会話者の関係者であるか否かを判定する(S215)。例えば、関係者判定部222が、会話者と関係者との距離が閾値以内であるか否かに従って、検知された人が関係者であるか否かを判定してもよいし、グルーピング等に関するその他の判定基準に従って、検知された人が関係者であるか否かを判定してもよい。この判定は、実施の形態1において説明された判定と同じである。
検知された人が関係者でない場合(S215でNo)、無人移動体200は、会話者の周辺のセンシング(S213)を繰り返す。
検知された人が関係者である場合(S215でYes)、無人移動体200は、会話者と関係者との間の離間距離を測定する(S216)。例えば、収音範囲決定部223は、センシングデータに従って検知された会話者の位置と、センシングデータに従って検知された関係者の位置との間の距離を算出することにより、会話者と関係者との離間距離を測定してもよい。
そして、無人移動体200は、会話者と関係者との離間距離に従って、収音範囲を決定する(S217)。例えば、収音範囲決定部223は、測定された離間距離に従って、収音範囲を決定する。その際、収音範囲決定部223は、測定された離間距離が大きいほど、収音範囲を大きくする。
また、収音範囲は、例えば、無人移動体200を基準に用いて相対的に定められる範囲であり、指向性マイクロフォン208により所定品質以上で音が収音される範囲である。所定品質以上は、所定範囲内の音圧に対応していてもよいし、所定範囲内のSN比(信号対雑音比)に対応していてもよい。
そして、無人移動体200は、会話者の位置、関係者の位置、及び、収音範囲に従って、収音位置を決定する(S218)。例えば、収音位置決定部224は、決定された収音範囲に、検知された会話者の位置、及び、検知された関係者の位置が含まれるように、収音位置を決定する。収音位置の決定については、後述する。
そして、無人移動体200は、収音位置に移動する(S219)。例えば、移動制御部226は、駆動部209の動作を制御することにより、無人移動体200を収音位置に移動させる。また、収音制御部225は、収音範囲から所定品質以上で音が収音されるように、指向性マイクロフォン208の収音を制御してもよい。
これにより、無人移動体200は、会話者及び関係者に対して適切に収音を行うことができる。
なお、上記の例では、無人移動体200は、会話者と会話を開始した後(S212の後)に、収音位置に移動するための処理(S213~S219)を行っているが、会話者と会話を開始する前に、収音位置に移動するための処理を行ってもよい。
また、上記の例では、検知された人が関係者でない場合(S215でNo)、無人移動体200は、会話者の周辺のセンシング(S213)を繰り返す。しかし、無人移動体200は、関係者でない人(第三対象)に対して収音を行わないように、収音位置を修正してもよい。つまり、無人移動体200における収音位置決定部224は、関係者でない人が収音範囲に含まれないように、収音位置を修正してもよい。
また、収音位置決定部224は、関係者でない人が収音方向から外れるように、収音位置を修正してもよい。これにより、関係者でない人が移動した場合に収音範囲に入る可能性が抑制される。
また、収音範囲は、人声収音可能範囲とも表現され、例えば、人の声を所定音圧以上で収音可能な範囲である。具体的には、収音範囲は、指向性マイクロフォン208から収音方向に延在する範囲であり、かつ、指向性マイクロフォン208から所定距離(例えば、5m)以内の範囲である。この所定距離は、指向性マイクロフォン208の収音感度に依存する。収音感度が高いほど、所定距離は長く、収音範囲は大きい。
したがって、例えば、収音制御部225は、指向性マイクロフォン208の収音感度を上げることにより、収音範囲を大きくすることができる。また、収音制御部225は、指向性マイクロフォン208の収音感度を下げることにより、収音範囲を小さくすることができる。また、収音制御部225は、収音感度を上げることにより増加するノイズをノイズ除去フィルタによって除去してもよい。
また、人の声を所定音圧以上で収音可能な範囲は、人が発する声の音圧にも依存する。人が発する声の音圧には個人差がある。したがって、収音範囲は、平均的な人が発する声の音圧に従って規定されてもよい。そのため、収音範囲は、目安の範囲であって、必ずしも収音範囲内の人の声が所定音圧以上で収音されるとは限られない。
また、無人移動体200は、会話者又は関係者の属性を識別し、識別された属性に従って、収音範囲を決定してもよい。例えば、無人移動体200は、性別又は年齢等に従って、収音範囲を決定してもよい。
あるいは、無人移動体200は、会話者又は関係者を認証し、認証された会話者又は関係者に対して予め登録された音圧に従って収音範囲を決定してもよい。あるいは、無人移動体200は、会話者又は関係者及び音圧の情報を履歴として記憶し、過去の履歴に従って会話者又は関係者の音圧を推定し、推定された音圧に従って収音範囲を決定してもよい。会話者又は関係者の情報として顔の情報が、記憶され認証に用いられてもよい。
また、収音範囲は、実験によって人の声の音圧を測定し、その結果に従って定められてもよい。その際、収音感度毎に、収音範囲が定められてもよい。また、図6のような点音源の特性に従って、収音範囲が定められてもよい。
また、会話者が発する声の音圧と関係者が発する声の音圧とが異なる場合がある。この場合、これらの音圧のうち小さい音圧に従って収音範囲が定められてもよいし、これらの音圧のうち大きい音圧に従って収音範囲が定められてもよいし、これらの音圧の平均音圧に従って収音範囲が定められてもよい。また、会話者が発する声の音圧に従って収音範囲が定められてもよいし、関係者が発する声の音圧に従って収音範囲が定められてもよい。
また、収音範囲が固定である場合、つまり、指向性マイクロフォン208の収音感度が固定である場合、無人移動体200は、会話者と関係者との離間距離が収音範囲内に入るか否かを判定してもよい。そして、無人移動体200は、離間距離が収音範囲内に入る場合に、収音位置を決定して、決定された収音位置に移動してもよい。無人移動体200は、離間距離が収音範囲内に入らない場合に、移動しなくてもよい。
説明を簡便化するため、以下では、個人差を考慮せずに平均的な人が発する声の音圧に従って収音範囲が規定され、かつ、収音感度の調整によって収音範囲が調整可能であることを前提に説明を行う。ただし、個人差を考慮して収音範囲が調整されてもよい。
また、上述したような、収音感度と収音範囲との関係が、収音感度収音範囲対応情報232として、記憶部230に記憶されていてもよい。
収音範囲決定部223は、会話者と関係者との離間距離に従って、会話者と関係者とが収音範囲に含まれるように、収音感度及び収音範囲を決定する。例えば、この動作は、実施の形態1において、出音範囲決定部123が、会話者と関係者との離間距離に従って、会話者と関係者とが出音範囲に含まれるように、音圧及び出音範囲を決定する動作と同じように行われる。
本実施の形態において、会話者以外の人が関係者であるか否かを判定するための基準は、実施の形態1において図13~図23を用いて説明された基準と同じであるため、説明を省略する。
無人移動体200は、会話者及び関係者を収音範囲に含めることができるような、無人移動体200の位置を収音位置として決定する。例えば、無人移動体200の収音位置決定部224が、収音位置を決定する。以下、図51~図66を用いて、より具体的な収音位置の決定方法を説明する。
図51は、会話者の位置と関係者の位置とを通る直線上の収音位置の例を示す概念図である。この例では、無人移動体200は、会話者の位置と関係者の位置とを通る直線上の位置であって、かつ、その位置によって相対的に定められる収音範囲に会話者及び関係者が含まれるような位置を収音位置として決定する。これにより、無人移動体200は、収音方向に沿って、適切に会話者及び関係者から収音を行うことができる。
図52は、会話者に近い収音位置の例を示す概念図である。例えば、無人移動体200は、会話者の位置と関係者の位置とを通る直線上において、会話者及び関係者の外側の収音位置から会話者及び関係者に指向方向を向けて収音を行う。図52の例において、無人移動体200は、会話者側の収音位置において収音を行う。つまり、無人移動体200は、会話者に近い位置を収音位置として決定する。
予め定められた会話者は、関係者よりも無人移動体200とより多く会話を行うと推定される。また、無人移動体200と会話者との間に関係者が存在する場合、関係者が無人移動体200と会話者との会話の妨げになる可能性がある。したがって、会話者に近い位置が収音位置として決定されることにより、より多く行われる会話が円滑に行われ得る。
図53は、高齢者に近い収音位置の例を示す概念図である。無人移動体200は、会話者に近い位置の代わりに、高齢者に近い位置を収音位置として決定してもよい。例えば、無人移動体200は、会話者が予め定められていない場合、高齢者に近い位置を収音位置として決定する。無人移動体200は、顔認証で年齢を推定してもよい。
人が発する声の音圧は、加齢に伴って低下すると想定される。無人移動体200は、高齢者に近い位置を収音位置として決定することにより、高齢者が小さい音圧で発する声を収音することができる。したがって、無人移動体200は、加齢に伴って低下した音圧を補うことができる。
なお、親子の場合、高齢者に近い位置、すなわち、親に近い位置が収音位置として決定される。これにより、無人移動体200から子を遠ざけることが可能である。
また、無人移動体200は、年齢が所定の年齢以上と推定される人を高齢者と判定してもよい。そして、無人移動体200は、会話者及び関係者の一方が高齢者であると判定された場合、その高齢者に近い位置を収音位置として決定してもよい。また、無人移動体200は、会話者及び関係者の両方が高齢者であると判定された場合、両者から等距離の位置を収音位置として決定してもよいし、他の条件に従って収音位置を決定してもよい。
図54は、関係者を中心に正面側に補正された収音位置の例を示す概念図である。図54の上側に示されているように、会話者及び関係者の横側に無人移動体200が存在する場合であっても、無人移動体200は、会話者及び関係者から収音を行うことができる。一方で、会話者及び関係者の横側よりも正面側に無人移動体200が存在している方が、会話者及び関係者は無人移動体200と会話しやすい。
すなわち、無人移動体200は、会話者及び関係者の正面側に存在することにより、会話者及び関係者に対して円滑な会話を提供することができる。したがって、無人移動体200は、会話者及び関係者の正面側に収音位置を補正してもよい。
具体的には、無人移動体200は、図54の下側に示されているように、関係者を中心として想定される円に沿って、会話者及び関係者の正面側に収音位置を補正してもよい。これにより、無人移動体200は、関係者に対する距離を変えずに、収音位置を補正することができる。
なお、無人移動体200は、会話者を中心に想定される円に沿って収音位置を補正してもよい。これにより、無人移動体200は、会話者に対する距離を変えずに、収音位置を補正することができる。ただし、無人移動体200は、会話者及び関係者のうち無人移動体200から遠い方を中心に想定される円を用いることにより、会話者及び関係者のそれぞれと無人移動体200との間における距離の変動を抑制することができる。
また、無人移動体200は、円に沿って収音位置を補正することに限らず、会話者及び関係者のうちの少なくとも一方の正面方向に移動し、収音方向を会話者及び関係者のうちの少なくとも一方に向けてもよい。無人移動体100は、このような動作を行うための正面方向の位置に収音位置を補正してもよい。
図55は、関係者が収音範囲に含まれるように会話者を中心に決定された収音位置の例を示す概念図である。例えば、図55の上側に示されるように、無人移動体200は、会話者と会話中において会話者の正面側に存在する。その後、図55の下側に示されるように、無人移動体200は、収音範囲に関係者が含まれるように、会話者を中心に想定される円に沿って移動してもよい。この場合、無人移動体200は、会話者を中心に想定される円に沿って収音位置を決定してもよい。
これにより、無人移動体200は、会話者に対する距離を変えずに、会話者及び関係者から収音を行うことが可能な位置に移動することができる。
図56は、会話者及び関係者の正面側の収音位置の例を示す概念図である。会話者及び関係者の正面方向に対して垂直な横方向における会話者と関係者との間の距離が、指向幅以内である場合、無人移動体200は、会話者及び関係者の正面側の位置を収音位置として決定してもよい。
これにより、無人移動体200は、会話者及び関係者の正面側の位置において会話者及び関係者から収音を行うことができる。すなわち、無人移動体200は、会話者及び関係者の正面側の位置から会話を行うことができる。よって、無人移動体200は、会話者及び関係者に対して円滑な会話を提供することができる。
なお、会話者及び関係者の横側の位置よりも会話者及び関係者の正面側の位置が会話に適していると想定される。したがって、無人移動体200は、会話者及び関係者の正面側の位置を優先的に収音位置として決定してもよい。
図57は、水平面に対して斜め方向の直線上の収音位置の例を示す概念図である。例えば、無人移動体200は、画像認識処理又は顔認証処理等によって、会話者の身体情報及び関係者の身体情報を取得してもよい。そして、無人移動体200は、会話者の身体情報及び関係者の身体情報に従って、収音位置を決定してもよい。身体情報は、身長であってもよいし、顔の高さであってもよい。
具体的には、無人移動体200は、会話者の顔の高さと、関係者の顔の高さとが乖離している場合、会話者の顔の位置と、関係者の顔の位置とを通る直線上の位置であって、かつ、収音範囲に会話者及び関係者が含まれるような位置を収音位置として決定する。この場合、無人移動体200は、水平面に対して斜めの収音方向に沿って収音を行う。
これにより、無人移動体200は、収音方向に沿って、適切に会話者及び関係者から収音を行うことができる。
なお、会話者の顔の高さと、関係者の顔の高さとに乖離がある場合の例として、会話者と関係者とが親子である場合、又は、会話者と関係者とが車椅子に乗る人と車椅子を押す人とである場合がある。また、図57には、親が会話者であり、子が関係者である例が示されているが、会話者と関係者とは反対であってもよい。
また、斜め方向の収音として、低い方において高い方へ向かって行われる収音と、高い方において低い方へ向かって行われる収音とが想定される。低い方において高い方へ向かって収音が行われる場合、飛行高度が低いため、飛行が困難であり、人と接触する可能性がある。また、無人移動体200が小さな子供に近づいてしまう。したがって、高い方において低い方へ向かって収音が行われてもよい。これにより、例えば、衝突等の可能性が抑制される。
一方、高い方において低い方へ向かって収音が行われる場合、会話者及び関係者は、無人移動体200が存在する上方に向かって声を発する。したがって、声が発散し、収音が困難である。よって、低い方において高い方へ向かって収音が行われてもよい。
また、低い方において高い方へ向かって行われる収音と、高い方において低い方へ向かって行われる収音とが切り替え可能であってもよい。人が少ない場所では、低い方において高い方へ向かって収音が行われ、人が多い場所では、高い方において低い方へ向かって収音が行われてもよい。
図58は、水平方向の直線上の収音位置の例を示す概念図である。無人移動体200は、会話者の顔と、関係者の顔とが、収音の指向幅に入る場合、収音範囲に会話者の顔及び関係者の顔が含まれるような位置であって、水平方向に収音を行うための位置を収音位置として決定してもよい。すなわち、会話者の顔の高さと、関係者の顔の高さとが所定範囲を超えて乖離している場合において、無人移動体200は、図57のように、斜め方向に収音を行うための位置を収音位置として決定してもよい。
さらに言い換えれば、会話者の顔の高さと、関係者の顔の高さとの差が所定範囲内であれば、無人移動体200は、高度を変更しなくてもよい。これにより、処理が簡素化される。ただし、無人移動体200は、高度を高くすることで、衝突等の可能性を抑制することができ、円滑な会話を提供することができる。
図59は、会話者及び関係者と同じ高さの収音位置の例を示す概念図である。上述した通り、無人移動体200は、水平方向に収音を行うための位置を収音位置として決定してもよい。これにより、処理が簡素化される。
ただし、この場合、無人移動体200は、人と接触する可能性がある。また、無人移動体200から遠い人と、無人移動体200とは、無人移動体200に近い人を跨いで会話を行うため、会話を行い難い。具体的には、図59の例において、関係者と無人移動体200とは、会話者を跨いで会話を行うため、会話を行い難い。
図60は、会話者及び関係者よりも高い収音位置の例を示す概念図である。無人移動体200は、会話者及び関係者よりも高い位置を優先して収音位置として決定してもよい。これにより、無人移動体200は、衝突等の可能性を抑制することができる。また、無人移動体200は、無人移動体200に近い人にも、無人移動体200から遠い人にも、円滑な会話を提供することができる。
図61は、収音位置の高さの例を示す概念図である。収音位置が高くなりすぎると、会話者及び関係者が無人移動体200を見上げる角度が大きくなりすぎる。これにより、会話者及び関係者が無人移動体200を見上げながら会話を行うことになり、円滑な会話が困難になる。
そこで、収音位置の高度、又は、収音方向と水平面との角度に上限が定められてもよい。例えば、収音位置の高度の上限は、無人移動体200と、会話者及び関係者のうち無人移動体200に近い方との離間距離に従って定められてもよい。例えば、会話者及び関係者に近いほど、収音位置の高度の上限は低く定められる。これにより、会話者及び関係者が無人移動体200を見上げる角度が小さく抑制される。
図62は、収音範囲から非関係者を排除するための収音位置の例を示す概念図である。無人移動体200は、会話者以外の人が関係者でないと判定された場合、関係者でないと判定された人が収音範囲に含まれないように収音位置を決定してもよい。つまり、無人移動体200は、会話者以外の人が非関係者であると判定された場合、非関係者が収音範囲に含まれないように収音位置を決定してもよい。
例えば、無人移動体200は、無人移動体200と非関係者との離間距離が大きくなるように、収音位置を決定して、収音位置へ移動する。これにより、無人移動体200は、非関係者から音が収音されにくくすることができる。
また、例えば、無人移動体200は、非関係者から音が収音されず、会話者から音が収音される範囲で収音位置を決定する。つまり、無人移動体200は、非関係者が収音範囲に含まれず、かつ、会話者が収音範囲に含まれるように、収音位置を決定する。これにより、無人移動体200は、非関係者に対して収音を行わずに、会話者に対して収音を行うことができる。
また、例えば、無人移動体200は、会話者から所定音圧以上で音が収音される範囲内で、非関係者から遠ざかってもよい。具体的には、無人移動体200は、移動前に会話者から収音される音の音圧に従って、会話者から所定音圧以上で音が収音される範囲を算出し、その範囲内で非関係者から最も遠い位置を収音位置として決定してもよい。これにより、無人移動体200は、非関係者から音が収音されにくくすることができ、かつ、会話者に対する適切な収音を維持することができる。
なお、無人移動体200は、非関係者が収音範囲に含まれず、かつ、会話者及び関係者が収音範囲に含まれるように、収音位置を決定してもよい。これにより、無人移動体200は、非関係者に対して収音を行わずに、会話者及び関係者に対して収音を行うことができる。
図63は、非関係者と会話者と無人移動体200との水平面上の位置関係の例を示す概念図である。例えば、無人移動体200は、図63の上側の例ように、非関係者から遠い位置を収音位置として決定してもよい。しかし、図63の上側の例では、非関係者が収音方向に入っているため、非関係者から音が収音される可能性がある。
そこで、無人移動体200は、図63の下側の例ように、非関係者が収音方向から外れるように収音位置を決定してもよい。具体的には、無人移動体200は、会話者の位置と関係者の位置とを通る直線上に含まれない位置を収音位置として決定してもよい。これにより、無人移動体200は、非関係者から音が収音される可能性を抑制することができる。
なお、図63の下側の例においても、無人移動体200は、非関係者が収音範囲に含まれず、かつ、会話者及び関係者が収音範囲に含まれるように、収音位置を決定してもよい。
図64は、非関係者と会話者と無人移動体200との垂直面上の位置関係の例を示す概念図である。無人移動体200から水平方向に収音が行われた場合、非関係者が収音範囲又は収音方向に入る可能性が比較的高く、非関係者から音が収音される可能性がある。したがって、無人移動体200は、会話者の上側から会話者に対して収音を行ってもよい。これにより、無人移動体200は、非関係者が収音範囲又は収音方向に入る可能性を抑制することができ、非関係者から音が収音される可能性を抑制することができる。
なお、無人移動体200は、非関係者が収音範囲に含まれず、かつ、会話者及び関係者が収音範囲に含まれるように、収音位置の高度を決定してもよい。
図65は、収音範囲から別の人を排除するための収音位置の例を示す概念図である。無人移動体200は、収音範囲から別の人を排除するため、無人移動体200と障害物とで会話者を挟む無人移動体200の位置を収音位置として決定してもよい。そして、無人移動体200は、収音位置へ移動し、会話者に対して収音を行ってもよい。これにより、無人移動体200は、別の人から音が収音される可能性を抑制することができる。
ここで、障害物は、例えば、収音範囲に別の人が入ることを妨げる物理的環境である。障害物は、収音範囲の広がりを妨げる物理的環境であってもよいし、人が通れない物理的環境であってもよい。具体的には、障害物は、壁であってもよいし、建物であってもよいし、崖であってもよい。
また、無人移動体200は、画像認識処理によって障害物の位置を検知してもよいし、図示しない障害物検知センサによって障害物の位置を検知してもよい。
また、無人移動体200は、障害物の位置を含むマップ情報から障害物の位置を特定してもよい。マップ情報は、無人移動体200の記憶部230に予め記憶されていてもよいし、無人移動体200の通信部210を用いて外部装置から無人移動体200へ入力されてもよい。そして、無人移動体200は、無人移動体200の位置を検知することにより、マップ情報に従って障害物の位置を検知してもよい。
例えば、図65の上側では、無人移動体200から会話者を挟んで反対側に障害物が存在しないため、収音範囲に別の人が入る可能性がある。これに対して、図65の下側では、無人移動体200から会話者を挟んで反対側に壁等の障害物が存在するため、収音範囲に別の人が入る可能性が抑制される。
なお、会話者のみでなく、関係者が考慮されてもよい。具体的には、無人移動体200と障害物とで会話者及び関係者を挟む無人移動体200の位置を収音位置として決定してもよい。これにより、無人移動体200は、別の人に対して収音を行わずに、会話者及び関係者に対して収音を行うことができる。
図66は、会話者が出す音及び関係者が出す音に従って決定される収音位置の例を示す概念図である。
無人移動体200は、会話者及び関係者のうち発声頻度が高い方に対して近い位置を収音位置として決定してもよい。具体的には、無人移動体200は、収音された音に従って、会話者の発生頻度と、関係者の発生頻度とを取得し、発声頻度が高い方に対して近い位置を収音位置として決定してもよい。例えば、会話者が無人移動体200に対して話す回数よりも、関係者が無人移動体200に対して話す回数が多い場合、関係者に近い位置を収音位置として決定する。
これにより、無人移動体200は、会話者及び関係者のうち発声頻度が高い方からより適切に収音を行うことができる。
また、無人移動体200は、会話者及び関係者のうち音量が小さい方に対して近い位置を収音位置として決定してもよい。具体的には、無人移動体200は、収音された音に従って、会話者の声の音量と、関係者の声の音量とを取得し、音量が小さい方に対して近い位置を収音位置として決定してもよい。例えば、関係者の音量が会話者の音量よりも小さい場合、関係者に近い位置を収音位置として決定する。
より具体的には、無人移動体200は、収音された音に従って、会話者が発する声の音圧と、関係者が発する声の音圧とをそれぞれ音量として推定する。そして、無人移動体200は、会話者に対して推定された音量と、関係者に対して推定された音量とを比較することにより、音量が小さい方を特定する。
また、無人移動体200は、人が発する声の音圧と、人と無人移動体200との離間距離と、無人移動体200で収音される声の音圧との関係を示すテーブルを参照して、会話者が発する声の音圧と、関係者が発する声の音圧とをそれぞれ音量として推定してもよい。このテーブルは、記憶部230に予め記憶されていてもよい。
そして、無人移動体200は、会話者及び関係者のうち音量が小さい方に対して近い収音位置に移動して収音を行うことにより、会話者及び関係者のうち音量が小さい方からも適切に収音を行うことができる。
収音位置の決定方法に関して、図51~図66を用いて説明された複数の決定方法のうちのいずれか一つが用いられてもよいし、これらの決定方法のうちの任意の二以上の組み合わせが用いられてもよい。続いて、無人移動体200の移動等に関する複数の例を説明する。
図67は、無人移動体200が収音位置へ移動する例を示す概念図である。例えば、無人移動体200は、会話者に対して収音を行いながら収音位置へ移動する場合、移動中において会話者が収音範囲から外れないように、収音位置へ移動する。これにより、無人移動体200は、継続的に会話者から収音を行うことができる。
具体的には、この場合、無人移動体200は、指向性マイクロフォン208の指向方向を会話者へ向けながら収音位置へ移動する。また、無人移動体200は、会話者から所定距離内で移動する。この所定距離は、収音方向における収音範囲の長さに対応する。無人移動体200は、会話者から所定距離内の移動経路を作成して、作成された移動経路に沿って収音位置へ移動してもよい。これにより、無人移動体200は、移動中において会話者が収音範囲から外れないように、収音位置へ移動することができる。
また、無人移動体200は、移動中において、会話者から収音される音の音圧が一定に維持されるように、無人移動体200と会話者との間の距離に従って、収音感度を変更してもよい。例えば、無人移動体200は、会話者から遠ざかる場合、収音感度を上げながら移動してもよい。逆に、無人移動体200は、会話者へ近づく場合、収音感度を下げながら移動してもよい。
なお、無人移動体200は、収音の途中に関係者が会話を行いながら収音範囲に入ることで断片化された会話の収音が行われないよう、会話が途切れた時等に移動を行ってもよい。
図68は、無人移動体200が正面側を通って収音位置へ移動する例を示す概念図である。例えば、無人移動体200は、会話者の正面側を通って、収音位置へ移動する。会話者の正面側は、会話者の視界範囲に対応する。会話者の視界範囲から無人移動体200が外れた場合、会話者が無人移動体200と会話を行うことが困難になる。無人移動体200は、会話者の正面側を通って収音位置へ移動することにより、移動中において円滑な会話を会話者へ提供することができる。
具体的には、無人移動体200は、画像認識処理によって、会話者の正面側を検知することにより、会話者の視界範囲を特定してもよい。そして、無人移動体200は、特定された視界範囲内の移動経路を作成して、作成された移動経路に沿って収音位置へ移動してもよい。
また、上記の説明では、無人移動体200は会話者の正面側を通って収音位置へ移動しているが、無人移動体200は会話者及び関係者の正面側を通って収音位置へ移動してもよい。これにより、無人移動体200は、円滑な会話を関係者にも提供することができる。
図69は、無人移動体200が収音範囲を変更する例を示す概念図である。無人移動体200は、会話者及び関係者が収音範囲に含まれるように、収音範囲を調整してもよい。具体的には、無人移動体200は、指向性マイクロフォン208の収音感度を調整することにより、収音範囲を調整してもよい。
また、図69の上側の例のように、無人移動体200は、会話者以外の人が関係者である確度が中程度であると判定された場合、会話者及び会話者以外の人が収音方向に入る収音位置に移動する。そして、無人移動体200は、会話者から音が収音され、会話者以外の人から音が収音されないように、指向性マイクロフォン208の収音感度を調整する。つまり、無人移動体200は、指向性マイクロフォン208の収音感度を低くする。
そして、図69の下側の例のように、無人移動体200は、会話者以外の人が関係者である確度が高いと判定された場合、会話者以外の人から音が収音されるように、指向性マイクロフォン208の収音感度を調整する。つまり、無人移動体200は、指向性マイクロフォン208の収音感度を高くする。
これにより、無人移動体200は、会話者以外の人が関係者である確度が上昇した場合に、移動なしで即時に、会話者以外の人に対して収音を行うことができる。なお、無人移動体200は、収音感度を高くせずに、収音方向に移動してもよい。これにより、無人移動体200は、収音感度を大きくすることに伴う消費電力の増加を抑制することができる。
図70は、移動と収音範囲の変更との選択的動作の例を示す概念図である。無人移動体200は、会話者と関係者とが共に収音方向に存在する場合、収音範囲を拡大するか、収音方向に移動するかを選択することができる。つまり、無人移動体200は、収音範囲を拡大することにより、会話者と関係者とを収音範囲に含めることもできるし、収音方向に移動することにより、会話者と関係者とを収音範囲に含めることもできる。
ただし、無人移動体200は、収音範囲を拡大する場合、収音感度を大きくする。これにより、消費電力が大きくなると想定される。したがって、無人移動体200は、収音範囲を拡大することよりも、収音方向に移動することを優先してもよい。
また、無人移動体200は、会話者に近すぎる場合、会話者に接触する可能性がある。また、無人移動体200は、会話者に近すぎる場合、会話者から収音される音が大きすぎる場合がある。したがって、無人移動体200は、可能な範囲で会話者に最も近くまで、収音方向に移動してもよい。その状態において、関係者が収音範囲に含まれない場合、無人移動体200は、収音範囲を拡大してもよい。これにより、無人移動体200は、会話者及び関係者に対して適切に収音を行うことができる。
図71は、関係者が収音範囲から外れた場合の例を示す概念図である。例えば、関係者が収音範囲から外れた場合、より具体的には、関係者が自ら収音範囲から離れて出て行った場合、その関係者は、無人移動体200と会話を行う意思を有していないと想定される。
したがって、例えば、上記の場合、無人移動体200は、その関係者を収音範囲に含めるための収音位置に移動しない。これにより、無人移動体200は、無駄な移動に伴う消費電力を抑制することができ、また、その関係者に対する不要な収音を抑制することができる。
ただし、関係者が、無人移動体200と会話を行う意思を有しつつ、移動する可能性もある。例えば、関係者が収音範囲からあまり離れていない状態が所定時間以上続いた場合、関係者が無人移動体200と会話を行う意思を有している可能性がある。そこで、関係者が収音範囲からあまり離れていない状態が所定時間以上続いた場合、無人移動体200は、その関係者を収音範囲に含めるための移動を行ってもよい。
なお、関係者が収音範囲からあまり離れていない状態は、例えば、関係者が収音範囲内に存在せず、かつ、関係者が収音範囲の周辺の所定範囲内に存在する状態である。
図72は、別の人が収音範囲に入った場合の例を示す概念図である。無人移動体200は、会話者に対して収音を行っている間に、会話者とは別の人が収音範囲又は収音方向に入ってきた場合、その別の人が収音範囲又は収音方向から外れるように、移動してもよい。例えば、無人移動体200は、画像認識処理によって、別の人が収音範囲又は収音方向に入ったことが検知された場合、別の人が収音範囲又は収音方向から外れるように、収音位置を変更し、変更された収音位置へ移動してもよい。
また、無人移動体200は、指向性マイクロフォン208によって別の人の声が収音されたことを検知したタイミングで、その別の人が収音範囲又は収音方向から外れるように、収音位置を変更し、変更された収音位置へ移動してもよい。
例えば、収音範囲又は収音方向に存在する別の人が声を発していない場合等では、別の人の声が収音されない。このような場合、別の人の影響が生じないため、無人移動体200は、移動しなくてもよい。そして、別の人の声が収音され、別の人の影響が生じた場合に、無人移動体200は、別の人が収音範囲又は収音方向から外れるように、移動してもよい。
また、無人移動体200は、別の人が関係者であるか否かを判定し、別の人が関係者でないと判定された場合に、別の人が収音範囲又は収音方向から外れるように、収音位置を変更してもよい。
また、無人移動体200は、会話者及び関係者に対して収音を行っている間に、会話者及び関係者とは別の人が収音範囲又は収音方向に入ってきた場合、その別の人が収音範囲又は収音方向から外れるように、移動してもよい。
図73は、グループが収音範囲に入った場合の例を示す概念図である。会話者とは別の複数の人で構成されるグループは、グループ内で会話を行っている可能性がある。そのため、グループが収音範囲又は収音方向に入ってきた場合、無人移動体200は、グループ内の会話が収音されないように移動してもよい。つまり、この場合、無人移動体200は、収音範囲又は収音方向に入ってきたグループが収音範囲又は収音方向から外れるように、移動してもよい。
例えば、無人移動体200は、画像認識処理によって、グループが収音範囲又は収音方向に入ったことが検知された場合、グループが収音範囲又は収音方向から外れるように、収音位置を変更し、変更された収音位置へ移動してもよい。
また、無人移動体200は、会話者以外の人が会話者の関係者であるか否かの基準を用いて、会話者とは別の複数の人がグループを構成するか否かを判定してもよい。つまり、無人移動体200は、実施の形態1において図13~図23を用いて説明された基準を用いて、複数の人が互いに関連するようなグループを構成するか否かを判定してもよい。
また、無人移動体200は、会話者及び関係者に対して収音を行っている間に、会話者及び関係者とは別の複数の人で構成されるグループが収音範囲又は収音方向に入ってきた場合、そのグループが収音範囲又は収音方向から外れるように、移動してもよい。
図74は、関係者が収音範囲に入った場合の例を示す概念図である。例えば、実施の形態1において、無人移動体100が出音位置に移動することで関係者が出音範囲に入った場合、無人移動体100が行う出音によって無人移動体100から関係者へ音が届くため、関係者が出音範囲に入ったことを関係者が認識することは容易である。一方、本実施の形態において、無人移動体200が収音位置に移動することで関係者が収音範囲に入った場合、関係者が収音範囲に入ったことを関係者が認識することは容易ではない。
そこで、無人移動体200は、無人移動体200が収音位置に移動することで関係者が収音範囲に入った場合、関係者が収音範囲に入ったことを関係者へ通知してもよい。
例えば、無人移動体200は、指向性スピーカ207を用いて、「収音範囲に入りました」というメッセージの出音を行ってもよい。つまり、無人移動体200は、音によって通知を行ってもよい。あるいは、無人移動体200は、通知のためのLEDを搭載していてもよい。そして、無人移動体200は、LEDによって通知を行ってもよい。あるいは、無人移動体200は、通信部210によって、関係者が収音範囲に入ったことを示す情報を関係者の携帯端末へ送信することにより、通知を行ってもよい。
上述したように、本実施の形態における無人移動体200は、指向性マイクロフォン208及びプロセッサ250を備える。指向性マイクロフォン208は、指向方向から音を収音する。プロセッサ250は、指向性マイクロフォン208から取得されるデータを含む一以上のセンシングデータを取得する。
そして、プロセッサ250は、一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定する。プロセッサ250は、第二対象が存在すると判定した場合に、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係を算出する。
そして、プロセッサ250は、指向性マイクロフォン208により所定の品質以上で音が収音される範囲内に第一対象と第二対象とを含ませる、無人移動体200の第一位置を位置関係に従って決定し、第一位置へ無人移動体200を移動させる。
これにより、無人移動体200は、第一対象及び第二対象へ適切に収音を行うことができる。すなわち、無人移動体200は、収音を複数の対象に対して一体的に行うことができる。
なお、上記の説明では、可変の収音範囲が用いられているが、固定の収音範囲が用いられてもよい。つまり、収音感度は、固定されていてもよい。また、指向性マイクロフォン208の代わりに、無指向性マイクロフォンが用いられてもよい。このような構成でも、適切な収音位置に移動することにより、複数の対象に対して適切に収音が行われ得る。
(実施の形態3)
実施の形態1は、主に出音に関連する。実施の形態2は、主に収音に関連する。本実施の形態は、出音及び収音の両方に関連する。実施の形態1に示された構成及び動作、並びに、実施の形態2に示された構成及び動作は、本実施の形態にも適用され得る。以下、出音及び収音の両方に関連する構成及び動作を説明する。
図75は、本実施の形態における無人移動体の基本的な構成例を示すブロック図である。図75において、指向性スピーカ307、指向性マイクロフォン308及びプロセッサ350を備える無人移動体300が示されている。
無人移動体300は、移動する装置である。例えば、無人移動体300は、自律的に移動又は静止する。無人移動体300は、操作を受けた場合に、操作に従って移動してもよい。また、無人移動体300は、典型的には無人飛行体であるが、無人飛行体に限られず、面上を走行する装置であってもよい。無人移動体300は、空中又は面上を移動するためのモータ及びアクチュエータ等の移動機構を備えていてもよい。
また、無人移動体300は、一以上のセンサを備えていてもよい。例えば、無人移動体300は、イメージセンサを備えていてもよいし、測距センサを備えていてもよいし、指向性マイクロフォン308又は他のマイクロフォンを音センサとして備えていてもよいし、人検知センサを備えていてもよいし、位置検知器を位置センサとして備えてもよい。
指向性スピーカ307は、指向方向へ出音を行うスピーカである。指向性スピーカ307の指向方向が調整可能であってもよいし、指向性スピーカ307が出す音の音圧が調整可能であってもよい。指向性スピーカ307の指向方向は、出音方向とも表現され得る。
指向性マイクロフォン308は、指向方向から収音を行うマイクロフォンである。指向性マイクロフォン308の指向方向が調整可能であってもよいし、指向性マイクロフォン308の収音感度が調整可能であってもよい。指向性マイクロフォン308の指向方向は、収音方向とも表現され得る。
プロセッサ350は、情報処理を行う回路で構成される。例えば、プロセッサ350は、無人移動体300の移動を制御してもよい。具体的には、プロセッサ350は、空中又は面上を移動するためのモータ及びアクチュエータ等の移動機構の動作を制御することにより、無人移動体300の移動を制御してもよい。
また、プロセッサ350は、指向性スピーカ307に対して制御信号を送ることにより、指向性スピーカ307の指向方向を調整してもよいし、指向性スピーカ307が出す音の音圧を調整してもよい。また、プロセッサ350は、無人移動体300の向きを調整することにより、指向性スピーカ307の指向方向を調整してもよい。
また、プロセッサ350は、指向性マイクロフォン308に対して制御信号を送ることにより、指向性マイクロフォン308の指向方向を調整してもよいし、指向性マイクロフォン308の収音感度を調整してもよい。また、プロセッサ350は、無人移動体300の向きを調整することにより、指向性マイクロフォン308の指向方向を調整してもよい。
図76は、図75に示された無人移動体300の基本的な動作例を示すフローチャートである。主に、無人移動体300におけるプロセッサ350が、図76に示された動作を行う。
まず、プロセッサ350は、一以上のセンシングデータを取得する(S301)。プロセッサ350は、無人移動体300の内部の一以上のセンサから一以上のセンシングデータを取得してもよいし、無人移動体300の外部の一以上のセンサから一以上のセンシングデータを取得してもよい。また、プロセッサ350は、無人移動体300の内部の一以上のセンサ、及び、無人移動体300の外部の一以上のセンサから、複数のセンシングデータを取得してもよい。
例えば、無人移動体300の外部の一以上のセンサとして、イメージセンサ、測距センサ、マイクロフォン、人検知センサ、又は、位置検知器等が用いられてもよい。
そして、プロセッサ350は、取得された一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定する(S302)。例えば、第一対象は会話者であり、第二対象は会話者に関連する関係者である。ただし、第一対象及び第二対象のそれぞれは、人に限られず、動物であってもよいし、装置であってもよい。
そして、第一対象の周辺に第二対象が存在すると判定された場合、プロセッサ350は、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係を算出する(S303)。つまり、プロセッサ350は、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係を導出する。
例えば、位置関係は、第一対象及び第二対象に関連する位置及び距離のうち少なくとも一つを含む。位置関係は、第一対象及び第二対象のそれぞれの位置を含んでいてもよいし、第一対象と第二対象との間の距離を含んでいてもよい。
具体的には、プロセッサ350は、イメージセンサから取得された画像データを用いて、第一対象の位置、第二対象の位置、及び、第一対象と第二対象との間の距離等を算出してもよい。また、プロセッサ350は、測距センサから取得された測距データを用いて、無人移動体300と第一対象との間の距離、無人移動体300と第二対象との間の距離、及び、第一対象と第二対象との間の距離等を算出してもよい。
そして、プロセッサ350は、算出された位置関係に従って第一位置を決定する。第一位置は、指向性スピーカ307により所定の品質以上で音が届く範囲内、かつ、指向性マイクロフォン308により所定の品質以上で音が収音される範囲内に第一対象と第二対象とが含まれるような無人移動体300の位置である。そして、プロセッサ350は、決定された第一位置へ無人移動体300を移動させる(S304)。
これにより、無人移動体300は、第一対象及び第二対象に対して適切に出音及び収音を行うことができる。すなわち、無人移動体300は、出音及び収音を複数の対象に対して一体的に行うことができる。
以下、図77~図81を用いて、より具体的な例を説明する。以下の例において、無人移動体300は、ドローンとも呼ばれる無人飛行体である。第一対象は会話者に対応し、関係者は第二対象に対応する。
図77は、出音範囲と収音範囲との例を示す概念図である。本実施の形態における出音範囲は、実施の形態1における出音範囲と同じように定められ、本実施の形態における収音範囲は、実施の形態2における収音範囲と同じように定められる。
無人移動体300と人とが相互に会話を行うため、無人移動体300は、指向性スピーカ307によりその人へ音が届き、かつ、指向性マイクロフォン308によりその人から音が収音される会話位置に移動する。具体的には、無人移動体300は、出音範囲と収音範囲との重複範囲に従って、会話位置を決定する。
例えば、無人移動体300は、出音範囲と収音範囲との重複範囲に会話者が含まれるように、会話位置を決定する。また、例えば、会話者の周辺に会話者の関係者が存在する場合、無人移動体300は、出音範囲と収音範囲との重複範囲に会話者及び関係者が含まれるように、会話位置を決定する。この動作は、実施の形態1において会話者等が出音範囲に含まれるように、出音位置を決定する動作、及び、実施の形態2において会話者等が収音範囲に含まれるように、収音位置を決定する動作と同じように行われる。
そして、無人移動体300は、出音範囲と収音範囲との重複範囲に従って決定された会話位置に移動する。
図78は、出音範囲と収音範囲とが重複しない範囲から音が収音される例を示す概念図である。出音範囲と収音範囲とは、部分的に重複する場合がある。つまり、出音範囲の一部と収音範囲の一部とが重複し、出音範囲の他部と収音範囲の他部とが重複しない場合がある。そして、人が出音範囲と収音範囲とのうち一方のみの範囲内に存在している場合がある。例えば、無人移動体300は、出音範囲と収音範囲とのうち一方のみの範囲内に存在している人と会話を行わないように、動作してもよい。
具体的には、図78のように、人が収音範囲内かつ出音範囲外に存在している場合がある。この場合、無人移動体300において、その人から音が収音されるが、無人移動体300から、その人へ音は届かない。そこで、例えば、無人移動体300は、収音された音が、出音範囲と収音範囲との重複範囲とは異なる場所から収音された音であると判定された場合、収音された音を無視してもよい。つまり、無人移動体300は、この人から収音された音に対する応答処理をスキップしてもよい。
また、例えば、無人移動体300は、画像認識処理又は音声認識処理等によって、収音範囲内かつ出音範囲外に存在している人を検知してもよい。そして、無人移動体300は、その人から収音される音を無視してもよい。
なお、上記の動作は、会話者とは異なる人であって、関係者であるか否かが不明な人に対して行われてもよい。あるいは、上記の動作は、会話者又は関係者である人に対して行われてもよい。
図79は、出音範囲と収音範囲とが重複しない範囲を調整する例を示す概念図である。無人移動体300は、出音範囲と収音範囲とのうち一方の範囲のみに人が入ることを抑制するため、出音範囲と収音範囲とが重複しない範囲を調整してもよい。
具体的には、無人移動体300は、出音範囲と収音範囲とのうち一方の範囲のみに人が入らないように、無人移動体300の向き、指向性スピーカ307の指向方向及び指向性マイクロフォン308の指向方向のうちの少なくとも一つを調整してもよい。あるいは、無人移動体300は、出音範囲と収音範囲とのうち一方の範囲のみに人が入らないように、指向性スピーカ307の指向幅及び指向性マイクロフォン308の指向幅のうちの少なくとも一つを狭めてもよい。
図80は、図75に示された無人移動体300の具体的な構成例を示すブロック図である。図80に示された無人移動体300は、GPS受信機301、ジャイロセンサ302、加速度センサ303、人検知センサ304、測距センサ305、イメージセンサ306、指向性スピーカ307、指向性マイクロフォン308、駆動部309、通信部310、制御部320、記憶部330、及び、電力供給部341を備える。
GPS受信機301は、位置を測定するためのGPS(Global Positioning System)を構成し、信号を受信することにより位置を取得する受信機である。例えば、GPS受信機301は、無人移動体300の位置を取得する。
ジャイロセンサ302は、無人移動体300の姿勢、つまり、無人移動体300の角度又は傾きを検知するセンサである。加速度センサ303は、無人移動体300の加速度を検知するセンサである。人検知センサ304は、無人移動体300の周辺の人を検知するセンサである。人検知センサ304は、赤外線センサであってもよい。
測距センサ305は、無人移動体300と対象との間の距離を測定するセンサであって測距データを生成する。イメージセンサ306は、撮像を行うセンサであり、撮像によって画像を生成する。イメージセンサ306は、カメラであってもよい。
指向性スピーカ307は、上述した通り、指向方向へ出音を行うスピーカである。指向性スピーカ307の指向方向が調整可能であってもよいし、指向性スピーカ307が出す音の音圧が調整可能であってもよい。指向性マイクロフォン308は、上述した通り、指向方向から収音を行うマイクロフォンである。指向性マイクロフォン308の指向方向が調整可能であってもよいし、指向性マイクロフォン308の収音感度が調整可能であってもよい。
駆動部309は、無人移動体300を移動させるモータ及びアクチュエータ等である。通信部310は、無人移動体300の外部の装置と通信を行う通信器である。通信部310は、無人移動体300の移動のための操作信号を受けてもよい。また、通信部310は、会話の内容を送受信してもよい。
制御部320は、図75に示されたプロセッサ350に対応し、情報処理を行う回路で構成される。具体的には、この例において、制御部320は、人検知部321、関係者判定部322、範囲決定部323、会話位置決定部324、会話制御部325、及び、移動制御部326を備える。すなわち、プロセッサ350は、これらの役割を果たしてもよい。
人検知部321は、無人移動体300の周辺に存在する人を検知する。人検知部321は、人検知センサ304又は他のセンサから得られるセンシングデータに従って、無人移動体300の周辺に存在する人を検知する。
関係者判定部322は、人検知部321で検知された人が会話者に関連する関係者であるか否かを判定する。範囲決定部323は、会話者と関係者との位置関係に従って出音範囲及び収音範囲を決定する。会話位置決定部324は、出音範囲及び収音範囲に従って会話位置を決定する。会話制御部325は、指向性スピーカ307へ制御信号を送信することにより、指向性スピーカ307の出音を制御し、指向性マイクロフォン308へ制御信号を送信することにより、指向性マイクロフォン308の収音を制御する。
移動制御部326は、駆動部309へ制御信号を送信することにより、無人移動体300の移動を制御する。この例において、移動制御部326は、無人飛行体である無人移動体300の飛行を制御する。
記憶部330は、情報を記憶するためのメモリであり、制御プログラム331及び対応情報332を記憶している。制御プログラム331は、制御部320が行う情報処理のプログラムである。対応情報332は、指向性スピーカ307が出す音の音圧と、所定以上の品質で音が届く出音範囲との対応関係、及び、指向性マイクロフォン308の収音感度と、所定以上の品質で音が収音される収音範囲との対応関係を示す情報である。
電力供給部341は、無人移動体300に含まれる複数の構成要素に対して電力を供給する回路である。例えば、電力供給部341は、電源を含む。
図81は、図80に示された無人移動体300の具体的な動作例を示すフローチャートである。例えば、図80に示された無人移動体300における複数の構成要素が連携して図81に示された動作を行う。
まず、無人移動体300は、会話者と会話を行うための会話位置に移動する(S311)。例えば、会話位置は、会話者の位置から会話者が発する声が届き、かつ、無人移動体300が発する音が届く位置である。つまり、無人移動体300は、出音範囲と収音範囲との重複範囲に会話者を含ませる会話位置に移動する。会話者は、事前に決定されていてもよい。無人移動体300は、飛行中に会話者を決定してもよい。
例えば、無人移動体300において、人検知部321が、人検知センサ304又はイメージセンサ306等から得られるセンシングデータに従って、会話者を検知する。そして、移動制御部326は、駆動部309を介して、会話者から所定範囲内の会話位置へ無人移動体300を移動させる。
そして、無人移動体300は、会話を開始する(S312)。つまり、無人移動体300は、出音及び収音の少なくとも一方を開始する。具体的には、会話制御部325は、指向性マイクロフォン308に収音を開始させてもよいし、指向性スピーカ307に出音を開始させてもよい。
そして、無人移動体300は、会話者の周辺をセンシングする(S313)。例えば、人検知部321は、人検知センサ304又はイメージセンサ306等に、会話者の周辺をセンシングさせることにより、会話者の周辺の人を検知する。この検知には、人を検知するための任意のセンサが用いられ得る。また、会話者の周辺は、例えば、会話者から所定範囲内の領域に対応する。
そして、無人移動体300は、会話者以外の人が検知されたか否かを判定する(S314)。例えば、人検知部321は、会話者の周辺において、会話者以外の人が検知されたか否かを判定する。会話者以外の人が検知されなかった場合(S314でNo)、無人移動体300は、会話者の周辺のセンシング(S313)を繰り返す。
会話者以外の人が検知された場合(S314でYes)、無人移動体300は、検知された人が会話者の関係者であるか否かを判定する(S315)。例えば、関係者判定部322が、会話者と関係者との距離が閾値以内であるか否かに従って、検知された人が関係者であるか否かを判定してもよいし、グルーピング等に関するその他の判定基準に従って、検知された人が関係者であるか否かを判定してもよい。この判定は、実施の形態1において説明された判定と同じである。
検知された人が関係者でない場合(S315でNo)、無人移動体300は、会話者の周辺のセンシング(S313)を繰り返す。
検知された人が関係者である場合(S315でYes)、無人移動体300は、会話者と関係者との間の離間距離を測定する(S316)。例えば、範囲決定部323は、センシングデータに従って検知された会話者の位置と、センシングデータに従って検知された関係者の位置との間の距離を算出することにより、会話者と関係者との離間距離を測定してもよい。
そして、無人移動体300は、会話者と関係者との離間距離に従って、出音範囲及び収音範囲を決定する(S317)。例えば、範囲決定部323は、測定された離間距離に従って、出音範囲及び収音範囲を決定する。その際、範囲決定部323は、測定された離間距離が大きいほど、出音範囲及び収音範囲を大きくする。
また、出音範囲は、例えば、無人移動体300を基準に用いて相対的に定められる範囲であり、指向性スピーカ307により所定品質以上で音が届く範囲である。収音範囲は、例えば、無人移動体300を基準に用いて相対的に定められる範囲であり、指向性マイクロフォン308により所定品質以上で音が収音される範囲である。所定品質以上は、所定範囲内の音圧に対応していてもよいし、所定範囲内のSN比(信号対雑音比)に対応していてもよい。
そして、無人移動体300は、会話者の位置、関係者の位置、出音範囲、及び、収音範囲に従って、新たな会話位置を決定する(S318)。例えば、会話位置決定部324は、出音範囲と収音範囲との重複範囲に、検知された会話者の位置、及び、検知された関係者の位置が含まれるように、新たな会話位置を決定する。
そして、無人移動体300は、新たな会話位置に移動する(S319)。例えば、移動制御部326は、駆動部309の動作を制御することにより、無人移動体300を新たな会話位置に移動させる。また、会話制御部325は、出音範囲に所定品質以上で音が届くように、指向性スピーカ307の出音を制御してもよい。また、会話制御部325は、収音範囲から所定品質以上で音が収音されるように、指向性マイクロフォン308の収音を制御してもよい。
これにより、無人移動体300は、会話者及び関係者に対して適切に出音及び収音を行うことができる。
なお、上記の例では、無人移動体300は、会話者と会話を開始した後(S312の後)に、会話者及び関係者に対する新たな会話位置に移動するための処理(S313~S319)を行っている。しかし、無人移動体300は、会話者と会話を開始する前に、会話者及び関係者に対する新たな会話位置に移動するための処理を行ってもよい。
また、上記の例では、検知された人が関係者でない場合(S315でNo)、無人移動体300は、会話者の周辺のセンシング(S313)を繰り返す。しかし、無人移動体300は、関係者でない人に対して出音及び収音を行わないように、会話位置を修正してもよい。つまり、無人移動体300における会話位置決定部324は、関係者でない人が出音範囲にも収音範囲にも含まれないように、会話位置を修正してもよい。
また、会話位置決定部324は、関係者でない人が出音方向からも収音方向からも外れるように、会話位置を修正してもよい。これにより、関係者でない人が移動した場合に出音範囲又は収音範囲に入る可能性が抑制される。
また、出音範囲及び収音範囲が固定である場合、無人移動体300は、会話者と関係者との離間距離が出音範囲と収音範囲との重複範囲内に入るか否かを判定してもよい。そして、無人移動体300は、離間距離が重複範囲内に入る場合に、新たな会話位置を決定して、決定された新たな会話位置に移動してもよい。無人移動体300は、離間距離が重複範囲内に入らない場合に、移動しなくてもよい。
また、上述した通り、実施の形態1に示された構成及び動作、並びに、実施の形態2に示された構成及び動作は、本実施の形態にも適用され得る。
以上、無人移動体の態様を実施の形態等に基づいて説明したが、無人移動体の態様は、実施の形態等に限定されない。実施の形態等に対して当業者が思いつく変形が施されてもよいし、実施の形態等における複数の構成要素が任意に組み合わされてもよい。例えば、実施の形態等において特定の構成要素によって実行される処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
また、上記の説明における会話は、単方向の会話であってもよいし、双方向の会話であってもよい。また、無人移動体は、指向性スピーカ及び指向性マイクロフォンの指向方向が会話者及び関係者に向くように、指向性スピーカ及び指向性マイクロフォンの指向方向を制御する。
また、上記の説明では、会話者及び関係者に対して出音及び収音が行われている。しかし、一人のみに対して出音及び収音を行うことが予め定められている場合、又は、一人のみに対して出音及び収音を行うことが動作モードの切り替えにより指定されている場合、一人のみに対して出音及び収音が行われてもよい。つまり、関係者の判定を行わずに、会話者に対して出音及び収音が行われてもよい。
そして、会話者以外の人に対して出音及び収音が行われないように、位置が定められてもよい。具体的には、図35~図37及び図62~図64における非関係者と同じように、会話者以外の人に対して出音及び収音が行われないように、位置が定められてもよい。
また、無人移動体の各構成要素が行うステップを含む情報処理方法が任意の装置又はシステムによって実行されてもよい。つまり、この情報処理方法は、無人移動体によって実行されてもよいし、他の装置又はシステムによって実行されてもよい。
例えば、上記の情報処理方法は、プロセッサ、メモリおよび入出力回路等を備えるコンピュータによって実行されてもよい。その際、コンピュータに情報処理方法を実行させるためのプログラムがコンピュータによって実行されることにより、情報処理方法が実行されてもよい。また、非一時的なコンピュータ読み取り可能な記録媒体に、プログラムが記録されていてもよい。
例えば、上記のプログラムは、コンピュータに、一以上のセンシングデータを取得し、前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、無人移動体が備える指向性スピーカにより所定の品質以上で音が届く範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させる、情報処理方法を実行させる。
また、例えば、上記のプログラムは、コンピュータに、一以上のセンシングデータを取得し、前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、無人移動体が備える指向性マイクロフォンにより所定の品質以上で音が収音される範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させる、情報処理方法を実行させる。
また、無人移動体の複数の構成要素は、専用のハードウェアで構成されてもよいし、上記のプログラム等を実行する汎用のハードウェアで構成されてもよいし、これらの組み合わせで構成されてもよい。また、汎用のハードウェアは、プログラムが記憶されたメモリ、及び、メモリからプログラムを読み出して実行する汎用のプロセッサ等で構成されてもよい。ここで、メモリは、半導体メモリ又はハードディスク等でもよいし、汎用のプロセッサは、CPU等でもよい。
また、専用のハードウェアが、メモリ及び専用のプロセッサ等で構成されてもよい。例えば、専用のプロセッサが、メモリを参照して、上記の情報処理方法を実行してもよい。
また、無人移動体の各構成要素は、電気回路であってもよい。これらの電気回路は、全体として1つの電気回路を構成してもよいし、それぞれ別々の電気回路であってもよい。また、これらの電気回路は、専用のハードウェアに対応していてもよいし、上記のプログラム等を実行する汎用のハードウェアに対応していてもよい。
以下、本開示の一態様における無人移動体の基本的な構成及び代表的な変形例等を示す。これらは、互いに組み合わされてもよいし、上記の実施の形態等の一部と組み合わされてもよい。
(1)例えば、本開示の一態様における無人移動体(100、200、300)は、指向性スピーカ(107、207、307)と、プロセッサ(150、250、350)とを備える。指向性スピーカ(107、207、307)は、指向方向へ音を出力する。
プロセッサ(150、250、350)は、一以上のセンシングデータを取得する。また、プロセッサ(150、250、350)は、一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定する。また、プロセッサ(150、250、350)は、第二対象が存在すると判定した場合に、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係を算出する。
また、プロセッサ(150、250、350)は、位置関係に従って第一位置を決定する。ここで、第一位置は、指向性スピーカ(107、207、307)により所定の品質以上で音が届く範囲内に第一対象と第二対象とを含ませる、無人移動体(100、200、300)の位置である。そして、プロセッサ(150、250、350)は、第一位置へ無人移動体(100、200、300)を移動させる。
これにより、無人移動体(100、200、300)は、第一対象及び第二対象へ適切に出音を行うことができる。すなわち、無人移動体(100、200、300)は、出音を複数の対象に対して一体的に行うことができる。
(2)例えば、本開示の一態様における無人移動体(100、200、300)は、指向性マイクロフォン(108、208、308)と、プロセッサ(150、250、350)とを備える。指向性マイクロフォン(108、208、308)は、指向方向から音を収音する。
プロセッサ(150、250、350)は、指向性マイクロフォン(108、208、308)から取得されるデータを含む一以上のセンシングデータを取得する。また、プロセッサ(150、250、350)は、一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定する。また、プロセッサ(150、250、350)は、第二対象が存在すると判定した場合に、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係を算出する。
また、プロセッサ(150、250、350)は、位置関係に従って第一位置を決定する。ここで、第一位置は、指向性マイクロフォン(108、208、308)により所定の品質以上で音が収音される範囲内に第一対象と第二対象とを含ませる、無人移動体(100、200、300)の位置である。そして、プロセッサ(150、250、350)は、第一位置へ無人移動体(100、200、300)を移動させる。
これにより、無人移動体(100、200、300)は、第一対象及び第二対象から適切に収音を行うことができる。すなわち、無人移動体(100、200、300)は、収音を複数の対象に対して一体的に行うことができる。
(3)例えば、プロセッサ(150、250、350)は、位置関係に従って範囲を調整し、調整された範囲に従って第一位置を決定する。ここで、範囲は、指向性スピーカ(107、207、307)により所定の品質以上で音が届く範囲、及び、指向性マイクロフォン(108、208、308)により所定の品質以上で音が収音される範囲のうち少なくとも一方である。
これにより、無人移動体(100、200、300)は、位置関係に従って出音又は収音の範囲を適切に調整することができ、調整された範囲に複数の対象を適切に含めることができる。
(4)例えば、第一位置は、第一対象及び第二対象の正面側の位置である。これにより、無人移動体(100、200、300)は、複数の対象と会話を行うための適切な位置に移動することができる。
(5)例えば、プロセッサ(150、250、350)は、一以上のセンシングデータのうちの少なくとも一つに従って、第一対象の身体情報及び第二対象の身体情報を取得する。そして、プロセッサ(150、250、350)は、第一対象の身体情報及び第二対象の身体情報に従って第一位置を決定する。これにより、無人移動体(100、200、300)は、第一対象の身体情報及び第二対象の身体情報に対して適切な位置に移動することができる。
(6)例えば、プロセッサ(150、250、350)は、一以上のセンシングデータのうちの少なくとも一つに従って、第一対象の年齢及び第二対象の少なくとも一方の年齢を推定する。そして、プロセッサ(150、250、350)は、第一対象及び第二対象の少なくとも一方の年齢に従って第一位置を決定する。
これにより、無人移動体(100、200、300)は、能力が低いと想定される対象に近い位置へ移動することができ、複数の対象に対して出音又は収音を適切に行うことができる。
(7)例えば、プロセッサ(150、250、350)は、第一対象及び第二対象と関連のない第三対象を範囲内に含ませない第一位置を決定する。これにより、無人移動体(100、200、300)は、関連のない第三対象に対して出音又は収音を行うことを抑制することができる。
(8)例えば、プロセッサ(150、250、350)は、一以上のセンシングデータのうちの少なくとも一つに従って、障害物の位置を検知し、障害物の位置に従って、第一位置を決定する。これにより、無人移動体(100、200、300)は、複数の対象に対して出音又は収音を行うための位置を障害物の位置に従って適切に決定することができる。そして、無人移動体(100、200、300)は、例えば、障害物を用いて、関連のない第三対象に対して出音又は収音を行うことを抑制することができる。
(9)例えば、プロセッサ(150、250、350)は、第一対象に対して出音又は収音が行われている期間に第二対象が存在すると判定した場合、第一対象が範囲に含まれる状態で第一位置へ無人移動体(100、200、300)を移動させる。これにより、無人移動体(100、200、300)は、第一対象との会話を継続しながら、第一対象及び第二対象との会話を行うための適切な位置に移動することができる。
(10)例えば、プロセッサ(150、250、350)は、第一対象に対して出音又は収音が行われている期間に第二対象が存在すると判定した場合、第一対象の正面側を通って第一位置へ無人移動体(100、200、300)を移動させる。これにより、無人移動体(100、200、300)は、第一対象と会話を行うための適切な領域を通って、第一対象及び第二対象との会話を行うための適切な位置に移動することができる。
(11)例えば、プロセッサ(150、250、350)は、第一対象に対して出音又は収音が行われている期間に第二対象が存在すると判定した場合、第一対象に対して出音又は収音の品質を一定に維持しながら、第一位置へ無人移動体(100、200、300)を移動させる。
これにより、無人移動体(100、200、300)は、第一対象との会話を適切に継続しながら、第一対象及び第二対象との会話を行うための適切な位置に移動することができる。
(12)例えば、第二対象は、第一対象に関連する対象である。プロセッサ(150、250、350)は、一以上のセンシングデータのうちの少なくとも一つから、第一対象との関連を示す情報、及び、無人移動体(100、200、300)との関連を示す情報のうちの少なくとも一つを取得する。
そして、プロセッサ(150、250、350)は、第一対象との関連を示す情報、及び、無人移動体(100、200、300)との関連を示す情報のうちの少なくとも一つに従って、第一対象の周辺に存在する対象が第一対象に関連するか否かを判定することにより、第一対象の周辺に第二対象が存在するか否かを判定する。
これにより、無人移動体(100、200、300)は、第一対象に関連する第二対象が第一対象の周辺に存在するか否かを適切に判定することができる。
(13)例えば、プロセッサ(150、250、350)は、一以上のセンシングデータのうちの少なくとも一つに従って、第一対象が音を出す頻度及び第二対象が音を出す頻度を検知する。そして、プロセッサ(150、250、350)は、第一対象及び第二対象のうち音を出す頻度の低い方よりも第一対象及び第二対象のうち音を出す頻度の高い方に近い第一位置を決定する。
これにより、無人移動体(100、200、300)は、音を出す頻度の高い対象の近くに移動することができる。したがって、無人移動体(100、200、300)は、音を出す頻度の高い対象から適切に収音を行うことができる。
(14)例えば、プロセッサ(150、250、350)は、一以上のセンシングデータのうち少なくとも一つに従って、第一対象の音量及び第二対象の音量を検知する。そして、プロセッサ(150、250、350)は、第一対象及び第二対象のうち音量の大きい方よりも第一対象及び第二対象のうち音量の小さい方に近い第一位置を決定する。
これにより、無人移動体(100、200、300)は、音量の小さい対象の近くに移動することができる。したがって、無人移動体(100、200、300)は、音量の小さい対象から適切に収音を行うことができる。
(15)例えば、指向性スピーカ(107、207、307)と、プロセッサ(150、250、350)とを備える無人移動体(100、200、300)は、さらに、指向性マイクロフォン(108、208、308)とを備える。また、指向性スピーカ(107、207、307)により所定の品質以上で音が届く範囲は、さらに、指向性マイクロフォン(108、208、308)により所定の品質以上で音が収音される範囲である。
これにより、無人移動体(100、200、300)は、第一対象及び第二対象へ適切に出音を行うことができ、かつ、第一対象及び第二対象から適切に収音を行うことができる。
(16)例えば、プロセッサ(150、250、350)は、第一対象と無人移動体(100、200、300)との会話に応じて、無人移動体(100、200、300)の移動のタイミングを制御する。これにより、無人移動体(100、200、300)は、会話に応じた適切なタイミングで移動することができる。
(17)例えば、プロセッサ(150、250、350)は、第一対象に対して収音が行われている期間に、第一位置へ無人移動体(100、200、300)を移動させる。
これにより、無人移動体(100、200、300)は、第一対象が音を出しており、かつ、無人移動体(100、200、300)が出音を行っていないと想定される期間に移動することができる。したがって、無人移動体(100、200、300)は、出音の途中に、第二対象が出音の範囲に入ることを抑制することができ、出音の全体の内容を第二対象へ伝達することができる。
(18)例えば、プロセッサ(150、250、350)は、無人移動体(100、200、300)の移動の途中で第一対象から出される音が終わった場合、無人移動体(100、200、300)の移動が完了してから指向性スピーカ(107、207、307)に出音を開始させる。
これにより、無人移動体(100、200、300)は、第一対象及び第二対象に対して出音を行うための適切な位置に移動した後に、出音を開始することができる。したがって、無人移動体(100、200、300)は、出音の途中に、第二対象が出音の範囲に入ることを抑制することができ、出音の全体の内容を第二対象へ伝達することができる。
(19)例えば、プロセッサ(150、250、350)は、第一対象に対する出音又は収音が行われていない期間に、無人移動体(100、200、300)を移動させる。これにより、無人移動体(100、200、300)は、音の断片化を抑制することができ、まとまった単位で出音又は収音を行うことができる。また、無人移動体(100、200、300)は、移動に伴うノイズの混入を抑制することができる。
(20)例えば、一以上のセンシングデータは、イメージセンサによって生成された画像データを含む。プロセッサ(150、250、350)は、イメージセンサによって生成された画像データに従って第一対象及び第二対象の位置関係を取得する。これにより、無人移動体(100、200、300)は、画像データに従って第一対象及び第二対象の位置関係を適切に取得することができる。
(21)例えば、一以上のセンシングデータは、測距センサによって生成された測距データを含む。プロセッサ(150、250、350)は、測距センサによって生成された測距データに従って第一対象及び第二対象の位置関係を取得する。これにより、無人移動体(100、200、300)は、測距データに従って第一対象及び第二対象の位置関係を適切に取得することができる。
(22)例えば、位置関係は、第一対象と第二対象とに関連する距離及び位置のうち少なくとも一つを含む。これにより、無人移動体(100、200、300)は、第一対象及び第二対象に関連する距離又は位置に従って適切な位置へ移動することができる。
(23)例えば、本開示の一態様における情報処理方法では、一以上のセンシングデータが取得される(S101)。また、一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かが判定される(S102)。また、第二対象が存在すると判定された場合に、一以上のセンシングデータのうちの少なくとも一つから第一対象と第二対象との位置関係が算出される(S103)。
また、第一位置が位置関係に従って決定される。ここで、第一位置は、無人移動体(100、200、300)が備える指向性スピーカ(107、207、307)により所定の品質以上で音が届く範囲内に第一対象と第二対象とを含ませる、無人移動体(100、200、300)の位置である。そして、第一位置へ無人移動体(100、200、300)が移動させられる(S104)。
これにより、情報処理方法が行われることで、第一対象及び第二対象へ適切に出音が行われ得る。すなわち、出音が複数の対象に対して一体的に行われ得る。
(24)例えば、本開示の一態様におけるプログラムは、上記の情報処理方法をコンピュータに実行させるためのプログラムである。これにより、プログラムが実行されることで、第一対象及び第二対象へ適切に出音が行われ得る。すなわち、出音が複数の対象に対して一体的に行われ得る。
(25)例えば、本開示の一態様における情報処理方法では、一以上のセンシングデータが取得される(S201)。また、一以上のセンシングデータのうちの少なくとも一つから第一対象の周辺に第二対象が存在するか否かが判定される(S202)。また、第二対象が存在すると判定された場合に、一以上のセンシングデータのうちの少なくとも一つに従って第一対象と第二対象との位置関係が算出される(S203)。
また、第一位置が位置関係に従って決定される。ここで、第一位置は、無人移動体(100、200、300)が備える指向性マイクロフォン(108、208、308)により所定の品質以上で音が収音される範囲内に第一対象と第二対象とを含ませる、無人移動体(100、200、300)の位置である。そして、第一位置へ無人移動体(100、200、300)が移動させられる(S204)。
これにより、情報処理方法が行われることで、第一対象及び第二対象から適切に収音が行われ得る。すなわち、収音が複数の対象に対して一体的に行われ得る。
(26)例えば、本開示の一態様におけるプログラムは、上記の情報処理方法をコンピュータに実行させるためのプログラムである。これにより、プログラムが実行されることで、第一対象及び第二対象から適切に収音が行われ得る。すなわち、収音が複数の対象に対して一体的に行われ得る。
なお、上記の各実施の形態では、スピーカの出音範囲又はマイクロフォンの収音範囲に基づいて無人移動体の位置が決定されたが、スピーカのように対象に直接的に提示する提示装置であれば、他の提示装置が用いられてもよい。例えば、提示装置としてはディスプレイがある。つまり、音に限らず、光等の他の情報伝達媒体にも本開示は適用され得る。
本開示は、会話者と会話を行う無人移動体等に利用可能であり、案内システム及び見守りシステム等に適用可能である。
100、200、300 無人移動体
101、201、301 GPS受信機
102、202、302 ジャイロセンサ
103、203、303 加速度センサ
104、204、304 人検知センサ
105、205、305 測距センサ
106、206、306 イメージセンサ
107、207、307 指向性スピーカ
108、208、308 指向性マイクロフォン
109、209、309 駆動部
110、210、310 通信部
120、220、320 制御部
121、221、321 人検知部
122、222、322 関係者判定部
123 出音範囲決定部
124 出音位置決定部
125 出音制御部
126、226、326 移動制御部
130、230、330 記憶部
131、231、331 制御プログラム
132 音圧出音範囲対応情報
141、241、341 電力供給部
150、250、350 プロセッサ
223 収音範囲決定部
224 収音位置決定部
225 収音制御部
232 収音感度収音範囲対応情報
323 範囲決定部
324 会話位置決定部
325 会話制御部
332 対応情報

Claims (26)

  1. 無人移動体であって、
    指向方向へ指向幅で音を出力する指向性スピーカと、
    一以上のセンシングデータを取得するプロセッサと、を備え、
    前記プロセッサは、
    前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、
    前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、
    前記指向性スピーカにより所定の品質以上で音が届く範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させ、
    前記第一位置は、前記第一対象及び前記第二対象の間ではなく、前記第一対象及び前記第二対象の横側の位置であり、前記第一対象及び前記第二対象が前記指向方向の前記指向幅に含まれる、前記無人移動体の位置である、
    無人移動体。
  2. 無人移動体であって、
    指向方向から指向幅で音を収音する指向性マイクロフォンと、
    前記指向性マイクロフォンから取得されるデータを含む一以上のセンシングデータを取得するプロセッサと、を備え、
    前記プロセッサは、
    前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、
    前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、
    前記指向性マイクロフォンにより所定の品質以上で音が収音される範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させ、
    前記第一位置は、前記第一対象及び前記第二対象の間ではなく、前記第一対象及び前記第二対象の横側の位置であり、前記第一対象及び前記第二対象が前記指向方向の前記指向幅に含まれる、前記無人移動体の位置である、
    無人移動体。
  3. 前記プロセッサは、前記位置関係に従って前記範囲を調整し、調整された前記範囲に従って前記第一位置を決定する
    請求項1又は2に記載の無人移動体。
  4. 前記第一位置は、前記第一対象及び前記第二対象が前記指向方向の前記指向幅に含まれ、かつ、前記第一対象及び前記第二対象の真横の位置から前記第一対象及び前記第二対象の正面側に補正された位置である
    請求項1~3のいずれか1項に記載の無人移動体。
  5. 前記プロセッサは、
    前記一以上のセンシングデータのうちの少なくとも一つに従って、前記第一対象の身体情報及び前記第二対象の身体情報を取得し、
    前記第一対象の身体情報及び前記第二対象の身体情報に従って前記第一位置を決定する
    請求項1~4のいずれか1項に記載の無人移動体。
  6. 前記プロセッサは、
    前記一以上のセンシングデータのうちの少なくとも一つに従って、前記第一対象の年齢及び前記第二対象の少なくとも一方の年齢を推定し、
    前記第一対象及び前記第二対象の少なくとも一方の年齢にも従って前記第一位置を決定する
    請求項1~5のいずれか1項に記載の無人移動体。
  7. 前記プロセッサは、前記第一対象及び前記第二対象と関連のない第三対象を前記範囲内に含ませない前記第一位置を決定する
    請求項1~6のいずれか1項に記載の無人移動体。
  8. 前記プロセッサは、前記一以上のセンシングデータのうちの少なくとも一つに従って、障害物の位置を検知し、前記障害物の位置に従って、前記第一位置を決定する
    請求項7に記載の無人移動体。
  9. 前記プロセッサは、前記第一対象に対して出音又は収音が行われている期間に前記第二対象が存在すると判定した場合、前記第一対象が前記範囲に含まれる状態で前記第一位置へ前記無人移動体を移動させる
    請求項1~8のいずれか1項に記載の無人移動体。
  10. 前記プロセッサは、前記第一対象に対して出音又は収音が行われている期間に前記第二対象が存在すると判定した場合、前記第一対象の正面側を通って前記第一位置へ前記無人移動体を移動させる
    請求項1~9のいずれか1項に記載の無人移動体。
  11. 前記プロセッサは、前記第一対象に対して出音又は収音が行われている期間に前記第二対象が存在すると判定した場合、前記第一対象に対して出音又は収音の品質を一定に維持しながら、前記第一位置へ前記無人移動体を移動させる
    請求項1~10のいずれか1項に記載の無人移動体。
  12. 前記第二対象は、前記第一対象に関連する対象であり、
    前記プロセッサは、
    前記一以上のセンシングデータのうちの少なくとも一つから、前記第一対象との関連を示す情報、及び、前記無人移動体との関連を示す情報のうちの少なくとも一つを取得し、
    前記第一対象との関連を示す情報、及び、前記無人移動体との関連を示す情報のうちの少なくとも一つに従って、前記第一対象の周辺に存在する対象が前記第一対象に関連するか否かを判定することにより、前記第一対象の周辺に前記第二対象が存在するか否かを判定する
    請求項1~11のいずれか1項に記載の無人移動体。
  13. 前記プロセッサは、
    前記一以上のセンシングデータのうち少なくとも一つに従って、前記第一対象の音量及び前記第二対象の音量を検知し、
    前記第一対象及び前記第二対象のうち音量の大きい方よりも前記第一対象及び前記第二対象のうち音量の小さい方に近い前記第一位置を決定する
    請求項2に記載の無人移動体。
  14. 前記無人移動体は、さらに、指向性マイクロフォンを備え、
    前記範囲は、さらに、前記指向性マイクロフォンにより所定の品質以上で音が収音される範囲である
    請求項1に記載の無人移動体。
  15. 前記プロセッサは、前記第一対象と前記無人移動体との会話に従って、前記無人移動体の移動のタイミングを制御する
    請求項14に記載の無人移動体。
  16. 前記プロセッサは、前記第一対象に対して収音が行われている期間に、前記第一位置へ前記無人移動体を移動させる
    請求項15に記載の無人移動体。
  17. 前記プロセッサは、前記無人移動体の移動の途中で前記第一対象から出される音が終わった場合、前記無人移動体の移動が完了してから前記指向性スピーカに出音を開始させる
    請求項16に記載の無人移動体。
  18. 前記プロセッサは、前記第一対象に対する出音又は収音が行われていない期間に、前記無人移動体を移動させる
    請求項15に記載の無人移動体。
  19. 前記第一位置に位置する前記無人移動体の前記指向性スピーカにおいて、前記音の出音方向は、前記第一対象の位置と前記第二対象とが存在する場所の水平面と非平行であり、
    前記第一位置は、前記第一対象及び前記第二対象の斜め上方向に位置する
    請求項1に記載の無人移動体。
  20. 前記第一位置に位置する前記無人移動体の前記指向性マイクロフォンにおいて、前記音の収音方向は、前記第一対象の位置と前記第二対象とが存在する場所の水平面と非平行であり、
    前記第一位置は、前記第一対象及び前記第二対象の斜め上方向に位置する
    請求項2に記載の無人移動体。
  21. 前記第一位置は、前記第一対象の位置と前記第二対象の位置とを通る直線上に位置する
    請求項19又は20に記載の無人移動体。
  22. 前記第一位置に位置する前記無人移動体の前記指向性スピーカにおいて、前記音の出音方向は、前記第一対象の位置と前記第二対象とが存在する場所の水平面と平行である
    請求項1に記載の無人移動体。
  23. 前記第一位置に位置する前記無人移動体の前記指向性マイクロフォンにおいて、前記音の収音方向は、前記第一対象の位置と前記第二対象とが存在する場所の水平面と平行である
    請求項2に記載の無人移動体。
  24. 前記第一位置は、前記第一対象の位置と前記第二対象の位置とを通る直線上に位置する
    請求項22又は23に記載の無人移動体。
  25. 一以上のセンシングデータを取得し、
    前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、
    前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、
    指向方向へ指向幅で音を出力する指向性スピーカであって、無人移動体が備える指向性スピーカにより所定の品質以上で音が届く範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させ、
    前記第一位置は、前記第一対象及び前記第二対象の間ではなく、前記第一対象及び前記第二対象の横側の位置であり、前記第一対象及び前記第二対象が前記指向方向の前記指向幅に含まれる、前記無人移動体の位置である、
    情報処理方法。
  26. 一以上のセンシングデータを取得し、
    前記一以上のセンシングデータのうちの少なくとも一つに従って第一対象の周辺に第二対象が存在するか否かを判定し、
    前記第二対象が存在すると判定した場合に、前記一以上のセンシングデータのうちの少なくとも一つから前記第一対象と前記第二対象との位置関係を算出し、
    指向方向から指向幅で音を収音する指向性マイクロフォンであって、無人移動体が備える指向性マイクロフォンにより所定の品質以上で音が収音される範囲内に前記第一対象と前記第二対象とを含ませる、前記無人移動体の第一位置を前記位置関係に従って決定し、前記第一位置へ前記無人移動体を移動させ、
    前記第一位置は、前記第一対象及び前記第二対象の間ではなく、前記第一対象及び前記第二対象の横側の位置であり、前記第一対象及び前記第二対象が前記指向方向の前記指向幅に含まれる、前記無人移動体の位置である、
    情報処理方法。
JP2021511090A 2019-03-29 2019-10-30 無人移動体及び情報処理方法 Active JP7426631B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019065940 2019-03-29
JP2019065940 2019-03-29
PCT/JP2019/042665 WO2020202621A1 (ja) 2019-03-29 2019-10-30 無人移動体及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2020202621A1 JPWO2020202621A1 (ja) 2020-10-08
JP7426631B2 true JP7426631B2 (ja) 2024-02-02

Family

ID=72667756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021511090A Active JP7426631B2 (ja) 2019-03-29 2019-10-30 無人移動体及び情報処理方法

Country Status (5)

Country Link
US (1) US20210311506A1 (ja)
EP (1) EP3950498B1 (ja)
JP (1) JP7426631B2 (ja)
CN (1) CN113226928A (ja)
WO (1) WO2020202621A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11646046B2 (en) 2021-01-29 2023-05-09 Qualcomm Incorporated Psychoacoustic enhancement based on audio source directivity
WO2024084953A1 (ja) * 2022-10-20 2024-04-25 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004034274A (ja) 2002-07-08 2004-02-05 Mitsubishi Heavy Ind Ltd 会話ロボット及びその動作方法
WO2005076661A1 (ja) 2004-02-10 2005-08-18 Mitsubishi Denki Engineering Kabushiki Kaisha 超指向性スピーカ搭載型移動体
JP2006181651A (ja) 2004-12-24 2006-07-13 Toshiba Corp 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
JP2012076162A (ja) 2010-09-30 2012-04-19 Waseda Univ 会話ロボット
JP2019036174A (ja) 2017-08-17 2019-03-07 ヤフー株式会社 制御装置、入出力装置、制御方法、および制御プログラム
JP2019505047A5 (ja) 2016-11-21 2020-07-09

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4347743B2 (ja) 2004-05-11 2009-10-21 パイオニア株式会社 発音装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP4599522B2 (ja) * 2006-02-21 2010-12-15 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
US9355368B2 (en) * 2013-03-14 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
JP6530212B2 (ja) * 2015-03-24 2019-06-12 セコム株式会社 自律移動ロボット
US10379534B2 (en) * 2016-01-28 2019-08-13 Qualcomm Incorporated Drone flight control
JP6713637B2 (ja) * 2016-03-28 2020-06-24 株式会社国際電気通信基礎技術研究所 サービス提供ロボットシステム
US10979613B2 (en) * 2016-10-17 2021-04-13 Dolby Laboratories Licensing Corporation Audio capture for aerial devices
US11122380B2 (en) * 2017-09-08 2021-09-14 Sony Interactive Entertainment Inc. Personal robot enabled surround sound

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004034274A (ja) 2002-07-08 2004-02-05 Mitsubishi Heavy Ind Ltd 会話ロボット及びその動作方法
WO2005076661A1 (ja) 2004-02-10 2005-08-18 Mitsubishi Denki Engineering Kabushiki Kaisha 超指向性スピーカ搭載型移動体
JP2006181651A (ja) 2004-12-24 2006-07-13 Toshiba Corp 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
JP2012076162A (ja) 2010-09-30 2012-04-19 Waseda Univ 会話ロボット
JP2019505047A5 (ja) 2016-11-21 2020-07-09
JP2019036174A (ja) 2017-08-17 2019-03-07 ヤフー株式会社 制御装置、入出力装置、制御方法、および制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高橋 成明 ら,TeleCoBot:発話環境を考慮したテレプレゼンスシステム ,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2014年12月04日,Vol.114 No.351,pp.1-5,ISSN 0913-5685

Also Published As

Publication number Publication date
US20210311506A1 (en) 2021-10-07
WO2020202621A1 (ja) 2020-10-08
JPWO2020202621A1 (ja) 2020-10-08
EP3950498A4 (en) 2022-04-27
EP3950498B1 (en) 2024-05-15
CN113226928A (zh) 2021-08-06
EP3950498A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US11785395B2 (en) Hearing aid with voice recognition
US11979716B2 (en) Selectively conditioning audio signals based on an audioprint of an object
JP5366048B2 (ja) 情報提供システム
JP5456832B2 (ja) 入力された発話の関連性を判定するための装置および方法
US10024667B2 (en) Wearable earpiece for providing social and environmental awareness
KR101356165B1 (ko) 로봇 청소기 및 이의 제어 방법
JP7426631B2 (ja) 無人移動体及び情報処理方法
JP2008254122A (ja) ロボット
US11875571B2 (en) Smart hearing assistance in monitored property
JPWO2014024751A1 (ja) 音声応答装置
JP2011227237A (ja) コミュニケーションロボット
ES2795016T3 (es) Procedimiento de asistencia en el seguimiento de una conversación para una persona con problemas de audición
JP4764377B2 (ja) 移動型ロボット
US20200262071A1 (en) Mobile robot for recognizing queue and operating method of mobile robot
US11128962B2 (en) Grouping of hearing device users based on spatial sensor input
JP6887035B1 (ja) 制御システム、制御装置、制御方法及びコンピュータプログラム
US11657821B2 (en) Information processing apparatus, information processing system, and information processing method to execute voice response corresponding to a situation of a user
US11368497B1 (en) System for autonomous mobile device assisted communication
JP7434635B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2021103391A (ja) 見守り装置
US20220248131A1 (en) Sound acquisition apparatus and sound acquisition method
CN115002598B (zh) 耳机模式控制方法、耳机设备、头戴式设备及存储介质
KR20240040737A (ko) 다수의 마이크로폰들로부터의 오디오 신호들의 프로세싱
KR20240040738A (ko) 오디오 이벤트 데이터 프로세싱
JP2020093696A (ja) 座席案内装置、座席案内方法、及び座席案内システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240112

R151 Written notification of patent or utility model registration

Ref document number: 7426631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151