JP7473202B2 - 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム - Google Patents

発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム Download PDF

Info

Publication number
JP7473202B2
JP7473202B2 JP2020530271A JP2020530271A JP7473202B2 JP 7473202 B2 JP7473202 B2 JP 7473202B2 JP 2020530271 A JP2020530271 A JP 2020530271A JP 2020530271 A JP2020530271 A JP 2020530271A JP 7473202 B2 JP7473202 B2 JP 7473202B2
Authority
JP
Japan
Prior art keywords
source
infrared
direction estimation
estimation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020530271A
Other languages
English (en)
Other versions
JPWO2020013298A1 (ja
Inventor
要 林
康博 平野
智彰 横山
直紀 沼口
航平 川崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Groove X Inc
Original Assignee
Groove X Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Groove X Inc filed Critical Groove X Inc
Publication of JPWO2020013298A1 publication Critical patent/JPWO2020013298A1/ja
Application granted granted Critical
Publication of JP7473202B2 publication Critical patent/JP7473202B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/783Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems

Description

本発明は、赤外線の発信元の方向を推定する発信元方向推定装置に関する。
従来から、赤外線の指向性を利用して、赤外線発光装置がある方向を推定する発信元方向推定装置が知られていた。特許文献1は、発信元の方向を推定する装置をロボットナビゲーションに適用した発明を開示している。特許文献1に係る発明では、目的地に所定の信号を発信する信号発信装置を設置しておき、信号発信装置から発信される信号をユーザが携行するロボットに受信させて、ロボットの動作により目的地への案内をさせる。
特開2008-58283号公報
赤外線の発信元の方向を推定する装置は、受光方向の異なる複数の赤外線受光部を備え、どの赤外線受光部で赤外線を受光したかによって、受光方向を推定する。しかし、複数の赤外線受光部は、一定の角度間隔をあけて異なる受光方向を向くように配置されるので、隣接する赤外線受光部の受光方向の中間の方向に発信元がある場合には、次のような事態が起こることがあった。
ここでは、2つの赤外線受光部A,Bを想定する。赤外線の発信元が赤外線受光部Aの受光方向により近いとした場合、赤外線受光部Aが赤外線を受光するのが理想であるが、赤外線受光部Bも赤外線を受光する可能性があり、また、赤外線受光部Aも赤外光を受光したりしなかったりすることがある。このような場合に、赤外線受光部Aによる受光結果(受信した/しない)が揺れ動いてしまい、推定される方向もまた揺れ動いてしまうことがあった。
本発明は、上記背景に鑑み、安定的に発信元の方向を推定することができる発信元方向推定装置等を提供することを目的とする。
本発明の発信方向推定装置は、受光方向の異なる複数の赤外線受光部と、所定の時間内における、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部とを備える。
本発明によれば、発信元の方向推定を安定的に行うことができる。
図1は、第1の実施の形態の発信元方向推定システムの構成を示す図である。 図2Aは、赤外線発光素子の発光タイミングを示す図である。 図2Bは、複数の赤外線発光素子の発光タイミングを示す図である。 図3は、第1の実施の形態の発信元方向推定装置による発信元方向推定の原理を示す図である。 図4は、第2の実施の形態の発信元方向推定装置による発信元方向推定の原理を示す図である。 図5Aは、第2の実施の形態の発信元方向推定装置による発信元方向推定の原理を示す図である。 図5Bは、第2の実施の形態の発信元方向推定装置による発信元方向推定の原理を示す図である。 図6は、第2の実施の形態の発信元方向推定装置の動作を示すフローチャートである。 図7は、第3の実施の形態において発光装置から出力する赤外線の強度変化を示す図である。 図8は、第3の実施の形態の発信元方向推定装置の構成を示す図である。 図9は、第3の実施の形態の発信元方向推定装置の動作を示すフローチャートである。 図10Aは、第4の実施の形態の発信元方向推定システムを備えたロボットを示す模式図である。 図10Bは、図10AのB-B断面図である。 図11は、第4の実施の形態のロボットの構成を示す図である。 図12は、ロボットに用いられる方向推定装置の構成を示す図である。 図13は、ロボットに搭載されたロボット存在方向推定システムの構成を示す図である。 図14は、推定結果統合部による推定結果統合の第3方式を示すフローチャートである。 図15は、推定結果統合部による推定結果統合の第4方式を示すフローチャートである。
実施の形態の発信元方向推定装置は、受光方向の異なる複数の赤外線受光部と、所定の時間内における、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部とを備える。所定の時間内に、各赤外線受光部で受光した受光量に基づいて発信元の方向を推定することにより、わずかな環境の変化等によって、発信元として推定される方向が容易に変わってしまう不都合を低減できる。
実施の形態の発信元方向推定装置において、前記赤外線受光部は、所定の通信プロトコルに従って、受光した赤外線をパケットに復元し、前記方向推定部は、前記所定の時間内に、それぞれの前記赤外線受光部が受信したパケット数に基づいて、赤外線の発信元の方向を推定してもよい。この構成により、受光量として、復元されたパケットの数をカウントし、当該パケット数に基づいて、発信元方向を精度良く推定することができる。
実施の形態の発信元方向推定装置において、前記方向推定部は、前記所定の時間内に、それぞれの前記赤外線受光部が受信したパケット数に加え、パケットを構成しなかったデータ数にも基づいて、赤外線の発信元の方向を推定してもよい。このように受光量として、パケット数のみならず、データ数も用いることで、方向推定に用いる情報が増え、精度を高めることができる。
実施の形態の発信元方向推定装置において、前記方向推定部は、受信したパケット数が最大の赤外線受光部が受信したパケット数およびデータ数と、当該赤外線受光部の受光方向と隣接する受光方向を有する赤外線受光部が受信したパケット数およびデータ数とに基づいて、赤外線の発信元の方向を推定してもよい。正しく受信できたパケットの受信数が最大の赤外線受光部、及び、受光方向が隣接する赤外線受光部を用いることで、精度良く発信元を推定することができる。
実施の形態の別の態様の発信元方向推定装置は、受光方向の異なる複数の赤外線受光部と、いずれかの赤外線受光部が受光した受光量が所定の閾値に達し、かつ、前記所定の閾値になるまでの時間が所定の時間内である場合に、当該赤外線受光部の受光方向を赤外線の発信元の方向であると推定する方向推定部とを備える。この構成により、受光量が所定の閾値になったことをもって、発信元の方向を推定するので、わずかな環境の変化等によって、発信元として推定される方向が容易に変わってしまう不都合を低減できる。ここで、所定の閾値は、例えば、赤外線受光部が受信するパケットの個数によって規定してもよい。例えば、方向推定部は、赤外線受光部にて3個のパケットを受信したら、その赤外線受光部の受光量が所定の閾値に達したと判定してもよい。
実施の形態の別の態様の発信元方向推定装置において、前記方向推定部は、現時点での推定結果と過去の推定結果とに基づいて、赤外線の発信元の方向を推定してもよい。このように現時点での推定結果に加えて過去の推定結果を用いることにより、精度の高い推定を行うことができる。
実施の形態の発信元方向推定システムは、赤外線発光部を有する発信元装置と、上記に記載の発信元方向推定装置とを備える。この構成により、発信元装置のある方向を推定することができる。
実施の形態の発信元方向推定システムは、発光方向の異なる複数の赤外線発光部と、前記各赤外線発光部の発光タイミングが重ならないように制御する発光制御部とを有する前記発信元装置と、上記に記載の発信元方向推定装置とを備える。このように発信元装置が発光方向の異なる複数の赤外線発光部を有し、周囲の広範囲に赤外線を発光することにより、発信元方向推定装置は、広い範囲において発信元の方向を推定することができる。
実施の形態の発信元方向推定システムにおいて、前記赤外線発光部は、一定の周期で赤外線を出力し、かつ、出力強度を変えた赤外線を出力してもよい。赤外線の出力が小さいと発信元装置が遠く離れている場合には方向を推定することが困難であり、赤外線の出力強度が大きいと複数の発信元装置がある場合に反射赤外線が多くなり方向推定が困難となる。出力強度を変更することにより、発信元の赤外線発光部が遠くにある場合には出力強度が大きい赤外線によって方向を推定できると共に、発信元の赤外線発光部が近くにある場合には出力強度が小さい赤外線によって適切に方向を推定できる。
実施の形態の発信元方向推定システムにおいて、前記赤外線発光部は、所定の出力強度範囲の中で前記赤外線の出力強度を変化させ、前記発信元方向推定装置は受信した赤外線の出力強度の情報を前記赤外線発光部に送信し、前記赤外線発光部は、前記発信元方向推定装置が受信した赤外線の出力強度に基づいて前記出力強度範囲を変更してもよい。なお、発信元方向推定装置は、赤外線発光部における赤外線の出力強度の絶対値を知る必要はなく、周期的に出力強度を変更して送信される赤外線の中の相対的な出力強度が分かればよい。この情報を赤外線発光部に送信することにより、赤外線発光部はどの出力強度の赤外線が受光されたかを知ることができる。
この構成により、発信元方向推定装置が受光した赤外線の出力強度が、所定の出力強度範囲内の相対的に低い出力強度である場合には、発信元方向推定装置と赤外線発光部との距離が近いと考えられるから、出力強度範囲を低い方へシフトする。発信元方向推定装置が受光した赤外線の出力強度が、所定の出力強度範囲内の相対的に高い出力強度のみである場合には、発信元方向推定装置と赤外線発光部との距離が遠いと考えられるから、出力強度範囲を高い方へシフトする。
実施の形態の発信元方向推定システムにおいて、前記赤外線発光部は、出力強度の小さい赤外線を出力強度の大きい赤外線よりも高い頻度で出力してもよい。発信元の赤外線発光部が近くにあるときには、出力強度の大きい赤外線の反射によってエラーが起きる可能性があるが、本実施の形態の構成により、その頻度を低くすることができる。
実施の形態の発信元方向推定システムにおいて、前記赤外線発光部は、赤外線の出力強度を示す情報を含むパケットを送信し、前記発信元方向推定装置は、前記赤外線受光部で受信したパケットに含まれる出力強度を示す情報に基づいて、発信元の赤外線発光部までの距離を推定する距離推定部を備えてもよい。この構成により、発信元までのおおよその距離を推測することができる。
実施の形態の別の態様の発信元方向推定システムは、発信元装置と、上記に記載の発信元方向推定装置とを備える発信元方向推定システムであって、前記発信元装置は、発光方向の異なる複数の赤外線発光部であって、それぞれの赤外線発光部の発信元識別子を含むパケットを送信する複数の赤外線発光部と、前記発信元方向推定装置と通信を行う通信部とを備え、前記発信元方向推定装置は、発信元の推定に用いたパケットに含まれる発信元識別子を送信する通信部を備えてもよい。これにより、発信元装置では、複数の赤外線発光部のうちのどの赤外線発光部から送信されたパケットが発信元方向推定装置に受信されたか分かるので、発信元装置から見た発信元方向推定装置のある方向が分かる。
実施の形態の赤外線発光装置は、方向推定に用いられる赤外線を出力する赤外線発光装置であって、出力強度の小さい赤外線を出力強度の大きい赤外線よりも高い頻度で含む赤外線を発光する。
実施の形態の赤外線発光装置は、赤外線のデータにより構成されるパケットに、当該赤外線の出力強度を示す情報を含んでもよい。
実施の形態のロボットは、赤外線を出力する赤外線発光装置と、受光方向の異なる複数の赤外線受光部と、所定の時間内における、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部とを備える。この構成により、複数のロボットが存在する環境において、赤外線を用いて他のロボットのいる方向を推定することができる。
実施の形態の発信元方向推定方法は、受光方向の異なる複数の赤外線受光部によって赤外線を受光するステップと、所定の時間内における、それぞれの前記赤外線受光部の受光量を測定するステップと、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定するステップとを備える。
実施の形態のプログラムは、受光方向の異なる複数の赤外線受光部にて受光した赤外線に基づいて、発信元の方向を推定するためのプログラムであって、前記赤外線受光部と接続されたコンピュータに、前記複数の赤外線受光部から赤外線を受光するステップと、所定の時間内における、それぞれの前記赤外線受光部の受光量を測定するステップと、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定するステップとを実行させる。
実施の形態の対象物存在方向推定システムは、赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の存在する方向を推定するシステムであって、前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する上記に記載の発信元方向推定装置と、前記対象物の音声出力装置から出力された音声の到来方向を検出するDOA検出装置と、周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、前記発信元方向推定装置にて推定した赤外線の発信元方向とDOA検出装置にて検出した音声の到来方向とに基づいて前記カメラによる撮影方向を決定し、当該撮影方向を前記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定した方向を前記対象物が存在する方向と推定する推定結果統合部とを備える。この構成により、発信元方向推定装置とDOA検出装置と画像認識装置のそれぞれによる推定結果に基づいて、対象物の存在する方向を推定することができる。
実施の形態の別の態様の対象物存在方向推定システムは、赤外線発光部を有する発信元装置を備えた対象物の方向を推定するシステムであって、前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する上記に記載の発信元方向推定装置と、周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記画像認識装置にて認識した対象物の方向とに重なりがある場合には、前記画像認識装置による推定結果を対象物の存在する方向と推定し、重なりがない場合には、前記発信元方向推定装置にて推定した赤外線の発信元方向に基づいて前記カメラによる撮影方向を決定し、当該撮影方向を前記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定した方向を前記対象物が存在する方向と推定する推定結果統合部とを備える。この構成により、発信元方向推定装置と画像認識装置のそれぞれによる推定結果に基づいて、対象物の存在する方向を推定することができる。
実施の形態の別の態様の対象物存在方向推定システムは、赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の方向を推定するシステムであって、前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する上記に記載の発信元方向推定装置と、前記対象物の音声出力装置から出力された音声の到来方向を検出するDOA検出装置と、周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、前記発信元方向推定装置にて推定した赤外線の発信元方向と、DOA検出装置にて検出した音声の到来方向と、前記画像認識装置にて認識した対象物の方向の結果を統合して、前記対象物が存在する方向を推定する推定結果統合部とを備え、前記推定結果統合部は、赤外線量が所定の閾値以上の環境では発信元方向推定装置を無効にし、環境音が所定の閾値以上の環境ではDOA検出装置にし、明るさが所定の閾値以下の環境では画像認識装置を無効にする。この構成により、環境によって精度の出ない推定結果を無効とすることにより、結果として精度の高い推定を行うことができる。
以下、実施の形態の発信元方向推定装置およびこれを備えたロボットについて図面を参照して説明する。
(第1の実施の形態)
図1は、第1の実施の形態の発信元方向推定システム1の構成を示す図である。発信元方向推定システム1は、赤外線を発光する発信元装置10と、発信元装置10から発せられた赤外線を受光して、発信元の方向を推定する発信元方向推定装置20とを備えている。
発信元装置10は、発光方向の異なる4つの赤外線発光素子11a~11dと、赤外線発光素子11a~11dの発光タイミング等を制御する発光制御部12を有する。赤外線発光素子11a~11dを総称する場合や特定の赤外線発光素子11a~11dを限定しない場合は、「赤外線発光素子11」という。本実施の形態において、発信元装置10が4つの赤外線発光素子11a~11dを備えているのは、発信元装置10の周囲の全方位に向けて赤外線を発光するためであるが、赤外線発光素子11の個数は4つに限定されるものではない。例えば、赤外線を全方位に発光する必要のない場合には、赤外線発光素子11の個数を減らしてもよい。逆に、赤外線発光素子11の個数を増やして、赤外線の密度を増してもよい。
図2Aは、赤外線発光素子11の発光タイミングを示す図である。赤外線発光素子11は、所定の周期Tで赤外線IRを発光する。赤外線IRは、所定のプロトコルに従って構成されたパケットである。一例としては、0xFA、0x9n、ユーザデータ8バイト、チェックサムの構成を備えている。
図2Bは、4つの赤外線発光素子11a~11dの発光タイミングを示す図である。各赤外線発光素子11a~11dの発光の周期Tは、図2Aで示した発光の周期Tと同じであるが、4つの赤外線発光素子11a~11dの発光タイミングは、互いに重ならないようにずれている。
図1に示すように、発信元方向推定装置20は、受光方向の異なる4つの受光素子21a~21dと、各受光素子21a~21dでの受光量に基づいて、赤外線の発信元の方向を推定する方向推定部22とを有する。受光素子21a~21dを総称する場合や特定の受光素子21a~21dを限定しない場合は、「受光素子21」という。4つの受光素子21a~21dによって発信元方向推定装置20の周囲の全方位をカバーしており、どの方向から赤外線が到来しても、4つの受光素子21のうちのいずれかの受光素子21a~21dが赤外線を受光する。なお、受光素子21の個数は、4つに限定されるものではなく、例えば、6つや8つの受光素子21を備えることとしてもよい。
方向推定部22は、4つの受光素子21a~21dによる受光結果に基づいて、赤外線の発信元の方向、すなわち発信元装置10の方向を推定する機能を有する。
図3は、方向推定部22によって、赤外線の発信元の方向を推定する原理を示す図である。図3には、各受光素子21が受光した赤外線のパケット数を記載している。
方向推定部22は、所定の時間内に受光した赤外線の受光量が最も多かった受光素子21の受光方向が発信元の方向であると推定する。本実施の形態では、受信したパケット数が最も多かった受光素子の受光方向が発信元の方向であると推定する。図3に示す例では、受光素子21aのパケット数が「3」で最大であるから、受光素子21aの受光方向である紙面上向き方向が発信元の方向であると推定する。なお、所定の時間は、赤外光の発光周期にもよるが、例えば、発光周期が110msの場合には、1秒程度とすることが好ましい。
以上、第1の実施の形態の発信元方向推定システム1の構成について説明した。第1の実施の形態の発信元方向推定装置20は、受光方向の異なる複数の受光素子21a~21dを備え、各受光素子21a~21dが所定の時間内に受光した赤外線のパケット数(すなわち受光量)に基づいて、赤外線の発信元の方向を推定する。つまり、単にパケットを受信した受光素子21a~21dを受光方向とするのではなく、所定の時間のうちで最も受光量が多かった方向を受光方向とするので、わずかな環境の変化等によって、発信元として推定される方向が容易に変わってしまう不都合を低減できる。
(第2の実施の形態)
次に、第2の実施の形態の発信元方向推定システムについて説明する。第2の実施の形態の発信元方向推定システムにおいて用いられる発信元装置10の基本的な構成は、第1の実施の形態と同じである。第2の実施の形態の発信元方向推定装置20は、方向推定部22にて発信元を推定する処理が第1の実施の形態の発信元方向推定装置20とは異なる。
図4は、第2の実施の形態の発信元方向推定装置20による発信元方向推定の原理を示す図である。第2の実施の形態の発信元方向推定装置20は、各受光素子21a~21dにて受光した赤外線の総データ数に基づいて、発信元の方向を推定する。ここで、「データ数」について説明する。図2Aで説明した1個の赤外光によって、1つのパケットが送信される。パケットは、所定のプロトコルに従って構成される情報の単位であって、ヘッダやユーザデータ、チェックサム等を含む。1つのパケットは、複数のデータ(これを「フレーム」と呼ぶこともある)が集まって構成される。準拠するプロトコルによるが、1つのパケットは、例えば、11個のデータで構成される。各データの長さは1バイトである。1つのパケットが11個のデータで構成される場合、1つのパケットを受信すると11個のデータを受信したことになる。
第2の実施の形態の発信元方向推定システムでは、方向推定部22は、赤外線を受信すると所定のプロトコルにしたがってパケットを復元し、正しく復元できたパケットの数をカウントする。また、方向推定部22は、赤外線をパケットの単位で受信した場合以外にも、パケットを構成しなかったデータを受信した場合もデータ数をカウントする。
図4は、各受光素子21a~21dが受信したパケット数とデータ数の例を記載している。また、図4に示すように、方向推定部22は、ノイズエラー数もカウントしている。ノイズエラーとは、本来赤外光がONかOFFで安定しているべき1ビットの所要時間内において、受光した値が0または1で安定せず変化した場合である。なお、このような信号の安定度を見たり、ノイズやクロックずれへの耐性を高めるために、受光素子21は、1ビットあたり複数回(例えば、16回)の信号のサンプリングを行う。
本実施の形態の発信元方向推定装置20は、各受光素子21a~21dが受信した総データ数(=パケット数×11個+データ数)をノイズエラー数で補正した値を受光量とし、当該受光量に基づいて赤外線の発信元の方向を推定する。ノイズエラー数での補正の仕方はいろいろ考えられるが、本実施の形態では、ノイズエラー数×2を減算するものとする。例えば、図4に示す例では、受光素子21aが受信した総データ数は、4×11+10=54個であり、これをノイズエラー数で補正すると、54-2×2=50個となる。受光素子21bが受信した総データ数は、1×11+7=18個であり、これをノイズエラー数で補正すると、18-4×2=10個となる。受光素子21dが受信した総データ数は10個であり、これをノイズエラー数で補正すると、10-3×2=4個となる。第2の実施の形態の発信元方向推定装置20は、受信したパケット数が最大の受光素子21と、その両隣の受光素子21のデータ総数に基づいて、発信元の方向を推定する。図4に示す例では、受光素子21aと受光素子21b、受光素子21bでの受信結果を用いる。
図5Aは、発信元方向推定装置20による発信元方向推定の原理を示す図であり、受信したパケット数が最大の受光方向における総データ数をY軸にとり、その両隣の受光素子21が受信したデータ数をX軸のプラスとマイナスにとったところを示している。X,Y軸は説明の便宜上、適宜に設定したものであるが、-X,+Y,+X,-Yの方向は、図1に示す受光素子21a~21dの受光方向と一致するように設定した。例えば、発信元方向推定装置20が備える受光素子が3個であって、これが等角度に配置されている場合には、データ数を示す方向は120度間隔の軸で表される。
図5Aでは、各受光方向から受信したデータ数をベクトルで示している。すなわち、ベクトルの方向が受光方向を示し、ベクトルの長さが受信したデータ数を示している。図ではベクトル表記しているが、本書では、通常のアルファベットで示す。
発信元方向推定装置20は、まず、両隣の受光素子21が受信したデータ数を足し合わせる。具体的には、ベクトルD2とベクトルD3を加算する。ベクトルD2とベクトルD3の向きは反対なので、ベクトルの大きさは相殺されることになる。次に、受信したパケット数が最大の受光素子21が受信した総データ数を示すベクトルD1と、両隣の受光素子21にて受信したデータ数を示すベクトル(D2+D3)を加算し、図5Bに示すように得られた方向ベクトル(D1+D2+D3)を赤外線の発信元の方向と推定する。ここでは、ベクトルD1~D3を順に足していく例を説明したが、同時にベクトル加算してもよい。
図6は、第2の実施の形態の発信元方向推定装置20の動作を示すフローチャートである。第2の実施の形態の発信元方向推定装置20は、各受光素子21a~21dにてデータを受信する(S10)。発信元方向推定装置20は、直近の所定時間内における各受光素子21a~21dでの受信パケット数、受信データ数、ノイズエラー数をカウントする(S11)。続いて、ノイズエラー数の補正を行って、各受光素子21a~21dでの受信データ総数を計算する(S12)。具体的には、上述したとおり、受信パケット数×11+データ数で、受信データ総数を計算し、受信データ総数からノイズエラー数×2を引くことで、補正した受信データ総数を求める。
続いて、発信元方向推定装置20は、受信したパケット数が最大の受光素子21とその両脇の受光素子21の総データ数を採用し(S13)、それらの受信データ総数から発信元方向の角度を計算する(S14)。
第2の実施の形態の発信元方向推定装置20は、受信したパケットに加えて、パケットとしては受信できなかったデータ数も用いることで、方向推定に用いる情報が増え、推定精度を高めることができる。また、第2の実施の形態の発信元方向推定装置20は、パケットの受信数が最大の受光素子21とその両隣の受光素子21で受信したデータ総数を用いる構成を採用し、正しく受信できたパケットの数が多い方向を中心として、精度良く発信元を推定することができる。
本実施の形態では、ノイズエラー数によって、受信データ総数を補正する処理を行ったが、処理を簡単にするためにノイズエラー数による補正を省略することも可能である。ノイズエラー数による補正を行わなくても、一定の精度で発信元を推定することができる。
(第3の実施の形態)
次に、第3の実施の形態の発信元方向推定システムについて説明する。第3の実施の形態の発信元方向推定システムの基本的な構成は、第2の実施の形態の発信元方向推定システムと同じであるが、第3の実施の形態では、発信元方向推定装置20が、発信元の方向だけでなく、発信元までの距離も推定する点が異なる。第3の実施の形態では、発信元装置10は、発信する赤外線の強さを周期的に変える。
図7は、発信元装置10が発する赤外光の強さを示す図である。発信元装置10が発する赤外線は、6個の赤外光を1セットとして、「弱」「中」「弱」「中」「弱」「強」の複数の異なる強度を有する。また、発信元装置10は、送信する各パケットに赤外線の出力強度を示す情報を含める。
図8は、第3の実施の形態の発信元方向推定装置20の構成を示す図である。第3の実施の形態の発信元方向推定装置20は、第2の実施の形態の発信元方向推定装置20の構成に加えて、発信元装置10までの距離を推定する距離推定部23を有している。
図9は、第3の実施の形態の発信元方向推定装置20の動作を示すフローチャートである。第3の実施の形態の発信元方向推定装置20による発信元方向の推定の動作(S10~S14)は、第2の実施の形態の発信元方向推定装置20と同じである。第3の実施の形態の発信元方向推定装置20は、発信元装置10のある方向に加え、最小の赤外線出力に基づいて、発信元装置10までの距離を推定する(S15)。
具体的には、距離推定部23は、受信した赤外線のパケットから、赤外線の強さを示す情報を読み出す。そして、受信した赤外線のうち、最小の出力が「弱」「中」「強」のどれであったかを調べ、発信元装置10までの距離を推定する。例えば、最小の出力が「強」である場合には、強出力の赤外光しか届かなかったことになるので、発信元装置10が遠くにあると判定し、最小の出力が「弱」である場合には、発信元装置10が近くにあると判定する。なお、発信元方向推定装置20は、「弱」「中」「強」のそれぞれに対応する出力強度のデータを保持し、受信した赤外線強度の減衰の程度から、発信元装置10までの距離を推定してもよい。これにより、より正確な距離を求めることができる。
第3の実施の形態の発信元方向推定システムは、受信した赤外線の出力強度を示す情報に基づいて、発信元までの距離を推定することができる。また、本実施の形態では、赤外線の出力強度を変化させていることは、距離推定に用いることができるという作用効果以外に、発信元装置10からの赤外線に基づく方向推定を適切に行えるという作用効果がある。
赤外線の発信元装置10との距離が大きい場合に赤外線を適切に受信するためには、赤外線の出力強度を強くする必要がある一方で、発信元装置10との距離が小さい場合に出力強度の大きい赤外線を用いると、反射赤外線が多くなるために、方向推定が困難となるという事情がある。赤外線の出力強度を「強」「中」「弱」のいずれかに固定するのではなく、出力強度を変更することで、発信元装置10が遠くにある場合には出力強度が大きい赤外線によって方向を推定できると共に、発信元装置10が近くにある場合には出力強度が小さい赤外線によって適切に方向を推定できる。したがって、赤外線の出力強度を変更する構成は、発信元方向推定装置20にて距離を推定しない場合に用いても効果がある。
また、本実施の形態の発信元装置10は、赤外線の出力強度を周期的に変える際に、その頻度を、「弱」の赤外線>「中」の赤外線>「強」の赤外線としているので、発信元装置10が近くにあるときには、出力強度の大きい赤外線の反射によってエラーが起きる可能性があるが、その頻度を低くすることができる。なお、本実施の形態では、赤外線の出力強度を周期的に変える例を挙げたが、赤外線の出力強度の変更の仕方は周期的でなくてもよい。
(第3の実施の形態の変形例)
第3の実施の形態の発信元装置10において、出力強度を周期的に変化させる出力強度範囲を適切に変更するようにしてもよい。発信元装置10は、出力強度R1,R2,R3(R1<R2<R3)を変化させる第1の出力強度範囲と、出力強度R2,R3,R4(R2<R3<R4)を変化させる第2の出力強度範囲と、出力強度R3,R4,R5(R3<R4<R5)を変化させる第3の出力強度範囲と有する。そして、最初に、第2の出力強度範囲において、出力強度R2,R3,R4を周期的に変化させて、赤外線を出力する。
発信元方向推定装置20は、赤外線を受光したら、その周期からどの出力強度の赤外線を受信したかを判定する。発信元装置10による赤外線の出力態様を、例えば、図7のような出力強度の構成にしておけば、1周期に何回赤外線を受光したかによって赤外線の相対的な強度が分かる。発信元方向推定装置は、どの出力強度の赤外線を受光できたかを発信元装置10に送信する。
発信元装置10は、出力強度R2,R3,R4のうちのどの出力強度まで受光できたかに基づいて、出力強度範囲を変更する。一例としては、発信元方向推定装置20が出力強度R2まで受光できた場合には、発信元装置10は出力強度範囲を第2の出力強度範囲(R2~R4)から第1の出力強度範囲(R1~R3)に変更する。発信元方向推定装置20が出力強度R4しか受光できなかった場合には、発信元装置10は出力強度範囲を第2の出力強度範囲(R2~R4)から第3の出力強度範囲(R3~R5)に変更する。なお、発信元方向推定装置20が出力強度R3まで受光できた場合には、出力強度範囲を変更しない。
この構成により、発信元方向推定装置20が相対的に低い出力強度の赤外線を受光できている場合には、発信元方向推定装置20と赤外線発光部との距離が近いと考えられる。高い出力強度の赤外線はノイズとなり得るから、出力強度範囲を低い方へシフトすることにより、ノイズの発生を未然に低減することができる。発信元方向推定装置20が受光した赤外線の出力強度が、所定の出力強度範囲内の相対的に高い出力強度しか受信できない場合には、発信元方向推定装置20と赤外線発光部との距離が遠いと考えられる。出力強度範囲を高い方へシフトすることにより、これ以上、距離が離れても赤外線を受光できるようにし、方向の推定を継続して行えるようにできる。
本実施の形態では、3段階の出力強度範囲を有する例を挙げたが、出力強度範囲は何段階であってもよい。
(第4の実施の形態)
図10Aは、発信元の方向推定装置を搭載したロボット100a,100bの外観を示す図である。ロボット100aとロボット100bは、同じ構成を有する。以下、ロボット100a,100bを総称する場合または特定する必要がない場合には、「ロボット100」という。ロボット100は、頭上に略円筒形状のツノ102を搭載している。ツノ102には、赤外線によって他のロボット100のいる方向を推定する方向推定装置30が内蔵されている。また、ロボットは、前輪103と後輪104を備えている。前輪103は、図11に示すように、左右一対である。ロボットは、一対の前輪103と後輪104によって、移動したり回転したりできる。
図10Bは、図10Aに示すロボット100bのツノ102のB-B断面図である。図10Bに示すように、方向推定装置30は、その円周の外縁部付近に、交互に配置された赤外線の発光素子11a~11dと受光素子21a~21dとを備えている。赤外線発光素子11a~11dだけに着目すれば、第1の実施の形態から第3の実施の形態で説明した発信元装置10の赤外線発光素子11a~11dと同じ配置になっており、赤外線受光素子21a~21dだけに着目すれば、第1の実施の形態から第3の実施の形態で説明した発信元方向推定装置20の赤外線受光素子21a~21dと同じ配置になっている。
このようにロボット100は、赤外線発光素子11と赤外線受光素子21の両方を備えているので、周囲に赤外線を発光することができると共に、他のロボットから発せられた赤外線を受光して他のロボット100の位置を推定することができる。
図11は、ロボット100のハードウェア構成を示す図である。ロボット100は、その筐体101内に、表示装置110と、内部センサ111と、スピーカ112と、通信部113と、ロボット検出部114と、体勢検出部115と、記憶装置116と、プロセッサ117と、駆動部118と、バッテリ119とを備えている。また、筐体101の上部のツノ102に方向推定装置30を備えている。各ユニットは、電源線120および信号線121により互いに接続さていれる。バッテリ119は、電源線120を介して各ユニットに電力を供給する。バッテリ119は、例えば、リチウムイオン二次電池であり、ロボット100の動力源である。
駆動部118は、内部機構を制御するアクチュエータである。駆動部118は、前輪103と後輪104を駆動してロボット100を移動させたり向きを変えたりする機能を有する。また、駆動部118は、ワイヤ122を介して手105を制御して、手105を上げる、手105を振る、手105を振動させるなどの動作を行わせる。また、駆動部118は、頭部を制御して、頭部の向きを変える機能を有する。
内部センサ111は、ロボット100が内蔵する各種センサの集合体である。内部センサ111としては、例えば、カメラ(全天球カメラ)、マイクロフォンアレイ、測距センサ(赤外線センサ)、サーモセンサ、タッチセンサ、加速度センサ、ニオイセンサ等がある。
通信部113は、サーバや外部センサ、他のロボット100や、ユーザの持つ携帯機器などの各種の外部機器を対象として無線通信を行う通信モジュールである。例えば、通信モジュールは、Wi-Fi(登録商標)やBluetooth(登録商標)などの電波を用いた通信手段であってよい。ロボット検出部114は、通信部113を用いた通信によって、所定の範囲内(例えば、同一の部屋の中等)にいる他のロボット100を検出する機能を有する。ロボット検出部114によるロボット100の検出処理は、例えば、通信部113を通じて、Wi-Fiネットワークに存在する他のロボット100のIPアドレスを取得してもよいし、LAN上にロボット100を一元管理するサーバを設けておき、サーバにアクセスすることによって他のロボット100を検出してもよい。
体勢検出部115は、例えば、ユーザがロボット100を抱き上げるなどしてロボット100の体勢が変化したときに、ロボット100の体勢を検出する機能を有する。体勢検出部115は、ユーザがロボット100を持ち上げるときの物理的接触をタッチセンサにより検知し、かつ、前輪103及び後輪104にかかる荷重が低下したときに、ロボット100が抱っこされていると検出することができる。なお、ロボット100は、抱っこされていることを検出したときは、前輪103及び後輪104を筐体101内に収納してもよい。記憶装置116は、不揮発性メモリおよび揮発性メモリにより構成され、コンピュータプログラムや各種設定情報を記憶する。
表示装置110は、ロボットの目の位置に設置され、眼の画像を表示させる機能を有する。表示装置110は、瞳や瞼などの眼のパーツを組み合わせてロボットの眼の画像を表示する。表示装置110は、方向推定装置30により推定された他のロボット100の方向に瞳を動かすことで、視線を他のロボット100に向ける仕草を表現してもよい。なお、外光などが眼に差し込んだ場合には、外部光源の位置に応じた位置にキャッチライトを表示してもよい。
プロセッサ117は、内部センサ111で取得したセンサ情報や、通信部113を通じて取得した各種の情報に基づいて、駆動部118、スピーカ112、表示装置110等を制御してロボット100を動作させる機能を有する。
図12は、ロボット100a,100bに搭載された方向推定装置30の詳しい構成を示す図である。図12では、図11で説明したロボット100の構成については、一部の機能のみを示している。方向推定装置30は、4つの発光素子11a~11dと、4つの受光素子21a~21dと、発光素子11a~11d及び受光素子21a~21dを制御する制御部31とを有している。制御部31は、発光素子11の発光タイミングや発光の強度を制御する発光制御部12と、受光した赤外線に基づいて発信元のロボットのいる方向を推定する方向推定部22と、発信元のロボットまでの距離を推定する距離推定部23とを有している。方向推定装置30が赤外線を受光し、受光した赤外線に基づいて、赤外線の発信元のロボットの方向および距離を推定する機能は、上記した第3の実施の形態の発信元方向推定システムで説明した内容と同じである。
本実施の形態では、方向推定装置30が備える発光素子11a~11dは、各発光素子11a~11dを識別するための発光素子IDが付与されている。そして、発光制御部12は、出力する赤外線のパケットに、そのパケットを識別する発光素子IDを含める。
本実施の形態では、ロボット100bの方向推定装置30は、発信元であると推定された方向から受信したパケットに含まれる発光素子IDを読み出し、読み出した発光素子IDのデータを通信部113から無線通信によってロボット100aに送信する。これにより、発光素子IDを受信したロボット100aは、4つの発光素子11のうち、どの発光素子11から出力した赤外線が受信されたのかを知ることができる。したがって、赤外線を発光した側のロボット100aも、どの方向に他のロボット100bがいるのかを把握することができる。
このように2台のロボット100a,100bが互いの位置を把握することにより、2台のロボット100a,100bの間で、様々な相互作用を実現することができる。例えば、ロボット100bが、駆動部118を制御することによって、発信元のロボット100aの方向に向かう処理を行うことができる。
また、ロボット100aとロボット100bとが互いを意識したような行動を行うこととしてもよい。例えば、ロボット100aとロボット100bとが互いの方向に向かって近づくようにしてもよい。また、この際、ロボット100aとロボット100bが互いに正面を見て向き合うように、それぞれのロボット100a,100bの向きを制御すると、ロボット100a,100bがランデブーしているように見える。さらに、ロボット100aとロボット100bとが出会ったときには、一緒になってユーザの方向へ移動したり、じゃれ合ったり、追いかけっこをしたりしてもよい。
さらに、ロボット100aまたはロボット100bは、表示装置110に表示される眼の画像を制御することによって、相手のロボット100に視線を向けるようにしてもよい。また、ロボット100aは、ロボット100bから送信される発光素子IDによってロボット100bのいる方向を検知できるが、この無線通信によってロボット100bの存在に気が付くと、ロボット100a,100bを見ているユーザにとって唐突な動きに見えるので、無線通信によって発光素子IDを送信する際に、ロボット100bがスピーカ112を通じてロボット100aに対して鳴き声を出してもよい。これにより、ロボット100aがロボット100bの方向を向いたとしても、鳴き声によってロボット100bに気がついたような振る舞いに見せることができる。
なお、方向推定装置30は、ロボット検出部114にて、他のロボット100を検出したことを条件として、他のロボット100のいる方向を推定する処理を行ってもよい。他のロボット100がいないときに、方向推定装置30を起動しないようにすることにより、バッテリ消費を抑える、CPU負荷を抑えることができる。また、他のロボット100のいる方向を推定するのは、上述したように他のロボット100との協調動作を実現することが一つの目的であるので、体勢検出部115にてロボット100が抱っこされていることなどを検出し、ロボット100が協調動作を実行しない特定状態にあると判定された場合には、方向推定装置30を起動しないようにしてもよい。特定状態は、例えば、ユーザがロボット100に対して接触しているなどの、ユーザとロボット100とがやり取りしている状態であってもよい。また、ロボット検出部114にて他のロボット100を検出した場合であっても、当該他のロボット100が特定状態であることを通信部113を通じて受信したときには、方向推定装置30を起動しないようにしてもよい。方向推定装置30の起動条件は、一例として、同一空間内に複数のロボット100が存在し、自分以外にも特定状態でないロボット100があること(つまり、走行可能なロボット100が2台以上あること)であり、この条件を満たすときに、方向推定装置30は、他のロボット100のいる方向の推定を行ってもよい。
本実施の形態では、ロボット100aが赤外線を発光し、ロボット100bが赤外線を受信してロボット100aの方向を推定する例を取り上げたが、ロボット100aとロボット100bの構成は同一であり、いずれが赤外線を発光してもよい。したがって、複数のロボット100がいる場合、複数のロボットが同時に赤外線を発光しないように制御することが好ましい。複数のロボット100が赤外線を発光するタイミングを制御する方法は、次のような方法が考えられる。(1)赤外線以外の通信手段(Bluetooth(登録商標)やWi-Fi)を使って、発光の順番を制御する方法である。具体的には、一のロボット100が発光要求を送信し、残りのロボット100から許可通知が届いたら発光を開始する。そして、一連のパケットを送信し終えたら完了通知を送信する。その通知を受けて、別のロボット100が発光処理を開始する。つまり、完了通知が届くまでは、他のロボット100は発光処理を待つ。(2)各ロボット100が赤外線以外の通信手段を通じて、発光する順番を事前に決め、その順番で各ロボット100が発光する。(3)各ロボット100が赤外線を発光する周期を変動させる。変動のトリガとして、ノイズエラーの量を用い、ノイズエラーが多くなったら、周期を変える。
(第5の実施の形態)
次に、本実施の形態の対象物存在方向推定システムについて説明する。対象物として、第4の実施の形態でも説明したようなロボットを例に挙げる。すなわち、対象物存在方向推定システムは、ロボットが他のロボットの存在する方向を推定するシステムである。第4の実施の形態では、赤外線を利用してロボットの存在方向を推定したが、本実施の形態では、赤外線以外のセンサも用いてロボットの存在方向を推定する。
本実施の形態の対象物存在方向推定システムにおいては、ロボットには、上述した実施の形態で説明した赤外線を利用した発信元方向推定システムのほかに、種々の方向推定システム、位置推定のためのシステムが搭載されている。
図13は、ロボットに搭載されたロボット存在方向推定システム50の構成を示す図である。ロボット存在方向推定システム50は、発信元方向推定システム52と、音声の到来方向(DOA)検出システム53と、画像認識装置57と、位置情報共有システム60と、BLE通信部64とを備えている。発信元方向推定システム52は、赤外線の発信元の方向を推定するシステムであり、上述した実施の形態と同様に、発光素子、受光素子、および制御部を備えている。
DOA検出システム53は、ロボットが音声を発生するスピーカ54と、他のロボットから発せられた音声を集音するマイクアレイ55と、マイクアレイ55にて集音したデータにより他のロボット(が備えるスピーカ54)の方向を計算する計算部56とを備える。計算部56は、各マイクアレイ55によって集音した音声の到達時間差により音声の到来方向を推定する。なお、スピーカ54が発する音声としては、人の声の周波数とは異なる周波数の音声を用いることが好ましい。また、これに加えて、スピーカ54が発する音声としては、環境音の周波数とは異なる周波数の音声を用いることが好ましい。
画像認識装置57は、ロボットの周辺を撮影するカメラ58と、撮影された画像に対して画像認識処理を行って他のロボットを抽出し、他のロボットの方向を推定する画像認識部59とを備えている。
位置情報共有システム60は、自分の位置を他のロボットに対して通知する機能および他のロボットから通知された位置情報を取得し、他のロボットの存在方向を推定する機能を有する。位置情報共有システム60は、自己位置推定部61と、通信部62と、他ロボット方向推定部63とを備えている。自己位置推定部61は、SLAM(Simultaniously Location and Mapping)の技術を用いて、ロボットの自己位置を推定する。通信部62は、自己位置推定部61にて推定された自己位置のデータをネットワーク経由で他のロボットに送信すると共に、他ロボットから位置データを受信する。自ロボットと他ロボットはSLAMによって作成した共通のマップデータを持ち、自己位置や他ロボットの位置のデータは、その地図上において特定される。なお、マップ内に基準となる位置(例えば、ロボットの充電ステーション等)がある場合には、基準位置から相対位置によって位置を知らせてもよい。
BLE通信部64は、BLE規格にしたがってロボット間で通信を行う機能を有する。BLE通信部64は、受信したBLEの電波強度によって距離を推定する距離推定部65を有する。
ロボット存在方向推定システム50は、上記した複数の方向推定システムで取得したロボットの存在方向の推定結果を統合して、他のロボットの存在方向を推定する推定結果統合部51を有している。推定結果の統合の仕方には様々な態様が考えられる。以下に、推定結果統合部51による推定結果の統合のバリエーションについて説明する。以下の説明では、複数の方向推定システムとして、赤外線の発信元方向推定システム52、DOA検出装置53、画像認識装置57の3つの推定結果の統合について説明する。
[第1方式]
推定結果統合部51は、発信元方向推定システム52、DOA検出システム53、および画像認識装置57から、他のロボットの存在方向の推定結果のデータとその推定結果の信頼度のデータを取得する。推定結果統合部51は、取得した3つの推定結果の中から最も信頼度の高かった推定結果を対象物の存在方向と推定する。
ここで信頼度とは、推定された方向が正しい可能性を示す指標である。赤外線による発信元方向推定装置では、例えば、赤外線の受光エラー率を信頼度の指標とすることができる。受光エラー率が低いほど推定結果の信頼度が高い。受光エラー率と信頼度の関係を予めテーブルに記憶しておくことにより、受光エラー率から信頼度を求めることができる。
DOA検出システム53では、例えば、受信した音声のS/N比を信頼度の指標とすることができる。S/N比が高いほど推定結果の信頼度が高い。S/N比と信頼度の関係を予めテーブルに記憶しておくことにより、S/N比から信頼度を求めることができる。
画像認識装置57では、ロボットであると認識した対象物がロボットである確からしさ(尤度)を信頼度の指標とすることができる。パターンマッチングによりロボットを認識する場合には、一致率で尤度を計算できる。ニューラルネットワークにより学習したモデルによりロボットを検出する場合には、ニューラルネットワークモデルの出力層における出力値によって尤度を規定できる。これらの尤度と信頼度の関係を予めテーブルに記憶しておくことにより、尤度から信頼度を求めることができる。
[第2方式]
推定結果統合部51は、画像認識装置57による方向推定結果を優先する。例えば、ロボットがそもそも映っていない場合や、映像の中にロボットに似たものがたくさんあってロボットの認識結果の信頼性が低い場合だけ、赤外線による発信元方向推定結果またはDOA検出結果のうちで信頼度の高い推定結果を用いる。一般的には、画像認識装置57によって他のロボットを認識できた場合には、その存在方向が精度良く求まるので、第2方式は、画像認識装置57による方向推定の結果を信頼する方式である。
[第3方式]
図14は、推定結果統合部51による推定結果統合の第3方式を示すフローチャートである。推定結果統合部51は、赤外線による方向推定結果とDOAによる方向推定結果を取得し(S20)、取得した2つの推定方向に重なりがあるか否かを判定する(S21)。2つの推定方向に重なりがある場合には(S21でYES)、推定結果統合部51は、重なっている方向を決定する(S22)。重なりがない場合には(S21でNO)、推定結果統合部51は、赤外線による方向推定結果とDOAによる方向推定結果のうち信頼度の高い推定結果を決定する(S23)。
続いて、推定結果統合部51は、決定された方向を画像認識装置57に送信し、画像認識装置57のカメラ58にて当該方向を撮影する(S24)。そして、画像認識装置57は、撮影された画像からロボットを認識し、ロボットの存在方向を推定し(S25)、推定結果を推定結果統合部51に渡す。
画像認識装置57は、撮影した画像の中に対象物であるロボットが存在する場合には精度の高い存在方向推定を行えるが、そもそもカメラ58の視野内にロボットが存在しなければ、その方向を求めることができない。第3方式によれば、最初に、全方位に対応可能な赤外線またはDOAによって、ロボットのある方向を推定し、その方向をカメラ58で撮影することにより、効率よく精度の高い存在方向推定を行える。
[第4方式]
図15は、推定結果統合部51による推定結果統合の第4方式を示すフローチャートである。第4方式では、DOA検出システム53を用いず、発信元方向推定システム52と画像認識装置57とを用いてロボットの存在方向を推定する。推定結果統合部51は、画像認識装置57によるロボット存在方向推定結果を取得し(S30)、続いて、赤外線発信元方向推定装置から赤外線の発信元方向の推定結果を取得する(S31)。
次に、推定結果統合部51は、2つの推定方向に重なりがあるか否かを判定し(S32)、両者に重なりがある場合には(S32でYES)、推定結果統合部51は、画像認識装置57によるロボット存在方向推定結果を採用する(S34)。両者に重なりがない場合には(S32でNO)、推定結果統合部51は、赤外線発信元方向推定の推定結果を画像認識装置57に送信し、画像認識装置57のカメラ58にて当該方向を撮影する(S33)。そして、画像認識装置57は、撮影された画像からロボットを認識し、ロボットの存在方向を推定し、推定結果統合部51は、推定結果を取得する(S30)。
このように画像認識装置57によって求めたロボット存在方向推定結果が赤外線による推定結果と重なるかどうかを判定することにより、画像認識装置57は、ロボット以外の対象物をロボットと誤認識している場合には、赤外線の発信元の方向へカメラ58を向けて撮影をやり直すことにより、正しい方向を認識させることができる。
[第5方式]
推定結果統合部51による推定結果統合の第5方式について説明する。発信元方向推定システム52、DOA検出システム53および画像認識装置57は、それぞれ異なる特性を有しており、得意な環境と不得意な環境がある。すなわち、発信元方向推定システム52は、赤外線を受光してその発信元を推定するので、赤外線が所定の頻度以上で検出される環境だと、方向推定の信頼性が低下する。DOAは、音声を用いる方式なので、環境音が大きいと方向推定の信頼性が低下する。画像認識装置57は、可視光を用いて撮影した画像を解析することから、暗い環境だと方向推定の信頼性が低下する。
第5方式では、ロボット存在方向推定装置は、周辺の環境の情報に基づいて各システムを用いるかどうかを決定する。周辺環境の検出には、赤外線に関しては発信元方向推定システム52が備える赤外線の受光素子、音声に関してはDOA検出システム53が備えるマイクアレイ55を用いることができる。環境の明るさに関しては、照度センサを用いることができる。
赤外線の受光素子によって、他のロボットから送信される赤外線パケット以外の赤外線の受光量が所定の閾値以下であるか否かを判定し、所定の閾値以下の場合には、発信元方向推定システム52による方向推定結果を用い、所定の閾値を超える場合には発信元方向推定システム52による方向推定結果を用いないこととする。
DOA検出システム53のマイクアレイ55によって、他のロボットから送信される音域以外の音声の集音量が所定の閾値以下であるか否かを判定し、所定の閾値以下の場合には、DOA検出システム53による方向推定結果を用い、所定の閾値を超える場合にはDOA検出システム53による方向推定結果を用いないこととする。
照度センサによって、環境の照度が所定の閾値以上であるか否かを判定し、所定の閾値以上の場合には、画像認識装置57によるロボット存在方向推定結果を用い、所定の閾値未満の場合には画像認識装置57によるロボット存在方向推定結果を用いないこととする。
以上の説明においては、赤外線を用いた発信元方向推定システム52については、上述した第1~第4の実施の形態の発信元方向推定システムを用いる例を説明したが、第5の実施の形態のように、複数種類の方向推定システムを用いる場合には、赤外線による方向推定は上記した実施の形態の構成をとらないことも考えられる。一例としては、従来のように、単純に、どの赤外線受光部で赤外線を受光したかによって、受光方向を推定してもよい。その結果、受光結果が揺れ動いてしまう場合には、赤外線による方向推定の信頼度が低いと判断され、他の方向推定システムによる推定結果が用いられることになるので問題はない。
以上、本発明の発信元方向推定システムおよびこれを備えたロボットについて、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
上記した第1の実施の形態では所定時間内に各受光素子21で受光した赤外線の受光量に基づいて発信元の方向を推定する例を挙げたが、赤外線を所定の閾値以上受光したことを条件として、発信元の方向を推定することとしてもよい。例えば、いずれかの受光素子21で赤外線のパケットを3個受光したら、その受光素子21の受光方向を発信元の方向と推定してもよい。ただし、赤外線を3個受光するのにかかる時間が長すぎないように、3個のパケットを受光するまでの時間に制限を設けることが好ましい。例えば、1.5秒以内に赤外線のパケットを3個受光したことを条件として、その受光方向を発信元の方向と推定してもよい。
上記した第1の実施の形態では、所定時間内における赤外光の受光量が最大の方向を発信元の方向として推定したが、第2の実施の形態で説明したように、複数の赤外線受光素子21a~21dのそれぞれで受光した受光量をベクトル加算して、発信元の方向を推定してもよい。
上記した実施の形態では、発信元方向の推定を行う時点で受光した赤外線に基づいて発信元方向を推定する例を挙げたが、発信元方向推定装置は、現時点での推定結果と過去の推定結果とに基づいて、赤外線の発信元の方向を推定してもよい。このように現時点での推定結果に加えて過去の推定結果を用いることにより、精度の高い推定を行うことができる。特に、赤外線の発信元が移動しているときに有効である。過去の推定結果を用いる方法としては、例えば、過去に推定した方向と現時点で推定した方向とが重なる方向を発信元の方向であるとする方法や、過去の複数の時点での推定結果から発信元の移動ベクトルを求め、現時点の発信元方向の推定結果を補正する等の方法が考えられる。
また、上記した第2の実施の形態では、複数の受光素子21で受光した総データ数をベクトル加算して発信元の方向を推定したが、受信した総データ数に代えて受信したパケット数を用いてもよい。
また、上記した第4の実施の形態では、赤外線の受信に基づいて、ロボット100bがロボット100aの方向を推定した際に、発光素子IDを無線通信することにより、ロボット100bのいる方向をロボット100aに知らせる例を挙げたが、もし、ロボット100aとロボット100bとが共通の座標系を有している場合には、ロボット100bから見たロボット100aの方向を示す情報を、ロボット100aに無線通信により通知してもよい。
上記した発信元装置10、発信元方向推定装置20及びロボット100は、プログラムによって制御される。すなわち、上記した方向推定や距離推定、発光制御等の各機能を実現するモジュールを有するプログラムをRAM、ROMまたは記憶装置116等に格納しておき、CPUによって当該プログラムを実行することによって、上記した発信元装置10、発信元方向推定装置20及びロボット100が実現される。このようなプログラムも本実施の形態の範囲に含まれる。
本発明は、赤外線の発信元の方向を推定する技術として有用であり、例えば、ロボットの位置推定に用いることができる。
この出願は、2018年7月12日に出願された日本出願特願2018-132429号を基礎とする優先権を主張し、その開示の総てをここに取り込む。

Claims (18)

  1. 受光方向の異なる複数の赤外線受光部と、
    赤外線の発信元の方向を推定する方向推定部と、を備え、
    前記赤外線受光部は、所定の通信プロトコルに従って、受光した赤外線をパケットに復
    元し、
    前記方向推定部は、所定の時間内に、それぞれの前記赤外線受光部が受信したパケ
    ット数に基づいて、赤外線の発信元の方向を推定する
    発信元方向推定装置。
  2. 前記方向推定部は、前記所定の時間内に、それぞれの前記赤外線受光部が受信したパケ
    ット数に加え、パケットを構成しなかったデータ数にも基づいて、赤外線の発信元の方向
    を推定する請求項1に記載の発信元方向推定装置。
  3. 前記方向推定部は、受信したパケット数が最大の赤外線受光部が受信したパケット数お
    よびデータ数と、当該赤外線受光部の受光方向と隣接する受光方向を有する赤外線受光部
    が受信したパケット数およびデータ数とに基づいて、赤外線の発信元の方向を推定する請
    求項2に記載の発信元方向推定装置。
  4. 受光方向の異なる複数の赤外線受光部であって、所定の通信プロトコルに従って、受光した赤外線をパケットに復元する前記赤外線受光部と、
    いずれかの前記赤外線受光部が受信したパケット数が所定の閾値に達し、かつ、前記所定の閾値になるまでの時間が所定の時間内である場合に、
    当該赤外線受光部の受光方向を赤外線の発信元の方向であると推定する方向推定部とを備える
    発信元方向推定装置。
  5. 前記方向推定部は、現時点での推定結果と過去の推定結果とに基づいて、赤外線の発信
    元の方向を推定する請求項1から4までのいずれかに記載の発信元方向推定装置。
  6. 赤外線発光部を有する発信元装置と、
    請求項1から5までのいずれかに記載の発信元方向推定装置と、
    を備える発信元方向推定システム。
  7. 発光方向の異なる複数の赤外線発光部と、
    前記各赤外線発光部の発光タイミングが重ならないように制御する発光制御部と、
    を有する発信元装置と、
    請求項1から5までのいずれかに記載の発信元方向推定装置と、
    を備える発信元方向推定システム。
  8. 前記赤外線発光部は、一定の周期で赤外線を出力し、かつ、出力強度を変えた赤外線を
    出力する、請求項6または7に記載の発信元方向推定システム。
  9. 前記赤外線発光部は、出力強度の小さい赤外線を出力強度の大きい赤外線よりも高い頻
    度で出力する請求項8に記載の発信元方向推定システム。
  10. 前記赤外線発光部は、所定の出力強度範囲の中で前記赤外線の出力強度を変化させ、前
    記発信元方向推定装置は受光した赤外線の出力強度の情報を前記赤外線発光部に送信し、
    前記赤外線発光部は、前記発信元方向推定装置が受光した赤外線の出力強度に基づいて前
    記出力強度範囲を変更する請求項8または9に記載の発信元方向推定システム。
  11. 前記赤外線発光部は、赤外線の出力強度を示す情報を含むパケットを送信し、
    前記発信元方向推定装置は、前記赤外線受光部で受信したパケットに含まれる出力強度
    を示す情報に基づいて、発信元の赤外線発光部までの距離を推定する距離推定部を備える
    請求項8から10までのいずれかに記載の発信元方向推定システム。
  12. 発信元装置と、請求項1から3までのいずれかに記載の発信元方向推定装置とを備える
    発信元方向推定システムであって、
    前記発信元装置は、
    発光方向の異なる複数の赤外線発光部であって、それぞれの赤外線発光部の発信元識別
    子を含むパケットを送信する複数の赤外線発光部と、
    前記発信元方向推定装置と通信を行う通信部と、
    を備え、
    前記発信元方向推定装置は、
    発信元の推定に用いたパケットに含まれる発信元識別子を送信する通信部を備える発信
    元方向推定システム。
  13. 受光方向の異なる複数の赤外線受光部と、
    赤外線の発信元の方向を推定する方向推定部とを備え、
    前記赤外線受光部は、所定の通信プロトコルに従って、受光した赤外線をパケットに復
    元し、
    前記方向推定部は、所定の時間内に、それぞれの前記赤外線受光部が受信したパケ
    ット数に基づいて、赤外線の発信元の方向を推定する
    ロボット。
  14. 受光方向の異なる複数の赤外線受光部によって赤外線を受光するステップと、
    所定の通信プロトコルに従って、受光した赤外線をパケットに復元するステップと、
    それぞれの前記赤外線受光部が受信したパケット数に基づいて、赤外線の発信元の方向
    を推定するステップと
    を備える発信元方向推定方法。
  15. 受光方向の異なる複数の赤外線受光部にて受光した赤外線に基づいて、発信元の方向を
    推定するためのプログラムであって、前記赤外線受光部と接続されたコンピュータに、
    前記複数の赤外線受光部から赤外線を受光するステップと、
    所定の通信プロトコルに従って、受光した赤外線をパケットに復元するステップと、
    それぞれの前記赤外線受光部が受信したパケット数に基づいて、赤外線の発信元の方向
    を推定するステップと
    を実行させるプログラム。
  16. 赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の存
    在する方向を推定するシステムであって、
    前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定す
    る請求項1から5までのいずれかに記載の発信元方向推定装置と、
    前記対象物の音声出力装置から出力された音声の到来方向を検出するDOA検出装置と
    周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在す
    る方向を推定する画像認識装置と、
    前記発信元方向推定装置にて推定した赤外線の発信元方向と前記DOA検出装置にて検
    出した音声の到来方向とに基づいて前記カメラによる撮影方向を決定し、当該撮影方向を
    前記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定し
    た方向を前記対象物が存在する方向と推定する推定結果統合部と、
    を備える対象物存在方向推定システム。
  17. 赤外線発光部を有する発信元装置を備えた対象物の方向を推定するシステムであって、
    前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定す
    る請求項1から5までのいずれかに記載の発信元方向推定装置と、
    周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在す
    る方向を推定する画像認識装置と、
    前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記画像認識装置にて認
    識した対象物の方向とに重なりがある場合には、前記画像認識装置による推定結果を対象
    物の存在する方向と推定し、重なりがない場合には、前記発信元方向推定装置にて推定し
    た赤外線の発信元方向に基づいて前記カメラによる撮影方向を決定し、当該撮影方向を前
    記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定した
    方向を前記対象物が存在する方向と推定する推定結果統合部と、
    を備える対象物存在方向推定システム。
  18. 赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の方
    向を推定するシステムであって、
    前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定す
    る請求項1から5までのいずれかに記載の発信元方向推定装置と、
    前記対象物の音声出力装置から出力された音声の到来方向を検出するDOA検出装置と、
    周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在す
    る方向を推定する画像認識装置と、
    前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記DOA検出装置にて
    検出した音声の到来方向と、前記画像認識装置にて認識した対象物の方向の結果を統合し
    て、前記対象物が存在する方向を推定する推定結果統合部と、
    を備え、
    前記推定結果統合部は、赤外線量が所定の閾値以上の環境では発信元方向推定装置を無
    効にし、環境音が所定の閾値以上の環境ではDOA検出装置を無効にし、明るさが所定の
    閾値以下の環境では画像認識装置を無効にする対象物存在方向推定システム。
JP2020530271A 2018-07-12 2019-07-11 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム Active JP7473202B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018132429 2018-07-12
JP2018132429 2018-07-12
PCT/JP2019/027595 WO2020013298A1 (ja) 2018-07-12 2019-07-11 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム

Publications (2)

Publication Number Publication Date
JPWO2020013298A1 JPWO2020013298A1 (ja) 2021-08-05
JP7473202B2 true JP7473202B2 (ja) 2024-04-23

Family

ID=69142680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020530271A Active JP7473202B2 (ja) 2018-07-12 2019-07-11 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム

Country Status (2)

Country Link
JP (1) JP7473202B2 (ja)
WO (1) WO2020013298A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004536715A (ja) 2001-05-25 2004-12-09 レゴ エー/エス 位置および通信システムならびに方法
WO2011101945A1 (ja) 2010-02-19 2011-08-25 パナソニック株式会社 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム
JP2016045839A (ja) 2014-08-26 2016-04-04 株式会社日立製作所 通信システム、管理計算機、及びセッション情報移行方法
JP2017178198A (ja) 2016-03-31 2017-10-05 川崎重工業株式会社 水中設備への自律型無人潜水機のアプローチシステム
WO2017212929A1 (ja) 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2553806B2 (ja) * 1992-09-11 1996-11-13 サンクス株式会社 光電スイッチ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004536715A (ja) 2001-05-25 2004-12-09 レゴ エー/エス 位置および通信システムならびに方法
WO2011101945A1 (ja) 2010-02-19 2011-08-25 パナソニック株式会社 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム
JP2016045839A (ja) 2014-08-26 2016-04-04 株式会社日立製作所 通信システム、管理計算機、及びセッション情報移行方法
JP2017178198A (ja) 2016-03-31 2017-10-05 川崎重工業株式会社 水中設備への自律型無人潜水機のアプローチシステム
WO2017212929A1 (ja) 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両

Also Published As

Publication number Publication date
JPWO2020013298A1 (ja) 2021-08-05
WO2020013298A1 (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
CN109120664B (zh) 远程通信方法、远程通信系统和自主移动装置
CN110300267B (zh) 拍照方法和终端设备
KR102553487B1 (ko) 카메라, 및 이를 구비하는 단말기
US11947728B2 (en) Electronic device for executing function based on hand gesture and method for operating thereof
JP2016218899A (ja) ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
US20190372668A1 (en) Device Awareness in Line-of-Sight Optical Communication Systems
JP7473202B2 (ja) 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
JP2007303913A (ja) 異物検知装置、それを用いたロボット装置、異物検知方法および異物検知プログラム
US20230199328A1 (en) Method of removing interference and electronic device performing the method
US11893698B2 (en) Electronic device, AR device and method for controlling data transfer interval thereof
US20220400325A1 (en) Neck-worn device
CN117256157A (zh) 包括相机的电子装置
CN117121478A (zh) 包括多个相机的可穿戴电子装置
KR20220128187A (ko) 전자 장치, 그 제어 방법, 및 프로그램이 기록된 기록매체
CN116830065A (zh) 用于跟踪用户注视并提供增强现实服务的电子装置及其方法
CN110062167B (zh) 一种联动拍摄控制方法、设备及计算机可读存储介质
KR20220151932A (ko) 전자 장치 및 전자 장치의 동작 방법
CN107995416B (zh) 一种焦距调节方法及移动终端
KR20210085256A (ko) 사용자의 위치를 제공하기 위한 전자 장치 및 방법
US20230213984A1 (en) Electronic device including connection member
CN216979452U (zh) 智能眼镜
JP7118456B2 (ja) 首掛け型装置
US20230018784A1 (en) Electronic device and operation method of electronic device for controlling external electronic device
US20230236321A1 (en) Electronic device for obtaining distance information and method for controlling the same
KR20230111293A (ko) 거리 정보를 획득하는 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240404