JP7473202B2 - 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム - Google Patents
発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム Download PDFInfo
- Publication number
- JP7473202B2 JP7473202B2 JP2020530271A JP2020530271A JP7473202B2 JP 7473202 B2 JP7473202 B2 JP 7473202B2 JP 2020530271 A JP2020530271 A JP 2020530271A JP 2020530271 A JP2020530271 A JP 2020530271A JP 7473202 B2 JP7473202 B2 JP 7473202B2
- Authority
- JP
- Japan
- Prior art keywords
- source
- infrared
- direction estimation
- estimation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 30
- 230000005540 biological transmission Effects 0.000 title description 7
- 238000004891 communication Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 33
- 230000010354 integration Effects 0.000 claims description 28
- 230000005855 radiation Effects 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 25
- 239000013598 vector Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/783—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems
Description
(第1の実施の形態)
図1は、第1の実施の形態の発信元方向推定システム1の構成を示す図である。発信元方向推定システム1は、赤外線を発光する発信元装置10と、発信元装置10から発せられた赤外線を受光して、発信元の方向を推定する発信元方向推定装置20とを備えている。
次に、第2の実施の形態の発信元方向推定システムについて説明する。第2の実施の形態の発信元方向推定システムにおいて用いられる発信元装置10の基本的な構成は、第1の実施の形態と同じである。第2の実施の形態の発信元方向推定装置20は、方向推定部22にて発信元を推定する処理が第1の実施の形態の発信元方向推定装置20とは異なる。
次に、第3の実施の形態の発信元方向推定システムについて説明する。第3の実施の形態の発信元方向推定システムの基本的な構成は、第2の実施の形態の発信元方向推定システムと同じであるが、第3の実施の形態では、発信元方向推定装置20が、発信元の方向だけでなく、発信元までの距離も推定する点が異なる。第3の実施の形態では、発信元装置10は、発信する赤外線の強さを周期的に変える。
第3の実施の形態の発信元装置10において、出力強度を周期的に変化させる出力強度範囲を適切に変更するようにしてもよい。発信元装置10は、出力強度R1,R2,R3(R1<R2<R3)を変化させる第1の出力強度範囲と、出力強度R2,R3,R4(R2<R3<R4)を変化させる第2の出力強度範囲と、出力強度R3,R4,R5(R3<R4<R5)を変化させる第3の出力強度範囲と有する。そして、最初に、第2の出力強度範囲において、出力強度R2,R3,R4を周期的に変化させて、赤外線を出力する。
図10Aは、発信元の方向推定装置を搭載したロボット100a,100bの外観を示す図である。ロボット100aとロボット100bは、同じ構成を有する。以下、ロボット100a,100bを総称する場合または特定する必要がない場合には、「ロボット100」という。ロボット100は、頭上に略円筒形状のツノ102を搭載している。ツノ102には、赤外線によって他のロボット100のいる方向を推定する方向推定装置30が内蔵されている。また、ロボットは、前輪103と後輪104を備えている。前輪103は、図11に示すように、左右一対である。ロボットは、一対の前輪103と後輪104によって、移動したり回転したりできる。
次に、本実施の形態の対象物存在方向推定システムについて説明する。対象物として、第4の実施の形態でも説明したようなロボットを例に挙げる。すなわち、対象物存在方向推定システムは、ロボットが他のロボットの存在する方向を推定するシステムである。第4の実施の形態では、赤外線を利用してロボットの存在方向を推定したが、本実施の形態では、赤外線以外のセンサも用いてロボットの存在方向を推定する。
推定結果統合部51は、発信元方向推定システム52、DOA検出システム53、および画像認識装置57から、他のロボットの存在方向の推定結果のデータとその推定結果の信頼度のデータを取得する。推定結果統合部51は、取得した3つの推定結果の中から最も信頼度の高かった推定結果を対象物の存在方向と推定する。
推定結果統合部51は、画像認識装置57による方向推定結果を優先する。例えば、ロボットがそもそも映っていない場合や、映像の中にロボットに似たものがたくさんあってロボットの認識結果の信頼性が低い場合だけ、赤外線による発信元方向推定結果またはDOA検出結果のうちで信頼度の高い推定結果を用いる。一般的には、画像認識装置57によって他のロボットを認識できた場合には、その存在方向が精度良く求まるので、第2方式は、画像認識装置57による方向推定の結果を信頼する方式である。
図14は、推定結果統合部51による推定結果統合の第3方式を示すフローチャートである。推定結果統合部51は、赤外線による方向推定結果とDOAによる方向推定結果を取得し(S20)、取得した2つの推定方向に重なりがあるか否かを判定する(S21)。2つの推定方向に重なりがある場合には(S21でYES)、推定結果統合部51は、重なっている方向を決定する(S22)。重なりがない場合には(S21でNO)、推定結果統合部51は、赤外線による方向推定結果とDOAによる方向推定結果のうち信頼度の高い推定結果を決定する(S23)。
図15は、推定結果統合部51による推定結果統合の第4方式を示すフローチャートである。第4方式では、DOA検出システム53を用いず、発信元方向推定システム52と画像認識装置57とを用いてロボットの存在方向を推定する。推定結果統合部51は、画像認識装置57によるロボット存在方向推定結果を取得し(S30)、続いて、赤外線発信元方向推定装置から赤外線の発信元方向の推定結果を取得する(S31)。
推定結果統合部51による推定結果統合の第5方式について説明する。発信元方向推定システム52、DOA検出システム53および画像認識装置57は、それぞれ異なる特性を有しており、得意な環境と不得意な環境がある。すなわち、発信元方向推定システム52は、赤外線を受光してその発信元を推定するので、赤外線が所定の頻度以上で検出される環境だと、方向推定の信頼性が低下する。DOAは、音声を用いる方式なので、環境音が大きいと方向推定の信頼性が低下する。画像認識装置57は、可視光を用いて撮影した画像を解析することから、暗い環境だと方向推定の信頼性が低下する。
Claims (18)
- 受光方向の異なる複数の赤外線受光部と、
赤外線の発信元の方向を推定する方向推定部と、を備え、
前記赤外線受光部は、所定の通信プロトコルに従って、受光した赤外線をパケットに復
元し、
前記方向推定部は、所定の時間内に、それぞれの前記赤外線受光部が受信したパケ
ット数に基づいて、赤外線の発信元の方向を推定する
発信元方向推定装置。 - 前記方向推定部は、前記所定の時間内に、それぞれの前記赤外線受光部が受信したパケ
ット数に加え、パケットを構成しなかったデータ数にも基づいて、赤外線の発信元の方向
を推定する請求項1に記載の発信元方向推定装置。 - 前記方向推定部は、受信したパケット数が最大の赤外線受光部が受信したパケット数お
よびデータ数と、当該赤外線受光部の受光方向と隣接する受光方向を有する赤外線受光部
が受信したパケット数およびデータ数とに基づいて、赤外線の発信元の方向を推定する請
求項2に記載の発信元方向推定装置。 - 受光方向の異なる複数の赤外線受光部であって、所定の通信プロトコルに従って、受光した赤外線をパケットに復元する前記赤外線受光部と、
いずれかの前記赤外線受光部が受信したパケット数が所定の閾値に達し、かつ、前記所定の閾値になるまでの時間が所定の時間内である場合に、
当該赤外線受光部の受光方向を赤外線の発信元の方向であると推定する方向推定部とを備える
発信元方向推定装置。 - 前記方向推定部は、現時点での推定結果と過去の推定結果とに基づいて、赤外線の発信
元の方向を推定する請求項1から4までのいずれかに記載の発信元方向推定装置。 - 赤外線発光部を有する発信元装置と、
請求項1から5までのいずれかに記載の発信元方向推定装置と、
を備える発信元方向推定システム。 - 発光方向の異なる複数の赤外線発光部と、
前記各赤外線発光部の発光タイミングが重ならないように制御する発光制御部と、
を有する発信元装置と、
請求項1から5までのいずれかに記載の発信元方向推定装置と、
を備える発信元方向推定システム。 - 前記赤外線発光部は、一定の周期で赤外線を出力し、かつ、出力強度を変えた赤外線を
出力する、請求項6または7に記載の発信元方向推定システム。 - 前記赤外線発光部は、出力強度の小さい赤外線を出力強度の大きい赤外線よりも高い頻
度で出力する請求項8に記載の発信元方向推定システム。 - 前記赤外線発光部は、所定の出力強度範囲の中で前記赤外線の出力強度を変化させ、前
記発信元方向推定装置は受光した赤外線の出力強度の情報を前記赤外線発光部に送信し、
前記赤外線発光部は、前記発信元方向推定装置が受光した赤外線の出力強度に基づいて前
記出力強度範囲を変更する請求項8または9に記載の発信元方向推定システム。 - 前記赤外線発光部は、赤外線の出力強度を示す情報を含むパケットを送信し、
前記発信元方向推定装置は、前記赤外線受光部で受信したパケットに含まれる出力強度
を示す情報に基づいて、発信元の赤外線発光部までの距離を推定する距離推定部を備える
請求項8から10までのいずれかに記載の発信元方向推定システム。 - 発信元装置と、請求項1から3までのいずれかに記載の発信元方向推定装置とを備える
発信元方向推定システムであって、
前記発信元装置は、
発光方向の異なる複数の赤外線発光部であって、それぞれの赤外線発光部の発信元識別
子を含むパケットを送信する複数の赤外線発光部と、
前記発信元方向推定装置と通信を行う通信部と、
を備え、
前記発信元方向推定装置は、
発信元の推定に用いたパケットに含まれる発信元識別子を送信する通信部を備える発信
元方向推定システム。 - 受光方向の異なる複数の赤外線受光部と、
赤外線の発信元の方向を推定する方向推定部とを備え、
前記赤外線受光部は、所定の通信プロトコルに従って、受光した赤外線をパケットに復
元し、
前記方向推定部は、所定の時間内に、それぞれの前記赤外線受光部が受信したパケ
ット数に基づいて、赤外線の発信元の方向を推定する
ロボット。 - 受光方向の異なる複数の赤外線受光部によって赤外線を受光するステップと、
所定の通信プロトコルに従って、受光した赤外線をパケットに復元するステップと、
それぞれの前記赤外線受光部が受信したパケット数に基づいて、赤外線の発信元の方向
を推定するステップと
を備える発信元方向推定方法。 - 受光方向の異なる複数の赤外線受光部にて受光した赤外線に基づいて、発信元の方向を
推定するためのプログラムであって、前記赤外線受光部と接続されたコンピュータに、
前記複数の赤外線受光部から赤外線を受光するステップと、
所定の通信プロトコルに従って、受光した赤外線をパケットに復元するステップと、
それぞれの前記赤外線受光部が受信したパケット数に基づいて、赤外線の発信元の方向
を推定するステップと
を実行させるプログラム。 - 赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の存
在する方向を推定するシステムであって、
前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定す
る請求項1から5までのいずれかに記載の発信元方向推定装置と、
前記対象物の音声出力装置から出力された音声の到来方向を検出するDOA検出装置と
周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在す
る方向を推定する画像認識装置と、
前記発信元方向推定装置にて推定した赤外線の発信元方向と前記DOA検出装置にて検
出した音声の到来方向とに基づいて前記カメラによる撮影方向を決定し、当該撮影方向を
前記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定し
た方向を前記対象物が存在する方向と推定する推定結果統合部と、
を備える対象物存在方向推定システム。 - 赤外線発光部を有する発信元装置を備えた対象物の方向を推定するシステムであって、
前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定す
る請求項1から5までのいずれかに記載の発信元方向推定装置と、
周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在す
る方向を推定する画像認識装置と、
前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記画像認識装置にて認
識した対象物の方向とに重なりがある場合には、前記画像認識装置による推定結果を対象
物の存在する方向と推定し、重なりがない場合には、前記発信元方向推定装置にて推定し
た赤外線の発信元方向に基づいて前記カメラによる撮影方向を決定し、当該撮影方向を前
記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定した
方向を前記対象物が存在する方向と推定する推定結果統合部と、
を備える対象物存在方向推定システム。 - 赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の方
向を推定するシステムであって、
前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定す
る請求項1から5までのいずれかに記載の発信元方向推定装置と、
前記対象物の音声出力装置から出力された音声の到来方向を検出するDOA検出装置と、
周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在す
る方向を推定する画像認識装置と、
前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記DOA検出装置にて
検出した音声の到来方向と、前記画像認識装置にて認識した対象物の方向の結果を統合し
て、前記対象物が存在する方向を推定する推定結果統合部と、
を備え、
前記推定結果統合部は、赤外線量が所定の閾値以上の環境では発信元方向推定装置を無
効にし、環境音が所定の閾値以上の環境ではDOA検出装置を無効にし、明るさが所定の
閾値以下の環境では画像認識装置を無効にする対象物存在方向推定システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018132429 | 2018-07-12 | ||
JP2018132429 | 2018-07-12 | ||
PCT/JP2019/027595 WO2020013298A1 (ja) | 2018-07-12 | 2019-07-11 | 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020013298A1 JPWO2020013298A1 (ja) | 2021-08-05 |
JP7473202B2 true JP7473202B2 (ja) | 2024-04-23 |
Family
ID=69142680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020530271A Active JP7473202B2 (ja) | 2018-07-12 | 2019-07-11 | 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7473202B2 (ja) |
WO (1) | WO2020013298A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004536715A (ja) | 2001-05-25 | 2004-12-09 | レゴ エー/エス | 位置および通信システムならびに方法 |
WO2011101945A1 (ja) | 2010-02-19 | 2011-08-25 | パナソニック株式会社 | 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム |
JP2016045839A (ja) | 2014-08-26 | 2016-04-04 | 株式会社日立製作所 | 通信システム、管理計算機、及びセッション情報移行方法 |
JP2017178198A (ja) | 2016-03-31 | 2017-10-05 | 川崎重工業株式会社 | 水中設備への自律型無人潜水機のアプローチシステム |
WO2017212929A1 (ja) | 2016-06-08 | 2017-12-14 | ソニー株式会社 | 撮像制御装置および方法、並びに車両 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2553806B2 (ja) * | 1992-09-11 | 1996-11-13 | サンクス株式会社 | 光電スイッチ |
-
2019
- 2019-07-11 JP JP2020530271A patent/JP7473202B2/ja active Active
- 2019-07-11 WO PCT/JP2019/027595 patent/WO2020013298A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004536715A (ja) | 2001-05-25 | 2004-12-09 | レゴ エー/エス | 位置および通信システムならびに方法 |
WO2011101945A1 (ja) | 2010-02-19 | 2011-08-25 | パナソニック株式会社 | 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム |
JP2016045839A (ja) | 2014-08-26 | 2016-04-04 | 株式会社日立製作所 | 通信システム、管理計算機、及びセッション情報移行方法 |
JP2017178198A (ja) | 2016-03-31 | 2017-10-05 | 川崎重工業株式会社 | 水中設備への自律型無人潜水機のアプローチシステム |
WO2017212929A1 (ja) | 2016-06-08 | 2017-12-14 | ソニー株式会社 | 撮像制御装置および方法、並びに車両 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020013298A1 (ja) | 2021-08-05 |
WO2020013298A1 (ja) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109120664B (zh) | 远程通信方法、远程通信系统和自主移动装置 | |
CN110300267B (zh) | 拍照方法和终端设备 | |
KR102553487B1 (ko) | 카메라, 및 이를 구비하는 단말기 | |
US11947728B2 (en) | Electronic device for executing function based on hand gesture and method for operating thereof | |
JP2016218899A (ja) | ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 | |
US20190372668A1 (en) | Device Awareness in Line-of-Sight Optical Communication Systems | |
JP7473202B2 (ja) | 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム | |
JP2007303913A (ja) | 異物検知装置、それを用いたロボット装置、異物検知方法および異物検知プログラム | |
US20230199328A1 (en) | Method of removing interference and electronic device performing the method | |
US11893698B2 (en) | Electronic device, AR device and method for controlling data transfer interval thereof | |
US20220400325A1 (en) | Neck-worn device | |
CN117256157A (zh) | 包括相机的电子装置 | |
CN117121478A (zh) | 包括多个相机的可穿戴电子装置 | |
KR20220128187A (ko) | 전자 장치, 그 제어 방법, 및 프로그램이 기록된 기록매체 | |
CN116830065A (zh) | 用于跟踪用户注视并提供增强现实服务的电子装置及其方法 | |
CN110062167B (zh) | 一种联动拍摄控制方法、设备及计算机可读存储介质 | |
KR20220151932A (ko) | 전자 장치 및 전자 장치의 동작 방법 | |
CN107995416B (zh) | 一种焦距调节方法及移动终端 | |
KR20210085256A (ko) | 사용자의 위치를 제공하기 위한 전자 장치 및 방법 | |
US20230213984A1 (en) | Electronic device including connection member | |
CN216979452U (zh) | 智能眼镜 | |
JP7118456B2 (ja) | 首掛け型装置 | |
US20230018784A1 (en) | Electronic device and operation method of electronic device for controlling external electronic device | |
US20230236321A1 (en) | Electronic device for obtaining distance information and method for controlling the same | |
KR20230111293A (ko) | 거리 정보를 획득하는 전자 장치 및 이의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240404 |