JPWO2020013298A1 - 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム - Google Patents
発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム Download PDFInfo
- Publication number
- JPWO2020013298A1 JPWO2020013298A1 JP2020530271A JP2020530271A JPWO2020013298A1 JP WO2020013298 A1 JPWO2020013298 A1 JP WO2020013298A1 JP 2020530271 A JP2020530271 A JP 2020530271A JP 2020530271 A JP2020530271 A JP 2020530271A JP WO2020013298 A1 JPWO2020013298 A1 JP WO2020013298A1
- Authority
- JP
- Japan
- Prior art keywords
- source
- infrared
- direction estimation
- unit
- infrared rays
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000010354 integration Effects 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 33
- 238000004891 communication Methods 0.000 claims description 29
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 24
- 239000013598 vector Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/783—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Communication System (AREA)
Abstract
Description
(第1の実施の形態)
図1は、第1の実施の形態の発信元方向推定システム1の構成を示す図である。発信元方向推定システム1は、赤外線を発光する発信元装置10と、発信元装置10から発せられた赤外線を受光して、発信元の方向を推定する発信元方向推定装置20とを備えている。
次に、第2の実施の形態の発信元方向推定システムについて説明する。第2の実施の形態の発信元方向推定システムにおいて用いられる発信元装置10の基本的な構成は、第1の実施の形態と同じである。第2の実施の形態の発信元方向推定装置20は、方向推定部22にて発信元を推定する処理が第1の実施の形態の発信元方向推定装置20とは異なる。
次に、第3の実施の形態の発信元方向推定システムについて説明する。第3の実施の形態の発信元方向推定システムの基本的な構成は、第2の実施の形態の発信元方向推定システムと同じであるが、第3の実施の形態では、発信元方向推定装置20が、発信元の方向だけでなく、発信元までの距離も推定する点が異なる。第3の実施の形態では、発信元装置10は、発信する赤外線の強さを周期的に変える。
第3の実施の形態の発信元装置10において、出力強度を周期的に変化させる出力強度範囲を適切に変更するようにしてもよい。発信元装置10は、出力強度R1,R2,R3(R1<R2<R3)を変化させる第1の出力強度範囲と、出力強度R2,R3,R4(R2<R3<R4)を変化させる第2の出力強度範囲と、出力強度R3,R4,R5(R3<R4<R5)を変化させる第3の出力強度範囲と有する。そして、最初に、第2の出力強度範囲において、出力強度R2,R3,R4を周期的に変化させて、赤外線を出力する。
図10Aは、発信元の方向推定装置を搭載したロボット100a,100bの外観を示す図である。ロボット100aとロボット100bは、同じ構成を有する。以下、ロボット100a,100bを総称する場合または特定する必要がない場合には、「ロボット100」という。ロボット100は、頭上に略円筒形状のツノ102を搭載している。ツノ102には、赤外線によって他のロボット100のいる方向を推定する方向推定装置30が内蔵されている。また、ロボットは、前輪103と後輪104を備えている。前輪103は、図11に示すように、左右一対である。ロボットは、一対の前輪103と後輪104によって、移動したり回転したりできる。
次に、本実施の形態の対象物存在方向推定システムについて説明する。対象物として、第4の実施の形態でも説明したようなロボットを例に挙げる。すなわち、対象物存在方向推定システムは、ロボットが他のロボットの存在する方向を推定するシステムである。第4の実施の形態では、赤外線を利用してロボットの存在方向を推定したが、本実施の形態では、赤外線以外のセンサも用いてロボットの存在方向を推定する。
推定結果統合部51は、発信元方向推定システム52、DOA検出システム53、および画像認識装置57から、他のロボットの存在方向の推定結果のデータとその推定結果の信頼度のデータを取得する。推定結果統合部51は、取得した3つの推定結果の中から最も信頼度の高かった推定結果を対象物の存在方向と推定する。
推定結果統合部51は、画像認識装置57による方向推定結果を優先する。例えば、ロボットがそもそも映っていない場合や、映像の中にロボットに似たものがたくさんあってロボットの認識結果の信頼性が低い場合だけ、赤外線による発信元方向推定結果またはDOA検出結果のうちで信頼度の高い推定結果を用いる。一般的には、画像認識装置57によって他のロボットを認識できた場合には、その存在方向が精度良く求まるので、第2方式は、画像認識装置57による方向推定の結果を信頼する方式である。
図14は、推定結果統合部51による推定結果統合の第3方式を示すフローチャートである。推定結果統合部51は、赤外線による方向推定結果とDOAによる方向推定結果を取得し(S20)、取得した2つの推定方向に重なりがあるか否かを判定する(S21)。2つの推定方向に重なりがある場合には(S21でYES)、推定結果統合部51は、重なっている方向を決定する(S22)。重なりがない場合には(S21でNO)、推定結果統合部51は、赤外線による方向推定結果とDOAによる方向推定結果のうち信頼度の高い推定結果を決定する(S23)。
図15は、推定結果統合部51による推定結果統合の第4方式を示すフローチャートである。第4方式では、DOA検出システム53を用いず、発信元方向推定システム52と画像認識装置57とを用いてロボットの存在方向を推定する。推定結果統合部51は、画像認識装置57によるロボット存在方向推定結果を取得し(S30)、続いて、赤外線発信元方向推定装置から赤外線の発信元方向の推定結果を取得する(S31)。
推定結果統合部51による推定結果統合の第5方式について説明する。発信元方向推定システム52、DOA検出システム53および画像認識装置57は、それぞれ異なる特性を有しており、得意な環境と不得意な環境がある。すなわち、発信元方向推定システム52は、赤外線を受光してその発信元を推定するので、赤外線が所定の頻度以上で検出される環境だと、方向推定の信頼性が低下する。DOAは、音声を用いる方式なので、環境音が大きいと方向推定の信頼性が低下する。画像認識装置57は、可視光を用いて撮影した画像を解析することから、暗い環境だと方向推定の信頼性が低下する。
Claims (21)
- 受光方向の異なる複数の赤外線受光部と、
所定の時間内における、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部と、
を備える発信元方向推定装置。 - 前記赤外線受光部は、所定の通信プロトコルに従って、受光した赤外線をパケットに復元し、
前記方向推定部は、前記所定の時間内に、それぞれの前記赤外線受光部が受信したパケット数に基づいて、赤外線の発信元の方向を推定する請求項1に記載の発信元方向推定装置。 - 前記方向推定部は、前記所定の時間内に、それぞれの前記赤外線受光部が受信したパケット数に加え、パケットを構成しなかったデータ数にも基づいて、赤外線の発信元の方向を推定する請求項2に記載の発信元方向推定装置。
- 前記方向推定部は、受信したパケット数が最大の赤外線受光部が受信したパケット数およびデータ数と、当該赤外線受光部の受光方向と隣接する受光方向を有する赤外線受光部が受信したパケット数およびデータ数とに基づいて、赤外線の発信元の方向を推定する請求項3に記載の発信元方向推定装置。
- 受光方向の異なる複数の赤外線受光部と、
いずれかの赤外線受光部の受光量が所定の閾値に達し、かつ、前記所定の閾値になるまでの時間が所定の時間内である場合に、当該赤外線受光部の受光方向を赤外線の発信元の方向であると推定する方向推定部と、
を備える発信元方向推定装置。 - 前記方向推定部は、現時点での推定結果と過去の推定結果とに基づいて、赤外線の発信元の方向を推定する請求項1から5までのいずれかに記載の発信元方向推定装置。
- 赤外線発光部を有する発信元装置と、
請求項1から6までのいずれかに記載の発信元方向推定装置と、
を備える発信元方向推定システム。 - 発光方向の異なる複数の赤外線発光部と、
前記各赤外線発光部の発光タイミングが重ならないように制御する発光制御部と、
を有する前記発信元装置と、
請求項1から6までのいずれかに記載の発信元方向推定装置と、
を備える発信元方向推定システム。 - 前記赤外線発光部は、一定の周期で赤外線を出力し、かつ、出力強度を変えた赤外線を出力する、請求項7または8に記載の発信元方向推定システム。
- 前記赤外線発光部は、出力強度の小さい赤外線を出力強度の大きい赤外線よりも高い頻度で出力する請求項9に記載の発信元方向推定システム。
- 前記赤外線発光部は、所定の出力強度範囲の中で前記赤外線の出力強度を変化させ、前記発信元方向推定装置は受光した赤外線の出力強度の情報を前記赤外線発光部に送信し、前記赤外線発光部は、前記発信元方向推定装置が受光した赤外線の出力強度に基づいて前記出力強度範囲を変更する請求項9または10に記載の発信元方向推定システム。
- 前記赤外線発光部は、赤外線の出力強度を示す情報を含むパケットを送信し、
前記発信元方向推定装置は、前記赤外線受光部で受信したパケットに含まれる出力強度を示す情報に基づいて、発信元の赤外線発光部までの距離を推定する距離推定部を備える請求項9から11までのいずれかに記載の発信元方向推定システム。 - 発信元装置と、請求項2から4までのいずれかに記載の発信元方向推定装置とを備える発信元方向推定システムであって、
前記発信元装置は、
発光方向の異なる複数の赤外線発光部であって、それぞれの赤外線発光部の発信元識別子を含むパケットを送信する複数の赤外線発光部と、
前記発信元方向推定装置と通信を行う通信部と、
を備え、
前記発信元方向推定装置は、
発信元の推定に用いたパケットに含まれる発信元識別子を送信する通信部を備える発信元方向推定システム。 - 方向推定に用いられる赤外線を出力する赤外線発光装置であって、
出力強度の小さい赤外線を出力強度の大きい赤外線よりも高い頻度で含む赤外線を発光する赤外線発光装置。 - 赤外線のデータにより構成されるパケットに、当該赤外線の出力強度を示す情報を含む請求項14に記載の赤外線発光装置。
- 赤外線を出力する赤外線発光装置と、
受光方向の異なる複数の赤外線受光部と、
所定の時間内における、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部と、
を備えるロボット。 - 受光方向の異なる複数の赤外線受光部によって赤外線を受光するステップと、
所定の時間内における、それぞれの前記赤外線受光部の受光量を測定するステップと、
それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定するステップと、
を備える発信元方向推定方法。 - 受光方向の異なる複数の赤外線受光部にて受光した赤外線に基づいて、発信元の方向を推定するためのプログラムであって、前記赤外線受光部と接続されたコンピュータに、
前記複数の赤外線受光部から赤外線を受光するステップと、
所定の時間内における、それぞれの前記赤外線受光部の受光量を測定するステップと、
それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定するステップと、
を実行させるプログラム。 - 赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の存在する方向を推定するシステムであって、
前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する請求項1から6までのいずれかに記載の発信元方向推定装置と、
前記対象物の音声出力装置から出力された音声の到来方向を検出するDOA検出装置と、
周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、
前記発信元方向推定装置にて推定した赤外線の発信元方向と前記DOA検出装置にて検出した音声の到来方向とに基づいて前記カメラによる撮影方向を決定し、当該撮影方向を前記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定した方向を前記対象物が存在する方向と推定する推定結果統合部と、
を備える対象物存在方向推定システム。 - 赤外線発光部を有する発信元装置を備えた対象物の方向を推定するシステムであって、
前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する請求項1から6までのいずれかに記載の発信元方向推定装置と、
周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、
前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記画像認識装置にて認識した対象物の方向とに重なりがある場合には、前記画像認識装置による推定結果を対象物の存在する方向と推定し、重なりがない場合には、前記発信元方向推定装置にて推定した赤外線の発信元方向に基づいて前記カメラによる撮影方向を決定し、当該撮影方向を前記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定した方向を前記対象物が存在する方向と推定する推定結果統合部と、
を備える対象物存在方向推定システム。 - 赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の方向を推定するシステムであって、
前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する請求項1から6までのいずれかに記載の発信元方向推定装置と、
前記対象物の音声出力装置から出力された音声の到来方向を検出するDOA検出装置と、
周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、
前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記DOA検出装置にて検出した音声の到来方向と、前記画像認識装置にて認識した対象物の方向の結果を統合して、前記対象物が存在する方向を推定する推定結果統合部と、
を備え、
前記推定結果統合部は、赤外線量が所定の閾値以上の環境では発信元方向推定装置を無効にし、環境音が所定の閾値以上の環境ではDOA検出装置にし、明るさが所定の閾値以下の環境では画像認識装置を無効にする対象物存在方向推定システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018132429 | 2018-07-12 | ||
JP2018132429 | 2018-07-12 | ||
PCT/JP2019/027595 WO2020013298A1 (ja) | 2018-07-12 | 2019-07-11 | 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020013298A1 true JPWO2020013298A1 (ja) | 2021-08-05 |
JP7473202B2 JP7473202B2 (ja) | 2024-04-23 |
Family
ID=69142680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020530271A Active JP7473202B2 (ja) | 2018-07-12 | 2019-07-11 | 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7473202B2 (ja) |
WO (1) | WO2020013298A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0694843A (ja) * | 1992-09-11 | 1994-04-08 | Sunx Ltd | 光電スイッチ |
JP2004536715A (ja) * | 2001-05-25 | 2004-12-09 | レゴ エー/エス | 位置および通信システムならびに方法 |
WO2011101945A1 (ja) * | 2010-02-19 | 2011-08-25 | パナソニック株式会社 | 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム |
JP2016045839A (ja) * | 2014-08-26 | 2016-04-04 | 株式会社日立製作所 | 通信システム、管理計算機、及びセッション情報移行方法 |
WO2017212929A1 (ja) * | 2016-06-08 | 2017-12-14 | ソニー株式会社 | 撮像制御装置および方法、並びに車両 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017178198A (ja) * | 2016-03-31 | 2017-10-05 | 川崎重工業株式会社 | 水中設備への自律型無人潜水機のアプローチシステム |
-
2019
- 2019-07-11 WO PCT/JP2019/027595 patent/WO2020013298A1/ja active Application Filing
- 2019-07-11 JP JP2020530271A patent/JP7473202B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0694843A (ja) * | 1992-09-11 | 1994-04-08 | Sunx Ltd | 光電スイッチ |
JP2004536715A (ja) * | 2001-05-25 | 2004-12-09 | レゴ エー/エス | 位置および通信システムならびに方法 |
WO2011101945A1 (ja) * | 2010-02-19 | 2011-08-25 | パナソニック株式会社 | 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム |
JP2016045839A (ja) * | 2014-08-26 | 2016-04-04 | 株式会社日立製作所 | 通信システム、管理計算機、及びセッション情報移行方法 |
WO2017212929A1 (ja) * | 2016-06-08 | 2017-12-14 | ソニー株式会社 | 撮像制御装置および方法、並びに車両 |
Also Published As
Publication number | Publication date |
---|---|
WO2020013298A1 (ja) | 2020-01-16 |
JP7473202B2 (ja) | 2024-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102380335B1 (ko) | 주사 레이저 평면성 검출 | |
US10603796B2 (en) | Companion robot and method for controlling companion robot | |
US20050156883A1 (en) | System and process for selecting objects in a ubiquitous computing environment | |
CN109120664B (zh) | 远程通信方法、远程通信系统和自主移动装置 | |
CN105987694B (zh) | 识别移动设备的用户的方法和装置 | |
US11564348B2 (en) | Moving robot and method of controlling the same | |
CN110300267B (zh) | 拍照方法和终端设备 | |
US11574740B2 (en) | Electronic device and method for suppressing vision loss | |
CN110502108B (zh) | 设备控制方法、装置以及电子设备 | |
CN107743156B (zh) | 移动终端、移动终端的控制方法及计算机可读存储介质 | |
KR20170024844A (ko) | 이동 로봇 및 이의 제어방법 | |
KR102553487B1 (ko) | 카메라, 및 이를 구비하는 단말기 | |
US11582555B2 (en) | Smart audio system capable of determining speaker type and position | |
JP6804130B2 (ja) | 撮影方向ずれ検出方法、装置、デバイス及び記憶媒体 | |
US10523318B2 (en) | Device awareness in line-of-sight optical communication systems | |
CN111901528A (zh) | 拍摄设备稳定器 | |
US11953913B2 (en) | Event identifying method of smart detection system | |
JP7473202B2 (ja) | 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム | |
JP2007303913A (ja) | 異物検知装置、それを用いたロボット装置、異物検知方法および異物検知プログラム | |
US20220400325A1 (en) | Neck-worn device | |
CN113824221A (zh) | 电子设备及其从设备定位方法、计算机可读存储介质 | |
KR101614206B1 (ko) | 플래시 및 이를 이용한 서비스 시스템 | |
KR20210022394A (ko) | 시각 장애인용 이동 로봇 및 그 제어 방법 | |
US10172546B2 (en) | Sensor, network system and controlling method for using the same | |
CN216979452U (zh) | 智能眼镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7473202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |