JPWO2020116232A1 - 制御装置、制御方法、およびプログラム - Google Patents

制御装置、制御方法、およびプログラム Download PDF

Info

Publication number
JPWO2020116232A1
JPWO2020116232A1 JP2020559073A JP2020559073A JPWO2020116232A1 JP WO2020116232 A1 JPWO2020116232 A1 JP WO2020116232A1 JP 2020559073 A JP2020559073 A JP 2020559073A JP 2020559073 A JP2020559073 A JP 2020559073A JP WO2020116232 A1 JPWO2020116232 A1 JP WO2020116232A1
Authority
JP
Japan
Prior art keywords
unit
light emitting
light
moving body
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020559073A
Other languages
English (en)
Other versions
JP7424311B2 (ja
Inventor
正樹 半田
真一郎 阿部
政彦 豊吉
琢人 元山
駿 李
堅一郎 多井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020116232A1 publication Critical patent/JPWO2020116232A1/ja
Application granted granted Critical
Publication of JP7424311B2 publication Critical patent/JP7424311B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

制御装置(100)は、自然放出光を照射する移動体又は所定のパターンで移動する移動体の周囲の物体を撮像部(20)によって撮像した撮像データを取得する取得部(121)と、取得部(121)によって取得された撮像データに特定パターンが含まれている場合に、物体が障害物であると判定する判定部(122)と、を備える。

Description

本開示は、制御装置、制御方法、およびプログラムに関する。
ドローンなどの無人移動体を制御する技術が知られている。
例えば、特許文献1には、無人飛行装置の飛行時間の短縮を防止しつつ、対象物の近傍に精度よく無人飛行装置を誘導することができる無人飛行制御システムが開示されている。
特開2017−224123号公報
しかしながら、特許文献1に記載の技術は、位置が把握されている対象物に対する飛行を制御している。そのため、特許文献1に記載の技術では、位置が把握されていない対象物に対する飛行は制御できない可能性がある。
そこで、本開示では、移動体を制御すべき対象物があるか否かを判定することのできる制御装置、制御方法、およびプログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の制御装置は、自然放出光を照射する移動体又は所定のパターンで移動する移動体の周囲の物体を撮像部によって撮像した撮像データを取得する取得部と、前記取得部によって取得された撮像データに特定パターンが含まれている場合に、前記物体が障害物であると判定する判定部と、を備える。
本実施形態に係る移動体の一例を示す模式図である。 第1実施形態に係る無人飛行装置の構成の一例を示すブロック図である。 発光パターンを説明するための模式図である。 発光パターンを説明するための模式図である。 発光パターンを説明するための模式図である。 移動体と対象物との間の距離を説明するための模式図である。 移動体の動きパターンを説明するための模式図である。 移動体の動きパターンを説明するための模式図である。 第1実施形態に係る制御装置の動作の流れの一例を示すフローチャートである。 第2実施形態に係る制御装置の動作を説明するための模式図である。 第3実施形態に係る制御装置の動作を説明するための模式図である。 第3実施形態に係る制御装置の動作を説明するための模式図である。 第3実施形態に係る制御装置の動作を説明するための模式図である。 第4実施形態に係る制御装置の動作を説明するための模式図である。 第4実施形態に係る無人飛行装置の構成の一例を示すブロック図である。 第5実施形態に係る無人飛行装置の構成の一例を示すブロック図である。 制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
1.概要
1−1.移動体の一例
2.第1実施形態
2−1.無人飛行装置の構成例
2−2.制御装置の動作例
3.第2実施形態
3−1.無人飛行装置の構成例
3−2.制御装置の動作例
4.第3実施形態
4−1.制御装置の動作例
5.第4実施形態
5−1.制御装置の動作例
5−2.無人飛行装置の構成例
6.第5実施形態
6−1.無人飛行装置の構成例
7.ハードウェア構成
(1.概要)
[1−1.移動体の一例]
図1を用いて、本実施形態に係る移動体の一例について説明する。図1は、本実施形態に係る移動体の一例を示す模式図である。
図1に示すように、本実施形態に係る移動体は、例えば、ドローンなどの無人飛行装置1である。無人飛行装置1は、例えば、第1発光素子11と、第2発光素子12と、第3発光素子13とからなる発光部10と、撮像部20とを備える。以下では、本実施形態に係る移動体は、無人飛行装置1であるものとして説明するが、これは例示であり、本開示を限定するものではない。本開示に係る移動体は、工場などで用いられる自律移動型ロボット及び自動走行車両などであってもよい。
(2.第1実施形態)
[2−1.無人飛行装置の構成例]
図2を用いて、本実施形態に係る無人飛行装置1の構成の一例について説明する。図2は、無人飛行装置1の構成の一例を示すブロック図である。
図2に示すように、無人飛行装置1は、発光部10と、撮像部20と、制御装置100とを備える。
発光部10は、図1に示したように、例えば、第1発光素子11と、第2発光素子12と、第3発光素子13とを備える。第1発光素子11と、第2発光素子12と、第3発光素子13とは、対象物に対して光を照射する。第1発光素子11と、第2発光素子12と、第3発光素子13とは、それぞれが独立して点灯したり、点滅したりすることができる。第1発光素子11と、第2発光素子12と、第3発光素子13とは、例えば、LED(Light Emitting Diode)で実現することができる。
撮像部20は、種々の物体を撮像する。撮像部20は、例えば、対象物に照射された第1発光素子11と、第2発光素子12と、第3発光素子13との照射光を撮像する。具体的には、撮像部20は、例えば、対象物に照射された第1発光素子11と、第2発光素子12と、第3発光素子13との照射光の反射光を撮像する。撮像部20は、撮像した撮像データを取得部121に出力する。撮像部20は、例えば、RGB(Red Green Blue)カメラや、ステレオカメラで実現することができる。
制御装置100は、例えば、第1発光素子11と、第2発光素子12と、第3発光素子13とが光を照射した対象物が、無人飛行装置1が避けるべき障害物であるか否かを判定する。具体的には、制御装置100は、対象物が光を反射する鏡面反射物体であるか否かを判定する。制御装置100は、記憶部110と、制御部120とを備える。
記憶部110は、種々の情報を保持している。記憶部110は、例えば、制御装置100の各部を実現させるためのプログラムを記憶している。この場合、制御部120は、記憶部110に記憶されているプログラムを展開して実行することで、各部の機能を実現する。記憶部110は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、ソリッドステートドライブ、光ディスクなどの記憶装置で実現することができる。記憶部110は、複数の異なるメモリ等で構成されてもよい。
制御部120は、例えば、記憶部110に記憶されているプログラムを実行することで、各種の機能を実現する。制御部120は、例えば、CPU(Central Processing Unit)を含む電子的な回路で実現することができる。制御部120は、取得部121と、判定部122と、パターン制御部123と、発光制御部124と、距離算出部125と、機体制御部126とを備える。
取得部121は、撮像部20から撮像部20が撮像した撮像データを取得する。取得部121は、例えば、撮像データに含まれる対象物のパターンを取得する。具体的には、取得部121は、撮像データに光の発光パターンや、無人飛行装置1の動きパターンを取得する。例えば、取得部121は、対象物に照射された自然放出光の反射光の発光パターンを取得する。この場合、無人飛行装置1に発光部10としてLEDが設けられている場合には、対象物に照射されたLEDの反射光の発光パターンを取得する。ここで、LEDは、無人飛行装置1の前後方向を把握するために予め設けられているものでもよいし、対象物に光を照射するために設けられたものであってもよい。取得部121が光の発光パターンを検出する方法に特に制限はないが、例えば、輝度値が予め定めた閾値以上の画素を抽出する方法が挙げられる。取得部121は、検出結果を判定部122に出力する。
判定部122は、取得部121の取得結果に基づいて、特定パターンを検出する。判定部122は、例えば、取得部121が取得した光の発光パターンから、発光制御部124によって生成された特定の間隔で明滅する光の発光パターンを検出する。判定部122は、例えば、取得部121が取得した無人飛行装置1の動きパターンから、機体制御部126によって制御された動きパターンを検出する。すなわち、特定パターンは、発光制御部124によって制御された光の発光パターンや、機体制御部126によって制御された無人飛行装置1の動きパターンである。
判定部122は、特定の光の発光パターン又は特定の動きパターンが含まれている場合、撮像部20が撮像した対象物は鏡面反射物体であると判定する。鏡面反射物体とは、自然放出光を反射する物体であり、例えば、ビルなどのガラス面や、池、湖、川、海などの水面である。撮像部20は、通常、無人飛行装置1が飛行中に一定間隔で周囲を撮像しているため、判定部122は、無人飛行装置1の飛行中に自動的に鏡面反射物体があることを判定することができる。判定部122は、対象物が鏡面反射物体であると判定した場合、その判定結果を含む情報を距離算出部125に出力する。特定の光の発光パターン及び特定の動きパターンについては後述する。
パターン制御部123は、例えば、発光部10の特定の発光パターンを生成したり、判定部122の判定結果に基づいて、新たな発光パターンを生成したりする。パターン制御部123は、例えば、発光時間、発光間隔、発光強度を制御して発光パターンを生成する。ここで、パターン制御部123が生成する光の発光間隔は、撮像部20が認識できる間隔であれば、人間が認識できない間隔であってもよい。具体的には、パターン制御部123は、撮像部20が60Hzで動作する場合には、60Hzで動作する撮像部20が認識できるように発光間隔を制御すればよい。パターン制御部123は、生成した発光パターンを含む制御情報を発光制御部124に出力する。
発光制御部124は、パターン制御部123から受けた制御情報に従って、発光部10を制御する。具体的には、発光制御部124は、制御情報に従って、発光部10を構成する発光素子のうち特定の発光素子を発光させる。
図3Aと、図3Bと、図3Cとを用いて、発光部10の発光パターンについて説明する。図3A〜図3Cは、発光部10の発光パターンの一例を示す模式図である。
図3Aに示すように、発光制御部124は、例えば、対象物に対して、発光部10のうち、第2発光素子12と、第3発光素子13とを制御情報に従ったパターンで発光させて光を照射する。この場合、判定部122は、取得部121が取得した撮像データから、対象物を撮像した撮像データにおいて、第2発光素子12に対応する第2反射光32と、第3発光素子13に対応する第3反射光33とが含まれているか否かを検出する。そして、判定部122は、第2反射光32と、第3反射光33とが制御情報に従ったパターンで発光している場合に、対象物は鏡面反射物体であると判定する。
図3Bに示すように、発光制御部124は、例えば、対象物に対して、発光部10のうち、第2発光素子12のみを制御情報に従ったパターンで発光させて光を照射する。この場合、判定部122は、取得部121が取得した撮像データから、対象物を撮像した撮像データにおいて、第2発光素子12に対応する第2反射光32が含まれているか否かを検出する。そして、判定部122は、第2反射光32が制御情報に従ったパターンで発光している場合に、対象物は鏡面反射物体であると判定する。
図3Cに示すように、発光制御部124は、例えば、対象物に対して、発光部10のうち、第1発光素子11と、第3発光素子13とを制御情報に従ったパターンで発光させて光を照射する。この場合、判定部122は、取得部121が取得した撮像データから、対象物を撮像した撮像データにおいて、第1発光素子11に対応する第1反射光31と、第3発光素子13に対応する第3反射光33とが含まれているか否かを検出する。そして、判定部122は、第1反射光31と、第3反射光33とが制御情報に従ったパターンで発光している場合に、対象物は鏡面反射物体であると判定する。
図3A〜図3Cに示したように、発光制御部124が所定の発光パターンで第1発光素子11〜第3発光素子13の少なくとも1つを発光させることで、判定部122は光を照射した対象物が鏡面反射物体であるか否かを判定することができる。図3A〜図3Cでは明らかでないが、発光制御部124は、第1発光素子11〜第3発光素子13を異なる色、異なる発光間隔、異なる発光強度で発光させてもよい。また、発光制御部124は、周囲の明るさや、周囲の建物などに配置された照明装置の発光を考慮して、第1発光素子11〜第3発光素子13を発光させてもよい。例えば、発光制御部124は、周囲が明るいほど第1発光素子11〜第3発光素子13の発光強度を強くし、周囲が暗いほど第1発光素子11〜第3発光素子13の発光強度を弱くしてもよい。例えば、発光制御部124は、周囲の建物などに照明装置が配置されている場合には、その照明装置が発光する光と干渉しないように、第1発光素子11〜第3発光素子13を制御してもよい。
距離算出部125は、無人飛行装置1と、対象物との間の距離を算出する。距離算出部125は、例えば、判定部122から対象物が鏡面反射物体である旨の情報を受けた場合、無人飛行装置1と、鏡面反射物体との間の距離を算出する。すなわち、距離算出部125は、無人飛行装置1と、無人飛行装置1が避けるべき障害物との間の距離を算出する。距離算出部125は、例えば、撮像部20がステレオカメラである場合、ステレオカメラを用いて、三角測量の原理で無人飛行装置1と、鏡面反射物体との間の距離を算出する。距離算出部125は、算出した無人飛行装置1と、鏡面反射物体との間の距離を含む距離情報を機体制御部126に出力する。
図4を用いて、移動体と、対象物との間の距離を算出する方法をより詳細に説明する。図4は、無人飛行装置1と、鏡面反射物体との間の距離を算出する方法を説明するための模式図である。なお、図4において、鏡面反射物体は、ビルなどのガラス面50であるものとして説明するが、これは例示であり、鏡面反射物体をガラス面50に限定するものではない。
図4に示すように、ガラス面50には、無人飛行装置1が映り込み、反射像60が形成される。この場合、ガラス面50には、無人飛行装置1と、ガラス面50との間の空間も映り込んでいる。そのため、距離算出部125が反射像60に基づいて、無人飛行装置1と、ガラス面50との距離を算出すると、無人飛行装置1と、ガラス面50までの距離を加えた虚像70までの距離を算出してしまう。すなわち、距離算出部125は、無人飛行装置1と、ガラス面50との距離を2倍に算出してしまう。具体的には、無人飛行装置1とガラス面50との間の距離がDである場合、虚像70はガラス面50から更にDを加えた2Dの位置に存在すると算出されてしまう。そのため、距離算出部125は、算出された距離を半分にすることで、無人飛行装置1と、ガラス面50との間の距離を算出することができる。
再び図2を参照する。機体制御部126は、距離算出部125から受けた距離情報に基づいて、無人飛行装置1を制御する。機体制御部126は、例えば、無人飛行装置1と、鏡面反射物体の距離が近い場合には、無人飛行装置1を停止させたり、無人飛行装置1を鏡面反射物体から回避させたりする。すなわち、機体制御部126は、無人飛行装置1の周囲に避けるべき障害物がある場合には、その障害物を避けるように無人飛行装置1を制御する。
機体制御部126は、例えば、対象物が鏡面反射物体であるか否かを判定するために、無人飛行装置1を特定の動きパターンで飛行するように制御する。
図5Aと、図5Bとを用いて、無人飛行装置1の特定の動きパターンについて説明する。図5Aと、図5Bとは、無人飛行装置1の特定の動きパターンの一例を示す模式図である。
図5Aに示すように、機体制御部126は、例えば、無人飛行装置1を軌跡T1のように、右方向に8の字に旋回させる。この場合、判定部122は、取得部121が取得した対象物を撮像した撮像データにおいて、無人飛行装置1が旋回しているか否かを検出する。そして、判定部122は、無人飛行装置1が軌跡T1のように、右方向に8の字に旋回場合に、対象物は鏡面反射物体であると判定する。
図5Bに示すように、機体制御部126は、例えば、無人飛行装置1を軌跡T2のように、左方向に8の字に旋回させる。この場合、判定部122は、取得部121が取得した対象物を撮像した撮像データにおいて、無人飛行装置1が旋回しているか否かを検出する。そして、判定部122は、無人飛行装置1が軌跡T2のように、左方向に8の字に旋回場合に、対象物は鏡面反射物体であると判定する。
図5Aと、図5Bとに示したように、機体制御部126が特定の動きパターンで無人飛行装置1を旋回させることで、判定部122は対象物が鏡面反射物体であるか否かを判定することができる。図5Aと、図5Bとでは、それぞれ、軌跡T1と、軌跡T2とのように無人飛行装置1を8の字に旋回させる場合を説明したが、これは例示であり、本開示を限定するものではない。機体制御部126は、特定の動きパターンとして、例えば、無人飛行装置1を特定の方向に往復させたり、円軌道で飛行させたり、飛行と停止とを繰り返し実行させたりしてもよい。
[2−2.制御装置の動作例]
図6を用いて、制御装置100の制御部120の処理について説明する。図6は、制御部120の処理の流れの一例を示すフローチャートである。
まず、制御部120は、発光部10が発光する光の発光パターンを生成する(ステップS101)。具体的には、制御部120は、パターン制御部123によって、光の発光パターンを生成する。そして、制御部120は、ステップS102に進む。
次に、制御部120は、発光部10をステップS101で生成した発光パターンにしたがって発光させる(ステップS102)。具体的には、制御部120は、発光制御部124によって、発光部10を発光させる。そして、制御部120は、ステップS103に進む。
次に、制御部120は、撮像部20が撮像した対象物の撮像データに、光が含まれているかを検出する(ステップS103)。具体的には、制御部120は、判定部122によって、取得部121が取得した撮像データに含まれている光を検出する。そして、制御部120は、ステップS104に進む。
撮像データから光が検出されなかった場合(ステップS104の「No」)、制御部120は、ステップS103に戻り、新たな撮像データから光を検出する。一方、撮像データから光が検出された場合(ステップS104の「Yes」)、制御部120は、ステップS105に進む。
次に、制御部120は、検出された光の発光パターンを識別する(ステップS105)。具体的には、制御部120は、判定部122によって、検出された光の発光パターンがステップS101で生成した光の発光パターンであるか否かを識別する。そして、制御部120は、ステップS106に進む。
ステップS101で生成した光の発光パターンが見つからなかった場合(ステップS106の「No」)、制御部120は、ステップS103に戻り、新たな撮像データから光を検出する。一方、ステップS101で生成した光の発光パターンが見つかった場合(ステップS106の「Yes」)、制御部120は、対象物は鏡面反射物体であると判定し、ステップS107に進む。
次に、制御部120は、無人飛行装置1と、鏡面反射物体との間の距離を算出する(ステップS107)。具体的には、制御部120は、距離算出部125によって、無人飛行装置1と、鏡面反射物体との間の距離を算出する。そして、制御部120は、ステップS108に進む。
そして、制御部120は、無人飛行装置1と、鏡面反射物体との間の距離に基づいて、無人飛行装置1を制御する(ステップS108)。具体的には、制御部120は、機体制御部126によって、無人飛行装置1を制御する。そして、制御部120は、図6の処理を終了する。
上述のとおり、本開示の第1実施形態は、撮像データに基づいて鏡面反射物体を検出することができる。そして、鏡面反射物体までの距離を算出し、鏡面反射物体に衝突しないように、移動体を制御することができる。これにより、第1実施形態は、移動体を適切に制御することができる。
(3.第2実施形態)
[3−1.無人飛行装置の構成例]
図7を用いて、第2実施形態に係る無人飛行装置の構成について説明する。図7は、第2実施形態に係る無人飛行装置の構成の一例を示す模式図である。
図7に示すように、無人飛行装置1Aは、撮像部20Aと、ToF(Time of Flight)センサ40と、図2に図示の制御装置100とを備えている。
ToFセンサ40は、パルス光などの照射光L1をガラス面50に対して照射する。すなわち、ToFセンサ40は、発光部として機能する。この場合、ToFセンサ40は、特定の照射パターンで、照射光L1をガラス面に対して照射する。
撮像部20Aは、ガラス面50に反射された照射光L1の反射光L2を受光する。撮像部20Aは、例えば、IR(Infrared)ステレオカメラで実現することができる。
[3−2.制御装置の動作例]
第2実施形態では、制御装置100は、例えば、ToFセンサ40が特定の照射パターンで照射光L1を対象物に照射する。この場合、制御装置100は、撮像部20Aが照射光L1の照射パターンに対応している反射光L2を受光した場合に、対象物が鏡面反射物体(ガラス面50)であると判定する。鏡面反射物体が検出された後の、無人飛行装置1Aに制御については、第1実施形態と同様である。
上述のとおり、第2実施形態は、発光部としてToFセンサを用いることによって対象物が鏡面反射物体であるか否かを判定する。そして、第2実施形態は、ToFセンサを用いて検出した鏡面反射物体に衝突しないように、無人飛行装置を制御することができる。
(4.第3実施形態)
[4−1.制御装置の動作例]
図8Aと、図8Bと、図8Cとを用いて、第3実施形態に係る制御装置の動作について説明する。図8A〜図8Cは、第3実施形態に係る制御装置の動作の一例を説明するための模式図である。なお、第3実施形態に係る無人飛行装置は、図1に図示の第1実施形態に係る無人飛行装置と同様の構成を有している。
第3実施形態では、発光部10が発光していないタイミングで特定の発光パターンが判定部122によって取得部121が取得した撮像データから検出された場合に、検出された発光パターンとは異なる発光パターンで発光部10を発光させる。すなわち、第3実施形態は、検出された発光パターンと発光部10の発光パターンが干渉しないように発光部10を制御する。
図8Aに示すように、例えば、撮像部20が撮像した撮像データから第2発光素子12に対応するような第2反射光42と、第3発光素子13に対応するような第3反射光43とが検出されたとする。この場合、パターン制御部123は、第1発光素子11のみを発光させるような制御情報を生成する。そして、発光制御部124は、制御情報に従って、第1発光素子11のみを発光させる。これにより、発光制御部124は、発光部10が発光していない時に検出された光の発光パターンと干渉しないように、発光部10を制御することができる。なお、パターン制御部123は、第2発光素子12のみを発光させる制御情報や、第3発光素子13のみを発光させる制御情報を生成してもよい。また、パターン制御部123は、第1発光素子11と第2発光素子12とを発光させる制御情報や、第1発光素子11と第3発光素子13とを発光させる制御情報を生成してもよい。すなわち、パターン制御部123が生成する制御情報は、検出された光の発光パターンと異なるのであれば特に制限はない。
図8Bに示すように、例えば、撮像部20が撮像した撮像データから第2発光素子12に対応するような第2反射光42が検出されたとする。この場合、パターン制御部123は、第1発光素子11と、第3発光素子13とを発光させるような制御情報を生成する。そして、発光制御部124は、制御情報に従って、第1発光素子11と、第3発光素子13とを発光させる。これにより、発光制御部124は、発光部10が発光していない時に検出された光の発光パターンと干渉しないように、発光部10を制御することができる。なお、パターン制御部123は、検出された光の発光パターンと干渉しないようなその他の発光パターンで、第1発光素子11〜第3発光素子13を発光させる制御情報を生成してもよい。
図8Cに示すように、例えば、撮像部20が撮像した撮像データから第1発光素子11に対応するような第1反射光41が検出されたとする。この場合、パターン制御部123は、第2発光素子12と、第3発光素子13とを発光させるような制御情報を生成する。そして、発光制御部124は、制御情報に従って、第2発光素子12と、第3発光素子13とを発光させる。これにより、発光制御部124は、発光部10が発光していない時に検出された光の発光パターンと干渉しないように、発光部10を制御することができる。なお、パターン制御部123は、検出された光の発光パターンと干渉しないようなその他の発光パターンで、第1発光素子11〜第3発光素子13を発光させる制御情報を生成してもよい。
図8A〜図8Cでは、発光部10が発光していない時に撮像データから検出された光の発光パターンと干渉しないように、発光させる発光部を制御するものとしたが、これは例示であり、本開示を限定するものではない。例えば、パターン制御部123は、撮像データから検出された光の発光色とは異なる発光色で発光させるような制御情報を生成してもよい。
(5.第4実施形態)
[5−1.制御装置の動作例]
図9を用いて、第4実施形態に係る制御装置の動作について説明する。図9は、第4実施形態に係る制御装置の動作を説明するための模式図である。
無人飛行装置1Bにおいて、通常、発光部10は鏡面反射物体を検出するために常に発光している。この場合、発光部10を発光させる必要のない状況でも、発光部10を発光しているので消費電力が大きくなる。そのため、所定の条件をトリガとして、発光部10を発光させるようにしてもよい。例えば、無人飛行装置1Bの位置は変化しているが、無人飛行装置1Bと、建物などの表面のガラス面50との距離D1が一定であることをトリガとしてもよい。
[5−2.無人飛行装置の構成例]
図10を用いて、第4実施形態に係る無人飛行装置1Bの構成について説明する。図10は、無人飛行装置1Bの構成を示すブロック図である。
図10に示すように、無人飛行装置1Bは、発光部10と、撮像部20と、GPS(Global Positioning System)受信部80と、制御装置100Aとを備える。制御装置100Aは、記憶部110と、制御部120Aとを備える。制御部120Aは、取得部121と、判定部122と、パターン制御部123と、発光制御部124と、距離算出部125と、機体制御部126と、現在位置算出部127とを備える。すなわち、無人飛行装置1Bは、GPS受信部80と、現在位置算出部127とを備えている点で、無人飛行装置1とは異なっている。
GPS受信部80は、GPS受信回路、GPS受信アンテナなどから構成されており、GPS信号を受信する。GPS受信部80は、受信したGPS信号を現在位置算出部127に出力する。
現在位置算出部127は、GPS受信部80からGPS信号を取得する。現在位置算出部127は、例えば、GPS信号に基づいて、無人飛行装置1Bの現在位置を算出する。現在位置算出部129は、例えば、算出した現在位置を発光制御部124に出力する。
現在位置算出部127には、距離算出部125から無人飛行装置1Bと、建物などの表面のガラス面50との間の距離情報が入力される。そして、現在位置算出部127は、無人飛行装置1Bの現在位置が変化し、かつ無人飛行装置1Bと、建物などの表面のガラス面50との間の距離D1が変化していない場合に発光制御部124に制御情報を出力する。この場合、発光制御部124は、現在位置算出部127から制御情報を受けた場合のみ、発光部10を発光させる。これにより、電力の消費を抑制することができる。
(6.第5実施形態)
[6−1.無人飛行装置の構成例]
図11を用いて、第5実施形態に係る無人飛行装置1Cの構成について説明する。図11は、第5実施形態に係る無人飛行装置1Cの構成の一例を示すブロック図である。
無人飛行装置1Cは、発光部10と、撮像部20と、制御装置100Bとを備える。制御装置100Bは、記憶部110と、制御部120Bとを備える。制御部120Bは、取得部121と、判定部122と、パターン制御部123と、発光制御部124と、距離算出部125と、機体制御部126と、撮像制御部128とを備える。すなわち、無人飛行装置1Cは、撮像制御部128を備える点で無人飛行装置1とは異なっている。
撮像制御部128は、撮像部20が対象物を撮像するタイミングを制御する。具体的には、撮像制御部128は、撮像部20が対象物を撮像するタイミングと、発光制御部124が発光部10を発光させるタイミングとを同期するように撮像部20を制御する。この場合、例えば、撮像制御部128には発光制御部124から同期信号が入力される。これにより、撮像制御部128は、同期信号に従うことによって、発光制御部124が発光部10を発光させるタイミングと同期して、撮像部20を制御することができる。なお、同期信号は、外部に設けられた図示しないクロック部から、発光制御部124と、撮像制御部128とに入力されてもよい。
上述のとおり、第5実施形態は、発光部10が発光したタイミングで、撮像部20を動作させることができる。このため、第5実施形態は、判定部122が発光部10とは異なる発光源からの光を、発光部10の光であると判定してしまうことを防止することができる。
なお、上述した各実施形態では、無人飛行装置の周囲の鏡面反射物体の存在の判定、無人飛行装置と鏡面反射物体との間の距離の算出を無人飛行装置が備える制御装置で実行していたが、これは例示であり、本開示を限定するものではない。本開示では、例えば、無人飛行装置は、対象物に対する光を検出処理のみを実行し、検出結果を外部の情報処理サーバなどに無線通信網を介して送信してもよい。この場合、情報処理サーバが、鏡面反射物体の存在や、無人飛行装置と、鏡面反射物体との間の距離を算出するようにすればよい。また、無人飛行装置の周囲に鏡面反射物体があると判定された場合、情報処理サーバが無地飛行装置を制御して、鏡面反射物体を避けるように飛行させてもよい。
(7.ハードウェア構成)
上述してきた各実施形態に係る制御装置100は、例えば、図12に示すような構成のコンピュータ1000によって実現される。図12は、制御装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係るプログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が第1実施形態に係る制御装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、各部の機能を実現する。また、HDD1400には、本開示に係るプログラムが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
自然放出光を照射する移動体又は所定のパターンで移動する移動体の周囲の物体を撮像部によって撮像した撮像データを取得する取得部と、
前記取得部によって取得された撮像データに特定パターンが含まれている場合に、前記物体が障害物であると判定する判定部と、
を備える、制御装置。
(2)
前記判定部は、前記特定パターンとして、前記物体から反射された前記自然放出光に起因する反射光の発光パターンを検出する、
前記(1)に記載の制御装置。
(3)
前記判定部は、前記移動体に設けられた発光部の発光パターンを検出する、
前記(1)または(2)に記載の制御装置。
(4)
前記判定部は、前記特定パターンとして、前記物体に反映された前記移動体の動きパターンを検出する、
前記(1)〜(3)のいずれかに記載の制御装置。
(5)
前記移動体と、前記物体との間の距離を算出する距離算出部をさらに備える、
前記(1)〜(4)のいずれかに記載の制御装置。
(6)
前記距離算出部は、前記物体が前記障害物であると判定された場合、前記移動体と、前記障害物との間の距離を算出する、
前記(5)に記載の制御装置。
(7)
前記距離算出部は、前記障害物に投影された前記移動体の虚像に基づいて、前記移動体と、前記障害物との間の距離を算出する、
前記(5)または(6)に記載の制御装置。
(8)
前記障害物を避けるように前記移動体を制御する機体制御部をさらに備える、
前記(1)〜(7)のいずれかに記載の制御装置。
(9)
前記移動体に設けられた発光部の発光パターンを制御する発光制御部をさらに備える、
前記(1)〜(8)のいずれかに記載の制御装置。
(10)
前記発光部が発光していない時に、前記判定部によって第1発光パターンが検出された場合、
前記発光制御部は、前記第1発光パターンとは異なる第2発光パターンで前記発光部を発光させる、
前記(9)に記載の制御装置。
(11)
前記移動体の現在位置を算出する現在位置算出部をさらに備え、
前記発光制御部は、前記現在位置算出部による前記現在位置の算出結果に基づいて、前記現在位置が変化しており、かつ前記移動体と、前記物体との間の距離が変化していない場合に、前記発光部を発光させる、
前記(9)または(10)に記載の制御装置。
(12)
前記移動体に設けられた発光部が発光するタイミングと同期するように、前記撮像部が前記物体を撮像するタイミングを制御する撮像制御部をさらに備える、
前記(1)〜(11)のいずれかに記載の制御装置。
(13)
自然放出光を照射する移動体又は所定のパターンで移動する移動体の周囲の物体を撮像部によって撮像した撮像データを取得する取得し、
取得された撮像データに特定パターンが含まれている場合に、前記物体が障害物であると判定する、
制御方法。
(14)
コンピュータを、
自然放出光を照射する移動体又は所定のパターンで移動する移動体の周囲の物体を撮像部によって撮像した撮像データを取得する取得部と、
前記取得部によって取得された撮像データに特定パターンが含まれている場合に、前記物体が障害物であると判定する判定部と、
として機能させるための、プログラム。
1,1A,1B 無人飛行装置
10 発光部
20 撮像部
100,100A,100B 制御装置
110 記憶部
120 制御部
121 取得部
122 判定部
123 パターン制御部
124 発光制御部
125 距離算出部
126 機体制御部
127 現在位置算出部
128 撮像制御部

Claims (14)

  1. 自然放出光を照射する移動体又は所定のパターンで移動する移動体の周囲の物体を撮像部によって撮像した撮像データを取得する取得部と、
    前記取得部によって取得された撮像データに特定パターンが含まれている場合に、前記物体が障害物であると判定する判定部と、
    を備える、制御装置。
  2. 前記判定部は、前記特定パターンとして、前記物体から反射された前記自然放出光に起因する反射光の発光パターンを検出する、
    請求項1に記載の制御装置。
  3. 前記判定部は、前記移動体に設けられた発光部の発光パターンを検出する、
    請求項2に記載の制御装置。
  4. 前記判定部は、前記特定パターンとして、前記物体に反映された前記移動体の動きパターンを検出する、
    請求項1に記載の制御装置。
  5. 前記移動体と、前記物体との間の距離を算出する距離算出部をさらに備える、
    請求項1に記載の制御装置。
  6. 前記距離算出部は、前記物体が前記障害物であると判定された場合、前記移動体と、前記障害物との間の距離を算出する、
    請求項5に記載の制御装置。
  7. 前記距離算出部は、前記障害物に投影された前記移動体の虚像に基づいて、前記移動体と、前記障害物との間の距離を算出する、
    請求項6に記載の制御装置。
  8. 前記障害物を避けるように前記移動体を制御する機体制御部をさらに備える、
    請求項1に記載の制御装置。
  9. 前記移動体に設けられた発光部の発光パターンを制御する発光制御部をさらに備える、
    請求項1に記載の制御装置。
  10. 前記発光部が発光していない時に、前記判定部によって第1発光パターンが検出された場合、
    前記発光制御部は、前記第1発光パターンとは異なる第2発光パターンで前記発光部を発光させる、
    請求項9に記載の制御装置。
  11. 前記移動体の現在位置を算出する現在位置算出部をさらに備え、
    前記発光制御部は、前記現在位置算出部による前記現在位置の算出結果に基づいて、前記現在位置が変化しており、かつ前記移動体と、前記物体との間の距離が変化していない場合に、前記発光部を発光させる、
    請求項9に記載の制御装置。
  12. 前記移動体に設けられた発光部が発光するタイミングと同期するように、前記撮像部が前記物体を撮像するタイミングを制御する撮像制御部をさらに備える、
    請求項1に記載の制御装置。
  13. 自然放出光を照射する移動体又は所定のパターンで移動する移動体の周囲の物体を撮像部によって撮像した撮像データを取得する取得し、
    取得された撮像データに特定パターンが含まれている場合に、前記物体が障害物であると判定する、
    制御方法。
  14. コンピュータを、
    自然放出光を照射する移動体又は所定のパターンで移動する移動体の周囲の物体を撮像部によって撮像した撮像データを取得する取得部と、
    前記取得部によって取得された撮像データに特定パターンが含まれている場合に、前記物体が障害物であると判定する判定部と、
    として機能させるための、プログラム。
JP2020559073A 2018-12-05 2019-11-26 制御装置、制御方法、およびプログラム Active JP7424311B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018228570 2018-12-05
JP2018228570 2018-12-05
PCT/JP2019/046116 WO2020116232A1 (ja) 2018-12-05 2019-11-26 制御装置、制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020116232A1 true JPWO2020116232A1 (ja) 2021-10-14
JP7424311B2 JP7424311B2 (ja) 2024-01-30

Family

ID=70975420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559073A Active JP7424311B2 (ja) 2018-12-05 2019-11-26 制御装置、制御方法、およびプログラム

Country Status (4)

Country Link
US (1) US11814155B2 (ja)
JP (1) JP7424311B2 (ja)
CN (1) CN112930502A (ja)
WO (1) WO2020116232A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309047B (zh) * 2020-02-21 2020-12-22 北京京东乾石科技有限公司 无人机的控制方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170332872A1 (en) * 2016-05-17 2017-11-23 Lg Electronics Inc. Mobile robot and method of controlling the same

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166493A (ja) * 1997-08-27 1999-03-09 Nissan Motor Co Ltd 自動駐車装置
US9002511B1 (en) 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
US9609284B2 (en) 2012-05-22 2017-03-28 Otoy, Inc. Portable mobile light stage
DE102013216566A1 (de) 2013-08-21 2015-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung einer zumindest teilweise spiegelnden oberfläche
JP6184289B2 (ja) 2013-10-17 2017-08-23 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
KR20150065972A (ko) * 2013-11-28 2015-06-16 삼성전자주식회사 로봇 청소기 및 로봇 청소기의 제어방법
KR101620427B1 (ko) * 2014-10-14 2016-05-12 엘지전자 주식회사 로봇 청소기의 제어방법
CN105518490A (zh) * 2014-12-04 2016-04-20 深圳市大疆创新科技有限公司 一种物体检测方法、装置及遥控移动设备、飞行器
CN205031182U (zh) * 2015-09-25 2016-02-17 江苏美的清洁电器股份有限公司 扫地机器人
CN105346706B (zh) * 2015-11-13 2018-09-04 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
KR101917116B1 (ko) 2016-05-17 2018-11-09 엘지전자 주식회사 로봇 청소기
TWI689387B (zh) 2016-05-17 2020-04-01 南韓商Lg電子股份有限公司 行動機器人
JP6812667B2 (ja) * 2016-06-15 2021-01-13 日本電気株式会社 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
US10196141B1 (en) * 2016-09-21 2019-02-05 Amazon Technologies, Inc. Detection of transparent elements using reflective disparities
US10281916B1 (en) * 2016-09-21 2019-05-07 Amazon Technologies, Inc. Detection of transparent elements using specular reflection
EP3549405A4 (en) * 2016-11-29 2020-06-17 Lawrence R. Thorne LED LIGHTING CONTRAST IMPROVEMENT
CN108873014A (zh) * 2018-06-28 2018-11-23 北方工业大学 一种基于激光雷达的镜面检测方法及装置
KR101977304B1 (ko) * 2018-07-17 2019-05-10 주식회사 다인에스엔티 태양광 패널 관리 드론 및 이를 이용한 태양광 패널 관리방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170332872A1 (en) * 2016-05-17 2017-11-23 Lg Electronics Inc. Mobile robot and method of controlling the same

Also Published As

Publication number Publication date
US11814155B2 (en) 2023-11-14
US20220024560A1 (en) 2022-01-27
CN112930502A (zh) 2021-06-08
JP7424311B2 (ja) 2024-01-30
WO2020116232A1 (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
JP6729561B2 (ja) 光照射装置および光照射システム
US10006989B1 (en) Disabling robot sensors
US9989630B2 (en) Structured-light based multipath cancellation in ToF imaging
US20160291155A1 (en) System and method for optimizing active measurements in 3-dimensional map generation
JP7016796B2 (ja) 情報処理装置、および情報処理方法
CN108270970A (zh) 一种图像采集控制方法及装置、图像采集系统
US20200225350A1 (en) Depth information acquisition system and method, camera module, and electronic device
US10957067B2 (en) Control apparatus, object detection system, object detection method and program
EP3788402A1 (en) Time of flight ranging with varying fields of emission
WO2022205810A1 (zh) 结构光模组及自主移动设备
JP2023115027A (ja) 無人航空機用の自己位置推定装置及び自己位置推定方法
JP6902142B2 (ja) 充電用装置、制御方法、及びプログラム
JPWO2020116232A1 (ja) 制御装置、制御方法、およびプログラム
WO2017138049A1 (ja) 飛行体及びその制御システム
CN209991983U (zh) 一种障碍物检测设备及无人机
US20200356113A1 (en) Apparatus and methods for landing unmanned aerial vehicle
CN104459681B (zh) 自适应距离估计
JP2020052001A (ja) 奥行取得装置、奥行取得方法およびプログラム
US11576246B2 (en) Illumination system
US20230078063A1 (en) Distance measurement device and distance measurement system
JP6934386B2 (ja) 動体追尾装置及びそのプログラム
EP3890300B1 (en) A self-propelled vehicle
WO2020235348A1 (ja) 光パターン照射制御装置及び光パターン照射制御方法
US11238281B1 (en) Light source detection in field of view
US20210287334A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R151 Written notification of patent or utility model registration

Ref document number: 7424311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151