WO2021193373A1 - 情報処理方法、情報処理装置及びコンピュータプログラム - Google Patents

Abstract

［課題］障害物との衝突を回避する情報処理方法、情報処理装置及びコンピュータプログラムを提供する。 ［解決手段］本開示の情報処理方法は、空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定する。

Description

情報処理方法、情報処理装置及びコンピュータプログラム

　本開示は、情報処理方法、情報処理装置及びコンピュータプログラムに関する。

　ドローンの障害物回避の方法として、下記特許文献１には、ドローンの自律移動時に、センサで検出できない死角領域で障害物に衝突することを防止する技術が開示されている。この技術は、死角領域を避ける経路を選択するため、ドローンが大きく遠回りするなど効率的でない経路が選択される可能性がある。

特開2019-175128号公報

　本開示は、移動体が障害物と衝突することを回避する情報処理方法、情報処理装置及びコンピュータプログラムを提供する。

　本開示の情報処理方法は、空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定する。

　前記情報処理方法は、
　デプス値を測定する第１センサ装置から前記第１領域のデプス画像を取得し、
　輝度値を測定する第２センサ装置から前記第２領域の輝度画像を取得してもよい。

　前記情報処理方法は、
　前記デプス画像を前記第１センサ装置の座標系から前記第２センサ装置の座標系に変換し、
　前記変換後の前記デプス画像を前記輝度画像に位置合わせして重畳し、前記輝度画像のうち前記デプス画像に重ならない領域の少なくとも一部を前記第３領域としてもよい。

　前記情報処理方法は、
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記デプス画像と重なる第１部分と、前記デプス画像と重ならない第２部分とを含むセグメントを特定し、特定した前記セグメントの前記前記第１部分のデプス値に基づいて、特定した前記セグメントの前記第２部分のデプス値を推定してもよい。

　前記情報処理方法は、
　前記第２領域の輝度画像を複数のセグメントに分割し、
　少なくとも１つの前記セグメントにおいて前記デプス画像と重なる部分のデプス値を特定し、特定した前記デプス値が表す位置を含む３次元平面を推定し、推定した前記３次元平面に基づき、前記セグメントの前記デプス画像と重ならない部分のデプス値を推定してもよい。

　前記情報処理方法は、
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記デプス画像と重なる部分を有さない第１セグメントの少なくとも一部のデプス値を、前記デプス画像と重なる部分を有する第２セグメントの前記第１セグメントと接する部分のデプス値に基づき推定する。

　前記情報処理方法は、
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記複数のセグメントのうち予め定めた種類のセグメントのデプス値を所定値に設定してもよい。

　前記情報処理方法は、
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記複数のセグメントのうち予め定めた種類のセグメントに包含されるセグメントのデプス値を不明としてもよい。

　前記情報処理方法は、
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記デプス画像と重なる第１セグメントの前記デプス画像と重なる部分のデプス値と、　前記第１セグメントのサイズと、
　前記デプス画像と重ならない前記第２セグメントのサイズと、
　前記第１セグメントが表す対象のサイズと、
　前記第２セグメントが表す対象のサイズと
　に基づいて、前記第２セグメントの少なくとも一部のデプス値を推定してもよい。

　前記情報処理方法は、
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記デプス画像と重なる第１セグメントが表す第１対象までの距離と、前記デプス画像と重なる第２セグメントが表す第２対象までの距離とに基づき、前記デプス画像と重ならない第３セグメントの少なくとも一部のデプス値を推定してもよい。

　前記情報処理方法は、前記第３領域のデプス値に基づいて、前記空間を移動する移動体を制御してもよい。

　前記情報処理方法は、前記第２センサ装置の撮像方向を制御し、前記第２センサ装置の撮像方向を前記移動体の移動方向に向ける。

　前記情報処理方法は、複数の前記第２センサ装置のうち他の目的に使用中でない第２センサ装置を選択し、選択した第２センサ装置を用いて輝度値を測定する。

　前記第１センサ装置の検出範囲は、前記第２センサ装置の検出範囲と一部が重なってもよい。

　前記第３領域は、前記移動体の死角領域でもよい。

　前記移動体は、飛行体、自動車又はロボットでもよい。

　本開示の情報処理装置は、空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するデプス推定部を備える。

　本開示のコンピュータプログラムは、空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するステップをコンピュータに実行させる。

本開示の実施形態に係る通信システムのブロック図。 ドローンのブロック図。 基地局のブロック図。 ドローンの死角領域を説明するための平面図。 ステレオカメラを用いてデプスを測定するイメージ図。 死角領域における障害物の検出を必要とする場合の例１を説明する図。 死角領域における障害物の検出を必要とする場合の例２を説明する図。 本実施形態でデプス値を推定する死角領域を説明する図。 死角領域のデプス値を推定し、障害物の検出を行う処理に関わるブロック図。 セグメンテーション画像の例を示す図。 セグメンテーション画像にデプスマップを重ねた例を示す図。 第１の推定例を説明するための図。 第３の推定例の具体例を示す図。 空中で飛んでいる鳥を含むセグメンテーション画像の例を示す図。 第５の推定例を説明するための図。 平均値を算出する手順の一例を示す。 ある電柱の太さと、別の電柱までの距離を算出する例を示す図。 電線オブジェクトにおける任意の箇所のデプス値を推定する例を示す図。 本実施形態に係る制御部における動作の一例を示すフローチャート。 図１９Ａに続くフローチャート。 ドローン又は基地局のハードウェア構成の一例を示す図。

　以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。

　図１は、本開示の実施形態に係る通信システムのブロック図である。図１の通信システムは、複数の移動体１０１Ａ、１０１Ｂ、１０１Ｃと、基地局２０１とを備えている。本実施形態の移動体はドローン（無人航空機）であり、移動体１０１Ａ～１０１Ｃをドローン１０１Ａ～１０１Ｃと表記する。ドローンは移動体の一例であり、移動体は、ロボット無人搬送車、又は自動運転車など、自律又はマニュアル操作により移動可能な装置であれば、何でもよい。図では３台のドローンが示されるが、ドローンの台数は１台でも、２台でも、４台以上でもよい。ドローン１０１Ａ、ドローン１０１Ｂ及びドローン１０１Ｃはそれぞれ基地局２０１と双方向に通信可能である。ドローン１０１Ａ～１０１Ｃが互いに通信可能であってもよい。以下、任意の１台のドローンを、ドローン１０１と表記する。

　ドローン１０１は、複数のロータを駆動することにより飛行可能な移動体である。ドローン１０１は、基地局２０１と無線通信し、基地局２０１の制御の下、経路に沿って飛行を行う。ドローン１０１は出発地と目的地とから自ら経路を生成して飛行してもよいし（自律飛行）、基地局２０１から経路を指定され、指定された経路を飛行してもよい。あるいは、ドローン１０１が、ユーザにより操作されるリモコンにより操作可能である場合、ユーザから指定された経路を飛行してもよい（マニュアル飛行）。

　図２は、ドローン１０１のブロック図である。ドローン１０１は、情報処理装置１と、ロータ２１Ａ～２１Ｄ、及びモータ２２Ａ～２２Ｄを備えている。情報処理装置１は、アンテナ１０、デプスセンサ（第１センサ装置）１１、カメラ（第２センサ装置）１２、制御部１３、通信部１４、センサ部１６、位置検出部１７、バッテリ１８、及び記憶部１９を備えている。

　デプスセンサ（第１センサ装置）１１は、ドローン１０１が飛行する空間において検出範囲（撮像範囲）をセンシングし、デプス値を含む画像（以下、デプス画像）を取得する。デプスセンサ１１によりセンシングする領域はドローン１０１が飛行する空間の第１領域に相当する。デプス画像はデプス値を有する複数の画素を含むデータである。デプスセンサ１１は、取得したデプス画像を取得時刻に関連づけて記憶部１９に格納する。デプスセンサ１１は、取得したデプス画像を、制御部１３に提供してもよい。デプスセンサ１１は、デプス値を取得可能なデバイスなら何でもよい。一例として、デプスセンサ１１は、ステレオカメラ、レーダ、ＴＯＦ（Time Of Flight）カメラ又はＬｉＤＡＲ（Light Detection and Ranging）等である。デプスセンサ１１の位置及び姿勢は固定でもよいし、デプスセンサ１１の位置を移動及び姿勢を変更可能であってもよい。デプスセンサ１１の台数は１つでも、複数でもよい。デプスセンサ１１がセンシングした領域（第１領域）以外の領域はドローン１０１にとっての死角領域に相当する。

　カメラ（第２センサ装置）１２は、ドローン１０１が飛行する空間における検出範囲（撮像範囲）をセンシングし、輝度値（階調値とも呼ばれる）を含む画像を取得する。画像は輝度値を有する複数の画素を含むデータである。カメラ１２は、取得した画像を取得時刻に関連づけて記憶部１９に格納する。カメラ１２は、取得した画像を、制御部１３に提供してもよい。取得した画像は、静止画像または動画像である。カメラ１２は、一例としてＲＧＢカメラ、又は赤外線カメラ等である。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等である。カメラ１２の台数及び設置位置はドローン１０１の目的に応じて決められる。カメラ１２の台数は１つの場合、及び複数の場合のいずれもある。カメラ１２の位置及び姿勢は固定でもよいし、カメラ１２の位置を移動及び姿勢を変更可能であってもよい。

　本実施形態では、少なくとも１つのカメラ１２の検出範囲（撮像範囲）は、デプスセンサ１１の検出範囲（撮像範囲）と一部において重なるように、カメラ１２の位置及び姿勢を制御可能であるが、予め固定されている。本実施形態では、カメラ１２によりセンシングされた第２領域のうち、デプスセンサ１１によりセンシングされた第１領域に含まれない第３領域について、第１領域のデプス画像と第２領域の輝度画像とに基づき、デプス値を推定することを特徴の１つとする。第３領域は、ドローン１０１の死角領域の一部又は全部である。

　ロータ２１Ａ～２１Ｄは、回転により揚力を生じさせることでドローン１０１を飛行させる。ロータ２１Ａ～２１Ｄはモータ２２Ａ～２２Ｄにより回転させられる。モータ２２Ａ～２２Ｄは、ロータ２１Ａ～２１Ｄを回転させる。モータ２２Ａ～２２Ｄの回転は制御部１３によって制御される。

　制御部１３は、ドローン１０１の動作を制御する。制御部１３は、デプスセンサ１１、カメラ１２、通信部１４、モータ２２Ａ～２２Ｄ、センサ部１６、位置検出部１７、バッテリ１８、及び記憶部１９を制御する。

　制御部１３は、モータ２２Ａ～２２Ｄの回転速度の調整によりロータ２１Ａ～２１Ｄの回転速度を調整する。ロータ２１Ａ～２１Ｄの回転速度を調整することで、ドローン１０１を任意の方向及び任意の速度で移動させることができる。

　制御部１３は、飛行中の間、デプスセンサ１１及びカメラ１２によるセンシングを制御する。例えば一定のサンプリング間隔ごとにデプスセンサ１１及びカメラ１２による撮像を行うよう、制御する。また、制御部１３は、通信部１４を用いて、基地局２０１、ユーザのリモコン装置又は他のドローンとの間の情報又はデータの送受信に関する処理を制御する。

　制御部１３は、基地局２０１から指示データとして与えられる飛行の出発地及び目的地に基づき、飛行の経路を生成し、生成した経路に沿って飛行を行う。すなわち、制御部１３は、自律飛行を行う。制御部１３は、飛行中、障害物を回避する制御を行う。障害物の例としては、他のドローン、鳥等の生物、電柱、電線など、様々ある。制御部１３が障害物を回避する制御の詳細については後述する。制御部１３は、障害物との衝突を阻止するために経路を変更してもよい。制御部１３は経路を変更する際、変更後の経路を自ら生成する方法、経路データを基地局２０１から受信し、受信した経路データが示す経路を新たな経路として飛行する方法のいずれも可能である。制御部１３は、経路を変更する場合は、例えば、ドローン１０１の現在位置の情報等を基地局２０１に送信し、経路の再生成を要求してもよい。

　制御部１３は、デプスセンサ１１で取得された第１領域のデプス画像と、カメラ１２で取得された第２領域の輝度画像とに基づき、第２領域のうち第１領域に含まれない第３領域（死角領域）のデプス値を推定する。制御部１３は、推定した第３領域のデプス値を推定時刻に関連づけて記憶部１９に格納する。制御部１３は、第３領域のデプス値に基づいて、ドローンの飛行を制御する。制御部１３は、ドローン１０１の死角領域である第３領域のデプス値を、第１領域のデプス値と第２領域の輝度値とを用いて推定することで、死角領域における衝突を回避した飛行を可能とする。

　例えば、死角領域に存在する障害物を回避する経路を生成し、生成した経路を変更後の経路とする。生成する経路は、死角領域に存在する障害物を回避できれば、死角領域を通過する経路であってもよい。この場合、ドローン１０１は元々の経路を大きく変更することなく、障害物との衝突を回避できるため、効率的な衝突回避が可能となる。また、死角領域を避ける経路を生成することも可能である。障害物が他ドローンである場合、他ドローンが死角領域を通り過ぎるまで、一時停止するか、経路から外れた位置に一時的に待避する行動を行ってもよい。このように死角領域に存在する障害物との衝突を阻止する制御を衝突回避制御と呼ぶ。なお、一時退避する動作を行った場合に、障害物が死角領域に存在しなくなった後、元の経路に戻り、飛行を再開する。あるいは、待避した位置から新たな経路を生成して、飛行を再開することも可能である。

　通信部１４は、基地局２０１、ユーザの保持する操作デバイス又は他のドローン１０１と無線通信を行うことにより、情報又はデータの送受信を行う。無線通信の方式は任意でよい。一例として、ＩＥＥＥ８０２．１１規格、ＩＥＥＥ８０２．１５．１規格、その他の規格によるものでもよい。無線通信に使用する周波数帯域は、例えば２．４ＧＨｚ帯、５ＧＨｚ帯、又はその他の周波数帯域である。

　通信部１４は、一例として、飛行に関する指示データを、基地局２０１から受信する。通信部１４は、指示データを制御部１３に提供する。制御部１３は、指示データに従って飛行を行うよう制御する。一例として指示データは出発地及び目的地を含む。制御部１３は、目的地までの経路を生成し、生成した経路に従って飛行を行うよう制御する。

　位置検出部１７は、ドローン１０１の位置を検出する。ドローン１０１の位置は、一例として、ドローン１０１の現在位置（リアルタイムの位置）である。位置検出部１７は、例えばＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）等を用いて位置を検出する。位置検出部１７は、検出した位置の情報を検出時刻に関連づけて記憶部１９に格納する。位置検出部１７は、検出した位置の情報を制御部１３に提供してもよい。

　ドローンの位置は、一例として予め定めた座標系における位置である。予め定めた座標系は、例えば、（Ｘ，Ｙ，Ｚ）＝（７．３ｍ、４．１ｍ、１５．８ｍ）のような、基地局２０１の位置を原点又は所定の位置とした３軸の座標系（ＸＹＺの座標系）である。あるいは、座標系は、基地局２０１の位置以外の点を原点としてもよい。ドローンの位置は、ＧＰＳ等により取得した緯度と経度による位置でもよい。ＧＰＳ等により取得した緯度と経度による位置を、予め定めた座標系の位置に変換してもよい。

　センサ部１６は、ドローン１０１の状態を取得する１つ又は複数のセンサを備える。センサの例は、加速度センサ、方位センサ（ジャイロセンサ、ＧＰＳコンパス又は電子コンパスなど）、超音波センサ、及び気圧センサを含む。センサ部１６は、取得したドローン１０１の状態を表す情報を取得時刻に関連づけて、記憶部１９に格納する。センサ部１６は、取得したドローン１０１の状態を表す情報を制御部１３に提供してもよい。

　センサ部１６により取得する情報の一例として、ドローンの速度及び進行方向等がある。進行方向は、予め定めた座標系で表してもよいし、真北方向を０度とし、東回りに３５９．９９までの範囲で表した絶対方位で表してもよい。絶対方位を、予め定めた座標系における方向に変換してもよい。

　デプスセンサ１１、カメラ１２、センサ部１６及び位置検出部１７は、一例として、制御部１３の制御により、同期して動作する。例えば、一定のサンプリング間隔で、同じ時刻で動作する。但し、デプスセンサ１１、カメラ１２、センサ部１６及び位置検出部１７のサンプリング間隔及び動作時刻の少なくとも一方が異なっていてもよい。

　バッテリ１８は、ドローン１０１内の各要素を動作させるための電力エネルギーを蓄えている。バッテリ１８は、放電のみが可能な一次電池でも、充放電可能な二次電池であってもよい。

　記憶部１９は、センサ部１６により取得された情報（速度、進行方向等）、位置検出部１７により取得された位置の情報、デプスセンサ１１により取得されたデプス画像、カメラ１２により取得された輝度画像、制御部１３により推定された第３領域のデプス値等を格納する。制御部１３がバッテリ１８の残存エネルギー量の情報を取得し、取得した情報を記憶部１９に格納してもよい。

　記憶部１９は、ドローン１０１の属性及び性能に関する情報を記憶している。一例として、記憶部１９は、デプスセンサ１１及びカメラ１２の位置及び個数の情報を記憶している。一例として、ドローンの特定の方向に１つのみデプスセンサ１１を設置、又はドローンの周囲に複数個のデプスセンサ１１を設置することがある。同様に、ドローンの特定の方向に１つのみカメラ１２を設置、又はドローンの周囲に複数個のカメラ１２を設置することがある。なお、画角が狭いほど、遠くまで撮影できる。

　また記憶部１９は、デプスセンサ１１のセンシング範囲（例えばステレオカメラの画角）と、カメラ１２の撮像範囲（例えば画角）とを表す情報を記憶している。また、カメラ１２の撮像範囲のうちデプスセンサ１１のセンシング範囲と重なる範囲（あるいは重ならない範囲）の情報を記憶している。カメラ１２が複数存在する場合、デプスセンサ１１とカメラ１２の組み合わせごとに、重なる範囲（あるいは重ならない範囲）の情報を記憶している。また、記憶部１９は、デプスセンサ１１及びカメラ１２のそれぞれのパラメータ情報を記憶している。具体的には、デプスセンサ１１及びカメラ１２の位置関係に関する情報、デプスセンサ１１及びカメラ１２の内部パラメータ（焦点距離等）の情報を記憶していている。パラメメータ情報は例えば予めデプスセンサ１１及びカメラ１２のキャリブレーションを行うことにより取得できる。

　また、記憶部１９は、ドローン１０１の属性及び性能に関する情報として、以下の情報を記憶していてもよい。
・機体ＩＤ
・飛行目的（移動目的）
・飛行性能（移動性能）
・出発地及び目的地
・認識性能

　機体ＩＤは、ドローンをユニークに識別するＩＤである。例えば、“ＡＢＣ１２３”などである。機体ＩＤは、使用プロトコルに応じた通信用のアドレスを含んでもよい。

　飛行目的の例として、撮影、救命（救助を含む）、物流、消火、監視などがある。撮影の例として、地上の路面を走行する車両の撮影、施設内を自律走行する搬送車の撮影、又は船舶の撮影などがある。救命の例として、被災地又は事故現場等への医療物資又は生活物資の搬送がある。消化の例として、火事現場への消化剤の投下がある。物流の例として、荷物の輸送等がある。監視の例として、不審者の検出、施設の異常検出等がある。

　複数のカメラ１２が設けられている場合、飛行目的ごとにカメラ１２が使い分けられてもよい。例えばカメラ１２として、センサ装置Ａ、センサ装置Ｂ、センサ装置Ｃがあり、センサ装置Ａが車両の撮影用、センサ装置Ｂが救命用、センサ装置Ｃが監視用として定められていてもよい。ある飛行においてドローンの目的が車両の撮影の場合、センサ装置Ｂ及びセンサ装置Ｃが用いられなくてもよい。第３領域のデプス値の推定に用いるカメラ１２として、飛行の目的に使用されていないセンサ装置（本例ではセンサ装置Ｂ及びセンサ装置Ｃの少なくとも一方）を用いてもよい。

　飛行性能の例として、制動性能又は小回り性能等がある。制動性能の指標として、例えば制御部が停止命令（空中で停止する命令）を発行してから実際にドローンが停止するまでの距離（制動距離）がある。制動距離は、ドローンの速度又はブレーキの強さ（制動力）に依存する。小回り性能の指標として、例えば、最小回転半径がある。

　目的地又は出発地は、予め定めた座標系における座標を用いて定められる。例えば、目的地は、（Ｘ，Ｙ，Ｚ）＝（１８０ｍ、２１０ｍ、１．０ｍ）である。目的地又は出発地として、ＧＰＳにより取得した緯度と経度による位置を用いてもよい。目的地が存在しない場合もある。監視目的などで同じ経路を循環的に飛行する場合、目的地が存在しなくてもよい。

　図３は、基地局２０１のブロック図である。基地局２０１は、アンテナ２０２、通信部２０３、制御部２０４、及び記憶部２０５を備えている。

　通信部２０３は、ドローン１０１（１０１Ａ～１０１Ｃ）と無線通信を行うことにより、情報又はデータの送受信処理を行う。無線通信の方式は任意でよい。一例として、ＩＥＥＥ８０２．１１規格、ＩＥＥＥ８０２．１５．１規格、その他の規格によるでもよい。無線通信に使用する周波数帯域は、一例として、２．４ＧＨｚ帯、５ＧＨｚ帯、その他の周波数帯域である。

　通信部２０３は、制御部２０４からドローン１０１に飛行に関する指示データを取得し、指示データをドローン１０１に送信する。

　記憶部２０５には、ドローン１０１の属性及び性能に関する情報が格納されている。例えば、ドローン１０１の機体ＩＤ、スペック情報（機種、重量、サイズなど）、飛行目的（移動目的）、飛行性能（移動性能）、出発地及び目的地、認識性能に関する情報が格納されている。

　制御部２０４は、基地局２０１の動作を制御する。また、ドローン１０１に飛行に関する指示を行う。

　制御部２０４は、記憶部２０５におけるドローン１０１に関する情報に基づき、ドローン１０１の飛行に関する指示データを生成する。指示データは、一例として出発地及び目的地を含む。別の例として、指示データは、飛行の経路を含んでもよい。制御部２０４は、生成した指示データを、通信部２０３を介して、ドローン１０１に送信する。

　制御部２０４は、ドローン１０１から経路の再生成の要求を受信した場合は、経路の再生成を行う。制御部２０４は、再生成した経路を含む指示データを、ドローン１０１に送信する。

　制御部２０４は、ドローン１０１との情報又はデータの送受信を制御する。一例として、制御部２０４は、ドローン１０１から、ドローン１０１のセンサ部１６、制御部１３及び位置検出部１７で取得された情報又はデータを取得し、取得した情報又はデ－タを記憶部２０５に格納する。

　制御部２０４は、ドローン１０１からデプスセンサ１１により取得された第１領域のデプス画像と、カメラ１２により取得された第２領域の輝度画像とを受信し、第３領域のデプス値を推定する処理を行ってもよい。推定した第３領域のデプス値に基づき、ドローン１０１の衝突を回避する制御を行ってもよい。例えばドローン１０１が第３領域に存在する障害物を回避する経路を生成し、生成した経路の指示データを変更後の経路としてドローン１０１に送信してもよい。生成する経路は、第３領域に存在する障害物を回避する経路であれば、第３領域を通過する経路であってもよいし、第３領域を回避する経路であってもよい。

　［死角領域における障害物の検出］
　以下、デプスセンサ１１により取得された第１領域のデプス画像と、カメラ１２により取得された第２領域の輝度画像とに基づいて、第２領域のうち第１領域に含まれない第３領域（死角領域）のデプス値を推定する処理の詳細について説明する。

　図４は、ドローン１０１の死角領域を説明するための平面図である。ドローン本体３０と、４枚のプロペラ３１とを備えたドローン１０１が示されている。ドローン本体３０の右前、左前、左後ろ、右後にはそれぞれデプスセンサ１１が設けられている。４つのデプスセンサ１１は各々の撮像範囲に従って、それぞれ対応する領域（第１領域）３２を撮像可能である。すなわち、４つのデプスセンサ１１は、それぞれ対応する領域３２内のデプス（距離）を測定可能である。しかしながら、各領域３２間の４つの領域３３はデプスセンサ１１の撮像範囲外であり、デプスを測定できない。すなわち、領域３３は、ドローン１０１の死角領域（第３領域）である。

　前述したようにデプスセンサ１１はデプスを測定可能な限りどのようなデバイスでもよい。例えばデプスセンサ１１はステレオカメラである。ステレオカメラの場合、２つのカメラで撮像した画像間の対応関係と、三角測量の原理に基づき、物体までのデプス（距離）を測定できる。

　図５は、ステレオカメラを用いてデプスを測定するイメージ図である。左カメラ３４Ａと右カメラ３４Ｂとを含むステレオカメラ３４が示されている。左カメラ３４Ａの撮像範囲３５Ａと右カメラ３４Ｂの撮像範囲３５Ｂがオーバーラップする領域３２に関し、３角測量の原理に基づき、デプスを測定することが可能である。領域３２は、図４のデプスを測定可能な領域３２に対応する。なお、左カメラ３４Ａ及び右カメラ３４Ｂのパラメータ情報は予めキャリブレーションにより取得されているものとする。なお、ステレオカメラを用いてデプスを測定する例は一例に過ぎず、ＬｉＤＡＲ又はレーザなど他のセンサ装置を用いてデプスを測定することも可能である。

　図６は、死角領域における障害物の検出を必要とする場合の例１を説明する図である。ユーザがリモコンによりドローン１０１を操作している状況を想定する。この例ではドローン１０１の前方にのみデプスセンサ１１が設けられている。ドローン１０１が図の方向５１にある速度で進んでいる状況において、ユーザにより方向５２に飛行方向の変更指示がなされたとする。方向５２の領域は、デプスセンサ１１の撮像範囲に含まれず、ドローン１０１にとっての死角領域である。したがって、もし死角領域に障害物が存在する場合、ユーザの指示に従って方向転換を行ってしまうと、ドローン１０１が障害物に衝突する可能性がある。このような場合に、死角領域における障害物を事前に検出できれば、ユーザが指示した方向には障害物が存在するとの警告を通知することが可能である。また、ユーザが指示した方向になるべく近い方向で、障害物を回避可能な方向をユーザに提示することも可能である。

　図７は、死角領域における障害物の検出を必要とする場合の例２を説明する図である。この例ではドローン１０１が自律飛行している。ドローン１０１が方向５１にある速度で、目的地５３に向かって進んでいる。ドローン１０１は前方に障害物が検出されない限りは、方向５１に進むが、障害物が検出された場合には、経路を変更するため、事前に様々な方向５５Ａ、５５Ｂの死角領域について障害物の検出を行いながら飛行している。図の例ではこのまま直進するとデプスセンサ１１の検出範囲である領域３２に障害物５４が検出される。この場合も、ドローン１０１は事前に死角領域において検出した障害物の情報に基づき、死角領域における障害物を回避する最適な経路を選択し、選択した経路に切り替えることができる。なお、検出範囲内に障害物５４が入り、実際に障害物５４を検出したタイミングで、死角領域の障害物の検出を行い、経路を切り替えることも可能である。障害物の検出の処理速度と経路の切り替え速度が、進行方向の障害物を検出してから衝突までの時間よりも短ければ、進行方向の障害物５４を検出してから経路を切り替えても障害物５４との衝突を回避できる。

　図８は、本実施形態でデプスを推定する死角領域を説明する図である。ドローン１０１の前及び右側にそれぞれデプスセンサ１１（それぞれ１１Ａ、１１Ｂとする）が設けられており、それぞれ領域３２Ａ、３２Ｂのデプス画像として測距可能である。またカメラ１２が右前に設けられており、カメラ１２は領域６１（第２領域）の輝度画像を撮像可能である。ドローン１０１は方向６２にこれから進みたい、若しくは方向６２に実際に進んでいる状況を想定する。なおドローン１０１は図示の姿勢のまま（前方を向いた姿勢のまま）方向６２に移動可能である。

　本実施形態では領域６１（第２領域）のうち、領域３２Ａ及び領域３２Ｂ（第１領域）と重なる領域についてはデプスセンサ１１Ａ、１１Ｂの撮像画像からデプス値を取得可能である。この重なる領域についてはデプス値を取得できていることからドローン１０１の死角領域ではない。領域６１のうち領域３２Ａ及び領域３２Ｂと重ならない領域についてはデプス値が取得できていないためドローン１０１にとって死角領域である。本実施形態ではこの死角領域のデプス値を、領域３２Ａ及び領域３２Ｂのデプス値と、領域６１の輝度値とを用いて推定する。

　図９は、制御部１０３において死角領域のデプス値を推定し、障害物の検出を行う処理に関わるブロック図である。制御部１０３は画像補正処理部７１と、セグメンテーション部７２と、デプス推定部７５と、衝突判定部７６と、画像補正処理部８１Ａ、８１Ｂと、デプス画像取得部８２Ａ、８２Ｂと、座標変換部８４Ａ、８４Ｂとを備える。記憶部１９は、学習済みニューラルネットワーク７４、カメラパラメータ情報７３、ステレオカメラＡのパラメータ情報８３Ａ、ステレオカメラＢのパラメータ情報８３Ｂを記憶している。
　図９の例では、デプスセンサ１１としてステレオカメラを用いているが、ＬｉＤＡＲ等の他のセンサを用いてもよい。この場合、デプス画像取得部８２Ａ、８２Ｂで視差推定を行う必要はない。また画像補正処理は、デプス画像取得部８２Ａ、８２Ｂで取得されたデプス画像に対して行い、補正後のデプス画像を座標変換部８４Ａに提供すればよい。

　画像補正処理部７１は、カメラ１２で取得された輝度画像（カメラ画像）を取得し、カメラパラメータ情報７３を用いて輝度画像の補正処理を行う。画像補正処理部７１は、カメラ１２から輝度画像を取得する取得部（第１取得部）７０を含む。カメラパラメータ情報７３は、事前のキャリブレーションにより取得されたカメラ１２のパラメータ情報である。補正処理の例として、ゲイン調整、黒レベル調整、白レベル調整、ノイズ除去、又はガンマ処理等がある。画像補正処理部７１は、補正後の輝度画像をセグメンテーション部７２に提供する。

　セグメンテーション部７２は、学習済みニューラルネットワーク７４を用いて、補正後の輝度画像にセマンティックセグメンテーションを行う。セマンティックセグメンテーションは、画像の各画素のクラス（種別）を、画素単位で分類する手法である。画素毎にクラスを判定し、判定されたクラスを示したラベルを画素毎に出力する。例えば、予め、人間、背景、電柱、道路、横断歩道、樹木、ビルといった複数のオブジェクトに対して各々クラスが定義されている。各クラスには特定の色が割り当てられている。各画素に対して、クラスの判定を行う。セマンティックセグメンテーションの結果として、画像の各画素に対応するクラス値が得られる各クラス値を、色とクラスの対応表に基づき色値に変換して、セグメンテーション画像が得られる。セグメンテーション画像の画像サイズ（画素数）は、輝度画像と同じである。

　セグメンテーション画像において、連続する同じ色値のまとまりが１つのオブジェクト（セグメント）に対応する。オブジェクトの最外延の画素が、オブジェクトの境界線となる。このようなセマンティックセグメンテーションを、学習済みニューラルネットワーク７４を用いて行う。画像をニューラルネットワークの入力として用いる。ニューラルネットワークを用いた処理において、各画素を画素単位でクラス予測する。ニューラルネットワークの出力は、入力された画像の各画素に割り当てられたクラス値（数値）を含むクラスマップを含む。クラスと色の対応表を参照し、クラスマップの各クラス値を、各クラス値に対応する色値に置換することで、セグメンテーション画像が得られる。セグメンテーション画像により、セグメンテーション結果を可視化できる。

　本実施形態では画像のセグメンテーションのためセマンティックセグメンテーションを用いているが、画像をセグメント化できる手法であれば、色情報に基づくクラスタリング手法など、他の手法を用いてもかまわない。またセグメント化に用いるモデルも、ニューラルネットワークに限定されない。また本実施形態では補正後の輝度画像にセグメンテーションを行っているが、補正が行われていない輝度画像にセグメンテーションを行ってもよい。

　図１０は、カメラ１２により取得された輝度画像をセマンティックセグメンテーションして得られたセグメンテーション画像９０の例を示す。５つのオブジェクト（セグメント）９１Ａ、９１Ｂ、９２、９３、９４が含まれている。オブジェクト９４は人オブジェクト、オブジェクト９２は地面オブジェクト、オブジェクト９３は空オブジェクト、オブジェクト９１Ａ、９１Ｂは静止構造物（壁、電柱など）オブジェクトである。各オブジェクトには異なる色が付けられている。オブジェクト９１Ａ、９１Ｂの色は、オブジェクト９１Ａ、９１Ｂが同じクラスである場合は同じである。

　セグメンテーション部７２はセグメンテーション画像をデプス推定部７５に提供する。

　画像補正処理部８１Ａは、ステレオカメラＡの左カメラ及び右カメラにより撮像された画像を取得する。画像補正処理部８１Ａは、ステレオカメラＡのパラメータ情報８３Ａに基づき、左カメラ及び右カメラにより撮像された画像の補正処理を行う。例えばノイズ除去や、左カメラと右カメラの位置関係に基づくレクティフィケーションを行う。画像補正処理部８１Ａは、左カメラの補正画像と右カメラの補正画像をデプス画像取得部８２Ａに提供する。

　デプス画像取得部８２Ａは、左カメラの補正画像と右カメラの補正画像と、左カメラと右カメラの視差と、三角測量の原理に基づき、左カメラと右カメラの撮像領域が重なる領域のデプス値を含むデプス画像を取得する。デプス画像取得部８２Ａは、ステレオカメラＡの撮像領域のデプス値を含むデプス画像を取得する取得部（第２取得部）を備えている。デプス画像取得部８２Ａは、取得したデプス画像（デプス画像Ａ又はデプスマップＡと呼ぶ）を、座標変換部８４Ａと衝突判定部７６に提供する。

　座標変換部８４Ａは、カメラ１２のパラメータ情報と、ステレオカメラＡのパラメータ情報と、カメラ１２及びステレオカメラＡの位置関係とに基づき、デプス画像Ａ（デプスマップＡ）をステレオカメラＡの座標系からカメラ１２の座標系に変換する。変換後のデプスマップＡをデプス推定部７５に提供する。カメラ１２とステレオカメラＡの位置関係は、予め外部パラメータ情報として記憶部１９に格納されている。あるいは、当該位置関係が、カメラ１２のパラメータ情報又は、ステレオカメラＡのパラメータ情報に含まれていてもよい。座標変換部８４Ａは、変換後のデプス画像（デプスマップＡ）を、デプス推定部７５に提供する。

　画像補正処理部８１Ｂは、画像補正処理部８１Ａと同様に、ステレオカメラＡの左カメラ及び右カメラにより撮像された画像を取得する。画像補正処理部８１Ａは、ステレオカメラＡのパラメータ情報８３Ａに基づき、左カメラ及び右カメラにより取得された画像の補正処理を行う。画像補正処理部８１Ｂは、左カメラの補正画像と右カメラの補正画像をデプス画像取得部８２Ｂに提供する。

　デプス画像取得部８２Ｂは、デプス画像取得部８２Ａと同様に、左カメラの補正画像と右カメラの補正画像と、左カメラと右カメラの視差と、三角測量の原理に基づき、左カメラと右カメラの撮像領域が重なる領域のデプス値を含むデプス画像を取得する。デプス画像取得部８２Ｂは、ステレオカメラＢの撮像領域のデプス値を含むデプス画像を取得する取得部（第２取得部）を備えている。デプス画像取得部８２Ｂは、取得したデプス画像（デプス画像Ｂ又はデプスマップＢと呼ぶ）を、座標変換部８４Ｂと衝突判定部７６に提供する。

　座標変換部８４Ｂは、座標変換部８４Ａと同様に、デプス画像Ｂ（デプスマップＢ）をステレオカメラＢの座標系からカメラ１２の座標系に変換して、変換後のデプスマップＢをデプス推定部７５に提供する。座標変換部８４Ｂは、変換後のデプス画像（デプスマップＢ）をデプス推定部７５に提供する。

　デプス推定部７５は、セグメンテーション画像に対して、変換後のデプスマップＡ及び変換後のデプスマップＢを位置合わせする。すなわち互いに対応する画素同士でセグメンテーション画像と各変換後のデプスマップを位置合わせする。３角測量の原理とエピポーラ制約、ある基準座標系における自己位置情報、及び、事前にキャリブレーションされた各センサ間の相対位置情報とから、デプスマップＡ及びデプスマップＢの各画素が、セグメンテーション画像のどの画素に対応するかは一意に特定される。デプスマップＡ及びデプスマップＢとセグメンテーション画像の画像サイズが異なる場合は、適宜補間処理を行えばよい。これにより重なった領域における画像部分のデプス値が特定できる。すなわち、セグメンテーション画像のうち、ステレオカメラＡ及びステレオカメラＢの撮像領域と重なる領域のデプス値を含むデプス画像が、第３領域のデプス画像として求まる。

　図１１は、図１０のセグメンテーション画像に、デプスマップＡ（デプスマップ９６Ａ）及びデプスマップＢ（デプスマップ９６Ｂ）を位置合わせして重ねた例を示す。デプスマップ９６Ａ及びデプスマップ９６Ｂのうちセグメンテーション画像と重ならない部分の図示は省略している。なお、デプスマップ９６Ａ及びデプスマップ９６Ｂはそれぞれ座標変換されている。デプスマップ９６Ａ、９６Ｂは複数の画素を含み、各画素はデプス値を含む。セグメンテーション画像のうちデプスマップ９６Ａと重なる領域は、デプスマップ９６Ａが示すデプス値を有する。セグメンテーション画像のうちデプスマップ９６Ｂと重なる部分の領域は、デプスマップ９６Ｂが示すデプス値を有する。デプスマップ９６Ａ及びデプスマップ９６Ｂがほぼ対称の形状を有するが、２つのデプスマップが全く異なる形状でもかまわない。また、２つのデプスマップが重ねられているが、１つのデプスセンサを用いた場合は１つのデプスマップが重ねられる。

　デプス推定部７５は、セグメンテーション画像のうちデプスマップが重なっていない領域（非重畳領域）のデプス値を推定する。推定の動作の詳細は後述する。非重畳領域は、ドローン１０１の死角領域に対応する。デプス推定部７５は、死角領域のデプス値を衝突判定部７６に提供する。

　衝突判定部７６は、死角領域のデプス値、デプス画像Ａ及びデプス画像Ｂに基づき障害物の検出処理を行う。例えば、このままドローン１０１が進行方向（例えばカメラ１２の撮像方向）に進んだ場合に、障害物に衝突するか否かを判定する。また衝突すると判定した場合に、衝突するまでの時間を、ドローン１０１の飛行速度に基づき予測する。

　制御部１３は、衝突判定部７６の判定結果を用いて、ドローン１０１の飛行を制御する。例えば、判定結果が衝突しないことを示す場合は、カメラ１２の撮像方向にそのまま直進する。判定結果が衝突することを示す場合は、衝突するまでに時間より前までに別の経路へ変更する。

　以下、デプス推定部７５が非重畳領域のデプス値を推定する処理（デプス推定処理）の詳細について説明する。

［第１の推定例］
　セグメンテーション画像に含まれるオブジェクトごと（セグメントごと）に、非重畳領域のデプス値を推定する。

　図１２（Ａ）は、デプス推定処理の第１の推定例を説明するための図である。セグメンテーション画像の一部に含まれる１つのオブジェクトである地面オブジェクト１１１が取り出して示されている。オブジェクト上の点群１１０は、デプスマップによりデプス値が特定されている点群（画素群）を模式的に示している。この例では地面オブジェクト１１１の一部のデプス値がデプスマップから分かっている。同一オブジェクト（この例では地面オブジェクト１１１）を平面と仮定し、平面フィッティングにより地面オブジェクト１１１を近似する３次元平面を算出する。地面オブジェクト１１１のうちデプスマップによりデプス値が分かっている部分以外の部分（非重畳領域）の少なくとも一部のデプス値として、３次元平面のデプス値を用いる。

　３次元平面の方程式は、Ｎ^ＴＸ＋ｄ＝０により表される。Ｎは法線ベクトルであり、Ｎ＝［ｎ_ｘ，ｎ_ｙ，ｎ_ｚ］^Ｔである。Ｘは３次元座標であり、Ｘ＝［ｘ，ｙ，ｚ］^Ｔである。ｄは係数である。

　図１２（Ｂ）は平面に対する法線ベクトルのイメージを示す。

　平面フィッティング以外の方法として、メッシュ作成により近似する平面を算出する方法もある。例えばドロネー三角形分割を用いることができる。

　図１２（Ｃ）は、ドロネー三角形分割のイメージを示す。与えられた点群（ここではデプス値が分かっている点群）を辺で結ぶことで平面の図形を得る。この図形は三角形の集合である。この平面を、オブジェクトを近似する平面として用いる。この平面のうち、デプス値が分かっていない点のデプス値は、デプス値が分かっている点のデプス値の補間により推定すればよい。

［第２の推定例］
　予め定めた種類のオブジェクトには所定のデプス値を割り当てる。例えばドローンは空には衝突しないことから、空オブジェクトを無限遠点として扱う。例えば、空オブジェクトに含まれる各画素のデプス値を、無限遠点に対応する所定値（例えば、最大のデプス値）とする。例えば、前述した図１１の空オブジェクト９３に含まれる画素のデプス値は無限遠点に対応する値とする。

［第３の推定例］
　セグメンテーション画像に存在するオブジェクトのうち、デプスマップと重ならないオブジェクトについては、デプス値が分かっているオブジェクトとの接点におけるデプス値を、当該オブジェクトの少なくとも一部のデプス値とする。当該オブジェクトの少なくとも一部は、例えば、当該オブジェクト全体又は当該オブジェクトの接点部分である。デプス値が分かっているオブジェクトは、第１の推定例又は他の推定例により、オブジェクトの一部のデプス値が推定されたオブジェクトでもよい。

　図１３は、第３の推定例の具体例を示す図である。地面オブジェクト１１１のうちデプスマップに重なっていない部分（非重畳領域）のデプス値が、上述した第１の推定例に従って、推定されているとする。人間オブジェクト１１２が存在し、人間オブジェクト１１２とデプスマップは重なっていないとする。すなわち人間オブジェクト１１２全体が非重畳領域に相当する。この場合、人間オブジェクト１１２と地面オブジェクト１１１との接点部分におけるデプス値に基づき、人間オブジェクト１１２の少なくとも一部（全部又は接点部分など）のデプス値を決定する。地面オブジェクト１１１は地面を表しているから、人間オブジェクト１１２が地面オブジェクト１１１と接する箇所は、人間オブジェクト１１２の一番下位の足部分（１１２Ａ、１１２Ｂ）であると分かる。そこで、足部分（１１２Ａ、１１２Ｂ）に接する地面オブジェクト１１１の部分のデプス値の統計値（平均、中央値、最小値、最大値等）を、人間オブジェクト１１２の少なくとも一部（全部又は接点部分など）のデプス値とする。

　セグメンテーション画像に存在するオブジェクトのうち、デプス値が分かっているオブジェクトと接していないオブジェクトについて、デプス値が不明なオブジェクト（デプス値が不明な領域）と判断する。例えば空中に飛んでいる鳥などが、このような場合のオブジェクトとして考えられる。デプス値が不明なオブジェクトは、オブジェクトまでの距離が不明なオブジェクトに相当する。距離が不明なオブジェクトが存在する場合、このオブジェクトが表す対象は障害物であると見なして、このオブジェクトへの方向の飛行を速やかに回避することが考えられる。

　図１４は、空中で飛んでいる鳥を含むセグメンテーション画像の例を示す。セグメンテーション画像に鳥オブジェクト１１３が含まれる。鳥オブジェクト１１３以外は空オブジェクト１１４である。空オブジェクト１１４の一部はデプスマップ（図示せず）と重なっているが、鳥オブジェクト１１３はデプスマップと重なっていない。このような場合、鳥オブジェクト１１３はデプス値（距離）が不明なオブジェクトとする。

［第４の推定例］
　オブジェクトの一部がデプスマップと重なっている場合、オブジェクトの重なっていない部分のデプス値を、重なっている部分のデプス値から推定する。例えば重なっている部分のデプス値の統計値（平均値、中央値、最大値又は最小値など）を、当該重なっていない部分のデプス値とする。例えば人間オブジェクトが直立している場合に、人間オブジェクトの足のデプス値が分かっていれば、足のデプス値を、足以外の部分のデプス値として用いる。

［第５の推定例］
　第５の推定例ではデプス値が分かっているオブジェクトと接しておらず、かつデプスマップにも重なっていないオブジェクトのデプス値を推定する例を記載する。

　図１５は、デプス推定処理の第５の推定例を説明するための図である。路面オブジェクト１２１の一部がデプスマップと重なっており、重なっている領域の点群（画素群）１２０が模式的に示されている。点群１２０のデプス値は分かっている。路面オブジェクト１２１の左手前と、右奥とに、電柱オブジェクト１２２Ａ、１２２Ｂが設置されている。電柱オブジェクト１２２Ａ、１２２Ｂの間には、電線オブジェクト１２３が架けられている。電柱オブジェクト１２２Ａの一部はデプス値が分かっているが、電柱オブジェクト１２２Ｂについては、デプス値が分かっている領域は存在しない。第４の推定例では、電柱オブジェクト１２２Ｂ（非重畳領域）のデプス値、及び電線オブジェクト１２３の任意の箇所（非重畳領域）のデプス値を推定する。実空間における電柱オブジェクト１２２Ａ及び電柱オブジェクト１２２Ｂが表す対象（電柱）の太さはいずれも同じであるとする。

　まず電柱オブジェクト１２２Ｂのデプス値を推定する例を示す。

　最初に、一部のデプス値が分かっている電柱オブジェクト１２２Ａの太さの平均値を算出する。

　図１６は、平均値を算出する手順の一例を示す。図１５（Ａ）に示すように、電柱オブジェクト１２２ＡのエッジＥ１、Ｅ２をセグメンテーション画像からエッジ検出処理により検出する。次に、図１５（Ｂ）に示すように、エッジＥ１、Ｅ２の直線に対する法線方向を一定間隔で算出する。次に、図１５（Ｃ）に示すように、各法線の方向にエッジＥ１、Ｅ２間の距離（画素数）を算出する。例えばエッジＥ１の法線Ｈ１について、法線Ｈ１の起点の位置を（ｈ１、ｖ１）、法線Ｈ１とエッジＥ２との交点を（ｈ２、ｖ２）とする。このとき、法線Ｈ１の方向におけるエッジＥ１、Ｅ２間の距離Ａは、以下の式で算出される。

　各法線について算出した距離の平均値Ａａｖｅを算出する。算出した平均値Ａａｖｅを電柱オブジェクト１２２Ａの太さとする。

　次に、電柱オブジェクト１２２Ａの横サイズである太さ（画素数）から、実空間において電柱オブジェクト１２２Ａが表す電柱の横サイズである太さ（メートル：ｍ）を算出する。そして、電柱オブジェクト１２２Ａが表す電柱の太さ（ｍ）と、電柱オブジェクト１２２Ｂの太さ（画素数）とに基づき、電柱オブジェクト１２２Ｂが表す電柱までの距離を算出する。

　図１７は、実空間における電柱オブジェクト１２２Ａの電柱の太さと、電柱オブジェクト１２２Ｂが表す電柱までの距離を算出する例を示す図である。
　カメラ画像１３１における電柱オブジェクト１２２Ａの太さＡａｖｅが示されている。また、カメラ画像１３１における電柱オブジェクト１２２Ｂの太さＢａｖｅが示されている。カメラ画像１３１とセグメンテーション画像は同じ画素数であるため、カメラ画像１３１をセグメンテーション画像として考えても問題ない。

　光源位置１３２に対し、カメラ１２の焦点距離をF（単位は画素）とする。電柱オブジェクト１２２Ａが表す電柱１３３Ａ（ここでは説明のため電柱の太さのみを示している）までの実距離（ｍ）をＺとする。距離Ｚは、例えば電柱オブジェクト１２２Ａのデプス値の平均により算出できる。このとき、実空間における電柱１３３Ａの太さＸ（ｍ）は、以下の式で算出される。

　次に電柱オブジェクト１２２Ｂが表す電柱１３３Ｂまでの距離をＤとする。実空間における電柱１３３Ｂの太さは、電柱１３３Ａと同じＸである。よって、電柱１３３Ｂまでの距離は、以下の式で算出される。

　以上により、電柱１３３Ｂまでの距離（ｍ）が算出された。実空間の距離とデプス値とが１対１に対応するため、これにより、電柱オブジェクト１２２Ｂのデプス値が特定される。

　次に、電線オブジェクト１２３の任意の箇所のデプス値を推定する例を説明する。
　図１８は、電線オブジェクト１２３の箇所１３４のデプス値を推定する例を示す図である。電線オブジェクト１２３は電柱オブジェクト１２２Ａと電柱オブジェクト１２２Ｂの間に架けられている。よって、電柱オブジェクト１２２Ａと電線オブジェクト１２３の結合部１３５Ａから箇所１３４までの画素数Ｐａと、電柱オブジェクト１２２Ｂと電線オブジェクト１２３の結合部１３５Ｂから箇所１３４までの画素数Ｐｂとの比を用いて、箇所１３４までのデプスを算出できる。例えば、電柱オブジェクト１２２Ａのデプス値をＤａ、電柱オブジェクト１２２ｂまでのデプス値をＤｂとすると、箇所１３４のデプス値Ｄｃは、以下の式で表される。なお、電線オブジェクトと電柱オブジェクトとの結合部を特定できない場合は、電柱オブジェクトの最上部を結合部として用いてもよい。

［その他の推定例］
　前述した図１４の説明では、空を飛ぶ鳥のオブジェクトのデプス値は不明として扱ったが過去のカメラ画像のフレームで鳥オブジェクトのデプス値が算出された場合、鳥オブジェクトをトラッキングすることにより、鳥オブジェクトのデプス値を算出してもよい。例えば過去にデプス値が算出された鳥オブジェクトの大きさと、今回の鳥オブジェクトの大きさとを比較する。大きさの比率と、過去に算出したデプス値とから、今回の鳥オブジェクトのデプス値を算出する。

　図１９Ａ及び図１９Ｂは、本実施形態に係る情報処理装置１の制御部１３における動作の一例を示すフローチャートである。ドローン１０１はカメラ１２として１つ又は複数の可動式カメラを備えているとする。可動式カメラは位置及び姿勢の少なくとも一方を変更可能なカメラである。またデプスセンサ１１としてＬｉＤＡＲ又はレーダ等のステレオカメラでないデプスセンサＡ、Ｂの２つを用いる場合を想定する。ステレオカメラを用いる場合は、前述した図９で説明したデプス画像取得部で行う視差推定の処理を追加的に行えばよい。ドローン１０１の進行方向とは別の予測したい経路（予測対象の経路）の方向にカメラ１２を向けて障害物の検出を行う場合を想定する。

　制御部１３は、予測対象の経路に死角領域が含まれるかを判断する（Ｓ１０１）。すなわちデプスセンサ１１で検出できない領域が経路に含まれているかを判断する。死角領域が含まれない場合、本処理を終了する。死角領域が含まれる場合、可動式カメラの内の１つを任意に選択する（Ｓ１０２）。

　選択した可動式カメラが障害物の検出を行いたい方向（予測対象の経路の方向）を向いているかを判断する（Ｓ１０３）。当該方向を向いている場合は、ステップＳ１０７に進む。向いていない場合は、可動式カメラを障害物の検出の用途に占有できるかを判断する（Ｓ１０４）。例えばドローン１０１が監視目的で飛行しており監視目的用の可動式カメラを全て使用中の場合は、占有できないと判断する。占有できない場合は、他に可動式カメラが存在するかを判断し、存在しない場合は、本処理を終了する。存在する場合は、ステップＳ１０２に戻る。可動式カメラを占有できる場合は、ステップＳ１０６に進む。

　ステップＳ１０６では可動式カメラの撮像方向を予測対象の経路の方向に向くように可動式カメラを制御する。制御部１０３は、可動式カメラで撮像を行い（Ｓ１０７）、撮像により取得した画像（輝度画像）を取得する。取得した輝度画像を補正し（Ｓ１０８）、セマンティックセグメンテーションを行う（Ｓ１０９）。

　制御部１３は、可動式カメラと検出範囲の一部が重なるデプスセンサＡを用いて撮像を行い、デプス値を含むデプス画像を取得する（Ｓ１１０）。取得したデプス画像に歪み補正等の補正を行う（Ｓ１１１）。なお、デプス画像の補正処理を省略する構成も可能である。デプスセンサＡのデプス画像を可動式カメラの座標系に変換する（Ｓ１１２）。

　制御部１３は、可動式カメラと検出範囲の一部が重なるデプスセンサＢを用いて撮像を行い、デプス値を含むデプス画像を取得する（Ｓ１１３）、画像（デプス画像）を取得する。取得したデプス画像を補正する（Ｓ１１４）。なお、デプス画像の補正を行う処理を省略する構成も可能である。デプスセンサＢのデプス画像を可動式カメラの座標系に変換する（Ｓ１１５）。

　セグメンテーション画像と、デプスセンサＡの変換後のデプス画像と、デプスセンサＢの変換後のデプス画像とを用いて、死角領域のデプス値を推定する（Ｓ１１６）。推定されたデプス値と、デプスセンサＡ、Ｂのデプス画像を用いて、障害物との衝突判定を行う（Ｓ１１７）。制御部１３は、判定結果に基づきドローン１０１の飛行を制御する（Ｓ１１８）。

　以上、本実施形態によれば、デプスセンサの死角領域における障害物検出が可能となり、死角領域にドローンを進ませたときに、障害物の手前での自動停止や、障害物の回避を可能とする。また障害物を回避する場合も、死角領域を通りつつ障害物を回避する経路を決定できる。これにより、ドローンの自律移動時やＲＴＨ（Return to Home）時に、死角領域を避けて遠回りすることで非効率な飛行となる事象を低減できる。

　（変形例）
　上述の実施形態ではドローン１０１が死角領域のデプス値を推定したが、基地局２０１がドローン１０１からセグメンテーション画像と、デプス画像とを取得し、死角領域のデプス値を推定してもよい。基地局２０１は、推定したデプス値をドローン１０１に送信する。また基地局２０１が推定したデプス値に基づき障害物との衝突判定を行い、判定結果に応じてドローン１０１の飛行を制御してもよい。例えば死角領域に障害物が検出された場合、障害物を回避する新たな経路を決定し、決定した経路の指示データをドローン１０１に送信する。

（ハードウェア構成）
　図２０に、ドローン１０１又は基地局２０１のハードウェア構成の一例を示す。ドローン１０１が備える情報処理装置１又は基地局２０１は、コンピュータ装置３００により構成される。コンピュータ装置３００は、ＣＰＵ３０１と、入力インタフェース３０２と、表示装置３０３と、通信装置３０４と、主記憶装置３０５と、外部記憶装置３０６とを備え、これらはバス３０７により相互に接続されている。これらの要素のうちの少なくとも１つを、情報処理装置１又は基地局２０１が備えていなくてもよい。

　ＣＰＵ（中央演算装置）３０１は、主記憶装置３０５上で、コンピュータプログラムを実行する。コンピュータプログラムは、情報処理装置１又は基地局２０１の上述の各機能構成を実現するプログラムのことである。コンピュータプログラムは、１つのプログラムではなく、複数のプログラムやスクリプトの組み合わせにより実現されていてもよい。ＣＰＵ３０１が、コンピュータプログラムを実行することにより、各機能構成は実現される。

　入力インタフェース３０２は、キーボード、マウス、およびタッチパネルなどの入力装置からの操作信号を、情報処理装置１又は基地局２０１に入力するための回路である。

　表示装置３０３は、情報処理装置１又は基地局２０１に記憶されているデータ又は情報処理装置１又は基地局２０１で算出されたデータを表示する。表示装置３０３は、例えば、ＬＣＤ（液晶ディスプレイ）、有機エレクトロルミネッセンスディスプレイ、ＣＲＴ（ブラウン管）、またはＰＤＰ（プラズマディスプレイ）であるが、これに限られない。

　通信装置３０４は、情報処理装置１又は基地局２０１が外部装置と無線または有線で通信するための回路である。情報処理装置１又は基地局２０１で用いるデータを、通信装置３０４を介して外部装置から入力することができる。通信装置３０４はアンテナを含む。外部装置から入力したデータを、主記憶装置３０５や外部記憶装置３０６に格納することができる。

　主記憶装置３０５は、コンピュータプログラム、コンピュータプログラムの実行に必要なデータ、およびコンピュータプログラムの実行により生成されたデータなどを記憶する。コンピュータプログラムは、主記憶装置３０５上で展開され、実行される。主記憶装置３０５は、例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭであるが、これに限られない。図２又は図３の記憶部は、主記憶装置３０５上に構築されてもよい。

　外部記憶装置３０６は、コンピュータプログラム、コンピュータプログラムの実行に必要なデータ、およびコンピュータプログラムの実行により生成されたデータなどを記憶する。これらのコンピュータプログラムやデータは、コンピュータプログラムの実行の際に、主記憶装置３０５に読み出される。外部記憶装置３０６は、例えば、ハードディスク、光ディスク、フラッシュメモリ、及び磁気テープであるが、これに限られない。図２又は図３の記憶部は、外部記憶装置３０６上に構築されてもよい。

　なお、コンピュータプログラムは、コンピュータ装置３００に予めインストールされていてもよいし、ＣＤ－ＲＯＭなどの記憶媒体に記憶されていてもよい。また、コンピュータプログラムは、インターネット上にアップロードされていてもよい。

　また、コンピュータ装置３００は単一の装置により構成されてもよいし、相互に接続された複数のコンピュータ装置からなるシステムとして構成されてもよい。

　なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

　また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。

　なお、本開示は以下のような構成を取ることもできる。
［項目１］
　空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定する
　情報処理方法。
［項目２］
　デプス値を測定する第１センサ装置から前記第１領域のデプス画像を取得し、
　輝度値を測定する第２センサ装置から前記第２領域の輝度画像を取得する
　項目１に記載の情報処理方法。
［項目３］
　前記デプス画像を前記第１センサ装置の座標系から前記第２センサ装置の座標系に変換し、
　前記変換後の前記デプス画像を前記輝度画像に位置合わせして重畳し、前記輝度画像のうち前記デプス画像に重ならない領域の少なくとも一部を前記第３領域とする
　項目２に記載の情報処理方法。
［項目４］
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前前記デプス画像と重なる第１部分と、前記デプス画像と重ならない第２部分とを含むセグメントを特定し、特定した前記セグメントの前記前記第１部分のデプス値に基づいて、特定した前記セグメントの前記第２部分のデプス値を推定する
　項目３に記載の情報処理方法。
［項目５］
　前記第２領域の輝度画像を複数のセグメントに分割し、
　少なくとも１つの前記セグメントにおいて前記デプス画像と重なる部分のデプス値を特定し、特定した前記デプス値が表す位置を含む３次元平面を推定し、推定した前記３次元平面に基づき、前記セグメントの前記デプス画像と重ならない部分のデプス値を推定する　項目３又は４に記載の情報処理方法。
［項目６］
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記デプス画像と重ならない第１セグメントの少なくとも一部のデプス値を、前記デプス画像と重なる第２セグメントの前記第１セグメントと接する部分のデプス値に基づき推定する
　項目３～５のいずれか一項に記載の情報処理方法。
［項目７］
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記複数のセグメントのうち予め定めた種類のセグメントのデプス値を所定値に設定する
　項目３～６のいずれか一項に記載の情報処理方法。
［項目８］
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記複数のセグメントのうち予め定めた種類のセグメントに包含されるセグメントのデプス値を不明とする
　項目３～７のいずれか一項に記載の情報処理方法。
［項目９］
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記デプス画像と重なる第１セグメントの前記デプス画像と重なる部分のデプス値と、　前記第１セグメントのサイズと、
　前記デプス画像と重ならない前記第２セグメントのサイズと、
　前記第１セグメントが表す対象のサイズと、
　前記第２セグメントが表す対象のサイズと
　に基づいて、前記第２セグメントの少なくとも一部のデプス値を推定する
　項目３～８のいずれか一項に記載の情報処理方法。
［項目１０］
　前記第２領域の輝度画像を複数のセグメントに分割し、
　前記デプス画像と重なる第１セグメントが表す第１対象までの距離と、前記デプス画像と重なる第２セグメントが表す第２対象までの距離とに基づき、前記デプス画像と重ならない第３セグメントの少なくとも一部のデプス値を推定する
　項目３～９のいずれか一項に記載の情報処理方法。
［項目１１］
　前記第３領域のデプス値に基づいて、前記空間を移動する移動体を制御する
　項目１～１０のいずれか一項に記載の情報処理方法。
［項目１２］
　デプス値を測定する第１センサ装置から前記第１領域のデプス画像を取得し、
　輝度値を測定する第２センサ装置から前記第２領域の輝度画像を取得し、
　前記第２センサ装置の撮像方向を前記移動体の移動方向に向ける
　項目１１に記載の情報処理方法。
［項目１３］
　複数の前記第２センサ装置のうち他の目的に使用中でない第２センサ装置を選択し、選択した第２センサ装置を用いる
　項目１２に記載の情報処理方法。
［項目１４］
　前記第１センサ装置の検出範囲は、前記第２センサ装置の検出範囲と一部が重なる
　項目２に記載の情報処理方法。
［項目１５］
　前記第３領域は、前記移動体の死角領域である
　項目１～１４のいずれか一項に記載の情報処理方法。
［項目１６］
　前記移動体は、飛行体、自動車又はロボットである
　項目１～１５のいずれか一項に記載の情報処理方法。
［項目１７］
　空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するデプス推定部と、
　前記第３領域のデプス値に基づいて、前記空間を移動する移動体を制御する制御部と、　を備えた情報処理装置。
［項目１７］
　空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するステップと、
　前記第３領域のデプス値に基づいて、前記空間を移動する移動体を制御するステップと　をコンピュータに実行させるためのコンピュータプログラム。

１：情報処理装置
１０１、１０１Ａ～１０１Ｃ：ドローン、
１０：アンテナ、１１：デプスセンサ（第１センサ装置）、１２：カメラ（第２センサ装置）、１４Ａ～１４Ｄ：ロータ、１５Ａ～１５Ｄ：モータ、１３：制御部、１４：通信部、１６：センサ部、１７：位置検出部、１８：バッテリ、１９：記憶部、
７１：画像補正処理部、７２：セグメンテーション部、７３：カメラパラメータ情報、７４：学習済みニューラルネットワーク、７５：デプス推定部、７６：衝突判定部、８１Ａ、８２Ｂ：画像補正処理部、８２Ａ、８２Ｂ：デプス画像取得部、８３Ａ：ステレオカメラＡのパラメータ情報、８３Ｂ：ステレオカメラＢのパラメータ情報、８４Ａ、８４Ｂ：座標変換部、
２０１：基地局、２０２：アンテナ、２０３：通信部、２０４：制御部、２０５：記憶部、
３００：コンピュータ装置、３０１：ＣＰＵ、３０２：入力インタフェース、３０３：表示装置、３０４：通信装置、３０５：主記憶装置、３０６：外部記憶装置、３０７：バス

Claims (18)

1. 　空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定する
   　情報処理方法。
2. 　デプス値を測定する第１センサ装置から前記第１領域のデプス画像を取得し、
   　輝度値を測定する第２センサ装置から前記第２領域の輝度画像を取得する
   　請求項１に記載の情報処理方法。
3. 　前記デプス画像を前記第１センサ装置の座標系から前記第２センサ装置の座標系に変換し、
   　前記変換後の前記デプス画像を前記輝度画像に位置合わせして重畳し、前記輝度画像のうち前記デプス画像に重ならない領域の少なくとも一部を前記第３領域とする
   　請求項２に記載の情報処理方法。
4. 　前記第２領域の輝度画像を複数のセグメントに分割し、
   　前前記デプス画像と重なる第１部分と、前記デプス画像と重ならない第２部分とを含むセグメントを特定し、特定した前記セグメントの前記前記第１部分のデプス値に基づいて、特定した前記セグメントの前記第２部分のデプス値を推定する
   　請求項３に記載の情報処理方法。
5. 　前記第２領域の輝度画像を複数のセグメントに分割し、
   　少なくとも１つの前記セグメントにおいて前記デプス画像と重なる部分のデプス値を特定し、特定した前記デプス値が表す位置を含む３次元平面を推定し、推定した前記３次元平面に基づき、前記セグメントの前記デプス画像と重ならない部分のデプス値を推定する　請求項３に記載の情報処理方法。
6. 　前記第２領域の輝度画像を複数のセグメントに分割し、
   　前記デプス画像と重ならない第１セグメントの少なくとも一部のデプス値を、前記デプス画像と重なる第２セグメントの前記第１セグメントと接する部分のデプス値に基づき推定する
   　請求項３に記載の情報処理方法。
7. 　前記第２領域の輝度画像を複数のセグメントに分割し、
   　前記複数のセグメントのうち予め定めた種類のセグメントのデプス値を所定値に設定する
   　請求項３に記載の情報処理方法。
8. 　前記第２領域の輝度画像を複数のセグメントに分割し、
   　前記複数のセグメントのうち予め定めた種類のセグメントに包含されるセグメントのデプス値を不明とする
   　請求項３に記載の情報処理方法。
9. 　前記第２領域の輝度画像を複数のセグメントに分割し、
   　前記デプス画像と重なる第１セグメントの前記デプス画像と重なる部分のデプス値と、　前記第１セグメントのサイズと、
   　前記デプス画像と重ならない前記第２セグメントのサイズと、
   　前記第１セグメントが表す対象のサイズと、
   　前記第２セグメントが表す対象のサイズと
   　に基づいて、前記第２セグメントの少なくとも一部のデプス値を推定する
   　請求項３に記載の情報処理方法。
10. 　前記第２領域の輝度画像を複数のセグメントに分割し、
    　前記デプス画像と重なる第１セグメントが表す第１対象までの距離と、前記デプス画像と重なる第２セグメントが表す第２対象までの距離とに基づき、前記デプス画像と重ならない第３セグメントの少なくとも一部のデプス値を推定する
    　請求項３に記載の情報処理方法。
11. 　前記第３領域のデプス値に基づいて、前記空間を移動する移動体を制御する
    　請求項１に記載の情報処理方法。
12. 　デプス値を測定する第１センサ装置から前記第１領域のデプス画像を取得し、
    　輝度値を測定する第２センサ装置から前記第２領域の輝度画像を取得し、
    　前記第２センサ装置の撮像方向を前記移動体の移動方向に向ける
    　請求項１１に記載の情報処理方法。
13. 　複数の前記第２センサ装置のうち他の目的に使用中でない第２センサ装置を選択し、選択した第２センサ装置を用いる
    　請求項１２に記載の情報処理方法。
14. 　前記第１センサ装置の検出範囲は、前記第２センサ装置の検出範囲と一部が重なる
    　請求項２に記載の情報処理方法。
15. 　前記第３領域は、前記移動体の死角領域である
    　請求項１に記載の情報処理方法。
16. 　前記移動体は、飛行体、自動車又はロボットである
    　請求項１に記載の情報処理方法。
17. 　空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するデプス推定部
    　を備えた情報処理装置。
18. 　空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するステップ
    　をコンピュータに実行させるためのコンピュータプログラム。

Images