JP7476882B2

JP7476882B2 - 移動体およびその制御方法、並びにプログラム

Info

Publication number: JP7476882B2
Application number: JP2021509022A
Authority: JP
Inventors: 政彦豊吉; 航平漆戸; 駿李; 竜太佐藤; 真一郎阿部; 琢人元山; 正樹半田
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2019-03-25
Filing date: 2020-03-12
Publication date: 2024-05-01
Anticipated expiration: 2040-03-12
Also published as: WO2020195876A1; JPWO2020195876A1; US20220153411A1; CN113678082A

Description

本技術は、移動体およびその制御方法、並びにプログラムに関し、特に、移動において障害物となり得る線状の物体を正確に検出して回避することができるようにした移動体およびその制御方法、並びにプログラムに関する。

ドローンと呼ばれるような自律飛行する移動体は、例えば、ステレオカメラにより撮像された画像から、機体周辺の物体の位置を認識し、障害物を回避しながら自律的に移動する。

しかしながら、ステレオカメラによる物体認識では、ベースラインに平行な直線の方向にテクスチャの変化が少ない物体は、原理的に物体認識することが難しい。例えば、画像の水平方向に伸びる電線やアンテナなど、細い物体の検出が難しい。なお、ベースラインとは、ステレオカメラを構成する２つのカメラの光学中心を結ぶ線分である。

特許文献１には、電線を検出して飛行する無人飛行体として、電線を流れる電流の大きさに基づいて電線と一定の距離を保ちながら飛行し、電線を撮像する技術が開示されている。

特開２０１８－１１４８０７号公報

しかしながら、特許文献１の技術では、送電中の電線にしか対応できず、また、電線に沿った飛行しかできない。

本技術は、このような状況に鑑みてなされたものであり、移動において障害物となり得る線状の物体を正確に検出して回避することができるようにするものである。

本技術の一側面の移動体は、ステレオカメラの少なくとも一方のカメラで撮像された撮像画像内の物体の線分を検出する線分検出部と、前記物体を回避する場合、前記線分に直交する方向へ、前記ステレオカメラが固定された機体を移動させ、前記線分に直交する方向への前記機体の移動では前記物体を回避できない場合、前記ステレオカメラまたは前記機体を、ヨー軸方向に回転させる制御部とを備える。

本技術の一側面の移動体の制御方法は、移動体が、ステレオカメラの少なくとも一方のカメラで撮像された撮像画像内の物体の線分を検出し、前記物体を回避する場合、前記線分に直交する方向へ、前記ステレオカメラが固定された機体を移動させ、前記線分に直交する方向への前記機体の移動では前記物体を回避できない場合、前記ステレオカメラまたは前記機体を、ヨー軸方向に回転させる。

本技術の一側面のプログラムは、コンピュータに、ステレオカメラの少なくとも一方のカメラで撮像された撮像画像内の物体の線分を検出することと、前記物体を回避する場合、前記線分に直交する方向へ、前記ステレオカメラが固定された機体を移動させ、前記線分に直交する方向への前記機体の移動では前記物体を回避できない場合、前記ステレオカメラまたは前記機体を、ヨー軸方向に回転させることとを含む処理を実行させるためのものである。

本技術の一側面においては、ステレオカメラの少なくとも一方のカメラで撮像された撮像画像内の物体の線分が検出され、前記物体を回避する場合、前記線分に直交する方向へ、前記ステレオカメラが固定された機体が移動され、前記線分に直交する方向への前記機体の移動では前記物体を回避できない場合、前記ステレオカメラまたは前記機体が、ヨー軸方向に回転される。

なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術を適用した移動体であるドローンの平面図である。ステレオカメラによる電線等の検出を説明する図である。図１のドローンの飛行制御に関するブロック図である。視差マップと占有格子地図の例を示す図である。角度Rの計算方法を説明する図である。飛行制御処理を説明するフローチャートである。図６のステップＳ１７の障害物回避行動処理の詳細を説明するフローチャートである。電線の回避を説明する図である。本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．ドローンの平面図
２．ステレオカメラによる電線等の検出
３．ドローンのブロック図
４．飛行制御処理のフローチャート
５．ユースケース例
６．カメラの変形例
７．ドローン以外の適用例
８．コンピュータ構成例

＜１．ドローンの平面図＞
図１は、本技術を適用した移動体であるドローンの平面図である。

図１のドローン１は、４つのロータ（回転翼）１１をもつクワッド型の飛行移動体である。

なお、本実施の形態では、ドローン１が、４つのロータ１１をもつクワッド型の飛行移動体であるとするが、これに限らず、例えば、６個や８個のロータ１１を持つマルチコプタでもよい。

ドローン１の本体部１２には、複数のカメラ１３が配置されている。より具体的には、本体部１２の外周部の側面に、８個のカメラ１３A乃至１３Hが配置され、本体部１２の底面に、１個のカメラ１４が配置されている。側面に設けられたカメラ１３A乃至１３Hそれぞれは、ドローン１の水平方向を撮像中心として、上下左右に所定の視野角の範囲内に写る被写体を撮像する。底面に設けられたカメラ１４は、地面方向となる下方を撮像中心として、上下左右に所定の視野角の範囲内に写る被写体を撮像する。カメラ１３A乃至１３Hのそれぞれを特に区別しない場合、単に、カメラ１３と称する。カメラ１３の個数および配置は、図１の例に限られず、任意に決定することができる。

側面に設けられた８個のカメラ１３のうち、光軸が平行となるように配置された２つのカメラ１３のペアによりステレオカメラが構成される。具体的には、カメラ１３Aと１３Bによりステレオカメラが構成され、カメラ１３Cと１３Dによりステレオカメラが構成され、カメラ１３Eと１３Fによりステレオカメラが構成され、カメラ１３Gと１３Hによりステレオカメラが構成されている。ステレオカメラを構成する２つのカメラ１３でそれぞれ撮像された２枚の撮像画像（対の撮像画像）から、三角測量の原理により、ドローン１の周囲に存在する物体と、その物体までの距離が認識される。

図１において矢印で示される右方向が、ドローン１の進行方向とすると、カメラ１３Aおよび１３Bで構成されるステレオカメラが進行方向を撮像して、進行方向の障害物等の状況を検出し、その他のカメラ１３C乃至１３Hは、ドローン１の周囲全体の状況を検出するための画像を撮像する。

＜２．ステレオカメラによる電線等の検出＞
ドローン１は、ステレオカメラで撮像された２枚の撮像画像に基づいて、進行方向に障害物として存在する物体を認識し、障害物を回避しながら自律飛行し、目的地まで移動する。目的地は、図示せぬリモート端末から無線通信等により受信される。

ステレオカメラによる物体認識では、ベースラインに平行な直線の方向にテクスチャの変化が少ない物体、例えば、図２に示される電線１５のような水平方向に長い物体の検出が難しい。なお、ベースラインとは、ステレオカメラを構成する２つのカメラ１３の光学中心を結ぶ線分である。

図２は、ステレオカメラで電線１５を撮像した様子を示している。

撮像画像L1（以下、左カメラ撮像画像L1と称する。）は、ステレオカメラの一方である左側カメラで撮像された画像であり、撮像画像R1（以下、右カメラ撮像画像R1と称する。）は、他方の右側カメラで撮像された画像である。

ステレオカメラで撮像された左カメラ撮像画像L1と右カメラ撮像画像R1とから、所定の物体を検出する場合、初めに、２枚の撮像画像に写る物体の対応点を検出する処理が行われる。電線１５を検出する場合には、例えば、左カメラ撮像画像L1の電線１５の所定の点P1Lに対応する右カメラ撮像画像R1上の点である対応点P1Rを探索する必要がある。しかしながら、右カメラ撮像画像R1の電線１５は、点P1Lに対応する右カメラ撮像画像R1の対応点P1Rを通りベースラインに平行な直線の方向にテクスチャの変化が少ないため、右カメラ撮像画像R1の対応点P1Rを特定することができない。なお、図２において、画像内の水平方向の破線は、説明のための補助線である。

そこで、ドローン１には、図２の電線１５のような、ベースラインに平行な直線の方向にテクスチャの変化が少ない物体を検出可能とする制御が搭載されている。

具体的には、ドローン１自体を所定の角度で回転させてステレオカメラで撮像することにより、ベースラインに平行な直線上の対応点の探索を可能とする。

例えば、図２に示した電線１５を撮像するような状況において、機体を回転させてステレオカメラで撮像すると、図２の左カメラ撮像画像L1’と右カメラ撮像画像R1’のように、電線１５が所定の角度θだけ傾いた画像を取得することができる。この左カメラ撮像画像L1’と右カメラ撮像画像R1’を用いれば、電線１５がベースラインに平行な直線の方向にテクスチャの変化が少ない画像とはならないため、電線１５を正確に検出することができる。

＜３．ドローンのブロック図＞
図３は、ドローン１の飛行制御に関するブロック図である。

ドローン１は、コントローラ３１、RTK-GPS受信部３２、および、機体駆動部３３を少なくとも備える。

コントローラ３１は、カメラ１３および１４で撮像された画像と、RTK-GPS受信部３２で検出された位置情報、速度情報、および、時刻情報などに基づいて、ドローン１の現在地と周囲の状況とを認識し、ドローン１の飛行（移動）を制御する。コントローラ３１は、例えば、CPU（Central Processing Unit），ROM（Read Only Memory），RAM（Random Access Memory）、またはマイクロプロセッサなどで構成され、ROM等の記憶部に記憶されたプログラムが実行されることで、ドローン１の制御を実行する。

RTK-GPS受信部３２は、GNSS（Global Navigation Satellite System）の一つであるGPS衛星からの電波と、地上に設置している基準局からの電波の両方を受信することで、数cm単位の精度で自身の現在位置を検出する（測位する）。なお、GNSSは、GPSに限らず、GLONASS（ロシア）、BeiDou（中国）、Galileo（EU）、準天頂衛星みちびき（日本）等の測位衛星の測位信号を利用したり、併用してもよい。RTK-GPS受信部３２は、ドローン１の位置情報と速度情報、時刻情報などを自己位置推定部４３に供給する。

機体駆動部３３は、４つのロータ１１と、各ロータ１１を駆動するモータ５１とを備える。機体駆動部３３は、コントローラ３１からの制御にしたがい、４つのロータ１１の回転数を変化させることで、機体を移動させたり、機体の姿勢を変化させる。

コントローラ３１は、物体認識部４１、ステレオ測距部４２、自己位置推定部４３、線分検出部４４、回転角計算部４５、占有格子構築部４６、および、行動制御部４７を有する。

物体認識部４１は、複数のカメラ１３のうち、進行方向を撮像する２つのステレオカメラ（例えば、カメラ１３Aおよび１３B）の一方のカメラ１３（単眼カメラ）で撮像された撮像画像に基づいて、進行方向の物体を検出（認識）する。物体認識部４１は、撮像画像に含まれる物体のうち、特に、電線、アンテナ、電柱など、細長い線状の物体を検出し、検出した物体の位置および大きさなど、物体を特定する情報（物体特定情報）を線分検出部４４に供給する。画像から任意の物体を検出するアルゴリズムは、公知の手法を採用することができるが、電線やアンテナなどの細長い線状の物体の検出は、例えば、「Gubbi, Jayavardhana, Ashley Varghese, and P. Balamuralidhar. "A new deep learning architecture for detection of long linear infrastructure." Machine Vision Applications (MVA), 2017 Fifteenth IAPR International Conference on. IEEE, 2017」に開示された技術を採用することができる。なお、本実施の形態では、物体認識部４１が、単眼カメラで撮像された撮像画像に基づいて、細長い線状の物体を検出することとするが、ステレオカメラで撮像された撮像画像に基づいて、細長い線状の物体を検出してもよい。

ステレオ測距部４２は、ステレオカメラによる測距を行う。具体的には、ステレオ測距部４２は、光軸が平行となるように配置された２つのカメラ１３で撮像された２枚の撮像画像（対の撮像画像）から視差マップを生成し、占有格子構築部４６に供給する。視差マップは、対の撮像画像の一方の撮像画像に対し、その撮像画像に写る物体の奥行き方向の距離に相当する視差量を撮像画像の画素単位で付加した画像である。視差マップは、撮像画像に対応する奥行き情報を示す画像であり、デプス画像とも呼ばれる。

自己位置推定部４３は、RTK-GPS受信部３２から供給されるドローン１の位置情報や速度情報と、複数のカメラ１３および１４から供給される撮像画像に基づいて、ドローン１の現在の自己位置および姿勢を推定する。例えば、自己位置推定部４３は、測位衛星や基地局からの電波を受信可能な場合には、RTK-GPS受信部３２で測定された位置情報に基づき、自己位置を推定し、屋内やトンネルなど、電波が受信できない場所では、複数のカメラ１３および１４から供給される撮像画像の特徴点を検出し、Visual-SLAM（Simultaneous Localization and Mapping）により、自己位置および姿勢を推定する。自己位置推定部４３は、検出した自己位置および姿勢を、占有格子構築部４６および行動制御部４７に供給する。

なお、ドローン１は、ジャイロセンサ、加速度センサ、磁気センサ、圧力センサ等の慣性計測センサをさらに備えてもよく、その場合には、自己位置推定部４３は、それらのセンサ情報も用いて、自己位置および姿勢を高精度に推定することができる。

線分検出部４４は、物体認識部４１で検出された細長い線状の物体を、Hough変換を用いて線分に変換し、細長い線状の物体を線分として検出する。検出された線分の情報は、回転角計算部４５と行動制御部４７に供給される。

回転角計算部４５は、線分検出部４４で検出された線分の角度θを計算し、計算結果を行動制御部４７に供給する。例えば、線分検出部４４で検出された線分が、図２の電線１５であるとすると、回転角計算部４５は、図２の電線１５の画像上の回転角θを計算し、行動制御部４７に供給する。

占有格子構築部４６は、ステレオ測距部４２から供給される視差マップの結果を時間方向に畳み込むことにより、ドローン１の周囲の３次元空間上の障害物の有無を表す占有格子地図（occupancy grid）を構築する。なお、占有格子構築部４６には、自己位置推定部４３によって推定された、ドローン１の位置（自己位置）および姿勢も供給される。

現在時刻から所定時間前までの間に、インデックスｐ＝1,2,3,・・・,PのP枚の撮像画像が、ステレオカメラを構成する２つのカメラ１３でそれぞれ得られた場合に、インデックスｐの撮像画像に対応するデプス画像をｚ_pで表し、インデックスｐの撮像画像が得られたときのステレオカメラの位置と姿勢をｇ_pで表すとして、観測結果D＝｛ｚ_1:P，ｇ_1:P｝が与えられたときの、ドローン１の周囲の３次元空間マップMの事後確率P(M|D)は、以下の式（１）で計算することができる。なお、ｚ_1:P＝｛ｚ_1,ｚ_2,・・・,ｚ_P｝、ｇ_1:P＝｛ｇ_1,ｇ_2,・・・,ｇ_P｝である。ステレオカメラの光学中心の位置および姿勢は、ドローン１自身の位置および姿勢を基準に求めることができる。

式（１）のP（ｍ_p）は、インデックスｐの撮像画像における事前確率を表し、P（ｍ_p|ｚ_p，ｇ_p）は、センサのノイズ特性を表し、センサがステレオカメラの場合は、例えば、距離分解能による誤差に相当する。P（M）は、３次元空間マップMの事前確率を表す。

図４のAは、ステレオ測距部４２から供給される視差マップの例の例を示している。図４のAの視差マップでは、各画素の距離情報を８ビットのグレイ値で表しており、輝度が明るい（白い）ほど、距離が近いことを表している。

図４のBは、占有格子構築部４６によって構築された占有格子地図の例を示している。

図３に戻り、行動制御部４７は、自己位置推定部４３から供給される自己位置および姿勢と、占有格子構築部４６で構築された占有格子地図とを用いて、ドローン１の現在位置から目的地までの移動経路を設定し、設定した移動経路にしたがって、機体駆動部３３の各モータ５１を制御する。目的地は、リモート端末から送信され、不図示の通信部で受信され、行動制御部４７に入力される。

また、行動制御部４７は、図２の電線１５のような細長い線状の障害物の線分が線分検出部４４から供給された場合、機体をヨー（yaw）方向に回転させるようにモータ５１を制御する。行動制御部４７は、回転角計算部４５から供給される線分の角度θが、角度Rとなるまで機体をヨー方向に回転させる。

ここで、角度Rは次のようにして決定される。図５に示されるように、カメラ１３の水平方向の解像度をwidth[pixel]、ステレオカメラによる２枚の撮像画像の対応点を探索するブロックマッチングを行う際のブロックの水平方向および垂直方向の画素数をB[pixel]とすると、角度Rは、次式（２）で計算される。

即ち、角度Rは、撮像画像において、画像中心部の所定の物体が、ブロックマッチングのブロックサイズに相当する量だけ垂直方向に移動する角度である。ドローン１は、水平方向に移動する場合、進行方向に対して前傾姿勢で移動するが、前傾姿勢において機体をヨー方向に回転させると、撮像画像上の物体（被写体）を、図２の左カメラ撮像画像L1’および右カメラ撮像画像R1’のように回転することができる。

＜４．飛行制御処理のフローチャート＞
次に、図６のフローチャートを参照して、ドローン１が目的地まで飛行を行う際の飛行制御処理について説明する。この処理は、例えば、目的地の情報がリモート端末から送信され、飛行が開始されたとき開始される。

初めに、ステップＳ１１において、自己位置推定部４３は、自己位置推定を行う。すなわち、RTK-GPS受信部３２からの位置情報や速度情報と、複数のカメラ１３およびカメラ１４から供給された撮像画像に基づいて、ドローン１の現在位置および姿勢が推定（決定）され、行動制御部４７に供給される。

ステップＳ１２において、行動制御部４７は、ドローン１の現在位置に基づいて、目的地に到着したかを判定する。ステップＳ１２で、ドローン１が目的地に到着したと判定された場合、飛行制御処理は終了する。

一方、ステップＳ１２で、ドローン１がまだ目的地に到着していないと判定された場合、処理はステップＳ１３に進み、行動制御部４７は、最終的な目的地までの移動経路のうちの通過点に相当する、現在地から所定の距離内の局所的な目的地（以下、局所目的地と称する。）を設定し、局所目的地までの移動経路を決定して、移動を開始する。なお、現在地から所定の距離内に最終的な目的地が存在する場合には、その目的地が局所目的地となる。

局所目的地までの移動経路は、占有格子構築部４６からの３次元の占有格子地図を入力として、ドローン１がある空間を通過する際のコストを計算することで決定される。コストは、ドローン１の通過しにくさを表し、障害物に近いほど、コストが高く設定される。占有格子地図に、電線や建物といったセマンティック（Semantic）な情報が付与されていた場合、そのセマンティックな情報に応じて、コストを変化させることができる。例えば、電線と認識された領域の付近や、人などの動く物体には高いコストが設定される。これにより、コストが高い障害物に対して、ドローン１が距離を取るような移動経路が決定される。移動経路の探索は、A*アルゴリズム、D*アルゴリズム、RRT(Rapidly Exploring Random Tree)、DWA（Dynamic Window Approach）等の公知の探索アルゴリズムを用いることができる。

ステップＳ１４において、RTK-GPS受信部３２は、GPS位置情報を取得する。より具体的には、RTK-GPS受信部３２が、GPS衛星からの電波と、地上に設置している基準局からの電波の両方を受信することで、自己位置を検出する（測位する）。

ステップＳ１５において、複数のカメラ１３が撮像を行う。特に、進行方向を撮像方向とする２つの隣接するカメラ１３が、進行方向の撮像を行い、他のカメラ１３が、進行方向以外の周囲の撮像を行う。

ステップＳ１４およびＳ１５の処理は、飛行中に継続して実行される処理であり、ドローン１の移動に応じてGPS位置情報とステレオカメラ画像が、順次更新される。そして、占有格子構築部４６による占有格子地図が更新（再構築）される。

ステップＳ１６において、行動制御部４７は、進行方向に障害物が検出されたかを判定する。

ステップＳ１６で、進行方向に障害物が検出されたと判定された場合、処理はステップＳ１７に進み、ドローン１は、障害物回避行動処理を実行する。障害物回避行動処理の詳細は、図７を参照して後述する。

一方、ステップＳ１６で、進行方向に障害物が検出されていないと判定された場合、処理はステップＳ１８に進み、ドローン１は、ステップＳ１３で設定した移動経路に沿って移動する。

ステップＳ１７またはステップＳ１８の後、処理はステップＳ１９に進み、行動制御部４７は、自己位置が局所目的地に到着したかを判定する。

ステップＳ１９で、自己位置がまだ局所目的地に到着していないと判定された場合、処理はステップＳ１４に戻り、上述したステップＳ１４乃至Ｓ１９が繰り返される。

一方、ステップＳ１９で、自己位置が局所目的地に到着したと判定された場合、処理はステップＳ１２に戻り、目的地に到着したかが、再度判定される。ステップＳ１２で目的地に到着したと判定されるまで、ステップＳ１３乃至Ｓ１９の処理が繰り返され、目的地に到着したと判定されると、飛行制御処理が終了する。

次に、図７のフローチャートを参照して、図６のステップＳ１６で進行方向に障害物が検出されたと判定された場合に実行される、ステップＳ１７の障害物回避行動処理の詳細について説明する。

なお、図７の障害物回避行動処理は、障害物のなかでも、上述した電線、アンテナ、電柱などのように、物体としての認識が難しい細長い線状の物体を回避する場合について説明する。

初めに、ステップＳ４１において、行動制御部４７は、機体駆動部３３の各モータ５１を制御して、機体を減速させる。ドローン１は、減速させる前よりも遅い速度ではあるが、進行方向に前傾姿勢で移動している。

ステップＳ４２において、物体認識部４１は、進行方向を撮像した撮像画像から、障害物としての物体を認識し、認識した物体を特定する物体特定情報を線分検出部４４に供給する。

ステップＳ４３において、線分検出部４４は、物体認識部４１で検出された細長い線状の物体を、Hough変換を用いて線分に変換する線分変換を行う。これにより、細長い線状の物体が線分として検出される。検出された線分の情報は、回転角計算部４５と行動制御部４７に供給される。ステップＳ４２の物体認識と、ステップＳ４３の線分検出は、障害物が回避されるまで、換言すれば、ステップＳ５２の処理が開始されるまで、継続して実行される。

ステップＳ４４において、行動制御部４７は、モータ５１を制御し、図８に示されるように、検出された線分LLに直交する方向dirへ機体を移動させる。なお、図８において、線分LLに直交する方向は、図８の上方向と下方向の２種類あるが、占有格子地図も参照しながら、一方の方向が選択される。一般的には、地面方向ではない上方向が選択されるが、その周辺の占有格子地図によっても制御される。

ステップＳ４４の処理により、ドローン１は、検出された線分LLに直交する方向dirに、一定時間または一定距離だけ、移動する。

そして、ステップＳ４５において、行動制御部４７は、線分検出部４４からの検出結果に基づいて、障害物を回避できたか、即ち、視線から、電線等に対応する線分が見えなくなったかを判定する。

ステップＳ４５で、障害物を回避できたと判定された場合、処理は後述するステップＳ５２に進む。

一方、ステップＳ４５で、障害物を回避できなかったと判定された場合、処理はステップＳ４６に進み、行動制御部４７は、モータ５１を制御し、機体をヨー方向に回転させる。

ステップＳ４７において、回転角計算部４５は、線分検出部４４で検出された線分の角度θを計算し、計算結果を行動制御部４７に供給する。

ステップＳ４８において、行動制御部４７は、線分の角度θが式（２）の角度Rとなったかを判定する。

ステップＳ４８で、線分の角度θが角度Rとなっていないと判定された場合、処理はステップＳ４６に進み、ステップＳ４６乃至Ｓ４８の処理が繰り返される。すなわち、ドローン１は、線分の角度θが角度Rとなるまで、機体をヨー方向に回転させる。これにより、図２で説明したように、電線などの細長い物体が、ステレオカメラの２枚の撮像画像で、正確に検出することができるようになる。

そして、ステップＳ４８で、線分の角度θが角度Rとなったと判定された場合、処理はステップＳ４９に進み、ステレオ測距部４２は、機体が回転された状態で、進行方向のステレオカメラで撮像された２枚の撮像画像から、視差マップを生成し、占有格子構築部４６に供給する。

ステップＳ５０において、占有格子構築部４６は、ステレオ測距部４２から供給された視差マップの結果を占有格子地図に足し込むことにより、ドローン１の周囲の３次元空間上の障害物の有無を表す占有格子地図を更新（再構築）する。

ステップＳ５１において、行動制御部４７は、更新された占有格子地図に基づいて各モータ５１を制御して、障害物の回避行動を取る。これにより、ドローン１が、電線などの細長い物体を回避する方向へ移動される。障害物を回避する方向へドローン１が移動されると、処理はステップＳ５２に進む。

上述したステップＳ４５で障害物を回避できたと判定された場合、および、ステップＳ５１で、障害物を回避する方向へ移動した場合のいずれにおいても、障害物の回避行動により、当初設定した局所目的地までの移動経路から外れることになる。

そこで、ステップＳ５２では、行動制御部４７が、局所目的地を再設定し、局所目的地までの移動経路を決定して、各モータ５１を制御し、移動を開始する。局所目的地の再設定の方法は、ステップＳ１３における局所目的地の設定と同様である。再設定された局所目的地に対して移動が開始されると、図７の障害物回避行動処理が終了する。

図７の障害物回避行動処理が終了すると、図６のステップＳ１７からステップＳ１９に進み、自己位置が局所目的地に到着したかが判定される。それ以降は、図６を参照して説明した通りである。

以上、ドローン１が行う飛行制御処理によれば、ステレオカメラでは正確な物体認識が難しい細長い線状の物体を、機体をヨー方向に回転させることにより正確に認識することができるので、細長い線状の物体を回避して、目的地まで正確に飛行することができる。なお、上述した例では、線分の角度θが目標の角度Rとなっているかを判定し、角度Rとなるまで機体をヨー方向に回転させるように制御したが、目標の角度Rとなっているかを判定せずに、予め定めた所定の角度だけヨー方向に機体を回転させるような簡易的な制御としてもよい。

＜５．ユースケース例＞
上述したドローン１の障害物を回避する飛行制御は、例えば、次のようなアプリケーションに適用することができる。

１．ドローンを用いた有人地帯での荷物の配送
荷物の集積場所、または、配送用のトラックから、ドローンが荷物を積んで目的地まで移動する。目的地は、緯度経路の値等で与えられ、その周辺や移動経路の情報が未知である。また、人、動物、車の移動など、環境が常に変換するため、環境の３次元構造（３次元空間上の占有格子地図）を事前に取得しておくことが困難な状況であり、細長い線状の物体が存在する可能性が有り得る。

２．送電線に沿った飛行
ドローンが、電線と一定の距離を保ちながら飛行する。電線は撓んでおり、風で揺れるため、詳細な３次元構造を事前に把握することが難しい。また、電線の高度が高く、ステレオカメラによる自己位置認識のずれが起きやすい環境である。鉄塔など、固定された設備に、自己位置を認識するためのマーカ等を貼り付け、マーカによる自己位置認識も補助的に行ってもよい。

＜６．カメラの変形例＞
上述した実施の形態では、進行方向を撮像するカメラ１３をドローン１の本体部１２に固定させ、撮像画像が角度Rだけ傾くように制御する場合、ドローン１全体を回転させるようにした。

しかしながら、カメラ１３には、例えば、FPV(First Person View)カメラのような、ドローン１の本体部１２に対して、カメラ自体を回転可能なカメラを用いることもできる。この場合、カメラのみを回転させ、ドローン１は、回転させる必要はない。

また、複数のカメラ１３は、図１に示したように、水平方向に配列される構成としたが、例えば、複数のカメラ１３の一部（少なくとも１つ）は、垂直方向に配列するような配置とし、カメラを回転させる代わりに、垂直方向に配列した２つのカメラ１３をステレオカメラとして用いてもよい。水平方向に並んだステレオカメラと、垂直方向に並んだステレオカメラとは、画像内の水平方向（横方向）のテクスチャが異なるので、カメラ１３を回転させずに、上述した細長い物体の検出および回避が可能となる。

＜７．ドローン以外の適用例＞
上述した例は、自律的に移動を制御する移動制御に関する本開示の技術を、飛行移動体であるドローンの移動制御に適用した例を説明したが、本開示の技術は、ドローン以外の移動体にも適用することができる。

例えば、自動運転する普通自動車やトラックなどの車両の移動制御にも、本開示の移動制御を適用することができる。例えば、ガードレールや道路標識など、ステレオカメラのベースラインに平行な線分の認識に有効である。

また例えば、工場内を移動する移動ロボットなどにも適用可能である。工場内の空中に張られたケーブルなどの細長い物体の正確な検出および回避が可能となる。

＜８．コンピュータ構成例＞
上述した一連の飛行制御処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図９は、上述した一連の飛行制御処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。

通信部１０９は、有線通信または無線通信を行うネットワークインタフェースなどよりなる。通信部１０９は、例えば、インターネット、公衆電話回線網、所謂4G回線や5G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う。また、通信部１０９は、例えば、NFC（Near Field Communication）等の近距離無線通信、赤外線通信、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信や、任意の通信規格の通信網や通信路を介した通信を行う。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の飛行制御処理が行われる。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本技術は、以下の構成を取ることができる。
（１）
ステレオカメラの少なくとも一方のカメラで撮像された撮像画像内の線分を検出する線分検出部と、
前記線分に直交する方向へ、前記ステレオカメラが固定された機体を移動させる制御部と
を備える移動体。
（２）
前記制御部は、前記線分に直交する方向へ、一定時間または一定距離だけ、前記機体を移動させる
前記（１）に記載の移動体。
（３）
前記撮像画像内の物体を認識する物体認識部をさらに備え、
前記線分検出部は、前記撮像画像内の前記物体を前記線分に変換することにより、前記線分を検出する
前記（２）に記載の移動体。
（４）
前記制御部は、前記線分に直交する方向へ一定時間または一定距離だけ前記機体を移動させることで、前記撮像画像内の前記物体を回避できたかを判定する
前記（３）に記載の移動体。
（５）
前記制御部は、前記線分に直交する方向への前記機体の移動では前記物体を回避できない場合、前記ステレオカメラまたは前記機体を、ヨー軸方向に回転させる
前記（４）に記載の移動体。
（６）
前記制御部は、前記撮像画像上の前記線分の回転角が所定の角度となるまで、前記ステレオカメラまたは前記機体を、ヨー軸方向に回転させる
前記（５）に記載の移動体。
（７）
前記線分の回転角が前記所定の角度となった状態において前記ステレオカメラで撮像される前記撮像画像から視差マップを生成するステレオ測距部と、
前記視差マップから占有格子地図を構築する占有格子地図構築部と
をさらに備え、
前記制御部は、前記占有格子地図に基づいて、前記機体を移動させる
前記（６）に記載の移動体。
（８）
前記制御部は、前記機体を移動させた後、前記機体の局所的な目的地である局所目的地を再設定し、再設定後の前記局所目的地へ前記機体を移動させる
前記（１）乃至（７）のいずれかに記載の移動体。
（９）
移動体が、
ステレオカメラの少なくとも一方のカメラで撮像された撮像画像内の線分を検出し、
前記線分に直交する方向へ、前記ステレオカメラが固定された機体を移動させる
移動体の制御方法。
（１０）
コンピュータを、
ステレオカメラの少なくとも一方のカメラで撮像された撮像画像内の線分を検出する線分検出部と、
前記線分に直交する方向へ、前記ステレオカメラが固定された機体を移動させる制御部
として機能させるためのプログラム。

１ドローン，１１ロータ，１２本体部，１３（１３A乃至１３H）カメラ，３１コントローラ，３２ RTK-GPS受信部，３３機体駆動部，４１物体認識部，４２ステレオ測距部，４３自己位置推定部，４４線分検出部，４５回転角計算部，４６占有格子構築部，４７行動制御部，５１モータ，１０１ CPU，１０２ ROM，１０３ RAM，１０６入力部，１０７出力部，１０８記憶部，１０９通信部，１１０ドライブ

Claims

ステレオカメラの少なくとも一方のカメラで撮像された撮像画像内の物体の線分を検出する線分検出部と、
前記物体を回避する場合、前記線分に直交する方向へ、前記ステレオカメラが固定された機体を移動させ、前記線分に直交する方向への前記機体の移動では前記物体を回避できない場合、前記ステレオカメラまたは前記機体を、ヨー軸方向に回転させる制御部と
を備える移動体。
前記制御部は、前記撮像画像上の前記線分の回転角が所定の角度となるまで、前記ステレオカメラまたは前記機体を、ヨー軸方向に回転させる
請求項１に記載の移動体。
前記線分の回転角が前記所定の角度となった状態において前記ステレオカメラで撮像される前記撮像画像から視差マップを生成するステレオ測距部と、
前記視差マップから占有格子地図を構築する占有格子地図構築部と
をさらに備え、
前記制御部は、前記占有格子地図に基づいて、前記機体を移動させる
請求項２に記載の移動体。
前記制御部は、前記機体を移動させた後、前記機体の局所的な目的地である局所目的地を再設定し、再設定後の前記局所目的地へ前記機体を移動させる
請求項１に記載の移動体。
移動体が、
ステレオカメラの少なくとも一方のカメラで撮像された撮像画像内の物体の線分を検出し、
前記物体を回避する場合、前記線分に直交する方向へ、前記ステレオカメラが固定された機体を移動させ、前記線分に直交する方向への前記機体の移動では前記物体を回避できない場合、前記ステレオカメラまたは前記機体を、ヨー軸方向に回転させる
移動体の制御方法。
コンピュータに、
ステレオカメラの少なくとも一方のカメラで撮像された撮像画像内の物体の線分を検出することと、
前記物体を回避する場合、前記線分に直交する方向へ、前記ステレオカメラが固定された機体を移動させ、前記線分に直交する方向への前記機体の移動では前記物体を回避できない場合、前記ステレオカメラまたは前記機体を、ヨー軸方向に回転させることと
を含む処理を実行させるためのプログラム。