JP7204326B2 - 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム - Google Patents

Description

本発明は、情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システムに関するものである。

従来から、複数の視点で撮像した画像を用いて距離情報を計測する技術が知られている。この技術では、複数の画像間の局所領域同士の類似度を算出し、類似度が最大となる領域を探索することで、距離計測を行っている。しかし、対象のテクスチャがない場合や対象が周期的な模様の場合に正しい距離の算出が困難である。

この問題を解決するために、特許文献１では複数の視点から撮像した画像と、距離計測情報を組み合わせる手法が用いられている。

また、距離を計測する方法として、非特許文献１では単眼カメラで撮像した画像から、ＣＮＮ(Convolution Neural Network)を用いて距離情報を推定し、時系列情報に基づいて補正する方法を提案している。

特開２０１５－４９２００号公報

K. Tateno, F. Tombari, I. Laina and N. Navab, "CNN-SLAM: Real-time dense monocular SLAM witｈ learned deptｈ prediction", IEEE Computer Societｙ Conference on Computer Vision and Pattern Recognition (CVPR), 2017 J. Levinson and S. Thrun, "Automatic Online Calibration of Cameras and Lasers," Robotics Science and Systems, 2013. C. Kerl, J. Sturm and D. Cremers, "Dense Visual SLAM for RGB-D Cameras，" Proc. of the Int. Conf. on Intelligent Robot Systems (IROS), 2013. P. Krahenbuhl, V.Koltun,"Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials," Neural Information Processing Systems 2011.

しかしながら、特許文献１に記載の方法では対応できないシーンが存在する。また、非特許文献１に記載の方法より高い精度が望まれていた。

本発明はこのような事情を鑑みてなされたもので、さまざまなシーンにおいて高い精度を維持した距離情報を得る技術を提供しようとするものである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
車両に配置された距離センサを用いて、距離を画素値として持つ第１の距離画像情報を取得する第１の取得手段と、
前記距離センサが計測可能な範囲と重複する撮像画角となるように前記車両に配置された撮像装置が撮像した画像を取得する第２の取得手段と、
入力される画像に対応する距離情報を出力するように生成された学習モデルを用いて、前記第２の取得手段で取得した画像から、距離を画素値とする第２の距離画像情報を推定する推定手段と、
前記撮像装置の位置及び姿勢と、当該位置及び姿勢に対応する距離画像情報を三次元マップとして保持するマップ保持手段と、
前記三次元マップ、及び、前記第２の取得手段で取得した画像に基づいて、前記撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、
前記位置姿勢算出手段で算出された前記位置及び姿勢、及び、前記推定手段の推定で得た前記第２の距離画像情報に基づき前記三次元マップを更新するマップ更新手段と、
前記第１の距離画像情報と、前記マップ更新手段で更新された三次元マップにおける距離画像情報に基づき、距離を画素値とする第３の距離画像情報を生成する生成手段とを備える。

本発明によれば、さまざまなシーンにおいて高い精度を維持した距離情報を得る技術を提供しようとするものである。

第１の実施形態の運転制御システムの構成を示す構成図。 第１の実施形態の運転制御システムのモジュール構成を示すブロック図。 第１の実施形態の運転制御システムの処理手順を示すフローチャート。 第２の実施形態の運転制御システムのモジュール構成を示すブロック図。 第２の実施形態の運転制御システムの処理手順を示すフローチャート。 第３の実施形態の運転制御システムのモジュール構成を示すブロック図。 第３の実施形態の運転制御システムの処理手順を示すフローチャート。 第４の実施形態の運転制御システムのモジュール構成を示すブロック図。 第４の実施形態の運転制御システムの処理手順を示すフローチャート。 第５の実施形態の運転制御システムのモジュール構成を示すブロック図。 第５の実施形態の運転制御システムの処理手順を示すフローチャート。

以下図面に従って本発明に係る実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［第１の実施形態］
［概要及び具体的なユースケース］
第１の実施形態では、ＬＩＤＡＲ（Light Detection and Ranging;光による検知と測距）による距離計測と、単眼のカラーカメラで撮影した画像からＣＮＮ（Convolutional Neural Network）を用いた距離推定とを行い、距離計測結果と距離推定結果とを統合してひとつの距離情報を生成する。生成した距離画像を用いて周囲環境認識を行い、自動車の運転制御を行う運転制御システム（又は運転支援システム）について説明する。雨や雪といった天候、あるいは周囲に物体がない場合や、物体との距離が近すぎる場合など、ＬｉＤＡＲで距離計測が困難な状況においても、単眼カメラの画像からＣＮＮを用いて距離推定を行ったものと統合することで距離を取得でき、安定した自動車の運転制御が実現できる。また、環境にテクスチャが少ない場合や、周期的な模様があるような場合などの複数視点による距離計測が困難な状況においても同様に距離を取得でき、安定した自動車の運転制御が実現できる。

なお、本実施形態では、距離情報として距離画像を扱う。ＬｉＤＡＲと単眼カメラは事前に校正済みであり、ＬｉＤＡＲによって取得した距離画像と、ＣＮＮで推定した距離画像は互いに座標変換が可能である。なお、校正については、例えば、非特許文献２に記載の方法を用いるものとする。

[構成の説明]
図１のシステム構成図、及び、図２のブロック図により、本実施形態の情報処理装置１０を備える自動車１０００の運転制御システムの構成例を示す。

運転制御システムは、距離センサ１、撮像装置２、ＧＰＳ（Global Positioning System）３、運転制御部４、アクチュエータ部５、画像表示装置６、情報処理装置１０、を備える。画像表示装置６は、画像表示制御部６１と画像表示部６２からなる。情報処理装置１０は、位置姿勢取得部１１、周囲環境認識部１２、距離計測装置１００、並びに、装置全体の制御を司る制御部１５を備え、運転制御に必要な情報を取得及び生成する。制御部１５はＣＰＵ及びＣＰＵが実行するプログラム及びワークエリアとして使用されるメモリを有する。距離計測装置１００は、第一距離情報取得部１０１、画像取得部１０２、学習モデル保持部１０３、第二距離情報推定部１０４、信頼度決定部１０５、第三距離情報生成部１０６を備えて、距離センサの出力と、ＣＮＮによる距離推定を統合した距離画像を生成する。なお、情報処理装置１０が有する各処理部の一部もしくは全部は、コンピュータがプログラムを実行することで実現しても構わない。

[構成の詳細説明]
距離センサ１は距離計測装置１００の第一距離情報取得部１０１に接続され、第一距離情報取得部１０１からの要求に応じて周囲環境の距離計測を行い、その計測結果を第一距離情報取得部１０１に供給する。本実施形態における距離センサ１は、ＬｉＤＡＲセンサとして説明するが、例えばＴｏＦ(Time of Flight)センサでも良い。

撮像装置２は距離計測装置１００の画像取得部１０２に接続され、画像取得部１０２からの要求に応じて周囲環境の画像を撮像し、画像取得部１０２に供給する。本実施形態では撮像装置は、単眼のカラーカメラであるが、グレーカメラでも赤外線カメラであってもよい。また、撮像装置２の撮影画角範囲は、距離センサ１の距離計測の範囲と同じであるものとする。

ＧＰＳ３は情報処置装置１０の位置姿勢取得部１１に接続され、位置姿勢取得部１１の要求に応じて現在の車両の位置を計測し、その計測結果を位置姿勢取得部１１に供給する。

運転制御部４は、情報処置装置１０の位置姿勢取得部１１と周囲環境認識部１２に接続され、位置姿勢取得部１１が取得した車両の位置姿勢と、周囲環境認識部１２が認識した周囲環境に基づいて、アクチュエータ部５を介して自動車１０００の運転を制御する。

アクチュエータ部５は、運転制御部４の命令に基づいて、自動車の車輪のトルク及び方向を自動的あるいは半自動的に制御する。

画面表示装置６の画面表示制御部６１は、周囲環境認識部１２の入力及び認識結果を可視化し、画面表示部６２に表示する。

情報処置装置１０の位置姿勢取得部１１は、ＧＰＳ３から自己位置を取得し、運転制御部４へ供給する。情報処置装置１０の周囲環境認識部１２は、距離計測装置１００の画像取得部１０２からの画像、及び、第三距離生成部１０６から距離画像を受け取り、周囲環境を認識し、運転制御部４へ供給する。

距離計測装置１００の第一距離情報取得部１０１は距離センサ１から距離画像を取得し、信頼度決定部１０５に供給する。画像取得部１０２は、定期的に撮像装置２に撮像命令を出力することで撮像画像を取得し、取得した画像を第二距離情報推定部１０４、及び、周囲環境認識部１２へ供給する。なお、撮像命令の周期は早いほど良いが、各種処理部の処理能力により決定すればよい。

学習モデル保持部１０３は、第二距離情報推定部１０４が画像取得部１０２から供給された画像から距離情報を推定するための学習モデルを保持し、第二距離情報推定部１０４からの要求があった際に、学習モデルを第二距離情報推定部１０４へ供給する。学習モデル保持部１０３が保持する学習モデルは、後述する深層学習のためのＣＮＮのモデルである。第二距離情報推定部１０４は、画像取得部１０２から供給された画像から、学習モデル保持部１０３が保持する学習モデルを用いて第二の距離情報を推定し、信頼度決定部１０５へ供給する。

信頼度決定部１０５は、第一距離情報取得部１０１から供給された第一の距離情報と、第二距離情報推定部１０４から供給された第二の距離情報それぞれに対して、信頼度を決定し、第三距離情報生成部１０６へ供給する。

第三距離情報生成部１０６は、第一の距離情報と第二の距離情報を、信頼度決定部１０５で算出した信頼度に基づいて統合し、第三の距離情報を生成し、周囲環境認識部１２へ供給する。

[処理手順のフローチャートの説明]
次に以上のような構成を備えた第１の実施形態における情報処理装置１０及び運転制御システムの処理手順について図３のフローチャートを用いて説明する。

・初期化処理
ステップＳ１０１０にて、制御部１５はシステムの初期化を行う。情報処置装置１０に接続された各機器の起動や、パラメータ設定、学習モデルの読み込み、センサ及び撮像装置のキャリブレーション値の読み込みを行う。

・第一距離情報取得
ステップＳ１０２０にて、制御部１５は第一距離情報取得部１０１を制御し、距離センサ１への撮像命令を出力させる。距離センサ１はこの命令に従ってシーンの距離センシングを行うことになる。第一距離情報取得部１０１は距離センサ１で距離センシングして得た情報を距離画像としてを取得する。

・画像取得
ステップＳ１０３０にて、制御部１５は画像取得部１０２を制御し、撮像装置２に撮像命令を出力させる。撮像装置２はこの命令に従ってシーンの画像を撮像する。画像取得部１０２は、撮像装置２が撮像した画像を取得する。本実施形態における撮像装置２により得られる画像は１画素につきＲＧＢの３成分で構成される画像とする。

・第二距離情報推定
ステップＳ１０４０にて、制御部１５は第二距離情報推定部１０４を制御し、ステップＳ１０３０で画像取得部１０２が取得した画像から、学習モデル保持部１０３の保持する学習モデルを用いて距離画像を推定する。画像から学習モデルを用いて距離画像を推定できれば良いのでその方法は特に問わないが、例えば非特許文献１に記載の方法で行うものとする。もちろん他の公知の方法を用いても構わない。

・信頼度決定
ステップＳ１０５０にて、制御部１５は信頼度決定部１０５を制御し、第一距離情報取得部１０１が取得した第一の距離画像と、第二距離情報推定部１０４が推定した第二の距離画像の信頼度を決定する。信頼度は各画像の各画素に対して０～１の範囲の実数値として決定する。

本実施形態において、第二の距離画像はＣＮＮを用いた推定によって算出するため信頼度はあらかじめ不図示の記憶媒体に記憶した一様なパラメータ値、例えば０．５と設定されているものとする。また、第一の距離画像の信頼度は、ＬｉＤＡＲのレーザーの反射強度を正規化した値を用いるものとする。

・第三距離情報生成
ステップＳ１０６０にて、制御部１５は第三距離情報生成部１０６を制御し、信頼度決定部１０５が算出した信頼度に基づいて、第一の距離画像と第二の距離画像を統合し、第三の距離画像を生成する。

本実施形態における第三距離情報生成部１０６は、第三の距離画像として、第二の距離画像の座標系における距離画像を生成する。第三の距離画像の各画素の距離値は、第一の距離画像と第二の距離画像の対応する画素の信頼度を重みとした加重平均によって画素ごとに算出する。第二の距離画像の画素に対応する第一の距離画像の画素位置は、事前に校正した値を用いて座標変換することで算出する。これにより、距離センサが苦手な領域を、画像からＣＮＮを用いて推定した距離推定結果でカバーできる。あるいは、推定した距離精度が高い場合に積極的に利用できる。

なお、第一の距離情報における座標（ｘ、ｙ）の距離をＤ１（ｘ，ｙ）、その信頼度をＷ１とし、第二の距離情報における座標（ｘ、ｙ）の距離をＤ２（ｘ、ｙ）、その信頼度をＷ２（実施形態では“０．５”に固定）としたとき、第三の距離情報における座標（ｘ，ｙ）の距離Ｄ３（ｘ，ｙ）を次式に従って求めれば良い。
Ｄ3(x,y)＝｛Ｗ1×Ｄ1(x,y)＋Ｗ2×Ｄ2(x,y)｝／（Ｗ1＋Ｗ2）

・周囲環境認識
ステップＳ１０７０にて、制御部１５は周囲環境認識部１２を制御し、画像取得部１０２が取得した画像と、第三距離情報生成部１０６が生成した距離画像に基づいて、周囲環境を認識する。具体的には、周囲環境認識部１２は、撮像画像から深層学習等を用いて周囲の物体及び状態を認識し、距離画像からその物体までの距離を取得する。周辺環境の認識方法は、この限りではなく、運転制御に用いる距離情報と画像を用いたものであれば公知のいかなる方法を用いてもよい。

・位置姿勢取得
ステップＳ１０８０にて、制御部１５は位置姿勢取得部１１を制御し、ＧＰＳ３から現在の自動車１０００の位置を取得し、位置の推移から姿勢を推測する。

・画面表示
ステップＳ１０９０にて、制御部１５は画面表示制御部６１を制御し、周囲環境認識部１２が処理した結果と、位置姿勢取得部１１が取得及び推定した位置姿勢に基づく表示すべき画像を生成させる。画面表示制御部６１は、生成した画像を画面表示部６２に出力する。この結果、画面表示部６２は、自動車に搭乗した人物に向けて、画像を表示することになる。なお、画面表示制御部６１が生成する画像は、例えば第三の距離画像を白黒の距離画像とし、第一の距離情報の信頼度を赤チャンネル、第二の距離情報の信頼度を青チャンネとし、それぞれの値を０から２５５に正規化した画像とする。この結果、どちらの距離情報を用いて計測されたのかを可視化できる。

なお、第三の距離画像を白黒の距離画像として生成し、周囲環境認識処理によって認識した物体領域を矩形で囲み、物体種を文字で記載したり、撮像装置で撮像した画像上に物体領域の矩形と物体種ラベル及び物体までの距離を記載したりすることで、環境認識結果を可視化してもよい。

また、従来のカーナビゲーションシステムと同様に、地図上に自車両の位置と向きを表示し、周辺環境認識処理で認識した物体等を点や矩形で表示することで、周囲環境認識結果を俯瞰表示してもよい。また、画像生成方法は上記に限定するものではなく、認識結果及び自動車１０００の位置姿勢がわかればいかなる方法でもよい。

・運転制御
ステップＳ１１００にて、制御部１５は運転制御部４を制御し、周囲環境認識部１２が処理した結果と、位置姿勢取得部１１が取得及び推定した位置姿勢に基づいて、アクチュエータ部５を介して自動車１０００を制御する。

・システム終了
ステップＳ１１１０にて、制御部１５は、システムを終了するか否かを判定する。目的地に到達した場合や、不図示の入力部を介してユーザから終了命令が入力された場合には終了し、そうでなければステップＳ１０２０に戻り処理を続ける。

[効果]
以上に述べたように、第１の実施形態では、入力画像に対して学習モデルを用いて距離画像を推定し、距離センサ（ＬｉＤＡＲ）の距離と統合することで、距離センサだけ、あるいは複数視点による距離計測だけ、あるいはそれらを単に組み合わせただけでは距離を取得できない環境及び部分においても距離を取得でき、より様々な環境で自動車の運転制御が可能になる。

［変形例１］
上記第１の実施形態では、第一の距離画像の信頼度を画素ごとにレーザーの反射強度を正規化した値としてが、距離画像の信頼度の決定方法はこれに限るものではない。距離値を取得できなかった画素の信頼度を０、取得できた画素にあらかじめ設定しておいた値を一様に、例えば０．５と設定しても良い。

距離センサの有効距離の範囲に基づいて信頼度を決定しても良く、例えば、有効範囲内は１、有効範囲外を０とし、有効範囲境界付近をあらかじめ設定したスプライン曲線や直線で補間してもよい。これにより、周囲に物体がない場合や、物体までに距離が近すぎて計測できない場合にも対応できる。

第二の距離画像の信頼度も、第１の実施形態で記述したように、あらかじめ設定した値を一様に設定する方法に限るものではなく、ＣＮＮによる距離推定の尤もらしさを０～１に正規化して各画素の信頼度にしても良い。

第一及び第二の距離の信頼度は、近傍領域との連続性に基づいて決定しても良い。具体的には、周波数の逆数を０～１に正規化しても良いし、近傍から勾配を求めて勾配から予測される距離値との差の逆数を正規化した値にしても良い。

また、信頼度は画素ごとではなく、格子状に分けた領域や、入力画像を領域分割してその領域ごとに持っても良い。領域ごとの信頼度は、画素ごとに計算した信頼度の平均値や中央値を用いても良い。その際、統合時に参照する信頼度はその画素を含む領域の信頼度を用いる。

［変形例２］
第１の実施形態では、第三距離情報生成において、画素ごとに信頼度を重みとした加重平均によって第三の距離画像の距離値を算出したが、第三の距離画像の生成方法は、第一及び第二の距離情報を信頼度に基づいて統合していれば、これに限定するものではない。画素ごとに信頼度が高いほうの値を採用しても良いし、あらかじめ設定した閾値以下の信頼度となる距離値は除去したうえで加重平均をとっても良い。

さらに、第一の距離情報と第二の距離情報とを統合して第三の距離情報を生成した後に平滑化処理などのノイズ除去処理を施してもよい。

また、第１の実施形態では、第二の距離画像の座標系で第三の距離画像を生成したが、第一の距離画像の座標系で生成しても良いし、別の座標系で生成しても良い。

［変形例３］
第１の実施形態では、距離センサとしてＬｉＤＡＲを用いたが、距離センサはＬｉＤＡＲに限定するものではなく、複数台のカメラによるパッシブステレオ方式のものを利用しても良いし、投光器とカメラによるアクティブステレオ方式のものでもよい。

パッシブステレオ方式やアクティブステレオ方式の距離センサを用いる場合には、変形例１で記述した信頼度の算出方法のほかに、ステレオマッチングの際の類似度を正規化して信頼度としてもよい。

［変形例４］
第１の実施形態では、第一の距離情報と第二の距離情報の座標変換は、事前に校正した情報を用いて実現した。しかし、位置合わせ方法はこれに限ったものではなく、距離情報が最も一致するように最適化計算をおこなって位置合わせをしても良いし、境界部分が一致するように最適化計算してもよい。これらの距離情報の位置合わせは初回だけ行っても良いし、毎回行っても良いし、ズレを検知した場合にのみ行っても良いし、あらかじめ設定された間隔で行っても良い。

［変形例５］
第１の実施形態では、距離センサで取得した距離情報と撮像装置で撮像した画像に対してＣＮＮを用いて推定した距離情報とを統合して、第三の距離情報を生成した。そして、その第三の距離情報を自動車の運転制御に用いた。しかし、これに限定されるものではない。例えばＡＲ（Augmented Reality）などの画像合成時時の奥行き判定に用いても良いし、移動ロボットの自己位置姿勢推定や、ＨＭＤ（Head Mounted Display）及びモバイル端末の自己位置姿勢推定に用いてもよい。室内を清掃するロボット・空中を飛行するドローン・水中を移動する装置などの制御に用いても良い。

［第２の実施形態］
第２の実施形態における情報処置装置及び運転制御システムは、第１の実施形態と同様に、距離センサ（ＬｉＤＡＲ）から取得した距離情報と、１つの撮像装置（カメラ）からＣＮＮを用いて推定した距離情報とを統合して、第三の距離情報を生成し、生成した距離情報に基づいて自動車の運転制御を行う。第１の実施形態では、距離センサで取得した距離情報と、撮像装置で撮像した画像からＣＮＮを用いて距離情報とを直接統合したが、本第２の実施形態では、非特許文献１に記載のように、自己位置推定と環境地図作成を同時に行うＳＬＡＭ(Simultaneous Localization and Mapping)技術を用いて構築した地図情報を用いることを特徴とする。

[構成の説明]
図４は、本第２の実施形態における情報処理装置１０及び運転制御システムのモジュール構成を示すブロック図である。第１の実施形態（図２）と同様の構成には同一の参照番号を付し、その説明は省略する。本第２の実施形態では、第１の実施形態の構成に、位置姿勢算出部２０７、三次元マップ更新部２０８、三次元マップ保持部２０９が追加される。画像取得部１０２は、第二距離情報推定部１０４と周囲環境認識部１２に加え、位置姿勢算出部２０７に対しても、撮像装置２から取得した画像を供給する。第二距離情報推定部１０４は、信頼度決定部１０５とは切断され、新たに三次元マップ更新部２０８に接続される。信頼度決定部１０５は、第二距離情報推定部１０４とは切断され、三次元マップ保持部２０９と接続される。

位置姿勢算出部２０７は、三次元マップ保持部２０９が保持する三次元マップに基づいて、画像取得部１０２から供給される画像を撮像した撮像装置２の位置姿勢を算出し、三次元マップ更新部２０８に情報を供給する。

三次元マップ更新部２０８は、位置姿勢算出部２０７及び第二距離情報推定部１０４の処理結果に基づいて三次元マップ保持部２０９が保持する三次元マップを更新する。

三次元マップ保持部２０９は、位置姿勢および距離画像の組をキーフレームとした、キーフレームの集合を三次元マップとして保持する。三次元マップの形態はこれに限ったものではなく、ポイントクラウドなど三次元点群の集合でも良いし、ＳＬＡＭ技術で用いられるいかなる距離情報の形態であっても良い。

信頼度決定部１０５は、第一距離情報取得部１０１から供給された第一の距離情報と、三次元マップ保持部２０９が保持する三次元マップの信頼度を決定する。

位置姿勢取得部１１は、位置姿勢算出部２０７が算出した撮像装置２の位置姿勢を取得し、事前に校正しておいたパラメータを用いて自動車１０００の位置姿勢に変換して運転制御部に供給する。なお、第１の実施形態と同様にＧＰＳを備え、位置姿勢取得部１１で取得し、運転制御部４に供給しても良い。

[処理手順]
図５は、本第２の実施形態における運転制御システムの処理手順を示すフローチャートである。なお、第１の実施形態（図３）と同様の処理には同一のステップ番号を付して記載してあり、同一の処理であるものに関する説明は省略する。また、ステップＳ１０３０からステップＳ２０４５までの処理は、非特許文献１に記載の撮像装置の位置姿勢算出手法の処理である。本実施形態における三次元マップは、位置姿勢及び距離画像の組をキーフレームとしたキーフレームの集合である。

・位置姿勢算出
ステップＳ２０３５にて、制御部１５は位置姿勢算出部２０７を制御し、三次元マップ保持部２０９の保持する三次元マップに基づいて、Ｓ１０３０で取得した画像を撮像した際の撮像装置１の位置姿勢を算出する。初回の処理で三次元マップが存在しない場合には、撮像装置の位置を原点とする。

・キーフレーム追加判定
ステップＳ２０３６にて、制御部１５は、現在のフレームをキーフレームとして三次元マップに追加するか否かを判定する。三次元マップ保持部２０９が保持するキーフレームの位置から変化が大きい場合などに追加処理を行う。現在のフレームをキーフレームとして追加する場合にはステップＳ２０４０へ、追加しない場合にはステップＳ２０４５に処理を移行する。

・第二距離情報推定
ステップＳ２０４０にて、制御部１５は第二距離情報推定部１０４を制御し、ステップＳ１０３０で画像取得部１０２が取得した画像から、学習モデル保持部１０３の保持する学習モデルを用いて距離画像を推定する。

・三次元マップ更新
ステップＳ２０４５にて、制御部１５は三次元マップ更新部２０８を制御し、ステップＳ２０３５の位置姿勢算出結果、もしくはステップＳ２０４０の第二距離情報推定結果に基づいて三次元マップを更新する。具体的な更新手法は非特許文献１に記載のとおりである。

・信頼度決定
ステップＳ２０５０にて、制御部１６は、第１の実施形態と同様に、信頼度決定部１０５を制御し、ステップＳ１０２０で第一距離情報取得部１０１が取得した第一の距離画像と、三次元マップ保持部２０９が保持する三次元マップの信頼度を決定させる。

三次元マップの信頼度は、三次元マップ保持部２０８が保持する三次元マップから現在のフレームにおける距離画像を生成し、生成した距離画像に対して算出する。ここで、この信頼度は非特許文献１に記載の不確実性マップ（uncertainty map）の値を用いる。三次元マップの信頼度はこの方法に限るものではなく、第１の実施形態に記載の方法でもよいし、第１の実施形態の変形例に記載の方法でもよい。

[効果]
以上に述べたように、本第２の実施形態では、距離センサによって取得した距離情報と、非特許文献１に記載のＣＮＮ－ＳＬＡＭの手法によって生成した三次元マップとを統合して、より信頼度の高い距離情報を生成する。ＣＮＮ－ＳＬＡＭを用いることで、ＣＮＮで距離推定した結果を時系列に精錬でき、より高精度な三次元情報を取得できる。また、撮像装置の位置姿勢を画像から推定することでＧＰＳを用いて位置姿勢を取得するより高精度に位置姿勢を取得できる。三次元情報及び位置姿勢が高精度になるため、より安定した自動車の運転制御が可能になる。

［第３の実施形態］
本第３の実施形態において説明する情報処理装置及び運転制御システムは、ＣＮＮ－ＳＬＡＭにおける撮像装置の位置姿勢推定に、距離センサによる距離計測結果とＣＮＮ－ＳＬＡＭで推定した三次元マップ情報を統合して生成した第三の距離情報を用いる。

[構成の説明]
図６は、本第３の実施形態における情報処理装置１０及び運転制御システムのモジュール構成を示すブロック図である。第１の実施形態（図２）、及び、第２の実施形態（図４）と同様の構成には同一の参照番号を付してある。第２の実施形態との差異は、位置姿勢算出部２０７の入力が三次元マップ保持部２０９の保持する三次元マップではなく、第三距離情報生成部１０６で生成した三次元情報になる点である。

[処理手順]
図７は、本第３の実施形態における運転制御システムの処理手順を示すフローチャートである。なお、第１の実施形態（図３）及び第２の実施形態（図５）と同様の処理には同一のステップ番号を付し、その処理の説明は省略する。

・信頼度決定
ステップＳ３０３１にて、第２の実施形態のステップＳ２０５０と同様、制御部１５は信頼度決定部１０５を制御し、ステップＳ１０２０にて第一距離情報取得部１０１が取得した第一の距離画像と三次元マップ保持部２０９が保持する三次元マップの信頼度を決定する。

なお、ここで決定した信頼度を、非特許文献１に記載の不確実性マップの更新に用いても良い。これにより、三次元センサから取得した距離値の不確実性を低く設定でき、より精度向上が見込める。

・第三距離情報生成
ステップＳ３０３２にて、第１の実施形態のステップＳ１０６０と同様に、制御部１５は第三距離情報生成部１０６を制御し、ステップＳ３０３１で算出した信頼度に基づいて第一の距離情報と、三次元マップから生成した距離画像を統合して第三の距離画像を生成させる。

・位置姿勢算出
ステップＳ３０３５にて、制御部１５は位置姿勢算出部２０７を制御し、ステップＳ３０３２で生成した第三の距離画像に基づいて、Ｓ１０３０で取得した画像を撮像した際の撮像装置２の位置姿勢を算出する。算出の具体的な方法は第２の実施形態２のステップＳ２０３５と同様である。

[効果]
以上に述べたように、本第３の実施形態では、ＣＮＮ－ＳＬＡＭ（非特許文献１）において、距離センサによって取得した距離情報をＳＬＡＭの三次元マップと統合して位置姿勢推定に用いる。これにより、位置姿勢算出時に参照する三次元マップが高精度になり、より精度よく頑健な位置姿勢算出及び距離情報生成が可能になり、より安定した自動車の運転制御が可能になる。

［第３の実施形態の変形例１］
上記第３の実施形態では、第２の実施形態と同様に非特許文献１に記載の方法で三次元マップを保持し、位置姿勢推定を行ったが、本発明はこれに限定するものではなく、第一の距離情報と第二の距離情報を統合して生成した第三の距離情報を用いて撮像装置１の位置姿勢を推定する方法であればいかなる方法でも良い。例えば、非特許文献３に記載の方法でも良い。

［第３の実施形態の変形例２］
第３の実施形態では、位置姿勢算出部で算出した撮像装置２の位置姿勢と、第三距離情報生成部１０６で生成した第三の距離情報を周囲環境認識及び自動車の運転制御に用いたが、距離計測装置１００の構成を、距離センサと単眼カメラと搭載した移動ロボットの自己位置姿勢推定や、ＨＭＤ及びモバイル端末の自己位置姿勢推定に用いてもよい。

［第４の実施形態］
第４の実施形態における情報処理装置及び運転制御システムは、撮像装置２が撮像した画像に対して、距離推定を行うと同時に意味的領域分割を行い、意味領域ごとに信頼度を決定する。なお、非特許文献１に記載のように、第二距離情報推定と、意味的領域分割を同時に同一の学習モデルを用いて行っても良い。

[構成の説明]
図８は、本第４の実施形態における情報処理装置１０及び運転制御システムのモジュール構成を示すブロック図である。第１の実施形態（図２）と同様の構成には同一の参照番号を付してある。

本第４の実施形態では、意味的領域分割部４１０が追加される点が異なる。この意味的領域分割部４１０は、画像取得部１０２が取得した画像を学習モデル保持部１０３が保持するモデルを用いて意味領域に分割し、分割領域とその意味を表す情報を信頼度決定部１０５に提供する。意味的領域分割とは、画像を写っている物体ごとの領域に分割し、分割した領域ごとに被写体を分類する手法であり、ここでいう意味領域とは、意味的領域分割手法による分割された意味（ラベル）をもつ領域のことである。本実施形態では、壁面や直立物体、床面（道路）、山、空、木、小物体、といったラベルに分類する。

信頼度決定部１０５は、供給された意味領域に基づいて、第一の距離情報と第二の距離情報の信頼度を決定する。

[処理手順]
図９は、本第４の実施形態における運転制御システムの処理手順を示すフローチャートである。なお、第１の実施形態（図３）と同様の処理には同一の参照番号を付してある。そして、第１の実施形態との差異は、ステップＳ１０４０とステップＳ１０５０の間にステップＳ４０４１として意味的領域分割の処理が加わる点、及び、図３のステップＳ１０５０の信頼度決定処理が、ステップＳ４０４２として「意味領毎の信頼度決定」となった点である。

ステップＳ４０４１では、制御部１５は意味的領域分割分４１０を制御して、ステップＳ１０３０で取得した画像を意味領域に分割する。

ステップＳ４０４２にて、制御部１５は信頼度決定部１０５を制御し、ステップＳ１０２０で第一距離情報取得部１０１が取得した第一の距離画像と、ステップＳ１０４０で第二距離情報推定部１０４が推定した第二の距離画像の信頼度を、ステップＳ４０４１で分割した領域ごとに決定させる。例えば、距離センサに正対していて精度よく計測できる壁面や直立物体の領域は第一の距離画像の信頼度を１、第二の距離画像の信頼度を０．５とする。距離センサの光軸に対して浅い角度になりがちな道路や床面領域は第一の距離情報の信頼度を０．３、第二の距離画像の信頼度を０．５とする。ＣＮＮによる推定の精度が低くなると思われる小物体領域は第一の距離画像の信頼度を０．８、第二の距離画像の信頼度を０．２とする。対象が遠いもしくは無限遠の山や空領域や、微小に揺れて距離値がばらつく木領域は、第一の距離情報の信頼度を０．２、第二の距離情報の信頼度を０．８とする。

意味領域のラベル及び、それに基づく信頼度の決定方法はこれに限定するものではなく、画像から意味領域を分割してそれに応じて信頼度を決定すればいかなる方法であってもよい。

[効果]
以上に述べたように、本第４の実施形態では、画像から意味領域に分割し、意味領域ごとに信頼度を決定し、距離センサで取得する距離情報と、ＣＮＮを用いて推定する距離情報とを統合して距離情報を生成する。これにより、距離計測の対象ごとに重きをおく距離情報を変更でき、苦手な対象物の計測をＣＮＮによる距離推定で補完でき、より安定した自動車の運転制御が可能になる。

［第４の実施形態の変形例１］
第４の実施形態では、意味的領域分割処理で、学習モデルを用いてＣＮＮで画像を意味領域に分割したが、意味領域に分割できれば、ＣＮＮによるものに限ったものではなく、例えば非特許文献４のような公知の領域分割手法や認識手法を用いてもよい。

［第４の実施形態の変形例２］
第４の実施形態では、第１の実施形態の構成を用いて説明したが、第２の実施形態、又は、第３の実施形態の構成に適用しても良い。

［第５の実施形態］
第５の実施形態における情報処理装置及び運転制御システムは、第三距離情報を生成せず、第一及び第二の距離情報を統合する際に、第一もしくは第二距離情報を更新し、その更新後の距離情報を第三の距離情報とする例を説明する。

[構成の説明]
図１０は、本第５の実施形態における情報処理装置１０及び運転制御システムのモジュール構成を示すブロック図である。第１の実施形態（図２）と同様の構成には同一の参照番号を付してある。本第５の実施形態と第１の実施形態との差異は、第三距離情報生成部１０６が距離情報更新部５０６に置き換わっている点である。

距離情報更新部５０６は、第一距離情報取得部１０１が取得した第一の距離情報を、第二距離情報推定部１０４が推定した第二の距離情報と信頼度決定部１０５で決定した信頼度に基づいて更新する、もしくは第二の距離情報を第一の距離情報と信頼度に基づいて更新する。

[処理手順]
図１１は、本第５の実施形態における運転制御システムの処理手順を示すフローチャートである。なお、第１の実施形態（図３）と同様の処理には同一の参照番号を付してある。そして、第１の実施形態との差異は、ステップＳ１０６０の代わりに、ステップＳ５０１０の「距離情報更新」となった点である。

ステップＳ５０１０にて、距離情報更新部５０６はステップＳ１０２０で取得した第一の距離情報を、ステップＳ１０４０で取得した第二の距離情報に投影する。そして、距離情報更新部５０６は、第一の距離情報の信頼度が予め設定された閾値以上の画素については、第２の距離情報の画素値（距離）を第１の距離情報の画素値で置き換える。距離情報更新部５０６は、更新後の第二の距離情報を、第三の距離情報として周囲環境認識部１２に供給する。尚、信頼度を重みとした加重平均の値に更新してもよい。また、第二の距離情報を第一の距離情報に投影して信頼度を用いて第一の距離情報を更新してもよい。

[効果]
以上に述べたように、第三距離情報を生成せず、第一及び第二の距離情報を統合する際に、第一もしくは第二距離情報を更新する。これにより、計算用のメモリ領域を削減できる。

以上、本発明に係る実施形態を説明した。ここで、これまで説明した各実施形態の効果をまとめると次の通りである。

第１の実施形態によると、距離センサで取得した距離情報と、単眼のカメラで撮像した画像からＣＮＮを用いて推定した距離情報とを統合して第三の距離情報を生成することで、距離センサだけでは距離を取得できない環境及び部分においても距離を計測できる。

第２の実施形態によると、単眼カメラで撮像した画像からＣＮＮを用いて推定した距離情報を使ったＳＬＡＭを実行することで、時系列情報を用いた距離情報の高精度化が可能になり、第１の実施形態に比べより高精度な距離計測が可能になる。

第３の実施形態によると、距離センサによって取得した距離情報とＳＬＡＭで構築した三次元マップとを統合して撮像装置の位置姿勢推定に用いることで、位置姿勢推定精度および、構築する三次元マップが高精度になる。

第４の実施形態によると、撮像装置で撮像した画像を意味領域に分割し、領域ごとに統合時の重みを決定することで、意味領域ごとの計測手法の得手不得手を考慮した統合が可能になる。

第５の実施形態によると、第三の距離情報を新規に作成するのではなく、第一もしくは第二の距離情報の一方を、他方を用いて更新することで計算用のメモリ領域を削減できる。

以上であるが、本発明における距離情報とは、距離画像や距離点群、三次元点群などの距離の情報を含むもののことである。距離センサは、ＬｉＤＡＲなどのレーザー測距計測やパッシブステレオ、アクティブステレオなど、距離を計測できる装置であればいかなるものでも良い。学習モデルは、深層学習で学習した単眼の画像から距離情報を推定するためのモデルである。

１…距離センサ、２…撮像装置、３…ＧＰＳ、４…運転制御部、５…アクチュエータ部、６…画面表示装置、６１…画面表示制御部、６２…画面表示部、１０…情報処理装置、１１…位置姿勢取得部、１２…周囲環境認識部、１００…距離計測装置、１０１…第一距離情報取得部、１０２…画像取得部、１０３…学習モデル保持部、１０４…第二距離情報推定部、１０５…信頼度決定部、１０６…第三距離情報生成部、１０００…自動車

Claims (10)

1. 車両に配置された距離センサを用いて、距離を画素値として持つ第１の距離画像情報を取得する第１の取得手段と、
   前記距離センサが計測可能な範囲と重複する撮像画角となるように前記車両に配置された撮像装置が撮像した画像を取得する第２の取得手段と、
   入力される画像に対応する距離情報を出力するように生成された学習モデルを用いて、前記第２の取得手段で取得した画像から、距離を画素値とする第２の距離画像情報を推定する推定手段と、
   前記撮像装置の位置及び姿勢と、当該位置及び姿勢に対応する距離画像情報を三次元マップとして保持するマップ保持手段と、
   前記三次元マップ、及び、前記第２の取得手段で取得した画像に基づいて、前記撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、
   前記位置姿勢算出手段で算出された前記位置及び姿勢、及び、前記推定手段の推定で得た前記第２の距離画像情報に基づき前記三次元マップを更新するマップ更新手段と、
   前記第１の距離画像情報と、前記マップ更新手段で更新された三次元マップにおける距離画像情報に基づき、距離を画素値とする第３の距離画像情報を生成する生成手段と
   を備えることを特徴とする情報処理装置。
2. 前記第１の距離画像情報、及び、前記三次元マップにおける距離画像情報の信頼度を決定する信頼度決定手段を有し、
   前記生成手段は、前記信頼度に基づいて、前記第１の距離画像情報と前記三次元マップにおける距離画像情報から、前記第３の距離画像情報を生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記距離センサは、ＬｉＤＡＲ（Light Detection and Ranging）に基づくセンサであって、
   前記信頼度決定手段は、対象物からのレーザーの反射強度に応じて前記第１の距離画像情報の信頼度を決定することを特徴とする請求項２に記載の情報処理装置。
4. 前記信頼度決定手段は、前記距離センサの有効距離の範囲に基づいて、前記第１の距離画像情報の信頼度を決定することを特徴とする請求項２に記載の情報処理装置。
5. 前記距離センサはステレオ方式の距離センサであり、
   前記信頼度決定手段は、前記距離センサが距離画像情報を取得する際のステレオマッチングの類似度に基づいて、前記第１の距離画像情報の信頼度を決定することを特徴とする請求項２に記載の情報処理装置。
6. 前記第３の距離画像情報、及び、前記第２の取得手段で取得した画像に基づいて周囲環境を認識する環境認識手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
7. 前記距離センサ及び前記撮像装置と、請求項６に記載の情報処理装置とを有することを特徴とする車両の運転支援システム。
8. 車両の動きを制御するためのアクチュエータと、
   前記周囲環境及び位置姿勢に基づいて前記アクチュエータを制御する運転制御手段と
   を有することを特徴とする請求項７に記載の車両の運転支援システム。
9. 車両に配置された距離センサを用いて、距離を画素値として持つ第１の距離画像情報を取得する第１の取得工程と、
   前記距離センサが計測可能な範囲と重複する撮像画角となるように前記車両に配置された撮像装置が撮像した画像を取得する第２の取得工程と、
   入力される画像に対応する距離情報を出力するように生成された学習モデルを用いて、前記第２の取得工程で取得した画像から、距離を画素値とする第２の距離画像情報を推定する推定工程と、
   前記撮像装置の位置及び姿勢と、当該位置及び姿勢に対応する距離画像情報を三次元マップとして保持するマップ保持工程と、
   前記三次元マップ、及び、前記第２の取得工程で取得した画像に基づいて、前記撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、
   前記位置姿勢算出工程で算出された前記位置及び姿勢、及び、前記推定工程の推定で得た前記第２の距離画像情報に基づき前記三次元マップを更新するマップ更新工程と、
   前記第１の距離画像情報と、前記マップ更新工程で更新された三次元マップにおける距離画像情報に基づき、距離を画素値とする第３の距離画像情報を生成する生成工程と
   を備えることを特徴とする情報処理装置の制御方法。
10. コンピュータを、請求項１乃至６の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images