JP7843801B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

従来、車両が走行する車線を検出する技術が知られている。例えば、特許文献１には、路面画像から区画線の候補である候補線を抽出し、抽出された候補線の線種、線色、及び、逆光の影響の有無を判定し、抽出された候補線が多重線を構成しているか否かを判定し、これら判定結果を用いて、区画線となる候補線を選択し、選択された候補線を認識して、車線の形状を推定する技術が開示されている。

特開２０１８－１０６２５９号公報

特許文献１に記載の技術は、路面画像から区画線の候補である候補線を抽出することを前提とするものである。しかしながら、例えば、自車両の周辺に複数の他車両が走行している場合や、道路区画線がそもそも明瞭でない場合、自車両の走行車線を適切に推定できない場合があった。

本発明は、このような事情を考慮してなされたものであり、路面画像から道路区画線を検出できない場合であっても、自車両の走行車線を適切に推定することができる情報処理装置、情報処理方法、およびプログラムを提供することを目的の一つとする。

この発明に係る情報処理装置、情報処理方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る情報処理装置は、移動体の周辺を撮像した画像データから一以上の他移動体を検出する検出部と、前記移動体を基準とする、前記移動体の横方向に関する前記他移動体の相対位置と、前記移動体の縦方向に関する前記他移動体の相対移動量とを算出する算出部と、前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量とに基づいて、前記他移動体をクラスタリングするクラスタリング部と、前記クラスタリングの結果に基づいて車線領域を特定する特定部と、前記車線領域に基づいて、前記移動体が走行する車線の中央線を推定する推定部と、を備えるものである。

（２）：上記（１）の態様において、前記特定部は、前記クラスタリングの結果に基づいて、前記移動体が走行する自車線の領域を表す自車線領域と、前記移動体に対向する領域を表す対向車線領域とを特定し、前記推定部は、前記自車線領域と前記対向車線領域の間の線として前記中央線を推定するものである。

（３）：上記（２）の態様において、前記特定部は、前記クラスタリングによって得られた複数のクラスタにそれぞれ属する複数の移動体群のうち、前記移動体に接近する移動体群を特定し、特定した前記移動体群が属するクラスタを含む領域を前記対向車線領域として特定するものである。

（４）：上記（１）の態様において、前記推定部は、前記車線領域のエッジから第１消失点を推定するとともに、前記移動体から最も遠方に存在する他移動体を第２消失点として推定し、前記第１消失点と前記第２消失点との距離が閾値以内である場合に、前記第１消失点又は前記第２消失点を消失点として同定するものである。

（５）：上記（１）の態様において、前記推定部は、前記移動体が曲線道路を走行していると判定した場合、前記車線領域のエッジから第１消失点を推定するとともに、前記移動体から最も遠方に存在する他移動体を第２消失点として推定し、前記第１消失点と前記第２消失点との距離が閾値以内である場合に、前記第１消失点又は前記第２消失点を消失点として同定するものである。

（６）：上記（５）の態様において、前記推定部は、前記中央線に分節点が存在すると判定した場合、前記移動体が曲線道路を走行していると判定するものである。

（７）：上記（１）の態様において、前記クラスタリング部は、時系列にわたって撮像された複数フレーム分の前記画像データから検出された一以上の他移動体をクラスタリングするものである。

（８）：上記（１）の態様において、前記クラスタリング部は、前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量の移動平均に基づいて、前記他移動体をクラスタリングするものである。

（９）：上記（１）の態様において、前記クラスタリング部は、四輪車である前記他移動体のみをクラスタリングするものである。

（１０）：上記（１）の態様において、前記検出部は、前記移動体の後方に位置する前記他移動体を検出し、前記情報処理装置は、前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量とに基づいて前記他移動体の移動方向を推定する移動方向推定部と、前記他移動体の推定移動方向と前記車線領域とに基づいて、他移動体が追い越しを行うか否かを判定する判定部と、をさらに備えるものである。

（１１）：上記（１０）の態様において、前記判定部は、前記他移動体が前記移動体を追い越すと判定された場合、前記追い越しを前記移動体の乗員に報知する報知部をさらに備えるものである。

（１２）：この発明の別の態様に係る情報処理方法は、コンピュータが、移動体の周辺を撮像した画像データから一以上の他移動体を検出し、前記移動体を基準とする、前記移動体の横方向に関する前記他移動体の相対位置と、前記移動体の縦方向に関する前記他移動体の相対移動量とを算出し、前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量とに基づいて、前記他移動体をクラスタリングし、前記クラスタリングの結果に基づいて車線領域を特定し、前記車線領域に基づいて、前記移動体が走行する車線の中央線を推定するものである。

（１３）：この発明の別の態様に係るプログラムは、コンピュータに、移動体の周辺を撮像した画像データから一以上の他移動体を検出させ、前記移動体を基準とする、前記移動体の横方向に関する前記他移動体の相対位置と、前記移動体の縦方向に関する前記他移動体の相対移動量とを算出させ、前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量とに基づいて、前記他移動体をクラスタリングさせ、前記クラスタリングの結果に基づいて車線領域を特定させ、前記車線領域に基づいて、前記移動体が走行する車線の中央線を推定させるものである。

（１）～（１３）の態様によれば、路面画像から道路区画線を検出できない場合であっても、自車両の走行車線を適切に推定することができる。

自車両Ｍに搭載される端末装置１００の使用環境の一例を示す図である。 端末装置１００の構成の一例を示す図である。 撮像画像ＩＭから検出部１１０によって検出された一以上の他車両の一例を示す図である。 算出部１２０が自車両Ｍと他車両Ｍｋとの間の相対位置を算出する場面の一例を示す図である。 算出部１２０が自車両Ｍと他車両との間の縦方向位置を算出する方法を説明するための図である。 算出部１２０が自車両Ｍと他車両との間の横方向位置を算出する方法を説明するための図である。 算出部１２０によって生成される鳥観図の一例を示す図である。 クラスタリング部１３０によって実行されるクラスタリングの概要を説明するための図である。 特定部１４０によって自車両Ｍを含む車線領域を特定する方法を説明するための図である。 推定部１５０によって推定される中央線および消失点の一例を示す図である。 自車両Ｍが曲線道路を走行する場合における推定部１５０の処理を説明するための図である。 端末装置１００によって実行される処理の流れの一例を示すフローチャートである。 第２実施形態に係る自車両Ｍに搭載される端末装置２００の使用環境の一例を示す図である。 第２実施形態に係る端末装置２００の構成の一例を示す図である。 追い越し判定および報知処理の詳細を説明するための図である。 端末装置２００によって実行される処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の情報処理装置、情報処理方法、およびプログラムの実施形態について説明する。

[構成]
図１は、自車両Ｍに搭載される端末装置１００の使用環境の一例を示す図である。自車両Ｍは、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

図１に示す通り、端末装置１００は、自車両Ｍの進行方向に関する前方領域を撮像可能なように、自車両Ｍに設置される。端末装置１００は、例えば、スマートフォンやタブレット端末などのコンピュータ装置である。端末装置１００は、例えば、自車両Ｍのダッシュボードに取り付けられた不図示の車載用ホルダによって保持され、自車両Ｍの前方領域を撮像する。

図２は、端末装置１００の構成の一例を示す図である。図２に示す通り、端末装置１００は、例えば、カメラ１０と、表示部２０と、検出部１１０と、算出部１２０と、クラスタリング部１３０と、特定部１４０と、推定部１５０とを備える。検出部１１０と、算出部１２０と、クラスタリング部１３０と、特定部１４０と、推定部１５０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。以下の説明では、検出部１１０と、算出部１２０と、クラスタリング部１３０と、特定部１４０と、推定部１５０の機能を総称して、「情報処理アプリ」と称する場合がある。情報処理アプリは、端末装置１００に搭載され、例えば、端末装置１００のユーザが自車両Ｍの運転を開始する際に起動されるものである。また、情報処理アプリを搭載する端末装置１００は、「情報処理装置」の一例である。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。表示部２０は、例えば、タッチパネルや液晶ディスプレイ等の表示装置である。表示部２０は、後述する推定部１５０による推定結果を表示する。端末装置１００のユーザは、表示部２０に表示されるガイド線に従って、端末装置１００を所定の高さ（後述する消失点Ｖの初期高さ）に位置合わせする。図１は、端末装置１００が位置合わせされた結果、自車両Ｍの他車両Ｍ１の上端付近を、路面に関して略水平方向に撮像している様子を表している。

［検出部］
検出部１１０は、カメラ１０が撮像した画像ＩＭ内に写される物体を認識する。より具体的には、例えば、検出部１１０は、カメラ１０が撮像した画像が入力されると物体の存在、位置、種別などの情報を出力するように学習された学習済みモデルを用いて、物体を検出する。検出部１１０は、この学習済みモデルを用いて、二輪車や四輪車などの種別を区別しつつ、撮像画像ＩＭにおける一以上の他車両を検出する。

図３は、撮像画像ＩＭから検出部１１０によって検出された一以上の他車両の一例を示す図である。図３において、符号Ｍ１からＭ３は、検出部１１０によって検出された四輪車を表し、符号Ｂ１からＢ３は、検出部１１０によって検出された二輪車を表す。端末装置１００は、検出部１１０によって検出された他車両を、例えば、バウンディングボックスによって囲むことによって表示部２０に表示させる。図３では、検出された四輪車と二輪車とを同一のバウンディングボックスによって表示しているが、二輪車と四輪車とを異なる表示態様で表示部２０に表示させてもよい。

［算出部］
算出部１２０は、検出部１１０が一以上の他車両を検出すると、さらに、自車両Ｍを基準とする一以上の他車両の縦方向位置および横方向位置（以下、縦方向位置と横方向位置の組み合わせを「相対位置」と称する場合がある）とを算出する。図４は、算出部１２０が自車両Ｍと他車両Ｍｋとの間の相対位置を算出する場面の一例を示す図である。図４において、符号ｈＡは、表示部２０の下端に対応する道路位置から、画像の消失点Ｖまでの高さを示し、符号ｈＢは、検出された他車両Ｍ１の下端に対応する道路位置から、画像の消失点Ｖまでの高さを示す。

図５は、算出部１２０が自車両Ｍと他車両との間の縦方向位置を算出する方法を説明するための図である。図５において、符号ＩＳは、カメラ１０に含まれる画像センサを示し、符号Ｄは、カメラ１０に含まれるディスプレイ（カメラ１０の端部）を示し、符号Ｏは、画像センサの中央部を示し、符号Ａは、ディスプレイＤの底部に写される道路位置Ｆに対応するディスプレイＤ上の位置を示し、符号Ｂは、他車両Ｍ１の後端部の道路位置Ｇに対応するディスプレイＤ上の位置を示し、符号Ｃは、画像センサによる撮像方向とディスプレイＤとの交点を示し、符号Ｈは、路面を基準とするカメラ１０の高さを示し、符号ＤＡは、画像センサＩＳの位置からディスプレイＤの底部に写される道路位置Ｆまでの距離を示し、符号ＤＢは、画像センサＩＳの位置から他車両Ｍ１の後端部の道路位置Ｇまでの距離を示す。

図５において、三角形ＯＡＣと三角形ＯＥＦとは相似関係にあり、三角形ＯＢＣと三角形ＯＥＧとは相似関係にある。すなわち、距離に関して、Ｌ：ｈＡ＝ＤＡ：Ｈと、Ｌ：ｈＢ＝ＤＢ：Ｈが成立するため、変形して、ＤＡ＝Ｌ×Ｈ／ｈＡと、ＤＢ＝Ｌ×Ｈ／ｈＢを得る。そのため、算出部１２０は、ＤＢ＝ＤＡ×ｈＡ／ｈＢの計算式を用いて、他車両Ｍ１の後端部の道路位置Ｇまでの距離を算出することができる。ここで、消失点までの高さｈＡ、ｈＢはカメラ１０によって撮像された画像に基づいて事前に算出し、他車両Ｍ１の位置に依存しない距離ＤＡは、端末装置１００の設置位置に応じて、事前に算出することができる。なお、上記の計算は、消失点の座標情報全てを必要とすることなく、消失点の高さ情報のみを用いて実行することができる。

算出部１２０は、さらに、自車両Ｍと他車両との間の横方向位置を算出する。図６は、算出部１２０が自車両Ｍと他車両との間の横方向位置を算出する方法を説明するための図である。図６において、符号Ｖは画像の消失点を示し、符号Ｗｂは、他車両Ｍ１の消失点Ｖを基準とする横方向のピクセル数を示し、符号Ｗａは、ピクセル数ＷｂをディスプレイＤの最下端に移動したときのピクセル数を示す。

図６において、三角形ＶＴ’Ｔと、三角形ＶＳ’Ｓとは相似関係にある。すなわち、距離に関して、Ｗａ：ｈＡ＝＝Ｗｂ：ｈＢが成立するため、変形して、Ｗａ＝Ｗｂ×ｈＡ／ｈＢを得る。ここで、ディスプレイＤの下端の全ピクセル数Ｗｓｃと、自車両Ｍが走行する道路幅Ｗｒｄが既知であると仮定すると、算出部１２０は、ピクセル数Ｗａに対応する実際の横方向に関する距離Ｗを、Ｗ＝Ｗｒｄ×Ｗａ／Ｗｓｃの計算式を用いて算出することができる。以上のようにして、算出部１２０は、自車両Ｍと他車両Ｍ１との間の相対位置を算出する。

算出部１２０は、自車両Ｍを基準とする一以上の他車両の相対位置を算出すると、これら一以上の他車両を、自車両Ｍを基準とした鳥観図にマッピングする。図７は、算出部１２０によって生成される鳥観図の一例を示す図である。図７の左部は、図３に示した状況に基づいて、算出部１２０が、自車両Ｍを基準とする一以上の他車両の相対位置を算出し、これらを鳥観図にマッピングした画面を表している。

算出部１２０は、さらに、カメラ１０によって時系列に撮像されたＴフレーム（Ｔは正の整数）分の画像について、他車両の相対位置を算出し、これら時系列の相対位置の差分に基づいて、自車両Ｍを基準とする他車両の相対移動量を算出する。より具体的には、算出部１２０は、時点ｔ（ｋ）（ｋは１以上Ｔ以下の整数）における他車両の相対位置と、期間ｔ（ｋ）－ｔ（ｋ－１）にわたる他車両の相対移動量を合わせて算出する。図７の右部に示す矢印は、各他車両の相対移動量の方向および大きさを表している。

［クラスタリング部］
クラスタリング部１３０は、算出部１２０によって算出された、自車両Ｍの横方向に関する他車両の相対位置と、自車両Ｍの縦方向に関する他車両の相対移動量とに基づいて、一以上の他車両をクラスタリングする。

図８は、クラスタリング部１３０によって実行されるクラスタリングの概要を説明するための図である。本実施形態において、クラスタリング部１３０は、各他車両について算出された縦方向に関する相対移動量および横方向位置を二次元グラフ上で表現し、これらの値にｋ－ｍｅａｎｓ法を施すことによって、他車両をクラスタリングする。図８は、横方向位置をＸ座標とし、相対移動量をＹ座標とし、ｋ＝２として、クラスタリングした結果を表している。より一般的に、ｋの値を決定するために、クラスタリング部１３０は、各ｋの値（例えば、２～５）でクラスタリングを実行した場合における各クラスタの平均値と各データ値との距離を算出して、その和を取り、距離の和が最小となったｋの値を採用してもよい。

本実施形態では、図８に示す通り、クラスタリング部１３０は、検出された他車両のうち、四輪車に対してのみクラスタリングを実行する。これは、一般的に、二輪車に比して、四輪車は走行軌道が滑らかであり、また、推定対象となる車線に沿った走行を行う傾向が強いためである。クラスタリングの対象を四輪車に限定することにより、二輪車を含める場合に比して、同定される消失点の精度を高めることができ得る。代替的に、クラスタリング部１３０は、四輪車のみならず、二輪車を含めて、クラスタリングを実行してもよい。二輪車を含めてクラスタリングを行う場合、クラスタリング部１３０は、撮像された画像に四輪車が所定台数以上存在するか否かを判定し、四輪車が所定台数未満しか存在しないと判定された場合にのみ、二輪車を含めてクラスタリングを行ってもよい。

なお、本発明は、ｋ－ｍｅａｎｓ法に限定されず、例えば、他の教師無しアルゴリズム（例えば、混合ガウス分布モデル、超体積法など）を用いてクラスタリングを行ってもよい。また、図８は、時点ｔ（ｋ）における他車両の横方向位置と、期間ｔ（ｋ）－ｔ（ｋ－１）にわたる他車両の相対移動量とをクラスタリングした場合を表しているが、クラスタリングの結果を安定させるため、各他車両について、時点ｔ（１）を開始点とする横方向位置及び／又は相対移動量の移動平均値に対してクラスタリングを施してもよい。これにより、クラスタリングの結果を安定させることができる。代替的に、移動平均値に代えて、例えば、相対移動量および横方向位置に関する時系列の観測値から、ベイズ推定量を導出し、導出したベイズ推定量にクラスタリングを施してもよい。

［特定部］
図９は、特定部１４０によって、自車両Ｍを含む車線領域を特定する方法を説明するための図である。特定部１４０は、クラスタリング部１３０によって各クラスタが得られると、当該クラスタの横幅を求め、求めた横幅の左端および右端を、それぞれ左道路区画線および右道路区画線（以下、左道路区画線と右道路区画線の組み合わせを「エッジ」と称する場合がある）として特定し、左道路区画線および右道路区画線によって囲まれる領域を車線領域として特定する。図９の場合、特定部１４０は、クラスタＣ１について、左道路区画線ＬＬおよび右道路区画線ＣＬを特定し、これら左道路区画線ＬＬおよび右道路区画線ＣＬによって囲まれる領域を車線領域ＬＤとして特定している。さらに、特定部１４０は、クラスタＣ２について、左道路区画線ＣＬおよび右道路区画線ＲＬを特定し、これら左道路区画線ＣＬおよび右道路区画線ＲＬによって囲まれる領域を車線領域ＲＬとして特定している。

特定部１４０は、一以上の車線領域を特定すると、そのうち、自車両Ｍが走行する自車線を表す領域を自車線領域として特定し、自車線領域以外の車線領域を他車線領域として特定する。特定部１４０は、さらに、各クラスタを構成する他車両の相対移動量に基づいて、他車線領域が、自車両Ｍに対向する領域を表す対向車線領域であるか否かを特定する。より具体的には、例えば、特定部１４０は、各クラスタを構成する他車両の相対移動量に基づいて、当該他車両が自車両Ｍに接近していると判定した場合（すなわち、相対移動量が負であると判定した場合）、当該クラスタが対向車線領域であると特定することができる。クラスタが複数の他車両を含む場合、特定部１４０は、例えば、相対移動量の総和が負である場合に、当該クラスタが対向車線領域であると特定してもよいし、相対移動量が負である他車両の数に基づく多数決方式により、当該クラスタが対向車線領域であるか否かを特定してもよい。

［推定部］
推定部１５０は、特定部１４０によって特定された車線領域に基づいて、自車両Ｍが走行する自車線領域の中央線を推定する。より具体的には、例えば、推定部１５０は、特定部１４０によって特定された車線領域が複数存在する場合、特定された複数の車線領域の間の線を中央線として推定する。例えば、図９の場合、推定部１５０は、車線領域ＬＤと車線領域ＲＤの間を通る線ＣＬを中央線として推定することとなる。特に、推定部１５０は、特定部１４０によって、自車線領域と対向車線領域とが特定された場合、自車線領域と対向車線領域の間を通る線ＣＬを中央線として推定することができる。

図１０は、推定部１５０によって推定される中央線および消失点の一例を示す図である。推定部１５０が中央線ＣＬを推定すると、端末装置１００は、推定された中央線ＣＬを表示部２０に表示させる。このとき、図１０に示す通り、端末装置１００は、推定された中央線ＣＬに加えて、左道路区画線ＣＬおよび右道路区画線ＲＬを合わせて表示させる。自車両Ｍを運転する運転者は、これら中央線ＣＬ、左道路区画線ＣＬ、および右道路区画線ＲＬを参照することにより、自車両Ｍが走行する車線を把握することができる。すなわち、本実施形態によれば、路面画像から道路区画線を検出できない場合であっても、自車両の走行車線を適切に推定することができる。

推定部１５０は、特定部１４０によって左道路区画線ＣＬおよび右道路区画線ＲＬが特定されると、これら特定された左道路区画線ＣＬおよび右道路区画線ＲＬ（すなわち、エッジ）の交点を消失点Ｖとして同定する。代替的に、推定部１５０は、左道路区画線ＣＬおよび右道路区画線ＲＬのいずれか一方と、中央線ＣＬとの交点を消失点Ｖとして同定してもよい。このようにして消失点Ｖが同定されると、検出部１１０および算出部１２０は、同定された消失点Ｖを用いて、図３から図７を介して説明した処理を再度実行し、鳥瞰図を再生成する。このような処理を繰り返すことにより、鳥瞰図の精度を向上させることができる。

［分節点の存在］
上記で説明した処理は、自車両Ｍが走行する道路が直線道路であるか曲線道路であるかを問わず、適用可能なものである。しかしながら、自車両Ｍが曲線道路を走行する場合、上記のクラスタリングに基づく車線推定は安定性に欠けることが分かっている。そのため、推定部１５０は、自車両Ｍが走行する道路に、直線道路から曲線道路への分節点が存在するか否かを判定する。より具体的には、例えば、推定部１５０は、特定部１４０によって特定された中央線ＣＬの二階の導関数を算出し、算出した導関数の符号が変化する点を分節点ＤＰとして推定してもよい。また、例えば、推定部１５０は、特定部１４０によって特定された中央線ＣＬの曲率を算出し、算出した曲率が閾値以上となる点を分節点ＤＰとして推定してもよい。

推定部１５０は、分節点が存在すると判定された場合、上述した左道路区画線ＣＬおよび右道路区画線ＲＬの交点としての消失点Ｖ１に加えて、自車両Ｍから最も遠方に存在する他車両を消失点Ｖ２と見なして、これら消失点Ｖ１および消失点Ｖ２に乖離が存在するか否かを判定することによって、クラスタリングに基づく車線推定の信頼性を検証する。

図１１は、自車両Ｍが曲線道路を走行する場合における推定部１５０の処理を説明するための図である。図１１は、一例として、クラスタリングの結果、クラスタＣ１～Ｃ４が検出された場合を表している。

推定部１５０は、分節点が存在すると判定した場合、自車両Ｍから最も遠方に存在する他車両Ｍ１を消失点Ｖ２と見なす。次に、推定部１５０は、左道路区画線ＣＬおよび右道路区画線ＲＬの交点としての消失点Ｖ１と、他車両Ｍ１としての消失点Ｖ２との距離が閾値以内であるか否かを判定する。消失点Ｖ１と消失点Ｖ２との距離が閾値以内であると判定した場合、推定部１５０は、これら消失点Ｖ１および消失点Ｖ２のいずれか一方を消失点Ｖとして同定する。このようにして消失点Ｖが同定されると、検出部１１０および算出部１２０は、同定された消失点Ｖを用いて、図３から図７を介して説明した処理を再度実行し、鳥瞰図を再生成する。このような処理を繰り返すことにより、鳥瞰図の精度を向上させることができる。

なお、本実施形態では、一例として、端末装置１００が、自車両Ｍの前方領域を撮像するように設置され、自車両Ｍの前方領域における消失点を同定する場合について説明した。しかし、本発明は、そのような構成に限定されず、端末装置１００は、自車両Ｍの後方領域を撮像するように設置され、自車両Ｍの後方領域における消失点を同定してもよい。その場合、生成される鳥観図は、自車両Ｍの後方領域を写すものとなり、自車両Ｍの乗員は、当該鳥観図を確認することによって、自車両Ｍの後方状況を確認することができる。また、例えば、二台以上の端末装置１００を、自車両Ｍの前方領域および後方領域を撮像するようにそれぞれ設置し、これら二台以上の端末装置１００が生成した前方領域の鳥観図および後方領域の鳥観図を統合して、いずれか一方の端末装置１００や自車両Ｍのナビゲーション装置に表示させてもよい。

［処理の流れ］
次に、図１２を参照して、端末装置１００によって実行される処理の流れについて説明する。図１２は、端末装置１００によって実行される処理の流れの一例を示すフローチャートである。図１２に示すフローチャートの処理は、例えば、自車両Ｍが走行中、繰り返し実行されるものである。

まず、検出部１１０は、カメラ１０によって時系列に撮像されたＴフレーム分の画像について複数の他車両を検出する（ステップＳ１００）。次に、算出部１２０は、検出した他車両の相対位置および相対移動量を算出する（ステップＳ１０２）。次に、クラスタリング部１３０は、算出した他車両の相対位置および相対移動量に基づいて、他車両をクラスタリングする（ステップＳ１０４）。次に、特定部１４０は、クラスタリングの結果に基づいて車線領域を特定する（ステップＳ１０６）。次に、推定部１５０は、特定された車線領域に基づいて、中央線を推定する（ステップＳ１０８）。

次に、推定部１５０は、推定された中央線上に分節点が存在するか否かを判定する（ステップＳ１１０）。推定された中央線上に分節点が存在しないと判定された場合、推定部１５０は、特定された車線領域のエッジの交点として消失点Ｖを同定する（ステップＳ１１２）。一方、推定された中央線上に分節点が存在すると判定された場合、推定部１５０は、車線領域のエッジの交点として第１消失点Ｖ１を推定するとともに、遠方車両を第２消失点Ｖ２として推定する（ステップＳ１１４）。

次に、推定部１５０は、第１消失点Ｖ１と第２消失点Ｖ２の距離が閾値以内であるか否かを判定する（ステップＳ１１６）。第１消失点Ｖ１と第２消失点Ｖ２の距離が閾値以内ではないと判定された場合、端末装置１００は、処理をステップＳ１００に戻す。一方、第１消失点Ｖ１と第２消失点Ｖ２の距離が閾値以内であると判定された場合、推定部１５０は、第１消失点Ｖ１又は第２消失点Ｖ２を消失点Ｖとして同定する（ステップＳ１１８）。これにより、本フローチャートの処理が終了する。

以上の通り説明した本実施形態によれば、検出した他移動体の相対位置と相対移動量とに基づいて他移動体をクラスタリングし、クラスタリングの結果に基づいて車線領域を特定し、車線領域に基づいて、車線の中央線を推定する。これにより、路面画像から道路区画線を検出できない場合であっても、自車両の走行車線を適切に推定することができる。

［第２実施形態］
図１３は、第２実施形態に係る自車両Ｍに搭載される端末装置２００の使用環境の一例を示す図である。上記の実施形態では、端末装置１００は、自車両Ｍの進行方向に関する前方領域を撮像可能なように、自車両Ｍに設置されていた。一方、第２実施形態では、図１３に示す通り、端末装置２００は、自車両Ｍの進行逆方向に関する後方領域を撮像可能なように、自車両Ｍに設置される。以下で説明する通り、第２実施形態において、端末装置２００は、自車両Ｍの進行逆方向における車線領域を特定するのみならず、自車両Ｍの後方領域を走行する他車両の相対位置および相対移動量に基づいて、当該他車両が自車両Ｍを追い越すか否かを判定し、他車両が自車両Ｍを追い越すと判定された場合、自車両Ｍの乗員に対して報知を行う。

図１４は、第２実施形態に係る端末装置２００の構成の一例を示す図である。端末装置２００は、第１実施形態に係る端末装置１００の機能に加えて、第２推定部１６０と、判定部１７０と、報知部１８０と、を備える。第２推定部１６０と、判定部１７０と、報知部１８０は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

検出部１１０、算出部１２０、クラスタリング部１３０、特定部１４０、推定部１５０の機能は、第１実施形態と同様である。すなわち、検出部１１０は、カメラ１０によって時系列に撮像され、自車両Ｍの後方領域を写したＴフレーム分の画像について複数の他車両を検出する。算出部１２０は、自車両Ｍの後方領域において検出した他車両の横方向に関する相対位置および縦方向に関する相対移動量を算出する。クラスタリング部１３０は、算出した他車両の相対位置および相対移動量に基づいて、他車両をクラスタリングする。特定部１４０は、クラスタリングの結果に基づいて車線領域を特定する。推定部１５０は、特定された車線領域に基づいて、中央線を推定する。

第２推定部１６０は、算出部１２０によって算出された他車両の横方向に関する相対位置および縦方向に関する相対移動量に基づいて、他車両の移動方向を推定する。より具体的には、例えば、第２推定部１６０は、他車両の横方向に関する相対位置を時系列に算出し、算出した時系列の相対位置の差分が、正の値（右方向）を取るか負の値（左方向）を取るかによって、他車両の横方向に関する移動方向を推定することができる。第２推定部１６０は、さらに、縦方向に関する相対移動量が正の値（前方向）を取るか負の値（後方向）を取るかによって、他車両の縦方向に関する移動方向を推定することができる。第２推定部１６０は、これらの横方向および縦方向に関する推定結果を組み合わせて、例えば、算出した時系列の相対位置の差分が正の値（右方向）を取り、かつ縦方向に関する相対移動量が正の値（前方向）を取る場合、当該他車両の進行方向は、「右前方向」であると推定することができる。

なお、第２推定部１６０は、相対位置および相対移動量に関する微差や誤差を考慮して、閾値を用いて、移動方向を推定してもよい。例えば、第２推定部１６０は、算出した時系列の相対位置の差分の絶対値が閾値以上である場合にのみ、当該差分が正の値（右方向）を取るか負の値（左方向）を取るかを推定してもよい。さらに、第２推定部１６０は、縦方向に関する相対移動量の絶対値が閾値以上である場合にのみ、当該相対移動量が正の値（前方向）を取るか負の値（後方向）を取るかを推定してもよい。

図１５は、追い越し判定および報知処理の詳細を説明するための図である。図１５において、符号ＬＬおよびＲＬは、特定部１４０によって特定された左道路区画線ＬＬおよび右道路区画線ＣＬを表し、特定部１４０は、これら左道路区画線ＬＬおよび右道路区画線ＣＬによって囲まれる領域を車線領域ＬＤとして特定している。また、図１５では、一例として、第２推定部１６０によって、他車両Ｍ１の進行方向が「右前方向」であると推定された場合を表している。判定部１７０は、第２推定部１６０によって推定された推定移動方向と、特定部１４０によって特定された車線領域ＬＤとに基づいて、他車両Ｍ１が自車両Ｍを追い越すか否かを判定する。より具体的には、例えば、判定部１７０は、第２推定部１６０によって推定された推定移動方向が、「右前方向」又は「左前方向」であり、かつ他車両Ｍ１の位置が、左道路区画線ＬＬ又は右道路区画線ＣＬから所定距離以内である場合、他車両Ｍ１が自車両Ｍを追い越すと判定する。このとき、判定部１７０は、他車両Ｍ１の縦方向に関する相対移動量が閾値以上であるか否か（すなわち、他車両Ｍ１が、自車両Ｍに比して高速で走行しているか否かを）を考慮してもよい。また、他の態様として、判定部１７０は、第２推定部１６０によって推定された推定移動方向が、「右方向」又は「左方向」である場合であっても（すなわち、縦方向に関する相対移動量が正の値を取らない場合であっても）、他車両Ｍ１の位置が、左道路区画線ＬＬ又は右道路区画線ＣＬから所定距離以内である場合、他車両Ｍ１が自車両Ｍを追い越すと判定してもよい。より一般に、判定部１７０は、第２推定部１６０によって推定された推定移動方向と、特定部１４０によって特定された車線領域ＬＤとの少なくとも一方を用いて、追い越し判定を行えばよい。

報知部１８０は、判定部１７０によって、他車両Ｍ１が自車両Ｍを追い越すと判定された場合、自車両Ｍの乗員に当該追い越しを報知する。より具体的には、例えば、図１５の右部に示す通り、報知部１８０は、表示部２０に、他車両Ｍ１が自車両Ｍを追い越そうする旨を示すアラート情報を表示させる。このとき、報知部１８０は、他車両Ｍ１が自車両Ｍを右方向から追い越すと判定された場合、表示部２０の右側にアラート情報を表示させてもよいし、他車両Ｍ１が自車両Ｍを左方向から追い越すと判定された場合、表示部２０の左側にアラート情報を表示させてもよい。代替的に、報知部１８０は、端末装置１００の音声出力機能を活用して、音声によって、他車両Ｍ１が自車両Ｍを追い越そうする旨、通知してもよい。

図１６は、端末装置２００によって実行される処理の流れの一例を示すフローチャートである。図１６に示すフローチャートの処理は、自車両Ｍが走行中、特定部１４０によって自車両Ｍの車線領域が特定されているという前提において、実行されるものである。

まず、第２推定部１６０は、算出部１２０によって算出された他車両の横方向に関する相対位置および縦方向に関する相対移動量に基づいて、他車両の移動方向を推定する（ステップＳ２００）。次に、判定部１７０は、第２推定部１６０によって推定された推定移動方向と、特定部１４０によって特定された車線領域とに基づいて、他車両が自車両を追い越すか否かを判定する（ステップＳ２０２）。他車両が自車両を追い越さないと判定された場合、端末装置２００は処理を終了する。一方、他車両が自車両を追い越すと判定された場合、報知部１８０は、表示部２０に、車線変更を報知する（ステップＳ２０４）。これにより、本フローチャートの処理が終了する。

以上の通り説明した第２実施形態によれば、路面画像から道路区画線を検出できない場合であっても、自車両の走行車線を適切に推定し、推定した走行車線を活用して、自車両の乗員の運転支援を好適に行うことができる。

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令（computer-readable instructions）を格納する記憶媒体（storage medium）と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより（the processor executing the computer-readable instructions to:）
移動体の周辺を撮像した画像データから一以上の他移動体を検出し、
前記移動体を基準とする、前記移動体の横方向に関する前記他移動体の相対位置と、前記移動体の縦方向に関する前記他移動体の相対移動量とを算出し、
前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量とに基づいて、前記他移動体をクラスタリングし、
前記クラスタリングの結果に基づいて車線領域を特定し、
前記車線領域に基づいて、前記移動体が走行する車線の中央線を推定する、
情報処理装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ カメラ
２０ 表示部
１００ 端末装置
１１０ 検出部
１２０ 算出部
１３０ クラスタリング部
１４０ 特定部
１５０ 推定部

Claims (13)

1. 移動体の周辺を撮像した画像データから複数の他移動体を検出する検出部と、
   前記複数の他移動体の各々について、前記移動体を基準とする、前記移動体の横方向に関する前記他移動体の相対位置と、前記移動体の縦方向に関する前記他移動体の相対移動量とを算出する算出部と、
   前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量とに基づいて、前記複数の他移動体をクラスタリングするクラスタリング部と、
   前記クラスタリングの結果に基づいて、前記クラスタリングによって得られた各クラスタの横幅として車線領域を特定する特定部と、
   前記車線領域に基づいて、前記移動体が走行する車線の中央線を推定する推定部と、を備える、
   情報処理装置。
2. 前記特定部は、前記クラスタリングの結果に基づいて、前記移動体が走行する自車線の領域を表す自車線領域と、前記移動体に対向する領域を表す対向車線領域とを特定し、
   前記推定部は、前記自車線領域と前記対向車線領域の間の線として前記中央線を推定する、
   請求項１に記載の情報処理装置。
3. 前記特定部は、前記クラスタリングによって得られた複数のクラスタにそれぞれ属する複数の移動体群のうち、前記移動体に接近する移動体群を特定し、特定した前記移動体群が属するクラスタを含む領域を前記対向車線領域として特定する、
   請求項２に記載の情報処理装置。
4. 前記推定部は、前記車線領域のエッジから第１消失点を推定するとともに、前記移動体から最も遠方に存在する他移動体を第２消失点として推定し、前記第１消失点と前記第２消失点との距離が閾値以内である場合に、前記第１消失点又は前記第２消失点を消失点として同定する、
   請求項１に記載の情報処理装置。
5. 前記推定部は、前記移動体が曲線道路を走行していると判定した場合、前記車線領域のエッジから第１消失点を推定するとともに、前記移動体から最も遠方に存在する他移動体を第２消失点として推定し、前記第１消失点と前記第２消失点との距離が閾値以内である場合に、前記第１消失点又は前記第２消失点を消失点として同定する、
   請求項１に記載の情報処理装置。
6. 前記推定部は、前記中央線に分節点が存在すると判定した場合、前記移動体が曲線道路を走行していると判定する、
   請求項５に記載の情報処理装置。
7. 前記クラスタリング部は、時系列にわたって撮像された複数フレーム分の前記画像データから検出された一以上の他移動体をクラスタリングする、
   請求項１に記載の情報処理装置。
8. 前記クラスタリング部は、前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量の移動平均に基づいて、前記他移動体をクラスタリングする、
   請求項１に記載の情報処理装置。
9. 前記クラスタリング部は、四輪車である前記他移動体のみをクラスタリングする、
   請求項１に記載の情報処理装置。
10. 前記検出部は、前記移動体の後方に位置する前記他移動体を検出し、
    前記情報処理装置は、
    前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量とに基づいて前記他移動体の移動方向を推定する移動方向推定部と、
    前記他移動体の推定移動方向と前記車線領域とに基づいて、前記他移動体が追い越しを行うか否かを判定する判定部と、を備える、
    請求項１に記載の情報処理装置。
11. 前記情報処理装置は、前記他移動体が前記移動体を追い越すと判定された場合、前記追い越しを前記移動体の乗員に報知する報知部をさらに備える、
    請求項１０に記載の情報処理装置。
12. コンピュータが、
    移動体の周辺を撮像した画像データから複数の他移動体を検出し、
    前記複数の他移動体の各々について、前記移動体を基準とする、前記移動体の横方向に関する前記他移動体の相対位置と、前記移動体の縦方向に関する前記他移動体の相対移動量とを算出し、
    前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量とに基づいて、前記複数の他移動体をクラスタリングし、
    前記クラスタリングの結果に基づいて、前記クラスタリングによって得られた各クラスタの横幅として車線領域を特定し、
    前記車線領域に基づいて、前記移動体が走行する車線の中央線を推定する、
    情報処理方法。
13. コンピュータに、
    移動体の周辺を撮像した画像データから複数の他移動体を検出させ、
    前記複数の他移動体の各々について、前記移動体を基準とする、前記移動体の横方向に関する前記他移動体の相対位置と、前記移動体の縦方向に関する前記他移動体の相対移動量とを算出させ、
    前記横方向に関する前記他移動体の相対位置と、前記縦方向に関する前記他移動体の相対移動量とに基づいて、前記複数の他移動体をクラスタリングさせ、
    前記クラスタリングの結果に基づいて、前記クラスタリングによって得られた各クラスタの横幅として車線領域を特定させ、
    前記車線領域に基づいて、前記移動体が走行する車線の中央線を推定させる、
    プログラム。