JP6313646B2 - 外界認識装置 - Google Patents

Description

本発明は、自動車の外界の画像情報から物体を検出する外界認識装置に関する。

車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵、アクセル、ブレーキを自動制御する装置に関して研究開発が行われており、一部の車両には既に搭載されている。その中でも、車両に搭載したカメラで車両の前方の車両や歩行者等の障害物を検出して、ドライバへの警報や自動ブレーキを行うシステムは、車両の安全性向上の面で有効である。

自動車に搭載したカメラの映像から自動車の周囲の障害物を検知するシステムにおいて、検知対象物の種類が増加する傾向にあり、複数の対象物を同時に検知することが必要である。そのために、１つの撮像素子を共有して複数の対象物を検知する処理を時系列に実行する方法が特許文献１に記載されている。また、カメラの画素数の増加により処理する画像データが増加する傾向にある中で、限られた演算リソースにて検知処理を行う必要があり、その実現方法として、各対象物を検知するために必要な画像領域を切出して処理をする方法が特許文献２に記載されている。

ＷＯ2005/006756 特開2012-222762号公報

齋藤徹、他：ステレオ画像認識運転支援システムのソフトウェアの開発について、第14回画像センシングシンポジウム講演論文集、IN2-14(2008) 大塚裕史 他："エッジペア特徴空間法を用いた車両検知技術の開発"VIEW2005 ビジョン技術の実用化ワークショップ講演論文集 pp160-165, 2005 清原將裕、他：車両周辺監視のための移動体検出技術の開発、ViEWビジョン技術の実利用ワークショップ講演論文集(2011) pp.59-63

特許文献１に記載の内容は、処理を行う演算装置は１つであることを前提としており、必要な全ての対象物を必要な処理周期で検知処理することができないという問題が残る。また、特許文献２に記載のように、処理する画像領域や解像度を制限して処理負荷を抑える方法では、カメラの個数、カメラの画素数、対象物の種類が増加した場合に、必要な画像解像度で必要な処理周期で検知処理できず、自動車の制御に必要な精度の検知結果を得ることができない。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、撮像画像から複数の対象物を検知する際に、必要な精度の検知結果を得ることができる外界認識装置を提供することである。

上記課題を解決する本発明の外界認識装置は、車両から外部を撮像した画像を用いて外界を認識する外界認識装置であって、前記画像を画像処理する複数の処理部と、該複数の処理部の少なくとも一つの処理部によって処理されることにより対象物を認識する認識アプリケーションを前記対象物の種類別に複数格納する認識アプリケーション格納部と、外部環境情報または自車挙動情報の少なくとも一方を含む外部情報を取得する外部情報取得部と、該外部情報に基づいて前記認識アプリケーション格納部から少なくとも一つの認識アプリケーションを選択し、該選択された認識アプリケーションを処理するための処理部を前記複数の処理部の中から選択する選択部を有することを特徴としている。

本発明によれば、撮像画像から複数種類の対象物を検知する際に、限られた構成で必要な精度の検知結果を得られる外界認識装置を提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第１実施形態における外界認識装置の構成例を説明する図。 画像領域切出し部の処理フローを示した図。 車両が低速の場合の画像の切出し方法を示した図。 車両が低速の場合の処理スケジュールを示した図。 車両が高速の場合の画像の切出し方法を示した図。 車両が高速の場合の処理スケジュールを示した図。 視差算出の処理フローを示した図。 ステレオカメラにおける左右画像の対応点に関して説明する図。 左右画像の対応点の求め方を説明する図。 ステレオカメラにおいて視差から距離を算出する仕方を説明する図。 第１実施形態における外界認識装置の他の構成例を説明する図。 第１実施形態における外界認識装置の他の構成例を説明する図。 第２実施形態における外界認識装置の構成例を説明する図。 第２実施形態における外界認識装置の他の構成例を説明する図。

次に、本発明の実施形態について図面を用いて以下に説明する。

［第１実施形態］
本実施形態では、本発明の外界認識装置を、車両に搭載されたステレオカメラの映像を用いて、認識アプリケーションとして自車前方の車両検知、歩行者検知、道路標識認識を同時に実行可能なシステムに適用した場合について説明する。

まず、図１を用いて本実施形態における外界認識装置の概要について説明する。
図１は、本発明の装置を実現するブロック図である。ステレオカメラ100は、ステレオカメラ100を搭載した車両から車両前方を撮像するものであり、部分的に重複した範囲を撮像する左右一対の左撮像部101及び右撮像部102を有している。ステレオカメラ100は、演算装置とＲＯＭ、ＲＡＭなどの記憶装置を有するマイクロコンピュータなどのハードウエアと、ハードウエアにより処理されるソフトウエアプログラムとの協働により構成されており、その内部機能として、画像領域切り出し部103と、複数の記憶部105、106、107と、複数の演算装置（処理部）108〜111を有している。

そして、複数の演算装置108〜111の少なくとも一つの演算装置によって処理されることにより対象物を認識する認識アプリケーションを対象物の種類別に複数格納する不図示の認識アプリケーション格納部と、外部環境情報または自車挙動情報の少なくとも一方を含む外部情報を取得する外部情報取得部を有している。外部情報には、自車速度や灯火類の点灯の有無、ワイパー動作の有無等の自車の挙動を示す自車挙動情報と、カーナビゲーションの地図情報から取得した道路種別、道路周辺の市街化度合い（都市内、都市間）等の外部環境を示す外部環境情報が含まれている。

画像領域切出し部103は、左撮像部101、右撮像部102で撮像した画像の一部の領域を切出して、その画像データを複数の記憶部105、106、107の少なくとも一つに転送する。画像領域切出し部103は、外部情報を用いて左右の撮像部101、102で撮像した画像のどの領域を切出し、どの記憶部と演算装置を用いて画像を処理するかを決定する。画像領域切出し部103は、記憶部・演算装置選択機能を有する選択部104を備えており、外部情報に基づいて認識アプリケーション格納部から少なくとも一つの認識アプリケーションを選択し、その選択した認識アプリケーションを処理するための処理部を複数の処理部の中から選択する。そして、その選択した認識アプリケーションに応じて複数の記憶部の中から画像データを記憶させる少なくとも一つの記憶部を選択する。画像領域切出し部103で切り出された画像領域の画像データは、複数の記憶部である第１記憶部105、第２記憶部106、第３記憶部107の少なくとも一つに転送されて記憶される。

第１記憶部105、第２記憶部106、第３記憶部107に転送された画像データは、第１演算装置108、第２演算装置109、第３演算装置110で処理が行われる。第１演算装置108は、画像歪み補正と、左右カメラ画像の視差算出処理を高速に演算するようにハード化された専用の演算装置であり、第１演算装置108で処理した結果は、第２記憶部106、第３記憶部107に転送され、第２演算装置109、第３演算装置110でさらに認識処理され、所定の認識対象物である前方の車両、歩行者、道路標識を認識することができる。また同時に、第２演算装置109、第３演算装置110では、第１演算装置108で計算した視差算出結果を用いずに、直接画像データを処理して所定の認識対象物である前方の車両、歩行者、道路標識を認識する処理も行うことができる。

第２演算装置109、第３演算装置110で認識した結果は、第４演算装置111に転送される。第４演算装置111では、前方の車両、歩行者、道路標識の認識結果である認識対象物の有無、認識対象物までの相対距離、相対加速度の情報を用いて、自車を自動制御する加減速度量、操舵量を計算して自車の制御装置へ制御指示する。また、第４演算装置111では、前方の車両、歩行者、道路標識の認識結果である認識対象物の有無、認識対象物までの相対距離、相対加速度の情報を用いて、自車のドライバに警告する内容を決定し、決定した警告内容を自車のメータ装置に転送し、ドライバにメータ上の警告表示、音声等により警告する。本実施の形態では、図1に記載の全ての部分101〜111がステレオカメラ100に実装される。

ここで、演算装置108、109、110は、演算装置108が専用演算装置(ASICまたはFPGA)、演算装置109が１つの汎用演算装置、演算装置110がもう１つの汎用演算装置とし、全体で３つの処理装置が搭載されている。他の構成例としては、演算装置108が専用演算装置(ASICまたはFPGA)、演算装置109が１つの汎用演算装置内の１つの演算コア、演算装置110が同じ汎用演算装置内のもう１つの演算コアであり、全体で２つの処理装置が搭載されている構成としてもよい。さらに他の構成例としては、全体がワンチップの演算装置であり、１つの演算装置の中に演算装置108(ASICまたはFPGA)、演算装置109(１つの演算コア)、演算装置110(もう１つの演算コア)が実装されている構成としてもよい。

次に、ステレオカメラ100の画像領域切出し部103で行われる処理について図２を用いて以下に説明する。

図2は、画像領域切出し部103で行われる処理フローである。まず、外部情報読み込み処理201において、ステレオカメラ100の外部から、自車速度等の自車挙動情報や、カーナビゲーションの地図情報から取得した道路種別、道路周辺の市街化度合い（都市内、都市間）等の外部環境情報を含む外部情報を取得する（外部情報取得部）。そして、スケジュール読み込み処理202において、外部情報読み込み処理201で取得した外部情報に基づき、記憶部・演算装置選択機能を含むスケジュールを読み込む。ここでスケジュールとは、実行する認識アプリケーションおよび実行するタイミング、左撮像部101、右撮像部102の露光時間、露光タイミングと、左撮像部101、右撮像部102から取得した左右画像からの画像領域の切出しと、切出した画像領域の記憶部105、106、107への転送方法に関する時系列のスケジュールである。このスケジュールは、ステレオカメラ100のＲＯＭ等の記憶装置に予め記憶されている。スケジュール読み込み処理202の詳細に関しては後述する。

次に露光時間・タイミング送信処理203において、スケジュール読み込み処理202で読み込んだ左撮像部101と右撮像部102の露光時間と露光タイミングを左撮像部101と右撮像部102の撮像を制御するコントローラに送信する。そして、左画像読み込み処理204において、露光時間・タイミング送信処理203で送信した情報に基づいて左撮像部101で撮像した左画像の画像データを読み込む。それから、左画像転送処理205において、左画像読み込み処理204で読み込んだ左画像の画像データを、スケジュール読み込み処理202で読み込んだ記憶部・演算装置選択スケジュールに基づき、記憶部105、106、107のうち、所定の記憶部に転送する。次に右画像読み込み処理206において、露光時間・タイミング送信処理203で送信した情報に基づいて右撮像部102で撮像した右画像の画像データを読み込む。そして、右画像転送処理207において、右画像読み込み処理206で読み込んだ右画像の画像データを、スケジュール読み込み処理202で読み込んだ記憶部・演算装置選択スケジュールに基づき、記憶部105、106、107のうち、所定の記憶部に転送する。

例えば、図2の外部情報読み込み処理201で読み込んだ外部情報が、自車速度が低速、カーナビゲーションの地図情報から取得した道路種別が細街路、道路周辺の市街化度合いが都市内(市街地)である場合（以下、ケース１）には、歩行者が車両の前方に飛び出して来ることが予想される。したがって、前方の車両検知、歩行者検知、道路標識認識のうち、歩行者検知の優先度が最も高く、その中でも左右から飛び出してくる歩行者の検知が最も優先度が高く、前方の車両検知の処理は2番目の優先度とする。なお、道路標識認識は、優先度が低いので、かかる外部情報の場合には実行しない。これらの優先度に基づいて、切出した画像の記憶部105、106、107への転送方法を決定する。

また、例えば、図2の外部情報読み込み処理201で読み込んだ外部情報が、自車速度が高速であり、カーナビゲーションの地図情報から取得した道路種別が高速道路であった場合（以下、ケース２）には、前車追従機能(ACC：Adaptive Cruse Control)を行うための前方の車両検知処理と、速度超過の警報が重要なアプリケーションであり、かつ、歩行者が高速道路内に存在する可能性は低い。したがって、車両検知、歩行者検知、道路標識認識のうち、車両検知の優先度が最も高く、標識認識の処理は2番目の優先度とし、歩行者検知は優先度が低いため実行しない。これらの優先度に基づいて、切出した画像の記憶部105、106、107への転送方法を決定する。

次に、スケジュール読み込み処理202で読み込むスケジュールについて説明する。
まず、左右画像の切出しに関して図3を用いて説明をする。図３において、符号301が左撮像部101で撮像した左画像を示し、符号302が右撮像部102で撮像した右画像を示す。ステレオカメラ100は、左撮像部101と右撮像部102がある一定の距離(基線長)を持って設置されているため、左撮像部101と右撮像部102が同じ対象物を撮像している重なり部分305と、左撮像部101のみで撮像されている部分306と、右撮像部102のみで撮像されている部分307がある。

この場合、左画像301から切出して使用する画像は、左右画像の重なり部分305の一部の画像切り出し領域303である左画像重複切り出し領域と、左撮像部101のみで撮像されている部分306の画像切出し領域304である左画像単独切り出し領域（左画像単独領域）である。そして、右画像302から切出して使用する画像は、左右画像の重なり部分305の画像切出し領域303である右画像重複切り出し領域と、右撮像部102のみで撮像されている部分307の画像切出し領域310である右画像単独切り出し領域（右画像単独領域）である。

左画像301と右画像302の画像切り出し領域303について、切出し領域左上の画像座標308は(uS1、vS1)、切出し領域右下の画像座標309は(uE1、vE1)、画像の間引き率はD1とする。ここで間引き率D1が1の場合は、画像切出し領域1の全画素を取り込み、例えば、間引き率が1/2の場合は、縦横1画素毎に画像を取り込み、間引き率が1/3の場合は、縦横2画素毎に画像を取り込む。

左画像301と右画像302の画像切り出し領域303である左画像重複切り出し領域と右画像重複切り出し領域は、後段の認識処理において、前方の車両を検知する画像として用いる。左画像301の画像切り出し領域304である左画像単独切り出し領域と右画像302の画像切り出し領域310である右画像単独切り出し領域についても同様に、切出し領域左上の画像座標、切出し領域右下の画像座標、画像間引き率に応じて画像を取り込む。左画像単独切り出し領域と右画像単独切り出し領域の画像は、後段の認識処理において、自車の前方の左右から飛び出してくる歩行者を検知する画像として用いる。

次に、図4を用いて左撮像部101、右撮像部102の露光時間と露光タイミング、および切出した画像の記憶部105、106、107への転送方法に関する時系列のスケジュールを説明する。

図4は、外部情報読み込み処理201で読み込んだ外部情報が、自車速度が低速、カーナビゲーションの地図情報から取得した道路種別が細街路、道路周辺の市街化度合いが都市内(市街地)であった場合（ケース１）のスケジュールを示す図である。

図4において縦軸の401は時刻を示し、横軸412は、ステレオカメラ100内のそれぞれの装置（左撮像部101、右撮像部102、第２記憶部106、第１記憶部105、第３記憶部107、第１演算装置108、第２演算装置109、第３演算装置110）を示し、横軸412の下に時刻401に応じた動作を記載している。ここで、第１演算装置108は、画像歪み補正、左右カメラ画像の視差算出処理を高速に演算するようにハード化された専用演算装置であり、第３演算装置110は高速にソフト処理ができる汎用演算装置、第２演算装置109は、第３演算装置110よりも処理速度が遅い汎用演算装置とする。

まず、図2の画像領域切出し部103の処理フローの露光時間・タイミング読み込み処理203において、左撮像部101と右撮像部102に送られた露光時間とタイミング(t1)で露光402、403を実行する。露光402によって左撮像部101に撮像された左画像の画像データと、露光403によって右撮像部102に撮像された右画像の画像データは、図3の画像切り出し領域303のみがそれぞれ切り出されて第１記憶部105に送られる。

第１記憶部105は、第１演算装置108に付属しているメモリである。第１記憶部105に送られた画像切り出し領域303の画像データ406は、第１演算装置108にて時刻t2のタイミングで視差算出407が実行され、その算出結果の出力である視差画像408が第３記憶部107へ送られる。視差算出の方法については後述する。第３記憶部107は、第２演算装置109、第３演算装置110に付属したメモリである。第３記憶部107に保持されている視差画像408は、第２演算装置109に送られる。第２演算装置109は、時刻t3のタイミングで自車前方の車両を検出する車両検知処理を実行する。

視差は、自車(ステレオカメラ100)からの距離の情報と等価であり、自車前方の車両を検知するには、まず視差画像を縦に分割した区分毎に、最も自車両に近い位置にある距離を１つずつ代表値として抽出し、その代表値の中で近くに存在する距離データどうしをグルーピングし、ある一定以上の大きさのグループを立体物とする。また別途自車が走行する走行平面を推定し、走行平面から上部にある立体物を検出する。この立体物の抽出の処理に関しては、非特許文献１「齋藤徹、他：ステレオ画像認識運転支援システムのソフトウェアの開発について、第14回画像センシングシンポジウム講演論文集、IN2-14(2008)」に記載されている。そして、検出した立体物の大きさと形状に基づき、検出した立体物が車両であるか否かを判定する。

車両であるかの判定に関しては、第１記憶部105に保持されている画像データ406も利用して、画像の濃淡パターン情報からも判定する。そのため、第１記憶部105からも画像データ406を第２演算装置109に送信する。画像の濃淡パターン情報から車両であるかの判定を行うには、非特許文献２「大塚裕史 他：“エッジペア特徴空間法を用いた車両検知技術の開発”VIEW2005 ビジョン技術の実用化ワークショップ講演論文集 pp160-165, 2005」の手法を利用する。

一方、露光402により左撮像部101に撮像された画像データは、図3の左画像301の画像切り出し領域304のみを切り出して第２記憶部106に送られ、露光403により右撮像部102に撮像された画像データは、図3の右画像302の画像切り出し領域310のみを切り出して第２記憶部106に送られる。第２記憶部106は、第３演算装置110に付属したメモリであり、時刻t1のタイミングで第２記憶部106に保持された左画像301の画像切り出し領域304及び右画像302の画像切り出し領域310の画像データ404と、時刻t1より1サイクル前のタイミングで撮像され、第２記憶部106に保持されている左画像301の画像切り出し領域304と右画像302の画像切り出し領域310の画像データの画像データ405を第３演算装置110に送る。

第３演算装置110では、受信した時系列の画像データ405と404の差分を計算して、左画像単独切り出し領域304、右画像単独切り出し領域310内で画像中央方向に向かって動く物体（自車の前方の左右から飛び出してくる歩行者）を検知する処理を時刻t2のタイミングで実行する。時系列の画像から物体が移動した部分を検出するには、まず、時系列に連続する画像のオプティカルフローを算出する。オプティカルフローは、既に確立された公知技術であり、２つのフレームの画像を比較し、２つの画像のそれぞれに含まれる同じ物体を同定することによって算出することができる。

また、自車が動いていることにより移動物体以外の背景も動いているため、画像上変化して物体が移動した部分の中から、車両の移動に伴う背景の移動とは異なる動きを示している部分を抽出する必要がある。車両の移動に伴う背景の移動を検出するには、車両の速度、ヨーレートといった車両情報とカメラの内部パラメータ（撮像素子のユニットセルサイズ、焦点距離、歪パラメータ）や外部パラメータ（カメラの設置高さ、俯角、回転角度）といった幾何条件を利用して、背景の動きを推定する。

背景の動きの推定は、非特許文献３「清原將裕、他：車両周辺監視のための移動体検出技術の開発、ViEWビジョン技術の実利用ワークショップ講演論文集(2011) pp.59-63」に記載されている。そして、画像上変化して物体が移動した部分の中から、背景の動きをキャンセルして、車両の移動に伴う背景の移動とは異なる動きを示す部分を抽出した中から、ある一定範囲内の大きさを持つ部分を自車の前方の左右から飛び出してくる歩行者とする。これにより、自車の前方に対して左右両側に位置する歩行者を検知することができる。

また、第３演算装置110では、第３記憶部107に保持された視差画像408と、第１記憶部105に保持されている画像データ406も利用して、自車前方の歩行者を検知する処理を時刻t3のタイミングで実行する。歩行者を検出するには前述の車両検知410と同じ手法が利用でき、検出した立体物の大きさと形状に基づき、検出した立体物が歩行者であるか否かを判定する。したがって、自車前方の進路上の歩行者を検知することができる。

次に、自車速度が高速であり、カーナビゲーションの地図情報から取得した道路種別が高速道路であった場合（ケース２）のスケジュールについて説明する。まず、ケース２における左右画像の切出しに関して図５を用いて説明をする。

図５において、図３と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。この場合、左画像301から切出して使用する画像は、左右画像の重なり部分305の一部の画像領域501である左画像重複切り出し領域と、左撮像部101のみで撮像されている部分306から右画像302と重複して撮像されている部分305に亘る画像領域502である左画像部分重複領域である。そして、右画像302から切出して使用する画像は、左右画像の重なり部分305の一部の画像領域503である右画像重複切り出し領域と、右撮像部102のみで撮像されている部分307から左画像301と重複して撮像されている部分305に亘る画像領域503である右画像部分重複領域である。

左画像301と右画像302の画像切り出し領域501について、切出し領域左上の画像座標504は(uS2、vS2)、切出し領域右下の画像座標505は(uE2、vE2)、画像の間引き率はD2とする。ここで間引き率D2が1の場合は、画像切出し領域1の全画素を取り込み、例えば、間引き率が1/2の場合は、縦横1画素毎に画像を取り込み、間引き率が1/3の場合は、縦横2画素毎に画像を取り込む。左画像301と右画像302の画像切り出し領域501である左画像重複切り出し領域と右画像重複切り出し領域は、後段の認識処理において、前方の遠方の車両を検知する画像として用いる。

左画像301の画像切り出し領域502である左画像部分重複領域と右画像302の画像切り出し領域503である右画像部分重複領域についても同様に、切出し領域左上の画像座標、切出し領域右下の画像座標、画像間引き率に応じて画像を取り込む。左画像部分重複領域と右画像部分重複領域の画像は、後段の認識処理において、自車の前方の道路標識を認識する画像として用いる。

次に、図6を用いて左撮像部101、右撮像部102の露光時間と露光タイミング、および切出した画像の記憶部105、106、107への転送方法に関する時系列のスケジュールを説明する。

図6は、ケース２のスケジュール、すなわち、自車速度が高速であり、カーナビゲーションの地図情報から取得した道路種別が高速道路であった場合のスケジュールを示す図である。

図6において縦軸の601は時刻を示し、横軸602は、ステレオカメラ100内のそれぞれの装置（左撮像部101、右撮像部102、第２記憶部106、第１記憶部105、第３記憶部107、第１演算装置108、第２演算装置109、第３演算装置110）を示し、横軸602の下に時刻601に応じた動作を記載している。ここで、第１演算装置108は、画像歪み補正、左右カメラ画像の視差算出処理を高速に演算するようにハード化された専用演算装置であり、第３演算装置110は高速にソフト処理ができる汎用演算装置、第２演算装置109は、第３演算装置110よりも処理速度が遅い汎用演算装置とする。

まず、図2の画像領域切出し部103の処理フローの露光時間・タイミング読み込み処理203において左撮像部101と右撮像部102に送られた露光時間とタイミング(t1)で露光603、604を実行する。露光603が行われ左撮像部101に撮像された画像データと、露光604が行われ右撮像部102に撮像された画像データは、図5の画像切出し領域501のみがそれぞれ切り出されて第１記憶部105に送られる。

第１記憶部105は、演算装置1に付属しているメモリである。第１記憶部105に送られた画像切り出し領域501の画像データ609は、第１演算装置108にて時刻t2のタイミングで視差算出611が実行され、その算出結果の出力である視差画像610が第３記憶部107へ送られる。視差算出の方法については後述する。第３記憶部107は、第２演算装置109に付属したメモリである。第３記憶部107に保持されている視差画像610は、第３演算装置110に送られ、第３演算装置110にて自車前方の車両を検出する処理を時刻t3のタイミングで実行する。車前方の車両を検知する方法は、前述の図4の車両検知処理410と同様である。

次に、図2の画像領域切出し部103の処理フローの露光時間・タイミング読み込み処理203において、左撮像部101と右撮像部102に送られた露光時間とタイミング(t2)で露光605、606を実行する。露光603、604は、前方の車両を検知する画像のためのものであり、露光605、606は、道路標識を認識する画像のためのものである。したがって、露光603、604の露光時間よりも、露光605、606の露光時間のほうを長く設定する。

露光605が行われ左撮像部101に撮像された画像は、図5の画像切出し領域502の画像領域のみを抽出してその画像データが第２記憶部106に送られる。そして、露光606が行われ右撮像部102に撮像された画像は、図5の画像切出し領域503の画像領域のみを抽出してその画像データが第２記憶部106に送られる。

第２記憶部106は、第２演算装置109に付属したメモリであり、第２記憶部106に保持された左右の画像データ607と、時刻t2より1サイクル前のタイミングで撮像され、第２記憶部106に保持されている画像切出し領域502と画像切出し領域503の部分の画像データ608を第２演算装置109に送る。

第２演算装置109では、受信した画像データ607を用いて時刻t3のタイミングで画像領域内の標識を認識する処理を実行する。標識を認識するには、まず画像中から円形状のエッジを検出し標識が存在する箇所の候補とし、その候補に関して機械学習した結果を利用した他クラスの識別処理を行い、候補の箇所の中の文字や数字を認識する。また、自車の速度、ヨーレートの情報を利用して、画像データ607を用いて認識した標識と同じ画像パターンが、1サイクル前に撮像した画像データ608のどの位置にあったかを予測し、予測した位置の画像パターンと画像データ607で認識した標識の画像パターンの類似度を計算し、類似度が高い場合に画像データ607で認識した標識を認識結果として確定する。

ここで、図4と図6におけるスケジュールにおいて、各アプリケーション(車両検知、歩歩行者検知、標識検知、レーン認識)の処理優先順位に関して述べる。図4は、図2の外部情報読み込み処理201で読み込んだ外部情報が、自車速度が低速、カーナビゲーションの地図情報から取得した道路種別が細街路、道路周辺の市街化度合いが都市内(市街地)であるため、処理優先度が高い順に、歩行者検知、車両検知、標識検知、レーン認識の順とする。図4においては、その中の歩行者検知と車両検知の処理のスケジュールを示しており、残りの標識検知、レーン認識については、第２演算装置109と第３演算装置110の処理の空き時間において実施するものとする。

また図6においては、図2の外部情報読み込み処理201で読み込んだ外部情報が、自車速度が高速、カーナビゲーションの地図情報から取得した道路種別が高速道路であるため、処理優先度が高い順に、車両検知、標識検知、レーン認識、歩行者検知の順とする。図6においては、その中の車両検知と標識検知の処理のスケジュールを示しており、残りのレーン認識、歩行者検知については、第２演算装置109と第３演算装置110の処理の空き時間において実施するものとする。

＜視差算出方法＞
次に図4の407と図6の611で実行される視差算出処理の方法について、図７のフローチャートを用いて説明する。

図７のフローチャートにおいて、まず、左画像入力処理901において、左撮像部101で撮像した画像データを受信する。次に右画像入力処理902において、右撮像部102で撮像した画像データを受信する。ここで、左画像入力処理901と右画像入力処理902を並列処理として同時に行っても良い。

次に、対応点算出処理903において、左画像入力処理901と右画像入力処理902で取得した左右2枚の画像を比較して、同一物体を撮像している部分を特定する。すなわち、図８に示したように、走行路上にある対象物である物体1001をステレオカメラ100で撮像すると、左の撮像部101と右の撮像部102で撮像された画像は、それぞれ左画像1002、右画像1003のようになる。ここで、同一の物体1001は、左画像1002では1004の位置に撮像され、右画像1003では1005の位置に撮像され、画像の横方向にd₁のずれが発生するため、左画像1002の1004に撮像されている物体が、右画像1003のどこに撮像されているかを特定する必要がある。

次に、左画像1002に撮像されている特定の物体が、右画像1003のどこに撮像されているかを特定する方法について図９を用いて説明する。

図９において、左画像、右画像の座標系に関して、横方向をu軸1101、縦方向をv軸1102とする。まず、左画像1002において、uv座標系で、(u₁,v₁)、(u₁,v₂)、(u₂,v₁)、(u₂,v₂)で囲まれた矩形領域1103を設定する。

次に右画像1003において、(U,v₁)、(U,v₂)、(U+(u₂-u₁),v₁)、(U+(u₂-u₁),v₂)で囲まれた領域を、Uの値をu=0からu=u₃まで増加させ、画像の右方向へこの矩形領域1104まで走査させる。走査させる際、矩形領域1103内の画像と、矩形領域1104内の画像の相関値を比較して、左画像1002の矩形領域1103と相関性が最も高い右画像1003の矩形領域1105の位置(u₄,v₁)、(u₄,v₂)、(u₄+(u₂-u₁),v₁)、(u₄+(u₂-u₁),v₂)に、矩形領域1103に撮像されている物体と同一物体が撮像されているとする。ここで、矩形領域1103内の各画素と、矩形領域1105内の各画素が対応しているとする。ここで、右画像1003の矩形領域1104を走査した際、相関値がある一定以上の値になる矩形がない場合は、左画像1002の矩形領域1103に対応する右画像1003内の対応点は無しとする。

次に、左画像1002の矩形領域を1106の位置にずらし、同様の処理を行う。このように左画像1002の矩形領域を左画像1002内全体に走査して、左画像1002の全画素に対して、右画像1003内の対応点を求める。対応点が見つからない場合は、対応点無しとする。

次に図７のフローチャートにおいて、距離算出処理904を行う。ここで視差と距離は等価であり、この処理において視差データから距離データに変換する。

距離算出処理904では、前述の対応点算出処理903で求めた、同一物体を撮像している左画像1002と右画像1003の対応点に関して、各対応点がステレオカメラ100からどの程度の距離の位置にあるかを算出する。

まず、図１０を用いて、左画像1002と右画像1003の対応点1201のカメラからの距離を算出する方法を説明する。

図１０において、左撮像部101は、レンズ1202と撮像面1203から成る焦点距離f、光軸1208のカメラであり、右撮像部102は、レンズ1204と撮像面1205から成る焦点距離f、光軸1209のカメラである。カメラ前方にある点1201は、左撮像部101の撮像面1203の点1206（光軸1208からd₂の距離）へ撮像され、左画像1002では点1206（光軸1208からd₄画素の位置）となる。同様に、カメラ前方にある点1201は、右撮像部102の撮像面1205の点1207（光軸1209からd₃の距離）に撮像され、右画像1003では点1207（光軸1209からd₅画素の位置）となる。

このように同一の物体の点1201が、左画像1002では光軸1208から左へd₄画素の位置、右画像1003では光軸1209から右へd₅の位置に撮像され、d₄+d₅画素の視差が発生する。このため、左撮像部101の光軸1208と点1201との距離をxとすると、以下の式により、ステレオカメラ100から点1201までの距離Dを求めることができる。
点1201と左の撮像部101との関係から d₂ : f = x : D
点1201と右の撮像部102との関係から d₃ : f = (d-x) : D
従って、D = f × d / (d₂ + d₃) = f × d / { (d₄ + d₅ ) × a} となる。ここで、aは撮像面1203、1205の撮像素子のサイズである。

以上述べた距離算出を、前述の対応点算出処理903で算出した対応点全てに関して実施する。その結果、ステレオカメラ100から対象物までの距離を表現した距離画像を求めることができ、距離画像と視差画像は等価として扱うことができる。

本発明では、対象物を検知する認識アプリケーションが必要とする画像解像度、画像領域、処理周期を考慮して、複数の処理部や記憶部の中から、使用する処理部と記憶部を選択する選択機能を持ち、選択機能の中には、自車が走行する道路種別といった外部環境情報や、自車の速度といった自車挙動情報等の外部情報に基いた演算装置と記憶装置を使用するタイミングに関する情報を持つ。

本発明によれば、外部情報に基づいて必要な認識アプリケーションを選択し、その認識アプリケーションを実行するための演算装置と記憶部を選択するので、限られた記憶装置、演算装置で必要な複数の認識アプリケーションを、必要な精度（処理周期、画像領域、画像解像度）で処理することが可能となる。

＜他の構成例＞
図１１、図１２は、第１実施形態の他の構成例を説明するブロック図である。
図１に示す構成例と異なる点は、第４演算装置111が、車両制御演算装置1301の中に内蔵されている点である。外界認識装置は、ステレオカメラ100と車両制御演算装置1301によって構成されている。図１２に示す構成例において、図１に示す構成例と異なる点は、第２演算装置109と第３演算装置110が１チップ化されたマルチコアで構成されている点である。演算装置1601は、２つの演算コア(第２演算装置109、第３演算装置110)を持つマルチコアCPUである。本発明の外界認識装置は、図１に示す構成に限定されるものではなく、例えば上記した図１１、図１２に示す構成のように、種々の変更が可能である。

［第２実施形態］
次に、本発明の第２実施形態について図１３を用いて以下に説明する。
本実施形態において特徴的なことは、車両の前後左右を撮像する４台のカメラをステレオカメラに接続し、車両全周囲の歩行者を検知する構成としたことである。カメラ1401、カメラ1402、カメラ1403、カメラ1404は、車両に取り付けられた単眼カメラであり、車両の前後左右にそれぞれ設置されている。ステレオカメラ100の左撮像部101、右撮像部102で撮像された画像と、カメラ1401、カメラ1402、カメラ1403、カメラ1404で撮像された画像は、画像領域切出し部103へ送られる。

画像領域切出し部103では、左撮像部101、右撮像部102、カメラ1401、カメラ1402、カメラ1403、カメラ1404で撮像した画像の一部領域を切出して第１記憶部105、第２記憶部106、第３記憶部107へ転送する。

第２演算装置109、第３演算装置110では、第１演算装置108で計算した視差算出結果を用いて、あるいは用いずに、所定の認識対象物である前方の車両、歩行者、道路標識や、車両全周囲の歩行者を認識する処理が行われる。

本実施の形態では、カメラ1401、カメラ1402、カメラ1403、カメラ1404を除く図１に記載の部分101〜111がステレオカメラ100に実装される。車両の周囲を撮像するカメラは、カメラ1401、カメラ1402、カメラ1403、カメラ1404の４台に限定されるものではなく、いずれか１つ、または２つ、または３つでも良い。

＜他の構成例＞
図１４は、第２実施形態の他の構成例を説明するブロック図である。
図１３に示す構成例と異なる点は、ステレオカメラ100の構成を左撮像部101及び右撮像部102のみとし、車両制御演算装置1501に画像領域切り出し部103〜第４演算装置111までの構成を設けた点である。

ステレオカメラ100の左撮像部101、右撮像部102で撮像された画像と、カメラ1401、カメラ1402、カメラ1403、カメラ1404で撮像された画像は、車両制御演算装置1501の画像領域切出し部103へ送られる。

この構成例では、ステレオカメラ100、カメラ1401、カメラ1402、カメラ1403、カメラ1404を除く図１３に記載の部分103〜111が車両制御演算装置1501に実装され、全体として、ステレオカメラ100、カメラ1401、カメラ1402、カメラ1403、カメラ1404、車両制御演算装置1501の６つの筐体で構成されている。本発明の外界認識装置は、図１３に示す構成に限定されるものではなく、例えば上記した図１４に示す構成のように、種々の変更が可能である。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

100 ステレオカメラ
101 左撮像部
102 右撮像部
103 画像領域切出し部
104 選択部
105 第１記憶部
106 第２記憶部
107 第３記憶部
108 第１演算装置
109 第２演算装置
110 第３演算装置
111 第４演算装置

Claims (8)

1. 車両から外部を撮像した画像を用いて外界を認識する外界認識装置であって、
   前記画像を画像処理する複数の処理部と、
   該複数の処理部の少なくとも一つの処理部によって処理されることにより対象物を認識する認識アプリケーションを前記対象物の種類別に複数格納する認識アプリケーション格納部と、
   外部環境情報または自車挙動情報の少なくとも一方を含む外部情報を取得する外部情報取得部と、
   該外部情報に基づいて前記認識アプリケーション格納部から少なくとも一つの認識アプリケーションを選択し、該選択された認識アプリケーションを処理するための処理部を前記複数の処理部の中から選択する選択部と、
   前記選択部により選択された前記認識アプリケーションに基づいて前記画像の少なくとも一部の画像領域を切り出す画像領域切り出し部と、
   車両前方を撮像する左右一対の撮像部と、
   前記画像領域の画像データを記憶することが可能な複数の記憶部と、を有し、
   前記認識アプリケーションは、歩行者検知、車両検知、車線検知、道路標識認識のうちの少なくとも１つまたは複数を含み、
   前記選択部は、前記選択された認識アプリケーションに応じて前記複数の記憶部の中から前記画像領域の画像データを記憶させる少なくとも一つの記憶部を選択し、
   前記複数の処理部は、前記一対の撮像部で撮像された画像の歪み補正と視差算出の少なくとも一方の処理を行う第１処理部と、所定の処理速度で前記認識アプリケーションを処理する第２処理部と、該第２処理部よりも速い処理速度で前記認識アプリケーションを処理する第３処理部とを有しており、
   前記画像領域切り出し部は、前記一対の撮像部で撮像された左画像と右画像から互いに重複する部分である左画像重複領域及び右画像重複領域と、左画像のみに撮像されている部分である左画像単独領域と、右画像のみに撮像されている部分である右画像単独領域とを切り出し、
   前記第１処理部は、前記左画像重複領域の画像データ及び右画像重複領域の画像データを用いて視差を算出し、
   前記第２処理部は、前記視差に基づいて前記車両検知を実行し、
   前記第３処理部は、前記左画像重複領域と、前記右画像重複領域と、前記左画像単独領域と、前記右画像単独領域の各画像データから前記歩行者検知を実行することを特徴とする外界認識装置。
2. 前記外部環境情報は、車両が走行する道路の道路種別であることを特徴とする請求項１に記載の外界認識装置。
3. 前記外部情報取得部により前記車両が市街地の細街路を低速で走行中であるとの外部情報を取得した場合に、
   前記選択部は、前記複数の認識アプリケーションの中から前記車両検知と前記歩行者検知を選択することを特徴とする請求項１に記載の外界認識装置。
4. 前記外界認識装置は、車両の周囲を撮像する少なくとも一つ又は複数の単眼撮像部を有しており、
   前記画像領域切り出し部は、前記単眼撮像部で撮像された車両周囲画像から画像単独領域を切り出し、
   前記第３処理部は、前記画像単独領域の画像データから前記歩行者検知を実行することを特徴とする請求項１に記載の外界認識装置。
5. 前記複数の記憶部は、前記左画像重複領域と前記右画像重複領域の画像データを記憶する第１記憶部と、前記左画像単独領域と前記右画像単独領域の画像データを記憶する第２記憶部と、前記第１処理部で算出された視差を有する視差画像を記憶する第３記憶部と、を有することを特徴とする請求項１に記載の外界認識装置。
6. 前記外部情報取得部により前記車両が高速道路を走行中であるとの外部情報を取得した場合に、
   前記選択部により前記複数の認識アプリケーションの中から前記車両検知と前記道路標識認識が選択され、
   前記選択部により、視差を算出する処理部として前記第１処理部が選択され、該第１処理部により算出された視差に基づいて前記車両検知を実行する処理部として前記第３処理部が選択され、前記道路標識認識を実行する処理部として前記第２処理部が選択されることを特徴とする請求項１に記載の外界認識装置。
7. 前記画像領域切り出し部は、前記一対の撮像部で撮像された左画像と右画像から互いに重複する画像領域である左画像重複領域及び右画像重複領域と、左画像のみに撮像されている部分から右画像と重複して撮像されている部分に亘る画像領域である左画像部分重複領域と、右画像のみに撮像されている部分から左画像と重複して撮像されている部分に亘る画像領域である右画像部分重複領域とを切り出し、
   前記第１処理部は、前記左画像重複領域と前記右画像重複領域の画像データを用いて視差を算出し、
   前記第３処理部は、前記視差に基づいて前記車両検知を実行し、
   前記第２処理部は、前記左画像部分重複領域と右画像部分重複領域の画像データから前記道路標識認識を実行することを特徴とする請求項６に記載の外界認識装置。
8. 前記複数の記憶部は、前記左画像重複領域と前記右画像重複領域の画像データを記憶する第１記憶部と、前記左画像部分重複領域と前記右画像部分重複領域の画像データを記憶する第２記憶部と、前記第１処理部で算出された視差を有する視差画像を記憶する第３記憶部と、を有することを特徴とする請求項７に記載の外界認識装置。

Images