JP6453192B2 - 画像認識処理装置、及びプログラム - Google Patents

Description

本発明は、画像認識処理装置、及びプログラムに関し、例えば、撮像した画像に基づいて対象物を認識する画像認識処理装置、及びプログラムに関する。

近年、撮像した画像に基づいて対象物を認識する画像認識装置である車載カメラ装置の普及により、安全運転や自動運転に向けた各種認識機能への要求が高まってきている。なかでも、ステレオカメラ装置は、画像による視覚的な情報と、対象物への距離情報を同時に計測するため、自動車周辺の様々な対象物（人、車、立体物、路面、路面標識、看板標識など）を詳細に把握でき、運転支援時の安全性の向上にも寄与するとされている。

車載カメラ装置の性能に関わるカメラパラメータの一つにフレームレートがある。フレームレートはカメラが単位時間あたりに撮像する回数であり、フレームレートが高ければそれだけ外界を観測する頻度が増える。そのため、対象物のより詳細な動きを捉え、かつ対象物をより早期に検出することが可能になる。しかし、フレームレートが上がると単位時間あたりに処理するべきデータ量が増え、特に計算資源の厳しい組み込み機器などでは処理を終了できないことが多い。他のカメラパラメータに関しても同様のことが言える。他のカメラパラメータとしては解像度、処理範囲などがある。解像度は高ければより遠くの物体が見ることができるがデータ量が増える。処理範囲も大きければより広範な物体を見ることができるがやはりデータ量が増える。この様に装置の性能とデータ量はトレードオフの関係にある。

これらの状況に鑑み、あるカメラパラメータを上げる一方でその他のカメラパラメータを調整し処理するデータ量を抑えかつ性能を担保する提案が行われている。例えば、特許文献１では、自車が低速で移動しているならば撮像した画像の全面を使用し、自車が高速で移動しているならば撮像した画像の使用範囲を限定し、フレームレートや解像度を制御している。また、特許文献２では、自車速、障害物、障害物との相対速度、障害物との相対距離などに基づいてカメラのフレームレートや解像度を制御している。

特許５４５４９８３号公報 特開２００７−１７２０３５号公報

しかしながら、特許文献１及び２で開示される従来の手法は、画像の使用範囲を限定する際に自車の進行方向については考慮されていない。従って、特許文献１及び２の技術によっては必ずしも画像認識に適した範囲を使用できるとは限らない。つまり、例えば、自車が右旋回をしている最中においては画像の右側の方が左側よりも重要となるが、特許文献１及び２では、自車の情報や検出障害物の情報を用いて画像の使用範囲を限定しているため、必ずしも右側が重要と判断されるとは限らないためである。
本発明はこのような状況に鑑みてなされたものであり、データ処理量を抑えつつ検知性能を落とさないための技術を提供するものである。

本発明は、撮像装置から取得した画像に対して画像認識処理を実行するためのプログラムを格納するメモリと、前記メモリから前記プログラムを読み込んで実行するプロセッサと、を有し、前記プロセッサは、自車両の進行方向の情報を取得し、当該進行方向の情報に基づいて、前記撮像装置の撮像パラメータを決定する処理を実行するように構成される。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。

本発明によれば、データ処理量を抑えつつ、検知性能を落とさないで画像認識処理を実行することができるようになる。

本発明の実施形態による車載システムの概略構成を示す図である。 本発明の実施形態による画像認識処理ユニット（画像認識処理装置）の機能ブロック構成例を示す図である。 本発明の実施形態による画像認識処理ユニット（画像認識処理装置）のハードウェア構成例を示す図である。 フレームレートについて説明するための図である。 切り出し領域サイズについて説明するための図である。 解像度について説明するための図である。 進行方向（進行路）について説明するための図である。 進行方向（進行路）と切り出し位置の関係を示す図である。 進行方向と撮像パラメータ（カメラパラメータ）との関係を示す図である。 本発明の実施形態の画像認識処理ユニットによる処理（進行方向推定処理から撮像パラメータ設定処理まで）を説明するためのフローチャート例である。 切り出し領域（処理領域）外の障害物について説明するための図である。 フレームレートの混合について説明するための図である。 フレームレートの混合処理の概要を説明するための図である。 本発明の実施形態による、フレームレートの混合処理（設定領域以外における物体の検出処理）の詳細を説明するためのフローチャート例である。

以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

なお、以下では「プログラム」としての各処理部（進行方向推定部や処理領域決定部等）を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサによって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサ（ＣＰＵ）を主語とした説明としてもよい。プログラムの一部または全ては専用ハードウェアで実現してもよく、また、モジュール化されていても良い。

＜車載システムの構成＞
図１は、本発明の実施形態による画像認識装置を備える車載システムの概略構成を示す図である。

車載システム１は、自動車（以下では、「自車」や「自車両」と称することもある）１０８に搭載されるシステムであって、車載ステレオカメラ装置（以下では、単に「ステレオカメラ」と称することもある）１０１と、画像認識処理ユニット（以下では、「画像認識装置」と称することもある）１０２と、制御ユニット１０３と、スピーカ１０４と、アクセル１０５と、ブレーキ１０６と、様々な計器類１０７と、を有している。ここで、ステレオカメラ１０１は、通常の撮像デバイス（ＣＣＤカメラやＣＭＯＳセンサ）であっても良い。計器類１０７としては、一例として、速度計、加速度計、ヨーレートセンサ、舵角センサ、回転数計（タコメータ）、雨滴センサ、明暗センサ等が含まれるが、これらに限定されない。

車載ステレオカメラ装置１０１は、車両前方上部のフロントガラスの手前に設置される。ステレオカメラ１０１は、例えば走行中の自車から撮影した画像を取得し、当該画像を画像認識処理ユニット１０２に受け渡す。画像認識処理ユニット１０２は、取得した画像に基づいて所定の処理（詳細については後述する）を実行する。当該所定の処理の結果は、例えば制御ユニット１０３に送信される。制御ユニット１０３は、受信した処理結果に基づいて、車内ネットワークにおけるスピーカ１０４、アクセル１０５、ブレーキ１０６、計器類１０７、エンジンなどを制御する。また、制御ユニット１０３は、例えば計器類１０７のそれぞれから自車両情報、例えば自車両の速度、加速度、舵角、エンジン回転数等を取得し、画像認識処理ユニット１０２に提供する。なお、画像認識処理ユニット１０２と制御ユニット１０３については、スレテオカメラ１０１自身が処理を兼ねることもあり、装置として省略することもできる。

＜画像認識処理ユニットの機能構成＞
図２は、本発明の実施形態による画像認識処理ユニット１０２の内部機能構成を示す図である。

画像認識処理ユニット１０２は、カメラＩＦ２０３と、撮像パラメータ設定部２０４と、処理領域決定部２０５と、視差算出部２０６と、画像解析部２０７と、を有する。画像解析部２０７は、物体検出部２０８と、距離・相対速度算出部２０９と、進行方向推定部２１０と、を含んでいる。

画像認識処理ユニット１０２は、右カメラ２０１及び左カメラ２０２から構成されるステレオカメラ１０１とはカメラＩＦ２０３を介して接続される。また、画像認識処理ユニット１０２は、例えば制御ユニット１０３に含まれる車両情報取得部２１１か車両情報を取得する。

視差算出部２０６は、２つのカメラ２０１及び２０２から入力された画像の横方向の相関を取ることで２つの画像間の視差を求める。画像解析部２０７は、視差算出部２０６から算出された視差の情報を受け取り、距離・相対速度算出部２０９を用いて当該視差から三角測量の原理で各画像の点における距離を求めることが可能になる。

また、画像認識処理ユニット１０２は、視差算出部２０６で得られた視差画像とステレオカメラ１０１自身から得られた濃淡画像を解析することにより、外界の状況を画像解析部２０７において認識する。

画像解析部２０７において、まず物体検出部２０８が外界の物体を検出する。次に、距離・相対速度算出部２０９は、車両１０８と物体検出部２０８によって検出された物体との相対距離や相対速度を求める。ここまでで得られる情報は、検出した物体のサイズ、物体までの距離、物体の横位置、自車両１０８との相対速度などである。

進行方向推定部２１０は、例えば車両情報取得部２１１から提供される車両情報に基づいて、自車１０８が近い未来にどのような軌跡を描くかを予測する。処理領域決定部２０５は、入力画像、つまりステレオカメラ１０１が撮像して提供した画像のどの部分を重点的に見るべき領域かについて決定（判定）する。そして、撮像パラメータ設定部２０４は、処理領域決定部２０５で決定した領域に基づいて、次のフレームを撮像するために用いる撮像パラメータをカメラＩＦ２０３に通知し、その情報が右カメラ２０１及び左カメラ２０２に反映される。設定する撮像パラメータ（フレームレート・切り出し領域・解像度）の詳細については、図４乃至６を用いて説明する。

＜画像認識処理ユニットのハードウェア構成例＞
図３は、本発明の実施形態による画像認識処理ユニット１０２のハードウェア構成例を示す図である。ここでは、画像認識処理ユニット１０２をコンピュータによって構成した場合の例について説明する。

画像認識処理ユニット１０２は、各種プログラムを実行するＣＰＵ（単に、「プロセッサ」と称することもある）３０１と、各種プログラムを格納するメモリ３０２と、入力装置３０３と、出力装置３０４と、データＩＦ３０５と、記憶装置３０６と、カメラＩＦ２０３と、通信装置３０７と、を備えている。

メモリ３０２は、例えばＲＯＭ（Read Only Memory）で構成され、プログラムとしての、撮像画像に含まれる物体を検出ための物体検出部３０２１と、検出された物体と自車１０８との距離及び相対速度を算出するための距離・相対速度算出部３０２２と、車両情報に基づいて自車１０８の進行方向を推定するための進行方向推定部３０２３と、右カメラ２０１及び左カメラ２０２からの画像から画像間の視差を算出するための視差算出部３０２４と、推定された進行方向の情報に基づいて１つのフレームで注目すべき領域を決定する処理領域決定部３０２５と、次のフレームを撮像するために用いる撮像パラメータを設定するための撮像パラメータ設定部３０２６と、を格納する。ＣＰＵ３０１は、メモリ３０２から必要に応じて各プログラムを読み込み、例えばステレオカメラ１０１から入力される画像を処理する。

入力装置３０３は、例えば、スイッチボタン、マイク、レバー、キーボード、マウス、タッチパネル等が該当する。自動車１０８のドライバー等のユーザは、この入力装置を用いて、画像認識処理ユニット１０２に所定の指示、データや情報を入力する。出力装置３０４は、例えば、ディスプレイ、プリンタ、スピーカ等が該当する。

データＩＦ３０５は、例えば制御ユニット１０３からのデータを受け取るためのインタフェースである。また、データＩＦ３０５は、例えば、ＵＳＢメモリやメモリカード等の携帯型メモリからデータを読み取る読取装置等であっても良い。

記憶装置３０６は、例えば、メモリやＨＤＤ（ハードディスクドライブ）等が該当する。図１では、記憶装置３０６は画像認識処理ユニット１０２の内部に設けられているが、ネットワークを介して画像認識処理ユニット１０２と接続される構成となっていても良い。
カメラＩＦ２０３は、上述のように、ステレオカメラ１０１の右カメラ２０１及び左カメラ２０２から画像を受け取るためのインタフェースである。
通信装置３０７は、必須の構成ではないが、外部装置と無線或いは有線で通信を行い、所定のデータを送受信するための装置である。

＜撮像パラメータについて＞
撮像パラメータ（カメラパラメータと称することも可能）として露光時間なども含まれるが、ここでは主に以下のパラメータについて説明する。

（i）フレームレート
図４は、本実施形態の撮像パラメータの１つとして用いられるフレームレートを説明するための図である。図４において、横軸は時間を示し、横軸に記載する時間は経過時間を示している。

フレームレートは単位時間あたりに切るシャッタ数である。図４においては、上から高フレームレート４０１、中フレームレート４０２、低フレームレート４０３を示している。どの程度のレート（シャッタ数）を高、中、低フレームレートとするかは適宜変更可能である。
フレームレートを上げれば単位時間当たりのデータ転送量は増加し、下げれば単位時間当たりのデータ転送量は減少する。

（ii）切り出し領域
図５は、本実施形態の撮像パラメータの１つとして用いられる切り出し領域（切り出しサイズ）を説明するための図である。

切り出し領域とは、ステレオカメラ１０１で撮像できる画像中のどの領域を選択して画像認識処理ユニット１０２に転送するかを示す情報である。例えば、大領域５０１、中領域５０２、小領域５０３というように領域を選択してステレオカメラ１０１から画像認識処理ユニット１０２に所定の画像領域を転送することが出来る。なお、各領域のサイズは適宜変更可能である。
切り出し領域が大きいほどデータ転送量は増加し、小さいほど単位時間当たりのデータ転送量は減少する。

（iii）解像度
図６は、本実施形態の撮像パラメータの１つとして用いられる解像度を説明するための図である。

解像度は、画像を取り込む精細さを示す。本実施形態にでは、画像認識処理ユニット１０２は、高解像度画像、低解像度画像に切り替えて画像をステレオカメラ１０１から取り込むことが出来る。どの程度の解像度を高解像度とし低解像度とするかは適宜変更可能である。
解像度が高いほどデータ転送量は増加し、低いほど単位時間当たりのデータ転送量は減少する。

（iv）図４乃至６に示した撮像パラメータは画像認識処理ユニット１０２によって制御される。単位時間当たりに処理できるデータ量、あるいは転送量には上限があるため、画像認識処理ユニット１０２は、それを越えて画像を受け取り、処理することはできない。例えば、高フレームレート、切り出し領域が大領域、かつ高解像度の時にデータ転送量が最大となるが、この場合のデータ転送量が予め設定された上限値を超える場合は、いずれかの撮像パラメータ、或いは全ての撮像パラメータを制限してデータ転送量を減少させ、この上限を守る必要がある。

本実施形態では、当該撮像パラメータの制御に関し、進行方向推定部によって得られる進行方向推定結果を利用して画像認識に好適な撮像パラメータを選択することとしている。即ち、自車両の進行方向の情報に基づいて、撮像装置の撮像パラメータを決定する処理を実行するようにしている。具体的には、車の走行シーン（進行方向）に従ってフレームレートや解像度、画像の使用範囲を制御する。以下に、当該撮像パラメータの選択の概要及び詳細について説明する。

＜進行方向推定部の処理概要＞
図７は、進行方向推定部２１０（或いは進行方向推定部３０２３）の処理概要について説明するための図である。

自車両１０８の進行路は主に自車両１０８の状態（車両情報）と外界認識情報によって推定される。例えば、進行方向推定部２１０は、例えば制御ユニット１０３が計器類１０７から取得した、自車１０８の角速度を示すヨーレートγと自車１０８の速度ｖとを受け取り、以下の式１を用いて旋回半径ｒを推定する。
ｒ＝ｖ/γ・・・式１

このように旋回半径を推定することができれば、自車１０８はその半径の成す円の円周に沿って軌跡を取ると予測することができる。自車１０８の状態を使う他の方法には舵角等の情報を用いる場合がある。

他にも推定方法としては道路に設けられた白線の検知結果を用いる方法が考えられる。白線はカメラの濃淡画像からエッジ検出などを用いて検出される。そして、進行方向推定部２１０は、検出した結果から自車１０８の走行レーンの形状を認識し、その形状に沿って自車１０８が進むと推定する。図７において、破線７０２は推定された走行レーンを示し、矢印線７０１はそれから推定した自車１０８の進行路を示す。
このようにして推定された進行路方向を用いて、処理領域決定部２０５（或いは処理領域決定部３０２５）は、画像認識処理に好適な処理領域を決定する。

＜処理領域決定処理の概要＞
図８は、各シーンにおける処理領域の決定について説明するための図である。ここでは、直進しているとき（図８Ａ）、緩やかなカーブを進行しているとき（図８Ｂ）、及び急カーブを進行しているとき（図８Ｃ）の処理領域について説明する。

図８Ａは、ドライバーが舵角を切っていない直進中のシーンを示している。例えば、ヨーレートγから求まる旋回半径が無限大（或いは所定値よりも大きい場合）だったとすると、進行方向推定部２１０は、自車両１０８は直進している状態であると判断する。この場合、処理領域決定部２０５（或いは処理領域決定部３０２５）は、中央領域がステレオカメラ１０１の取得画像の中で着目すべき場所と決定する。

次に、図８Ｂは、ドライバーがやや舵角を切って緩やかなカーブを自車両１０８が進んでいるシーンを示す図である。この場合、ヨーレートγから求まる旋回半径が例えば７００ｍ程度だとすると、進行方向推定部２１０は、自車両１０８は緩やかなカーブ路を進むと判断する。この場合、画像の右側がより重要な領域となるので、処理領域決定部２０５は、中央よりやや右側の領域をステレオカメラ１０１の取得画像の中で着目すべき場所と決定する。

図８Ｃは、ドライバーが舵角を大きめに切って急なカーブを自車両１０８が進んでいるシーンを示す図である。この場合、ヨーレートγから求まる旋回半径が例えば１００ｍ程度だとすると、進行方向推定部２１０は、自車両１０８が急なカーブ路を進むと判断する。この場合、画像の右端がより重要な領域となるので、処理領域決定部２０５は、右端の領域をステレオカメラ１０１の取得画像の中で着目すべき場所と決定する。なお、図８Ｃでは先行車が画面内には存在せず画面外の領域に存在するものとしている。

図８を用いて説明したように、決定した領域のサイズに伴って他のパラメータ（フレームレート・解像度）を調整し、単位時間当たりのデータ処理量が一定になるようにする。当該パラメータの調整は、例えば、撮像パラメータ設定部２０４（或いは撮像パラメータ設定部３０２６）によって行われる。

また、例えばＧＰＳによって自車両１０８の現在位置が分かる。そして、自車両１０８の現在位置に対応する地図情報を取得し、進行方向の情報と現在走行している場所の周囲状況の情報とに基づいて処理領域の位置や大きさを決定しても良い。例えば、高速道路など歩行者がいない道路の場合には処理領域を狭く設定し、街中など歩行者が多い道路の場合には処理領域を大きめに設定しても良い。
＜進行方向と撮像パラメータとの関係＞

図９は、自車両１０８の進行方向と各撮像パラメータとの関係を示す図である。進行方向は、上述したように進行方向推定部２１０によって推定される。ここでは、直線（直進）、緩カーブ、及び急カーブの３つが示されているが、これだけに限らずさらに細かく区分しても良い。また、本実施形態では右カーブの場合を例としているが、左カーブの場合も同様に考えれば良い。さらに、撮像パラメータのうち切り出し位置は、処理領域決定部２０５によって決定されるパラメータである。他のパラメータは、例えば撮像パラメータ設定部２０４によって決定される。そして全ての撮像パラメータは、撮像パラメータ設定部２０４によってカメラＩＦ２０３を介してステレオカメラ１０１に通知される。

図９に示されるように、進行方向推定部２１０によって進行方向が直線（直進）と推定されると、処理領域決定部２０５は、切り出し位置を「中央領域」に決定し、撮像パラメータ設定部２０４は、切り出しサイズを「中サイズ」、フレームレートを「中レート」、解像度を「高解像度」に設定する。

また、進行方向推定部２１０によって進行方向が緩カーブと推定されると、処理領域決定部２０５は、切り出し位置を「右側領域」に決定し、撮像パラメータ設定部２０４は、切り出しサイズを「中サイズ」、フレームレートを「中レート」、解像度を「高解像度」に設定する。

さらに、進行方向推定部２１０によって進行方向が急カーブと推定されると、処理領域決定部２０５は、切り出し位置を「右端領域」に決定し、撮像パラメータ設定部２０４は、切り出しサイズを「大サイズ」、フレームレートを「高レート」、解像度を「低解像度」に設定する。

図９に示される進行方向と撮像パラメータとの関係の情報は、例えば記憶装置３０６に保持しても良い。この場合、ＣＰＵ３０１は、ステレオカメラ１０１の撮像パラメータを設定、或いは変更するとき、進行方向に対応する撮像パラメータを記憶装置３０６から読み出し、ステレオカメラ１０１に通知する。ステレオカメラ１０１の図示しないプロセッサ（例）は、撮像パラメータの設定或いは変更の通知を受け、ステレオカメラ１０１の撮像パラメータを設定、或いは変更する。

＜画像認識処理ユニットによる処理の詳細＞
図１０は、本発明の実施形態による画像認識処理ユニット１０２による処理（進行方向推定処理から撮像パラメータ設定処理まで）を説明するためのフローチャート例である。

（i）ステップＳ１０１
ＣＰＵ３０１は、例えば制御ユニット１０３に含まれる車両情報取得部２１１から、様々な車両情報を取得する。取得する車両情報は、例えば、自車１０８の計器類によって測定された自車１０８の速度、加速度、角速度（ヨーレート）、舵角、エンジン回転数等を含む情報である。なお、ここでは、車両情報取得部２１１が制御ユニット１０３に含まれるとしたが、車両情報取得部２１１は別のユニットに含まれていても良いし、独立したユニットとして構成されていても良い。

（ii）ステップＳ１０２
ＣＰＵ３０１は、カメラＩＦ２０３を介して、右カメラ２０１及び左カメラ２０２から撮像した画像データを取得する。

（iii）ステップＳ１０３
進行方向推定部３０２３は、ステップＳ１０１で取得した車両情報やステップＳ１０２で取得した画像データを用いて現在の自車１０８の進行方向を推定する。進行方向は、上述したように、例えば車両情報に含まれるヨーレートγと速度ｖから式１を用いて旋回半径ｒを算出することにより推定される。旋回半径ｒが第１の閾値以上で無限大と判定してよいような場合、進行方向は直進／直線と判定される。旋回半径ｒが第２の閾値以上第１の閾値未満である場合、進行方向は緩カーブと判定される。また、旋回半径ｒが第２の閾値未満である場合、進行方向は急カーブと判定される。

（iv）ステップＳ１０４
進行方向推定部３０２３は、ステップＳ１０３で推定されたが直進、緩カーブ、或いは急カーブの何れかであるか判断する。本実施形態では３つの方向に限定しているが、これは単なる例であり、３つに限らずさらに細かく分類しても良い。

進行方向が直進／直線である場合、処理はステップＳ１０５に移行する。進行方向が緩カーブである場合、処理はステップＳ１０６に移行する。進行方向が急カーブである場合、処理はステップＳ１０７に移行する。

（v）ステップＳ１０５
まず、処理領域決定部３０２５は、進行方向が直進／直線と判定されたので、ステレオカメラ１０１からの画像の中で注目すべき領域を「中央領域」であると決定する。そして、処理領域決定部３０２５は、切り出し位置の情報として「中央領域」を撮像パラメータ設定部３０２６に通知する。

また、撮像パラメータ設定部３０２６は、記憶装置３０６から進行方向「直進／直線」に対応する各種パラメータ（切り出しサイズ、フレームレート、及び解像度）を取得する。そして、撮像パラメータ設定部３０２６は、撮像パラメータ（カメラパラメータ）として、切り出しサイズを「中サイズ」、切り出し位置を「中央領域」、フレームレートを「中レート」、及び解像度を「高解像度」に設定する。

ここでは、処理領域決定部３０２５が推定された進行方向に対応して注目すべき領域（切り出し位置）を決定している。ただし、この情報も含めて全ての撮像パラメータを予め記憶装置３０６に保持しておけば、撮像パラメータ設定部３０２６が推定された進行方向の情報に基づいて全ての撮像パラメータを取得するようにしても良い。この場合、処理領域決定部３０２５による処理は不要となる。

（vi）ステップＳ１０６
まず、処理領域決定部３０２５は、進行方向が緩カーブと判定されたので、ステレオカメラ１０１からの画像の中で注目すべき領域を「右側領域」であると決定する。そして、処理領域決定部３０２５は、切り出し位置の情報として「右側領域」を撮像パラメータ設定部３０２６に通知する。

また、撮像パラメータ設定部３０２６は、記憶装置３０６から進行方向「緩カーブ」に対応する各種パラメータ（切り出しサイズ、フレームレート、及び解像度）を取得する。そして、撮像パラメータ設定部３０２６は、撮像パラメータ（カメラパラメータ）として、切り出しサイズを「中サイズ」、切り出し位置を「右側領域」、フレームレートを「中レート」、及び解像度を「高解像度」に設定する。

（vii）ステップＳ１０７
まず、処理領域決定部３０２５は、進行方向が急カーブと判定されたので、ステレオカメラ１０１からの画像の中で注目すべき領域を「右端領域」であると決定する。そして、処理領域決定部３０２５は、切り出し位置の情報として「右端領域」を撮像パラメータ設定部３０２６に通知する。

また、撮像パラメータ設定部３０２６は、記憶装置３０６から進行方向「急カーブ」に対応する各種パラメータ（切り出しサイズ、フレームレート、及び解像度）を取得する。そして、撮像パラメータ設定部３０２６は、撮像パラメータ（カメラパラメータ）として、切り出しサイズを「大サイズ」、切り出し位置を「右端領域」、フレームレートを「高レート」、及び解像度を「低解像度」に設定する。

（viii）ステップＳ１０８
撮像パラメータ設定部３０２６は、検出物体の有無、検出物体までの距離、前の走行車両との相対速度等の自車両１０８の情報及び／又は周囲状況の情報に基づいて、ステップＳ１０５乃至１０７で設定した撮像パラメータを調整する必要があるか判断する。例えば、自車両１０８の前方に物体が何もない場合には、ステップＳ１０５乃至１０７で設定された各撮像パラメータは調整する必要はない。一方、例えば、自車両１０８が右折する場合（進行方向が急カーブの場合）であって、前方から対向車が走行してきている場合などは、「低」解像度から「高」解像度に変更した方が良いこともある。また、自車両１０８が直進中（進行方向が直進／直線の場合）、前方で交通事故が発生していたり、数１００ｍ先で渋滞があったりする場合には、切り出しサイズを「中」サイズから「大」サイズに変更した方がよいときもある。ただし、この場合、適宜、「高」解像度から「中」解像度に変更しても良い。さらに、例えば、雨滴センサによって雨が検知された場合や明暗センサによって周囲が暗い状況であると検知された場合などは、解像度が高い方が前方の対象物体を認識しやすくなるため、進行方向の情報のみで決定される解像度よりも高解像度に設定するようにしても良い。このように、周囲の様々な状況に応じて一旦設定した撮像パラメータを調整した方が良い場合もある。

撮像パラメータを調整が必要と判断されて場合、処理はステップＳ１０９に移行する。撮像パラメータの調整が不要と判断された場合、処理はステップＳ１１０に移行する。
なお、処理領域以外の領域において物体を検出には、例えば、＜設定領域以外における物体の検出処理＞以降で述べる方法によって行われる。

（ix）ステップＳ１０９
撮像パラメータ設定部３０２６は、上述したように、検出物体の有無、検出物体までの距離、前の走行車両との相対速度等を含む周囲の様々な状況に応じて、ステップＳ１０５乃至１０７で一旦設定した撮像パラメータの少なくとも一部を変更・調整する。具体的には、一例として、考えられる様々な環境要因の追加や変化に応じた調整点や調整量を予めテーブルとして記憶装置３０６に保持しておき、当該テーブルに基づいてステップＳ１０５乃至１０７で設定した撮像パラメータを調整しても良い。

（x）ステップＳ１１０
撮像パラメータ設定部３０２６は、ステップＳ１０５乃至１０７で設定した撮像パラメータ、或いはステップＳ１０９で調整された撮像パラメータを、ステレオカメラ１０１に通知する。
なお、ステップＳ１０８及び１０９は必須の処理ではなく、省略しても良い。

＜設定された処理領域以外における物体の検出処理の概要＞
ここでは、進行方向に基づいて設定した領域以外の領域から出現する立体物を捉えるための処理について説明する。

図１１は、設定領域以外の領域から出現する物体について説明するための図である。図１１において、点枠線１１０１で囲まれた領域は処理領域決定部２０５（或いは処理領域決定部３０２５）によって決定された処理領域である。つまり、これ以外の領域に関してはステレオカメラ１０１によって撮像されているものの画像認識処理ユニット１０２には転送されていない、あるいは処理範囲対象外であるために実質的には見えていない範囲となっている。このような処理領域以外の領域から例えば二重枠１１０２で囲まれた歩行者が出現する場合には歩行者が自車１０８の進行方向に入ってくるまで検知できず危険である。

これを避けるために、図１２に示されるように、フレーム全体を撮像した画像を所定周期でステレオカメラ１０１から画像認識処理ユニット１０２に転送する。図１２において、フレーム１２０２は一定周期で挿入される、画像全体を撮像して得られたフレーム（黒）を示し、フレーム１２０１はその周期の間に設定した撮像パラメータで制御して得られたフレーム（白）を示している。なお、例えば、撮像パラメータ設定部２０４（或いは撮像パラメータ設定部３０２６）が、画像認識処理ユニット１０２に対して画面全体を捉えるフレーム画像を挿入すべき周期をステレオカメラ１０１に通知する。当該周期は、ユーザの指示によって変更可能としても良い。

このようにすることにより、処理領域外の領域から出現する物体に対しては画像全体を撮像するフレームで検出することができ、それ以外の物体に対しては効率的に設定した領域で検出することができる。

図１３は、設定領域以外における物体の検出処理の概要を説明するための図である。最初のフレームは、例えば、フレーム全体が処理対象とされる。このとき撮像される領域はフレーム全体１３０１である。この領域１３０１の処理には時間軸の４目盛り分を割り当てるものとする（図１３Ａの時間区間Ａ０１参照）。次に、処理領域決定部２０５は、物体の検出結果と進行方向の情報に基づいて、画面中央領域１３０２を切り出し領域とする。そして、その範囲１３０２のみが処理される。中央領域１３０２の画像は、高フレームレートで取得され、一回あたりに要する時間は時間軸の１目盛分として４回実施する（図１３Ａの時間区間Ａ０２参照）。続いて、再度全画面の処理が実施される。撮像される領域は全体領域１３０２である。やはり処理には時間軸の４目盛分が割り当てられる（図１３Ａの時間区間Ａ０３参照）。この時、物体検出部２０８（或いは物体検出部３０２１）が左から現れる歩行者１３０４を検出したとすると、歩行者１３０４を確実にとらえるため、処理領域１３０１を拡大し、拡大領域１３０３を処理範囲とする。このように、設定領域を処理する時間の間に画面全体を捉えるフレームを挟むことで進行方向から設定される処理領域以外の領域から出現する立体物を効率的に捉えて処理することができるようになる。

＜設定された処理領域以外における物体の検出処理の詳細＞
図１４は、フレームレートの混合処理（設定領域以外における物体の検出処理）の詳細を説明するためのフローチャート例である。以下では、ＣＰＵ３０１を処理主体とするが、図３に図示しないプログラム「領域適応拡大処理部」を処理主体としても説明しても良い。なお、この「領域適応拡大処理部」は便宜上つけた単なる名称例に過ぎない。

（i）ステップＳ２０１
ＣＰＵ３０１は、例えば予め決められた取得画像のシーケンス（図１３Ａ参照）の情報を参照し、次にステレオカメラ１０１から取得すべき画像が、１フレームのうち領域が限定された画像（即ち、設定された処理領域の画像）か、或いは全フレーム画像（１フレームサイズの画像）か判断する。

取得すべき画像が限定された領域の画像である場合（ステップＳ２０１でＹｅｓの場合）、処理はステップＳ２０５に移行し、全フレーム画像である場合（ステップＳ２０１でＮｏの場合）、処理はステップＳ２０２に移行する。

（ii）ステップＳ２０２
ＣＰＵ３０１は、ステレオカメラ１０１から転送されてきた全フレーム画像を取得する。ＣＰＵ３０１は、例えば、ステレオカメラ１０１に対して全フレーム画像の転送を要求する。

（iii）ステップＳ２０３
ＣＰＵ３０１は、物体検出部３０２１を読み込み、それを用いて全フレーム画像のうち限定された領域（処理領域）以外の領域における物体や歩行者の検出処理を実行し、当該処理領域以外の領域で物体等が検出されたか判断する。なお、ＣＰＵ３０１は、処理領域決定部３０２５によって処理領域を決定した際に、全フレーム画像のうち処理領域の位置については認識しており、検出された物体等が処理領域の外か否かは容易に判定することができる。

限定された領域（処理領域）以外の領域で物体や歩行者が検出された場合（ステップＳ２０３でＹｅｓの場合）、処理はステップＳ２０４に移行する。そもそもフレーム全体で物体等が検出されなかった場合、或いは物体等は検出されたが処理領域内であった場合（ステップＳ２０３でＮｏの場合）、処理はステップＳ２０１に移行する。

（iv）ステップＳ２０４
ＣＰＵ３０１は、ステップＳ２０３で検出された物体や歩行者の位置情報やサイズ情報を、該当する全フレーム画像の識別情報（対応する時間区間の情報でも良い）と共にメモリ（例えば、記憶装置３０６）に格納する。この物体等の位置情報やサイズ情報は、次の時間区間で取得される処理領域の画像の処理に用いられる。ステップＳ２０４の処理が終了したら、処理はステップＳ２０１に移行する。

（v）ステップＳ２０５
ＣＰＵ３０１は、今回取得すべき処理領域画像の直近に取得した全フレーム画像に関するステップＳ２０３の処理において、処理領域外の領域で物体や歩行者が検出されたか確認する。処理領域以外の領域で物体等が検出されている場合（ステップＳ２０５でＹｅｓの場合）、処理はステップＳ２０６に移行し、検出されていない場合（ステップＳ２０５でＮｏの場合）、処理はステップＳ２０８に移行する。

（vi）ステップＳ２０６
ＣＰＵ３０１は、記憶装置３０６から、検出された物体等の位置情報及びサイズ情報を取得し、この物体等をカバーするように設定された処理領域を拡大した画像（参照：図１３Ｂの領域１３０２から領域１３０３への拡大）を転送するようにステレオカメラ１０１に要求する。そして、ＣＰＵ３０１は、ステレオカメラ１０１から転送されてきた、処理領域が拡大され検出された物体等を含む領域の画像（領域拡大画像：図１３Ｂの領域１３０３の画像）を取得する。

（vii）ステップＳ２０７
ＣＰＵ３０１は、領域が拡大された画像に対して画像認識処理を実行する。所定の画像認識処理が実行されると、処理はステップＳ２０１に移行する。

（viii）ステップＳ２０８
ＣＰＵ３０１は、ステレオカメラ１０１から限定された領域の画像（設定された処理領域の画像：図１３Ｂの領域１３０２の画像）を取得する。

（ix）ステップＳ２０９
ＣＰＵ３０１は、設定された処理領域の画像に対して画像認識処理を実行する。所定の画像認識処理が実行されると、処理はステップＳ２０１に移行する。

＜まとめ＞
本実施形態では、画像認識処理ユニットは、自車両の進行方向の情報を取得し、当該進行方向の情報に基づいて、撮像装置（ステレオカメラ）の撮像パラメータを決定する。具体的には、撮像装置で取得した画像（例えば、画像に含まれる道路の方向）や車両の動きを示す情報（各計器類やセンサが計測した情報：例えば、自車両の速度、ヨーレート、加速度等）を用いて自車両の進行方向を推定する。このように進行方向によって撮像パラメータを決定し、撮像装置を制御するようにしたので、１フレームにおいて重要と考えられる領域に注目して画像認識処理を実行することができるようになる。よって、対象物体の検知性能を落とさずにデータ処理量を抑えることができる。

また、画像認識処理ユニットは、進行方向の情報に基づいて、撮像装置から取得した画像の中で画像認識処理を実行すべき領域を示す処理領域を決定し、当該処理領域の情報に基づいて撮像パラメータを決定する。撮像装置は１フレーム分の全体画像を転送する必要がなく、決定された処理領域の画像のみを転送すればよい。よって、データ転送量を抑えることができるようになると共に、画像認識処理ユニット側におけるデータ処理量も抑えることができるので、効率よく画像を処理することができるようになる。また、自車両が走行する位置周辺の地図情報と進行方向の情報とに基づいて、処理領域を決定しても良い。これにより、周囲の状況に応じて柔軟に対応した画像認識処理を実行することができるようになる。なお、撮像パラメータとしては、画像のフレームレート、解像度、処理領域のサイズや位置等の少なくとも１つが含まれる。

さらに、必要に応じて、撮像パラメータを調整しても良い。自車両の前に別の走行車両が存在する場合と存在しない場合とでは撮像パラメータを異なるようにした方が良いこともある。このような状況に対応して、例えば、自車両と別の走行車両との相対的距離や相対的速度に応じて、進行方向や車両の動き情報から決定される撮像パラメータを適宜調整しても良い。このようにすることにより、周囲の状況に適した撮像パラメータを決定することができ、より正確で効率的な画像認識処理を実現することが可能となる。

また、処理領域の画像に所定周期で全フレーム画像を挿入して転送するように撮像装置に指示しても良い。そして、全フレーム画像の、処理領域の位置に対応する領域以外の領域において物体や歩行者が検出された場合、この物体等を含むように、処理領域を拡大して画像を転送するように撮像装置に指示する。この場合、物体や歩行者が検出されている間は当該拡大された処理領域が画像認識処理の対象とされる。これにより、注目領域である処理領域以外の領域に危険が存在するような場合にも即座に対応できるような画像認識処理を実現することが可能となる。

本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できることを理解する必要がある。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップＳを実行するのに、専用の装置を構築するのが有益であることが判るかもしれない。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。明細書と具体例は典型的なものに過ぎず、本発明の範囲と精神は後続する請求範囲で示される。

１ 車載システム
１０１ ステレオカメラ
１０２ 画像認識処理ユニット
１０３ 制御ユニット
１０４ スピーカ
１０５ アクセル
１０６ ブレーキ
１０７ 計器類
１０８ 自車両
２０１ 右カメラ
２０２ 左カメラ
２０３ カメラＩＦ
２０４ 撮像パラメータ設定部
２０５ 処理領域決定部
２０６ 視差算出部
２０７ 画像解析部
２０８ 物体検出部
２０９ 距離・相対速度算出部
２１０ 進行方向推定部
２１１ 車両情報取得部

Claims (10)

1. 撮像装置から取得した画像に対して画像認識処理を実行するためのプログラムを格納するメモリと、
   前記メモリから前記プログラムを読み込んで実行するプロセッサと、
   前記プロセッサは、自車両の進行方向の情報を取得し、当該進行方向の情報に基づいて
   、前記撮像装置の撮像パラメータを決定する処理を実行するように構成され、
   前記撮像パラメータは前記撮像装置の解像度を含み、
   雨滴センサによって雨が検知された場合、及び明暗センサによって周囲が暗い状況であると判断された場合の少なくとも１つの場合に、前記プロセッサは前記解像度を進行方向の情報のみで決定される解像度よりも高解像度に設定し、
   前記プロセッサは、さらに、前記進行方向の情報に基づいて、前記撮像装置から取得した画像の中で前記画像認識処理を実行すべき領域を示す処理領域を決定する処理を実行し、当該処理領域の情報に基づいて前記撮像パラメータを決定するように構成され、
   前記プロセッサは、転送される前記処理領域の画像の中に所定周期で１フレーム分の画像である全フレーム画像を挿入して転送するように前記撮像装置に指示するように構成され、
   前記プロセッサは、前記全フレーム画像における、前記処理領域以外の領域で対象物体を検出した場合、当該対象物体を含む、拡大された処理領域の画像を前記撮像装置から取得し、前記画像認識処理の対象とするように構成された、画像認識処理装置。
2. 請求項１において、
   前記プロセッサは、さらに、前記撮像装置で取得した画像を用いて前記自車両の前記進行方向を推定する処理を実行するように構成された、画像認識処理装置。
3. 請求項１において、
   前記プロセッサは、前記自車両が走行する位置周辺の地図情報を取得し、当該取得した地図情報と前記進行方向の情報とに基づいて、前記処理領域を決定するように構成された、画像認識処理装置。
4. 請求項１において、
   前記プロセッサは、前記自車両の各計器或いは各センサからの前記自車両の動きを示す車両動き情報を取得し、当該車両動き情報に基づいて前記進行方向を推定するように構成された、画像認識処理装置。
5. 請求項１において、
   前記プロセッサは、前記進行方向の情報に対応する前記撮像パラメータを決定するように構成され、
   前記撮像パラメータは、前記撮像装置から転送される画像のフレームレートと前記画像の解像度とを含む、画像認識処理装置。
6. 請求項４において、
   前記プロセッサは、さらに、
   前記撮像装置から取得した画像から対象物を検出する処理と、
   前記自車両の前記対象物に対する相対距離及び／又は相対速度を含む相対情報を算出する処理と、
   前記相対情報に基づいて、前記進行方向から決定される前記撮像パラメータの調整の要否を判断する処理と、
   前記相対情報に基づいて、前記撮像パラメータを調整する処理と、を実行するように構成された、画像認識処理装置。
7. 請求項１において、
   前記撮像装置は、複数の撮像素子を有し、
   前記プロセッサは、前記複数の撮像素子から取得した複数の画像から算出された視差情報に基づいて、前記撮像パラメータを制御するように構成された、画像認識処理装置。
8. 自車両に搭載された撮像装置から取得した画像に対する画像認識処理をコンピュータに実行させるためのプログラムであって、
   前記コンピュータに、前記自車両の進行方向の情報に基づいて、前記撮像装置の撮像パラメータを決定する処理を実行させ、
   前記撮像パラメータは前記撮像装置の解像度を含み、
   雨滴センサによって雨が検知された場合、及び明暗センサによって周囲が暗い状況であると判断された場合の少なくとも１つの場合に、前記コンピュータが前記解像度を進行方向の情報のみで決定される解像度よりも高解像度に設定し、
   前記コンピュータは、さらに、前記進行方向の情報に基づいて、前記撮像装置から取得した画像の中で前記画像認識処理を実行すべき領域を示す処理領域を決定する処理を実行し、当該処理領域の情報に基づいて前記撮像パラメータを決定し、
   前記コンピュータは、転送される前記処理領域の画像の中に所定周期で１フレーム分の画像である全フレーム画像を挿入して転送するように前記撮像装置に指示し、
   前記コンピュータは、前記全フレーム画像における、前記処理領域以外の領域で対象物体を検出した場合、当該対象物体を含む、拡大された処理領域の画像を前記撮像装置から取得し、前記画像認識処理の対象とする、ためのプログラム。
9. 請求項８において
   前記コンピュータに、前記撮像装置で取得した画像を用いて前記自車両の前記進行方向を推定する処理を実行させるためのプログラム。
10. 請求項９において、
    前記コンピュータに、前記自車両の各計器或いは各センサからの前記自車両の動きを示す車両動き情報に基づいて前記進行方向を推定する処理を実行させるためのプログラム。

Images