JP6943092B2 - 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラムに関する。

今日において、歩行者又は自動車等との衝突の際に、いかに歩行者を守れるか及び乗員を保護できるかという、自動車の安全性における観点から自動車のボディー構造等の開発が行われている。近年においては、情報処理技術，画像処理技術の発達により、人及び自動車等を高速に検出する技術が知られている。これらの技術を用いることで、衝突する前に自動的にブレーキをかけて衝突を未然に防止する衝突防止システムが設けられた自動車も知られている。この衝突防止システムの場合、ミリ波レーダ装置、レーザレーダ装置又はステレオカメラ装置等を用いて人又は他車等までの距離を測距し、この測距した結果に基づいて、ブレーキ制御を行う。これにより、人又は他車等との距離に応じて、自動的にブレーキをかけることができる。

特許文献１（特開２０１４−０９６００５号公報）には、同一とみなされるオブジェクトを正確にグループ化して検出する物体検出装置が開示されている。この物体検出装置は、距離画像を用いて有効領域同士をグルーピングした後、グルーピングされた物体に対して濃淡画像の輪郭部分（エッジ）に着目して領域を分割する。

特許文献２（国際公開第２０１２／０１７６５０号）には、物体及び路面を精度よく検出可能な物体検出装置が開示されている。この物体検出装置は、路面領域を検出した後、路面以上の高さを持つデータを物体候補領域として検出し、形状特徴に基づいて物体及び路面の判別を行う。

しかし、従来の物体検出技術では、１台の車両を複数の車両として分割して検出し、又は、複数の歩行者を結合して１台の車両として検出する等のように、物体を誤検出する問題がある。

本発明は、上述の課題に鑑みてなされたものであり、物体を正確に検出可能な情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、物体の横方向位置と奥行方向位置とが対応づけられた情報から、所定の分解能で物体の分布を示す第１の情報、及び、第１の情報よりも高い高分解能で物体の分布を示す第２の情報を生成する生成部と、第１の情報内の物体及び第２の情報内の物体のうち、互いに対応する物体同士を関連付けする関連付け部と、第２の情報内の各物体の近傍に第２の情報内の各物体よりも遠距離に位置する物体が存在するか否かの情報に基づいて、関連付けられた互いに対応する物体のいずれかを選択する選択部とを有する。

本発明によれば、物体を正確に検出できるという効果を奏する。

図１は、第１の実施の形態の機器制御システムである車両に設けられたステレオカメラの位置を示す図である。 図２は、車両が有するステレオカメラ及びその周辺の構成を示す図である。 図３は、ステレオカメラを備えた撮像装置の構成例を示す図である。 図４は、第１の実施の形態の機器制御システムのＣＰＵにより、車両制御プログラムに基づいて実現される各機能の機能ブロック図である。 図５は、Ｖマップの一例を示す図である。 図６は、Ｕマップ上の孤立領域に、背景領域の有無を示す背景領域フラグを付すまでの流れを示すフローチャートである。 図７は、横軸を実距離、縦軸を間引き視差値としたＵマップの一例を示す図である。 図８は、低分解能Ｕマップ及び高分解能Ｕマップの一例を示す図である。 図９は、第１の実施の形態の機器制御システムにおいて、Ｕマップ上の孤立領域に対して設定される画像枠に基づいて算出される物体視差ヒストグラム、及び、背景視差ヒストグラムの一例を示す図である。 図１０は、横軸を実距離、縦軸を間引き視差値としたＵマップにおける背景領域の検出範囲を説明するための図である。 図１１は、低分解能Ｕマップ及び高分解能Ｕマップの孤立領域の選択動作の流れを示すフローチャートである。 図１２は、第２の実施の形態の機器制御システムのＣＰＵにより、車両制御プログラムに基づいて実現される各機能の機能ブロック図である。 図１３は、第２の実施の形態の機器制御システムにおいて、Ｕマップ上の孤立領域に、背景領域の有無を示す背景領域フラグを付して画像枠を設定するまでの流れを示すフローチャートである。 図１４は、横軸をＸ軸、縦軸を視差値としたＵマップにおける背景領域の検出範囲を説明するための図である。

以下、図面を参照して、実施の形態の機器制御システムの説明をする。

（第１の実施の形態）
（システム構成）
まず、第１の実施の形態の機器制御システムは、図１に示すように車両１のフロントガラス等に設けられ、進行方向前側の所定の撮像範囲を撮像するステレオカメラ２を有している。ステレオカメラ２は、図３を用いて後述するように２つの画像センサ２２を備え、左目視界と右目視界の２つの画像を撮像する撮像部である。

図２は、移動体の一例である車両１が有するステレオカメラ２及びその周辺の構成例を示す図である。ステレオカメラ２は、例えば撮像した２つの画像を車両ＥＣＵ（Engine Control Unit）３に対して出力する。車両ＥＣＵ３は車両１に設置され、例えば車両１のエンジン制御、制動制御、及び走行レーンキープアシスト、操舵アシスト等の車両１に対する制御を行う。なお、以下、移動体の一例として車両について説明するが、本実施の形態の機器制御システムは、船舶、航空機、ロボット等にも適用可能である。

（撮像装置の構成）
図３は、ステレオカメラ２を備えた撮像装置４の構成例を示す図である。撮像装置４は、例えばステレオカメラ２及び画像処理装置３０を有する。ステレオカメラ２は、左目用となるカメラ部２ａと、右目用となるカメラ部２ｂが平行（水平）に組みつけられ、撮像対象領域の動画（又は静止画）を撮影する。

カメラ部２ａ、２ｂは、それぞれレンズ２１、画像センサ２２、及びセンサコントローラ２３を備えている。画像センサ２２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサである。センサコントローラ２３は、例えば画像センサ２２の露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う。

画像処理装置３０は、例えば図２に示した車両ＥＣＵ３内に設けられる。画像処理装置３０は、例えばデータバスライン３００、シリアルバスライン３０２、ＣＰＵ（Central Processing Unit）３０４、ＦＰＧＡ（Field-Programmable Gate Array）３０６、ＲＯＭ（Read Only Memory）３０８、ＲＡＭ（Random Access Memory）３１０、シリアルＩＦ（Interface）３１２、及びデータＩＦ（Interface）３１４を有する。

上述したステレオカメラ２は、データバスライン３００及びシリアルバスライン３０２を介して画像処理装置３０と接続されている。ＣＰＵ３０４は、画像処理装置３０全体の動作を制御し、画像処理及び画像認識処理を実行する。カメラ部２ａ、２ｂそれぞれの画像センサ２２が撮像した撮像画像の輝度画像データは、データバスライン３００を介して画像処理装置３０のＲＡＭ３１０に書き込まれる。ＣＰＵ３０４又はＦＰＧＡ３０６からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、及び各種設定データ等は、シリアルバスライン３０２を介して送受信される。

ＦＰＧＡ３０６は、ＲＡＭ３１０に保存された画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ３１０に再度書き込む。なお、視差画像は、物体の縦方向位置、横方向位置、及び、奥行方向位置が対応付けられた情報となっている。

ＣＰＵ３０４は、ステレオカメラ２の各センサコントローラ２３の制御、及び画像処理装置３０の全体的な制御を行う。ＣＰＵ３０４は、データＩＦ３１４を介して、例えば自車両のＣＡＮ（Controller Area Network）情報をパラメータ（車速、加速度、舵角、ヨーレート等）として取得する。

先行車両、人間、ガードレール、路面等の物体の認識データである車両制御データは、シリアルＩＦ３１２を介して、車両ＥＣＵ３に供給され、車両ＥＣＵ３の制御機能として設けられた例えば自動ブレーキシステム又は走行アシストシステム等で用いられる。自動ブレーキシステムは、車両１のブレーキ制御を行う。また、走行アシストシステムは、車両１の走行レーンキープアシスト及び操舵アシスト等を行う。

（画像処理装置の機能）
画像処理装置３０のＣＰＵ３０４は、ＲＯＭ３０８等の記憶部に記憶されている車両制御プログラムを実行することで、図４に示す各機能を実現し、撮像装置４で撮像された視差画像に基づいて先行車両、人間、ガードレール、路面等の物体を検出する。車両ＥＣＵ３は、上述のように車両制御データとして供給される物体検出出力を用いて、ブレーキ制御、走行レーンキープアシスト及び操舵アシスト等を行う。

すなわち、ＣＰＵ３０４は、ＲＯＭ３０８等の記憶部に記憶されている車両制御プログラムを実行することで、図４に示すように、Ｖマップ生成部５１、路面検出部５２、Ｕマップ生成部５３、孤立領域検出部５４、画像枠生成部５５、及び、検出物選択部５６の各機能を実現する。

なお、この例では、Ｖマップ生成部５１〜検出物選択部５６をソフトウェアで実現することとしたが、Ｖマップ生成部５１〜検出物選択部５６のうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、車両制御プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、車両制御プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、車両制御プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

Ｖマップ生成部５１は、撮像装置４の撮像画像から形成された視差画像に基づいて、物体の縦方向位置と奥行方向位置とが対応づけられた情報であるＶマップを生成する。なお、説明の都合上、「マップ」という語句を用いるが、実際に地図又は画像状の情報が形成される訳ではなく、物体の縦方向位置と奥行方向位置とが対応づけられた情報群が形成されるものと理解されたい。

具体的には、撮像装置４において、例えば図５（ａ）に示すように手前から奥方向にかけて直線的に形成されている道路の左車線を車両が走行しており、画面左側に電信柱が存在する撮像画像が得られたとする。この撮像画像に基づいて、上述の視差画像が形成される。Ｖマップ生成部５１は、視差画像に基づいて、縦軸を画像のｙ座標、横軸を視差ｄの二次元ヒストグラムとした、例えば図５（ｂ）に示すようなＶマップを生成する。図５（ａ）に例示した撮像画像の場合、図５（ｂ）に示すように、ｙ座標値及び視差値に応じて、直線状の路面から上方に延びるかたちで車両及び電信柱がマッピングされる。

路面検出部５２は、ハフ変換処理又は最小二乗法等を用いて、Ｖマップの路面と推定される位置を直線近似する。路面が平坦な場合は、１本の直線で近似可能であるが、途中で勾配が変化する道路の場合、Ｖマップを適当に区間分割して直線近似する。これにより、精度の良い直線近似が可能となる。図５（ｂ）に示したように、検出された路面より上方に延びる塊は、路面上の物体（人又は車等）に相当する。

Ｕマップ生成部５３は、ノイズ除去のため、Ｖマップの路面より上方の情報を用いて、物体の横方向位置と奥行方向位置とが対応付けられた情報であるＵマップを生成する。なお、このＵマップの場合も、説明の都合上、「マップ」という語句を用いるが、実際に地図又は画像状の情報が形成される訳ではなく、横方向位置と奥行方向位置とが対応付けられた情報群が形成されるものと理解されたい。

具体的には、Ｕマップ生成部５３は、Ｖマップの路面より上方の情報を用いて、横軸を物体との間の実距離、縦軸を物体との間の距離に応じて間引き率を変動させる間引き視差としたＵマップを生成する。一例ではあるが、Ｕマップ生成部５３は、物体との間の距離が５０ｍ以上の遠距離の場合、視差の間引きはしないが、物体との間の距離が２０ｍ〜５０ｍ未満の中距離の場合、視差を１／２に間引き処理する。また、Ｕマップ生成部５３は、物体との間の距離が１０ｍ〜２０ｍ未満の近距離の場合、視差を１／３に間引き処理し、物体との間の距離が１０ｍ未満の場合、視差を１／８に間引き処理する。遠方では物体が小さく、視差情報が少なく、また、距離の分解能も小さいため、視差の間引き処理を行わない。これに対して、近距離の場合、物体が大きく写るため、視差情報が多く距離の分解能も大きくなるため、視差を大きく間引き処理する。なお、本処理は物体を検出しやすくするために俯瞰的なマップ（鳥瞰画像、俯瞰画像）を生成するものであるため、横軸は実距離でなくとも実距離に相当するものであれば良い。

図７は、このように物体との間の距離に応じた間引き視差を用いて生成したＵマップの一例である。この図７の例は、左右のガードレールＧＬ−ＧＲ間の道路が２車線となっており、各車線を、車両Ｃ１、Ｃ２がそれぞれ略々並んで走行している状態を示している。なお、この例では、Ｕマップ生成部５３は、縦軸を視差値、横軸を実距離としたＵマップを生成することとしたが、縦軸を視差値、横軸をＸ座標系の値としたＵマップを生成し、このＵマップを用いて、後述する処理を実行してもよい。この場合でも、縦軸を視差値、横軸を実距離としたＵマップを用いた場合と同様の効果を得ることができる。すなわち、縦軸と横軸の変換によらず、物体の横方向位置と奥行方向位置とが対応付けられた情報群が利用できれば良い。

また、Ｕマップ生成部５３は、縦軸を間引き視差値、横軸を実距離としたＵマップを生成する際に、それぞれ横軸の分解能が異なる、例えば２種類（３種類以上でもよい）のＵマップを生成する。図８（ａ）に、横軸の分解能を低分解能とした低分解能Ｕマップの一例を示す。また、図８（ｂ）に、横軸の分解能を高分解能とした高分解能Ｕマップの一例を示す。低分解能Ｕマップは、第１の情報の一例である。また、高分解能Ｕマップは、第２の情報の一例である。

次に、図４に示す孤立領域検出部５４は、低分解能のＵマップ及び高分解能のＵマップ上に存在する孤立した塊の物体に対応する孤立領域をそれぞれ検出し、各孤立領域に識別情報（ＩＤ）を付加する。図８（ａ）、（ｂ）に、それぞれ矩形で囲んで示す領域が孤立領域の一例である。孤立領域を囲む矩形の幅は孤立領域の幅を示し、矩形の高さは孤立領域の奥行きを示す。なお、孤立領域の検出は、周知のラベリング処理（隣接する画素にＩＤを付与する処理）を用い、同一のＩＤが付与され一定以上の大きさを有するものを抽出することにより行い得る。これに限らず、周知の種々の方法が適用できる。

低分解能のＵマップ上においては、各物体が繋がって検出され易い。このため、孤立領域検出部５４は、低分解能のＵマップ上においては、車両サイズを基準として物体（孤立領域）の検出を行う。これにより、低分解能のＵマップにおける物体の検出精度（確からしさ）を向上させることができる。これに対して、高分解能のＵマップは、分解能が高いため、孤立領域検出部５４は、歩行者サイズ及び車両サイズを基準として、物体（孤立領域）の検出を行う。

孤立領域検出部５４は、検出した各孤立領域に対して、それぞれＩＤを付加する。図８（ａ）は、孤立領域検出部５４が、奥側に検出した２つの孤立領域に対して、それぞれＳ１又はＳ２のＩＤを付加した例である。また、図８（ａ）は、孤立領域検出部５４が、図中、左側の手前から奥側にかけて伸びる長い孤立領域に対して、Ｓ３のＩＤを付加した例である。さらに、図８（ａ）は、孤立領域検出部５４が、図中、手前右側に検出した孤立領域に対して、Ｓ４のＩＤを付加した例である。

また、図８（ｂ）は、孤立領域検出部５４が、奥側に検出した３つの孤立領域に対して、それぞれＬ１〜Ｌ３のＩＤを付加した例である。また、図８（ｂ）は、孤立領域検出部５４が、図中、左側の手前から奥側にかけて伸びる長い孤立領域に対して、Ｌ５のＩＤを付加した例である。また、図８（ｂ）は、孤立領域検出部５４が、図中、手前左側に検出した孤立領域に対して、Ｌ４のＩＤを付加した例である。さらに、図８（ｂ）は、孤立領域検出部５４が、図中、手前右側に検出した２つの孤立領域に対して、Ｌ６又はＬ７のＩＤを付加した例である。

次に、関連付け部の一例である孤立領域検出部５４は、各Ｕマップにおける孤立領域の検出結果に基づき、実世界で同じ位置に存在する孤立領域のＩＤを紐付して検出結果の統合処理を行う。以下の表１に統合結果を登録した統合検出リストの一例を示す。なお、この統合検出リストは、孤立領域検出部５４が、図１に示すＲＯＭ３０８又はＲＡＭ３１０等の記憶部に記憶する。

この統合処理を行う場合、孤立領域検出部５４は、低分解能のＵマップ上で検出したＳ３のＩＤを付した孤立領域、及び、高分解能のＵマップで検出したＬ５のＩＤを付した孤立領域は、それぞれ奥行方向に長く連続する孤立領域であり、車両又は歩行者である可能性は低い。このため、孤立領域検出部５４は、表１に示すように、Ｓ３及びＬ５の各ＩＤを付した孤立領域を棄却することで残った孤立領域で、統合処理を行う。

すなわち、孤立領域検出部５４は、Ｓ１のＩＤの孤立領域は、Ｌ１及びＬ２の各ＩＤの孤立領域を包含する関係にあるため、低分解能のＵマップの検出結果及び高分解能のＵマップの検出結果を統合処理する。また、孤立領域検出部５４は、Ｓ２のＩＤの孤立領域と、Ｌ３のＩＤの孤立領域は、１対１で対応しているため、各検出結果を統合処理する。また、孤立領域検出部５４は、Ｓ４のＩＤの孤立領域は、Ｌ６及びＬ７の各ＩＤの孤立領域を包含する関係にあるため、各検出結果を統合する。また、孤立領域検出部５４は、Ｌ４のＩＤの孤立領域は、対応するＩＤの孤立領域が存在しないため、Ｌ４のＩＤの孤立領域を単独で統合結果に反映する。

図６に示すフローチャートは、このようなＵマップの生成動作→孤立領域の検出動作→検出結果の統合動作→後述する画像枠の作成動作→出力する検出物の選択動作の流れを示している。図６のフローチャートのステップＳ１〜ステップＳ５は、Ｕマップの生成動作→孤立領域の検出動作→検出結果の統合動作の流れを示している。

すなわち、ステップＳ１及びステップＳ２では、Ｕマップ生成部５３が、分解能が異なるＵマップを生成する。ステップＳ３では、孤立領域検出部５４が、低分解能のＵマップから孤立領域を検出する（図８（ａ）参照）。また、ステップＳ４では、孤立領域検出部５４が、高分解能のＵマップから孤立領域を検出する（図８（ｂ）参照）。そして、ステップＳ５において、孤立領域検出部５４が、各分解能のＵマップの検出結果を統合処理して、統合検出リストを生成する（表１参照）。

次に、画像枠設定部の一例である画像枠生成部５５は、低分解能のＵマップ上の各孤立領域に対して視差画像の対応する領域を示す枠である画像枠（対象領域）を設定すると共に、物体視差ヒストグラム及び背景視差ヒストグラムを生成する。具体的には、画像枠生成部５５は、孤立領域に対して画像枠を設定する場合、所定の閾値以上の頻度を有するヒストグラムが所定数連続する位置を、画像枠の左右端として設定する。なお、ここでいう枠とは、物体の位置と大きさを示すものであり、例えば物体を囲む矩形の角の座標と高さおよび幅が対応づけられた情報である。

また、画像枠生成部５５は、孤立領域の高さ方向において、所定の閾値以上の頻度を有するヒストグラムが所定数連続した場合に、その位置を、画像枠の上端として設定する。また、画像枠生成部５５は、仮設定した画像枠の底辺（ボトム）を基準として上下に視差を検索し、１ラインの視差が所定数検出された位置を、画像枠の下端として設定する。

この孤立領域に設定された画像枠の一例を図９（ａ）に示す。この図９（ａ）の例は、低分解能のＵマップにおいて、歩行者４人が連結して検出された孤立領域に対して設定された画像枠を示している。図９（ａ）の例の場合、各歩行者の顎あたりを結ぶ直線が画像枠の上端として設定されている。また、図９（ａ）の例の場合、各歩行者の膝あたりを結ぶ直線が画像枠の下端として設定されている。図９（ａ）の例において、最も右側に位置する歩行者の左手に接する直線が、画像枠の右端として設定される。さらに、図９（ａ）の例において、最も左側に位置する歩行者の右手に接する直線が、画像枠の左端として設定される。

このような画像枠を設定すると、画像枠生成部５５は、例えば図９（ａ）に斜線で示す縦長の短冊状の領域を一検出領域（１ｂｉｎ）として視差の頻度を抽出する（１ｂｉｎの視差の頻度を積算処理する）。そして、画像枠生成部５５は、画像枠内の画像の視差値に基づいて、例えば図９（ｂ）に示すような幅方向（画像の横方向）の物体視差ヒストグラムを生成する。すなわち、画像枠内における物体を示す視差範囲（例えば、高分解能のＵマップにおいて検出された物体の視差を基準に所定範囲を設定しても良いし、画像枠内において頻度の高い視差を利用しても良い）のヒストグラムを生成する。図９（ａ）の例の場合、図９（ｂ）に示すように４人の歩行者の位置にそれぞれピークを有する４つの放物線を繋げた波形の物体視差ヒストグラムが得られる。

また、画像枠生成部５５は、画像枠内の画像の視差値に基づいて、例えば歩行者又は車両等の物体視差より遠い位置にある背景視差のヒストグラムを生成する。すなわち、画像枠内における物体を示す視差よりも遠い位置にあることを示す視差範囲（例えば、物体視差ヒストグラムにおける視差範囲を基準として決定できる）のヒストグラムを生成する。図９（ａ）に示す例の場合、図９（ｂ）に示すように各歩行者よりも奥行側に位置し、各歩行者の間から見える樹木の位置に、それぞれピークを有する３つの放物線を繋げた波形の背景視差ヒストグラムが得られる。

次に、画像枠生成部５５は、物体視差ヒストグラム上に物体視差頻度が存在しない領域において、背景視差ヒストグラム上で背景視差頻度を有する孤立領域を検出する。表１を用いて説明したように、例えば低分解能Ｕマップ上のＳ４のＩＤの孤立領域、及び、高分解能Ｕマップ上のＬ６、Ｌ７のＩＤの孤立領域は、互いに対応する孤立領域として統合処理されている。図１０に示すように、低分解能Ｕマップ上のＳ４のＩＤの孤立領域は、高分解能Ｕマップ上のＬ６、Ｌ７のＩＤの孤立領域を包含する。また、高分解能Ｕマップ上のＬ６、Ｌ７のＩＤの孤立領域の間には隙間が存在し、図１０中、視線方向を示す点線の矢印からわかるように、Ｌ６、Ｌ７のＩＤの孤立領域の後方（遠方）を見通すことができる。

画像枠生成部５５は、図１０に示すようにＬ６、Ｌ７のＩＤの孤立領域の隙間から見通せる範囲において、背景視差の有無を検出する。画像枠生成部５５は、Ｌ６、Ｌ７のＩＤの孤立領域の隙間から見通せる範囲内に背景視差が存在する場合、背景視差が存在することを示す背景情報を、Ｓ４のＩＤの孤立領域、及び、Ｌ６、Ｌ７のＩＤの孤立領域に関連付けて記憶する（背景領域フラグを立てる）。また、画像枠生成部５５は、Ｌ６、Ｌ７のＩＤの孤立領域の隙間から見通せる範囲内に背景視差が存在しない場合、背景視差が存在しないことを示す背景情報を、Ｓ４のＩＤの孤立領域、及び、Ｌ６、Ｌ７のＩＤの孤立領域に関連付けて記憶する（背景領域フラグを立てない）。

さらに具体的に説明すると、図９（ａ）の例の場合、右側の２名の歩行者と、左側の２名の歩行者との間に、背景となる１本の樹木が存在する。この場合、図９（ｂ）に示す物体視差ヒストグラム上には、背景となる１本の樹木に相当する位置に、物体視差頻度が存在しない領域が現れる。これに対して、図９（ｃ）に示す背景視差ヒストグラムは、背景となる１本の樹木に相当する位置にピークを有する放物線となる背景視差頻度を有している。画像枠生成部５５は、このような、物体視差ヒストグラム上に物体視差頻度が存在しない領域に対応する、背景視差ヒストグラム上における背景視差頻度を有する、上述の統合検出リストに登録されている孤立領域に対して、背景領域が存在することを示す背景情報（背景領域フラグ）を付加する。以下の表２に、背景領域フラグが付加された統合検出リストを示す。

この表２は、図８（ａ）及び図８（ｂ）に示した例において、統合処理された低分解能Ｕマップ上のＳ１のＩＤの孤立領域、及び、高分解能Ｕマップ上のＬ１，Ｌ２の孤立領域には、背景が存在しない。これは、例えば車両が遠方に位置することで視差点数が少なく、１台の車両が２つに分割して検出された状態を示している。この場合、画像枠生成部５５は、背景が存在しないことを示す背景領域フラグを付加する（背景領域フラグを立てない）。

同様に、低分解能Ｕマップ上のＳ２のＩＤの孤立領域、及び、高分解能Ｕマップ上のＬ３の孤立領域には、背景が存在しない。このため、画像枠生成部５５は、背景が存在しないことを示す背景領域フラグを付加する（背景領域フラグを立てない）。また、例えば高分解能Ｕマップ上でのみ検出された孤立領域であるＬ４のＩＤの孤立領域等のように、一方のＵマップ上でのみ検出された孤立領域は存在し得ないため、画像枠生成部５５は、背景が存在しないことを示す背景領域フラグを付加する（背景領域フラグを立てない）。

これに対して、統合処理された低分解能Ｕマップ上のＳ４のＩＤの孤立領域、及び、高分解能Ｕマップ上のＬ６，Ｌ７の孤立領域には、背景としてＬ３の孤立領域が存在する。このため、画像枠生成部５５は、背景が存在することを示す背景領域フラグを付加する（背景領域フラグを立てる）。背景領域フラグは、低分解能Ｕマップから検出された孤立領域に付されたＩＤに有効なフラグとなっている。

図６のフローチャートのステップＳ６〜ステップＳ９は、このような画像枠生成部５５の動作を示している。画像枠生成部５５は、ステップＳ６〜ステップＳ９を繰り返し実行することで、各孤立領域に対して背景領域フラグを付加する。すなわち、画像枠生成部５５は、ステップＳ６で各孤立領域に対して画像枠を算出して設定する。

ステップＳ７では、画像枠生成部５５が、これから処理を施そうとしている孤立領域が、低分解能Ｕマップの孤立領域であるか否か（孤立領域に付されているＩＤがＳで始まるＩＤであるか否か）を判別する。ステップＳ７でＹｅｓと判別した場合、画像枠生成部５５は、ステップＳ８において、上述の物体視差ヒストグラム及び背景視差ヒストグラムで示される特徴量に基づいて、孤立領域に対して背景視差が存在するか否かを判別する。そして、背景視差が存在すると判別した場合（ステップＳ８：Ｙｅｓ）、ステップＳ９において、その孤立領域に背景領域フラグを設定する（表２参照）。このように、画像枠を設定すると共に、背景視差の有無の判別を行うことで、全体の処理を高速できる。

次に、選択部の一例である図４に示す検出物選択部５６は、背景領域フラグの有無に基づいて、低分解能Ｕマップの検出結果、又は、高分解能Ｕマップの検出結果を選択して出力する。図１１のフローチャートは、このような選択動作の流れを示している。検出物選択部５６は、図１１のフローチャートに示すステップＳ１１〜ステップＳ１５の処理を、表２の統合検出リストの数だけ、繰り返し実行する。

すなわち、検出物選択部５６は、ステップＳ１１において、表２の統合検出リスト上に、例えば低分解能ＵマップのＳ１のＩＤの孤立領域、及び、高分解能ＵマップのＬ１、Ｌ２のＩＤの孤立領域のように、互いに対応する孤立領域が存在するか否かを判別する。互いに対応する孤立領域が存在しないと判別した場合（ステップＳ１１：Ｎｏ）、検出物選択部５６は、ステップＳ１５において、存在するＩＤの孤立領域を検出結果として出力する。これは、上述のＬ４のＩＤが付された孤立領域のように、一方のＵマップ上にしか存在しない孤立領域を意味している。この場合、検出物選択部５６は、一方のＵマップ上にしか存在しない孤立領域を選択して、そのまま出力する。

次に、互いに対応する孤立領域が存在すると判別した場合（ステップＳ１１：Ｙｅｓ）、検出物選択部５６は、ステップＳ１２において、上述の表２に示した統合検出リストを参照して、その統合処理された孤立領域に対して、背景領域フラグが設定されているか否かを判別する。背景領域フラグが設定されていると判別した場合（ステップＳ１２：Ｙｅｓ）、検出物選択部５６は、高分解能Ｕマップの孤立領域を選択し、検出結果として出力する（ＬのＩＤの孤立領域を検出結果として出力）。これに対して、背景領域フラグが設定されていないと判別した場合（ステップＳ１２：Ｎｏ）、検出物選択部５６は、低分解能Ｕマップの孤立領域を選択し、検出結果として出力する（ＳのＩＤの孤立領域を検出結果として出力）。

すなわち、検出物選択部５６は、統合検出リストに低分解能Ｕマップ上の孤立領域のＩＤと高分解能Ｕマップ上の孤立領域のＩＤとが関連付けられている場合（統合処理されている場合）において、この孤立領域に背景領域フラグが付加されている場合は、高分解能Ｕマップの孤立領域を選択して出力する。これに対して、孤立領域に背景領域フラグが付加されていない場合は、低分解能Ｕマップの孤立領域を選択して出力する。なお、一方のＵマップ上にしか存在しない孤立領域である場合は、その孤立領域を選択して出力する。以下の表３に、このような選択出力形態の一覧を示す。

この表３に示す統合検出リストＮｏ．１の例は、低分解能Ｕマップ上のＳ１のＩＤの孤立領域、及び、高分解能Ｕマップ上のＬ１、Ｌ２のＩＤの孤立領域が統合処理されている例であり、例えば遠方に位置する１台の車両が複数の物体として分割されて検出された例である。この場合、表２に示したように背景フラグが立っていないため 検出物選択部５６は、低分解能Ｕマップ上のＳ１のＩＤが付された孤立領域を選択して出力する。

また、表３に示す統合検出リストＮｏ．２の例は、低分解能Ｕマップ上のＳ２のＩＤの孤立領域、及び、高分解能Ｕマップ上のＬ３のＩＤの孤立領域が統合処理されている例であり、例えば遠方に位置する１台の車両が検出された例である。この場合、表２に示したように背景フラグが立っていないため、検出物選択部５６は、低分解能Ｕマップ上のＳ２のＩＤが付された孤立領域を選択して出力する。

また、表３に示す統合検出リストＮｏ．３の例は、低分解能Ｕマップ上のＳ４のＩＤの孤立領域、及び、高分解能Ｕマップ上のＬ６、Ｌ７のＩＤの孤立領域が統合処理されている例であり、例えば近距離の２人の歩行者を結合して検出し、又は、歩行者と車両を結合して検出した例である。この例の場合、表２に示したように背景フラグが立っているため、検出物選択部５６は、高分解能Ｕマップ上のＬ６、Ｌ７のＩＤが付された孤立領域を選択して出力する。

また、表３に示す統合検出リストＮｏ．４の例は、高分解能Ｕマップ上でのみＬ４のＩＤの孤立領域が検出された例である。この例は、例えばガードレールの近くの車両を検出した例である。この例の場合、図８（a）に示すように低分解能Ｕマップ上では、ガードレールと車両とが結合して検出されることで、奥行方向に長い物体として、物体検出対象から除外される。しかし、高分解能Ｕマップでは、高分解能であるために、ガードレールと車両とが分離して検出され、ガードレールのみが物体検出対象から除外される。これにより、高分解能Ｕマップ上において、Ｌ４のＩＤの車両が単独で検出される。このような場合、表２に示したように、背景フラグは立たない。このため、検出物選択部５６は、高分解能Ｕマップ上のＬ４のＩＤが付された孤立領域を選択して出力する。

図３に示すＣＰＵ３０４は、選択された孤立領域に基づいて、先行車両又は人間等の孤立領域の物体を検出し、物体の認識データである車両制御データを、シリアルＩＦ３１２を介して車両ＥＣＵ３に供給する。

第１の実施の形態の機器制御システムは、低分解能Ｕマップ上の近距離の孤立領域に対応する高分解能Ｕマップ上の孤立領域が、複数の孤立領域として存在する場合、複数の孤立領域の間隙から見通せる範囲において、遠方の背景視差の有無（遠方の視差の有無）を検出する。高分解能Ｕマップ上の近距離の各孤立領域間に遠方の背景視差を検出できるということは、例えば、歩行者と車両、又は、車両と車両等のように、複数の孤立領域であるにもかかわらず、低分解能Ｕマップ上において、各孤立領域が結合されて検出されたことを意味する。このため、各孤立領域を正確に分離して検出している高分解能Ｕマップの孤立領域の検出出力を選択して物体認識処理に用いる。

これに対して、高分解能Ｕマップ上の近距離の各孤立領域間に遠方の背景視差を検出できないということは、二つの孤立領域を含む物体の真ん中の部分の視差が検出できない画像状態になっていることを意味する。例えば、無地のトレーラー自動車の撮像画像が白飛びしている場合、左右の物体境界の縦エッジに基づいて、トレーラー自動車の左側の車体部分及び右側の車体部分の視差を検出可能であるが、間の視差を検出することは困難である。また、トレーラー自動車の左側の車体部分及び右側の車体部分の間には、背景視差は存在しない。このようなことから、高分解能Ｕマップ上において、単独の孤立領域が誤って複数の孤立領域に分割されて検出されている場合、単独の孤立領域として正確に検出している低分解能Ｕマップの孤立領域の検出出力を選択して物体認識処理に用いる。

車両ＥＣＵ３の制御機能として設けられた例えば自動ブレーキシステム又は走行アシストシステム等は、物体の認識データである車両制御データを用いて、車両１のブレーキ制御、車両１の走行レーンキープアシスト又は操舵アシスト等を行う。これにより、車両ＥＣＵ３は、上述の正確な物体の認識データ（車両制御データ）に基づいて、より正確に車両１のブレーキ制御等を行うことができる。

このように、本実施形態においては、物体が分離して検出されやすい高分解能Ｕマップにおける検出結果である孤立領域と物体が結合して検出されやすい低分解能Ｕマップにおける検出結果である孤立領域とを関連付け、それら孤立領域より遠方の物体が検出されるか否かに基づいて、適切な方の検出出力を行うことができる。よって、物体を正確に検出することができる。

（第２の実施の形態）
次に、第２の実施の形態の機器制御システムの説明をする。上述の第１の実施の形態の場合、低分解能Ｕマップ上及び高分解能Ｕマップ上の各孤立領域に画像枠を設定した後に、背景視差の有無を判別した。また、上述の第１の実施の形態の場合、低分解能Ｕマップ及び高分解能Ｕマップとして、横軸を物体との間の実距離、縦軸を物体との間の距離に応じて間引き率を変動させる間引き視差としたＵマップを用いた。

これに対して、第２の実施の形態の機器制御システムは、低分解能Ｕマップ及び高分解能Ｕマップとして、横軸を画像のＸ座標系で表し、縦軸を視差ｄに基づく座標系で表したＵマップを用いる。また、第２の実施の形態の機器制御システムは、各孤立領域の統合処理後に背景領域の判定処理を行い、この背景領域の判定結果に基づいて選択した孤立領域に対して画像枠を設定するものである。なお、上述の第１の実施の形態と、以下に説明する第２の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異のみ説明し、重複した説明は省略する。

まず、図１２は、第２の実施の形態の機器制御システムにおける画像処理装置３０のＣＰＵ３０４が、ＲＯＭ３０８等の記憶部に記憶されている車両制御プログラムを実行することで実現する各機能の機能ブロック図である。この図１２に示すように、ＣＰＵ３０４は、車両制御プログラムを実行することで、上述のＶマップ生成部５１〜画像枠生成部５５と共に、背景領域判定部７０の各機能を実現する。

図１３のフローチャートは、第２の実施の形態の機器制御システムにおいて、ＣＰＵ３０４が、各孤立領域を統合処理して背景領域の有無を判別し、背景領域の有無に基づいて選択した孤立領域に対して画像枠を設定する動作の流れを示している。この図１３のフローチャートにおいて、ステップＳ１〜ステップＳ５では、孤立領域検出部５４が、図８（ａ）及び図８（ｂ）を用いて説明したように、低分解能Ｕマップ及び高分解能Ｕマップから孤立領域を検出し、各Ｕマップ上で対応する孤立領域同士を統合処理する（表１参照）。

ステップＳ１１では、図１２に示す背景領域判定部７０が、高分解能Ｕマップ上の各孤立領域に対して、隙間から遠方に視差頻度（背景領域）を検出可能であるか否かを判別する。そして、背景領域判定部７０は、表２を用いて説明したように、隙間から遠方に視差頻度（背景領域）を検出可能な孤立領域に対応する統合処理結果に対して、背景領域が存在することを示す背景領域フラグを付加する（背景領域フラグを立てる）。また、背景領域判定部７０は、隙間から遠方に視差頻度（背景領域）を検出できない孤立領域に対応する統合処理結果に対しては、背景領域が存在しないことを示す背景領域フラグを付加する（背景領域フラグを降ろす）。背景領域フラグが付加される統合検出リストは、表２を用いて説明したとおりである。

図１４は、背景領域判定部７０が背景領域の検出を行う範囲を示す模式図である。上述のように、第２の実施の形態の場合、縦軸が視差値で、横軸がＸ軸のＵマップを用いている。このため、図１４に示すように背景領域の検出範囲は、視差方向を示す点線の矢印の間の直線的な範囲に単純化される。なお、この図１４の例は、図８（ａ）及び図８（ｂ）に示したように低分解能ＵマップのＳ４のＩＤの孤立領域内に、高分解能ＵマップのＬ６及びＬ７の各ＩＤの各孤立領域が含まれる場合を例とした背景領域の検出範囲を示している。この図１４の例の場合、縦軸が視差値及び横軸がＸ軸のＵマップにおいて、Ｌ６及びＬ７の各ＩＤの各孤立領域の間から直線的な検出範囲が、背景領域の検出範囲となることがわかる。

次に、ステップＳ１２では、検出物選択部５６が、背景領域フラグが付加されている場合、高分解能Ｕマップ上の孤立領域を選択し、背景領域フラグが付加されている場合、低分解能Ｕマップ上の孤立領域を選択する。

画像枠設定部の一例である画像枠生成部５５は、検出物選択部５６により選択された孤立領域に対し、ステップＳ１３において、図９（ａ）を用いて説明した画像枠を設定する。図３に示すＣＰＵ３０４は、画像枠が設定された孤立領域に基づいて、先行車両又は人間等の孤立領域の物体を検出し、物体の認識データである車両制御データを、シリアルＩＦ３１２を介して車両ＥＣＵ３に供給する。車両ＥＣＵ３の制御機能として設けられた例えば自動ブレーキシステム又は走行アシストシステム等は、物体の認識データである車両制御データを用いて、車両１のブレーキ制御、車両１の走行レーンキープアシスト又は操舵アシスト等を行う。これにより、車両ＥＣＵ３は、上述の正確な物体の認識データ（車両制御データ）に基づいて、より正確に車両１のブレーキ制御等を行うことができる。

上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。例えば、距離の値（距離値）と視差値は等価に扱うことができる。このため、上述の各実施の形態の説明では、距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。

このような実施の形態及び実施の形態の変形例は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両
２ ステレオカメラ（撮像部）
２ａ カメラ部
２ｂ カメラ部
３ 車両ＥＣＵ
４ 撮像装置
３０ 画像処理装置
５１ Ｖマップ生成部
５２ 路面検出部
５３ Ｕマップ生成部
５４ 孤立領域検出部
５５ 画像枠生成部
５６ 検出物選択部
７０ 背景領域判定部

特開２０１４−０９６００５号公報 国際公開第２０１２／０１７６５０号

Claims (11)

1. 物体の横方向位置と奥行方向位置とが対応づけられた情報から、所定の分解能で物体の分布を示す第１の情報、及び、前記第１の情報よりも高い高分解能で物体の分布を示す第２の情報を生成する生成部と、
   前記第１の情報内の物体及び前記第２の情報内の物体のうち、互いに対応する物体同士を関連付けする関連付け部と、
   前記第２の情報内の各物体の近傍に前記第２の情報内の各物体よりも遠距離に位置する物体が存在するか否かの情報に基づいて、関連付けられた前記互いに対応する物体のいずれかを選択する選択部と
   を有する情報処理装置。
2. 前記選択部は、前記第１の情報内の一つの物体に対して、前記第２の情報内の複数の物体が関連付けられている場合において、前記第２の情報内の各物体の近傍に、前記第２の情報内の各物体よりも遠距離に位置する物体が存在する場合に、前記第２の情報内の各物体の物体情報を選択し、その他の場合に、前記第１の情報内の物体の物体情報を選択すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記選択部は、前記第２の情報内の各物体の間に、前記第２の情報内の各物体よりも遠距離に位置する物体が存在する場合に、前記第２の情報内の各物体の物体情報を選択すること
   を特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 物体の横方向位置と奥行方向位置とが対応づけられた前記情報は、視差画像情報であり、
   前記生成部は、縦軸を視差値、横軸を実距離とした前記第１の情報及び前記第２の情報を生成し、又は、縦軸を視差値、横軸をＸ軸の値とした前記第１の情報及び前記第２の情報を生成すること
   を特徴とする請求項１から請求項３のうち、いずれか一項に記載の情報処理装置。
5. 前記第１の情報内及び前記第２の情報内の各物体に対して、特徴量算出のための画像枠を設定する画像枠設定部を、さらに備え、
   前記選択部は、設定された前記画像枠に基づいて、遠距離に位置する前記物体の有無を判別すること
   を特徴とする請求項１から請求項４のうち、いずれか一項に記載の情報処理装置。
6. 前記選択部により選択された前記物体に対して、特徴量算出のための画像枠を設定する画像枠設定部を、さらに備えること
   を特徴とする請求項１から請求項４のうち、いずれか一項に記載の情報処理装置。
7. 撮像部と、
   請求項１から請求項６のうち、いずれか一項に記載の情報処理装置と
   を有する撮像装置。
8. 請求項７に記載の撮像装置と、
   前記情報処理装置の前記選択部により選択された物体情報に基づいて、所定の機器を制御する制御部と
   を有する機器制御システム。
9. 請求項８に記載の機器制御システムを有し、
   前記情報処理装置の前記制御部により制御されること
   を特徴とする移動体。
10. 生成部が、物体の横方向位置と奥行方向位置とが対応づけられた情報から、所定の分解能で物体の分布を示す第１の情報、及び、前記第１の情報よりも高い高分解能で物体の分布を示す第２の情報を生成する生成ステップと、
    関連付け部が、前記第１の情報内の物体及び前記第２の情報内の物体のうち、互いに対応する物体同士を関連付けする関連付けステップと、
    選択部が、前記第２の情報内の各物体の近傍に前記第２の情報内の各物体よりも遠距離に位置する物体が存在するか否かの情報に基づいて、関連付けられた前記互いに対応する物体のいずれかを選択する選択ステップと
    を有する情報処理方法。
11. コンピュータを、
    物体の横方向位置と奥行方向位置とが対応づけられた情報から、所定の分解能で物体の分布を示す第１の情報、及び、前記第１の情報よりも高い高分解能で物体の分布を示す第２の情報を生成する生成部と、
    前記第１の情報内の物体及び前記第２の情報内の物体のうち、互いに対応する物体同士を関連付けする関連付け部と、
    前記第２の情報内の各物体の近傍に前記第２の情報内の各物体よりも遠距離に位置する物体が存在するか否かの情報に基づいて、関連付けられた前記互いに対応する物体のいずれかを選択する選択部として機能させること
    を特徴とする情報処理プログラム。

Images