JP6969245B2 - 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラムに関する。

今日において、歩行者又は自動車等との衝突の際に、いかに歩行者を守れるか及び乗員を保護できるかという、自動車の安全性における観点から自動車のボディー構造等の開発が行われている。近年においては、情報処理技術、画像処理技術の発達により、人及び自動車等を高速に検出する技術が知られている。これらの技術を用いることで、衝突する前に自動的にブレーキをかけて衝突を未然に防止する衝突防止システムが設けられた自動車も知られている。この衝突防止システムの場合、ミリ波レーダ装置、レーザレーダ装置又はステレオカメラ装置等を用いて人又は他車等の検出対象物までの距離を測距し、この測距した結果に基づいて、ブレーキ制御を行う。これにより、検出対象物との間の距離に応じて、自動的にブレーキをかけることができる。

特許文献１（特開２０１４−０９６００５号公報）には、同一とみなされるオブジェクトを正確にグループ化して検出する物体検出装置が開示されている。この物体検出装置は、距離画像を用いて有効領域同士をグルーピングした後、グルーピングされた物体に対して濃淡画像の輪郭部分（エッジ）に着目して領域を分割する。

特許文献２（国際公開第２０１２／０１７６５０号）には、物体及び路面を精度よく検出可能な物体検出装置が開示されている。この物体検出装置は、路面領域を検出した後、路面以上の高さを持つデータを物体候補領域として検出し、形状特徴に基づいて物体及び路面の判別を行う。

しかし、検出対象物までの間の距離の測距精度は、検出対象物までの間の距離が長くなるほど距離分解能が低下する。このため、遠方に位置する複数の検出対象物同士が結合し、一つの物体として検出される不都合を生ずる場合もあった。

本発明は、上述の課題に鑑みてなされたものであり、複数の検出対象物を正確に分離して検出可能な情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、物体の横方向位置及び奥行方向位置と頻度値が対応付けられた２次元的な頻度分布を示す２次元分布情報を生成する生成部と、２次元分布情報に基づいて検出対象物を検出する検出部と、頻度値を奥行方向位置に応じて積算して特徴量を生成し、特徴量に基づいて分離位置を特定する分離位置特定部と、分離位置で検出対象物を分離する物体分離部と、を有し、前記分離位置特定部は、前記分離位置において２つに分離された検出対象物の一方の奥行方向位置及び他方の奥行方向位置の差を算出し、前記差が所定の値を超えている分離位置を特定することを特徴とする。

本発明によれば、検出対象物を、正確に分離して検出できるという効果を奏する。

図１は、第１の実施の形態の機器制御システムである車両に設けられたステレオカメラの位置を示す図である。 図２は、車両が有するステレオカメラ及びその周辺の構成を示す図である。 図３は、ステレオカメラを備えた撮像装置の構成例を示す図である。 図４は、第１の実施の形態の機器制御システムのＣＰＵにより、車両制御プログラムに基づいて実現される各機能の機能ブロック図である。 図５は、Ｕマップの一例を示す図である。 図６は、Ｕマップ上の２つの物体に対して、一つの孤立領域が設定された状態を示す図である。 図７は、特徴量に基づいて特定した分割位置で２つに分離した検出対象物を示す図である。 図８は、実施の形態の分離処理の流れを示すフローチャートである。 図９は、一次元ヒストグラムの生成に仕方を説明するための図である。 図１０は、クラス分離度の計算動作を説明するための図である。 図１１は、Ｕマップ上の２つの物体に対して、それぞれ正確に孤立領域が設定された状態を示す図である。

以下、図面を参照して、実施の形態の機器制御システムの説明をする。

（システム構成）
まず、実施の形態の機器制御システムは、図１に示すように車両１のフロントガラス等に設けられ、進行方向前側の所定の撮像範囲を撮像するステレオカメラ２を有している。ステレオカメラ２は、図３を用いて後述するように２つの画像センサ２２を備え、左目視界と右目視界の２つの画像を撮像する撮像部である。

図２は、移動体の一例である車両１が有するステレオカメラ２及びその周辺の構成例を示す図である。ステレオカメラ２は、例えば撮像した２つの画像を車両ＥＣＵ（Engine Control Unit）３に対して出力する。車両ＥＣＵ３は車両１に設置され、例えば車両１のエンジン制御、制動制御、及び走行レーンキープアシスト、操舵アシスト等の車両１に対する制御を行う。なお、以下、移動体の一例として車両について説明するが、本実施の形態の機器制御システムは、船舶、航空機、ロボット等にも適用可能である。

（撮像装置の構成）
図３は、ステレオカメラ２を備えた撮像装置４の構成例を示す図である。撮像装置４は、例えばステレオカメラ２及び画像処理装置３０を有する。ステレオカメラ２は、左目用となるカメラ部２ａと、右目用となるカメラ部２ｂが平行（水平）に組みつけられ、撮像対象領域の動画（又は静止画）を撮影する。

カメラ部２ａ、２ｂは、それぞれレンズ２１、画像センサ２２、及びセンサコントローラ２３を備えている。画像センサ２２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサである。センサコントローラ２３は、例えば画像センサ２２の露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う。

画像処理装置３０は、例えば図２に示した車両ＥＣＵ３内に設けられる。画像処理装置３０は、例えばデータバスライン３００、シリアルバスライン３０２、ＣＰＵ（Central Processing Unit）３０４、ＦＰＧＡ（Field-Programmable Gate Array）３０６、ＲＯＭ（Read Only Memory）３０８、ＲＡＭ（Random Access Memory）３１０、シリアルＩＦ（Interface）３１２、及びデータＩＦ（Interface）３１４を有する。

上述したステレオカメラ２は、データバスライン３００及びシリアルバスライン３０２を介して画像処理装置３０と接続されている。ＣＰＵ３０４は、画像処理装置３０全体の動作を制御し、画像処理及び画像認識処理を実行する。カメラ部２ａ、２ｂそれぞれの画像センサ２２が撮像した撮像画像の輝度画像データは、データバスライン３００を介して画像処理装置３０のＲＡＭ３１０に書き込まれる。ＣＰＵ３０４又はＦＰＧＡ３０６からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、及び各種設定データ等は、シリアルバスライン３０２を介して送受信される。

ＦＰＧＡ３０６は、ＲＡＭ３１０に保存された画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ３１０に再度書き込む。なお、視差画像は、物体の縦方向位置、横方向位置、及び、奥行方向位置が対応付けられた情報となっている。

ＣＰＵ３０４は、ステレオカメラ２の各センサコントローラ２３の制御、及び画像処理装置３０の全体的な制御を行う。ＣＰＵ３０４は、データＩＦ３１４を介して、例えば自車両のＣＡＮ（Controller Area Network）情報をパラメータ（車速、加速度、舵角、ヨーレート等）として取得する。

先行車両、人間、ガードレール、路面等の物体の認識データである車両制御データは、シリアルＩＦ３１２を介して、車両ＥＣＵ３に供給され、車両ＥＣＵ３の制御機能として設けられた例えば自動ブレーキシステム又は走行アシストシステム等で用いられる。自動ブレーキシステムは、車両１のブレーキ制御を行う。また、走行アシストシステムは、車両１の走行レーンキープアシスト及び操舵アシスト等を行う。

（画像処理装置の機能）
画像処理装置３０のＣＰＵ３０４は、ＲＯＭ３０８等の記憶部に記憶されている車両制御プログラムを実行することで、図４に示す各機能を実現し、撮像装置４で撮像された視差画像に基づいて先行車両、人間、ガードレール、路面等の物体を検出する。そして、検出した物体に応じて、車両制御データを車両ＥＣＵ３に供給する。車両ＥＣＵ３は、車両制御データを用いて、ブレーキ制御、走行レーンキープアシスト及び操舵アシスト等を行う。

すなわち、ＣＰＵ３０４は、ＲＯＭ３０８等の記憶部に記憶されている車両制御プログラムを実行することで、図４に示すように、投票処理部５１、孤立領域検出部５２、奥行分離部５３、投票修正部５４、対象物検出部５５、及び、車両制御部５６の各機能を実現する。

なお、この例では、投票処理部５１〜車両制御部５６をソフトウェアで実現することとしたが、投票処理部５１〜車両制御部５６のうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、車両制御プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、車両制御プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、車両制御プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

生成部の一例である投票処理部５１は、撮像装置４の撮像画像から形成された視差画像に基づいて、物体の横方向位置と奥行方向位置とが対応付けられた頻度分布を示す２次元ヒストグラムであるＵマップ（２次元分布情報の一例）を生成する。なお、説明の都合上、「マップ」という語句を用いるが、実際に地図又は画像状の情報が形成される訳ではなく、横方向位置と奥行方向位置とが対応付けられた情報群が形成されるものと理解されたい。

具体的には、投票処理部５１は、横軸を物体との間の実距離、縦軸を物体との間の距離に応じて間引き率を変動させる間引き視差とした、視差値の頻度分布を示す二次元ヒストグラムであるＵマップ（鳥瞰画像、俯瞰画像、俯瞰マップ）を生成する。一例ではあるが、投票処理部５１は、物体との間の距離が５０ｍ以上の遠距離の場合、視差の間引きはしないが、物体との間の距離が２０ｍ〜５０ｍ未満の中距離の場合、視差を１／２に間引き処理する。また、投票処理部５１は、物体との間の距離が１０ｍ〜２０ｍ未満の近距離の場合、視差を１／３に間引き処理し、物体との間の距離が１０ｍ未満の場合、視差を１／８に間引き処理する。遠方では物体が小さく、視差情報が少なく、また、距離の分解能も小さいため、視差の間引き処理を行わない。これに対して、近距離の場合、物体が大きく写るため、視差情報が多く距離の分解能も大きくなるため、視差を大きく間引き処理する。なお、本処理は物体を検出しやすくするために俯瞰的なマップ（鳥瞰画像、俯瞰画像）を生成するものであるため、横軸は実距離でなくとも実距離に相当するものであれば良い。

図５は、このように物体との間の距離に応じた間引き視差を用いて生成したＵマップの一例である。この図５の例は、左右のガードレールＧＬ−ＧＲ間の道路が２車線となっており、各車線を、車両Ｃ１、Ｃ２がそれぞれ略々並んで走行している状態を示している。なお、この例では、投票処理部５１は、縦軸を視差値、横軸を実距離としたＵマップを生成することとしたが、縦軸を視差値、横軸をＸ座標系の値としたＵマップを生成し、このＵマップを用いて、後述する処理を実行してもよい。この場合でも、縦軸を視差値、横軸を実距離としたＵマップを用いた場合と同様の効果を得ることができる。すなわち、縦軸と横軸の変換によらず、物体の横方向位置と奥行方向位置とが対応付けられた情報群が利用できれば良い。なお、以下では奥行方向を視差値ではなく距離値に変換したものとして説明する。なお、変換せずに視差値のまま情報を取り扱ってもよい。

次に、検出部の一例である図４に示す孤立領域検出部５２は、Ｕマップ上に存在する物体に対応する孤立領域をそれぞれ検出する。図６に孤立領域の検出例を示す。この図６の例の場合、実施の形態の機器制御システムが設けられた車両１は、２車線の直線道路の左側のレーンを走行しており、この車両１の前方には、先行車両としてトラックＴＲが走行している例である。また、右側のレーンには、手前から順に、タクシー自動車ＴＫ、軽トラック自動車ＫＪ１及び軽トラック自動車ＫＪ２が走行している例である。右側のレーンを走行する自動車のうち、一番手前を走行するタクシー自動車ＴＫは、略々車両全体が確認できる状態である。また、タクシー自動車ＴＫの前方を走行する軽トラック自動車ＫＪ１は、右側のテールランプが、タクシー自動車ＴＫのボンネットの右端の部分と重なっているが、略々荷台全体を確認できる状態である。そして、軽トラック自動車ＫＪ２は、略々左半分が、後方を走行する軽トラック自動車ＫＪ１と重なり、右半分しか確認できない状態である。なお、孤立領域の検出は、周知のラベリング処理（隣接する画素にＩＤを付与する処理）を用い、同一のＩＤが付与され一定以上の大きさを有するものを抽出することにより行い得る。これに限らず、周知の種々の方法が適用できる。

（分離処理）
ここで、孤立領域検出部５２は、近い距離値（視差値）の物体同士が重なり合っていることから、タクシー自動車ＴＫ及び軽トラック自動車ＫＪ１を１台の車両として誤検出したとする。図６に示すタクシー自動車ＴＫ及び軽トラック自動車ＫＪ１を囲む枠（検出枠）は、このような誤検出が生じたことを示している。なお、ここでいう枠とは、物体の位置と大きさを示すものであり、例えば物体を囲む矩形の角の座標と高さ及び幅が対応付けられた情報である。

分離位置特定部の一例である奥行分離部５３は、孤立領域検出部５２で検出された孤立領域が、距離分散（視差分散）により前後の車両等の物体同士の結合が生じ易い距離範囲に位置している場合（奥行分離開始条件を満たしている場合）、奥行分離処理を実行する。すなわち、遠方では距離分散（視差分散）が大きくなり、物体の結合が生じやすいため、奥行分離処理を実行するものとしている。具体的には、例えば「最近距離が３０ｍ以上の孤立領域であること」を、奥行分離開始条件として定めている。「３０ｍ」等の数値は、撮像装置４のステレオカメラ性能等に応じて変更してもよい。実施の形態の例の場合、近距離に位置する孤立領域に対しては、以下に説明する奥行分離処理を行わないことで、ＣＰＵ３０４の処理負荷を軽減することができる。

奥行分離部５３は、上述の奥行分離開始条件を満たす孤立領域に対して、画像のＸ座標（Ｕマップの横方向座標）と同等の性質を有する一次元の特徴量（頻度と距離値の積）を算出する。すなわち、各Ｘ座標（または横方向位置）毎に対応する頻度と距離値の積を算出する。また、奥行分離部５３は、算出した特徴量を全ての各Ｘ座標位置（分離位置の候補）で分割し、孤立領域の物体を分離するための評価値（特徴量）を算出し、評価値が最大となる分割位置を特定する。なお、この例では、評価値が最大となる分割位置を特定することとしたが、評価値が２番目に大きい分割位置、又は、評価値が２番目に大きい分割位置等、設計等に応じて特定する分割位置を変更してもよい。

上記にいう頻度と距離値の積は、一般に良く知られる判別分析法における分離度（クラス間分散とクラス内分散の比）に相当する特徴量となる。よって、この特徴量に基づいて分割位置を特定することにより、図７に示すように、対象を２つのグループに適切に分離することができる。すなわち、検出対象物を正確に分離することができることとなる。

奥行分離部５３は、特定した分割位置で分離した物体の平均距離の差が、車両一台分の長さより離れていた場合に、孤立領域を二つの物体の孤立領域に分割する。横幅の確からしさではなく、分割位置の統計的処理及び平均距離の差により、奥行方向に位置する孤立領域を分離する。これにより、距離分散（視差分散）による悪影響、及び、Ｕマップの二次元的な分布による悪影響を受けにくくなり、例えば前後を走行している二つの車両を正しく分離して検出することができる。

図８のフローチャートに、奥行分離処理の流れを示す。奥行分離部５３は、ステップＳ１において、上述の奥行分離開始条件を満たす孤立領域を形成する画素（投票情報）毎に「距離値（Ｙ座標値、奥行）×頻度値」の特徴量を算出する。そして、奥行分離部５３は、孤立領域の奥行方向の列毎に、各画素の算出した特徴量を積算処理して１次元のヒストグラムを生成する。このような１次元ヒストグラムは、視差画像のＸ軸と同等の次元を有する。なお、本実施形態では、視差画像の各Ｘ座標（横方向位置）毎に、これに対応する頻度と距離値の積を算出するものとするが、これに限られず、視差画像のスケールを縮小したＸ座標毎に、これに対応する頻度と距離値の積を算出するものとしてもよい。

図９は、１次元ヒストグラムが生成される様子を示す図である。この図９は、図６に示したタクシー自動車ＴＫ及びタクシー自動車ＴＫの前を走行する軽トラック自動車ＫＪ１が結合して一つの孤立領域として検出された例を示している。図９中、奥行側の塊が軽トラック自動車ＫＪ１、手前側がタクシー自動車ＴＫを示している。また、軽トラック自動車ＫＪ１内の画素中の数値は、「距離値（Ｙ座標値）×頻度値」の演算式で算出した特徴量の一例となっている。

すなわち、図９の例の場合、軽トラック自動車ＫＪ１の一列目の画素は１つのみであり、「距離値（Ｙ座標値）×頻度値」の特徴量は「１」となっている。また、軽トラック自動車ＫＪ１の二列目の画素は２つあり、「距離値（Ｙ座標値）×頻度値」の特徴量は、それぞれ「３」、「４」となっている。奥行分離部５３は、このような特徴量を列方向に積算処理する（図９中、「＋」の記号は、積算処理を示している）。これにより、一画素目は「１」、２画素目は「７（＝３＋４）」・・・の１次元ヒストグラムが生成される。このような１次元ヒストグラムを用いることで、後述する分離処理の時間を短縮化でき、また、画像座標軸を利用することになるので、正確な物体の分離処理を可能とすることができる。

なお、図９の例において、軽トラック自動車ＫＪ１又はタクシー自動車ＴＫの一つの画素が、１次元ヒストグラムの一つの画素に、必ずしも対応するとは限らない。この図９の例に示すように軽トラック自動車ＫＪ１又はタクシー自動車ＴＫの複数の画素が、１次元ヒストグラムの一つの画素に対応することも有り得る。

次に、ステップＳ２において、奥行分離部５３は、ステップＳ１で生成した１次元ヒストグラムの幅が、所定の幅より大きいか否かを判別する。具体的には、奥行分離部５３は、１次元ヒストグラムの幅が、例えば通常の車両の１台分の幅である「２ｍ」よりも大きいか否かを判別する。なお、孤立領域の検出枠内の距離値から１次元ヒストグラムの幅を実世界の幅に換算可能である。

１次元ヒストグラムの幅が、通常の車両の１台分の幅よりも小さいということは、その孤立領域は、複数の物体が結合した孤立領域ではないことを意味する。このため、奥行分離部５３は、１次元ヒストグラムの幅が、通常の車両の１台分の幅よりも小さいと判別した場合、その孤立領域に対する分離処理を中止し、図８のフローチャートの処理を終了する。これに対して、１次元ヒストグラムの幅が、通常の車両の１台分の幅よりも大きいということは、その孤立領域は、複数の物体が結合した孤立領域である可能性が高い。このため、奥行分離部５３は、ステップＳ３に処理を進める。

ステップＳ３では、奥行分離部５３が、１次元ヒストグラムをヒストグラムの頻度がある範囲内の各Ｘ座標で、順に２つのグループに分け，各分離位置でクラス分離度の評価値を算出するクラス分離度計算処理を行う。図１０は、クラス分離度計算処理の処理内容を示す模式図である。この図１０に示すように、奥行分離部５３が、１次元ヒストグラムをヒストグラムの頻度がある範囲内において、Ｘ座標順に１次元ヒストグラムを２つのグループに分離する。図１０に示す矢印Ｂは、１次元ヒストグラムの分離位置を示しており、現在、略中央で１次元ヒストグラムが２つに分離されていることを示している。奥行分離部５３は、例えば１次元ヒストグラムの左端から右端にかけて順に分離位置をずらし、各分離位置でクラス分離度の評価値を算出する。

なお、１次元ヒストグラムの分離位置は、どのように移動してもよく、例えば１次元ヒストグラムの右端から左端にかけて順に移動してもよい。または、最初に、１次元ヒストグラムを真ん中から分離し、真ん中から右端にかけて順に分離位置を移動して演算を行い、右端に対応する演算の終了後に、１次元ヒストグラムの分離位置を真ん中に戻し、真ん中から左端にかけて順に分離位置を移動して演算を行ってもよい。

奥行分離部５３は、図１０に示すように１次元ヒストグラムの分離位置から左端までの間の頻度値の和を「ｗ１」、分離位置から左端までの間の特徴量（距離値×頻度値）の平均値を「ｍ１」、分離位置から右端までの間の頻度値の和を「ｗ２」、分離位置から右端までの間の特徴量（距離値×頻度値）の平均値を「ｍ２」として、以下の数１式の演算を行うことで、クラス分離度を算出する。なお、平均値ｍ１、ｍ２は、Ｕマップの距離値（Ｙ座標値）の次元に相当する。平均値ｍ１は、１次元ヒストグラムの分離位置から左端までの間の特徴量の平均値を示し、平均値ｍ２は、１次元ヒストグラムの分離位置から右端までの間の特徴量の平均値を示す。

クラス分離度＝ｗ１×ｗ２×（ｍ１−ｍ２）^２・・・数１式

なお、奥行分離部５３は、平均値ｍ１、ｍ２を、以下の数２式の演算を行うことで算出する。

平均値＝（Σ（距離値×頻度値））／（Σ頻度値）・・・数２式

次に、ステップＳ４において、奥行分離部５３は、算出したクラス分離度のうち、最大のクラス分離度を算出した分離位置を特定する。また、奥行分離部５３は、特定した分離位置を境として形成される２つのグループの平均値ｍ１及び平均値ｍ２の差（距離差）を算出する。そして、奥行分離部５３は、ステップＳ５において、算出した距離差が、例えば大型車１台分の車両長である１０ｍ等の、所定の値を超えているか否かを判別する。

算出した距離差が、大型車１台分の車両長である１０ｍを超えていないということは、特定した分離位置を境として形成される２つのグループに対応する各物体は、例えばトラック自動車の荷台と運転席等のような、一体的な物体（孤立領域）であることを意味する。このため、奥行分離部５３は、その孤立領域に対する分離処理を中止し、図８のフローチャートの処理を終了する。

これに対して、算出した距離差が、大型車１台分の車両長である１０ｍを超えているということは、特定した分離位置を境として形成される２つのグループに対応する各物体は、例えば２台の車両等のように、物理的に異なる物体（孤立領域）であることを意味する。このため、奥行分離部５３は、ステップＳ３６に処理を進め、特定した分離位置で、一つに結合されていた孤立領域を、２つの孤立領域に分離処理して、図８のフローチャートを終了する。このような分離処理においては、視差分散による悪影響、及び、Ｕマップの二次元的な分布による悪影響を受けにくくなり、例えば前後を走行している二つの車両を正しく分離することができる。

以上のように、物体の横方向位置と奥行方向位置（距離値）および頻度が対応づけられた情報から、横方向位置毎に距離値と頻度を積算した特徴量（１次元ヒストグラム）を算出し、この特徴量に基づいて物体を分離する。これにより、正確に物体を分離できる。

物体分離部の一例である図４に示す投票修正部５４は、奥行分離部５３の分離処理結果に基づいて、孤立領域を設定し直す（孤立領域を分離する）ことで、Ｕマップ上に設定された孤立領域を修正する。図１１は、設定し直した孤立領域を示す図である。修正前においては、図６を用いて説明したように右斜線を走行するタクシー自動車ＴＫ、及び、タクシー自動車ＴＫの前を走行する軽トラック自動車ＫＪ１は、一つの物体として一つの孤立領域が設定されていた。しかし、上述の分離処理を行うことで、図１１に示すように、タクシー自動車ＴＫ、及び、タクシー自動車ＴＫの前を走行する軽トラック自動車ＫＪ１を、それぞれ異なる物体として孤立領域を設定し直すことができる。

図４に示す対象物検出部５５は、このように正確に設定された各孤立領域に基づいて、対応する車両、歩行者、ガードレール、標識等の物体検出処理を行う。そして、車両制御部５６は、物体検出結果となる車両制御データを図２に示す車両ＥＣＵ３に供給する。車両ＥＣＵ３は、例えば車両１のエンジン制御、制動制御、及び走行レーンキープアシスト、操舵アシスト等の車両１に対する制御を行う。

上述の実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。例えば、距離の値（距離値）と視差値は等価に扱うことができる。このため、上述の実施の形態の説明では、距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。

このような実施の形態及び実施の形態の変形例は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両
２ ステレオカメラ（撮像部）
２ａ カメラ部
２ｂ カメラ部
３ 車両ＥＣＵ
４ 撮像装置
３０ 画像処理装置
５１ 投票処理部
５２ 孤立領域検出部
５３ 奥行分離部
５４ 投票修正部
５５ 対象物検出部
５６ 車両制御部

特開２０１４−０９６００５号公報 国際公開第２０１２／０１７６５０号

Claims (9)

1. 物体の横方向位置及び奥行方向位置と頻度値が対応付けられた２次元的な頻度分布を示す２次元分布情報を生成する生成部と、
   前記２次元分布情報に基づいて検出対象物を検出する検出部と、
   前記頻度値を奥行方向位置に応じて積算して特徴量を生成し、前記特徴量に基づいて分離位置を特定する分離位置特定部と、
   前記分離位置で前記検出対象物を分離する物体分離部と、を有し、
   前記分離位置特定部は、前記分離位置において２つに分離された検出対象物の一方の奥行方向位置及び他方の奥行方向位置の差を算出し、前記差が所定の値を超えている分離位置を特定すること
   を特徴とする情報処理装置。
2. 前記分離位置特定部は、前記検出対象物の奥行方向位置が所定の位置よりも遠方である場合に、前記分離位置の特定を行うこと
   を特徴とする請求項１に記載の情報処理装置。
3. 前記分離位置特定部は、前記検出対象物の横方向位置に対応する前記頻度値を、前記奥行方向に沿って積算処理することで、前記特徴量を生成すること
   を特徴とする請求項１に記載の情報処理装置。
4. 前記分離位置特定部は、前記分離位置の候補を複数特定し、当該各分離位置の候補に基づいて算出した前記特徴量が所定の条件を満たす分離位置を特定すること
   を特徴とする請求項１から請求項３のうち、いずれか一項に記載の情報処理装置。
5. 撮像部と、
   請求項１から請求項４のうち、いずれか一項に記載の情報処理装置と
   を有する撮像装置。
6. 請求項１から請求項４のうち、いずれか一項に記載の情報処理装置と、
   前記物体分離部により分離された物体の物体情報に基づいて、所定の機器を制御する制御部と
   を有する機器制御システム。
7. 請求項６に記載の機器制御システムの前記制御部により制御されること
   を特徴とする移動体。
8. 生成部が、物体の横方向位置及び奥行方向位置と頻度値が対応付けられた２次元的な頻度分布を示す２次元分布情報を生成する生成ステップと、
   検出部が、前記２次元分布情報に基づいて検出対象物を検出する検出ステップと、
   分離位置特定部が、前記頻度値を奥行方向位置に応じて積算して特徴量を生成し、前記特徴量に基づいて分離位置を特定する分離位置特定ステップと、
   物体分離部が、前記分離位置で前記検出対象物を分離する物体分離ステップと、を有し、
   前記分離位置ステップは、前記分離位置において２つに分離された検出対象物の一方の奥行方向位置及び他方の奥行方向位置の差を算出し、前記差が所定の値を超えている分離位置を特定することを特徴とする情報処理方法。
9. コンピュータを、
   物体の横方向位置及び奥行方向位置と頻度値が対応付けられた２次元的な頻度分布を示す２次元分布情報を生成する生成部と、
   前記２次元分布情報に基づいて検出対象物を検出する検出部と、
   前記頻度値を奥行方向位置に応じて積算して特徴量を生成し、前記特徴量に基づいて分離位置を特定する分離位置特定部と、
   前記分離位置で前記検出対象物を分離する物体分離部として機能させる情報処理プログラムであって、
   前記分離位置特定部は、前記分離位置において２つに分離された検出対象物の一方の奥行方向位置及び他方の奥行方向位置の差を算出し、前記差が所定の値を超えている分離位置を特定することを特徴とする情報処理プログラム。
   

Images