JPWO2017134936A1 - 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム - Google Patents

Abstract

本発明による物体検出装置は、座標毎に距離情報を有する距離画像に基づいて、解像度の異なる２種類のマップを生成するマップ生成手段と、マップ生成手段により生成された２種類のマップに基づいて物体を検出する物体検出手段と、を備える。

Description

本発明は、物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラムに関する。

自動車の安全性において、従来は歩行者や自動車と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかの観点から自動車のボディー構造などの開発が行われてきた。しかしながら近年、情報処理技術、画像処理技術の発達により、高速に人や自動車を検出する技術が開発されてきている。これらの技術を応用して、衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車も既に発売されている。自動的にブレーキをかけるには人や他車までの距離を正確に測定する必要があり、そのためには、ミリ波レーダ、レーザレーダによる測距、ステレオカメラによる測距などが実用化されている。

ステレオカメラで人や他車などの物体の３次元的な位置や大きさを正確に検出するためには、物体を塊として検出し、さらに路面の位置を検出し、その路面に接している物体を検出するという方法が既に知られている。

上記のようなステレオカメラに関し、例えば特許文献１には、ステレオカメラの撮像画像から視差画像を生成する視差画像生成部と、前記撮像画像内における路面を検出する路面形状検出部と、検出された路面と視差画像とに基づいて、横軸を横方向の距離、縦軸を移動方向の距離とした視差値の頻度分布及び高さ分布を表すマップ情報を生成するリアルＵマップ生成部と、前記頻度分布に基づいてオブジェクト候補領域を検出するオブジェクト候補領域検出部と、前記オブジェクト候補領域に基づいて路面上の立体物を抽出するオブジェクト領域抽出部と、を有する技術が開示されている。

しかし、例えば特許文献１に記載されたような従来の技術においては、物体を塊として検出する処理において撮像画像上の遠方の物体については撮像画像から得られる情報が少ないため、検出が不安定になるという問題がある。

本発明は、上述した実情に鑑みてなされたものであって、遠方の物体を安定的に検出することを目的とする。

上述した課題を解決するため、本発明の物体検出装置は、座標毎に距離情報を有する距離画像に基づいて、解像度の異なる２種類のマップを生成するマップ生成手段と、マップ生成手段により生成された２種類のマップに基づいて物体を検出する物体検出手段と、を備えることを特徴とする。

本発明によれば、遠方の物体を安定的に検出することが可能になる。

本発明の実施形態における機器制御システムの概略構成図である。 本発明の実施形態における撮像装置の概略構成図である。 本発明の実施形態における物体検出装置の機能ブロック図である。 本発明の実施形態における物体検出装置の機能ブロック図である。 本発明の実施形態におけるＶマップ生成処理について説明する模式図である。 本発明の実施形態におけるＶマップ生成処理について説明する模式図である。 本発明の実施形態におけるＵマップ生成処理について説明する模式図である。 本発明の実施形態におけるＵマップ生成処理について説明する模式図である。 本発明の実施形態におけるＵマップ生成処理について説明する模式図である。 本発明の実施形態におけるリアルＵマップ生成処理について説明する模式図である。 本発明の実施形態におけるリアルＵマップ生成処理について説明する模式図である。 本発明の実施形態における物体検出処理手順を示すフローチャートである。 本発明の実施形態におけるリアルＵマップで検出した領域に対応する視差画像領域を検出する処理について説明する模式図である。 本発明の実施形態におけるリアルＵマップで検出した領域に対応する視差画像領域を検出する処理について説明する模式図である。 図８Ａ−Ｂの検出結果に基づいたオブジェクト領域抽出処理を説明する模式図である。 本発明の実施形態におけるスモールＵマップを用いて遠方車両を検出する処理について説明する模式図である。 本発明の実施形態におけるスモールＵマップを用いて遠方車両を検出する処理について説明する模式図である。 本発明の実施形態におけるラージＵマップ、スモールＵマップによるクラスタリング結果を示す模式図である。 本発明の実施形態におけるラージＵマップ、スモールＵマップによるクラスタリング結果を示す模式図である。 本発明の実施形態における物体検出処理の詳細手順を示すフローチャートである。 図１２におけるマージ処理手順を示すフローチャートである。 図１３におけるマージ処理の具体例を示す模式図である。 図１３におけるマージ処理の具体例を示す模式図である。 図１３におけるマージ処理の具体例を示す模式図である。 従来技術を説明するための模式図である。 従来技術を説明するための模式図である。 従来技術を説明するための模式図である。 従来技術を説明するための模式図である。

本発明の実施形態における物体検出装置に関し以下図面を用いて説明するが、本発明の趣旨を越えない限り、何ら本実施形態に限定されるものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。また、以下に記載する実施形態は本発明の最良の形態であって、本発明にかかる特許請求の範囲を限定するものではない。

本実施形態においては、物体検出装置が、移動体としての車両に取り付けられたステレオカメラ等の撮像装置により撮像された、該車両の前方を走行する他の車両等の物体を検出する例を用いて説明する。他方、移動体としては車両に限定されず、船舶、航空機等にも適用可能である。

そして、例えば物体検出装置による検出結果を用いて車両の運行等を制御する。なお、ここでの制御には車両等それ自体を制御する概念に加え、車両等が備える所定の機器、例えばブレーキシステム、操舵システム、エンジン制御システム等の各ユニットを制御する概念も含まれる。

また、物体検出装置は例えば情報処理装置等として単独で構成されるものであっても、物体検出装置が有する処理機能がステレオカメラ等の撮像装置が有する処理基板等に組み込まれて構成されるものであってもよい。

＜本実施形態における機器制御システムについて＞
本実施形態における機器制御システムについて図１を参照して説明する。ここでは、機器として車両を制御するシステムを例にその概略を説明する。車両１は矢印Ａ方向がフロントノーズであるとする。車両１は、撮像ユニット２、物体検出ユニット３、制御ユニット４を備えている。撮像ユニット２は例えば車内のルームミラー付近に設置され、フロントガラス５越しに車両１の前方を走行する他の車両等を撮像する。

撮像ユニット２により撮像された画像に基づいて物体検出ユニット３が物体を検出し、その検出結果を利用して制御ユニット４により車両の走行スピード、他の車両との走行間隔、走行レーン、ブレーキのタイミング等を制御する。なお、撮像ユニット、物体検出ユニット、制御ユニットなる用語は、ここでの記載内容と他の記載内容とを区別するために便宜的につけたものであり、ユニットとしたことについて他意はない。すなわち、撮像ユニット、物体検出ユニット、制御ユニットは、それぞれ、撮像装置又は撮像手段、物体検出装置又は物体検出手段、制御装置又は制御手段と読み替えてもよい。

＜本実施形態における撮像装置について＞
本実施形態における撮像装置について図２を参照して説明する。本実施形態における撮像装置はステレオカメラ１０と、画像処理基板２０で構成されている。

ステレオカメラ１０は、２台のカメラが平行に組み付けられて構成される。ステレオカメラ１０は、左レンズ１１Ｌ、右レンズ１１Ｒに対応して、画像センサ１２Ｌ及び画像センサコントローラ１３Ｌ、画像センサ１２Ｒ及び画像センサコントローラ１３Ｒを備えている。なお、本実施形態においては、２台のカメラによりステレオカメラ１０が構成されているが、本発明としては、３台以上のカメラで構成されることを妨げない。

画像センサコントローラ１３Ｌ、１３Ｒは、画像センサ１２Ｌ、１２Ｒの露光制御、Ａ／Ｄ変換、画像読み出し制御、外部回路との通信、画像データの送信の役割を担う。ステレオカメラ１０は、画像処理基板２０とデータバス２７、シリアルバス２８で接続されている。ステレオカメラ１０から、輝度画像データと視差画像データが出力される。

ステレオカメラ１０から出力された輝度画像データはデータバス２７を介して画像センサ１２Ｌ、１２Ｒから画像処理基板２０に転送される。また、シリアルバス２８は、画像処理基板２０からのセンサ露光制御値変更、画像読み出しパラメータ変更、各種設定データの送受信を行う。

画像処理基板２０は、ＣＰＵ２１、ＦＰＧＡ２２、ＲＡＭ２３、ＲＯＭ２４、シリアルＩ／Ｆ２５、データＩ／Ｆ２６、データバス２７、シリアルバス２８を備えている。

ＣＰＵ２１は画像処理基板２０の全体の動作制御、画像処理、及び画像認識処理を実行する。ＦＰＧＡ２２はＲＡＭ２３に保存された画像データに対してリアルタイム性が要求される処理を実行する。ＦＰＧＡ２２は、例えばガンマ補正、歪み補正すなわち左右画像の平行化、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ２３に書き戻す。

ＣＰＵ２１はステレオカメラ１０の画像センサコントローラ１３Ｌ、１３Ｒの制御及び画像処理基板２０の全体的な制御を担う。また、ＣＰＵ２１は、路面形状検出、ガードレール検出、オブジェクト検出を実行するプログラムをＲＯＭ２４からロードして、ＲＡＭ２３に蓄えられた輝度画像及び視差画像を入力として各種処理を実行する。さらに、ＣＰＵ２１は、検出データをシリアルＩ／Ｆ２５又はデータＩ／Ｆ２６から外部へ出力する。

ＣＰＵ２１は、処理の実行に際し、データＩ／Ｆ２６を利用して、車速、加速度、舵角、ヨーレートなど車両の情報を入力して路面形状検出などの各種処理のパラメータとして使用する。外部に出力されるデータは自動緊急ブレーキや自動速度制御等の車両の制御を実行するための入力データとして使用される。なお、ＣＰＵ２１やＦＰＧＡ２２で実現される機能の一部は、画像処理基板２０の外部に持たせてもよい。

＜本実施形態における物体検出装置の機能ブロックについて＞
本実施形態における物体検出装置の機能ブロックについて図３Ａ−Ｂを参照して説明する。本実施形態における画像処理装置４０は、図３Ａに示すように、視差画像生成部３１および物体検出装置３０を備えて構成されている。物体検出装置３０は、図３Ａに示すように、マップ生成部３２、物体検出部３３を備えて構成されている。

視差画像生成部３１は、２つの撮像手段である２台のカメラからなるステレオカメラ１０により撮像された撮像画像から視差画像を生成する視差画像生成手段である。視差画像生成部３１は図２に示したＦＰＧＡ２２によりその機能が実現される。

より具体的には、視差画像生成部３１は、ステレオカメラ１０から取得した輝度画像データから視差画像を得るために、ステレオカメラ１０で撮像した撮像画像間の対応画像部分の視差値を演算する。

ここでの視差値とは、ステレオカメラ１０で撮像した一方の画像を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。そして、三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。視差値は距離値（距離情報）と等価として扱えるため、本実施形態においては、視差画像を距離画像の一例として説明する。

ステレオカメラ１０からは撮影画像として輝度画像データが出力されるが、このときステレオカメラ１０がカラーの場合は、ＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を行う。例えば以下の式〔１〕により輝度信号を得る。

Ｙ＝０.３Ｒ＋０.５９Ｇ＋０.１１Ｂ・・・〔１〕

なお、ステレオカメラ１０から取得した輝度画像データに対して、物体検出装置３０は、平行化画像生成処理を行う。この平行化画像生成処理は、ステレオカメラ１０を構成する２つのカメラにおける光学系の歪みや左右のカメラの相対的な位置関係から、各カメラから出力されるステレオ画像を、２つのカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する処理である。

このように平行化画像生成処理を行った後、視差画像生成部３１は、視差画像データを生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つのカメラのうちの一方のカメラから取得した輝度画像データを基準画像データとし、他方のカメラから取得した輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差画像生成部３１は、基準画像データのある行について、一つの注目画素を中心とした複数画素、例えば１６画素×１画素からなるブロックを定義する。一方、視差画像生成部３１は、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。

そして、視差画像生成部３１は、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、視差画像生成部３１は、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値である輝度値を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値である輝度値と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値である輝度値との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

視差画像生成部３１でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）などの方法を用いることができる。

なお、マッチング処理では画素単位での視差値しか算出できないため、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。ただし、このサブピクセルレベルの推定視差値には誤差が発生するため、この推定誤差を減少させるＥＥＣ（推定誤差補正）などを用いてもよい。

マップ生成部３２は、視差画像生成部３１によって生成された視差画像に基づいて、解像度の異なる２種類のマップを生成するマップ生成手段である。マップ生成部３２は、図２に示したＣＰＵ２１によりその機能が実現される。

より詳細には、マップ生成部３２は、第１のマップを生成するとともに、該第１のマップに対して横方向の画素を間引いた第２のマップを生成する。より具体的には、マップ生成部３２は、図３Ｂに示すように、Ｖマップ生成部３２１、スモールＵマップ生成部３２２、ラージＵマップ生成部３２３で構成される。上記の「第１のマップ」はラージＵマップに対応し、「第２のマップ」はスモールＵマップに対応する。また、物体検出部３３はマージ部３３１を有する。

本実施形態において、ラージＵマップは比較的高解像度のＵマップであり、スモールＵマップはラージＵマップに対して横方向又は幅方向の画像を１画素分、間引いた低解像度のＵマップである。なお、ここでは間引き対象となる横方向の画素を１画素分としているが一例にすぎない。

Ｖマップ生成部３２１によるＶマップ生成処理について図４Ａ−Ｂを参照して説明する。Ｖマップ生成部３２１は、視差画像生成部３１により生成された視差画像に基づいてＶマップを生成する。Ｖマップの生成は、視差画像における路面位置を推定し、路面上に存在する物体を認識するために行われる。路面位置を特定することで路面からの高さ情報を得ることができ、路面上に存在する物体の大きさを特定することができる。

視差画像データに含まれる各視差画像データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ、ｙ、ｄ）で示される。Ｖマップ生成部３２１は、この組（ｘ、ｙ、ｄ）のうち、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度を設定して、２次元のヒストグラムを生成する。この２次元のヒストグラムがＶマップに相当する。つまり、Ｖマップ生成部３２１は、視差画像の各画素において、（ｄ、ｙ）を持つときにその度数を一つカウントアップする。

図４Ａは、路面１０３上を車両１０１が矢印Ｃ方向に走行しており、路面１０３の左側に電柱１０２が存在する様子を撮像した撮像画像である。これをＶマップ生成部３２１により生成したＶマップが図４Ｂである。図４Ｂに示すように、視差画像からＶマップに変換するとき、路面から一定の高さにある視差値をＶマップ上に対応付けてクラスタリングすることによって、路面上の物体を認識することができる。クラスタリングにより、Ｖマップ上において車両１０１ｖ、電柱１０２ｖ、路面１０３ｖを認識することができる。

また、視差値をＶマップ上に対応付ける領域（以下「投票領域」という。）を設定する必要がある。本実施形態における図４Ｂに斜線で示すＢ領域は、路面１０３より下の部分を示している。路面１０３より下の部分において視差が検出されることはないため、Ｂ領域には視差値の対応付けはされない。その他、カメラを搭載した車両の走行状態によって、路面推定範囲が変化すること等を考慮して投票領域を決定することが好ましい。

また、Ｖマップ生成部３２１は、路面１０３の形状を検出する路面形状検出処理を行う。これは、Ｖマップにおいて路面と推定される位置を直線近似する処理である。直線近似の方法としては、例えば最小二乗法やハフ変換を用いればよい。例えば、路面が平坦な場合は一本の直線で近似可能であるが、途中で勾配が変わる場合には、マップの区間を分割して精度よく直線近似する必要がある。

なお、Ｖマップにおいて路面形状検出処理を行う場合、上記のように投票領域の制限を行っても、視差の大きい領域と視差の小さい領域の２領域に分けて路面形状検出を行ってもよい。

Ｖマップ生成部３２１は、路面１０３の高さを算出してテーブル化する路面高さテーブル算出処理を行う。Ｖマップから路面を表す直線式が得られ、視差ｄが決まればそのときのｙ座標が決定される。このｙ座標が路面の高さとなり、これを必要な視差の範囲でテーブル化する。

スモールＵマップ生成部３２２によるスモールＵマップ生成処理、ラージＵマップ生成部３２３によるラージＵマップ生成処理を説明する前提として、Ｕマップ生成処理の概略について図６Ａ−Ｂを参照して説明する。なお、以下では便宜的にスモールＵマップ生成部３２２、ラージＵマップ生成部３２３を含む概念の処理部をＵマップ生成部として説明する。なお、本実施形態において、スモールＵマップ生成部３２２、ラージＵマップ生成部３２３とブロックを分けているが、本実施形態を理解しやすくするためであり、Ｕマップ生成部がスモールＵマップ及びラージＵマップを生成する構成でもよい。

Ｕマップ生成部は、例えばガードレールや路面に沿った立ち壁等の存在を推定するためにＵマップを生成する。Ｕマップ生成部は、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ、ｙ、ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を生成する。この２次元ヒストグラム情報がＵマップである。

本実施形態においては、Ｕマップ生成部は、上述の路面高さテーブルによってテーブル化された各路面部分の高さに基づいて、路面からの高さが所定の高さの範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ、ｙ、ｄ）について頻度Ｕマップを生成する。

図５Ａは、片側１車線の道路上のうち、左車線を車両１０１ａが矢印Ｄ方向に走行し、右車線を車両１０１ｂが矢印Ｅ方向に走行している状態を撮像した撮像画像である。また、道路両脇には、ガードレール１０５ａ、１０５ｂが設置されている。

図５Ｂは、図５Ａに示す撮像画像から変換された頻度Ｕマップを示す図である。ガードレール１０５ａ、１０５ｂは左右両端から中央上部に延びる直線上になる。ここでは、Ｕマップ変換後のガードレール１０５ａ、１０５ｂを１０５ａｕ、１０５ｂｕと表記している。

他方、車両１０１ａ、車両１０１ｂはガードレール１０５ａｕ、１０５ｂｕの間で、水平線分と、車の側面が見えて視差が検出されている場合は斜め線が水平線分に連結した形状となる。ここでは、Ｕマップ変換後の車両１０１ａ、車両１０１ｂを１０１ａｕ、１０１ｂｕと表記している。

図５Ｃは、高さＵマップを示した図である。Ｕマップ生成部は、頻度Ｕマップの生成と同時に高さＵマップを生成する。Ｕマップ生成部は、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ、ｙ、ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に路面からの高さを設定して、Ｘ−Ｙの２次元ヒストグラム情報を生成する。この２次元ヒストグラム情報が高さＵマップである。このときの高さの値は路面からの高さが最高のものである。

図５Ｃにハッチングの濃さで分けて示すように、車両１０１ａｕ、１０１ｂｕのハッチングはガードレール１０５ａｕ、１０５ｂｕのそれより濃くなっており、車両１０１ａｕ、１０１ｂｕの高さはガードレール１０５ａｕ、１０５ｂｕの高さよりも大きくなる。これにより物体の高さ情報を物体検出に使用することができる。

Ｕマップ生成部は、Ｕマップの生成後、リアルＵマップを生成する。リアルＵマップ生成処理について図６Ａ−Ｂを参照して説明する。リアルＵマップは、上述したＵマップの横軸を画像の画素単位から実際の距離単位に変換し、縦軸の視差値を距離に応じた間引き率が適用された間引き視差に変換したものである。なお、図６Ａは図５Ｂと同じ図である。ここでは横軸を実距離に変換した例を示しているが、実距離相当の単位に変換できればよい。

縦軸の間引き視差は、遠距離（ここでは５０ｍ以上）については間引きなし、中距離（２０ｍ以上、５０ｍ未満）については１／２に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／３に間引き、最近距離（１０ｍ未満）については、１／８に間引いたものである。

つまり、遠方ほど、間引く量を少なくしている。その理由は、遠方では物体が小さく写るため、視差情報が少ない、距離の分解能も小さいため間引きを少なくし、近距離の場合は物体が大きく写るため、視差情報が多く距離の分解能も大きいため間引きを多くする。

図６ＢはＵマップ生成部により生成されたリアルＵマップの例である。本図は、路面や路面上を走行する車両等を上から俯瞰したような状態となっている。ガードレール１０５ａｕ、１０５ｂｕは垂直の線状で表され、変換後のガードレール１０５ａｕ、１０５ｂｕを１０５ａｒｕ、１０５ｂｒｕとしている。また、車両１０１ａｕ、１０１ｂｕの形も実際の形状に近いものに変換されている。変換後の車両１０１ａｕ、１０１ｂｕを１０１ａｒｕ、１０１ｂｒｕと表記している。

なお、図５Ｃ同様、リアルＵマップについても頻度マップだけでなく、高さリアルＵマップを生成することができる。

本実施形態においては、上述したＵマップの生成処理に倣って、スモールＵマップ生成部３２２によるスモールＵマップ生成処理、ラージＵマップ生成部３２３によるラージＵマップ生成処理が行われる。

なお、ラージＵマップ生成部３２３により生成するラージＵマップは比較的高解像度のマップとして説明したが、あくまでスモールＵマップとの対比の上で表現したものであり、上述したＵマップ生成部により生成される通常のＵマップであってよい。なお、意図的に基準値以上の解像度を持つＵマップをラージＵマップとして生成してもよい。本実施形態の特徴部分の一つであるスモールＵマップ生成部３２２によるスモールＵマップ生成処理については後述することとする。

物体検出部３３は、マップ生成部により生成された２種類のマップに基づいて物体を検出する物体検出手段である。すなわち、物体検出部３３は、スモールＵマップ生成部３２２により生成されたスモールＵマップ、ラージＵマップ生成部３２３により生成されたラージＵマップに基づいて物体を検出する。

物体検出部３３による物体検出処理について図７を参照して説明する。ここでは、上述したリアルＵマップを用いた物体検出について説明する。まず、物体検出部３３は、リアルＵマップの平滑化を行う（ステップＳ１）。これは、頻度の平均化を行って物体が存在すると推定される領域（以下「孤立領域」という。）を検出しやすくするためである。なお、ここでは、孤立領域について本処理を経て物体と判定される対象を「オブジェクト」とする。

次に、物体検出部３３は、二値化の閾値を設定する（ステップＳ２）。物体検出部３３は、最初は小さい値（０）を用いて、リアルＵマップの二値化を行う（ステップＳ３）。その後、物体検出部３３は値のある座標のラベリングを行って孤立領域を検出する（ステップＳ４）。

物体検出部３３は、検出された複数の孤立領域についてそれぞれ大きさの判定を行う（ステップＳ５）。これは、検出対象が歩行者から大型自動車である場合に、検出された孤立領域の幅がそのサイズの範囲であるかどうかを判定するものである。

物体検出部３３は、検出された孤立領域の大きさが大きければ（ステップＳ５、ＹＥＳ）、二値化閾値を１だけインクリメントして（ステップＳ２）、リアルＵマップにおける当該物体のみ二値化を行う（ステップＳ３）。そして、物体検出部３３は、ラベリングを行い（ステップＳ４）、より小さな孤立領域を検出して、その大きさを判定する（ステップＳ５）。物体検出部３３は、上記の二値化閾値設定処理（ステップＳ２）からラベリング処理（ステップＳ４）迄を繰り返し行い、所望の大きさの孤立領域を検出する。

ここで、二値化処理とラベリング処理についてさらに詳細に説明する。物体検出部３３は、リアルＵマップで頻度が周囲より高い孤立領域（以下「島」という。）を検出する。島の検出には、リアルＵマップをまず二値化する。最初は閾値０で二値化を行う。これは、オブジェクトの高さや、その形状、路面視差との分割などがあるため、島は孤立しているものもあれば他の島と連結しているものもあることの対策である。即ち、小さい閾値からリアル頻度Ｕマップを二値化することで最初は孤立した適切な大きさの島を検出し、その後、閾値を増加させていくことで連結している島を分割し、孤立した適切な大きさの島として検出することを可能にしたものである。

物体検出部３３は、二値化後の島を検出する方法としてラベリングを用いる。ラベリングは、黒である注目画素の位置を示す座標の周囲にラベル付けされた座標があれば、その画素のラベルと同一ラベルを割り当てる。仮に、複数のラベルが存在すれば、最も小さい値のラベルを割り当て、その他のラベルが付いた座標のラベルをそのラベルで置き換える。その島の幅は実のオブジェクトに近い幅Ｗとみなすことができる。この幅Ｗが所定の範囲内にあるものをオブジェクト候補領域とみなす。つまり、二値化後の黒である座標、つまり頻度値が二値化閾値より高い座標をその連結性に基づいてラベリングし、同一ラベルが付いた領域を島とする。

物体検出部３３は、大きさ判定において、検出された孤立領域の大きさが大きくない場合は（ステップＳ５、ＮＯ）、検出された孤立領域をオブジェクト候補として登録する（ステップＳ６）。

次に、視差画像の対応領域を検出する処理及びオブジェクト領域抽出処理について図８Ａ〜９を参照して説明する。上述の通り、リアルＵマップを用いることにより島を検出することができる。この場合、島を囲む矩形の幅は検出した物体の幅、高さは検出した物体の奥行きに相当する。また、物体の高さはリアルＵマップの高さマップの最大値である。

図８Ａは、オブジェクト候補領域として登録された島が内接する矩形領域を設定したリアル頻度Ｕマップを示す図であり、図８Ｂは、図８Ａにおける矩形領域に対応する走査範囲を設定した視差画像を示す図であり、図９は、図８Ｂにおける走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。

物体検出部３３は、オブジェクトの正確な位置と高さを求めるために、リアルＵマップで検出した島に対応する視差画像の対応領域を検出する。リアルＵマップで検出した島の位置、幅と最小視差から視差画像で検出すべき範囲（ｘｍｉｎ、ｘｍａｘ）を決定することができる。

また、視差画像においてオブジェクトの高さと位置を決定することができる。この高さと位置はｙｍｉｎ＝"最大視差ｄｍａｘのときの路面からの最大高さに相当するｙ座標"からｙｍａｘ＝"最大視差ｄｍａｘから得られる路面の高さを示すｙ"まで、として表すことができる。

物体検出部３３は、オブジェクトの正確な位置を検出するため、設定した画像領域を走査し、島として検出した矩形の奥行き（最小視差ｄｍｉｎ、最大視差ｄｍａｘ）の範囲の値を視差に持つ画素を候補画素として抽出する。そして、物体検出部３３は、抽出した候補画素群の中で検出幅に対して横方向に所定の割合以上あるラインを候補ラインとする。候補ラインが存在する領域は、図８Ａに示すように、車両１０１ａｒｕ、１０１ｂｒｕを囲む矩形２０１ａ、２０１ｂとなる。

次に、物体検出部３３は、縦方向走査して、ある注目しているラインの周囲に候補ラインが所定の密度以上ある場合にはその注目ラインをオブジェクトラインとして判定する。

次に、物体検出部３３は、視差画像の探索領域でオブジェクトラインを探索して、オブジェクトラインの最下端、最上端を決定し、オブジェクトライン群の外接矩形２０１ａｏ、２０１ｂｏを視差画像におけるオブジェクト領域１０１ａｏ、１０１ｂｏとして決定する。

本実施形態における物体検出装置３０により検出したオブジェクト情報を保存したオブジェクトデータリストについて表１及び表２を参照して説明する。

表１は、オブジェクトタイプごとのサイズを規定したテーブルデータである。なお、表１における数値は一例にすぎない。ここでは、表１中の単位はｍｍとする。ここでは、幅が１１００未満、高さが２５００未満、奥行きが１０００超であればオブジェクトタイプは二輪車としている。また、幅が１１００未満、高さが２５００未満、奥行きが１０００以下であればオブジェクトタイプは歩行者としている。また、幅が１７００未満、高さが１７００未満、奥行きが１００００未満であればオブジェクトタイプは小型車としている。

さらに、幅が１７００未満、高さが２５００未満、奥行きが１００００未満であればオブジェクトタイプは普通車としている。さらに、幅が３５００未満、高さが３５００未満、奥行きが１５０００未満であればオブジェクトタイプはトラックとしている。なお、これらのサイズに当てはまらないものはその他としている。

表２は、保存されるオブジェクトデータの現在の情報として、位置、大きさ、距離、相対速度、視差情報を示したものであり、図１で説明した機器制御の処理に用いられる。ここでは、位置を画像中における左上座標（ｘ、ｙ）とし、大きさを画像中のオブジェクトの大きさ（ｗ、ｈ）とし、距離を被写体までの距離とし、相対速度をフレームあたりの相対速度として、横Ｘ（ｍ／ｆｒａｍｅ）、奥行きＺ（ｍ／ｆｒａｍｅ）とし、最大視差をオブジェクトの最大視差とし、最少視差をオブジェクトの最少視差としている。

オブジェクトタイプ分類処理について説明する。物体検出部３３により決定されるオブジェクト領域１０１ａｏ、１０１ｂｏの高さ（ｙｏｍａｘ−ｙｏｍｉｎ）から、下記の式〔２〕により、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（以下、「オブジェクト」という。）の実際の高さＨｏを計算することができる。

Ｈｏ＝ｚｏ×（ｙｏｍａｘ−ｙｏｍｉｎ）／ｆ・・・式〔２〕

ただし、「ｚｏ」は、当該オブジェクト領域内の最小視差値ｄから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「ｆ」はカメラの焦点距離を（ｙｏｍａｘ−ｙｏｍｉｎ）の単位と同じ単位に変換した値である。

同様に、物体検出部３３により決定されるオブジェクト領域の幅（ｘｏｍａｘ−ｘｏｍｉｎ）から、下記の式〔３〕により、そのオブジェクト領域に対応する画像領域に映し出されているオブジェクトの実際の幅Ｗｏを計算することができる。

Ｗｏ＝ｚｏ×（ｘｏｍａｘ−ｘｏｍｉｎ）／ｆ・・・式〔３〕

また、当該オブジェクト領域に対応する画像領域に映し出されているオブジェクトの奥行きＤｏは、当該オブジェクト領域に対応した孤立領域内の最大視差値ｄｍａｘと最小視差値ｄｍｉｎから、下記の式〔４〕より計算することができる。なお、式〔４〕において、ＢＦをステレオカメラの基線長と焦点距離を掛け合わせたもの、ｏｆｆｓｅｔを無限遠における視差とする。

Ｄｏ＝ＢＦ×｛（１／（ｄｍｉｎ−ｏｆｆｓｅｔ）−１／（ｄｍａｘ−ｏｆｆｓｅｔ）｝・・・式〔４〕

物体検出部３３は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、表１のようにして各オブジェクトタイプの分類を行う。

さらに、物体検出部３３は、視差の情報から物体までの距離、視差画像の画像中心と視差画像上のオブジェクトの領域の中心までの画像上の距離もわかっているため、オブジェクトの３次元位置を決定することができる。

図３Ｂに戻り、本実施形態における物体検出部３３が有するマージ部３３１について説明する。マージ部３３１は、第１のマップに対応するラージＵマップと第２のマップに対応するスモールＵマップとをマージするマージ手段である。

マージ部３３１は、ステレオカメラ１０からの距離が第１の範囲内であればラージＵマップを選択する。また、マージ部３３１は、ステレオカメラ１０からの距離が第１の範囲外の第２の範囲内であればスモールＵマップを選択する。ここで「第１の範囲」とは、例えば５ｍ〜１０ｍ等、ステレオカメラ１０から物体までの距離が近い所定の領域をいう。また、「第２の範囲」とは、例えば１００ｍ以上等、ステレオカメラ１０から物体までの距離が遠い所定の領域をいう。つまり、本実施形態では、第２の範囲は、第１の範囲よりもステレオカメラ１０から遠方にある所定の領域となる。

＜本実施形態におけるスモールＵマップを用いて遠方車両を検出する処理について＞
本実施形態におけるスモールＵマップを用いて遠方車両を検出する処理について図１０Ａ−Ｂを参照して説明する。スモールＵマップ生成部３２２は、ラージＵマップに対して横方向の画素を１画素間引いたＵマップである。つまり、スモールＵマップは、ラージＵマップの横方向の解像度を低下させたものである。

これにより、従来、図１６Ａ−Ｂに示したように、１００ｍの遠方に存在する車両４０１（ａ）が、ラージＵマップを用いた場合、二つの塊４０１ｕとして分離して検出されてしまうところ（ｂ）、一つの塊４０１ｓｕとして検出することができる。なお、図１５Ａ−Ｂに示すように、５ｍ付近の近方に存在する車両３０１（ａ）であれば、ラージＵマップを用いた場合でも、一つの塊３０１ｕとして検出することができる（ｂ）。

なお、以下ではスモールＵマップとしてラージＵマップの横方向の解像度のみを低下させたものを用いて説明するが、横方向のみにかかわらず、奥行き方向の解像度を低下させて用いてもよい。これによってメモリ量の削減を実現することができる。

スモールＵマップ生成部３２２により生成されたスモールＵマップにおける塊４０１ｓｕをラベリングした結果を示したものが図１０Ｂである。

＜本実施形態におけるラージＵマップ、スモールＵマップによるクラスタリング結果について＞
本実施形態におけるラージＵマップ、スモールＵマップによるクラスタリング結果について図１１Ａ−Ｂを参照して説明する。

図１１Ａに示すように、ラージＵマップによる遠方車両をクラスタリングした場合、０番と１番の２つの塊として検出され、スモールＵマップによる遠方車両をクラスタリングした場合は０番の１つの塊として検出されていることがわかる。このように、ラージＵマップによる検出では、解像度が高い分、情報の少ない遠方の１つの物体が２つに分かれやすい。一方、スモールＵマップによる検出では、解像度を低くしたため、情報の少ない遠方の物体でも分かれることなく安定して検出することができる。

＜本実施形態における物体検出処理の詳細手順について＞
本実施形態における物体検出処理手順のうち塊抽出処理手順について図１２を参照して説明する。まず、スモールＵマップ生成部３２２はスモールＵマップを生成し、ラージＵマップ生成部３２３はラージＵマップを生成する（ステップＳ１１）。本実施形態においてはラージＵマップ生成と同時又は生成後に幅方向のデータを１画素おきに間引くことによってスモールＵマップを生成する。

次に、物体検出部３３は、スモールＵマップのラベリングを行い（ステップＳ１２）、例えば車両サイズ等の物体の候補領域を塊として抽出する（ステップＳ１３）。本実施形態においては、スモールＵマップは遠方車両の抽出を対象とするため、車両サイズの候補領域を塊として抽出する。本実施形態においては、乗用車サイズは幅６画素、大型車両サイズは幅９画素を目安としている。

次に、物体検出部３３は、ラージＵマップでラベリングを行う（ステップＳ１４）。

マージ部３３１は、スモールＵマップ、ラージＵマップのそれぞれのラベリング結果をマージする（ステップＳ１５）。マージ処理については後述する。

＜図１２におけるマージ処理手順について＞
図１２におけるマージ処理手順について図１３を参照して説明する。マージ部３３１は、スモールＵマップ、ラージＵマップにおいて抽出された車両サイズの塊に対し、塊ごとに対応付けを行う（ステップＳ２１）。本実施形態においては、距離に基づいて横方向に対応付けを行う。

マージ部３３１は、ステレオカメラ１０から候補領域となる塊までが近距離であるか否かを判定する（ステップＳ２２）。

マージ部３３１は、ステレオカメラ１０から候補領域となる塊までが近距離であると判定した場合（ステップＳ２２、ＹＥＳ）、近距離と判定された塊についてはラージＵマップにおけるものを選択する（ステップＳ２３）。

他方、マージ部３３１は、ステレオカメラ１０から候補領域となる塊までが近距離でないと判定した場合（ステップＳ２２、ＮＯ）、つまり遠距離であると判定された塊についてはスモールＵマップにおけるものを選択する（ステップＳ２４）。

＜マージ処理の具体例について＞
上述したマージ処理について具体例を示す図１４Ａ−Ｃを参照して説明する。図１４Ａは路面５００におけるステレオカメラ１０から遠距離に車両５０１、車両５０２が、路面５００におけるステレオカメラ１０から近距離に車両５０３、人５０４、人５０５が存在している様子を捉えた撮像画像である。

図１４Ｂは図１４Ａに示した撮像画像から生成されたスモールＵマップである。また、図１４Ｃは図１４Ａに示した撮像画像から生成されたラージＵマップである。マージ部３３１は、ステレオカメラ１０からの距離を基準として遠方か近方かを分けて処理する。本実施形態では、ステレオカメラ１０から５ｍまでを近方としている。

図１４Ｂに示すスモールＵマップの近方には、Ｓ３、Ｓ４の塊が存在し、図１４Ｃに示すラージＵマップの同距離には、［４］、［５］、［６］の塊が存在している。マージ部３３１は、ラージＵマップにおいて横方向のサイズを考慮し、Ｓ４の塊と［５］及び［６］の各塊とを対応付ける。例えば、〈１〉Ｓ４の中心と、［５］の中心及び［６］の中心の平均との差が閾値内でかつ、〈２〉Ｓ４の大きさと、［５］の大きさと［６］の大きさの和と、の差が閾値内である場合、対応付けがなされるようにすればよい。

同様に、遠方の塊についても、同距離であるＳ１の塊と、［１］及び［２］の塊とが対応付けられ、Ｓ２の塊と［３］の塊とが対応付けられる。

マージ部３３１は、近距離に存在する塊については、ラージＵマップにおけるものを選択し、遠距離に存在する塊については、スモールＵマップにおけるものを選択する。ここでは、近距離に存在する塊については、ラージＵマップにおける［４］、［５］、［６］の塊を選択し、遠距離に存在する塊については、スモールＵマップにおけるＳ１、Ｓ２を選択する。

すなわち、ラージＵマップでは、スモールＵマップに対して解像度が高い分、互いに近い位置にある複数の物体を識別して検出可能であるが、単一物体が分離して検出されやすい。一方、スモールＵマップでは、単一物体が分離しにくく１つの塊として検出しやすいが、複数物体が結合して検出されやすい。

そこで、撮像画像上で物体が大きく存在しており画素情報量の比較的多い近距離においてはラージＵマップを用いた検出を、撮像画像上で物体が小さく存在しており画素情報量の比較的少ないため物体が分離されやすい遠距離においてはスモールＵマップを用いた検出を行う。これにより、遠距離における立体物の横方向の連続性が確保され、対象物の横方向の距離、例えば車両の幅等を安定して検出することが可能になる。

以上、本実施形態によれば、比較的高分解能のＵマップを使用すると遠方の視差がまばらになり、つまり画素密度が小さくなり、対象物が複数の塊として認識され、一つの物体として認識できない場合であっても低分解能のスモールＵマップを併用することにより、遠方の対象物の視差値がまばら又は低密度になることを抑制でき、検出したい対象物を一定以上の大きさの塊として検出することができる。その結果、ステレオカメラで視差画像を用いて人や先行車などの物体を検出する上で、遠方の対象物を従来より安定して検出することが可能になる。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の画像処理装置における各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

また、上述した本実施形態においては、遠距離に存在する塊についてはスモールＵマップを用いることにより視差値がばらけるのを回避し、遠方の塊を安定的に検出しやすくする手法について記載したが、本発明はこれに限定されない。例えば、物体検出処理の段階において画素を間引いて検出する手法でもよい。

また、視差画像上で塊を検出する際においても、遠方の物体については安定的な検出が得られない場合があり、この場合に異なる解像度である２つの視差画像を生成することで、遠方の物体を安定的に検出する手法でもよい。

また、上述した本実施形態においては、ステレオカメラを前提として記載しているが、これに限られない。例えば、レーザーレーダ等の距離情報と視差画像を組み合わせて距離画像を生成し、生成された距離画像に対して本実施形態の物体検出装置を適用することができる。

１ 車両
２ 撮像ユニット
３ 物体検出ユニット
４ 制御ユニット
５ フロントガラス
１０ ステレオカメラ
１１Ｌ 左レンズ
１１Ｒ 右レンズ
１２Ｌ、１２Ｒ 画像センサ
１３Ｌ、１３Ｒ 画像センサコントローラ
２０ 画像処理基板
２１ ＣＰＵ
２２ ＦＰＧＡ
２３ ＲＡＭ
２４ ＲＯＭ
２５ シリアルＩ／Ｆ
２６ データＩ／Ｆ
２７ データバス
２８ シリアルバス
３０ 物体検出装置
３１ 視差画像生成部
３２ マップ生成部
３３ 物体検出部
４０ 画像処理装置
３２１ Ｖマップ生成部
３２２ スモールＵマップ生成部
３２３ ラージＵマップ生成部
３３１ マージ部

特開２０１５−２０７２８１号公報

本国際出願は、2016年2月5日に出願した日本国特許出願第2016-021179号に基づく優先権を主張するものであり、当該出願の全内容を本国際出願に援用する。

Claims (8)

1. 座標毎に距離情報を有する距離画像に基づいて、解像度の異なる２種類のマップを生成するマップ生成手段と、
   前記マップ生成手段により生成された前記２種類のマップに基づいて物体を検出する物体検出手段と、
   を備えることを特徴とする物体検出装置。
2. 前記マップ生成手段は、第１のマップを生成するとともに、該第１のマップに対して横方向の画素を間引いた第２のマップを生成することを特徴とする請求項１記載の物体検出装置。
3. 前記物体検出手段は、前記第１のマップと前記第２のマップとをマージするマージ手段を有し、
   前記マージ手段は、前記距離情報が示す距離が第１の範囲内であれば前記第１のマップを選択し、前記距離情報が示す距離が前記第１の範囲外の第２の範囲内であれば前記第２のマップを選択してマージすることを特徴とする請求項２記載の物体検出装置。
4. 前記第２の範囲は、前記第１の範囲よりも遠方の距離範囲であることを特徴とする請求項３記載の物体検出装置。
5. 座標毎に距離情報を有する距離画像に基づいて、解像度の異なる２種類のマップを生成するマップ生成手段と、
   前記マップ生成手段により生成された前記２種類のマップに基づいて物体を検出する物体検出手段と、
   前記物体検出手段による検出結果に基づいて所定の機器を制御する制御手段と、を備えることを特徴とする機器制御システム。
6. ２つの撮像手段と、
   前記２つの撮像手段により撮像された撮像画像から生成された距離画像に基づいて、解像度の異なる２種類のマップを生成するマップ生成手段と、 前記マップ生成手段により生成された前記２種類のマップに基づいて物体を検出する物体検出手段と、を備えることを特徴とする撮像装置。
7. コンピュータが、座標毎に距離情報を有する距離画像に基づいて、解像度の異なる２種類のマップを生成するステップと、
   コンピュータが、生成した前記２種類のマップに基づいて物体を検出するステップと、を備えることを特徴とする物体検出方法。
8. 座標毎に距離情報を有する距離画像に基づいて、解像度の異なる２種類のマップを生成する処理と、
   生成された前記２種類のマップに基づいて物体を検出する処理と、をコンピュータに実行させることを特徴とするプログラム。

Images