JP6496987B2 - 目標検出方法及び目標検出装置 - Google Patents

Description

本発明は目標検出方法と装置に関するものである。具体的には、本発明は一つの車両の自律操縦中に線の特性の抽出によって路面の目標対象を識別する目標検出方法と装置に関するものである。

動画検出の使用の広範化に伴い、人々の動画画像中の対象検出に対する要求はますます高いものとなっている。さらに、人々の自動運転技術に対する需要が高まることに伴い、いかに信頼性のある3D道路環境を取得するかが、車両の自律操縦に対して非常に重要なものとなってきている。3D道路環境の識別タスクには、主に路面の推定、消失点の計算、目標検出等が含まれ、その中で、目標検出は最も重要な部分であり、自律走行車の制御に対して直接影響を及ぼす。

それぞれの対象が画像中に示されるそれぞれの特性に対し、人々はそれぞれの対象検出方法が提出されている。「Method for stereo image object detection」というタイトルの米国特許出願公開第5937079A号（特許文献１）では、一つの立体画像に用いる対象検出方法が提出されている。該米国特許出願公開において、該立体画像による対象検出方法は視差値を通じて目標検出を行うにすぎない。しかし、この方法は立体画像中のある一つの目標の同一の距離の場所に隣接する目標が存在する場合、該方法では隣接する同一距離の目標を区別することができない。さらに、この方法では、所定の区域内に複数の対象が存在する場合、視差値のヒストグラムによって目標の分割を行うことができない。マイクロソフト社の「System and method for automatically detecting and extracting objects in digital image data」というタイトルの米国特許第7162084B2号（特許文献２）では、一つのデジタル画像データ中に対象を自動検出と抽出するシステムと方法が提出されている。該米国発明は水平及び垂直投影を利用して目標の分割を行う。よって、複数の目標のある複雑な場面では処理が難しい。さらに、該発明特許は既知の形状を有する目標に対して分類を行うため、その識別対象には明らかに一定の制限性を有する。

全体的に言えば、現在の目標検出計算方法は主に以下の３種類に分けられる。(1)先験知識に基づく方法。(2)運動に基づく方法。(3)立体視覚に基づく方法。(1)の方法では先験知識(対称性、色、グレースケール、陰影、テクスチャ等を含む)を採用し、目標の位置決めを行う。これらの方法は簡単な場面に対する目標検出には非常に有効であるが、複数の特性を使用して複数の目標に対して検出を行わなければならず、複雑な場面に対しては検出エラーが頻出する。(2)の方法ではオプティカルフローの計算等によって運動推定を行う。しかし、この方法には、静止した目標は検出できないという明らかな限定性を有する。(3)の方法は二種類の方法を含んでいる。密な視差画像に基づく方法と、疎な視差画像に基づく方法である。密な視差画像は画像中の全ての点が目標検出を行うために視差値を有することを保証する。その欠点は計算量が大きいことである。疎な視差画像に基づく方法は広く使用されている一つの検出方法であるが、この方法もまた複数の問題を抱える。まず、カメラのパラメータが不精確であり、視差値の計算精度に影響を与え、同一目標上の視差分散が過大となり、隣接する物体の区分が難しい。図1Aと1Bに示すように、図1Aのグレースケール画像中には二つの目標に属す歩行者と車両が視差画像1Bでは一つの目標として認識されていると認められる。図1B中の四角い枠は検出された目標区域である。次に、疎な視差画像中に、水平双眼カメラが取得した視差画像中の目標の水平エッジに視差値がほとんどない。よって、同一の目標が異なる小目標として分割されやすい。図2Aと2Bに示すように、水平双眼カメラで取得された視差画像の車両の中間の部分では、正確なマッチング結果が取得できていない。よって車両尾部の中間水平エッジ部分では視差がなく、該車両は分割された二つの部分と識別されている。図2Bに示すように、二つの四角い枠は検出された目標領域である。

前記問題を解決するために、本発明は一つのグレースケール画像及び疎な視差画像に基づいて目標を検出する方法及び装置を提出する。

総体的に言えば、本発明はまず、視差画像中において第一回のクラスタ処理を行い、候補目標区域を得る。そして、線の特性と視差とグレースケールとを組み合わせた情報を利用し、候補目標区域の統合と分割を行い、リアルな目標区域を得る。

具体的に言えば、本発明の一の態様においては、現在の場面における最初の視差画像とグレースケール画像を取得するステップと、最初の視差画像中の目標候補対象を初期に検出するために、視差画像に基づいて目標のクラスタ処理（clustering）を行うステップと、最初の視差画像、グレースケール画像及び前記目標候補対象に基づいて、関心領域（ＲＯＩ：region of interest）を決定し、前記決定されたＲＯＩの線の特性を抽出し、抽出された線の特性に基づいて、決定されたＲＯＩに対して統合と分割処理を行い、新規目標対象を取得するステップと、を含む目標検出方法を提供する。

本発明の目標検出方法においては、前記関心領域ＲＯＩを決定するステップは、最初の視差画像における、水平方向、垂直方向及び奥行方向において相互に隣接し、且つ相互の距離が所定の距離閾値よりも小さい目標候補対象を、一つの候補目標集合として選択するステップと、残りの目標候補対象を候補目標集合として個別に選択するステップと、各候補目標集合について、前記候補目標集合の全ての目標候補対象の区域をバウンディングする（包む）包絡線をＲＯＩとして用いるステップと、を含む。

本発明の目標検出方法において、前記決定されたＲＯＩの線の特性を抽出するステップは、前記ＲＯＩについて、予め設定された線のグレースケールの類似度及び視差の均一度、エッジ線の連結性、又はエッジの包絡輪郭線を検出するステップを含む。

本発明の目標検出方法においては、前記予め設定された線のグレースケールの類似度及び視差の均一度を検出するステップにおいて、各ＲＯＩ区域について、前景目標を貫通する所定の数量の水平線を設置し、各水平線上の全ての画素点のグレースケールの分散を計算することでそれぞれの水平線のグレースケールの類似度を取得し、各水平線上の全ての画素点に対して、ＰＣＡ（principal component analysis：主成分分析）を行うことで視差の均一度を取得し、対応する水平線のグレースケールの類似度及び視差の均一度がいずれも所定の閾値を満たした場合、該水平線が均質性を有すると判断し、所定の閾値を満たさない画素点を対応する水平線の中断点としてタギングする。

本発明の目標検出方法においては、前記抽出された線の特性に基づいてＲＯＩに対して統合と分割処理を行い、新たな目標対象を取得するステップにおいて、前記ＲＯＩの所定の数量の水平線の中で均質性を有する水平線の数量が所定の閾値以上である場合、前記ＲＯＩが目標対象を一つだけ含むと判定し、前記ＲＯＩの所定の数量の水平線の中で均質性を有する水平線の数量が所定の閾値よりも小さい場合、前記ＲＯＩが目標対象を一つ以上含むと判定し、タギングされた中断点を分割線として用いて、前記ＲＯＩを独立の目標対象に分割する。

本発明の目標検出方法においては、前記エッジ線の連結性を検出するステップは、水平エッジの連結性の検出するステップを含み、前記水平エッジの連結性を検出するステップにおいて、各ＲＯＩについて、グレースケール画像に基づいて水平エッジ画像を生成し、生成された水平エッジ画像中に前記ＲＯＩの前景目標区域を貫通する連続的な水平エッジ線が存在するか否かを検出し、同一水平線上の連続しないエッジ線の間の中断点をタギングし、各ＲＯＩの最初の視差画像に対して分析を行い、視差値の差分の大きいエッジ線を異なる目標対象のエッジ線としてタギングする。

本発明の目標検出方法においては、前記抽出された線の特性に基づいてＲＯＩに対して統合と分割処理を行い、新たな目標対象を取得するステップにおいて、水平エッジ画像から１本の前記ＲＯＩの前景目標区域を貫通する水平エッジ線が検出された場合、前記ＲＯＩが目標対象を一つだけ含むと判定し、水平エッジ画像から前記ＲＯＩの前景目標区域を貫通する水平エッジ線が検出されていない場合、前記ＲＯＩが目標対象を一つ以上含むと判定し、タギングされた中断点を分割線として用いて、前記ＲＯＩを独立の目標対象に分割する。

本発明の目標検出方法においては、前記エッジ線の連結性を検出するステップは、垂直エッジの連結性の検出するステップを含み、前記垂直エッジの連結性を検出するステップにおいて、各ＲＯＩについて、グレースケール画像に基づいて垂直エッジ画像を生成し、生成された垂直エッジ画像中に前記ＲＯＩの前景目標区域を貫通する連続的な垂直エッジ線が存在するか否かを検出し、各ＲＯＩの最初の視差画像に対して分析を行い、視差値の差分の大きいエッジ線を異なる目標対象のエッジ線としてタギングする。

本発明の目標検出方法においては、前記抽出された線の特性に基づいてＲＯＩに対して統合と分割処理を行い、新たな目標対象を取得するステップにおいて、垂直エッジ画像から前記ＲＯＩの前景目標区域を貫通する垂直エッジ線が検出されていない場合、前記ＲＯＩが目標対象を一つだけ含むと判定し、垂直エッジ画像から前記ＲＯＩの前景目標区域を貫通する垂直エッジ線が検出された場合、前記ＲＯＩが目標対象を一つ以上含むと判定し、検出された垂直エッジ線を分割線として用いて、前記ＲＯＩを複数の独立の目標対象に分割する。

本発明の目標検出方法においては、前記エッジの包絡輪郭線を検出するステップにおいて、各ＲＯＩの最初のグレースケール画像から輪郭線を抽出する。

本発明の目標検出方法においては、前記抽出された線の特性に基づいてＲＯＩに対して統合と分割処理を行い、新たな目標対象を取得するステップにおいて、抽出された輪郭線の中には対応するＲＯＩにおける全ての前景目標区域を包絡している輪郭線が一つ存在すると決定された場合、該ＲＯＩが目標を一つだけ含むと判定し、対応するＲＯＩにおける全ての前景目標区域を包絡している輪郭線が存在しないと決定された場合、該ＲＯＩが一つ以上の目標を含むと判定し、対応する輪郭線に基づいて前記ＲＯＩを複数の独立の目標対象に分割する。

本発明の目標検出方法においては、前記ＲＯＩを複数の独立の目標対象に分割するステップにおいて、分割線の両側においてグレースケールと視差情報に基づいた分析を行うことで目標の境界線を発見する。

本発明の目標検出方法においては、最初の視差画像中の目標候補対象を初期に検出するために、最初の視差画像に基づいて目標のクラスタ処理を行うステップにおいて、最初の視差画像のU視差画像に基づいて目標のクラスタ処理を行ってもよいし、直接最初の視差画像に基づいて目標のクラスタ処理を行ってもよい。

本発明の目標検出方法においては、前記最初の視差画像のU視差画像に基づいて目標のクラスタ処理を行うステップにおいて、入力した最初の視差画像を上から下へ平面に投影してU視差画像を取得し、連結成分分析法（CCA：Connected-component analysis）又はK平均法（k-means clustering）を用いてU視差画像において目標のクラスタ処理を行い、目標のクラスタ処理の結果に基づいて、最初の視差画像から目標区域を決定し、具体的な検出対象に基づいて、検出対象に合致しないサイズを有する目標区域を除去する。

本発明の目標検出方法においては、前記直接最初の視差画像に基づいて目標のクラスタ処理を行うステップにおいて、目標エッジの微小な間隙を埋めて弱いエッジを連結するために、最初の視差画像に対して平滑化処理を行い、連結成分抽出法（CCA）又はK平均法を用いて視差画像において目標のクラスタ処理を行うことで目標区域を決定し、具体的な検出対象に基づいて、検出対象に合致しないサイズを有する目標区域を除去する。

本発明の他の態様においては、現在の場面における最初の視差画像とグレースケール画像を取得する画像取得手段と、最初の視差画像中の目標候補対象を初期に検出するために、視差画像に基づいて目標のクラスタ処理を行う候補目標初期検出手段と、最初の視差画像、グレースケール画像及び前記目標候補対象に基づいて、関心領域（ＲＯＩ）を決定し、前記決定されたＲＯＩの線の特性を抽出し、抽出された線の特性に基づいて、決定されたＲＯＩに対して統合と分割処理を行い、新たな目標対象を取得する目標統合分割手段と、を含む目標検出システムを提供する。

本発明の目標検出方法においては、線の特性に基づく統合により、疎な視差画像中の目標の水平エッジが不足することにより引き起こされる同一目標を誤って分割して認識される状況を有効に処理することができる。また、本発明の目標検出方法は、二つの隣接する物体を有効に分割することができる。密な視差画像に基づく目標検出方法と比べて、本発明の目標検出方法は疎な視差画像を用いることにより、計算量が大幅に減少した。本発明の目標検出方法は、この二つの問題に対し、線の特性に基づいて目標の分割及び統合を行う方法を用いることで、真実の目標区域を得ることができるようになった。

さらに、本発明の目標検出方法は、2次元又は3次元空間中において目標のクラスタ処理を行い、目標が重複することなく、全ての目標を検出することができる。しかも、本発明の目標検出方法は、グレースケール情報と視差情報を組み合わせて、隣接する目標の分割を行うことができる。

このほかに、本発明の目標検出方法はあらかじめ目標の形状に知悉しておく必要がないため、複数の場面に対してさらに強力な適応性を有する。しかも、本発明の目標検出方法では、線の特性とグレースケールと視差情報を組み合わせて、隣接する目標の分割と統合を行うことにより、複雑な場面に対しても比較的強いロバスト性を有する。

本発明の前記及びその他の目標、特性、アドバンテージ、技術及び工業上の重要性のよりよい理解の一助となるように、本発明の好ましい実施例を図面とともに以下に詳述する。
図1A及び1Bは従来技術における視差画像中の二つの隣接する目標が一つの目標として識別されている略図である。 図2A及び2Bは従来技術における視差画像中の一つの目標が二つの目標と識別されている略図である。 本発明の目標検出方法の全体フローチャートである。 本発明の実施例の最初の視差画像に基づいて目標に対して初期クラスタ処理を行う一つの実施例のフローチャートである。 図5A及び5Bそれぞれは本発明の実施例に基づいて処理しなければならない一対のグレースケール画像及び視差画像の例であり、図5Cは図5B中における最初の視差画像が俯瞰投影変更を行った後のＵ視差画像の略図であり、図5D及び5Eそれぞれは局部拡大方式で表示された車両の最初の視差画像及びＵ視差画像中における略図である。 クラスタ処理を経て得られた目標区域を表示したものである。 図6A中のクラスタ処理の結果に対して逆写像を行った後にその中に含まれる決定された目標区域の最初の視差画像を得る実例の略図である。 視差画像中の制限条件に合致しない目標区域を排除する実例の略図である。 拡大方式によって左側に表示されているうち、目標の車両として二つの目標区域に分割されていることを示す略図である。 得られた候補目標に対して行う統合及び分割処理のフローチャートである。 図9A及び9Bそれぞれは、この選択過程の実例の略図である。 図10A及び10Bは候補目標集合の統合過程の実例である。 図11A及び11Bは単一の候補目標の候補目標集合の統合の過程の概略を示した実例を表示したものである。 図12A〜12Cは決定されたＲＯＩの実例１に対して線上の特性の抽出過程を示した略図である。 図13A〜13Cは決定されたＲＯＩの実例２に対して線上の特性の抽出過程を示した略図である。 図14A〜14Cは決定されたＲＯＩの実例３に対して線上の特性の抽出過程を示した略図である。 図15A〜15Cは決定されたＲＯＩの実例１に対して水平エッジの連結性の抽出過程を示した略図である。 図16A〜16Cは決定されたＲＯＩの実例２に対して水平エッジの連結性の抽出過程を示した略図である。 図17A〜17Cは決定されたＲＯＩの実例３に対して水平エッジの連結性の抽出過程を示した略図である。 図18A〜18Cは決定されたＲＯＩの実例１に対して垂直エッジの連結性の抽出過程を示した略図である。 図19A〜19Cは決定されたＲＯＩの実例２に対して垂直エッジの連結性の抽出過程を示した略図である。 図20A〜20Cは決定されたＲＯＩの実例３に対して垂直エッジの連結性の抽出過程を示した略図である。 図21A〜21Cは決定されたＲＯＩの実例１に対して輪郭包絡の抽出過程を示した略図である。 図22A〜22Cは決定されたＲＯＩの実例２に対して輪郭包絡の抽出過程を示した略図である。 図23A〜23Cは決定されたＲＯＩの実例３に対して輪郭包絡の抽出過程を示した略図である。 図24A及び24Bは最終的な新規目標区域は初期クラスタ処理で得られた目標区域と同じである状況を示したものである。 図25A及び25Bは最終的な新規目標は初期クラスタ処理で得られた複数の目標区域を組み合わせて作成する状況を示すものである。 図26A〜26Cは最終的な新規目標区域は初期クラスタ処理で得られた一つの目標区域を分割して作成する状況を示すものである。 本発明の目標検出システムの機能モジュールの略図である。

当業者が本発明をより良く理解できるように、以下、図面と具発明を実施するための形態を組み合わせて本発明について詳しく説明する。

本発明の実施例において、図3に示すように、目標検出方法を提供する。まず、ステップS10において、例えば双眼カメラの画像取得ユニット10がインスタント画面を取得し、現在の場面の視差画像とグレースケール画像が含まれ、かつ取得した最初の視差画像とグレースケール画像を候補目標初期検出ユニット11に出力する。続いて、ステップS11において、候補目標初期検出ユニット１１が視差画像に基づいて初期クラスタとフィルタリングを行って候補目標を取得し、かつ取得した候補目標を目標統合分割ユニット12に出力する。その後、ステップS12において、目標統合分割ユニット12が線の特性に基づいて候補目標に対し統合と分割処理を行い、最終的な目標対象を出力する。最後に、ステップS13において、検出結果出力ユニット13が検出した目標を出力する。

図4は本発明の実施例の最初の視差画像に基づいて目標に対して初期クラスタ処理を行う一つの実施例のフローチャートである。本発明において、最初の疎な視差画像中に候補目標点のクラスタを実行する主要な方法には以下の二つがある。一つ目は、最初の疎な視差画像のU視差画像のクラスタ処理方法に基づく方法であり、もう一つは、直接最初の疎な視差画像に基づいてクラスタ処理を行う方法である。どちらの方法も、最初の視差画像に対して大まかな対象検出を行い、大まかな候補対象目標を取得する。次に、前者のクラスタ処理方法の初期のクラスタ処理について、例を挙げて説明する。図5A、5Bはそれぞれ本発明の実施例において処理される一対のグレースケール画像及び視差画像の例である。

図4に示すように、まず、ステップS110において、画像取得ユニット10が取得した最初の視差画像を受け取る。続いて、ステップS111において、候補目標初期検出ユニット11中のU視差画像構築ユニット111が例えば図5B中の視差画像に基づいてU視差画像を構築する。最初の視差画像の各画素点は三つのパラメータ、即ち水平軸のU座標パラメータ、垂直軸のV座標パラメータ、及びD軸の奥行パラメータを備える。具体的に言えば、構築されるU視差画像とは、入力された元の視差画像を平面に投影変換を実行して得られたU視差画像である。図5Bに示すように、視差画像中の各点は3次元空間中の一つの点として表示される（U-水平次元、V-垂直次元、D-奥行次元）。図5Cは図5B中の最初の視差画像を平面に投影変換を実行後のU視差画像を示した略図である。図5Cに示すように、水平面（U-D平面）への投影を行うことで、全ての点のV次元は消失した。U視差画像中の各点の強度の値は元の視差画像中の画素点をV方向上の数量累積に表示する。新しいU視差画像中において、目標は増強され、全ての点数は大きく減少する。図5D及び5Eは局部拡大方式を通じて、車両をそれぞれ元の視差画像及びU視差画像中に示す略図である。これは、明らかに、U視差画像中において目標の車両の総点数を大幅に減少している。ここでU視差画像の構築過程を簡単に紹介したこととし、U視差画像構築に関する更に詳細な情報については、以下の文献を参照されたい。「Zhencheng Hu,Francisco Lamosa,Keiichi Uchimura. A Complete U-V-DDisparity Study for Stereovision Based 3D Driving Environment Analysis. Proceedings of the Fifth International Conference on 3-D Digital Imaging and Modeling.2005」
図4に戻る。ステップS112において、候補目標初期検出ユニット11中のクラスタユニット112が、取得したU視差画像に対して目標クラスタ処理を行う。疎な視差画像中において、目標の上の点は連続していないため、候補目標区域を取得するように隣接する点に対してクラスタ処理を実行する。従来は、例えば連結成分ラベル付けアルゴリズム(CCA)、K-means法などのクラスタリングアルゴリズムが数多く存在する。クラスタ処理を経て得られた目標区域、図6Aに示す通りである。四角い枠はクラスタ処理後に得られた目標区域を示す。図6A右側の拡大図に示すように、車両が誤ったクラスタ処理により二つの目標として認識されていることが分かる。CCAに関する紹介については、以下のURLを参照されたい。「http://en.wikipedia.org/wiki/ Connected-component_labeling」。K-means法に関する紹介については、以下のURLを参照されたい。「http://en.wikipedia.org/ wiki/K-means_clustering」。

ステップS112において、クラスタユニット112を通して、取得したU視差画像に対して目標クラスタ処理を実行した後、U視差画像に対して逆写像を行って元の視差画像に戻す。それから、ステップS113において、候補目標初期検出ユニット11中の目標決定ユニット113は、U視差画像から検出した目標の位置情報に基づいて、各目標の最大、最小視差値及びU座標を得ることができる。その後、最初の視差画像において主成分分析（PCA）及び点の分布特性の分析を実行することで、V座標の最大、最小視差値を決定できる。以上のことから、目標の視差画像中の位置を決定できる。主成分分析に関する紹介については、以下のURLを参照されたい。「http://en.wikipedia.org/wiki/Principal_ component_analysis」。図6Bは図6A中のクラスタ処理の結果に対して逆写像を行った後にその中に含まれる決定された目標区域の最初の視差画像を得る実例の略図である。図6Bに示すように、図中の四角い枠はクラスタ処理が得た最初の視差画像中の目標区域を指すものである。

通常の状況下では、クラスタ処理を通して得られる複数の目標のうち、その多くのは、予測した目標ではない。このため、ステップS114において、候補目標初期検出ユニット11中の目標区域フィルタリングユニット114は、より正確な目標区域を取得するために、大き過ぎる、小さ過ぎる、高過ぎる、低過ぎる目標を除去し、これら予測した目標に対してのみ後処理を行う。最初の視差画像中において、各点の強度は奥行情報を表し、即ちリアルな世界の3D情報（高さ、広さ、距離）が含まれており、その単位はメートルである。特定のアプリケーションに対し、我々は異なるサイズ、高さなどの制限を設定し、目標のフィルタリングを実行することができる。例えば、車両を検出するために、車両の通常の実測サイズに基づいて制限を実行し、決定された目標に対してフィルタリングを実行、即ちサイズが車両の通常の実測サイズに合致しない目標区域を取り除く。図7Aは視差画像から制限条件に合致しない目標区域を取り除いた例の略図である。図7Aに示すように、その中で目標区域中に×印が含まれる区域は取り除いた目標区域である。図7Bは拡大方式によって左側に表示されているうち、目標の車両として二つの目標区域に分割されていることを示す略図である。図7Bに示すように、U視差画像中のクラスタ処理によって得られた車両は二つに分けられてしまい、視差画像中のそれもやはり分割されてしまう。

前記処理を通じて、視差画像に基づいて目標の初期検出を実行、候補目標を取得し、ステップS115で初期検出した候補目標を出力することを実現した。これを基礎として、最終的な決定された対象目標を取得するために、候補目標に対して更なる検出を行わなければならない。このため、本発明の実施例において、目標統合分割ユニット12を通じてステップS12において、線の特性に基づいて得られた候補目標に対して統合と分割処理を実行し、最終的な目標対象を出力する。図8は、得られた候補目標に対して行う統合及び分割処理のフローチャートである。

図8に示すように、まず、ステップS120において、目標統合分割ユニット12が取得した候補目標視差画像及びグレースケール画像を受信する。

その後、ステップS121において、目標統合分割ユニット12中の目標集合と選択ユニット121は目標の初期検出ユニット11がクラスタ処理及びフィルタリングを経て得られた候補目標中から選択を実行し、後処理を実行するようにそれぞれ候補目標集合を構成する。この候補は目標集合の選択に基づき、まずこれらU方向、V方向、D方向（奥行方向）上の隣接する距離が、所定のしきい値範囲内にある候補目標を一つの候補目標集合として選択し、次にその残りの選択されなかった候補目標をそれぞれ単独の目標集合とする。

視差画像中の点はリアルな世界の広さ、高さ、距離とそれぞれ対応し、隣接する目標の所定のしきい値は実際のサイズに基づいて設定され、本発明の方法のアプリケーション環境において、該しきい値を、1メートル、2メートル、3メートル、4メートルなど設定することができる。このようなステップS121で実行する目標集合の選択を通じて、図7Bで示した車両が二つの候補目標として決定されるという状況が、一つの候補目標集合として選択される。図9はそれぞれ、この選択過程の実例の略図である。図9Aに示すように、車両が表示されている二つの分離した隣接候補目標区域は、水平距離の所定のしきい値範囲内であることから一つの候補集合に選択されている。その中で、その他の実際には二つの柱とされている二つの隣接候補目標区域は、奥行方向、即ちD方向の距離が比較的遠いことから、同一の候補目標集合中に選択されることができなくなっている。同様に、図9Bに示すように、車両が表示されている二つの分離した隣接候補目標区域は、水平距離の所定のしきい値範囲内であることか、同一の候補目標集合に選択されている。その中で、車両が表示されている二つの分離した隣接する候補目標集合中の一つともう一つの隣接候補目標区域は、U-V方向の水平U距離が比較的遠いことか同一の候補目標集合に選択されることができなくなっている。

目標集合の選択ユニット121において、集合の選択結果を統合ユニット122へ提供した後、ステップS122において、統合ユニット122は各目標候補集合に対して統合処理を実行する、従って関心ある領域ＲＯＩを決定する。具体的に言えば、これら複数の候補目標を含む候補目標集合に対して、該候補目標集合中の全ての候補目標区域の包絡を取り、該集合のＲＯＩとして決定する。図10Aと10Bは候補目標集合の統合過程を示している。図10Aと図10Bに示すように、選択した目標集合は二つの目標を含まれ、その中で、図10Aの四角い枠はクラスタ処理により得られ、かつ同一の集合の候補目標区域として選択されていることを示し、図10Bの破線は決定されたＲＯＩの包絡線を示している。そのほかに、候補目標を一つだけ含む目標集合に対し、直接前のクラスタ処理で得られた目標区域をＲＯＩとして決定する。図11Aと図11Bは、単一の候補目標のみを含む候補目標集合の統合過程の例である。図11Aと11Bに示すように、候補目標集合には一つの候補目標だけがあり、その中で、図11Aの四角い枠はクラスタ処理で得られた単一の候補目標区域を示し、図11Bの破線は決定されたＲＯＩの包絡線を示している。ここでの統合は集合の対象に対する実質的な統合ではなく、後の処理において一つの総体として処理を実行していることを示しているに過ぎない。

統合ユニット122が統合処理の実行が終わった後、統合されたＲＯＩを線特性抽出ユニット123に提供する。ステップS123において、線の特性抽出ユニット123は決定されたＲＯＩの線の特性を採用し、該決定されたＲＯＩのグレースケール及び視差情報を組合せ、線上の均質性計量を実行、これにより該決定されたＲＯＩ中の目標の統合及び分割を行う。線上の均質性の特性は、グレースケールの均質性と視差の均質性を含む。視差の均質性計量及びグレースケールの均質性計量の実行は、視差の均質性計量を先に行ってもよいし、グレースケールの均質性計量を先に行ってもよいし、この両者に先と後の別はない。グレースケールの均質性は、あらかじめ設定したある線上に類似するグレースケール、エッジ等を有することを示す。視差の同質性計量はまず、視差情報の主成分分析（PCA）を採用し前景及び背景点を決定、背景点を取り除き、保留された前景点に対して視差の均質性計量を実行する。視差の均質性は前景点中におけるあらかじめ設定したある線上に類似する視差値を有するということである。視差の均質性に対し、PCA方法を通して計量を実行する。よって、グレースケール及び視差が共に均質性の条件を満たす場合にのみ、均質性を満たすものと認識される。この線上の均質性の特性の計量を通して、決定されたＲＯＩの線の特性を抽出し、後に行う新規目標区域の決定に使用する。

本発明について具体的に言えば、本発明は以下の四種の具体的な線の特性を採用する。

(1)水平線上の均質性、(2)水平エッジの連結性、(3)垂直エッジの連結性、及び(4)輪郭包絡性、四種である。この四種の線の特性のそれぞれが、単独で後に行う目標の統合及び分割によって新規目標区域の決定を行ってもよい。又は、その他の三つの特性中の任意の一つ又は二つ、若しくは三つ全てを組み合わせ、後に行う目標の統合及び分割するのに用いて、新規目標区域の決定を行ってもよい。異なっていることは、提出される線の特性が多いほど、得られる結果も精確なものとなる。当然、ＲＯＩの線の特性は前期の四種に限らず、さらに多くの種類があり、これら四種は例を挙げていることに過ぎない。これにより、ＲＯＩのその他の線の特性もまた本発明に用いることができる。次に、各線の特性を詳しく説明する。

まず、水平線上の均質性を説明する。水平線上の均質性は、一つの目標中の特定の水平線上のグレースケール及び視差の均質性を判定するために用いられる。統合及び分割が必要な各ＲＯＩ区内において、我々はいくつかの水平方向の線を設定することができる。これらの線は水平線上に前景目標を貫通していなければならないが、これらの線は完全に水平である必要はなく、水平方向に近似していればそれでよい。このあらかじめ設定した線上の点はほとんどほとんど類似するグレースケール及び視差値を有し、これらの線は均質性を満たす。このあらかじめ設定した線上の点はほとんどほとんど類似するグレースケール及び視差値を有らず、これらの線は均質性の条件を満たさない。視差の均質性に対し、PCA方法を通して計量を行うことができる。このほかに、グレースケールが一つの線上の均質性に対し、全ての点のグレースケールの分散を計算して決定することができる。もう一点、説明の必要があるのは、視差値の主成分分析により、決定されたＲＯＩ区域の前景及び背景区域を得ることができる。これから前景区域及びその内部の点を判断し、均質性計量を行うのみである。外部区域、例えば、左上角、右上角に対しては、均質性計量を行う必要はない。

図12A-12Cは、決定されたＲＯＩの実例１に対して線上の特性の抽出過程を示した略図である。実際には本出願は決定されたＲＯＩ内の各行を考えている。図12A-12Cに示すように、図12Aは奥行画像又は視差画像、図12Bはグレースケール画像、図12Cは図12A及び12Bに基づいて線上の特性の抽出を実行した後の結果の略図である。同一場面の図12A-12Cは二人を含む一つの目標集合ＲＯＩを表している。この二人の上半身の位置は、視差値の違いが非常に大きい。二人の上半身の位置の視差値は、二人の間の部分の視差値と比べても大きな違いがある。現在の図面では、本願に用いる書類であるため、グレースケール画像で提出するしかない。提供された図12Aは二人の視差の違いを直接表示できていないのである。通常の視差画像中においては、異なる色を用いて、距離の違いを表示している。よって、図12Aに対応するカラー視差画像中においては、二人の上半身の位置の視差値と二人の間の部分の視差値は、色の違いで二人の視差値の大きな違いを表現している。ＲＯＩに対してPCA分析を実行することによって二人の間の位置は背景に属するものと判断されている。ゆえに、二人の上半身の視差値が非常に近いにも関わらず、全て前景に属しているが、中間が背景として分割されているため、これらの水平線は均質性を満たさない。続いて下半身を見てみると、二人の脚部の色の違いが比較的大きい。グレースケール及び視差はいずれも均質性を見たしており、該水平線は均質性を満たすと見なされ、其れゆえに下半身のこれらの線もまた均質性を満たさない。図12C中において、直線はある一本の水平線が均質性を満たすことを示しており、中断線はある一本の水平線が均質性を満たさないことを示す。この直線又は中断線は、説明を行う為にあるものであり、これらの線の位置は必ずしも精確なものではない。よって、同一集合中の二つの候補目標の線上の特性の均質性を持たないことに基づいて、次の処理において、直接これら線上の特性の抽出結果に基づき、直接この二つの候補目標を新たな決定された目標として分割する。

図13A-13Cは、決定されたＲＯＩの実例２に対して線上の特性の抽出過程を示した略図である。図13A-13Cに示すように、図13Aは奥行画像又は視差画像、図13Bはグレースケール画像、図13Cは図13A及び13Bに基づいて線上の特性の抽出を実行した後の結果の略図である。同一場面の図13A-13Cは、分割された車両を含む一つの目標集合ＲＯＩの例を表している。車両尾部の視差値はみな比較的近しく、これにより該ＲＯＩ実例は線上の視差の均質性を有すると認識する。これと同時に、車両尾部のグレースケールは水平方向上からも比較的近しく、車両のライト区域を除くと、車両のライト区域の色と車両尾部のその他の部分とに顕著な違いが存在する。これにより、図13Cで表している線上の特性の抽出結果の略図であり、車両のライトのある水平線の部分にのみ中断線を用いて該車両のライトのある部分は水平方向上の線上の特性の均質性を持たないことを示し、その他の大部分の区域は水平方向上の均質性を満たすことを、直線によって示している。

図14A-14Cは、決定されたＲＯＩの実例３に対して線上の特性の抽出過程を示した略図である。図14A-14Cに示すように、図14Aは奥行画像又は視差画像、図12Bはグレースケール画像、図14Cは図14A及び14Bに基づいて線上の特性の抽出を実行した後の結果の略図である。同一場面の図14A-14Cは、単一の候補目標対象が一つの候補目標集合ＲＯＩを構成する中に、歩行者および車両を含む目標集合である。明らかなことは、いかなる車両の間にも間隔が存在し、人のグレースケール値と車両のグレースケール値に違いがあり、大部分の水平線が均質性を持たないことにより、その中の中断線も比較的多く、図14A-14Cが表しているＲＯＩ実例は水平方向の均質性を満たさないことを示している。これらの図面中で、人が車両にかぶさり、かつ人の着ている服と車の色が同じ又は近しい場合でも、該ＲＯＩ実例は水平方向上の均質性を十分満たすことができる。ただし、この仮説のような状況が起こる可能性は極めて少ない。

いかなる候補目標集合区域ＲＯＩにも均質性を有する水平線が存在し、均質性を持たない水平線も存在する。よって、全ＲＯＩ中の前景対象が線上の均質性に合致するか否かを判断する必要があり、均質性を満たす水平線の行数について一つの所定のしきい値を設定し、該ＲＯＩが一つの目標を満たすか否かを判断しなければならない。均質性を満たす水平線の行数が該しきい値以上である場合、ＲＯＩが目標を一つだけ含むと判断する。そうでない場合、ＲＯＩが一つ以上の目標を含むと判断する。該所定のしきい値の行数は通常、ＲＯＩ中の全水平線の行数の60%以上に設定する。これにより、抽出する行数を100行とした場合、しきい値は60行、70行、80行、90行などに設定する。さらに、後の新規目標を決定する際に異なる目標を分割するために、各行の中の均質性を持たない中断点を用いて、異なる目標区域間の分割線を決定する。

続いて、二種類目の線上の特性の抽出について説明する。即ち、水平エッジの連結性の抽出である。水平エッジの連結性の特性においては、水平エッジは、目標の特定の水平線上の連結性を測定するために用いられる。要約していえば、もともとのグレースケール画像に基づいて水平エッジ画像を作成し、線の特性の分析を実行する。これと同時に、視差分析に基づいて、差分の非常に大きい視差値を有するエッジは異なる目標に属するエッジとして決定され、これにより、異なる目標を分割する。統合及び分割が必要な各前に決定されたＲＯＩ区域内において、水平方向上に、前景目標区域を貫通する水平エッジがある場合、該決定されたＲＯＩ区域内が目標を一つだけ有すると判断することができる。そうでない場合、このＲＯＩ区域内に一つ以上の目標が含まれるものと判断できる。また、この特性を応用する際、これらの線は水平方向上に貫通しているものの、完全に水平である必要はない。このほかに、各行の中断点は対象を決定する分割線のために用いられる。図15A-15Cは、決定されたＲＯＩの実例１に対して水平エッジの連結性の抽出過程を示した略図である。図16A-16Cは、決定されたＲＯＩの実例２に対して水平エッジの連結性の抽出過程を示した略図である。図17A-17Cは、決定されたＲＯＩの実例３に対して水平エッジの連結性の抽出過程を示した略図である。図15A、16A及び17Aは第一から第三ＲＯＩ実例までの視差画像であり、図15B、16B及び17Bは第一から第三ＲＯＩ実例までのグレースケール画像であり、図15C、16C及び17Cは第一から第三ＲＯＩ実例の各自のグレースケール画像に基づいて生成した水平エッジである。いかにして水平エッジ画像を生成するかは、本分野においては公知の常識であるため、ここでは贅述を避ける。図15C、16C及び17Cは、第一から第三ＲＯＩ実例中の異なる目標集合の水平エッジの関連性を示し、その中で、例えば第二ＲＯＩ実例の前景区域のように全ＲＯＩの前景区域を貫通する水平エッジが幾つかあり、これらは水平エッジの連結性を満たす。第一ＲＯＩ実例は二人の歩行者の目標集合を含み、第三ＲＯＩ実例は一人の歩行者と車両の目標集合を含み、ＲＯＩ前景区域を貫通する水平エッジを持たない。取得した各自のこのような水平エッジの連結性に基づき、最初の視差画像及びグレースケール画像中に戻し、決定されたＲＯＩ候補目標集合中において、対象の統合及び分割処理を実行する。

続いて三種類目の線上の特性の抽出について説明する。即ち垂直エッジの連結性の抽出である。垂直エッジの連結性の特性においては、垂直エッジは、目標の特定の垂直線上の連結性を測定するために用いられる。要約していえば、もともとのグレースケール画像に基づいて垂直エッジ画像を生成し、線の特性の分析を実行する。これと同時に、視差分析に基づいて、差分の非常に大きい視差値を有するエッジは異なる目標に属するエッジとして決定され、これにより、異なる目標を分割する。統合及び分割が必要な全ての前に決定されたＲＯＩ区域内において、垂直方向上に、前景目標区域を貫通する垂直エッジがある場合、該決定されたＲＯＩ区域が目標を一つ以上有すると判断することができる。そうでない場合、かかるＲＯＩ区域内に一つだけの目標が含まれるものと判断できる。また、この特性を応用する際、これらの線は垂直方向上に貫通しているものの、完全に垂直である必要はない。さらに、ここでいう「貫通」は、ＲＯＩ区域の垂直エッジ画像の外側部分では貫通できず、ＲＯＩ区域の垂直エッジ画像両側の内側で貫通する。このほかに、垂直に貫通する線は対象を決定する分割線のために用いられる。その理由は、一つの決定されたＲＯＩ区域内に二つの目標がある場合、二本の垂直エッジが該決定されたＲＯＩ区域内の前景目標区域の内部を貫通するからである。通常、二本の垂直エッジが存在するＲＯＩ区域内の左側のエッジは左側の目標の右側のエッジとされ、右側のエッジは右側の目標の左側のエッジとされる。これにより、これら垂直方向の貫通する線は決定された目標の分割線のために用いられる。図18A-18Cは、決定されたＲＯＩの実例１に対して垂直エッジの連結性の抽出過程を示した略図である。図19A-19Cは、決定されたＲＯＩの実例２に対して垂直エッジの連結性の抽出過程を示した略図である。図20A-20Cは、決定されたＲＯＩの実例３に対して垂直エッジの連結性の抽出過程を示した略図である。図18A、19A及び20Aは第一から第三ＲＯＩ実例までの視差画像であり、図18B、19B及び20Bは第一から第三ＲＯＩ実例までのグレースケール画像であり、図18C、19C及び20Cは第一から第三ＲＯＩ実例の各自のグレースケール画像に基づいて生成した垂直エッジである。いかにして垂直エッジ画像を作成するかは、本分野においては公知の常識であるため、ここでは贅述を避ける。図18C、19C及び20Cは、第一から第三ＲＯＩ実例中の異なる目標集合ＲＯＩの垂直エッジの関連性を示し、その中で、全ＲＯＩの前景区域を貫通する垂直エッジが幾つかあり、図19Cの示すように、分割された車両を含む目標集合に対して、ＲＯＩ中の前景目標区域を貫通する垂直エッジが存在せず（前景は視差値の主成分分析から得られる）、前景目標の左右両側（外側）を貫通する二本の垂直エッジがあるのみである。よって、該垂直エッジの連結性により、ＲＯＩ実例中一つの候補目標のみを持つ。図18Cと20Cの示すように、第一ＲＯＩ実例は二人の歩行者の目標集合を含み、第三ＲＯＩ実例は歩行者と車両の目標集合を含み、図18C及び20Cが示す垂直エッジ画像の前景目標区域の内部には、選択した二人の歩行者を含む並びに一人の歩行者及び車両を含む目標集合区域を貫通する二本の垂直エッジが存在する。よって、この二本の垂直エッジ貫通線が反映されたこの垂直エッジの連結性に基づき、最初の視差画像及びグレースケール画像中に戻し、決定された第一及び第三ＲＯＩ候補目標集合中において、対象の分割処理を実行する。

最後に四種類目の線上の特性の抽出について説明する。即ち、輪郭包絡の抽出である。抽出した輪郭包絡の特性に基づいて、目標の分割及び統合を実行する。最初のグレースケール画像から輪郭線を抽出し、線の特性の分析を実行する。統合と分割処理を行うべき各前に決定されたＲＯＩ区域内において、全ての前景目標区域をそのうちに包絡する輪郭線がある場合、このＲＯＩが目標を一つだけ有すると判断することができる。そうでない場合、このＲＯＩ中に一つ以上の目標を有すると判断できる。また、輪郭線は目標間の分割線のために用いることができる。図21A-21Cは、決定されたＲＯＩの実例１に対して輪郭包絡の抽出過程を示した略図である。図22A-22Cは、決定されたＲＯＩの実例２に対して輪郭包絡の抽出過程を示した略図である。図23A-23Cは、決定されたＲＯＩの実例３に対して輪郭包絡の抽出過程を示した略図である。図21A、22A及び23Aは第一から第三ＲＯＩ実例までの視差画像であり、図21B、22B及び23Bは第一から第三ＲＯＩ実例までのグレースケール画像であり、図21C、22C及び23Cは第一から第三ＲＯＩ実例の各自のグレースケール画像に基づいて生成した輪郭包絡画像である。いかにして輪郭包絡画像を生成するかは、本分野においては公知の常識であるため、ここでは贅述を避ける。図21C、22C及び23Cは、第一から第三ＲＯＩ実例中の異なる目標集合の輪郭包絡線の状況を示し、その中で、全ＲＯＩの前景区域を包囲する輪郭包絡線が幾つかあり、例えば第二ＲＯＩ実例の前景区域のように、それらが輪郭包絡の線上の特性を満たす。第一ＲＯＩ実例は二人の歩行者の目標集合を含み、第三ＲＯＩ実例は一人の歩行者と車両の目標集合を含み、全ての前景区域を包囲する外輪郭は存在せず、目標前景の各子区域を包囲するいくつかの小さな輪郭が存在するのみである。取得した各自の輪郭包絡の特性に基づき、最初の視差画像及びグレースケール画像中に戻し、決定されたＲＯＩ候補目標集合中において、対象の統合及び分割処理を実行する。

目標対象に複数の線上の特性が存在するが、紙幅の関係で、ここでは逐一説明しない。しかし、その他の線上の特性の抽出が本発明の方法を用いることが可能である。

前記の方法で線上の特性の抽出を実行した後、それぞれ抽出した線上の特性の特性に基づき、ステップS124において、目標統合分割ユニット12の新規目標区域決定ユニット124では、抽出した線上の特性のそれぞれの特性に基づいて、全ＲＯＩ候補目標集合に対して統合及び分割処理を実行し、新規目標区域を出力する。以上、各線上の特性の抽出の説明では、それぞれ如何にしてＲＯＩ候補目標集合を統合及び分割するかを説明した。新規目標区域の決定には、通常、以下の三つの状況が存在する。一つ目は、統合及び分割操作を行わないＲＯＩに対して、最初のクラスタ処理で得られた目標区域をそのままにし、新規目標区域とする。図24Aと24Bは最終的な新規目標区域は初期クラスタ処理で得られた目標区域と同じである状況を示したものである。二つ目の状況は、統合操作を行ったＲＯＩに対して複数の目標区域の包絡を新規目標区域とするというものである。図25Aと25Bは最終的な新規目標は初期クラスタ処理で得られた複数の目標区域を組み合わせて作成する状況を示すものである。三つ目は、分割操作を行ったＲＯＩに対して、目標区域間の分割線を決定しなければならないというものである。26A-26Cは最終的な新規目標区域は初期クラスタ処理で得られた一つの目標区域を分割して作成する状況を示すものである。分割線を決定する方法は複数存在するが、輪郭に基づいて行う方法のみ説明する。図26A-26Cに示すように、全ての子目標の輪郭を抽出し、左側の目標に対して、その輪郭線の最も右寄りのU座標を左分割線のU座標とし、右側の目標に対して、その輪郭線の最も左寄りのU座標を右分割線のU座標とする。そして、該ＲＯＩは三つに分けられ、両端の二つの部分は後処理を実行する目標区域に、中央部分は背景区域となる。続いて、分割線の両端においてグレースケール及び視差情報に基づいた分析を行い、目標の境界を見つけ出すことができる。

以上の本発明に対する詳細な説明において、本発明は、従来の検出方法における疎な視差画像中の目標の水平エッジが連続しないために車両又はその他の物体を二つの目標として誤って検出することを回避していることが分かる。本発明は線の特性を採用し、視差及びグレースケール情報と組み合わせて統合を行うため、本文の方法は比較的正確に目標の検出が可能である。さらに本発明は、本発明の提供する分割方法を採用することにより、隣接する二つの対象（例えば歩行者と車両）を正確に分割できるため、従来の方法では検出結果中の隣接する二つの対象（例えば歩行者と車両）が一つに混同してしまう問題を解決した。これにより、本発明は線の特性が統合計算方法によって提供するグレースケール画像及び視差画像に基づく目標検出方法を提出しているため、疎な視差画像中の水平エッジが連続しない目標に対しても比較的良好な検出効果を有する。これと同時に、本発明は有効に隣接する目標を分割することができる。密な視差画像に基づいて目標検出と比べて、疎な視差画像を採用する本方法は、その計算量も極めて少ない。

さらに、先験知識に基づいて多くの特性を使用し多くの目標に対して検出を行う方法及び運動に基づいて検出を行う現行の方法と比べても、本発明の提出する方法はまず視差画像中においてクラスタ処理を行い、その後再び線の特性に基づいて目標の統合と分割を行う。本方法は特定の目標の特性（例えば、形状、サイズ、テクスチャ等）に依存しないため、多くの目標の検出に対して比較的強力な適用性を有する。これと同時に、本方法は運動情報を使用せず、有効的に静的目標を検出できる。密な視差画像に基づく検出方法に比べ、疎な視差画像を採用する本発明は、その計算量も極めて少ない。

図27は本発明の目標検出システムの機能モジュールの略図である。図27に示すように、目標検出装置は画像取得ユニット10、候補目標初期検出ユニット11及び目標統合分割ユニット12を含む。その中で、候補目標初期検出ユニット11は、候補目標初期検出ユニット11、U視差画像構築ユニット111、クラスタユニット112、目標決定ユニット113及び目標区域フィルタリングユニット114を含む。目標統合分割ユニット12は、目標集合選択ユニット121、統合ユニット122、線特性抽出ユニット123及び新規目標区域決定ユニット124を含む。

以上、具体的な実施例と結び付けて本発明の基本原理を説明したが、指摘する必要があることは、当業者であれば、本発明の方法および装置の全部あるいは如何なるステップあるいは部材も理解することができ、如何なるコンピューター（処理器、メモリー媒体等を含む）あるいはコンピューター・ネットワークの中でも、ハードウェア、ファームウェア、ソフトウェアあるいはそれらの組合せによって実現できることであり、これは当業者が本発明の説明を読んだ状況においては彼らの基本的なコンピュータープログラミング技能を用いて実現できることである。

このため、本発明の目的は如何なるコンピューター上でも1つのあるいは一組のコンピュータープログラムを使うことにより実現できる。前記のコンピューターは通用している公知の装置でよい。このため、本発明の目的は前記の方法あるいは装置を実現するプログラムコードを含むプログラム製品を提供するだけで実現する。つまり、このようなプログラム製品も本発明を構成しており、このようなプログラム製品をもつ記憶媒体も本発明を構成している。当然のことながら、前記記憶媒体は公知の如何なる記憶媒体あるいは将来開発される如何なる記憶媒体であってもよい。

更に指摘すべきことは、本発明の装置と方法においては、当然のことながら、各部材あるいは各ステップは分解および/または新たな組み合わせができることである。これらの分解および/または新たな組み合わせは本発明と同等の効果を有する方案と見做されるべきである。かつ、前記の一連の処理ステップの実行は当然、説明の順序に従い時間順に行うことができるが、必ずしも時間順に行う必要はない。あるステップは平行してあるいは互いに独立して行うことができる。

前記の発明を実施するための形態は、本発明の保護範囲の制限となるものではない。当業者にとって明白なことは、設計要求および他の要因によって、色々な修正、組合せ、副次的組合せおよび代替が生じ得ることである。本発明の精神および原則中の如何なる修正、同等の入替えおよび改善等は、全て本発明の保護範囲に含まれなければならない。

米国特許出願公開第５９３７０７９Ａ号 米国特許第７１６２０８４Ｂ２号

Claims (10)

1. 現在の場面における視差画像とグレースケール画像を取得するステップと、
   前記視差画像に基づいてクラスタ処理を行い、目標候補対象を取得するステップと、
   前記視差画像、前記グレースケール画像及び前記目標候補対象に基づいて、関心領域（ＲＯＩ）を決定し、前記決定されたＲＯＩの線の特性を抽出し、抽出された線の特性に基づいて、決定されたＲＯＩに対して統合と分割処理を行い、目標対象を取得するステップと、を含み、
   前記線の特性は、水平線上の均質性、水平エッジの連結性、垂直エッジの連結性、及び輪郭包絡性のいずれかである、目標検出方法。
2. 前記決定されたＲＯＩの線の特性を抽出するステップは、予め設定された線のグレースケールの類似度及び視差の均一度を検出するステップを含み、
   前記予め設定された線のグレースケールの類似度及び視差の均一度を検出するステップにおいて、
   各ＲＯＩについて、前景目標を貫通する所定の数量の水平線を設置し、
   各水平線上の全ての画素点のグレースケールの分散を計算することでそれぞれの水平線のグレースケールの類似度を取得し、各水平線上の全ての画素点に対してＰＣＡ（主成分）分析を行うことで視差の均一度を取得し、
   対応する水平線のグレースケールの類似度及び視差の均一度がいずれも所定の閾値を満たした場合、該水平線が均質性を有すると判断すると共に、所定の閾値を満たさない画素点を対応する水平線の中断点としてタギングする、
   請求項１に記載の目標検出方法。
3. 前記抽出された線の特性に基づいてＲＯＩに対して統合と分割処理を行い、目標対象を取得するステップにおいて、
   前記ＲＯＩの所定の数量の水平線の中で均質性を有する水平線の数量が所定の閾値以上である場合、前記ＲＯＩが目標対象を一つだけ含むと判定し、
   前記ＲＯＩの所定の数量の水平線の中で均質性を有する水平線の数量が所定の閾値よりも小さい場合、前記ＲＯＩが目標対象を一つ以上含むと判定し、タギングされた中断点を分割線として用いて、前記ＲＯＩを独立の目標対象に分割する、
   請求項２に記載の目標検出方法。
4. 前記ＲＯＩの線の特性を抽出するステップは、水平エッジの連結性を検出するステップを含み、
   前記水平エッジの連結性を検出するステップにおいて、
   各ＲＯＩについて、グレースケール画像に基づいて水平エッジ画像を生成し、
   生成された水平エッジ画像中に前記ＲＯＩの前景目標区域を貫通する連続的な水平エッジ線が存在するか否かを検出し、同一水平線上の連続しないエッジ線の間の中断点をタギングし、
   各ＲＯＩの最初の視差画像に対して分析を行い、視差値の差分の大きいエッジ線を異なる目標対象のエッジ線としてタギングする、
   請求項１に記載の目標検出方法。
5. 前記抽出された線の特性に基づいてＲＯＩに対して統合と分割処理を行い、目標対象を取得するステップにおいて、
   水平エッジ画像から１本の前記ＲＯＩの前景目標区域を貫通する水平エッジ線が検出された場合、前記ＲＯＩが目標対象を一つだけ含むと判定し、
   水平エッジ画像から前記ＲＯＩの前景目標区域を貫通する水平エッジ線が検出されていない場合、前記ＲＯＩが目標対象を一つ以上含むと判定し、タギングされた中断点を分割線として用いて、前記ＲＯＩを独立の目標対象に分割する、
   請求項４に記載の目標検出方法。
6. 前記ＲＯＩの線の特性を抽出するステップは、垂直エッジの連結性を検出するステップを含み、
   前記垂直エッジの連結性を検出するステップにおいて、
   各ＲＯＩについて、グレースケール画像に基づいて垂直エッジ画像を生成し、
   生成された垂直エッジ画像中に前記ＲＯＩの前景目標区域を貫通する連続的な垂直エッジ線が存在するか否かを検出し、
   各ＲＯＩの最初の視差画像に対して分析を行い、視差値の差分の大きいエッジ線を異なる目標対象のエッジ線としてタギングする、
   請求項１に記載の目標検出方法。
7. 前記抽出された線の特性に基づいてＲＯＩに対して統合と分割処理を行い、目標対象を取得するステップにおいて、
   垂直エッジ画像から前記ＲＯＩの前景目標区域を貫通する垂直エッジ線が検出されていない場合、前記ＲＯＩが目標対象を一つだけ含むと判定し、
   垂直エッジ画像から前記ＲＯＩの前景目標区域を貫通する垂直エッジ線が検出された場合、前記ＲＯＩが目標対象を一つ以上含むと判定し、検出された垂直エッジ線を分割線として用いて、前記ＲＯＩを複数の独立の目標対象に分割する、
   請求項６に記載の目標検出方法。
8. 前記ＲＯＩの線の特性を抽出するステップは、エッジの包絡輪郭線を検出するステップを含み、
   前記エッジの包絡輪郭線を検出するステップにおいて、
   各ＲＯＩの最初のグレースケール画像から輪郭線を抽出する、
   請求項１に記載の目標検出方法。
9. 前記抽出された線の特性に基づいてＲＯＩに対して統合と分割処理を行い、目標対象を取得するステップにおいて、
   抽出された輪郭線の中には対応するＲＯＩにおける全ての前景目標区域を包絡している輪郭線が一つ存在すると決定された場合、該ＲＯＩが目標を一つだけ含むと判定し、
   対応するＲＯＩにおける全ての前景目標区域を包絡している輪郭線が存在しないと決定された場合、該ＲＯＩが一つ以上の目標を含むと判定し、対応する輪郭線に基づいて前記ＲＯＩを複数の独立の目標対象に分割する、
   請求項８に記載の目標検出方法。
10. 現在の場面における視差画像とグレースケール画像を取得する画像取得手段と、
    前記視差画像に基づいてクラスタ処理を行い、目標候補対象を取得する目標候補検出手段と、
    前記視差画像、前記グレースケール画像及び前記目標候補対象に基づいて、関心領域（ＲＯＩ）を決定し、前記決定されたＲＯＩの線の特性を抽出し、抽出された線の特性に基づいて、決定されたＲＯＩに対して統合と分割処理を行い、目標対象を取得する目標統合分割手段と、を含み、
    前記線の特性は、水平線上の均質性、水平エッジの連結性、垂直エッジの連結性、及び輪郭包絡性のいずれかである、目標検出装置。