JP6679858B2 - 対象の遮蔽を検出する方法と装置 - Google Patents

Description

本出願は、画像処理分野に関し、より具体的には、対象の遮蔽検出に用いる方法と装置に関する。

現在、対象の検出および追跡技術は、例えばインテリジェント交通システム、画像捕捉システム、インテリジェント監視システム等、様々な分野に広く応用されている。例えば、目標場面での自動車や歩行者のような対象に対して検出および追跡を行い、これにより視覚的識別や車両制御等に用いることができる。

対象マッチングは検出・追跡技術における重要部分であり、目標場面の対象の画像をテンプレートとマッチングすることにより、迅速に対象を検出することができる。

幾つかの目標場面、例えば都市の道路や、隣り合う対象の間では、常に部分的な遮蔽、或いは継続的な遮蔽が起きる可能性があり、常に検出漏れ、誤検出、或いは検出結果の不正確が起きる。現行の検出技術ではこの状況にうまく対応する事ができないが、それは色彩、グラデュエーション、ヒストグラム等による分割マッチング方法が、通常、マッチング対象に対してデリケートであり、対象遮蔽状況に対して検出分析を行うことが難しいからである。幾つかの遮蔽を処理できる他のロバストな特徴は機械学習方法と結合させる必要があり、検出プロセスの時間的消耗を招き、その上、検出結果について分析、説明を行う事ができない。

上記問題点に基づき、本発明の目的は目標場面の対象の遮蔽に対して、迅速かつ効率よく検出を行うことのできる方法と装置を提供することにある。

本発明の発明者は幅広い研究を経て、未遮蔽状況で被検出対象の画像を取得し、これをテンプレートとし、被検出対象を該テンプレートと対比させた場合に、迅速に、効率よく、正確に被検出対象の遮蔽の有無を検出できることを発見した。この基礎の上に、テンプレート・マッチングにより検出目標場面の対象の遮蔽を検出する方法と装置を提出した。

本発明の一つの態様では、目標場面における対象の遮蔽を検出する方法であって、該対象の画像を取得するとともに、該対象の所定テンプレート画像を取得するステップと、該対象の画像と該所定テンプレート画像とのマッチングを行い、マッチング結果を取得するステップと、該マッチング結果に基づき、該対象が遮蔽されているか否かを検出し、検出結果を取得するステップと、を含む、方法を提供する。

この態様では、該対象の画像と該所定テンプレート画像とのマッチングを行う前記ステップは、同一の所定ルールに従い、該対象の画像と該所定テンプレート画像をそれぞれ複数のセルに分割するステップと、該対象の画像の複数のセル中の各セルのセル特徴、及び該所定テンプレート画像の複数のセル中の各セルのセル特徴を抽出するステップと、該対象の各セルのセル特徴と該所定テンプレート画像の各セルのセル特徴とのマッチングを行うステップと、を含んでもよい。前記マッチング結果は、該対象の画像の複数のセルと該所定テンプレート画像の複数のセルのセル特徴の全体的マッチング度が最も高いマッチング結果であってもよい。

この態様では、前記全体的マッチング度が最も高いマッチング結果は、対象の画像の各セルと該所定テンプレート画像の対応するセルとのマッチング度の和が最も大きいマッチング結果、或いは対象の画像の各セルと該所定テンプレート画像の対応するセルとのマッチング度の平均二乗誤差の和が最も小さいマッチング結果であってもよい。

この態様では、該マッチング結果に基づき該対象が遮蔽されているか否かを検出するステップは、前記マッチング結果に基づき、該対象の画像の複数のセルから、該所定テンプレート画像の対応するセルとのマッチング度が所定閾値より低いセルを選択するステップと、前記マッチング度が所定閾値より低いセルが遮蔽されているか否かを検出するステップと、を含んでもよい。

この態様では、画像特徴である、視差分布特徴、深度特徴、色特徴、エッジ特徴のうち少なくとも一つを分析することにより、遮蔽が存在するか否かを検出してもよい。

この態様では、前記目標場面における対象の遮蔽を検出する方法は、現在のフレームに遮蔽が存在すると検出された場合に、現在のフレーム及び所定数の過去のフレームの遮蔽の検出結果に基づき、次のフレームに遮蔽が存在するか否かを予測するステップ、次のフレームに遮蔽が存在すると予測された場合に、現在のフレームの遮蔽の検出結果に基づき前記テンプレート画像を更新し、更新後のテンプレート画像を次のフレームのテンプレート画像候補とするステップと、をさらに含んでもよい。

この態様では、前記テンプレート画像を更新するステップは、現在のフレームの画像における遮蔽が存在する特徴セルを用いてテンプレート画像における対応する特徴セルを更新するステップを含んでもよい。

この態様では、前記目標場面における対象の遮蔽を検出する方法は、前記検出結果を出力するステップをさらに含んでもよい。

本発明の他の態様では、目標場面における対象の遮蔽を検出する装置であって、該対象の画像を取得し、該対象の所定テンプレート画像を取得する画像取得手段、該対象の画像と該所定テンプレート画像とのマッチングを行い、マッチング結果を取得するマッチング手段と、該マッチング結果に基づき該対象が遮蔽されているか否かを検出し、検出結果を取得する検出手段と、を含む、装置を提供する。

この態様では、前記マッチング手段は、同一の所定ルールに従い、該対象の画像と該所定テンプレート画像をそれぞれ複数のセルに分割するセル分割手段と、該対象の画像の複数のセル中の各セルのセル特徴、及び該所定テンプレート画像の複数のセル中の各セルのセル特徴を抽出する特徴抽出手段と、該対象の各セルのセル特徴と該所定テンプレート画像の各セルのセル特徴とのマッチングを行い、マッチング結果を取得する特徴マッチング手段と、を含んでもよい。

この態様では、前記検出手段は、前記マッチング結果に基づき、該対象の画像の複数のセルから、該所定テンプレート画像の対応するセルとのマッチング度が所定閾値より低いセルを選択するセル選択手段と、前記マッチング度が所定閾値より低いセルが遮蔽されているか否かを検出するセル検出手段と、を含んでもよい。

この態様では、前記装置は、前記検出結果を出力する出力手段をさらに含んでもよい。

本発明実施例によれば、目標場面の対象の遮蔽検出方法と装置は、対象の画像を所定テンプレート画像とマッチングしマッチング結果を取得し、同時に該マッチング結果に基づき遮蔽検出を行い、これにより該対象に如何なるものであれ遮蔽が存在するか否かを迅速に検出することができる。更に、テンプレート・マッチングの過程で特徴セルを用いてマッチングを行い、遮蔽検出中には特徴セルを基に検出を行うので、迅速かつ正確に遮蔽エリアを検出することができる。

本発明実施例による、目標場面の対象の遮蔽検出方法のフローチャートを示す。 目標場面の例に含まれる車両の視差画像と相応するグレースケール画像を示す。 図2に示すのに用いる対象車両のテンプレート視差画像ならびに相応するテンプレート・グレースケール画像を示す。 本出願に基づく、該対象の画像を該所定テンプレート画像とマッチングするのに用いるテンプレート・マッチング方法のフローチャートを示す。 図5(a)、図5(b)それぞれは、対象車両画像と該所定テンプレート画像に対する特徴セル分割の例を示す。 対象車両のテンプレート・マッチング結果における弱マッチングセルの例を示す。 図7(a)、図7(b)それぞれは、図6の視差画像と対応する視差値分布曲線と視差点分布ヒストグラムを示す。 図6の視差画像に対応するグレースケール画像について遮蔽分析を行う概念図を示す。 図2に示す対象車両に対する検出結果を示す。 図10(a)〜図10(c)は、本出願の実施例に基づく、次のフレームのテンプレート更新概念図を示す。 本出願の実施例の遮蔽検出装置の機能ブロック図を示す。 本出願の実施例に基づく、検出目標場面の対象の遮蔽検出を実現するシステムのハードウェア配置の概念図を示す。

当業者に、より良く本発明を理解していただくために、以下、添付図と具体的な実施方式を結合して本発明について更に詳細に説明を行う。

図1は本発明実施例による、目標場面の対象の遮蔽検出方法のフローチャートを示す。

図1に示すように、該検出方法100は、該対象の画像を取得し、該対象の所定テンプレート画像を取得するステップS110、該対象の画像を該所定テンプレート画像とマッチングし、マッチング結果を得るステップS120、該マッチング結果に基づき該対象に遮蔽が存在するか否かを検出するステップS130、ならびに遮蔽検出結果を出力するステップS140を含むことができる。

ステップS110では、カメラで目標場面を撮影した画像を利用して該目標場面に含まれる対象の画像を取得することができる。対象の視差画像を用いて検出する場合は、例えば、二眼カメラで対象を撮影した左右の画像を使用し、左画像と右画像のうちの任意の一つを参考画像とし、ステレオ・マッチング法等により対象の視差画像を取得することができる。勿論、目標場面の視差画像を取得する方法はこれに限られない。また、本発明の以下の説明では、視差画像に基づき該検出方法100を行うが、本発明は視差画像以外の画像、例えば、グレースケール画像、レーダー画像、或いは赤外線画像等も用いることができる。これらの画像取得方法も当業者には既知のものである。

目標場面の視差画像取得後、視差画像に分析を加えて検出したい対象の大まかな輪郭を得、これにより該視差画像中の、該対象の大まかな輪郭を含む画像を該対象の画像、即ち該対象の視差画像として指定することができる。例えば、図2に目標場面の例に含まれる車両の視差画像と相応するグレースケール画像を示したが、このうち左画像は視差画像であり、右画像は相応するグレースケール画像である。

ステップS110では、該対象の所定テンプレート画像も取得する。該所定テンプレート画像は予め取得してメモリーに保存したもので良い。例えば、該テンプレート画像は、該対象が静止状態にあり且つ遮蔽が無い状況で取得した該対象の画像で良い。該テンプレート画像の類型と検出待ち対象の画像の類型は同じであり、例えば検出待ち対象の画像が視差画像或いはグレースケール画像である場合は、該テンプレート画像も相応して視差画像或いはグレースケール画像となる。例えば、図3は図2に示す対象車両に対するテンプレート視差画像ならびに相応するテンプレート・グレースケール画像を示したものであり、このうち左画像がテンプレート視差画像、右画像がテンプレート・グレースケール画像である。

このように、ステップS110では、検出待ち対象の画像ならびに相応するテンプレート画像を取得する。続いて、ステップS120では、該対象の画像を該所定テンプレート画像とマッチングし、マッチング結果を得る。

図4は本発明に基づく、該対象の画像と該所定テンプレート画像をマッチングするのに用いるテンプレート・マッチング方法の一例を示した。図4に示すように、該テンプレート・マッチング方法400は、以下のステップ、即ち、同一の所定ルールに従い該対象の画像と該所定テンプレート画像をそれぞれ複数のセルに分割するステップS410、該対象の画像の複数のセル中の各セルのセル特徴ならびに該所定テンプレート画像の複数のセル中の各セルのセル特徴を抽出するステップS420、ならびに、該対象の各セルのセル特徴を該予定テンプレート画像の各セルのセル特徴とマッチングし、これによってマッチング結果を取得するステップS430を含むことができる。

ステップS410では、該対象の画像と該所定テンプレート画像をそれぞれ複数のセルに分割するが、以下の文中では、これを特徴セルと称する。同一の所定ルールに従って該対象の画像と該所定テンプレート画像を分割し、マッチングができるようにする。該所定ルールは特徴セルの、例えば形状、サイズ等のパラメータを指定する。

特徴セルの形状は縦に細長いものでも、水平に細長いものでも、四角い格子セル等の形状でも良い。特徴セルのサイズについては、具体的な状況によって選択することができ、総体的な原則は、対象が遮蔽されている場合には、特徴セルのサイズは対象が遮蔽されたエリアのサイズを上回ることができないという事である。通常の場合は、分割サイズを余り小さくすることはできず、さもないとテンプレート・マッチングを行う回数が多くなり、計算量も比較的大きくなり、同時にノイズに対し敏感になる恐れがあり、分割のサイズを余り大きくすることもできず、さもないとディテールが失われ、理想的なマッチング効果が得られない。

本実施例では、対象の画像と該所定テンプレート画像をそれぞれ同じ幅をもつ複数の縦に細長い特徴セルに分割する。例えば、検出待ち対象が図2に示す車両である場合、該対象車両の視差画像ならびにテンプレート視差画像をそれぞれ縦方向の10個の細長い特徴セルに分割する。図5を参考に、図5(a)と(b)はそれぞれ該対象の画像と該所定テンプレート画像が番号1-10の10個の完全な形の特徴セルに分割されたことを示す。

好ましくは、ステップS410で、特徴セルの分割前に、該所定テンプレートと該対象の画像のサイズ対応性を評価することができる。これは該テンプレートと該画像エリアが同一のサイズ次元でマッチングされることを確保するためであるが、これは当業者なら、画像中の同一対象が相似した距離で相似したサイズを現し、サイズの変化と距離の変化が直線的関係を呈することを知っているからであり、例えば、視差画像では、視差値の大きさと、対象とレンズの距離が反比例の関係になる。このため、例えば、両レンズの距離、焦点距離等、適当なステレオカメラのパラメータが分かれば、対象の距離やサイズ等の情報が算出でき、同様にしてグレースケール画像或いは他の画像については、距離情報や幾つかの補助情報があれば、サイズの変化も算出することができる。

しかし、大多数の場合は、前後のフレームで対象にとても急激な位置的距離変化が起こり得ないため、この評価ステップを省略し、該テンプレートと該画像エリアの寸法が近似的に等しいと考えることもできる。また、本発明の提出する特徴セルマッチング方法は一定程度のロバスト性を有しているので、小範囲のサイズ誤差であれば完全に許容でき、このため、この評価ステップは選択的なステップとなり、例えこのステップを行わなくても、後続の処理にそれほど大きな影響を与えることはないと考えられる。

ステップS420では、ステップS410で分割した該対象の画像の複数の特徴セルならびに該所定テンプレート画像の複数の特徴セル中の各特徴セルについて、それぞれ各特徴セルの画像特徴を取り出す。対象の画像ならびにテンプレート画像が視差画像である場合、該画像特徴は、視差画像中の輪郭特徴、視差値のヒストグラム等の視差分布特徴でも良い。勿論、対象の画像ならびにテンプレート画像が他の画像である場合は、抽出した特徴は相応する画像中の他の画像特徴となり、例えばグレースケール画像中では、抽出した画像特徴は、例えばグレースケール画像中のエッジ特徴等のグレースケール特徴で良い。

ステップS430では、ステップS420で抽出した該対象の各セルのセル特徴と該所定テンプレート画像の各セルのセル特徴をマッチングし、これによりマッチング結果を得る。

実施例では、スライド方式を用いて対象の画像とテンプレート画像をマッチングすることができる。例えば、該対象の画像のエリア内でテンプレート画像をスライドさせることができる。スライド方向は、例えば左から右へ、中間から両側へ等、任意に選択できる。毎回のスライドの長さは、画像に特徴セル分割を行った時に従った所定ルールにより確定することができ、例えば、該長さは特徴セルのサイズで良い。図5に示すように、画像を縦に細長い特徴セルに分割する場合、該長さは該細長いセルの幅で良い。

各スライド位置について、重なるエリア内の対象の画像の各特徴セルと相応位置のテンプレート画像の特徴セルに特徴マッチング計算を行う。言い換えれば、特徴を対置した相似度、即ち、対象の画像の各セルのセル特徴とテンプレート画像の相応するセルのセル特徴のマッチング度を計算し、これにより、該対象の画像中の全ての特徴セルとテンプレート画像の対応するセルのマッチング度に基づき該スライド位置の総体的マッチング度を計る。

実施例では、該総体的マッチング度は該対象の画像中の全ての特徴セルのマッチング度の和で良い。或いは、別の実施例では、該対象の画像中の全ての特徴セルのマッチング度の平均二乗誤差の和に基づいて該全体マッチング度を評価することができる。

現在のスライド位置の総体的マッチング度を計算した後、全ての可能なマッチング位置を移動してスライドしたか否かを判断する。全ての可能なマッチング位置を既に移動した場合はスライドを終了し、そうでなければスライドを続け、各スライド位置について、上記のように対象の画像の各特徴セルとテンプレート画像の相応するセルのマッチング度、ならびに該スライド位置での該対象の画像と該テンプレート画像の総体的マッチング度を計算し、このようにして可能なマッチング位置を全て移動し終えるまで繰り返す。

その後、取得した各スライド位置のマッチング度に基づき最良のマッチング位置、即ちマッチング度が最高となるマッチング位置を決定する。通常の最良マッチング度探索方法は全体最適法で、例えば、上記の総体的マッチング度が全ての特徴セルのマッチング度の和である場合、全ての特徴セルのマッチング度の和が最大となる位置が即ち最良のマッチング位置となる。或いは、全ての特徴セルのマッチング度の平均二乗誤差の和に基づき該全体マッチング度を評価する場合、該平均二乗誤差の和が最小となる位置が即ち最良のマッチング位置となる。

このように、該テンプレート・マッチング方法400に基づき、ステップS120で該対象の画像と該所定テンプレート画像のマッチング結果を取得する。続いて、ステップS130で、該ステップS120で取得した該マッチング結果に基づき該対象に遮蔽が存在するか否かを検出する。

取得したマッチング結果を分析することにより遮蔽ならびに予測遮蔽エリアを検出することができる。例えば、現在のマッチング結果における各特徴セルとテンプレート画像の相応するセルのマッチング度、即ち、各特徴セルの全体マッチング度に対する貢献度を分析し、マッチング度の比較的低い特徴セルについて遮蔽を検出することができるが、これは、マッチング度の比較的低いエリアは通常、異常の現れるエリアであり、異常の現れる原因に、例えば自身の形態変化、或いは遮蔽等の存在が含まれる可能性があるためである。以下の文中で、これら、マッチング度の比較的低い特徴セルを弱マッチングセルと称する。

例として、予めマッチング度閾値を設定し、現在のマッチング結果中で、各特徴セルとテンプレート画像の相応するセルのマッチング度を該マッチング度閾値と比較し、このうちマッチング度が該閾値より低い特徴セルを弱マッチングセルとする。このマッチング度閾値は当業者が具体的な応用状況に合わせて設定することができ、一つの簡単な例はこのマッチング度閾値を、該マッチング結果のうちの全ての特徴セルのマッチング度平均値とすることである。勿論、該マッチング度閾値の設定はこれに限られない。

引き続き図2の、検出対象を車両とする視差画像を例にとり、更に図6を参考にし、該対象のテンプレート・マッチング結果における弱マッチングセルの例を示す。例えば、図6の上図は撮影した目標場面の対象の視差画像であり、下図は特徴セルのマッチング結果であり、このうち番号が4、5の特徴セルが灰色を示し、そのマッチング度が比較的低いことを表している。上方に対応した視差画像から、この低いマッチング度をもたらしている原因が該車両前方に存在する歩行者がそれに与えている遮蔽であることが分かり、該視差画像中の楕円枠のように示す。

上述のように、該マッチング結果中の弱マッチングセル中に如何なるものであれ遮蔽が存在するか否かを検出する。様々な方法が遮蔽検出に用いられる。例えば、対象の画像が視差画像である場合、弱マッチングセル中の視差値分布特徴を分析することにより遮蔽を検出できる。その他、対象の画像がグレースケール画像である場合、グレースケール画像の垂直エッジ等を分析することによっても遮蔽状況を分析することができる。勿論、深度特徴、色特徴等、他の画像特徴、或いはその任意の組合せを分析することにより遮蔽を検出することもできる。以下、例をあげて説明する。

図7(a)は図6の視差画像に対応する視差値分布曲線を示し、このうちx軸は画像と同じx横座標であり、y軸は視差値の分布を表示する。当業者なら、視差値の大きさで対象の遠近を表示でき、カメラに近い対象ほど視差値が大きいことを知っている。図7(a)から、視差分布の中心位置が不連続で、対象表面の視差点の分布、或いは対象の距離も不連続を表していることが分かり、かつ不連続なエリアはより近い所に視差点の分布を有しているため、該対象の前方に遮蔽物体が存在すると判断できる。

更に、予め該視差値分布図に、対象（例えば車両）を確定する視差分布閾値、即ち、対象の視差値が図7(a)のy軸上にある主要な視差分布位置を確定しておくことができ、該主要視差分布位置は、視差値に対するヒストグラム統計分析により、図7(a)の点線位置に示すように得ることができ、かつこの閾値を超えた視差分布の対応するx軸の位置を確定して、以前に既に確定した弱マッチングセルの位置と結合させ、遮蔽エリアの具体的位置を確定することができる。例えば、図7(a)の視差分布が閾値部分を超えたx軸の位置と図6の番号4、5の特徴セルの位置が対応すれば、特徴セル4、5に遮蔽が存在すると判定することができる。

図7(b)は図6の視差画像に対応する視差点分布ヒストグラムを示し、このうちx軸は引き続き画像と同じx横座標であり、y軸は視差点の数を表す。同様にして、予め該視差点分布の閾値を確定しておくことができ、図7(b)の点線に示すとおりである。該閾値はx軸上の各単位距離中で対象の視差点の平均数の所定倍数、例えば平均数の1.2倍と設定することができ、或いは該閾値はx軸上の各単位距離中で対象の視差点の最大数の所定比率、例えば最大数の0.9倍と設定することができる。図7(b)から、第三および第四柱の視差点数が明らかに閾値より高いことが分かり、このため該第三および第四柱に対応するx軸の位置に距離がより近い物体が存在すると判定する。これにより、以前に既に確定した弱マッチングセルの位置と結合させ、該視差点分布ヒストグラムから遮蔽エリアが存在すると判断することができ、また遮蔽エリアの具体的位置も確定することができる。

図8は図6の視差画像に対応するグレースケール画像について遮蔽分析を行う概念図を示す。該グレースケール画像中に、該グレースケール画像にエッジ分析を行って得られた、車両を遮蔽する歩行者のエッジ特徴を点線で概念的に示した。対象の画像がグレースケール画像である場合、グレースケール画像の垂直エッジ等を分析することにより遮蔽状況を分析することもできる。

勿論、以上は遮蔽エリアを判断する具体例を理解しやすいように説明したもので、当業者は、遮蔽が存在するか否かを判断し、ならびに遮蔽エリアの具体的な位置を確定する方法がこれに限らないことを理解できる。

このように、ステップS130で、該対象の画像と該所定テンプレート画像のマッチング結果に基づき該対象に遮蔽が存在するか否かを検出する。これにより、ステップS140で、遮蔽検出結果を出力しディスプレーに用い、或いは該検出結果を保存することができ、更なる処理に用いた後、該検出方法100を終了する。

例えば、図9は図2に示す対象車両の例に対する検出結果を示し、このうち左図は視差画像、右図は相応するグレースケール画像である。上記検出方法100により、該対象が目標とマッチングするが、車両前方の、図中、点線枠で示すエリアに遮蔽が存在することが検出できる。

上記検出方法100により、対象の画像と所定テンプレート画像をマッチングしマッチング結果を得ることができ、同時に該マッチング結果に基づき遮蔽検出を行い、これにより該対象に如何なるものであれ遮蔽が存在するか否かを迅速に検出することができる。しかも、テンプレート・マッチング過程では特徴セルを用いてマッチングを行い、遮蔽検出中に特徴セルを基に検出を行うので、迅速、正確に遮蔽エリアの位置を定めることができる。

別の実施例では、遮蔽検出結果を既に取得した後、該遮蔽検出結果に基づきテンプレートを更新することもできる。

具体的には、保存した現在のフレームならびに所定数の過去のフレーム中の遮蔽検出結果を取得し、これにより継続した遮蔽が存在するか否かを確定できる。該所定数は、例えば1フレーム、2フレーム、3フレーム、5フレーム等、状況に応じて設定できる。遮蔽検出結果が現在のフレームならびに該所定数の過去のフレーム中に全て遮蔽を検出した時に、継続した遮蔽が存在すると確定する。

続いて、継続して存在する該遮蔽が、現在のフレームならびに該所定数フレームの過去のフレーム中で、同じ遮蔽物により引き起こされたものであるか否かを確定する。これはこれらのフレーム間で遮蔽エリアの比較を行い確定することができる。例えば、これらのフレーム中の遮蔽エリアの面積に大差がなく、かつ視差分布も近似していれば、同じ遮蔽物と確定することができる。

これによって、これらのフレーム中の遮蔽物の分析により、該遮蔽物の軌跡を確定することができ、これから遮蔽物の軌跡およびその過去の位置情報に基づき該遮蔽物の次のフレームでの可能な位置、即ち、次のフレームで遮蔽が存在する可能性のあるエリアを予測することができる。過去の遮蔽位置情報に基づき遮蔽を予測する方法は、例えば簡単な線形総和、カルマン・フィルター、粒子フィルター等、様々なものがある。これらの方法により、次のフレームに遮蔽が存在するか否か、ならびに遮蔽が存在する可能性のある場合は、該遮蔽の可能エリアを予測することができる。

次のフレームに遮蔽の存在する可能性があると予測する時は、現在のフレームの遮蔽検出結果に基づき該所定テンプレートを更新し、次のフレームのテンプレート候補とする。例えば、該所定テンプレート中の予測遮蔽エリアに対応する位置にある特徴セルの特徴を現在のフレーム中で検出した遮蔽エリアにある特徴セルの特徴に更新することができる。

例えば、図10は本発明のこの実施例の更新による、次のフレームに用いるテンプレート更新の概念図を示し、この中で現在のフレーム（nフレーム）と現在のフレームの一つ前のフレーム（n-1フレーム）の遮蔽検出結果に基づき次のフレーム（n+1フレーム）に用いるテンプレートを更新する。図10(a)の上図はn-1フレームの視差画像を示し、下図は該n-1フレームのテンプレート・マッチング結果（遮蔽検出結果）を示し、このうち灰色に表示した特徴セル3-10はテンプレートとマッチングしたエリアを表示し、黒色エリアに表示した特徴セル1、2はその中に遮蔽が検出されたエリアであり、図10(b)の上図は現在のnフレームの視差画像を示し、下図は該nフレームのテンプレート・マッチング結果を示し、このうち灰色に表示した特徴セル1、2、5-10はテンプレートとマッチングしたエリアを表示し、黒色に表示した特徴セル3、4はその中に遮蔽を検出したエリアであり、図10(c)の上図はn+1フレームの視差画像を示し、下図は該n+1フレームに用いるテンプレート更新状況を示す。図10(c)に示すように、図10(a)と10(b)に示された遮蔽検出結果に対する分析に基づいて、n+1フレームの遮蔽エリアが特徴セル6、7の位置に出現する可能性を予測し、これにより、n+1フレームに用いるテンプレートの特徴セル6、7のセル特徴を、nフレームの遮蔽の存在する特徴セル3、4のセル特徴に更新する。

これにより、現在のフレームの画像に対象の遮蔽が存在することを検出した時は、現在のフレームの遮蔽検出結果ならびに該現在のフレームの前の所定数の過去のフレーム中の遮蔽検出結果に基づき、次のフレームに遮蔽が存在するか否かを予測することができる。次のフレームに遮蔽が存在すると予測した場合は、現在のフレームの遮蔽検出結果に基づき前記テンプレート画像を更新し、更新後のテンプレート画像を次のフレームのテンプレート画像候補とする。

該テンプレート画像候補をメモリーに保存し、次のフレームにある対象の画像にテンプレート・マッチングを行う時に用いることができる。例えば、予め該対象の所定テンプレートが既に保存してあり、かつ該次のフレームのために更新した該テンプレートが保存されたのであるから、テンプレート・マッチングを行う前に、該次のフレームの画像に対し初期の遮蔽分析を行うことにより、分析結果に基づき元の所定テンプレートを使用するか、更新後のテンプレートを使用するかを選択できるようにすることができる。例えば、これは簡単な視差値ヒストグラムの分析により実現することができ、該次のフレームの画像に閾値を超える視差分布が存在する場合は（例えば図7(b)に示すような場合）、該画像に遮蔽等の異常状況が存在する可能性があるとして、更新後のテンプレートの使用を選択し、そうでない場合は、引き続き該所定テンプレートを使用することができる。

これにより、上記実施例に基づき、連続した遮蔽が存在する場合は、現在のフレームの遮蔽検出結果に基づき次のフレームのテンプレートを更新することができ、これにより次のフレームのマッチングを行う時、素早くマッチングを行うことができ、かつ、より迅速に次のフレームに遮蔽状況が存在するか否か検出することができる。

続いて、本発明の実施例による、目標場面の対象の遮蔽検出装置を説明する。

図11は該実施例の遮蔽検出装置の機能ブロック図を示す。図11に示すように、該遮蔽検出装置1100は、該対象の画像を取得し、該対象の所定テンプレート画像を取得する画像取得部1110、該対象の画像と該所定テンプレート画像をマッチングし、マッチング結果を得るマッチング部1120、該マッチング結果に基づき該対象に対する遮蔽が存在するか否かを検出する検出部1130、ならびに遮蔽検出結果を出力する出力部1140を含む。

選択として、該マッチング部1120は、同一の所定ルールに従い該対象の画像と該所定テンプレート画像をそれぞれ複数のセルに分割するセル分割部、該対象の画像の複数のセル中の各セルのセル特徴、ならびに該所定テンプレート画像の複数のセル中の各セルのセル特徴を抽出する特徴抽出部、ならびに該対象の各セルのセル特徴と該所定テンプレート画像の各セルのセル特徴をマッチングし、マッチング結果を取得する特徴マッチング部を含むことができる。

好ましくは、該検出部1130は、前記マッチング結果に基づき、該対象の画像の複数のセル中で該所定テンプレート画像に相応するセルとのマッチング度が所定閾値より低いセルを選択するセル選択部、ならびに前記マッチング度が所定閾値より低いセルについて遮蔽が存在するか否かを検出するセル検出部を含むことができる。

好ましくは、該遮蔽検出装置1100は、該検出部1130が現在のフレーム中に遮蔽の存在を検出した時、現在のフレームならびに所定数の過去のフレーム中の遮蔽検出結果に基づき、次のフレームに遮蔽が存在するか否かを予測する予測部、ならびに該予測部が次のフレームに遮蔽が存在すると予測した場合に、現在のフレームの遮蔽検出結果に基づき前記テンプレート画像を更新し、更新後のテンプレート画像を次のフレームのテンプレート画像候補とする更新部も含むことができる。

図11に示す遮蔽検出装置1100の各部の操作に関しては、図1と結合して示したフローチャートを参考に説明することができ、ここでは繰り返して述べない。該遮蔽検出装置により、対象の画像と所定テンプレート画像をマッチングし、マッチング結果を得ることができ、同時に該マッチング結果に基づき遮蔽検出を行い、これにより該対象に如何なるものであるにせよ遮蔽が存在するか否かを迅速に検出することができる。しかも、該遮蔽検出装置はテンプレート・マッチング過程で特徴セルを用いてマッチングを行い、かつ遮蔽検出中に特徴セルを基礎として検出を行うので、迅速、正確に遮蔽エリアの位置を定めることができる。

続いて、図12を参考に、本発明の実施例に基づく、検出目標場面の対象に対する遮蔽検出を実現するシステムのハードウェア配置を説明する。図12に示すように、システム1200は、例えば二眼カメラの撮影した目標場面の左右の画像、目標場面の対象の視差画像等、処理したい画像を外部から入力するのに用い、例えばキーボード、マウス、ならびに通信ネットワークとそれに接続する遠隔入力設備等を含む入力装置1210、本発明実施例に基づく上記対象遮蔽検出方法の実現、或いは本発明実施例に基づく上記遮蔽検出装置の実行に用い、例えばコンピュータの中央処理器或いはその他の処理能力を有するチップ等を含み、例えばインターネット・ネットワーク（未表示）に接続でき、処理過程の必要に応じてネットワークから例えば視差画像等を取得する処理装置1220、外部にテンプレート・マッチング結果ならびに遮蔽検出結果等を含む上記遮蔽検出結果を出力するのに用い、例えばディスプレー、プリンター、ならびに通信ネットワークとそれに接続する遠隔出力設備等を含む出力装置1230、ならびに上記に述べたメモリーを含み、揮発性或いは非揮発性方式で上記遮蔽過程に関係する画像、データ、取得した結果、命令ならびに中間データ等を保存するのに用い、例えばランダム・アクセスメモリー（RAM）、読み取り専用メモリー（ROM）、ハードディスク、或いは半導体メモリー等の各種揮発性或いは非揮発性メモリーを含む記憶装置1240を含む。

勿論、簡潔化のため、図12は該システムで本発明に関係する部材の一部だけを示したに過ぎず、例えばバス、入力/出力ポート等の部材は省略した。この他、具体的な応用状況に基づき、システム1200は他の如何なる適当な部材も含むことができる。

以上、添付図を参考に、既に本発明の実施例に基づく対象遮蔽検出方法、装置およびシステムの詳細な説明を行った。上記では検出目標場面の車両を例に説明したが、当業者には、本発明の応用できる検出対象が車両に限られず、他の如何なる運動する、或いは静止した物体、建築物等で良く、勿論、目標対象に対する遮蔽物も歩行者に限られず、他の如何なる運動する、或いは静止した物体でも良いことは明らかである。

本出願で言及した装置、設備、システムのブロック図はただの例に過ぎず、また必ずブロック図に示された方式で連結、手配、配置しなければならないという事を要求し、あるいは暗示する意図はない。当業者なら知り得るように、任意の方式でこれらの装置、設備、システムを連結、手配、配置することができる。例えば、「含む」、「包含する」、「有する」等々の言葉は意味の開かれた言葉で、「含むがこれに限らない」ことを指し、互いに置き換えて使用できる。ここで使用する言葉、「或いは」と「及び」は「及び/または」の言葉を指し、前後の文から明らかにこれと違うことを指していない限り、互いに置き換えて使用できる。ここで使用する言葉「例えば」は「例えば、しかしこれに限らない」というフレーズを指し、互いに置き換えて使用できる。

本出願のステップ、フロー図ならびに上記の方法は例示としての例を説明しているに過ぎず、また必ず提示された順序で各実施例のステップを行わなければならないということを要求しあるいは暗示する意図はない。当業者なら知り得るように、任意の順序で以上の実施例のステップの順序を行うことができる。例えば、「その後」、「それから」、「続いて」等々の言葉はステップの順序を限定する意図はなく、これらの言葉はただ読者にこれらの方法の説明を通読させるために用いているだけである。この他、例えば冠詞、「一つの」、「一」あるいは「該」の使用は、単数的要素の如何なる引用についても、該要素を単数に限定するものと解釈されてはならない。

提案の公開する面の以上の説明は本分野の如何なる技術者も本発明を行い或いは使用できるようにするものである。これらの面に対する各種修正も当業者にとっては極めて明瞭に分かるものであり、ここで定義された一般原理は他の面に応用しても本発明の範囲から外れられるものではない。このため、本発明はここに示した面に限定する意図はなく、ここに公開した原理と新規性特徴に一致する最も広い範囲に基づくものである。

Claims (7)

1. 目標場面における対象の遮蔽を検出する方法であって、
   該対象の画像を取得するとともに、該対象の所定テンプレート画像を取得するステップと、
   該対象の画像と該所定テンプレート画像とのマッチングを行い、マッチング結果を取得するステップと、
   該マッチング結果に基づき、該対象が遮蔽されているか否かを検出し、検出結果を取得するステップと、を含み、
   該対象の画像と該所定テンプレート画像とのマッチングを行うステップは、
   同一の所定ルールに従い、該対象の画像と該所定テンプレート画像をそれぞれ複数のセルに分割するステップと、
   該対象の画像の複数のセル中の各セルのセル特徴、及び該所定テンプレート画像の複数のセル中の各セルのセル特徴を抽出するステップと、
   該対象の各セルのセル特徴と該所定テンプレート画像の各セルのセル特徴とのマッチングを行うステップと、を含み、
   前記マッチング結果は、該対象の画像の複数のセルと該所定テンプレート画像の複数のセルとのセル特徴の全体的マッチング度が最も高いマッチング結果であり、
   該マッチング結果に基づき、該対象が遮蔽されているか否かを検出するステップは、
   前記マッチング結果に基づき、該対象の画像の複数のセルから、該所定テンプレート画像の対応するセルとのマッチング度が所定閾値より低いセルを選択するステップと、
   前記マッチング度が所定閾値より低いセルが遮蔽されているか否かを検出するステップと、を含み、
   前記方法は、
   現在のフレームに遮蔽が存在すると検出された場合に、現在のフレーム及び所定数の過去のフレームの遮蔽の検出結果に基づき、次のフレームに遮蔽が存在するか否かを予測するステップと、
   次のフレームに遮蔽が存在すると予測された場合に、現在のフレームの遮蔽の検出結果に基づきテンプレート画像を更新し、更新後のテンプレート画像を次のフレームのテンプレート画像候補とするステップと、をさらに含む、方法。
2. 前記全体的マッチング度が最も高いマッチング結果は、対象の画像の各セルと該所定テンプレート画像の対応するセルとのマッチング度の和が最も大きいマッチング結果、或いは対象の画像の各セルと該所定テンプレート画像の対応するセルとのマッチング度の平均二乗誤差の和が最も小さいマッチング結果である、請求項1に記載の方法。
3. 画像特徴である、視差分布特徴、深度特徴、色特徴、エッジ特徴のうちの少なくとも１つを分析することにより、遮蔽が存在するか否かを検出する、請求項1に記載の方法。
4. 前記テンプレート画像を更新するステップは、現在のフレームの画像における遮蔽が存在する特徴セルを用いてテンプレート画像における対応する特徴セルを更新するステップを含む、請求項1に記載の方法。
5. 前記検出結果を出力するステップをさらに含む、請求項1〜4のいずれかに記載の方法。
6. 目標場面における対象の遮蔽を検出する装置であって、
   該対象の画像を取得し、該対象の所定テンプレート画像を取得する画像取得手段と、
   該対象の画像と該所定テンプレート画像とのマッチングを行い、マッチング結果を取得するマッチング手段と、
   該マッチング結果に基づき、該対象が遮蔽されているか否かを検出し、検出結果を取得する検出手段と、を含み、
   前記マッチング手段は、
   同一の所定ルールに従い、該対象の画像と該所定テンプレート画像をそれぞれ複数のセルに分割するセル分割手段と、
   該対象の画像の複数のセル中の各セルのセル特徴、及び該所定テンプレート画像の複数のセル中の各セルのセル特徴を抽出する特徴抽出手段と、
   該対象の各セルのセル特徴と該所定テンプレート画像の各セルのセル特徴とのマッチングを行い、マッチング結果を取得する特徴マッチング手段と、を含み、
   前記マッチング結果は、該対象の画像の複数のセルと該所定テンプレート画像の複数のセルとのセル特徴の全体的マッチング度が最も高いマッチング結果であり、
   前記検出手段は、
   前記マッチング結果に基づき、該対象の画像の複数のセルから、該所定テンプレート画像の対応するセルとのマッチング度が所定閾値より低いセルを選択するセル選択手段と、
   前記マッチング度が所定閾値より低いセルが遮蔽されているか否かを検出するセル検出手段と、を含み、
   前記装置は、
   現在のフレームに遮蔽が存在すると検出された場合に、現在のフレーム及び所定数の過去のフレームの遮蔽の検出結果に基づき、次のフレームに遮蔽が存在するか否かを予測し、
   次のフレームに遮蔽が存在すると予測された場合に、現在のフレームの遮蔽の検出結果に基づきテンプレート画像を更新し、更新後のテンプレート画像を次のフレームのテンプレート画像候補とする、装置。
7. 前記検出結果を出力する出力手段をさらに含む、請求項6に記載の装置。

Images