JP4937400B1 - 探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置 - Google Patents

Abstract

【課題】オブジェクト探索の効率化を図ることが可能な探索省略領域設定関数生成方法を提供すること。
【解決手段】探索省略領域設定関数生成方法は、モデル画像上の指定探索点に対して、前記モデル画像からオブジェクトを探索するためのテンプレートを対応付けて、前記指定探索点と前記テンプレートとの指定探索点類似度を検出し、前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記モデル画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出し、前記周辺探索点類似度の分布に基づき前記オブジェクトと前記テンプレートとの相対位置を推定し、推定相対位置に基づき前記オブジェクトの探索省略領域を設定するための関数を生成する。
【選択図】図１

Description

本発明の実施形態は、探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置に関する。

近年、画像中から人物の顔などのオブジェクトを検出するための各種技術が提案されている。例えば、次のようなオブジェクト検出技術が提案されている。まず、オブジェクト探索対象画像に対して、参照画像から作成したテンプレートを重ね合わせて走査する。続いて、各重なり位置において、オブジェクト探索対象画像とテンプレートの間（或いはオブジェクト探索対象画像の特徴量とテンプレートの特徴量の間）の距離（或いは類似値、類似度など）を計算する。続いて、最小距離が得られる重なり位置（或いはオブジェクト探索対象画像とテンプレートの類似度が最大になる重なり位置）をオブジェクト検出位置として出力する。

特開２００７−９４６８９号公報 特開２００３−２２４４２号公報

正確にオブジェクトを探索するためには、例えば、オブジェクト探索対象画像に対して、テンプレートを１画素ずつずらし、各ずらし位置に対応して、オブジェクト探索対象画像とテンプレートの類似度を計算する。

しかしながら、上記オブジェクト探索手法では、オブジェクト探索のための計算負荷が大きく、計算コストが高くなってしまう。つまり、オブジェクト探索負荷が大きい。そこで、オブジェクト探索の効率化技術が要望されている。

本発明の目的は、オブジェクト探索の効率化を図ることが可能な探索省略領域設定関数生成方法、探索省略領域設定方法、オブジェクト探索方法、探索省略領域設定関数生成装置、探索省略領域設定装置、及びオブジェクト探索装置を提供することにある。

実施形態の探索省略領域設定関数生成方法は、モデル画像上の指定探索点に対して、前記モデル画像からオブジェクトを探索するためのテンプレートを対応付けて、前記指定探索点と前記テンプレートとの指定探索点類似度を検出する。さらに、この方法は、前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記モデル画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出する。さらに、この方法は、前記周辺探索点類似度の分布に基づき前記オブジェクトと前記テンプレートとの相対位置を推定し、推定相対位置に基づき前記オブジェクトの探索省略領域を設定するための関数を生成する。

探索省略領域設定関数の作成の一例を示すフローチャートである。 図１中の検出位置近傍の類似度度数の計測の一例を示すフローチャートである。 図１中の類似度分布の作成の一例を示すフローチャートである。 図１中の探索省略領域設定関数の作成の一例を示すフローチャートである。。 オブジェクト探索システムの一例を示すブロック図である。 オブジェクト探索の概念の一例を示す図である。 オブジェクト（顔）検出の概念の一例を示す図である。 相対座標（ｘ，ｙ）における類似度分布（密度）ｐ（ｓ｜ｘ，ｙ）の概念の一例を示す図である。 オブジェクト検出位置から離れた位置における類似度分布（密度）ｐ（ｓ｜ｘ，ｙ）の概念の一例を示す図である。 オブジェクト検出位置に近い位置における類似度分布（密度）ｐ（ｓ｜ｘ，ｙ）の概念の一例を示す図である。 探索省略領域設定関数ｓＰ（ｘ，ｙ）の概念の一例を示す図である。 探索省略領域設定関数ｓＰ（ｘ，ｙ）の概念の一例を示す図である。 探索省略領域設定関数ｓＰ（ｘ，ｙ）と探索省略領域との関係の一例を示す図である。 探索点と探索省略領域との関係の一例を示す図である． オブジェクト探索対象画像上に対する探索省略領域の設定順序の一例を示す図である。 オブジェクト探索対象画像上に対する探索省略領域の設定順序の一例を示す図である。 本実施形態のオブジェクト探索省略領域設定方法及びオブジェクト探索省略領域設定装置を適用したデジタルテレビジョン放送受信装置の一例を示すブロック図である。

以下、実施形態について図面を参照して説明する。

本実施形態のオブジェクト探索省略領域設定方法は、例えば、オブジェクト探索前に、予め学習用画像（モデル画像）を用いて、オブジェクトの近傍における類似度分布を検出し、類似度分布に基づき探索省略領域設定関数を作成し、探索省略領域設定関数に基づき探索省略領域を設定する。また、本実施形態のオブジェクト探索方法は、前記探索省略領域設定関数に基づき、オブジェクト探索対象画像に対して探索省略領域を設定し、探索省略領域を除外して、テンプレートを用いてオブジェクト探索対象画像からオブジェクトを探索する。

例えば、図５に示すオブジェクト探索システム１が、探索省略領域設定関数を作成し、また、探索省略領域設定関数に基づき、オブジェクト探索対象画像に対して探索省略領域を設定し、また、探索省略領域を除外して、テンプレートを用いてオブジェクト探索対象画像からオブジェクトを探索する。

なお、探索省略領域設定関数の作成、探索省略領域の設定、及びオブジェクト探索の全てを１つの機器で実現しなくてもよい。例えば、コンピュータ等で探索省略領域設定関数を作成し、デジタルＴＶ等の画像処理機器に探索省略領域設定関数に基づくオブジェクト探索機能を搭載し、この画像処理機器がオブジェクト探索機能によりオブジェクトを探索する。つまり、画像処理機器が、コンピュータ等により作成された探索省略領域設定関数に基づき、オブジェクト探索対象画像（例えば番組映像）に対して探索省略領域を設定し、探索省略領域を除外して、テンプレートを用いてオブジェクト探索対象画像からオブジェクトを探索する。

以下、図５に示すオブジェクト探索システム１による探索省略領域設定関数の作成、探索省略領域の設定、及びオブジェクト探索の一例について説明する。図５に示すように、例えば、オブジェクト探索システム１は、画像入力モジュール２、類似度分布作成モジュール３、探索省略領域設定モジュール４、探索モジュール５、記憶部６を備える。

図１は、探索省略領域設定関数の作成の一例を示すフローチャートである。

最初に、図２に示すフローチャートを参照し、図１中の検出位置近傍の類似度度数の計測(ＳＴ１００)の一例について説明する。

例えば、オブジェクト探索システム１の画像入力モジュール２は、例えば複数の学習用画像（モデル画像）のうちの第１の学習用画像を入力する(ＳＴ１０１)。類似度分布作成モジュール３は、検出個数ｎと度数ｆ（ｓ｜ｘ，ｙ）を初期化し(ＳＴ１０２)、探索点（ｘ，ｙ）を設定し(ＳＴ１０３)、探索点における類似度ｓを計算する(ＳＴ１０４)。

つまり、類似度分布作成モジュール３は、第１の学習用画像２１（図６、７参照）に対して、この第１の学習用画像２１からオブジェクトを探索するためのテンプレート２２を走査する。例えば、類似度分布作成モジュール３は、上記走査において、第１の学習用画像２１（図６、７参照）上の第１の指定探索点に対して、この第１の学習用画像２１からオブジェクトを探索するためのテンプレート２２（図６、７参照）を第１の位置関係に対応付けて、第１の学習用画像上の第１の指定探索点とテンプレートとの間の第１の指定探索点類似度（類似度ｓ）を検出する。

第１の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えない場合(ＳＴ１０５、ＮＯ)、類似度分布作成モジュール３は、第１の指定探索点を変更し(ＳＴ１０３)、第１の学習用画像上の第２の指定探索点に対して、この第１の学習用画像からオブジェクトを探索するためのテンプレートを第２の位置関係に対応付けて、第１の学習用画像上の第２の指定探索点とテンプレートとの間の第２の指定探索点類似度（類似度ｓ）を検出する。

第２の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えなければ、さらに、類似度分布作成モジュール３は、第２の指定探索点を変更し、類似度検出を継続し、第２の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えれば、類似度分布作成モジュール３は、第２の位置関係で、オブジェクトが検出されたと判定する。

上記したように、類似度分布作成モジュール３は、類似度ｓが検出閾値θ（オブジェクト検出判定閾値θ）を超えたとき(ＳＴ１０５、ＹＥＳ)、オブジェクトが検出されたと判定し，その近傍の類似度を計算する。類似度分布作成モジュール３は、オブジェクト検出位置からの相対座標（ｘR,ｙR）と類似度ｓに関する度数ｆ（）を加算する処理を全相対座標と全探索点について行う(ＳＴ１０６〜ＳＴ１１０)。

例えば、上記第１の位置関係で、第１の指定探索点類似度（類似度ｓ）が検出閾値θ（オブジェクト検出判定閾値θ）を超えた場合、類似度分布作成モジュール３は、第１の位置関係の第１の学習用画像上の第１の指定探索点の周辺の複数の第１の周辺探索点の夫々と、テンプレートとの周辺探索点類似度を検出する。

以上により、第１の学習用画像について類似度度数の計測が完了すると、続いて、画像入力モジュール２は、複数の学習用画像のうちの第２の学習用画像を入力し、類似度分布作成モジュール３は、第２の学習用画像について上記した類似度度数を計測する(ＳＴ１０１〜ＳＴ１１１)。以後、同様に、類似度分布作成モジュール３は、全ての学習用画像について上記した類似度度数を計測する(ＳＴ１０１〜ＳＴ１１１)。

また、複数種類のテンプレートを用意し、類似度分布作成モジュール３は、各テンプレートを用いて、類似度度数を計測することもできる。複数種類のテンプレートは、例えば、異なるオブジェクトを検出するためのテンプレート、異なるサイズのオブジェクトを検出するためのテンプレートである。

ここでテンプレートについて補足する。顔（オブジェクト）を検出するためのテンプレートは、例えば特開２００３−３４６１５８号公報に記載されているように、顔と目と鼻それぞれに対応した部分空間法の辞書パターンのことである。また、顔（オブジェクト）を検出するためのテンプレートは、例えば特開２００７−２４９３９４号公報に記載されているように、登録顔画像の個々の顔の静的な特徴を予め設定された特徴点の配置と、それらの近傍の画像特徴量との組で表したモデルである。また、顔（オブジェクト）を検出するためのテンプレートは、例えば特開２００５−２０８８５０号公報に記載されているように、登録顔画像にプロットされた特徴点の近傍の画像の情報（例えば、ガボールウェーブレット係数）ＣＡ（ｘ−）、特徴点配置情報ｘ−、及び人物ＩＤｎから構成されるモデルデータＨの集合である。なお、テンプレートは、上記したような辞書パターン、モデルデータであってもよいし、画像（テンプレート画像）であってもよい。

続いて、図３に示すフローチャートを参照し、図１中の類似度分布の作成(ＳＴ２００)の一例について説明する。

類似度分布作成モジュール３は、ＳＴ１００により求められた度数ｆ（）を検出個数ｎで割り、P()を算出する処理を全相対座標について行う(ＳＴ２０１〜ＳＴ２０５)。図８、９、１０は、P(s|ｘR,yR)の概念の一例を示す図である。オブジェクト位置に近いと、図１０のように類似度ｓが大きい領域が高頻度（度数が大きい）となり、オブジェクト位置から遠いときは、図９のように類似度ｓが小さい領域が高頻度となる。

続いて、図４に示すフローチャートを参照し、図１中の探索省略領域設定関数の作成(ＳＴ３００)の一例について説明する。

類似度分布作成モジュール３は、ｓ＝０からP(s|ｘ,y)を累積加算し、検出もれ率Ｐ（許容検出もれ率Ｐ）を超える直前のｓをSP(ｘ，ｙ)とする処理を全相対座標（ｘ，ｙ）について行い(ＳＴ３０１〜ＳＴ３０６)、探索省略領域設定モジュール４は、探索省略領域設定関数SP(ｘ，ｙ)を生成する。

つまり、探索省略領域設定モジュール４は、上記した周辺探索点類似度の分布に基づきオブジェクトとテンプレートとの距離を推定し、推定距離に基づきオブジェクトの探索省略領域を設定するための探索省略領域設定関数を生成する。ここでいう距離とは、相対位置のことであり、方向によって、距離の基準は変化する。即ち、探索省略領域設定モジュール４は、推定距離（推定相対位置）に基づき、上記した第１の周辺探索点におけるオブジェクトの検出もれ率を推定し、推定検出もれ率に基づき探索省略領域設定関数を生成する。より具体的には、探索省略領域設定モジュール４は、オブジェクトの検出もれを許容する許容検出もれ率と推定検出もれ率とを比較し、許容検出もれ率未満の領域を探索省略領域として設定するための探索省略領域設定関数を生成する。

図１１は、SP(ｘ，ｙ)の概念の一例を示す図である。検出もれ率Ｐ（許容検出もれ率Ｐ）が小さいと、曲線が中心に近づき、探索省略領域が狭まる。逆に、検出もれ率Ｐ（許容検出もれ率Ｐ）が大きいと、曲線が中心から離れ、探索省略領域が広がる。例えば、オブジェクトの検出もれの可能性を十分に低くしたい場合には、許容検出もれ率Ｐを非常に小さい値（例えば０％＜Ｐ＜５％）に設定することにより、探索省略領域が狭くなり、オブジェクトの検出もれの可能性を低くすることができる。また、オブジェクトの検出もれの可能性を低くすることよりも、オブジェクトの検索負荷を低くすることに重点を置きたい場合には、許容検出もれ率Ｐをやや低い値（例えば５％≦Ｐ＜１０％）に設定することにより、探索省略領域が広くなり、オブジェクトの検索もれを防ぎつつ、オブジェクトの検索負荷をより低くすることができる。

図１２は、探索省略領域設定関数SP(ｘ，ｙ)を説明する概念の一例を示す図である。図１２は、オブジェクト検出位置（０，０）からの相対座標における（検出もれ率Ｐとしたときの）類似度の下限の一例を示している。中心が頂上となる丘の形状をしている。オブジェクト検出位置（０，０）でオブジェクトが検出された場合に、（ｘ，ｙ）における類似度は１−Ｐの確率でＳＰ（ｘ，ｙ）以上になる。

図１３は、図１２のｘとｙに関して反転したグラフの一例を示す図である。ある位置において類似度ｓが得られた場合、その位置からの相対座標（ｘＲ，ｙＲ）として、ＳＰ（−ｘＲ，−ｙＲ）＞ｓの領域でオブジェクトが検出される確率は検出もれ率Ｐ（許容検出もれ率Ｐ）以下となる。したがって、検出もれ率Ｐ（許容検出もれ率Ｐ）を十分に小さい値に設定することにより、この領域において探索を省略して探索の計算量を削減することができる。

以下、上記の数式定義をまとめる。

図１４は、探索の概念の一例を示す図である。図１４中の「＋印」は探索点を示す。探索省略領域設定モジュール４は、探索の類似度計算後に、その近傍に探索省略領域（図１４中の斜線領域）を設定する。

例えば、画像入力モジュール２は、オブジェクト探索対象画像（例えば番組画像）を入力する。類似度分布作成モジュール３は、オブジェクト探索対象画像とテンプレートとを所定位置関係に対応付けて（オブジェクト探索対象画像の第１の指定探索点とテンプレートとを対応付けて）、オブジェクト探索対象画像上の第１の指定探索点と、テンプレートとの間の指定探索点類似度を検出する。さらに、類似度分布作成モジュール３は、オブジェクト探索対象画像の第１の指定探索点の周辺の複数の第１の周辺探索点と、テンプレートとの間の周辺探索点類似度を検出する。検出した指定探索点類似度と周辺探索点類似度に基づき、オブジェクト探索対象画像の第１の指定探索点及び複数の周辺探索点と、テンプレートとの類似度が閾値θ（オブジェクト非検出判定閾値θ）より低い場合、類似度分布作成モジュール３は、オブジェクト探索対象画像上の第１の指定探索点の近傍（上記所定領域）にオブジェクトが無い可能性が高いと判定し、探索省略領域設定モジュール４は、第１の指定探索点を基準として、探索省略領域設定関数に基づき、探索省略領域を設定する。

１個の探索点に対応する探索省略領域は、類似度に依存するため，探索点の配置は動的に設定する必要がある。例えば、図１５に示すように、オブジェクト探索対象画像の第１の指定探索点Ａ１０及び複数の周辺探索点と、テンプレートとの類似度が閾値θ（オブジェクト非検出判定閾値θ）を超えない場合、探索省略領域設定モジュール４は、第１の指定探索点Ａ１０を基準として、探索省略領域設定関数に基づき、第１の探索省略領域Ａ１１を設定する。次に、第１の探索省略領域Ａ１１の外であって、第１の探索省略領域Ａ１１に近接する第２の指定探索点Ａ２０及び複数の周辺探索点と、テンプレートとの類似度が閾値θ（オブジェクト非検出判定閾値θ）を超えない場合、探索省略領域設定モジュール４は、第２の指定探索点Ａ２０を基準として、探索省略領域設定関数に基づき、第２の探索省略領域Ａ２１を設定する。次に、第１の探索省略領域Ａ１１及び第２の探索省略領域Ａ２１の外であって、第１の探索省略領域Ａ１１から最も遠く且つ第２の探索省略領域Ａ２１に近接する第３の指定探索点Ａ３０及び複数の周辺探索点と、テンプレートとの類似度が閾値θ（オブジェクト非検出判定閾値θ）を超えない場合、探索省略領域設定モジュール４は、第３の指定探索点Ａ３０を基準として、探索省略領域設定関数に基づき、第３の探索省略領域Ａ３１を設定する。このようにして、探索省略領域設定モジュール４は、オブジェクト探索対象画像上に、１以上の探索省略領域を設定することができる。

或いは、図１６に示すように、オブジェクト探索対象画像の第１の指定探索点Ａ１０及び複数の周辺探索点と、テンプレートとの類似度が閾値θ（オブジェクト非検出判定閾値θ）を超えない場合、探索省略領域設定モジュール４は、第１の指定探索点Ａ１０を基準として、探索省略領域設定関数に基づき、第１の探索省略領域Ａ１１を設定する。次に、第１の探索省略領域Ａ１１の外であって、第１の探索省略領域Ａ１１から所定距離以上離れた第２の指定探索点Ａ２０及び複数の周辺探索点と、テンプレートとの類似度が閾値θ（オブジェクト非検出判定閾値θ）を超えない場合、探索省略領域設定モジュール４は、第２の指定探索点Ａ２０を基準として、探索省略領域設定関数に基づき、第２の探索省略領域Ａ２１を設定する。次に、第１の探索省略領域Ａ１１及び第２の探索省略領域Ａ２１の外であって、第１の探索省略領域Ａ１１及び第２の探索省略領域Ａ２１から所定距離以上離れた第３の指定探索点Ａ３０及び複数の周辺探索点と、テンプレートとの類似度が閾値θ（オブジェクト非検出判定閾値θ）を超えない場合、探索省略領域設定モジュール４は、第３の指定探索点Ａ３０を基準として、探索省略領域設定関数に基づき、第３の探索省略領域Ａ３１を設定する。このようにして、探索省略領域設定モジュール４は、第１段階として、オブジェクト探索対象画像上に、１以上の探索省略領域を設定することができる。さらに、第１の探索省略領域Ａ１１、第２の探索省略領域Ａ２１、及び第３の探索省略領域Ａ３１の各領域外、例えば、各領域から最も遠い第４の指定探索点Ａ４０及び複数の周辺探索点と、テンプレートとの類似度が閾値θ（オブジェクト非検出判定閾値θ）を超えない場合、探索省略領域設定モジュール４は、第４の指定探索点Ａ４０を基準として、探索省略領域設定関数に基づき、第４の探索省略領域Ａ４１を設定する。このようにして、探索省略領域設定モジュール４は、第２段階として、オブジェクト探索対象画像上に、１以上の探索省略領域を設定することができる。以上を繰り返し、探索省略領域設定モジュール４は、オブジェクト探索対象画像上に、効率よく、複数の探索省略領域を設定することができる。

上記したように、探索省略領域設定モジュール４は、オブジェクト探索対象画像を覆うように複数の探索省略領域を設定する。続いて、探索モジュール５は、オブジェクト探索対象画像領域のうち、探索省略領域を除外した除外領域に対して、オブジェクト探索を実行する。つまり、探索モジュール５は、オブジェクト探索対象画像領域のうち、探索省略領域を除外した除外領域に対して、テンプレートを重ね合わせて走査し、オブジェクトを探索する。これにより、オブジェクト探索対象画像の全領域に対してテンプレートを１画素ずつずらしながらオブジェクト探索を実行する場合に比べて、効率良くオブジェクト探索を実行することができる。

本実施形態のオブジェクト探索省略領域設定方法によれば、オブジェクトの検出もれを抑えつつ、オブジェクト探索処理を高速化することができる。

次に、本実施形態のオブジェクト探索省略領域設定方法及びオブジェクト探索省略領域設定装置の適用例について説明する。図１７は、本実施形態のオブジェクト探索省略領域設定方法及びオブジェクト探索省略領域設定装置を適用したデジタルテレビジョン放送受信装置の概略構成の一例を示す図である。

ここで、デジタルテレビジョン放送受信装置１００の基本構成について簡単に説明する。図１７に示すように、デジタルテレビジョン放送受信装置１は、入力端子１０２、チューナー部１０３、外部入力端子１０４〜１０７、信号処理モジュール１０８、コントローラ１１０、ＯＳＤ信号生成モジュール１１１、グラフィック処理モジュール１１２、映像処理モジュール１１３、音声処理モジュール１１４を備えている。

地上波放送受信用のアンテナ１０１で受信した地上デジタルテレビジョン放送信号は、入力端子１０２を介してチューナー部１０３に供給され、チューナー部１０３は、放送信号から、指定チャンネルの信号を選択し、信号処理モジュール１０８に出力する。信号処理モジュール１０８は、選択された指定チャンネルの信号から映像信号及び音声信号を分離し、映像信号をグラフィック処理モジュール１１２へ出力し、また音声信号を音声処理モジュール１１４へ出力する。

グラフィック処理モジュール１１２は、必要に応じて、映像信号に、ＯＳＤ（on screen display）信号生成モジュール１１１で生成されるＯＳＤ信号を重畳して出力する。グラフィック処理モジュール１１２は、信号処理モジュール１０８からの映像信号と、ＯＳＤ信号生成モジュール１１１からのＯＳＤ信号とを選択的に出力することもできる。

グラフィック処理モジュール１１２から出力された映像信号は、映像処理モジュール１１３に供給される。映像処理モジュール１１３により処理された映像信号は、映像表示部１４１に供給される。映像表示部１４１は、映像信号に基づく映像を表示する。また、音声処理モジュール１１４は、音声信号をスピーカ１４２から出力可能なアナログ音声信号に変換し、スピーカ１４２に出力する。

上記デジタルテレビジョン放送受信装置１は、コントローラ１１０によって統括的に制御されている。コントローラ１１０は、ＣＰＵ（central processing unit）等により構成され、リモートコントローラ等からの信号（各種指示）を受けて、各モジュール等の動作を制御する。また、コントローラ１１０は、ＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）１１０１と、ＣＰＵに作業エリアを提供するＲＡＭ（random access memory）１１０２と、各種の設定情報及び制御情報等が格納される不揮発性メモリ１１０３とを備えている。

例えば、上記した映像処理モジュール１１３は、図５に示す類似度分布作成モジュール３、探索省略領域設定モジュール４、及び探索モジュール５を備え、探索省略領域設定モジュール４が、入力画像（番組画像）に対して、探索省略領域設定関数に基づき探索省略領域を設定し、探索モジュール５は、入力画像領域のうち探索省略領域を除外した除外領域に対してオブジェクト探索を実行し、入力画像からオブジェクトを検出することができる。

入力画像からオブジェクトを検出する意義について簡単に説明する。映像処理モジュール１１３は、例えば、２Ｄ映像（2-dimensional image）を３Ｄ映像（3-dimensional image）に変換（２Ｄ／３Ｄ変換）する機能を備えている。例えば、２Ｄ／３Ｄ変換処理では、２Ｄ映像を解析し、２Ｄ映像中の人物等の各オブジェクトを検出し、各オブジェクトの前後関係（奥行）を検出し、必要に応じてオブジェクトを変形し、３Ｄ映像を生成する。このような、２Ｄ／３Ｄ変換処理に上記説明したオブジェクト検出を適用することができる。

また、映像処理モジュール１１３は、入力画像を高画質化する高画質化処理機能を備えている。例えば、高画質化処理として、超解像処理が挙げられる。超解像処理は、第１解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号を復元する処理である。この超解像処理の際に、例えば、オブジェクトを検出し、オブジェクトの種類に応じて超解像処理効果を強めたり、弱めたりすることができる。このような高画質化処理に上記説明したオブジェクト検出を適用することができる。

なお、オブジェクト検出は、上記説明した２Ｄ／３Ｄ変換処理及び高画質化処理への適用だけに限定されるものではなく、オブジェクト検出が必要とされる各種画像処理に適用することができる。つまり、上記説明したオブジェクト探索省略領域設定方法は、上記説明した２Ｄ／３Ｄ変換処理及び高画質化処理へ適用することもできるし、様々な画像処理に適用することもできる。

なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本出願の出願当初の特許請求の範囲に記載された発明を付記する。
（１）
モデル画像上の指定探索点に対して、前記モデル画像からオブジェクトを探索するためのテンプレートを対応付けて、前記指定探索点と前記テンプレートとの指定探索点類似度を検出し、
前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記モデル画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出し、
前記周辺探索点類似度の分布に基づき前記オブジェクトと前記テンプレートとの相対位置を推定し、推定相対位置に基づき前記オブジェクトの探索省略領域を設定するための関数を生成する探索省略領域設定関数生成方法。
（２）
前記推定相対位置に基づき前記第１の周辺探索点における前記オブジェクトの検出もれ率を推定し、推定検出もれ率に基づき前記探索省略領域を設定するための前記関数を生成する（１）の探索省略領域設定関数生成方法。
（３）
前記オブジェクトの検出もれを許容する許容検出もれ率と前記推定検出もれ率とを比較し、前記許容検出もれ率未満の領域を前記探索省略領域として設定するための前記関数を生成する（２）の探索省略領域設定関数生成方法。
（４）
第１の推定相対位置に基づき第１のサイズの第１の探索省略領域を設定し、前記第１の推定相対位置より長い第２の推定相対位置に基づき前記第１のサイズより大きい第２のサイズの第２の探索省略領域を設定するための関数を生成する（１）の探索省略領域設定関数生成方法。
（５）
第１の推定検出もれ率に応じて第１のサイズの第１の第１の探索省略領域を設定し、前記第１の推定検出もれ率より低い第２の推定検出もれ率に応じて前記第１のサイズより大きい第２のサイズの第２の探索省略領域を設定するための関数を生成する（２）の探索省略領域設定関数生成方法。
（６）
（１）乃至（５）の何れか１つの探索省略領域設定関数設定方法により生成された前記関数に基づき前記探索省略領域を設定する探索省略領域設定方法。
（７）
（６）の探索省略領域設定方法により、オブジェクト探索対象画像に対して前記探索省略領域を設定し、前記オブジェクト探索対象画像から前記探索省略領域を除外した除外領域から、前記オブジェクトを探索するオブジェクト探索方法。
（８）
前記オブジェクト探索対象画像の基準点と前記テンプレートの基準点とを対応付け、前記オブジェクト探索対象画像の基準点を含む所定領域と前記テンプレートとの類似度が閾値より低い場合に、前記オブジェクト探索対象画像の基準点に基づき前記探索省略領域を設定し、前記オブジェクト探索対象画像から前記探索省略領域を除外した除外領域から、前記オブジェクトを探索する（７）のオブジェクト探索方法。
（９）
モデル画像上の指定探索点に対して、前記モデル画像からオブジェクトを探索するためのテンプレートを対応付けて、前記指定探索点と前記テンプレートとの指定探索点類似度を検出する第１の検出手段と、
前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記所定位置関係の前記モデル画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出する第２の検出手段と、
前記周辺探索点類似度の分布に基づき前記オブジェクトと前記テンプレートとの相対位置を推定し、推定相対位置に基づき前記オブジェクトの探索省略領域を設定するための関数を生成する生成手段と、
を備えた探索省略領域設定関数生成装置。
（１０）
前記生成手段は、前記推定相対位置に基づき前記第１の周辺探索点における前記オブジェクトの検出もれ率を推定し、推定検出もれ率に基づき前記探索省略領域を設定するための前記関数を生成する（９）の探索省略領域設定関数生成装置。
（１１）
前記生成手段は、前記オブジェクトの検出もれを許容する許容検出もれ率と前記推定検出もれ率とを比較し、前記許容検出もれ率未満の領域を前記探索省略領域として設定するための前記関数を生成する（１０）の探索省略領域設定関数生成装置。
（１２）
（９）乃至（１１）の何れか１つの探索省略領域設定関数設定装置により生成された前記関数に基づき前記探索省略領域を設定する設定手段を備えた探索省略領域設定装置。
（１３）
（１２）の探索省略領域設定装置により、オブジェクト探索対象画像に対して前記探索省略領域を設定し、前記オブジェクト探索対象画像から前記探索省略領域を除外した除外領域から、前記オブジェクトを探索する探索手段を備えたオブジェクト探索装置。
（１４）
前記探索手段は、前記オブジェクト探索対象画像の基準点と前記テンプレートの基準点とを対応付け、前記オブジェクト探索対象画像の基準点を含む所定領域と前記テンプレートとの類似度が閾値より低い場合に、前記オブジェクト探索対象画像の基準点に基づき前記探索省略領域を設定し、前記オブジェクト探索対象画像から前記探索省略領域を除外した除外領域から、前記オブジェクトを探索する（１３）のオブジェクト探索装置。

１…オブジェクト探索システム、２…画像入力モジュール、３…類似度分布作成モジュール、４…探索省略領域設定モジュール、５…探索モジュール、６…記憶部

Claims (10)

1. モデル画像上の指定探索点に対して、前記モデル画像からオブジェクトを探索するためのテンプレートを対応付けて、前記指定探索点と前記テンプレートとの指定探索点類似度を検出し、
   前記指定探索点類似度がオブジェクト検出判定閾値を超えない場合、前記指定探索点を変更し、前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記モデル画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出し、
   前記周辺探索点類似度の大小頻度に基づき前記オブジェクトと前記テンプレートとの距離を推定し、推定距離に基づき第１の周辺探索点における前記オブジェクトの検出もれ率を推定し、前記オブジェクトの検出もれを許容する許容検出もれ率と推定検出もれ率とを比較し、前記許容検出もれ率未満の領域を前記オブジェクトの探索省略領域として設定するための関数を生成する探索省略領域設定関数生成方法。
2. 第１の推定距離に基づき第１のサイズの第１の探索省略領域を設定し、前記第１の推定距離より長い第２の推定距離に基づき前記第１のサイズより大きい第２のサイズの第２の探索省略領域を設定するための前記関数を生成する請求項１記載の探索省略領域設定関数生成方法。
3. 第１の推定検出もれ率に応じて第１のサイズの第１の第１の探索省略領域を設定し、前記第１の推定検出もれ率より低い第２の推定検出もれ率に応じて前記第１のサイズより大きい第２のサイズの第２の探索省略領域を設定するための前記関数を生成する請求項１又は２記載の探索省略領域設定関数生成方法。
4. 請求項１乃至３の何れか１項記載の探索省略領域設定関数設定方法により生成された前記関数に基づき前記探索省略領域を設定する探索省略領域設定方法。
5. 請求項４記載の探索省略領域設定方法により、オブジェクト探索対象画像に対して前記探索省略領域を設定し、前記オブジェクト探索対象画像から前記探索省略領域を除外した除外領域から、前記オブジェクトを探索するオブジェクト探索方法。
6. 前記オブジェクト探索対象画像の基準点と前記テンプレートの基準点とを対応付け、前記オブジェクト探索対象画像の基準点を含む所定領域と前記テンプレートとの類似度が閾値より低い場合に、前記オブジェクト探索対象画像の基準点に基づき前記探索省略領域を設定し、前記オブジェクト探索対象画像から前記探索省略領域を除外した除外領域から、前記オブジェクトを探索する請求項５記載のオブジェクト探索方法。
7. モデル画像上の指定探索点に対して、前記モデル画像からオブジェクトを探索するためのテンプレートを対応付けて、前記指定探索点と前記テンプレートとの指定探索点類似度を検出する第１の検出手段と、
   前記指定探索点類似度がオブジェクト検出判定閾値を超えない場合、前記指定探索点を変更し、前記指定探索点類似度がオブジェクト検出判定閾値を超える場合、前記所定位置関係の前記モデル画像上の前記指定探索点の周辺の複数の周辺探索点の夫々と、前記テンプレートとの周辺探索点類似度を検出する第２の検出手段と、
   前記周辺探索点類似度の大小頻度に基づき前記オブジェクトと前記テンプレートとの距離を推定し、推定距離に基づき第１の周辺探索点における前記オブジェクトの検出もれ率を推定し、前記オブジェクトの検出もれを許容する許容検出もれ率と推定検出もれ率とを比較し、前記許容検出もれ率未満の領域を前記オブジェクトの探索省略領域として設定するための関数を生成する生成手段と、
   を備えた探索省略領域設定関数生成装置。
8. 請求項７記載の探索省略領域設定関数設定装置により生成された前記関数に基づき前記探索省略領域を設定する設定手段を備えた探索省略領域設定装置。
9. 請求項８記載の探索省略領域設定装置により、オブジェクト探索対象画像に対して前記探索省略領域を設定し、前記オブジェクト探索対象画像から前記探索省略領域を除外した除外領域から、前記オブジェクトを探索する探索手段を備えたオブジェクト探索装置。
10. 前記探索手段は、前記オブジェクト探索対象画像の基準点と前記テンプレートの基準点とを対応付け、前記オブジェクト探索対象画像の基準点を含む所定領域と前記テンプレートとの類似度が閾値より低い場合に、前記オブジェクト探索対象画像の基準点に基づき前記探索省略領域を設定し、前記オブジェクト探索対象画像から前記探索省略領域を除外した除外領域から、前記オブジェクトを探索する請求項９記載のオブジェクト探索装置。

Images