JP4687772B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、特にピラミッド画像を利用した画像処理装置とその方法に関する。また、このような画像処理装置が実行するプログラムに関する。

特許文献１に記載されているように、画像処理において画像ピラミッドの手法を用いることが知られている。
処理対象の物体の撮像画像を得るために実際に撮像を行う場合においては、その物体と撮像装置との間の撮像距離の変化により、画像上での物体のスケール（スケール）が変化するが、画像処理によっては、このことが問題となる場合がある。
そこで、画像ピラミッドの手法を利用して、スケールにより階層化された画像を用いるようにすれば、上記したような画像上での物体のスケールの変化に関わらず画像処理を行うことができる。

E. Andelson, et al., "Pyramid methods in image processing", RCA Engineer, 29(6):22-41.

本願発明としても、画像ピラミッドを利用した画像処理として、例えば予め設定した対象物についての物体検出、追跡など行おうというものであり、その際において、画像ピラミッドの利用に関して、これまでよりも効率的、かつ高い処理能力が得られるようにすることを目的とする。

そこで本発明は上記した課題を考慮して、画像処理装置として次のように構成する。
つまり、入力した画像データから異なるスケールの画像である層画像データを生成して階層化することで画像ピラミッドを形成する画像ピラミッド形成手段と、固定のスケールによる対象物の画像部分を有するテンプレート画像データが該当する上記画像ピラミッドにおける高さ位置である画像ピラミッド内位置を、前記テンプレート画像の対象物のスケールと前記層画像データの対象物のスケールとの比率に基づいて求める位置算出手段と、上記画像ピラミッド内位置の直上に存在する上側層画像データと前記対象物の中心位置とスケールの組合わせによる状態予測値とを照合して対象物についての尤度を求める上層対応尤度算出手段と、上記画像ピラミッド内位置の直下に存在する下側層画像データと前記対象物の中心位置とスケールの組合わせによる状態予測値とを照合して対象物についての尤度を求める下層対応尤度算出手段と、上記上層対応尤度算出手段と下層対応尤度算出手段により求められた尤度から真尤度を求める真尤度算出手段とを備えることとした。

上記構成では、入力した画像データに基づいて複数の異なるスケールの層画像データから成る画像ピラミッドが形成されるとともに、対象物について固定スケールとしたテンプレートが用意され、テンプレートが該当する画像ピラミッド内位置（画像ピラミッドでの高さ位置）が求められる。そして、この画像ピラミッド内位置に基づいて特定された上側層画像データと下側層画像データごとに、状態予測値との照合により尤度が求められる。上記上側層画像データと下側層画像データのそれぞれに応じて求められた尤度は、それぞれが真の対象物のスケールよりも大きいスケール・小さいスケールに対応して得られた近似値となる。そこで、これらの尤度を用いて真の尤度を求めるようにしている。つまり、本願発明では、画像ピラミッドを形成する層画像データの数に対応して決まる分解能よりも高い分解能によって、より高い精度で尤度が求められるものである。

これにより本発明は、画像ピラミッドを利用した物体検出・追跡処理などの画像処理として、これまでよりも有効なものを提供できる。

本願発明を実施するための最良の形態（以下、実施形態という）としては、本願発明に基づく構成を、特定部位の追跡処理を実行する追跡処理システムに適用したものを挙げる。
以降の説明は下記の順により行う。

＜１．画像ピラミッド＞
＜２．追跡処理システム構成例＞
＜３．頭部追跡処理システム構成例＞
＜４．コンピュータ装置の構成例＞

＜１．ピラミッド画像＞

先ず、図１及び図２により、本実施形態の追跡処理システムが利用する画像ピラミッドについて説明しておく。
図１には、第０層画像P0、第１層画像P1、第２層画像P2、第３層画像P3、第４層画像P4、第５層画像P5の６枚の画像が示されている。
ここで、第０層画像P0〜第５層画像P5は、それぞれが同じ画像を内容を有したうえで、それぞれが異なるスケール（サイズ・解像度）を有する。
この場合には第０層画像P0〜第５層画像P5のうちで、最も大きなスケールの画像が第０層画像P0である。以降、第１層画像P1、第２層画像P2、第３層画像P3、第４層画像P4、第５層画像P5の順で、画像のスケールが小さくなっていく。

図２においては、図１における第０層画像P0、第１層画像P1、第２層画像P2を抜き出して示している。第０層画像P0の水平×垂直画素数＝H×Vであるとすると、第１層画像P1は、予め定められた所定の縮小率rd1（rd1<1）により第０層画像P0を縮小して得られる、水平×垂直画素数＝H・(1-rd1)×V・(1-rd1)により表されるスケールの画像となる。また、第２層画像P2は、予め定められた縮小率rd1よりも大きな所定の縮小率rd2により第０層画像P0を縮小して得られる、水平×垂直画素数＝H・(1-rd2)×V・(1-rd2)のスケールによる画像となる。
このようにして、スケールは第０層画像P0〜第５層画像P5の順で小さくなっていく。そでこ、これらの層画像について、第０層画像P0を最下層として階層化するようにして上方向に順に積み上げていったとする。すると、その層画像の外周に接する面により、図１に示すようにして四角錐、即ちピラミッド形状が形成されるものとしてみることができる。このようにして、層画像を階層化して積み上げることに応じて形成されるピラミッド形状を、ここでは画像ピラミッド１００という。このようにして形成される画像ピラミッド１００では、１つの同じ画内容を有する画像のスケールが、ピラミッドにおける高さ位置により変化することになる。ちなみに、画像ピラミッド１００において高い位置となるほど画像のスケールは小さくなっていく。

本実施形態において、上記のような画像ピラミッド１００を形成するのにあたっては、第０層画像を基とする。つまり、入力したフレーム画像データ（原フレーム画像データ）を第０層画像とする。そのうえで、例えば、原フレーム画像データについて、それぞれ異なる所定の縮小率により縮小処理を行って得られる画像を、それぞれ、第１層画像P1〜第５層画像P5とするものである。

なお、ここでは、画像ピラミッド１００を形成する層画像について、第０層画像P0〜第５層画像P5の６枚としているが、これはあくまでも一例である。つまり、画像ピラミッド１００を形成する画像の階層数は２以上の範囲において特に限定されるべきものではなく、実際のシステムが対応する入力画像データ（原フレーム画像データ）のスケール、システムが有するハードウェア、ソフトウェアの処理能力、要求される追跡処理性能などに応じて設定すればよい。

＜２．追跡処理システム構成例＞

図３は、本実施形態の追跡処理システム１としての構成例を示している。この追跡処理システムは、動画としての画像データを入力して、この画像データの画像に基づいて、追跡対象として設定された特定の物体（対象物）を追跡するようにして構成される。

この図に示す追跡処理システム１において、動画としての画像データはピラミッド化処理部１１が入力する。なお、この追跡処理システム１（ピラミッド化処理部１１）が入力する動画の画像データは、例えばリアルタイムに実行する撮像により得ることができる。

ピラミッド化処理部１１は、入力される画像データをフレーム画像単位で順次取り込む。そして、取り込んだフレーム画像について、図１、図２にて説明したようにして、所定枚数分の層画像データを生成する。つまり、画像ピラミッドを生成する。なお、このときには、ピラミッド化処理部１１は、取り込んだフレーム画像データを第０層画像としたうえで、例えば第０層画像のデータを利用した画像縮小処理によって、第０層画像のデータより小さい所定のスケールによる必要枚数分の層画像を生成する。

また、図３においてはピラミッド化処理部１１により形成された画像ピラミッド１００として、図１と同様に、第０層画像P0〜第５層画像P5までの６層から成るものを例示している。しかし、先に述べたように、これはあくまでも一例であって、実際に形成される層数は、適宜、前述の条件等を考慮して決定されるべきものである。

ここで、図３に示されるテンプレート１１０は、追跡処理システム１に対して追跡処理の対象として設定された物体(対象物)を画内容として有する画像データとなる。テンプレート１１０は予め定められた規定のスケールの画像(画枠)内において対象物の画像部分が存在している。従って、テンプレートにおいて示される対象物も、或る決まった固定のスケールを有していることになる。
一方、追跡処理システム１（ピラミッド化処理部１１）に対して入力される画像データ(入力画像データ)は、例えばリアルタイムの撮像により得られる画像データであり、従って、撮像されている現実の対象物の動きによっては、時間経過に応じて、対象物までの撮像距離が変化し得る。
このことは、入力画像データにおける対象物のスケールは、テンプレートにおける対象物のスケールと同じである保証はない、ということを意味している。
このようにして対象物のスケールが異なる画像を照合して現時刻における対象物の位置(尤度)を高い精度で求めることは非常に難しい。換言すれば、高い精度で尤度を求めようとすれば、テンプレートと入力画像データとの対象物のスケールが同じとなるようにしてやる必要がある。

このために本実施形態では、ピラミッド化処理部１１により入力画像データを画像ピラミッド１００として形成することとしている。そのうえで、画像ピラミッド１００を形成する層画像のうちから、テンプレートにおける対象物のスケールに最も近いとされる層画像を特定する。そして、この特定した層画像とテンプレートの画像とを照合して対象物の位置についての尤度を求める。

ピラミッド内位置算出部１２は、ピラミッド化処理部１１により形成された画像ピラミッド１００に対してテンプレート１１０を当てはめたとするときに、このテンプレート１１０における対象物のスケールが該当するものとされる高さ位置（ピラミッド内位置）を求める。
ここで、画像ピラミッド１００は、層画像単位でみれば、その層画像数により離散化している、つまり、ピラミッドの高さとしては、層画像に応じた分解能による段階的な高さを持つものとしてみえる。
しかし、ピラミッド内位置算出部１２は画像ピラミッド１００の高さを連続したものとして扱い、この連続した高さのなかでピラミッド内位置を算出する。ただし、現実にはデジタル処理であるので、厳密には、算出されるピラミッド内位置は離散的なものとなり有限の分解能を有することにはなる。しかし、ピラミッド内位置の分解能は、層画像に応じた分解能と比較して遙かに高く、この点で、連続しているとみてよい。

ここで、テンプレート１１０としての画像における対象物のスケールは既知である。また、画像ピラミッド１００における第０層画像P0は入力画像データであるから、この入力画像データの画像における対象物のスケールは容易に検出できる。また、第０層画像P0のスケールが既知となれば、これより上の階層の層画像における対象物のスケールも既知であることになる。これは、画像ピラミッド１００が形成された時点で、画像ピラミッドの高さと、対象物のスケールとの対応関係も既知になっていることを意味する。従って、ピラミッド内位置算出部１２としては、例えばテンプレート１００における対象物のスケールと、第０層画像P0における対象物のスケールとの比率を求めることで、ピラミッド内位置が求められることになる。そして、先の説明から理解されるように、このようにして求められるピラミッド内位置としては、或る１つの層画像と、これより１階層上の層画像との間における或る高さを示し得るものとなる。図３においては、例として、一点鎖線により示すように、第２層画像P2と第３層画像P3との間においてピラミッド内位置が求められた結果を示している。

ピラミッド内位置算出部１２が求めたピラミッド内位置の情報は、尤度算出部１３に渡される。
尤度算出部１３は、先ず、渡されたピラミッド内位置を挟むことになる、各１つの上側層画像と下側層画像とを特定する。図３の例であれば、ピラミッド内位置は、第２層画像P2と第３層画像P3の間であるとして求められているので、上側層画像として第３層画像P3を特定し、下側層画像として第２層画像P2を特定することになる。
なお、この上側層画像と下側層画像の特定をピラミッド内位置算出部１２により行って、上側層画像及び下側層画像が、それぞれどの層画像であるのかを示すことのできる情報を、ピラミッド内位置算出部１２から尤度算出部１３に渡すようにしてもよい。

この尤度算出部１３は、上層側尤度算出部２１と下層側尤度算出部２２との２つの尤度算出部を備えるものとしている。これらの尤度算出部は、例えばパーティクルフィルタなどとして形成される。上層側尤度算出部２１は、観測値としての上側層画像と、生成したパーティクルとを照合することによってパーティクルごとの尤度を求める。同様に、下層側尤度算出部２２は、観測値としての下側層画像と生成したパーティクルとを照合することによってパーティクルごとの尤度を求める。
つまり、本実施形態では、画像ピラミッド１００を形成する層画像のうちから、テンプレート１１０における対象物のスケールが対応するピラミッド内位置に対して、直上となる層画像と、直下となる層画像との、２つの観測値ごとに尤度を求めるようにする。ここで、上記直上となる層画像は、テンプレート１１０より小さいスケールの対象物が存在する層画像のうちで、テンプレート１１０に最も近いスケールの対象物が存在する層画像となる。また、上記直下となる層画像は、テンプレート１１０より大きいスケールの対象物が存在する層画像のうちで、テンプレート１１０に最も近いスケールの対象物が存在する層画像となる。また、上層側尤度算出部２１と下層側尤度算出部２２は、それぞれパーティクルごとに個別の尤度を求めたうえで、これらの個別の尤度に基づいて最終的には、最尤推定値としての尤度を求めるものとする。

上記の説明から理解されるように、上層側尤度算出部２１と下層側尤度算出部２２のそれぞれにより求められた尤度は、それぞれ、テンプレート１１０における対象物のスケールを基準とすれば、これより小さなスケールの対象物との照合により求めることのできるもののうちで誤差が最小の近似値、また、これより大きなスケールの対象物との照合により求めることのできるもののうちで誤差が最小の近似値となる。このことは、テンプレート１１０における対象物スケールに一致する真の尤度は、上記２つの近似値の間において存在することを意味する。

そこで真尤度算出部１４は、上層側尤度算出部２１により求められた尤度（上層側尤度）と、下層側尤度算出部２２により求められた尤度（下層側尤度）とを利用した処理により、上記真の尤度として扱うことのできる尤度（真尤度）を求めるための処理を実行する。
ここで、真尤度算出部１４が真の尤度を求めるのにあたっては、例えば上記上層側尤度としての値と、下層側尤度としての値とについての補間に相当する処理を行うようにすればよい。また、この真尤度算出部１４が実行する真の尤度を求めるためのアルゴリズムの具体例については後述する。

例えば画像ピラミッドを採用しない場合には、観測値である入力画像データにおける対象物のスケールなどの変化に対して、テンプレートの画像における対象物のスケールなどが入力画像データと一致させる必要がある。このために、入力画像データにおける対象物のスケールの変化に適応させてテンプレートの画像のスケール（及び対象物の中心位置、回転角度など）を変更するという処理を行うことが必要になる。しかし、このような処理のための演算は非常に重い。
そこで、本実施形態のようにして画像ピラミッドの手法を採用することとしている。これにより、テンプレート１１０については固定とできる。そのうえで、先の説明のようにして、選択した層画像とテンプレート１１０とを照合することとすれば、入力画像データのスケールに対応させてテンプレート１１０の画像のスケールを変化させてから照合を行っているのと同等の結果が得られることになる。

また、画像ピラミッドを用いた尤度算出の一般的な手法であるが、これは例えば、求められたピラミッド内位置に最も近い位置に存在する１枚の層画像を選択し、この選択した層画像を利用して照合処理を行う、というものになる。
しかし、画像ピラミッドを形成する層画像の数（階層数）は、むやみに多くすることは現実的ではなく、ピラミッド化処理の重さなどを考慮して適当な数に制限される。このために、上記の一般的な手法では、算出される尤度も、層画像の数に応じた離散したスケール（スケール）までしか反映されない。つまり、層画像の数に応じた粗い分解能のもとで、テンプレート１１０の対象物のスケールに最も近い層画像に基づいた近似値しか取り得ない。
この近似値をできるだけ真の尤度に近づけようとするのであれば、画像ピラミッドを形成する層画像の数を多くしていけばよい。しかし、上記もしたように、階層数を多くすれば、それだけピラミッド化処理などが重くなってしまい、画像ピラミッドを採用することによる処理負担軽減の利点が活かされなくなる。

そこで、本実施形態では、求められたピラミッド内位置を挟む上側層画像と下側層画像の２つの層画像を選択し、これらの層画像ごとに求めた尤度を基に、例えば補間処理などにより真の尤度を求めるようにしている。
これにより、本実施形態では、画像ピラミッドを形成する層画像の数を一定以下に抑えたうえで、テンプレート１１０と同じ対象物のスケールの入力画像データと照合を行ったのと同等の精度による尤度（真の尤度）を得ることが可能とされている。

ところで、先の説明のようにして、尤度算出部１３における上層側尤度算出部２１と下層側尤度算出部２２は、パーティクルと層画像とを照合することにより尤度を求めるが、この際において採用可能なメジャー(照合手法:matching measure）としては複数が知られている。

本実施形態の上層側尤度算出部２１と下層側尤度算出部２２の最も基本的な構成としては、複数のメジャーのうちから、例えば実際の対象物などに対応して最適となる１つのメジャーを選定し、この選定したメジャーを上層側尤度算出部２１と下層側尤度算出部２２に適用する、というものを考えることができる。

しかし、本願発明者等は、単一のメジャーにより尤度を求めるのではなく、複数のメジャーにより尤度を求めたうえで、これらの尤度を統合することで、例えばロバスト性などの性能が向上することを確認した。
そこで、本実施形態では、層画像の上層側と下層側とのそれぞれについて、複数のメジャーを適用するという構成を取り得ることとした。このような複数のメジャーを適用した追跡処理システムの構成例を、図４に示す。なお、図３に示されているピラミッド化処理部１１及びピラミッド内位置算出部１２は、適用されるメジャーが単一、複数のいずれとされても特に構成が変更されることはない。このために、図４においては、図３におけるピラミッド化処理部１１、及びピラミッド内位置算出部１２についての図示は省略している。

図４において、先ず、上層側尤度算出部２１は、第１照合部３１−１〜第Ｎ照合部３１−ＮまでのＮ個の照合部を備える。第１照合部３１−１〜第N照合部３１−Ｎは、それぞれが異なるメジャーが適用される。ここでは、第１照合部３１−１〜第N照合部３１−Ｎごとに適用されるメジャーについて、第１メジャー〜第Ｎメジャーということにする。
第１照合部３１−１は、上側層画像を第１メジャーに対応する観測値として取り込み、パーティクルとの照合を行って尤度を得る。同様にして、第２照合部３１−２〜第Ｎ照合部３１−Ｎは、それぞれ、上側層画像を第２メジャー〜第Ｎメジャーに対応する観測値として取り込み、パーティクルとの照合を行って尤度を得る。

また、下層側尤度算出部２２も、上層側尤度算出部２１と同数の、第１照合部３２−１〜第Ｎ照合部３２−ＮまでのＮ個の照合部を備える。そのうえで、第１照合部３２−１〜第Ｎ照合部３２−Ｎについても、それぞれ異なる第１メジャー〜第Ｎメジャーを適用する。これにより、第１照合部３２−１〜第Ｎ照合部３２−Ｎは、それぞれ、下側層画像を第１〜第Ｎメジャーに対応する観測値として扱ってパーティクルとの照合処理を行って、尤度を算出する。

上記のようにして、上層側尤度算出部２１における第１照合部３１−１と下層側尤度算出部２２における第１照合部３２−１とは、互いに共通のメジャーが適用された構成を採る。同様に、上層側尤度算出部２１における第２照合部３１−１〜第Ｎ照合部３１−Ｎと、下層側尤度算出部２２における第２照合部３２−１〜第Ｎ照合部３２−Ｎとは、それぞれ、互いに共通のメジャーが適用された構成を採る。

上記の尤度算出部１３の構成によれば、上層側尤度算出部２１からは、第１照合部３１−１〜第Ｎ照合部３１−Ｎ（第１メジャー〜第Ｎメジャー）のそれぞれにより求められたＮ個の尤度が出力されることになる。同様にして、下層側尤度算出部２２からは、第１照合部３２−１〜第Ｎ照合部３２−Ｎ（第１メジャー〜第Ｎメジャー）のそれぞれにより求められたＮ個の尤度が出力される。

この場合の真尤度算出部１４は、照合部（メジャー）の数に対応して、同じくＮ個の第１算出部３３−１〜第Ｎ算出部３３−Ｎを備える。
第１算出部３３−１は、共通の第１メジャーに基づいて得られた尤度、即ち、上層側尤度算出部２１の第１照合部３１−１と、下層側尤度算出部２２の第１照合部３２−１とから出力される尤度について、例えば補間に相当する処理を行って、第１メジャーに基づく真の尤度を求める。
同様にして、残る第２算出部３３−２〜第Ｎ算出部３３−Ｎは、それぞれ、共通の第２メジャー〜第Ｎメジャーに基づいて得られた尤度（上層側尤度算出部２１の第２〜第Ｎ照合部３１−２〜３１−Ｎと、下層側尤度算出部２２の第２〜第Ｎ照合部３２−２〜３２−Ｎとから出力される尤度）を利用した補間処理により、第２〜第Ｎメジャーに基づく真の尤度を求める。

この場合には、第１〜第Ｎメジャーごとに応じて求められた真の尤度がＮ個出力されることになる。そこで図４の構成においては、尤度統合部１５により、これらの複数の尤度を統合して最終的な推定値（推定結果）出力することとしている。
なお、尤度統合部１５が実行する尤度統合処理としての具体的なアルゴリズムについてはいくつか考えられるものであり、ここでは特に限定されるべきものではない。例えば最も簡単な例としては、取り込んだ複数の尤度のうちから最大値のものを統合された尤度として出力することが考えられる。また、第１〜第Ｎメジャーごとに対応させて重み付け計数を設定したうえで、取り込んだ複数の尤度についての重み付け平均値を求め、これを統合された尤度とすることも考えられる。

＜３．頭部追跡処理システム構成例＞

続いては、上記図３、図４により説明した本実施形態の追跡処理システムについて、人体の頭部追跡に適用した場合の具体的な構成例について説明していくこととする。
本実施形態の頭部追跡にあたっては、先ず、図６に示すようにして、人体頭部の画像を含む方形の画像部分を頭部画像エリアとして定義する。
この場合の頭部画像エリアは、水平スケール＝垂直スケール＝ｓによる正方形による画像領域とされ、この画像領域内において一定の比率により人体頭部としてのΩ形状が収まるようにされたものとなる。また、頭部画像エリアにおいては、その中心位置Ｃが定義される。この場合の中心位置Ｃは、例えば正方形による頭部画像エリアの対角線の交点であるとしている。本実施形態の頭部追跡システムは、このようにして頭部画像エリアにおいて存在するΩ形状としての頭部を追跡する。

次に、上記Ω形状としての人体頭部を追跡するために、尤度算出部１３に適用すべき複数のメジャーとしては、下記の第１〜第４メジャーの４つを選定することとした。
・第１メジャー：「頭部マスク画像の輪郭に対するChamfer距離」
・第２メジャー：「頭部Ω形状内部におけるマスク画素の割合」
・第３メジャー：「頭部Ω形状外部におけるマスク画素の割合」
・第４メジャー：「頭部Ω形状のエッジに対するChamfer距離」
なお、本願発明者等は、検討の結果、上記の４つのメジャーを適用することにより、人体頭部追跡処理として高いロバスト性が得られることを確認している。

図５は、上記第１〜第４メジャーを採用した人体頭部追跡システムの構成例を示している。
なお、この図においては、人体頭部追跡システムとして、尤度算出部１３と、人体頭部追跡のために新規に設けることとなった頭部マスク画像化部１６−Ｕ，１６−Ｄ、及び頭部エッジ画像化部１７−Ｕ，１７−Ｄとを抜き出して示している。ここでは図示していないピラミッド化処理部１１、ピラミッド内位置算出部１２、及び真尤度算出部１４、尤度統合部１５などは、例えば図３、図４により説明したのと同様の構成でよい。

上記した第１〜第４メジャーを採用する場合、第１〜第３のメジャーの３つのメジャーに対応した照合処理としては、観測値となる画像データとして、頭部のΩ形状をマスキングした画像（頭部マスク画像）を利用すべきことになる。また、残る第４メジャーに対応した照合処理に際しては、観測値となる画像データとして、頭部Ω形状のエッジを抽出した画像（頭部エッジ画像）を利用すべきことになる。
そこで、図５に示すように、ピラミッド化処理部１１（ここでは図示せず）により形成された画像ピラミッド１００から取り出した上側層画像に対応させては、頭部マスク画像化部１６−Ｕ及び頭部エッジ画像化部１７−Ｕを設けることとした。同じく、下側層画像にも対応させて、頭部マスク画像化部１６−Ｄ及び頭部エッジ画像化部１７−Ｄを設けることとした。
頭部マスク画像化部１６−Ｕ，１６−Ｄは、入力した層画像（上側層画像、下側層画像）の画像データについて、ここに存在する頭部Ω形状を検出し、この検出した頭部Ω形状の画像部分をマスキングした画像（頭部マスク画像）に変換する画像処理を実行する。
また、頭部エッジ画像化部１７−Ｕ，１７−Ｄは、入力した層画像（上側層画像、下側層画像）の画像データについて、ここに存在する頭部Ω形状のエッジを抽出し、このエッジにより頭部Ω形状が表現された画像（頭部エッジ画像）に変換する。

次に、尤度算出部１３については、上記した第１〜第４メジャーを採用したことに応じて、上層側尤度算出部２１において第１照合部３１−１〜第４照合部３１−４の４つの照合部を設けることとした。同様に、下層側尤度算出部２２においても第１照合部３２−１〜第４照合部３２−４の４つの照合部を設けることとした。

ここで、尤度算出部１３における８つの各照合部（３１−１〜３１−４，３２−１〜３２−４）は、先にも述べたように、例えばパーティクルフィルタが適用される。これらの照合部について共通となる、パーティクルフィルタを利用した処理としては次のようになる。
先ず、照合部の各々は、図６により頭部Ω形状の中心位置Ｃ、及びスケール（スケール）ｓの組み合わせ状態を多数予測する。つまり、中心位置Ｃ及びスケールｓの組み合わせによる状態予測値を多数生成する。この状態予測値のそれぞれが、ここではパーティクルに相当する。ここで、頭部Ω形状の中心位置Ｃについては座標(u,v)により表現されるものとすると、パーティクルは、

のようにして三次元のパラメータベクトルとして表すことができる。(数１)において変数ｉはパーティクルに付した番号を示し、ｔは現時刻を示す。
なお、パーティクルは、模式的には図７に示すものとなる。この図に示される個々のパーティクルは、自身に与えられた予測値に対応したピラミッド内での高さ（スケールに相当する）、及び中心位置Ｃに応じた空間位置に存在するものとなる。
そして、各照合部は、これらのパーティクルごとに、適用されたメジャーに従って観測値である層画像の画像データと照合し、その結果から、パーティクルiごとの尤度Ｗiを求める。

なお、各照合部の処理によりパーティクルごとに求めた尤度に基づいては、結果的に、現時刻ｔにおける最尤推定値を得ることができる。これは、例えば下記の(数２)で表される演算により求めることができる。

次に、各照合部の処理としては次のようになる。
先ず、上層側尤度算出部２１の第１照合部３１−１は、第１メジャーに対応した処理として、頭部マスク画像化された上側層画像を観測値として入力する。そして、頭部マスク画像の輪郭に対するChamfer距離に基づいたパーティクルとの照合処理を行い、尤度を求める。
下層側尤度算出部２２の第２照合部３２−１も、同様に、第１メジャーに対応して、頭部マスク画像化された下側層画像を入力し、頭部マスク画像の輪郭に対するChamfer距離に基づいたパーティクルとの照合処理を行い、尤度を求める。

同様に、上層側尤度算出部２１の第２照合部３１−２及び下層側尤度算出部２２の第２照合部３２−２も、それぞれ、頭部マスク画像である上側層画像・下側層画像を観測値として入力する。そして、ここでは頭部Ω形状内部におけるマスク画素の割合に基づいた照合処理により尤度を求める。

また、上層側尤度算出部２１の第３照合部３１−３及び下層側尤度算出部２２の第３照合部３２−３は、それぞれ、頭部マスク画像である上側層画像・下側層画像を観測値として入力し、頭部Ω形状外部におけるマスク画素の割合に基づいた照合処理により尤度を求める。

上層側尤度算出部２１の第４照合部３１−４及び下層側尤度算出部２２の第４照合部３２−４は、それぞれ、頭部エッジ画像である上側層画像・下側層画像を観測値として入力し、頭部Ω形状のエッジに対するChamfer距離に基づいた照合処理により尤度を求める。

ここでの図示は省略しているが、この場合の真尤度算出部１４は、第１〜第４メジャーの４つのメジャーが適用されたことに応じて、第１算出部３３−１〜第４算出部３３−４の４つの算出部を備えることになる。
第１算出部３３−１は、同じ第１メジャーが対応する、上側層画像対応の第１照合部３１−１，下側層画像対応の第１照合部３２−１からの尤度を入力して補間処理を実行し、第１メジャーに対応した真の尤度を得る。
同様に、残る第２算出部３３−２〜第４算出部３３−４は、それぞれ、第１〜第３メジャーが対応する、上側層画像対応の第２照合部３１−２〜第４照合部３１−４、及び下側層画像対応の第２照合部３２−２〜第４照合部３１−４からの尤度を入力して補間処理を実行する。これにより、第２算出部３３−２〜第４算出部３３−４は、それぞれ、第２〜第４メジャーに対応した真の尤度を得ることができる。

ここで、補間処理の具体例として、第１メジャーもしくは第４メジャーのようにChamfer距離を利用したアルゴリズムに対応する演算を（数３）として示しておく。なお、この（数３）は説明を簡単で分かりやすいものとすることの便宜上、Chamfer距離についての補間を行うアルゴリズムを示している。

上記（数３）において、dは照合対象とされているパーティクルが有しているとされる真のChamfer距離（尤度）を表す。d1は、上側層画像との照合処理（第１照合部３１−１もしくは第４照合部３１−４）によって求められたChamfer距離を表す。d2は下側層画像との照合処理（第１照合部３２−１もしくは第４照合部３２−４）によって求められたChamfer距離を表す。また、scaleは照合対象とされているパーティクルが示す対象物のスケール（図のスケールｓに相当する）、scale1は上側層画像における対象物のスケール、scale2は下側層画像における対象物のスケールを示す。
Chamfer距離から尤度は一義的に求めることができる。従って、上記（数３）に基づけば、Chamfer距離に基づく尤度についても、補間処理によって真の尤度を算出可能であることが導かれる。

なお、真尤度算出部１４における各算出部が実行する、真の尤度を算出するための補間処理としては、多様に考えられる。例えば最も単純なものでは線形補間も有効である。また、上記の例ではピラミッド内位置を基準とした直上・直下にある２つの層画像に基づいて２つの尤度を求め、これらを補間することとしている。しかし、ピラミッド内位置を基準として選択した３以上の層画像に基づいて得られる３以上の尤度を利用した補間処理により真の尤度を求めるようにすることも考えられる。この場合においては、例えばバイキュービック(bicubic)補間、スプライン(spline)補間などを採用できる。

また、追跡処理の学習によりパーティクルの拡散が或る範囲にまで収まってきた状態では、各パーティクルが示すスケールも或る範囲に収まってくることになる。これは、パーティクルが画像ピラミッド１００において或る高さ位置の範囲に集中して存在することを意味する。
このような状態では、ピラミッド内位置も、パーティクルの高さ位置付近にて安定して求められるような状態となり、結果として、ピラミッド内位置に基づいて選択される上側層画像及び下側層画像の階層も或る程度特定できるようになる。
そこで、ピラミッド化処理部１１について次のように構成することが考えられる。つまり、ピラミッド内位置に基づいて選択される上側層画像及び下側層画像の階層が一定以上の確率で特定されるようになった状態では、選択される可能性が無いとしてみることのできる層画像については生成しないようにして画像ピラミッドを生成するように構成する。このような構成とすれば、生成すべき層画像数を通常よりも少なくできるために、処理が軽くなる。

＜４．コンピュータ装置の構成例＞

これまでに説明してきた本実施形態としての追跡処理システムは、図３，図４，図５などに示した機能構成に対応して形成したハードウェアにより実現できる。また、図３，図４，図５などに示した機能構成に対応する処理を実行させるプログラムを記述したソフトウェアにより実現することもできる。また、このようなハードウェアとソフトウェアを組み合わせて併用することもできる。
そして、本実施形態の動態推定のために必要な処理の少なくとも一部をソフトウェアにより実現するのにあたっては、そのソフトウェアを構成するプログラムを、動態推定システムとしてのハードウェア資源であるコンピュータ装置（ＣＰＵ）に実行させることになる。あるいは、汎用のパーソナルコンピュータなどのコンピュータ装置にプログラムを実行させることで、コンピュータ装置に対して、動態推定のために必要な処理を実行する機能を与えるようにされる。

ここで、図８により、本実施形態の動態推定システムに対応するプログラムを実行可能な装置として、コンピュータ装置（情報処理装置）についての構成例を示しておく。
このコンピュータ装置２００において、ＣＰＵ（Central Processing Unit）２０１，ＲＯＭ(Read Only Memory)２０２，ＲＡＭ(Random Access Memory)２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。
入出力インターフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、ドライブ２１０が接続されている。
入力部２０６は、キーボード、マウスなどの操作入力デバイスなどよりなる。
また、この場合の入力部２０は、本実施形態の追跡処理システムとの対応で、例えば、撮像装置３０から出力される画像信号（画像データ）を入力できるようになっている。
出力部２０７は、ディスプレイ、スピーカなどよりなる。
記憶部２０８は、ハードディスクや不揮発性メモリなどよりなる。
通信部２０９は、ネットワークインタフェースなどよりなる。
ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどとしての記録媒体２１１を駆動する。

以上のように構成されるコンピュータ装置２００では、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インターフェース２０５およびバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、上述した一連の処理が行われる。

ＣＰＵ２０１が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアである記録媒体２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、記録媒体２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。

また、コンピュータ装置２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、これまでの実施形態による説明では、本願発明を応用して、処理対象物の追跡処理を行うことを前提に説明してきたが、本願発明に基づく画像処理は、追跡処理のみに限定されるものではなく、他の各種画像処理において適用できるものである。

画像ピラミッドの概念を説明するための模式図である。 画像ピラミッドを形成する層画像を説明するための図である。 本実施形態の追跡処理システムの基本構成例を示す図である。 本実施形態の追跡処理システムとして、複数のメジャーを採用した場合の構成例を示す図である。 本実施形態の追跡処理システムとして、人体頭部追跡処理に対応させた構成例を示す図である。 頭部追跡処理システムのもとで定義される頭部画像エリアを模式的に示す図である。 パーティクルと画像ピラミッドとの対応を模式的に示す図である。 コンピュータ装置の構成例を示すブロック図である。

符号の説明

１ 追跡処理システム、１１ ピラミッド処理部、１２ ピラミッド内位置算出部、１３ 尤度算出部、１４ 真尤度算出部、２１ 上層側尤度算出部、２２ 下層側尤度算出部、３１−１〜３１−Ｎ・３２−１〜３２−Ｎ 第１照合部〜第Ｎ照合部、３３−１〜３３−Ｎ 第１〜第Ｎ算出部、１５ 尤度統合部、３０ 撮像装置、１００ 画像ピラミッド、１１０ テンプレート、２００ コンピュータ装置、２０１ ＣＰＵ、２０２ ＲＯＭ、２０３ ＲＡＭ、２０４ バス、２０５ 入出力インターフェース、２０６ 入力部、２０７ 出力部、２０８ 記憶部、２０９ 通信部、２１０ ドライブ、２１１ 記録媒体

Claims (5)

1. 入力した画像データから異なるスケールの画像である層画像データを生成して階層化することで画像ピラミッドを形成する画像ピラミッド形成手段と、
   固定のスケールによる対象物の画像部分を有するテンプレート画像データが該当する上記画像ピラミッドにおける高さ位置である画像ピラミッド内位置を、前記テンプレート画像の対象物のスケールと前記層画像データの対象物のスケールとの比率に基づいて求める位置算出手段と、
   上記画像ピラミッド内位置の直上に存在する上側層画像データと前記対象物の中心位置とスケールの組合わせによる状態予測値とを照合して対象物についての尤度を求める上層対応尤度算出手段と、
   上記画像ピラミッド内位置の直下に存在する下側層画像データと前記対象物の中心位置とスケールの組合わせによる状態予測値とを照合して対象物についての尤度を求める下層対応尤度算出手段と、
   上記上層対応尤度算出手段と下層対応尤度算出手段により求められた尤度から真尤度を求める真尤度算出手段と、
   を備える画像処理装置。
2. 上記上層対応尤度算出手段及び上記下層対応尤度算出手段は、それぞれ、第１〜第Ｎ（Ｎは自然数）の照合手法を用いた照合して、これら第１〜第Ｎの照合手法ごとに対応した第１〜第Ｎの尤度を求め、
   上記真尤度算出手段は、上記上層対応尤度算出手段と上記下層対応尤度算出手段とのそれぞれにより求められた各２つの第１〜第Ｎの尤度ごとに対応して、第１〜第Ｎの真尤度を求める、
   請求項１に記載の画像処理装置。
3. 上記層画像データについて、上記第１〜第Ｎの照合手法におけるそれぞれの照合手法に適合するマスク画像又はエッジ画像としての照合用画像データに変換する画像処理を行う画像変換手段を備え、
   上記上層対応尤度算出手段及び上記下層対応尤度算出手段は、上記第１〜第Ｎの照合手法における上記それぞれの照合手法による照合を行う際には、上記照合用画像データに変換された上側層画像及び下側層画像を用いる、
   請求項１又は請求項２に記載の画像処理装置。
4. 入力した画像データから異なるスケールの画像である層画像データを生成して階層化することで画像ピラミッドを形成する画像ピラミッド形成手順と、
   固定のスケールによる対象物の画像部分を有するテンプレート画像データが該当する上記画像ピラミッドにおける高さ位置である画像ピラミッド内位置を、前記テンプレート画像の対象物のスケールと前記層画像データの対象物のスケールとの比率に基づいて求める位置算出手順と、
   上記画像ピラミッド内位置の直上に存在する上側層画像データと前記対象物の中心位置とスケールの組合わせによる状態予測値とを照合して対象物についての尤度を求める上層対応尤度算出手順と、
   上記画像ピラミッド内位置の直下に存在する下側層画像データと前記対象物の中心位置とスケールの組合わせによる状態予測値とを照合して対象物についての尤度を求める下層対応尤度算出手順と、
   上記上層対応尤度算出手順と下層対応尤度算出手順により求められた尤度から真尤度を求める真尤度算出手順と、
   を実行する画像処理方法。
5. 入力した画像データから異なるスケールの画像である層画像データを生成して階層化することで画像ピラミッドを形成する画像ピラミッド形成手順と、
   固定のスケールによる対象物の画像部分を有するテンプレート画像データが該当する上記画像ピラミッドにおける高さ位置である画像ピラミッド内位置を、前記テンプレート画像の対象物のスケールと前記層画像データの対象物のスケールとの比率に基づいて求める位置算出手順と、
   上記画像ピラミッド内位置の直上に存在する上側層画像データと前記対象物の中心位置とスケールの組合わせによる状態予測値とを照合して対象物についての尤度を求める上層対応尤度算出手順と、
   上記画像ピラミッド内位置の直下に存在する下側層画像データと前記対象物の中心位置とスケールの組合わせによる状態予測値とを照合して対象物についての尤度を求める下層対応尤度算出手順と、
   上記上層対応尤度算出手順と下層対応尤度算出手順により求められた尤度から真尤度を求める真尤度算出手順と、
   を画像処理装置に実行させるプログラム。

Images