JP4809869B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

入力された画像内の領域を特定する画像処理装置が知られている。具体的には、例えば、特許文献１には、解像度の異なる画像を用いて、目などの所定の部位を正確に追尾することができる画像処理装置が開示されている。画像内の領域を特定する技術として、近年、パターンマッチングなどの手法を用いて、人物などが撮影された画像内の、顔や目や鼻などといったパーツを示す領域を認識する画像認識技術が知られている。
米国特許第６７１４６６０号明細書

画像内の領域を特定する他の方法としては、画像内の各画素の色に基づいて領域を特定する方法が挙げられる。具体的には、例えば、画像内の黒い画素の領域を、目が示されている領域として特定する方法が挙げられる。

ここで、画像認識技術による方法と、画像内の各画素の色に基づく方法とを組み合わせて、画像内の領域を特定すると、これらの方法のどちらかだけを用いて画像内の領域を特定するよりも、画像内の領域を精度よく特定することができる。

しかしながら、画像認識技術により画像内の領域を特定するのに要する時間は、画像内の各画素の色に基づいて画像内の領域を特定するのに要する時間よりも長いため、二つの方法を組み合わせて用いる場合は、画像内の各画素の色に基づく方法を単独で用いる場合よりも、画像内の領域を特定するための時間が大幅に増加してしまう。

このことは、短時間で実行されるが精度が低い画像処理と、精度が高いが時間がかかる画像処理とを組み合わせて、画像処理の実行結果を得る場合一般にあてはまる。

本発明は、上記課題に鑑みてなされたものであって、画像処理の精度を高く保ちつつ、総処理時間の大幅な増加を防ぐことができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、所定の撮像対象を撮像して生成される画像を順次取得する画像取得手段と、順次到来する処理期間にて、前記画像取得手段により取得される前記画像に対して画像処理を実行する画像処理実行手段と、一部の前記処理期間にて、当該処理期間以前に前記画像取得手段により取得された前記画像に対する前処理の実行結果を出力する前処理実行結果出力手段と、前記前処理実行結果出力手段により出力される前記実行結果を、少なくとも次に前記前処理実行結果出力手段により前記実行結果が出力されるまで保持し続ける実行結果保持手段と、を含み、前記画像処理実行手段が、前記画像取得手段により取得される前記画像に対して、前記実行結果保持手段に保持されている前記実行結果を適用して前記画像処理を実行することを特徴とする。

また、本発明に係る画像処理方法は、所定の撮像対象を撮像して生成される画像を順次取得する画像取得ステップと、順次到来する処理期間にて、前記画像取得ステップにより取得される前記画像に対して画像処理を実行する画像処理実行ステップと、一部の前記処理期間にて、当該処理期間以前に前記画像取得ステップにより取得された前記画像に対する前処理の実行結果を出力する前処理実行結果出力ステップと、前記前処理実行結果出力ステップにより出力される前記実行結果を、少なくとも次に前記前処理実行結果出力ステップにより前記実行結果が出力されるまで実行結果保持手段に続けて保持させるステップと、を含み、前記画像処理実行ステップが、前記画像取得ステップにより取得される前記画像に対して、前記実行結果保持手段に保持されている前記実行結果を適用して前記画像処理を実行することを特徴とする。

また、本発明に係るプログラムは、所定の撮像対象を撮像して生成される画像を順次取得する画像取得手段、前記画像取得手段が取得する前記画像に対して前処理を実行する前処理実行手段、前記前処理の実行結果を出力する前処理実行結果出力手段、前記前処理実行結果出力手段により出力される前記実行結果を、少なくとも次に前記前処理実行結果出力手段により前記実行結果が出力されるまで実行結果保持手段に続けて保持させる手段、前記画像取得手段が取得する前記画像に対して、前記実行結果保持手段に保持されている前記実行結果を適用して、画像処理を実行する画像処理実行手段、としてコンピュータを機能させることを特徴とする。

また、上記のプログラムはコンピュータ読み取り可能な情報記憶媒体に格納することもできる。

本発明によると、画像処理実行手段が、前処理の実行結果を適用して画像処理を実行するので、前処理と画像処理とを組み合わせて実行結果を得ることができる。また、本発明によると、画像処理実行手段が、実行結果保持手段に保持されている前処理の実行結果を適用して画像処理を実行するので、前処理と画像処理とを組み合わせて実行結果を得る際に発生する可能性がある、総処理時間の大幅な増加を防ぐことができる。よって、本発明によると、画像処理の精度を高く保ちつつ、総処理時間の大幅な増加を防ぐことができる。

本発明の一態様では、前記前処理実行結果出力手段が、前記画像内の少なくとも１つの画素の色に基づいて、前記画像処理を実行する際の基準となる基準色を特定する前記前処理の実行結果を出力し、前記画像処理実行手段が、前記基準色と前記画像内の各画素の色との比較結果に基づいて、前記画像内の画素を特定する前記画像処理を実行することを特徴とする。こうすれば、前処理によって特定された、画像内の画素の色の情報を画像処理に用いることができる。

また、本発明の一態様では、前記前処理実行結果出力手段が、前記画像内の位置を特定する前記前処理により特定される前記位置に対応する、前記画像処理実行手段により前記画像処理が実行される前記画像内の領域を示す前記実行結果を出力し、前記画像処理実行手段が、前記実行結果が示す前記画像内の領域に基づいて、当該領域内の位置を特定する前記画像処理を実行することを特徴とする。こうすれば、画像処理実行手段は、前処理によって特定される画像内の位置に対応する、画像処理が実行される画像内の領域内の位置を特定するので、前処理によって特定される画像内の位置を示す情報を、画像処理実行手段による画像内の位置を特定する画像処理に用いることができる。

また、この態様では、前記画像処理実行手段が、前記実行結果が示す前記画像内の領域に基づいて、当該領域内の複数の位置を特定して、当該複数の位置の関係に基づいて方向を示す方向データを生成する前記画像処理を実行するようにしてもよい。こうすれば、画像取得手段が取得する画像に基づいて、画像内の方向を特定することができる。

また、この態様では、前記前処理実行結果出力手段が出力する前記実行結果が示す、前記画像処理実行手段により前記画像処理が実行される前記画像内の領域のサイズが、前記画像内の領域を特定する前記前処理により特定される領域のサイズに基づいて決定されるようにしてもよい。こうすれば、画像処理が実行される画像内の領域のサイズを、前処理が実行される画像内の領域との関係に基づいて決定することができる。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本実施形態に係る画像処理装置１０のハードウェア構成の一例を示すハードウェア構成図である。図１に示すように、本実施形態に係る画像処理装置１０は、制御部１２、記憶部１４、ユーザインタフェース（ＵＩ）部１６、撮像部１８を備えている。

制御部１２はＣＰＵ等のプログラム制御デバイスであり、記憶部１４に格納されたプログラムに従って動作する。なお、プログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体に格納することができ、情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介して画像処理装置１０に供給される。

記憶部１４は、ＲＡＭ等の記憶素子やハードディスクなどである。記憶部１４には、制御部１２によって実行される、本発明に係るプログラムなどが格納される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。

ＵＩ部１６は、キーボード、ディスプレイ、マウスなどであり、利用者が行った操作の内容を制御部１２に出力する。また、このＵＩ部１６は、制御部１２から入力される指示に従って情報を表示出力する。

撮像部１８は、例えば、公知のデジタルカメラを含んで構成され、所定時間（例えば１／６０秒）ごとに、白黒、グレイスケール又はカラーの画像（例えば、ＪＰＥＧ形式の画像）を生成する。

図２は、本実施形態に係る画像処理装置１０の機能ブロック図である。図２に示すように、本実施形態に係る画像処理装置１０は、機能的には、画像取得部２０、前処理実行結果出力部２２、実行結果保持部２４、画像処理実行部２６、を含むものとして機能する。これらの機能は、画像処理装置１０の制御部１２、記憶部１４、ＵＩ部１６、又は、撮像部１８により実現されている。

画像取得部２０は、所定の撮像対象を撮像して生成される画像を順次取得する。本実施形態においては、撮像部１８が、所定時間ごとに、図３に示すようなユーザを示すユーザ画像２８を生成する。そして、画像取得部２０は、撮像部１８により撮像されるこれらのユーザ画像２８を順次取得する。なお、撮像部１８は定期的に画像を生成する必要はない。また、画像取得部２０が定期的に画像を取得する必要はない。なお、画像取得部２０が、取得した画像を記憶部１４に順次書き込むようにしてもよい。

前処理実行結果出力部２２は、一部の処理期間にて、その処理期間以前に画像取得部２０により取得された画像に対する前処理の実行結果を出力する。なお、処理期間の詳細については後述する。本実施形態においては、前処理実行結果出力部２２が、実行結果の出力に加え、前処理の実行も行う。なお、本実施形態に係る画像処理装置に接続された外部装置が前処理を実行して、その実行結果を前処理実行結果出力部２２が出力するようにしてもよい。本実施形態における前処理実行結果出力部２２が実行する前処理は、具体的には、公知のパターン認識技術や顔認識技術などを用いて、画像（本実施形態ではユーザ画像２８）から、瞳や、顔や、鼻や、口の位置を認識する処理や、認識された位置の画素の色を判定する処理である。

実行結果保持部２４は、前処理実行結果出力部２２により出力される実行結果を、少なくとも次に前処理実行結果出力部２２により実行結果が出力されるまで保持し続ける。本実施形態における実行結果保持部２４が保持する実行結果は、具体的には、例えば、前処理により認識された瞳や、顔や、鼻や、口の位置のユーザ画像２８内における位置を示す位置データや、認識された位置の画素の色を示す色データなどである。また、実行結果保持部２４が、前処理実行結果出力部２２により出力される最新の実行結果を保持するようにしてもよい。このとき、実行結果保持部２４が、前処理実行結果出力部２２により出力される最新ではない実行結果を削除するようにしても構わない。

画像処理実行部２６は、順次到来する処理期間にて、画像取得部２０により取得される画像（本実施形態においてはユーザ画像２８）に対して、実行結果保持部２４に保持されている実行結果を適用して、画像処理を実行する。本実施形態では、処理期間は、具体的には、画像処理実行部２６により画像処理が実行される時点から、その次に画像処理実行部２６により画像処理が実行される時点までの間の期間を指す。なお、処理期間が指す期間は、上述の期間には限定されない。例えば、処理期間は、画像取得部２０により画像が取得される時点から、その次に画像取得部２０により画像が取得される時点までの間の期間を指してもよい。

なお、処理期間は、画像取得部２０により画像が取得されるたびに順次到来するようにしてもよい。また、画像取得部２０により画像が所定回（例えば２回）取得されるたびに順次到来するようにしてもよい。

本実施形態において、画像処理実行部２６が実行する画像処理は、具体的には、ユーザ画像２８内の各画素の色に基づいて、特定の色の画素や、それらの画素を含む領域を特定する画像処理である。

ここで、本実施形態における前処理と画像処理との関係を、図４を参照しながら説明する。なお、図４は、前処理と画像処理との関係の一例を説明する説明図である。

図４に示すように、本実施形態においては、画像取得部２０は、所定時間（例えば１／６０秒）ごとに、ユーザ画像２８を取得している。

そして、本実施形態においては、前処理実行結果出力部２２が、公知のパターン認識技術や顔認識技術などを用いて、時刻ｔ１において画像取得部２０により取得されたユーザ画像２８（ユーザ画像２８（ｔ１））から、瞳の位置と、顔を示す顔領域３０の位置を認識する（図３参照）。ここで、前処理実行結果出力部２２が、鼻の位置、口の位置などを併せて認識するようにしても構わない。

そして、ここで、前処理実行結果出力部２２は、前処理の対象となる画像内の少なくとも１つの画素の色に基づいて、画像処理実行部２６が画像処理を実行する際の基準となる基準色を特定する前処理の実行結果である基準色データを出力するようにしてもよい。本実施形態においては、具体的には、例えば、前処理実行結果出力部２２が、瞳の位置の画素の色を示す瞳色データを生成する。また、前処理実行結果出力部２２が、顔領域３０内の画素を選択して、その画素の色を示す顔色データも生成する。前処理実行結果出力部２２が、鼻の位置を認識している場合には、鼻の位置の画素の色に基づいて、顔色データが示す色を特定するようにしてもよい。このようにして、本実施形態では、前処理実行結果出力部２２は、２つの基準色データ（瞳色データ及び顔色データ）を出力する。

そして、本実施形態においては、前処理実行結果出力部２２が、認識された瞳の位置に基づいて、瞳の位置を中心とした円形の絞り込み領域３２を算出し、この絞り込み領域３２のユーザ画像２８内における位置を示す絞り込み領域位置データを生成する（図３参照）。なお、絞り込み領域３２が円形である必要はなく、例えば四角形などであってももちろん構わない。また、前処理によって特定される画像内の位置とは異なる画像内の位置を、画像処理実行部２６による画像処理において特定してもよい。また、前処理実行結果出力部２２が、前処理により画像内の領域を特定し、その領域に対応する、その領域よりもサイズが大きな、画像処理が実行される画像内の領域を示す実行結果を出力してもよい。また、前処理実行結果出力部２２が、顔領域３０のサイズに基づいて絞り込み領域３２のサイズを決定するようにしてもよい。このように、前処理実行結果出力部２２が出力する実行結果が示す、画像処理実行部２６により画像処理が実行される画像内の領域のサイズが、画像内の領域を特定する前処理により特定される領域のサイズに基づいて決定されてもよい。

そして、本実施形態においては、前処理実行結果出力部２２は、時刻ｔ２に、時刻ｔ１に画像取得部２０により取得されたユーザ画像２８に基づいて生成される、絞り込み領域位置データと、瞳色データと、顔色データとを含む実行結果（実行結果（ｔ１））を実行結果保持部２４に出力する。なお、後述するように、絞り込み領域位置データが示す絞り込み領域３２は、画像処理実行部２６により画像処理が実行されるユーザ画像２８内の領域に対応している。このように、前処理実行結果出力部２２が、画像内の位置を特定する前処理により特定される位置に対応する、画像処理実行部２６により画像処理が実行される画像内の領域を示す実行結果を出力してもよい。なお、前処理実行結果出力部２２は、時刻ｔ１から時刻ｔ２までの間中ずっと上述の前処理を実行しても構わない。また、時刻ｔ１と時刻ｔ２との間に上述の前処理が完了しており、時刻ｔ２において実行結果を実行結果保持部２４に出力するようにしても構わない。そして、実行結果保持部２４は、前処理実行結果出力部２２が出力する実行結果を保持する。

そして、前処理実行結果出力部２２が、時刻ｔ２において画像取得部２０により取得されたユーザ画像２８（ユーザ画像２８（ｔ２））に基づいて、上述の前処理を実行し、時刻ｔ３に、絞り込み領域位置データと、瞳色データと、顔色データとを含む実行結果（実行結果（ｔ２））を実行結果保持部２４に出力する。そして、前処理実行結果出力部２２が、時刻ｔ３において画像取得部２０により取得されたユーザ画像２８（ユーザ画像２８（ｔ３））に基づいて、上述の前処理を実行し、時刻ｔ４に、絞り込み領域位置データと、瞳色データと、顔色データとを含む実行結果（実行結果（ｔ３））を実行結果保持部２４に出力する。このようにして、前処理実行結果出力部２２は、実行結果を順次実行結果保持部２４に出力する。本実施形態では、図４に示すように、前処理実行結果出力部２２が実行結果を出力する間隔が、等間隔である必要はない。なお、前処理実行結果出力部２２が、画像取得部２０が画像を取得する間隔よりも長い、所定の間隔で、実行結果を出力するようにしても構わない。

そして、本実施形態においては、画像処理実行部２６は、例えば、時刻ｔ２に画像取得部２０が取得したユーザ画像（ユーザ画像２８（ｔ２））から時刻ｔ３に画像取得部２０が取得したユーザ画像（ユーザ画像２８（ｔ３））の１つ前に画像取得部２０が取得したユーザ画像２８に対して、時刻ｔ１に画像取得部２０により取得されたユーザ画像２８（ユーザ画像２８（ｔ１））に基づいて前処理実行結果出力部２２が実行結果保持部２４に出力する実行結果、すなわち、時刻ｔ２から時刻ｔ３までの間に実行結果保持部２４に保持されている実行結果（実行結果（ｔ１））を適用して画像処理を実行する。同様に、画像処理実行部２６は、時刻ｔ３に画像取得部２０が取得したユーザ画像（ユーザ画像２８（ｔ３））から時刻ｔ４に画像取得部２０が取得したユーザ画像（ユーザ画像２８（ｔ４））の１つ前に画像取得部２０が取得したユーザ画像２８に対して、時刻ｔ２に画像取得部２０により取得されたユーザ画像２８に基づいて前処理実行結果出力部２２が実行結果保持部２４に出力する実行結果、すなわち、時刻ｔ３から時刻ｔ４までの間に実行結果保持部２４に保持されている実行結果（実行結果（ｔ２））を適用して画像処理を実行する。また、画像処理実行部２６は、時刻ｔ４以降に画像取得部２０が取得した画像（画像（ｔ４）以降）に対して、時刻ｔ３に画像取得部２０により取得されたユーザ画像２８に基づいて前処理実行結果出力部２２が実行結果保持部２４に出力する実行結果、すなわち、時刻ｔ４より後に実行結果保持部２４に保持されている実行結果（実行結果（ｔ３））を適用して画像処理を実行する。

なお、時刻ｔ２より前の時点については、画像処理実行部２６は、時刻ｔ１より前である時刻ｔ０に画像取得部２０により取得されたユーザ画像２８に基づいて前処理実行結果出力部２２が実行結果保持部２４に出力する実行結果（実行結果（ｔ０））を適用して画像処理を実行する。

このようにして、画像処理実行部２６が、順次到来する処理期間にて、画像取得部２０により取得される画像に対して、実行結果保持部２４に保持されている実行結果を適用して、画像処理を実行する。このように、実行結果保持部２４が保持している実行結果は、画像処理実行部２６による画像処理の実行に複数回用いられる場合がある。

以上の例のように、画像取得部２０が取得する画像に基づいて生成される実行結果を前処理実行結果出力部２２が実行結果保持部２４に出力し、その画像が取得された後に画像取得部２０が取得する画像に対して実行結果保持部２４に保持されている実行結果を適用して画像処理を実行してもよい。すなわち、画像処理が実行されるユーザ画像２８と、そのユーザ画像２８に適用される前処理の実行結果の基礎となるユーザ画像２８と、が異なっていてもよい。なお、画像取得部２０が取得する同一の画像に対して前処理と画像処理とを連続して実行するような場合があっても構わない。

本実施形態においては、画像処理実行部２６は、後述する視線方向ベクトルデータを生成する画像処理を実行する。ここで、本実施形態において、順次到来する処理期間にて、画像取得部２０により取得されるユーザ画像２８に基づいて、視線方向ベクトルデータを生成するまでの画像処理の流れの一例を、図５に示すフロー図を参照しながら説明する。ここで、画像処理実行部２６による画像処理の対象となるユーザ画像２８の一例を図６Ａに示す。

まず、画像処理実行部２６が、画像取得部２０により取得されるユーザ画像２８内の、実行結果保持部２４に保持されている絞り込み領域位置データが示す、絞り込み領域３２の位置に対応する対応領域３４を特定する（Ｓ１０１）。

そして、画像処理実行部２６が、対応領域３４内の各画素の色と、実行結果保持部２４に保持されている瞳色データが示す色とを比較して、対応領域３４内の、瞳が表示されている画素を特定する。そして、画像処理実行部２６が、特定された画素に基づいて、対応領域３４内の瞳が表示されている瞳領域３６を特定する（Ｓ１０２）。このように、画像処理実行部２６が、基準色（本実施形態では、瞳色データが示す色）と画像（本実施形態では、対応領域３４）内の各画素の色との比較結果に基づいて、画像（本実施形態では、対応領域３４）内の画素を特定するようにしてもよい。また、前処理実行結果出力部２２により、画像処理実行部２６による画像処理が実行される画像内の領域（本実施形態では、対応領域３４）を示す実行結果が出力される際に、画像処理実行部２６が、この実行結果が示す画像内の領域（本実施形態では、対応領域３４）に基づいて、この領域内の位置（本実施形態では、瞳領域３６）を特定するようにしてもよい。

本実施形態においては、図３に示す、前処理実行結果出力部２２による前処理の対象となるユーザ画像２８と、図６Ａに示す、画像処理実行部２６による画像処理の対象となるユーザ画像２８とは、画像取得部２０により取得されるタイミングが異なるため、ユーザの瞳が示されている画像内の位置が異なっている。それにも関わらず、前処理実行結果出力部２２が、前処理により特定される領域を含む、その領域よりもサイズが大きな、画像処理が実行される画像内の領域を示す実行結果を出力しているので、画像処理実行部２６がユーザの瞳が示されている画像内の位置を特定することができる。

また、本実施形態においては、対応領域内の各画素の色と、実行結果保持部２４に保持されている顔色データが示す色と、を比較して、対応領域内の画素から顔色データが示す色に対応する色の画素を取り除くことで、目（ここでは、瞳及び白目）が表示されている画素を特定する。そして、画像処理実行部２６が、特定された画素に基づいて、対応領域内の目が表示されている目領域３８を特定する（Ｓ１０３）。

そして、画像処理実行部２６は、目領域３８の重心（目領域重心３８ａ）から瞳領域３６の重心（瞳領域重心３６ａ）へ向かう、画像内の視線方向４０を示す視線方向ベクトルデータを生成する（Ｓ１０４）（図６Ｂ参照）。なお、図６Ｂは、図６Ａに示すユーザ画像２８内の目領域３８を拡大した様子の一例を示す図である。このように、画像処理実行部２６が、前処理実行結果出力部２２が出力する実行結果が示す、画像処理実行部２６による画像処理の対象となる画像内の領域に基づいて、この領域内の複数の位置を特定して、これらの複数の位置の関係に基づいて方向を示す方向データを生成するようにしてもよい。このとき、目領域３８の重心や瞳領域３６の重心は、画素の大きさの単位よりも細かい大きさの単位で算出するようにしても構わない。なお、画像処理実行部２６が、視線方向ベクトルデータを生成する基礎となるデータは、瞳領域重心３６ａや目領域重心３８ａに限定されない。

このようにして、本実施形態では、方向データが生成される。なお、画像処理実行部２６が実行する画像処理は方向データを生成する画像処理には限定されない。例えば、画像処理実行部２６が、画像内の領域を特定する画像処理を実行しても構わない。

なお、画像処理実行部２６により生成された方向データや、画像処理実行部２６により特定された画像内の画素や領域を用いて、画像処理実行部２６がさらなる画像処理を実行するようにしてもよい。なお、このとき、上述の前処理や画像処理が実行される対象となる画像とは異なる画像に対してさらなる画像処理を実行しても構わない。

具体的には、例えば、画像処理実行部２６が、画像内の瞳領域３６に対して、炎の画像を重ねるような画像処理を行うことで、目から炎が出ているような映像効果を画像に施して、この画像をディスプレイなどのＵＩ部１６に出力するようにしてもよい。また、例えば、図７に示すように、画像処理実行部２６が、視線方向ベクトルデータが示す、ユーザ画像２８内の視線方向４０に基づいて、その視線方向４０に目から炎が出ているような映像効果を画像に施して、この画像をディスプレイなどのＵＩ部１６に出力するようにしてもよい。

上述した画像処理の応用例として、例えば図８Ａ及び図８Ｂに示す、サッカーフィールドを示すフィールド画像４２に対して、特定チームの選手から炎が出ているような映像効果を施して、このフィールド画像４２をディスプレイなどのＵＩ部１６に出力するようにしてもよい。

具体的には、例えば、前処理実行結果出力部２２が、図８Ａに示す、画像取得部２０が取得したフィールド画像４２から、公知のパターン認識技術や人物認識技術などを用いて、人物の位置を認識する。このとき、図８Ａに示すように、前処理実行結果出力部２２が、複数の人物の位置を認識しても構わない。そして、前処理実行結果出力部２２が、認識した人物の位置に基づいて、人物の位置を中心とした楕円形の絞り込み領域３２を算出し、この絞り込み領域３２のフィールド画像４２内のおける位置を示す絞り込み領域位置データを生成する。そして、前処理実行結果出力部２２が、生成された絞り込み領域位置データを実行結果保持部２４に出力する。

そして、画像処理実行部２６が、図８Ｂに示す、前処理が実行されるフィールド画像４２が画像取得部２０により取得された時点よりも後に画像取得部２０が取得したフィールド画像４２内の、実行結果保持部２４に保持されている絞り込み領域位置データが示す、絞り込み領域３２の位置に対応する対応領域３４を特定する。そして、画像処理実行部２６が、この対応領域３４内の各画素の色と、予め定められたユニフォームの色とを比較して、対応領域３４内の、ユニフォームが表示されている画素を特定する。そして、画像処理実行部２６が、特定された画素に基づいて、対応領域３４内のユニフォームが表示されているユニフォーム領域４４を特定する。

そして、画像処理実行部２６は、対応領域３４の重心（対応領域重心３４ａ）から、ユニフォーム領域４４の重心（ユニフォーム領域重心４４ａ）へ向かう方向（移動方向４６）を示す移動方向ベクトルデータを生成する（図８Ｃ参照）。なお、図８Ｃは、フィールド画像内の対応領域を拡大した様子の一例を示す図である。そして、画像処理実行部２６が、移動方向４６と逆方向に、炎が出ているような映像効果をフィールド画像４２に施す。

上述の処理では、前処理実行結果出力部２２により前処理が実行されるフィールド画像４２が取得された時点よりも、画像処理実行部２６により画像処理が実行されるフィールド画像４２が取得された時点の方が後であるので、移動方向ベクトルデータが示す移動方向４６を、サッカー選手などの人物が移動している方向として取り扱い、移動方向４６と逆方向に炎が出ているような映像効果を施すことができる。なお、画像処理実行部２６が、移動方向ベクトルデータを生成する基礎となるデータは、対応領域重心３４ａやユニフォーム領域重心４４ａに限定されない。

また、上述の方法と同様の方法により、図９に示すように、サッカー中継において撮像される動画像を構成する一連のフィールド画像４２に対して、上述の画像処理を施して、例えば、ボールから炎が出ているような映像効果を施して、このフィールド画像４２をディスプレイなどのＵＩ部１６に出力するようにしてもよい。

なお、もちろん、炎が出ているような映像効果以外の映像効果を動画像に対して施して、この動画像をディスプレイなどのＵＩ部１６に出力するようにしてもよい。このように、例えば、画像取得部２０が取得する一連の画像に対して、画像処理実行部２６が上記の処理の流れで画像処理を実行して、それぞれの画像に映像効果を施して、これらの画像をディスプレイなどのＵＩ部１６に出力するようにしてもよい。また、画像処理実行部２６が、映像効果が施された複数の画像を組み合わせて、動画像を生成して、この動画像をディスプレイなどのＵＩ部１６に出力するようにしてもよい。

また、画像処理実行部２６により生成された方向データや、画像処理実行部２６により特定された画像内の画素や領域を用いて、画像処理以外の情報処理を実行するようにしてもよい。具体的には、例えば、本実施形態における画像処理装置１０をゲーム装置に応用する場合において、視線方向ベクトルデータが示す、ユーザ画像２８内の視線方向４０に基づいて、ゲームの動作を変えるようにすることが考えられる。

本実施形態によれば、前処理実行結果出力部２２が、公知のパターン認識技術や顔認識技術などを用いて、画像取得部２０が取得する、ユーザを示す画像内の絞り込み領域３２を特定し、画像処理実行部２６が、その絞り込み領域３２内の瞳領域３６を特定することで、ユーザの瞳を示す瞳領域３６を精度よく特定することができる。

そして、画像処理実行部２６が瞳領域３６を特定する際に、実行結果保持部２４に保持されている、前処理実行結果出力部２２が出力した実行結果を適用することで、ユーザを示す画像内の絞り込み領域３２を特定する画像処理を実行して、さらに続けて、その画像に対して絞り込み領域３２内の瞳領域３６を特定する画像処理を実行する場合と比較して、画像処理に要する総処理時間を短縮することができる。そのため、二つの方法を組み合わせて画像処理を実行しているにも関わらず、画像内の各画素の色に基づく画像処理を実行する場合よりも、画像処理に要する総時間の大幅な増加を防ぐことができる。

このようにして、本実施形態によれば、画像処理の精度を高く保ちつつ、総処理時間の大幅な増加を防ぐことができる。また、本実施形態によれば、前処理の実行結果が出力されるのを待たずに、実行結果保持部２４に保持されている実行結果を用いて画像処理実行部２６が画像処理を実行することができる。そして、画像に対して前処理を実行するのに長い時間を要する場合や、画像に対して前処理が実行するのに必要な時間のばらつきが大きい場合には、画像処理に要する総時間に与える影響を特に抑えることができる。

なお、本発明は上記実施形態に限定されるものではない。

例えば、前処理実行結果出力部２２が、画像取得部２０により取得された画像に基づいて前処理結果画像を生成してもよい。そして、画像処理実行部２６が、画像取得部２０により取得された画像に基づいて画像処理結果画像を生成してもよい。このとき、画像処理実行部２６が、画像取得部２０により取得された画像全体に対して画像処理を実行して、その結果に基づいて画像処理結果画像を生成してもよい。そして、画像処理実行部２６が、前処理結果画像と、画像処理結果画像とに基づいて、画像取得部２０により取得された画像内の画素や領域を特定する画像処理を実行するようにしてもよい。

上述の処理の一具体例について、以下に説明する。

まず、前処理実行結果出力部２２が、時刻ｔ１に画像取得部２０により取得されたユーザ画像２８に基づいて、絞り込み領域３２内と絞り込み領域３２外とが区別された前処理結果二値画像（より具体的には、例えば、絞り込み領域３２内の画素が黒色で表示され、絞り込み領域３２外の画素が白色で表示された、ユーザ画像２８と同サイズの前処理結果二値画像）を生成し、時刻ｔ２に、実行結果保持部２４に出力する。

そして、画像処理実行部２６が、時刻ｔ２に画像取得部２０により取得されたユーザ画像２８全体に対して、所定の色（例えば、瞳の色）が表示されている画素を特定する処理を実行して、特定された画素と、それ以外の画素とが区別された画像処理結果二値画像（より具体的には、例えば、特定された画素は黒色で表示され、それ以外の画素は白色で表示された、ユーザ画像２８と同サイズの画像処理結果二値画像）を生成する。

そして、画像処理実行部２６が、例えば、実行結果保持部２４に保持されている前処理結果二値画像と、上述の処理により生成された画像処理結果二値画像との重ね合わせ演算などにより、マスク画素と、それ以外の画素とを区別した、ユーザ画像２８と同サイズのマスク画像を生成する。具体的には、例えば、画像処理実行部２６が、前処理結果二値画像においても、画像処理結果二値画像においても、黒色で表示されている画素であるマスク画素を黒色で表示して、それ以外の画素を白色で表示した、ユーザ画像２８と同サイズのマスク画像を生成する。

そして、画像処理実行部２６が、例えば、画像処理結果二値画像が生成される基礎となったユーザ画像２８（時刻ｔ２に画像取得部２０により取得されたユーザ画像２８）とマスク画像とを重ね合わせて、重ね合わされた画像内のマスク画素に対して、例えば、炎が出ているような映像効果を施す。

なお、上述の処理例では、画像処理実行部２６が、時刻ｔ２に画像取得部２０により取得されたユーザ画像２８に基づいて画像処理結果二値画像を生成しているが、画像処理実行部２６が、時刻ｔ２以降に画像取得部２０により取得されたユーザ画像２８に基づいて画像処理結果二値画像を生成してももちろん構わない。また、上述の処理例では、マスク画像とユーザ画像２８とが同サイズであるが、ユーザ画像２８とマスク画像が同サイズである必要はない。

また、上述の処理例において、前処理実行結果出力部２２が、基準色データ（例えば、瞳色データや顔色データ）を実行結果保持部２４に出力して、画像処理実行部２６が、実行結果保持部２４に保持されている基準色データが示す色が表示されている画素を特定する処理を実行して画像処理結果二値画像を生成するようにしてもよい。

また、上述の処理例において、画像処理実行部２６が、それぞれ異なる色に対応する複数の画像処理結果二値画像を生成して、これらの画像処理結果二値画像に基づいて複数のマスク画像を生成するようにしてもよい。

なお、本発明は上記実施形態にも限定されるものではない。

例えば、前処理実行結果出力部２２が出力する前処理の実行結果が、前処理の実行に要した時間に基づいて決定されてもよい。具体的には、例えば、絞り込み領域３２のサイズが、前処理の実行に要した時間に基づいて決定されてもよい。

また、例えば、前処理に用いる画像の解像度と、画像処理に用いる画像の解像度と、が異なっていても構わない。また、例えば、撮像部１８が、前処理に用いる画像よりもズームして画像処理に用いる画像を撮像するようにしても構わない。

また、例えば、画像処理装置１０が撮像部１８を２つ備えており、前処理に利用する画像と、画像処理に利用する画像を、異なる撮像部１８から画像取得部２０が取得するようにしても構わない。このとき、例えば、画像処理装置１０が広角カメラとハイフレームレートカメラとを備えており、前処理実行結果出力部２２が、広角カメラにより撮像される画像に対して前処理を実行した実行結果を実行結果保持部２４に出力し、画像処理実行部２６が、ハイフレームレートカメラにより撮像される画像に対して、実行結果保持部２４に保持されている実行結果を適用して、画像処理を実行するようにしても構わない。また、広角カメラを備える画像処理装置１０（具体的には、例えば、据え置き型のゲーム装置など）と、ハイフレームカメラを備える画像処理装置１０（具体的には、例えば、携帯型のゲーム装置など）とが連携して、上述の一連の画像処理を実行するようにしてもよい。

また、例えば、撮像部１８が、絞り込み領域３２に対して、視線方向ベクトルデータが示す視線方向４０にずらして、画像処理に用いる画像を撮像するようにしても構わない。

また、例えば、視線方向ベクトルデータを、目領域３８の歪みに基づいて、生成するようにしてもよい。また、視線方向ベクトルデータを、目領域３８に示す瞳領域３６の割合に基づいて推定するようにしてもよい。

また、画像処理装置１０は、一つの筐体により構成されていても、複数の筐体により構成されていてもよい。また、画像処理装置１０が撮像部１８を備えず通信部を備え、画像処理装置１０が通信機能を有する画像処理装置１０外の撮像部１８と通信するような構成としてもよい。

本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。 本発明の一実施形態に係る画像処理装置の機能ブロック図である。 ユーザ画像の一例を示す図である。 前処理と画像処理との関係の一例を説明する説明図である。 画像処理装置で行われる処理のフローの一例を示す図である。 ユーザ画像の一例を示す図である。 ユーザ画像内の目領域を拡大した様子の一例を示す図である。 ユーザ画像の一例を示す図である。 フィールド画像の一例を示す図である。 フィールド画像の一例を示す図である。 フィールド画像内の対応領域を拡大した様子の一例を示す図である。 フィールド画像の一例を示す図である。

符号の説明

１０ 画像処理装置、１２ 制御部、１４ 記憶部、１６ ユーザインタフェース（ＵＩ）部、１８ 撮像部、２０ 画像取得部、２２ 前処理実行結果出力部、２４ 実行結果保持部、２６ 画像処理実行部、２８ ユーザ画像、３０ 顔領域、３２ 絞り込み領域、３４ 対応領域、３４ａ 対応領域重心、３６ 瞳領域、３６ａ 瞳領域重心、３８ 目領域、３８ａ 目領域重心、４０ 視線方向、４２ フィールド画像、４４ ユニフォーム領域、４４ａ ユニフォーム領域重心、４６ 移動方向。

Claims (8)

1. 所定の撮像対象を撮像して生成される画像を順次取得する画像取得手段と、
   順次到来する処理期間にて、前記画像取得手段により取得される前記画像に対して画像処理を実行する画像処理実行手段と、
   一部の前記処理期間にて、当該処理期間以前に前記画像取得手段により取得された前記画像に対する前処理の実行結果を出力する前処理実行結果出力手段と、
   前記前処理実行結果出力手段により出力される前記実行結果を、少なくとも次に前記前処理実行結果出力手段により前記実行結果が出力されるまで保持し続ける実行結果保持手段と、を含み、
   前記画像処理実行手段は、前記画像取得手段により取得される前記画像に対して、前記実行結果保持手段に保持されている前記実行結果を適用して前記画像処理を実行し、
   前記画像処理実行手段は、前記実行結果保持手段に保持されている前記実行結果を適用した画像処理の実行の際に行われた、画像処理と並行して実行されている前処理の実行結果が前記前処理実行結果出力手段により前記実行結果保持手段に出力されると、その出力以後は、前処理の次の実行結果が前記前処理実行結果出力手段により前記実行結果保持手段に出力されるまでの間、複数回、当該出力された実行結果を適用して画像処理を実行する、
   ことを特徴とする画像処理装置。
2. 前記前処理実行結果出力手段が、前記画像内の少なくとも１つの画素の色に基づいて、前記画像処理を実行する際の基準となる基準色を特定する前記前処理の実行結果を出力し、
   前記画像処理実行手段が、前記基準色と前記画像内の各画素の色との比較結果に基づいて、前記画像内の画素を特定する前記画像処理を実行する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記前処理実行結果出力手段が、前記画像内の位置を特定する前記前処理により特定される前記位置に対応する、前記画像処理実行手段により前記画像処理が実行される前記画像内の領域を示す前記実行結果を出力し、
   前記画像処理実行手段が、前記実行結果が示す前記画像内の領域に基づいて、当該領域内の位置を特定する前記画像処理を実行する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像処理実行手段が、前記実行結果が示す前記画像内の領域に基づいて、当該領域内の複数の位置を特定して、当該複数の位置の関係に基づいて方向を示す方向データを生成する前記画像処理を実行する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記前処理実行結果出力手段が出力する前記実行結果が示す、前記画像処理実行手段により前記画像処理が実行される前記画像内の領域のサイズが、前記画像内の領域を特定する前記前処理により特定される領域のサイズに基づいて決定される、
   ことを特徴とする請求項３又は４に記載の画像処理装置。
6. 所定の撮像対象を撮像して生成される画像を順次取得する画像取得ステップと、
   順次到来する処理期間にて、前記画像取得ステップにより取得される前記画像に対して画像処理を実行する画像処理実行ステップと、
   一部の前記処理期間にて、当該処理期間以前に前記画像取得ステップにより取得された前記画像に対する前処理の実行結果を出力する前処理実行結果出力ステップと、
   前記前処理実行結果出力ステップにより出力される前記実行結果を、少なくとも次に前記前処理実行結果出力ステップにより前記実行結果が出力されるまで実行結果保持手段に続けて保持させるステップと、を含み、
   前記画像処理実行ステップでは、前記画像取得ステップにより取得される前記画像に対して、前記実行結果保持手段に保持されている前記実行結果を適用して前記画像処理を実行し、
   前記画像処理実行ステップでは、前記実行結果保持手段に保持されている前記実行結果を適用した画像処理の実行の際に行われた、画像処理と並行して実行されている前処理の実行結果が前記前処理実行結果出力ステップにより前記実行結果保持手段に出力されると、その出力以後は、前処理の次の実行結果が前記前処理実行結果出力手段により前記実行結果保持手段に出力されるまでの間、複数回、当該出力された実行結果を適用して画像処理を実行する、
   ことを特徴とする画像処理方法。
7. 所定の撮像対象を撮像して生成される画像を順次取得する画像取得手段、
   前記画像取得手段が取得する前記画像に対して前処理を実行する前処理実行手段、
   前記前処理の実行結果を出力する前処理実行結果出力手段、
   前記前処理実行結果出力手段により出力される前記実行結果を、少なくとも次に前記前処理実行結果出力手段により前記実行結果が出力されるまで実行結果保持手段に続けて保持させる手段、
   前記画像取得手段が取得する前記画像に対して、前記実行結果保持手段に保持されている前記実行結果を適用して、画像処理を実行する画像処理実行手段、
   としてコンピュータを機能させ、
   前記画像処理実行手段は、前記実行結果保持手段に保持されている前記実行結果を適用した画像処理の実行の際に行われた、画像処理と並行して実行されている前処理の実行結果が前記前処理実行結果出力手段により前記実行結果保持手段に出力されると、その出力以後は、前処理の次の実行結果が前記前処理実行結果出力手段により前記実行結果保持手段に出力されるまでの間、複数回、当該出力された実行結果を適用して画像処理を実行する、
   ことを特徴とするプログラム。
8. 請求項７に記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。

Images