WO2014103732A1 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

　本技術は、使用者が注視する物体の画像を適切に撮像できるようにする画像処理装置および画像処理方法、並びにプログラムに関する。 使用者は、眼鏡型フレーム３５からなる撮像装置１１を装着し、視線検出部３２－１，３２－２は、使用者の瞳を撮像して制御部３３に供給する。制御部３３は、視線検出部３２－１，３２－２により撮像された使用者の瞳の位置に基づいて視線方向を特定する。撮像機構部３４は、撮像した画像を制御部３３に供給する。制御部３３は、視線方向に特定される注視領域を推定する。さらに、制御部３３は、時系列の注視領域より、制御対象となる被写体からなる対象領域を特定する。そして、制御部３３は、撮像機構部３４の光学系ブロックを制御して、対象領域の中心が合焦するように撮像させる。本技術は、眼鏡型撮像装置に適用することができる。

Description

画像処理装置および画像処理方法、並びにプログラム

　本技術は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、使用者が注視する物体の画像をより適切に撮像、または表示できるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

　画像を撮像、または表示するに当たり、使用者を支援する支援技術が提案されている。

　この支援技術としては、例えば、画像を撮像する際、自動的に画像内の所定の物体に対して、焦点を合わせる技術が提案されている（特許文献１参照）。この他にも、使用者が視聴する画像内における所定の物体が中心となるように画像をズームさせる技術なども提案されている。

特開２０１２－１３７６００号公報

　しかしながら、上述した技術においては、制御対象となる所定の物体が、使用者の意図した被写体とは異なることがあり、使用者が意図しない制御対象に基づいた画像処理が施された状態で画像が撮像される、または、表示されることがあった。

　本技術はこのような状況に鑑みてなされたものであり、特に、使用者の視線方向を検出することで、使用者が意図する被写体を、画像内における制御対象として的確に捕らえ、捕らえた制御対象に基づいて適切に画像を処理することで、使用者の意図を適切に反映した画像の撮像、および表示を実現するものである。

　本技術の一側面の画像処理装置は、画像に対する使用者の視線方向を検出する視線方向検出部と、前記視線方向検出部により検出された視線方向と、前記画像とに基づいて、前記画像内における注視領域を推定する推定部と、前記推定部により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体を検出する追跡物体検出部と、前記追跡物体検出部により検出された追跡物体を検索してトラッキングするトラッキング部と、前記トラッキング部によりトラッキングされた前記追跡物体の画像を制御する画像制御部とを含む。

　前記追跡物体検出部には、前記推定部により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体として、顔画像を検出させるようにすることができる。

　前記追跡物体検出部には、前記推定部により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体として、特定物体を検出させるようにすることができる。

　前記画像処理装置は、眼鏡型の撮像装置とすることができ、前記眼鏡型の撮像装置を掛けたとき、前記使用者が見ることができる視野からなる画像を撮像する撮像部をさらに含ませるようにすることができ、前記視線方向検出部には、前記眼鏡型の撮像装置を掛けたときに、前記使用者が見ることができる視野からなる画像に対する使用者の視線方向を検出させ、前記画像制御部には、前記トラッキング部によりトラッキングされた前記追跡物体の画像を前記撮像部で最適に撮像できるように制御させるようにすることができる。

　前記画像処理装置には、前記使用者により手持ちで撮像に使用される撮像装置とすることができ、前記画像を撮像する撮像部と、前記撮像部により撮像される画像を覗くビューファインダとをさらに含ませるようにすることができ、前記視線方向検出部には、前記撮像部により撮像された画像に対する、ビューファインダを覗く、前記使用者の視線方向を検出させ、前記画像制御部には、前記トラッキング部によりトラッキングされた前記追跡物体の画像を前記撮像部で最適に撮像できるように制御させるようにすることができる。

　画像を再生する再生部と、前記再生部により再生された画像を処理して表示部に表示させる画像処理部とをさらに含ませるようにすることができ、前記視線方向検出部には、前記表示部に表示された画像を前記使用者が視聴するときの、前記使用者の視線方向を検出させ、前記画像処理部には、前記トラッキング部によりトラッキングされた前記追跡物体の画像を最適に表示できるように前記再生部により再生された画像を処理して前記表示部に表示させるようにすることができる。

　前記視線方向検出部は、前記眼鏡型の装置とすることができ、前記眼鏡型の装置を掛けたときに、前記使用者が見ることができる視野からなる画像に対する使用者の視線方向を検出させるようにすることができる。

　本技術の一側面の画像処理方法は、画像に対する使用者の視線方向を検出する視線方向検出処理をし、前記視線方向検出処理により検出された視線方向と、前記画像とに基づいて、前記画像内における注視領域を推定する推定処理をし、前記推定処理により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体を検出する追跡物体検出処理をし、前記追跡物体検出処理により検出された追跡物体を検索してトラッキングするトラッキング処理をし、前記トラッキング処理によりトラッキングされた前記追跡物体の画像を制御する画像制御処理をするステップを含む。

　本技術の一側面のプログラムは、画像に対する使用者の視線方向を検出する視線方向検出ステップと、前記視線方向検出ステップの処理により検出された視線方向と、前記画像とに基づいて、前記画像内における注視領域を推定する推定ステップと、前記推定ステップの処理により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体を検出する追跡物体検出ステップと、前記追跡物体検出ステップの処理により検出された追跡物体を検索してトラッキングするトラッキングステップと、前記トラッキングステップの処理によりトラッキングされた前記追跡物体の画像を制御する画像制御ステップとを含む処理をコンピュータに実行させる。

　本技術の一側面においては、画像に対する使用者の視線方向が検出され、検出された視線方向と、前記画像とに基づいて、前記画像内における注視領域が推定され、推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体が検出され、検出された追跡物体が検索されてトラッキングされ、トラッキングされた前記追跡物体の画像が制御される。

　本技術の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

　本技術の一側面によれば、使用者が意図する被写体を適切に選択し、画像内における制御対象として、画像を処理することで、使用者の意図を適切に反映した画像の撮像、および表示を実現することが可能となる。

本技術を適用した撮像装置の第１の実施の形態の外観構成例を示す図である。 図１の撮像装置の構成例を説明する機能ブロック図である。 図１，図２の撮像装置によるトラッキング撮像処理を説明するフローチャートである。 図１，図２の撮像装置によるトラッキング撮像処理を説明する図である。 図１の撮像装置の変形例となる構成例を示す外観図である。 本技術を適用した再生処理システムの第２の実施の形態の構成例を示す外観図である。 図６の再生処理システムを構成する各装置の構成例を説明する機能ブロック図である。 図６，図７の再生処理システムによるトラッキング再生処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。

　以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．　第１の実施の形態（眼鏡型の撮像装置を用いた一例）
２．　変形例（通常の撮像装置を用いたときの一例）
３．　第２の実施の形態（再生装置を用いたときの一例）

＜１．第１の実施の形態＞
＜撮像装置の構成例＞
　図１は、本技術を適用した撮像装置の外観構成例を示す図である。また、図２は、本技術を適用した撮像装置を実現するための機能を示す機能ブロック図である。図１の撮像装置は、眼鏡型の撮像装置であり、使用者は、眼鏡を掛けるようにして装着すると、装着した眼鏡越しに見える視界の画像を撮像する。この際、図１の撮像装置は、使用者の視線方向を検出することで、使用者の画像内における注視領域を推定し、推定した注視領域の情報から、使用者が注視している被写体を制御対象として特定し、特定した制御対象となる被写体をトラッキングしながら焦点を合わせて画像を撮像する。

　より詳細には、図１の撮像装置１１は、透過型ディスプレイ３１－１，３１－２、視線検出部３２－１，３２－２、制御部３３、撮像機構部３４、および眼鏡型フレーム３５より構成されている。尚、透過型ディスプレイ３１－１，３１－２、および視線検出部３２－１，３２－２について、特に区別する必要が無い場合、単に、透過型ディスプレイ３１、および、視線検出部３２と称するものとし、その他の構成についても同様に称するものとする。

　透過型ディスプレイ３１は、通常の眼鏡型フレーム３５における眼鏡レンズに代えて設けられた構成であり、例えば、有機EL（Electro-Luminescence）などで構成されており、動作の全体が制御部３３により制御されている。透過型ディスプレイ３１は、使用者が眼鏡型の撮像装置１１を、眼鏡を掛ける場合と同様の要領で使用することにより、使用者は、透過型ディスプレイ３１を透過する光、すなわち、透過型ディスプレイ３１を透過する景色を見ることができる。また、透過型ディスプレイ３１は、視線検出部３２により検出される視線方向に基づいて、使用者が注視する注視領域を示す注視枠を表示する。このように注視枠が表示されることにより、使用者は、透過して視聴できる景色と対応して、視聴できる景色のうち、どの領域が注視領域となっているのかを認識することができる。さらに、透過型ディスプレイ３１は、時系列に検出される注視領域に基づいて、特定される使用者が注視している被写体となる対象物体からなり、制御対象として特定された物体が存在する領域について対象枠を表示する。このように制御対象となる被写体として特定された物体の存在する領域を示す対象枠が表示されることにより、使用者は、透過して視聴できる景色と対応して、視聴できる景色のうち、どの領域が制御対象として特定された被写体であるのかを認識することができる。すなわち、透過型ディスプレイ３１は、原則的に注視枠、または対象枠を表示するが、その他の領域については透明なままである。

　視線検出部３２は、使用者が眼鏡型フレーム３５を、眼鏡を使用するように掛けたとき、使用者の目の瞳孔の位置を撮像できる撮像装置であり、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）より構成される。視線検出部３２は、例えば、視線方向を認識するために必要となる瞳孔の位置の動きが捕らえられた視線画像を制御部３３に供給する。

　撮像機構部３４は、眼鏡型フレーム３５における左右の透過型ディスプレイ３１－１，３１－２の間であって、装着する使用者に対して対向する方向を撮像するように設けられている。撮像機構部３４は、撮像した画像を制御部３３に供給する。また、撮像機構部３４により撮像される画像の画角は、使用者が眼鏡型の撮像装置１１を装着したとき、透過型ディスプレイ３２－１，３２－２越しに見える視野と同様である。従って、使用者は、この撮像装置１１を装着する場合、透過型ディスプレイ３１－１，３１－２越しの視野そのものを視聴することで、撮像機構部３４により撮像される画像をモニタすることができる。

　さらに、制御部３３は、図２で示されるように、視線認識部５１、注視領域推定部５２、注視領域特定部５３、制御対象検出部５４、制御対象トラッキング部５５、および光学系ブロック制御部５６を備えている。また、撮像機構部３４は、絞り、および各種のレンズからなる光学系ブロック７１、並びに、CCDやCMOSなどからなる撮像部７２を備えている。

　また、視線認識部５１は、視線検出部３２－１，３２－２より供給されてくる使用者の瞳孔の位置を示す視線画像を取得して、視線方向を認識し、視線方向の情報を注視領域推定部５２に供給する。

　より詳細には、視線認識部５１は、視線移動時系列パターン解析部６１を備えており、時系列の視線画像に基づいて、視線方向の移動パターンを時系列に解析し、解析結果である視線方向の移動パターンの情報と、視線方向の情報とを注視領域推定部５２に供給する。

　視線方向の時系列のパターンには、複数のパターンがあり、例えば、固視（fixation）、滑動性追従運動（pursuit）、および衝動性眼球運動（saccade）などがある。ここで、固視とは、眼球が動かずじっとしている状態を示すパターンである。また、滑動性追従運動とは、視覚対象物が動いているとき、眼球がその動きを追従してゆっくり動き、注視を続けるパターンである。さらに、衝動性眼球運動は、素早く視線を切り替える視線方向のパターンである。

　これらのパターンのうち、固視、および滑動性追従運動からなるパターンは、使用者が自らの目で自らが興味を持った被写体を注視している時系列パターンであるものと見なされている。そこで、注視領域推定部５２は、この視線方向の時系列のパターンが固視、または滑動性追従運動である場合、そのときに対象物を注視しているものとみなし、そのときの視線方向に基づいて注視領域を推定する。

　より詳細には、注視領域推定部５２は、視線方向の移動パターンが固視、または滑動性追従運動である場合、視線認識部５１より供給されてくる視線方向の情報に基づいて、撮像機構部３４のうち、CCDやCMOSなどから構成されている撮像部７２により撮像された視線画像により、注視領域を推定し、推定結果となる注視領域の情報を注視領域特定部５３に供給する。

　注視領域特定部５３は、注視領域推定部５２により供給されてくる推定結果である注視領域の情報に基づいて、注視領域を特定し、特定した注視領域の位置を示す情報を制御対象検出部５４、および枠表示制御部５７に供給する。

　制御対象検出部５４は、注視領域として特定された情報に基づいて、画像内における制御対象となる被写体の存在する領域を検出し、制御対象となる被写体の存在する領域からなる画像を制御対象トラッキング部５５に供給する。

　制御対象トラッキング部５５は、画像内における制御対象となる被写体の存在する領域の情報を、撮像機構部３４の撮像部７２により撮像された画像内から時系列に検索することによりトラッキングする。そして、制御対象トラッキング部５５は、トラッキングしている制御対象となる画像内の物体の領域の位置を示す情報を光学系ブロック制御部５６、および枠表示制御部５７に供給する。

　光学系ブロック制御部５６は、制御対象となる画像内の被写体に焦点が合うように、撮像機構部３４に設けられている光学系ブロック７１を制御して、制御対象となる画像内の被写体に合焦した状態で撮像部７２により画像が撮像されるように制御する。

　枠表示制御部５７は、注視領域特定部５３より供給されてくる注視領域の情報、および撮像部７２により撮像された画像に基づいて、透過型ディスプレイ３１を制御して、注視領域に対応する透過型ディスプレイ上の位置に点線からなる矩形状の注視枠を表示する。また、枠表示制御部５７は、制御対象トラッキング部５５より制御対象となる画像内の被写体の位置の情報、および撮像部７２により撮像された画像に基づいて、透過型ディスプレイ３１を制御して、制御対象となる被写体の存在する位置に対応する透過型ディスプレイ３１上の位置に実線からなる矩形状の対象枠を表示する。

　記憶部５８は、例えば、半導体メモリなどからなり、撮像機構部３４の撮像部７２により撮像された画像のデータを所定の圧縮形式で圧縮すると共に、記憶する。また、記憶部５８は、必要に応じて、記憶した画像のデータを読み出して図示せぬ表示部等に表示する。

＜図１，図２の撮像装置によるトラッキング撮像処理＞
　次に、図３のフローチャートを参照して、図１，図２の撮像装置１１によるトラッキング撮像処理について説明する。

　ステップＳ１１において、撮像機構部３４は、撮像部７２を制御して、光学系ブロック７１を介して入射する光により構成される画像を撮像し、撮像した画像を順次記憶部５８に記憶させると共に、注視領域推定部５２、制御対象トラッキング部５５、および枠表示制御部５７に供給する。この際、撮像された画像は、所定の圧縮方式で圧縮されて記憶部５８に記憶される。

　ステップＳ１２において、枠表示制御部５７は、制御対象トラッキング部５５より制御対象となる被写体の画像が存在する画像内における領域の情報が供給されてきているか否かに基づいて、制御対象がトラッキングされているか否かを判定する。ステップＳ１２において、制御対象となる被写体の画像がトラッキングされていないと見なされた場合、処理は、ステップＳ１３に進む。

　ステップＳ１３において、視線検出部３２－１，３２－２は、それぞれ眼鏡型フレーム３５を装着している使用者の左右の目の瞳の位置を示す視線画像を撮像し、撮像した視線画像を順次視線認識部５１に供給する。

　ステップＳ１４において、視線認識部５１は、視線移動時系列パターン解析部６１を制御して、時系列の視線画像に基づいて、視線方向の移動パターンを解析させ、視線方向の時系列の情報、および視線の移動パターンの解析結果を注視領域推定部５２に供給させる。

　ステップＳ１５において、注視領域推定部５２は、視線移動のパターンが、固視、または滑動性追従運動であるか否か、すなわち、使用者が特定の被写体を注視しているか否かを判定する。ステップＳ１５において、例えば、固視、または、滑動性追従運動であると認められた場合、使用者が特定の被写体を注視しているものとみなし、処理は、ステップＳ１６に進む。

　ステップＳ１６において、注視領域推定部５２は、視線方向の情報に基づいて、撮像機構部３４の撮像部７２により撮像された画像内における注視領域を構成する中心位置を推定し、推定結果である注視領域の中心位置の情報を注視領域特定部５３に供給する。

　ステップＳ１７において、注視領域特定部５３は、注視領域推定部５２より供給されてくる注視領域の中心位置に基づいて、撮像部７２により撮像される画像における矩形状の注視領域を特定し、制御対象検出部５４、および枠表示制御部５７に供給する。この処理に応じて、枠表示制御部５７は、透過型ディスプレイ３１上で、使用者が透過型ディスプレイ３１を透過して目視する可能な範囲内において、特定された注視領域に対応する領域を囲むように、点線からなる注視枠を、所定時間だけ表示させる。

　ステップＳ１８において、制御対象検出部５４は、直近の所定数の注視領域の情報に基づいて、制御対象となる被写体、すなわち、使用者が興味を持って視線を送る被写体を検出する。制御対象検出部５４は、例えば、図４の上段で示されるように、現在の時刻Ｔ＝０乃至－４における各タイミングにおける撮像部７２により撮像される画像Ｐ０乃至Ｐ４、および、それぞれの注視領域Ｅ０乃至Ｅ４の画像に基づいて、制御対象となる被写体の存在する領域Ｔを求める。尚、画像Ｐ０乃至Ｐ４は、時系列に撮像部７２により撮像された画像であると同時に、使用者が眼鏡型フレーム３５を装着し、透過型ディスプレイ３１を介して視認される景色である。また、各注視領域Ｅ０乃至Ｅ４におけるＣ０乃至Ｃ４は、視線方向に基づいて推定された注視領域の中心位置である。したがって、注視領域Ｅ０乃至Ｅ４は、視線方向の位置Ｃ０乃至Ｃ４を中心として特定された矩形領域である。

　また、この注視領域Ｅ０乃至Ｅ４は、所定時間だけ透過型ディスプレイ３１上に表示されることにより、使用者の視野内において、透過型ディスプレイ３１を介して見える景色に対応して注視枠として視認されるものである。従って、以降においては、注視領域Ｅ０乃至Ｅ４を囲む点線の枠については、注視枠Ｅ０乃至Ｅ４とも称する。すなわち、図４の上段における画像Ｐ０乃至Ｐ４おいては、二人の人物が図中の右方向に走っている画像が示されているが、使用者には、その画像のうち、二人の人物が走っている姿と、その背景とが、透過型ディスプレイ３１を透過した光により視認できる景色となる。また、この視認できる景色が、撮像部７２により撮像される画像そのものとなる。そして、使用者の視線方向の情報に基づいて、透過型ディスプレイ３１上に点線からなる注視枠Ｅ０乃至Ｅ４が表示されることにより、使用者は、注視枠Ｅ０乃至Ｅ４を景色に重ね合わせて注視している被写体の存在する領域として視認することができる。

　さらに、制御対象検出部５４は、図４の中段部で示されるように、画像Ｐ０乃至Ｐ４から注視枠Ｅ０乃至Ｅ４で示される領域の画像を抽出し、図４の下段で示されるように、それぞれの同一部分を重ね合わせるようにして制御対象となる被写体が存在する領域、すなわち対象領域Ｔを検出する。このとき、制御対象検出部５４は、注視枠Ｅ０乃至Ｅ４で示される領域の画像の同一部分を重ね合わせるようにして、制御対象となる被写体として、例えば、顔画像や車輌の画像などの特定物体を検出することにより、制御対象となる被写体の存在する領域を対象領域として検出する。

　ステップＳ１９において、制御対象検出部５４は、制御対象となる被写体が存在する対象領域が検出できたか否かを判定する。より詳細には、制御対象検出部５４は、直近の所定数の画像より抽出される注視枠が重ね合わされる領域の面積が、対象領域Ｔとして設定されている大きさに対して所定の割合より大きな面積よりも小さければ、直近の複数の画像における注視枠で設定される領域が定まっている、すなわち、使用者の視線方向が制御対象となる被写体に定まっているものとみなし、対象領域が検出されているものとみなされる。

　ステップＳ１９において、例えば、対象領域が検出されている、すなわち、使用者の視線方向が制御対象となる被写体に定まっているものとみなされた場合、処理は、ステップＳ２０に進む。

　ステップＳ２０において、制御対象検出部５４は、検出した対象領域の画像情報を制御対象トラッキング部５５に供給する。制御対象トラッキング部５５は、対象領域の画像情報を取得すると共に、撮像部７２より供給されてきた画像内より、対象領域の画像を検索する。そして、制御対象トラッキング部５５は、対象領域の画像を検索することでトラッキングし、トラッキング結果となる対象領域の画像が検索された、画像内の領域を示す情報を光学系ブロック制御部５６、および枠表示制御部５７に供給する。

　ステップＳ２１において、枠表示制御部５７は、トラッキングされた対象枠の画像が検索された領域の情報に基づいて、透過型ディスプレイ３１上にトラッキングされた対象枠の画像が検索された領域を囲むような実線からなる対象枠を所定時間だけ表示する。尚、対象領域Ｔを囲む実線の対象枠については、以降において対象枠Ｔとも称するものとする。すなわち、図４の場合、時刻Ｔ＝０である現在の画像Ｐ０上に、対象枠Ｔが表示される。図４の上段においては、画像Ｐ０内の２人の右方向に走っている人物のうち、左側の人物を取り囲むように対象枠Ｔが表示されている。このように表示されることにより、今現在、使用者は、２人の走っている人物のうち、左側に存在する人物に興味を持って視線を送っていることを認識することが可能となる。

　ステップＳ２２において、光学系ブロック制御部５６は、撮像機構部３４の光学系ブロック７１を制御して、撮像される画像のうち、制御対象がトラッキングされた画像内の中心付近に合焦するように焦点を調整するように制御する。すなわち、図４の場合、対象枠Ｔがトラッキングされることにより、対象枠Ｔの中心位置Ｔ’に合焦されるように、光学系ブロック７１が制御されることになり、対象枠Ｔ内の被写体に焦点があった画像を撮像することが可能となる。

　ステップＳ２３において、図示せぬ操作部が操作されて動作の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ２３において、終了が指示された場合、処理は、終了する。

　一方、ステップＳ１２において、制御対象がトラッキングされているとみなされた場合、ステップＳ１３乃至Ｓ１８の処理がスキップされて、処理は、ステップＳ１９に進む。すなわち、制御対象がトラッキングされているということは、既に、使用者が興味を持って視線を向けている制御対象となる被写体が検出されて、焦点を調節することが可能な状態であるので、注視領域などを特定するための処理は不要となるため、ステップＳ１３乃至Ｓ１８の処理がスキップされる。

　また、ステップＳ１５において、視線移動のパターンが固視、または滑動性追従運動ではない場合、または、ステップＳ１９において、制御対象が検出されない場合、制御対象が検索できないとみなして、処理は、ステップＳ２３に進む。

　以上の処理により、使用者は、自ら焦点を合わせたい制御対象となる被写体に対して視線方向を向けるだけで、焦点を合わせて、撮像することが可能となる。特に、図１，図２で示されるような眼鏡型の撮像装置１１であるような場合、制御対象となる被写体を特定するための操作等をするための構成を設けるようにしても、操作し易い位置に操作部等を設けることが困難である。また、操作性を優先して操作部を設けるようにすることで、デザイン性を損なう恐れもある。そこで、このように特別な操作部を設けることなく、視線方向で合焦位置を変えられるようにすることで、操作性、およびデザイン性を低減させることなく、使用者の意図に合った合焦位置で画像を撮像することが可能となる。

　また、以上においては、使用者が興味を持つ制御対象を視線方向から特定し、特定した制御対象となる被写体が存在する位置が、合焦されるように光学系ブロックを制御する例について説明してきたが、検索された制御対象となる被写体の存在する領域に基づいて、その他の撮像制御をしてもよく、例えば、制御対象となる被写体の存在する領域をズームアップするように光学系ブロックを制御してもよい。

＜２．変形例＞
＜撮像装置のその他の構成例＞
　以上においては、眼鏡型の撮像装置を用いた例について説明してきたが、当然のことながら、一般的に使用されている手持ちの撮像装置に対して応用するようにしても同様の効果を奏するものである。

　すなわち、図５で示されるように、手持ちの撮像装置１０１は、LCDや有機ELなどからなる表示部１３１、視線検出部３２と同様の機能からなる視線検出部１３２、制御部３３と略同様の機能を備えた本体１３３、および撮像機構部３４と同様の撮像機構部１３４より構成される。

　尚、図５においては、図中の右側が撮像機構部１３４を正面とした正面外観図であり、図中の左部が、図中右側の背面からなる背面外観図である。表示部１３１は、撮像機構部１３４により撮像された画像に、透過型ディスプレイ３１により表示される注視枠、および対象枠の画像が合成された画像を表示する。また、覗き窓１３１’には、表示部１３１に表示される画像と同様の画像が、使用者が覗き見ることで視聴可能な小型の画像として表示される。表示部１３１は、点線Ｘで示される位置を軸として矢印方向に回動することが可能とされており、表示部１３１が本体１３３側に収納された状態では、表示部１３１の表示は停止された状態となる。

　しかしながら、覗き窓１３１’は、いわゆるビューファインダと呼ばれるものであり、小型のLCDまたは有機ELが設けられており、表示部１３１で表示される画像と同様の画像が表示されるものである。このため、使用者が右眼、または左眼で覗き窓１３１’を覗き込むことにより、表示部１３１で表示される画像と同一の画像を視聴することができる。また、この覗き窓１３１’には、その内側から使用者の視線方向を認識するための瞳の位置を示す視線画像を撮像する視線検出部１３２が設けられている。このため、使用者は、この覗き窓１３１’を覗きながら撮像処理を実行させると、図１，図２における撮像装置１１と同様に、視線方向に基づいて注視領域が推定されて注視枠が表示された後、さらに、制御対象となる被写体が特定されて対象枠が表示される。さらに、対象枠の領域に対応する画像内の位置に存在する被写体に合焦するように、図示せぬ光学系ブロックが制御される。

　結果として、手持ち型の図５で示されるような撮像装置１０１においても、図１，図２で示される撮像装置１１と同様の作用効果を奏することが可能となる。

　尚、図５の撮像装置１０１においては、基本的な機能については、図１，図２の撮像装置１１と同様であるので、ブロック図については省略するものとする。また、図５の撮像装置１０１によるトラッキング撮像処理についても、図３のフローチャートを参照して説明した処理と略同様であるので、その説明については省略するものとする。

＜３．第２の実施の形態＞
＜再生システムの構成例＞
　以上においては、撮像装置によりトラッキング撮像処理をすることで、使用者が所望とする被写体に視線方向を変えるだけで制御対象となる被写体が特定されて、特定された被写体を示す対象枠が表示されると共に、撮像される画像内における対象枠の中心付近に合焦するように光学ブロックが制御された状態で画像を撮像することができる例について説明してきた。しかしながら、視線方向に基づいて、使用者が興味を示す対象物をトラッキングすることができるので、同様の手法により、再生処理において、再生されている画像内から使用者が興味を示す制御対象となる被写体を検索し、検索された制御対象となる被写体をトラッキングして、適切な画像処理を施して表示するようにしてもよい。

　図６は、再生処理において、使用者が興味を持つ制御対象となる被写体が存在する対象領域の中心としてズームアップした画像を生成して表示するようにした再生処理システムを示している。また、図７は、図６の再生処理システムを構成する各装置を実現させるための機能を示すための機能ブロック図である。

　図６の再生処理システムは、眼鏡型視線検出装置２０１、再生装置２０２、および表示部２０３より構成されている。

　眼鏡型視線検出装置２０１は、外観は図１の眼鏡型の撮像装置１１と類似したものであるが、さらに、対象領域の情報を再生装置２０２に送信する機能を備えている。再生装置２０２は、眼鏡型視線検出装置２０１より送信されてきた対象領域の情報に基づいて、再生する画像における、対象領域を検索し、検索された対象領域の中心位置を中心として画像を所定の倍率だけズームアップした画像を生成して表示部２０３に表示させる。

　尚、透過型ディスプレイ２３１－１，２３１－２、視線検出部２３２－１，２３２－２、制御部２３３、および撮像機構部２３４は、それぞれ撮像装置１１の透過型ディスプレイ３１－１，３１－２、視線検出部３２－１，３２－２、制御部３３、および撮像機構部３４に対応するものであり、基本的に同様の機能を備えたものであるので、その説明は省略するものとする。ただし、制御部２３３においては、撮像部７２により撮像される画像内における表示部２０３の表示位置を検出する表示位置検出部２５１、および対象領域の情報を再生装置２０２に送信する通信部２５２が新たに設けられている。また、ここでは、撮像機構部２３４により撮像される画像は、制御対象となる被写体の存在する対象領域を特定するために使用される以外に使用されることはなく、撮像された画像は基本的に記録されないものとする。

　再生装置２０２は、再生が指示された画像を再生して、表示部２０３に表示する。より詳細には、再生装置２０２は、記憶部２７１、再生部２７２、画像処理部２７３、および通信部２７４を備えている。記憶部２７１は、再生すべき画像データを記憶しており、必要に応じて再生部２７２に供給する。再生部２７２は、記憶部２７１より読み出した画像データに基づいて、画像を再生し、再生した画像の情報を画像処理部２７３に供給する。画像処理部２７３は、再生部２７２より供給されてくる画像のうち、通信部２７４を介して眼鏡型視線検出装置２０１からの表示部２０３の表示位置の情報、および対象領域の中心位置に基づいて、対象領域の中心位置を基準として、所定の倍率で拡大した画像を生成して表示部２０３に表示させる。

＜図６，図７の再生処理システムによるトラッキング再生処理＞
　次に、図８のフローチャートを参照して、図６，図７の再生処理システムによるトラッキング再生処理について説明する。尚、図８のフローチャートにおけるステップＳ４１乃至Ｓ５２，Ｓ５５の処理は、図３のフローチャートにおけるステップＳ１１乃至Ｓ２３の処理と同様であるので、その説明は省略するものとする。また、基本的には、再生装置２０２に対して、図示せぬ操作部等により何らかの画像データの再生指示がなされており、ステップＳ７１の処理により、再生装置２０２により画像データの再生がなされ、表示部２０３に再生された画像が表示される処理が最初に実行される。

　すなわち、ステップＳ７１において、再生部２７２は、記憶部２７１に記憶されている画像データのうち、図示せぬ操作部等により指定された画像データを読み出して、画像を再生し画像処理部２７３に供給する。画像処理部２７３は、再生部２７２より供給されてくる画像を、そのまま表示部２０３に表示させる。

　そして、ステップＳ４１乃至Ｓ５２の処理により、対象領域が特定されると、ステップＳ５３において、表示位置検出部２５１は、撮像部７２により撮像された画像より、表示部２０３の表示面の位置を検出し、通信部２５２に供給する。さらに、ステップＳ５４において、通信部２５２は、表示部２０３の表示位置の情報、および制御対象トラッキング部５５より供給されてきた対象領域の情報を再生装置２０２に送信する。

　ステップＳ７２において、通信部２７４は、眼鏡型視線検出装置２０１より対象領域の情報が送信されてきたか否かを判定する。ステップＳ７２において、眼鏡型視線検出装置２０１より対象領域の情報が送信されていない場合、処理は、ステップＳ７５に進み、処理の終了が指示されているか、または再生が終了していないか否かが判定される。ステップＳ７５において、処理の終了が指示されていない、および再生が終了していない場合、処理は、ステップＳ７２に戻る。また、ステップＳ７５において、処理の終了が指示されている、または再生が終了している場合、処理は終了する。

　一方、ステップＳ７２において、例えば、ステップＳ５４の処理により、対象領域の情報が送信されてきた場合、処理は、ステップＳ７３に進む。

　ステップＳ７３において、通信部２７４は、眼鏡型視線検出装置２０１より供給されてくる、撮像部７２により撮像された表示部２０３の表示位置、および、対象領域の情報を取得して画像処理部２７３に供給する。

　ステップＳ７４において、画像処理部２７３は、撮像部７２により撮像される画像内における表示部２０３の表示位置と、対象領域の情報に基づいて、表示部２０３で表示されている画像内で、使用者の視線方向として特定された対象領域とされる位置を特定する。さらに、画像処理部２７３は、表示部２０３で表示される画像内において、対象領域として特定された領域を中心として、所定の倍率に再生画像をズームアップさせ、表示部２０３に表示させる。

　以上の処理により、使用者は、眼鏡型視線検出装置２０１を装着して、再生される画像を視聴して、自らの興味を持った被写体に対して視線を向けるだけで、興味を持った被写体付近の領域が注視領域として推定され、さらに、注視領域として設定された画像の情報から興味を持った被写体の領域が対象領域として設定される。結果として、対象領域を中心として、所定の倍率でズームアップした画像を視聴することが可能となるので、使用者は、興味を持った被写体を見ているだけで、その被写体を中心としたズームアップ画像を再生画像として視聴することが可能となる。尚、以上においては、対象領域の画像がズームアップされる例について説明してきたが、対象領域に対しては、その他の画像処理を施すようにしてもよく、例えば、対象領域の画像の解像度を高めたり、逆に、低くしたりするようにしてもよい。

　また、以上の例においては、眼鏡型視線検出装置２０１を用いる例について説明してきたが、別途、使用者の瞳の位置を特定する撮像装置を、例えば、表示部２０３の上部などの位置であって、表示部２０３を視聴する使用者に対向する向きに設けるようにして、撮像される画像から使用者の視線方向を特定して同様の処理を実現するようにしてもよい。さらに、注視枠、および対象枠の表示については、透過型ディスプレイ２３１に表示するのではなく、再生画像に合成して、表示部２０３で表示するようにさせてもよい。

　以上の如く、本技術によれば、使用者が注視する物体の画像をより適切に撮像、または表示することが可能となる。

　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

　図９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

　入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　尚、本技術は、以下のような構成も取ることができる。
（１）　画像に対する使用者の視線方向を検出する視線方向検出部と、
　前記視線方向検出部により検出された視線方向と、前記画像とに基づいて、前記画像内における注視領域を推定する推定部と、
　前記推定部により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体を検出する追跡物体検出部と、
　前記追跡物体検出部により検出された追跡物体を検索してトラッキングするトラッキング部と、
　前記トラッキング部によりトラッキングされた前記追跡物体の画像を制御する画像制御部と
　を含む画像処理装置。
（２）　前記追跡物体検出部は、前記推定部により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体として、顔画像を検出する
　（１）に記載の画像処理装置。
（３）　前記追跡物体検出部は、前記推定部により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体として、特定物体を検出する
　（１）または（２）に記載の画像処理装置。
（４）　前記画像処理装置は、眼鏡型の撮像装置であり、
　前記眼鏡型の撮像装置を掛けたとき、前記使用者が見ることができる視野からなる画像を撮像する撮像部をさらに含み、
　前記視線方向検出部は、前記眼鏡型の撮像装置を掛けたときに、前記使用者が見ることができる視野からなる画像に対する使用者の視線方向を検出し、
　前記画像制御部は、前記トラッキング部によりトラッキングされた前記追跡物体の画像を前記撮像部で最適に撮像できるように制御する
　（１）乃至（３）のいずれかに記載の画像処理装置。
（５）　前記画像処理装置は、前記使用者により手持ちで撮像に使用される撮像装置であり、
　前記画像を撮像する撮像部と、
　前記撮像部により撮像される画像を覗くビューファインダとをさらに含み、
　前記視線方向検出部は、前記撮像部により撮像された画像に対する、ビューファインダを覗く、前記使用者の視線方向を検出し、
　前記画像制御部は、前記トラッキング部によりトラッキングされた前記追跡物体の画像を前記撮像部で最適に撮像できるように制御する
　（１）乃至（３）のいずれかに記載の画像処理装置。
（６）　画像を再生する再生部と、
　前記再生部により再生された画像を処理して表示部に表示させる画像処理部とをさらに含み、
　前記視線方向検出部は、前記表示部に表示された画像を前記使用者が視聴するときの、前記使用者の視線方向を検出し、
　前記画像処理部は、前記トラッキング部によりトラッキングされた前記追跡物体の画像を最適に表示できるように前記再生部により再生された画像を処理して前記表示部に表示させる
　（１）に記載の画像処理装置。
（７）　前記視線方向検出部は、前記眼鏡型の装置からなり、前記眼鏡型の装置を掛けたときに、前記使用者が前記表示部を見ることができる視野からなる画像に対する使用者の視線方向を検出する
　（６）に記載の画像処理装置。
（８）　画像に対する使用者の視線方向を検出する視線方向検出処理をし、
　前記視線方向検出処理により検出された視線方向と、前記画像とに基づいて、前記画像内における注視領域を推定する推定処理をし、
　前記推定処理により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体を検出する追跡物体検出処理をし、
　前記追跡物体検出処理により検出された追跡物体を検索してトラッキングするトラッキング処理をし、
　前記トラッキング処理によりトラッキングされた前記追跡物体の画像を制御する画像制御処理をする
　ステップを含む画像処理方法。
（９）　画像に対する使用者の視線方向を検出する視線方向検出ステップと、
　前記視線方向検出ステップの処理により検出された視線方向と、前記画像とに基づいて、前記画像内における注視領域を推定する推定ステップと、
　前記推定ステップの処理により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体を検出する追跡物体検出ステップと、
　前記追跡物体検出ステップの処理により検出された追跡物体を検索してトラッキングするトラッキングステップと、
　前記トラッキングステップの処理によりトラッキングされた前記追跡物体の画像を制御する画像制御ステップと
　を含む処理をコンピュータに実行させるためのプログラム。

　１１　撮像装置，　３１，３１－１，３１－２　透過型ディスプレイ，　３２，３２－１，３２－２　視線検出部，　３３　制御部，　３４　撮像機構部，　５１　視線認識部，　５２　注視領域推定部，　５３　注意領域特定部，　５４　制御対象検検出部，　５５　制御対象トラッキング部，　５６　光学系ブロック制御部，　５７　枠表示制御部，　５８　記憶部，　６１　視線移動時系列パターン解析部，　７１　光学系ブロック，　７２　撮像部，　２０１　眼鏡型視線検出装置，　２０２　再生装置，　２０３　表示部，　２３１，２３１－１，２３１－２　透過型ディスプレイ，　２３２，２３２－１，２３２－２　視線検出部，　２３３　制御部，　２３４　撮像機構部，　２５１　表示位置検出部，　２５２　通信部，　２７１　記憶部，　２７２　再生部，　２７３　画像処理部，　２７４　通信部

Claims (9)

1. 　画像に対する使用者の視線方向を検出する視線方向検出部と、
   　前記視線方向検出部により検出された視線方向と、前記画像とに基づいて、前記画像内における注視領域を推定する推定部と、
   　前記推定部により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体を検出する追跡物体検出部と、
   　前記追跡物体検出部により検出された追跡物体を検索してトラッキングするトラッキング部と、
   　前記トラッキング部によりトラッキングされた前記追跡物体の画像を制御する画像制御部と
   　を含む画像処理装置。
2. 　前記追跡物体検出部は、前記推定部により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体として、顔画像を検出する
   　請求項１に記載の画像処理装置。
3. 　前記追跡物体検出部は、前記推定部により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体として、特定物体を検出する
   　請求項１に記載の画像処理装置。
4. 　前記画像処理装置は、眼鏡型の撮像装置であり、
   　前記眼鏡型の撮像装置を掛けたとき、前記使用者が見ることができる視野からなる画像を撮像する撮像部をさらに含み、
   　前記視線方向検出部は、前記眼鏡型の撮像装置を掛けたときに、前記使用者が見ることができる視野からなる画像に対する使用者の視線方向を検出し、
   　前記画像制御部は、前記トラッキング部によりトラッキングされた前記追跡物体の画像を前記撮像部で最適に撮像できるように制御する
   　請求項１に記載の画像処理装置。
5. 　前記画像処理装置は、前記使用者により手持ちで撮像に使用される撮像装置であり、
   　前記画像を撮像する撮像部と、
   　前記撮像部により撮像される画像を覗くビューファインダとをさらに含み、
   　前記視線方向検出部は、前記撮像部により撮像された画像に対する、ビューファインダを覗く、前記使用者の視線方向を検出し、
   　前記画像制御部は、前記トラッキング部によりトラッキングされた前記追跡物体の画像を前記撮像部で最適に撮像できるように制御する
   　請求項１に記載の画像処理装置。
6. 　画像を再生する再生部と、
   　前記再生部により再生された画像を処理して表示部に表示させる画像処理部とをさらに含み、
   　前記視線方向検出部は、前記表示部に表示された画像を前記使用者が視聴するときの、前記使用者の視線方向を検出し、
   　前記画像処理部は、前記トラッキング部によりトラッキングされた前記追跡物体の画像を最適に表示できるように前記再生部により再生された画像を処理して前記表示部に表示させる
   　請求項１に記載の画像処理装置。
7. 　前記視線方向検出部は、前記眼鏡型の装置からなり、前記眼鏡型の装置を掛けたときに、前記使用者が前記表示部を見ることができる視野からなる画像に対する使用者の視線方向を検出する
   　請求項６に記載の画像処理装置。
8. 　画像に対する使用者の視線方向を検出する視線方向検出処理をし、
   　前記視線方向検出処理により検出された視線方向と、前記画像とに基づいて、前記画像内における注視領域を推定する推定処理をし、
   　前記推定処理により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体を検出する追跡物体検出処理をし、
   　前記追跡物体検出処理により検出された追跡物体を検索してトラッキングするトラッキング処理をし、
   　前記トラッキング処理によりトラッキングされた前記追跡物体の画像を制御する画像制御処理をする
   　ステップを含む画像処理方法。
9. 　画像に対する使用者の視線方向を検出する視線方向検出ステップと、
   　前記視線方向検出ステップの処理により検出された視線方向と、前記画像とに基づいて、前記画像内における注視領域を推定する推定ステップと、
   　前記推定ステップの処理により推定された時系列の注視領域に基づいて、前記使用者の視線により追跡している、前記画像内の追跡物体を検出する追跡物体検出ステップと、
   　前記追跡物体検出ステップの処理により検出された追跡物体を検索してトラッキングするトラッキングステップと、
   　前記トラッキングステップの処理によりトラッキングされた前記追跡物体の画像を制御する画像制御ステップと
   　を含む処理をコンピュータに実行させるためのプログラム。

Images