JP4511821B2 - 画像中の重要領域決定方法、プログラムおよび装置 - Google Patents

Description

本発明は、画像中の重要領域を決定する画像処理方法に関する。

今日では、多くのディジタルイメージングシステムが利用できる。これらのディジタルイメージングシステムは、ディジタル画像撮影システムを使用して直接ディジタル画像を撮影し、あるいはアナログまたは光化学イメージングシステムによって撮影した画像をディジタル化し、ディジタルイメージングファイルを作成する。ディジタルイメージファイルは、ディジタル画像処理によって処理し、電子ディスプレイに表示し、またはディジタルプリンティングシステムによってプリントすることができる。ディジタル画像を撮影する一般的な装置はディジタルカメラであり、例えば、イーストマンコダック社（米国ニューヨーク州ロチェスター）製のＤＸ３９００などである。画像は、ディジタルスキャニングシステム、例えばイーストマンコダック社のピクチャーメーカーキオスクに内蔵されたスキャナまたはその他の周知のフィルムまたはプリントイメージスキャナによって、ディジタル化してもよい。

ディジタル画像の利点の１つは、ユーザがマニュアルディジタル画像処理及び編集ツール、例えばイーストマンコダック社（米国ニューヨーク州ロチェスター）から販売されるコダックピクチャＣＤソフトウェアに提供されるクロップ及びズームツールなどを適用し、ディジタル画像の外観を改善できることである。これらの画像編集ツールにより、ユーザは画像をクロップし、その画像中の物体の相対的な重要度を変えることができる。例えば、ユーザは画像をクロップして重要な要素を強調したり、画像内の重要でない、あるいは紛らわしい（distracting）要素を取り除いたりできる。ユーザが重要だと考える画像の部分に別の画像修正ツールを効果的に用いることもできる。しかしながら、これらのツールは一般に、編集される各画像において何が重要であるかをユーザが手動で指定することを要求するため、多くのユーザがこの処理を時間の浪費であると考え、この結果ほとんど画像は編集されない。

自動及び半自動画像処理及び編集アルゴリズムも知られている。これらを適用することによって、ユーザが手動で入力しなくてもディジタ画像の品質を高めることができる。これらの自動及び半自動画像処理アルゴリズムは、画像の内容を分析し、ユーザが何を画像の重要要素と判断する可能性があるかについてさまざまな仮定を適用する。例えば、既知の肌色に近い色の大きい楕円形状の物体を撮影者にとって重要であると仮定することができる。そして、例えば、大きな楕円の顔の形をした物体が、画像の中心または周知の芸術的慣例から構図的に（compositionally）重要であると思われる他の画像部分の近くに位置する場合、仮定された重要度を上げることができる。さらに、ディジタル画像を形成するディジタルデータの周波数分析を利用して、より重要であると思われる画像の要素を識別することができる。例えば、本願と同一出願人による、"Method For Automatic Determination of Main Subjects in Photographic Images"の表題を有する米国特許第６，２８２，３１７号（ルオ他（Luo et al.）により１９９８年１２月３１日に出願）及び"Method and Computer Program Product for Subjective Image Content Similarity ？based Retrieval"の表題を有する米国特許第６，３４５，２７４号（ズー他（Zhu et al.）により１９９８年６月２９日に出願）参照のこと。これらのアルゴリズムは、撮影した画像の視覚的要素の分析にもとづき、画像において何が重要であるかについて仮定する。ただし、このようなアルゴリズムは、撮影者の意図を反映する撮影者の撮影能力に少なくとも部分的に依存することになる。

撮影者が画像中の何を重要と判断したかがわかれば、他の目的にも役立つ。例えば、画像を検索する際、撮影者は手動で画像を選り分けるか、またはテキストベースの画像に関する記述を手動入力して画像検索を実現しなければならない。もちろん、類似する画像を識別可能にする模範画像を撮影者が提供することが好ましい。上記の’２７４特許には、模範に似た画像を識別することによって画像が検索できる画像処理アルゴリズムが記載されている。ところが、撮影者が撮影する多くの物体、形状、テクスチャ、及び他の視覚的要素は、一般に、類似画像の検索において重要であるものも重要でないものも含まれる。したがって、模範画像にもとづき画像を検索するアルゴリズムでは、検索者にとって重要でない視覚的要素の存在にもとづいて、アルゴリズムが画像を模範画像に類似していると識別してしまう可能性を低減するために、画像のどの要素が重要であるかについて仮定する必要がある。なお、画像中の何が重要であるかについての情報を用いて、そのような画像の記憶、処理、保管、及び取り消しを簡単にすることができる他の多くの有効な方法が考えられる。

したがって、画像中のどの視覚的要素が重要であるかを判断する自動的な方法が求められている。

心理学者は、画像観察者の視線（eye gaze）位置を検出し、その観察者が関心を持つ、または決断するために依拠する画像の視覚的要素を理解する装置を採用している。例えば、ペルズ他（Pelz et al.）により２００１年ヴィジョンリサーチ（Vision Research）、４１巻、３５８７〜３５９６ページに発表された論文"Oculomotor Behavior and Perceptual Strategies in Complex Tasks"には、手を洗う人の凝視点を調査するために使用された視線追跡システムが記載されている。このような画像の観察者が凝視するのは、ほとんどすべての場合、視覚的要素、例えば石鹸容器、手、シンク及び手洗い及び洗顔のタスクを完成するために見つけることが重要である他の要素である。よって、これらの領域がこのクラスのシーンにおける最重要シーン要素に相当する。同様に、ヤーバス（Yarbus）による、１９６７年プレナムプレスによって発表された論文"Eye Movements and Vision"及びバスウェル（Buswell）による１９３５年、シカゴ大学プレスにおいて発表された論文"How People Look at Pictures: A Study of The Psychology of Perception in Art" では、人は主として、自分が写真または絵画の重要な要素だと思うものに視線を固定することが認識されている。この研究は、ユーザにとってのシーン要素の重要性は、ユーザの凝視点を捉え、シーン中の特定物体に対する凝視の発生頻度及び／または期間によりシーン要素の相対的重要度を予測することによって確かめることが可能であると示している。

同様に、１９９３年精神生理学（Psychophysiology）、３０巻、２６１ページから２７３ページに発表された、ラング他（Lang et al.）による論文"Looking at Pictures : Affective, Facial, Visceral, and Behavioral Reactions"は、観察時間は、平均して、画像が観察者から引き出す関心または注意の程度に線形に相関することを示している。したがって、このような関係は、凝視の時間及び位置を、シーンのある領域に対するユーザの関心程度として解釈することを可能にする。

視線トラッキングは、消費者のシーンに対する反応をモニタする際の使用が提案されている。この一例が、インターナショナルビジネスマシーン（ＩＢＭ：米国ニューヨーク州アーモンク）が開発したブルーアイズカメラであり、ビデオモニタリング及び視線トラッキングにより小売店環境における異なるディスプレイ及びプロモーションに対する消費者の反応を判断する。視線トラッキングは、電子機器を使用できない人を援助するための使用にも提案されている。この一例が、ＬＣテクノロジー社（米国バージニア州フェアファックス）により販売される視線トラッキングシステム（Eyegaze System）であり、コンピュータユーザの目のビデオモニタリングを使用して、ユーザのコンピュータ使用を援助する。アプライドサイエンスラボラトリ（米国マサチューセッツ州ボストン）によって販売される遠隔視線トラッキングカメラＡＳＬモデル５０４の１バージョンもこの目的で使用できる。

視線モニタリング装置はフィルムカメラに用いられ、ユーザがカメラの焦点をガイドするのを助けている。例えば、タカギ他による、"Camera Capable of Detecting Eye-Gaze"の表題を有する米国特許第５，７６５，０４５号（１９９５年６月７日出願）及びミツルによる、表題「被写体認識機能を有するカメラおよび被写体認識方法」の日本特許公開公報２００１−１１６９８５号（１９９９年１０月１２日出願）では、記載されるカメラのファインダにおけるアイモニタリング装置の使用が論じられている。これらの文献に記載されるカメラは、撮影シーンを複数のスポットまたは領域に分割し、カメラから各スポットまでの距離を決定するマルチスポットレンジ検出技術を利用する自動焦点カメラである。このアイモニタリング装置の出力を使用し、これらのスポットのどれが画像の被写体を含む可能性が最も高いかをカメラが判断するのを助けるとともに、そのスポットに関連する距離においてカメラが画像を撮影するようにカメラの焦点を合わせる。カメラは、カメラから被写体を最も含む可能性が高いと識別されたスポットまでの距離だけ離れて焦点を合わせられる。

視線モニタリング装置は別の目的でもフィルムカメラに用いられている。例えば、スズキによる表題"Camera Capable of Issuing Composition Information"の米国特許第５，８３１，６７０号（１９９６年６月１８日出願）参照のこと。上記’６７０特許においては、ファインダの視野を区分化し、構図（composition）における撮影者の視線を区分の１つに関連づける。撮影者の視線が特定の区分に留まる相対時間を用いて、不適当な画像の構図の危険があるかどうかを判断する。このような危険が識別されると、振動や警告ライトなどの警告装置がカメラのユーザに供給される。

視線モニタリングの使用は、ディジタルイメージングシステムにおける画像圧縮のコンテクストでも論じられている。例えば、ゲイスラー（Geissler）による、表題"Foveated Image Coding System and Method for Image Bandwidth Reduction"を有する米国特許第６，２５２，９８９号では、「陥凹イメージング（foveated imaging）」と呼ばれる技術が論じられている。この技術では、観察者の視線位置がリアルタイムでモニタされ、リアル画像撮影システムに通信される。リアルタイム画像撮影システムは、画像を圧縮し、観察者の視線ポイント付近の高周波数情報を維持しつつ、観察者の視線ポイントの付近でない領域における高周波数情報を破棄する。

このように、視線をモニタし、視線モニタリング装置からの情報を用いて写真処理について判断するべく適合されたカメラが知られている。しかしながら、これらの判断に至るまでの情報は画像の撮影後に破棄される。生理学的研究の非相似技術（non-analogous art）では視線位置を記録することが知られているが、このような研究は、観察者の視線位置をモニタし、観察されている画像から分離された媒体、例えばビデオテープやデータファイルなどに観察者の視線移動を記録して行われている。この結果、データを画像に関連付けること、及びこのようなデータへの画像の関連付けを画像の有効寿命の間保存することが難しくなる。

米国特許第６，２８２，３１７号 米国特許第５，７６５，０４５号 特許公開公報２００１−１１６９８５号 米国特許第６，２５２，９８９号 ペルズ他（Pelz et al.）著、"Oculomotor Behavior and Perceptual Strategies in Complex Tasks"、２００１年、ヴィジョンリサーチ（Vision Research）、４１巻、ｐ．３５８７〜３５９６、 ヤーバス（Yarbus）著、"Eye Movement and Vision"、１９６７年、プレナムプレス バスウェル（Buswell）著、"How People Look at Pictures: A Study of the Psychology of Perception in Art"、１９３５年、シカゴ大学プレス ラング他（Lang et al.）著、"Looking at Pictures : Affective, Facial, Visceral, and Behavioral Reactions"、１９９３年、精神生理学（Psychophysiology）、３０巻、ｐ．２６１〜２７３ 特許公開公報２００１−１１６９８５号

多くの状況において、視線方向のモニタリングは画像中のどの要素がユーザにとって重要であるかを示すかもしれないが、視線情報が、画像において何が重要であるかについて誤解を招く情報を提供する可能性もある。例えば、ユーザは、画像におけるある物体の外観が減少するように画像を構図することを保証するために、構図中にその物体を凝視することができる。さらに、上述のカメラはカメラのファインダの網線に対して視線方向をモニタする。したがって、このタイプのモニタリングによって得られた視線方向情報は、撮影される実際のアーカイブ画像に対して測定されたものではない。この結果、このようなモニタリング中にカメラの視野が移動した場合、間違った結論が出されてしまう。

したがって、撮影された画像における重要な領域の決定に使用できる、視線方向を含む目の情報及び他の情報を自動的に取得し、これら目の情報及び他の情報を撮影した画像に関連づけるカメラシステムが求められている。また、撮影した画像に関連する目の情報及び他の情報にもとづき、撮影した画像中の重要な領域を決定する方法も求められている。

本発明は、アーカイブ画像における重要領域を決定する方法であって、一連の評価画像を撮影するステップと、前記一連の評価画像の撮影の間にシーン構図を調整するステップと、前記シーン構図における調整を特徴付けるコンテクスト情報と、前記一連の評価画像の撮影の間に得られた視線方向情報を含む目の情報とを取得するステップと、アーカイブ画像を撮影するステップと、前記得られた視線方向情報と前記コンテクスト情報とに基づき前記アーカイブ画像に対する視線方向パスを決定するステップと、前記アーカイブ画像に対する前記視線方向パスに基づき前記アーカイブ画像中の重要領域を決定するステップと、前記アーカイブ画像における前記重要領域を特徴付ける重要領域データを前記アーカイブ画像に関連付けるステップと、を含む。

また、本発明は、アーカイブ画像における重要領域を決定するコンピュータプログラムであって、該コンピュータプログラムは、以下のステップを実行するためのコンピュータプログラムが記憶されるコンピュータ読取り可能な記憶媒体に含まれ、前記ステップは、一連の評価画像を撮影するステップと、前記一連の評価画像の撮影の間にシーン構図を調整するステップと、前記シーン構図における調整を特徴付けるコンテクスト情報と、前記一連の評価画像の撮影の間に得られた視線方向情報を含む目の情報とを取得するステップと、アーカイブ画像を撮影するステップと、前記得られた視線方向情報と前記コンテクスト情報とに基づき前記アーカイブ画像に対する視線方向パスを決定するステップと、前記アーカイブ画像に対する前記視線方向パスに基づき前記アーカイブ画像中の重要領域を決定するステップと、前記アーカイブ画像における前記重要領域を特徴付ける重要領域データを前記アーカイブ画像に関連付けるステップと、を含み、前記コンテクスト情報は視野における変化を特徴付けるものであり、前記アーカイブ画像に対して視線方向パスを決定するステップは、前記一連の評価画像の撮影の間に前記視線方向パスを調節し、カメラの視野における変化を補償するステップを含む。

また、本発明は、アーカイブ画像において重要領域決定を決定する画像撮影装置に取り付けられた装置であって、一連の評価画像を取得する手段と、前記取得された一連の評価画像に基づいてシーン構成を調整する手段と、前記シーン構図における調整を特徴付けるコンテクスト情報と、前記一連の評価画像を取得する間に得られた視線方向情報を含む目の情報とを取得する手段と、アーカイブ画像を撮影する手段と、前記得られた視線方向情報と前記コンテクスト情報とに基づき前記アーカイブ画像に対する視線方向パスを決定する手段と、前記アーカイブ画像に対する前記視線方向パスに基づき前記アーカイブ画像における重要領域を決定する手段と、前記アーカイブ画像における前記重要領域を特徴付ける重要領域データを前記アーカイブ画像に関連付ける手段と、備える。

前記アーカイブ画像における前記重要領域を決定する、本発明に係る装置においては、前記コンテクスト情報は、前記評価画像を用いた視野の調整、前記視野内の内容の調整、および前記評価画像によって表示される撮影されたシーンの配置の操作、の少なくともいずれかに関するシーン構図調整情報を含むことが好適である。

本発明は、撮影者または観察者が画像中で重要であるとするものについて判断し、その情報を画像に関連づける、より正確な方法を提供するという効果を有する。この情報をディジタル画像処理技術とともに用いることにより、改良された画像の強化、画像検索及び回復（retrieval）及びユーザにとって重要な画像の要素を理解することにより得られる他のシステム改良を提供することができる。

図１は、ディジタル静止画像を撮影するカメラシステム２０の１実施形態を示すブロック図である。図１に示すように、カメラシステム２０は、被写体（図示せず）からの光をガイドしてイメージセンサ２４に像を形成する撮影レンズユニット２２を含む。

撮影レンズユニット２２は簡素化することができ、例えば、手動焦点による単一焦点距離または固定焦点を有する。図１に示される実施形態例では、撮影レンズユニット２２は電動式２ｘ（２倍）ズームレンズユニットであり、単数または複数の可動素子２６がレンズドライバ３０により、単数または複数の静止素子２８に対して駆動される。レンズドライバ３０は、レンズ焦点距離とレンズ焦点位置のいずれをも制御する。以下に詳細に説明するように、ファインダシステム３２により、ユーザ４は画像の構図が可能になる。

撮影レンズユニット２２の焦点設定を決定するために種々の方法が使用できる。好ましい実施形態では、イメージセンサ２４を使用し、いわゆる「スルーフォーカス（through focus）」または「ホールウェイスキャニング（whole way scanning）」を利用するマルチスポットオートフォーカスが提供される。シーンが領域またはスポットの格子に分割され、各画像領域に対して最適な焦点距離を決定する。各領域に対する最適な焦点距離は、画像を撮影しながら、近い焦点距離から無限大位置（infinity position）まで、焦点距離位置の範囲を通じてカメラのレンズを移動することによって決定する。カメラの設計に応じて、４つから３２の画像を異なる焦点距離において撮影する必要がある。一般に、８つの異なる距離において撮影すれば、適当な精度が得られる。

撮影された画像データを分析し、各画像領域に対して最適な焦点距離を決定する。同一出願人による、"Filter Employing Arithmetic Operations for an Electronic Synchronized Digital Camera"の表題を有する米国特許第５，８７４，９９４号（１９９５年１２月１１日シェ他（Xie et al.））に記載されるように、上記の画像データ分析は、１つ以上のフィルタを用いてセンサ信号をバンドパスフィルタリングすることにより開始する。次に、各画像領域に対するバンドパスフィルタ出力の絶対値をピーク検出し、その画像領域の、その焦点距離における焦点値を決定する。各画像領域に対する焦点値が、各撮影焦点距離位置に対して決定すると、最大焦点値を提供する撮影焦点距離を選択することにより、あるいは２つの最大焦点値を提供した２つの測定撮影焦点距離の間の中間距離値を、種々の補間技術を用いて推定することにより、各画像領域に対する最適な焦点距離を決定することができる。

こうして、最終的な高解像度静止画像の撮影に使用されるレンズ焦点距離を決定することができる。好ましい実施形態においては、目標物体（例えば、撮影対象の人物）に対応する画像領域を決定する。そして、これらの画像領域に対して最良の焦点を提供する焦点位置が設定される。例えば、シーンの画像を複数の小区画（sub-divisions）に分割することができる。画像の各小区画に含まれる高周波数成分を表す焦点評価値を決定することができ、この焦点評価値を用いて、同一出願人による、"Method Of Automatic Object Detection In An Image"の表題を有する米国特許第５，８７７，８０９号（１９９６年１０月１５日オマタ他により出願：その記載内容を本願明細書の一部としてここに援用する）に記載されるように、物体の距離を決定することができる。目標物体が移動している場合、同一出願人による、"Detecting Compositional Change in Image"の表題を有する米国特許第６，０６７，１１４号（１９９６年１０月２６日オマタ他により出願：その記載内容を本願明細書の一部としてここに援用する）に記載されるように、物体追跡を行ってもよい。別の実施形態においては、同一出願人による、"Automatic Focusing Apparatus and Method"の表題を有する米国特許第５，７１５，４８３号（１９９８年１０月１１日オマタ他により出願：その記載内容を本願明細書の一部としてここに援用する）に記載されるように、「ホールウェイスキャニング」によって決定した焦点値を用いて大まかな焦点位置を設定し、これを精密焦点モードによって精密にする。

１実施形態においては、カメラシステム２０においてオートフォーカスを提供するための使用されるバンドパスフィルタリング及び他の計算は、ディジタル信号処理装置４０によって行われる。この実施形態では、カメラシステム２０は、同一出願人による、"Electronic Camera With Rapid Autofocus Upon an Interline Image Sensor"の表題を有する米国特許第５，６６８，５９７号（１９９４年１２月３９日パルルスキ他（Parulski et al.）により出願：その記載内容を本願明細書の一部としてここに援用する）に示されるような特殊適合イメージセンサ２４を用いて、レンズ焦点位置を自動設定する。上記’５９７特許に記載されるように、センサフォトエレメントのラインの一部のみ（例えば、ラインの４分の１のみ）を使用して焦点を決定する。その他のラインは、センサ読出し処理中は削除される。この結果、センサの読出し時間が短縮し、それにより、撮影レンズユニット２２の集束に要する時間も短縮する。

別の実施形態においては、カメラシステム２０は個別の光学または他のタイプ（例えば超音波）の距離計４８を用いて、画像の被写体を識別し、その被写体までの距離に対して適当な撮影レンズユニット２２の焦点位置を選択する。距離計４８は、直接あるいはカメラマイクロプロセッサ５０によってレンズドライバ３０を作動させ、撮影レンズユニット２２の１つ以上の可動素子２６を移動させる。距離計４８は、受動素子でも能動素子でも、２つの組み合わせでもよい。当業者に周知のあらゆる種類の適当なマルチセンサ距離計４８が使用に適している。例えば、"Compact Camera With Automatic Focal Length Dependent Exposure Adjustments"の表題を有する米国特許第５，４４０，３６９号（１９９３年１１月３０日タバタ他により出願：その記載内容を本願明細書の一部としてここに援用する）は、このような距離計４８を開示している。レンズドライバ３０とカメラマイクロプロセッサ５０との間にフィードバックループが確立され、カメラマイクロプロセッサ５０は撮影レンズユニット２２の焦点位置を正確に設定することができる。距離計４８により提供される焦点決定は、単一スポットタイプでもマルチスポットタイプでもよいが、好ましくは、焦点決定にはマルチスポットを用いる。マルチスポット焦点決定では、シーンを領域またはスポットの格子に分割し、各スポットに対して最適な焦点距離を決定する。

イメージセンサ２４は、二次元アレイに配列された離散数の感光性素子を有する。イメージセンサ２４の各個別フォトサイトは、ここではアーカイブ画像（archival image）と呼ばれる撮影されたディジタル画像の１画素に対応する。イメージセンサ２４は、従来からの電荷結合素子ＣＣＤセンサと、相補型金属酸化物半導体イメージセンサのいずれでもよい。１実施形態例では、イメージセンサ２４は、１２８０ｘ９６０の感光性素子のアレイを有する。イメージセンサ２４の感光性素子またはフォトサイトは、シーンからの光の光子を電子電荷パケットに変換する。各フォトサイトは、カラーフィルタアレイ、例えば、"Color Imaging Array"の表題を有する米国特許第３，９７１，０６５号（１９７５年３月７日バイヤー（Bayer）により出願：その記載内容を本願明細書の一部としてここに援用する）に記載されるバイヤーカラーフィルタアレイなどに覆われている。バイヤーカラーフィルタアレイは５０％の緑の画素が市松模様のモザイク状に配列され、残りの画素は赤と青の列が交互に並んでいる。フォトサイトは、適切な色を有する入射光照明に応答し、フォトサイトに照射した照明の強度に対応するアナログ信号を出力する。

各画素のアナログ出力は、アナログ増幅器（図示せず）によって増幅され、アナログ信号処理装置３４によってアナログ処理され、この結果イメージセンサ２４の出力増幅器ノイズが低減される。アナログ信号処理装置３４の出力は、アナログディジタル（Ａ／Ｄ）変換器３６、例えばバイヤーカラーフィルタアレイの配列で１０ビット信号を提供する１０ビットＡ／Ｄ変換器などにより撮影ディジタル画像信号に変換される。

ディジタル化された撮影ディジタル画像信号は、フレームメモリ３８に一時的に記憶され、同一出願人による、"Electronic Still Camera Utilizing Image Compression and Digital Storage"の表題を有する米国特許第５，０１６，１０７号（その記載内容を本願明細書の一部としてここに援用する）に記載されるプログラム可能なディジタル信号処理装置４０を使用して処理される。画像処理には、例えば、同一出願人による、"Apparatus and Method for Adaptively Interpolating a Full Color Image Utilizing Chrominance Gradients"の表題を有する米国特許第５，３７３，３２２号（１９９３年６月３０日ラロシェ他（LaRoche et al）により出願：その記載内容を本願明細書の一部としてここに援用する）及び"Signal Processing Method and Apparatus for Producing Interpolated Chrominance Values in a Sampled Color Image Signal"の表題を有する米国特許第４，６４２，６７８号（１９８６年２月３日コック（Cok）により出願：その記載内容を本願明細書の一部としてここに援用する）に記載される方法を用いて、カラーフィルタアレイ画素値からフル解像度のカラー画像を再構成する補間アルゴリズムを含む。シーン発光体を補正するホワイトバランスは、赤及び青の信号に補正係数を乗算して、それらを緑と等しくし中立（すなわち白またはグレイ）の物体にすることによって行われる。好ましくは、色補正は３ｘ３のマトリクスを用いてカメラのスペクトル感度を補正するが、別の色補正スキームを用いてもよい。トーン補正にはルックアップテーブルのセットを用いて、国際電気通信連合の基準ＩＴＵ−Ｒ ＢＴ．７０９に規定された光電子変換特性を提供する。空間フィルタによって実現するイメージシャープニングは、レンズのぶれを補償し、主観的によりシャープな画像を提供する。輝度及びクロミナンス信号が、ＩＴＵ−Ｒ ＢＴ．７０９に規定された等式を用いて処理された赤、緑、青の信号から形成される。

ディジタル信号処理装置４０は、最初の画像を使用してシーンのアーカイブ画像を生成する。アーカイブ画像は、一般に、保存、再生及び共有に適する高解像度画像である。アーカイブ画像は、ＪＰＥＧ標準を用いて任意に圧縮され、データメモリ４４に記憶される。ＪＰＥＧ圧縮標準は周知の離散コサイン変換を用いて８ｘ８ブロックの輝度及びクロミナンス信号を空間周波数領域に変換する。そして、これらの離散コサイン変換係数を量子化し、エントロピー符号化してＪＰＥＧ圧縮画像データを生成する。このＪＰＥＧ圧縮画像データは、日本電子工業振興協会（東京）による「ディジタルスチルカメライメージファイルフォーマット（Ｅｘｉｆ）」バージョン２．１、ＪＥＩＤＡ−４９−１９９８、１９９８年７月に規定されたいわゆる「Ｅｘｉｆ」イメージフォーマットを使用して保存される。Ｅｘｉｆフォーマットのアーカイブ画像は、メモリカード５２にも保存できる。図１の実施形態では、カメラシステム２０は、取り出し可能なメモリカード５２を保持するカードスロット５４を備え、このメモリカード５２と通信するためのメモリカードインターフェース５６を有する。Ｅｘｉｆフォーマットのアーカイブ画像及び他の任意のディジタルデータは、ホストコンピュータインターフェース４６を介してカメラシステム２０に接続されたホストコンピュータ（図示せず）に送ることも可能である。ホストコンピュータインターフェース４６は、例えば、画像及び他のデータを、光学信号、無線周波数信号または別の形式の信号によってホストコンピュータまたはネットワーク（図示せず）に搬送することのできる形式に変換する、光学的、無線周波数または他の変換器で実現できる。

ディジタル信号処理装置４０は、初期画像にもとづきより小型のディジタル画像を生成することができる。これらの小型画像をここでは評価画像と呼ぶ。通常、評価画像はファインダディスプレイ３３または外部ディスプレイ４２での表示に適したより低解像度の画像である。ファインダディスプレイ３３及び外部ディスプレイ４２は、例えば、カラー液晶ディスプレイ（ＬＣＤ）、有機発光ディスプレイ、または他のタイプのビデオディスプレイを含むことができる。画像撮影シーケンスにおいて、ディジタル信号処理装置４０は初期画像を使用し、評価画像、アーカイブ画像またはそのいずれをも生成することができる。なお、ここでは、「画像撮影シーケンス」という用語は、少なくとも画像構図段階を含み、画像撮影段階と確認段階とを任意に含むことができる。構図段階では、一連の初期画像が撮影され、ディジタル信号処理装置４０はこの初期画像にもとづき一連の評価画像を生成する。評価画像は、アーカイブ画像が撮影された直後に生成して表示することができ、例えば、同一出願人による、"Electronic Still Camera Proving Multi-Format Storage Of Full And Reduced Resolution Images"の表題を有するクッチャ他（Kuchta et al.）による米国特許第５，１６４，８３１号（１９９０年３月１５日出願：その記載内容を本願明細書の一部としてここに援用する）に記載されるリサンプリング技術を用いて、上記のように生成できる。評価画像はデータメモリ４４に記憶できる。一連の評価画像は、ファインダディスプレイ３３または外部ディスプレイ４２に表示される。ユーザ４は、一連の評価画像を観察し、これを用いて画像を構図する。

撮影段階においては、カメラマイクロプロセッサ５０は撮影信号を送り、ディジタル信号処理装置４０に初期画像を選択して処理させ、アーカイブ画像を形成する。対応する評価画像も形成される。確認段階では、対応する評価画像がファインダディスプレイ３３または外部ディスプレイ４２に供給され、一定期間表示される。これにより、ユーザ４は撮影されたアーカイブ画像の外観が許容可能であるかを確認することができる。

別の１実施形態では、画像はイメージセンサ２４によりアーカイブ画像の形式で撮影され、その後、評価画像として使用するために修正される。別の代替実施形態では、カメラシステム２０は、画像撮影のためのシステムを１つ以上有する。例えば、図１では、任意の追加画像撮影システム７８が示されている。この追加画像撮影システムは、アーカイブ画像の撮影に使用できる。追加画像撮影システム７８は、高解像度ディジタルイメージャまたはフィルムやプレートなどの写真要素を使用して画像を記録する画像撮影システムを含むことができる。追加画像撮影システム７８が使用される場合、イメージセンサ２４で撮影した画像は、評価画像を形成するために使用できる。

カメラシステム２０はユーザコントロール５８によって制御される。ユーザコントロール５８の一部は図２により詳細に示されている。ユーザコントロール５８は、ユーザ４の画像撮影の要求を示す信号をカメラマイクロプロセッサ５０に送ることによって写真撮影動作を開始するシャッタリリース６０を含む。カメラマイクロプロセッサ５０は、概略的に上述したように、撮影信号をディジタル信号処理装置４０に送ることによりこの要求信号に応答する。「ワイド」ズームレンズボタン６２及び「テレ」ズームレンズボタン６４が設けられ、これらが共に作用して、２：１の光学ズーム及び２：１のディジタルズームの両特性を制御する。光学ズームは、撮影レンズユニット２２により提供され、イメージセンサ２４によって撮影された焦点面画像の視野を変更するために倍率を調節する。ディジタルズームはディジタル信号処理装置４０により提供され、ディジタル信号処理装置４０は、フレームメモリ３８に記憶された撮影画像をクロップしてリサンプルする。ユーザ４が最初にカメラシステム２０をオンすると、ズームレンズは１：１の位置に設定され、この結果、センサ写真素子のすべてが撮影画像を提供するために使用され、撮影レンズユニット２２は広角位置に設定される。好ましい１実施形態では、この広角位置は、３５ミリフィルムカメラの４０ミリレンズに匹敵する。これは、最大広角位置に相当する。

そして、ユーザが「テレ」ズームレンズボタン６４を押すと、撮影レンズユニット２２がレンズドライバ３０を介してカメラマイクロプロセッサ５０により調節され、撮影レンズユニット２２はより望遠写真焦点距離の方向に移動する。ユーザ４が「テレ」ズームボタン６４を押し続けると、撮影レンズユニット２２はフル光学２：１ズーム位置に移動する。好ましい実施形態においては、このフル望遠写真位置は３５ミリフィルムカメラの４０ミリレンズに匹敵する。ユーザ４が「テレ」ズームレンズボタン６４を押し続けると、撮影レンズユニット２２は、フル光学２：１ズーム位置に留まり、ディジタル信号処理装置４０は、画像の中央領域をクロッピング（及び任意にリサンプリング）することにより、ディジタルズームの提供を開始する。これにより、カメラの外見的な倍率は高まるが、アーカイブ画像の生成時にセンサの外部写真要素の一部が破棄されるので、シャープネスは低下する。しかしながら、このようなシャープネスの低下は、通常、相対的に小さいファインダディスプレイ３３及び外部ディスプレイ４２では目に見えない。

例えば、図１のカメラシステム２０においては、撮影画像は、約１．２５メガピクセルに対応する、例えば１２８０ｘ９６０フォトサイトを有する高解像度イメージセンサ２４から得られる。ここで用いられる解像度という用語は、画像を表すために使用される画素の数を意味する。ところが、外部ディスプレイ４２は、解像度がより低く、例えば約０．０８メガピクセルに対応する３２０ｘ２４０画素を提供する。よって、センサの画素は、ディスプレイの画素の１６倍である。したがって、初期画像を、ファインダディスプレイ３３または外部ディスプレイ４２に適切に適合できるように、適当な小型画像サイズを有する評価画像にリサンプルすることが必要である。このリサンプルは、ローパスフィルタリングの後にサブサンプリングすることにより、あるいは適当なアンチエイリアシング条件を有する双一次（bilinear）補間技術を用いて行うことができる。あるいは、高解像度画像を比較的低解像度のディスプレイに表示するよう適合させる、他の周知の技術を使うこともできる。

撮影画像より画素の少ない（解像度の低い）評価画像を生成するための、撮影画像のリサンプリングは、ディジタル信号処理装置４０によって行われる。上述のように、信号処理装置４０はディジタルズーミングを提供することもできる。最大２：１の設定では、信号処理装置４０は中央の６４０ｘ４８０のセンサ領域を用いて、この中央領域を１２８０ｘ９６０サンプルまで補間することによってアーカイブ画像を提供する。

ディジタル信号処理装置４０は、評価画像を別の方法で修正し、評価画像がファインダディスプレイ３３または外部ディスプレイ４２で見た場合の対応アーカイブ画像の外観に一致するようにすることもできる。これらの修正には、評価画像のカラー較正を含み、評価画像がファインダディスプレイ３２または外部ディスプレイ４２に表示されると、評価画像の表示された色が対応するアーカイブ画像の色に対応する。上記及び他の修正は、対応するアーカイブ画像に示される色、フォーマット、シーン内容及び光条件の正確な表示をユーザ４に供給するのを助ける。

上述のように、評価画像は、対応するアーカイブ画像より解像度の低い電子ディスプレイを使用して表示されるので、評価画像は、ファインダディスプレイ３３または外部ディスプレイ４２によって見た場合、アーカイブ画像がプリントされたり、より高解像度で表示された場合よりもよりシャープに見える可能性がある。よって、本発明の１オプション実施形態においては、対応するアーカイブ画像において焦点がずれて見える領域は、外部ディスプレイ４２などの電子ディスプレイで見た場合に焦点ずれに見えるように各評価画像を修正することができる。さらに、ディジタルズームがアクティブであれば、画像全体はソフトになるが、このソフト化は通常外部ディスプレイ４２では見えない。例えば、図１のカメラシステム２０では、ファインダディスプレイ４２は３２０ｘ２４０画素を有するディスプレイでもよく、一方、アーカイブ画像は最大ディジタルズーム設定において６４０ｘ４８０がそのセンサ領域を使用して提供される。したがって、通常のリサイジング後に外部ディスプレイ４２に表示された評価画像は、適切にシャープに見える。しかしながら、アーカイブ画像は許容できるシャープなプリントを生成しない。したがって、リサンプリング技術を使用し、３２０ｘ２４０画素を有するが、最大ディジタル設定が使用された際に外見のシャープさが低い評価画像を生成することができる。

なお、アーカイブ画像から生成されたプリントまたは他の有形出力の外観的なシャープネスは、描画された画像の大きさの関数でもある。同一出願人による、"Method and Camera System for Blurring Portions of a Verification Image To Show Out of Focus Areas in a Captured Archival Image"の表題を有する、米国特許出願第１０／０２８，６４４号（ベルズ他（Belz et al.）により２００１年１２月２１日出願）に記載されるように、カメラシステム２０は出力の予想サイズを示す信号を受信するための入力（図示せず）を任意に有することができ、それに応じて評価画像の外観的シャープネスを調節するか警告を与えるかの少なくともいずれが可能である。

カメラシステム２０はさらにアイモニタリングシステム７０を組み込んでいる。図１及び図２の実施形態においては、アイモニタリングシステム７０はファインダシステム３２によって画像を見るべく位置するユーザ４の目２を検知する。アイモニタリングシステム７０は、ビデオアイイメージャ８０、例えば従来の電荷結合素子イメージャ、相補型金属酸化物イメージャ、または電荷注入装置などを組み込んでいる。他のイメージング技術を使用することもできる。ビデオアイイメージャ８０によって撮影された画像は、目２の画像を含む、イメージセンサ２４により撮影されるタイプのビデオ画像を含むことができる。

ビデオアイイメージャ８０は、目の情報を別の形式で撮影することもできる。例えば、目の位置及び瞳孔サイズを表す画像は、ユーザの目２または目３のフルディジタル画像を構成するために必ずしも必要ではない。むしろ、解像度がより低い、または非線形のイメージングパターンを有する他の形式のイメージングを使用することができる。このようなより低解像度または非線形の技術の使用により、コストを低減し、イメージング構造を簡素化し、目の情報を得る速度を速めることができる。

アイモニタリングシステム７０は、ユーザ４の目２の安定した特徴部分（feature）の位置をモニタして視線情報（eye gaze information）を決定する。このような安定した特徴部分の例には、目２の角膜の前方または後方からの反射、目２のレンズの前面または後面からの反射、目２の虹彩内の構造パターン及び目２の瞳孔中心が含まれる。随意的に、アイモニタリングシステム７０は、ユーザ２の瞳孔サイズを決定できるようにユーザ４の目２の瞳孔の画像を撮影することもできる。アイモニタリングシステム７０は、瞳孔の中心の相対位置及び角膜の後部からの光源８６の反射を追跡して視線情報を決定することもできる。

アイモニタリングシステム７０を種々の方法で較正し、アイモニタリングシステム７０がユーザ４の目２における状態を正確に反映するデータを収集することを保証することができる。１実施形態においては、アイモニタリングシステム７０は、位置的較正を行う。この実施形態では、アイモニタリングシステム７０は、ファインダシステム３２によって示された画像の周囲に境界を定める網線８２を組み込み、ユーザ４は網線８２上の所定位置を見るように向けられている。ユーザ４が各所定位置を見ている間に、ユーザ４の目２を観察してデータを得る。アイモニタリングシステム７０は各位置においてプロファイルデータを得る。アイモニタリングシステム７０は、目２を観察して得た目の情報を、このプロファイルのデータと比較し、目２が網線８２を中心に移動する際のユーザ４の視線の動きを示すデータを構成する。１実施形態では、アイモニタリングシステム７０は角膜反射と瞳孔中心を検出でき、これら２点間にベクトルが引かれる。このベクトルの長さ及び方向が複数の水平及び垂直位置に対してわかっていれば、これらの値を用いてファインダ内の任意位置における視線凝視点（eye gaze fixation point）を決定することができる。

描かれたベクトルとユーザ４の目２の視線位置と関係は、目２の角膜の湾曲に依存し、この湾曲は人によって異なる。よって、最初の相関目的のためにはモデル角膜を使用できるが、アイモニタリングシステム７０をモニタリングシステム７０の各ユーザ４に対して較正することによって、より詳細な情報を得ることができる。

アイモニタリングシステム７０の１実施形態が図１に示されている。この実施形態では、アイモニタリングシステム７０はカメラシステム２０のファインダシステム３２に組み込まれている。この実施形態においては、ファインダシステム３２は、画像変調光が適切に位置決めされたユーザ４の目２によって見ることのできる画像を形成するようにファインダディスプレイ３３からの画像変調光を集束するファインダ光学系３５を含む。光学ビームスプリッタ８４、例えば半鍍銀ミラーがファインダ光学系３５とファインダディスプレイ３３との間に配置されている。光源８６からの光はビームスプリッタ８４に向けられ、ファインダ光学系３５を通過して偏向され、目２を照射する。光源８６は、可視波長及び非可視波長を含むさまざまな波長の光を供給することができる。

目２を照射した光はビームスプリッタ８４に戻り、ビームスプリッタ８４によってビデオアイイメージャ８０に偏向される。この実施形態では、ビデオアイイメージャ８０は、画素の配列を有し、各画素は画素に入射した光の量をサンプルすべく適合されている。この光は、可視波長でも非可視波長でもよい。各画素からの出力は、増幅され、アナログ信号処理装置３４などのアナログ信号処理装置によってアナログ処理される。この結果、ビデオアイイメージャ８０の出力増幅器ノイズが低減する。アナログ信号処理装置３４の出力は、アナログディジタル（Ａ／Ｄ）変換器３６、例えば、１０ビット信号を供給する１０ビットＡ／Ｄ変換器によってディジタル画像信号に変換される。各画素からの出力は、増幅され、アナログ信号処理装置３４などのアナログ信号処理装置によってアナログ処理されて、イメージセンサ２４の出力増幅器ノイズが低減する。アナログ信号処理装置３４の出力は、アナログディジタル（Ａ／Ｄ）変換器３６、例えば、１０ビットＡ／Ｄ変換器３６によってディジタルイメージ信号に変換される。Ａ／Ｄ変換器３６からの信号は一時的にフレームメモリ３８に記憶され、その後ディジタル信号処理装置４０に転送される。ここに記載される実施形態では、ディジタル信号処理装置４０はプログラム可能であり、以下に記載するようにプログラムされ、ビデオアイイメージャ８０からのディジタル画像を受像して処理する。

図３は、カメラシステム、例えば上述のようなカメラシステム２０を動作させる方法の１実施形態を示す。図３に示されるように、画像撮影シーケンスは、カメラシステム２０を画像構図モードにすることによって開始する（ステップ１００）。これはさまざまな方法で実行可能である。例えば、カメラマイクロプロセッサ５０がシャッターリリース６０の半押下位置への移動を検出した場合に画像構図モード状態を決定することができる。あるいは、モード選択スイッチ（図示せず）の位置決めに応答して、あるいはカメラシステム２０が写真撮影に関連する方法で保持されていることをセンサ（図示せず）が検出した場合に、ビデオアイイメージャ８０は画像構図モードに入ることができる。さらに別の方法として、アイモニタリングシステム７０がファインダシステム３２において画像を観察する位置にユーザ４の目２が存在することを検出した場合にはいつでもカメラシステム２０は画像構図モードに入ることができる。

随意に、アイモニタリングシステム７０を、上述の方法で較正することができる（ステップ１０２）。この較正は、手動入力に応答して実行することができる。さらに、較正ステップは、アイマッチングステップを含むことができる。アイマッチングステップでは、アイモニタリングシステム７０が目２を調べ、アイモニタリングシステム７０に対面している目２が、アイプロファイルに現在記憶されている安定した特徴部分の組に一致する特徴部分の組を有さないと判定し、この判定に応答して較正処理を開始することができる。

画像構図モードにおいて、カメラシステム２０は、イメージセンサ２４に一連のディジタル画像を撮影させ、このディジタル画像がファインダディスプレイに表示されるサイズの評価画像に変換される（ステップ１０４）。図１の実施形態においては、これは、カメラマイクロプロセッサ５０がタイミング生成器６６に信号を送信することによって行われる。タイミング生成器６６は、図１に示されるように、一般にカメラシステム２０の要素に接続され、画像信号のディジタル変換、圧縮及び記憶を制御する。イメージセンサ２４は、センサドライバ６８を介してタイミング生成器６６により駆動され、アナログ信号処理装置３４に供給される画像信号を生成する。各画像信号は、上記のように処理されて一連の評価画像を形成する。この評価画像をファインダディスプレイ３３に表示することができる。

ユーザ４は、これらの評価画像を使用してシーンを構図する（ステップ１０６）。同時に、アイモニタリングシステム７０が目２の画像を撮影する（ステップ１０８）。アイモニタリングシステム７０は、これらの画像を調べ、画像構図中に表示される各画像に対する目２の視線方向を追跡するデータを生成する。ユーザ４は、シャッターリリース６０を押すことにより、カメラシステム２０にアーカイブ画像を撮影させる。これに応答し、シーンのアーカイブ画像が撮影される（ステップ１１０）。対応する評価画像も生成することができる。画像撮影シーケンスの間のユーザ４の目２の視線方向を特徴づける目の情報が決定される（ステップ１１２）。視線情報は多くの形式で記憶することができ、撮影された各評価画像に対し、アーカイブ画像に関する視線位置の座標を記憶する方法や、凝視位置及び各凝視期間などの情報を示すこのデータの処理バージョンを記憶する方法を含む。この目の情報は圧縮することもできるし、記憶に都合のよい形式に変換することもできる（ステップ１１４）。その後、目の情報はアーカイブ画像に関連づけられ（ステップ１１６）、記憶される（ステップ１１８）。目の情報は、例えば周知のディジタル透かし（ウォータ−マーク）技術を用いて画像情報内に記憶することもできるし、アーカイブ画像を含むディジタル画像ファイル内に記憶することもできる。例えば、目の情報は、国際標準化機構により発行されたＪＰＥＧ標準フォーマット、ＩＳＯ １０９１８−１（ＩＴＵ−Ｔ．８１）に応じたＪＰＥＧファイルにおける１つ以上のアプリケーションセグメント内に記憶することができる。アプリケーションセグメント内の目の情報は、日本電子情報技術産業協会ＪＥＩＴＡによって発行されるＥｘｉｆ２．２ ＣＰ−３４５１に規定されるＴＩＦＦ（タグつきイメージファイルフォーマット）として記録することもできる。ＴＩＦＦタグは、Ｅｘｉｆ規格で規定された標準的な従来技術のメタデータと、上述の視線方向情報を提供するメタデータのいずれをも含むことができる（ステップ１１８）

図４は、カメラシステム、例えばカメラシステム２０を動作させるための方法の別の実施形態を示している。図４に示されるように、画像撮影シーケンスは、カメラシステム２０を画像構図モードにすることによって開始する（ステップ１２０）。画像構図モードにおいては、カメラシステム２０は、イメージセンサ２４に一連の画像を撮影させ、この画像がファインダシステム３２に表示するためのサイズを有する評価画像に変換される（ステップ１２２）。図１の実施形態においては、これは、カメラマイクロプロセッサ５０が、タイミング生成器６６に信号を送信することによって画像を撮影させて行われる。タイミング生成器６６は、図１に示されるように、一般にカメラシステム２０の要素に接続され、画像信号のディジタル変換、圧縮及び記憶を制御する。イメージセンサ２４は、センサドライバ６８を介してタイミング生成器６６により駆動され、アナログ信号処理装置３４に供給される画像信号を生成する。各画像信号は、上記のように処理されて一連の評価画像を形成する。この評価画像をファインダディスプレイ３３に表示することができる。

ユーザ４は、例えば、カメラシステム２０の視野を調整したり、視野内部の内容を調整したり、あるいはカメラシーンの配置を操作したりしてシーンの外観を調整することにより、これらの評価画像を用いてシーンを構図する（ステップ１２４）。同時に、ビデオアイイメージャ８０が目２の画像を撮影する（ステップ１２６）。目２の画像をディジタル信号処理装置４０によって処理し、目の情報を決定する（ステップ１２８）。この実施形態では、目の情報は、画像撮影シーケンスの間の目２の視線方向を特徴づける、あるいは特徴づけるために使用できる生データまたは処理データを含む。これらのデータは、目の凝視点及び凝視期間、目の動きのパターン、及び眼球加速情報を含むが、これに制限されない。目の情報は、さらに、目２の画像から得ることのできる他の情報を含むこともできる。例えば、目の情報は、目の他の特徴、例えば瞳孔の直径、涙の形成、目の温度、血管サイズなどの追跡を可能にする、目の状態情報及びその他の情報を含むことができる。さらに、目の情報は、目２の画像の分析により得られるユーザ情報、例えば、画像撮影シーケンス中に起こる目２における血管の色またはサイズの変化にもとづき決定できるユーザ４の心拍数などを含むこともできる。特定の実施形態においては、目の情報は、目の画像の分析により随意決定可能な目の情報にもとづく撮影者の識別情報を含むこともできる。

図示される実施形態では、カメラシステム２０は、さらに、コンテクスト情報を決定すべく適合されている（ステップ１３０）。ここで用いられるコンテクスト情報とは、アイモニタリングシステム７０により撮影された画像の示し得る意味を解釈するのに役立つ、シーン、ユーザまたはカメラシステム２０からの情報を含む。コンテクスト情報には、オーディオ信号、輝度及び他のシーンベースの情報を含むことができる。コンテクスト情報には、位置情報、例えばＧＰＳ（全地球位置把握システム）位置情報または位置を示す他の情報を含むこともできる。カメラシステム２０のユーザコントロール５８は変換器（図示せず）をさらに含むことができ、これにより、ユーザは撮影されている事象の性質を示すデータの入力が可能になる。他のコンテクスト情報には、画像撮影シーケンス中の撮影レンズユニット２２のズーム設定を追跡するズーム設定情報を含むこともできる。ズーム設定情報を視線トラッキング情報に相関させ、視線移動トラッキングデータがこのような変化を反映するようにすることができる。他のユーザ設定、例えばユーザによるガンマ、輝度または他の画像特性の選択または設定、ユーザによる時間的な撮影モードの選択、または撮影中のシーンの本質を示すユーザの入力を、画像撮影シーケンス中に追跡することもできる。

１実施形態においては、コンテクスト情報は、構図中にどのようなシーン構図調整を行ったかを判断するために使用できる情報を含む。このシーン調整情報は種々の方法で得ることができる。例えば、１実施形態においては、画像撮影シーケンスの構図段階において合成画像が形成される。この実施形態では、一連の評価画像の最初の画像が撮影されると、この画像が記憶され、視線方向情報がこの画像の中心に対して位置合わせされる（registered）。２番目の画像が撮影されると、画像の動きベクトル分析や相関分析などのアルゴリズムを用いて第１の画像からの任意の領域を第２の画像に対して合わせて重複させる。これら２つの画像の重複程度が決定すると、第２の画像に含まれる新しいシーン情報を第１の画像からのシーン情報に合成し、この合成画像に関して視線方向情報を位置合わせする。このプロセスを、画像撮影シーケンスの間続ける。

シーン調整情報は、画像撮影シーケンス中のシーン構図における変化を特徴づけるデータ記録を含むこともできる。例えば、ディジタル信号処理装置４０は、ベクトル分析または相関分析を用いて、構図中に撮影された評価画像の組を比較し、比較された画像の組でのシーン構図における変化を特徴づけるデータを得ることができる。画像撮影シーケンス中の基準（fiducials）の動きの分析を含む、他の形式のシーン分析を用いることもできる。あるいは、シーン調整データは、ＧＰＳデータにもとづくシーン調整情報を得る任意のシーン調整センサ７６、慣性運動センサ、マルチ位置流体スイッチ、ジャイロスコープ情報から、または画像撮影シーケンス中のカメラシステム２０の動きを示すデータを生成できる既知の他のセンサを用いて得ることもできる。このシーン調整情報は、画像撮影中の視線の動きに関する情報に相関させることができる。

なお、あるシーンの構図工程において、またはシーン調整を特徴づけるデータ記録の展開（developing）工程において、シーン構図における変化が非常に異なる結果、構図中に収集した第１の画像が構図中に収集されている後の画像に全く重複しない場合もある。この場合には、その時点までに収集されたシーン調整データとすべての目の運動データを破棄し、新しい画像を用いて新しい画像の合成を始める。

ユーザ４が効果的な外観を有するシーンを構図すると、ユーザ４はシャッターリリース６０を押すことによってカメラシステム２０にアーカイブ画像を撮影させる。これに応じて、シーンの画像が撮影されて記憶される（ステップ１３２）。撮影されたアーカイブ画像に対応する評価画像を上述のように形成し、ファインダシステム３２によって撮影直後にユーザに表示することができる。これにより、ユーザ４は、ファインダシステム３２によって実際に撮影された画像がユーザ４に許容可能であるかを確認できる（ステップ１３４）。この場合、アイモニタリングシステム７０は、ユーザ４による評価画像の検討中に目の情報を継続的に得ることができる。

構図段階において得られた構図調整情報及び目の情報は、アーカイブ画像に関連づけられる（ステップ１３６）。上述のように、この情報は、ファイルエクステンションで、あるいは画像とは別であるが、その画像に物理的または電子的に関連づけられている記録として記憶することができる。目の情報は、透かしまたは他の技術を用いて画像中に記憶することもできる（ステップ１３８）。

図５及び図６は、カメラシステム２０の別の実施形態を示し、外部ディスプレイ４２を用いて構図のために評価画像を表示し、ユーザ４はカメラシステム２０を目２の近くに保持しなくても画像に対する構図、撮影、確認の少なくともいずれかを行うことができる。このような実施形態では、外部ディスプレイ４２はディスプレイ空間Ａにおいて評価画像を示す。この実施形態では、アイモニタリングシステム７０は、外部ディスプレイ４２から実質的に隔てられているが、ディスプレイ空間Ａ内にいるユーザ４の目２からの情報を検出する。このような実施形態においては、ビデオアイイメージャ８０はユーザ４の画像撮影を助ける光学的システム（図示せず）を有することができ、このような距離においても目２からの情報を得ることができる。この実施形態は、必要な電子ディスプレイが１つで済むという利点がある。種々の視線トラッキングシステム、例えばブルーアイズ（Blue Eyes）システムで使用されるのと同様の技術を用いるシステム、ＡＳＬモデル５０４、または当業界で周知の他の視線トラッキングシステムをこの実施形態に関連して使用することができる。

図５及び図６の実施形態では、アイモニタリングシステム７０は、ユーザ４の目２及び目３のいずれをもモニタして各目からの目の情報を得ることができる。それぞれの目から受信した信号を比較することにより、目の情報の正確さを高めかつ有効にすることができる。さらに、ユーザ４がカメラシステム２０の近くに目を位置しない場合、構図中の期間において、ユーザ４の視線は外部ディスプレイ４２でシーンを観察したり、そのシーンを直接観察したり、移動することになる。ビデオアイイメージャ８０は、目２及び３がシーンを直接見る場合と、外部ディスプレイ４２に表示されたシーンの評価画像を見る場合のいずれの場合にも、シーンに対する観察者４の目２及び３の視線方向をマップすることができる。目２及び３がシーンを直接観察する場合、目２及び３から得られる目の情報には、目２及び目３の視線方向における視差差を特徴づける情報を含むことができる。この視差情報を用いて、ユーザ４が関心のある画像の領域の焦点距離を自動的に決定することができ、よってこの視差情報を撮影レンズユニット２２の焦点設定の修正を助けるために使用できる。カメラシステム２０がフラッシュ照明システム２７０を備え、写真シーンを照射する場合、このフラッシュの強度を画像撮影装置の視差決定距離に応じて変えることができる。

図７、図８及び図９は、本発明による２つの画像撮影システムを有するカメラシステム２００の別の実施形態を示している。この実施形態においては、カメラシステム２００は、ハイブリッドフィルム電子カメラでも、コンビネーションフィルム電子カメラでも、電子カメラの組み合わせでもよい。図７及び図８に示されるカメラシステム２００のこの実施形態は、フィルム画像撮影システム２１０と電子画像撮影システム２２０の両方を有する。フィルム画像撮影システム２１０は、シーンの高解像度アーカイブ画像を撮影するために使用される。フィルム画像撮影システム２１０は、撮影レンズシステム２１２、例えば、シーンからの光Ｂをフィルム２１４、例えばイーストマンコダック社（米国、ニューヨーク州、ロチェスター）から販売されるコダックアドバンティクス（登録商標）フィルムに集束させる、図７において透視的に示されるズームレンズシステム２１１と、フィルム２１４を制御自在に光Ｂに露出するシャッタシステム（図示せず）と、露光間にフィルム２１４を前進させるフィルム移動システム（図示せず）とを有する。

電子画像撮影システム２２０は、この実施形態では、ファインダシステム２３０と一体である。この実施形態では、ファインダシステム２３０は、組み合わせによって作用することで画像のズームを可能にする光学素子２３４とズーム光学素子２３６としてこの実施形態では示される、光学素子の組み合わせを有する入口光学パス２３２を提供する。半鍍銀ミラーなどのビームスプリッタ２３８が設けられ、シーンからの光Ｂを、撮影パス２４０と構図パス２５０とに分離する。

光学撮影パス２４０に沿って進む光は、光学素子２４２などの光学素子の構造体を通過し、画像の大きさを適当に決めてシーンをイメージセンサ２４４に撮像する。イメージセンサ２４４は、イメージセンサ２４に関して上述したのと同じ方法で動作する。電子画像撮影システム２２０は、イメージセンサ２４４から信号を受信し、この信号を処理してシーンの画像を撮影するとともに、この画像をディスプレイ、例えば図８に示される外部ディスプレイ２５８などで鑑賞可能な画像に変換する。通常、撮影された電子画像は、上述のようにアーカイブ画像の特性を反映するように修正される。電子画像を外部ディスプレイ２５８に表示することにより、ユーザは画像を評価して確認することができる。電子画像撮影システム２２０は、また、概略的に上述したように、画像をディジタル形式で記憶し、その画像を他の装置と交換することもできる。

ビームスプリッタ２３８により構図パス２５０に沿って偏向された光は、ファインダ光学素子２５２の組を通過する。ファインダ光学素子２５２は、この光を変調し、フィルム画像撮影システム２１０で撮影した場合に現れるシーンの外観に一致する画像がユーザ４の目２において形成されるように指向させる。これにより、ユーザ４はシーンの構図が可能になる。

アイモニタリングシステム２６０もまた、ファインダシステム２３０と一体形成されている。図９は、アイモニタリングシステム２６０のこの実施形態の概略図を示している。アイモニタリングシステム２６０は、ビームスプリッタ２３８と、ファインダ光学素子２５２及び２５３と、ビデオアイイメージャ２６２と、任意の光源２６４とを含む。動作においては、光源２６４が光Cを照射し、この光Cがビームスプリッタ２３８によって部分的に反射し、偏向されてファインダ光学素子２５２を通過し、ユーザ４の目２を照射する。あるいは、光源２６４を構図パス２５０の別の場所に配置し、光Cが目２に向けられるようにすることもできる。光Cはこうして目２により反射する。この反射光はファインダ光学素子２５２を通過して、一部がビームスプリッタ２３８によって反射し、ビデオアイイメージャ２６２を照射する。

光源２６４は、非可視範囲、例えば赤外線バンドの光を発光してもよい。これにより、光がビデオシーンイメージャ２４４に偏向されてシーン情報として解釈される可能性を低減する。例えば、光源２６４が赤外線バンドの光を照射する場合、シーンイメージャ２４４を赤外線フィルタで覆い、これに到達する赤外線照射を受けつけないようにすることができる。この実施形態では、ビデオアイイメージャ２６２が赤外線バンドの光に応答し、そこから目の情報が引き出される。

ビデオアイイメージャ２６２を用いて得られた画像により、上述のような他の形式の目の情報を得ることができる。さらに、カメラシステム２００は、上述のようなコンテクスト情報を決定すべく適合させることができる。

電子画像撮影システム２２０は、後にコンピュータまたは電子記憶データベースに転送するために、目の情報及びコンテクスト情報を記憶するディジタル貯蔵部を含む。目の情報及びコンテクスト情報が記憶されている場所を知る方法を提供する情報は、この情報をフィルム２１４に書き込むことにより、アーカイブ画像に関連づけて記録することができる。目の情報及びコンテクスト情報は、例えばフィルム２１４上の磁気材料のストリップに記憶することもできる。目の情報及びコンテクスト情報は、例えば透かし技術及び／または他の光学的露出技術を用いて、フィルム２１４の感光性領域にこのデータを記録することでフィルム２１４に光学形式で記憶することもできるし、フィルムに関連づけられた電子メモリに記憶することもできる。目の情報及びコンテクスト情報は、例えば、２値コードまたは他の機械読み取り可能なコードを用いて記録できる。メタデータは、フォーマットされたブロックで記録でき、各ブロックは、開始標識、メタデータ、及び終了標識を含む。冗長に対しては、各ブロックの多数のコピーを記録できる。

図１０は、本発明の実施に役立つカメラシステム３００の別の実施形態を示し、シーンから光を受光し、この光を画像信号に変換するシーンイメージセンサ３１０を含む。シーンイメージセンサ３１０からの画像は画像処理装置３１２、例えばプログラム可能なパーソナルコンピュータ、またはサンスパーク（Sun Sparc）ワークステーションなどのディジタル画像処理ワークステーションなどに供給される。画像処理装置３１２はディスプレイ３１４に接続されている。ディスプレイ３１４は、陰極線管、有機発光ディスプレイ（ＯＬＥＤ）またはその他の形式のビデオディスプレイを含み、ディスプレイ空間Ｄの内部で見えるように評価画像を表示する。オペレータインターフェース３１６が設けられ、従来のキーボード３１８及びマウス３２０を備えることができる。オペレータインターフェース３１６は、他の形式の入力、例えば音声認識ソフトウェアを用いて音声指示を受信すべく適合することもできる。

図示される実施形態では、シーンイメージセンサ３１０は、ユーザ４が視野を調整し、撮影される画像の構図を変えられるように調整できる。これに関し、イメージセンサ調整アクチュエータ３２２が設けられ、オペレータインターフェース３１６を介して入力されたユーザ入力に応答して、視野を機械的に調整する。この実施形態では、シーンイメージセンサ３１０の視野に対する変更は、イメージプロセッサ３１２への入力をモニタすることにより決定できる。

図１０に示されるように、アイモニタリングシステム３３０が設けられている。この実施形態においては、アイモニタリングシステム３３０はディスプレイ３１４近くのディスプレイ空間Ｄをスキャンし、ディスプレイ空間Ｄ内でユーザ３０４の目３０２を識別する。画像撮影シーケンスの間、目３０２が上述のようにモニタされ、目の情報が上記の方法で取得されて処理される。この実施形態では、アイモニタリングシステム３３０は、観察者３０４の目３０２及び目３０３をモニタし、各目から目の情報を得ることができる。各目から受信した信号を比較することにより、目の情報の正確性を高めることができる。さらに、観察者３０４が目をカメラの近くに保持しない場合には、画像撮影シーケンス中に、観察者３０４の視線方向はディスプレイ３１４のシーンに向いたり、そこからシーンを直接見たりと移動する。アイモニタリングシステム７０は、観察者３０４の目３０２及び３３０が直接シーンに向いている場合とシーンがディスプレイ３１４に表示されている場合のいずれの場合にもシーンに対する目３０２及び３０３の視線の動きをマップすべく適合することができる。この場合、目３０２及び３０３から得られた目の情報は、目３０２及び３０３の視線方向における視差差を特徴づける情報を含むことができる。この視差情報を用いて焦点距離を自動的に決定でき、よって画像撮影装置の焦点設定を援助できる。

ユーザ３０４が信号を入力すると、アーカイブ画像が構図され、撮影されて任意に確認される。画像撮影シーケンスにおいて得られた任意の目の情報は、アーカイブ画像に関連づけられる。画像処理装置３１２は、画像撮影シーケンスの間にコンテクスト情報を撮影することもできる。１実施形態においては、画像処理装置３１２はコンピュータ読み取り可能な記憶媒体３３２にも接続されている。目の情報及び任意のコンテクスト情報に関連づけられたアーカイブ画像は、コンピュータ読み取り可能な記憶媒体３３２に記録するために処理され、ここに記憶される。画像処理装置３１２は、また、処理されたディジタル画像、目の情報、及び任意のコンテクスト情報を出力装置３２４に送信することができる。出力装置３２４は、ハードコピープリンタ、長期画像記憶装置、別の処理装置（図示せず）への接続、または例えばインターネットなどの電気通信ネットワークに接続される電気通信装置を含むことができる。

図１１には、アイモニタリングを備えたカメラシステム４００の着用に適した実施形態が示されている。この実施形態では、ガラスまたはプラスチックのレンズ４０２及び４０４が、アイモニタリングシステム４１０とともにイメージセンサ４０８を有する従来のフレーム４０６によって支持されている。アイモニタリングシステム４１０は、アイイメージャ４１２及び４１４をそれぞれ使用してユーザ４の目２及び目３をモニタし、目の情報を得ることができる。上述したように、目の情報は、ユーザ４の目２と３の一方または両方から得ることができる。各目から受信した信号を比較することにより、目の情報の正確性を高めることができる。例えば、この実施形態では、ユーザ４は撮影されるシーンを直接観察する。この実施形態では、アイイメージャ４１２及び４１４は、シーンに対する観察者４の目２及び３の視線の動きをマップする。目２及び３から得られた目の情報は、目２及び目３の視線方向における視差差を特徴づける情報を含むことができる。この視差情報を用いて、画像中の重要領域の焦点距離を自動的に決定でき、よって着用可能なカメラシステム４００の焦点設定の設定を助けることができる。

この実施形態では、アイモニタリングシステム４１０が画像撮影シーケンスの間目の情報を撮影し、シーンイメージャ４０８がアーカイブ画像を撮影する。アイモニタリングシステム４１０の着用可能な実施形態の一例が上述のペルズ他による文献に見ることができる。この文献には、赤外線照射器と、小型ビデオアイカメラと、カメラを照射ビームに対して同軸に位置合わせするビームスプリッタを有するモジュールを含むヘッドギア／ゴーグルの形態の着用可能な軽量アイトラッカが記載される。逆反射によって瞳孔の照射が提供され、明るい瞳孔画像が生成される。外部ミラーが光学パスをヘッドギア／ゴーグルの前方に向けて屈折させ、ここで、ホットミラーがＩＲ照射を目の方向に向け、目の画像をアイカメラに反射させる。第２の小型カメラがゴーグルに取り付けられ、ユーザの視点からシーン画像を撮影する。ディスプレイ４１６は、画像撮影シーケンスの構図段階または確認段階の間に評価画像を表示することができる。あるいは、レンズ４０２及び４０４が網線を含み、目２及び３の凝視がイメージャ４０８の視野外にあればユーザ４に警告することもできる。カメラシステム４００の処理装置４１８は、シーン画像と目の情報と任意のコンテクストデータとを受信し、アーカイブシーン画像を上述の方法にしたがって目の情報に関連づける。そして、処理装置４１８は、目の情報を有するアーカイブ画像をメモリ４２０に記憶するか、アーカイブ画像と目の情報及び任意のコンテクスト情報を、通信モジュール４２２、例えば有線または無線モデムを使用して遠隔装置に送信するかの少なくともいずれかを行う。画像撮影シーケンスの構図及び確認段階において、処理装置４１８は、イメージャ４０８から画像を受像し、これらの画像を評価画像に変換し、ディスプレイ４１６を用いて評価画像を表示することができる。

上述のいずれの実施形態においても、カメラシステムはユーザコントロール５８などの入力を備え、ユーザ４が時間によって分離された１つ以上の構図ステップにおいて１シーンを構成することを可能にしている。これによって、例えば、複合シーンを組み立てる際に目の情報を収集することができる。

上記カメラシステム２０の種々の実施形態においては、イメージセンサ２４及びビデオアイイメージャ８０は、カメラシステムから分離でき、または分離可能であり、有線、無線または他の通信システムによってビデオ情報をカメラシステム２０に通信することができる。

目の情報及び任意にコンテクスト情報を用いてアーカイブ画像中の重要領域を決定する方法について説明する。以下、方法を説明するが、別の実施形態においては、ここに記載する方法は、記載された方法に従って、アーカイブ画像中の重要領域を決定するコンピュータプログラムの形態を採用することもできる。

記載される方法を実行するためのコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に記憶してもよい。この媒体は、例えば、磁気ディスク（ハードドライブまたはフロッピディスクなど）または磁気テープ、光学ディスクまたは機械読み取り可能なバーコードなどの光学記憶媒体、ソリッドステート電子記憶装置、例えばランダムアクセスメモリ（ＲＡＭ）または読み取り専用メモリ（ＲＯＭ）、またはコンピュータプログラムの記憶に用いられる他の任意の物理的装置または媒体を含んでもよい。記載される方法を実行するコンピュータプログラムは、インターネットや他の通信媒体によって画像処理装置に接続されるコンピュータ読み取り可能な記憶媒体に記憶してもよい。当業者であれば、このようなコンピュータプログラムの等価物がハードウェアでも構成できることが簡単に理解できる。

以下の方法の記載において、コンピュータプログラムは任意の知られたコンピュータシステムによって利用できることは明らかである。このようなコンピュータシステムは、上述のカメラシステムのいずれかに組み込まれたコンピュータシステムを含むが、これらに限定されない。また、上記のカメラシステムは、図１０に示されるタイプのパーソナルコンピュータを含むがこれに限定されない。多くの他のタイプのコンピュータシステムを、コンピュータプログラムの実行に使用できる。したがって、コンピュータシステムについては、ここではさらに詳しく説明しない。

コンピュータプログラムは、周知の画像操作アルゴリズム及び処理を活用できることが理解される。したがって、本発明の記載は、記載される方法の一部を形成するか、この方法とより直接的に協働するこれらのアルゴリズムや処理に特に向けられる。よって、コンピュータプログラムは、ここには特定的に示したり説明したりしない、本発明の実施に有用なアルゴリズム及び処理を具体化することができる。このようなアルゴリズム及び処理は従来技術のものであり、当業界の通常の技術である。

画像を生成し、あるいは処理する、またはコンピュータプログラムと協働する、このようなアルゴリズム及びシステム、及びハードウェア及び／またはソフトウェアのさらなる態様についてはここに特定的に示したり説明したりせず、当業界で周知のかかるアルゴリズム、システム、ハードウェア、部品及び素子から選択することができる。

図１２は、画像中の重要領域を決定する方法の第１の実施形態を示す。この方法によれば、アーカイブ画像を取得し（ステップ５０２）、関連する目の情報が得られる（ステップ５０４）。目の情報には視線方向情報を含む。すでに詳細に説明したように、視線方向情報は、画像撮影シーケンスにおける視線の動きを記述する。この情報から、視線方向パスが決定できる。この実施形態では、視線方向パスは、アーカイブ画像に関するユーザ４の目の動きに追従する２次元パスとして決定する。このような視線方向パスの一例が図１３に示されている。図１３に示される例では、視線方向パス５３０はアーカイブ画像５３２のオーバーレイとして示されている。

視線方向パス５３０を用いてアーカイブ画像の被写体領域が決定する（ステップ５０６）。これは、さまざまな方法で実現できる。簡単な実施形態では、アーカイブ画像５３２を図１３に示される領域５３４，５３６，５３８，５４０及び５４２として区分することができる。各領域を調べて、その領域内に含まれる視線方向パス５３０の部分を決定する。図１３に示されるように、領域５４０は他のいずれの領域よりも視線方向パス５３０の部分を多く含み、よって画像中の重要度が高い領域であると判断できる。しかしながら、より複雑な分析も実行できる。

別の実施形態では、アーカイブ画像５３２を画像分割などの画像処理技術を用いて分析することができ、写真における分割された物体または領域、例えばピクニックエリア５５０、家５５２、山５５４及び木５５６をアーカイブ画像の基準として識別することができる。視線方向パスを分析し、視線方向パスから、画像中のどの基準が重要であるかを決定する。例えば、図１３に示されるように、視線方向パスは図１３に示される山５５４の形に沿っている。したがって、この実施形態では、山５５４を含むアーカイブ画像の部分を重要な領域と定めることができる。

さらに別の実施形態では、重要領域を示す視線方向パス５３０内のパターンを識別することができる。例えば、図１３の領域５３４内のこれらのパターンは肯定的な重要性の領域を示してもよく、一方、領域５３６及び５４２の画像など、簡単にしか見られていない領域は重要度が低いと考えられる。否定的な重要性を示唆するパターンもある。例えば、領域５３８では、視線移動パス５３０はアーカイブ画像５３２の端部に繰り返し集束している。このようなパターンは、ユーザ４がアーカイブ画像５３２の端部にある重要でない材料を除外するように画像を構図しようとしていることを示唆することができる。肯定的に重要なパターンと否定的に重要なパターンとを識別することにより、アーカイブ画像における重要領域を決定することができる。

重要な領域が決定すると、重要領域を含むアーカイブ画像の部分を特徴づける領域重要性データが生成される（ステップ５１０）。この領域重要性データが記憶され（ステップ５１２）、アーカイブ画像に関連づけられる（ステップ５１４）。記憶ステップ（ステップ５１２）と関連づけステップ（ステップ５１４）は逆にすることができ、関連づけステップに、アーカイブ画像を伴う領域重要性データの、アーカイブ画像への、アーカイブ画像を表すデータへの、またはアーカイブ画像と関心あるデータの領域とを関連づける表示を有する個別データファイルへの記憶を含むことができる。さらに別の実施形態では、領域重要性データを抽出して、このデータを使用してアーカイブ画像を処理する画像処理アルゴリズムによって上記関連づけを行うことができる。例えば、領域重要性データを使用し、自動ズーム及びクロップアルゴリズムによる使用に対して重要な領域を決定できる。

図１４は、アーカイブ画像中の重要領域を決定する方法の別の実施形態を示す。この実施形態では、アーカイブ画像を取得し（ステップ６０２）、目の情報及びコンテクスト情報を取得したアーカイブ画像に関連づけて取得する（ステップ６０４）。この実施形態では、目の情報には、画像撮影シーケンスの間に得られた視線方向情報を含む。さらに、この実施形態では、コンテクスト情報は、画像撮影シーケンスの間に取得したカメラ調整情報を含む。

次に、視線方向パスを決定する（ステップ６０６）。この実施形態では、視線方向パスはアーカイブ画像に対して決定する。このステップを行うために、視線方向情報をカメラ調整情報にもとづいて調節し、カメラシステムの視野を調節することによりユーザが構図を調整する程度までは、このような調節が視線方向パス情報に反映されるようにする。これらの調整を撮影されたアーカイブ画像に相関させるため、視線方向パスをアーカイブ画像に対して決定する。これは種々の方法で実現できる。例えば、シーン調整を補償するために、視線方向パスに対して数学的に補正を行うことができる。あるいは、視線方向は、調整情報によって部分的に決定した座標スケールを用いてマップすることができる。

さらに別の実施形態においては、画像構図の間に撮影された一連の評価画像からの画像情報を含む合成画像を画像撮影シーケンスの間に形成することができる。視線方向情報を合成画像にマップすることができ、アーカイブ画像は合成画像に関して位置合わせできる。

ここで、構図中に視野に大きな変化があると、ステップ６０６で決定した視線方向パスの部分がアーカイブ画像外に位置する場合がある。図１５は、ピクニックエリア６５０、家６５２、山６５４及び木６５６が示されたアーカイブ画像６３２を覆う視線方向パス６３０を示している。図１５に示されるように、視線方向パス６３０の一部はアーカイブ画像の外にある。この場合、アーカイブ画像の外部に位置する視線方向パス情報を考慮から除外する任意のステップを用いることができる（ステップ６０８）。これにより、重要な領域を決定する際に考慮すべき情報の量が減少する。

図１４に示される実施形態において、視線方向パスにもとづきアーカイブ画像中の重要領域を決定するさらに別の方法が示される。この実施形態では、視線方向パスを調べて、目の移動中の凝視点（fixations）を決定する。一般に、視線の凝視点は、ユーザ４の視線が２０ミリ秒から１２０ミリ秒の間、同じ位置の１／４から２度の間の範囲に留まる場合に起こる（ステップ６１０）。図１５に示される実施形態では、視線凝視点６３４，６３５，６３６，６３７，６３８，６４０，６４２，６４４，６４６，６４７，６４８及び６４９の組がこの方法で識別されている。つづいて、これらの視線凝視点を、任意数の数学的クラスタ技術を用いて地理的にまとめる（ステップ６１２）。このようなクラスタリングの１例が図１５に示され、３つのクラスタ６７０，６７２，６７４が識別されている。

次に、クラスタ６６０，６６２及び６６４を重み付けする（ステップ６１４）。クラスタの重み付けは、例えば、視線方向パスに位置する一連の凝視点において最も早く起こる凝視を含むクラスタはどれかにもとづき行うことができる。例えば、視線方向パスにおいて検出される第１の凝視点６３４に最も高い重みをつけることができ、これに続く各凝視点は順次より低い重みを有する。重み付けは、各凝視点の持続時間にもとづいて行うこともできる。凝視時間が長いほど重みも高くなる。また、重み付けを各凝視中の瞳孔のサイズの決定に基づき行うこともできる。この場合、瞳孔サイズが大きいほど、重みが高くなる。これらの重み付けシステムを組み合わせて使用することもできる。また、クラスタ間の視線方向パスのパターンを使用し、各クラスタにつけられる重みの影響を補助することもできる。そして、クラスタによっては、目の凝視がクラスタ内で行われた時間近くに収集されたさらなるコンテクスト情報に少なくとも部分的にもとづいて、重みをつけてもよい。例えば、瞳孔の拡大の変化、心拍数の変化及び他の目の情報を用いて、クラスタに適用される重みを変えることができる。さらに、コンテクスト情報を分析し（図示せず）、ユーザがアーカイブ画像の境界付近のクラスタ内の物体を除外しようとしたか、または包含しようとしたかを判断してもよい。例えば、ユーザ４が凝視点６４２と６４４においてカメラシステム２０を左に移動したことをコンテクスト情報が示す場合、ユーザ４がこの領域を除外するつもりであったという結論に達することができる。したがって、この結論を用いて、クラスタ６７４に否定的な重みを付けることができる。

重要な領域は、重み付けしたクラスタにもとづき決定することができる（ステップ６１６）。例えば、重要な領域は、アーカイブ画像内の最も高い重みを有する単一のクラスタまたは１群のクラスタに地理的に関連する領域であると判断することができる。そして、総括的に上述したように、重要領域のデータを生成し（ステップ６１８）、記憶し（ステップ６２０）、アーカイブ画像に関連づける（ステップ６２２）。図１２及び図１４の実施形態においては、視線方向情報にもとづいて視線方向パスの決定するステップを説明した（それぞれステップ５０６及び６０６）。これらのステップは任意であり、視線方向情報を直接分析し、視線方向パスを決定するステップを行わずに、そこに記載される特徴を決定することもできる。この場合、視線方向情報は、アーカイブ画像中の重要領域を決定できる、視線方向の集中、視線方向のパターン、視線の凝視およびクラスタが得られる形式で分析することができる。

視線モニタリングシステムを有するカメラシステムの１実施形態を示す図である。 図１のカメラシステムの背面図を示す図である。 本発明の方法の１実施形態を示すフローチャートである。 本発明の方法の別の実施形態を示すフローチャートである。 図４のカメラシステムの背面図である。 アイモニタリングシステムを備えるファインダの別の実施形態を概略的に示す図である。 カメラシステムの別の実施形態を示す図である。 図７の実施形態の背面図である。 図７の実施形態のファインダシステム及びアイモニタリングシステムの概略図である。 カメラシステムの別の実施形態を示す図である。 カメラシステムの着用可能な実施形態を示す図である。 目の情報を使用して画像中の重要領域を決定する方法の１実施形態を示す図である。 アーカイブ画像の一例を視線方向パスとともに示す図であり、アーカイブ画像の異なる領域が指定されている。 目の情報及びコンテクスト情報を使用してアーカイブ画像中の重要領域を決定する方法の１実施形態を示す図である。 アーカイブ画像の一例を視線方向パスとともに示す図であり、指定された凝視点及びクラスタが示されている。

符号の説明

２，３ 目、４ ユーザ、２０ カメラシステム、２２ 撮影レンズユニット、２４ イメージセンサ、２６，２８ 素子、３０ レンズドライバ、３１ 光学ビームスプリッタ、３２ ファインダシステム、３３ ファインダディスプレイ、３４ アナログ信号処理装置、３５ ファインダ光学系、３６ Ａ／Ｄ変換器、３８ フレームメモリ、３９ ディスプレイドライバ、４０ ディジタル信号処理装置、４２ 外部ディスプレイ、４４ データメモリ、４６ ホストコンピュータインターフェース、４８ 距離計、５０ カメラマイクロプロセッサ、５２ メモリカード、５４ メモリカードスロット、５６ メモリカードインターフェース、５８ ユーザコントロール、６０ シャッタリリース、６２ 「ワイド」ズームレンズボタン、６４ 「テレ」ズームレンズボタン、６６ タイミング生成器、６８ センサドライバ、７０ アイモニタリングシステム、７６ シーン調整センサ、７８ 追加画像撮影システム、８０ ビデオアイイメージャ、８２ 網線、８４ ビームスプリッタ、８６ 光源、２００ カメラシステム、２１０ フィルム画像撮影システム、２１１ ズームレンズシステム、２１２ レンズシステム、２１４ フィルム、２２０ 電子画像撮影システム、２３０ ファインダシステム、２３２ 入口光学パス、２３４ 光学素子、２３６ ズーム光学素子、２３８ ビームスプリッタ、２４０ 撮影パス、２４２ 光学素子、２４４ イメージセンサ、２５０ 構図パス、２５２，２５３ ファインダ光学素子、２５８ 外部ディスプレイ、２６０ アイモニタリングシステム、２６２ ビデオアイイメージャ、２６４ 光源、３００ 画像処理システム、３１０ シーンイメージセンサ、３１２ 画像処理装置、３１４ ディスプレイ、３１６ オペレータインターフェース、３１８ キーボード、３２０ マウス、３２２ 貯蔵部、３２４，３２６ 出力装置、３３０ アイモニタリングシステム、３３２ 読み取り可能な記憶媒体、４００ カメラシステム、４０２，４０４ レンズ、４０６ フレーム、４０８ イメージャ、４１０ アイモニタリングシステム、４１２，４１４ アイイメージャ、４１８ 処理装置、４２０ メモリ、４２２ 通信モジュール、５３０ 視線方向パス、５３２ アーカイブ画像、５３４，５３６，５３８，５４０，５４２，５４４
領域、５００ ピクニックエリア、５５２ 家、５５４ 山、５５６ 木、６３０ 視線方向パス、６３２ アーカイブ画像、６３４，６３５，６３６，６３７，６３８,６４０，６４２，６４４，６４６，６４７，６４８，６４９ 凝視点、６５０ ピクニックエリア、６５２ 家、６５４ 山、６５６ 木、６７０，６７２，６７４ クラスタ、Ａ ディスプレイ空間、Ｂ シーンからの光、Ｃ 光源からの光、Ｄ ディスプレイ空間。

Claims (4)

1. アーカイブ画像における重要領域を決定する方法であって、
   一連の評価画像を撮影するステップと、
   前記一連の評価画像の撮影の間にシーン構図を調整するステップと、
   前記シーン構図における調整を特徴付けるコンテクスト情報と、前記一連の評価画像の撮影の間に得られた視線方向情報を含む目の情報とを取得するステップと、
   アーカイブ画像を撮影するステップと、
   前記得られた視線方向情報と前記コンテクスト情報とに基づき前記アーカイブ画像に対する視線方向パスを決定するステップと、
   前記アーカイブ画像に対する前記視線方向パスに基づき前記アーカイブ画像中の重要領域を決定するステップと、
   前記アーカイブ画像における前記重要領域を特徴付ける重要領域データを前記アーカイブ画像に関連付けるステップと、
   を含む方法。
2. アーカイブ画像における重要領域を決定するコンピュータプログラムであって、該コンピュータプログラムは、以下のステップを実行するためのコンピュータプログラムが記憶されるコンピュータ読取り可能な記憶媒体に含まれ、前記ステップは、
   一連の評価画像を撮影するステップと、
   前記一連の評価画像の撮影の間にシーン構図を調整するステップと、
   前記シーン構図における調整を特徴付けるコンテクスト情報と、前記一連の評価画像の撮影の間に得られた視線方向情報を含む目の情報とを取得するステップと、
   アーカイブ画像を撮影するステップと、
   前記得られた視線方向情報と前記コンテクスト情報とに基づき前記アーカイブ画像に対する視線方向パスを決定するステップと、
   前記アーカイブ画像に対する前記視線方向パスに基づき前記アーカイブ画像中の重要領域を決定するステップと、
   前記アーカイブ画像における前記重要領域を特徴付ける重要領域データを前記アーカイブ画像に関連付けるステップと、
   を含み、
   前記コンテクスト情報は視野における変化を特徴付けるものであり、
   前記アーカイブ画像に対して視線方向パスを決定するステップは、前記一連の評価画像の撮影の間に前記視線方向パスを調節し、カメラの視野における変化を補償するステップを含むコンピュータプログラム。
3. アーカイブ画像において重要領域決定を決定する画像撮影装置に取り付けられた装置であって、
   一連の評価画像を取得する手段と、
   前記取得された一連の評価画像に基づいてシーン構成を調整する手段と、
   前記シーン構図における調整を特徴付けるコンテクスト情報と、前記一連の評価画像を取得する間に得られた視線方向情報を含む目の情報とを取得する手段と、
   アーカイブ画像を撮影する手段と、
   前記得られた視線方向情報と前記コンテクスト情報とに基づき前記アーカイブ画像に対する視線方向パスを決定する手段と、
   前記アーカイブ画像に対する前記視線方向パスに基づき前記アーカイブ画像における重要領域を決定する手段と、
   前記アーカイブ画像における前記重要領域を特徴付ける重要領域データを前記アーカイブ画像に関連付ける手段と、
   を備える装置。
4. 前記アーカイブ画像における前記重要領域を決定する請求項３に記載の装置であって、
   前記コンテクスト情報は、
   前記評価画像を用いた視野の調整、前記視野内の内容の調整、および前記評価画像によって表示される撮影されたシーンの配置の操作、の少なくともいずれかに関するシーン構図調整情報を含むことを特徴とする装置。