JP5364573B2 - 不完全なデータからの評価指標 - Google Patents

Description

本発明は、デジタル画像処理の分野に関する。より詳しくは、画像の主観的な値を自動的に決定する技術に関する。

デジタル画像技術は、静止画、ビデオ画像シーケンス、画像および他のコンテンツが結合したマルチメディアの記録を大量に蓄積することができるユーザーの能力を飛躍的に高めた。（本願明細書において、静止画、ビデオ画像シーケンス、画像および他のコンテンツが結合したマルチメディアの記録は、「画像記録」という用語を用いて集合的に示される。）画像記録が増大するにつれて、その管理は困難になってきている。

個々の画像記録に対して、期待される評価値を表すメタデータを割り当てることによって、ユーザーが画像記録を管理し、利用するのを援助するための努力がなされてきた。例えば、ニューヨーク州ロチェスターのイーストマン・コダック社によって販売された、Ｖ−５５０デジタルカメラは「共有（Share）」という名のユーザコントロールを装備している。これは、プリントしたり電子メールで送信したりすることを、それぞれの画像に対してユーザーが指定するためのものである。この機能は、役立つものであるが、２進数の数値であるという制限がある。
米国特許出願公開第２００３／０１２８３８９号明細書

特許文献１（Matraszekその他による出願「感情の情報：affective information」）は画像記録の重要度の他の基準を開示している。これは複数の評価値を持つ（multi-valued）メタデータ・タグという形をとることができる。感情の情報は手動データ入力でもよいし、自動的にユーザー反応を検出してもよい。ユーザー反応としては、特定の画像のユーザー利用たとえば画像の印刷または電子メールによる送信が何回行われたか等を含む。いずれにせよ、感情の情報は、特定のユーザーと共に特定される。
米国特許第６，６７１，４０５号

特許文献２は、Savakisその他の発明者によるもので、他の方法を開示する。これは、ユーザーが操作しなくても、画像の「強調およびアピール」の値を計算する。第１の測定基準は、多くのファクターに基づく。このファクターとしては、以下のものが含まれる。すなわち、画像意味内容（例えば人々、顔）、客観的特長（例えば彩度および鮮明度）、そして、対象の特長（例えば中心の対象のサイズ）が含まれる。第２の測定基準は、コレクション中の他の画像と関連するファクターとの比較である。ファクターは、訓練された推論エンジンを使用して統合される。
米国特許公開第２００４／００７５７４３号明細書

特許文献３は、特許文献２のものと類似している。これは、画像に対してユーザーが選択した意味的な内容または画像の客観的特長のパラメータに基づき画像を分類する発明を開示している。

これらの特許および特許公報の測定基準は、役立つが、相互に互換性がない。

したがって、特定のタイプの情報の存在に基づかない測定基準を提供することが望まれる。

本発明は、請求項により定義される。本発明は、より広い態様において、デジタル画像管理方法およびシステムを提供する。この環境で、画像記録のデータベースが維持される。また、データ集合が提供される。このデータ集合は、それぞれの画像記録と各々関係している。データ集合は、複数のカテゴリ（取込み関連データ、画像固有データ、画像使用データ、ユーザー反応データ）に関してデータを持つ。複数のデータ集合は、カテゴリの異なる組合せにおいてデータの欠落を有する。画像記録の各々のデータ集合から、それぞれの評価指標が作られる。記録画像は、それぞれの評価指標に応じて管理される。

本発明の改良された方法、システム、およびコンピュータシステムは、非常に有益な効果を発揮する。個々の画像に与えられたユーザー用の評価基準は、複数の異なるデータ・カテゴリの異なる組合せにおけるデータに基づくものである。

［発明の詳細な説明］
本発明の方法およびシステムにおいて、デジタル画像記録は、各画像記録の評価指標が算出されることにより管理され、それぞれの画像記録の評価指標の大きさに応じて利用される。各画像記録の評価指標は、それぞれの画像記録と関連した情報データの集合から決定される。各集合は、一つまたは複数のカテゴリ（取込み関連データ、画像固有データ、画像使用データ、ユーザー反応データ）に関してデータを持つ。複数のデータ集合は、カテゴリの異なる組合せにおいてデータの欠落を有する。

動詞「撮像する（image）」は、シーンの画像を形成する際のカメラの操作を指すために、本願明細書において使われる。ファインダはアイピース等を通して画像を表示する。そして、撮影レンズは表示装置へ画像を撮像する。カメラのキャプチャ装置は、一つ以上のシーンのデジタル画像を撮像する。カメラは以前に取り込まれたシーンのデジタル画像を撮像することによって、以前に取り込まれたシーンをディスプレイ上にレンダリングしてもよい。これはシーンの画像を作り出す。

用語「保存画像」は、メモリに保存されたデジタル画像であって、取込みイベントの後にユーザーによりアクセスできるものを指すために、本願明細書において用いられる。保存画像は、シーンの画像の取込みの間に作り出される他の保存されない電子画像と区別される。このような保存されない画像は、画像形成の過程において保存画像に至るまでの途中の画像を含む。例えば、カメラのイメージセンサによって、取り込まれる第一のアナログの電子画像および第一のアナログ画像をデジタル化することによって、作り出される第一のデジタル画像がこれに相当する。それらのケースにおいて、保存されない画像および結果として生じる保存画像の全ては、同じ画像から作り出される。他のタイプの保存されない画像としては、ファインダで見る、露出および焦点設定などにおいて使用する画像である。これらの保存されない画像は、ファインダ等においてユーザーに示されてもよいが、取込みの後は、通常の使用に供されない。これらの保存されない画像は、それらを格納するために使用するメモリの再使用のため、自動的に削除してよいものである。

用語「画像記録」は、デジタル静止画像、ビデオシーケンスまたはマルチメディアの記録を指すために、本願明細書で用いられる。画像記録は、一つ以上の画像と音または他のデータのいかなる組合せを含む。そして、いかなる保存されない画像も含まない。例えば、画像記録は、複数のスペクトル画像、スキャナを使わないレンジ画像、デジタル・アルバム・ページおよびマルチメディアのビデオ・プレゼンテーションを含む。本願明細書における考察は、通常、デジタルカメラを使用して取り込まれた画像記録を対象とする。画像記録は、他のキャプチャ装置を使用して取り込まれてもよい。写真用フィルムまたは他の手段を用いて取り込まれて、その後デジタル化していてもよい。本願明細書において述べるように、画像記録は関連情報とともにデジタル的に格納される。

用語「日時」は、時間関連情報（例えば日付および時刻）を指すために、本願明細書で用いられる。なお、日時は特定の時間の単位に限られなくてもよい。例えば、時刻のない情報も用いられる。

以下の説明では、一部の特長は、「ソフトウェア」または「ソフトウェアプログラム」として記載されている。当業者は、かかるソフトウェアに相当するものがハードウェアによって直ちに実現できることを認識するであろう。画像の操作を行うアルゴリズムおよびシステムは周知であるので、本願明細書では、方法の一部を形成するアルゴリズム、および方法に直接的に協働する特徴を強調して説明する。デジタル静止画およびビデオカメラの一般の特長およびコンピュータシステムは同様に周知である。よって、本願明細書は主に、直接本発明の方法に関連した態様に限って記述する。

関連する画像信号を作成または処理するための、その他のアルゴリズムおよび装置、ハードウェアおよび／またはソフトウェアであって、本願明細書において、特に示されていないか記載されていないものは、当業者に周知のシステム、アルゴリズムおよび要素である。本願明細書において説明されているもの以外の、全ての付加的なソフトウェア／ハードウェアのインプリメンテーションは、従来技術であり、当業者の知識の範囲内のものである。

本発明は、コンピュータハードウェアおよび装置化されたコンピュータによって実施できる。例えば、方法は、一つ以上のデジタルカメラまたは他のキャプチャ装置を含むシステムおよび／または一つ以上のパーソナル・コンピュータを使用して実行されてもよい。図４は、本発明を実装したコンピュータシステム１１０を示している。コンピュータシステム１１０が好ましい実施例を例示するために示されるが、本発明は、コンピュータシステム１１０に限られるものではない。例えば、デジタルカメラ付き携帯電話および他のモバイル機器、家庭用コンピュータ、駅の売店や小売または卸売り店における写真仕上げ装置など、デジタル画像の処理のための電子処理システムで実施されてもよい。コンピュータシステム１１０は、マイクロプロセッサ・ベースの装置１１２（本願明細書において、デジタル画像プロセッサとも称される）を含む。これは、ソフトウェアプログラムを受信し、処理し、他の処理機能を実行するためのものである。ディスプレイ１１４は、例えば、グラフィカルユーザーインタフェースによって、ソフトウェアと関連したユーザー関連の情報を表示するためのマイクロプロセッサ・ベースの装置１１２に、電気的に接続している。キーボード１１６も、ユーザーが情報をソフトウェアに入力できるようにするため、マイクロプロセッサ・ベースの装置１１２に接続している。入力のためのキーボード１１６を使用することに代わるものとして、マウス１１８が、ディスプレイ１１４上に表示されたセレクタ１２０を動かすために利用される。また、マウス１１８は、周知のように、セレクタ１２０に隠れているアイテムを選択するために用いられてもよい。

可搬型メモリは、いかなる形でもよく、ＣＤ−ＲＯＭ１２４がその例として挙げられる。これは、ソフトウェアプログラムを含んでもよい。マイクロプロセッサ・ベースの装置に挿入されると、ソフトウェアプログラムおよび他の情報をマイクロプロセッサ・ベースの装置１１２に入力する手段を提供する。複数のタイプの可搬型メモリが設けられていてもよい（フロッピー（登録商標）ディスク１２６が例示されている）。そして、データはいかなる適切なタイプの可搬型メモリにも記録されてもよい。メモリは、直接に、または、ローカルまたはラージ・エリア・ネットワーク（例えばインターネット）を介して、有線または無線接続を使用して外部からアクセスしてもよい。また更に、マイクロプロセッサ・ベースの装置１１２は、周知のように、内部にソフトウェアプログラムを格納するためにプログラムされてもよい。プリンタまたは他の出力装置１２８は、コンピュータシステム１１０からの出力のハードコピーを印刷するため、マイクロプロセッサ・ベースの装置１１２に接続していてもよい。マイクロプロセッサ・ベースの装置１１２は、外部ネットワーク（例えばローカル・エリア・ネットワークまたはインターネット）に接続するネットワークコネクション１２７（例えば電話回線または無線リンク）を有してもよい。

画像は、パーソナル・コンピュータ・カード（ＰＣカード）１３０のようなメモリーカードを介してディスプレイ１１４に表示されてもよい。例えば、従来から公知の（Personal Computer Memory Card International Associationの仕様に基づく）ＰＣＭＣＩＡカードは、電子的にカード１３０内にデジタル化画像を格納できる。ＰＣカード１３０は、ディスプレイ１１４上で画像の表示ができるようにするためのマイクロプロセッサ・ベースの装置１１２に挿入される。あるいは、ＰＣカード１３０は、マイクロプロセッサ・ベースの装置１１２に接続され外部的に設置されているＰＣカード読取装置１３２に挿入されてもよい。画像は、コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６またはネットワークコネクション１２７を介して入力されてもよい。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６またはコンパクトディスク１２４に格納されるいかなる画像、またネットワークコネクション１２７からの画像は、様々なソース（例えばデジタルカメラまたはスキャナ）から得られたものでもよい。画像は、マイクロプロセッサ・ベースの装置１１２に接続しているカメラ・ドッキング・ポート１３６を経て、デジタルカメラ３４から直接に、または、マイクロプロセッサ・ベースの装置１１２にケーブル接続１３８を経てデジタルカメラ３４から直接に、または、マイクロプロセッサ・ベースの装置１１２に対するワイヤレス接続１４０を介して入力されてもよい。

出力装置１２８は、変換に従った最終イメージを提供する。出力装置は、紙または他のハードコピーによる最終イメージを提供するプリンタまたは他の出力装置でもよい。出力装置は、デジタル・ファイルとして最終イメージを提供する出力装置でもよい。出力装置は、連動した出力でもよい。例えば印刷画像および記憶装置上のデジタル・ファイル（例えばＣＤまたはＤＶＤ）の組合せを含んでもよい。デジタル・ファイルは、いかなる種類の家庭用および携帯用の視聴装置（例えば「個人メディアプレーヤ」または「フラットスクリーンＴＶ」）と連動して使われてもよい。マイクロプロセッサ・ベースの装置１１２は、意図された出力装置または媒体上に、所望の画像を作り出すために、デジタル画像を処理する手段を提供する。本発明は、デジタル写真式プリンタおよびソフトコピー・ディスプレイを含むが、これに限定されるものではなく、様々な出力装置で使われてもよい。マイクロプロセッサ・ベースの装置１１２は、所望のデジタル画像が画像出力装置により出力されるように、全体の輝度、濃淡スケール、画像構造、その他の調整をデジタル画像に施すために用いることができる。当業者は、本発明が上記の画像処理機能に限られていないことを認識するであろう。

デジタル画像は、一つ以上のデジタル画像チャネルまたは色コンポーネントを含む。各デジタル画像チャネルは、二次元の画素アレイである。各画素値は、ピクセルの物理領域に対応する画像形成キャプチャ装置によって受け取られる光量に関係する。色画像形成アプリケーションのために、デジタル画像は、赤・緑・青デジタル画像チャネルで構成される場合が多い。動画アプリケーションは、一連のデジタル画像とみなされてもよい。当業者に明らかなように、本発明は、本願明細書において説明するアプリケーションのいずれかのためのデジタル画像チャネルに適用できるが、これに限定されるものではない。ここには、画素値の二次元アレイが行および列によってアレンジしたデジタル画像チャネルが記載されているが、当業者は、本発明を非直線配列に適用してもよく、等しい効果を有することを認識するであろう。

図４に示される一般の制御コンピュータは、プログラムを有する機械読み取り可能な記憶媒体にコンピュータ・プログラム製品を保持してもよい、例えば、磁気記録媒体（例えば磁気ディスク、フロッピー（登録商標）ディスクまたは磁気テープ）、光記憶媒体（例えば光ディスク、光学テープまたは機械読み取り可読なバー・コード）、固体電子記憶装置（例えばランダムアクセスメモリ、（ＲＡＭ）または読取り専用メモリ（ＲＯＭ））である。関連したコンピュータ・プログラムは、オフライン・メモリと呼ばれるようなコンピュータ・プログラムを格納するために使用される他のいかなる物理デバイスまたは媒体に格納してもよい。

また、本発明はソフトウェアおよび／またはハードウェアの組合せによって、実施することができ、物理的に接続されているか、および／または物理的な位置が同じであるような機器に限定されないことに注意すべきである。図４において、明記されている一つまたは複数の機器は遠隔地に位置してもよく、ネットワークを介して接続されていてもよい。例えば、直接、または、ネットワークを介して、無線周波数リンクによって、機器の一つ以上は、ワイヤレスで接続されてもよい。

本発明は、様々なユーザーの関係および環境において、使用されてもよい。典型的な関係および環境としては、卸売りデジタル写真仕上げ（典型的な工程段階、例えばフィルム処理、デジタル処理、プリントアウトを含む）、小売デジタル写真仕上げ（フィルム処理、デジタル処理、プリントアウト）、家庭のプリント（家庭でのフィルムスキャンまたはデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタル・プリントをより良好にするためのアルゴリズムを適用するソフトウェア、またはシンプルな変換プログラム）、デジタル遂行（digital fulfillment）（媒体またはウェブからのデジタル画像の入力、デジタル処理、イメージ出力）、駅の売店（デジタルまたはスキャン入力、デジタル処理、デジタルまたはハードコピー出力）、モバイル機器（例えばカメラ、ＰＤＡまたは携帯電話、これらは演算処理装置、ディスプレイ装置またはプロセス命令を発する装置として使われてもよい）、ワールドワイド・ウェブを介したサービスが挙げられるが、これらに限定されるものではない。

本説明において、本発明は独立していてもよいし、より大きなシステムの構成要素であってもよい。さらにまた、ヒューマン・インタフェース（例えばスキャンまたは入力、デジタル処理、（必要に応じた）ユーザーに対する表示、（必要に応じた）ユーザーリクエストの入力または処理命令、出力）は、同一か異なる機器のいずれによってもよく、機器の物理的な位置が同じか異なってもよい。そして、機器間および異なる場所間のコミュニケーションが、公的または私的なネットワークコネクションを介したものであってもよく、媒体を介したコミュニケーションであってもよい。

本発明の上記開示に加えて、本発明の方法は完全自動でもよく、（完全に、または、部分的に手動である）ユーザー入力を有してもよく、ユーザーまたはオペレータのレビューにより結果を容認／拒絶させてもよく、メタデータ（ユーザーからの供給、測定装置（例えばカメラ）による供給、または、アルゴリズムによる決定）により補助されてもよい。さらに、アルゴリズムは、様々なワークフロー・ユーザーインターフェース方式と結びついてもよい。

本願明細書において開示されるカメラは、本発明を実施するのに必要な特長を有する。他の特長は、当業者にとって周知である。以下の記述において、カメラは、しばしばスチルカメラおよびビデオカメラと呼ばれる。これらの用語は、包括的なものであり、両者とも、静止画およびビデオカメラを指す。または、静止画／ビデオカメラを指す。それぞれが、対応する静止画、ビデオのキャプチャ機能に利用される。本願明細書においては詳述しないが、カメラは多種多様な特長のいずれかを含んでもよいとも理解される。例えば、着脱可能なおよび交換可能なレンズおよびマルチプルキャプチャー装置が含まれる。カメラは、ポータブルでもよく、場所に取り付けられてもよく、一つ以上の画像形成と関係する機能および無関係な他の機能を提供してもよい。例えば、カメラは、携帯電話カメラでもよいし、他の方法の通信機能を提供してもよい。

図３および図５は、実施例を示している。カメラ１０は、構造的な支持および他のコンポーネントの保護を提供するボディ１１を備えている。ボディ１１は、特定の使用およびスタイル上の問題の要件を満たすために変化してもよい。電子画像キャプチャ装置１２（これはボディ１１に取り付けられる）は撮影レンズ１４を有する。そして、電子配列イメージセンサ１６は撮影レンズ１４とともに配置されている。カメラ１０はユーザーインターフェース１３を備えている。これは出力を撮影者に提供し、撮影者からの入力を受け入れる。ユーザーインターフェース１３は、一つ以上のユーザー入力制御手段（図３のラベルをつけた「ユーザー入力」）および画像表示器３０を有する。ユーザー入力制御手段は、シャッターリリース１７、レンズユニットのズーミングを制御するズームイン／アウト制御１９、および他のユーザー制御２１を有する。ユーザー入力制御手段は、ボタンの組合せの形で設けられていてもよい。入力手段としては、ロッカスイッチ、ジョイスティック、回転ダイヤル、タッチスクリーン、マイクロホン、ユーザー命令に応答する音声認識を使用しているプロセッサ、などである。ユーザーインターフェースとしては、ユーザー反応をトラッキングする機能を含んでもよい。たとえば、イメージセンサ、ガルバニック応答センサ、上述のマイクロホンである。これらの機能は後の分析のため、未分析の情報を格納してもよい。または、ユーザー反応を分析して、適切なメタデータを作り出すことができるモジュールをユーザーインターフェースに含んでもよい。
米国特許公開第２００３／０１２８３８９号明細書

特許文献４は、Matraszekその他による出願であり、ユーザー反応のトラッキングからメタデータを生成する点を開示している。

ユーザーインターフェース１３は、撮影者に対してカメラ情報（例えば露光レベル、残っている撮影回数、バッテリ状態、フラッシュ状態、など）を伝えるために、一つ以上の情報表示２３を含んでもよい。画像表示器３０は、非画像情報（例えばカメラの設定）を表示するために用いてもよい。例えば、グラフィカルユーザーインタフェース（ＧＵＩ）が設けられていてもよい。そして、オプションの選択および撮影画像を調べるためのレビューモードを提示するメニューを含む。画像表示器３０およびデジタル・ファインダ・ディスプレイ（図示せず）は同じ機能を提供してもよい。そして、どちらか一方は除去されてもよい。カメラは、音声を入力して、音声出力を提供するためのスピーカおよび／またはマイクロホン（図示せず）を有してもよい。

スチルカメラとして使われるときに、カメラ１０は周囲の照明および／または他の状況を評価して、シーンパラメータ（例えばシャッタ速度および絞りの設定）を決定する。保存されない電子画像ストリームは、継続的に取り込まれて、撮影者に表示される。シャッタがリリースされるかトリガー１７がはずれると、保存画像が取り込まれ、保存されない画像の取込みは終了する。ビデオ・キャプチャ（モード）において、トリガーが作動状態となり作動してからオフになるまで、保存画像ストリームが取り込まれる。多くの静止画デジタルカメラは、ツーストローク・シャッターリリースを有する。通常は、シャッタボタンの半押しは一般にＳ１と呼ばれるスイッチを作動させる。そして、シャッタボタンの全押しは一般にＳ２と呼ばれるスイッチを作動させる（完全押下は、「Ｓ１−Ｓ２打鍵」とも呼ばれる）。保存されない画像の連続ストリームは第１の打鍵で取り込まれる。そして、１つの保存画像が第２の打鍵で取り込まれる。

撮影者がシャッタを押すと、対象のシーンの光が、撮影レンズ１２による光学通路２０に沿って伝播し、イメージセンサ１６に到達し、アナログの電子画像を作り出し、それからデジタル化されて、デジタル的に処理される。（便宜のために、本願明細書において、画像キャプチャは、個々の静止画像に関して一般的に述べるが、静止画像の連続取込みおよびビデオシーケンスの取込みにも考慮して適用される。）
使用するイメージセンサ１６は多様である。なお、望ましくは、イメージセンサは利用可能ないくつかの固体画像センサのうちの１つであることが望まれる。例えば、イメージセンサは、電荷結合デバイス（ＣＣＤ）、ＣＭＯＳセンサ（ＣＭＯＳ）または電荷注入デバイス（ＣＩＤ）でもよい。制御装置２２の構成要素は、イメージセンサ１６と共に動作する。図示されたカメラにおいて、それらのコンポーネントは、クロックドライバ２４（また、本願明細書において、タイミング発生器と称される）、アナログのシグナルプロセッサ２６、そして、アナログ・デジタル変換器／増幅器（Ａ／Ｄ）２８である。かかるコンポーネントは、イメージセンサを有する単一ユニットに組み込まれてもよい。例えば、ＣＭＯＳイメージセンサは、他のコンポーネントを同じ半導体ダイ上へ統合するプロセスにより製造される。

電子画像キャプチャ装置１６は、３色以上のチャネルを有する画像を取り込む。現在、カラーフィルタと共に単一のイメージセンサ１６が使われることが好まれるようになった。なお、複数の単色のイメージセンサおよびフィルタが用いられてもよい。適切なフィルタは当業者にとって周知である。場合によっては、イメージセンサ１６と共に積分要素が組み込まれる。当業者は、本願明細書において、複数の色チャネルを有するデジタル画像に関して記載されているいくつかの手順では、全てのチャネルよりも少ない一つ以上のチャネルに限られていてもよいことを認識するであろう。この方法の適合性は、発見的手法により決定されてもよい。

画像表示器３０は、画像表示ドライバすなわちディスプレイコントローラ３２により駆動されて、ユーザーによって見ることができる画像（または、ここでは「表示画像」と言う）を作り出す。画像表示機３０として、種々のタイプのものが用いられてもよい。例えば、画像表示は、液晶ディスプレイ（「ＬＣＤ」）ＣＲＴディスプレイまたは有機電界発光ディスプレイでもよい（「ＯＥＬＤ」、または、有機ＥＬディスプレイ「ＯＬＥＤ」とも呼ばれる）。画像表示器３０は、後部またはボディの上部に設置してもよい。このようにすることにより、撮影者は撮った画像を直ちに見ることができる。

イメージセンサ１６の各ピクセルからの電気信号は、ピクセルに到達する光の輝度、およびピクセルに到達する光の信号を蓄積できる時間に関係する。この時間は、積分時間または露光時間と呼ばれている。積分時間は、シャッタ３４（開いた状態と閉じた状態とをスイッチで切り替え可能である）により制御される。シャッタ３４は、機械式か電気-機械式でもよく、または電子画像キャプチャ装置においてハードウェアおよびソフトウェアによる論理関数として構成してもよい。例えば、ある種のイメージセンサ１６は、イメージセンサをリセットし、しばらくしてからイメージセンサを読み出すことにより、積分時間を電子的に制御することができる。ＣＣＤを使用するときには、イメージセンサ１６の積分時間の電子的制御は、光を感知する部分の外側に設けられている遮光されたレジスタの下で蓄積された電荷をシフトすることによって達成されてもよい。これは、フレーム転送デバイスＣＣＤでもってフルフレームごと、またはインタライン転送ＣＣＤでもって垂直線状に行ってもよい。適切な機器および手順は、当業者にとって周知である。このように、タイミング発生器２４が、イメージセンサにより画像を能動的に記録するための制御手段を提供してもよい。図１のカメラにおいて、シャッタ３４およびタイミング発生器２４が協働して積分時間を決定する。

全体の光の強さおよび積分時間の組合せは、露出と呼ばれている。等価な露出時間は、光の強さおよび積分時間のさまざまな組合せにより達成できる。露出時間が等価であっても、所与のシーンの画像を取り込むために、光の強さおよび積分時間の特定の露出組合せが他の等価な露出よりも好まれることがある。図３は、いくつかの露出制御の構成要素を示すが、ある実施例はこれらの要素の一つ以上を含まなくてもよく、また、露出の制御に代わる機構があってもよい。カメラは、図示されているもの以外の他の特長を有してもよい。例えば、シャッタは、また、絞りとしても機能することは当業者に周知である。

図示されたカメラにおいて、フィルターアセンブリ３６および絞り３８は、センサ１６における光の強さを調節する。これらは、調節可能である。絞り３８は、イメージセンサ１６に到達する光の強度を調節するため、光学通路の光を遮る機械式の孔（図示せず）を使用している。孔の開口のサイズは、連続的に調節可能でもよく、または段階的でも、他の変化でもよい。あるいは、絞り３８は固定的なものでもよく、光学通路２０から着脱可能でもよい。フィルターアセンブリ３６も同様に変更可能である。例えば、フィルターアセンブリ３６は、異なる均一なフィルタの集合（図示せず）を回転してもよく、または光学通路２０へ移動するものでもよい。

図３には、撮影レンズ１４、ファインダ５の部品（図示せず）を含む光学系１８を有するカメラ１０が図示されている。光学系１８は、多くの異なる形をとってもよい。例えば、撮影レンズ１４は光学ファインダ（図示せず）と完全に別でもよく。また、アイピース（図示せず）を通して内部ファインダの中にファインダ表示器４０を有しているデジタル・ファインダと完全に別でもよい。ファインダおよび撮影レンズは、一つ以上のコンポーネントを共有してもよい。これらおよび他の光学系の詳細は、当業者にとって周知である。便宜のために、光学系の説明は、デジタル・ファインダを含んでいるファインダ表示器４０、およびカメラ部の付属ディスプレイ３０を有する実施例において、一般的に説明する。なお、付属ディスプレイ３０は、通常のデジタルカメラと同様に、撮影した画像を表示することもできる。

撮影レンズ１４は、例えば単一の焦点距離およびマニュアル・フォーカシングまたは固定焦点を有した単純なものでもよいが、これは好まれない。図３に示されるカメラにおいて、撮影レンズユニット１２は、モータ駆動によるズームレンズであり、一つ以上の他のレンズユニットと連動して、移動要素または要素が駆動される。これによって、レンズの実効焦点距離を変えることができる。デジタル・ズーミング（デジタル画像のデジタル拡大）が、光学ズーミングの代わりに、または、これと結合して使われてもよい。例えばマクロ（近い焦点）機能を提供するために、撮影レンズの一部分（図示せず）が、光学通路に挿入されてもよいし、取り除かれてもよい。

カメラの撮影レンズ１４は、好ましくはオートフォーカス方式を採用する。例えば、オートフォーカス方式システムは、パッシブまたはアクティブのオートフォーカス方式、またはこれら２つの組合せを使用しているフォーカシングを提供してもよい。図３に示すオートフォーカス方式のシステムは、撮像されたシーンの距離または範囲を提供するための信号を制御装置２２に伝えるレンジファインダ４２を有する。制御装置２２は、信号の焦点分析をして、撮影レンズ１４の焦点可能な要素（図示せず）を動かすために、焦点ドライバすなわち制御手段４４を作動させる。レンジファインダ４２の機能は、キャプチャ装置１２のソフトウェアあるいはハードウェア機能として提供されてもよい。

カメラ１０は、輝度センサ４６を含む。図３に示すように、輝度センサは、一つ以上の個別部品の形で構成されていてもよい。輝度センサ４６は、単一センサまたは複数のセンサを用いて、シーンの露出の分析用のために、シーンの光の強さを表す信号を制御装置４０に提供するドライバ（図示せず）を有する。オプションとして、この信号は、カラーバランス情報を提供してもよい。
米国特許第４，８８７，１２１号

特許文献５には、輝度センサはシーンの照度および色値の片方または両方を提供するために用いてもよく、電子画像キャプチャ装置１６と別に設けた例が開示されている。輝度センサは、キャプチャ装置のハードウェアおよびソフトウェアの論理関数として構成されていてもよい。

図３に示すカメラは、フラッシュ・ユニット４８を有する。このフラッシュ・ユニットは、例えばキセノン・フラッシュ・ランプなどの電子制御照明器５２（図３における「フラッシュ」）を備えたフラッシュ・ユニット制御装置５０（図３における「フラッシュ制御」）を有する。フラッシュ・センサ５４は任意に設けられていてもよい。これはアーカイブ画像の撮像の間、または、アーカイブ画像の撮像より前のプリフラッシュによって、シーンから検出される光に反応する信号を出力する。フラッシュ・センサ信号が、専用のフラッシュ・ユニット制御５０によって、フラッシュ・ユニット４８の出力を制御する際に使われる。あるいは、フラッシュ・ユニット制御５０は無くてもよく、その代わりに制御装置２２がフラッシュ制御の機能を持ってもよい。フラッシュ出力は他の情報（例えば焦点距離）に基づいて調整されあるいは変化してもよい。フラッシュ・センサ５４および輝度センサ４６の機能は、単一のコンポーネントに組み込まれてもよい。またはキャプチャ装置１２および制御装置２２の論理機能として提供されてもよい。

制御装置２２は、露出調節要素およびその他のカメラ・コンポーネントを制御または調整し、画像および他の信号の転送を容易にして、画像に関連した処理を実行する。図３に示される制御装置２２は、システムコントローラ５６、タイミング発生器２４、アナログ・シグナルプロセッサ２６、Ａ／Ｄ変換器２８、デジタル信号処理プロセッサ５８およびメモリ６０ａ−６０ｄを有する。制御装置２２用の適切なコンポーネントは、当業者に知られている。これらのコンポーネントは、幾つかのあるいは単一の物理デバイスとして、または、多数の別々のコンポーネントにより構成されてもよい。システムコントローラ５６は、適切に構成されたマイクロコンピュータ（例えばデータ処理および一般のプログラムの実行のためのＲＡＭを有する組込形マイクロプロセッサ）という形をとってもよい。本願明細書の他の部分で記載されているように、制御装置２２の修正が行われてもよい。

タイミング発生器２４は、タイミング関係のすべての電子部品に、制御信号を供給する。個々のカメラ１０のための校正値は、較正メモリ（別途図示せず）は、例えばEEPROMに保存されて、システムコントローラ５６に供給される。ユーザーインターフェースのコンポーネントは、制御装置２２に接続していて、システムコントローラ５６で実行されるソフトウェアプログラムの組合せによって機能する。制御装置２２は、他のコンポーネントも操作する。すなわち、制御手段２２は、ドライバおよびメモリ、ズーム制御６２、フォーカス制御４４、マクロ制御６４、ディスプレイドライバ３２、そして、シャッタ３４、絞り３８、フィルターアセンブリ３６、およびビューファインダおよびステイタスのための表示装置４０，６６等のドライバ（図示せず）を操作する。

カメラ１０は、取り込まれた画像情報を補足する情報を提供するために、他のコンポーネントを含んでもよい。図３において、かかるコンポーネントの例は、方向センサ７６である。他の例としては、リアルタイムクロック、グローバル・ポジショニング・システム・レシーバおよびキーパッド、またはユーザ・キャプション等の情報入力のためのその他入力機器がある。

図と共に記載される回路は、当業者によく知られているさまざまな方法で修正されてもよいことが理解されよう。物理的回路としてここで記載されているさまざまな特長は、ファームウェアまたはソフトウェアの機能または２つの組合せとして構成されてもよいことが理解される。同様に、本願明細書におけるコンポーネントは、別々の装置が必要に応じて結合され、あるいは共有されてもよい。複数のコンポーネントは、それぞれ離れた位置に設けられていてもよい。

イメージセンサから取り込まれた電子画像は、増幅され、処理され、アナログ信号プロセッサ２６およびＡ／Ｄ変換器２８によって、アナログからデジタルに変換される。その結果として生じるデジタル電子画像は、ＤＳＰメモリ６０ａを用いてデジタル信号処理プロセッサ５８で処理され、処理の後に、システムメモリ６０ｂおよび／または着脱可能なメモリ６０ｃに保存される。データバス６８として示されている信号ラインは、イメージセンサ１６、システムコントローラ５６、プロセッサ５８、画像表示器３０、メモリ６０ａ−６０ｄおよび他の電子部品と電子的に接続されている。さらにデータバス６８は、アドレスおよびデータ信号の転送に用いられる。

「メモリ」とは、半導体メモリまたは磁気記憶装置等において設けられている実メモリの一つ以上の最適なサイズのロジカルユニットをいう。メモリ６０ａ−６０ｄは、各々ランダムアクセスメモリの任意のタイプのものでよい。例えば、メモリは、ＳＤＲＡＭまたはフラッシュＥＰＲＯＭメモリのような内蔵メモリ、または着脱可能なメモリ、または両方の組合せでもよい。着脱可能なメモリ６０ｃは、アーカイブの画像メモリのために提供されてもよい。着脱可能なメモリは、様々なものがある。例えばソケット７０に挿入されて、メモリーカード・インタフェース７２を介してシステムコントローラ５６に接続しているコンパクトフラッシュ（登録商標）（ＣＦ）またはセキュアーデジタル（ＳＤ）タイプ・カードでもよい。利用される他のタイプの記憶装置は、限定されるものではないがＰＣカードまたはマルチメディア・カード（ＭＭＣ）または組込形および／または着脱可能なハードディスクを含む。

システムコントローラ５６およびデジタル信号処理プロセッサ５８は画像メモリのために使われる同じ実メモリに格納されるソフトウェアにより制御されてもよい。しかし、システムコントローラ５６およびデジタル信号処理プロセッサ５８は、例えば、ＲＯＭまたはＥＰＲＯＭに格納されたファームウェア・メモリのような、専用のメモリ６０ｄに格納されるファームウェアにより制御されることが好ましい。別々の専用の装置のメモリは、他の機能をサポートしてもよい。撮影画像が格納されるメモリは、カメラ１０に取り付けられてもよいし、着脱可能なメモリ、または、両方の組合せであってもよい。使用するメモリおよび情報記憶の方法のタイプすなわち、光学的または磁気的または電子的のようなタイプは重要視されない。例えば、着脱可能なメモリは、フロッピー（登録商標）ディスク、ＣＤ、ＤＶＤ、テープカセットまたはフラッシュメモリカード、スティックでもよい。着脱可能なメモリはデジタル形式のカメラへ、または、カメラから画像記録の転送のために利用されてもよく、または、それらの画像記録は電子信号として送信されてもよい。

図示されているカメラは、マルチプロセッサを備えている。複数のコントローラおよびプロセッサによるカメラ機能制御手段の区分化は、典型的な方式であるが、これらのコントローラまたはプロセッサは、カメラの機能的動作に影響を及ぼさずに、さまざまな形式で組み合わされる。これらのコントローラまたはプロセッサは、一つ以上のデジタル信号処理プロセッサ機器、マイクロコントローラ、プログラマブル・ロジック・デバイスまたは他のデジタル論理回路から成ってもよい。かかるコントローラまたはプロセッサの組合せが記載されていたとしても、１台のコントローラまたは１台のプロセッサが必要とされる機能の全てを実行してもよいことは明らかである。これらのバリエーションの全ては、同じ機能を実行することができる。

図示の実施例では、デジタル信号処理プロセッサ５８は、プログラムメモリ６０ｄに固定的に記憶されているソフトウェアプログラムに従って、メモリ６０ａのデジタル・イメージ・データを操作し、画像キャプチャの間に、処理を行うためのメモリ６０ａへデジタル・イメージ・データをコピーする。デジタル信号処理プロセッサ５８は、画像処理のために必要なソフトウェアを実行する。デジタル画像は、画像の画質を向上させるために、他のデジタルカメラと同じ方法で修正されてもよい。例えば、画像は、補間およびエッジ強調を施すために、デジタル信号処理プロセッサにより処理されてもよい。デジタル処理は、カメラのディスプレイ上の表示画像としての用途のための修正および特定のファイル構造のための修正を、保存画像に対して施してもよい。例えば表示用として、画像はディスプレイのグレースケール、色域および中性点に関して異なる性能に適応するために変換されることが必要である。これは、イメージャおよび他の電子的な取り込みを行うコンポーネントに対しても同じである。解像度および／またはコントラスト・レベルが減らされて、表示された画像は切り取られてもよい。または、画像の情報の他の一部は示されなくてもよい。ファイル転送に関連した修正は、例えばＪＰＥＧ圧縮およびファイルフォーマット操作を含んでもよい。強調操作は、いずれの場合においても施すことが可能である。画像修正はメタデータの追加を含んでもよい、これは、画像以外の情報であり、画像記録に結びついたものである。

システムコントローラ５６は、プログラムメモリ６０ｄに保存されているソフトウェアプログラムに基づいてカメラの全てのオペレーションの制御を行う。プログラムメモリ６０ｄは、フラッシュＥＥＰＲＯＭまたは他の不揮発性メモリを含んでもよい。このメモリ６０ｄは、カメラが切られるときに、保存されなければならないイメージセンサ校正データ、ユーザー選択したセッティング、その他のデータを格納するために用いてもよい。システムコントローラ５６は、画像キャプチャのシーケンスを制御する。その際、システムコントローラ５６は、マクロ制御６４、フラッシュ制御５０、フォーカス制御４４および前述したようにキャプチャ装置コンポーネントの他のドライバに指示を与える。また、イメージセンサ１６および関連した要素を作動させるためにタイミング発生器２４、取り込まれた画像データを処理するためにデジタル信号処理プロセッサ５８にも指示を与える。画像が取り込まれて、処理されたあと、最終的な画像ファイルは、システムメモリ６０ｂまたはデジタル信号処理プロセッサ・メモリ６０ａに保存され、ホストインタフェース５７を介してホストコンピュータ（図３に図示しない）へ移されて、着脱可能なメモリーカード６０ｃまたは他の記憶装置に保存されて、画像表示器３０によってユーザーのために表示される。ホストインタフェース５７は、パーソナル・コンピュータまたは他のホストコンピュータとの間で、高速接続を提供する。これによって、表示、記憶、操作またはプリントのための画像データが転送される。このインタフェースは、ＩＥＥＥ１３９４またはＵＳＢ２．０シリアルインターフェースまたは他のいかなる適切なデジタルインタフェースでもよい。画像の転送方法は、デジタル形式として物理媒体に書き込まれ、また、電子信号として送信される。

図示したカメラ１０において、処理された画像は、システムメモリ６０ｂの表示バッファへコピーされて、ビデオ信号を作り出すために、ビデオエンコーダ８０を介して連続的に読み出される。この信号は、ディスプレイコントローラ３２および／またはデジタル信号処理プロセッサ５８により処理されて、画像表示器３０に示される。あるいは、外部モニタによる表示のためにカメラから直接に出力されてもよい。ビデオ画像は、カメラがビデオ・キャプチャ動作のときは、アーカイブ形式であり、カメラがアーカイブの画像キャプチャの前にファインダで見るために使われる場合には、アーカイブ形式とはならない。

本願明細書において、方法と装置はさまざまなデータ検出および除去技術を利用するソフトウェアおよび／またはハードウェアコンポーネントによって提供される特長を含んでいる。この例としては、顔検出、皮膚検出、人検出、他の対象検出である。そして、画像のシーンの解釈として必要なものとしては、例えば誕生日会のためのバースデー・ケーキが挙げられる。また、画像を特徴づけるものとしては、例えば、特定のボディ部を取り込んでいる医用画像の場合の画像が挙げられる。

本発明は、本願明細書において、記載されている実施例の組合せを含む。「特定の実施例」の参照は、本発明の少なくとも一つの実施例に存在する特長を指すときなどに用いる。「実施例」の別々の参照または特定の「実施例」の参照は、同じ実施例を必ずしも指すというわけではない。しかしながら、明示的に示されない限り、または当業者にとって直ちに明らかである場合を除いて、かかる実施例は相互に相容れないものではない。単一の「方法」または複数の「方法」を指す際の単数および／または複数の使用などは、制限をするものではない。

図１および図２をここで参照する。本発明の方法およびシステムにおいて、画像記録２０２は、集められて（２０４）データベース２０６に格納（２０５）される。制御システムはデータベースに有効に接続している。そして、出力装置は有線または無線信号ラインによって、制御装置に有効に接続している。例えば、データベース２０６は、カメラ１０のメモリ内にあってもよい。この場合、制御システムは制御装置２２である。そして、接続された出力装置は表示器３０である。同様に、図４のシステムは、マイクロプロセッサ・ベースの装置１１２は制御システムである。そして、多くの出力装置が示されている。

本発明の方法において、画像記録２０２は集められ（２０４）、画像データの集合（２１０）が提供される（２０８）。（本願明細書で用いられる用語「画像データ」は、関連した画像記録の画像に関連する特定の情報を指して用いている。）各集合２１０は、それぞれの画像記録２０２と関係している。各集合２１０は、一つ以上（または全て）のカテゴリにデータを有する。カテゴリとしては、取込み関連データ、画像固有データ、画像使用データ、ユーザー反応データがある。図１において示したように、データベース２０６の複数の画像記録２０２のデータ集合２１０は、完全ではない。データの欠落は、カテゴリの異なる組合せにおいて発生する。例えば、１つの画像記録２０２は、画像解析データが欠落し、他の画像記録は、画像使用データが欠如していてもよい。各々の画像記録２０２の評価指標２１２は、対応する情報データの集合を使用して作られる（２１４）。それぞれの評価指標（後述する）の表示（indications）は、画像記録２０２の各々と関連する（２１６）。画像記録２０２は、それぞれの評価指標２１２に基づいて管理する（２１８）。図２は、画像記録の管理手法を示している。すなわち、画像記録の管理は、資源を割り当て、評価指標に基づいて画像記録（２２０）を利用し、データ集合により多くのデータを含めるために要求を出す（２２２）ことにより行われる。何らデータが発見できない場合、管理は以前と同様に続けられる。さらにデータが見つかった場合、それぞれのデータ集合は、ステップ（２０８）の繰り返しによって修正される。そして、この方法はそのステップから続行される。換言すれば、（評価指標を）作り出すこと（２１４）は、欠落を有するデータがある場合に、それをデフォルトまたはゼロ値とするのではなく、情報が利用できないカテゴリを考慮せずに、それぞれの評価指標２１２を計算することである。その結果、画像記録２０２の集合２０６の評価指標２１２は、実質的に、異なるアルゴリズムを使用して算出されることになる。画像記録２０２の利用は、それぞれの評価指標２１２の大きさに対応する。本発明の方法およびシステムは、特定のカテゴリのデータの欠落が評価指標の生成および使用を妨げない効果がある。

取込み関連データとは、取り込むときに取得可能なデータである。例えば露出、場所、日時、カメラ機能の状態、などである。これは、画像記録そのものに由来しない情報である。取込み関連データの例としては、レンズ焦点距離、シャッタスピード、レンズ口径、露光時間、デジタル／光学ズーム状況、フラッシュ発光状態、検出された対象距離、イメージサイズ、位置情報、および取り込み時間などがある。取込み関連データは、画像記録の設定および取込みに関連するものでもよく、画像記録をカメラで確認する際の事項に関連するものでもよい。

取込み関連データは、カメラへのユーザー入力、または他の取込み装置に由来してもよい。各ユーザー入力は、信号としてカメラの制御装置に伝えられる。そして、それは操作上の設定を定める。例えば特定のカメラで、ユーザーは、オンオフ・スイッチを使ってカメラ上の電源をオンする。この動作により、定義済み優先モード、フラッシュ状況、ズーム位置、などを有するデフォルト状態にカメラを設定する。同様に、ユーザーがシャッタボタンを半押しにすると、自動露出およびオートフォーカスエンジン、一連のファインダ画像が始動を開始し、画像取込みが始められ、自動フラッシュ・セットアップが実行される。

ユーザーは、制御装置を介してキャプチャ装置に接続している複数のカメラ・ユーザ制御を使用して入力を行う。ユーザー制御は、ユーザー取込み制御手段を含み、カメラの取込みのためのセットアップ入力を提供する。例えば、キャプチャ・モード・スイッチおよびフラッシュ状態制御である。さらに、ユーザー制御は、画像あるいは撮影後の画像をカメラに表示させるファインダ−ディスプレイ装置を作動するユーザ・ファインダ−ディスプレイ・コントロールを有する。ユーザー入力の例としては、以下が挙げられる。シャッタボタンの半押し、シャッタボタンの全押し、焦点距離選択、カメラディスプレイ作動、編集パラメータの選択、ユーザーによる画像記録の分類、およびカメラ表示部のオフ動作、がある。ファインダーディスプレイ・コントロールは、例えば、画像に関する「共有（share）」または「好きな写真（favorite）」ボタンのような手動ユーザー分類のための一つ以上のユーザー制御を含んでもよい。

特定の画像記録の入力は以下の操作のときに限られていてもよい。すなわち、作成（composition）の間、取込みの間、そして、オプションとしてその画像の表示の間である。あるいは、一つ以上の画像の構成の間、取込みの間、そして、オプションとしてその画像の表示の間と同時に入力されてもよい。いくつかの画像が同じシーンの中で、またはシーンのわずかな変動の間に撮られる（例えば主題を追っているオートフォーカス系の利用および各画像の記録された時刻／日付によって判断できる）場合には画像の全てに関連した情報データが利用されてもよい。

取込み関連データの他の例は、カメラ入力のうちの２つ以上の時間的関係から算出される時間的値である。時間的関係は、特定の時間内において、二つの入力またはイベントの経過時間である。この例としては、画像構成時間、Ｓ１−Ｓ２打鍵時間、カメラ上での編集時間、カメラを覗いている時間、電源投入状態のカメラの特定の場所での経過時間（カメラ等のグローバル・ポジショニング・システム・レシーバで測定される）、が挙げられる。時間的関係は、特定の画像または画像のシーケンスを取り込むユーザーの側の付加的な努力を示すために選択されてもよい。その他の関係としては、２つ以上の入力の地理的関係は時間的関係と同様に情報データを構成するものとしてもよい。

取込み関連のデータの他の例としては、画像記録に付随しているテキストまたは音声の注釈情報、位置情報、日時、撮影者特定情報が挙げられる。かかるデータは、ユーザーによって、または、自動的に入力されてもよい。注釈は、ユーザーによって個々に入力されてもよいし、予め設定された情報から作り出されてもよい。例えば、カメラは選択された地理的位置で注釈を「家」と自動的に作り出してもよい、または、ユーザーは同じ注釈を加えてもよい。位置情報を決定するための適切なハードウェアおよびソフトウェアは、全地球測位システム（GPS）装置のように当業者にとって周知である。撮影者特定情報は、以下のような手段で測定されてもよい：すなわち、本人確認できる応答機、例えば無線による個人識別器、識別データのユーザーによる入力、音声認識、またはバイオメトリック認証、例えばユーザーの顔の認識または指紋認識の使用が挙げられる。かかるメタデータおよび他のパラメータの組合せは、画像データを提供するために用いることができる。例えば、日時情報が、休み、誕生日、等の予め記録してある識別情報と結合して使われてもよい。

取込み関連データは、メタデータの個々の項目として、取込み時に保存されてもよい。ある場合には、取込み関連のデータが、撮影画像によって、例えば注釈および日時情報のように共通に保存されるメタデータの形でもよく、画像整理に利用してもよい。取込み関連データの他の項目が本願明細書には記載されており、例えば、Ｓ１−Ｓ２打鍵時間は、画像整理のためには利用されないであろう。

画像固有データは、画像記録そのものの分析に由来する。画像固有データの特殊型式は、画像品質データおよび画像内容データを含む。前者は、内容とは無関係な画像記録の特長に関係しているが、元のシーンの取込みの限界に関連がある。画像品質データの例としては、以下が挙げられる：すなわち、画像鮮明度、画像ノイズ、コントラスト、暗い背景の存在／欠如、シーンバランス、皮膚濃淡色、画像彩度、クリッピング、エイリアシングおよび圧縮状態である。画像内容データの例としては、以下が挙げられる：人の存在／不在、人数、人の性、人の年齢、赤目、瞬き、微笑、頭のサイズ、トランスレーション問題（translation problem）、対象の中心的位置、シーン場所、風景タイプ、そして、シーン特徴、である。
（「トランスレーション問題（translation problem）」とは、例えば顔または人の身体等の主要な対象がシーンにおいて不完全に写っている場合と定義される。）
米国特許出願公開第２００５／０１４７２９８号明細書

例えば、Gallagherその他による特許文献６には、日没は、全体の画像カラーの分析で測定できる発明が開示されている。
米国特許出願公開第２００４／０１７９７１９号明細書

そして、S.Chenによる特許文献７には、ポートレートは顔検出ソフトウェアで測定できることが開示されている。本願明細書で使われている「画像内容image content」の分析という用語は、画像構成（image composition）を含む。

画像品質データは、特定の品質係数の予め定められた値すなわちプリセット値からそれぞれの評価指標を増減させてもよい。例えば、低い鮮明度値は、予め定められたパーセンテージによって、それぞれの評価指標を減少させてもよい。同様に、特定の内容または特定の内容の組合せを示している解析結果および品質係数は、それぞれの評価指標に前もって割り当てた特定の値で修正してもよい。例えば、一つ以上の顔の存在は、予め定められたパーセンテージによって、評価指標を上げることができる。各入力があると１ポイントを割り当てるという既に説明した簡略化された例では、顔の存在は、評価指標にさらに１ポイントを足すことになる。

画像使用データは、取込み後の特定の画像記録の使用法に関するデータである。このデータは、使用そのものを反映してもよく、または、その使用の前に準備されたステップを反映してもよい。例えば保存または修正された画像のプリントの前の編集時間が挙げられる。画像使用データの例としては、以下が挙げられる。すなわち、編集時間、見ている時間、見た回数、ハードコピーの数、ソフトコピーの数、それぞれの画像記録のコピーまたはリンクを含んでいる電子メールの数、受取人の数、アルバムの使用、ウェブサイトでの使用、スクリーンセーバとしての使用、名称変更、注釈、アーカイブの状態およびその他の使用遂行（fulfillment usage）である。画像使用データの基となる利用の例としては、以下が挙げられる。コピー、記憶、整理、ラベリング、他の情報との集約、画像処理、画像処理演算の不使用、ハードコピー出力、ソフトコピー・ディスプレイおよび非画像出力、が挙げられる。画像記録利用に適している装置および技術は、当業者にとって周知である。例えば、パーソナル・コンピュータの一部であるデータベース装置は、ディスプレイまたはプリンタを介して出力を提供してもよい。直接的な使用情報に加えて、画像使用データは、上述した時間的値のデータを含んでもよい。例えば、表示している時間および特有の画像記録の編集の時間は、考慮されてもよい。

ユーザー反応データは、それぞれの画像記録に対するユーザーの反応の観察に基づく。
米国特許出願公開第２００３／０１２８３８９号明細書

特許文献８は、Matraszekその他によるもので、ここに本願明細書に引用したものとして援用する。これは、画像に対するユーザー反応を検出することの技術を開示する。
（本願明細書において、「ユーザー反応」は、画像の使用を除く。そして、カメラ制御のために使用する上述した入力も除く。）ユーザー反応の例としては、以下のものが挙げられる：見ている間の発声、見ている間の表情、生理的反応、凝視情報、神経生理学的反応、が挙げられる。ユーザー反応は、生物学的測定機器（例えばＧＳＲ（皮膚電気反応）または心拍数モニタ）を介して、自動的にモニタされてもよい。これらの機器は、Matraszekその他の特許文献にて説明したように、画像キャプチャおよびディスプレイ装置に結合した形で、低価格ですぐに利用可能となっている。

各カテゴリの画像データは、他の画像データから派生するデータを含んでもよい。派生情報の例としては、以下が挙げられる。すなわち、すでにユーザープロファイルを有する画像データとのコンパチビリティ、評価指標が高いか低いかが判断されている一つ以上の基準画像に対する画像内容の違いおよび類似、が挙げられる。例えば、イベント・クラスタリングは、日時情報、位置情報および／または画像内容に基づく画像記録にもとづいて判断し実行されてもよい。
米国特許出願公開第２００５／０１０５７７５号明細書 米国特許第６，９９３，１８０号

例えば、特許文献９または特許文献１０に開示されているように、クラスタリングが、使われてもよい。イベント・クラスタリングの結果は、取込み関連データとして利用される。

各画像記録のための利用できるデータは、その画像記録のための評価指標を作成するのに用いられる。評価指標は画像記録を比較するために用いるため、異なる画像記録に関して不完全で異なるデータであるにもかかわらず、使用するアルゴリズムは同じ測定基準に基づく値を常に作り出さなければならない。これは、その特定の評価指標を算出する際に使用するデータのタイプの最大と、これに関する確率として各評価指標を表すことにより達成してもよい。他の変形例は、単に特定の評価指標のための各データ項目の予定値の合計を算出する方法である。この方法は合計が大きいほど、ユーザーに対する実効値はより大きいとみなす方法である。負の数は特定のデータ項目のために決められてもよい、そして、異なる重みは異なる項目またはデータのタイプに前もって割り当てていてもよい。例えば、取込み関連データの各項目は１の値を割り当ててもよい、そして、使用データの各項目は２の値を割り当てられてもよい。現在、評価指標が一次元であることが好まれている。その理由は、画像記録相互で単純な比較ができるからである。

特定の実施例では、画像データの集合は、評価指標を作り出すために訓練された推論のエンジンが提供される。推論のエンジンにおいて、異なる画像データ（それぞれの入力により確認される）は、実際の画像に対する人間のオブザーバ評価の真実の学習による知識を基にして、競争および補強される。競争および補強は、推論のエンジンの推論ネットワークにより解決される。現在好適な推論のエンジンは、ベイズ・ネット（Bayes net）である。
J. Pearl, Probabilistic Reasoning in Intelligent Systems, San Francisco, Calif.: Morgan Kaufmann, 1988

ベイズ・ネット（たとえば、非特許文献１参照）は、有向非巡回グラフであり、さまざまな構成要素の因果関係をグラフで表す。リンクの方向は、グラフのさまざまな構成要素の因果関係を表し、リンクの方向が因果律を表す。評価は、さまざまな構成要素の中のJoint Probability Distribution Function(PDF)の情報に基づく。ベイズ・ネット効果は、明確な不確定度の特徴付け（explicit uncertainty characterization）、効果的な計算、簡単な構造および保守、速い訓練、およびネットワーク構造およびそのパラメータの変化への速い適応を有することである。ベイズ・ネットは、４つのコンポーネントから成る：
（１）最初の確信度（Priors）：ベイズ・ネットのさまざまなノードについての第一の確信度。
（２） 条件付き確率行列（CPMs：Conditional Probability Matrices）：ベイズ・ネットにおいて、接続された２つのノードの関係についての専門知識。
（３） 証拠（Evidences）：ベイズ・ネットに入力される特徴検出器からの観察。
（４） 最終的な確信度（Posteriors）：証拠がベイズ・ネットによって、伝播された後の最終的に計算された確信度。
訓練のために最も重要なコンポーネントはＣＰＭｓの集合である。なぜなら、ＣＰＭの集合は利用可能な特定アプリケーションについてのドメイン知識を表すからである。ＣＰＭｓの導出は、ベイズ・ネットのような推論のエンジンを使用する当業者には身近なものであるが、典型的なＣＰＭの導出は本願明細書の後半において示す。

作動中の一つのベイズ・ネットが、画像記録ごとに存在する。単純な２レベル・ベイズ・ネットがこのシステムで用いられてもよい。評価指標はルート・ノードで決定される。そして、画像データのすべての項目は終端ノードに存在する。各リンクが同じレベルで条件つきで他のリンクから独立しているとみなされる点に留意する必要がある。このため、別々に各リンクを訓練することによって、結果として全ネットの訓練になるという利点がある。すなわち、他から独立している所望のリンクのためのＣＰＭを得ることができる。この仮定は、実際にはしばしば当てはまらない場合がある。しかしながら、独立させ簡略化することは実装をより単純にする。これによる若干の誤差は許容することができる。このことは、他の分類器や推論のエンジンと比較する際の基準を提供する。例えば２レベル以上を有するベイズ・ネットとの比較の際考慮できる。

情報データのすべての項目は、評価指標を得るために、ベイズ・ネットにより統合される。一方、情報データの異なる項目は、相互に競合したり矛盾したりする場合がある。他方、情報データの異なる項目は、典型的な光学的シーンの従来のモデルまたは知識に基づいて、各々が相互に補強し合う場合もある。この競合および補強は、ベイズ・ネットに基づく推論エンジンにより解決される。

ベイズ・ネットの一つの利点は、各リンクが同じレベルのリンクから独立しているとみなされることである。したがって、個別に各リンクを訓練することによって、容易に全ネットを訓練することができる。一般に、以下の２つの方法が、ルート特長ノードのペアごとのＣＰＭを得るために用いられる：
（１） 専門知識を使用する方法
これは、アドホックな方法である。専門家は、アピール性の高い画像が与えられた場合に、高出力又は低出力を生じる各特徴検出器の条件付き確率を得るため助言を求められる。
（２） 偶然性テーブルを使用する方法
これは、サンプリング・相関方法である。各特徴検出器の多数の観察結果は、重要度又は注目度についての情報と共に記録される。これらの観察結果は、偶然性テーブルを作成するため一つに集められ、偶然性テーブルは、正規化されたときに使用される。この方法は、ニューラルネットワーク型の学習（訓練）に似ている
他の推論のエンジンがベイズ・ネットの代わりに使用されてもよい。
Pattern Recognition and Neural Networks by B. D. Ripley (Cambridge University Press, 1996)

例えば、非特許文献２では、様々な異なる分類器が記載されている。分類器はパターン認識の課題を解決するために用いられ、正しい特徴を備えることが通常は最も重要視される。このような分類器は、線形判別式解析法、柔軟な判別式、（フィードフォワード）ニューラルネットワーク、ノン・パラメトリック法、木構造分類器、確信度ネットワーク（たとえば、ベイズネットワーク）を含む。これらの方法に関して当業者には明らかであるように、上述の分類器は、いずれも、本発明を実施するための推論エンジンとして採用可能である。画像の評価指標は、画像記録の取り込みの後、いつ算出してもよい。また、付加的な画像データが利用できるようになった後、いつでも再計算してよい。これらの時間の全てで、保存された画像記録はメモリに格納される。そして、評価指標の表示（indication）は画像記録と関連づけられている。この表示は、デジタル画像ファイルのメタデータまたはデジタル画像ファイルの集合のうちの１つにおいて、記録されてもよい。表示は、別のファイルで、または、目にみえて、または、ステガノグラフィー的（steganographic）な埋め込み等による画像記録の画像の範囲内で格納されてもよい。この表示は、情報データ、評価指標または両方の集合の形の中にある形式であってもよい。どの形式を選択するかは、特定の使用の便宜の問題である。評価指標は算出されたそのものが格納されてもよい（また、ここでは「算出インデックス」と称する）。あるいは、他の形式としては、ハフマン符号によって、圧縮したものでもよい。以下に、評価指標はそれぞれの画像記録のデジタル・ファイルの中に格納されることとし、（他のバリエーションも考えられ得るが、）便宜上、保存された情報データの集合の形で説明する。

評価指標の表示（indication）は、他のメタデータと同様に画像記録と関係している。例えば、かかる表示は、デジタル画像ファイルの中に評価指標を格納することによって、画像記録と関係していてもよい。画像記録が単一のデジタル・ファイルになっている場合、これは特に便利である。なぜなら、単一のファイルであれば、画像記録と評価指標が、アクシデントで切り離されてしまうのを防止できるからである。画像ファイルの内にメタデータがある典型的な例は、Ｅｘｉｆ画像ファイルのうちのＴＩＦＦ ＩＦＤである。あるいは、評価指標は、別に格納されてもよい。画像記録と関連した他のメタデータは、同様に扱われてもよい。セキュリティおよびアクセス許可情報は、情報へのアクセス制御に含まれてもよい。

取り込みの後、画像記録は、データベースとして格納されて、その中で保持されるかまたは画像記録およびそれぞれの評価指標にアクセスを可能にするデータベース装置へ移される。データベース装置は、カメラに内蔵されてもよいし、別々でもよい。データベース装置が、直接、またはネットワークを介して接続される複数の分離されたコンポーネントの形でもよい。適切なハードウェア、ソフトウェア、ファイルフォーマット、圧縮／伸長方式および画像記録およびメタデータを格納しアクセスするための他の基準は、当業者にとって周知である。特定の実施例では、データベース装置は、カメラの外部に存在し、カメラとは別にアドレス指定可能である。この方法は、場合によってはカメラの内にデータベース装置を置くほどには便利ではないが、損失の危険率を低下させる。保存画像記録が一つ以上のために利用されるにつれて、個々の画像記録の使用パラメータは調査される。そして、画像記録の評価指標はそれぞれの利用に基づいて修正される。例えば、ユーザー反応データのような他のデータが利用できるようになると、評価指標はさらに修正される。

既存の評価指標の修正により利用可能な情報データが変更される場合、評価指標は完全な再計算により修正されてもよい。以前に説明した簡略化された実施例において、画像記録の各利用は、１の評価値を割り当ててもよく、これを既存の評価指標に加えてもよい。同様に、画像記録の評価指標は、いかなる利用時にも同一の増加値によって、増加させることができ、予め設定された利用のない期間の経過で、同様に同一の減算値によって、減ずることができる。

ビデオシーケンスの個々の画像等が個別に利用されるときには、それぞれの評価指標を別々に修正することが便利である。あるいは、ビデオシーケンスまたは他の関連した画像の個々の画像の使用をトラッキングしてもよい、そして、評価指標は、このような類似した画像の使用に基づいて修正されてもよい。

画像記録はまた、評価指標を使用して管理してもよい。この場合、データベース装置は、それぞれの評価指標を基礎として画像記録に関する動作を行う。例えば、動作は、それぞれの評価指標に基づいて画像記録を分類してもよい。提供されている分類が、画像記録を検索するためにまたは他の利用で使われてもよい。かかる動作の他の実施例は、以下を含む：表示または他のための画像記録の待ち行列、資源を個々の画像記録に割り当てること、それぞれの画像記録を用いて出力を提供すること、そして、データベース装置に個々の画像記録を保持することである。割り当てられる資源の例としては、以下の一つ以上を提供している論理的装置および物理装置が挙げられる：コピー、記憶、整理、ラベリング、他の情報の集約、画像処理、非画像処理計算、ハードコピー出力、ソフトコピー表示および非画像出力。評価指標に基づいて行われる動作の具体例としては、以下を含むことができる：カメラディスプレイ上の表示のための待ち行列（例えば、悪い画像の簡単な削除のための逆順のオプション表示）圧縮比の変更、メモリ内の保存期間の変更。資源を割り当てる場合において、評価指標に基づいて優先順位を画像記録に与えてもよい。例えば、画像記録は、自動的に評価指標の順にリモート・ストレージにバックアップしてもよい。

評価指標は、画像記録へのアクセスを管理するかまたは画像アプリケーションの利用できる機能を制限するために用いてもよい。かかる機能の例としては、以下の操作を許容することまたは禁止することが挙げられる。すなわち画像の、修正、配布、表示、プリントおよび削除、そして、利用できる修正、配布および出力のタイプを制限することが挙げられる。このタイプの管理については、特定のユーザーだけにアクセス可能な隠れた評価指標を提供することが望ましい。

評価指標は、画像記録を分類して、それから画像レコードを仮想ファイル、フォルダ、などに配置するために用いてもよい。アイコンまたはその他の索引表示も、同じ基準で決定されてもよい。自動ファイル／フォルダ命名規約は、評価指標を使用してもよい。例えば、規約は、適切な、ユーザ・タグ／イベント識別、画像内容および評価指標ベイズの分類法の基準を有してもよい。この場合、システムは、利用できる基準を使用してファイル名として適切なものを使用する。ユーザーは、示唆されたファイル／フォルダ名を無視する機会を提供される。

複数のイメージ記録に対して共通の操作を実行することが必要である場合、評価指標は、個々に、または、全体として、例えば異なる値の平均を計算することによって考慮されてもよい。評価指標は、予め定められた閾値に関して考慮されてもよい。例えば、仮想アルバム・ページ（各ページに複数イメージ）を表示する順序は、各ページの平均の評価指標を計算してもよい。

画像管理の他の実施例として、画像記録の評価指標は、ユーザーが選択可能な一つ以上の予め設定された閾値またはデータベースの画像記録から決定される閾値と比較されてもよい。後者の実施例は、クラスタリングアルゴリズム（例えばk-meansアルゴリズム）を用いて自動的に集めた一群の画像記録の平均評価指標が挙げられる。特定の閾値内の評価指標を有する記録画像は、その閾値外の画像記録と異なって取り扱われてもよい。例えば、最小限の受け入れられる閾値より下の評価指標を有する画像記録は、容認できないと分類されるか、削除されるかまたは強固に圧縮される等を行ってもよい。これは、全てに関して完全に自動的に行われるか、または、許可している可能なユーザーに半自動的に個々の画像記録にオーバーライドを許すように行われることも可能である。同様に、閾値をはるかに上回り非常に受け入れられる評価指標を有する画像記録は、優先して扱われ、例えば、画像記録の自動のスライドショーへ組み入れたり、自動的に冗長に格納されたり、表示されるときに、より重要に扱われるようにすることができる。

本発明の方法と装置に関して、全体的に本願明細書で説明を行った。各評価指標が特定の画像の固有の値を提供する実施例に関して、ここで説明した。評価指標は、あるいは、集合の他の画像と関連して、値を提供してもよい。前者の方法は特に以下の場合有利である。すなわち、画像記録が異なるデータベースとの間に移動したり、異なるデータベースが結合したり、または予測不可能な方法で分割されたりした場合、有利である。その場合、評価指標の反復再計算は、回避されてもよい。後者の方法も以下の場合有利である。一つのデータベースが使われる場合、そして、データベースの画像記録の反復比較の必要がある場合に有利となる。例えば、容量制限より上回るときに、データベース装置はユーザー認可を受け、相対的な評価指標に基づき画像を削除することを自動的に要求してもよい。両方の方法を結合することも可能である。例えば、画像記録は、カメラ内で固有の評価指標を割り当てられてもよく、後でデータベース装置内で、データベース装置の画像記録の全てまたはサブセットと関連する評価指標が再設定されてもよい。画像記録の特定の集合の評価指標は、個々のユーザーに限られている情報に基づいてもよく、または人々またはグループからの情報に基づいてもよく、そして、多くの未確認の人々の情報に基づいてもよい（例えば公共ウェブサイトのビューアのグループ）。包含する人々の人数の度合いに応じて、結果として生じる評価指標が変わると考えられる。例えば、比較的小さい社会的グループ（例えば家族）による一組の画像記録の使用法には主に共通の利害に基づく十分な可能性がある。そして、例えば思い出を保存するという使い方である。他方、他人が集まったグループによる場合、画像記録の同一セットでもその使用法は異なる。この場合には、異なる利益、例えば報道価値または芸術的価値、に基づくことが予想される。評価指標は、単一の人（撮影者）によって、取り込む際に入力されるものに関連するため、結果として生じる評価指標を後に修正する者は、撮影者と同じ趣向を有する一群の人に限られていることが好ましい。これは、撮影者のための評価指標の値を維持するのを助ける。

ビデオシーケンスについては、画像のシーケンスは、単一画像記録である。シーケンスの画像の各々は、別々の画像記録とみなすこともできる。個々の画像が切り離されたものでない限り、単一の評価指標が画像シーケンスのために割り当てられてもよい。その場合、評価指標はクローンを作ることができ、そして、結果として生じるコピーは個々の画像に割り当てられてもよい。

本発明の特定の好ましい実施態様を具体的に参照しながら詳説したが、本発明の精神及び範囲内のバリエーションや変更が可能であることを理解されたい。

本発明の方法の実施例のフローチャートを示す図である。 １つの画像記録のためのパスを示していて、画像レコード・マネージメントの詳細および評価指標の反復的な修正を含んでいる図１の方法のより詳細な部分的なフローチャートの図である。 本発明のカメラの実施例の図である。 システムの実施例の図である。 図３のカメラの後面図である。

Claims (4)

1. デジタル画像管理方法であって：
   画像記録のデータベースを維持するステップ；
   データ集合を提供するステップであって、各々の前記データ集合が、前記画像記録のそれぞれの一つと関係しており、各々の前記データ集合が、データを複数のカテゴリに有しており：前記カテゴリが、取込み関連データ、画像固有データ、画像使用データ、およびユーザー反応データを有し、複数の前記データ集合が、前記カテゴリの異なる組合せのデータの欠落を有するところの提供するステップ；
   それぞれの前記データ集合から各々の前記画像記録の評価指標を作り出すステップ；および
   ユーザーが選択可能な一つ以上の予め設定された閾値またはデータベースの画像記録から決定される閾値と比較される前記各評価指標に応答して、前記画像記録を管理するステップ
   を有する方法。
2. 前記画像使用データが：編集時間、見ている時間、見た回数、プリントの数、電子メールの数、受取人の数、アルバム使用、ウェブサイト使用、スクリーンセーバ使用、名称変更、注釈、アーカイブの状態、および使用の遂行、のうちの一つ以上を含む
   請求項１記載の方法。
3. デジタル画像管理方法であって：
   画像記録のデータベースを維持するステップ；
   前記維持するステップの間、複数のデータ集合を提供するステップであって、各々の前記データ集合は、前記データベースのそれぞれの前記画像記録と物理的に関係しており、前記データ集合は、共通データ構造を有し、複数の前記データ集合は、前記データ構造のデータの欠落の異なる組合せを有するところの提供するステップ、
   ユーザーが選択可能な一つ以上の予め設定された閾値またはデータベースの画像記録から決定される閾値と比較される前記各評価指標に従って、前記画像に一つ以上の異なる利用資源の配置の優先順位をつけるステップ
   を有する方法。
4. 前記利用資源が：複数の論理的および物理的装置を有し、
   前記複数の論理的および物理的装置は、データ記憶、画像処理、非画像処理計算、ハードコピー出力、ソフトコピー表示、および非画像出力、のうち一つ以上を提供するステップ
   を有する請求項３記載の方法。

Images