JP4902270B2 - デジタル画像のコレクションの組み立て方法 - Google Patents

Description

この例示的な実施形態は、デジタル画像の分野に関する。この例示的な実施形態は、１組のユーザ選択基準を最も良く満たす多数の画像の組から、デジタル画像のコレクションを自動的に推奨することに関連して特定の用途を見出す。

デジタル写真機材の販売は、今やフィルム・ベースの機材のものを凌ぎ、多くの携帯電話では、更なる写真を撮るか又はショートムービークリップを取り込む機能が標準装備になっている。デジタル写真技術の成長により、家庭用の写真品質プリンタ、ウェブを介する、特に携帯電話の場合は、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線技術のような技術による短距離無線通信を介する写真印刷といった、アクセサリへの要求が促進された。デジタル写真技術の経済は、続いてイベントの主記録内に保存されることになる写真の組を選択することを目的として、ユーザがより多くの写真を撮ることを可能にする。

しかしながら、何人かの撮影者が同じイベントを記録しているとき、選択のタスクが困難になることがある。

例示的な実施の一態様によると、方法が、少なくとも１つの画像選択基準を特定するステップを含む。１組の画像内の複数の画像の各々について、画像についての画質値が決定される。画像についての画質値と、コレクションが少なくとも１つの画像選択基準を満たす程度とを考慮することによって、画像が、画像の組からデジタル画像のコレクションに推奨される。

この方法は、組内の複数の画像の各々について、認識コンポーネントを用いて、画像内の少なくとも１つの特徴を抽出し、抽出された特徴に対応するラベルを用いて画像にラベル付けするステップをさらに含み、画像を推奨するステップは、画像選択基準を適用する際に複数の画像の画像ラベルを用いるステップを含む。選択基準の少なくとも１つは、コレクション内の選択された特徴を含むように努めることができ、画像を推奨するステップは、コレクション内に含めるために、特徴を用いてラベル付けされた少なくとも１つの画像を選択するステップを含む。画像を推奨するステップは、画像コレクション内の異なるラベルが付けられた特徴の数を最大化するステップを含む。この特徴は、人及び場所の少なくとも１つを含むことができ、認識コンポーネントは、その人を他の人から区別できる人の部分、及びその場所を他の場所から区別できる場所の部分のうちの少なくとも１つを認識するように作動可能である。

この方法は、ユーザと対話し、コレクション内にある画像の数、自動強調技術を画像の組内の画像に適用するかどうか、特徴の選択基準、及び特徴の選択基準に適用されることになる重み付けのうちの少なくとも１つを生成するステップをさらに含む。
画像選択基準は、コレクション内に少なくとも１人の選択された人の画像を含ませるように試みること、コレクション内に少なくとも１つの選択された場所の画像を含ませるように試みること、コレクション内の異なる人の数を最大化しようと試みること、コレクション内の異なる場所の数を最大化しようと試みること、及びこれらの組み合わせのうちの少なくとも１つを含むことができる。

この方法は、組内の画像と関連付けられたメタデータにアクセスし、該メタデータを用いて、少なくとも１つの画像選択基準の少なくとも１つが満たされているかどうかを判断することをさらに含む。
少なくとも１つの画像選択基準は、複数の選択基準を含むことができ、複数の選択基準の各々は、該複数の選択基準の相対的な重要性を反映する重み付けを含む。

コレクションのための画像を推奨することは、画像の画質値と、画像が選択基準を満たす範囲の積に基づいて、コレクションのための画像を選択することを含むことができる。コレクションのための画像を推奨することは、ａ）コレクションが該コレクション内に所望の画像数より少ない画像数を有するが、組からの画像ｐの各々について、スコアを計算し、残りの選択されていない画像の組から、最も高いスコアを有するコレクションのための画像を選択する。
画像についての画質値を決定することは、画像の露出、コントラスト、彩度、カラーバランス、及びぼかしの範囲のうちの少なくとも１つに基づいて、自動的に値を画像に割り当てることを含む。

この方法は、画像の組からデジタル画像の第２のコレクションを推奨することをさらに含み、画像の第２のコレクションを推奨する際に、第１の画像選択基準とは異なる少なくとも１つの画像選択基準を適用することを含む。
画像についての画質値を決定し、コレクションのための画像を推奨するステップを自動化することができる。
画像は、デジタル画像、複数の画像を含むシーケンス、及びそれらの組み合わせからなるグループから選択することができる。

コレクションは、組内の画像数より少ない所定の最大数を超えない画像を含むことができる。
この方法は、コレクションへの制限されたアクセスを提供することを含むことができる。
上述の方法を実行するために、製造の物品を提供することができる。

イベントの画像のコレクションを形成する方法は、複数のデジタル装置を用いて該イベントの画像を取り込み、画像選択システムを用いてデジタル装置によって取り込まれた画像を獲得し、上述の方法によって獲得された画像の組からデジタル画像のコレクションを推奨するステップを含むことができる。

別の態様において、１組の画像からデジタル画像のコレクションを推奨するためのシステムが、画像の組内の画像を評価し、画質値を評価された画像の各々に割り当てるためのコンポーネントと、少なくとも１つの画像選択基準を格納するメモリと、画像についての画質値と、コレクションが少なくとも１つの画像選択基準を満たす程度とを考慮して、コレクションのための画像を推奨するためのモジュールとを含む。

このシステムは、コレクション内に含まれることになる画像の数、自動強調技術を画像の組内の画像に適用するかどうか、少なくとも１つの選択基準、及び選択基準の重み付けのうちの少なくとも１つに関するユーザ入力を受け取るためのユーザ・インターフェースをさらに含むことができる。
このシステムは、少なくとも１つのデジタル装置によって取り込まれた画像を獲得するための獲得プロセッサをさらに含むことができる。

アセンブリは、上述のシステムを含むことができ、複数のデジタル装置をさらに含むことができ、システムは、デジタル装置によって取り込まれた画像を獲得するための入力装置を含む。モジュールは、画像のラベルと評価された画質とを考慮に入れた各画像についての画質値に基づいて、コレクションのための画像を推奨する。

多数の画像の組から画像のサブセットを推奨するためのシステム及び方法が提供される。このシステムは、多数の画像の組から、１つ又はそれ以上の選択基準に応答する、デジタル写真のような画像のサブセットを実質的に自動選択することを可能にする。サブセットを生成する際に、画質基準を適用することもできる。したがって、ユーザが組内の画像の各々を手作業で調べる必要なく、画像の組を、より扱いやすい関連する画像のサブセットに減らすことができる。一態様において、選択基準の各々は、１つ又はそれ以上のユーザ指向クエリの形態で表すことができる。別の態様において、選択基準は、サブセット内に存在する人の数といった、多様性特徴の最大化を含む。さらに別の実施形態において、選択基準は、記録される画像のメタデータ内の情報に関連付けられた１つ又はそれ以上のクエリの形態で表すことができる。

画像が全て同じイベント又は場所のものであるという点で、画像を関連付けることができる。システムを用い得る典型的なイベントには、結婚式、会議、学校行事及びビジネス・イベント、公共イベント、テーマパークその他のアトラクションへの訪問が含まれる。カメラ、携帯電話のカメラ、ビデオレコーダのような１つ又はそれ以上のデジタル装置によって、画像を取り込むことができる。例えばデジタル装置と、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉのような画像選択システムとの間の有線又は無線リンクを用いて、或いは、例えばインターネットを介する画像選択システムへの有線又は広帯域アクセスを用いて、画像を組み立て、選択をリアルタイムで、又はほとんどリアルタイムで行うことができる。
「画像」という用語は、デジタル・カメラによって生成されたもののような単一の画像だけでなく、一連のビデオクリップのフレームの組のような一連の画像を含むこともできる。

画像選択システムのユーザは、撮影者、すなわち、ここでは「装置ユーザ」と呼ばれるデジタル装置の所有者／使用者と、「コレクション・ユーザ」と呼ばれる、画像選択基準を入力する、及び／又は、画像コレクションを収集しようと努めるユーザと、画像選択システムを作動させ、コレクションを受信することも、受信しないこともある１人又はそれ以上の「管理ユーザ」とを含むことができる。もちろん、ユーザ・グループ間に重複がある場合もあり、例えば、コレクション・ユーザは、撮影者でない人、及び装置ユーザの一部又は全てを含むことができる。

画像選択システムは、調整された方法で協働する必要がない多数の独立した撮影者によって撮られたイベントの写真のコレクション、及び、イベントの終わりに参加者に配布することができる選択された写真のコレクションの大部分の自動組み立て又は完全な自動組み立てを可能にする。したがって、画像選択システムの利点は、写真を撮るパーティ（人であっても自動であっても）間の調整を必要とすることなく、多数の源からの多数の写真の中から１組の推奨された写真を生成する能力にある。このことは、例えば、現像サービスを通して多数の写真を共有することを容易にする。

選択システムは、イベントの画像の品質及び関連性の両方が変化することを考慮することができる。画像の品質は、デジタル・カメラの解像度（画像のピクセル数）と、コントラスト、ぼかし等のような、より変動する要因とによって決まる。画像とイベントとの関連性は、画像が、例えば、結婚式のケーキカット儀式のようなイベントの重要な部分、又は、結婚式の新郎新婦のような重要な出席者に関連するかどうかのような要因を含むことができる。さらに、関連性は、選択されることになるコレクションの受信者によっても変わり得る。何人かの撮影者が同じイベントを撮影する場合、ある撮影者によって収集された画像が、別の撮影者によって収集された画像と重複することがある。したがって、例えば、組の中に利用可能なより良い解像度の画像がある場合、解像度が低い画像の関連性は、低いと考えることができる。
画像の関連性は、例えば、位置、時間、及び写真を撮ったユーザ等のような記録された画像と関連付けられたメタデータから少なくとも部分的に判断することができ、メタデータからの情報と関連付けるために、高い関連性をもつと考えられる特定のイベントが行われた時間及び／又は位置についての情報を画像選択システムに入力し、高い関連性をもつ画像を識別することができる。

図１は、画像を集め、選択するための例示的なコレクション・選択アセンブリを示す。このアセンブリは、画像選択システム１と、ここでは、各々が画像記憶媒体１６を有するカメラ１０、１２、１４で示される複数のデジタル装置（例えば、カメラ、カメラが内蔵された携帯電話、ウェブ・カム等）とを含む。デジタル装置は、有線リンク１８及び／又は無線リンク２０、２２を介して画像選択システム１と通信する。画像選択システム１の装置インターフェース２４は、無線装置１２、１４を検知するプロセッサを有する対のモジュール２６を含む。無線でない装置１０は、有線リンク１８によって、直接又はインターネットを介して、画像選択システム１と通信する。例えば、カメラの画像記憶媒体１６を取り外し、画像選択システム１にロードするか、又は適切なインターフェースによって該画像選択システムに接続することができる。示される画像選択システム１は、装置１０、１２、１４から画像２９を取り込み、それらをメモリ３０に格納する獲得プロセッサ２８を含む。選択モジュール３２は、メモリ３０にアクセスし、組から画像を選択し、サブセットを形成する。ユーザは、キーボード、タッチ・スクリーンのような入力インターフェース３４を介して、及び／又は、ウェブ・ベースのインターフェースを介して、選択モジュール３２と通信する。選択モジュール３２は、選択基準３５を生成することができ、この選択基準の全部又は一部を、画面３６上に表示されるユーザ入力に基づくものにすることができる。或いは、選択基準３５を用いて選択モジュール３２をプログラムし、ユーザ入力なしに作動させることができる。選択基準３５は、メモリ３０に格納することができる。

選択モジュール３２は、画質を自動的に評価し、コレクションのための画像を自動的に推奨するための、コードを含むソフトウェア・ベースのコンポーネントを含む。選択モジュール・コンポーネントは、画像の品質を評価し、その評価に基づいて画質値を画像に割り当てるための自動画質評価コンポーネント３８と、１つ又はそれ以上の画像選択基準を画像に自動適用し、その組のための画像を推奨するための選択基準適用コンポーネント４０とを含むことができる。選択基準が、ユーザ入力によって全体的又は部分的に作成された場合、選択モジュール３２は、ユーザとの対話を通して選択基準を自動的に又は半自動的に生成する選択基準生成コンポーネント４２をさらに含む。選択モジュール３２はまた、画像が特定の選択基準に対して反応し、これにより顔、場所、オブジェクト・タイプのような特徴の認識が可能になる。

特徴認識コンポーネント４４は、画像の特徴を区別するためのソフトウェアを含むことができる。次に、特徴のうちのどれが画像内で識別されるかに従って、画像にラベル付けできる。例えば、特徴認識コンポーネント４４は、顔のような、人の区別できる部分、場所等を識別することができる。しかしながら、特定のイベントについては、王冠によって王を識別し、又は白いドレスによって新婦を識別し、番号付きジャージによって運動選手を識別するなど、他の区別可能な特徴を識別することもできる。場所は、その場所の区別可能な部分によって、又は画像が生成された時間によって、識別することができる。ユーザとの対話を通して、選択モジュール３２は、ある画像における、「新婦」「新郎」「大統領」等の重要な特徴を識別し、認識ソフトウェアを用いて、他の画像における同じ重要な特徴を識別することができる。特徴間の区別のために、特徴認識ソフトウェア４４を用いることもできる。例えば、選択基準の１つが、画像サブセット内の異なる人々の数を最大化すべきであるというものである場合、特徴認識ソフトウェアは、人々を、「スミス氏」「ブラウン夫人」等のように識別する必要はなく、いつ画像内に異なる人々が存在するかを認識するだけである。

選択モジュール３２は、有線又は無線リンク５０を介して現像サービス４８と通信することができる。現像サービスは、画像を組又はサブセットに格納することができ、及び／又は、選択された画像のコレクションを印刷するために使用することができる。代替的に又は付加的に、システムがプリンタ５２を組み込むことができ、或いは、有線接続又は無線接続によって、直接、又はネットワークを通して、システムをプリンタ５２に接続することもできる。

画像選択システム１は、ソフトウェア記憶媒体、ディスク、又はパーソナル・ディスクトップ・コンピュータ、ラップトップのハードドライブ、或いは専用画像処理システムのような製造物品の形態でインスタンス化することができる。選択モジュール・ソフトウェアは、適切なインターフェース（Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／又はＷｉ−Ｆｉ、メモリカード読取装置等）を有するディスクトップＰＣ又はラップトップ・コンピュータのような汎用コンピュータ上で作動するのに適している。代替的に、専用システム１は、画像の獲得及び選択のためのソフトウェア及びハードウェア、並びに随意的に印刷能力も有するユーザ入力を含むことができる。このインスタンス化は、コンピュータに精通していないユーザによる用途及び使用のために最適化することができる携帯型システムを提供する。

別の実施形態においては、システム１が、カラープリンタに組み込まれる。例えば、現在、ホームユーザ向けの多くのカラープリンタは、人々がコンピュータを必要とすることなく画像を印刷するのを可能にするように設計された多数のインターフェースを含む。現在、ｉＲＤＡ（赤外線）又はＢｌｕｅｔｏｏｔｈ（登録商標）によって画像を受信することに加えて、種々のメモリカード形式を受け入れることが可能なプリンタが、利用可能である。これらのプリンタは、小さいＬＣＤ画面と、ユーザがメモリカード上で利用可能なものからどの写真を印刷するかを選択するのを可能にする単純なユーザ・インターフェースとを有することが多い。選択基準を入力することを可能にし、選択モジュール３２をソフトウェアとして組み込むためのユーザ・インターフェースを提供又は適用することによって、現在のシステム１を組み込むように、こうしたプリンタを適合させることができる。
システム１の全てのコンポーネントが同じ物理的場所にある必要はないことが理解されるであろう。例えば、コンポーネントの一部は、撮影されるイベントに持って行くことができ、他のコンポーネントは、遠隔配置され、有線又は無線リンクによって他のコンポーネントと通信することができ、或いは、後でイベントに持って行ったコンポーネントと接続させることもできる。

図２は、画像を取り込み、選択するための例示的なプロセスを実証する。間単にするために、単一のデジタル装置及び単一のコレクション・ユーザについて、ステップが示される。同時に又は異なった時間に、多数のデジタル装置、及びシステム１と対話する多数のユーザが存在し得ることが理解されるであろう。付加的に、各コレクション・ユーザは、異なる選択基準を使用し、よって異なるサブセットすなわち個人的コレクションを生成することができる。さらに、ユーザの動作を同期させる必要がないので、プロセスの異なる段階において、１人又はそれ以上のユーザがシステム１と対話することができる。処理要素又はシーケンスの列挙された順序、或いは、番号、文字、又はそのための他の表記の使用は、特許請求の範囲自体において特定されたものを除いて、特許請求されたプロセスを何らかの順序に制限するように意図されるものではない。

ステップＳ１００において、新しいデジタル装置（例えば、１０、１２、１４）が、システム１によって検知される。このことは、例えば、２つの方法の１つで行うことができる。すなわち、
１．デジタル装置が、内蔵式無線ネットワーキング（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）技術）を有する。デジタル装置がシステム１の範囲内に入ったとき、システムが該デジタル装置を検知する。前のイベントによりシステム１がデジタル装置を既に知っている場合には、該デジタル装置を登録された特定の装置ユーザと関連付けることができる。他の場合には、特定の装置ユーザを有するデジタル装置の登録は、ユーザ入力装置３４を通して行うことができる。
２．デジタル装置が、内蔵式ネットワーキングを有していず、例えば、ウェブ接続１９を介する、システムの装置インターフェース２４を用いて、手作業で装置ユーザをシステム１に登録することができる。
である。

ステップＳ１０２において、システム１は、検知される装置１２、１４へのネットワーク接続を確立するので、新しい画像をチェックし、それらをダウンロードすることができる。Ｂｌｕｅｔｏｏｔｈ（登録商標）タイプのネットワークにおいては、このことは、「対の」操作（例えば、対のモジュール２６によって行われる）に対応する。Ｗｉ−Ｆｉネットワークにおいては、通信チャネルを開始する前に認証手続きを行うことができる（基本的なソケット接続、又は、ＳＭＢ／Ｓａｍｂａソフトウェアのような、何らかの既存のファイル共有プロトコルを用いて）。

一実施形態において、システム・ユーザは、ディスプレイ３６と、システム１の作動を制御するためにコンピュータに取り付けられた入力装置３４とを利用し、随意的にウェブ・ベースのユーザ・インターフェースを同時に使用して、新しい写真をアップロードすることができる。
ステップＳ１０４において、装置ユーザは、（例えば、新しい写真を撮ることによって）装置の内部記憶媒体１６上に１つ又はそれ以上の画像を記録する。

ステップＳ１０６において、システム１は、登録された装置ユーザのカメラ１２、１４の各々にある利用可能な画像を周期的に走査し、獲得プロセッサ２８を介して最後に走査してから後に撮られた、あらゆる画像のコピーをダウンロードする。画像及び関連したメタデータが、メモリ３０に格納される。メタデータは、取り込みの日付及び時間、取り込みの位置、取り込み方向、画像を記録したユーザ、画像解像度等のような情報を含むことができる。
ステップＳ１００、Ｓ１０２、Ｓ１０４及びＳ１０６は、一人又はそれ以上のユーザにとってリアルタイムの無線リンクが使用できない場合に、直接又はウェブ・ベースのユーザ・インターフェースを通して、カメラ記憶媒体１６、或いはディスクトップ又はラップトップ・コンピュータ、メモリカード、又はＣＤ ＲＯＭのような他の記憶媒体からの画像２９の単一のアップロード操作と置き換えることができる（ステップＳ１０７）。画像の無線及び無線でない取り込みは、自由に混合することができる。

ステップＳ１０８において、イベントについてのシステム１の所有者又は操作者のような管理ユーザは、ユーザ入力装置３４を用いて、システム１が生成することになる画像コレクション又はサブセットの所望のパラメータを入力する。これらの選択パラメータは、選択基準を含むことができ、この選択基準は、
１．コレクション内の所望の写真数（又は、２０枚以上２５枚以下の写真といった範囲）
２．最小の画質しきい値
３．例えば、コレクションが、異なる人々及び／又は場所の最大数を取り込もうと試みるべきかどうかといった多様性選択基準
４．例えば、場面内の人を検知し、それらの人が現れるどの写真を見つけ、それぞれの人が、コレクションにおいて最小回数現れるように写真を選択しようと試みるべきかなど、コレクションが、選択された人及び／又は場所を取り込もうと試みるべきかどうかといった特定の特徴選択基準
５．システム１が、寄与する装置／装置ユーザの各々から、おおよそ等しい数の写真を使用しようと試みるべきかどうかといった装置及び／又は装置ユーザ選択基準
のうちの１つ又はそれ以上を含むことができる。

選択基準の１つ又はそれ以上は、予め設定してもよく、又はデフォルト値の選択基準とすることができる。管理ユーザによって入力される所望のパラメータは、自動画像強調（ａｕｔｏｍａｔｉｃ ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ、ＡＩＥ）を各画像に適用すべきかどうかを含むこともできる。
ステップＳ１１０において、システム１は、各画像の品質を判断することができる。ステップＳ１１２において、この基準が予め設定されたものであるか、或いは、予め設定された基準又はデフォルト値の基準である場合、適切な場合には、システムが自動強調技術を適用する。露出、コントラスト、彩度、カラーバランス、及びぼかしのような１つ又はそれ以上の画質基準について画像を評価することによって、画質を判断することができる。画質値は、例えば、「レンズキャップを付けた状態で撮られた画像であった」、「ＪＰＥＧコード化エラーがあるか」、又は「十分に大きいファイルである」といった、非常に簡単なメトリックとすることができる。一実施形態においては、何らかの自動強調を行った後に、画質が判断される。

適用することができる自動強調技術は、何らかの局所的な／全体的なコントラスト訂正又は赤目の除去が適切であるかどうかを判断し、コレクション・ユーザがその選択肢を選択した場合にそれらの訂正を適用し、露出、コントラスト、鋭利さ、カラーバランス、及び／又は彩度のうちの１つ又はそれ以上を調整することを含む。
次に、判断された適切な画像処理を画像に適用する。これらが完全自動モードで行われるので、伝統的な処理パラメータを選択し、画質が悪化しないことを保証することができる。例えば、画像内の最も鋭利な縁部の階調度と、均一なヒストグラムからの画像のヒストグラムの距離によるコントラストとによって、ほかしを決定することができる。画像強調ステップは、元の画像への一般的なコンピュータ・グラフィックス修正のような、他の予め選択された「強調」を行うことを含むことができる。例えば、修正された背景を適用することができる（例えば、結婚写真用のロマンチックなビーチ場面、或いは、子供と並んで歩いている人気キャラクター（ミッキー・マウス）など）。

ステップＳ１１４において、選択された特徴のクラスタ化が行われる。サブステップＳ１１４Ａにおいて、人に関連する特定の特徴セクション基準が、コレクション・ユーザによって要求された場合、或いは、多様性選択基準が用いられた場合、システム１は、各画像内に何らかの人の特徴が存在するかどうかを識別する。このことは、皮膚に対応する画像の領域を顔検知又は検索するための技術を適用することを含むことができる。認識ソフトウェア・コンポーネント４４は、検知された人の各々の識別の判断を試みる必要がないが、同じ人が幾つかの画像に現れるかどうかを認識しようと試みることができるにすぎない。このために、認識コンポーネント４４は、顔又は身体の他の領域から抽出された衣服の色又はキーポイントとなるバッグを使用することができる。

サブステップＳ１１４Ｂにおいて、ユーザが場所に関連する特定の特徴選択基準を選択した場合、或いは、多様性基準が人だけでなく場所も含む場合、システム１は、同じ場所の画像を検知しようと試みる。システム１は、（多くの場合、装置ユーザは、同じ場所の写真を１枚より多く撮るという仮定に基づいて）同じデジタル装置からの連続する画像間の類似性をチェックし、キーポイントとなるバッグのような画像特徴を用いることによって、このことを行うことができる。時間によるクラスタ化（サブステップＳ１１４Ｃ）又は位置によるクラスタ化（図示せず）のような他の選択された特徴又は基準について、類似したサブセットを行うことができる。例えば、記録された画像のメタデータを用いて、画像の取り込み時間及び／又は取り込み位置を判断することができ、次に、画像をイベント又は場所と関連付けることができる。

代替的な実施形態において、特に、選択基準を含む前に格納されたプロファイルが選択された場合、或いは、オンデマンド式コレクション生成が望まれる場合、写真取り込みステップ（ステップＳ１００、Ｓ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０７）の前又は間に、ステップＳ１０８（選択基準の特定化）を行うことができる。このことは、システム１が、類似した機会（例えば、フィールドトリップ）に用いられることも多く、システム１を用いる度に単に選択することができるプロファイルを格納することが無駄でなくなる。イベントの終了直後にコレクションが所望される場合、オンデマンド式コレクション生成が有益である。選択基準を前もって知っているので、システム１は、画像取り込みの中間の予備の空き時間を利用して、ステップＳ１１０、Ｓ１１２、Ｓ１１４、及びＳ１１８を行うことができるので、ユーザがコレクションを要求するまでに行われる時間のかかる画像処理のできるだけ多くを行うことができる。

ステップＳ１１８において、システム１は、画像コレクションを生成する。１つの手法においては、画像のサブセットの選択は、ほとんどが画像属性にわたるブール値の組み合わせである１組の仮定のユーザ・クエリに応答する１組の画像を識別することを含むことができる。このことは、重み付けされた部分的被覆問題に関連している。別の手法においては、画像のサブセットの選択は、画質尺度とコレクション多様性尺度の組み合わせを最適化する（例えば、サブセット内に表される人数を最大化しようと試みながら、画質を考慮する画像のサブセットを生成する）１組の画像を識別することを含むことができる。

ステップＳ１２０において、コレクション内の画像が印刷されるか、又は印刷サービスに送られる。代替的に、ユーザに、ＣＤ ＲＯＭ、ＤＶＤ、又は画像コレクションの他のデジタル記録が提供される。更に別の実施形態において、コレクションは、インターネット・サイトを介してコレクション・ユーザが利用できるようになり、或いは、メッセンジャー又はｅメール・アプリケーションによってそれらの装置（例えば、１０、１２、１４）に送信又はダウンロードされる。コレクション・ユーザは、印刷のためにコレクションの全て又は一部を選択することができる。
あらゆるコレクション・ユーザが、写真の個人的コレクションを収集する機会をもつことが望ましく、その場合、あらゆるコレクション・ユーザ又は管理ユーザは、自分達のために、ステップＳ１０８を実行し、自分達に適用可能な選択基準を入力する。上に列挙された選択基準に加えて、コレクション・ユーザは、生成されたコレクションが、該コレクション・ユーザが撮った写真の多くの部分を含むよう特定したいと望むことがある。

画像コレクションを生成する
一般に、生成された画像コレクションの望ましい特性は、該画像コレクションが高品質の画像を含むこと（又は、低品質の画像を回避し）、及び、そこから該画像コレクションが得られる収集された画像の組の多様性側面を表していることである。多様性側面は、コレクション・ユーザにとって関心あるものとすることができる。選択モジュールの画質評価コンポーネント３８は、１つ又はそれ以上の画質基準に従って、画像を評価する。生成されたコレクションが、複数の人が出席したイベントについて１人の画像だけを示すような場合を回避するために、選択モジュール３２は、多様性コンポーネント６０を含むこともできる。以下により詳細に説明されるように、ステップＳ１０８において多様性基準が選択された場合（又は、予め設定された場合）、ステップＳ１１８において、多様性コンポーネント６０は、例えば、認識ソフトウェアの結果を利用し、特徴ベクトルを生成することによって、画像コレクション内の異なる特徴（例えば、人及び／又は場所）の数を最大化しようと試みる。例えば、次のステップを用いて画像コレクションを生成することができる。
１．ステップＳ１１０において得られた情報を用いて、組の中の各画像に画質値が割り当てられる（サブステップＳ１１８Ａ）。画質は、評価される画質基準の積又は和、或いは加重積又は和といった、評価される画質基準の各々についての値の関数である単一の値として表すことができる。例示的な実施形態において、各画像には、１が最高品質の画像に対応するものとして、０から１までの単一のスコアが割り当てられる。代替的な実施形態においては、ステップＳ１１０において、画質値を割り当てることができる。
２．ステップＳ１１４及びＳ１１８において得られた情報を用いて、各画像についての特徴ベクトルが計算される（サブステップ１１８Ｂ）。特徴は、画像内の人の存在及び画像内に示される場所を説明する。これらの特徴は、ビット・ベクトルとして表すことができ、ここで、各々のビットは、人の存在又は不在、或いは画像特徴が所定の場所を示すかどうか（画像が所定の場所を特徴付けるかどうか）を表す。通常、画像は、１つの場所だけを有するが（したがって、場所ビットの１つだけが設定される）、任意の数の人を含むことができる（したがって、任意の数の人ビットを設定することができる）。
３．画質値と、コレクションに付加されたときに画像が選択基準を満たす範囲の決定とに基づいて、画像がコレクションに付加される（サブステップＳ１１８Ｃ）。選択基準アプリケーション・コンポーネント４０は、画像が選択基準を満たす範囲に基づいて、コレクションのための画像を推奨する方法を用いる。一実施形態において、アルゴリズムが、画像の選択されたコレクションに関するコレクション・スコア基準をほぼ最適化する。一般に、この方法は、画質基準も考慮しながら、グループとして、選択基準に最適化された応答を提供する画像のサブセットを生成しようと試みるものである。画像の推奨されたコレクションは、所定の選択基準についての全体的な最適コレクションとすることができず、この方法を実行するために割り当てられる最大時間のような他の制約などの画質基準をシステム上に配置することができる。
デジタル・カメラが、付加的な情報をＧＰＳの場所のような写真と関連付ける場合、空間にわたって等しく分配される写真の選択を可能にするために、システム１によってこの情報を利用することができる。

最適化されることになる基準のモデル
選択基準に対応する仮定ユーザ生成クエリがコレクション対して作られたとき、写真コレクションの品質を、予想される見返りとして定量化することができる。コレクション・スコアを説明するために、次のプロセスを考えることができる。
１．ユーザがクエリを作る。
２．画像の組から生成されたコレクションがクエリを満たす画像を含む場合、システムに見返りが与えられる。見返りは、これらの画像のうちの最良のものの測定された画質に比例すると考えることができる。
３．コレクションがこうした画像を含まない場合、何も起こらない。

コレクション・スコアを得るために、クエリｑは、何らかのクエリの組Ｑから得られたものとしてモデル化することができる。組Ｑは、例えば、１組の人Ｐ₁、Ｐ₂、Ｐ₃・・・から選択された特定の人Ｐ₁、或いは、１組の場所Ｌ₁、Ｌ₂、Ｌ₃・・・から選択された特定の場所Ｌ₂のような特定の人又は場所に関するような簡単なクエリを含むことができる。或いは、クエリは、例えば、Ｌ₂におけるＰ₁のような人及び場所の結合、或いは、Ｐ₂及びＰ₃又はＰ₁及びＰ_xのような２人又はそれ以上の結合といった、複合クエリとすることができる（ここで、Ｐ_xは、組Ｘから選択される任意の人とすることができる）。組Ｘは、画像の組内の人のグループ全体としてもよく、又は、グループの特定のサブセットとしてもよい。

あるクエリを、他のクエリより満足のいくものにする可能性を高くすることができる。これをモデル化するために、π_qを、尋ねられるクエリｑの確率とする。π_qの値は、０から１までとすることができる。一実施形態において、π_qの値は、何らかのファジー加重値と置き換えることができる。画像がクエリを満たす場合、クエリｑを満たす写真ｐの測定された画質は、

で示すことができる。他の場合には、写真がクエリｑを満たさない場合、

となる。

目的は、予想される見返り：

を最大化するＮ個の画像の組から、最大限でもＮ_c個のサイズの写真のコレクションＣを選択することである。
すなわち、予想される見返りは、各クエリの確率と（クエリを満たす１つより多い画像がある場合）クエリを満たす最良品質の画像の画質の積の、全てのクエリにわたる和である。したがって、例えば、高い確率を有するクエリ（すなわち、コレクション内に有するように重要であると考えられるもの）を満たす写真は、低い確率のクエリを満たす組内の他の画像より画質が低くても、コレクション内に現れることがある。

コレクションの最適化
上の式１を用いて見返りを最大にすることによって、サブステップＳ１１８Ｃにおいてコレクションを決定することができるが、大きなコレクションの場合、式１の最大化に時間がかかる傾向がある。したがって、一実施形態においては、コンポーネント４０を適用する選択基準によって行われる方法は、反復する、決定論的なものにすることができ、同時に、バックトラックを必要としないものにすることができる。この方法を適用するために用いられるアルゴリズムは、限られた実行時間を有することができる。例えば、実行時間は、ＮＮ_cに比例する。ここで、Ｎは、入力画像の総数であり、Ｎ_cは、コレクションのために特定される画像の数である。例示的な方法は、画像ｌの候補の組から画像を貪欲に取り出し、それらをコレクションＣ内に配置する。例えば、この方法は、次のステップを含む。
１．Ｃを空の組となるように設定し、ｌを全ての入力画像の組となるように設定する。
２．組Ｃが画像の所望数Ｎｃより少ない間、
ａ）ｌからの各画像ｐについて、スコア

が計算される。
ここで、ｗは、画質の重みであり、ｑは仮定クエリ指標であり、γは画像数である。スコア（ｐ）は、予想される見返り（式１）内の変化に対応し、現在のコレクションと共に含まれることになる画像ｐであった。合計の用語ｑは、応答ｑに対する画像ｐの付加的な寄与である。
ｂ）ｌから最も高いスコアを有する画像を除去し、これをＣ内に配置する。

コレクションの最適化において、特定の画像の最大数より少ない数を用いて、全てのクエリが満たされる場合、幾つかの選択肢が利用可能である。例えば、最適化方法を繰り返し適用することができる。各々の繰り返しにおいて、クエリのサブセットが、元の入力の組において満たされる回数に比例して選択される。したがって、例えば、新婦の入力写真がたくさんある場合、コレクションは、多くの出力を含む。

この方法は、全ての人及び場所が同じ重要性を有すると仮定することができるが、顔のクラスタ化（認識できない）だけを用いてさえ、重み付けが、特定の人の優先順位を調整するように付加されるとも考えられる。例えば、システムは、検知された顔の全ての見本を表示することができ、ユーザは、ユーザ入力３４を介して、いずれかのものが他のものより重要であるかどうかを示す。顔の認識を用いる場合も、システムが識別を割り当てるこれらの顔（例えば、既にシステムに教え込んだ著名人又は家族）に優先順位を与えることができる。

クエリの生成
１つ又はそれ以上のクエリに関して、各々の選択基準を表すことができる。クエリは、種々の方法で生成することができる。クエリの組を生成する３つの方法が、例として与えられる。
１．一般的：固定割り当て。例えば、入力画像の組から抽出された特徴の各々について１つのクエリと、各々と関連付けられた等しい重みとがあり得る。
２．学習：例示的な入力画像の組及びこれらから得られたコレクションが与えられた場合、システムは、可能なクエリを取り込む特徴に優る結合及び分離を自動的に学習する。カウントによって確率／重み付けをモデル化することができる。
３．手作業：人間が特定したクエリの組及び関連した重み。一実施形態においては、これらは、コンテキスト（例えば、場所及び／又は時間）に依存している。例えば、結婚式の場合、クエリの組は、

を含むことができる。
クエリを生成するためのこれらの方法の２つ又はそれ以上を組み合わせることができる。

一実施形態において、クエリ生成が個人化される。選択基準を変えることによって、及び／又は、個人化されたクエリ確率分布を有することによって、このことを達成することができる。例えば、ゲスト２が識別される上のスキーマにおいて、ゲスト２について個人化されたコレクションは、中程度又は高い確率重みを画像に割り当てることができる。
コレクションにおける画像の選択は、ユーザ入力を提供することができる。例えば、ステップＳ１１８において、コレクション・ユーザ又は承認されたユーザは、システムによって提案されたコレクションを見る。画像の一部は、目をつぶった人のような、システム１が容易に識別できない望ましくない属性を含むことがある。ユーザは、これらの画像の選択を解除することができ、システムは、新しいコレクションを提案する。このことは、空の組で再開し、これを再充填する方法を用いることを含む。或いは、システムは、同じ又は類似した特徴及び画質を有する画像を検索することによって、画像を探し、これらの選択解除されたものを置き換えることができる。

コレクションのための画像を推奨することに加えて、システム１は、画像へのアクセスを制御することもできる。異なるユーザが、異なるアクセス・レベル及び／又はアクセス範囲を調和させることができる。アクセス・レベルは、フル・アクセス（印刷に適した、何らかの適切な画像修正を含む、コレクション内の高解像度バージョンの画像へのアクセス）から、例えば、サムネイルなどの、画像のコンテンツを識別するのに用いることができる低い解像度バージョンの画像、或いは、単に、時間、場所、画質、及び存在する人のような画像の記述といった、より制限されたアクセスまで変化することができる。いずれの所定のユーザについても、異なるレベルのアクセスをコレクション内の異なる画像に調和させることができる。例えば、コレクション・ユーザは、コレクション又は選択された画像の購入がなされるまで、コレクション内の全ての画像のサムネイル又は画像の記述のような、低解像度の画像だけへのアクセスに調和させることができる。装置ユーザには、装置から得られるコレクション内の画像へのフル・アクセスと、コレクション内の他の画像へのより制限されたアクセスとが可能になる。アクセスは、時間及び日付によって調和させることもでき、一部のユーザは、コレクションの一部だけにアクセスすることもできる。選択基準又は他の要因に基づいて、他のアクセス制限を実施することもできる。

例示的な実施形態による、画像の獲得及び選択のためのシステムの体略図である。 画像の獲得及び選択のための例示的なプロセスにおけるステップを示すフローチャートである。

符号の説明

１：画像選択システム
１０、１２、１４：カメラ
１６：画像記憶媒体
２８：プロセッサ
２９：画像
３０：メモリ
３２：選択モジュール
３４：ユーザ入力
３５：選択基準

Claims (6)

1. コンピュータが、
   ユーザ入力を通じて全体的又は部分的に作成される複数の画像選択基準を特定し、ここで前記複数の画像選択基準は各々、前記画像選択基準の相対的な重要性を反映する重み付けを含んでおり、
   画像の組を受信し、
   前記画像の組をメモリに格納し、
   前記画像の組内の複数の画像の各々について、前記画像の画質の評価に基づいて、前記画像についての画質値を選択手段によって決定し、
   前記画像についての前記画質値と、コレクションが前記画像選択基準を満たす計算された程度とに基づいて、前記画像の組から、デジタル画像のコレクションのための画像を選択手段によって推奨するステップを含むことを特徴とする方法。
2. 前記画像の組内の複数の画像の各々について、
   前記コンピュータの認識手段が、
   前記画像内の少なくとも１つの特徴を抽出し、
   前記抽出された特徴に対応するラベルを用いて前記画像にラベル付けする、
   ステップをさらに含み、
   前記画像を推奨する前記ステップは、前記画像選択基準を適用する際に、前記複数の画像の前記画像ラベルを用いるステップを含むことを特徴とする請求項１に記載の方法。
3. 前記少なくとも１つの特徴は人及び場所の少なくとも１つを含み、
   前記コンピュータの前記認識手段が、
   ある人を他の人から区別することができる当該ある人の部分と、
   ある場所を他の場所から区別することができる当該ある場所の部分と、
   の少なくとも一方を識別するように動作可能である請求項２に記載の方法。
4. 前記コレクションのための画像の推奨は、
   ａ）前記コレクションが前記コレクション内に所望の数より少ない画像数を有する間は、前記組内からの各画像ｐにｗついて、前記コレクションE[reward|C] についての予想される見返り内の変化に対応するスコア（ｐ）を計算し、画像ｐがコレクションと共に含まれることになるものであった場合には、
   

   

   ここで、π_q は、１組のクエリＱの１つのクエリｑによって表される前記画像選択基準の１つの重要性を反映する確率重みであり、
   Ｗ_q ^pは、画像が前記クエリｑを満たす場合に前記クエリを満たす画像ｐの測定された画質を表わし、画像がクエリｑを満たさない場合には、Ｗ_q ^p＝０であり、
   Ｃは、コレクションであり、
   ｂ）残りの選択されていない画像の組から、最も高いスコア（ｐ）を有する、前記コレクションのための画像を選択する、
   ことを含む請求項１乃至３のいずれかに記載の方法。
5. 画像の組からデジタル画像のコレクションを自動的に推奨するためのコンピュータシステムであって、
   前記画像の組を受信する受信手段と、
   複数の画像選択基準を格納するメモリであって、ここで前記複数の画像選択基準は各々、前記画像選択基準の相対的な重要性を反映する重み付けを含んでいる、前記メモリと、
   前記画像の組内の画像を当該画像についての画質値を決定するために自動的に評価する評価手段と、
   前記画像について決定された前記画質値と、前記コレクションが前記画像選択基準を満たす計算された程度とに基づいて、前記画像の組から、デジタル画像のコレクションのための画像を推奨するための推奨手段と、
   を備えることを特徴とするシステム。
6. 少なくとも１つのデジタル装置によって取り込まれる画像を獲得するための獲得プロセッサをさらに備えることを特徴とする請求項５に記載のシステム。

Images