JP5524219B2 - 対話式画像選択方法 - Google Patents

Description

本発明は、画像の収集のための人に対する配慮（intuitu personae）と対話式閲覧選択方法に関連する。いわゆる人に対する配慮の方法というのは、画像閲覧および画像選択を、ユーザの希望、およびユーザと画像のアイコン内容との間の関係に適応させようとするものである。

この方法は、収集したデジタル画像の閲覧に適しており、特に家庭用写真に適用される。しかし、この方法は写真編集、映像編集、および写真アルバムなどの写真製品のコンピュータ支援デザインの分野でも実行される。閲覧方法はコンピュータで実行されるが、表示スクリーンと内蔵式または遠隔式の計算性能とを有するマルチメディア装置でも実行される。

既存の収集した写真のデジタル化とともに、デジタルカメラの使用の拡大につれて、個人の画像の収集物が数千枚の画像を含むことは珍しくない。

画像が多数に及ぶと、閲覧の煩雑さを回避するために必要な細かい部分集合にこれを分類するのが普通である。分類は一般的に、画像の注釈、画像に追加されたメタデータの形のラベルまたはタグ、明示的なユーザ入力を必要とする他の形の静的分類に基づく。しかし、このような分類には欠点が見られる。欠点の一つは、収集した画像（以下、「画像の収集物」又は単に「収集物」とも称する）の所定ユーザの現時点での好みに対応する分類が、他の潜在的ユーザまたは別の時点か異なる使用状況での同じユーザの好みに必ずしも対応しないことである。別の欠点は、ユーザ入力を必要とする分類は通常、煩雑な作業であると思われるので、多くの画像／写真はラベルが付けられないか分類されないままだということである。

ユーザによる分類の労力を省くため、一部の検索システムは、既存の画像ラベルまたはタグではなく客観的な画像内容分析に基づいている。分類または画像検索に使用される可能性のある画像内容についてのデータは、画像についてのいわゆる低レベル分析または高レベル分析から生じるものである。低レベル分析は例えば、色分析、空間周波数分析、テクスチャ分析、ヒストグラム分析などを包含する。高レベル分析ではむしろ、画像の意味内容から情報を導出するためのアルゴリズムを必要とする。高レベル分析の例を挙げると、人の顔、皮膚、動物、空、水、海、草などの画像意味内容での識別を行うのに処理エンジンが使用される。

意味内容は、上述した他のいくつかの低レベル特徴とともに、画像間の類似性を計算し、最終的には類似性に基づいて画像を分類するため、単独または組合せで使用される。

既存の分類・画像検索方法の例として、説明の最後に引用されている特許文献１，２，３に言及しておく。

米国特許出願第２００６／００５０９３３号明細書 米国特許第７，０４３，４７４号明細書 米国特許第６，９２２，６９９号明細書

上記のように、画像注釈または画像ラベリングに基づく既存の分類検索方法は人による入力に大きく依存している。

このような方法は、大量の画像の収集物、または利用可能な人による解釈が不充分である画像の収集物には適切でないという傾向が見られる。

高レベル分析であっても低レベル分析であっても客観的な画像分析に基づく分類および／または検索方法は、大量の画像収集物、または前もって注釈またはラベルが付けられていない画像収集物に、より適している。しかし、プリセットされたアルゴリズムはたは計算方法に基づく分類または検索のプロセスは、あらゆる潜在的ユーザの好み、画像使用状況の変化、または特定ユーザの必要性に必ずしも適合していない。

本発明はまた、ユーザが写真を視認している間に潜在的ユーザの入力を収集することは、方法論的または対話式の画像分類方法で収集される入力よりもユーザにとって煩雑でないという観察結果から生じたものである。

本発明は、上述した欠点を克服することを目的とするとともに、旧来の「靴箱」（“shoe box”）パラダイムに一層密接な関連性を持つより自然な画像検索をユーザに提供する方法を提案する。

本発明はまた、自然で直感的な画像検索をさらに提供することのできる画像表示を提案する。

このような目的を達成するため、本発明はより正確には、複数の画像カテゴリに分類された複数のデジタル画像の中から表示すべき画像を選択するための方法を提案する。この方法は以下のステップを包含する。
・各画像に強度値を割り当てるステップ。
・ユーザに複数のデジタル画像の中から画像を選択させるステップ。
・ユーザデータを収集するステップ。
・ユーザにより選択された画像と同じカテゴリに分類される画像の強度値を、収集されたユーザデータに応じて更新するステップ。
・ユーザによる画像の選択時に、ユーザにより選択された画像と同じ少なくとも一つのカテゴリに分類される少なくとも一つの追加画像を自動的に選択するステップであって、強度値に基づいて追加画像が選択されるステップ。
・選択された画像を、表示、印刷、処理、または交換など後の使用で利用可能にするステップ。

特に、閾値を超える強度値を有する追加画像が選択されるとよい。

単純化のため、状況から明白である限り、「デジタル画像」の語は、表示または印刷される可能性のある画像のアイコン内容を指すとともに、メモリに記憶された対応のデジタルデータまたはメタデータを指すのに漠然と使用される。しかし、画像処理に関する限りこの語はデータを指すことと、ユーザとの対話に関する限りこの語は目に見えるディスプレイまたはプリントを指すことは言うまでもない。複数の画像または画像の収集物は、画像処理装置がアクセスできる遠隔式、内蔵式、または着脱可能なメモリに記憶される画像の全部または一部である。収集物は閉じられているか更新が可能である。

本発明では、ユーザが自分で選択した第１画像に加えて、一つ以上の画像を自動的に選択して、おそらくはユーザ用に表示することができる。その目的は、選択状況と予想されるユーザの関心とにできる限り密接に適合する追加画像を選択することである。画像カテゴリと画像の強度値との組合せを使用することで、関連する、または部分的に関連する画像、例を上げると、違う場所にいる同じ人物の画像をまとめる、特に一緒に表示することが可能である。

上述した追加画像の選択は、閾値を超えない強度値を持つ適切なカテゴリのいくつかの追加画像で完了する。例を挙げると、強度値が低いか最低である追加画像でも選択することが可能である。またプロセスは、現在の閲覧状況における一つ以上のランダムまたは予想外の画像、つまり選択されたカテゴリにない画像の一つの選択を包含する。すると、このような少数派の追加画像は代替的な閲覧方向をユーザに提供する。

強度値は、ある意味で画像収集中の所定画像についてのユーザの関心の尺度となる測定基準として使用される。ユーザの関心は直接的には測定されず、一組の推論規則に従って収集ユーザデータから導出される。以下で説明するように収集ユーザデータは暗示的および／または明示的なユーザデータを含む。

一つまたは複数の強度値が画像収集物の各画像に割り当てられる。収集された各画像について複数の強度値が使用される時に、選択肢は、収集物の複数の潜在的なユーザの中のユーザに固有の強度値を各画像についてそれぞれ設定することである。強度値は、画像についてのユーザの関心を反映することを目的とするものであるので、複数の強度値により、関心を反映するとともに異なるユーザの好みに適合させることができる。

上述したように、画像カテゴリに分類された画像の収集物においてこの方法が実行される。画像カテゴリはプリセットされるか、プロセス中に変化する。例を挙げると、他の既存のカテゴリの中の画像の特徴に特有な類似の画像特徴を有する既定数の画像が、高レベルまたは低レベルの画像分析によって決定される場合には、追加画像カテゴリが加えられる。追加画像カテゴリは、新しいカテゴリを作成する明示的なユーザ入力の結果でもある。

同じ画像が異なるカテゴリに属する可能性があることにも言及しておく。例を挙げると、人物Ｐの顔として認識され、所定の時刻、または誕生日など所定の出来事において撮影された意味特徴を含む画像は、いくつかのカテゴリに属する。この画像は、「人物Ｐ」という第１カテゴリと、「誕生日」という第２カテゴリと、さらに捕捉の月または日に基づく第３カテゴリに属する。

画像は基本的に、
・画像の意味内容に対応するカテゴリ、
・現在の視認者状況の結果、この視認者にとっての画像の有意性に対応するカテゴリ、
など、一つまたはいくつかのカテゴリまたはクラスに分類される。このようなカテゴリは、画像が捕捉されるか、画像選択方法が実行される時にユーザが位置しているか位置していると想定される地理的な場所に関連している。地理的データは、明示的なユーザ入力から、あるいは画像捕捉装置または画像閲覧装置に統合された測位装置から導出される。例えばＧＰＳシステム（全地球測位システム）により決定されるユーザの地理的位置に一つまたはいくつかのカテゴリが対応する場合には、このようなカテゴリは、動的なカテゴリ変化を受ける一時的カテゴリに過ぎない。考えられる別のカテゴリは、
・現在の視認者の生活経験の結果、この人にとっての画像の有意性に対応するカテゴリ、
である。このようなカテゴリは例えば、誕生日、結婚、パーティなどに関連する。より一般的には、ユーザについての特定の知識、例えば画像上で識別される人物が生まれたばかりのユーザの子供であるという事実が利用可能である時に、このようなカテゴリが使用される。

他にも可能なカテゴリは、以下の通りである。
・画像が捕捉された時刻または日付フレームに対応するカテゴリ。
・メタデータとして画像データとともに記憶されたキーワードに対応するカテゴリ。
・選択／視認装置において同じセッション中にユーザに選択された画像のカテゴリ。

画像の収集がまだ分離されていない場合には、本発明は以下の予備的ステップをさらに含む。
・画像を収集するステップ。
・画像データおよび／または画像メタデータの計算に基づいて、収集された画像の特徴を判断するステップ。
・画像集合について計算された特徴の間の類似性を検索する、および／または画像カテゴリについての計算特徴とプリセット特徴との間の類似性を検索するステップ。
・類似特徴を有する画像を共通カテゴリに仕分けるステップ。

画像を収集するステップは、メモリ内の画像データを読み取ることと、サーバからデータをダウンロードすることと、さらにカメラまたはスキャナで画像を捕捉することとを包含する。

本方法は、プリセット数の画像の間で類似性が見つかるたびに新しい画像カテゴリを自動的に作成することも包含する。

ここでの類似性は、所定の類似度と理解される。例えば、このような画像の少なくとも一つの特徴の類似性が既存のカテゴリの特徴との類似性より強い場合に、画像は新しい画像カテゴリに含められる。

類似度を比較するのに使用される測定基準は、類似性計算アルゴリズムに関して決定される。例を挙げると、類似性計算が画像データの交差相関である場合には、交差相関の値が直接、類似度の尺度として使用される。

類似性検索では、画像捕捉の地理的位置、画像捕捉時間範囲、または意味内容について計算された特徴に基づく論理的比較も使用される。

それほど高度でない発明の実施形態では、画像をクラスにランダムに分類することも可能であろう。

本発明の主要な面の一つは、画像の強度値の更新、つまり収集物の所定の画像についてユーザが持つと予想される関心の測定基準となるデータの更新である。

更新は、収集されたユーザデータと、一つまたはいくつかの所定の更新規則とに基づく。ユーザデータは、ユーザについてのある情報に関連するデータまたはユーザの行動を反映するデータとして理解される。

例を挙げると、ユーザデータの収集は、以下の動作のうち一つまたはいくつかを包含する。
・ユーザにより視認される各画像について表示時間を測定すること。
・ユーザにより閲覧される画像の間の類似性を測定すること。
・質問に対する明示的なユーザフィードバック。
・ユーザの氏名、生年月日、年齢、住所についてのデータを収集すること。
・ユーザに選択された画像が表示されている間に、コンピュータキーボード／マウスで実施されるクリック数をカウントすること。
・ユーザの顔の追加画像を捕捉すること。
・ユーザの生理機能、つまり顔表情変化、瞳孔径、皮膚導電率を分析して、選択された画像に対する視認者の反応の尺度として処理することにより、視認される画像に対するユーザの感情反応を測定すること。
・同じユーザにより視認された前の画像に関するデータを収集すること。

本発明の方法を実施するのに使用される装置とユーザとの対話を監視することにより、これらのデータがすべて得られる。

画像、特にユーザの顔の写真を捕捉するという前の例は、ユーザの顔を認識して、ユーザの顔が存在するのは収集物のうちどの画像かを判断する顔認識アルゴリズムとともに使用される。この時、これは、ユーザは自分の顔を表す画像に何らかの関心を持つはずだという推定によるものである。

顔認識アルゴリズムは、周知のものであり、そのためこれ以上は詳述しない。

ユーザデータに基づき、選択された画像と同じ単数または複数のカテゴリに属する画像について、強度値が更新される。

強度値は、一つ以上の既定の更新規則により更新される。
・選択された画像の表示時間に比例する更新値。
・選択された画像の意味内容とユーザの顔の画像との相関関係または類似度に比例する更新値。
・生理機能的変化など、いくつかの周知の方法により測定される、ユーザの感情反応タイプの振幅または機能に比例する更新値。
・選択された画像のメタデータにユーザの氏名、生年月日、住所が見つかった時のプリセット更新値。
・選択された画像が表示されている間に実施されるクリック数に比例する更新値。

収集されたユーザデータのタイプに応じて、更新規則が選択される。

強度値の更新は、ユーザデータから導出された推定関心のみに基づくことが好ましいが、それに加えて、画像から直接導出された意味内容に基づいて強度値を更新することも可能である。

新生児の初めての画像であるため画像の値が高いなど、強度値の更新は画像に含まれていないデータにも基づく。

上記のように、追加画像の自動的選択が行われる。この選択は、ユーザにより選択された画像の属するカテゴリと、このようなカテゴリの画像の強度値とを考慮したものである。

閾値を超える強度値を有する一つ以上の追加画像が選択されてもよい。この閾値は予め決定され、すべての画像について同じでもよい。異なるカテゴリの画像について、閾値が異なっていてもよい。所定のカテゴリの画像の数に応じたものである、および／または所定のカテゴリの画像の平均強度値に応じたものである。

保有されている追加画像の数を制御するのに、可変閾値を使用できる。こうして、例えば選択された画像を視認するのに使用される表示手段の表示性能と画像の数が適合する。そのため、表示手段の表示性能に応じて閾値を設定できる。

別の選択肢によれば、追加画像の数についての閾値は、収集されたユーザデータから導出されたユーザ関心予想に応じたものでもよい。

選択画像つまりユーザにより選択される画像と、閲覧方法により自動的に選択される追加画像とが、後で使用するため最終的に利用可能となる。この最終ステップは、選択画像の表示、選択画像の印刷、および／またはマルチメディア装置、テレビ、デジタルフォトフレーム、サーバ、カメラ付電話などの遠隔装置への対応画像データの送信を含む。

画像を利用可能にすることは、今後の閲覧のため、または画像処理のための開始点として選択画像のデータをユーザが使用できるようにすることを含む。

本発明の方法では、ユーザにより選択された画像と同時に追加画像が表示される限り、ユーザにより選択される画像の数より多数の画像を表示する結果となる可能性がある。

そのため、閲覧計画において追加画像がユーザを邪魔するかユーザを誤解させるのでなく、さらに閲覧を行うためのガイダンスとして使用されるように画像を表示する必要性がさらに存在する。

そのため、改良によれば、異なるカテゴリに対応する選択画像が表示スクリーンの異なるエリアに表示される、および／または画像の強度値に応じた相対的サイズで各選択画像が表示されることが好ましい。

このような特徴を用いて可能となる表示レイアウトの例については、以下でさらに説明する。

本発明はまた、本発明による方法を実行できる、集積回路またはデータ記憶手段などのキャリヤ上のコンピュータプログラムまたはソフトウェアに関連する。

プログラムは、説明する方法の実施に適した形のソースコードを含む何らかのコードでよい。

発明はさらに、説明する方法の実施に適合した命令を包含する記憶媒体に関連する。

本発明の他の特徴および長所は、添付図面の図を参照すると以下の説明において明らかとなるだろう。この説明は、非限定的な例示として挙げられている

本発明に対応する画像選択方法を示すフローチャートである。 図１による方法の予備的ステップとして実行される画像分類方法を示すフローチャートである。 図１の方法により選択される可能な画像の表示レイアウトの例を示した図である。

以下の説明では、異なる図の同一または類似の部品は同じ参照符号で示される。

図１の参照番号１００は、分類された画像１０２の収集物の提示に対応する画像選択プロセスの第１ステップに関連している。後で説明するように、この第１ステップは、異なるクラスへの画像の予備的な仕分けを含む。デジタル画像１０２の収集物は、各々が複数の画像１０２，１０２ｉ，１０２ｊを包含する複数の画像クラス１０４ａ，１０４ｂ，１０４ｃを包含する。同じクラスの画像は類似の画像特徴を有する。例を挙げると、誕生パーティなど所定の出来事について捕捉された画像すべて、または同じ日または同じ時刻範囲に捕捉された画像すべてが、クラスに収容される。クラスは、顔認識アルゴリズムにより所定の人物の顔があることが認識された画像すべてを収容してもよい。

いくつかの異なる画像クラスに対応する特徴を画像が有する場合には、この同じ画像がこれらのクラスに属する。例を挙げると、所定の日に所定の人物の誕生パーティで撮影されたこの人物の画像は、上述のクラスの各々に属する。図１の例では、太字で描かれた画像１０２ｉは、クラス１０４ｂと１０４ｃの両方に属する。二重線で描かれた画像１０２ｊは、クラス１０４ａ，１０４ｂ，１０４ｃに属する。

ステップ１１０において、この方法は次に、一つまたは複数の強度値１１２，１１２ｉ，１１２ｊ，１１２ｋを各画像１０２，１０２ｉ，１０２ｊ，１０２ｋに割り当てる。方法が最初に実施される時には、すべての強度値が同じ初期値に設定される。画像の意味内容や別の画像特徴に応じて値が初期設定されてもよい。例を挙げると、より最近の画像、または顔認識アルゴリズムが人間の顔を認識した画像が、以前の画像または人間の顔を含まない画像よりも高い初期強度値を与えられる。

あるクラスに属しているという事実は、画像の強度値とともに、個別データまたはデータファイルの形で記憶されるか、画像メタデータの一部となる。

画像に割り当てられた初期強度値は、プロセスが実行されている間に更新されるので、重要でない。

プロセスが再開されるたびに、ステップ１１０は、所定のユーザが前にプロセスを実行した時の強度値を各画像に割り当てることを包含する。強度値はメモリに記憶される。

追加ステップ１１４において、ユーザは自分の氏名または何らかの種類の識別を入力するように促される。ステップ１１０においてユーザ識別は、識別された特定のユーザについて前に記憶されたそれぞれの強度値を各画像について検索するのに使用される。

このプロセスにより、それ自体周知の閲覧方法を用いて画像収集内でユーザが閲覧することと、ユーザが画像を選択することが可能になる。ユーザによる画像の選択は、参照符号１２０で示されている。この選択は、選択ボタンを押すこと、スクリーンにタッチすること、コンピュータマウスをクリックすることなどによって行われる。

画像収集内で閲覧している間、より一般的には本発明の方法を実行するのに使用される装置とユーザが対話している間に、ユーザデータが収集される。これは図１のステップ１２２に対応する。ユーザデータが別の時に収集されて、この方法により使用されるまでメモリに記憶されてもよい。

上述したように、ユーザデータは、生年月日、住所、ユーザの顔の写真などユーザについてのデータ、またはインプットとして入力するようにユーザが促される他の参考情報を含む。他のユーザデータは、ユーザが収集物を閲覧しているか、コレクションの画像を視認している間のユーザの行動または生理学的反応についてのデータを含む。後者は、どれだけの時間、画像が視認されていたか、画像が視認されている間に何回のクリックまたはデータ入力が行われたか、または画像が処理または変更されたかどうかに関するデータを含む。

ある画像について利用可能なユーザデータは、一組の所定規則に従って予想ユーザ関心に変換され、次のステップ１３０ではこれに従って画像の強度値が更新される。

上述したように、考えられる一つの規則によれば、画像の強度値データが、この画像の相対的表示時間に比例する値によって更新される。これは、ユーザは自分にとって関心のある画像を長時間見る傾向があるという暗黙の規則に基づいている。この時、このような画像の強度値が上昇する。

逆に、ユーザが処理した画像の部分集合から除外された画像は、ユーザにとって関心が無いものであると見なされる。強度値は低下する。

画像内容について行われた計算に基づく、より高度な規則も可能である。これは、交差相関計算または顔認識である。例を挙げると、顔認識アルゴリズムによりユーザの顔が認識された画像は、ユーザにとって興味深いものと見なされ、強度値が上昇する。

画像の強度値が上昇するかまたは低下する量は、拡張縮小可能なユーザデータに比例してプリセットされるか、コレクションの他の画像または同じカテゴリの他の画像に対して加重される。

また、画像の強度値は、ユーザに関連していないが低レベルまたは高レベルの画像分析に基づく計算またはデータに基づいて更新されてもよい。例を挙げると、コントラストが不充分で鮮明度が不充分な画像の強度値は自動的に下げられる。

画像強度値の更新は、図１の「＋／−」により符号で表示される。

ユーザデータが利用可能となってユーザにより選択された所定の画像の強度値を更新するのに使用される場合には、この画像の強度値が更新されるばかりでなくユーザにより選択された画像と同じカテゴリの画像すべての強度値も更新されることを強調すべきである。

選択された画像と同じカテゴリの画像は、選択された画像の更新値と同じ値かこれより小さい値だけ更新された強度値を持つ。

選択された画像がいくつかの異なるカテゴリに属する時には、このようなカテゴリすべての画像強度値が同じか異なる更新値により更新されることにもさらに言及しておく。

言い換えると、ユーザデータが収集されて更新規則に対応する時には、ユーザにより選択された画像の強度値と、ユーザにより選択された画像と同じカテゴリに分類される画像の強度値とを更新するのにこのデータが使用される。

図１の次のステップ１４２は、追加画像の自動選択を包含する。この選択は、一つまたはいくつかの画像のユーザ選択１２０に基づいている。

追加選択される画像は、ユーザ選択画像が属する画像カテゴリから選ばれる。この選択は強度値に基づくものであり、最高強度値を有する画像を保有するものである。

例を挙げると、ユーザ選択画像のカテゴリに属していて閾値を超える強度値を持つ画像が選ばれる。閾値は、予め決定されるか、コレクションのすべての画像またはユーザ選択画像と同じカテゴリのすべての画像の平均強度値の加重関数である。他の閾値計算、特にプロセスを実行している装置の表示性能に応じた閾値計算は除外されない。

ユーザにより選択された画像と追加自動選択画像とが、表示ステップ１４６において同時にまたは順に表示される。表示ステップは、印刷ステップまたは他の後続画像処理ステップで置き換えられるか、完了される。

追加ステップ１４４は、カテゴリおよび／または選択画像の強度値に基づく表示レイアウトの計算を包含する。

図１の点線のボックス１５０は、機械により読み取られて実行されると本発明を実行するのに適した命令を記憶することのできる記憶手段を有する、本発明の実行に適した装置を表す。このような装置は例えば、マルチメディア装置、フォトフレーム、またはコンピュータである。

本発明の方法はすでに分類された画像コレクションにおいて実行されるが、その前に自動分類プロセスが行われてもよい。このようなプロセスについて、図２を参照して簡単に説明する。

このプロセスの第１ステップ２１０は、画像を収集することを包含する。これは例えば、捕捉装置による画像の捕捉、遠隔装置からの画像のダウンロード、またはメモリ装置の画像の読み取りにより行われる。

次のステップ２１２は、収集された各画像の画像特徴の判断を包含する。画像特徴は、高レベルまたは低レベルの分析および対応の計算によって確立される。上述したように、顔認識エンジンまたはアルゴリズムが使用されるとよい。画像特徴の提示は、すでに画像データに添付されたメタデータを単に読み取ることも包含する。一例は、画像の捕捉時間の特徴である。

次にステップ２１４で、画像の特徴は、プリセットカテゴリつまり前に作成されたカテゴリに対応するプリセット特徴と比較される。カテゴリのプリセット特徴は、ある範囲の値として設定される。例を挙げると、誕生日に対応するカテゴリは、予め決定された日または月に対応する捕捉時間範囲を含む。この時、この範囲の捕捉時間を有する各画像がこのカテゴリに仕分けされる。他の例は、交差相関計算のための閾値、顔認識のための閾値、海、砂、風景などの検出のための閾値を含む。明示的なユーザ入力に基づくカテゴリにも画像が分類されることは言うまでもない。

いくつかの画像の特徴が既存のクラスのいずれにも対応しない時には、追加ステップ２１６が実行される。このような画像は無所属クラスに分類されるか、新しいクラスの設定に使用される。所定数の画像がある範囲内の特徴をかなり有する時には、このような画像のためにステップ２１７で新しいクラスが作成される。

最終ステップ２２０は、クラス内での画像の仕分けに対応する。このステップの結果、上述した選択方法に使用される分類済みの画像コレクション１０２が得られる。画像の仕分けは、クラスを表す画像作成メタデータを含む。

図３は、上述したように選択される画像の表示レイアウトの例を示す。

選択された画像が属する各画像カテゴリに、空間方向３０２，３０３，３０４，３０５，３０６，３０７が割り当てられる。この方向は、選択された画像の表示サイズにより、３６０°にわたって均一または不均一に分散される。

ユーザによって選択された画像３１０が、すべての空間方向の交点である中心に表示され、次にこの画像の周りに自動選択追加画像３１２が分散される。図３に見られるように、追加画像は、ユーザ選択画像よりも小さく表示され、中心３００から離れるほどサイズは小さくなる。

特に、表示サイズと中心からの距離とは、追加特徴の強度値の減少関数である。高い強度値を持ちユーザにとってより関心が高いと予想される追加画像３１２Ｌは、大きなサイズで表示され、ユーザ選択画像の近くに配置される。強度値が低い画像３１２Ｓは、より離れた所にあって小さい。

上述したように、同じカテゴリに属するすべての画像が同じ空間方向に整列される。

画像がいくつかのカテゴリに属する場合には、何回か表示するか、一方向での表示に制限することが可能である。

表示される画像がそのカテゴリおよび強度値に応じて分散されるという事実により、ユーザは、画像の収集物の閲覧をより簡単に行うことができ、同じ方法または同じエリアに表示される画像間に考えられる関連性に気づくことができる。言い換えると、カテゴリおよび強度の角度関数または極座標関数として表示が行われるのである。

空間的な関連性または分散がカテゴリに対応しており、強度値に関して表示の差が設けられる限り、列、扇形などでの他のレイアウトも適している。別の例を挙げると、各表示画像の表示時間が強度値に応じて計算されてもよい。

ディスプレイは、二次元ディスプレイでも三次元ディスプレイでもよい。

１００ 分類される画像の提示、１０２，１０２ｉ，１０２ｊ，１０２ｋ 画像、１０４，１０４ａ，１０４ｂ，１０４ｃ クラス、１１０ 強度値割り当て、１１２，１１２ｉ，１１２ｊ，１１２ｋ 強度値、１１４ ユーザ入力、１２０ 画像選択、１２２ データ収集、１３０ 強度値の更新、１４２ 画像の自動選択、１４４ 表示レイアウトの計算、１５０ マルチメディア装置、２１０ 収集ステップ、２１２ 画像特徴決定ステップ、２１４ 比較ステップ、２１６ 比較ステップ、２１７ クラス作成、２２０ 仕分けステップ、３０２，３０３，３０４，３０５，３０６，３０７ 空間方向、３１０ ユーザ選択画像、３１２，３１２Ｌ，３１２Ｓ 追加画像。

Claims (20)

1. 方法であって、当該方法が、
   処理システムによって、複数のデジタル画像内の各画像に強度値を割り当てるステップであって、前記複数のデジタル画像が、複数のカテゴリ内に分類されている、割り当てるステップと、
   前記処理システムによって、前記複数のデジタル画像から少なくとも１つの画像を選択することに応答して、ユーザのユーザデータを収集するステップと、
   前記処理システムによって、前記収集されたユーザデータに応じて及び画像の表示属性に応じて、同じカテゴリ内に分類されているすべての画像の強度値を前記少なくとも１つの選択された画像の強度値として更新するステップと、
   前記処理システムによって、少なくとも一つの同じカテゴリ内に分類される少なくとも一つの追加画像を前記少なくとも１つの選択された画像として自動的に選択するステップであって、前記追加画像を選択することは、前記少なくとも１つの追加画像の強度値に基づくものである、自動的に選択するステップと、
   を含む方法。
2. 前記強度値が閾値を超えるような追加画像を選択するステップをさらに含む、請求項１に記載の方法。
3. ユーザデータの収集は、
   前記ユーザにより視認される各画像について表示時間を測定することと、
   ユーザの氏名、生年月日、年齢、地理的位置についてのデータを収集することと、
   前記ユーザにより選択された画像が表示されている間に、コンピュータキーボード／マウスで実施されたクリック数をカウントすることと、
   前記ユーザの顔の画像を捕捉することと、
   同じユーザにより視認された以前の画像についてのデータを収集することと、
   少なくとも１つの画像に対する前記ユーザの感情反応を測定することと、
   のうち少なくとも一つを含む、請求項１に記載の方法。
4. 前記少なくとも１つの追加画像の強度値は、
   前記少なくとも１つの追加画像の表示時間に比例する更新値と、
   前記少なくとも１つの追加画像の意味内容と前記ユーザの顔の捕捉画像との相関関係に比例する更新値と、
   前記少なくとも１つの選択された画像のメタデータに前記ユーザの氏名、生年月日、住所が見つかった時のプリセット更新値と、
   前記少なくとも１つの追加画像が表示されている間に実施されるクリック数に比例する更新値と、
   前記少なくとも１つの追加画像に対する前記ユーザの感情反応に比例する更新値と、
   前に視認された画像の強度値に比例する更新値と、
   により更新される、請求項１に記載の方法。
5. 前記複数のデジタル画像は、画像データから抽出された特徴に対応するクラスに分類される、請求項１に記載の方法。
6. 前記複数のデジタル画像内の各画像は、
   前記画像の意味内容に対応するカテゴリと、
   前記画像が捕捉された時刻または日付フレームに対応するカテゴリと、
   前記画像データとともにメタデータとして記憶されるキーワードに対応するカテゴリと、
   選択／視認装置での同じセッション中に前記ユーザにより選択された画像のカテゴリと、
   前記画像の捕捉の場所またはユーザの場所により選択される画像のカテゴリと、
   前記ユーザにとっての有意性により選択される画像のカテゴリと、
   のうちの少なくとも一つに分類される、請求項５に記載の方法。
7. さらに、
   画像を収集するステップと、
   画像データおよび／または画像メタデータ計算に基づいて前記画像の特徴を決定するステップと、
   画像集合のために決定された特徴間の類似性を検索する、および／または画像カテゴリの計算特徴とプリセット特徴との間の類似性を検索するステップと、
   類似特徴を有する画像を共通カテゴリに記憶するステップと、
   を含む、請求項１に記載の方法。
8. プリセット数の画像の間に類似性が見つかるたびに新しい画像カテゴリを自動作成するステップを含む、請求項７に記載の方法。
9. 複数のユーザからの入力に基づいて複数の強度値をさらに更新するステップをさらに含み、前記複数の強度値の各々は、対応するユーザに関するデータに対応する、請求項１に記載の方法。
10. 方法であって、当該方法が、
    処理システムによって、複数のデジタル画像内の各画像に強度値を割り当てるステップであって、前記複数のデジタル画像が、複数のカテゴリ内に分類されている、割り当てるステップと、
    前記処理システムによって、前記複数のデジタル画像から少なくとも１つの画像を選択することに応答して、ユーザデータを収集するステップと、
    前記処理システムによって、前記収集されたユーザデータに応じて及び画像の表示属性に応じて、同じカテゴリ内に分類されているすべての画像の強度値を前記少なくとも１つの選択された画像の強度値として更新するステップと、
    前記処理システムによって、少なくとも一つの同じカテゴリ内に分類される少なくとも一つの追加画像を前記少なくとも１つの選択された画像として自動的に選択するステップであって、前記追加画像を選択することは、前記少なくとも１つの追加画像の強度値に基づくものである、自動的に選択するステップと、
    前記少なくとも１つの追加画像を表示するステップであって、各追加画像は、該追加画像の強度値に応じた相対的なサイズとして表示される、表示するステップと、
    を含む方法。
11. 追加画像のランダム選択、および／または閾値を下回る強度値を有する追加画像の選択、および／または前記ユーザにより選択された画像と同じカテゴリに分類されない追加画像の選択を包含する、請求項１に記載の方法。
12. 記憶されたコンピュータ可読命令を含む非一時的なコンピュータ可読媒体であって、前記コンピュータ可読命令は、
    複数のデジタル画像内の各画像に強度値を割り当てる命令であって、前記複数のデジタル画像が、複数のカテゴリ内に分類されている、割り当てる命令と、
    前記複数のデジタル画像から少なくとも１つの画像を選択することに応答して、ユーザデータを収集する命令と、
    前記収集されたユーザデータに応じて及び画像の表示属性に応じて、同じカテゴリに分類されているすべての画像の強度値を前記少なくとも１つの選択された画像の強度値として更新する命令と、
    少なくとも一つの同じカテゴリに分類される少なくとも一つの追加画像を前記少なくとも１つの選択された画像として自動的に選択する命令であって、前記追加画像を選択することは、前記少なくとも１つの追加画像の強度値に基づくものである、自動的に選択する命令と、
    を含む、コンピュータ可読媒体。
13. 複数のデジタル画像を記憶するように構成されたメモリを有するシステムであって、
    処理システムが、
    前記複数のデジタル画像内の各画像に強度値を割り当てることであって、前記複数のデジタル画像が、複数のカテゴリ内に分類されている、割り当てることと、
    前記複数のデジタル画像から少なくとも１つの画像を選択することに応答して、ユーザデータを収集することと、
    前記収集されたユーザデータに応じて及び画像の表示属性に応じて、同じカテゴリ内に分類されるすべての画像の強度値を前記少なくとも１つの選択された画像の強度値として更新することと、
    少なくとも一つの同じカテゴリ内に分類される少なくとも一つの追加画像を前記少なくとも１つの選択された画像として自動的に選択することであって、前記追加画像を選択することは、前記少なくとも１つの追加画像の強度値に基づくものである、自動的に選択することと、
    を行うように構成される、システム。
14. 画像データに基づいて画像の特徴を判断することと、
    画像集合のために判断された特徴間の類似性を検索すること、
    類似特徴を有する画像を共通カテゴリに仕分けることと、
    を行うように構成される、請求項１３に記載のシステム。
15. 前記プロセッサは、プリセット数の画像の間に類似性が見つかるたびに新しい画像カテゴリを自動作成するようにさらに構成される、請求項１３に記載のシステム。
16. 前記少なくとも１つの追加画像に対する前記ユーザの感情反応に比例する更新値によって、前記少なくとも１つの追加画像の強度値を更新するステップをさらに含む、請求項１に記載の方法。
17. 前記画像の表示属性の関数として画像の強度値を減少させるステップをさらに含み、前記画像の表示属性が不十分であることを表示属性に応じて判断する、請求項１に記載の方法。
18. 前記画像の表示属性の関数は、前記画像のコントラスト、画像の鮮明さ、色分析、空間周波数分析、テクスチャ分析、ヒストグラム分析のうちの少なくとも１つに基づく、請求項１７に記載の方法。
19. カテゴリに割り当てられた第１画像の強度値を該カテゴリに割り当てられた第２の画像に対して重み付けするステップをさらに含む、請求項１に記載の方法。
20. 前記少なくとも１つの追加画像を表示するステップをさらに含み、
    別のカテゴリに対応する前記少なくとも１つの追加画像のそれぞれの画像を、表示スクリーンの様々な領域に表示させる、請求項１に記載の方法。

Images