JP4482329B2

JP4482329B2 - データベース内の画像の集まりにアクセスするための方法及びシステム

Info

Publication number: JP4482329B2
Application number: JP2003540871A
Authority: JP
Inventors: リン，キアン; ガーギ，ウラス; リー，ホ，ジョン
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2001-10-31
Filing date: 2002-10-29
Publication date: 2010-06-16
Anticipated expiration: 2022-10-29
Also published as: US20030084065A1; JP2006502458A; EP1440392A2; WO2003038680A3; TWI232674B; WO2003038680A2; US7130864B2

Description

本発明は画像処理に関し、特にデータベース内の画像の集まりにアクセスするための方法及びシステムに関する。

自動画像分類には、多くの重要な用途がある。大型の画像のデータベースすなわち集まりには、画像を、効果的に分類し、効率的に閲覧し、及び迅速に検索することができるようにするための適切なインデックス付けの機構が必要である。従来のシステムでは、例えば、ファイル作成日付、ファイル名、ファイル拡張子等のような画像ファイルに関する記述的情報を使用して、データベースに特定情報を格納し、及びデータベースから特定情報を検索する。この画像分類の形態は、他のどのディジタル情報の分類ともそれほど大きくは異ならない。

ファイル情報に依存することにより、ファイルに関する大まかな情報しか得ることができず、特に画像に関連付けられた情報を全く得ることができない。例えば、白黒画像が「カラー_画像（color_image）」というファイル名を有することができるように、画像ファイルは、その画像の特徴又は内容とは関係の無い名前を有することができる。他のシステムでは、花、及び犬等のような画像の内容に基づく分類を提供する。実際には、分類は通常、キーワードの注釈によって行われるが、これは骨の折れる作業である。

インターネット、低コスト機器（例えば、ディジタルビデオカメラ、ディジタルカメラ、ビデオキャプチャカード、及びスキャナ等）、及び低コスト記憶装置（例えば、ハードディスク、及びＣＤ等）の発展により、今日利用可能なディジタル画像情報の量が、関連するディジタル画像データを効果的に分類、及び検索するための必要性を高めている。文書にインデックス付けするためにキーワードがうまく使用されるテキストベースの検索とは異なり、ディジタル画像データ検索には、容易にアクセスされるインデックス付けの特徴が無い。

画像検索を目的とするために、画像の集まりを通じてナビゲートするための１つの手法は、Yossi, R.著「Perceptual Metrics for Image Database Navigation」、PHD Dissertation、Stanford University 、1999年5月、によって開示され、参照によってその全体が本明細書に組み込まれる。画像の外観は、色又はテクスチャの特徴の分布によって要約され、測定尺度は、任意の２つのそのような分布間で定義される。この「Earth Mover's Distance」（ＥＭＤ）と呼ばれる測定尺度は、画像を一方の分布から他方の分布へ再配置するために必要な仕事量の最低量を表す。ＥＭＤは、画像検索のために望ましい知覚的な相違性を測定する。多次元尺度構成法（ＭＤＳ）は、画像のグループを、２次元又は３次元（２Ｄ又は３Ｄ）のユークリッド空間内における複数の点として埋め込むように用いられ、それらの点の距離が画像の相違性を表すようにする。この構造は、ユーザに、データベースの検索結果をより良く理解させることを可能にさせ、検索を洗練させることを可能にさせる。ユーザは、処理を反復的に繰り返すことで、関心のある画像空間の一部にズーミングすることができる。

米国特許出願第０９／９０４，６２７号（代理人整理番号０３２８４２−０１４）明細書米国特許第４，７３１，８６５号明細書米国特許第５，６４２，４３３号明細書米国特許第４，４８８，２４５号明細書米国特許第５，６４２，４３１号明細書米国出願第０９／８１９，３２６号明細書 Yossi, R.著「Perceptual Metrics for Image Database Navigation」、PHD Dissertation、Stanford University 、1999年5月

ある期間にわたって収集された、データベース内に含まれる大量の画像の集まりに、対話式にアクセスするための、且つ、それらの画像の高速な閲覧と検索とを可能にさせる、方法及びシステムを提供することが望ましいであろう。

データベース内の画像の集まりにアクセスするための方法及びシステムを開示する。本発明の例示的な実施形態により、画像の各々を、複数の時間ベースのクラスタのうちの１つのクラスタ内に振り分ける。重み付けをされた特性測定尺度は、画像解析の発見的手法の関数として、各画像に特性数値を割り当てるために使用される。その特性数値に基づいて、時間ベースのクラスタの各々から、代表する画像が自動的に選択される。

本発明の他の目的及び利点は、好適な実施形態の以下の詳細な説明を添付図面に関連して読むことによって当業者には明らかとなるだろう。図面内においては、同じ要素を示すために、同じ参照番号が使用されている。

図１、図２、及び図３は、本発明の例示的な実施形態による、データベース内の画像の集まりにアクセスするために実行されるステップを示すフローチャートである。画像データベースは、画像又は任意の形態の電子データを格納するために使用されることが可能な任意のコンピュータのデータベースとすることができる。図１のステップ１０５では、データベース内の画像の各々を、複数の時間ベースのクラスタのうちの１つのクラスタ内に振り分ける。本明細書で使用する「画像」は、任意のタイプの電子記憶媒体又はコンピュータメモリ内に電子的形態で格納される任意の画像又は電子データファイルである。画像は、例えばディジタルビデオカメラ、ディジタルカメラ、ビデオキャプチャカード又は任意の他の画像取込装置のような任意のタイプのディジタル画像取込装置から取り込まれた任意のディジタル画像とすることができる。代替として画像は、例えば、カメラ、ビデオカメラ、又は任意の他のアナログ画像取込装置から取り込まれたアナログ画像であることも可能で、それらはスキャンされあるいは他の方法でディジタル化されてディジタル画像として格納される。画像はまた、例えば、画像、ビデオ、音声等を含んだマルチメディア文書のような電子文書とすることもできる。従って当業者は、画像を、ユーザが電子データファイルの集まりからアクセスすることができる任意のタイプの電子データファイルとすることができることを認識するであろう。

本明細書で使用される「時間ベースのクラスタ(time-based cluster）」は、データベースに含まれる画像の集まり全体のうちのサブセットであり、そのサブセット内で、時間ベースのクラスタ内の画像は、任意の１つ又は複数のパラメータによって関連付けられる。例示的な実施形態によれば、時間ベースのクラスタ内の画像を、例えば画像の取込み時刻、画像のアクセス時刻、画像がディジタル化された時刻、又は画像の任意の他のタイプの時間的関係のように、時間に関連付けることができる。例えば、時間ベースのクラスタ内の画像を、特定の期間からのものとすることができる。代替として、時間ベースのクラスタ内の画像を、特定のイベントに関連付けることができる。しかしながら、当業者であれば、時間クラスタ内の画像を、時間ベースのクラスタを形成するために、任意の方法で関連付けることができることを認識するであろう。

ステップ１１０において、画像に対するコンテキスト情報データベースを保持する。コンテキスト情報データベースを、画像に関連付けられた任意のタイプの情報を格納するために使用されることが可能な任意のタイプのコンピュータのデータベースとすることができる。コンテキスト情報データベースを、コンピュータメモリ内に、又は任意のタイプの電子記憶媒体内に存在させることが可能である。コンテキスト情報データベースを、電子記憶媒体内に画像データベースと共に配置することができる。代替として、コンテキスト情報データベースを、例えば、コンピュータネットワークの別の部分の中に配置されたリモートコンピュータメモリ内に、画像データベースからリモートに（又は遠隔に）存在させることができる。コンテキスト情報データベースが画像データベースの外部に存在する場合には、コンテキスト情報データベースと画像データベースとを、電子情報の転送を可能にする任意の形態のコンピュータネットワーク接続、又は任意の他の形態の電子接続を使用して接続することができる。

例示的な実施形態によれば、コンテキスト情報データベースは、画像の各々に対する少なくとも１つの画像使用属性を格納することができる。画像データベース内に含まれる各画像は、例えば、画像の使用履歴を示す、対応するエントリを、コンテキスト情報データベース内に有する。本明細書で使用される「画像使用属性」は、例えば、特定の画像に関するユーザの好み及び関心を決定するために使用されることが可能な特定の画像の使用履歴を示す、任意のタイプの情報である。画像使用属性は、例えば、画像がユーザによって（例えば電子メールを通して）ばらまかれる回数、画像がユーザによってアクセスされるか又は閲覧された回数、ユーザから画像を受け取る個人数、ユーザが画像を操作する回数、又は任意の他の情報であって、それによってどの画像がユーザに対して最も意味があり重要であると見なされるかを決定することができる任意の他の情報を含むことができる。

例示的な実施形態によれば、コンテキスト情報データベース内に含まれる画像使用属性を、任意のアプリケーション又はプログラムから、自動的に取得し収集することができ、その任意のアプリケーション又はプログラムによって、ユーザが画像データベース内の画像にアクセスし、該画像を閲覧し、又は他の方法で該画像を操作することができる。例えば、ユーザが友人又は同僚に、画像データベースから特定の画像を電子メールで送信する場合、特定の画像に対応するコンテキスト情報データベース内の関連付けられた画像使用属性の記録を、自動的に更新することができる。例えば、画像データベースは、コンテキスト情報データベースに、画像アクセスを通知するために、任意の電子的な伝送手段によって、コンテキスト情報データベースと通信することができる。代替として、コンテキスト情報データベースに、特定の画像の電子メール処理を通知するために、電子メールプログラムは、任意の電子的な伝送手段によって、コンテキスト情報データベースと通信することができる。代替として、コンテキスト情報データベースは、画像データベース及び／又は電子メールプログラムとの通信を維持することで、データベース及び／又は電子メールプログラムからそれぞれ画像アクセス及び電子メール情報を検索して、コンテキスト情報データベース内の特定の画像に関連付けられた画像使用属性の情報の記録を更新することができる。

しかしながら、コンテキスト情報データベースと、アプリケーション又はプログラムであって、それによってユーザが画像データベース内の画像にアクセスし、該画像を閲覧し、又は他の方法で該画像を操作するアプリケーション又はプログラムと、は協働しなくても良い（例えば、データベースとアプリケーションとは通信不可能、すなわち、データベースとアプリケーションとの間で画像使用属性の収集を可能とするために通信することはできない）。そのような場合、コンテキスト情報データベースは、アプリケーション又はプログラム自体から直接的に行う代わりに、例えばコンピュータのオペレーティングシステムから、画像使用属性を間接的に取得し収集することができる。例えば、コンテキスト情報データベースは、オペレーティングシステムから、最後のアクセス時刻、又は変更時刻、又は画像ファイルの日付時刻スタンプの任意の他の形態を、検索することができる。画像ファイルのアクセス又は変更時刻を、コンテキスト情報データベースにより、例えば画像の使用履歴を示すものとして、従って画像使用属性として使用することができる。しかしながら、コンテキスト情報データベースと、アプリケーション又はプログラムとが協働していない時には、コンピュータのオペレーティングシステムから取得し収集することができる任意の画像使用属性を使用することができる。

代替的な例示的実施形態によれば、ユーザは、例えば画像使用属性のような情報をコンテキスト情報データベースに手動で追加し、その情報を手動で更新することができる。従って、コンテキスト情報データベースに含まれる画像使用属性を、コンテキスト情報データベースに対して、ローカルに又はリモートに、配置された任意のアプリケーション又はプログラムから自動的に又は手動で、取得し収集することができる。

ステップ１１５において、各画像に対する特性数値を決定するために、コンテキスト情報データベースがアクセスされる。ステップ１２０において、画像解析の発見的手法の関数として各画像に特性数値を割り当てるために、重み付けをされた特性測定尺度を使用する。例示的な実施形態によれば、重み付けをされた特性測定尺度は、ユーザの観点から画像の特性の測定量である任意の値、パラメータ、特徴、又は特性とすることができる。従って、重み付けをされた特性測定尺度は、例えば、ユーザに対する画像の意義又は重要性を示すことができる。言い換えると、重み付けをされた特性測定尺度を使用することにより、例えば、どの画像をユーザが「最良」であるとみなすか、例えば、どの画像がユーザに対して最も個人的な意味、重要性及び関心を有するかの決定をなすことができる。代替として、特性測定尺度は、例えば、画像の特性又は特定の特徴を示すことができる。例えば、特性測定尺度は、色、輝度、コントラスト、画像に含まれる顔の数、又は画像の任意の他の特性又は特徴を示すことができる。

例示的な実施形態によれば、特性数値は、重み付けをされた特性測定尺度に基づいて、値がユーザの観点から画像の特性に反映する限り、任意の値とすることができる。従って、特性数値は、特性測定尺度の重みに比例する。例えば、ユーザに対し重要な意味又は重要性を有する（すなわち、ユーザに対して高い「特性」を有する）画像は、大きく重み付けをされた特性測定尺度を有し、従って大きい特性数値を有する。しかしながら、ユーザに対してほとんど又は全く、意味が無い又は重要性が無い画像は、小さく重み付けをされた特性測定尺度を有し、従って小さいか又はゼロ（零）の特性数値を有する。代替として、例えば高コントラストが高いか、色数が多いか、輝度が高いか、又は顔の数が多い画像は、大きく重み付けをされた特性測定尺度を有し、従って大きい特性数値を有する。しかしながら、コントラスト、色数、又は輝度がほとんど無いか又は全く無いか、あるいは顔の数がほとんど無い画像は、小さく重み付けをされた特性測定尺度を有し、従って小さいか又はゼロ（零）の特性数値を有することができる。

図２に示されるように、本発明の例示的な実施形態によれば、図１のステップ１１５において、具体的には特性数値を決定するために、コンテキスト情報データベースにアクセスするステップを実行して、いくつかのステップを画像解析の発見的手法の一部として実行することができる。図２のステップ２０５において、画像の少なくとも１つに対して画像使用属性の少なくとも１つが変化した時に、コンテキスト情報データベースを更新する。このように、データベース内の画像に対する使用履歴が変化すると、これらの変化がコンテキスト情報データベース内に反映される。例えば、ユーザが特定の画像を友人又は同僚に送信する場合には、その送信に応じてコンテキスト情報データベースを、例えば、特定の画像がユーザによってアクセスされたという情報と共に、更新することができる。

ステップ２１０において、画像のうちの少なくとも１つに対応する重み付けされた特性測定尺度を、更新されたコンテキスト情報データベースを使用して更新する。例えば、コンテキスト情報データベース内に維持された画像使用属性に従って、ユーザが特定画像を閲覧するために幾度もその画像にアクセスすることが、コンテキスト情報データベース内に反映される場合、この多数のアクセス回数を、その画像が、データベース内の他の画像と比較して、ユーザに対してある特別な意味又は重要性を有することを示すものとみなすことができる。ユーザがその特定画像にアクセスし続けるにつれて、この事実を、コンテキスト情報データベース内に（画像使用属性として）反映させることができる。その特定画像を一部に含んだ時間ベースのクラスタ内における他の画像と比較して、特定画像に対応する特性測定尺度を、より大きく重み付けをするように、特性測定尺度を更新することができる。

ステップ２１５において、更新された重み付けをされた特性測定尺度を使用して、画像の少なくとも１つに対して特性数値を更新する。このように、特定画像に対する特性測定尺度の重み付けが変化するにしたがって、重み付けをされた特性測定尺度に基づいて割り当てられた特性数値もまた変化させることができる。例えば、特定画像に対する特性測定尺度の重み付けが大きい場合には、その特定画像に対して対応する特性数値を大きくすることができる。逆に、特定画像に対する特性測定尺度の重み付けが小さい場合には、その特定画像に対して対応する特性数値を小さくすることができる。

図１のステップ１２５において、時間ベースのクラスタの各々から表示するための代表的な画像を、特性数値に基づいて自動的に選択する。代表的な画像は、時間ベースのクラスタ内の全ての画像を代表する、時間ベースのクラスタからの少なくとも１つの画像とすることができる。時間ベースのクラスタ内における全ての画像を代表するために使用される画像は、単一の画像とすることができ、又は例えば、共通の譲渡人に譲渡され、２００１年７月１６日に出願された、「Hierarchical Image Feature-Based Visualization」と題する、米国特許出願第０９／９０４，６２７号（代理人整理番号０３２８４２−０１４）明細書に記載されているような階層マップとすることができ、その明細書の開示の全てが参照によって本明細書に組み込まれる。

代表的な画像は、時間ベースのクラスタからの、ユーザに対して最も意味及び重要性を有し、従って時間ベースのクラスタ内での画像を最も良く代表する画像である。例示的な実施形態によれば、ユーザが画像データベース内の画像にアクセスし、該画像を閲覧し、又は他の方法で該画像を操作するにしたがって、時間ベースのクラスタに対する代表的な画像は、時間が経過するにつれて変化することが可能である。ユーザが特定の画像を他の画像よりも頻繁にアクセスし始めると、より頻繁にアクセスされたそれら画像に対する特性数値が変化する（例えば増加する）。従って、時間ベースのクラスタを代表するものとして、もともとは自動的に選択された画像を、ユーザがより頻繁にアクセスする別の画像と置換えることができる。従って、時間の経過と共に画像に関連して蓄積され格納されてきた情報に応じて、時間ベースのクラスタに対する代表的な画像を選択することができる。

このように、本発明の例示的な実施形態によれば、画像解析の発見的手法は、画像データベースに格納された画像に対するユーザの好み及び関心に自動的に適合し、且つ、学習する。従って、画像解析の発見的手法は、コンテキスト情報データベース内に含まれる情報内の変化に適合することが可能であり、（従ってユーザの好み及び関心の変化に適合することが可能であり）、例えば時間ベースのクラスタ内で画像を最も良く代表する画像を表示することができる。代替的な例示的実施形態によれば、例えばユーザが、異なる画像が時間ベースのクラスタをより代表する画像であると考える場合には、時間ベースのクラスタから表示するための代表的な画像を手動で選択することができる。

まず最初に、ユーザが、画像データベース内に含まれる画像にアクセスし、該画像を閲覧し、又は他の方法で該画像を操作し始める前に、代表的な画像の選択のために使用するための、画像に対する画像使用属性の情報は、ほとんど又は全く利用できないか、あるいはほとんど又は全くコンテキスト情報データベース内に存在しない可能性がある。そのような情報が利用可能となるまで、代表的な画像を選択するために代替手段を使用することができる。例えば、画像の特性を使用して、代表的な画像を選択することができる。画像の特性には、例えば、輝度、コントラスト、色、画像が取り込まれた時間、又は代表的な画像を選択するために使用されることが可能な画像の任意の他の特性を含むことができる。例えば、画像の輝度が高いか、画像のコントラストが高いか、又は色数が多い場合には、その画像を代表的な画像として選択することができ、一方、コントラストが低く、輝度が低い等の画像は選択されない。

代替的に、又は画像の特性と組み合わせて、代表的な画像を選択するために、画像の特徴を使用することができる。画像の特徴は、例えば、画像に含まれる顔の数、又は代表的な画像を選択するために使用されることが可能な画像の任意の他の特徴を含むことができる。例えば、画像が多くの顔を有する場合、その画像を代表的な画像として選択することができ、顔をほとんど有しない画像は選択されない。本発明の代替的な例示的実施形態によれば、ユーザが、画像データベース内に含まれる画像にアクセスし、該画像を閲覧し、又は他の方法で該画像を操作し始めた後であっても、代表的な画像を選択するために重み付けをされた特性測定尺度を決定するために、画像の特性及び／又は特徴を使用することができる。例示的な実施形態によれば、ユーザが、画像データベース内に含まれる画像にアクセスし、該画像を閲覧し、又は他の方法で該画像を操作し始めた後に、画像使用属性、又は画像の特性及び／又は特徴、又は各々の任意の組合せを使用して、重み付けをされた特性測定尺度を決定するかどうかを選択する（従って代表的な画像を選択する）ことができる。

画像の特性の決定の仕方は、当業者には既知である。例えば、画像の輝度の決定は、既知の技術であり、例えば、参照によりその開示が本明細書に組み込まれる米国特許第４，７３１，８６５号において記載されている。例えば、画像のコントラストの決定は、既知の技術であり、例えば、参照によりその開示が本明細書に組み込まれる米国特許第５，６４２，４３３号において記載されている。例えば、画像内の色の決定は、既知の技術であり、例えば、参照によりその開示が本明細書に組み込まれる米国特許第４，４８８，２４５号において記載されている。画像の特性の決定は、当業者に既知である。顔の検出（例えば、画像における顔の数の決定）は、既知の技術であり、例えば、参照によりその開示が本明細書に組み込まれる米国特許第５，６４２，４３１号に記載されている。当業者であれば、重み付けをされた特性測定尺度を決定するために、従って代表的な画像を決定するために、他の方法を使用することができることを認識するであろう。

図３に示すように、本発明の例示的な実施形態によれば、具体的には図１のステップ１２５におけるように代表的な画像を選択するステップを実行するために、いくつかのステップを画像解析の発見的手法の一部として実行することができる。図３のステップ３０５において、画像を閲覧するための時間スケールを選択する。

図４Ａ及び図４Ｂに、代表的な画像を表示するための例示的な実施形態を示す。図４Ａに示されるように、画像データベースは、１９９６年から２００１年まで、又は画像がおよぶ範囲の任意の数の年からの画像を含むことができる。各年毎に、代表的な画像４０２が表示されている。各年は、例えば特定の年の時間ベースのクラスタ数と、時間ベースのクラスタの各々の代表的な画像の特性数値の値と、に依存して任意の数の代表的な画像４０２を有することができる。代表的な画像４０２を、例えばｘ軸として「時間」を有し、ｙ軸として「特性数値」を有する２次元の軸を使用して、グラフ表示することができる。しかしながら、代表的な画像４０２を、ユーザが代表的な画像４０２を特定の期間に関連付けることができる任意の方法でグラフ表示することもできる。

図４Ａ内に示される時間スケールにおいて、例えば１９９７年は、２つの代表的な画像４０２を有する。２つの代表的な画像４０２は、例えば、最高特性数値を有する１９９７年から２つの画像（例えば、所定の閾値を超える特性数値を有する代表的な画像）を表すことができる。代替として、代表的な画像を、例えば１９９７年の各月から、又はユーザによって選択可能な１９９７年の任意の時間区分から、表示することができる。ユーザが、時間スケールのこのレベルにおいて代表的な画像４０２のうちの１つによって表される時間ベースのクラスタ内の画像を閲覧したいと望む場合には、ユーザは、例えばコンピュータのマウスのような任意のコンピュータポインタデバイスを使用して、例えば画像上でクリックすることにより、代表的な画像４０２を簡単に選択することができる。次にユーザは、例えば任意の従来の画像閲覧ソフトウェアを使用してその時間ベースのクラスタ内に含まれる画像を閲覧し、該画像にアクセスし、又は他の方法で該画像を操作することができる。

例示的な実施形態によれば、ユーザは、画像を閲覧するための特定の期間を選択することができる。図４Ｂに示されるように、ユーザが、例えば１９９７年の画像を閲覧するために選択する場合、グラフ表示は、例えば１９９７年の月、又はユーザによって選択可能な１９９７年に関する時間の任意の他のサブセット（例えば、１９９７年の秋、冬、春、及び夏）をズームイン表示することができる。ユーザは、特定の年を選択するために、その年の上をクリックして、例えばコンピュータのマウスのような、任意のコンピュータポインタデバイスを例えば使用して、時間スケールを選択することができ、あるいはユーザが所与の期間をグラフィカルに選択することができる任意の他の方法を使用することができる。

図３のステップ３１０において、ユーザが、画像を閲覧するための時間スケールを選択した後、選択された時間スケールに関連付けられた各時間ベースのクラスタから、代表的な画像を自動的に選択する。代表的な画像が表示される時間スケールを短くするにしたがって、例えば、画像の特性数値が十分に高くなかったために、長い時間スケールではもともと表示されなかった代表的な画像が、時間のより細かい分解能で見ることができる。例えば、年の時間スケールにおいては、図４Ａにおける１９９７年に関して、２つの代表的な画像４０２のみを表示する一方で、図４Ｂに示されるように１９９７年の月に関しては、多数の代表的な画像４０２を表示する。１９９７年の各月に関して、例えば、その月内の時間ベースのクラスタの各々に対して代表的な画像４０２を表示することができる。代替として、最高特性数値を有する特定の月の代表的な画像４０２（例えば、所定閾値を超えた特性数値を有する代表的な画像）のみを、表示するために選択することができる。しかしながら、１９９７年に対する代表的な画像４０２を、ユーザによって選択された１９９７年に関する任意の時間スケールに基づいて表示することもできる。

例示的な実施形態によれば、時間ベースのクラスタの各々からの代表的な画像を、特性数値に基づいて選択する。しかしながら、所与の期間に対して選択された代表的な画像（例えば、図４Ａにおける１９９７年の２つの代表的な画像４０２、又は図４Ｂにおける１９９７年４月の５つの代表的な画像４０２）を、その代表的な画像が期間全体（例えば、１９９７年という年、又は１９９７年４月という月のそれぞれ）を代表するように選択する必要がある。従って、期間内の同じ時間からの複数の代表的な画像を有するのではなく、期間全体を通して代表的な画像を、時間的に分配する必要がある。例えば、図４Ａにおける１９９７年の２つの代表的な画像４０２は、どちらも１９９７年の同じ期間からの代表的な画像４０２（例えば、どちらも１９９７年１２月からの代表的な画像４０２）とするのではなく、１９９７年の異なる期間からの最高特性数値を有する代表的な画像（例えば、１つは１９９７年１２月からの代表的な画像４０２であり、１つは１９９７年６月からか、又は任意の他の適切な時間分布からの代表的な画像４０２）とする必要がある。特定の期間内で時間の経過により分配される代表的な画像を選択することにより、ユーザに、所与の全期間内での画像のより適切な概観又は代表を提示する。例示的な実施形態によれば、ユーザは、特性数値に基づいて代表的な画像を選択する時にそのような時間分布を使用するかどうかを選択することができる。

代表的な画像を選択した後、図３のステップ３１５において、選択された時間スケール内での代表的な画像を表示する。例えば、１９９７年の月に関する代表的な画像４０２を、図４Ｂに示すように、又はユーザが代表的な画像４０２を特定の期間に関連付けることができる任意の方法で、表示することができる。ユーザが、このレベルの時間スケールにおいて代表的な画像４０２のうちの１つによって表される時間ベースのクラスタ内の画像を閲覧したいと望む場合には、ユーザは、例えばコンピュータのマウスのような任意のコンピュータポインタデバイスを使用して、例えば画像上をクリックすることにより、その代表的な画像４０２を簡単に選択することができる。次にユーザは、例えば任意の従来の画像閲覧ソフトウェアを使用して、その時間ベースのクラスタ内に含まれる画像を閲覧し、該画像にアクセスし、又は他の方法で該画像を操作することができる。

代表的な画像を閲覧するための時間のより細かい分解能がユーザによって望まれる場合には、ユーザは、別の時間スケールを選択することにより処理を継続することができる。例えば、ユーザは、代表的な画像４０２を閲覧するための特定の月を選択することができる。例えば、ユーザは、４月という月、又は任意の他の月を選択することができる。月の各日にち、又は月の時間の任意の他のサブセット（例えば、第１週、第２週、第３週、第４週等）に関する時間ベースのクラスタの各々に対する代表的な画像４０２を、次にユーザに対して表示することができる。そして次にユーザは、代表的な画像によって表される時間ベースのクラスタ内の画像を閲覧するための月の特定の日を選択することができる。時間スケールの最も細かい分解能において、ユーザに、その期間に対する時間ベースのクラスタ内の画像の全てを提示することができる。

このように、ユーザは、例えば年単位の時間スケールから、月単位の時間スケール、日単位の時間スケール、時間単位の時間スケールまで移動することにより、最終的に特定の時間ベースのクラスタ内の画像の全てを閲覧することができる。時間スケールの各レベルにおいて、ユーザに、その時間スケールに関する代表的な画像、又は最短の時間スケールに達した場合は時間ベースのクラスタ内の画像の全てを提示する。次にユーザは、時間スケールを戻すように移動することにより（例えば、時間単位から、日単位へ、月単位へ、年単位へ）、他の期間の代表的な画像を閲覧することができる。時間スケールの各レベルにおいて、ユーザは、その代表的な画像によって表される時間ベースのクラスタ内の画像を閲覧するために、代表的な画像を選択することができる。

例示的な実施形態によれば、代表的な画像を表示するために、選択された時間スケール内の時間ベースのクラスタ各々の各代表的な画像を、時間と特性数値との少なくとも１つに基づいて階層的に順序付けることができる。例えば、図４Ａ及び図４Ｂにおいて、代表的な画像４０２を階層的に順序付け、ｘ軸に関して「時間」を使用し、ｙ軸に関して「特性数値」を使用する２次元の軸でグラフ表示する。そのグラフでは、時間及び特性数値は、それぞれの軸が２つの軸の交点から外側に延びるにつれて増大する。しかしながら、代表的な画像４０２を、ユーザが代表的な画像４０２を特定の期間に関連付けることができる任意の方法でグラフィカルに表示することも可能である。

当業者であれば、図４Ａ及び図４Ｂに示される実施形態が、本発明の理解を容易にするために使用されるための単なる例であることを認識するであろう。当業者であれば、他の提示の方法を使用して、代表的な画像及び画像を表示することができることを認識するであろう。例えば、代表的な画像を、特性数値に従ってｙ軸に対して平行な列で表示する代わりに、列の最高特性の代表的な画像が最上部にあって、その後ろにそれより低い特性数値の代表的な画像を、降順で、又はその逆の昇順で配置するように、各列に対して、代表的な画像を各々の上に積み重ねることができる。このように、各列における単一の代表的な画像を、ユーザに一度に表示する。ユーザは次に、最上部の代表的な画像を閲覧するため、又はそのスタック（積み重ね）内の次の代表的な画像にアクセスするために、最上部の代表的な画像をクリックするか、又は他の方法でその最上部の代表的な画像を選択することができる。スタック内の代表的な画像を繰り返しクリックすることにより、ユーザは、スタック内の代表的な画像の全てを通じて循環することができる。複数の画像を閲覧するための方法及びシステムは、例えば、共通の譲渡人に譲渡され、２００１年３月２８日に出願された、米国特許出願第０９／８１９，３２６号に記載されており、参照によりその開示が本明細書に組み込まれる。代表的な画像及び画像を、コンピュータモニタ、あるいはユーザに対してグラフ表示するためか及び／又はテキスト情報を表示するための任意の他のビデオ表示装置のような任意のタイプのディスプレイを使用して、ユーザに対して表示することができる。

図５を参照して、本発明の例示的な実施形態によるデータベース内の画像の集まりにアクセスするためのシステムを説明する。画像データベース５２０は、画像又は任意の形態の電子データを格納するために使用されることが可能な任意のコンピュータデータベースとすることができる。

例示的な実施形態によれば、図１〜図３に示されるようなコンピュータプログラムのステップを、例えばパーソナルコンピュータ又は任意の他のコンピュータシステムのようなコンピュータ５００を使用して実行することができる。コンピュータ５００は、メモリ５１５を含むことができる。メモリ５１５は、任意のコンピュータメモリ、又はコンピュータ５００の内部又は外部に配置される任意の他の形態の電子記憶媒体とすることができる。メモリ５１５は、例えば、図１〜図３に示されるようなコンピュータプログラムのステップを格納することができる。前述の説明に基づいて理解されるように、メモリ５１５を、本明細書で説明される図１〜図３に示されるようなコンピュータプログラムのステップを実行するために、当業者には既知であるコンピュータプログラミング技術の従来の技術を使用してプログラムすることができる。図１〜図３に示されるようなコンピュータプログラムのステップを実行するための実際のソースコード又はオブジェクトコードを、メモリ５１５に格納することができる。

画像データベース５２０は、コンピュータ５００の内部か外部のいずれかに存在することが可能である。画像データベース５２０が、コンピュータ５００の外部に配置された場合には、画像データベース５２０を、例えばイーサネット接続のような任意のネットワーク接続を使用してコンピュータネットワークを介して、例えばリモートにアクセスすることができる。代替として、画像情報及び任意の他の形態の電子情報を伝送することができる任意の形態の電子接続を使用して、画像データベース５２０をコンピュータ５００に接続することができる。

メモリ５１５は、画像の各々を複数の時間ベースのクラスタのうちの１つに振り分けるための、コンピュータプログラムのステップを格納することができ、画像解析の発見的手法の関数として各画像に特性数値を割り当てるために、重み付けをされた特性測定尺度を使用することができ、特性数値に基づいて時間ベースのクラスタの各々から表示するための代表的な画像を自動的に選択することができる。メモリ５１５はまた、画像に対してコンテキスト情報データベース（例えば、コンテキスト情報データベース５１０）を維持するための、コンピュータプログラムのステップを格納することもでき、各画像に対する特性数値を決定するために、コンテキスト情報データベース（例えば、コンテキスト情報データベース５１０）にアクセスすることができる。

コンテキスト情報データベース５１０は、画像に関連付けられた任意のタイプの情報を格納するために使用されることが可能な任意のタイプのコンピュータデータベースとすることができる。コンテキスト情報データベース５１０を、例えば、メモリ５１５内に配置することも、あるいはコンピュータ５００の内部又は外部に配置された任意のタイプの電子記憶媒体内に配置することも可能である。コンテキスト情報データベース５１０を、電子記憶媒体内において画像データベース５２０と共に共通の場所に配置することができる。代替として、コンテキスト情報データベース５１０を、画像データベース５２０とは離して配置することができる。例えば、コンテキスト情報データベース５１０を、コンピュータ５００内に配置してもよく、一方画像データベース５２０を、コンピュータネットワークの別の部分に配置されたリモートコンピュータメモリに存在させることもできる。コンテキスト情報データベース５１０を画像データベース５２０とは離して配置する場合には、コンテキスト情報データベース５１０と画像データベース５２０とを、例えばイーサネット接続、又は任意のタイプの電子情報の転送を可能にする任意の他の形態の電気接続のような、任意の形態のコンピュータネットワーク接続接続を使用して接続することが可能である。例示的な実施形態によれば、コンテキスト情報データベース５１０は、画像の各々に対する少なくとも１つの画像使用属性を格納することができる。

メモリ５１５は、画像の少なくとも１つに対する少なくとも１つの画像使用属性が変化した時に、コンテキスト情報データベースを更新するためのコンピュータプログラムのステップを格納することができ、更新されたコンテキスト情報データベースを使用して画像のうちの少なくとも１つに対応する重み付けをされた特性測定尺度を更新し、その更新された重み付けをされた特性測定尺度を使用して画像のうちの少なくとも１つに対する特性数値を更新することができる。メモリ５１５はまた、画像を閲覧するための時間スケールを選択するための、コンピュータプログラムのステップも格納することができ、選択された時間スケールに関連付けられた時間ベースのクラスタの各々から代表的な画像を自動的に選択し、選択された時間スケール内の代表的な画像を表示することができる。

時間ベースのクラスタ内に含まれる代表的な画像及び画像を、例えばコンピュータ５００に関連して使用されるディスプレイ５２５のようなディスプレイ上にオペレータに対して表示することができる。ディスプレイ５２５は、コンピュータモニタ、又はユーザに対してグラフィカルな情報及び／又はテキスト情報を表示するための任意の他のビデオ表示装置とすることができる。例示的な実施形態によれば、選択された時間スケール内の時間ベースのクラスタの各々の代表的な画像の各々を、時間と特性数値との少なくとも１つに基づいて階層的に順序付けすることができる。

コンピュータ５００はまた、図１〜図３に示されるようなコンピュータプログラムのステップを実行するためにメモリ５１５にアクセスするためのプロセッサ５０５も含むことができる。プロセッサ５０５は、例えばマイクロプロセッサのような任意の既知のプロセッサとすることができる。コンピュータ５００をまた、例えばイーサネット接続のような任意の形態のネットワーク接続を使用してコンピュータネットワーク内の少なくとも１つの他のコンピュータに接続することも可能である。

図１〜図３に示されるような、データベース内の画像の集まりにアクセスするためのコンピュータプログラムのステップを、コンピュータベースのシステム、プロセッサ内蔵システム、あるいは命令実行システム、装置、又はデバイスからの命令を取り込み、命令を実行することができる他のシステムのような、命令実行システム、装置、又はデバイスによってか、又はそれらに関連して使用するための任意のコンピュータ読み出し可能媒体内において、具現化することができる。本明細書で使用される「コンピュータ読み出し可能媒体」は、命令実行システム、装置、又はデバイスによってか、又はそれらに関連して使用するためにプログラムを内蔵し、格納し、伝送し、伝達し、又は転送することができる任意の手段とすることができる。コンピュータ読み出し可能媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線による、又は半導体による、システム、装置、デバイス、又は伝達媒体（これらに限定されるわけではない）とすることができる。コンピュータ読み出し可能媒体の更に具体的な例（非網羅的なリスト）には、以下のものを含むことができる。すなわち、１つ又は複数のワイヤを有する電気接続、ポータブルコンピュータのディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能でプログラム可能なリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、及びポータブルコンパクトディスクリードオンリーメモリ（ＣＤＲＯＭ）である。コンピュータ読み出し可能媒体は、その媒体上にプログラムがプリント出力された紙、又は別の適切な媒体とすることさえできる。というのは、例えば紙又は他の媒体の光学的な走査を介して、プログラムを電気的に取り込むことができるためであり、次にコンパイルされ、解釈され、又は必要に応じて他の適切な方法で処理されて、そして次にコンピュータメモリに格納されることができるためである。

当業者であれば、本発明を、その思想又は本質的な特徴から逸脱することなく様々な特定の形態で具体化することができることを理解されよう。ここで開示された実施形態は、あらゆる点で例示的なものであって、限定するものではないものとみなされる。本発明の範囲は、前述の説明ではなく添付の特許請求の範囲によって示され、その等価物の意味及び範囲内にある変更は全て包含されることが意図されている。

本発明の例示的な実施形態による、データベース内の画像の集まりにアクセスするために実行されるステップを示すフローチャートである。本発明の例示的な実施形態による、データベース内の画像の集まりにアクセスするために実行されるステップを示すフローチャートである。本発明の例示的な実施形態による、データベース内の画像の集まりにアクセスするために実行されるステップを示すフローチャートである。本発明の例示的な実施形態による、代表する画像を表示するための例示的な２次元グラフを示す。本発明の例示的な実施形態による、代表する画像を表示するための例示的な２次元グラフを示す。本発明の例示的な実施形態による、データベース内の画像の集まりにアクセスするためのシステムを示す。

Claims

データベース内における画像の集まりに対するアクセスを、コンピュータによって実施するための方法であって、
前記画像の各々を、複数の時間ベースのクラスタのうちの１つのクラスタ内に前記コンピュータ内のプロセッサが振り分け（１０５）、
前記画像に対するコンテキスト情報を、コンテキスト情報データベース（５１０）内に前記プロセッサが保持し（１１０）、
各画像に対する特性数値を決定するために、前記コンテキスト情報データベース（５１０）に前記プロセッサがアクセスし（１１５）、
画像解析の発見的手法の関数として、各画像に前記特性数値を割り当てるために、重み付けられた特性測定尺度を前記プロセッサが使用し（１２０）、及び、
前記特性数値に基づいて時間ベースのクラスタの各々から代表的な画像（４０２）を前記プロセッサが自動的に選択する（１２５）
ことを含み、
前記画像の各々に対する少なくとも１つの画像使用属性を、前記プロセッサが前記コンテキスト情報データベース（５１０）に格納し、
前記画像使用属性は、前記コンピュータのユーザによって画像が配送される回数と、該ユーザによって画像がアクセス又は閲覧される回数と、該ユーザからの画像を受け取る個人数と、及びあるユーザが画像を操作する回数とを含み、及び、
前記画像使用属性は、任意のアプリケーション又はプログラムから自動的に取得され、及び／又は、オペレーティングシステムから間接的に取得されることからなる、方法。
前記プロセッサがアクセスすることが、
前記画像の少なくとも１つに対する、少なくとも１つの前記画像使用属性が変化する時には、前記コンテキスト情報データベース（５１０）を前記プロセッサが更新し（２０５）、
前記更新されたコンテキスト情報データベース（５１０）を使用して、前記画像の前記少なくとも１つに対応する前記重み付けられた特性測定尺度を前記プロセッサが更新し（２１０）、及び、
前記更新された重み付けられた特性測定尺度を使用して、前記画像の前記少なくとも１つに対する前記特性数値を前記プロセッサが更新する（２１５）
ことを含むことからなる、請求項１に記載の方法。
前記プロセッサが自動的に選択することが、
前記画像を閲覧するための時間スケールを前記プロセッサがユーザに選択させ（３０５）、
前記選択された時間スケールに関連付けられた時間ベースのクラスタの各々から前記代表的な画像（４０２）を前記プロセッサが自動的に選択し（３１０）、及び、
前記選択された時間スケール内における前記代表的な画像（４０２）を前記プロセッサが表示する（３１５）
ことを含むことからなる、請求項１に記載の方法。
前記プロセッサが表示することが、時間と前記特性数値とのうちの少なくとも１つに基づいて、前記選択された時間スケール内における時間ベースのクラスタの各々の代表的な画像（４０２）の各々を、前記プロセッサが階層的に順序付けることを含むことからなる、請求項３に記載の方法。
データベース内における画像の集まりにアクセスするためのシステムであって、
メモリ（５１５）であって、
前記画像の各々を、複数の時間ベースのクラスタのうちの１つのクラスタ内に振り分け（１０５）、
前記画像に対するコンテキスト情報を、コンテキスト情報データベース（５１０）内に保持し（１１０）、
各画像に対する特性数値を決定するために、前記コンテキスト情報データベース（５１０）にアクセスし（１１５）、
画像解析の発見的手法の関数として、各画像に前記特性数値を割り当てるために、重み付けられた特性測定尺度を使用し（１２０）、及び、
前記特性数値に基づいて時間ベースのクラスタの各々から代表的な画像（４０２）を自動的に選択する（１２５）
ためのコンピュータプログラムのステップを格納する、メモリと、
前記コンピュータプログラムを実行するために、前記メモリ（５１５）にアクセスするためのプロセッサ（５０５）
とを備え、
前記画像の各々に対する少なくとも１つの画像使用属性を、前記プロセッサが前記コンテキスト情報データベース（５１０）に格納し、
前記画像使用属性は、前記システムのユーザによって画像が配送される回数と、該ユーザによって画像がアクセス又は閲覧された回数と、該ユーザからの画像を受け取る個人数と、及びあるユーザが画像を操作する回数とを含み、及び、
前記画像使用属性は、任意のアプリケーション又はプログラムから自動的に取得され、及び／又は、オペレーティングシステムから間接的に取得されることからなる、システム。
前記メモリが、
前記画像を閲覧するための時間スケールを選択し（３０５）、
前記選択された時間スケールに関連付けられた時間ベースのクラスタの各々から前記代表的な画像（４０２）を自動的に選択し（３１０）、
時間と前記特性数値とのうちの少なくとも１つに基づいて、前記選択された時間スケール内における時間ベースのクラスタの各々の代表的な画像（４０２）の各々を、階層的に順序付け、及び、
前記選択された時間スケール内における前記代表的な画像（４０２）を表示する（３１５）
ためのコンピュータプログラムのステップを更に格納する、請求項５に記載のシステム。
前記メモリが、
前記画像の少なくとも１つに対する、少なくとも１つの前記画像使用属性が変化する時には、前記コンテキスト情報データベース（５１０）を更新し（２０５）、
前記更新されたコンテキスト情報データベース（５１０）を使用して、前記画像の前記少なくとも１つに対応する前記重み付けられた特性測定尺度を更新し（２１０）、
前記更新された重み付けられた特性測定尺度を使用して、前記画像の前記少なくとも１つに対する前記特性数値を更新する（２１５）
ためのコンピュータプログラムのステップを更に格納する、請求項５に記載のシステム。