JP4441172B2 - デジタル画像化システムで情緒的な情報を生成及び使用する方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像を検索するシステムに関し、より詳細には情緒的な情報に基づいたデジタル画像を検索するシステムに関する。
【０００２】
【従来の技術】
デジタルカメラ若しくは走査された写真フィルムのデジタル画像はホームコンピューターを用いて見ることができ、保存でき、検索でき、印刷できるか、又はここに参照として組み込まれている開示に記載のように、見るためにウェブサイトにアップロードできる（例えば、特許文献１参照。）。ウェブブラウザを用いて、かかるデジタル画像のグループは、例えばコダックフォトネットサービスを用いて見ることができ、印刷するために選択することができる。ユーザは生成される各印刷の大きさを選択でき、各画像からなる印刷枚数を選択できる。
【０００３】
画像は、人、場所、目的又は出来事が描写される論文にしたがって、カテゴリーに組織化できるものもある（例えば、非特許文献１参照）。この論文は、ユーザの収集で“最良”の画像を示すために使用される、“お気に入り”特質を含むある画像を記述するために使用される、メタデータ特質について記述する。しかしながら、この論文では、どのユーザが、これが“お気に入り”画像であることを示したか指定するお気に入り特質とは関係ないために、“お気に入り”特質は１人のユーザの自分のＰＣの上の画像を検索することを支援するために単に使用することができる。ＰＣが一人以上のユーザによって使用されるのであれば、ＦｏｔｏＦｉｌｅシステムは、ユーザが“お気に入り”としてどの画像を標識したか区別できない。さらに、“お気に入り”特質はデジタル画像ファイルとは別個のデータベースに記憶される。さらに、デジタル画像ファイルが異なるシステムで使用される場合、例えば画像がＣＤ−Ｒ若しくは他の媒体を介して転送される場合か、又はオンラインのフォトサービスプロバイダーにアップロードされる場合、“お気に入り”特質の情報はもはや有効ではない。
【０００４】
画像に関する様々なタイプのメタデータが標準化されている。例えば、国際標準化機構（ＩＳＯ）グループＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１の“動画と音声のコード化（Ｃｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓａｎｄ Ａｕｄｉｏ）”は、動画を備えて記憶できる、様々なタイプのメタデータを定義する、ＭＰＥＧ−７を要求するドキュメント（“ＭＰＥＧ−７ Ｒｅｑｕｉｒｅｍｅｎｔｓ Ｄｏｃｕｍｅｎｔ”）Ｖ．８，Ｎｏ．Ｎ２７２７，１９９９年３月を開発した。さらに、デジタル画像化グループ（ＤＩＧ）はＤＩＧ３５メタデータ規格を開発した。しかしながら、かかるいずれの詳細は、画像が特定のユーザにおいてお気に入り画像であるかを示唆する、メタデータを定義しない。
【０００５】
ここに参照として組み入れられている開示のように、アルバムページは同一ページの多くの画像を配置することによってデジタル画像から生成できる（例えば、特許文献２参照。）。かかるアルバムページは、ページの画像のサイズと配置に関してカスタマイズでき、アルバムページのサイズと仕上げに関してカスタマイズでき、さらに背景色又は使用されるパターンに関してカスタマイズできる。また、アルバムページのデジタル画像を整理する方法がある（例えば、特許文献３参照）。しかしながら、もしユーザが手動で介在せず、手動で彼らの画像を調節しなければ、ユーザのお気に入り画像をより大きくするか又はより顕著にすることによって、この方法はユーザのお気に入り画像を自動的に特色とすることができない。
【０００６】
【特許文献１】
米国特許第５，６６６，２１５号明細書
【特許文献２】
米国特許第６，００４，０６１号明細書
【特許文献３】
米国特許出願公開第０９／５５９，４７８号明細書
【特許文献４】
米国特許第５，７６０，９１７号明細書
【非特許文献１】
クチンスキー（Ｋｕｃｈｉｎｓｋｙ）等著、「ホトファイル：消費者マルチメディア構成及び検索システム（ＦｏｔｏＦｉｌｅ： Ａ Ｃｏｎｓｕｍｅｒ Ｍｕｌｔｉｍｅｄｉａ Ｏｒｇａｎｉｚａｔｉｏｎ ａｎｄ Ｒｅｔｒｉｅｖａｌ Ｓｙｓｔｅｍ）」
【非特許文献２】
ピーター．Ｊ．ラング（Ｐｅｔｅｒ Ｊ． Ｌａｎｇ）等著「絵を見ること：情緒的行動、表情、直感的行動及び行動的反応」（“Ｌｏｏｋｉｎｇ ａｔ Ｐｉｃｔｕｒｅｓ： Ａｆｆｅｃｔｉｖｅ， ｆａｃｉａｌ， ｖｉｓｃｅｒａｌ， ａｎｄ ｂｅｈａｖｉｏｒａｌ ｒｅａｃｔｉｏｎｓ”）、１９９３年、精神生理学（Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ）、３０、ｐ．２６１−２７３
【非特許文献３】
イルファン エサ（Ｉｒｆａｎ Ｅｓｓａ）等「ダイナミックモデルと移動エネルギーを用いる顔の表情の認識」（“Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ａ Ｄｙｎａｍｉｃ Ｍｏｄｅｌａｎｄ Ｍｏｔｉｏｎ Ｅｎｅｒｇｙ”）、ＭＩＴメディア研究所知覚計算部門技術レポート第３０７（ＭＩＴ Ｍｅｄｉａ Ｌａｂｏｒａｔｏｒｙ Ｐｅｒｃｅｐｔｕａｌ Ｃｏｍｐｕｔｉｎｇ Ｓｅｃｔｉｏｎ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．３０７）、ｐ．１−８
【発明が解決しようとする課題】
本発明の目的は、反応に基づいて画像を分類するために、画像に対するユーザの反応に関した情緒的な情報を活用することである。
【０００７】
【課題を解決するための手段】
かかる目的は、記憶されたデジタル画像において検索スキームを提供するための方法によって達成でき、その方法は下記の段階：
ａ）複数の記憶されたデジタル画像から少なくとも一つのデジタル画像を分類するために情緒的な情報を提供することと；
ｂ）ユーザ識別子を提供することと；
ｃ）少なくとも一つのデジタル画像に情緒的な情報及びユーザ識別子を関連させること、並びに
ｄ）少なくとも一つのデジタル画像の検索を容易にするために情緒的な情報及びユーザ識別子を使用することを含む。
【０００８】
【発明の実施の形態】
本発明は、デジタル画像に関する情緒的な情報とユーザ識別子を記憶するため、及びデジタル画像を検索し、アルバムページなどのハードコピー出力の生成において情緒的な情報とユーザ識別子を使用するための画像に関する情緒的な情報を決定するための方法を定義する。本発明は、同一画像に対する異なる人々の情緒的な反応を関連させる。ネットワーク化されたフォトシステムで使用される場合、人々はこれによって共有することができ、より個人的な方法で画像を使用する。標準的な手法で情緒的な情報とユーザ識別子を記憶することによって、特定の使用者における情緒的な情報を用いて個人的なアルバムページなどの画像化製品を自動的に生成することが可能である。
【０００９】
情緒的な情報は、画像に対する人の感情又は情動に間する情報として本発明で定義される。この情報は、通常、与えられた画像に対する人の主観的な反応を描写するか又は表す。画像は静止画像であるか、又はビデオクリップなどの動画であり得る。情緒的な情報は、画像が“お気に入り”かどうかのような画像にユーザが関連させた重要度のレベルを示すことができる。例えば、ユーザは結婚式又はクリスマスパーティなどの行事では多くの写真を撮る。かかる多くの写真のうちでも、通常は数枚の写真を使用者は特別に気に入る。情緒的な情報はまた、恐れ、怒り、幸福などの感情的な分野を含むことができる。
【００１０】
情緒的な情報の簡素な実施例は、画像がユーザにおいて“お気に入り”か又は“重要な”画像であると確認されたかどうかを示す、画像と関連する“タグ”又は“フラッグ”である。かかるタグの欠損は、画像がユーザにとってお気に入りであるか又は重要な画像として識別することを示唆する。かかるタグは、画像を“お気に入り”と“通常”の分野に分類する、二元性の分類を表す。別の実施例において、お気に入りの画像はレベルの範囲に分類される。例えば、画像は−１０乃至＋１０の範囲に分類でき、ここで０は未分類の画像において使用され、＋１０は“最もお気に入り”の画像において使用され、−１０は“最も好ましくない”画像で使用される。
【００１１】
異なるユーザが同一の画像に対して異なった感情的反応を有することを本発明は認識する。したがって、有用なことには、画像に関する情緒的な情報は特定のユーザと関係するべきである。これは、情緒的な情報に沿ったユーザ識別子を提供することによってなすことができる。ユーザ識別子は、特定のユーザを識別することを可能にする任意の型の情報であり得る。ユーザ識別子は、グローバルな独特のＩＤ（ＧＵＩＤ）、ユーザ番号、ソーシャルセキュリティ番号などの個人的な識別コードであり得る。ユーザ識別子はまた、完全な法的な名前、ニックネーム、コンピューターのユーザ名、または同類のものであり得る。代替として、ユーザ識別子は、表情の画像若しくは描写、指紋画像若しくは描写、網膜走査、又は同類の情報を含むことができる。
【００１２】
特定の画像に対するユーザの感情的な反応が時間の経過につれて変化できることを本発明は認識する。例えば、ユーザは家族で集まった時に撮った、彼等の子供及び配偶者のお気に入りの写真を有するかもしれない。後に彼等は離婚するかもしれない。この時、その画像はユーザに幸福な想い出を提供する、同様のお気に入りの写真ではなくなる。代わって、ユーザの悲しみ又は怒りとなる、“憎ましい”写真である。したがって、本発明の数多の実施態様において、日付又は期間は情緒的な情報に関係する。加えて、異なる日付又は期間で提供される、同一のユーザの情緒的な情報は、画像と関係することができる。さらに与えられた画像に対するユーザの反応の履歴は、治療、診断又は遡及的な目的において使用できる、人の反応の変化の分析を可能にする。
【００１３】
情緒的な情報は、例えばマウス、キーパッド、若しくは音声認識を用い、ユーザによって手動で入力できるか、又は自動的に集めることができる。
【００１４】
下記は、情緒的な情報を自動に集めるための手法の実施例であり、それらは、
重要な画像であることを通常示唆する長期間において見つめている、画像を見る長い時間、
何回も画像が印刷されたか又は画像が電子メールを介して他に送られたかなど、画像の扱いに関する、他の行動／使用情報、
ユーザが画像を見るようにビデオカメラによって自動的に撮像できるユーザの表情、
ユーザが画像を見るようにビデオカメラによって記憶される身体のジェスチャー、
画像を見る間のユーザの視線のようなユーザの眼球の動き、
画像を見る間に記憶されるユーザの声、
画像を見る間に記憶される、入力装置（例えば、ジョイスティック又はマウス）へのユーザの手の圧力、及び
ユーザが画像を見ることで記憶されるユーザの生物測定的又は生理的な反応であり、それらは、ＥＭＧ、温度、ＧＳＲ、心拍数、脳波ＥＥＧ、脳の画像化信号などを含有する、信号の任意の組み合わせとなることができる。
【００１５】
下記は、情緒的な情報を手動で提供するユーザのための方法の実施例であり、それらは、
“お気に入りの画像”タグを表すアイコンをユーザがマウスで“クリック”すること、
画像に対して主観的な反応（例えば、面白い、悲しい、等）を描写する、キーワードをユーザがタイプすること、又はキーワードのグループからキーワードを選択すること、及び
ユーザが音声記憶（例えば、“これは私の一番お気に入りの画像”などの言葉）を備えた画像に注釈を付けること、
である。
【００１６】
情緒的な情報は典型的には、ユーザが例えば彼等のホームコンピューターで彼等の自宅にて画像を見るように、手動又は自動のいずれかで決定される。情緒的な札付けは、情緒的な情報を決定し、画像に関する情緒的な情報を記憶する工程として定義される。情緒的な情報がユーザ識別子に関して保存される場合、“個人的な情緒的情報”として周知である。情緒的な情報とユーザ識別子は、画像に関する任意の情報において使用される用語である、“メタデータ”画像のタイプである。他のタイプの画像メタデータの実施例は、画像撮像時間、撮像装置、撮像位置、撮像日、画像撮像パラメーター、画像編集歴、等を含む。
【００１７】
個人の情緒的な情報は、例えば、Ｅｘｉｆ画像ファイル内のＴＩＥＦ ＩＦＤを用いて、画像ファイル内の個人の情緒的情報を記憶することによってデジタル画像と関連できる。代替として、個人の情緒的な情報は個別のデータベースに記憶できる。数多の実施態様において、情報に対する許可のないアクセスを防ぐために、この情報はセキュリティ及びアクセス許可情報と共に記憶される。
【００１８】
図１を参照するに、個人の情緒的な情報を提供し、画像メタデータとして画像と関連し、画像と関連する個人の情緒的な情報を記憶するための本発明と一致してなるデスクトップコンピューターシステムを例示する。次いで、個人の情緒的な情報は改良された画像の検索を提供し、カスタマイズされた写真製品を提供するために使用される。
【００１９】
図１に描写のシステムは、ユーザの場所（例えば、彼等の自宅）に位置するホームコンピューター１０（関連の周辺機器を備える）を含む。ゲーム・コンソール、インターネット専用設備、セット・トップ・ボックス又はキオスク端末などのシステムはホームコンピューターシステム１０に取って代わるかもしれないことが理解される。ホームコンピューター１０は、モデム２２又は他の通信インターフェイスを介して、インターネットサービスプロバイダー３０などの通信サービスプロバイダーに接続されている。ホームコンピューター１０は、ＣＰＵマザーボード１２、表示モニター１４、及びデジタルの静止又はデジタルの動画及び関連するメタデータなどの高解像度の画像ファイルを記憶できるハードドライブ記憶装置２０を含む。メタデータは、例えば、特定の画像に関する音楽情報である、他のメタデータと同様に個人の情緒的な情報を含む。
【００２０】
ホームコンピューターは、スキャナー２８、ＣＤリーダー２６、及びデジタルカメラを含有する様々な画像入力の周辺機器を含む。スキャナー２８は、プリント又はフィルムを走査し、デジタル画像を生成するために使用される。ＣＤリーダー２６は、コダックピクチャーＣＤ（示されていない）などのＣＤ−Ｒディスクからデジタル画像を入力するために使用される。ユーザはまた、モデム２２を用いてサービスプロバイダーから画像をダウンロードできる。ホームコンピューター１０はまた、ユーザの自宅で画像の印刷を可能にするインクジェットプリンターなどのローカルプリンター（示されていない）に接続できる。
【００２１】
デジタルカメラ２４は、米国ニューヨーク州ロチェスターのイーストマンコダックカンパニーによって製造されたＫｏｄａｋ ＤＣ４８００デジタルカメラなどのデジタルスチルカメラであり得る。代替として、デジタルカメラ２４は、静止画像に加えて、動作と音のビデオ・ファイルを記憶する、Ｋｏｄａｋ ＭＣ３ポータブルマルチメディア装置などのデジタルビデオカメラである得る。デジタルカメラ２４は、周知のユニバーサルシリアルバス（ＵＳＢ）インターフェイス又はＩＥＥＥ１３９４インターフェイスなどの共通のインターファイスを採用するケーブルを介してホームコンピューター１０に接続する。代替として、デジタルカメラ２４は、周知のブルートゥースインターフェイス又はＩＥＥＥスタンダード８０２．１５インターフェイスなどの無線インターフェイスを用いてホームコンピューター１０に接続できる。代替として、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ）カード及びカードリーダー（示されていない）などの取り外し可能なメモリカードを用いて画像はデジタルカメラ２４からホームコンピューター１０に転送できる。
【００２２】
情緒的な情報を提供するために、ホームコンピューター１０は、キーボード１６及び、マウス又はトラックボールなどのポインティング装置１８に接続される。好ましい実施態様において、ポインティング装置１８はまた、ＧＳＲ（電気皮膚反応）、手の温度及び心拍率を含有するユーザの生理的な信号を検出できる、センサーを含む。センサーはまた、周囲の温度を検出する。
【００２３】
ホームコンピューター１０は任意でビデオカメラ４に接続される。ビデオカメラはユーザ２の顔のビデオ画像を撮影し、ハードドライブ記憶２０にこのビデオ情報を記憶する。ビデオカメラ４は、例えば、イーストマンコダックカンパニーから販売されているＤＶ３２５のつながれたカメラである得る。そのカメラは、ユニバーサルシリアルバス（ＵＳＢ）インターファイスなどの共通のインターフェイスを採用するケーブルを介してホームコンピューター１０と接続する。
【００２４】
ホームコンピューター１０は、本発明と一致して個人の情緒的な情報をつくり、使用するために適切なソフトウェアを備えて提供される。このソフトウェアは典型的にはハードドライブ２０に記憶され、ＣＤリーダー２６によって読取りできるか、又はフレキシブルディスクドライブ（示されていない）を介してホームコンピューター１０にロードされるフレキシブルディスク（示されていない）に提供できる、ＣＤ−ＲＯＭディスク（示されていない）を用いて提供される。代替として、このソフトウェアはモデム２２を介してインターネットからダウンロードできる。
【００２５】
ホームコンピューター１０は、図８に示されるように、インターネットなどのネットワークに接続される。図８に描写されるように、多くの異なるホームコンピューター１０Ａ、１０Ｂ、１０Ｃ及び１０Ｄは、様々なインターネットサービスプロバイダー（ＩＳＰｓ）３０Ａ、３０Ｂ、及び３０Ｃによってインターネットに接続される。ＩＳＰｓはサービスプロバイダー４０に接続を提供する。ＩＰＳの３０Ａ乃至３０Ｃは、モデム３２のバンクを含み、その一つはユーザのコンピューター１０のモデム２２と通信するために接続される。次ぎに、当業者に周知の装置と技術を用いてチャンネル３６に通信を提供するために、モデム３２はコンピューター／ルーター３４と通信する。
【００２６】
サービスプロバイダー４０は、一つ以上のコンピューターと関連する周辺機器から構成される、インターネットサーバーなどのネットワークサーバー４２によってインターネットなどのチャンネル３６に接続する。サービスプロバイダー４０はまた、電子データベース４４を含む。電子データベース４４は、異なる印刷サイズ、マグ及びＴシャツなどの異なる出力フォーマットを含み、アルバムページ上のデジタル画像の群を印刷する、多くの画像を産する製品のオプションを記載する情報を提供する。電子データベース４４はネットワークサーバー４２として同一のコンピューターに含まれることができるか、又は個別のコンピューターを活用できるか、又は同一の物理的な部位若しくは異なる部位において数多のコンピューターにわたって分配できる。
【００２７】
図８に示されるように、電子データベース４４は生産コントローラー５２に接続される。生産コントローラー５２は、写真製品の実施例となる、アルバムページ５６又は個別のハードコピー印刷５８を生成できる、一つ以上のカラーのハードコピープリンター５４を制御する。生産コントローラー５２は、ユーザによってアップロードされた一つ以上の画像を組み込むＴシャツ、コーヒーマグ、などを生成するために使用できる、転送印刷を生成するためにトランスファープリンター（示されていない）に任意に接続できる。生産コントローラー５２はまた、輸送ラベル７４を生成するために輸送ラベルプリンター７２を制御する、輸送システム７０を制御する。輸送ラベル７４は、顧客又は顧客の指定者に配送中（例えば、空輸、地上輸送など）に写真製品を含み保護する、輸送コンテナ（例えば、パッキング物質を含有するカードボードボックス）に付される。
【００２８】
ユーザによって写真製品が購入される時は常に定期的（例えば、月ごと）に又は代替として、電子データベース４４は、顧客が認定されることによって提供される、支払い識別子（例えば、クレジットカード又はデビットカード番号）を確定するために、なされた任意の購入における勘定、又は、ユーザの画像及び関連する個人の情緒的な情報の記憶におけるようなユーザにサービスを提供する任意の毎月のサービス料金における勘定の借り方に記入するために請求システム４６と通信する。ブロック４８に示されるように、請求書が発行される。借り方に記入される顧客取引口座は、当然のこととして、遠隔の金融機関であり得る。
【００２９】
サービスプロバイダー４０は、ユーザのコンピューター１０から遠隔である、典型的には別の都市である、第二位置に位置する。サービスプロバイダー４０の様々な位置は、単一の建物に位置できるか、若しくは隣接する複合した建物に位置できるか、又は異なる都市若しくはさらに異なる国の数多の場所上に地理的に分散できる。例えば、電子データベース４４とアルバム生産コントローラー５２は、異なる都市に位置するコンピューターによって提供でき、及びインターネットなどの適切なデジタル通信ネットワークを介して相互に接続できる。さらに、電子データベース４４はそれ自体が数多の異なる位置で数多のコンピューターに分配できる。
【００３０】
電子データベース４４はまた、アップロードされた画像と関連する個人の情緒的な情報の長期記憶を提供する。この実施態様において、記憶された画像は、参照としてここに組み入れられた開示である、例えば、本件出願人と同一出願人所有の発明者シェリダン（Ｓｈｅｒｉｄａｎ）による米国特許第５，７６０，９１７号明細書に記載のように、認可されたユーザによってインターネットを介してアクセス可能（例えば、見ることができる）である。
【００３１】
電子データベース４４は、顧客のコンピューター１０を用いて遠隔位置で顧客によって選択でき、カスタマイズできる、アルバム及び他の写真製品の異なる特質を記載する情報を含む。電子データベース４４はまた、例えば、様々な背景色を提供するようなアルバムの特徴、又は構造、ページ数、ページキャプション、画像キャプションなどの写真製品のオプションを描写する情報を含む。アルバムページはカバーにおいて製本することができるか、又は三つのリングバインダーのような標準のバインダーにページが挿入されることを可能にするために穴を含むことができる。それらのアルバムの特徴のオプションは、例えば、ＪＡＶＡ（登録商標） ａｐｐｌｅｔｓ、ＭＰＥＧ又はＱｕｉｃｋＴｉｍｅ ｍｏｖｉｅｓ、或いは顧客が選択できる機能的な特徴を描写する、Ｓｈｏｃｋｗａｖｅファイルなどのソフトウェアプログラムを介して実証することができる。
【００３２】
ホームコンピューター１０Ａ乃至１０Ｄに加えて、他のタイプの装置はチャンネル３６を介して画像を提供するか又はアクセスするために使用できる。それらの装置は、無線ＰＤＡ装置３７、キオスク端末３８、及び電子画フレーム装置３９を含み、それらのすべてはＩＳＰｓ３０Ａ乃至Ｃの一つを介して通路３６によりデータベース４４から画像と関連する情緒的な情報を検索できる。
【００３３】
図２を参照するに、図１と図８に関連して記載されたシステムで実行される、本発明の実施態様を例示する流れ図を示している。この実施態様は情緒的な情報の自動及び手動決定の両者を含む。
【００３４】
ブロック１１０において、ユーザはＣＤ−ＲＯＭをホームコンピューター１０のＣＤリーダー２６に挿入することによって画像の新規のセットを開く。好ましい実施態様において、ＣＤ−ＲＯＭはまた、図２の方法を実行する、ソフトウェアのアプリケーションを含む。この場合、ソフトウェアはブロック１１２の部分として自動的にインストールされ、必要であれば、ＣＰＵマザーボード１２によって使用できる。
【００３５】
ブロック１１２において、ユーザによって初回に画像が見られる場合、本発明の方法を実行するアプリケーションは自動的に始められる。代替として、ユーザはアプリケーションを手動で開始でき、デジタルカメラ２４、スキャナー２８から又はインターネットを含有する他の画像の供給源から新規のセットをロードできる。
【００３６】
ブロック１１４において、ユーザは彼等の個人的なＩＤとパスワードに入る。代替として、この段階は、ユーザがコンピュータに“ログオン”する場合、ホームコンピューター１０のシステムを操作することによって自動的に提供できる。代替となる実施態様において、ビデオカメラ４は、ユーザを自動的に決定するために顔を認識するソフトウェアとの関連して使用でき、ユーザの氏名又は個人の識別コードなどの適切なユーザ識別子を提供する。
【００３７】
ブロック１１８において、ホームコンピューター１０は、ユーザが手動で情緒的な情報を提供したいか、又は代わりにユーザが画像を見ている間に自動的に情緒的な札つけを提供するシステムを有するかをユーザに問い合わせる。
【００３８】
ブロック１２０において、ユーザが自動の情緒的な札付けを選択する場合、ホームコンピューター１０は、ユーザが画像を見る場合のユーザの感情の反応を決定するために記憶できる、信号の選択を提供する。このユーザの選択を可能にするためにモニター１４に表示されるスクリーンの実施例は図３Ａに示される。３つの信号がデフォルトとしてマークされ、それらは、画像に対して見ている時間、ビデオカメラ４によって記憶される顔の表情、及びポインティング装置１８のセンサーにより検出される生理的な信号である。ハードウェアの形態に依存して、他の信号は選択に列記されるかもしれない。
【００３９】
ブロック１２２において、ユーザは情緒的な情報を決定するためにどの信号が記憶されるかを選択する。図３Ｂにおいて、見ている時間、顔の表情、及び生理的なものを含有するユーザによって選択された信号の実施例が示される。ユーザによって選択される生理的な信号は、心拍率、手の温度、及び電気皮膚反応（ＧＳＲ）を含む。
【００４０】
ブロック１２４において、ホームコンピューター１０はＣＤ−ＲＯＭ（又は他の画像供給源）から第一画像を検索し、ブロック１２６ではホームコンピューター１０はモニター１４に画像を表示する。
【００４１】
ブロック１２８において、ホームコンピューター１０は、ユーザがブロック１２２で選択した信号（例えば、見ている時間、ユーザの顔のビデオ、及び生理的な信号）を自動的に記憶する。
【００４２】
ブロック１３０において、ユーザは、彼等が次ぎの画像に移動したいことを示すためにポインティング装置１８をクリックする。代替として、ユーザは、キーボード１６のキーを打つこと、マイクロホン（示されていない）によって入力される音の指令を提供すること、ビデオカメラ４によって撮像されたジェスチャーを提供すること、又は他の入力装置を用いることなどの数多の他の形態の入力を提供することができる。
【００４３】
ブロック１３２において、ホームコンピューター１０は、これが画像セットの最終画像であるか決定する。
【００４４】
ブロック１３４において、これが最終画像ではない場合、ホームコンピューター１０は画像セットの次ぎの画像を検索し、ブロック１２６から１３２を繰り返す。
【００４５】
ブロック１３６において、これが最終画像である場合、ホームコンピューター１０は、情緒的な情報を合成し、情緒的なタグを合成するために、情緒的な信号を分析する。この段階は、ユーザ２においてセットの各画像の感情的な重要度を決定することを含む。好ましい実施態様において、ホームコンピューター１０は、ユーザの顔の表情（例えば、微笑み）、見ている時間及び皮膚コンダクタンスに基づきセットの各画像に対する肯定的な感情の重要性を評価する。
【００４６】
ホームコンピューター１０は、周知の顔の表情を検出するアルゴリズムを用いてビデオカメラ４によって記憶された顔の表情を検出できる。かかるアルゴリズムの一例は、イルファンＡ．エサとアレックス ペントランド著の「ダイナミックモデルと移動エネルギーを用いる顔の表情の認識」（“Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ａ Ｄｙｎａｍｉｃ Ｍｏｄｅｌ ａｎｄ Ｍｏｔｉｏｎ Ｅｎｅｒｇｙ”）、１９９５年６月、ｔｈｅ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＣＣＶ ９５出版、米国マサチューセッツ州、ケンブリッジである。検出された微笑みは、肯定的な顔の表情である。
【００４７】
ブロック１２８において、ユーザ２の顔の表情は、ユーザが画像セットを見て記憶される。次いで、ビデオカメラ４からのビデオ信号のフレームは、顔の表情を認識するソフトウェアを用いて処理され、少なくとも二つの分野：肯定的及び非肯定的に分類される。微笑がユーザの顔で検出される場合、肯定的な分野は選定される。微笑がユーザの顔で検出されないのであれば、非肯定的な分野が選定される。代替として、顔の表情は、幸福、悲観、絶望、嫌悪、愛、等の幅広い範囲の分野にさらに分類されて、例えば、特に肯定的、いくらか肯定的、どちらでもない、わずかに否定的、及び非常に否定的などにかかる分野における値の範囲を用いてさらに分類される。顔の認識の結果として、肯定的な分野の画像はユーザのお気に入りの画像であると考慮され、一方で非肯定的な分野の画像はユーザのお気に入りの画像ではないと考慮される。
【００４８】
画像を見ている時間が長くなるにつれて、その特定の画像に対する肯定的な画像の重要度の可能性が高まる。ブロック１２６乃至１３４において、ユーザはモニター１４で一度画像を見て、マウスをクリックすることで次ぎの画像に進む。２つの連続する画像間の時間の間隔は、ホームコンピューター１０によって決定され、情緒的な信号として記憶される。Ｐ．Ｊ．ラング、Ｍ．Ｋ．グリーンワルド、Ｍ．Ｍ．ブラッドレイ、及びＡ．Ｏ．ハム著の「絵を見ること：情緒的行動、表情、直感的行動及び行動的反応」（“Ｌｏｏｋｉｎｇ ａｔ Ｐｉｃｔｕｒｅｓ： Ａｆｆｅｃｔｉｖｅ， ｆａｃｉａｌ， ｖｉｓｃｅｒａｌ， ａｎｄｂｅｈａｖｉｏｒａｌ ｒｅａｃｔｉｏｎｓ”）、１９９３年、精神生理学（Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ）， ３０， ｐ．２６１−２７３の論文は、平均して見ている時間は、画像が観察者において誘い出す関心又は注意の程度と直線的に関連することを報告している。この論文は、第三者的な絵における関心の度合いに対して見ている時間を比較する。本発明では、見ている時間の情報は、第三者的な画像で一人以上のユーザにおいて選定される。
【００４９】
見ている時間とユーザの関心との関係は、画像に対するユーザの関心の示唆として又は画像の重要度として見ている時間を解釈するホームコンピューター１０によって使用される。特定の画像に関心のある相対的な度合いは、セットのすべての画像での最大の見ている時間によって分割される（又は標準化される）この特定の画像での見ている時間として決定される。関心の相対的な度合いは、“重要”又は“お気に入り”画像として系統的で連続的な手法でセットの画像をランク付けするためにホームコンピューター１０によって使用される。最もお気に入りの画像は、特定のユーザにおいて高い関心の相対的な度合いを有する画像である。
【００５０】
ユーザの困惑の結果、見ている時間が不適切に判断されないことを保証するために、ビデオカメラ４は、ユーザ２がモニター１４に彼等の真っ直ぐな凝視を向けること、ユーザ２が他のタスクで当惑していないこと、又は部屋に残っていることを補償するために使用できる。
【００５１】
皮膚コンダクタンスは、画像を見ることに対する反応として測定される皮膚の電気コンダクタンスの大きさである。この信号は生物測定センサーを使用して記憶される。皮膚コンダクタンスを検出し記憶できるコンピューターマウスはＩＢＭ社によって開発された。皮膚コンダクタンス又は電気皮膚反応が画像に対する関心の度合いを反映することは、Ｐ．Ｊ．ラング、Ｍ．Ｋ．グリーンワルド、Ｍ．Ｍ．ブラッドレイ、及びＡ．Ｏ．ハム著の「絵を見ること：情緒的行動、表情、直感的行動及び行動的反応」（“Ｌｏｏｋｉｎｇ ａｔ Ｐｉｃｔｕｒｅｓ：Ａｆｆｅｃｔｉｖｅ， ｆａｃｉａｌ， ｖｉｓｃｅｒａｌ， ａｎｄ ｂｅｈａｖｉｏｒａｌ ｒｅａｃｔｉｏｎｓ”）、１９９３年、精神生理学（Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ）， ３０， ｐ．２６１−２７３の論文に記載されている。皮膚コンダクタンスは画像が視聴者において誘い出す覚醒に依存して変わり、皮膚コンダクタンスが高ければ覚醒又は興奮が高く、またその逆も正しく、皮膚コンダクタンスが低ければ、覚醒も低い。したがって、画像開始前の皮膚コンダクタンスと画像開始数秒以内に上昇した皮膚コンダクタンスの極値との差異である、皮膚コンダクタンス反応の大きさの測定は、ある画像に対するユーザの関心又は注意を決定するために使用できる。
【００５２】
ポインティング装置１８を用いて記憶された皮膚コンダクタンスに基づいて、セットの各画像は関心の度合いを選定される。値は、画像セットにおいて記憶された最大の皮膚コンダクタンス反応によって分割された、特定の画像における皮膚コンダクタンスの大きさの関数である。セットの画像は、かかる値を用いることによってお気に入りの画像としてランク付けできる。相対的な皮膚コンダクタンスが低ければ、画像はより“お気に入り”である。
【００５３】
さらに３つの情緒的な信号は、肯定的な関心の不可欠な測定を獲得するために組み合わされる。セットの各画像において、関心の相対的な度合いは、前述に記載のように見ている時間（関心の度合い対見ている時間、ＤＩｔｉｍｅ）と皮膚コンダクタンス（関心の度合い対皮膚コンダクタンス反応、ＤＩｓｋｉｎ＿反応）に基づいて獲得される。画像が顔の表情のアセスメントに基づいて肯定的として分類されるならば、画像は肯定的な反応（ＰＲ）における値１を選定する。画像が非肯定的として分類されるならば、肯定的な反応における値０を選定する。次いで、肯定的な関心（例えば、重要又は“お気に入りの性質”）の測定は適切な関数を用いて各画像で計算できる。かかる関数は３つすべての合計を測定する：
肯定的な関心＝ＤＩｔｉｍｅ＋ＤＩｓｋｉｎ＿反応＋ＰＲ
他の適切な関数はかかる３つの測定を加重した合計を含み、ここでその加重は画像セット全体にわたって各々の標準化された（最大値によって分割された）信号内の標準偏差に基づいて決定される。この場合、信号内の標準偏差が高くなると、肯定的な関心の測定に対する信号の寄与の重要性は高くなる。結果的に、与えられた信号の標準偏差が低くなると、肯定的な関心の測定に対する対応する信号の寄与の重要性は低くなる。この依存性の理由は、特別の測定の標準偏差が与えられた測定に沿った画像間の識別の度合いを反映するという推定から生じる。これは、最も高い標準偏差を備える信号がさらなる識別力を有し、したがって肯定的な関心の不可欠な測定を決定する際に考慮することはより重要であることを意味する。
【００５４】
ブロック１４０において、ユーザがブロック１１８で手動の情緒的な札付けを選択すれば、画像セットの画像は小さいサムネール画像としてモニター１４に表示される。ブロック１４２において、ユーザは手動でお気に入りの画像を選択し、選択された画像において情緒的な情報（例えば、肯定的な重要度の度合い／お気に入り）に手動で入る。これは、ここに参照として組み入れられた、本件出願人と同一出願人所有の発明者パルスキ（Ｐａｒｕｌｓｋｉ）による発明の名称が「デジタル画像のコレクションの個人的なメタデータを追加する方法」（“Ｍｅｔｈｏｄ ｆｏｒ Ａｄｄｉｎｇ Ｐｅｒｓｏｎａｌｉｚｅｄ Ｍｅｔａｄａｔａ ｔｏ ａ Ｃｏｌｌｅｃｔｉｏｎ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ”）で２０００年１１月２２日出願の米国特許出願公開第０９／７２１，２２２号明細書に記載された方法を用いてなされるかもしれない。
【００５５】
ブロック１４６において、ブロック１３６又は１４２からの情緒的な情報は、画像セットの対応する画像に関係する、個人の情緒的なタグを提供するために使用される。この関係は、セットの各画像ファイル内の個人の情緒的なタグを含有することによって、又は各タグに関連する対応する画像に対する名前又はポインターに沿った個別のデータベースで個人の情緒的なタグを提供することによって達成できる。データベースはハードドライブ２０に記憶できる。個人の情緒的なタグは、ブロック１１４に関連して既に記載のようなユーザ識別子を含む。
【００５６】
個人の情緒的なタグの実例となる実施例は、図４Ａに示されている。図４Ａは単一ユーザにおける個人の情緒的なタグのファイルデータの構造を描写し、個人の識別分野、２つの異なる時間で獲得した２つの情緒的な記憶、及び一つの行動記憶を含む。
【００５７】
個人の情緒的なタグ分野は、個人の情緒的なタグデータを含有するようなファイルでデータ構造を識別する。個人の識別コードは個人の識別分野に記憶される。この分野は、ユーザの情緒的な情報がこの個人の情緒的なタグに記憶されるユーザを識別する。
【００５８】
情緒的な記憶は情緒的な情報を画像に対するユーザの反応の関して直接記憶する。これは、情緒的な情報が集められたデータと位置を含む。第一の情緒的な記憶は第一の位置分野と時間分野で特定された第一の時間と位置で獲得された情緒的な情報を記憶し、第二の情緒的な記憶は第二の位置分野と時間分野で特定された第二の時間と位置で獲得された情緒的な情報を記憶する。情緒的な記憶の情緒分野は、画像が個人の識別分野で記憶された個人の識別コードによって識別されるユーザによって見られた場合に決定される主観的な反応を記憶する。簡素な実施態様において、浄書分野は−１０乃至１０の範囲の“重要”又は“お気に入り”のランキングを記憶でき、ここで１０は最もお気に入りであり、−１０は最もお気に入りでないことを意味する。代替として、情緒分野は、検出された感情の強度を数量化する、対応するランキングを備える基本的な感情（例えば、幸福）を含むことができる。図２で既に記載のように、情緒決定は自動検出又はユーザによる手動のエントリーの結果となり得る。
【００５９】
個人の情緒的なタグに含まれる最低限必要な情報は、対応する分野に記憶された個人の識別コードと、情緒分野に記憶された少なくとも一つの主観的な反応（情緒）から構成される。図４Ａに示される他の任意の分野は、情緒的な情報が集められ、時間分野に記憶された時間を含む。個人の情緒的なタグはまた、段階１２２においてユーザによって選択された情緒的な信号に関する他の情緒的なデータを含むことができる。それらの分野は、見ている時間の分野、生理的な温度分野、生理的な心拍率分野、生理的なＥＦＧ分野、顔の表情の分野、視線をトラッキングする分野、及び触覚圧力分野を含む。
【００６０】
行動記憶は、画像がユーザによって見られる回数、画像がユーザによって印刷される回数、及び画像がユーザによって電子メールで送られる回数を含有する、画像の使用法に関する情報を記憶する。
【００６１】
図４Ｂを参照するに、複数のユーザにおいて個人の情緒的な情報を提供する、単一画像における情緒的なメタデータのデータ構造の実施例を示す。個人の情緒的なタグ１は、２０００年８月１日に重要度が８（−１０乃至１０までの範囲）の関連する画像を与える、情緒的な情報（手動又は自動のいずれか）が提供された第一のユーザ（ユーザ１）を示唆する。個人の情緒的なタグ２は、２０００年７月４日に重要度が４の関連する同一画像を与える、情緒的な情報が提供された異なるユーザ（ユーザ２）を示唆する。個人の情緒的なタグ３は、２０００年１０月８日に重要度が−５の同一の関連する画像を与える、情緒的な情報が提供された第一のユーザ（ユーザ１）を示唆する。
【００６２】
図４Ｃを参照するに、画像メタデータと画像データを含む画像ファイルの実施例を示す。画像ファイルは、Ｅｘｉｆ／ＪＰＥＧファイル、ＴＩＥＦファイル、ＪＰＥＧ２０００画像ファイルなどのＪＰＥＧ画像ファイルであり得るか、又は多くの他の画像ファイルフォーマットを利用する。画像メタデータは周知の撮像デバイスメタデータを含む。撮像装置メタデータは、例えばデジタルカメラのなどの画像が提供されるデジタル撮像装置を含むことができ、さらに画像の撮影日とカメラレンズの焦点の長さ、ｆ−ナンバー等の撮像装置のセッティングを含むことができる。本発明の好ましい実施態様と一致して、画像メタデータは一つ以上の個人の情緒的なタグを含む。各個人の情緒的なタグは、個人の識別分野に記憶されたユーザ識別子と重要な格付けなどの少なくとも一つの情緒的な記憶を含む。単一の画像ファイルは、複数の異なるユーザにおける複数の情緒的なタグを含むことができる。
【００６３】
図２のブロック１４８において、個人の情緒的なタグは画像を検索又は印刷するために使用される。図５を参照するに、ホームコンピューター１０での検索システムの本発明の典型的の実施態様の流れ図を示す。この実施態様において、個人の情緒的な情報は画像検索工程を補助するために使用され、ブロック１１０に関して既に記載された画像セットを利用する、アルバムページなどの写真製品を提供する工程を改良するために使用される。画像の検索は、個人の情緒的な情報が生成された直後になされるか、又は後になされることが理解されるだろう。画像の検索に先だって、他のユーザが画像の同一のセットにおいて情緒的な情報を提供し、その結果、各画像は複数のユーザにおいて情緒的な情報と関連することがさらに理解されるだろう。画像検索が後に行なわれる場合、ブロック１１２に関して既に記載のように、ユーザは彼等の個人のＩＤとパスワードをエンターするために問い合わせされる。これは、適切なユーザの識別子がユーザにおいて適切な個人の情緒的な情報を検索するために使用できるようになされる。
【００６４】
図５のブロック１４９において、検索ユーザは、ポインティング装置１８を使用してモニター１４に表示された適切なメニュー項目（“画像検索”などのメニュー項目）を選択することによって画像検索と利用工程を開始する。
【００６５】
ブロック１５０において、ホームコンピューター１０はモニター１４に画像セットのサムネイル表示を提供する。サムネイルは、特定ユーザにおける画像の“重要度”の格付けにしたがって処理される。最も格付けが高い画像は一番に表示され、最も格付けの低い画像は最後に表示される。さらに格付けは、各関連した画像と並んで表示できる。結果として、ユーザの個人の情緒的な情報は、検索された画像の表示の順番を決定するために使用される。
【００６６】
ブロック１５２において、ユーザは格付けの変更の希望があるか問い合わせされる。ユーザが肯定的な反応を示せば、ブロック１５４においてユーザは格付けを手動で調整する。ホームコンピューター１０は、格付けが手動で調整された各画像においてユーザの新規の個人の情緒的な情報を保存する。
【００６７】
ブロック１５６において、ユーザは一つ以上のサービスと関心の適用を選択する。それらは、カスタマイズされたアルバムページを生成すること（ブロック１５８）、印刷においてサービスプロバイダー４０に画像若しくはアルバムページをアップロードすること（ブロック１６０）、電子メールによってお気に入り画像を送ること（ブロック１６２）、ピクチャーマップを生成すること（ブロック１６４）、及びインターネットを介して家族や友人と共有するためにローカルハードディスク２０、又は遠隔サーバー（段階１６６）のユーザの収集に画像セット（関連する個人の情緒的なタグ）を加えることを含む。
【００６８】
ブロック１７０において、ユーザは終了したか又は追加的なサービス若しくは製品を選択したいかを問い合わせされる。ブロック１７２において、工程は終了する。
【００６９】
図６は情緒的な情報を使用するアルバムページを生成するためのシステムの本発明の典型的な実施態様の流れ図である。情緒的な情報は下記の手法でアルバムページを生成するためにシステムによって使用でき、それらは
アルバムページに含まれるお気に入り画像を検索すること、
ページの中心に最もお気に入りの画像を位置すること、
ページにおいて他の画像よりも大きい、最もお気に入りの画像をリサイズすること、及び
重要性を強調する（例えば、ボールドのフレーム化構造）ために最もお気に入りの画像を取り囲む背景を変化すること、
である。
【００７０】
図６の流れ図は、図５のブロック１５８である、アルバムページを生成する工程をより詳細に記載する。図６のブロック３０５において、ユーザはアルバムページの数を特定し、各アルバムページにおける画像を選択する。代替となる実施態様において、システムは、メタデータに記憶された撮影日情報と日付にしたがってページに画像をグループ化するためにユーザによって特定されたページ数を用い各ページにおいて画像を自動的に選択できる。
【００７１】
ブロック３１０において、システムは選択された画像からアルバムページの特定した数を自動的に合成する。本発明の好ましい実施態様において、画像は、ここで参照として組み入れられた開示である、本件出願人と同一出願人所有の発明者サイモンによる２０００年４月２７日出願の米国特許出願公開第０９／５５９，４７８号明細書に記載のように強調された画像を用いてアルバムページに自動的に組織化される。本発明において、最もお気に入りの画像は画像を強調するように自動的に識別される。サイモン等の特許明細書に記載のように、強調画像はページの中心に位置し、ページにおいて他の画像よりも大きい。最も重要な画像を強調するこの方法は、アルバムページの特定した数を生成するために各アルバムページにおいて繰り返しできる。
【００７２】
ブロック３１０でアルバムページが自動的に配置された後、ブロック３１２でユーザは配置を修正したいかどうか問い合わせされる。次いで、ユーザはページ数を変更でき（ブロック３１４）、選択されたページで画像の数を変更でき（ブロック３１６）、選択されたページでレイアウトを変更でき（ブロック３１８）、及びページで画像サイズを変更（ブロック３２０）できる。ユーザはまた、ページに含むための異なる画像を選択できる（ブロック３２２）。ユーザがアルバムページの外観に満足すると（ブロック３２４）、次いでユーザはアルバムページを局所的に印刷（ブロック３３０）するか、又は代わりにサービスプロバイダー４０からインサルされたアルバムページを注文（ブロック３２８）するかどうかを決定（ブロック３２６）する。アルバムページは、ここに参照として組み入れられた開示である、本件出願人と同一出願人所有の発明者マニコ（Ｍａｎｉｃｏ）等による米国特許第６，００４，０６１号明細書に記載の方法を用いて合成できる。工程はブロック３３２で終了する。
【００７３】
図７Ａを参照するに、合成されたアルバムページの実施例が示されている。５つの画像（Ｐ１乃至Ｐ５）はフォーマット化され、ホームコンピューター１０又はサービスプロバイダー４０によってアルバムページに添付される。システムがアルバムページを自動的に合成する場合、最もお気に入りの画像が特色とされる。これは、ページの中心にこの最もお気に入りの画像（画像Ｐ１）を位置付けすることによってなされる。これはまた、ページで他の画像よりもこの画像のサイズが大きくなるように最もお気に入りの画像（Ｐ１）をフォーマット化することによってなされる。さらにこれは、背景フレームを提供することによって、又はこの特定の画像に注意を注ぐ、別のタイプの背景の取り囲みを提供することによってなされる。加えて、最もお気に入りの画像の画像の寄与は、その重要性を強調するために修正できる。例えば、この画像は、画像の鮮明度、色の飽和等を増大するために処理できる。
【００７４】
最もお気に入りの画像は、特定のユーザにおける画像と関連する個人の情緒的な情報に基づいてアルバムページで選定された画像セットから自動的に選択される。異なる個人の情緒的な情報を有する第二のユーザが同一のアルバムセットを含有するアルバムページを要求する場合、異なる画像が第二のユーザにとって最もお気に入りの画像であるために、異なる画像が特色とされるだろう。このようにして、アルバムページのレイアウトは、特定のユーザの個人の情緒的な情報に基づき、特定のユーザにおいて自動的にカスタマイズされる。
【００７５】
図７Ｂを参照するに、図５のブロック１６６で生成されたピクチャーマップの実施例が示される。この実施例において、７つの画像（Ｐ１乃至Ｐ７）がフォーマット化され、ピクチャーマップに配置される。一つの典型的な実施態様において、システムは、画像と関連したメタデータとして記憶された地理的な位置情報に基づき適切なマップを自動的に選択する。かかるメタデータは撮像時に自動的に生成（例えば、ＧＰＳ−汎世界測位システムを備えるデジタルカメラによって）できるか、又はユーザによって手動で生成できる。メタデータによって特定された各々の異なる位置において、システムはその位置において撮像された最もお気に入りの画像を選択し、マップ上の適切な位置に位置付けする。最もお気に入りの画像は、画像と関連する個人の情緒的な情報に基づきシステムによって自動的に選択される。図７Ｂにおいて、７つの位置は識別され、それらの位置に対応する７つの最もお気に入りの画像（Ｐ１乃至Ｐ７）は選択され、マップ上に位置付けされる。
【００７６】
図９を参照するに、インターネットなどの通信ネットワークによりカスタマイズされた写真製品を生成するために情緒的な情報を使用する本発明の典型的な実施態様の流れ図を示している。本発明において、アルバムページなどのカスタマイズされた写真製品は、画像に関する個人の情緒的な情報に基づいて生成される。
【００７７】
ブロック５１０において、顧客はフォトサービスプロバイダー４０によって供給されたウェブサイトにログオンする（図８）。一般的に、顧客は図２で情緒的な情報を生成したユーザとは同一人物でないかもしれない。例えば、これは、家族の一人が、家族の他の者又は友人のお気に入りの画像を用いて家族の他の者又は友人に個人的な写真製品を生成する場合である。
【００７８】
ブロック５１２において、図２のブロック１１４に関して既に記載のように、顧客は彼等の個人のＩＤとパスワードにエンターする。
【００７９】
ブロック５１４において、顧客は拾い読みしたいお気に入りの画像を選択する。顧客は彼等のお気に入りにより、及び／又は彼等の家族や友人によってお気に入り画像の提供により拾い読みするために選択できる。他の人のお気に入り画像により拾い読みするために、顧客は、既に参照とした、本件出願人と同一出願人所有の発明者シェリダンによる米国特許第５，７６０，９１７号明細書に記載のように、アクセス許可を有するべきである。それらのアクセス許可は、画像がアップロードされデータベース４４でユーザによって記憶される場合に生成される。
【００８０】
ブロック５１６において、顧客は、日付及び／又はイベント並びに関心ある画像を選択する（例えば、選択された画像をクリックすることによって）ことによってお気に入りにより拾い読みする。ブロック５１８において、すべての選択された画像のサムネイルが表示される。ブロック５２０と５２２において、顧客は画像のそれらの選択を修正できる。
【００８１】
ブロック５２４において、顧客は一つ以上の所望の製品を選択し、製品を受け取る予定である指名人を選択する。ユーザが指名人のアクセス許可を有する場合、サービスプロバイダーは指名人におけるユーザ識別子を自動的に決定でき、その結果、指名人の個人の情緒的な情報は、注文される写真製品をカスタマイズするために使用でき、例えば、贈り物としてその指名人に送ることができる。
【００８２】
顧客が選択した画像を用いて、異なりカスタマイズされた写真製品は生成できる。ブロック５２６において、アルバムページが選択できる。ブロック５２８において、顧客が選択した画像を含有するカスタマイズされたカレンダーは選択できる。ブロック５３０において、モンタージュ写真が選択できる。これは、創造的な背景と多くの異なる画像を含有する大きなポスターである。ブロック５３２において、顧客はピクチャーマップを生成するために選択できる。ブロック５４０において、写真製品の選択がなされるか又は追加的な写真製品の選択を望むか、顧客はそのいずれかを決定する。
【００８３】
ブロック５４２において、指名人における個人の情緒的な情報は、写真製品が組織化されるように、最もお気に入りの画像を特徴付けるために使用される。図５の参照において既に記載のように、アルバムページ、カレンダー、又はモンタージュ写真が生成される場合、個人の情緒的な情報は特色とされる一つ以上の特にお気に入りの画像を選択するために使用される。それらの特色とされる画像は他の画像よりも大きく印刷され、写真製品においてより目立つ位置である。
【００８４】
ブロック５４６において、写真製品は生成され顧客の指名人に送付されて、顧客はサービスプロバイダーによって請求される。
【００８５】
コンピュータープログラム製品は、例えば、磁気ディスク（フレキシブルディスクなどの）若しくは磁気テープなどの磁気記憶媒体；光ディスク、光テープ、若しくは機械が読取り可能なバーコードなどの光記憶媒体；ランダムアクセスメモリ（ＲＡＭ）若しくは読取り専用メモリ（ＲＯＭ）などの固体状電子記憶デバイス；又は任意の他の物理的デバイス若しくは本発明と一致する方法を実行するためのインストラクションを有するコンピュータープログラムを記憶するために採用される媒体である、一つ以上の記憶媒体を含むことができる。
【００８６】
【発明の効果】
デジタル画像に対するユーザの反応を分類するために情緒的な情報を活用することが本発明の利点である。
【００８７】
ユーザの反応が、マウス、キーパッド若しくは音声認識を使用してユーザによって手動で入力できるか、又は与えられた画像がどのくらい長く見られていたかをユーザによって、ユーザの表情若しくは注視によって、或いはユーザの生理的な測定によって一つ以上決定することによって自動的に決定できることは本発明の追加的な利点である。
【００８８】
情緒的な情報が、ユーザの反応が情緒的な情報によって提供されることを定義するユーザの識別子と関係することが本発明のさらなる利点である。
【００８９】
同一のデジタル画像に多数のユーザの情緒的な情報を関連させることが本発明のさらなる利点である。
【図面の簡単な説明】
【図１】情緒的な情報をつくるためのホームコンピューターシステムのブロック図の描写である。
【図２】情緒的な情報をつくるためのシステムの実施態様を示す流れ図である。
【図３Ａ】情緒的な情報をつくるための信号記憶を選択するためのユーザインターフェイスの描写である。
【図３Ｂ】情緒的な情報をつくるための信号記憶を選択するためのユーザインターフェイスの描写である。
【図４Ａ】単一ユーザの個人的な情緒的なタグの実施例である。
【図４Ｂ】複数の個人の情緒的なタグを備える複数のユーザにおける情緒的なメタデータの実施例である。
【図４Ｃ】情緒的なメタデータを含有するイメージファイルの描写である。
【図５】デジタル画像化システムでの情緒的な情報を使用するための典型的な方法の流れ図である。
【図６】アルバムページをつくるための流れ図である。
【図７Ａ】情緒的な情報を用いて生成した、カスタマイズ化されたアルバムページの描写である。
【図７Ｂ】情緒的な情報を用いて生成したピクチャーマップの描写である。
【図８】情緒的な情報を使用するネットワーク化されたデジタルシステムのブロック図の描写である。
【図９】指名者においてサービスプロバイダーを用いてカスタマイズ化された写真製品をつくるための流れ図の描写である。
【符号の説明】
２ ユーザ
４ ビデオカメラ
１０ ホームコンピューター
１２ マザーボード
１８ ポインティング装置
２０ ハードドライブ記憶装置
２４ デジタルカメラ

Claims (2)

1. 記憶手段に記憶されたデジタル画像群の検索手順を提供する、コンピュータによって実行される方法であって：
   ａ）ユーザの情緒的情報を自動的に取得して前記記憶手段に格納する段階であり、信号検出手段によって、ユーザが前記記憶されたデジタル画像群のうちの１つを見ているときに該１つに対するユーザの感情的反応を示す情緒的信号を検出することにより前記情緒的情報を取得することと、処理手段によって、前記情緒的情報を、前記記憶されたデジタル画像群のうちの該１つの前記ユーザにとっての重要度の格付けを表す定量値に分類することとを含む段階；
   ｂ）ユーザを特定するためのユーザ識別子を前記記憶手段に格納する段階；
   ｃ）処理手段によって、前記記憶手段に格納された前記定量値を含む前記情緒的情報及び前記ユーザ識別子を、前記記憶されたデジタル画像群のうちの該１つに関連付ける段階；及び
   ｄ）前記記憶されたデジタル画像群のうちの該１つを前記定量値に応じた順に選択的に検索するために、前記記憶手段に格納された前記定量値及び前記ユーザ識別子に基づいて前記記憶手段にアクセスする段階；
   を有する方法。
2. 前記情緒的情報は、前記分類が実行された時間の範囲内の時間又は期間をさらに特定する、請求項１に記載の方法。

Images