JP5619156B2 - 閲覧者の要因および反応に応じた画像表示制御を行う方法および装置 - Google Patents

Description

本発明は、画像の適応的選択および表示に関し、より具体的には、デジタル媒体フレーム、または電子フレームその他の表示装置等、他の画像表示システムまたは装置内のビデオクリップ等、個別画像と連続画像の両方を含む画像を、閲覧者の感情的および行動的な反応または画像閲覧者の推定された意図または願望を含む、検知された画像閲覧者の存在および反応に応じて選択および表示することに関する。

例えば写真やビデオクリップ等、静止および連続画像の潜在的に極めて膨大な集合から所望の画像を索引付け、分類、保存および選択的に表示するには、共通の且つ長期にわたる問題があった。この問題は、フィルムを用いる方法に比べて殆ど労力をかけずに極めて膨大な数の新規画像を容易に生成できるデジタル画像処理技術の発展に伴い極めて深刻になっている。

従来、画像を識別、分類、索引付けする作業は手作業で、すなわち、人が各々の画像を見て、画像の内容を認識し、それらの内容および画像が得られた場所や時間等、他の何らかの関連する基準に従い画像を分類して索引を付ける。公知のように、この方法は時間を要し、退屈で間違いを犯しやすい上に、画像の識別および分類に用いた基準が変わるたびに繰り返さなければならない。

従来技術には、画像の索引付けおよび分類を容易にする多くの方法および装置が含まれており、それらの例が米国特許第７，２３６，９６０号、第５，９４６，４４４号、第６，６０８、５６３号、および米国特許出願公開第２００７／０１７７８０５号、第２００７／００９８３０３号、第２００４／０１２６０３８号、第２００４／０１２６０３８号、並びに他の多くの類似且つ関連する出版物に示されている。従来技術のこれらの方法および装置は全て、画像の内容に基づく基準に従い、画像の集合に含まれる画像の識別、分類、編成または索引付けを目的としている。例えば、典型的な基準として、画像を取得した日付、時刻、場所、および画像の内容に関連する情報が含まれていてよい。次いで画像内容は、例えば画像特徴認識技術等の各種画像解析法、撮像装置、内蔵ＧＰＳ装置により生成された画像メタデータ、あるいは、例えばＲＦＩＤタグ付けまたは音声検知を介して撮像時に画像内の人物または物体から読み込みまたは記録された情報により得ることができる。索引付けされたならば、通常は画像の識別および分類に用いる基準に基づく画像索引内に保存されているかまたは索引を形成する情報に従い画像の集合から画像を選択して、ページまたはアルバム形式の定義等、ユーザーが定めた追加的な基準に従い表示することができる。

しかし、上述の従来技術のこれらの方法および装置は、当初からユーザーまたはサービスプロバイダ、あるいはシステムが処理、特に画像を解析、識別、分類、索引付け、および表示する特定の基準の選択および定義に意識的且つ直接的に関ることを要求とする。この要求は特に、稀にしか画像の集合の識別、分類、編成、および表示を行わないユーザーにとって重荷である。これは、そのようなユーザーは通常、画像の識別、分類、索引付けの基準に、またはそのような基準の効果的な選択や組合せに慣れておらず、しばしば不満足な結果しか得られないためである。

１個以上の集合から画像を表示する際にも関連する問題が存在する。例えば、オンラインサービスからパーソナルコンピュータ、更にはｉＰｏｄ等の機器を含む携帯機器にわたる多くの画像保存および表示システムでは、表示したい画像または画像の組をユーザーが直接的且つ能動的に選択することが要求される。このようなシステムや機器は多くの場合、ユーザーに少なくとも意図的に表示を開始することを要求するか、あるいはユーザーに「スライドショー」における画像の連続表示間隔等、画像の表示を能動的に制御することを要求する。また、新規な表示動作の開始を必要であるか、あるいはデジタル額縁等のある種の装置において、全く新規な画像の組を装置にロードすることが必要なため、多くの場合表示されている画像または画像の組を変更することも困難である。

米国特許第７，１７４，０２９号に、個人による表示の効果を改良すべく特定のコンテンツ／プログラムを調整するように一人以上の個人の特徴を検知して情報の自動選択および表示を提供するディスプレイを含む方法および装置が開示されている。デジタルカメラ、運動センサ、フロアマットの感圧センサ、音声センサ、ＲＦＩＤカード等を含む検知装置を用いて、人口統計、心理学的属性、コホート群、および属性に基づいて、個人毎に安定している本質的に静的な特徴を検知することができる。個人のこれらの固定的な特徴は、例えば、年齢、性別、髭、眼鏡、および身長等である。この参考文献は、これらの静的特徴を用いて個人のニーズおよび各種製品に対する嗜好の違いに関しては個人を分類することができ、従い、恐らくは異なる広告情報プログラムの画像に反応できるであろうと強調している。個人を分類するために複数の静的特徴を用いる場合であっても、その分類に基づく画像表示は、当該個人が表示との対話している間は変化しない。

Ｂｕｒｒｏｗｓによる２００６年の参照文献「Ｕｂｉｑｕｉｔｏｕｓ ｉｎｔｅｒａｃｔｉｖｅ ａｒｔ ｄｉｓｐｌａｙｓ:ａｒｅ ｔｈｅｙ ｗａｎｔｅｄ ａｎｄ ｉｎｔｕｉｔｉｖｅ？」において、ディスプレイと閲覧者の近接度およびディスプレイに相対的な閲覧者の顔面位置を査定すべくビデオカメラを含む対話型芸術作品展示システムについて記述されている。これらの査定を用いて、閲覧者が芸術作品の展示に近寄るか、立ち止まるか、または離れて行くのに対応して段階的にビデオシーケンスを表示する。この参考文献では、閲覧者の近接度および閲覧者の顔面の検知に基づいて情報を提示している。しかし、個々の閲覧者の特徴、感情、反応、または行動に基づいた情報のカスタマイゼーションは行なわれていない。

これらの参考文献はいずれも、表示されているコンテンツに対する個人の直接的な感情的および行動的な反応だけでなく、ニーズ、嗜好、および異なる種類の情報に反応して処理する能力が、一時的であって。集中的、感情的、精神的、および物理的な状態、特定の活動や対話への関与等の局所的且つ短期的出来事に関係する、個人の外発的および内発的行動条件にかなりの程度依存し得ることを認識も開示もしていない。更に、以下で表示制御と呼ぶ、ペース、繰り返し、方式（静止画、ビデオ、音声、触感）の選択、特殊効果、遷移等の個人化された画像および情報全般を提示する方法および処理も、これら外発的および内発的条件を考慮する必要がある。従い、ユーザーの関心、感情、行動、意図、および社会的且つ環境的事情を認識することで、ユーザーのニーズ、個人的嗜好および関心に反応する対話型システムの有効な特性が得られる。

これらのユーザーの対話的要件を満たす試みにおいて、現行の多くの画像保存および表示システムは、画像をランダムに提示するオプションを提供しているが、そのようなランダム表示はユーザーの現在の精神状態、意図、または閲覧している事情とは無関係な場合がある。個人のある特徴を考慮している場合であっても、そのような特徴は固定的すなわち時間が経っても変化しないため、画像に対する閲覧者の反応を測定する方法が無い。

Ｃｏｍｅｎａｒｅｚ他による米国特許第６，９３１，１４７号「Ｍｏｏｄ ｂａｓｅｄ ｖｉｒｔｕａｌ ｐｈｏｔｏ ａｌｂｕｍ」に、閲覧者の検知された雰囲気に基づく、雰囲気に応じた写真提示を提供するシステムが開示されている。当該方法は、カメラを用いて閲覧者の顔画像を取得し、その表情を雰囲気のリストに関連付けられた表情の予め保存された複数の画像と比較することにより閲覧者の雰囲気を判定するパターン認識アルゴリズムを用いて画像を解析し、閲覧者の表情に関連付けられた感情的な識別に基づいて記憶装置から写真の組を取り出すステップを含んでいる。当該システムは、カメラ、ユーザーインターフェース、閲覧者の雰囲気を判定するために用いる予め選択された顔表情画像の組と比較すべく閲覧者の顔画像を解析するプロセッサ、および閲覧者の雰囲気に対応するデジタル写真の組の表示に用いるディスプレイを含んでいる。

米国特許第７，２３６，９６０号明細書 米国特許第５，９４６，４４４号明細書 米国特許第６，６０８、５６３号明細書 米国特許出願公開第２００７／０１７７８０５号明細書 米国特許出願公開第２００７／００９８３０３号明細書 米国特許出願公開第２００４／０１２６０３８号明細書 米国特許出願公開第２００４／０１２６０３８号明細書 米国特許第７，１７４，０２９号明細書 米国特許第６，９３１，１４７号明細書

Ｂｕｒｒｏｗｓ，"Ｕｂｉｑｕｉｔｏｕｓ ｉｎｔｅｒａｃｔｉｖｅ ａｒｔ ｄｉｓｐｌａｙｓ:ａｒｅ ｔｈｅｙ ｗａｎｔｅｄ ａｎｄ ｉｎｔｕｉｔｉｖｅ？"，２００６ Ｒ．Ｊ．Ｐｒａｎｃｅ、Ｓ．Ｂｅａｒｄｓｍｏｒｅ−Ｒｕｓｔ、Ａ．Ａｙｄｉｎ、Ｃ．Ｊ．ＨａｒｌａｎｄおよびＨ．Ｐｒａｎｃｅ、" Ｂｉｏｌｏｇｉｃａｌ ａｎｄ ｍｅｄｉｃａｌ ａｐｐｌｉｃａｔｉｏｎｓ"，Ｐｒｏｃ．ＥＳＡ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｎ Ｅｌｅｃｔｒｏｓｔａｔｉｃｓ ２００８，Ｐａｐｅｒ Ｎ２ Ｊｏｎｅｓ，Ｍ．Ｊ．；Ｖｉｏｌａ，Ｐ．，"Ｆａｓｔ Ｍｕｌｔｉ−ｖｉｅｗ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ"，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｊｕｎｅ ２００３ Ａ．Ｓａｖａｋｉｓ，Ｍ．Ｅｒｈａｒｄ，Ｊ．Ｓｃｈｉｍｍｅｌ，Ｊ．Ｈｎａｔｏｗ，"Ａ Ｍｕｌｔｉ−Ｃａｍｅｒａ Ｓｙｓｔｅｍ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ"，Ｐｒｏｃ．ＳＰＩＥ Ｄｅｆｅｎｓｅ ａｎｄ Ｓｅｃｕｒｉｔｙ Ｓｙｍｐｏｓｉｕｍ，Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｍｐｕｔｉｎｇ：Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖ，Ｏｒｌａｎｄｏ，ＦＬ，Ａｐｒｉｌ ２００７ Ａ．Ｔｏｒｒａｌｂａ，Ａ．Ｏｌｉｖａ，Ｍ．Ｃａｓｔｅｌｈａｎｏ，Ｊ．Ｍ．Ｈｅｎｄｅｒｓｏ，"Ｃｏｎｅｘｔｕａｌ Ｇｕｉｄａｎｃｅ ｏｆ Ａｔｔｅｎｔｉｏｎ ｉｎ Ｎａｔｕｒａｌ ｓｃｅｎｅｓ：Ｔｈｅ ｒｏｌｅ ｏｆ Ｇｌｏｂａｌ ｆｅａｔｕｒｅｓ ｏｎ ｏｂｊｅｃｔ ｓｅａｒｃｈ"（Ｐｓｙｃｈｏｌｏｇｉｃａｌ Ｒｅｖｉｅｗ．ＶｏＩ １１３（４）７６６−７８６、Ｏｃｔ，２００６） Ｓｈｉｍｏｊｏ ｅｔ ａｌ．"Ｇａｚｅ ｂｉａｓ ｂｏｔｈ ｒｅｆｌｅｃｔｓ ａｎｄ ｉｎｆｌｕｅｎｃｅｓ ｐｒｅｆｅｒｅｎｃｅ"，Ｎａｔｕｒｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，６，ｐｐ．１３１７−１３２２，２００３ Ａ．Ｇａｌｌａｇｈｅｒ，Ａ．Ｂｌｏｓｅ，Ｔ．Ｃｈｅｎ，"Ｊｏｉｎｔｌｙ Ｅｓｔｉｍａｔｉｎｇ Ｄｅｍｏｇｒａｐｈｉｃｓ ａｎｄ Ｈｅｉｇｈｔ ｗｉｔｈ ａ Ｃａｌｉｂｒａｔｅｄ Ｃａｍｅｒａ"，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），２００９

上述のシステムは、画像を提示して判定された閲覧者の雰囲気に従いそれらを更新することにより閲覧者の顔の表情および導き出された雰囲気に反応するものであり、従い、ユーザー属性の要素に全く関連していないか、あるいは性別や年齢等の安定した特徴に反応する検索機構を用いる現在普及している方法およびシステムの制約を克服することを試みている。しかし、当該システムにはいくつかの短所がある。第一に、これは顔の表情から区別される閲覧者の雰囲気に影響を及ぼすことだけを明示的に指向しているため、閲覧者の感情の顔の表情を取得してこれに反応することにその機能および対話モードを限定している。その結果、動作、会話、特定の行為、環境（事情）条件等、他の有意味な状況およびユーザーの行動から適切な表示内容の修正結果が得られない。例えば、ユーザーが予定されている会議の時刻を確認すべく急ぎ足で対話型表示システムに近づいて来て、且つ遅刻するかも知れないと不安な表情を浮かべている場合、そのようなシステムは、犬の画像と前向きな感情の間の所定の対応関係に基づいて例えばチョコレートまたは犬の画像の前向きな感情を引き出す画像を表示することによりユーザーの雰囲気を変える試みを続けるであろう。

第２に、当該システムにおいて感情は、ビデオカメラを介して得られるユーザーの顔画像に基づいて認識される。しかし、他のユーザー関連信号から導き引き出すことができる複数の感情的な反応が存在する。そのような信号は特に、例えばジェスチャー、手および体の姿勢、歩調、音声および発話信号、生物電気信号、および眼球運動に対応している。

第３に、ユーザーの関与および関心を検知および監視する方法が無いため、そのような表示システムは、ユーザーの関与に反応してこれを維持する能力に限定される。例えば、当該システムは、ユーザーがディスプレイを見ていて、システムとの対話に関心があるか否かを推定する手段を有していない。

第４に、当該システムは、異なる閲覧者同士を区別する手段を有していない。このように、異なる家族メンバーが同一画像に対して異なる対話ニーズおよび感情的な反応を有することが認識されない。

例えば、幼い子供やティーンエイジャーは恐らく自分の画像を見ることに肯定的に反応して大いに関心を示すが自分以外の家族の画像を見ることには余り関心を示さないのに対し、大人は自分の子供の画像を楽しむであろう。

本発明は、モダリティの検知、個々のニーズおよび対話意図に合わせた魅力的な対話機能の提供、および所定の時間にわたるユーザーの動作に関連する行動、顔面その他のモダリティの変化に基づいて画像、マルチメディアおよび他の情報提供資料の提示することによるユーザーへの反応を組み合わせることにより、ユーザーの属性および反応を認識する手段に基づいてこれらおよび他の短所を克服するものである。すなわち、マルチメディア、ビデオ、および表示システムが知的な方法で閲覧者の対話意図、精神状態、および属性特徴を適切に考慮できるようにする他の情報プログラムを提示して対話する知的な方法である。

本発明は、従来技術のこれらおよび他の問題に対処して解決策を提供するものである。

本発明は、画像閲覧者の行動的および感情的な反応を通じて表される閲覧者の属性、意図、および動作の態様の検知および解釈に従い画像および情報プログラムを選択および表示する装置、システム、および方法を指向するものであり、画像または情報プログラム表示装置に表示させるべく画像または情報プログラムのライブラリから少なくとも１個の画像または情報プログラムを選択する表示、推定、および制御機構、並びに閲覧者の対話意図および現在表示されている画像または情報プログラムに対する反応を判定して現在表示されている画像に対する閲覧者の反応を識別する応答出力を提供する画像または情報プログラムの制御機構を含んでいる。

閲覧者の意図および反応に従い画像および情報プログラムを表示する本発明は、画像表示装置の閲覧者を潜在的に含む空間領域の閲覧者画像を取得する撮像装置と、閲覧者画像を解析して潜在的閲覧者が表示画面を見ているか、または表示を見て対話するつもりであるかを判定する閲覧者検知機構とを含んでいる。撮像装置は、閲覧者のマルチモーダル画像を取得する音声、運動、近接度、熱、電磁場、および化学センサを含む多数のセンサを含んでいる。本発明は、閲覧者の顔の表情、ボディーランゲージ、行動的表現、ジェスチャー、および注視（閲覧者の電子カレンダ、予定表または同様のデータベースあるいは他の何らかの手段によりシステムが知り得る過去の反応の履歴および将来の行動に関する情報と組み合わせて）から明らかになる閲覧者の行動的、身体的、および感情的な反応並びに嗜好の解析により、閲覧者の属性、対話意図、および現在表示されている画像および／または情報プログラムに対する反応を識別する頭部、顔面、目、およびボディーランゲージに関する行動解析機構を含んでいる。表示する画像または情報プログラムの選択は次いで、示された閲覧者の反応に従い、必要に応じて修正される。

本発明は、画像閲覧者の顔面に表れた反応に従い表示すべき画像を選択する画像表示機構であって、画像表示装置に表示させるべく画像ライブラリから少なくとも１個の画像を選択する表示制御機構と、現在表示されている画像に対する閲覧者の反応を判定して現在表示されている画像に対する閲覧者の反応を識別する応答出力を提供する画像制御機構とを含んでいる。

本発明はまた、画像表示装置に表示させるべく画像ライブラリから少なくとも１個の画像を選択する表示制御機構と、および現在表示されている画像に対する閲覧者の注目度を判定して、現在表示されている画像に対する閲覧者の顔の表情および行動的な反応の少なくとも一方に従い応答出力を提供する画像制御機構とを含んでいて、画像閲覧者の顔の表情および行動的な反応に従い表示すべき画像を選択する画像表示機構にも関する。

本発明は更に、画像表示装置に表示させるべく画像ライブラリから少なくとも１個の画像を選択するステップと、画像閲覧者の顔の表情および注視パターンの解析により現在表示されている画像に対する閲覧者の反応を判定して、現在表示されている画像に対する閲覧者の反応に基づく応答出力を提供するステップとを含む、画像閲覧者の顔の表情および行動的な反応に従い表示すべき画像を選択する方法に関する。

本発明はまた更に、少なくとも１組の画像内の少なくとも１個の画像を保存する画像ライブラリと、画像ディスプレイと、画像ディスプレイに表示させるべく画像ライブラリから少なくとも１個の画像を選択する表示制御機構と、現在表示されている画像に対する閲覧者の反応を判定して、現在表示されている画像に対する閲覧者の反応に従い応答出力を提供する画像制御機構とを含み画像表示装置に関する。

本明細書は特に本発明の主題を指摘して明示的に権利請求する請求項で締め括られているが、本発明は添付の図面と合わせて以下の説明からよりよく理解されよう。

例示的な画像表示装置の構成図である。 画像表示装置の電子部品およびメモリ制御装置の構成図である。 画像表示制御機構の構成図である。 閲覧者の存在検知および閲覧者の注視判定のフロー図である。 注視判定に基づいて注意および閲覧意図を評価するフロー図である。

上で簡潔に述べたたように、本発明は、画像および情報プログラムを適応的に選択および表示する、より具体的には、閲覧者の感情的な反応または、画像または情報プログラムの閲覧者の推定された意図あるいは願望を含む画像閲覧者の検知された存在および反応に従い、サービスプロバイダに接続された電子フレーム、パーソナルコンピュータまたはコンピュータ／端末、フラットパネルディスプレイまたは携帯電話やＰＤＡを含む個人携帯機器のディスプレイ等の画像表示システムまたは装置におけるビデオクリップ等の個別画像および連続画像の両方を含む画像を選択および表示する方法およびシステムに関する。

図１、２に各々、本発明が実装された例示的な画像表示装置１０、画像表示装置１０に搭載された画像表示システム１２、および画像表示システム１２に搭載された画像表示制御機構１２Ｃの構成図を示す。図１、２および３に示す例示的な画像表示装置１０、画像表示システム１２、および画像表示制御機構１２Ｃは、例えば電子デジタル画像フレームディスプレイを含んでいるように表されているが、パーソナルコンピュータ、遠隔サービスプロバイダから接続される端末として機能するパーソナルコンピュータ、ノートブックコンピュータまたはノートパッドあるいはｉＰｏｄまたは電話型機器等の携帯機器等、静止および連続画像を表示可能な任意のシステムまたは装置を含んでいてよい。

図１に示すように、表示装置１０とも称される例示的な画像表示装置１０は、例えば、フラット表示画面１０Ｂを支持するフレーム１０Ａ、表示画面１０Ｂに接続されていて画像および情報プログラム１０Ｅの１個以上の組１０Ｄを保存して表示画面１０Ｂを介して表示する電子部品およびメモリ装置１０Ｃ、並びに電子部品およびメモリ装置１０Ｃに接続されていて装置１０をユーザーが直接制御すべく所定のデータをデータ記憶媒体に保存可能なローカル制御入力部１０Ｆを含んでいる。表示装置１０は更に、サービスプロバイダ１０Ｊへの接続部１０Ｉ等、電子部品およびメモリ装置１０Ｃに接続されていてリモートノード１０Ｈから画像および情報プログラム１０Ｅをダウンロードする無線モデム１０Ｇ、電子部品およびメモリ装置１０Ｃに接続されたディスクドライブ装置等のローカル媒体機器１０Ｋ、または電子部品およびメモリ装置１０Ｃと何らかの形式のパーソナルコンピュータ等のローカル画像ソース１０Ｍとの間の接続部１０Ｌを含んでいてよい。

本発明によれば、表示装置１０は、デジタルカメラまたは撮像センサ、またはデジタルカメラの組、あるいは撮像センサ等の撮像装置１０Ｎを更に含んでいて、波長の可視範囲で動作できるかまたは赤外線等のより広範囲の波長を検知できる。また、デジタルカメラは、環境のスペクトル画像を取得可能なマルチまたはハイパースペクトルカメラ、または光スペクトルのいくつかの範囲で動作するデジタルカメラの組合せであってよい。表示装置１０は更に、以下に詳述するように、表示装置１０を制御すべく電子部品およびメモリ装置１０Ｃに画像およびデータ入力１０Ｏを提供する他の電子および／または化学センサ１０Ｐを含んでいてよい。表示装置１０および表示システム１２の他の要素、例えば各種方式の電力供給およびそれらの各種の実装が装置１０およびシステム１２に含まれるが、そのような要素は従来技術では公知であるため更なる説明は割愛することを当業者には理解されよう。

図２を参照するに、電子部品およびメモリ装置１０Ｃは通常、例えば無線モデム１０Ｇを介してリモートノード１０Ｈから、接続部１０Ｉを介してサービスプロバイダ１０Ｊから、ローカル媒体機器１０Ｋから、またはローカル画像ソース１０Ｍから受信した画像および情報プログラム１０Ｅの１個以上の組１０Ｄを保存するメモリ１２Ａを含んでいる。メモリ装置１０Ｃにはまた、装置１０の一般的な動作を制御するプログラムモジュールを通常含むシステム制御機構１２Ｂと、後述するように画像１０Ｅの選択および表示を制御するプログラムモジュールを通常含む画像表示制御機構１２Ｃとが存在する。システムおよび画像表示制御機構１２Ｂ、１２Ｃはプロセッサ装置１２Ｄを制御し、当該プロセッサ装置１２Ｄは次いでメモリ１２、フラット表示画面１０Ｂ、撮像装置１０Ｎ、ローカル制御入力１０Ｆの電子および／または化学１０Ｐセンサ等、無線モデム１０Ｇ、サービスプロバイダ１０Ｊへの接続部１０Ｉ、ローカル媒体機器１０Ｋ、および装置１０に実装可能なローカル画像ソース１０Ｍの動作を制御する。

プロセッサ装置１２Ｄ、メモリ１２Ａ、フラット表示画面１０Ｂ、ローカル制御入力１０Ｆ、無線モデム１０Ｇ、サービスプロバイダ１０Ｊへの接続部、ローカル媒体機器１０Ｋ、およびローカル画像ソース１０Ｍを制御するシステム制御機構１２Ｂの構造、機能、および動作は当業者には公知であるため、本明細書ではこれ以上詳しく記述する必要がない。従って以下の説明は、画像および情報プログラム１０Ｅの選択および表示を制御する画像表示制御機構１２Ｃの構造、機能、および動作に焦点を当てる。

従って図３に示すような画像表示制御機構１２Ｃを参照するに、通常は複数のプログラムモジュールを含んでいて、以下に複数のプログラムモジュールを含む前提で図示および議論する画像表示制御機構１２Ｃは、表示すべき画像および情報プログラム１０Ｅの１個以上の組１０Ｄから選択する画像および情報プログラム１０Ｅの画像識別子１４Ｂを含む画像リスト１４Ａに反応する表示制御機構１４を含んでいる。この点に関して、以下に詳述するように、表示制御機構１４は、例えば表示されている画像および情報プログラム１０Ｅの異なる潜在的閲覧者、または表示されている画像および情報プログラム１０Ｅの異なるテーマ、話題、または主題に関連付けられた複数の画像リスト１４Ａを含んでいてよい。

表示制御機構１４はまた、選択された画像および情報プログラム１０Ｅをいつどのように表示画面１０Ｂを介して表示するかを制御する表示パラメータ１４Ｄを含む表示定義事項１４Ｃも含んでいてよい。表示パラメータ１４Ｄは、例えば、画像および情報プログラム１０Ｅを規定されたシーケンスで、または無作為に選択して表示するか否か、連続画像間のタイミング、シーケンス内の画像数、フェードイン／フェードアウト、ズームイン／ズームアウト等の画像間遷移、または他の表示遷移、例えば、閲覧者が画面を見ていることが検知された際の周辺明度の調整、識別された閲覧者の嗜好に応じたディスプレイ全体および画像固有の明度および色レンダリングの変更、表示背景および音声付加等の補助表示パラメータを含む、閲覧者の嗜好に合わせたグラフィカルユーザーインターフェースの自動変更等が含まれていてよい。しかし、これらの機構は当業者によく理解されていて、各種のよく知られた方法および製品のいずれを用いても実装可能であるため、表示制御機構１４についてこれ以上詳細に記述する必要はない。

しかし、画像表示制御機構１２Ｃは更に、図に示すように、閲覧者の注意、感情的および行動的な反応に従い表示制御機構１４を制御して、注意、感情的および行動的信号におけるそのような変化、すなわち一定期間内の閲覧者の一時的な注意、感情的および身体的なジェスチャーまたは動作に対して当該装置およびシステムがどのように反応すべきかを判定する画像制御機構１６を含んでいる。これらの特徴は、表示される画像および情報プログラム１０Ｅの選択、例えば表示シーケンス開始等の少なくともいくつかの表示動作パラメータ、色および明度レンダリング、表示シーケンスの種類および間隔等の少なくともいくつかの表示パラメータを動的に適応させる。本発明によれば、画像制御機構１６は、画像閲覧者の検知された存在、注意、行動的および感情的な反応、あるいは推定された意図または願望に従い、且つ閲覧者による直接的または意識的な入力が無くてもそのような画像制御パラメータを制御する。

これらの目的のため、画像制御機構１６は、典型的には例えば１個以上のデジタルカメラまたは撮像センサ、および音響、運動、振動、温度、電子場、化学または近接度センサ等の電子センサ１０Ｐである撮像装置１０Ｎを含んでいてこれに接続されている。撮像装置１０Ｎはフレーム１０Ａの上または内部に搭載されていて、閲覧者の身体、顔面、および表示画面１０Ｂに近づいているかまたは観察している閲覧者の特徴を含んでいる確率が高くなるように選択された、フレーム１０Ａ前方の空間を検知、視認、および走査する。

図３に示すように、画像制御機構１６は撮像装置１０Ｎから閲覧者画像１６Ａを受け取り、閲覧者画像１６Ａは後述する解析のため画像制御機構１６の画像解析機構１６Ｂへ渡される。上で示したように、閲覧者画像１６Ａは、閲覧者が実際に存在する場合に表示画面１０Ｂの閲覧者の身体、頭部、顔面および特徴を含む確率が比較的高くなるように選択されているフレーム１０Ａ前方の空間の画像である。閲覧者画像１６Ａは、後述する画像解析装置１６Ｂの動作および閲覧者の外見および画像１０Ｅに対する閲覧者の反応に対する画像制御機構１６の望ましい反応時間に応じて周期的または連続的に更新することができる。

図３に示すように、画像解析機構１６Ｂの画像解析手順１６Ｃは、閲覧者画像１６Ａに対して一連の画像解析動作を繰り返し実行して表示画面１０Ｂを介した画像および／または情報プログラム１０Ｅの表示を連続的且つ動的に制御する。例えば、閲覧者検知処理１８Ａは現在の閲覧者画像１６Ａの内容を解析し、通常は閲覧者画像１６Ａの形態およびスペクトルヒストグラムの解析により、現在の閲覧者画像１６Ａ画像が、顔面または頭部として識別可能な画像または領域を含んでいるか否か、およびそれにより表示画面１０Ｂの潜在的な閲覧者が含まれるか否かを判定する。閲覧者検知処理１８Ａが、所定の確率閾値を超えて閲覧者画像１６Ａが表示画面１０Ｂの潜在的閲覧者を含んでいるか恐らく含んでいるものと判定したならば、閲覧者識別処理１８Ａは閲覧者存在２０Ａを生成する。閲覧者存在出力２０Ａは次いで、例えば閲覧者画像１６Ａ解析処理における次のステップを開始し、この場合も例えば表示画面１０Ｂを介して画像および情報プログラム１０Ｅの初期表示を開始することができる。

閲覧者存在出力２０Ａを受け取ったならば、顔面識別処理１８Ｂは次いで、現在の閲覧者画像１６Ａを解析し、この場合も通常は閲覧者画像１６Ａの形態およびスペクトルヒストグラムの解析により、閲覧者画像１６Ａが顔面として識別可能な領域または画像を含んでいるか否かを判定する。本処理により、閲覧者画像１６Ａの領域が顔面を含んでいることを識別したならば、顔面識別処理１８Ｂは、顔面が検知されたことを示し、且つ閲覧者画像１６Ａの対応する領域を識別する顔面識別出力２０Ｂを生成する。

画像解析手順１６Ｃは更に、閲覧者撮像装置１０Ｎにより撮像された空間領域に存在する閲覧者を個別に識別することを試みる閲覧者識別処理１８Ｃを含んでいて、存在する閲覧者が分かっていれば、１個以上の対応する画像リスト１４Ａまたは画像識別子１４Ｂとマッチングして、当該閲覧者に関連付けられた画像および／または情報プログラム１０Ｅの表示を開始することができる。当該マッチングまたは関連付けは各種の方法、例えば閲覧者の名前、各種形式の閲覧者ＩＤ、閲覧者の外見、閲覧者と所定の関係を有する他人および物品、または他の適当な形式の関連付けにより行うことができる。しかし、画像に対する閲覧者の検知された反応に従い画像の表示を制御するために画像解析手順１６Ｃが閲覧者識別処理１８Ｃを含んでいる必要がないことが認識されよう。

この目的のため、閲覧者識別処理１８Ｃは、顔面識別出力２０Ｂを受け取ったならば、閲覧者画像１６Ａを解析し、この場合も通常は閲覧者画像１６Ａの形態およびスペクトルヒストグラムの解析により、閲覧者画像１６Ａに存在する顔面の固有の特徴を識別する。閲覧者識別処理１８Ｃは次いで、閲覧者画像１６Ａから識別された顔特徴を、閲覧者顔面ライブラリ１６Ｄに保存されている以前に識別された１個以上の閲覧者顔特徴と比較し、対応する閲覧者識別出力２０Ｃを生成して表示制御機構１４に渡すことができる。閲覧者識別処理１８Ｃにより閲覧者画像１６Ａに特定の閲覧者が存在することが識別されたならば、表示制御機構１４は画像リスト１４Ａを選択するか、または各種の形式および関連付け規則を介して識別された閲覧者に対応する画像または情報プログラム１０Ｅ、あるいは画像または情報プログラム１０Ｅの１個以上の組１０Ｄを適宜選択すべく画像リスト１４Ａ修正することができる。特定の実施形態において、当該関連付けは、閲覧者の外見と画像および／または情報プログラム１０Ｅで表された人物の外見とのマッチング、およびマッチング結果に基づく画像の選択を利用するか、あるいは他の実施形態において、画像および情報プログラム１０Ｅの追加的な解析を実行して、人物、動物被写体、または出来事等、閲覧者と共に画像に最も頻繁に登場する撮像された被写体を発見して閲覧者の関係および嗜好を推定することができる。また、閲覧者に関連付けられた画像および／または情報プログラムを解析して、それらに共通する特徴および特性、例えば色の分布、コントラスト、明度に関する低レベルの特性、屋内／屋外等の撮影場所、例えばビーチ等の場所、地理的位置、ロマンス、スポーツ等のテーマ等を判定して、画像および／または情報プログラムと閲覧者および閲覧者の反応とのマッチングおよび関連付けに対する新たな規則を確立することができる。閲覧者識別処理１８Ｃが、閲覧者画像１６Ａ内で識別された顔特徴に合致する特定の閲覧者を識別ができなかった場合、閲覧者識別出力２０Ｃがこの事実を表している。表示制御機構１４は次いで、画像リスト１４Ａを選択するか、あるいは１個以上の無作為または既定値の画像およびまたは情報プログラム表示の１０Ｅ、あるいは画像およびまたは情報プログラム１０Ｅの組１０Ｄを表示すべく画像リスト１４Ａを修正することができる。

最後に、閲覧者の検知および識別処理に関して、無線周波数識別（ＲＦＩＤ）チップまたは潜在的閲覧者がもたらす他の識別信号等、画像解析以外の方法を用いて閲覧者の存在および識別を判定してもよい点に注意されたい。

閲覧者存在出力２０Ａはまた、画像理解方法を用いて閲覧者画像１６Ａに存在する閲覧者の他の顔特徴のうち目および目の瞳孔を含む顔特徴を検知する視線処理１８Ｄにも渡される。視線処理１８Ｄはこの情報を用いて閲覧者が表示画面１０Ｂおよび現在そこに表示されている画像または情報プログラム１０Ｅを実際に見ているか否かを判定し、そうであれば、対応する表示観察出力２０Ｄを生成する。

表示観察出力２０Ｄが、閲覧者が表示画面１０Ｂおよびそこに表示されている画像または情報プログラム１０Ｅを実際に見ていることを示している場合、閲覧者反応処理１８Ｅは顔の表情解析アルゴリズムを用いて、特に表示されている画像および／または情報プログラム１０Ｅに対する閲覧者の感情的な反応を含む、表示されている画像および／または情報プログラム１０Ｅに対する閲覧者の反応を少なくともある程度確認する。表示されている画像および／または情報プログラム１０Ｅに対する閲覧者の感情的な反応に関連する情報は次いで、表示されている画像および／または情報プログラム１０Ｅに関する閲覧者の願望または意図の推定に利用可能な情報を含んでいる。

閲覧者反応処理１８Ｅは、現在表示されている画像および／または情報プログラム１０Ｅに対する閲覧者の反応を表す閲覧者応答出力２０Ｅを生成し、応答出力２０Ｅは表示制御機構１４に渡される。表示制御機構１４は次いで、適宜現在の画像リスト１４Ａを修正するか、または表示されている画像および／または情報プログラム１０Ｅに対する閲覧者の反応を最適化する画像および／または情報プログラム１０Ｅ、あるいは画像または情報プログラム１０Ｅの１個以上の組１０Ｄを選択すべく画像リスト１４Ａを選択する。

例えば、現在の画像リスト１４Ａ内で識別された画像および／または情報プログラム１０Ｅに対する閲覧者の反応が一般に肯定的である場合、表示制御機構１４は、現在の画像リスト１４Ａ内で識別された画像および／または情報プログラム１０Ｅの表示を続けることができる。閲覧者の反応は、閲覧者の顔特徴、体の位置、頭部および身体の姿勢、ディスプレイへ向かうまたはそこから離れる移動、立ち止まる、歩き回ることを含む動き等のボディーランゲージ特徴、および／または笑い、感嘆、コメント等の動作、音声および言語的反応という行動的表現において検知された一時的な変化と理解され、これらの変化は、例えば、閲覧者の顔の表情が笑いの無い、すなわちニュートラルな表情から微笑み、すなわち幸福な表示に変化するように、通常は閲覧者が画像および／または情報プログラム１０Ｅを見ている所定の極めて短い時間スパン内で生じる。

しかし、閲覧者の反応が所定の時間スパンで否定的な傾向がある場合、表示制御機構１４は、例えば、且つ上述のように画像リストに１４Ａ関連付けられていて表示制御機構１４に保存された閲覧者嗜好情報により恐らくは誘導された、他の画像および／または情報プログラム１０Ｅ、あるいは画像および／または情報プログラム１０Ｅの別の組１０Ｄを選択することができる。

閲覧者の反応が混合している傾向がある場合、表示制御機構１４は、画像リスト１４Ａを修正して否定的な反応に関連付けられた画像識別子１４Ｂを他の画像識別子１４Ｂと代替することにより、当該閲覧者に関連付けられる新たな画像リスト１４Ａを効果的に生成することができる。例えば、現在表示されていて好ましい反応を受け取る画像１０Ｅに類似した画像を求めて画像および情報プログラム１０Ｅ、あるいは画像および情報プログラム１０Ｅの組１０Ｄを探索することにより、新たな画像および／または情報プログラム１０Ｅ、あるいは画像および／または情報プログラム１０Ｅの組１０Ｄを選択して、好ましくない反応を受け取る画像および／または情報プログラム１０Ｅを代替する処理を実行することができる。当分野でよく知られ且つ理解されているように、類似の画像は、例えば共通または類似の日付、時間、および取得場所、例えば色ヒストグラム、テクスチャまたは領域等の類似の低レベル機能、例えば画像形態に基づく類似の内容、構図または遠近法等の美的属性、およびテーマ、出来事、特定の対象、場所またはシーン等の意味論的属性を備えた画像を求めることにより識別することができる。

最後に、表示すべき画像の選択に関して、上述のように、所与の閲覧者の反応に従う画像の１個以上の組１０Ｄの変更により、当該閲覧者に合わせて調整された画像および／または情報プログラム１０Ｅを含む新たな組１０Ｄが得られる点に注意されたい。また、画像および／または情報プログラム１０Ｅの１個以上の組１０Ｄの内容を変更する必要がなく、その代わり、例えば対応する画像リストの１４Ａの対応する画像識別子１４Ｂに対応するデータを追加することにより、肯定的、否定的、またはその中間であるかに拘わらず、組１０Ｄの画像１０Ｅに対する閲覧者の反応に着目できる点にも注意されたい。そのような処理から得られた画像リスト１４Ａは、これにより、１個以上の画像リスト１４Ａの１０Ｅ画像に対する閲覧者の反応を集計または調査することができる。また、画像リスト１４Ａは必ずしも、肯定的な結果を有するリストを提供するためだけに変更される訳ではなく、閲覧者が否定的または中立的な反応を示した画像１０Ｅの組１０Ｄを提供すべく変更することにより、閲覧者が好む画像のリストではなく閲覧者が好まない画像のリストを形成してもよい点に注意されたい。

本発明の別の実施形態において、上述のシステムは、１台のホームに存在するかまたは多くの場所に分散された画像フレーム（１個以上の他の接続されたフレームと対話している閲覧者の存在、感情、行動的反応の検知に基づいて、接続されたフレームの少なくとも一部で内容が異なる）等の接続されたディスプレイのネットワークに組み込むことができる点を理解されたい。例えば、閲覧者が自分の配偶者の画像を見て微笑み、その結果、仕事中の妻の机上に置かれた閲覧者のディスプレイに接続された別のディスプレイ画像フレームが彼女の夫の画像を表示する。このように、上述のシステムは、感情的および行動的反応を「あなたのことを思っている」画像の送信として伝える。

別の関連する実施形態において、本対話型システムは、ユーザーの感情、意図、行動、および事情に応じて多くの動作オプションをユーザーに提示する。例えば、閲覧者がソファーからディスプレイを見ていて疲れている場合（時刻、ユーザーの外見および状況、すなわちソファーから推察されるように）、ディスプレイは最終的な選択のオプションとしてリラックスした余暇的な閲覧のためにいくつかの情報プログラムを提案する。動作オプション実施形態の別の例において、食事中のユーザーが個人用ディスプレイを眺め、システムは、最新のビデオ、電子メールまたは他のメッセージをレビューして、それらの扱い方、すなわち閲覧、反応、削除、保存等の命令を与える。

現在記述しているシステムの他の態様は、複数の画像を直ちに表示し、次いで閲覧者の感情的および行動的な動作に従いそれらを再配置して関心および注意の対象である項目を強調するようにズームするプレゼンテーションモダリティの潜在的能力を含んでいる。知的フレームシステムへの他の種類の反応には以下のものが含まれる。すなわち、近傍での存在の検知に基づいてシステムを休眠状態から復帰させるかまたはコンテンツを変更する、ユーザーに最新媒体／画像メッセージを提示する、媒体アニメーションを提示する、例えば静止画像として表されたビデオの再生および／またはコンピュータグラフィックの追加、注目している閲覧者により多くの特定の被写体を提示すべく被写体のリンクを辿る、音楽の再生または音楽の変更、関心、注意、認識、または理解の確認を遠隔ユーザーに送信する、ユーザーＩＤの認識に基づいて個人化されたコンテンツを表示する、ユーザーの感情に反応する、画像内の閲覧者を反映させながら、強調、誘導、修正等を行い、画像に関する関心深い情報を提供する、他の人物の画像／マルチメディアコンテンツに接続する、関連する画像およびマルチメディアを持ち込んで媒体強調された対話を提供すべくそこに居る人々の会話をサポートすること等である。

本システムが単に閲覧者の顔特徴の認識および解析以上の機能を組み込むことだけでなく、実際にはその解析に複数の追加的な物理的および行動的特徴および要因、特に表示内容に反応する閲覧者の顔の表情以外の生理的行動との対話および変更を指向していることが本発明の重要な態様である。図４および５に関して議論したように、本システムは顔面の認識に先立って、またはこれと合わせて、ステップ１０Ｉ、１０３において閲覧者の存在およびディスプレイに相対的な位置、並びにそのような行動を示す閲覧者の存在および位置の変化を検知して判定する。これは、システムが自身および表示内容を変更して閲覧者の注意およびディスプレイとの対話を継続並びにより良く関与して向上できるように、ユーザーがディスプレイに注目しているか否かの重大な判定における第１のステップである。

本発明の一実施形態において、図４に示すように、本システムは、撮像装置１０Ｎにより、またはビデオ動画、熱、化学品等の１個以上の検知モダリティ１０Ｐ、および運動検知、すなわち近接度、振動、音声および遠隔電場検知により、個人の存在を検知する。ビデオカメラが、上述のように人物および顔面認識アルゴリズムを用いて人間被写体の存在を検知する。ステップ１０３におけるディスプレイに相対的な閲覧者の位置の判定は近接度センサにより行うことができ、例えば低周波電磁場を用いる非接触近接度センサを用いて人物の存在を検知することができる。

受動赤外線センサ（ＰＩＲ）等の運動センサを用いて、人間の閲覧者等、特定の温度を有する赤外線発生源が、壁など他の温度を有する赤外線発生源の前を通過した際に、閲覧者の存在を検知することもできる。また、超音波距離測定器およびレーザー等の距離センサは、前方で最も近くに居る人物または閲覧者の距離を正確に測定することができる。そのようなセンサは一般に、１０センチメートル〜７メートルの範囲の距離を測定できる。

本発明はまた、本質的に振動衝撃センサに基づく運動検知および位置特定システムである振動センサの利用も考慮している。当該システムの動作原理は、移動中の人物は全て、床面の異なる位置に配置されたセンサにより検知される表面に沿って伝播する振動音響波を誘発するという事実に基づいている。データ処理アルゴリズムは、ニューラルネットワークの応用に基づいている。本システムはステップ１０５において、自身は決して気付かれないまま、閲覧者の移動の軌道を定義できるようにする。軌道が重要なのは、閲覧者の速度または軌道の変化に基づく判断処理およびアルゴリズムの開発を可能にするためである。例えば、ディスプレイ平面に垂直な角度で次第にディスプレイに近づく閲覧者は恐らく、ディスプレイに表示されているコンテンツまたは情報に関心を持ち始めているだろう。歩みを遅くすることなくディスプレイ平面に平行な軌道に沿って足早に通り過ぎる閲覧者は恐らく、ディスプレイ上のコンテンツおよび情報に魅力を感じていないだろう。この場合、本システムはステップ１０９において、情報およびコンテンツを変更または修正して、再び位置および軌道に基づいて閲覧者の存在または最初の関心を検知しようと試みてもよい。しかし、ステップ１０３、１０５および１０７はオプションであって代替的な実施形態では割愛でき、直接ステップ１１１における顔の特徴判定へ進んでもよいことに注意されたい。この場合、情報およびコンテンツの変更または修正に関るステップ１０９は、ディスプレイに相対的な閲覧者の位置および表示コンテンツに対する閲覧者の関心の検知を指向する本発明の異なるステップで実行することができる。

音響または音声センサを用いて、ディスプレイの近傍で携帯電話、ＭＰ３プレーヤ等の機器を使用しながら行なう歩行や会話等の人間関連の物理的活動を表す音響信号を検知することができる。電場センサを用いて、人間を示す生物電気活動を検知することにより、人間閲覧者の存在を検知することができる。そのようなセンサの例として、心臓の電気的活動または離れた箇所における他の種類の生物信号を検知可能な新型の、低ノイズ、高入力インピーダンスプローブであってよい。このセンサの記述は、Ｒ．Ｊ．Ｐｒａｎｃｅ、Ｓ．Ｂｅａｒｄｓｍｏｒｅ−Ｒｕｓｔ、Ａ．Ａｙｄｉｎ、Ｃ．Ｊ．ＨａｒｌａｎｄおよびＨ．Ｐｒａｎｃｅによる「Ｂｉｏｌｏｇｉｃａｌ ａｎｄ ｍｅｄｉｃａｌ ａｐｐｌｉｃａｔｉｏｎｓ」，Ｐｒｏｃ．ＥＳＡ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｎ Ｅｌｅｃｔｒｏｓｔａｔｉｃｓ ２００８，Ｐａｐｅｒ Ｎ２に見られる。

閲覧者の検知および相対位置および／または速度が得られて判定されたならば、本システムは、ユーザーがディスプレイに注目しているか否かをより詳細に判定しようと試みる。表示されている情報にユーザーまたは閲覧者が魅力を感じているかまたは注目しているか否かを判定する好適な方法は、閲覧者の注視がディスプレイに向けられているか否かを検知することである。このために、ステップ１１１において表示システムの一部をなすビデオカメラその他の撮像装置により閲覧者の顔画像が取得されて顔特徴検知が実行される。人間の顔面を検知する方法は、デジタル画像処理分野で公知である。例えば、画像内で人間の顔を見出す顔面検知方法が以下の記事に記載されている。Ｊｏｎｅｓ，Ｍ．Ｊ．；Ｖｉｏｌａ，Ｐ，「Ｆａｓｔ Ｍｕｌｔｉ−ｖｉｅｗ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ」，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｊｕｎｅ ２００３。

本システムにより顔面の位置が識別されたならば、顔特徴（例：目、鼻、口等）もまた、例えば口、目および虹彩／強膜境界の位置を特定するテンプレートマッチングによるエネルギー最小化を含む公知の方法を用いて特定することができる。顔特徴はまた、動的形状モデルを用いて、および好適な実施形態において、ステップ１１３で目、口、鼻、眉等に関する多数の顔特徴点を識別し、輪郭、すなわち閲覧者の目、口および鼻の形状および全体的な顔面構造を定義するアルゴリズムに従い、人間の顔の有効な形状モデルに基づいて顔特徴点を特定する方法を用いて見出すことができる。閲覧者の特徴の輪郭および全体的な顔面構造、顔面の比率および対称データに関する知識に基づいて、ステップ１１５においてカメラに相対的な、従って表示されているコンテンツに相対的な閲覧者の頭部姿勢を推定することができる。オプションとして、表示されているコンテンツに関連付けられ得る閲覧者の頭部姿勢に何らか変化があれば検知を試みるべく、頭部姿勢の推定に続いてコンテンツの変更および修正を行うことができる。

頭部姿勢は、ヨー、ピッチ、およびロールの３個の角度成分を含んでいる。ヨーは、頭部が垂直軸の回りに右または左に回転した角度を指す。ピッチは、頭部が横軸の回り上または下に向けられた角度を指す。ロールは、頭部が前頭面に垂直な軸の回り右または左に傾けられた角度を指す。ヨーおよびピッチは、顔が向いている方向が前頭面に関して変化するため、面外回転と呼ばれる。対照的にロールは、顔が向いている方向が前頭面に関して変化しないため、面内回転と呼ばれる。

姿勢を推定するモデルに基づく技術は通常、画像から個人の３次元頭部形状を再形成および生成し、次いでステップ１１７〜１２１で所定の３次元モデルを用いて頭部の向きを推定する。本システムの好適な実施形態において、最初にエッジ曲線（例：目、唇、および眉の輪郭）を３次元モデル用に定義する。次に、モデル内で定義されたものに対応する曲線を求めて入力画像を探索する。ステップ１１９においてモデル内のエッジ曲線と入力画像の間の対応関係を確立した後で、各種の姿勢角度を介して３次元モデルを反復的に調整して、入力画像に最も近い曲線適応を示す調整を決定することによりステップ１２１で頭部姿勢が推定される。最も近い曲線適応を示す姿勢角度が入力画像の姿勢角度であると判定される。このように、複合３次元モデルの閲覧者輪郭は、３次元モデルの精度および閲覧者の識別制度を向上させる更なる姿勢推定のための重要なツールである。

代替的な実施形態において、ステップ１１３〜１２１で実行されたモデルに基づく姿勢推定に代えてまたは加えて、外見に基づく方法、特徴に基づく技術、またはいくつかの技術の組合せを姿勢推定のために用いることができる。外見に基づく姿勢推定技術は、個人の頭部を、既知の方向を向いた顔面のテンプレート画像の集合と比較することにより、頭部姿勢を推定することができる。個人の頭部は、それが最も良く似ているテンプレート画像と同じ方向を共有するものと考えられている。他の外見に基づく技術はニューラルネットワークまたはサポートベクトルマシンあるいは他の分類方法を用いて頭部姿勢を分類する。姿勢推定の特徴に基づく方法は、Ａ．Ｓａｖａｋｉｓ、Ｍ．Ｅｒｈａｒｄ、Ｊ．Ｓｃｈｉｍｍｅｌ、およびＪ．Ｈｎａｔｏｗによる論文「Ａ Ｍｕｌｔｉ−Ｃａｍｅｒａ Ｓｙｓｔｅｍ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」，Ｐｒｏｃ．ＳＰＩＥ Ｄｅｆｅｎｓｅ ａｎｄ Ｓｅｃｕｒｉｔｙ Ｓｙｍｐｏｓｉｕｍ，Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｍｐｕｔｉｎｇ：Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖ，Ｏｒｌａｎｄｏ，ＦＬ，Ａｐｒｉｌ ２００７に記載されている。当該論文において、両目および口の抽出により人間の生物的制約に付随する幾何学モデルからヨーの推定につながる一方、ピッチおよびロールは小さいと仮定される。

頭部姿勢推定が極めて重要なのは、これをステップ１２３における注視判定および閲覧者がディスプレイの方を見ているか否かの判定に用いることができためである。これは、注視方向が通常は頭部姿勢と共線方向であるとの観察に基づいている。図５を参照するに、注視判定をより確固たるものにすべくステップ１２５において目の中心に相対的な瞳孔位置の識別が必要である。閲覧者がディスプレイに表示されたコンテンツおよび情報を見て、当該情報に注目しているか更に判定すべく、ステップ１２９でディスプレイに表示されている情報および画像との関連で眼球運動のパターンをステップ１２７である時間にわたり査定する。閲覧者頭部姿勢および瞳孔位置に基づいて推定された眼球運動は、視線の固定として表され、表示されている画像および／または情報プログラムに相対的な位置、それらの空間および時間シーケンス、並びに持続期間に関して解析されて、閲覧者の頭部姿勢およびディスプレイを長時間注視していることで閲覧者がステップ１３１において情報およびコンテンツに注目していることを示す。代替的な実施形態において、ステップ１２７における眼球運動のパターンおよび対応する眼球の固定は、ステップ１２３において頭部姿勢の推定から直接導かれた注視判定から直接に査定することができ、従ってステップ１２５は割愛される。そのような場合、眼球運動および眼球固定のパターンの査定は近似的であって、頭部姿勢−注視方向の共線性に関する上述の観察に基づいている。

表示されている画像属性および提示された情報提供資料の視覚的特徴に関して視線固定が生じる場所は、閲覧者の視覚的注意に関係している。いくつかの注意制御機構が存在し、一般に、外発的注意および内発的注意と呼ばれる。内発的注意は、表示されている情報およびコンテンツの要素に関係し、タスクおよび／または経験依存であって、通常はオブジェクト駆動型である。

一方、外発的注意は、局所的コントラスト、色、運動等、低レベルの視覚的特徴に支配されていて、一般にコンテンツ自体の主題または閲覧者の目標および動機には無関係であるか影響外にある。これらの低レベルの視覚的特性は、意志的に向けられる内発的注意に比べて非自発的に外発的注意を掴む。外発的注意制御のモデルは、所与の位置の相対的な重要性または活性化を示す顕著性マップを仮定する。そのような顕著性マップは、すなわち色、向き、局所的コントラスト等、低レベルの視覚的特徴のマップを抽出すべく画像解析を介して計算することができる。計算された局所的特徴の強度は次いで、各々の位置について合算され、その結果として顕著性マップが得られる。既存のモデルによれば、顕著性マップは次いで、視野における注意制御を、およびその結果として、視覚的処理がボトムアップ的にしか生じない眼球運動を定義する。しかしボトムアップ的起動は、例えばトップダウンゲイン、または特定の特徴マップの現在のタスクおよび環境における顕著性に対する寄与度を反映および強調する内発的特徴に基づく制御機構のような内発的制御機構により調整される。また、シーンに基づく内発的制御が生じる場合があり、タスクおよび粗い空間的属性またはシーンの概要に基づいて関連する確率が高い視野領域へ注意を導く（例えば、Ａ．Ｔｏｒｒａｌｂａ、Ａ．Ｏｌｉｖａ、Ｍ．ＣａｓｔｅｌｈａｎｏおよびＪ．Ｍ．Ｈｅｎｄｅｒｓｏ、「Ｃｏｎｅｘｔｕａｌ Ｇｕｉｄａｎｃｅ ｏｆ Ａｔｔｅｎｔｉｏｎ ｉｎ Ｎａｔｕｒａｌ ｓｃｅｎｅｓ：Ｔｈｅ ｒｏｌｅ ｏｆ Ｇｌｏｂａｌ ｆｅａｔｕｒｅｓ ｏｎ ｏｂｊｅｃｔ ｓｅａｒｃｈ」（Ｐｓｙｃｈｏｌｏｇｉｃａｌ Ｒｅｖｉｅｗ．ＶｏＩ １１３（４）７６６−７８６、Ｏｃｔ，２００６を参照されたい）。

視覚的注意は、注視と関係しており、ステップ１３３で視覚的環境において人が何を見ているかに基づいて解析できる。従って、対話型表示システムを介して得られた注視情報および人が視線固定していた画像の対応する特徴は、画像および情報提供資料のコンテンツと特徴に閲覧者の注意およびその視覚的関心の焦点を推定する基礎を提供する。

人がどこに注目しているかを検知して、その環境に居るユーザーの注意の焦点を推論することに基づく知的表示システムと対話するアルゴリズムは、ユーザーの注視方向を判定するステップ、注視（視線固定）の空間位置およびパターンを判定するステップ、および注視情報に基づいてユーザーがディスプレイに注目しているか否かを判定するステップとして例示することができる。そのような情報により、本システムは、注意、関心、および注意制御の特徴を解釈すべく、固定に関係する現在の視覚的表示情報を解析する更なるステップを行うことができる。この解析に基づいて本システムは、先行ステップに従い表示されている情報またはコンテンツの特徴を変更することができる。

例えばステップ１３３において、最初に判定された閲覧者の視線固定は、閲覧者が顕著な低レベル特徴である色、コントラスト、エッジに引き付けられていることを示す場合がある。パターンは外発的であって、特定の対象に対する関心または優先的閲覧を示してはいない。潜在的に関心のある対象を見る可能性は時間と共に増大する訳ではなく、表示された対象に人が肯定的に反応することを示す可能性が高いであろう。（例えば、Ｓｈｉｍｏｊｏ他「Ｇａｚｅ ｂｉａｓ ｂｏｔｈ ｒｅｆｌｅｃｔｓ ａｎｄ ｉｎｆｌｕｅｎｃｅｓ ｐｒｅｆｅｒｅｎｃｅ」、Ｎａｔｕｒｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，６，ｐｐ．１３１７−１３２２，２００３を参照されたい）。代替的な実施形態において、感情の顔の表情を用いても、閲覧者の肯定的な反応の欠如を検証することができる。閲覧者の注意を引くために、ステップ１３５で主題が変更される間、ユーザーに画面を見続けさせるべくディスプレイの情報およびコンテンツ並びに特徴が極めて顕著な特徴と共に提示される。

別の実施形態において、閲覧者の視線固定は、注意制御の主に内発的性質を露呈し、コンテンツ内の特定の提示対象に集中していると判定されており、単にボトムアップ型の顕著特徴に従う訳ではない。これは、表示された主題および対象にユーザーが関心を持っていると解釈することができる。ステップ１３７において同じ対象よび主題を有するより多くの画像を示すことができるか、または閲覧を支援して閲覧者の注目度相当に応答すべく表示または提示特徴を変更することができる。代替的に、閲覧者の閲覧意図および感情的な反応をより正確に判定すべく閲覧者の視線固定解析と合わせて顔の表情認識を利用することができる。

本システムは、継続的に対話を進めるような仕方でコンテンツを変更することにより閲覧者の注目度相応に応答する。表示されているプログラムにそのような対話性と関連コンテンツおよび情報を盛り込むことでユーザー関心が高まり、より効果的な情報処理が可能になることが知られている。その鍵は、どの情報が関連性を有するかの決定にある。画像および文脈理解機能を有する閲覧者検知システムは、関連性を有する情報を提供し、次いで当該情報を用いて目的とするコンテンツ変更および適切な対話を行う。

本発明を利用可能にするいくつかの技術を自動的に用いることができる。例えば、一実施形態において、複数の情報プログラムが大型ディスプレイ上に同時に提示される。それらのプログラムの一つに対する閲覧者の嗜好が閲覧者の注視、体のジェスチャー、および動作により反映され、表示されているコンテンツおよび情報を再配置することにより、閲覧者ユーザーが最も関心を示しているかまたは意識を集中させているプログラムコンテンツをディスプレイの中央位置または被写体に最も近い位置に移すように確定される。他のプログラムコンテンツは、依然として見える状態に保つことができるが、閲覧者の嗜好に応じて相対的なサイズまたは位置が調整される。例えば閲覧者が注視しているコンテンツおよび情報を強調表示する等、ユーザーの関心を高める他の手段を用いてもよい。ユーザーの関心相当に応答すべく表示されている情報を再配置するより複雑な方法は、異なるクラスのユーザーにういて観察された、情報処理において実験的に示された嗜好に従いコンテンツを適応させることである。例えば性差に関して、女性の閲覧者は、視覚的環境内でランドマーク等の局所的特徴に自分の注意を集中させることにより空間環境内で自身を方向付ける傾向があるのに対し、男性は大域的環境を評価して、その大域的構造により注意を払う傾向があることが分かっている。従って、閲覧者の性別が検知されたならば、閲覧者にとって好都合な情報処理能力に従い表示されている情報の視覚的設計およびコンテンツを再配置するために判定を行ってその提示を保証することができる。閲覧者の性別は、例えば、デジタルカメラまたは撮像センサにより取得された閲覧者の画像を、Ａ．Ｇａｌｌａｇｈｅｒ、Ａ．Ｂｌｏｓｅ、Ｔ．Ｃｈｅｎ「Ｊｏｉｎｔｌｙ Ｅｓｔｉｍａｔｉｎｇ Ｄｅｍｏｇｒａｐｈｉｃｓ ａｎｄ Ｈｅｉｇｈｔ ｗｉｔｈ ａ Ｃａｌｉｂｒａｔｅｄ Ｃａｍｅｒａ」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ）、２００９に記載されたアルゴリズムを用いて解析することにより判定することができる。

本システムで測定されたこれらの追加的な物理および環境的特徴もまた、視覚的コンテンツおよび情報に対する閲覧者の関心レベルの変更の基礎になり得る。表示されている任意の情報プログラムの視覚的コンテンツは、例えば、情報プログラムのコンテンツに関する関心レベルが分かっている閲覧者について確定されている所定の経路に沿って閲覧者の注視を誘導すべく局所的領域の明度および色を変えることによりこれらの局所的領域を強調する等の空間および時間的な変更に従い変更することができる。

多くのオンライン広告会社はバナーやポップアップウインドウを用いて、閲覧者の注意を引く目的で画面の特定の位置へユーザーの注視を引き付ける。しかしデータが示すように、ユーザーまたは閲覧者はこれに魅力を感じず、却って鬱陶しいと思うため、この技術は往々にして逆効果をもたらす。同時に、心理実験によるそのようなデータは、うまくまたは適切にコンテンツおよび情報の変更に反応した前の閲覧者または閲覧者群の注視を繰り返すように閲覧者の注視を誘導することによりこの問題を解決する可能性があることを示している。

閲覧者の関心レベルのそのような変更方法は以下のように機能する。本システムは、ステップ１２３〜１３５、１３７のように、情報プログラムに対する目標関心レベルを示す第１の閲覧者に対応する注視および眼球運動のパターンを取得する。本システムは次いで、情報プログラムに関心を持つ可能性がある任意の閲覧者の注視を誘導すべくステップ１３９、１４１において注視パターンアルゴリズムを生成する。ステップ１４３において第２の閲覧者を識別した後で、当該アルゴリズムはステップ１４５において、情報プログラムに対する目標関心レベルを有する第１の閲覧者の注視走査経路に対応する、表示されている情報コンテンツの一部を強調表示すべく、特定の表示領域を逐次強調するステップからなる。各々の連続する閲覧者に関連付けられた注視パターンを用いて、各閲覧者の後で統計解析および各閲覧者の顕著性な特徴との比較に基づいてアルゴリズムを更新および変更することができる。このように、最も関連性を有する情報およびコンテンツを閲覧者に提示するために、異なる仕方で分類された閲覧者に応用すべく多くの異なるアルゴリズムを開発することができる。

本発明の別の態様において、本システムは、閲覧者を記述する要素を組み込むことによりディスプレイ上のコンテンツまたは情報を変更することができる。心理実験から、閲覧者はなじみのある画像をより好むことが知られている。なじみのある画像はまた、閲覧者により長く見られる傾向がある。他の実験では、閲覧者が自分および自分に近い親戚の顔面に似た顔を好むことが示されている。政治指導者でさえも、当該指導者の顔（群）が閲覧者の顔とモーフィングされていれば、より有能で信頼できるとの判断を閲覧者から下される傾向がある。従って、情報プログラムは、なじみのある画像およびマルチメディア資料を用いていれば、所望の影響を及ぼしながら、より効率的に閲覧者の注意、関心、および好意的な批評を誘発および維持できるようになることが期待される。

従って、要約すれば、画像の適応的表示を行う本発明の方法およびシステムは、画像に対する閲覧者の感情的および他の反応を判定すべく閲覧者の特徴の顔の表情解析により、画像に対する閲覧者の反応を連続的に判定し、これに基づきユーザーに表示されている画像の組を適応させる。

本発明について、特定の好適な実施態様を具体的に参照しながら詳述してきたが、本発明の主旨と範囲内で変型および変更が可能である点を理解されたい。

１０ 画像表示装置、１０Ａ フレーム、１０Ｂ 表示画面、１０Ｃ メモリ装置、１０Ｄ 画像の組、１０Ｅ 画像、１０Ｆ ローカル制御入力、１０Ｇ 無線モデム、１０Ｈ リモートノード、１０Ｉ 接続部、１０Ｊ サービスプロバイダ、１０Ｋ ローカル媒体機器、１０Ｌ 接続部、１０Ｍ ローカル画像ソース、１０Ｎ 撮像装置、１０Ｏ 画像入力、１０Ｐ センサ、１２ 画像表示システム、１２Ａ メモリ、１２Ｂ システム制御機構、１２Ｃ 画像表示制御機構、１２Ｄ プロセッサ装置、１４ 表示制御機構
、１４Ａ 画像リスト、１４Ｂ 画像識別、１４Ｃ 表示定義事項、１４Ｄ 表示パラメータ、１６ 画像制御機構、１６Ａ 閲覧者画像、１６Ｂ 画像解析機構、１６Ｃ 画像解析手順、１６Ｄ 閲覧者顔面ライブラリ、１８Ａ 閲覧者検知処理、１８Ｂ 顔面識別処理、１８Ｃ 閲覧者識別処理、１８Ｄ 視線処理、１８Ｅ 閲覧者反応処理、２０Ａ 閲覧者存在出力、２０Ｂ 顔面識別出力、２０Ｃ 閲覧者識別出力、２０Ｄ 表示観察出力、２０Ｅ 閲覧者応答出力。

Claims (17)

1. 表示された画像に対する閲覧者の注意すべき特性に従い、画像表示装置上での画像の表示を制御するための画像表示システムであって、
   前記閲覧者の移動の軌道を検知し、
   前記閲覧者の頭部姿勢を推定し、少なくとも前記頭部姿勢に基づいて前記閲覧者の眼球運動を推定することにより視線固定を判定し、
   前記画像表示装置上に現在表示されている画像に対する前記閲覧者の注意すべき特性を判定し、
   前記注意すべき特性を外因性の注意または内因性の注意として分類し、
   前記注意すべき特性が外因性の注意であるか、または内因性の注意であるかに応じて、前記画像表示装置上の一つまたはそれ以上の画像の表示を制御する、
   画像表示システム。
2. 前記画像表示システムは、
   前記画像表示装置の閲覧者を潜在的に含む空間領域内で少なくとも１個の閲覧者画像を取得する撮像装置と、
   前記少なくとも１個の閲覧者画像を解析して、画像表示画面の閲覧者が前記空間領域内に存在するか否かを判定する閲覧者検知工程と、
   前記空間領域内に存在する閲覧者が前記画像表示画面を注視しているか否かを判定する視線処理工程と、を含み
   前記閲覧者の注意すべき特性は、前記空間領域内に存在する前記閲覧者が前記画像表示画面を注視しているか否かの指標を含んで判定される、
   請求項１に記載の画像表示システム。
3. 前記画像表示システムは、
   前記画像表示画面を注視している閲覧者の注視パターンを判定するための注視パターン解析工程を含み、
   前記閲覧者の注意すべき特性は、前記判定された注視パターンを含む、
   請求項１に記載の画像表示システム。
4. 前記一つまたはそれ以上の画像の表示は、
   少なくとも一つの画像を変更するか、
   連続する画像の前記表示間のタイミングを制御するか、
   画像間の移行を制御するか、
   一式の画像の表示シーケンスを制御するか、
   音響伴奏を付加するか、または
   画像ライブラリからの１つの画像もしくは一式の画像の選択を制御するか、
   によって制御される、
   請求項１に記載の画像表示システム。
5. 前記閲覧者の注意すべき特性は、
   前記閲覧者の移動の軌道、前記閲覧者の顔特徴、ボディランゲージの特性、音声もしくは言葉上の反応、注視パターン、または、これらの組み合わせに基づいて判定される、
   請求項１に記載の画像表示システム。
6. 前記画像表示システムは、さらに
   少なくとも一人のユーザーの顔特徴を保管するための閲覧者顔面ライブラリと、
   前記閲覧者の画像から閲覧者の顔特徴を抽出し、前記閲覧者の画像からの前記閲覧者の顔特徴を、前記少なくとも一人のユーザーの顔特徴と比較する閲覧者特定工程と、を含み
   前記閲覧者特定工程は、前記閲覧者の画像から抽出された前記閲覧者の顔特徴と所定のユーザーの顔特徴との間の対応を特定し、
   前記一つまたはそれ以上の画像の表示は、前記所定のユーザーに関する画像セットから、表示されるべき少なくとも一つの画像を選択することによって制御される、
   請求項２に記載の画像表示システム。
7. 前記所定のユーザーに関する画像セットは、既定の手段において前記所定のユーザーと一致する画像化された対象を含む、
   請求項６に記載の画像表示システム。
8. 前記所定のユーザーに関する個人化されたコンテンツが、前記画像表示装置上に表示される、
   請求項７に記載の画像表示システム。
9. コンピューターにより、閲覧者の注意すべき特性に従い、画像の表示を制御するための方法であって、
   前記閲覧者の移動の軌道を検知するステップと、
   前記閲覧者の頭部姿勢を推定し、少なくとも前記頭部姿勢に基づいて前記閲覧者の眼球運動を推定することにより視線固定を判定するステップと、
   画像表示装置上に画像ライブラリからの少なくとも一つの画像を表示するステップと、
   前記表示された少なくとも一つの画像に対して前記閲覧者の注意すべき特性を判定するステップと、
   前記注意すべき特性を外因性の注意または内因性の注意として分類するステップと、
   前記注意すべき特性が外因性の注意であるか、または内因性の注意であるかに応じて、前記画像表示装置上の一つまたはそれ以上の画像の表示を制御するステップと、
   を含む方法。
10. 前記画像表示装置上の一つまたはそれ以上の画像の表示の前記制御は、
    前記閲覧者によって閲覧されている表示された画像の解析に対応している、
    請求項９に記載の方法。
11. 前記方法は、さらに
    前記画像表示装置の閲覧者を潜在的に含む空間領域内で少なくとも１個の閲覧者画像を取得するステップと、
    前記少なくとも１個の閲覧者画像を解析して、前記画像表示画面の閲覧者が前記空間領域内に存在するか否かを判定するステップと、
    前記空間領域が顔面として識別可能な領域を含むか否かを判定するステップと、
    前記空間領域内に存在する閲覧者が前記画像表示画面を観察しているか否かを判定するステップと、
    前記空間領域内に存在する前記閲覧者の注視パターンを判定し、前記画像表示画面を観察するステップと、を含み
    前記画像表示装置上の前記一つまたはそれ以上の画像の表示の前記制御は、さらに、前記判定された注視パターンに対応している、
    請求項９に記載の方法。
12. 前記一つまたはそれ以上の画像の表示の前記制御は、
    前記画像ライブラリからの画像の選択を、前記判定された注視パターンに従って変更するステップ、
    を含む請求項９に記載の方法。
13. 前記注意すべき特性の外因性の注意または内因性の注意として前記分類は、外因性の注意または内因性の注意に係るデータ保管媒体に保管された既定のデータに従って行われる、
    請求項１１に記載の方法。
14. 前記一つまたはそれ以上の画像の表示は、
    少なくとも一つの画像を変更するか、
    連続する画像の前記表示間のタイミングを制御するか、
    画像間の移行を制御するか、
    一式の画像の表示シーケンスを制御するか、
    音響伴奏を付加するか、または
    画像ライブラリから１つの画像もしくは一式の画像の選択を制御するか、
    によって制御される、
    請求項９に記載の方法。
15. 前記一つまたはそれ以上の画像の表示の前記制御は、前記注意すべき特性に従って現在の画像に対する既定の関係を有する画像を選択するステップを含む、
    請求項９に記載の方法。
16. 前記方法は、さらに
    前記少なくとも一人のユーザーの顔特徴を保管するために閲覧者顔面ライブラリにアクセスするステップと、
    前記閲覧者の画像から閲覧者の顔特徴を抽出し、前記閲覧者の画像からの前記閲覧者の顔特徴を、前記少なくとも一人のユーザーの前記顔特徴と比較することによってユーザーを特定するステップと、
    前記特定されたユーザーに関する少なくとも一つの次の画像を選択または変更するステップと、
    を含む請求項９に記載の方法。
17. 前記方法は、さらに
    前記ユーザーと既定の関係を有する画像の対象に対応する画像セットから、表示されるべき画像を選択するステップ、
    を含む請求項１６に記載の方法。

Images