JP4896882B2 - コンテンツ管理インタフェース - Google Patents

Description

本発明はコンテンツ管理の分野に関し、詳細にはユーザがコンテンツを管理することを可能にするインタフェースに関する。

ユーザがコンテンツにアクセスする状況は多数あり、コンテンツはメディアコレクション又はライブラリに保持されていることが多い。ユーザは一般的にはコンテンツを管理できることを、特に、明示的又は（例えば、いくつかのカテゴリーに関する）ブラウジングによるコレクションの中の項目からの選択、コレクションへの項目の追加（又は削除）又はコレクション内部でのデータの編成の変更、さらには、例えば、再生オーディオの音量の調節、表示画像のコントラストの調節等のような、コンテンツの体験の仕方の制御ができることを希望する。

例えば、基本的レベルにおいては、ジュークボックスはユーザにコンテンツ（音楽）のコレクションを提供し、ユーザは再生用に歌を選択するために英数字キーを押すことによりコンテンツを管理することができ、場合によっては、つまみを回して、生成された歌の音量を変えることができる。

より最近の具体例を取上げると、多くのパーソナルコンピュータのユーザは、音楽、動画像列、画像、ドキュメント、ＵＲＬ等のようなコンテンツのコレクションをデジタル形式ですでに構築している。アプリケーションソフトウェアにより、ユーザは、アクセス（表示、再生、ナビゲート等）する項目を選択し、アクセスした項目の体験の仕方（音量、再生速度、解像度等の変更）を制御することができる。典型的には、コンテンツは、ディレクトリとサブディレクトリのセットのようなデータ構造を使用して編成されたデータベースの中に配置されている。

本明細書においては、「コンテンツ」という表現は、テキスト、ウェブページ、画像、アニメーション、動画像列、音楽、サウンド等を含むが、それらには限定されないあらゆる形態の情報を一般的な形で表すために使用する。コンテンツの各項目は一般的には、属性のセットとコンテンツの特定の項目を記述する際にそれらの属性に対して適用可能な値によりコンテンツの項目を記述する関連メタデータを有することになる。例えば、歌のファイルは、曲名、歌手、ジャンルを定義するメタデータにより記述することもできる。これについては本明細書において後にさらに詳細に説明する。

一般的には、コンテンツを管理する場合は、ユーザはボタンを押し、つまみを回し、キーボードを打ち、ポインティングデバイスを操作し（例えば、コンピュータのマウスを動かし、クリックし）、あるいは別の物理的入力装置を操作し、コンテンツへのアクセスとコンテンツの体験を制御する必要がある。このことがユーザをコンテンツから遠ざけ、コンテンツの管理を非直感的なものにしている。

本発明の好ましい実施の形態は従来よりも即時で直感的な方法によりコンテンツを管理することを可能にする新しい実例をユーザに提供する。
詳細には、本発明は動き及び／又は身振り検出をコンテンツ管理適用に統合する。

ＷＯ９９／０７１５３は、ディスプレイに対するユーザの動きにより行われるメニューからのユーザの選択に基づき、ユーザが例えば旅行案内のような情報を選択することを可能にする双方向システムを開示している。このシステムは事前定義された情報との非常に限定された量の対話をユーザに提供するにすぎない。しかも、このシステムにおいては、ユーザは表示する特定の種類の情報の検索を行うことはできるが、ユーザが検索できるのは、システム内にすでに提供済みの検索情報、すなわち、事前定義メニュー選択肢に対応した検索情報だけである。従って、このシステムにおいては、特定の「検索」メニュー選択肢をユーザが選択した場合は、常に明示的に定義された同じ検索結果に到達するにすぎない。

本発明は、特許請求の範囲に定義されたような、コンテンツ管理システムへの新しい種類のユーザインタフェースを提供する。
本発明は、かかるユーザインタフェースを含むコンテンツ管理システムをさらに提供する。
本発明は、かかるユーザインタフェースを含むコンテンツブラウザをさらに又提供する。

本発明は、特許請求の範囲に定義されたような、ユーザとコンテンツ管理システムとの間の対話を管理する方法をまださらに提供する。
本発明は、特許請求の範囲に定義されたようなコンピュータシステムをさらに又提供する。
本発明は、特許請求の範囲に定義されたようなコンピュータプログラムをまださらに提供する。

本発明の好ましい実施の形態によれば、画像キャプチャ装置が、１人以上のユーザを含む場面を見て、その場面の画像を画面上に表示する。場面のこの画像に、システムは、動き及び／又は身振り感知ウィジェットに対応する画像要素を、すなわち、関連がある画面エリアに関連する動き及び／又は身振りに応答する制御要素を重ね合わせる。画面上において、自分の体の一部（例えば、腕、手等）の画像が表示されたウィジェットに触れるように、ユーザは自分の体のその部分を動かすことができる。従って、例えば、自分の手をウィジェットの上方で動かし、ウィジェットをどんどん押すこと等により、ユーザはウィジェットを「仮想的に」操作することができる。

本発明によれば、管理するコンテンツを記述するメタデータは、その画像要素が画面上に表示されている１つ以上のウィジェット上に、特に、動き感知ウィジェット上にマッピングされる。ユーザは、自分の体の画面上画像（又は、より通常では、体の一部の画面上画像）がウィジェットの上方を動き、ウィジェットを操作するように動くことができる。本発明の好ましい実施の形態においては、かかるウィジェットの操作により、ユーザがメタデータに関してコンテンツを選択又は閲覧し、メタデータを変更すること等が可能になる。これにより、ユーザが、関連コンテンツを魅力的で、直感的で、ゲーム感覚の方法により管理することが可能になり、コンテンツ管理機能の実行が簡素化され、ユーザの体験の喜びが強化される。

本発明によれば、ユーザインタフェースの１つ以上の特定のウィジェットについては、その特定のウィジェットとメタデータの特定の項目とコンテンツ管理機能（又はコンテンツ管理機能のクラス）との間で定義された関連付けが存在することになる。しかしながら、この関連付けは、ユーザがその特定のウィジェットとの関連で動いた場合に得られるコンテンツ管理機能が特にそのウィジェットと関連したメタデータに応じて動的に変化するような関連付けである。

特に、特定のウィジェットを操作した場合に得ることが可能な機能は、そのウィジェットと関連したメタデータの特定の項目により定義される属性に対して「現在」適用可能である値に依存することになり、「現在」とは一般的にはユーザによりウィジェットが操作された時間を意味する。例えば、映画のジャンルに関するメタデータに関連したウィジェットの場合、値「西部劇」が映画のジャンルに妥当する場合にユーザがウィジェットを操作した場合は、得られるコンテンツ管理機能は、映画のジャンルの値「西部劇」に依存することになる。値「ミュージカル」が映画のジャンルに妥当する場合にユーザが同じウィジェットを操作した場合は、ユーザは、今度は映画のジャンルの値「ミュージカル」に依存した若干異なるコンテンツ管理機能を得ることになる。

例えば、コンテンツの項目の第１の属性に関するメタデータの第１の項目に関連している第１のウィジェットを考えてみよう。メタデータの第１の項目と第１のウィジェットとの間の関連付けは、例えば、この第１のウィジェットの操作の結果として、コンテンツの項目の関連のコレクションにおいて検索が行われるように定義することもできる。第１の属性に関して記述された場合に、動的定義値と同じである（又は異なる）値を、特に、ユーザが第１のウィジェットを操作した時に適用可能な値をとるコンテンツの項目を検索するように指定するために、この具体例における関連付けをさらに定義することもできる。

特定のウィジェットが操作された場合に得られる特定のコンテンツ管理機能は全体が事前定義されているわけではなく、それどころか、動的変化メタデータ属性値の関数として変化する。典型的には、特定の時点において「適用可能」であると考えられる属性値は、システムにおいて「選択」すべきであると現在考えられるコンテンツの項目に対して適用可能な属性値である。例えば、音楽ブラウザアプリケーション用のユーザインタフェースの場合、特定の時点において「適用可能」な属性値は、例えば、現在演奏中の、前に演奏された、又は演奏のために現在選択中の音楽ファイルに対して適用可能な関連属性の値とすることもできる。

しかしながら、「現在適用可能」な属性値は他の方法で定義することもできる。例えば、第１の属性値の「現在適用可能」な値は、現在ユーザのお気に入りである、又は現在コンテンツの最もよく演奏された項目である、又はユーザのコレクションに最も最近加えられたコンテンツの項目である等のコンテンツの項目を記述する際にその第１の属性に対して適用可能な値とすることもできる。従って、ユーザはコンテンツの項目についての自分の選択を変更したり、コンテンツの異なる項目に割当てたランキングを変更したり、自分のコレクションにコンテンツの項目を追加したりするにつれて、これの選択肢のうちのどれが特定の事例において適用可能であるかに応じて、指定された属性の「現在適用可能」な値は変化することになる。

本発明の好ましい実施の形態によれば、特定のウィジェットを常にアクティブにしておく必要はない。しかしながら、それらのウィジェットがアクティブである場合は、関連画面上領域に関するユーザの動きが、動的可変属性値に依存する関連のコンテンツ管理機能を実行させることになる。アクティブなウィジェットの操作により得ることが可能なコンテンツ管理機能は、特に、ウィジェットと関連したメタデータの項目と、ウィジェットの操作の時点におけるメタデータの項目に対する適用可能な属性値とにより非明示的に定義される。

本発明のユーザインタフェースはユーザに非制限で拡張可能な範囲のコンテンツ管理機能を提供する。例えば、ユーザインタフェースがデータの項目のコレクションを管理するために使用され、ユーザが（例えば、インターネットからのダウンロードにより）コレクションにコンテンツの新しい項目を追加する場合は、ユーザは、コレクションの中にすでに存在してるコンテンツのいずれの項目によってもまだ示されていない新しい値をとる属性を有するコンテンツの項目を多分追加するであろう。この属性がウィジェットと関連している場合は、コンテンツの新しい項目が、属性値をそのウィジェットに対して「現在適用可能」に設定する項目である時に同じウィジェットを操作することにより、ユーザは新しいコンテンツ管理機能を得ることができる。

例えば、科学論文のコレクションに対して適用されるコンテンツ管理を制御するために使用されるユーザインタフェースの場合、ユーザは、自分のコレクションにはまだその著作が収録されていない執筆者により執筆された論文をコレクションに追加することもできる。ユーザインタフェースは、例えば（例えば、インターネットからの）フェッチのために配置されたウィジェットのような、「執筆者」に関連するウィジェットを含み、表示画面上に最後に表示された論文の執筆者と同じ「執筆者」を有するより多くの科学論文をコレクションに追加することもできる。従って、ただ単に自分のコレクションに執筆者Ｘの１編の以前の論文を追加することにより、「執筆者Ｘ］によるより多くの論文をコレクションに追加することができる。

本発明は、コンテンツの魅力的なリアルタイム管理をどのようにして実現するかという問題に対する、仮想現実の分野から着想を得た技術の適用であると考えることもできる。
仮想現実システムは、（データグローブのようなアクセサリの助けを借りることが多いが）ユーザが対話の相手とすることができる魅力的な没入環境をユーザに適用しようと試みる。「予測現実」システムは仮想現実システムの１つの形態である。

「予測現実」システムにおいては、ユーザの画像が画面に表示され、この画面はユーザが対話することができる環境の画像を同時に表示する。予測現実システムにおいては、ユーザはアクセサリを使用する必要が全くないが、ただ単に自分の体を動かし、表示された環境に関して自分の画像が画面上をどのように動くのかを観察することにより、表示された人工環境と対話することができる。ユーザは予測人工現実に興味をそそられ、ゲーム感覚の直感的方法により対話することができる。

本発明に係るコンテンツ管理インタフェースの好ましい実施の形態においては、ユーザの画像が画面に表示され、関連コンテンツを所望の方法で管理するために、この画面は同時にユーザが対話することができるいくつかの図形要素（ウィジェット）を同時に仮想的に表示する。コンテンツを記述するメタデータは、ユーザが操作することのできる図形（ウィジェット）要素上にマッピングされる。ユーザはインタフェースとリアルタイムで対話し、（データグローブのような）特殊なアクセサリや、コマンドをインタフェースに入力するための（キーボードのような）周辺機器は不要である。

本発明のコンテンツ管理インタフェースは多種多様な物理的システムの形で実施することができる。
例えば、図１Ａに例示したように、本発明の１つの好ましい実施の形態は、パーソナルコンピュータ１と、撮像装置２（例えば、ウェブカム、Sony Eye Toy^ＴＭ等）及びモニタ画面３を含む関連周辺要素とを使用して実現されたコンテンツ管理インタフェースを提供する。ユーザが対話を希望するコンテンツはパーソナルコンピュータ１のメモリに記憶することもできるし、（例えば、メディア−ＣＤ-ＲＯＭ、ＤＶＤ等−をコンピュータの適当なドライブに挿入することにより、ネットワーク接続を介して）パーソナルコンピュータ１がアクセス可能にすることもできる。ユーザは撮像装置２の前で動き回り、モニタ画面３上に表示された時に、同様にモニタ画面上に表示されるコンテンツ管理インタフェースの図形要素に関して自分の画像がどのように動くのかを観察する。ただ単にその図形要素が表示されているウィジェットの異なるウィジェットを操作するように自分の身体を動かすことにより、ユーザはコンテンツを管理することができる。

図１Ｂは、本発明のコンテンツ管理システムを実現できる異なるシステムの異なる実施例を示したものである。この場合、画像キャプチャ装置５がユーザの画像をシステムコントローラ７を介してリアプロジェクション画面に送る。

上記のように、本発明に係るコンテンツ管理インタフェースを形成するためには、撮像装置と表示画面を使用することが必要である。しかしながら、今日では、かかるインタフェースの多くの潜在的ユーザが、（図１Ａのような）モニタ画面とウェブカムとを備えたパーソナルコンピュータを所有している。さらに、自身のコンテンツ管理アプリケーションソフトウェアを所有していることもある。従って、本発明のいくつかの実施の形態は、コンテンツ管理インタフェース自体を生成し、管理するためのソフトウェアだけから構成されている。本発明の別の実施の形態は、それ自体がコンテンツ管理を行うと共に、コンテンツ管理インタフェースを生成し、管理するソフトウェアから構成されている。本発明のさらに別の実施の形態は、（例えば、撮像又は表示に関する）ハードウェア要素と上記のソフトウェアから構成されている。

本発明はマルチユーザ環境と単独ユーザ環境の両方で機能する。マルチユーザ環境においては、システムの撮像装置が見ることのできるすべてのユーザの画像が処理されて画面上に表示され、ユーザはインタフェースの要素と対話することができる。簡素化のために、以下の説明では、単独のユーザが撮像装置の視界内に存在する場合を取り上げている。当業者であれば、この教示を数人のユーザが存在する場合にも拡張できることを簡単に理解するであろう。

以下の機能は、図１Ａの実施例のパーソナルコンピュータと図１Ｂの実施例のシステムコントローラ７によって実行される。
− モニタ画面３（又は６）上でのユーザ画像の表示の制御、
− インタフェースのその他の図形要素（ウィジェット等）のユーザ画像へのオーバレイの制御、
− （インタフェースの表示図形要素との仮想対話により表現されるような）ユーザのコマンドの検出、
− （例えば、ユーザが選択した動画像列の再生、ユーザが選択した種類のＵＲＬへのナビゲーション、局所又は遠隔コレクションにおける特定のタイプのコンテンツの検索等のような、コンテンツ管理に関する）ユーザのコマンドに対する応答の実行。

本発明のコンテンツ管理システムが実現されるシステムは、以下のものを含むが、それらには限定されない追加機能を実行することもできる。
− コレクションへのコンテンツの項目の追加、
− コレクションからのコンテンツの項目の削除、
− コレクションの編成に使用されるデータ構造の変更、その他。
これらの追加機能は、本発明に係るインタフェースを介して実行することもできるし、（例えば、ユーザが物理的に操作しなければならない入力装置と関連した従来のアプリケーションソフトウェアの使用のような）いくつかのその他の手段により実行することもできる。

− ユーザを含む場面の画像のキャプチャと解析、
− 背景からのユーザの分離、
− 処理画像の解析によるユーザの動き及び／又は身振りの検出（と、例えば、動きの速度、持続時間、方向等のような、動き／身振りのパラメータの評価）、
− 画面の表示エリアへの場面の画像の関連付け、
− ユーザの動き／身振りに対応する画面上エリアの識別とその動き／身振りの（例えば、速度、方向等のような）特性の決定、
− 場面の画面上画像を生成するためのビデオデータとインタフェースの図形要素を表すビデオデータとの混合
のために使用可能な技術は公知である。例えば、オプティカルフロー方向、平均シフトアルゴリズム、輪郭取出しのような技術を使用して、ユーザの手の動きを画像内で検出することができる。従って、これらの機能と、それを実現するための手段をここで詳細に説明する必要はない。これらの機能は典型的にはソフトウェアにおいて実現することができるが、ただし、ハードウェア実現とハードウェア／ソフトウェア混合実現を使用することもできる。

図２は、本発明の好ましい実施の形態において上記の機能を実現するために必要な画像処理と計算を取扱うために使用される基本要素のビデオ処理コア１０を示したブロックダイアグラムである。
図２は、ビデオ処理コア１０が、順にコンテンツマネージャ（図示せず）と対話するウィジェットマネージャ２０と名付けられたモジュールに接続されていることを示している。コンテンツマネージャは典型的にはコンテンツの物理的アクセスを取扱うアプリケーションソフトウェアから構成されることになる。コンテンツマネージャは、本発明のコンテンツ管理インタフェースを生成するために使用される（例えば、ソフトウェアのような）システムに組込むこともできるし、システムの外部にあってもよい。以下の説明においては、コンテンツマネージャは、コンテンツ管理インタフェースを生成・管理するための図２に示したシステムの外部にあるアプリケーションソフトウェアから構成されていると仮定する。

ウィジェットマネージャ２０は、コンテンツ管理インタフェースのために定義されたウィジェットのインベントリを維持し、ウィジェットマネージャ２０は各ウィジェットについてコントローラを有すると考えることができる。インベントリは、画面のどのエリアがそのウィジェットにとって「操作可能なエリア」であると考えるべきなのか、ウィジェットの現在のステータスはどうなのか（すなわち、現在はアクティブか非アクティブか）、そのウィジェットを表すために、どの図形要素（又は複数の図形要素）を画面上に（しかもそのどこに）表示すべきなのか、どの操作モードに対してそのウィジェットがアクティブになっているのか等を含めて、各ウィジェットの機能を管理するために必要なすべての情報を含む。

ウィジェットマネージャ２０は以下の３つの主モジュールとして実現することができる。
− ビデオ処理コア１０の動き検出要素との対話を可能にする機能を備えた第１のモジュール、
− 異なるウィジェットのための画面の表示エリアに表示する図形要素を表すビデオデータを生成するために必要な機能を備えた第２のモジュール、
− このインタフェースを使用する特定の用途において必要とされるような、コンテンツと対話し、コンテンツを管理するために必要な機能を有する第３のモジュール。

ウィジェットマネージャ２０とコンテンツマネージャとの間の通信の結果として、コンテンツ管理インタフェースの遮断又は機能麻痺（すなわち、ユーザのコマンド、すなわち、動きに対する反応の遅れ）が起こるとしたら、それは望ましくないことであろう。この問題を避けるためには、ウィジェットマネージャ２０がそのモジュールごとに別々のスレッド（すなわち、独立の計算プロセス）を使用することが効果的である。

ウィジェットマネージャ２０は、（例えば、音楽ファイルの局所コレクションにおける閲覧、インターネットによる科学論文の検索等のような）コンテンツ管理のコンテクストと関係するウィジェットの数及び性質とに関して大幅な違いがある本発明を実施した多種多様なインタフェースにおいて使用することができる。従って、ウィジェットマネージャ２０の詳細な実現はインタフェースごとにかなり異なることもある。

又、基本的なビデオ処理コア１０の詳細な実現は、コンテンツ管理インタフェースが実現されている全記技術ステムに依存して−例えば、撮像装置と表示画面の性質、プログラミング環境等に依存して−変わることになる。

これらの理由から、本発明に係る異なるインタフェースを構築するためにモジュールの共通のセットを使用することを可能にする一般的開発者用キットを構築することが効果的であると考えられた。この一般的開発者用キットは、
− （ビデオの取得、処理及び可視化のための）一般的ビデオブロックのライブラリ、
− （ウィジェットのためのグラフィック表示データの生成を含むウィジェット関連処理のための）一般的ウィジェットユーザインタフェースブロックのライブラリ、
− ビデオブロックとウィジェットユーザインタフェースブロックをそれぞれ異なる方法でパラメータ化及び相互接続することを可能にするツールキット
を含む。

この種の一般的開発者用キットはプログラミング言語Ｃ＋＋により構築されたものであり、ジャバとＣ＋＋との間に介在する特別の層を追加することにより、例えば、ジャバのような、異なるプログラミング環境においても、ブロックの同じ基本ライブラリを再使用できることが発見されている。

本発明に係るコンテンツ管理インタフェースは、完全設定済み状態、完全カスタム化可能状態、又はいくつかのパラメータは設定済み、その他のパラメータはユーザによるカスタム化が可能な状態に構築することができる。（例えば、どのメタデータをウィジェット上にマッピングできるか、ウィジェットの配置、どの図形要素を使用できるか等のような）ユーザが設定できるインタフェースのパラメータが存在する場合は、インタフェースには、ユーザに対する選択肢の提示とユーザの選択に基づく環境設定データの作成を取扱う設定モジュールを備えることもできる。適当なウィジェットのライブラリを開発できるように、この環境設定データはウィジェットマネージャ２０に提供することができる。

図２の実施の形態においては、ユーザを含む場面をキャプチャしているあらゆる撮像装置からの画像信号はビデオ処理コア１０に（例えば、フレーム取込み器１１に）送られる。例えば、（入力データに対してあらゆる所望の水平又は垂直反射変換を行う）画像フリッパ１２と、（例えば、ＲＧＢＡチャンネルあたり８ビットを３２ビットグレースケールに変更するように、入力画像の色空間を変えることができる）画像変換器１３とを使用して、画像は所望通りに前処理される。前処理ビデオデータは、連続したビデオフレーム間の輝度差を計算する動きマスク発生器１４に供給される。典型的には、雑音防止フィルタリングと閾値化がフレーム差データに対して行われる。フィルタリングされたフレーム差はエリア上動き検出器１５に供給される。

各ウィジェットについて、画面上のピクセルのどのブロックがそのウィジェットについての「操作可能エリア」であるかが分かっている。さらに、エリア上動き検出器１５が受信したビデオ信号の異なる部分と異なる画面上位置との関係も分かっている。従って、エリア上動き検出器は、ウィジェットの操作可能エリアに対応するビデオ信号のエリアだけを監視するように設定することができる。各ウィジェットについて、エリア上動き検出器１５は、ウィジェットの操作可能エリアにおけるユーザの動きの有無を判定するのに適当なアルゴリズムを適用し、必要があれば、その動きの特性を判定する（以下を参照）。

例えば、ウィジェットが移動したと考えられることから、又はウィジェットがアクティブ又は非アクティブになっていることから、エリア上動き検出器１５により監視する操作可能エリアが変わることがある。従って、どの操作可能エリアを任意の特定の時点において監視するかに関して、エリア上動き検出器１５を更新しなければならない。好ましくは、この更新はウィジェットマネージャ２０により行われる。さらに、これは、インタフェースが（製造時に、又はこれが許容される実施の形態においてユーザにより）カスタム化／セットアップされる場合のウィジェットの生成／削除を考慮に入れたものである。

特定のエリアにおける動きの有無を判定するために、エリア上動き検出器１５がフィルタリングされたフレーム差のブール行列の時系列を有する場合は、インタフェースは満足できる機能を発揮する。これは、計算が簡素化されたにもかかわらず、インタフェースの性能は期待に沿うになることを示している。

本発明の好ましい実施の形態においては、動きの有無を判定するために、エリア上動き検出器１５は、ビデオフレームが−典型的には１／２秒〜１秒である−時間間隔に及ぶと考える（これは、例えば「最後のｎ個のフレームにわたって続く動きを有する」と表現することができ、ｎは、ウィジェットが異なる場合は異なる定義をすることができる整数である）。これは、インタフェースに対する制御であると解釈するのが適当である真の意図的なユーザの動きと無作為運動（雑音）とを区別するのに役立つ。

さらに、特定のウィジェットについては、特定の画面上エリアで動きが起こったということを単純に判定するだけでは十分ではないかもしれず、例えば、スクロール可能リストウィジェットにとっては、動きのその他のパラメータが重要なこともあり、動きの方向と速度を知ることが重要であるかもしれない。エリア上動き検出器１５は、必要となるかもしれないあらゆる係る処理を実行するように設計されている。

図３は、動いているユーザのエリアを強調表示するように（上記のように）処理されたユーザの画像である。強調表示されたエリアは、ユーザがインタフェースの異なる部分をアクティブにするために使用することができる制御表面であると考えることができる。
特定のウィジェットの操作可能エリアにおいて動きがあったと判断した場合は、エリア上動き検出器１５は「事象」と呼ばれる信号を発する。ウィジェットマネージャ２０は、かかる事象の発生を監視する「リスナー」を備えており、「事象」が発生すると、これらのリスナーは（全てのウィジェット用の単独のコントローラでもよいし、特定のウィジェット専用のコントローラのセットでもよい）適当なウィジェットコントローラによりアクションをトリガーする。該当する場合は、エリア上動き検出器１５は「事象」信号内に動きの特性に関する情報を含む。

ウィジェットマネージャ２０のウィジェットコントローラは、それぞれのウィジェットに割当てられた機能を実行させることにより、ユーザの動き情報に応答する。これは一般的には、（ウィジェットのグラフィック表示に適用可能な画像データを生成、移動又は変更するために）画像データを生成するウィジェットマネージャとの対話と、（ユーザの所望のコンテンツ管理を実現するために）コンテンツマネージャとの通信を取扱うモジュールとの対話を含むことになる。

その共通の一般的知識に基づき、当業者は上記の機能の実行を可能にするためにはどのようにウィジェットマネージャ２０を設計すべきかを容易に理解するであろう。従って、これに関してここで詳細な説明をすることは不要である。
様々なウィジェットにより生成される画像データは、（ユーザの画像に重ね合わせるべきその他の図形要素についての画像データの提供を受けることもできる）画像レンダラ１６に送られる。画像レンダラ１６は、画像表示インタフェース１８を介してビデオミキサ１７とディスプレイに対応ビデオデータを供給する。ビデオミキサ１７もユーザの画像に対応する画像データを（又は、より正確には、撮像装置により撮影された場面）を受信する。典型的には、このビデオデータの寸法が表示画面の寸法に合うように、ビデオデータは画像サイズ変更器１９において処理されることになる。

上記のように、本発明のコンテンツ管理インタフェースは「ウィジェット」を、すなわち、表示画面の特定の領域と関連した制御要素を使用する。いくつかのウィジェットについては、この関連付けは動的なものである。本発明の好ましい実施の形態によれば、画面上に表示された時にウィジェットと関連した表示画面エリアの「中」にあるユーザの動きは、ウィジェットの操作であると解釈される。ユーザの画面上画像の動きがウィジェットを操作すると考えられる画面上エリアは、ウィジェットの「操作可能エリア」と呼ばれる。

本発明は、管理するコンテンツを記述するメタデータとの関連性を有するウィジェットを使用する。メタデータは、考慮対象のコンテンツの性質に応じて、様々な形態をとる。以下の表１は、典型的にはタイプの異なるコンテンツと関連付けられているタイプの異なるメタデータのいくつかの具体例を示したものである。表１のタイプの異なるコンテンツのリストと種類の異なるメタデータの具体例は網羅的なものではない。

表１は、メタデータを「外因的特徴」のメタデータと「内因的特徴」のメタデータという２つのカテゴリーでリストアップしている。一般的には、「外因的特徴」のメタデータは、コンテンツが作成された環境に関する特性を示したものである。対照的に、「内因的特徴」のメタデータは、コンテンツ自体の特性に関するものである。多くの場合、コンテンツの内因的特徴に関するメタデータは、コンテンツの適当な解析により（すなわち、先験的な知識なしで）自動的に判断することができる。一方、「外因的」又は「環境的」特徴に関するメタデータは先験的な知識なしでは判断することができない。
関連コンテンツの「外因的」又は「内因的」特長のどちらに関連するのかという観点からのメタデータの上記の分類は、メタデータの性質の経験的考察に基づくものであり、このドメインにおける標準的アプローチを反映したものではない。

特定のアプリケーションにおいては、コンテンツを記述するメタデータは、記述される属性を定義し（それらの属性に名前を割当てる）あるスキーマに従って編成される。次に、コンテンツの特定の項目が、理想的には、そのスキーマに従って定義された属性の各々に値を割当てるメタデータを有することになる。
例えば、絵画のコレクションは、画家の名前を与える第１のタイプのメタデータ「芸術家」と、その絵画の標準名を挙げる第２のタイプのメタデータ「題名」と、その絵画が油絵か水彩画かパステル画かを示す第３のタイプのメタデータ「媒体」を定義するスキーマを使用することもできる。かかる場合、例えば、レオナルド・ダビンチの「モナリザ」のような特定の絵画は、以下の関連メタデータを有することもできる。
<Artist(Da Vinci, Leonard")><(Mona Lisa)><Medium(Oils)>

本発明に係るコンテンツ管理インタフェースの好ましい実施の形態においては、特定のタイプのメタデータとの関連付け有するウィジェットが使用される。この関連付けは、製造時又は（メーカー、ユーザ又はシステム自身による環境設定段階中に指定することができる。従って、いったんインタフェースが環境設定されると、インタフェースは、管理しようとするコンテンツの各項目と関連した特定のタイプのメタデータを発見することを予想する。

コンテンツを取得した場合は、ユーザはたとえそれに気付いていないにしても関連メタデータを同時に取得することが多い。例えば、コンピュータユーザがファイル共有ネットワークから歌をダウンロードするために音楽共有アプリケーションソフトウェアを使用する場合は、歌はローカルコンピュータのメモリ内に保持されたデータベースにロードされ、歌手、曲名、アルバム等を識別するメタデータが同時にデータベースにロードされることが多い（それはユーザに対して表示される場合も、されない場合もある）。一般的には、管理中のコンテンツと同じデータベース（又は関連データベース）に保持されたメタデータを利用することは、本発明に係るインタフェースにとっては簡単なことである。

しかしながら、ユーザが、コンテンツと関連付けされたメタデータを有していないコンテンツ、又は本発明に係るインタフェースが発見することを予想しているあるタイプのメタデータを少なくとも欠いているコンテンツにアクセスすることを希望する状況も考えられる。かかる状況においては、異なる解決策が可能である。（例えば、選択された歌、歌手の国の国旗のような）コンテンツの選択された項目についてのこのタイプのメタデータの値を示すアイコンとなる図形要素を使用することにより、欠けた種類のメタデータにマッピングされるインタフェースウィジェットを画面上に表示することもできる。かかる場合は、このタイプのメタデータの値が未知であることを示す代替アイコンを表示することもできる。

あるいは又、例えば、コンテンツのその項目についてインタフェースが有するデータに関するカタログ又はデータベースを閲覧することにより、欠けたタイプのメタデータを得ることもできる。例えば、インタフェースは、映画の題名と公開年度をInternet Movie Database(http://www.imdb.com)に送ることにより、映画を記述したメタデータを探すこともできるし、歌のMusicBrainz IDをMusicBrainz データベース（http://www.musicbrainz.org）に送ることにより、歌を記述したメタデータを探すこともできる。

欠けたメタデータがコンテンツの「内因的」特徴を記述したメタデータである場合は、まだ別の可能性が存在する。すなわち、インタフェースは、コンテンツの解析により欠けたタイプのメタデータについての値を自動的に抽出することを可能にするモジュールを含むこともできる。例えば、ドキュメント管理のために環境設定されようとしているコンテクストにおいてコンテンツ管理インタフェースが実現される場合は、テキストの統計的解析によりドキュメントからキーワードを抽出するためのモジュールを備えることもできる。音楽閲覧のために環境設定されようとしているコンテクストにおいては、パーカッション性、エネルギー等を自動的に評価するモジュールを含むこともできる。

本発明に係るコンテンツ管理インタフェースにおけるウィジェットの操作により得られる結果の性質は、ウィジェットのタイプに応じて違うものになる。本発明の好ましい実施の形態はタイプの異なる多数のウィジェット、特に以下のウィジェットを使用する。
− スクロール可能リストウィジェット：画面上では、これらのウィジェットはリストが表示される画面エリアとして表され、リストはユーザの動きに応じて異なる方向にスクロール又は停止することができ、スクロールリストウィジェット画面領域内の適当な画面上位置における動きにより、ユーザはリストからの選択をおこなうことができる−リストは、特定の種類のメタデータに対応する属性がとることのできる値のリストであることが多く、これらの値は、アイコンを含むあらゆる便利な表現を使用して表現することができる。
− マッピングメタデータウィジェット：これらのウィジェットは典型的には表示画面のそれぞれの指定エリアに異なるタイプのメタデータを表すアイコンをマッピングする−表示されたアイコンに仮想的に「触れる」ことにより、ユーザは対応するメタデータに関するコンテンツを管理することができる（例えば、同じ値又は異なる値を有するこのメタデータのコンテンツを検索することができる）。さらに、ユーザがこのウィジェットを操作した時に、ユーザがコンテンツの項目（一般的には、コンテンツの「現在選択中の項目」）のメタデータを自分の所望する値に設定することができるように、マッピングメタデータウィジェットは設計されている−これは、（例えば、メタデータを設定することのできる値の異なる選択を表示することができるスクロール可能リストウィジェットのような）別のウィジェットと関連付けられたマッピングメタデータウィジェットの使用を含むこともある。
− モードセレクタウィジェット：これらのウィジェットはユーザが、インタフェースの表示モード／操作モードを変更することを可能にし、例えば、その結果として、画面上の特定の位置において、インタフェースはウィジェットの第１のセットのウィジェットの表示から切り替わり、それに代わって第２のセットのウィジェットを表示する。
− 選択的アクティブ化可能ウィジェット：これらのウィジェットは必要に応じてアクティブ又は非アクティブにすることができ、例えば、対応する制御が不要である（対応する図形要素が表示されていない）インタフェース表示モードをユーザが選択した場合は、これらのウィジェットを非アクティブにすることができる−ウィジェットが非アクティブにされると、そのウィジェットは関連操作可能エリアにおける画面上の動きを無視する。
− トグリングウィジェット：これらのウィジェットは１つの機能と関連付けられており、ユーザのアクションによりその２つの機能間でトグリングが行われる。
− プレースホルダーウィジェット：これらのウィジェットはその他のウィジェットのためのプレースホルダーの役割を果たし、その結果、（大きな画面上エリアを占有することがある）他のウィジェットを連続的に表示する必要がなくなる。
− 「スライダウィジェット」を含むディスプレイサブルウィジェット：これらのウィジェットを表す図形要素の全体又は一部の画面上位置がユーザのアクションに応じて変わることができる−「スライダウィジェット」は物理的スライダ用のメタファーを提供する−ウィジェットの操作可能エリアは、ウィジェットと関連付けられた図形要素の動きに対応して、異なる時点に画面上の異なるエリアに割当てることもできる。
− 再生制御ウィジェット：これらのウィジェットはユーザに対する特定のコンテンツの再生を制御し、例えば、（例えば、再生、一時停止、次のトラック／場面へのスキップ等のような）従来のメディアプレーヤー装置のコントロールに対応する図形要素を使用して表すこともできる。
単一のウィジェットを上記のタイプの２つ以上のウィジェットとして使用することもでき、例えば、１つのウィジェットがマッピングメタデータウィジェットと選択的アクティブ化可能ウィジェットの両方、マッピングメタデータウィジェットとスライダウィジェットの両方、マッピングメタデータウィジェットとスクロールリストウィジェットの両方、等々を兼ねることもできる。

一般的には、各ウィジェットごとに、ウィジェットの操作可能エリアを占有するように図形要素が表示される−これにより、ユーザには、そのウィジェットを操作するために自分の画面上画像を「どこに」動かさなければならないかを教えてくれる視覚基準が与えられる。しかしながら、あるウィジェットについて表示される図形要素の位置が、その図形要素に関する自分の動きがウィジェットの操作可能エリアにおける動きを含むようにユーザに促すのに適当な位置であれば、その図形要素が占有するピクセルのブロックとそのブロックの操作可能エリアとの間の正確な１対１関係は義務的なものではない（表示された図形要素はウィジェットの操作可能エリアよりも若干大きくても小さくてもよく、及び／又はそこから若干ずれていてもよい）。

異なるウィジェットの操作可能エリアの間にはスペースを残すことが好ましいが、その理由は、操作可能エリアが重なり合った場合は、ユーザの特定の動きを解釈する際の曖昧度が大きくなるからである（近接／重なり合いエリアの中のウィジェットのどれをユーザがアクティブに使用と意図しているのかの判断がシステムには困難になる）。
しかしながら、たとえ２つのウィジェットが隣接する操作可能エリアを有する場合であっても、システムが動きを適正なウィジェットに正しく割当てることができる場合があることが分かっている。これにより、一方が「一次ウィジェット」、他方が「ラベルウィジェット」である対ウィジェットを使用する表示画面を有するインタフェースを設計することが可能になっている。「ラベルウィジェット」は、一次ウィジェットと関連付けられたあるプロパティを示すラベルであるグラフィックを使用して画面上に表示される。一次ウィジェットはアイコンを使用して画面上に表示することもできる。対ウィジェットの操作可能エリアは表示画面上に接近して配置されている（そのグラフィック表示も同様である）。ユーザは、対ウィジェットのいずれか一方の操作可能エリアに関する自分の画像が移動するように動き、この対ウィジェットと関連付けられた機能を実行させることができる。

ディスプレイ上に操作可能エリアを要求するウィジェットの数が多すぎる場合は、各操作可能エリアのサイズを小さくすることがどうしても必要になり、ユーザが特定のウィジェットを操作しているのか否かを正確に判断するのは困難であるかもしれない。従って、例えば、特定の機能を得るために必要な異なるセットのウィジェットが必要な時だけに画面上に表示されるように異なる操作モードを使用することにより、画面スペースの使用を最適化することが好ましい。

ウィジェットは任意の便利な方法によりグラフィック表示することができる。ボタンのように見えるように、ウィジェットは有界エリアを示す図形要素により表示されることが多い。有界エリアの形状を所望通りに設定できるのは明白であり、特に、本願の図面に示された形を採用する必要はない。本発明の好ましい実施の形態においては、ウィジェットが操作されると、ウィジェットのグラフィック表示は変化し、例えば、（一時的に、又は、例えば、他のウィジェットの操作により、「スイッチが切られる」までは）点滅することもあるし、色を変えることもある。これにより、インタフェースがユーザのアクションの１つをコマンドとして登録した場合は、ユーザがそのコマンドを実現することが可能になる。

ウィジェットのその他のグラフィック表示、特に、日常オブジェクトからユーザがよく知っている物理的制御要素のメタファーであるグラフィック表示を採用することもできる。この点において、本発明の好ましい実施の形態がスライダのメタファーであるグラフィック表示を使用することに留意されたい。

「スライダ」グラフィック表示は表示画面上で細長い領域を占有し、一般的には、外側境界とその境界内のフィラーとを示している。フィラーは細長い境界の一端から他端に向かってのびており、ユーザがそのウィジェットと関連付けられたパラメータをどのように設定したのかに応じて、その可変部を占有する。スライダウィジェットは、例えば、オーディオの音量、画像の照度等のような、連続可変パラメータをユーザが制御できるようにうまく構成されている。スライダウィジェットに適用されたユーザのコマンドをどのように解釈するかを判断する際には、以下の２つのアプローチが可能である。
ａ） スライダの図形要素の全長に関して、ユーザの画面上画像がどこまで動いたのか（「上」端、全体の１／３等）を考え、パラメータの範囲内のその位置に対応する値に関連パラメータを設定し、必要があれば、そのパラメータにおいてステップ変更を実施する。
ｂ） ユーザが「フィラー」の上端の領域において動いたか否かを考え、もし動いた場合には、ユーザがどの方向に「スライダを動かそうと」しているのかの判断を試み−次に、ユーザがスライダを動かすのを止めるまで、関連パラメータを連続的に変化させる。

この２種類のアプローチは、スライダウィジェットの操作可能エリアがどこであるのか（すなわち、スライダのグラフィック表示に対応する画面上エリアの全体なのか、又は「フィラー」の端の周囲のエリアだけなのか）について異なる定義を含むこともできる。

タイプの個となるウィジェットと、本発明の好ましい実施の形態に係るコンテンツ管理インタフェースにおけるその使用について、図４〜６を参照して以下に説明する。
図４Ａ〜４Ｃは、本発明の好ましい実施の形態に係るコンテンツ管理インタフェースの表示画面上の多数のウィジェット図形要素の配置の具体例を示したダイアグラムである。説明を簡単にするために、図４Ａ〜４Ｃは、実際にはそれらの図形要素が重ね合わされるユーザの画像を示していない。
図５Ａ〜４Ｃは、音楽閲覧アプリケーション用の本発明に係るコンテンツ管理インタフェースの一具体例に関し、図４Ａ〜４Ｃに示した特定のウィジェットの具体例を含む画面表示を示している。

図４Ａに示したように、１つの表示モードにおいては、本発明の好ましい実施の形態に係るコンテンツ管理インタフェースは、スクロール可能リストウィジェットＳＬＷと、２つのモード選択ウィジェットＭＳＷと、再生制御ウィジェットＰＣＷと、プレースホルダーウィジェットＰＨＷ（この場合、音量スライダウィジェット用のプレースホルダーについては後に説明する）とを表示する。

スクロール可能リストウィジェットＳＬＷは、リスト内の項目のリストとリストからの項目の選択を制御する。本発明の好ましい実施の形態によれば、リスト内の項目は、コンテンツに関連する何らかのタイプのメタデータにより定義された属性に割当てることができる値から構成されている。図４Ａは、スクロール可能リストウィジェットＳＬＷが表示画面の上端全域をスクロールする題名のリストを表示した例を示したものである。スクロールリストが画面上に表示されるその特定の位置が絶対条件ではないことは明白である。その位置は画面の下端全域、画面の片側の上端から下端（又はその逆）、画面上に形成されたウィンドウの一方の末端から他方の末端等とすることもできる。さらに、上記のように、スクロール可能リスト内の項目は単語である必要はなく、（例えば、アイコンのような）リスト内の項目の何らかの記号表示であってもよい。

ユーザが（例えば、腕又は手又は指のような）身体の一部の画像がスクロール可能リストウィジェットにより制御されるスクロール可能リストを表示する画面エリア内を動くように動いた場合は、その結果は以下のようになる。
− ユーザがその手／指の画像がスクロール可能リストを表示した画面エリアの右端の領域内を動くように動いた場合は、リストは左の方にスクロールする（すなわち、画面の右側で終了したばかりの項目を画面上に復活させる）。
− ユーザがその手／指の画像がスクロール可能リストを表示した画面エリアの左端の領域内を動くように動いた場合は、リストは右の方にスクロールする（すなわち画面の左側で終了したばかりの項目を画面上に復活させる）。
− ユーザがその手／指の画像がスクロール可能リストを表示した画面エリアの中央の領域内を動くように動いた場合は、画面の中央にリストアップされた項目が何らかの目的のために選択される（メモリ内の関連ファイルが、リスト内のどの項目が特定の時点においてこの中央画面エリアに位置するかを記録する）。

本発明の好ましい実施の形態においては、スクロール可能リストウィジェットのコントローラは、リストスクロールの速度がスクロール可能リストを表示した画面エリアの右端と左端の領域におけるユーザの手／指の画像の移動速度と関連するように設計されている。
さらに、本発明の好ましい実施の形態によれば、スクロール可能リストウィジェットのコントローラは、リストを表示した画面エリアの右端又は左端で連続的な動きがある期間中だけリストのスクロールが行われるように設計されている。動きが止まった場合は、リストはスクロールを中止する。しかしながら、スクロール可能リストウィジェットのコントローラは、ユーザが動きを止めた後にもリストのスクロールを続けるように設計することもできる。リストのスクロールを停止するためのトリガーとして、ユーザがリストを表示した画面エリアの仮想的に軽くたたくような、何らかの他のアクションを使用することもできる。

図５Ａは、本発明の１つの実施の形態に係る音楽閲覧インタフェースの使用中に得られた画面表示の写真である。写真の上端には、ローリングストーンズの様々な歌の曲名のリストを表示したスクロール可能リストウィジェットが写っている。自分の指の画像が表示されたリストの中央を動くように自分の腕を動かすことにより、ユーザはリストのスクロールを停止している。この画面上領域を仮想的に連続して軽くたたくことにより、すくルール可能リストエリアの中央に曲名が表示された歌、すなわち、"Out of Tears"が選択されることになる。この歌を選択したことがシステムにより登録されたことをユーザに示すために、選択された曲名はその他のリストアップされた曲名に対してグレーにされている。本発明のこの実施の形態においては、この曲名の選択の結果として、曲名"Out of Tears"が自動的に再生されることになる。しかしながら、スクロールリストにリストアップされた項目の選択により、その項目と関連付けられたコンテンツに関する何らかの別のアクションを起こすこともできる。例えば、スクロールリストが様々なジャンルの映画のリストである場合は、リスト内の特定のジャンルの選択の結果として、選択されたジャンルの無作為に選ばれた映画を表示したり、選択されたジャンルにおいて利用可能な映画のリストを表示したりすることもできる。

ところで、スクロールアクションを停止し、画面の中央の項目を選択することにより、ユーザがスクロール（又はスクロール可能）リストから項目を選択することはすでに述べたが、別の方法で選択を行うこともできる。例えば、表示されたリスト内の任意の場所における「アクション」の結果としてその場所に現れるリストアップされた項目が選択されるように、このウィジェットを定義することもできる。さらに、選択を行う前にリストのスクロールを停止することは不可欠ではない（ただし、いったんシステムがユーザの選択に気付いた後は、スクロールを停止するのが便利である。というのは、ユーザのコマンドがシステムにより登録されたことを示す別の視覚的刺激がユーザには提供されるからである）。

図４Ａに戻って、ユーザが自分の手／指の画像が再生制御ウィジェットＰＣＷを表示する図形要素を越えて動くように動いた場合は、何が起こるのかを考えてみよう。図４Ａは、再生制御ウィジェットを表示する図形要素が従来のメディアプレーヤーのボタンのメタファーである場合を例示したものである。詳細には、図４Ａに示した例においては、再生制御ウィジェットの操作により、「再生」機能と「一時停止」機能との間でトグリングが起こる。言い換えれば、歌又は映画がユーザに対して再生中である場合は、自分の手の画像が再生／一時停止再生制御ウィジェットの画面上表示を「押す」ように動くことにより、ユーザはその歌／映画を一時停止することができる。

図４Ａの具体例においては、２つの別々のウィジェットを、１つは再生機能用として、別の１つは一時停止機能用として、使用することもできたが、ディスプレイ上に明確な操作可能エリアを形成するのに必要な異なるウィジェットの数を減らすために、２つの機能を１つのトグリングウィジェットに兼用させるのが効果的である。好ましくは、トグリングウィジェットに関して表示される図形要素はそのウィジェットの状態を反映するために変化する。例えば、何らかのコンテンツが現在再生中である場合は、「一時停止」機能を表示する図形要素／アイコンを使用して、トグリング再生／一時停止ウィジェットを表示するのが役立つことになる−これにより、ユーザは、そのウィジェットを操作した場合に次にどんな機能が得られるかを知ることができるようになる。

本発明に係るコンテンツ管理インタフェースにおいて使用される再生制御ウィジェットの数と性質は、当該の用途により決まることになる。例えば、歌、映画等を管理中である場合は、それぞれが（例えば、停止、早送り、次の章へのスキップ等のような）従来のメディアプレーヤーのいずれかのボタンのメタファーである１つ以上の再生制御ウィジェットを使用するのが適当であるかもしれない。別の具体例として、ドキュメントを管理中である場合は、「以降の頁」、「次頁」、「最終頁」等のような機能と関連付けられた１つ以上の再生制御ウィジェットを使用するのが適当であるかもしれない。

図４Ａに示したプレースホルダーウィジェットＰＨＷは、現在は表示されていない別のウィジェットに関連した機能をユーザが呼出すのを可能にするプレースホルダーである。好ましくは、図４Ａに示したように、このプレースホルダーの操作により呼出すことのできる機能の性質を示すために、アイコンがプレースホルダーウィジェットのグラフィック表示上に提供される。ユーザがその手／指の画像がプレースホルダーウィジェットのグラフィック表示の上方を動くように動いた場合は、このプレースホルダーウィジェットのコントローラはプレースホルダーウィジェットを非アクティブにし、呼出された機能と関連したウィジェットをそれに代わってアクティブにする。

図４Ａにおいては、プレースホルダーウィジェットには、ラウドスピーカーを表すアイコンが付けられており、オーディオの音量を表すスライダウィジェット用のプレースホルダーである。図４Ｃは、プレースホルダーウィジェットＰＨＷがユーザにより操作され、その結果として、プレースホルダーウィジェットを表示する図形要素が画面から除去され、スライダウィジェットＳＷを表示する図形要素が表示される場合を示している。

本発明の好ましい実施の形態においては、プレースホルダーウィジェットが別のウィジェットと関連付けられている場合は、その別のウィジェットを制御するウィジェットコントローラは、その別のウィジェットと関連付けられた操作可能エリアにおけるユーザの画面上の動きの持続期間を監視するように設計されている。これにより、ユーザの動きが停止してから所定の時間後に、ウィジェットコントローラがその別のウィジェットを非アクティブにし、プレースホルダーウィジェットを再度アクティブにすることが可能になる。この方法により、その別のウィジェットと関連付けられた機能を制御することにユーザが本当に関心を持っている期間中だけ、その別のウィジェットがアクティブになる（そのグラフィック表示が表示される）。

本発明の好ましい実施の形態はプレースホルダーウィジェットをスライダウィジェットと関連付けて使用する。スライダウィジェット、特に、その操作可能エリアが表示画面の縁に近いスライダウィジェットは、ユーザが撮像装置の視野に出入りする際にスプリアス操作されやすいことが発見されている。プレースホルダーウィジェットを使用することにより、スライダウィジェットは比較的短期間だけしかアクティブにならないので、スライダのスプリアス操作を防止（又は、少なくとも大幅に低減）することができる。

図４Ａに示したモード選択ウィジェットＭＳＷは、ユーザがインタフェースの異なる動作モードの間で、この場合は、インタフェース動作モードＡとインタフェース動作モードＢとの間で選択を行うことを可能にする。異なる表示モードはインタフェース動作モードの各々と関連付けられている。図４Ａは、スクロール可能リストウィジェットＳＬＷを画面の上端に表示させるインタフェース動作モードＡが選択された場合に関するものである。図４Ｂと４Ｃにおいては、ユーザはインタフェース動作モードＢを選択しており、スクロール可能リストウィジェットＳＬＷに代わって、３つのマッピングメタデータウィジェットＭＭＷが画面の上端に表示されている。

図４Ａに示したモード選択ウィジェットを操作するために、ユーザはその手／指の画面上画像がインタフェースの選ばれた動作モードを表示する図形要素の上方を動くように動く。例えば、インタフェース動作モードＡは、特定の歌手による曲名のスクロールリストからの選択によりユーザが歌を選択することができるインタフェース動作モードに対応することもでき、インタフェース動作モードＢは、ユーザが歌をカテゴリー別に閲覧するインタフェース動作モードに対応することもできる（異なるカテゴリーは異なるマッピングメタデータウィジェットを使用して表示される）。

本発明の好ましい実施の形態においては、アイコンがモード選択ウィジェットを表示する図形要素上に表示される。これにより、ユーザは、それらのウィジェットと関連付けられた異なるインタフェース動作モードを選択する際に自分がどれを選択しているのかを知ることができるようになる。図４Ａが、ユーザがインタフェースの異なる動作モードの間で選択を行うことを可能にする別々のウィジェット（と図形要素）を示していることに留意されたい。あるいは又、モード選択を制御するトグリングウィジェットを使用することもできる。２つ以上のインタフェース動作モードがある場合は、数の増えたモードセレクタウィジェットを定義することもできるし、２つ以上の状態を有するトグリングウィジェットを使用することもできる。のは明白である。図４Ｂと４Ｃは、画面の上端に表示された３つの３つのマッピングメタデータウィジェットＭＭＷを例示している。これらのマッピングメタデータウィジェットの各々はそれぞれのタイプのメタデータと関連付けられており、好ましくは、メタデータのタイプを示すアイコンを表示する。例えば、第1のメタデータマッピングウィジェットは、歌手の国に関する第1の種類のメタデータＭＤ１に関連付けることもでき、第２のメタデータマッピングウィジェットは、歌のジャンルに関する第２の種類のメタデータＭＤ２に関連付けることもでき、第３のメタデータマッピングウィジェットは、歌手に関する第３の種類のメタデータＭＤ３に関連付けることもできる。

その手／指の画面上位置がメタデータマッピングウィジェットの操作可能エリアの中を動くように動いた場合は、ユーザはそのウィジェットを操作することになる。ウィジェットの操作の結果は、ウィジェットのコントローラの環境設定に応じて決まる。
詳細には、ウィジェットのコントローラは特定のメタデータ属性とコンテンツ管理機能との間の関連付けを定義する。ユーザの動きがそのウィジェットが操作されることを示す場合は、ウィジェットコントローラは、指定されたメタデータ属性に対して「現在」適用可能な値に依存するコンテンツ管理機能の実行をトリガーする。ウィジェットコントローラは、ウィジェットが操作される瞬間までは、指定された属性の現在適用可能な値がどのようなものであるかについてのその判断を延期することもできるし、ユーザインタフェースが操作されるにつれて指定された属性がどのように変化するのかを連続的（又は、定期的）に監視することもできる。

コンテンツ閲覧アプリケーションを目的とした本発明の好ましい実施の形態においては、コンテンツの項目がアクセス（再生、表示等）のために選択される場合は、マッピングメタデータウィジェットは、選択された項目に対して適用可能なメタデータの値にマッピングされる−例えば、メタデータの種類<Tempo>と関連付けられたマッピングメタデータウィジェットは、現在選択中の歌が速いテンポを有する場合は、メタデータ<Tempo(Fast)>にマッピングされる。ユーザは次に検索を行い、コンテンツを閲覧し、現在選択中の項目のメタデータに関して選択を行うことができる。

このコンテクストにおいては、第1の種類のメタデータ−例えば、現在選択中の歌のメタデータに基づく、<Tempo(Fast)>−に関連付けられたメタデータマッピングウィジェットのコントローラは、そのウィジェットが操作された時に、そのメタデータと同じ値を有するより多くのコンテンツ、すなわち、メタデータ<Tempo(Fast)>を有するより多くの歌の選択を命令するように設計することができる。あるいは又、<Tempo(Fast)>にマッピングされたウィジェットの操作が、ユーザによる現在の選択から（例えば、メタデータ<Tempo(Fast)>を有する新しい歌の選択のような）異なるデータを有するこの種のメタデータの選択への変更のコマンドとして解釈されるように、ウィジェットコントローラを設計することもできる。ユーザにより指示されたカテゴリーからの無作為抽出又はいくつかのユーザの選好を考慮に入れた選択を行うことにより、インタフェースはユーザの「新しい歌」の選択（より一般的には「新しいコンテンツ」の選択）に対応することができる。かかるユーザの選好は明示的に表現することもできるし、（例えば、コンテンツへのユーザの過去のアクセスに関する統計データを蓄積することにより）システムにより自動的に判断することもできる。

上記の具体例においては、コンテンツの項目がアクセス（再生、表示等）のために選択された場合は、マッピングメタデータウィジェットは、選択された項目に対して適用可能なメタデータの値にマッピングされる。しかしながら、本発明は、どれが特定のウィジェットにマッピングする「現在適用可能な」属性値であるのかを判断するこの方法に限定されるわけではない。その他の可能性としては、（現在の時点で）ユーザが最高順位を与えているコンテンツの項目、コンテンツの最も再生される項目、ユーザのコレクションに最も最近追加されたコンテンツの項目等に対して適用可能な属性値へのウィジェットのマッピングがある。

本発明の好ましい実施の形態においては、コンテンツの現在選択中の項目のメタデータにマッピングされるウィジェットを表示する図形要素は、そのメタデータを表す画像である（例えば、メタデータ<Performer(Rolling Stones)>について、バンド「ローリングストーンズ」の写真を、そのウィジェットを現在表す図形要素として使用することもできる。「現在選択中」であるコンテンツの項目は変わるので、関連付けられたマッピングメタデータウィジェットを有する特定の種類のメタデータの値も変化することがある。従って、そのウィジェットを表す図形要素も変わることになる。例えば、現在選択中の歌が<Performer(Rolling Stones)>を有する「サティスファクション」から<Performer(The Beatles)>を有する「ツイスト・アンド・シャウト」に変わった場合は、現在選択中の歌の<Performer>メタデータと関連付けられたマッピングメタデータウィジェットを表す図形要素は、ビートルズの写真を示すものに変わることもできる。

図５Ｂは、本発明の１つの実施の形態に係る音楽閲覧インタフェースの使用中に得られる画面表示の写真である。図５Ｂの画面表示に示したように、現在選択中の音楽項目のジャンルに関する１つと、現在選択中の音楽項目の作曲家に関する１つである２つのマッピングメタデータウィジェットがアクティブである。より具体的には、その写真が撮影された時に、フレデリック・ショパンの音楽作品が選択され、従って、一方のウィジェットがメタデータ<Genre(Classical)>にマッピングされ、他方のウィジェットが<Composer(Chopin, Fredric)>にマッピングされたのである。

図５Ｂに示した画面表示は、ユーザが自分の指を<Genre(Classical)>にマッピングされたウィジェットのグラフィック表示の上方で動かしていることを示している。図示した例においては、このウィジェット用のコントローラは、メタデータ<Genre(Classical)>を有する別の音楽作品の選択を命令することによりウィジェットの操作に対応するように設計されている。

ところで、マッピングメタデータウィジェットは選択的にアクティブにすることもでき、例えば、インタフェースが特定の動作モード、例えば、図４Ｂと４Ｃに示したインタフェース動作モードＢにある場合に限ってアクティブになる。インタフェース動作モードＢがアクティブになった時にマッピングメタデータウィジェットＭＭＷにマッピングするメタデータの値を設定する機構を有することが必要であるかもしれない。本発明のいくつかの好ましい実施の形態においては、ユーザが例えばインタフェース動作モードＢを選択するためにモードセレクタウィジェットを操作した場合は、コンテンツの現在選択中の（すなわち、モード変更時に選択された）項目のメタデータは、メタデータマッピングウィジェットがマッピングされるメタデータを決定することになる。

例えば、
− 歌「ツイスト・アンド・シャウト」がコンテンツの現在選択中の項目である状態で、ユーザがインタフェース動作モードＡ（図４Ａ）をインタフェース動作モードＢ（図４Ｂ）に変えた場合は、図４Ｂの３つのメタデータマッピングウィジェットを<Country(United Kigdom)><Genre(Pop)><Performer(The Beatles)>にそれぞれマッピングすることもできるし、英国国旗と"Pop"のアイコンとビートルズの写真を表す図形要素をウィジェットを表すために使用することもできる。
− 歌「ツイスト・アンド・シャウト」がコンテンツの現在選択中の項目である状態で、ユーザがインタフェース動作モードＢ（図４Ｂ）をインタフェース動作モードＡ（図４Ａ）に変えた場合は、（メタデータマッピングウィジェットとすることができる）スクロール可能リストウィジェットは、メタデータ<Performer(The Beatles)>を有するその他の曲名のリスト、又は<Genre(Pop)>を有するコンテンツのその他の歌手の名前のリスト等を表示することもできる−スクロール可能リストにその値が含まれている属性はウィジェットのコントローラにより決定されることになる（さらに、ユーザがインタフェースをどのように環境設定したかによって決まることもある）。

図４Ｃは、スライダウィジェットＳＷを呼出すためにユーザが図４ＢのプレースホルダーウィジェットＰＨＷを操作した場合を例示したものである。図５Ｃは、本発明の１つの実施の形態に係る音楽閲覧インタフェースの表示画面の写真であり、係るスライダウィジェットが操作中であることを示している。この具体例においては、仮想的に自分の手の画面上画像を滑動要素の上端（全スライダ境界のフィラー）の上に置き、それを押し下げることにより、ユーザはスライダウィジェットを操作している。この具体例においては、ユーザがこのスライダウィジェットを操作した結果として、現在再生中のオーディオファイルの音量が徐々に下がることになる。

本発明に係るコンテンツ管理インタフェースにおいて使用するウィジェットの特定の選択、インタフェース動作モードの数とタイプ、（各モードにおいて）表示する図形要素は、アプリケーションと、設計者及び／又はユーザ（エンドユーザによるインタフェースの環境設定がどの程度可能かにもよるが）の希望しだいで、大幅に違ったものになる。本発明に係るインタフェースが、ユーザの画面上画像の仮想アクションにより操作可能なウィジェットに対応していない図形要素を表示画面上に表示することができることに留意されたい。例えば、図６の写真に示したように、表示画面はテキスト（この場合は、現在選択中の歌の曲名と歌手名）を表示することができる。別の具体例として、インタフェースは、自分の画面上画像の仮想アクション以外の何らかのアクションにより操作可能である要素−例えば、ポインティングデバイス（例えば、マウス）、タッチ画面、タブレット等を使用した選択を必要とする要素−を表示することもできる。

上記の説明を要約するためには、図２と図４Ａ〜４Ｃに基づく音楽閲覧インタフェースの作動の概要を本発明を実施したコンテンツ管理インタフェースのアプリケーションの実例として提供するのが有益であると考えられる。
スタートアップ時には、コンテンツ管理インタフェースは、図４Ｂに基づく画面を表示し、さらに、撮像装置により提供されるようなユーザのリアルタイム画像も表示するものと仮定する。例えば、エルビス・プレスリーの「ア・リトル・レス・カンバセーション」のような歌が無作為に選択され、自動的に再生される。インタフェースはインタフェース動作モードＢで作動中であるので、３つのアイコンが画面の上端に表示され、例えば、画面左上端の<Performer's Country(United States of America)>、画面中央上端の<Genre(Pop)>、画面右上端の<Performer (Elvis Presley)>のような、現在再生中の歌に対して適用可能な値を有する３つの所定のタイプのメタデータを表している。トグリング再生／一時停止再生制御ウィジェットを表すために、単語"Pause"を有するボタンが画面の下端に表示されている（このウィジェットをアクティブにし、現在の歌の再生を一時停止するためにユーザが動いた場合は、表示されたボタンの上の単語は"Play"に変わる）。

現在の歌と同じジャンルの歌を聴くことを希望する（しかし、歌手又はジャンルが歌手の国が現在の選択とは異なっているかどうかは気にしない）場合は、ユーザはその手の画像が中央上端のボタンを押すように動く（そのウィジェットは現在<Genre(Pop)>にマッピングされている）。この中央上端のボタンにより表されるウィジェットは、<Genre(Pop)>を有する利用可能な歌から無作為に１曲選択させることにより応答する。一具体例として、マイケル・ジャクソンの歌「ビリー・ジーン」が選択されたとしよう。この歌の再生が自動的に始まる（前に選択された歌の再生は中止される）。

現在の歌と同じ国出身の歌手の歌を聴くことを希望する（しかし、歌手と歌手の国が現在の選択とは異なっているかどうかは気にしない）場合は、ユーザはその手の画像が左上端のボタンを押すように動く（そのウィジェットは現在<Performer's Country(United States of America)>にマッピングされている）。この左上端のボタンにより表されるウィジェットは、<Performer's Country(United States of America)>を有する利用可能な歌から無作為に１曲選択させることにより応答する。一具体例として、ビル・ヘイリーとコメッツの歌「（ウィアー・ゴーイング・ツー）ロック・アラウンド・ザ・クロック」が選択されたとしよう。この歌の再生が自動的に始まる。

現在の歌と同じ歌手の歌を聴くことを希望する（しかし、ジャンルが現在の選択とは異なっているかどうかは気にしない）場合は、ユーザはその手の画像が右上端のボタンを押すように動く（そのウィジェットは現在<Performer(Bill Haley and The Comets)>にマッピングされている）。この右上端のボタンにより表されるウィジェットは、<Performer's Country(United States of America)>を有する利用可能な歌から無作為に１曲選択させることにより応答する。一具体例として、ビル・ヘイリーとコメッツの歌「シー・ユー・レイター・アリゲーター」が選択されたとしよう。この歌の再生が自動的に始まる。

ユーザがそのアーティストの特定の歌を選択することを希望し、（現在選択中の歌の歌手による歌の曲名のスクロールリストを介して）それを可能にする利用可能なインタフェースの代替動作モード（インタフェース動作モードＡ）が存在することを知っていることがある。それぞれインタフェース動作モードＡとインタフェース動作モードＢのモードセレクタウィジェットを表す２つのボタンが、画面の左側に向けて表示される。ユーザは自分の手の表示画像がインタフェース動作モードＡを表すボタンを押すように動く。

ユーザのアクションの結果として、インタフェース動作モードＡのボタンにより表されるウィジェットは（重ね合わされたユーザの画像と共に）図４Ａに基づく画面を表示させる。３つのメタデータマッピングウィジェットを表すボタンが現れることはもうない。それに代わって、すくローリストが画面の上端に現れ、利用可能なビル・ヘイリーとコメッツの全ての歌の曲名を示す。自分の希望する歌の曲名が画面の中央にスクロールするのを見た場合は、ユーザは自分の手の表示画像がその曲名に触れるように動く。スクロールリストにより表されるウィジェットはリストのスクロールを停止させ、選択された曲名の歌を自動的に再生させる。

現在再生中の歌の音響を下げる（上げる）ことを希望する場合は、ユーザは、自分の手の画像がプレースホルダーウィジェットを表す画面の右側のボタンを押すように動く。プレースホルダーウィジェットは、図４Ｃのように、プレースホルダーウィジェットのグラフィックを消し、スライダウィジェットのグラフィック表示を出現させることにより応答する。ユーザは、その表示画像が滑動要素の上端（下端）に（すなわち、図４ＣのＳＷの網掛け部と白色部との接点に）停止するように自分の手を動かす、自分の手の表示画像がスライダを上（下）に滑動させるように動く。スライダウィジェットは音量を適宜変えるように現在選択中の歌の再生を制御する。

本発明の技術は身振りベース制御を導入することにより拡張することができる。言い換えれば、インタフェースは、ユーザの画像を解析し、それにより、ユーザが−例えば、（現在の選択とは異なるものへの変更のための）「両親指を下」の身振り、（音量を下げることを示すための）掌を下向きにし、下に動かす手の動き等のような−所定のセットの身振りの１つを行っているか否かを判断するための手段を含むことができる。所定の身振りの１つが検出された場合は、対応する身振りベースコントローラが、その身振りと関連付けられた機能を実行するように作動する。身振りを認識する技術は数多くのものが提案されており、本発明はどの技術を採用するかについての制限があるわけではない。

本発明をそのいくつかの好ましい実施の形態の詳細な特徴に関して説明してきたが、特許請求の範囲に定義されたような本発明の範囲から逸脱することなく、変更、交換、適応が可能であることは、当業者には容易に理解されるであろう。
例えば、上記の好ましい実施の形態は、ウィジェットと関連付けられた図形要素を表示するコンテンツ管理インタフェースに関するものではあるが、これらの図形要素は不可欠なものではないと理解するものとする。言い換えれば、特定の画面上位置に操作可能エリアを有するウィジェットを定義することはできるが、その位置を示す図形要素は画面上には表示されない。

このコンテクストにおいて、特定の画面上位置を操作するためにユーザが自分の画面上画像をどこに動かすべきかについての視覚基準をユーザに与えるように、図形要素が提供されていることを想起されたい。言い換えれば、図形要素は、インタフェースの使用を簡単にし、ウィジェットの数が多い場合に特に価値があるものとなる、各ウィジェットに対して適用可能な操作可能エリアの位置に関する覚書の役割を果たす。しかしながら、（例えば、画面上端、画面左下端、画面右下端のような）十分な間隔のある操作可能エリアを有する少数のウィジェットについての操作可能エリアをユーザが記憶することができ、従って、それらのウィジェットのグラフィック表示の必要性がない場合を想定することが可能である。

ユーザとインタフェースとの間の対話を簡素化するために、カメラ（又はユーザを検出するその他の撮像装置）がユーザを追跡し、ユーザに焦点を合わせることができるようにシステムを構成することができる。
任意で、本発明を実施するシステムを、経験から学習し（例えば、ユーザのコマンドに応じて新しいコンテンツを選択する際に考慮に入れるためのユーザの選好の学習）、ユーザを認識することを学習し、（身振り認識がサポートされている場合は）新しい身振りを学習するように設計することができる。
本発明に係るインタフェースのスタートアップ時には、システムは（例えば、歌の自動再生、画像の自動表示等のような）アクセスし、ユーザに提示するコンテンツの項目の選択を行う。しかしながら、これは義務的なものではない。インタフェースは、コンテンツのいずれかの特定の項目へのアクセス／その提示が行われるまでは、ユーザによる特定のアクションを待つこともできる。

本発明のさらなる詳細、特徴、効果は、例示として示したその好ましい実施の形態についての以下の説明から明らかになるであろう。
本発明にかかるコンテンツ管理システムを使用できる異なるシステムの実施例を示したダイアグラムであり、表示にコンピュータのモニタを使用するシステムを例示したものである。 本発明にかかるコンテンツ管理システムを使用できる異なるシステムの実施例を示したダイアグラムであり、表示にリアプロジェクション画面を使用するシステムを例示したものである。 本発明の好ましい実施の形態に係るコンテンツ管理インタフェースを製造するために使用される様々な基本的構成要素を例示したブロックダイアグラムである。 図２のコンテンツ管理インタフェースにおいて使用されるウィジェットマネージャの構成要素の一具体例を例示したダイアグラムである。 本発明の好ましい実施の形態により生成された画面上表示のいくつかの具体例を示した一連のダイアグラムであり、スクロールリストウィジェットの使用を例示したものである。 本発明の好ましい実施の形態により生成された画面上表示のいくつかの具体例を示した一連のダイアグラムであり、コンテンツを閲覧するためのマッピングされたメタデータの使用を例示したものである。 本発明の好ましい実施の形態により生成された画面上表示のいくつかの具体例を示した一連のダイアグラムであり、スライダウィジェットを例示したものである。 音楽ブラウザアプリケーションにおいて実現された本発明の好ましい実施の形態により生成された画面上表示の具体例を指名した一連の写真であり、スクロールリストウィジェットの使用を例示したものである。 音楽ブラウザアプリケーションにおいて実現された本発明の好ましい実施の形態により生成された画面上表示の具体例を指名した一連の写真であり、コンテンツを閲覧するためのマッピングされたメタデータの使用を例示したものである。 音楽ブラウザアプリケーションにおいて実現された本発明の好ましい実施の形態により生成された画面上表示の具体例を指名した一連の写真であり、スライダウィジェットを例示したものである。 図５の音楽ブラウザアプリケーションにおけるウィジェットの異なる画面上表示を例示したものである。

Claims (13)

1. ユーザコマンドを入力し、該ユーザコマンドに応答し、それにより、上記コンテンツ管理システムを介してアクセス可能な１つ以上のコンテンツについて１つ以上のコンテンツ管理機能を実行させるためのコンテンツ管理システム用ユーザインタフェース装置であって、上記各コンテンツは、メタデータのセットにより記述され、上記コンテンツを記述する際には、上記各メタデータのセットがそれぞれ、コンテンツの属性と、上記属性の属性値とを定義し、上記１つ以上のコンテンツ管理機能が、上記コンテンツの選択、アクセス、検索、修正及び提示と、上記コンテンツのコレクションへの追加及びコレクションからの削除と、上記コンテンツのコレクションの編成に使用されるデータ構造の選択、アクセス、検索、修正及び提示とから構成されたグループにおいて選択された１つ以上の作業を含み、
   ユーザの画像を含むビデオストリームを処理するビデオ処理手段と、
   ビデオデータを用意し、上記ビデオストリームに対応する画像を画面上に表示させる表示手段と、
   上記表示画面のそれぞれの第１の領域と、上記メタデータにより定義された第１の属性の属性値に依存するそれぞれの第１のコンテンツ管理機能との間の少なくとも第１の関連付けを定義し、表示画面領域とコンテンツ管理機能との間の特定の関連付けがアクティブであるかどうかを記録するように構成されている制御手段と、
   上記表示画面の少なくとも１つの領域に表示するビデオストリームのそれぞれの部分においてユーザの動きを検出する動き検出手段とを有し、
   上記制御手段は、上記動き検出部が上記表示画面上の上記第１の領域に表示されるビデーストリームの部分においてユーザの動きを第１の時点で検出した場合であって、上記第１の時点で上記第１の関連付けがアクティブである場合、上記第１の時点において上記第１の領域で選択されたコンテンツに適用されている第１の属性の属性値に基づいて、上記第１の時点で選択された上記コンテンツの上記第１の属性の属性値と、アクセス可能なその他のコンテンツに対して適用されている上記第１の属性の属性値との比較による第１のコンテンツ管理機能を、上記第１の時点で実行する
   ユーザインタフェース装置。
2. 上記制御手段は、上記表示画面上の該制御手段により定義される機能と関連付けられた領域に表示するための図形要素を生成するように構成された図形データ生成器を含む
   請求項１に記載のユーザインタフェース装置。
3. 上記制御手段により定義された上記関連付けの少なくとも１つは、上記表示画面の細長い領域とコンテンツの特定の属性の属性値を変えるための特定のコンテンツ管理機能との間の関連付けであり、
   上記特定の属性が連続した範囲の属性値をとり、
   上記制御手段は、上記特定のコンテンツ管理機能が実行させられる場合、上記コンテンツ管理機能により生じる属性値の変動を、上記細長い領域内で検出されたユーザの動きの特性に依存させる
   請求項２記載のユーザインタフェース装置。
4. 上記図形データ生成器は、属性値を変えるための上記特定のコンテンツ管理機能に関するスライダを表す図形要素を生成する
   請求項３記載のユーザインタフェース装置。
5. アクティブではないコンテンツ管理機能に関しては、上記図形要素が上記表示画面には表示されない
   請求項１乃至４のいずれか一項記載のユーザインタフェース装置。
6. 上記制御手段により定義される上記関連付けの少なくとも２つが、アクティブ／非アクティブが反転される１対の相補機能であり、
   上記相補機能の第１の機能がプレースホルダー機能であり、
   上記制御手段は、上記動き検出手段が上記プレースホルダー機能と関連付けられた領域に表示する上記ビデオストリームの部分においてユーザの動きを検出した場合、該プレースホルダー機能を非アクティブにする
   請求項１乃至５のいずれか一項記載のユーザインタフェース装置。
7. 上記制御手段は、上記動き検出手段が第２の相補機能と関連付けられた領域に表示する上記ビデオストリームの部分においてユーザの動きの検出を中止した後、所定の時間の経過後に上記第２の相補機能を非アクティブにする
   請求項６記載のユーザインタフェース装置。
8. 上記制御手段により定義される上記関連付けの少なくとも１つは、上記表示画面のリスティング領域とリストからの選択を含むコンテンツ管理機能との関連付けであり、
   上記コンテンツ管理機能は、アクティブにされた場合は、スクロールが可能な上記リストのグラフィック表示が上記表示画面に表示され、
   上記動き検出器は、上記リスティング領域の所定のエリアに対応する上記ビデオストリームの部分においてユーザの動きを検出した場合は、上記リスト選択コンテンツ管理機能が、上記表示画面の所定のエリアにそのグラフィック表示が表示中であるリスト項目を選択させる
   請求項１乃至７のいずれか一項記載のユーザインタフェース装置。
9. 上記動き検出器が上記リスティング領域の端に対応する上記ビデオストリームの部分においてユーザの動きを検出した場合は、上記リストのグラフィック表示はスクロールして該リスティング領域の端に接近したり、離れたりする
   請求項８記載のユーザインタフェース装置。
10. 請求項１乃至９のいずれか一項記載のユーザインタフェース装置を備えるコンテンツ管理システム。
11. ユーザの画像を含むビデオストリームを処理するステップと、
    ビデオデータを用意し、上記ビデオストリームに対応する画像を表示画面上に表示させるステップと、
    上記表示画面のそれぞれの第１の領域と、メタデータにより定義された第１の属性の属性値に依存するそれぞれの第１のコンテンツ管理機能との間に呼出すことが可能な少なくとも第１の関連付けを定義するステップと、
    上記表示画面の少なくとも１つの領域に表示する上記ビデオストリームのそれぞれの部分においてユーザの動きを検出するステップと、
    上記表示画面上の上記第１の領域に表示されるビデーストリームの部分においてユーザの動きが第１の時点で検出された場合であって、上記第１の時点で上記第１の関連付けがアクティブである場合、上記第１の時点において上記第１の領域で選択されたコンテンツに適用されている第１の属性の属性値に基づいて、上記第１の時点で選択された上記コンテンツの上記第１の属性の属性値と、アクセス可能なその他のコンテンツに対して適用されている上記第１の属性の属性値との比較による第１のコンテンツ管理機能を、上記第１の時点で実行するステップと
    を有するユーザとコンテンツ管理システムの対話方法。
12. ユーザの画像を含むビデオストリームを処理するステップと、
    ビデオデータを用意し、上記ビデオストリームに対応する画像を表示画面上に表示させるステップと、
    上記表示画面のそれぞれの第１の領域と、メタデータにより定義された第１の属性の属性値に依存するそれぞれの第１のコンテンツ管理機能との間に呼出すことが可能な少なくとも第１の関連付けを定義するステップと、
    上記表示画面の少なくとも１つの領域に表示する上記ビデオストリームのそれぞれの部分においてユーザの動きを検出するステップと、
    上記表示画面上の上記第１の領域に表示されるビデーストリームの部分においてユーザの動きが第１の時点で検出された場合であって、上記第１の時点で上記第１の関連付けがアクティブである場合、上記第１の時点で選択されたコンテンツに適用されている第１の属性の属性値に基づいて、上記第１の時点において上記第１の領域で選択された上記コンテンツの上記第１の属性の属性値と、アクセス可能なその他のコンテンツに対して適用されている上記第１の属性の属性値との比較による第１のコンテンツ管理機能を、上記第１の時点で実行するステップと
    を実行するコンピュータシステム。
13. コンピュータに、
    ユーザの画像を含むビデオストリームを処理するステップと、
    ビデオデータを用意し、上記ビデオストリームに対応する画像を表示画面上に表示させるステップと、
    上記表示画面のそれぞれの第１の領域とメタデータにより定義された第１の属性の属性値に依存するそれぞれの第１のコンテンツ管理機能との間に呼出すことが可能な少なくとも第１の関連付けを定義するステップと、
    上記表示画面の少なくとも１つの領域に表示する上記ビデオストリームのそれぞれの部分においてユーザの動きを検出するステップと、
    上記表示画面上の上記第１の領域に表示されるビデーストリームの部分においてユーザの動きが第１の時点で検出された場合であって、上記第１の時点で上記第１の関連付けがアクティブである場合、上記第１の時点において上記第１の領域で選択されたコンテンツに適用されている第１の属性の属性値に基づいて、上記第１の時点で選択された上記コンテンツの上記第１の属性の属性値と、アクセス可能なその他のコンテンツに対して適用されている上記第１の属性の属性値との比較による第１のコンテンツ管理機能を、上記第１の時点で実行するステップと
    を実行させるコンピュータプログラム。

Images