JP4539398B2 - 小型移動装置上でマルチメディアコンテンツブラウジングを支援するシステム、方法、コンピュータプログラム、及びコンピュータデータ信号 - Google Patents

Description

本発明は、一般に、マルチメディアデータの記憶、処理、及びブラウジングに係り、より詳細には、小型移動装置（ｓｍａｌｌ ｍｏｂｉｌｅ ｄｅｖｉｃｅ）上でマルチメディア・コンテンツ・ブラウジングを支援するシステム、方法、コンピュータプログラム、及びコンピュータデータ信号に関する。

今日の携帯及び無線技術の進歩に伴って、場所や時を選ばず、マルチメディアコンテンツにアクセスすることが容易となった。マルチメディアコンテンツは、これらに限定されないが、ビデオ、ビデオセグメント、キーフレーム、画像、図、図面、グラフ、写真、テキスト、キーワード、及び他の好適なコンテンツを含むことができる。最先端（ｃｕｔｔｉｎｇ ｅｄｇｅ）の技術によって、ＰＤＡ（パーソナル・ディジタル・アシスタンス）、携帯電話、タブレット（Ｔａｂｌｅｔ）ＰＣ、ポケット（Ｐｏｃｋｅｔ）ＰＣ、及び他の好ましい電子装置であってもよく、これらに限定されない小型移動装置上でマルチメディアコンテンツを見ることの可能性が提供されている。小型移動装置は、ユーザと対話するためにペンやスタイラスなどの関連付けられた入力装置を使用することができる。

しかしながら、多くの理由から、小型移動装置上で、マルチメディアコンテンツをブラウジングすることには困難が伴う。第１に、このような装置の小さなスクリーン領域では、ディスプレイされ得るマルチメディアコンテンツの量が制限される。第２に、小型移動装置上でのユーザ対話（インタラクション）がつまらなくなる傾向があり、また、このような装置の現在生成の限定された応答性が他の悪化の原因となる。第３に、バンド幅とパフォーマンスの問題によって、ネットワークを介して転送するために、マルチメディアコンテンツ部分を注意深く選択する必要がある。更に、移動マルチメディア端末として作用する小型移動装置の持ち運びの良さとフレキシビリティとは無関係に、これらの小型移動装置のリソースがポテンシャルに限定されるため、小型移動装置が、バイト数が巨大なマルチメディア・コンテンツをどのようにして取り扱い処理するかが今後の大きな課題である。

上記課題を解決するために、請求項１に記載の発明は、小型移動装置上でマルチメディアコンテンツブラウジングを支援するシステムであって、マルチメディアコンテンツデータベースと、マルチメディアコンテンツデータベースから一つ以上のマルチメディアコンテンツを検索及び取得し、一つ以上のマルチメディアコンテンツを、通信ネットワークを介して、ブランジングコンポーネントへ転送する、処理コンポーネントと、を備え、ブラウジングコンポーネントが、該ブラウジングコンポーネント上で、各々が透過値を有し得る一つ以上の層に前記一つ以上のマルチメディアコンテンツをレンダリングすることが可能であり、一つ以上の入力装置を介して、前記一つ以上の層の各々の前記透過値を、設定することが可能であり、前記ブラウジングコンポーネントが、検索された前記一つ以上のマルチメディアコンテンツのタイトルリストを示す第１のコンテンツ層を表示し、前記タイトルリスト内のマルチメディアコンテンツが選択されると、前記第１のコンテンツ層の前記透明度を変更して、前記第１のコンテンツ層が、前記タイトルリストから選択されたマルチメディアコンテンツが合成されたコンテンツを示す第２のコンテンツ層上に積層されるように、かつ、前記第１のコンテンツ及び前記第２のコンテンツの双方が目視可能となるように表示する、ことを特徴とする。

請求項１４に記載の発明は、小型移動装置上でマルチメディアコンテンツブラウジングを支援する方法であって、処理コンポーネントが、マルチメディアコンテンツデータベースから一つ以上のマルチメディアコンテンツを検索及び取得し、通信ネットワークを介して、一つ以上のマルチメディアコンテンツを転送し、ブラウジングコンポーネントが、各々が透過値を有し得る一つ以上の層に一つ以上のマルチメディアコンテンツをレンダリングし、前記ブラウジングコンポーネントが、検索された前記一つ以上のマルチメディアコンテンツのタイトルリストを示す第１のコンテンツ層を表示し、前記タイトルリスト内のマルチメディアコンテンツが選択されると、前記第１のコンテンツ層の前記透明度を変更して、前記第１のコンテンツ層が、前記タイトルリストから選択されたマルチメディアコンテンツが合成されたコンテンツを示す第２のコンテンツ層上に積層されるように、かつ、前記第１のコンテンツ及び前記第２のコンテンツの双方が目視可能となるように表示し、一つ以上の入力装置を介して、一つ以上の層の各々の透過値を、設定すること、を含むことを特徴とする。

請求項２５に記載の発明は、小型移動装置上でマルチメディアコンテンツブラウジングを支援するプログラムであって、コンピュータに、マルチメディアコンテンツデータベースから一つ以上のマルチメディアコンテンツを検索及び取得するステップ、一つ以上のマルチメディアコンテンツを通信ネットワークを介して転送するステップ、各々が透過値を有し得る一つ以上の層上に一つ以上のマルチメディアコンテンツをレンダリングするステップ、検索された前記一つ以上のマルチメディアコンテンツのタイトルリストを示す第１のコンテンツ層を表示するステップ、前記タイトルリスト内のマルチメディアコンテンツが選択されると、前記第１のコンテンツ層の前記透明度を変更して、前記第１のコンテンツ層が、前記タイトルリストから選択されたマルチメディアコンテンツが合成されたコンテンツを示す第２のコンテンツ層上に積層されるように、かつ、前記第１のコンテンツ及び前記第２のコンテンツの双方が目視可能となるように表示するステップ、及び一つ以上の層の各々の透過値を、一つ以上の入力装置を介して、設定するステップを実行させることを特徴とする。

請求項２６に記載の発明は、小型移動装置上でマルチメディアコンテンツブラウジングを支援するシステムであって、マルチメディアコンテンツデータベースから一つ以上のマルチメディアコンテンツを検索及び取得する手段と、通信ネットワークを介して一つ以上のマルチメディアコンテンツを転送する手段と、各々が透過値を有し得る一つ以上の層に一つ以上のマルチメディアコンテンツをレンダリングする手段と、検索された前記一つ以上のマルチメディアコンテンツのタイトルリストを示す第１のコンテンツ層を表示し、前記タイトルリスト内のマルチメディアコンテンツが選択されると、前記第１のコンテンツ層の前記透明度を変更して、前記第１のコンテンツ層が、前記タイトルリストから選択されたマルチメディアコンテンツが合成されたコンテンツを示す第２のコンテンツ層上に積層されるように、かつ、前記第１のコンテンツ及び前記第２のコンテンツの双方が目視可能となるように表示する手段と、一つ以上の入力装置を介して、一つ以上の層の各々の透過値を、設定する手段と、を有することを特徴とする。

本発明は、同様の参照番号が同様の要素を示す添付の図によって例を用いて説明されるが、これにより、本発明が限定されることはない。本発明の開示における「一」又は「一つの」又は「いくつかの」実施の形態が必ずしも同一の実施の形態を言及するものではなく、少なくとも一つの実施の形態を言及することに注目されたい。

本発明によるシステム及び方法は、小型移動装置上でのマルチメディアコンテンツのブラウジングを可能とする。これらのシステム及び方法は、マルチメディアコンテンツのブラウジングの三つのキータスク、即ち、キーワードによるマルチメディアコンテンツの問合わせ、マルチメディアコンテンツのキーフレームを閲覧（ビュー）することによる検索結果の探査（ｅｘｐｌｏｒｅ）、及び、例えばビデオ又はビデオセグメントなどのマルチメディアコンテンツのストリームの再生、を円滑に組み合わせる。各タスクの実行中、マルチメディアコンテンツの必要な部分のみ（例えば、タイトル、キーフレーム、及びビデオセグメント）が検索されレンダリングされ、これによって、インターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスネットワーク及びブルートゥース（商標）ネットワーク、及び他の好ましい概念であってもよく、これらに限定されない通信ネットワークへの要求が減少する。ビデオは、セグメント・ベースのマルチメディアコンテンツデータベース内に記憶されることができる。このセグメント・ベースのマルチメディアコンテンツデータベースは、ビデオなどのマルチメディア・コンテンツのブラウジング、検索、記憶及び再利用を支援するように設計される。層状画像形成モデル（ｌａｙｅｒｅｄ ｉｍａｇｉｎｇ ｍｏｄｅｌ）は、小さなスクリーン領域にマルチメディアコンテンツを効果的にブラウジングするため、及び、タスク間遷移の一つの方法として、導入される。各層（レイヤ）は、独立に、連続的に、インタラクティブに設定されたそれ自体の透過値を有する場合もあり、これらの層はスクリーン上でレンダリングされる時に互いの層上で重なり合うことができる。

マルチメディアコンテンツブラウジングの全体のタスクを取り扱うだけの十分なリソースがない場合もあるので、ブラウジングコンポーネントとしての小型移動装置、マルチメディア・コンテンツ・データベースをホストするハードデスクドライブ（ＨＤＤ）、及び処理コンポーネントとしてのコンピュータ資源が豊富な（リソースリッチな）即ちコンピュータ資源を十分に有する演算装置を用いて、タスクを分散させるために、スケーラブルな（拡張性のある）アーキテクチャが採用され得る。ここで、リソースリッチな演算装置は、これらに限定されないが、デスクトップＰＣ、ラップトップＰＣ、ワークステーション、サーバ、及びメインフレームコンピュータを含むことができる。ＨＤＤは、これらに限定されないが、リソースリッチな演算装置上に外部ＨＤＤ、ポータブルＨＤＤ、ワイヤレスＨＤＤ、ブルートゥース（商標）ＨＤＤ、及び内部ＨＤＤの少なくとも一つを含むことができる。

マルチメディアコンテンツ・ブラウジングシステムによって使用されるアプリケーション・ソフトウェアは、Ｊａｖａ（登録商標）において実装されることができる。Ｊａｖａ（登録商標）においては、Ｊａｖａ（登録商標）２Ｄが層のレンダリングを支援するために使用され、Ｊａｖａ（登録商標）用ＱｕｉｃｋＴｉｍｅ（商標）（アップル社（Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ，Ｉｎｃ．）製）がコンテンツのストリームを再生するために使用されることができる。

図１は、本発明の実施の形態においての例示的なシステムを示す。この図は、論理的区分としてのオブジェクト及びプロセスのうちの少なくともいずれかを示すが、このような描画は、あくまでも、図示目的である。この図に描かれているオブジェクト及びプロセスのうちの少なくともいずれかは、別個のソフトウェア、ファームウェア、及びハードウェア・コンポーネントのうちの少なくとも一つと任意に組み合わされてもよいし、これらのコンポーネントに分割されてもよいことは当業者に明らかであろう。更に、このようなオブジェクト及びプロセスは、どのように組み合わされ、または、どのように分割されたかに関わらず、同一演算装置上で実行されてもよいし、あるいは、一つ以上のネットワークその他の好適な通信手段に接続される様々な演算装置間で分散されてもよいことも明白であろう。

図１の例示的なマルチメディアコンテンツ・ブラウジングシステム１００内で、ブラウジングコンポーネント１０１は、画面１０４上のビデオ又はビデオセグメントなどのマルチメディアコンテンツの一つ以上の層１０２をレンダリングすることが可能である。これらの一つ以上の層の各々の透過値は、一つ以上の入力デバイス１０５を介して動作可能であるウイジェット層１０３を用いてインタラクティブ（対話的）に設定され得る。ブラウジングコンポーネントは、通信ネットワーク１０６を介して処理コンポーネント１０７と通信する。問合わせタスクの間、処理コンポーネントにおける検索（サーチ）エンジンコンポーネント１０９は、マルチメディアコンテンツデータベース１１０からマルチメディアコンテンツを検索し、このようなコンテンツは、キーフレーム、テキストのメタデータ、及びこれらのコンテンツに関連付けられたキーワードを含むことができる。探査及びコンテンツ再生タスクのうちの少なくともいずれかの実行中、コンテンツ合成コンポーネント１０８は、コンテンツの必要な合成、アニメーション（動画化）、及び記憶を行った後、マルチメディアコンテンツをレンダリングのためにブラウジングコンポーネントへ戻すよう転送する。

図２は、本発明の例示的な一実施の形態によるマルチメディアコンテンツ・ブラウジングプロセスを示すフローチャートである。この図は、図示目的のために特定の順序で機能的なステップを描いているが、プロセスは、ステップのいかなる特定の順序又は構成に限定されるものではない。当業者は、この図に描かれている種々のステップが、省略され、再構成され、結合され、種々の方法に合わせて変更され得ることを理解するであろう。

図２に関しては、マルチメディアコンテンツをリクエストするユーザからの問合わせがステップ２０１において処理される。次に、マルチメディアコンテンツはマルチメディアコンテンツデータベースから検索され、ステップ２０２において探査される。ステップ２０３において、コンテンツの複数の層、例えば、タイトルリスト及びキーフレームに対して透過値が設定される。次に、これらのコンテンツは、ステップ２０４において、必要であれば、ステップ２０３において設定された透過値を用いて、合成され、動画化される。ステップ２０５において、これらの合成されたコンテンツは、転送及びレンダリングされる前に、マルチメディアコンテンツ・データベース内に記憶され得る。

いくつかの実施の形態において、マルチメディアコンテンツ・データベースはキーワードの問合わせによってビデオの検索を支援するように設計される、一般的なデータベースにおいて、キーワードは全体としてビデオと関連付けられる。いくつかの実施の形態において、例えば、キーワードがタイムアライメント（時間正規化）された解釈から得られた場合には、キーワードは、ビデオと関連付けられたメタデータの実際的な部分である、特定のタイムスタンプと関連付けられてもよい（マルチメディアコンテンツデータベース内の各マルチメディアコンテンツは少なくとも一つのタイプスタンプを有しており、これによって、画像又はテキストなどのマルチメディアコンテンツが他のマルチメディアコンテンツ、例えば、ビデオへの、インデックス又はリンクとして作用することができる）。このタイプのデータベースからのキーワードベースのビデオ検索によって関連するビデオのリストが得られ、任意のマークによってこれらのビデオの各々のどこにキーワードが出現しているかが示される。

いくつかの実施の形態において、マルチメディアコンテンツ・データベースは、セグメントによってビデオのブラウジング、検索、及び再利用を支援するセグメント・ベースである（セグメントを基本とする）。ビデオは、手動又は任意の標準的な自動ビデオセグメンテーション・アルゴリズムを用いるかのいずれかによって、最初にセグメント化される。キーワードは、これらのセグメントを手動で注釈付けして、又は、タイプスタンプされたキーワードを対応するセグメントと関連付けることによって、これらのビデオセグメントの各々と関連付けられる。キーワードの問合わせによって、関連するセグメントのリストが最終的に得られる。関連性は、セグメント中のキーワードの出現頻度（数）に基づいて判断され、その数は重み付けされ得る。ビデオ全体に対する関連性スコアは、そのコンポーネントセグメントのすべての関連スコアの合計として計算される。したがって、キーワードの問合わせによって、各ビデオのセグメントの関連性についての情報を有する、すべての関連したビデオの順序付けされたリストが結果的に得られる。

いくつかの実施の形態において、セグメントベースのマルチメディアコンテンツ・データベースもビデオセグメントの再利用を支援するように設計される。ユーザは、編集アプリケーションを用いて、データベースから検索された複数のソースビデオからのセグメントを連結することによってビデオを作成することができる。データベースは、ビデオのソースを追跡し続ける。ソースビデオは、データベース内の複数のビデオからのセグメントがビデオを生成するために再利用されたものである。ビデオセグメント３０１に関連付けられたソースビデオの存在の図形（グラフィカル）表示は、図３（ａ）に示されるように、黒の下部方向を指す矢印で示される。ビデオセグメント上での下方へのジェスチャ（指示）（図３（ｂ））は、図３（ｃ）に参照番号３０２で示されるように、ビュー（画面）を拡大して、セグメントのソースビデオを示し、上方へのジェスチャはビューを折りたたむ（閉じる）。合成されたビデオは、マルチメディアコンテンツ・データベースへ戻されて記憶され、そのセグメントはこのセグメントが取り出されたソースビデオへのリンクを含む。

いくつかの実施の形態において、ブラウジングコンポーネントは、小型移動装置の画面上のビデオの複数のセグメントをブラウジングする効果的な機能を提供する。これらの機能は、ブラウジングコンポーネント上に一つ以上のコンテンツ層とウイジェット層を有し、これらの層の勾配透過値を設定する、層状画像モデル（ｌａｙｅｒｅｄ ｉｍａｇｅ ｍｏｄｅｌ）に基づく。二つ以上のコンテンツ層は、互いの上で重なり合い、セグメント化されたマルチメディアコンテンツの問合わせ、探査、及び再生のタスクが円滑に切り替えられる。処理全体を孤立したタスクの束として考えるより、寧ろ、いくつかのタスクの統合として考えることによって、ブラウジングコンポーネントはユーザとの対話を偶発的なものではなく流動的なものにする。

いくつかの実施の形態において、ブラウジングコンポーネントは、キーワードによって、例えば、セグメント化されたビデオなどの問合わせを支援する。グーグル（Ｇｏｏｇｌｅ（商標））などの検索エンジンによって使用される様式による、単一のテキストボックスが、入力デバイスからキーワードを受け取り、セグメントベースのマルチメディアコンテンツ・データベース内のセグメント化されたビデオを検索する。図４（ａ）に示されるように、検索結果は、任意の不透明カラーで目視できる第１のコンテンツ層上のビデオタイトルリストとしてディスプレイされる。各タイトルの左側マージン上にはその高さが該当するビデオに対する関連スコアを示すバーがある。

いくつかの実施の形態において、ブラウジングコンポーネントは、キーワードの問合わせによって生成された検索結果を探査するタスクを支援する。このような探査（ｅｘｐｌｏｒａｔｉｏｎ）には、リスト内の有望な問合わせ結果をチェックすることと、一回に一度、リスト内のビデオを選択することによってそれらのキーフレームを見ることと、が含まれる。図４（ｂ）に示されるように、選択されたビデオは、赤でハイライトされ、透明である第２のコンテンツ層が現れて選択されたビデオからのキーフレームを示す。このキーフレームは、ビデオの第１のフレーム、ビデオの最後のフレーム、及び標準的なビデオ・セグメンテーション・アルゴリズムによって抽出される最も特徴あるフレームの一つであってもよい。この時点で、第１のコンテンツ層が透明となり、第２のコンテンツ層上に積層され、両方とも目視できることに注目されたい。

いくつかの実施の形態において、問合わせ結果を示す第１のコンテンツ層とキーフレームを示す第２のコンテンツ層の透過値が自動的に変更されることによって、第１のコンテンツ層と第２のコンテンツ層が互いの上に重ね合わされている時、問合わせから探査への遷移の間に、両層を目視できるようになる。第１の層の透過値は、１．０からα（アルファ値）１まで降下し、第２の透過値は、０．０からα２まで上昇し、図４（ｂ）には、α１＝α２＝０．８の結果が示されている。

いくつかの実施の形態において、二つの層の透過値は、手動で調整され、連続勾配値とされ得る。第１のコンテンツ層での問合わせ結果又は第２のコンテンツ層でのキーフレームのいずれかをより良好に見るために透過値を調整することが望ましい場合もある。異なる照明条件下で使用される小型移動装置の場合、ディスプレイの明度やコントラストをただ均一に変更するより、層間により大きな視覚的区別を提供することが有用である。

いくつかの実施の形態において、ビデオのセグメントは、スクリーン下部で図形表示によって視覚化される。各セグメントは高さがその関連スコアを示すバーを有する。選択されたビデオ５０１に関連付けられるキーワードが、図５（ａ）のセグメントバーの上方、スクリーン下部に示されている。図５（ｂ）に示されるように、キーワードの上部の左右をジェスチャ（指し示す）ことによってキーワードの設定をスクロールすることができ、スクロール後の結果５０２が、図５（ｃ）に示されている。

いくつかの実施の形態において、ブラウジングコンポーネントは、いくつかの興味深いセグメントが見つかった時のコンテンツのストリームの再生を支援する。ビデオ再生には以下のいくつかの方法がある：
・選択されたビデオをタッピング（スクリーン上で選択、クリック、あるいはポイント）して最初からビデオを再生する。
・ビデオのセグメントをタッピングしてそのセグメントの最初のフレームからビデオを再生する。
・拡大したセグメントビュー内のセグメントをタッピングしてそのソースセグメントの最初のフレームからビデオを再生する。

探査からコンテンツ再生までの遷移は、キーフレームの代わりに（その場で）ビデオを再生し、問合わせ結果を隠すことによって円滑化される。視覚的効果は、第２のコンテンツ層が透明のキーフレーム層から切り替えられ、不透明のビデオ層となることにより、第１のコンテンツ層が消滅（フェードアウト）することにある。これによって、図４（ｃ）に示されるように、第２のコンテンツ層のみが可視となる。

いくつかの実施の形態において、小型ビデオコントローラがビデオ層の上縁部上で起動され、ユーザは、ビデオを停止したり、一時停止したり、タイムスライダ上で他のビデオセグメントにジャンプすることができる。ユーザは、スクリーン下部のセグメントをタッピングして、ビデオの他の部分へジャンプすることもできる。

いくつかの実施の形態において、ブラウジングコンポーネントは、その透過値を連続的に調整するためにコンテント層を介して任意の場所でスタイラスなどの入力デバイスを介して行われるジェスチャ（指示動作）を受け入れる。図６（ａ）に示されるように、ジェスチャ前にスタイラスがホールドダウンされる場合、透明値勾配を示すウイジェット層が現れ、ドット６０１は現在透過値を示す（ｘ＝第１のコンテンツ層、ｙ＝第２のコンテンツ層）。右側にジェスチャすると（図６（ｂ））、第１のコンテンツ層の透明度が低下し、左側にジェスチャすると、第１のコンテンツ層の透明度が上昇する。同様に、上へジェスチャすると、第２のコンテンツ層の透明度が低下し、下へジェスチャすると、第２のコンテンツ層の透明度が上昇する。ジェスチャ後の結果は、図６（ｃ）に示され、ドット６０２は二つのコンテンツ層の現在透過値を示す。

いくつかの実施の形態において、処理コンポーネントは、マルチメディアコンテンツ・データベースからのマルチメディアコンテンツの検索及び取得や、ユーザによって設定された層の透過値を用いて、例えば、キーフレームなどのコンテンツの複数の層の合成及び動画化などのうちの少なくとも１つの画像処理の大変な果たすべきタスクを実行することができる。図７は、本発明のいくつかの実施の形態によるキーフレームの合成を示す。ここで、ビデオセグメントＡとビデオセグメントＢのそれぞれからキーフレームが抽出され、これらＡとＢからのキーフレームを示すコンテンツ層の透過値間の透過率は、２５％、５０％、及び７５％のそれぞれに設定される。コンテンツ合成コンポーネントは、任意の標準的な画像合成及び動画化アルゴリズムのうちの少なくとも一つを用いて、これらの三つのキーフレームのそれぞれに対して、三つの透過率のそれぞれで、合成及び動画化のうちの少なくともいずれかをした画像を生成する。

いくつかの実施の形態において、実際のビデオ又はビデオセグメントに加えて、ビデオ又はビデオセグメントの三つのキーフレームの合成されたコンテンツもマルチメディアコンテンツ・データベースに記憶される。例えば、探査中のビデオ又はビデオセグメントの数がＮ個である場合、合成されたコンテンツの少なくとも３×Ｎ（Ｎ−１）／２が生成される。合成されたコンテンツは、通信ネットワークを介して転送され、ブラウジングコンポーネント上のコンテンツ層上でレンダリングされてもよい。

いくつかの実施の形態において、マルチメディアコンテンツ・データベース、ブラウジングコンポーネント、及び処理コンポーネントを用いて、マルチメディアコンテンツをブラウジングするタスクは、拡張可能なアーキテクチャを用いることによって、複数の演算装置へ分散される必要がある。ブラウジングコンポーネントとして使用される場合の多い小型移動装置は、通常、ビデオなどのマルチメディアコンテンツをその本体に記憶するだけの十分な記憶装置を持たない。コンパクトフラッシュ（登録商標）（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）メモリ又はマイクロドライブ（Ｍｉｃｒｏ Ｄｒｉｖｅ）の許容量は小型移動装置の記憶領域を増大させられるであろうが、大容量のマルチメディアコンテンツを取り扱うにはまだ不充分である。また、小型移動装置には、コンテンツのキーフレームを合成したり動画化する処理能力が欠けている。その上、マルチメディアコンテンツ・データベースは、データセンター内に配置された高性能サーバー内のハードデスクドライブ（ＨＤＤ）上で通常は実行される。従って、小型移動装置がマルチメディアコンテンツ・データベース内に記憶されたビデオをブラウジングする必要がある場合、又は、ダイナミックに生成されたキーフレームの合成された画像を閲覧する必要がある場合、小型移動装置は、通信ネットワークを介して一つ以上の演算装置に遠隔的にアクセスする必要がある。一方、最近の高性能ラップトップＰＣは、リアルタイムに画像を合成し動画化する十分な能力を備えており、従来はデスクトップＰＣ、ワークステーション、サーバ、又はメインフレーム・コンピュータであった、処理コンポーネントとして使用され得る場合が多い。従って、拡張可能なアーキテクチャは、例えば、ワイヤレスＨＤＤ、デスクトップＰＣ、ポータブルラップトップＰＣ、通信ネットワーク、及び小型移動装置の組み合わせによって構成され得る。小型装置上でマルチメディアコンテンツのブラウジングを取り扱う拡張可能なアーキテクチャの三つのタイプの構成が、ポケット、ポータブル及びネットワークとして記述される。

いくつかの実施の形態において、図８（ａ）に示されるように、マルチメディアコンテンツ・データベースをホストするためのワイヤレス（ブルートゥース（商標））ＨＤＤ８０２と、処理コンポーネントとしてのデスクトップＰＣ８０３と、ブラウジングコンポーネントとしてのＰＤＡ８０１などの小型移動装置と、を備えるポケット構成が採用される。このような構成によって、小型移動装置を作成することが、携帯（ハンドヘルドな）スタイルでマルチメディアコンテンツが見られるようになる。デスクトップＰＣは、ビデオ用のキーフレーム画像を合成し、次に、合成された画像からなる動画を生成する。ワイヤレスＨＤＤは、実際のマルチメディアコンテンツを記憶し、デスクトップＰＣが事前に生成した合成されたコンテンツも記憶する。小型移動装置は、ブルートゥース（商標）などのワイヤレスネットワークを介してビデオコンテンツのストリームを再生することが可能である。

いくつかの実施の形態において、図８（ｂ）に示されるように、処理コンポーネントとしての高性能ラップトップＰＣ８０４と、マルチメディアコンテンツ・データベースをホストするための高性能のラップトップＰＣのＨＤＤと、ブラウジングコンポーネントとしてのＰＤＡなどの小型移動装置と、を備えるポータブル構成が採用される。ラップトップＰＣは、図９に示されるように、ＰＤＡからの各リクエストに応じて合成され動画化されたコンテンツを動的にリアルタイムで生成する。

いくつかの実施の形態において、ポータブル構成の他に、図８（ｃ）に示されるように、マルチメディアコンテンツ・データをホストするためにデータセンターに配置されたサーバ８０５を更に有する、ネットワーク（Ｎｅｔｗｏｒｋ）構成が採用される。小型移動装置は、ブルートゥース（商標）などのワイヤレスネットワークを介してラップトップＰＣと通信することができ、ラップトップＰＣは、インターネットを介してデータセンター内のサーバと通信することができる。

一つの実施の形態は、コンピュータ技術における当業者に明白であるように、本発明の開示の教示に応じてプログラミングされた、従来の汎用または専用ディジタルコンピュータ又はマイクロプロセッサを用いて実行され得る。ソフトウェア分野の当業者に明白であるように、本発明の開示の教示するところに基づいて、当分野のプログラマーは、適切なソフトウェアコーディングを容易に作成することができる。本発明は、当業者にとって容易に理解されるように、集積回路を作成することによって、または、従来のコンポーネント回路の適切なネットワークを相互接続することによっても、実施され得る。

一つの実施の形態は、一つ又は複数のマシン可読媒体に記憶された一連の命令からなるコンピュータプログラムプロダクトを含み、このマシン可読媒体は、一つ以上の演算装置をプログラムするために使用され、本明細書に提示されている任意の機能を実行することができる。マシン可読媒体は、これらの限定されないが、フロッピディスクを含むディスク、光学ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ、磁気または光学カード、（分子メモリＩＣを含む）ナノシステム、または命令及びデータのうちの少なくとも一方を記憶するのに適した任意のタイプの媒体または装置を含む、一つ以上のタイプのディスクを含むことができる。

本発明は、コンピュータ可読媒体（複数の媒体の場合もある）の任意の一つに記憶された、汎用及び専用コンピュータのうちの少なくとも一方、またはマイクロプロセッサの両ハードウェアをコントロールするための、及び本発明の結果を利用してコンピュータまたはマイクロプロセッサが人ユーザまたは他のメカニズムと対話することができるようにするためのソフトウェアを含む。このようなソフトウェアは、これらに限定されないが、デバイスドライバ、オペレーティングシステム、実行環境及びコンテナ（格納装置）のうちの少なくとも一方、及びアプリケーションを含んでいてもよい。

本発明の好ましい実施の形態の以上の記述は、図解及び説明のためになされたものであり、開示された具体的な形態以外をとることを排除したり、本発明を限定するものではない。多くの改良や変形が可能であることは当業者に明白であろう。特に、「キーフレーム」の概念が上述されたシステム及び方法の実施の形態に使用されているが、このような概念が画像などの同等の概念及び他の好適な概念と代替可能に使用され得ることも明白であろう。実施の形態は、本発明の原理及びその実用的なアプリケーション（応用）を最良に説明するために用いられ、これによって、他の当業者が本発明をより良く理解し、種々の実施の形態、特定の使用目的に合わせて種々の改良を加えられることが予想できる。本発明の範囲は、以下の請求の範囲及びそれらの同等のものによって定義付けられることが意図されるものである。

なお、特許明細書の開示内容の一部には、著作権保護を受けるべき事柄が含まれるが、著作権所有者は、特許庁の特許ファイルや記録データとして存在すると思われる事柄について、特許文献や特許開示のいずれかがファクシミリ複写されたとしても、著作権所有者は、敢えてこれに反論せずとも、すべての著作権を確保するものである。

本発明の一つの実施の形態による例示的なマルチメディアコンテンツ・ブラウジングシステムを示す図である。 本発明の一つの実施の形態による例示的なマルチメディアコンテンツ・ブラウジングプロセスを示す図である。 （ａ）乃至（ｃ）は、本発明の一つの実施の形態による他のマルチメディアコンテンツから合成されたマルチメディアコンテンツを示す図である。 （ａ）乃至（ｃ）は、本発明の一つの実施の形態による例示的なコンテンツ層を示す図である。 （ａ）乃至（ｃ）は、本発明の一つの実施の形態によるマルチメディアコンテンツに関連付けられたキーワードを示す図である。 （ａ）乃至（ｃ）は、本発明の一つの実施の形態によるウイジェット層を示す図である。 本発明の一つの実施の形態による二つのマルチメディアコンテンツからのキーフレームの合成を示す図である。 （ａ）乃至（ｃ）は、本発明の一つの実施の形態による拡張可能な可能なアーキテクチャの例示的な構成を示す図である。 本発明の一つの実施の形態による例示的なマルチメディアコンテンツ・ブラウジングシステムを示す図である。

符号の説明

１００： マルチメディアコンテンツ・ブラウジングシステム
１０１： ブラウジングコンポーネント
１０２： コンテンツ層
１０３： ウイジェット層
１０４： スクリーン
１０６： 通信ネットワーク
１０７： 処理コンポーネント
１０８： コンテンツ合成コンポーネント
１０９： サーチエンジンコンポーネント
１１０： マルチメディアデータベース

Claims (26)

1. 小型移動装置上でマルチメディアコンテンツブラウジングを支援するシステムであって、
   マルチメディアコンテンツデータベースと、
   前記マルチメディアコンテンツデータベースから一つ以上のマルチメディアコンテンツを検索及び取得し、前記一つ以上のマルチメディアコンテンツを、通信ネットワークを介して、ブランジングコンポーネントへ転送する、処理コンポーネントと、
   を備え、
   前記ブラウジングコンポーネントが、該ブラウジングコンポーネント上で、各々が透過値を有し得る一つ以上の層に前記一つ以上のマルチメディアコンテンツをレンダリングすることが可能であり、一つ以上の入力装置を介して、前記一つ以上の層の各々の前記透過値を、設定することが可能であり、
   前記ブラウジングコンポーネントが、検索された前記一つ以上のマルチメディアコンテンツのタイトルリストを示す第１のコンテンツ層を表示し、前記タイトルリスト内のマルチメディアコンテンツが選択されると、前記第１のコンテンツ層の前記透明度を変更して、前記第１のコンテンツ層が、前記タイトルリストから選択されたマルチメディアコンテンツが合成されたコンテンツを示す第２のコンテンツ層上に積層されるように、かつ、前記第１のコンテンツ及び前記第２のコンテンツの双方が目視可能となるように表示する
   システム。
2. 前記一つ以上のマルチメディアコンテンツのうちの一つが、一つ以上のセグメントを含み、前記マルチメディアコンテンツ及び前記一つ以上のセグメントの各々のうち少なくとも一方がキーワードと関連付けられ、キーワードによって検索され得る、請求項１に記載のシステム。
3. 前記マルチメディアコンテンツを合成する前記一つ以上のセグメントと、
   前記一つ以上のセグメントの各々に関連付けられたキーワードと、
   前記一つ以上のセグメントの各々の関連番号と、
   の少なくとも一つのグラフィカル表示を更に備える、請求項２に記載のシステム。
4. 前記マルチメディアコンテンツが一つ以上のソースマルチメディアコンテンツからの一つ以上のセグメントを含むことができる、請求項２に記載のシステム。
5. 前記マルチメディアコンテンツを合成する前記一つ以上のセグメントの各々の前記ソースマルチメディアコンテンツのグラフィカル表示を更に備える、請求項４に記載のシステム。
6. 前記処理コンポーネントが、一つ以上の検索基準を介して、前記マルチメディアコンテンツデータベースを検索することが更に可能であり、前記一つ以上の検索基準のうちの一つがキーワードとタイムスタンプのうちの一つであってもよい、請求項１に記載のシステム。
7. 前記処理コンポーネントが、前記一つ以上の層のうち二つ以上の層のコンテンツを、該二つ以上の層の透過値を用いて、合成及び動画化のうち少なくともいずれかをし、前記合成されたコンテンツを、前記マルチメディアコンテンツデータベースに保存及び前記ブラウジングコンポーネントへ転送することうちの少なくとも一つが可能な、請求項１に記載のシステム。
8. 前記ブラウジングコンポーネントが、ＰＤＡ、携帯電話、タブレットＰＣ、ポケットＰＣ、及び小型移動装置のうちの一つである、請求項１に記載のシステム。
9. 前記ブランジングコンポーネントが、前記一つ以上のマルチメディアコンテンツについて、
   キーワードによる前記一つ以上のマルチメディアコンテンツの問い合わせと、
   前記一つ以上のマルチメディアコンテンツのキーフレームを閲覧することによる前記一つ以上のマルチメディアコンテンツの探査と、
   前記一つ以上のマルチメディアコンテンツのストリームの再生と、
   の少なくとも一つを実行することが更に可能である、
   請求項１に記載のシステム。
10. 前記一つ以上の層内の層が、コンテンツ層又はウイジェット層であってもよい、請求項１に記載のシステム。
11. 前記コンテンツ層のコンテンツが、
    キーワードの出現頻度に基づくそれらの関連番号によって順序付けされ得る前記一つ以上のマルチメディアコンテンツのタイトルリスト、
    前記一つ以上のマルチメディアコンテンツが合成されていないコンテンツ及び合成されたコンテンツのうちの少なくとも一つ、及び
    前記一つ以上のマルチメディアコンテンツのストリーム、
    の少なくとも一つであってもよい、
    請求項１０に記載のシステム。
12. 前記ウイジェット層が、前記一つ以上の入力装置を介して、前記一つ以上の層の各々の透過値を調整することが可能である、請求項１０に記載のシステム。
13. 前記一つ以上の層が互いに重なり合い、レンダリングされる、請求項１に記載のシステム。
14. 小型移動装置上でマルチメディアコンテンツブラウジングを支援する方法であって、
    処理コンポーネントが、前記マルチメディアコンテンツデータベースから一つ以上のマルチメディアコンテンツを検索及び取得し、
    通信ネットワークを介して、前記一つ以上のマルチメディアコンテンツを転送し、
    ブラウジングコンポーネントが、各々が透過値を有し得る前記一つ以上の層に前記一つ以上のマルチメディアコンテンツをレンダリングし、
    前記ブラウジングコンポーネントが、検索された前記一つ以上のマルチメディアコンテンツのタイトルリストを示す第１のコンテンツ層を表示し、前記タイトルリスト内のマルチメディアコンテンツが選択されると、前記第１のコンテンツ層の前記透明度を変更して、前記第１のコンテンツ層が、前記タイトルリストから選択されたマルチメディアコンテンツが合成されたコンテンツを示す第２のコンテンツ層上に積層されるように、かつ、前記第１のコンテンツ及び前記第２のコンテンツの双方が目視可能となるように表示し、
    一つ以上の入力装置を介して、前記一つ以上の層の各々の前記透過値を設定すること、
    を含む方法。
15. 前記一つ以上のマルチメディアコンテンツのうちの一つを一つ以上のセグメントへ分割し、
    前記マルチメディアコンテンツ及び前記一つ以上のセグメントの各々のうち少なくとも一方がキーワードと関連付けられ、キーワードによって検索されること、
    を更に含む、請求項１４に記載の方法。
16. 前記マルチメディアコンテンツを一つ以上のソースマルチメディアコンテンツからの一つ以上のセグメントで合成するステップを更に含む、請求項１５に記載の方法。
17. 前記一つ以上の層のうち二つ以上の層のコンテンツを前記二つ以上の層の透過値を用いて合成及び動画化のうち少なくともいずれかをし、
    前記合成されたコンテンツを、前記マルチメディアコンテンツに記憶及びレンダリングのうち少なくともいずれかをするために該合成されたコンテンツを転送すること、
    を更に含む、請求項１４に記載の方法。
18. キーワードによって前記一つ以上のマルチメディアコンテンツを問い合わせ、
    前記一つ以上のマルチメディアコンテンツのキーフレームを閲覧することによって、 前記一つ以上のマルチメディアコンテンツを探査し、
    前記一つ以上のマルチメディアコンテンツのストリームを再生することと、
    を更に含む、請求項１４に記載の方法。
19. キーワードの出現頻度に基づいて関連番号で順序付けされ得る前記一つ以上のマルチメディアコンテンツのタイトルリストと、
    前記一つ以上のマルチメディアコンテンツのうち合成されていないコンテンツ、及び合成されたコンテンツのうちの少なくともいずれかと、
    前記一つ以上のマルチメディアコンテンツのストリームと、
    の少なくとも一つを、前記一つ以上の層のうちの一つの上に、レンダリングすることを、
    更に含む、請求項１４に記載の方法。
20. 前記一つ以上の層を互いの層上にレンダリングすることを更に含む、請求項１４に記載の方法。
21. 前記一つ以上の入力装置を介して前記一つ以上の層の各々の透過値を調整することを更に含む、請求項１４に記載の方法。
22. 前記一つ以上の入力装置によって前記一つ以上の層のうちの一つの透過値をＸ方向に調整することを更に含む、請求項２０に記載の方法。
23. 前記一つ以上の入力装置によって前記一つ以上の層のうちの一つの透過値をＹ方向に調整するステップを更に含む、請求項２０に記載の方法。
24. 前記ブラウジングコンポーネントが、該ブラウジングコンポーネント上で、各々が透過値を有し得る二つ以上の層に前記一つ以上のマルチメディアコンテンツをレンダリングし、
    一つ以上の入力装置を介してＸ方向の指示動作を入力することにより、前記二つ以上の層のうちの一つの透過値を調整し、前記一つ以上の入力装置を介してＹ方向の指示動作を入力することにより、前記二つ以上の層のうちのもう一つの透過値を調整するステップを更に含む、請求項２０に記載の方法。
25. コンピュータに、
    マルチメディアコンテンツデータベースから一つ以上のマルチメディアコンテンツを検索及び取得するステップ、
    前記一つ以上のマルチメディアコンテンツを通信ネットワークを介して転送するステップ、
    各々が透過値を有し得る一つ以上の層上に前記一つ以上のマルチメディアコンテンツをレンダリングするステップ、
    検索された前記一つ以上のマルチメディアコンテンツのタイトルリストを示す第１のコンテンツ層を表示するステップ、
    前記タイトルリスト内のマルチメディアコンテンツが選択されると、前記第１のコンテンツ層の前記透明度を変更して、前記第１のコンテンツ層が、前記タイトルリストから選択されたマルチメディアコンテンツが合成されたコンテンツを示す第２のコンテンツ層上に積層されるように、かつ、前記第１のコンテンツ及び前記第２のコンテンツの双方が目視可能となるように表示するステップ、及び
    前記一つ以上の層の各々の前記透過値を、一つ以上の入力装置を介して設定するステップ
    を実行させるための、小型移動装置上でマルチメディアコンテンツブラウジングを支援するプログラム。
26. 小型移動装置上でマルチメディアコンテンツブラウジングを支援するシステムであって、
    マルチメディアコンテンツデータベースから一つ以上のマルチメディアコンテンツを検索及び取得する手段と、
    通信ネットワークを介して前記一つ以上のマルチメディアコンテンツを転送する手段と、
    各々が透過値を有し得る一つ以上の層に前記一つ以上のマルチメディアコンテンツをレンダリングする手段と、
    検索された前記一つ以上のマルチメディアコンテンツのタイトルリストを示す第１のコンテンツ層を表示し、前記タイトルリスト内のマルチメディアコンテンツが選択されると、前記第１のコンテンツ層の前記透明度を変更して、前記第１のコンテンツ層が、前記タイトルリストから選択されたマルチメディアコンテンツが合成されたコンテンツを示す第２のコンテンツ層上に積層されるように、かつ、前記第１のコンテンツ及び前記第２のコンテンツの双方が目視可能となるように表示する手段と、
    一つ以上の入力装置を介して、前記一つ以上の層の各々の前記透過値を設定する手段と、
    を有する、システム。