JP6049456B2 - 双方向テレビに対しハイパーリンクされた３ｄビデオインサート - Google Patents

Description

本発明の実施形態は、双方向マルチメディアの技術および拡張現実感に適用できる。テレビ（例えば、放送、ケーブル、衛星、ファイバ）に関する実施形態に記載されるが、実施形態をインターネットおよびモバイル機器（例えば、携帯電話）のような他のメディアにも適用することができる。

テレビ・コマーシャルは、放送局にとって主な収入源であり、従って、それらの効果を確実にすることは、最大の収入を維持するために避けられない。コマーシャルの効果を確実にする１つの方法は、一定数の視聴者または特定の人口のグループによってそれが見られることを要求することである。これは、現在、特定の期間の最中において、かつ異なる人口統計群を標的にするチャンネルでのコマーシャル・スケジューリングによって行われている。しかしながら、特に視聴者が広告を回避することができる最近の技術を考慮して（例えば、早送りすることによって）、視聴者公開を保証しない。視聴者注意のための手段は、聴衆経験の妥協なしでテレビ広告時間の売上高を維持することが求められている。

セットトップボックスを主催した双方向ソフトウェア・アプリケーションにより提供された双方向に発展するレベルを有する双方向デジタル・テレビは、すでにありふれた現実である。テレビ双方性は、サービスプロバイダが消費者から直接にテレビに広告される商品またはサービスの即時および定量的フィードバックを得る機会を提示する。双方向アプリケーションは、テレビ・コマーシャルと視聴者の間の相互作用を制御するように設計されることができる。双方性は商品を活性化し、消費者の好みを示し、消費者に情報を提供することができ、その一方で、プログラムを視聴経験で障害を最小化する。

ビデオ オン デマンド（ＶｏＤ）のような、オーバーレイ・グラフィックを通して視聴者の相互作用は、通常アクセス可能な技術である。また、テレビ放送へのリンクは、Ｄａｋｓｓらや（米国特許第７，３６７，０４２号明細書（完全に参照により本明細書に組み込まれる））によって開示された。例えば、Ｄａｋｓｓらは、ビデオ内容を前処理し、画像を所定の領域（商品）に分割することを提案する。ビデオに現れる時、これらの領域は視聴者に双方性の機会を示すために強調される。この点で、視聴者は強調された領域につけられた注釈を呼び出すためにコントロールボタンを押すことができ、その結果、商品関連の情報を有するグラフィックがスクリーンの上に覆われる。次に、視聴者は、購入するかまたは詳細な情報を要求するのを選択することができる。しかしながら、テレビ双方性へのこのアプローチは直接元のビデオ内容に依存する。ここで、元のビデオが生産される時、目的のオブジェクトはシーンの所与の位置に存在する。

本発明の実施形態に係る方法は、プログラムのシーンの１つ以上の物理的な位置に仮想現実的に置かれる、３次元（３Ｄ）オブジェクトを有する直接的な相互作用を許容する。仮想オブジェクトは、元のビデオとは別に作成され、元のビデオには現れない。この相互作用は、レシーバで作動し、１つ以上の入力装置による視聴者または視聴者と入出力を行っているインタラクティブなソフトウェア・アプリケーションによって制御される。仮想オブジェクトを、所定のアーキテクチャを通して各々に関連のある他の仮想オブジェクトとリンクすることができる。このアーキテクチャは、関連した商品および／またはサービスのより詳細な／特定の提示に発展させることができるトップレベルのプレゼンテーションを提供することができる。これらのオブジェクトは、周知のビデオインサート技術を使用しているテレビ番組にインサートされる。インサートに応じて、視聴者は、オブジェクトと相互に作用するほうを選択することができる。視聴者によってとられるこの措置および実行される相互作用のレベルは、さらなる分析のためのサービスプロバイダによってトラッキングされうる。

最初に、仮想オブジェクトは、元の制作の不可欠な部分として現れ、プログラムの一般の視聴者の経験を妨げない。例えば、視聴者は、マウスのような機能（例えば、トラック・ボールまたはジャイロスコープのマウス）またはビデオと入出力を行う他の利用できる手段を備える遠隔制御を使用している仮想オブジェクトを有する相互作用を開始することができる。この相互作用は、直接的および直観的である。関心のある視聴者は、視聴者の関心に基づいてオブジェクトのアーキテクチャによって操縦することができる。例えば、視聴者は、シーンの好ましく新しい物理的なインサート位置に、オブジェクトをドラッグすることができる。その後、マウス回転運動を使用して、視聴者は、異なる方向およびズームインに３Ｄオブジェクトを回転させることができる。視聴者によって選択される場合、オブジェクトの各方向は所定のアーキテクチャの新規のリンクされたオブジェクトを呼び出すことができる。このパラダイムは、所定のアーキテクチャのリンクされたオブジェクトを通して歩行し、詳細の増加レベルでオブジェクトを観察し、ことによると結果としておそらく購入または情報調査をもたらすことを可能にする。

提案されたハイパーリンクされた３Ｄオブジェクトを有する視聴者の相互作用は、従来のオーバレイされたグラフィックより豊かに視聴者に芸術的な関心を与え、そして面白い商品の広告計画を設計する機会を提示する。テレビ広告の事情においてここで記載されているにもかかわらず、ハイパーリンクされた３Ｄオブジェクトがテレビ観戦者に情報のいかなる部類も伝えるインタラクティブな手段として用いられうる。

本発明の各実施形態の構造および動作と同様に、本発明のさらなる実施形態、特徴および効果は、添付の図面に関して以下に詳細に記載されている。

本明細書において組み込まれ、出願の一部を形成する添付の図面は、説明と共に本発明を例示し、さらに、本発明の原則を説明し当業者をもって本発明を作り使用することが可能である。

本発明の実施形態に係る双方向テレビシステムである。 本発明の実施形態に係るビデオインサートシステムである。 本発明の実施形態による、環状のアーキテクチャにおいて接続される３Ｄ仮想オブジェクトを有する視聴者相互作用の実施形態である。 本発明の一実施形態による、ツリー・アーキテクチャにおいて接続される３Ｄ仮想オブジェクトを有する視聴者相互作用の実施形態である。 本発明の実施形態に係るレシーバである。 本発明の一実施形態による、ビデオ放送にインサートされる３Ｄ仮想オブジェクトを有する視聴者相互作用の方法のフローチャートである。 本発明の実施例に用いられる実施例計算機器の線図である。

本発明は、添付の図面に関して記載されている。

特定の構成および配列が検討されているものの、これが説明の便宜上なされるのみであることを理解されたい。当業者は、他の構成および配列が本発明の精神と範囲から逸脱することなく用いられることができる。本発明を様々なほかの用途において使用することもできることは、当業者にとって明らかであるだろう。

「１つの実施形態」、「一実施形態」、「一例の実施形態」などに対する明細書中での言及は、記載されている実施形態が特定の特徴、構造または特色を含むことがあることを示すが、すべての実施形態が、特定の特徴、構造または特色を必ずしも含むことがあるとは限らないことが留意される。さらに、このような句は、同じ実施形態に必ずしも関連していない。さらに、特定の特徴、構造または特色が実施形態に関連して記載される時、明確に記載されてもされなくても、他の実施形態に関連してこのような特徴、構造または特色を達成することは、当業者の知識の範囲内にあるだろう。

グラフィックをスポーツ競技放送（例えば、フットボールの試合およびスポンサのロゴのファースト・ダウン・ライン）にインサートするためにすでに用いている拡張現実感技術は、テレビ活動をより柔軟で、内容を独立させるのに役立つ。拡張現実感において、それらがシーンの一部であると認められるように、オブジェクトはビデオにレンダーされる。ビデオインサート技術を使用することはプログラム体験（より楽しい）を妨げることなく、芸術的に訴えている双方性に至ることができ、それによって、広告主にとってより効果的である。

例えば、本発明の実施形態に従って、ユーザは、仮想オブジェクトが元の放送を妨げない方法のビデオ放送のシーンの物理的な位置に加えた３Ｄ仮想オブジェクトと相互作用することができる。最初に、オブジェクトは、元のビデオ・シーンの不可欠な部分として現れて、プログラムの一般の視聴者の経験を妨げない。しかしながら、オブジェクトは元の放送ではないので、ユーザはオブジェクトを、さまざまな方法のオブジェクトを操作するのと同様に、ユーザによって好まれる位置へ動かすことができる。視聴者は、入力装置を使用しているオブジェクトを有する相互作用を開始することができる。関心がある視聴者は、視聴者関心に基づいてオブジェクト・アーキテクチャによって操縦することができる。例えば、視聴者は、シーンの新しい物理的なインサート位置に、オブジェクトをドラッグする場合がある。ユーザは、オブジェクト上の異なる方向およびズームインに３Ｄオブジェクトを回転させることができる。視聴者によって選択される場合、オブジェクトの各方向は所定のアーキテクチャの新規なリンクされたオブジェクトを呼び出すことができる。例えば、視聴者は、所定のアーキテクチャのリンクされたオブジェクトを介して歩くことができるか、または詳細の増加レベルで、オブジェクトを観察することができる。
典型的なシステム

図１は、典型的な双方向ビデオ放送システムを例示する。双方向ビデオ放送システムは、送信システム１０、ヘッドエンド・システム２２、サービスプロバイダ２４および受信システム２６を含む。送信システム１０、ヘッドエンド・システム２２、サービスプロバイダ２４および受信システム２６は、テレビ放送媒体またはネットワーク３４を通じて通信する。例えば、ネットワーク３４は、ケーブル、衛星または地上波のインフラストラクチャーであってもよいが限定されるものではない。テレビ（例えば、放送、ケーブル、衛星、ファイバ）に関するような実施形態において、双方向ビデオ放送システムが本明細書に記載されることになるが、当業者は、インターネットおよび本発明の精神と範囲から逸脱することなく、モバイル機器（例えば、携帯電話）のような他のメディアに実施形態を適用することもできることも認識するだろう。

送信システム１０は、ビデオソース１２、ビデオエンコーダ１４、ビデオアナライザ１６、データパケット・ストリーム発生器１８およびマルチプレクサ２０を含む。ビデオソース１２は、ビデオ・フィード（通常は、コンテント・プロバイダからのビデオ・フィード）を発する。ビデオソース１２は、ビデオ・フィード（通常は、コンテント・プロバイダからのビデオ・フィード）を発する。実施形態において、ビデオソース１２は、ケーブル・テレビ・サービスプロバイダ、従来の放送サービスプロバイダ、インターネットプロトコル・テレビ（ＩＰＴＶ）サービスプロバイダ、インタラクティブ・バーチャル・スタジオ・サービスプロバイダまたは携帯電話ビデオ・サービスプロバイダでもよい。ビデオ・フィードは、放送ビデオまたは他のタイプのビデオでもよい。それは、ライブプレゼンテーションの一部（例えば、スポーツ競技の）でもよく、または、それは、ビデオファイルまたはサーバまたはローカル記録装置（例えば、デジタルビデオレコーダ（例えば、ＴｉＶｏ社から入手可能なＴＩＶＯ記録装置））のファイルとして予め録音してあってもよい。ビデオ・フィードは、カメラ、コンピュータ・ソフトウェア、グラフィックゼネレータまたは他の周知の方法によって生じるビデオを含むことがある。

ビデオソース１２によって生じるビデオ・フィードはＭＰＥＧ２のような標準ＣＯＤＥＣを用いたビデオエンコーダ１４によってエンコードされ、結果として輸送ストリームになる。ビデオソース１２からのビデオ・フィードはビデオアナライザ１６もフィードされ、ここで、インサート関連のメタデータは発生する。メタデータは、カメラ・モデルまたは関心のある地点位置データなどのようなデータを含むことができる。さらに、インサート関連のメタデータの生成に関する詳細は、米国特許出願番号１２／４２４，０５６号明細書および米国特許出願番号１２／５４１，０３７号明細書によって提供され、それぞれは全てが引用により本明細書に援用される。ビデオアナライザ１６は、図２に関してさらに詳細に記載される。データパケット・ストリーム発生器１８は、その時、マルチプレクサ２０によってエンコードされたビデオと共に結合される一定のデータ信号速度ストリームに、メタデータをエンコードする。増大された輸送ストリームであるマルチプレクサの出力は、図１の実施例において放送サービスプロバイダのヘッドエンド２２に、テレビ放送媒体またはネットワーク３４によって送信される。サービスプロバイダのヘッドエンド２２を放送することは、さまざまなコンテント・プロバイダ（チャンネル）から、トランスポートストリームと同様に増大されたトランスポートストリームを受信する。それは、その時、消費者受信システム２６にネットワーク３４を介してこれらの放送チャネルを再配送する。

消費者受信システム２６は、レシーバ２８、ディスプレイ３０および１つ以上の入力装置３２を含む。例えば、レシーバ２８は、セットトップボックス、携帯電話、コンピュータまたはゲーム機であってもよいが、限定されるものではない。例えば、ディスプレイ３０は、当業者に知られているテレビ、コンピュータ・モニタ、プロジェクタ、液晶画面、携帯用の視聴装置、携帯電話、または他のディスプレイ装置でもよい。入力装置３２は、標準遠隔制御、ジャイロスコープマウス、またはどんな位置指示装置であってもよい。

消費者の受信システム２６である選択された放送チャネルは、レシーバ２８のその構成要素に復号化される。図５は、典型的なレシーバ２８の具体例である。典型的なレシーバ２８は、デコーダ３６、入札者３７およびユーザ入力処理モジュール３８を含む。メタデータがデコーダ３６のレシーバ・インタラクティブなソフトウェア・アプリケーションによって処理される一方、入力ビデオストリームはバッファリングされる。メタデータに格納される情報に基づいて、仮想オブジェクトの初期のレンダリングは、レンダラ３７によって実行され、ビデオフレームに焼かれる。仮想オブジェクトをビデオストリームにインサートするためメタデータを生成し、使用するさらなる説明は、米国特許出願番号１２／４２４、０５６号明細書および米国特許出願番号１２／５４１、０３７号明細書において提供され、それらの各々は完全に本明細書において引用される。仮想オブジェクトがレンダーされるビデオフレームは、本明細書において、拡大されたビデオフレームと呼ぶ。拡大されたビデオフレームは、その時ディスプレイ３０に送信される。

観察視聴者は、目的の仮想オブジェクトと相互作用することを選択することができる。入力装置３２（図１）を介して実行される、相互作用は、ユーザ入力処理モジュール３８によって受信され、レンダラ３７を使用しているインタラクティブ・アプリケーションによって、反応される。入力装置３２（図１）を介して実行することができる相互作用は、ユーザ入力処理モジュール３８によって受信され、レンダラ３７を使用しているインタラクティブ・アプリケーションによって、反応される。このような反応は、図３および４に関して以下に詳細に後述するように、選択された仮想オブジェクトの外観を変えるような仮想オブジェクトの新規な態様のレンダリングを含むことができる。視聴者相互作用動作を、分析のためのサービスプロバイダ２４に、バックチャネルにおいて報告することができる。

図２に示されるビデオアナライザ１６は、ビデオ・トラッカ４２、最背面検出器４４および３Ｄオブジェクト・モデル発生器４６を含む。ビデオアナライザ１６は、データパケット・ストリーム１８として各ビデオフレームに対応するメタデータを生成する。これらのメタデータは、レシーバ内のレンダラによって仮想現実的に３Ｄオブジェクトをビデオフレームにインサートすることを必要とされる情報を含む。メタデータは、オリエンテーション、ディメンションのような３Ｄオブジェクトの初期のプレゼンテーション状態に関連した情報を含むこともできる。

ビデオのこのような仮想拡大において、まるでオブジェクトがシーンの特定の物理的な位置にあるように、オブジェクトの画像投射はビデオにレンダーされる。仮想インサートを実行するために、カメラ・パラメータおよび各ビデオフレームのためのシーン最背面が必要とされる。ビデオ・トラッカ４２は、各ビデオフレームのインサート位置の物理的な位置を確認する。ビデオトラッキングおよびオブジェクトトラッキングのために公知技術の方法は、カメラ・パラメータを推定して、例えば、連続したフレームを関連することによって移動オブジェクトを、それぞれ、トラッキングするために用いることができる。ビデオトラッキングおよびオブジェクトトラッキングに関する詳細は米国特許番号第５，８０８，６９５号明細書、米国特許出願番号１２／４２４，０５６号明細書および米国特許出願番号１２／４０３，８５７号明細書において提供され、それらの各々は完全に本明細書において引用する。

最背面検出器４４は、ビデオフレームの最背面をビデオフレームの最背面領域から切り離す。ビデオフレームにおけるバックグランドおよび最背面領域を切り離す方法も公知技術である。シーン最背面を、オクルージョンに対処するために用いるバイナリマスクによって表わすことができる。あるいは、深度地図を、さまざまな深さで個々のピクセルおよびピクセルの集まりを描写して提供することができる。これはレンダーされた仮想オブジェクトをもってシーンの最背面および特定のオブジェクトの前に現れることが可能になり、その一方で、ビデオ・シーンにおいて存在する他のオブジェクトの背後に存在する。さらにまた、視聴者は、シーンの仮想オブジェクトを有する相互作用の間、オブジェクトレンダリングの深さを制御することができる。

３Ｄオブジェクト発生器４６は、オブジェクトの３次元モデルおよびこれらのオブジェクトが概念的には各々に接続しているアーキテクチャを設計するための道具である。計測可能なサーフェスモデリング（例えば、球状ウェーブレットを使用する）の最近の進歩は、オブジェクトが異なる方向および解像度レベルで見ることができる３Ｄオブジェクトの効率的な表現およびレンダリングを可能とする。それ故、カメラ・パラメータおよび最背面・マスクと結合されるオブジェクト３次元モデルおよびそれらのアーキテクチャは、部分的に、データパケット・ストリーム１８において送られるメタデータを構成する。

３Ｄオブジェクト・モデル発生器４６によって発生される３Ｄオブジェクトは、わずかに異なる３Ｄ視界遠近法で、一連の静止画像によって表される場合がある。例えば、元の物理的オブジェクトは回転プラットフォームに配置されることができ、プラットフォームが回転する際に、一連の画像を異なる視野角にてカメラで捕捉することができる。オブジェクトの３Ｄ視聴の効果は、視聴者が回転オブジェクト視界で進むことによって成し遂げられる。図１に示すように、複数の画像視界は、ヘッドエンド・システム２２からレシーバ２８まで送られることができ、入力装置３２のユーザ命令に表示されることができる。あるいは、オブジェクトの真実の３次元モデルは複数の視界から発生され、真実の３Ｄレンダリングは視聴プラットフォームに実現されうる。オンデマンドのレンダリングのための処理リソースを代償にして、これは、視聴されたオブジェクトのより大きな制御を可能にする。

図１に戻って、１つ以上の入力装置３２を使用し、テレビ番組シーンにインサートされる３Ｄオブジェクトを有する相互作用は直接的でもよい。典型的な入力装置は、例えばこれらに限定されないが、遠隔制御、マウス、キーボード、ゲーム機、タッチ・スクリーン装置、携帯電話、ジャイロスコープのマウスのような運動検出装置、日本国、京都府の任天堂株式会社（Nintendo Co., Ltd.）から入手可能なＷＩＩコントローラ、および当業者に知られている他の装置を含む。ジャイロスコープのマウスのフィールドの最近の開発は直接視聴者を許容し、ピクセル・レベルの精度については、スクリーン上のオブジェクトを示し、ソファーの快適さからそれを操作する。

グラフィック・デスクトップ・コンピュータ環境のオブジェクトと相互作用する時、カーソルはフィードバックをユーザに提供する一般の方法である。米国特許番号第７，１３９，０３４号明細書において詳述されるように、完全に本明細書に引用されるように、動的最背面を有するビデオ・シーンの仮想オブジェクトと相互作用する時、カーソルを用いてもよい。ユーザ・フィードバック・メカニズムはグラフィカル・オブジェクト（例えば、「仮想ハンド」）でもよく、それは、シーンのオブジェクトと相互作用するために用いてもよい。「彼の」および「彼女の」のハンドのような、カーソルは、コントローラ３２のうちどちらが作動中かによって変化してもよい。シーンを動き回るとして１つの位置から別の位置まで歩きながら、他の実施形態では、完全なアニメーション図は環境と相互作用するために用いてもよい。さらに実施態様において、カリフォルニア州、レッドウッドシティーのＥｌｅｃｔｒｏｎｉｃ Ａｒｔｓ Ｉｎｃ．によって生産される「シムシティ(Sim City)」ゲーム・アプリケーションで行われる仮想金の交換ように、アニメーション図は互いに相互作用しうる。あるいは、遠隔位置の２つの視聴者は同じビデオ・シーンと相互作用することができ、相互作用を両方の視聴位置で見ることができる。これは、２つの視聴位置間の音声接続を伴うことができる。このように、２人の視聴者は、２つの遠隔位置から同じシーンの範囲内で共同の相互作用を経験することができることがある。

本発明の実施例によれば、ハイパーリンクされた３Ｄ仮想目的が加えられたビデオを見ると共に、図３および４は典型的な視聴者双方向性を例示する。最初に、仮想オブジェクトは、最初の制作の不可欠な部分として現れ、プログラムの一般の視聴者経験を妨げない。各実施例において、視聴者がシーン自体に存在するかのように、視聴者による３Ｄ仮想オブジェクトの操作は仮想現実をシミュレーションする。このように、ユーザによって実行される操作は元のプログラムを妨げず、視聴者のうちの１人がオブジェクトと双方向している場合であっても、同じ位置の他の視聴者が元のプログラムを享受することができる。

家庭の改良ショーを見ると共に、図３は典型的な視聴者双方向性を例示する。第１のツール（オブジェクト）６２は、物理的なシーン位置６０にインサートされる。関心ある視聴者は、異なるインサート位置にこのツールをドラッグすることができ、異なる方向から見るためにそれを回転させることができ、それの特定の部分のより良好な図を得るためにズームインする。視聴者がホームコメディ・シーン自体に存在するかのように、視聴者によるツールのすべてのこの種の取扱いは仮想現実をシミュレーションする。

図３の一番下に示すように、複数のツール（オブジェクト）は、メタデータに含まれる場合がある。その場合、視聴者がツールによって閲覧することができるように、ハイパーリンクされたツール６２―７０の集まりは周期的に接続され、各時間は他のツールと相互作用されうる。プログラムを見る一方、すべてのこの種の相互作用が並行してされることができ、複数の視聴者によって行われることができることに注意されたい。あるいは、オブジェクトを調査する一方、視聴者はプログラム（例えば、デジタル記録装置（ＤＶＲ）を使用する）を休止させるほうを選択することができる。この場合、音声要素は、双方向性と同様に加えられうる。ビデオがフリーズしているときにオブジェクト相互作用に関連したホットスポットのスクリーン位置は更新する必要がないので、これはさらなるオブジェクト相互作用をサポートするために必要な情報を単純化することの効果がある。このシナリオにおいて、それは、分野の基礎に関するトラッキング情報を送るのに必ずしも必要でないことがあり、データはビデオの周期的ストップ位置のために引き出されることができ、ＤＶＲはデータが利用できる最も近い鍵となるフレームで止まることができる。

調査されたオブジェクトのディスプレイは、オブジェクトについてのオーディオ説明または議論を伴う場合がある。オーディオ・トラックは、ドリルの音とドリルのアニメーションの図を接続するように、それ自身でオブジェクトに関する非言語的な音響効果を含むことができる。オブジェクトと相互に作用する時、音響効果はユーザ関心および楽しみを強化するためにステレオまたはサラウンド・サウンドにおいて行うことができる。一つの実施例において、オーディオ説明および関連する音は、「ボイスオーバー」として現在のオーディオ・トラックをインプリメントした。他の実施例では、元のオーディオおよびビデオは、オブジェクトの調査の間フリーズする。

実施例において、オーディオは、仮想オブジェクトの３Ｄ動画のディスプレイと同期する場合がある。例えば、視聴者はホームコメディのキャラクタを選択することを可能にでき、行為者の「コメンテータ」はキャラクタまたは特定のエピソードについての情報を解説して表すことができる。映画のＤＶＤを見る時、このインタラクティブ・トラックはディレクター「ボイスオーバー」トラックが任意に許可されることができる視聴者ほぼ同じ方法に対するサービスとして提供されうる。別の実施形態では、「コメンテータ」は、シーンにおける製作に関する情報を提供できるかまたはシーンを進む方法について、ユーザ情報を提供できる。さらに実施態様において、３Ｄ動画のオブジェクト・シーケンスは、ユーザ・インタフェースのキーパッド反応によって変化しうる。例えば、アニメーションのディスプレイは、視聴者の質問を尋ねることができ、ユーザ入力に基づいて反応の上でフォローアップを与える場合がある。例えば、本出願は児童ショーに適当でありうる。ここで、学齢未満の学生は、ビデオ・シーンの漫画キャラクタのような１つ以上のアニメーションのオブジェクトと相互作用することができる。

図４は、ツリー・アーキテクチャに配置される３Ｄ仮想オブジェクトを有する相互作用を示す。推薦された本８２の集まりは、テーブルのまわりの書評ショーにインサートされる。関心のある視聴者は、各本と独立して（ドラッグ、回転して、ズームイン）相互作用しうる。特定の本に対する関心に、視聴者は、ハイパーリンクと同じ仮想オブジェクトを使用している著者８４によって推薦されたかまたは最近の本の集まりを見ることを選択することができる。同様に、特定の本に対するさらなる関心は、本８６の前面および背面の見返しを示すことができる。ツリー・アーキテクチャの異なるレベルで示される各品目は、元のプログラミングを妨げないような方法で表現される。

ＬＣＤ技術の最近の進歩は、市場においてすでに利用可能な電子新聞と同等である表示されたテキストの読みやすさおよび認識しやすさを可能とするであろう。従って、例えば、３Ｄオブジェクトは、目次のようなテキストまたは本の序文を埋めることができる。

３Ｄオブジェクトは、例えば、オブジェクトの内部を明らかにするために、別の３Ｄオブジェクトに変形することもできる。例えば、視聴者は異なる斜視図から図３から３Ｄツールのうちの１つを調べることができ、その後、結果として３Ｄツール・オブジェクトの変形になっているハイパーリンクをクリックすることができ、それかまたは内部要素の横断面イメージを明らかにすることができる。別の実施形態では、視聴者は３Ｄ本オブジェクトを調べることができ、その後、ハイパーリンクのクリックが結果として詳細な情報（例えば、目次）を明らかにする開かれた３Ｄ本オブジェクトへ３Ｄ本オブジェクトの変形となる。

３Ｄオブジェクトを、ユーザが興味のあるオブジェクト、または３Ｄオブジェクトに関するアイテムを購入することができるようにハイパーリンクすることもできる。実施形態において、オブジェクトを選択して購入処理を開始することができる。３Ｄオブジェクトの選択は、別の実施形態では、３Ｄオブジェクトを選択することは、ユーザをオブジェクトが購入されることができる小売業者（例えば、小売業者ウェブサイトを示すことによって）に接続することができる。

３Ｄオブジェクトを有する相互作用によって許可されるハイパーリンクは、変化しうるかまたはオブジェクト相互作用のタイプによって変化しうる。例えば、３Ｄオブジェクトの単純な選択は、オブジェクトおよびおそらく類似の商品の高レベル説明を有するページに、視聴者を持ってくる場合がある。あるいは、詳細な３Ｄ回転のオブジェクトを調べる視聴者は、詳細な説明または商品の明細書を持ってくる場合がある。ハイパーリンク・トリガーは、相互作用の過去の歴史またはおそらく人口統計情報から構成されるプロフィールによって影響されうる。

ビデオを伴うメタデータは、最初の／デフォルトインサート位置を含む。上述したように、彼または彼女がインサートされたオブジェクトと双方向するにつれ、視聴者はこれらの最初の／デフォルトインサート位置を変えることができる。インサート位置は、シーン（最背面から来る）の物理的な静的位置またはシーン（最前面から来る）の物理的な動的位置でもよい。例えば、インサート位置は、走行中の車両の最上位で定められうる。レシーバにおいて、例えば、それらがそれに取り付けられるそれらの現在の視聴者選択されたインサート位置または最初の／デフォルトインサート位置に物理的に置かれるかのように、オブジェクトはレンダーされうる。あるいは、オブジェクト位置は、現実のインサート位置に結ばれることができるかまたは、視聴者相互作用によって口述されるように像空間の位置に結ばれる。

カメラがシーンをパンし、インサートされたオブジェクトが視野から移動している場合、インサートされたオブジェクトをシーンにおいて移動させることができるかまたは再インサートすることができる。実施形態において、オブジェクトものは視野から移動しているシーンの最背面にインサートされる場合、オブジェクトを新しいシーンの異なる最背面位置に移動させることができる。別の実施形態では、視聴者がオブジェクトと双方向の場合、カメラによるシーンのパニングがオブジェクトの位置に影響を及ぼさないように、オブジェクトは最前面へ移動することができる。付加的な実施例において、ビデオはオブジェクトを視聴する最中にフリーズすることがある。そして、オブジェクトの懸念のないシーンの範囲内の最大限の相互作用がビデオフレームの視界から移動するのを可能とする。

ＤＶＲが巻き戻される、または、インターネット上のビデオが再ロードされるように、オブジェクトが再加工されるビデオストリームにインサートされる場合、それが以前現れたように、インサートされた仮想オブジェクトは同じまたは異なる位置に現れることができ、または、インサートされた仮想オブジェクトは以前インサートされた仮想オブジェクトと異なってもよい。

実施例において、複数のテレビ・チャンネルは１ビットストリームにビデオエンコーダ１４によってエンコードされ、ビデオアナライザ１６は各チャネルに関してメタデータを生成し、データパケット・ストリーム発生器１８は、その時マルチプレクサ２０によってエンコードされたマルチチャネル・ビデオと共に結合されるデータストリームにメタデータをエンコードする。レシーバ２８において、デコーダ３６（図５）は、第１のテレビ・チャンネルを復号化する。視聴者は、それから、複数の仮想３Ｄオブジェクトをこの現在示されたテレビ・チャンネルにインサートして提示される。選択されたオブジェクトと相互作用するという視聴者の決定に基づいて、ユーザ入力処理モジュール３８は、デコーダ３６に視聴者の関心を表す内容を有する２本目のビデオ・チャネルへ切り替えるように指示する。このように、視聴者は、特定のオブジェクトと双方向の場合、彼または彼女が行う選択によるプログラム進行を制御することができる。

同様に、視聴者に制御された内容を、記録された１チャンネルのビデオで達成することができる。例えば、予め記録されたプログラムは、いくつかの専門部分に続いて、紹介部分から構成される場合がある。紹介部分の間、視聴者は、複数の仮想オブジェクトによって提示される。視聴者が相互作用しないほうを選択する場合には、プログラムは順次行われる。さもなければ、視聴者が相互作用によって示す関心に基づいて、当該プログラムは、以下の専門部分のうちの１つから進むためにスキップすることがある。

ビデオストリームの仮想オブジェクトの位置は、視聴者プロフィールに従って変化することがある。例えば、シーンの相互作用のために提供される一種の自動車は、家庭の予想される平均収入に従って異なる場合がある。さらにまた、双方向オブジェクトの傑出は、見込みがある実態的人口統計および視聴者の利益に従って変化しうる。さらに、双方向オブジェクトの傑出は、見込みがある実態的人口統計および視聴者の利益に従って変化しうる。

提案されハイパーリンクされた３Ｄ仮想オブジェクトは、従来の覆われたグラフィックより、視聴者に、芸術的によりアピールされかつ受け入れられた商品に対するより豊かな広告計画を設計する機会を提供される。広告の事情におけてここで記載されているが、ハイパーリンクされた３Ｄ仮想オブジェクトを、観衆の情報のいかなる種類も伝える双方向手段として用いることができる。
典型的な方法

図６は、本発明の実施例にかかる、拡大されたビデオストリームのオブジェクトを有する相互作用を許容する方法６００のフローチャートである。

方法６００は、拡大されたビデオストリームがユーザ装置で受信される場合、ステップ６０２で始まる。上述したように、実施例において、拡大されたビデオストリームは、放送サービスプロバイダのヘッドエンド・システムから受信される。実施例において、拡大されたビデオストリームは、ビデオストリームにおける各フレームに対応する元のビデオストリームおよびメタデータを含む。元のビデオストリームおよびメタデータを、例えば、デコーダ３６（図５）を使用して復号化することができる。

方法６００のステップ６０４において、拡大されたビデオストリームは、例えば、受信システム２６（図１）のディスプレイ３０のように、ユーザ・ディスプレイに表わされる。拡大されたビデオストリームは、ビデオのシーンの所与の物理的な位置にインサートした３Ｄ仮想オブジェクトを含み、レンダラ３７（図５）のようなレシーバ内のレンダラによってユーザ・ディスプレイに送信することができる。実施形態において、視覚要素は３Ｄオブジェクトであってもよく、レンダラ３７はビデオの範囲内で現わすために３Ｄオブジェクトをレンダーできる。これは３次元モデリング技術を用いて達成されることができる。そして、例えば、視野ポートにテクスチャ積載、仮想カメラ・モデリング、およびゲーム・アプリケーションで広く使われているような視聴ポートに対するレンダリングを含むが、これらに限定されるものではない。

ステップ６０６において、仮想オブジェクトを有する相互作用の要求は、視聴者から受信される。視聴者は、入力装置３２（図１）のようなユーザ入力機器を使用している要求を開始することができる。当該要求としては、とりわけ、オブジェクトをビデオ・シーンの異なる位置の方へ動かすこと、オブジェクトの空間方向を変えること、オブジェクトにズームインすること、および所定のアーキテクチャによって関する付加的なオブジェクトを見ることを挙げることができる。

ステップ６０８において、仮想オブジェクトの外観は、視聴者から仮想オブジェクトおよび相互作用の要求と関連したメタデータに基づいて変えられる。実施例において、所与のオブジェクトの外観を変えることは、所与の仮想オブジェクトにハイパーリンクされる１つ以上の３Ｄ仮想オブジェクトを示すことを含む。視聴者から受信の指示に応じて、このような付加的な仮想オブジェクトは、周期的に示される場合がある。実施例において、オブジェクトの外観を変えることは、仮想オブジェクト（例えば、オブジェクトの横断面、切欠図または内部層／成分）の内部を公開するかまたは仮想オブジェクトの空間方向を変えることを含む。実施例において、オブジェクトの外観を変えることは、階層的なツリー構造に従って表示付加的な関連したオブジェクトを含む。このような実施例では、階層的なツリー構造の各レベルは、仮想オブジェクトについて、以前のレベルより多くの詳細を提供することができる。例えば、仮想オブジェクトの外観のこのような変化を、レンダラ３７（図５）によって遂行することができる。

コンピュータ
本発明は、テレビ（例えば、放送、ケーブル、衛星、ファイバ）に関する実施形態を述べてきたが、実施形態はインターネットおよびモバイル機器（例えば、携帯電話）のような他のメディアに適用されることもできる。図７は、本発明の実施形態において用いる実施例コンピュータを例示する線図である。計算機器７００は、プロセッサ７０４のような１つ以上のプロセッサを含む。プロセッサ７０４は、通信基盤７０６（例えば、通信バス、クロスオーバーバーまたはネットワーク）に接続している。さまざまなソフトウェア実施例は、この典型的なコンピュータに関して記載されている。この説明を読んだ後、どのように他のコンピュータおよび／またはアーキテクチャを用いた本発明を実行するべきか、当業者にとって明らかであろう。

計算機器７００は、ディスプレイ・ユニット７３０上のディスプレイのための通信基盤７０６（または、図示されないフレーム・バッファから）からグラフィック、テキストおよび他のデータを送り届けるディスプレイ・インタフェース７０２を含む場合がある。

計算機器７００もまた、主記憶７０８（好ましくはランダム・アクセス・メモリ（ＲＡＭ））を含んで、二次記憶装置７１０を含むこともできる。二次記憶装置７１０は、例えば、ハードディスク装置７１２および／または着脱可能な記憶装置７１４、表されたフロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、その他を含むことができる。そして、着脱可能な記憶装置７１４は周知の方法の着脱可能記憶ユニット７１８から読んでおよび／または書く。着脱可能な記憶装置７１４は、周知の方法の着脱可能記憶ユニット７１８から読みかつ／または書く。着脱可能記憶ユニット７１８はフロッピー（登録商標）ディスク、磁気テープ、光ディスク、その他を表し、これらは、着脱可能な記憶装置７１４によって読まれ書かれる。明らかなように、着脱可能記憶ユニット７１８は、本明細書において、コンピュータ・ソフトウェアおよび／またはデータを格納していたコンピュータが使用可能な記憶媒体を含む。

別の実施形態では、二次記憶装置７１０は、コンピュータ・プログラムまたは他の指示が計算機器７００にロードされることができる他の類似の装置を含むことができる。このような装置は、例えば、着脱可能記憶ユニット７２２およびインタフェース７２０を含む場合がある。このようなものの実施形態としては、プログラム・カートリッジおよびカートリッジ・インタフェース（例えば、テレビゲーム装置でみられるように）（着脱可能なメモリチップ（例えば消去可能な半固定記憶装置（ＥＰＲＯＭ）または半固定記憶装置（ＰＲＯＭ））および付属のソケット）および他の着脱可能記憶ユニット７２２およびインタフェース７２０を挙げることができ、これらは、ソフトウェアおよびデータを着脱可能記憶ユニット７２２から計算機器７００まで転送することを可能にする。

計算機器７００は、通信インタフェース７２４を含むことがある。通信インタフェース７２４によって、ソフトウェアおよびデータを計算機器７００と外部素子との間で転送することができる。通信インタフェース７２４の例としては、モデム、ネットワーク・インタフェース（例えば、イーサネット（登録商標）・カード）、通信ポート、個人用コンピュータメモリカード国際協会（ＰＣＭＣＩＡ）のスロットおよびカードなどを挙げることができる。通信インタフェース７２４を介して転送されるソフトウェアおよびデータは、通信インタフェース７２４によって受信することができる電子、電磁気、光学、他の信号でもよい信号７２８の形である。これらの信号７２８は、通信パス（例えば、チャネル）７２６を介して、通信インタフェース７２４に提供される。このチャネル７２６は、信号７２８を運搬し、ワイヤまたはケーブル、ファイバ光学、電話線、セルラーリンク、無線周波数（ＲＦ）リンクおよび他の通信チャネルを使用して実装することができる。

本明細書において、「コンピュータ・プログラム媒体」および「計算機が使用可能な媒体」という用語は、一般に、メディア（例えば、着脱可能な記憶装置７１４、ハードディスク装置７１２に取り付けられるハードディスクおよび信号７２８）を指すために用いられる。これらのコンピュータ・プログラム製品は、ソフトウェアを計算機器７００に提供する。本発明はこの種のコンピュータ・プログラム商品に関する

コンピュータ・プログラム（計算機制御ロジックとも呼ばれる）は、主記憶７０８および／または二次記憶装置７１０に格納される。コンピュータ・プログラムは、通信インタフェース７２４を介して受信されることもできる。実行される時、このようなコンピュータ・プログラムは、本明細書において述べるように、計算機器７００が本発明の特徴を実行することを可能にする。特に、実行される時、コンピュータ・プログラムはプロセッサ７０４が本発明の特徴を実行することを可能にする。したがって、このようなコンピュータ・プログラムは、計算機器７００のコントローラを表す。

本発明がソフトウェアを使用して実施される実施形態において、当該ソフトウェアを、コンピュータ・プログラム商品に格納し、着脱可能な記憶装置７１４、ハードディスク装置７１２または通信インタフェース７２４を使用している計算機器７００にロードすることができる。プロセッサ７０４によって実行されるときに、本明細書において記載されるように、制御ロジック（ソフトウェア）はプロセッサ７０４に本発明の機能を実行させる。

他の実施形態では、本発明は、特定用途向け集積回路（ＡＳＩＣ）のようなハードウェアコンポーネントを使用するハードウェアにおいて主に実施される。ハードウェア・ステート機械の実施態様は、本明細書において記載されている機能を実行するように、当業者にとって明らかであろう。

本発明は、指定された機能およびその関係の実現を例示している機能的な建築用ブロックを用いて、上記に記載されてきた。これらの機能的な建築用ブロックの限界は、説明の便宜のために、本明細書において任意に定められた。指定された機能およびその関係が適切に実行される限りにおいて、交互の限界を指定することができる。

特定の実施形態の前述の説明は、そのため、不当な実験なしに、本発明の一般の概念から逸脱せずに、当該技術分野の技能の範囲内の知識を適用することにより、他人が種々の用途のためにこのような特定の実施形態を容易に修正しかつ／または適合させることができる、本発明の一般の性質を十分に明らかにすることになる。従って、本明細書において提示される教示および助言に基づいて、このような変更および修正は、開示された実施形態相当の意味および範囲の中にあることを目的とする。本明細書において文体または用語が説明の目的の、かつそれが制限されないことを理解すべきであり、その結果、本明細書の用語または語法が教示および助言を考慮して当業者によって解釈される。

本発明の幅および範囲は、上記の例示的実施形態のいずれによっても限定されず、以下の請求項および均等物に従ってのみ規定されなければならない。

Claims (15)

1. 拡大されたビデオストリームにおける仮想オブジェクトと相互作用するための方法であって、前記方法は、
   前記拡大されたビデオストリームを表示することであって、前記拡大されたビデオストリームは、ビデオ・シーンの所与の物理的な位置にインサートされた仮想オブジェクトを有し、前記仮想オブジェクトは３次元であることと、
   視聴者からの前記仮想オブジェクトとの相互作用の要求を受信することと、
   前記視聴者からの前記仮想オブジェクトとの相互作用の要求と関連したメタデータに基づいて前記所与の物理的な位置での仮想オブジェクトの外観を変えることと、
   を含み、
   前記仮想オブジェクトは、複数の３次元仮想オブジェクトに接続を提供する少なくとも１つのハイパーリンクを含み、
   前記視聴者が前記ハイパーリンクを作動させるときに、前記仮想オブジェクトの外観の変化は、前記複数の３次元仮想オブジェクトのうちの少なくとも１つを表示することを含む、方法。
2. 前記複数の３次元仮想オブジェクトが互いにハイパーリンクされる、請求項１に記載の方法。
3. 前記複数の３次元仮想オブジェクトにおけるオブジェクトが、所定のアーキテクチャに従ってリンクおよび表示される、請求項２に記載の方法。
4. 前記ハイパーリンクが、前記視聴者の相互作用履歴および前記視聴者の人口統計情報のうちの少なくとも１つに従って変化する、請求項２に記載の方法。
5. 前記仮想オブジェクトの外観を変えることが、前記所与の物理的な位置から前記視聴者によって選択されるビデオ・シーンにおける交互の物理的な位置まで前記ビデオ・シーンにおける前記仮想オブジェクトの前記位置を移動することを含む、請求項１に記載の方法。
6. 前記交互の物理的な位置が、前記ビデオ・シーンの最前面における動的位置である、請求項５に記載の方法。
7. 前記仮想オブジェクトの外観を変えることが、前記仮想オブジェクトの内部を明らかにすることを含む、請求項１に記載の方法。
8. 前記仮想オブジェクトの外観を変えることが、前記仮想オブジェクトの空間方向を変えることを含む、請求項１に記載の方法。
9. 前記仮想オブジェクトとの相互作用の要求を受信することが、ドラッグ、クリック、または回転運動のうちの少なくとも１つによってスクリーンで前記仮想オブジェクトの直接操作によって発生された要求を受信することを含む、請求項１に記載の方法。
10. 前記仮想オブジェクトとの相互作用の要求を受信することが、前記拡大されたビデオストリームを中断する要求を受信することを含む、請求項１に記載の方法。
11. 前記仮想オブジェクトとの相互作用の要求を受信することが、相互作用のために要求される仮想オブジェクトに関連した音声トラックを呼び出す要求を受信することを含む、請求項１に記載の方法。
12. 拡大されたビデオストリームの仮想オブジェクトと相互作用するための方法であって、前記方法は、
    前記拡大されたビデオストリームを表示することであって、前記拡大されたビデオストリームは、ビデオ・シーンにインサートされる複数の３次元仮想オブジェクトを有することと、
    視聴者から前記複数の３次元仮想オブジェクト内の特定の仮想オブジェクトとの相互作用の要求を受信することと、
    前記特定の仮想オブジェクトとの相互作用の要求に基づいて表示されたビデオストリームを変えることであって、前記表示されたビデオストリームを変えることは、前記視聴者からの前記仮想オブジェクトとの相互作用の要求と関連したメタデータに基づいて前記特定の仮想オブジェクトの外観を変えることを含むことと、
    を含み、
    前記特定の仮想オブジェクトは、前記複数の３次元仮想オブジェクトに接続を提供する少なくとも１つのハイパーリンクを含み、
    前記視聴者が前記ハイパーリンクを作動させるときに、前記仮想オブジェクトの外観の変化は、前記複数の３次元仮想オブジェクトのうちの少なくとも１つを表示することを含む、方法。
13. 前記表示されたビデオストリームを変えることが、前記特定の仮想オブジェクトと関連した内容を有する他のビデオストリームを表示することを含む、請求項１２に記載の方法。
14. 前記拡大されたビデオストリームが第１のチャンネルにて受信され、他のビデオストリームが第２のチャンネルにて受信される、請求項１３に記載の方法。
15. 前記拡大されたビデオストリームが、入門部分および複数の専門部分、前記入門部分の間、インサートされた前記複数の３次元仮想オブジェクトを含み、前記表示されたビデオストリームの変化が、前記相互作用の要求に基づいて前記複数の専門部分に少なくとも１つの専門部分を表示することを含む、請求項１２に記載の方法。

Images