WO2007061068A1 - 受信装置及び本線映像配信装置 - Google Patents

Abstract

　既存の放送などの映像配信サービスと任意視点映像サービスが連携して提供される場合において、放送番組の本線映像から任意視点映像に切り替えた際に、視点および視線をシームレスにつなぐことができる受信装置。この装置では、放送用の映像である本線映像信号と前記本線映像信号に対する視点情報を含む放送ストリームを受信し、複数の映像から生成した任意の視点での映像である任意視点映像の配信要求を行う際に、前記任意視点映像の前記視点の初期値として前記放送ストリームから抽出した前記視点情報を利用するようにした。これにより、本線映像から任意視点映像へ切り替えた際に、本線映像に同様の任意視点映像を最初の任意視点映像として用いることができるので、本線映像と任意視点映像との切り替え前後で視点をシームレスにつなぐことができる。

Description

受信装置及び本線映像配信装置

技術分野

[0001] 本発明は、視聴者が所望する任意の視点位置からの映像を受信する受信装置及 び本線映像配信装置に関するものである。 背景技術

[0002] 従来より、大量のカメラで対象物、例えばサッカーの試合などをあらゆる方向から撮 影し、撮影した大量の映像から、任意の場所および方向の視点の映像を補間し、再 構成を行うことで、本来撮影されて 、な 、視点および視線での映像を得られる任意 視点あるいは自由視点映像生成の研究が多数行われている（例えば、特許文献 1参 照)。

[0003] 特許文献 1に開示される技術は、この任意視点映像をビデオオンデマンドシステム のように提供する配信装置などに関するものであり、視聴者力もの要求に従って、視 聴者が所望する視点位置力もの映像を提供することができる。

特許文献 1 :特開 2004— 193941号公報

発明の開示

発明が解決しょうとする課題

[0004] しかし、特許文献 1に開示されるような任意視点映像提供システムでは、視聴者か ら要求のあった視点位置の映像を配信すると!/、う機能し力備えて ヽな 、。そのため、 既存の放送番組などと連携して任意視点映像サービスが提供される場合について 考慮されていない。よって、放送番組の本線映像から任意視点映像に切り替えた際 に、視点が本線映像から任意視点映像にシームレスに接続するということについて考 慮されていない。このため、視点が本線映像から任意視点映像に移る際に、視聴者 が違和感を感じる可能性がある。

[0005] 本発明の目的は、放送番組の本線映像カゝら任意視点映像に切り替え際に、本線 映像から任意視点映像にシームレスに接続することができる受信装置および本線映 像配信装置を提供することである。 課題を解決するための手段

[0006] 本発明は、放送用の映像である本線映像信号と本線映像信号に対する視点情報 を含む放送ストリームを受信し、複数の映像カゝら生成した任意の視点での映像である 任意視点映像の配信要求を行う際に、任意視点映像の視点の初期値として放送スト リーム力 抽出した視点情報を利用するようにした。

発明の効果

[0007] 本発明によれば、本線映像から任意視点映像へ切り替える際に、本線映像の視点 情報を用いた任意視点映像の配信を任意視点映像提供システムに要求することが できる。これにより、本線映像から任意視点映像へ切り替えた際に、本線映像に同様 の任意視点映像を最初の任意視点映像として用いることができるので、本線映像と 任意視点映像との切り替え前後で視点をシームレスにつなぐことができる。よって、視 聴者にとって違和感の無い良好な切り替えができる。

図面の簡単な説明

[0008] [図 1]本発明の実施の形態 1にかかる任意視点映像システムの概要を説明するため の図

[図 2]実施の形態 1にかかる受信装置が放送型番組を受信している際の画面を示す 図

[図 3]実施の形態 1にかかるリモコンを示す図

[図 4]実施の形態 1にかかる受信装置の任意視点映像視聴中の画面を示す図

[図 5]実施の形態 1にかかる任意視点映像システムの構成を示すブロック図

[図 6]実施の形態 1にかかる視点情報パラメータを示す図

[図 7]実施の形態 1にかかる放送用カメラを示す図

[図 8]実施の形態 1における符号ィ匕装置の内部構成を示すブロック図

[図 9]実施の形態 1にかかる PES形式にパケットィ匕された映像データを示す図

[図 10]実施の形態 1における受信装置の内部構成を示すブロック図

[図 11]実施の形態 1にかかる視点操作情報を示す図

[図 12]実施の形態 1にかかる任意視点映像システムの任意視点映像取得のプロトコ ルシーケンスを示す図 [図 13]実施の形態 1にかかる符号化装置のその他の例を示す図

[図 14]実施の形態 1にかかる RTPストリーム化された本線映像視点情報を示す図

[図 15]本発明の実施の形態 2にかかる任意視点映像システムの構成を示すブロック 図

[図 16]実施の形態 2にかかる映像符号ィ匕装置と視点情報符号ィ匕装置の内部構成を 示すブロック図

[図 17]実施の形態 2にかかる MPEG2セクションィ匕部が符号ィ匕した本線映像視点情 報を示す図

[図 18]実施の形態 2にかかる受信装置の構成を示すブロック図

[図 19]実施の形態 2にかかる視点情報符号化装置のその他の例を示す図

[図 20]本発明の実施の形態 3にかかる任意視点映像システムの概要を説明する図

[図 21]実施の形態 3にかかるパッケージ媒体の制作系システムの構成を示すブロック 図

[図 22]実施の形態 3にかかるパッケージ媒体の再生および任意視点映像サービスの 受信装置、任意視点映像提供システムを示す図

[図 23]実施の形態 3にかかる受信再生装置の構成を示すブロック図

[図 24]本発明の実施の形態 4にかかる任意視点映像システムの全体構成を示すプロ ック図

[図 25]実施の形態 4にかかる本線映像視点情報 DB内部での本線映像視点情報の 管理構造の一例を示す図

[図 26]実施の形態 4にかかる受信装置の構成を示すブロック図

[図 27]実施の形態 4にかかる視点操作情報の一例を示す図

発明を実施するための最良の形態

[0009] 以下、本発明の実施の形態について、添付図面を参照しながら説明する。なお、 本発明はこれら実施の形態に何ら限定されるものでは無ぐその要旨を逸脱しない範 囲において、種々なる態様で実施し得る。

[0010] (実施の形態 1)

本発明の実施の形態 1にかかる任意視点映像システムについて説明する。実施の 形態 1にかかる任意視点映像システムは、既存の放送型番組と連携して任意視点映 像を提供するサービスを実現するものである。

[0011] まず、実施の形態 1にかかる任意視点映像システムの概要について、図 1を用いて 説明する。

[0012] 実施の形態 1にかかる任意視点映像システム 100は、中継放送番組の映像 (以降 本線映像と呼ぶ）を配信する本線映像提供システム 101と、任意視点映像を配信す る任意視点映像提供システム 102と、本線映像と任意視点映像を受信する受信装置 103と、力 なる構成を採る。

[0013] 本線映像提供システム 101は、放送型番組を BSZCSデジタル放送、地上波デジ タル放送、 CATVなどのデジタル放送で、視聴者、つまり、受信装置 103に提供する 。また、任意視点映像提供システム 102は、インターネットなどの通信回線により任意 視点映像を提供する。

[0014] 受信装置 103は、放送型番組、この例ではサッカーの中継番組を選局した際に、 図 2に示すような画面 200を表示する。

[0015] 受信装置 103において、視聴者が選局を行うと、本線映像 201を再生する。受信装 置 103は、視聴者が選局した直後から数秒の間は、番組の情報などを表示する GUI

(グラフィカルユーザインタフェース） 202、 203を本線映像 201の上にオーバーレイ して表示する。

[0016] GUI202は、任意視点映像を提供中であり任意視点映像の受信も可能であること を示す任意視点映像提供中アイコンである。 GUI203は、「任意視点映像 提供中」 を表示するパネルで、視聴者に任意視点映像サービスの存在を通知するものである

[0017] 任意視点映像サービスの存在は、番組情報の一部として、電子番組表 (EPG： Ele ctoronic Program Guide)のデータの中に記述されて提供されている。受信装 置 103は、電子番組表のデータを参照することで、任意視点映像サービスの存在を 認識できる。また、受信装置 103は、任意視点映像サービスの存在を、番組の ID、例 えば TV Anytime Forumで標準化されている CRID (Content Referencing I dentifier)をキーにして、番組の関連サービスを検索するサーバに問い合わせるな どして得ることもできる。

[0018] また、受信装置 103の視聴者は、本線映像 201を視聴し、任意のタイミングで任意 視点映像に切り替えることができる。例えば、本線映像 201には映っていないお気に 入りの選手の様子を見るために、任意視点映像に切り替え、視点をその選手が映る ように移動して視聴することができる。また、視聴者は、シュートシーンなどの決定的 な瞬間を本線映像とは違った角度で見るために、任意視点映像に切り替えて、シュ ートシーンを別の視点からプレイバック再生すると 、つた使 、方もできる。

[0019] また、視聴者は、任意視点映像への切り替えを、図 3に示すような一般的なデジタ ル放送対応 TV用リモコンを用いて行うことができる。

[0020] リモコン 301の中ほどには、十字ボタン 302が設けられている。十字ボタン 302には 、任意視点映像への切り替え機能が割り当てられている。視聴者は、十字ボタン 302 のいずれかの方向を押すことにより任意視点映像に切り替わるようにできる。この構 成により、操作者は、任意視点映像に切り替え後、十字ボタン 302を用いて視点移 動を行うこともできる。

[0021] これにより、操作者が任意視点映像への切り替えと視点移動を同一のボタン操作で できるため、操作者の操作工数を削減できる。

[0022] なお、リモコン 301に、任意視点映像への切り替えボタンを別途用意して、そのボタ ンを押すことにより任意視点映像に切り替えるようにしても良い。

[0023] また、実施の形態 1にかかる任意視点映像システム 100は、受信装置 103において

、本線映像と任意視点映像との切り替え前後で視点 ·視線をシームレスにつなぐよう にしている。

[0024] すなわち、受信装置 103において、本線映像から任意視点映像に切り替えると、今 まで視聴して 、た本線映像と同じ視点の任意視点映像に切り替わるようにして ヽる。 これは、受信装置 103において、本線映像を撮影しているカメラと同じ視点、より具体 的には本線映像のカメラと同じ撮影位置、撮影方向、および画角（視野角）の任意視 点映像を要求、再生することで実現される。つまり、受信装置 103において、任意の 時点で本線映像を撮影しているカメラの視点 (撮影位置、撮影方向、画角など）がわ かっていればよい。 [0025] これを実現するため、実施の形態 1では、本線映像提供システム 101から受信装置 103に対し、本線映像の映像データにその映像を撮影したカメラの視点情報を含め て送るという構成を採っている。これに対し、受信装置 103は、任意視点映像への切 り替えを行う際、現在表示している本線映像の映像データに含まれていた、その映像 を撮影したカメラの視点情報 (本線映像視点情報と呼ぶ)を用いて、任意視点映像提 供システム 102に、その視点の任意視点映像を要求する。そして、受信装置 103は、 任意視点映像提供システム 102から要求した任意視点映像を取得した後、本線映像 から任意視点映像の再生画面に切り替える。これにより、任意視点映像が本線映像 と同一の視点から始まるので、本線映像と任意視点映像とを同じ視点でシームレスに つなぐことができる。

[0026] 図 4は、受信装置 103の任意視点映像視聴中における画面の一例を示す図である 。図 4に示すように、画面の全面には、任意視点映像 401が表示されている。また、 任意視点映像 401には、本線映像のサムネイル 402と、仮想視点ウィンドウ 403と、 が重畳されている。

[0027] また、仮想視点ウィンドウ 403は、現在の本線映像視点 (視線) 404と任意視点映 像の視点（視線) 405をサッカーコートのグラフィックと共にリアルタイム表示している。 通常、本線映像を撮影するカメラは、その試合のもっとも注目すべき場所、選手など を撮影している。このため、現在の本線映像視点 404を参照しながら、同時に任意視 点映像の視点を操作できるようにすることで、本線映像との位置関係が把握しやすく なる。この結果、注目すべき場所への視点移動やその場所を別の角度力 見るような 視点の指定が容易になることが期待される。

[0028] このように、受信装置 103の視聴者は、任意のタイミングで本線映像と任意視点映 像を切り替えながら、サッカーの試合などを視聴することができる。さらに、本実施の 形態を適用したことにより、本線映像力 任意視点映像へ切り替える際は、今まで視 聴して ヽた本線映像と全く同じ視点の任意視点映像に切り替えることができ、本線映 像視点を利用して任意視点映像の視点操作を容易に行うことができる。

[0029] なお、ここでは、本線映像としてデジタル放送を例に説明したが、特に映像の提供 媒体を限定するものでは無い。例えば、中継番組がインターネットストリーミング配信 などで提供される場合にぉ 、ても同様である。

[0030] また、本線映像は、映像の製作者が撮影時や映像の編集時に視点を決めて提供さ れる映像一般を指しており、視聴者が視点を操作できる任意視点映像以外は全て本 線映像になりえる。例えば、複数の視点で撮影した映像が同時に提供される「マルチ アングル映像」も、視聴者は製作者が決めた複数の視点を切り替えることができるだ けであるため、本線映像になり得る。

[0031] また、本線映像視点情報は、本線映像力も任意視点映像への切り替え時に用いる だけでなぐ任意視点映像の視点操作を補助する役割で様々な用途に利用可能で ある。

[0032] 例えば、視聴者が任意視点映像の視点を撮影位置、撮影方向、画角などで示され る視点情報のうち、任意のパラメータを本線映像視点に対する相対指定で操作する ことができる。画角を操作する場合を例に説明すると、視聴者が本線映像 402をより ズームアップして見たい場合は、画角の値を本線映像視点に対してマイナス方向（ズ ームアップ方向）に指定する。より具体的には、現在の本線視点映像の画角が 60度 に対して、その 50%である 30度を任意視点映像の視点として指定する。この操作は 、相対指定であるので、本線映像視点が変化すれば任意視点映像の視点も追従し て変化する。本線視点映像の画角が 60度から 120度に変化した場合は、任意視点 映像の視点も追従して 30度力も 60度に変化する。

[0033] このような機能は、プラズマテレビなどの大画面、高精細なテレビで視聴している際 に、本線映像よりもより広い範囲を見渡せるようにして試合の流れを掴みやすくしたり

、また逆に、携帯端末の小さな液晶画面で視聴している場合は、本線映像では小さ すぎて選手を判別できな 、ので、ズームアップして見たりと!、うような場合に特に有効 である。

[0034] そのほかにも、本線映像視点に視点を同期させる機能をリモコンのボタンに割り当 て、そのボタンを押すことにより、押した時点の本線映像視点が任意視点映像の視点 として設定されるようにすることもできる。つまり、視聴者はこのボタンを押すだけで本 線映像の視点にいつでも戻ることができる。これは、本線映像 402で、例えばゴール 前の接戦などが始まったことを見て、ゴール前にすばやく視点移動した 、場合ゃ視 点移動しているうちに位置関係がわ力もなくなってしまった場合に有効である。

[0035] また、本線映像が提供されるタイミングにつ 、ても、特に制約するわけでは無 、。例 えば、本線映像が録画されたものや、ビデオオンデマンドで随時提供されるものであ つても良いし、 DVDなどのパッケージ媒体で提供されることも想定される。その他、他 の番組の一部、例えばスポーツ-ユースの一部として提供されることも考えられる。

[0036] 次に、実施の形態 1にかかる任意視点映像システム 100の全体構成について、図 5 を用いて説明する。図 5は、実施の形態 1にかかる任意視点映像システム 100のプロ ック図である。

[0037] 本線映像提供システム 101は、複数の放送映像撮影用カメラ (放送用カメラ） 501と 、本線映像スィッチャ 502と、符号化装置 503と、本線映像配信装置 504と、力もなる

[0038] 放送用カメラ 501は、サッカーの試合を撮影する放送用のカメラである。放送用カメ ラ 501は、映像 (本線映像)と共に視点情報パラメータの情報を出力する。複数の放 送用カメラ 501は、撮影した複数の本線映像と視点情報パラメータを、本線映像スィ ッチヤ 502に入力する。

[0039] 本線映像スィッチャ 502は、中継番組のディレクターなどからの指示により、実際に 放送される映像、つまり本線映像となるカメラ映像の切り替えを行う。本線映像スイツ チヤ 502は、切り替えられたカメラの本線映像を、符号ィ匕装置 503に入力する。また、 本線映像スィッチャ 502は、本線映像と同時に、切り替えられたカメラの視点情報パ ラメータも一緒に符号ィ匕装置 503に入力する。

[0040] 符号ィ匕装置 503は、入力された本線映像を映像圧縮して、放送に必要なフォーマ ットへの変換などを行う装置である。符号ィ匕装置 503は、変換した本線映像と共に視 点情報パラメータを本線映像配信装置 504に送る。

[0041] 本線映像配信装置 504は、受信した本線映像と視点情報パラメータを受信装置 10 3に送る。

[0042] 任意視点映像提供システム 102は、多数の任意視点映像撮影用カメラ (以下、任 意視点用カメラ） 505と任意視点映像生成装置 506と任意視点映像 DB507と任意 視点映像配信装置 508から構成される。 [0043] 任意視点用カメラ 505は、本線映像と同じ対象物、ここではサッカーの試合を任意 視点映像用に撮影するカメラである。任意視点用カメラ 505は、あらゆる方向から対 象物の撮影を行い、任意視点映像生成に十分な映像データを撮影する。多数の任 意視点用カメラ 505は、撮影した映像を、任意視点映像生成装置 506に同時に入力 する。なお、任意視点用カメラ 505は、放送用カメラ 501と共用される形態であっても 良い。

[0044] 任意視点映像生成装置 506は、入力した多数の映像に対し、例えば特許文献 1に 記載されるような任意視点映像生成のアルゴリズムを用いて、任意視点映像を生成 する。任意視点映像生成装置 506は、生成した任意視点映像を任意視点映像 DB5 07に送る。

[0045] 任意視点映像 DB507は、任意視点映像を入力し、一旦蓄積する。また、任意視点 映像 DB507は、任意視点映像を時刻と視点をキーとして管理する。

[0046] 任意視点映像配信装置 508は、受信装置 103からの要求に従い、対応する（同一 の視点の)任意視点映像を任意視点映像 DB507より取り出し、受信装置 103に配信 する。なお、本実施例ではあらかじめ任意視点映像生成装置で任意視点映像を生 成しておき、任意視点映像の状態で任意視点映像 DBに蓄積する構成をとつて 、る 力 任意視点映像 DBには任意視点用カメラ 505で撮影されたままの状態で映像を 蓄積しておき、受信装置 103からの要求に従い、任意視点映像生成装置で都度要 求された視点の任意視点映像を生成するという構成にしても良い。また、本実施例は 本線映像と視点が完全一致する任意視点映像を生成できる前提で記述しているが、 任意視点用カメラの数や設置場所の制約などにより、実際には視点が完全一致する 映像が得られない (提供出来ない)場合も考えられる。このような場合には、提供可能 な範囲で最も近 、視点の任意視点映像を提供することで、任意視点映像への切り替 え時の視点の変化が最小限になるようにする。

[0047] 受信装置 103は、放送サービスと任意視点映像サービスの両方の受信再生に対応 した受信装置である。具体的には、受信装置 103は、本線映像提供システム 101か ら本線映像を受信する。また、受信装置 103は、任意視点映像の配信を受ける際〖こ は、本線映像提供システム 101から送られてきた本線映像の視点情報を任意視点映 像提供システム 102に送る。次に、任意視点映像提供システム 102から送られてきた 、本線映像と同じ視点の任意視点映像を受信する。そして、受信装置 103は、本線 映像カゝら本線映像と同じ視点情の任意視点映像にシームレスに再生する。

[0048] このように、受信装置 103が、本線映像と同じ視点情報を持つ任意視点映像力も再 生することにより、本線映像から任意視点映像にスムーズに切り替えられる。

[0049] 以上のように、任意視点映像システム 100は、構成されている。

[0050] 次に、視点情報パラメータについて、図 6を用いて説明する。視点情報パラメータは 、カメラの視点および視線、つまりカメラの撮影位置、撮影方向、画角（視野角）を特 定するためのパラメータである。

[0051] カメラ位置は、放送用カメラ 501の 3次元的な位置であり、 x、 y、 zの 3つのパラメ一 タで表される。撮影方向は、撮影方向の水平成分と垂直成分の 2つのパラメータで表 され、それぞれパン角度 Θ、チルト角度 φで表される。画角（視野角）は、カメラが撮 影する映像の範囲である。画角は、一般には水平画角、垂直画角の 2つのパラメータ で表されるが、本例では撮影映像のアスペクト比が 16： 9などの値に事前に固定で決 まっていることを前提に、一方がわかれば他方も求められるため、水平画角のみを用 いて表すこととする。

[0052] なお、視点情報パラメータは、必ずしも本例で示した 7つのパラメータで表現される 必要は無ぐ撮影位置、撮影方向、画角が特定できるものであれば何でも良い。

[0053] 次に、放送用カメラ 501の構成について、図 7を用いて説明する。なお、図 7には、 視点情報パラメータを取得するための構成について記載し、カメラの一般的な構成 については省略する。

[0054] 放送用カメラ 501には、 GPS (Global Positioning System) 603が設けられて いる。 GPS603は、カメラ位置を計測する。 GPS測量で一般的に用いられる高精度 な位置測定の手法を用いることで、高々数 cmの精度で 3次元的な位置を計測するこ とが可能である。

[0055] また、放送用カメラ 501には、ズームレンズの位置より焦点距離を計測する焦点距 離センサ 604が設けられている。焦点距離センサ 604は、焦点距離と撮像面 (CCD) のサイズより、焦点画角を求める。 [0056] また、放送用カメラ 501には、カメラを回転自在に保持するカメラ台 602と、カメラ台 602に設置されカメラのパン角度を計測する回転角度センサ 606と、カメラのチルト 角度を計測する傾き角度センサ 605と、が設けられている。回転角度センサ 606が計 測したカメラのパン角度と、傾き角度センサ 605が計測したカメラのチルト角度と、を 用いて、撮影方向を求める。

[0057] 以上のような構成により、放送用カメラ 501は、本線映像を撮影すると共に視点情 報パラメータを取得し、出力する。

[0058] 次に、符号ィ匕装置 503の構成について、図 8を用いて説明する。図 8は、実施の形 態 1における符号ィ匕装置 503の内部構成のブロック図である。

[0059] 符号ィ匕装置 503は、本線映像スィッチャ 502より出力された本線映像の映像信号 7 01および視点情報パラメータ 703を入力し、視点情報を含む MPEG2トランスポート ストリーム形式 (TS : Transport Stream)のストリームデータ 707を出力するもので ある。

[0060] 具体的には、符号ィ匕装置 503には、本線映像スィッチャ 502より出力された本線映 像の映像信号 701の映像圧縮を行う映像圧縮部 702が設けられて 、る。この例では 、映像圧縮部 702は、 MPEG2 Video (ISO/IEC 13818— 2)で定義される映 像符号化方式に基づいた圧縮処理を行う。映像圧縮部 702は、 MPEG2のエレメン タリーストリーム（ES： Elementary Stream)の形式で、圧縮された映像データを出 力する。

[0061] また、符号ィ匕装置 503には、視点情報変換部 704が設けられている。視点情報変 換部 704は、本線映像を撮影した放送用カメラ 501の視点情報パラメータ 703を、入 力する。視点情報変換部 704は、視点情報パラメータ力も視点情報への変換を行う。

[0062] ここで、この変換処理を明確にするために、視点情報パラメータと視点情報の違い について述べる。視点情報パラメータは、放送用カメラ 501で計測され、出力される データである。一方、視点情報は、別途提供される任意視点映像サービスとパラメ一 タ単位などをそろえ、相互に利用可能な共通のパラメータ体系に揃えたものである。

[0063] 視点情報をより具体的に説明する。視点情報のカメラ位置は、例えばサッカーコー トの中央を原点として、 xyz各方向 0. 1mm単位で、それぞれ 24ビットで記述される。 視点情報の画角は、水平画角を 0度から 360度を 24ビットで記述される。視点情報 の撮影方向はパン角度、チルト角度をそれぞれ— 180度から 180度のそれぞれ 16 ビットで記述される。このように、事前に決めたフォーマットに変換して記述する。

[0064] また、符号ィ匕装置 503には、映像圧縮部 702から出力された映像データと視点情 報変換部 704より出力された視点情報を入力する、 PESパケットィ匕部 705が設けら れている。 PESパケットィ匕部 705は、映像圧縮部 702より出力された ES形式の映像 データ (本線映像)をパケットィ匕する。また、 PESパケットィ匕部 705は、視点情報も映 像データのパケットの一部に含んで記述する。

[0065] 具体的には、 PESパケットィ匕部 705は、図 9に示すように、映像圧縮部 702より出力 された ES形式の映像データ 801を、 802〖こ示すような MPEG2 Systems (ISO/I

EC13818— 1)で規定される PES形式にパケットィ匕する。

[0066] また、 PESパケットィ匕部 705は、視点情報 804も PES形式のパケット 802の一部に 含んで記述する。具体的には、 PESパケットィ匕部 705は、 PESヘッダ領域 803の拡 張領域である PES— extension— field805に、フォーマットで記述する。

[0067] このように、 PESパケット化部 705は、パケット化した PESデータを TSパケット化部 7

06に出力する。

[0068] TSパケット化部 706は、 PESパケット化部 705においてパケット化された PESデー タを、 MPEG2 Systems (ISOZIEC 13818— 1)で規定される Transport Strea m形式でパケット化し、トランスポートストリーム (TS) 707として、出力する。

[0069] このように、符号ィ匕装置 503は、映像信号 701に視点情報を重畳し、トランスポート ストリーム 707として出力する。

[0070] トランスポートストリーム 707は、この後、本線映像配信装置 504で放送用の符号化 などが行われ、受信装置 103に向け放送される。

[0071] 次に、受信装置 103の構成について、図 10を用いて説明する。図 10は、受信装置 103の内部構成のブロック図である。

[0072] 受信装置 103は、放送信号 901を入力し本線映像 905の映像を出力する本線映 像系のブロックと、本線映像に対応する視点情報を抽出するブロックと、受信装置 10 3のユーザによる視点操作 913を入力し任意視点映像配信装置 508に対して視点 操作情報 908を出力し、その視点に対応する任意視点映像 909を任意視点映像配 信装置 508から受信入力し、任意視点映像 912を出力する任意視点映像系のブロッ クと、からなる。

[0073] 本線映像系のブロックについて説明する。本線映像系のブロックには、本線映像配 信装置 504より放送された放送信号 901を受信する放送受信部 902が設けられてい る。放送受信部 902は、放送信号 901を復号化し、トランスポートストリームを取り出し 、 TSデコーダ 903に出力する。

[0074] TSデコーダ 903は、トランスポートストリームを入力し、 PESデータストリームに復号 し、映像デコーダ 904に出力する。

[0075] 映像デコーダ 904は、入力した PESデータを復号し、さらに圧縮された映像を伸張 して、本線映像 905として出力する。また、映像デコーダ 904は、本線映像 905として 出力した映像の PESパケットを本線映像に対応する視点情報を抽出するブロックへ も出力する。

[0076] 本線映像に対応する視点情報を抽出するブロックには、視点情報抽出部 906が設 けられている。視点情報抽出部 906は、 PESパケットを入力し、 PESヘッダ領域に記 述された映像のタイムスタンプと視点情報を取り出す。この視点情報のことを、「本線 映像視点情報」と呼ぶこととする。視点情報抽出部 906で抽出された「本線映像視点 情報」とタイムスタンプは、任意視点映像系のブロックに随時入力される。

[0077] 任意視点映像系のブロックには、視点制御部 907が設けられて 、る。視点制御部 9 07は、視点情報抽出部 906から出力された、常に最新の本線映像視点情報とタイム スタンプを入力する。視点制御部 907は、ユーザが本線映像から任意視点映像への 切り替えを行うと、最新の本線映像視点情報とタイムスタンプを利用して、視点操作 情報 908を生成する。そして、視点制御部 907は、任意視点映像配信装置 508にこ の視点操作情報 908を送ることにより、本線映像 905の視点と同じ視点の映像を要 求する。

[0078] 任意視点映像配信装置 508は、要求のあった視点の映像を生成し、任意視点映 像 909として受信装置 103の任意視点映像系のブロックに配信する。任意視点映像 系のブロックの任意視点映像受信部 910は、任意視点映像 909を受信入力し、任意 視点映像デコーダ 911に出力する。

[0079] 任意視点映像デコーダ 911は、任意視点映像 909を復号し、任意視点映像 912と して出力する。

[0080] このように、放送信号 901に本線映像と対応付けられて送られてくる本線映像視点 情報を視点情報抽出部 906で抽出し、常に最新の本線映像視点情報を視点制御部 907にセットしておく。これにより、本線映像から任意視点映像への切り替えの際、そ の時点の本線映像視点情報を利用して、本線映像と同じ視点の任意視点映像を要 求することができる。この結果、本線映像から任意視点映像への切り替え時、視点が 変わらずに切り替えを行うことができる。

[0081] また、視点制御部 907は、ユーザからの視点操作 913に基づき、任意視点映像配 信装置 508に対して視点操作情報 908を送り、対応する任意視点映像 909を随時 受信し表示する。

[0082] 視点操作情報の一例を図 11に示す。図 11の例では、視点情報にあたる位置、視 野角、視線方向の各パラメータを絶対指定している。つまり、この視点操作情報で指 定したパラメータの任意視点映像が得られる。

[0083] なお、視点操作情報は、任意視点映像へ切り替えて初回の視点操作以外は、前回 指定した視点力も相対指定するようにしても良い。この場合、任意視点映像配信装置

508側で受信装置 103毎の視点を保持管理し、それと相対指定されたパラメータより

、指定された視点の任意視点映像を得ると 、う形態になる。

[0084] 次に、任意視点映像システム 100の処理シーケンスについて、図 12を用いて説明 する。図 12は、任意視点映像システム 100の任意視点映像取得のプロトコルシーケ ンスを示した図である。

[0085] まず、本線映像提供システム 101の放送用カメラ 501が本線映像用の撮影を行い 、本線映像データと共に視点情報パラメータを本線映像スィッチャ 502に送る。本線 映像スィッチャ 502は、中継番組のディレクターなど力ゝらの指示により、入力された複 数の本線映像データおよび視点情報パラメータ力 ディレクターなどが所望する本線 映像データおよび視点情報パラメータを選択し、符号化装置 503に送る。このよう〖こ 、本線映像提供システム 101は、本線映像データおよび視点情報パラメータを決定 する（ST1101)。

[0086] 次に、符号ィ匕装置 503は、本線映像スィッチャ 502から出力された本線映像データ を圧縮する。また、符号ィ匕装置 503は、視点情報パラメータを視点情報に変換し、圧 縮した本線映像データに重畳し、本線映像配信装置 504に送る（ST1102)。

[0087] 次に、本線映像配信装置 504は、デジタル放送を用いて、視点情報を重畳した本 線映像データを受信装置 103に送る（ST1103)。

[0088] このように、本線映像提供システム 101は、受信装置 103に、本線映像データだけ でなぐ本線映像に対する視点情報も送ることにより、受信装置 103は、本線映像に 相当する任意視点映像データの要求をすることができる。

[0089] 次に、受信装置 103は、本線映像の受信から、任意視点映像の受信に切り替える 処理をし (ST1104)、任意視点映像の受信処理に移行する。

[0090] 本実施の形態で、受信装置 103と任意視点映像提供システム 102とが使用するプ ロトコルは、 IETFより RFC2326として勧告されている RTSP (Real Time Stream ing Protocol)をベースとして、コマンドやパラメータを追カ卩して任意視点映像配信 用に拡張したものになっている。

[0091] まず、受信装置 103の視点制御部 907が、配信準備要求 (SETUP)を任意視点映 像提供システム 102の任意視点映像配信装置 508に送る（ST1105)。これに対して 、任意視点映像提供システム 102は、任意視点映像の配信準備を行い、準備が完 了したら準備が完了した旨を示す OKを受信装置 103の視点制御部 907に返す (ST 1106)。

[0092] 次に、視点制御部 907は、再生 (PLAY)のコマンドを任意視点映像配信装置 508 に投げる（ST1107)。なお、視点制御部 907は、この時、再生コマンドに、視点操作 情報を付加することができる。視点制御部 907は、特別なケース以外は、この時の視 点操作情報には上述したように、本線映像視点を指定する。

[0093] これに対して任意視点映像配信装置 508は、受信した再生コマンドに対して、コマ ンドの成功をあらわす OKを受信装置 103に返すとともに（ST1108)、要求された視 点（ここでは本線映像視点）の任意視点映像データを任意視点映像 DB507から抽 出し、受信装置 103に向けて配信する（ST1109)。 [0094] これに対して、受信装置 103は、任意視点映像受信部 910において、本線映像視 点の任意視点映像データを受信し、任意視点映像デコーダ 911でデコードし、再生 可能な任意視点映像として出力する（ST1110)。

[0095] このように、受信装置 103が、任意視点映像の要求をすると、任意視点映像配信装 置 508は、本線映像視点の任意視点映像を返信する。本線映像視点の任意視点映 像は、本線映像と同じ視点の映像であるので、視聴者は、本線映像から任意視点映 像に切り替わっても、大きく視点が変わることによる違和感を感じることが無い。

[0096] 次に、受信装置 103の視点制御部 907は、ユーザ力も視点操作を受け、視点移動

(MOVE)のコマンドに視点操作情報を入れて任意視点映像配信装置 508に送る（

STIII:0。

[0097] これに対して、任意視点映像配信装置 508は、受信装置 103に OKを返すとともに

(ST1112)、指定された視点の任意視点映像データを配信する（ST1113)。

[0098] これに対して、受信装置 103は、任意視点映像受信部 910において、視聴者が指 定した視点の任意視点映像データを受信し、任意視点映像デコーダ 911でデコード し、再生可能な任意視点映像として出力する（ST1114)。

[0099] もし、受信装置 103が指定した視点が有効な範囲を超えている場合は、任意視点 映像配信装置 508は、受信装置 103に NGを返し、現在の視点 (前回指定された視 点)の任意視点映像を配信し続ける。

[0100] なお、任意視点映像配信装置 508は、受信装置 103から新たな視点操作が行わ れるまで、現在の視点を維持するものとする。つまり、任意視点映像配信装置 508は 、受信装置 103からのコマンドが送られてこなければ、現在の視点の映像を時系列 的にストリーミング配信し続けるものとする。

[0101] また、受信装置 103から任意視点映像配信装置 508へ、ユーザにより視点操作が 行われ視点移動するために、視点移動（MOVE)コマンドが送られ、任意視点映像 配信装置 508は対応する任意視点映像データを受信装置 103に配信する。

[0102] 最後に、任意視点映像の視聴をやめるときや、本線映像に戻るときには、受信装置 103の視点制御部 907は、任意視点映像配信装置 508に対して、再生終了（TEAR DOWN)のコマンドを送り、任意視点映像データの配信が終了する（ST1115)。 [0103] このようにして、本線映像提供システム 101から受信装置 103に、本線映像の視点 情報を対応する本線映像データパケットのヘッダ部に記述し、本線映像と共に送る。 受信装置 103が本線映像と本線映像視点情報を受信し、その本線映像視点情報を 任意視点映像への切り替え時の初期値として用いる。これにより、受信装置 103は、 任意視点映像へ切り替えた際に、本線映像と全く同じ視点の任意視点映像カゝら再生 を開始することになる。この結果、本線映像視点情報を任意視点映像への切り替え において、視点の変化が無ぐ視聴者が違和感を感じることが無い。

[0104] なお、上述した構成は、主にデジタル放送を意図した構成である力 さらに同様な 構成を用いて、インターネットなどの通信路で本線映像を配信するような場合にも対 応することができる。上記の説明において、本線映像配信装置 504にて、「放送用の 符号化」を行うと記述したが、「放送用の符号化」を行う代わりに、インターネットなどで の映像配信に一般に用いられるプロトコルである RTP (RealTimeProtocol)で TS パケットをさらに符号ィ匕し、インターネット等の通信路で配信するといつた形態も考え られる。

[0105] RTPによる配信を行う場合には、符号化装置 503を図 13に示すような構成とするこ とも可能である。この構成は、映像圧縮部 702より出力されるエレメンタリーストリーム を、直接 RTPパケットに載せる場合の構成である。なお、既に説明した部分には同一 の符号を付与してある。

[0106] 図 13に示す構成では、 RTPパケットィ匕部 1205は、視点情報変換部 704より出力さ れた本線映像視点情報を図 14に示すように RTPパケットの拡張ヘッダ領域に記述し た RTPストリーム 1206を生成し、出力する。

[0107] このように、本線映像視点情報を拡張ヘッダ領域に記述することにより、実際に配 信する映像のフォーマットに依存しな 、で、例えば PES構造を持たな 、映像フォー マットなどでも、本線映像視点情報を映像と合わせて送ることが可能である。

[0108] なお、実施の形態 1で説明したような任意視点映像のように実写映像を用いる代わ りに、 3次元コンピュータグラフィックスにより試合を再現する形態であっても良い。こ の形態は、特にゲーム機と連携して、コンピュータグラフィックスで任意の視点映像を 提供するような場合等に適用できる。また、以上説明した任意視点映像システムの各 部の機能は、例えば、 CPU (central processing unit)、 CPUが実行する制御プログラ ムを格納した ROM (read only memory)などの記憶媒体、 RAM (random access mem ory)などの作業用メモリ、および通信回路などで実現できる。

[0109] (実施の形態 2)

次に、本発明の実施の形態 2について説明する。実施の形態 1は、本線映像視点 情報を本線映像パケットのヘッダ領域に記述していた力 実施の形態 2では、本線映 像視点情報を映像パケットとは別のパケットに載せて送るようにした。実施の形態 2の ような構成とすることにより、既存の装置の改変がほとんど不要となり、既存サービス の拡張としてより実現しやすくなることが期待される。

[0110] まず、実施の形態 2にかかる任意視点映像システムの構成について、図 15を用い て説明する。なお、既に説明した部分と同一の部分には、同一の符号を付与し、詳 細な説明を省略する。

[0111] 実施の形態 2にかかる任意視点映像システム 1400は、視点情報符号ィ匕装置 1404 と多重化装置 1405を持つ本線映像提供システム 1401が設けられている。

[0112] また、本線映像スィッチャ 502の出力先力 映像データと視点情報パラメータで別 れ、それぞれ映像符号ィ匕装置 1403と視点情報符号ィ匕装置 1404に入力される。そ して、映像符号化装置 1403と視点情報符号化装置 1404の出力が、多重化装置 14 05に入力される。

[0113] また、受信装置 1411の動作も実施の形態 1の受信装置 103と一部異なる。受信装 置 1411の詳細については、後述する。

[0114] 次に、映像符号ィ匕装置 1403と視点情報符号ィ匕装置 1404の内部構成について、 図 16を用いて説明する。

[0115] 映像符号ィ匕装置 1403は、映像信号 701を入力し、映像のトランスポートストリーム 1

505を出力する。

[0116] また、視点情報符号ィ匕装置 1404は、視点情報パラメータ 703を入力し、本線映像 視点情報の記述されたデータパケットをトランスポートストリーム化した本線映像視点 情報トランスポートストリーム 1510を出力する。 [0117] 映像符号ィ匕装置 1403には、映像圧縮部 1502が設けられている。映像圧縮部 15 02は、映像信号 701を入力し、映像圧縮処理、例えば MPEG2 Videoに基づく映 像圧縮符号化処理を行い、エレメンタリーストリームを生成する。映像圧縮部 1502は 、エレメンタリーストリームを PESパケット化部 1503に出力する。

[0118] 次に、 PESパケット化部 1503は、エレメンタリーストリームを PESパケット化し、 TS パケット化部 1504に出力する。そして、 TSパケットィ匕部 1504は、 PESパケットィ匕さ れたエレメンタリーストリームを TSパケット化し、映像のトランスポートストリーム 1505と して出力する。

[0119] ここで特記すべき事項として、 PESパケットィ匕部 1503より視点情報符号ィ匕装置 14 04の MPEG2セクションィ匕部 1508に対して、 PESパケットに含まれるタイムスタンプ 情報が渡されていることが挙げられる。詳しくは、 MPEG2セクション化部 1508の説 明で述べる。

[0120] 一方、視点情報符号ィ匕装置 1404は、本線映像スィッチャ 502より、視点情報パラメ ータ 703を入力し、視点情報変換部 704で、それを本線映像視点情報に変換する。 この処理は、実施の形態 1で述べたものと同一である。そして、視点情報変換部 704 は、変換した本線映像視点情報を、 MPEG2セクションィ匕部 1508に渡す。

[0121] 次に、 MPEG2セクション化部 1508は、本線映像視点情報を MPEG2 Systems

(ISOZIEC13818— 1)で規定される MPEG2 Private sectionの形に符号化す る。

[0122] 図 17は、 MPEG2セクションィ匕部 1508が符号ィ匕した本線映像視点情報の例を示 す図である。 MPEG2セクションィ匕部 1508は、視点情報変換部 704から与えられる 本線映像視点情報と、映像符号ィ匕装置 1403の PESパケットィ匕部 1503から与えられ るタイムスタンプ情報を合わせて、図 17に示すように MPEG2 Private Section構 造の private— data— byte領域 1601に記述する。ここで、タイムスタンプ情報は、本 線映像の 32ビットで記述される PTS (PresentationTimeStamp)を用いる。

[0123] このようにして、 MPEG2セクション化部 1508は本線映像視点情報を符号ィ匕し、 T Sパケットィ匕部 1509に出力する。そして、 TSパケットィ匕部 1509は、符号化された本 線映像視点情報を TSパケットィ匕し、本線映像視点情報トランスポートストリーム 1510 として出力する。

[0124] そして、このようにして生成された映像トランスポートストリーム 1505と本線映像視点 情報トランスポートストリーム 1510は、多重化装置 1405に入力される。多重化装置 1 405は、入力された複数のトランスポートストリーム 1505、 1510を 1本のトランスポー トストリームにする（多重化する)機能を持つ装置である。このように、多重化装置 140 5は、映像トランスポートストリームと本線映像視点情報トランスポートストリームを 1本 のトランスポートストリームに多重化し、本線映像配信装置 1406に出力する。

[0125] 本線映像配信装置 1406は、放送用の符号ィ匕などを行い、受信装置 1411に向け 放送を行う。

[0126] 次に、受信装置 1411の構成について、図 18を用いて説明する。図 18は、受信装 置 1411の内部構成を示したものである。

[0127] 受信装置 1411と実施の形態 1における受信装置 103の構成との相違点は、実施 の形態 1では、視点情報抽出部 906が映像デコーダ 904と接続されているのに対し、 実施の形態 2では、 TSデコーダ 1703に接続されている点である。

[0128] 本線映像配信装置 1406より放送された放送信号 1701は、放送受信部 1702に入 力される。放送受信部 1702は、放送信号 1701を復号化し、トランスポートストリーム を取り出す。そして、放送受信部 1702は、このトランスポートストリームを、 TSデコー ダ 1703に入力する。このトランスポートストリームは、上述したとおり、映像トランスポ 一トストリームと本線映像視点情報トランスポートストリームが 1本に多重化されたもの である。

[0129] 次に、 TSデコーダ 1703は、これら 2種類のトランスポートストリームを分離し、映像 は映像デコーダ 1704に出力し、本線映像視点情報は視点情報抽出部 906に出力 するように動作する。受信装置 1411の以降の処理は、実施の形態 1の受信装置 10 3で説明したものと同様であるので、詳細な説明を省略する。

[0130] このように、実施の形態 2によれば、既存の本線映像提供システムに対する改変を 最低限に押さえることができる。また、受信装置 1411においても、実施の形態 1の構 成と比較して、ソフトウェア的な処理で実現することが容易になることが期待される。 つまり、既存の映像配信サービスに対して、より少ない変更で目的を達成することが 可會 になる。

[0131] なお、図 19に示すように、データ放送を用いて視点情報を送るようにしても良い。

図 19に示す視点情報符号ィ匕装置 1800は、視点情報リスト生成部 1808において、 P ESパケットィ匕部 1503が出力した映像信号のタイムスタンプと、視点情報変換部 704 が出力した視点情報とを対応付けた視点情報リストを生成する。次に、視点情報リス ト生成部 1808は、生成した視点情報リストをデータ放送カルーセル生成部 1809に 送る。データ放送カルーセル生成部 1809は、視点情報リストをデータ放送のカルー セル形式で符号化し、 TSパケットィ匕部 1810に送る。そして、 TSパケットィ匕部 1810 力 Sカルーセル形式で符号ィ匕された視点情報リストを TSストリーム 1811にし、出力す る。

[0132] このような構成により、データ放送を用いて視点情報を送ることができる。

[0133] (実施の形態 3)

実施の形態 3は、本線映像が DVDなどのノ ッケージメディアで別途提供されること を想定したものである。図 20は、実施の形態 3にかかる任意視点映像システムの概 要を説明する図である。

[0134] 実施の形態 3は、実施の形態 1および実施の形態 2において、放送波またはインタ 一ネットなどの通信路でオンライン提供されていた本線映像および本線映像視点情 報を、 DVD1901などのパッケージ媒体に格納して配布するようにしたものである。ま た、 DVD1901には、 URL等の任意視点映像提供システムへのアクセス方法 1903 が格納されている。

[0135] そして、視聴者は、 DVD1901を任意視点サービスに対応した受信再生装置 190 2で再生することにより、本線映像を視聴できる。さら〖こ、視聴者は、 DVD1901を再 生することにより、任意視点提供システムへのアクセス方法と本線視点情報を取得で きる。そして、視聴者は、任意視点提供システムへのアクセス方法 1903と本線視点 情報を用いて、実施の形態 1で説明したような、任意視点映像提供システムとの連携 サービスを利用することが可能になる。

[0136] なお、パッケージ媒体は、 DVDだけでなく、 Blu— Ray disc (登録商標）などの次 世代のパッケージ媒体やサーバ型放送における蓄積型コンテンツとして配布提供さ れる場合などにも同様に適用可能である。

[0137] 次に、実施の形態 3にかかる任意視点映像システムの構成について、図 21および 図 22を用いて説明する。図 21は、ノ ッケージ媒体の制作系システムのブロック図、 図 22は、パッケージ媒体の再生および任意視点映像サービスの受信装置、任意視 点映像提供システムを示す図である。なお、既に説明した部分と同一部分には、同 一の符号を付与し詳細な説明を省略する。

[0138] 制御系システム 2001の符号ィ匕装置 2003は、実施の形態 1の符号ィ匕装置 503から TSパケット化部 706を除き、 PESパケットの状態で本線映像信号と視点情報パラメ ータを重畳したものを出力するようにしたものである。

[0139] DVD制作装置 2004は、符号ィ匕装置 2003より、本線映像の映像と本線映像視点 情報が入った PESパケットストリームを入力し、 DVDのフォーマットへの変換を行う。 この際、 DVD制作装置 2004は、 DVDに書き込むデータとして、対応する任意視点 映像サービスへのアクセス方法を合わせて記述する。このアクセス方法は、例えば、 任意視点映像サービスを提供して 、るサーバの URL (UniformResourceLocator )などである。

[0140] そして、 DVD制作装置 2004は、このようにしてできたデータから、 DVDのディスク イメージを生成し、生成したディスクイメージをもとに、目的の DVD (ソフト） 1901を作 成する。

[0141] このようにして作成された DVDソフト 1901は、一般に流通 '販売され、そのソフトを 購入した視聴者の受信再生装置 1902にて再生される。

[0142] 受信再生装置 1902は、 DVDソフト 1901の再生機能とネットワーク経由で任意視 点映像配信装置 2105から提供される任意視点映像の受信再生機能を持つ装置で ある。受信再生装置 1902は、実施の形態 1の受信装置 103と異なり、入力が DVD1 901になっているため、本線映像を扱う部分が放送のものから DVD1901のものに 置き換わっている。

[0143] 受信再生装置 1902の構成について、図 23を用いて説明する。受信再生装置 190 2は、入力がディスク信号 2201であることと、実施の形態 1にかかる受信装置 103の 放送受信部 902と TSデコーダ 903が、それぞれアナログフロントエンド 2202と PSデ コーダ 2203になっている点である。

[0144] DVDのレーザピックアップにて読み取られたディスク信号 2201は、アナログフロン トエンド 2202〖こ入力される。アナログフロントエンド 2202は、入力したディスク信号 2 201に対し、アナログ復調、エラー訂正などの処理を行い、 MPEG2プログラムストリ ーム（PS： Program Stream)形式で出力する。そして、アナログフロントエンド 220 2は、このプログラムストリームを PSデコーダ 2203に出力する。

[0145] PSデコーダ 2203は、アナログフロントエンド 2202から出力されたプログラムストリ ームを入力し、 PESデータストリームに復号し、映像デコーダ 2204に出力する。

[0146] 映像デコーダ 2204は、 PESデータストリーム力ら本線映像 2205を出力するととも に、 PESデータストリームから映像のタイムスタンプと本線映像視点情報を取り出し、 視点情報抽出部 906に出力する。

[0147] 受信再生装置 1902のその他の処理は、実施の形態 1の受信装置 103と同様であ るので、詳細な説明を省略する。

[0148] 実施の形態 3によれば、 DVDソフトなどのパッケージ媒体に記録された映像 (本線 映像)と任意視点映像の連携サービスを提供することができる。

[0149] (実施の形態 4)

次に、実施の形態 4について説明する。実施の形態 1から実施の形態 3では、本線 映像視点情報を本線映像のストリームに多重して受信装置に提供する構成であった 。これに対し実施の形態 4では、放送映像の提供システム側で生成した本線映像視 点情報が、タイムスタンプと共に任意視点映像提供システム側に送られ、管理される 構成になっている。つまり、任意視点映像提供システム側で、本線映像のタイムスタ ンプより、その時点での本線映像の視点を得ることができる。

[0150] このような構成を採ることにより、既存の映像符号化装置や多重化装置などの放送 システムへの改修が必要無くなるため、放送局にとって導入しやすいというメリットが 考えられる。

[0151] 次に、実施の形態 4の任意視点映像システムについて、図 24を用いて説明する。

図 24は、実施の形態 4にカゝかる任意視点映像システムの全体構成を示すブロック図 である。 [0152] 実施の形態 4の任意視点映像システム 2300は、実施の形態 2と比較すると、実施 の形態 2を示す図 15の構成では、視点情報符号ィ匕装置 1404で生成された本線映 像視点情報が多重化装置 1405に入力されているのに対し、実施の形態 4を示す図 24では、視点情報符号化装置 2304で生成された本線映像視点情報が、その本線 映像視点情報に対応する本線映像のタイムスタンプと共に任意視点映像提供システ ム 2302側にある本線映像視点情報 DB2310に入力されている点が大きく異なって いる。

[0153] まず、放送映像提供システム 2301の視点情報符号ィ匕装置 2304は、本線映像視 点情報およびタイムスタンプを生成し、任意視点映像提供システム 2302の本線映像 視点情報 DB2310に登録する。ここで、視点情報符号ィ匕装置 2304と本線映像視点 情報 DB2310は、 TCP/IPネットワークなどの通信回線で接続されており、オンライ ンで本線映像視点情報が登録できるようになって 、る。

[0154] 図 25は、本線映像視点情報 DB2310内部での本線映像視点情報の管理構造の 一例を示した図である。

[0155] 本例では、本線映像を放送する番組を識別するための放送番組 ID2401と本線映 像視点情報をタイムスタンプに従って、時系列にリストイ匕した本線映像視点情報リスト 2402からなる。なお、放送番組 IDの設定方法に関しては、本線映像視点情報と一 緒に視点情報符号ィ匕装置 2304など力も設定されても良いし、別途オペレータなどの 手によって設定されるなどが考えられる。

[0156] 次に、受信装置 2311について説明する。図 26は、実施の形態 4にかかる受信装 置 2311の構成を示した図である。

[0157] 受信装置 2311は、放送受信部 902において、本線映像配信装置 2305から出力 された放送信号 2501を受信し、 TSデコーダ 903でデコードし、映像デコーダ 2504 によりデコードし本線映像 905として画面出力される。また、これに伴って、受信装置 2311の映像デコーダ 2504は、その時点の映像のタイムスタンプを抽出し、視点制 御部 2506に対して供給する。

[0158] そして、ユーザが本線映像から任意視点映像への切り替えの視点操作 913を行う と、視点制御部 2506は視点操作情報 2507を生成する。図 27は、生成された視点 操作情報 2507の一例である。実施の形態 1から実施の形態 3における視点操作情 報とは異なり、受信装置側に本線映像視点情報を持たないため、視点操作情報は現 在の視点力もの相対で指定することになる。

[0159] 本線映像と同じ視点の任意視点映像に切り替える際には、切り替え時点での本線 映像のタイムスタンプと位置 (相対)、視野角（相対)、視線方向（相対)のそれぞれに 0を指定した視点操作情報を用いる。

[0160] 視点制御部 2506は、この視点操作情報 2507を用いて、任意視点映像配信装置 2309に対して、任意視点映像の配信 (再生）開始を要求する。ここで、視点制御部 2 506は、配信 (再生）開始時における任意視点映像の視点の初期値を、指定された 時点の本線映像視点に設定するようにする。

[0161] これに対して、任意視点映像配信装置 2309は、視点操作情報 2507で指定された タイムスタンプに対応する本線映像の視点を、本線映像視点情報 DB2310に対して 問い合わせて取得する。任意視点映像配信装置 2309は、取得した本線映像の視 点に対応する任意視点映像を任意視点映像 DB2308より取得し、受信装置 2311に 対して配信するという流れになる。

[0162] 以上のように、実施の形態 4により、特に本線映像を放送するシステムにおいては、 既存の設備に対してあまり影響を与えず、新規に視点情報符号ィ匕装置 2304を追カロ する程度で実現できるため、導入しやす 、と 、うメリットが得られる。

[0163] 本発明の第 1の態様に力かる受信装置は、放送用の映像である本線映像信号と前 記本線映像信号に対する視点情報を含む放送ストリームを受信する受信部と、前記 放送ストリームより前記視点情報を抽出する視点情報抽出部と、前記視点情報を初 期値として、複数の映像から生成した任意の視点での映像である任意視点映像の配 信要求を行う視点制御部と、前記配信要求に基づ!ヽて任意視点映像の配信を受け る任意視点映像受信部と、を具備した構成を採る。

[0164] これにより、本線映像の視点情報と同一の任意視点映像の配信を受けることができ る。この結果、本線映像から任意視点映像へ切り替えた際に、本線映像に同様の任 意視点映像を最初の任意視点映像として用いることができるので、本線映像と任意 視点映像との切り替え前後で視点をシームレスにつなぐことができる。 [0165] 本発明の第 2の態様は、第 1の態様に力かる受信装置において、前記視点制御部 は、方向を指示するための十字ボタンのいずれかの方向が押下された際に、その時 点の前記本線映像に対する前記視点情報の前記任意視点映像を要求する。

[0166] これにより、任意視点映像への切り替えと視点移動を同一のボタン操作でできるた め、操作者の操作工数を削減できる。

[0167] 本発明の第 3の態様にカゝかる本線映像配信装置は、放送用の映像である本線映 像信号と受信装置にて任意視点映像サービスにアクセスする際の視点の初期値とし て利用するための前記本線映像信号に対する視点情報を時間的に関連付けて放送 ストリームに符号化する符号化部と、前記放送ストリームを配信する本線映像配信部 と、を具備した構成を採る。

[0168] これにより、本線映像とそれに対する視点情報を配信することができる。

[0169] 本発明の第 4の態様は、第 3の態様に力かる本線映像配信装置において、前記符 号化部は、前記視点情報を前記本線映像信号の PESヘッダに記述する。

[0170] これにより、放送を用いて本線映像とそれに対する視点情報を配信することができ る。

[0171] 本発明の第 5の態様は、第 3の態様に力かる本線映像配信装置において、前記符 号化部は、前記視点情報を前記本線映像信号の伝送路符号のヘッダ部に記述する

[0172] これによれば、実際に配信する映像のフォーマットに依存しないで、本線映像とそ れに対する視点情報を配信することができる。

[0173] 本発明の第 6の態様は、第 3の態様に力かる本線映像配信装置において、前記視 点情報を MPEG2セクションの private— data— byte部に記述して配信する。

[0174] これにより、視点情報を映像信号とは別に配信することができる。これにより、既存 のサービスの改変がほとんど不要となり、既存サービスの拡張としてより実現しやすく なる。

[0175] 本発明の第 7の態様は、第 3の態様に力かる本線映像配信装置において、前記視 点情報と前記本線映像信号のタイムスタンプより視点情報リストを生成する視点情報 データ生成部と、前記視点情報リストをデータ放送のカルーセル形式で符号化する データ放送カルーセル生成部と、を備え、前記カルーセル形式で符号化した前記視 点情報リストを配信する。

[0176] これにより、データ放送を用いて視点情報を配信することができる。

[0177] 本発明の第 8の態様に力かる任意視点映像システムは、第 1の態様の受信装置と、 第 3の態様の本線映像配信装置と、前記任意視点映像を生成し配信する任意視点 映像配信装置と、を具備し、前記本線映像配信装置は、前記受信装置に対して前記 放送ストリームを配信し、前記受信装置は、配信された前記放送ストリームを受信し、 前記任意視点映像配信装置に対して前記任意視点映像の配信要求を行う際に、前 記任意視点映像の前記視点の初期値として前記視点情報抽出部が抽出した前記視 点情報を利用し、前記任意視点映像配信装置は、前記受信装置から配信要求のあ つた前記視点の前記任意視点映像を生成し、前記受信装置に配信する。

[0178] これにより、受信装置は、本線映像の視点情報と同一の任意視点映像の配信を受 けることができる。この結果、本線映像力も任意視点映像へ切り替えた際に、本線映 像に同様の任意視点映像を最初の任意視点映像として用いることができるので、本 線映像と任意視点映像との切り替え前後で視点をシームレスにつなぐことができる。

[0179] 本発明の第 9の態様に力かる記録媒体は、映像信号を記録し、受信装置にて前記 映像信号に関連する任意視点映像サービスにアクセスする際の視点の初期値として 利用するために前記映像信号と関連付けて記録された映像信号に対する視点情報 とを含む。

[0180] これにより、記録媒体力 映像とそれに対する視点情報を取得できる。

[0181] 本発明の第 10の態様に力かる受信再生装置は、第 9の態様の記録媒体に記録さ れた映像とともに前記映像に対する視点情報を再生する受信再生装置であって、再 生されたデータより前記視点情報を抽出する視点情報抽出部と、前記視点情報を初 期値として、複数の映像から生成した任意の視点での映像である任意視点映像の配 信要求を行う視点制御部と、前記配信要求に基づ!ヽて任意視点映像の配信を受け る任意視点映像受信部と、を具備した構成を採る。

[0182] これにより、受信再生装置は、記録媒体に記録された視点情報を用いて、任意視 点映像提供システムとの連携サービスを利用することが可能になる。 [0183] 本発明の第 11の態様に力かる任意視点映像配信装置は、放送用の映像である本 線映像信号のタイムスタンプと前記本線映像信号に対する視点情報を時間的に対 応付けて記録することにより生成した本線視点情報リストを蓄積する本線視点情報デ ータベースを備え、受信装置からの配信要求に対し、前記本線視点情報に記録され た本線映像の視点情報を原点とする任意視点映像を配信する構成を採る。

[0184] これにより、本線映像とそれに対する視点情報をタイムスタンプにより対応付けて配 信することができる。

[0185] 本発明の第 12の態様に力かる受信装置は、放送用の映像である本線映像信号の 受信部と、前記本線映像信号を再生するとともに、映像のタイムスタンプを抽出する 映像デコーダと、第 11の態様の任意視点映像配信装置に対して、配信要求時点で 前記抽出されたタイムスタンプを用いて配信要求を行う視点制御部と、前記配信要 求に基づ 、て任意視点映像の配信を受ける任意視点映像受信部と、を具備した。

[0186] これにより、受信装置は、タイムスタンプを用いた配信要求により任意視点映像配 信装置力も本線映像の視点情報と同一の任意視点映像の配信を受けることができる 。この結果、本線映像カゝら任意視点映像へ切り替えた際に、本線映像に同様の任意 視点映像を最初の任意視点映像として用いることができるので、本線映像と任意視 点映像との切り替え前後で視点をシームレスにつなぐことができる。

[0187] 2005年 11月 28日出願の特願 2005— 342677の日本出願に含まれる明細書、図 面および要約書の開示内容は、すべて本願に援用される。

産業上の利用可能性

[0188] 本発明の受信装置および本線映像配信装置は、放送番組の本線映像から任意視 点映像に切り替える際に、本線映像カゝら任意視点映像にシームレスに接続すること ができる受信装置および本線映像配信装置として有用である。具体的には、本発明 は、従来の放送やインターネットでのライブ配信などの映像配信 (本線映像）と連携し て、その同じ対象を任意視点映像としても配信するような配信装置および受信端末、 任意視点映像の配信装置などに適用できる。

Claims

請求の範囲

[1] 放送用の映像である本線映像信号と前記本線映像信号に対する視点情報を含む 放送ストリームを受信する受信部と、

前記放送ストリームより前記視点情報を抽出する視点情報抽出部と、

前記視点情報を初期値として、複数の映像力 生成した任意の視点での映像であ る任意視点映像の配信要求を行う視点制御部と、

前記配信要求に基づいて任意視点映像の配信を受ける任意視点映像受信部と、 を具備する受信装置。

[2] 前記視点制御部は、

方向を指示するための十字ボタンのいずれかの方向が押下された際に、その時点 の前記本線映像に対する前記視点情報の前記任意視点映像を要求する、

請求項 1記載の受信装置。

[3] 放送用の映像である本線映像信号と受信装置にて任意視点映像サービスにァクセ スする際の視点の初期値として利用するための前記本線映像信号に対する視点情 報を時間的に関連づけて放送ストリームに符号ィ匕する符号ィ匕部と、

前記放送ストリームを配信する本線映像配信部と、

を具備する本線映像配信装置。

[4] 前記符号化部は、

前記視点情報を前記本線映像信号の PESヘッダに記述する、

請求項 3記載の本線映像配信装置。

[5] 前記符号化部は、

前記視点情報を前記本線映像信号の伝送路符号のヘッダ部に記述する、 請求項 3記載の本線映像配信装置。

[6] 前記視点情報を MPEG2セクションの private— data— byte部に記述して配信す る、

請求項 3記載の本線映像配信装置。

[7] 前記視点情報と前記本線映像信号のタイムスタンプより視点情報リストを生成する 視点情報データ生成部と、 前記視点情報リストをデータ放送のカルーセル形式で符号化するデータ放送カル 一セル生成部と、を備え、

前記カルーセル形式で符号ィヒした前記視点情報リストを配信する、

請求項 3記載の本線映像配信装置。

[8] 請求項 1記載の受信装置と、

請求項 3記載の本線映像配信装置と、

前記任意視点映像を生成し配信する任意視点映像配信装置と、を具備し、 前記本線映像配信装置は、

前記受信装置に対して前記放送ストリームを配信し、

前記受信装置は、

配信された前記放送ストリームを受信し、前記任意視点映像配信装置に対して前 記任意視点映像の配信要求を行う際に、前記任意視点映像の前記視点の初期値と して前記視点情報抽出部が抽出した前記視点情報を利用し、

前記任意視点映像配信装置は、

前記受信装置から配信要求のあった前記視点の前記任意視点映像を生成し、前 記受信装置に配信する、

任意視点映像システム。

[9] 映像信号を記録し、受信装置にて前記映像信号に関連する任意視点映像サービ スにアクセスする際の視点の初期値として利用するために前記映像信号と関連付け て記録された映像信号に対する視点情報とを含むことを特徴とする記録媒体。

[10] 前記請求項 9記載の記録媒体に記録された映像とともに前記映像に対する視点情 報を再生する受信再生装置であって、

再生されたデータより前記視点情報を抽出する視点情報抽出部と、

前記視点情報を初期値として、複数の映像力 生成した任意の視点での映像であ る任意視点映像の配信要求を行う視点制御部と、

前記配信要求に基づいて任意視点映像の配信を受ける任意視点映像受信部と、 を具備する受信再生装置。

[11] 放送用の映像である本線映像信号のタイムスタンプと前記本線映像信号に対する 視点情報を時間的に対応付けて記録することにより生成した本線視点情報リストを蓄 積する本線視点情報データベースを備え、

受信装置からの配信要求に対し、前記本線視点情報に記録された本線映像の視 点情報を原点とする任意視点映像を配信する、

任意視点映像配信装置。

放送用の映像である本線映像信号の受信部と、

前記本線映像信号を再生するとともに、映像のタイムスタンプを抽出する映像デコ ーダと、

請求項 11記載の任意視点映像配信装置に対して、配信要求時点で前記抽出され たタイムスタンプを用いて配信要求を行う視点制御部と、

前記配信要求に基づいて任意視点映像の配信を受ける任意視点映像受信部と、 を具備する受信装置。