WO2004004350A1 - 画像データ配信システムならびにその画像データ送信装置および画像データ受信装置 - Google Patents

Abstract

サーバ（１）は、クライアント（１１）から送信される要求情報を要求解析部４で解析し、多視点画像データ（２）の中から必要な画像データを選択して画像生成部（３）へ出力し、要求された視点の画像データを補間生成して画像合成部（５）へ出力する。画像合成部（５）では複数の画像データを符号化に適した形に合成して、符号化部（６）が画像データを適切なビットレートで符号化してネットワーク（７）へ送信する。クライアント（１１）は、符号化された画像データを受信して、復号部（１２）で復号して画像処理部（１３）へ出力し、立体表示形式に合わせて適切な形に変換して、表示部（１４）に表示する。また、クライアント（１１）は、視点を変更するための入力部（１６）を備え、要求出力部（１５）を介して視点変更の要求情報をネットワーク（７）へ送信する。こうして、携帯端末等においても任意の視点から見た立体画像が観察できるようになる。

Description

画像データ配信システムならびにその画像データ送信装置および画像データ受信

技術分野

本発明は、 画像データを配信する画像データ配信システムならびにその画像 明

データ送信装置および画像データ受信装置に関する。 書

背景技術

従来から複数のカメラで撮影された多視点画像を用いて任意の視点から見た立 体画像を表示する装置が考えられている。 このような表示装置としては、 例えば 、 図 1 6に示すようなものがある。 これは、 左右の視点を設定するための入力装 置 9 5と、 入力装置 9 5に接続され左おの視点より見た 2枚の画像となる画像デ —夕を作成するためのコンピュータ 9 1と、 コンピュータ 9 1に接続され 2枚の 画像となる画像データを受信して、 それを内部回路で合成して立体表示する立体 表示ディスプレイ 9 8とを含む。

コンピュータ 9 1は多視点画像データを記憶するためのメモリ 9 2と、 2枚の 画像となる画像デ一夕の作成処理を実行するための C P U 9 3と、 立体表示ディ スプレイ 9 8および入力装置 9 5に接続され入力装置 9 5からの入力値および画 像データの入出力を制御するための入出力インタフェース 9 4と、 C P U 9 3、 メモリ 9 2および入出力インタフェース 9 4を相互に接続するためのバス 9 6と を含む。

入力装置 9 5によって、 メモリ 9 2に記憶されている多視点画像データのうち 所望の 1つを選択するとともに、 立体表示を行うための左右の視点を設定する。 この場合においては、 多視点画像デ一夕内に左視点から見た画像データが存在す るか否かを判断し、 存在する場合にはその画像データを入出力インタフェース 9 4を介して出力する。 存在しない場合には左視点の近傍の視点より撮影された所 定の複数枚数の画像となる画像データを用いて補間処理を行うことによって、 左 視点から見た画像データを作成し、 入出力インタフェース 9 4を介して出力する 。 右視点についても同様である。

しかしながら、 従来の技術では、 十分な容量を持つメモリと処理能力の高い C P Uが必要であるため、 携帯端末のように限られた容量のメモリ、 限られた処理 能力の C P Uしか持たない端末においては実現することが不可能であるという問 題点がある。

また、 特定の立体表示ディスプレイがコンピュータに直接接続されていること を想定しているため、 画像データの効率的な伝送については考えられておらず、 ネットワークを通じて様々な種類の立体表示ディスプレイが接続されている場合 に対処できないという問題点がある。

本発明は、 このような状況を鑑みてなされたもので、 携帯端末等においても任 意の視点から見た立体画像が観察できるような画像データ配信システムならびに その画像デ一夕送信装置および画像データ受信装置を提供することを課題とする

また、 立体画像データの効率的な伝送を実現し、 同一の原画像データを用いな がらもネットワークを介して接続された様々な種類の立体表示ディスプレイで任 意の視点から見た立体画像を観察できるようにすることを課題とする。

発明の開示

前述の課題を解決するため、 本発明に係る画像データ配信システムならびに画 像データ送信装置および画像データ受信装置は、 次のような手段を採用する。 即ち、 本発明の画像データ配信システムは、 ネットワークを介して送信される クライアントの要求情報を受信する要求情報受信手段と、 要求情報受信手段で受 信した要求情報を解析する要求情報解析手段と、 多視点画像データを供給する多 視点画像供給手段と、 要求情報解析手段で解析した要求情報の視点情報に基づい て必要とする画像デ一夕を多視点画像供給手段から入力して要求情報に合致した 所定視点の画像データを生成する画像生成手段と、 画像生成手段で生成した複数 の画像デ一夕を要求情報の表示部情報に基づいて合成する画像合成手段と、 画像 合成手段で合成した画像データを符号化する符号化手段と、 符号化手段で符号化 した画像データをネットワークへ送信する送信手段と、 ネットワークを介して符 号化された画像デ一夕を受信する受信手段と、 受信手段で受信した符号化された 画像データを復号する復号手段と、 復号手段で復号した画像データを表示手段に 表示可能に処理する画像処理手段と、 画像処理手段で処理された画像データを表 示する表示手段と、 クライアントの要求情報を入力する要求情報入力手段と、 要 求情報をネットワークへ送信する要求情報送信手段とを有することを特徴とする また、 本発明の画像データ送信装置は、 ネットワークを介して送信されるクラ イアントの要求情報を受信する要求情報受信手段と、 要求情報受信手段で受信し た要求情報を解析する要求情報解析手段と、 多視点画像データを供給する多視点 画像供給手段と、 要求情報解析手段で解析した要求情報の視点情報に基づいて必 要とする画像データを多視点画像供給手段から入力して要求情報に合致した所定 視点の画像データを生成する画像生成手段と、 画像生成手段で生成した複数の画 像データを要求情報の表示部情報に基づいて合成する画像合成手段と、 画像合成 手段で合成した画像データを符号化する符号化手段と、 符号化手段で符号化した 画像データをネットワークへ送信する送信手段とを有することを特徴とする。 また、 本発明の画像データ受信装置は、 ネットワークを介して符号ィ匕された画 像デー夕を受信する受信手段と、 受信手段で受信した符号化された画像データを 復号する復号手段と、 復号手段で復号した画像データを表示手段に表示可能に処 理する画像処理手段と、 画像処理手段で処理された画像データを表示する表示手 段と、 クライアントの要求情報を入力する要求情報入力手段と、 要求情報をネッ トワークへ送信する要求情報送信手段とを有することを特徴とする。

また、 本発明の画像データ配信システムおよび画像データ送信装置は、 多視点 画像データに各視点画像デー夕へのアクセスおよびランダムアクセスを可能にす るための管理情報を付加する管理情報付加手段を有することを特徴とする。 また、 本発明の画像データ配信システムおよび画像データ受信装置は、 受信し た画像データが二次元画像データか立体画像データかを判定する判定手段を有す ることを特徴とする。

また、 本発明の画像データ配信システム、 画像データ送信装置および画像デー 夕受信装置は、 送信するまたは受信した画像デ一夕に二次元画像デ一夕か立体画 像データかを識別するための情報を付加する識別情報付加手段を有することを特 徴とする。

以上のように、 本発明によれば、 上記構成を有することによって、 クライアン ト側において、 十分な容量を持つメモリと処理能力の高い C P Uとを必要としな いため、 携帯端末等においても任意の視点から見た立体画像が観察できるように なる効果がある。

また、 同一の原画像データを用いながらもネットワークを介して接続された様 々な種類の立体表示ディスプレイで任意の視点から見た立体画像を観察できるよ うになる効果がある。 図面の簡単な説明

図 1は、 本発明に係る画像デ一夕配信システムの実施の形態を示すブロック図 である。

図 2は、 多視点画像データを作成するための複数のカメラの配置を示す図であ る。

図 3は、 補間生成される画像データの左視点 Lおよび右視点 Rを示す図である 図 4は、 生成される画像データから表示部の解像度によつて切り出す領域を示 す図である。

図 5は、 クライアントとなる携帯型端末のイメージ図である。

図 6は、 多視点画像データの蓄積デ一夕形態の例を示す図である。

図 7は、 生成される画像デ一夕形態の例を示す図である。

図 8は、 多視点画像データの蓄積および抽出を示す図である。

図 9は、 サーバでの処理手順を示すフローチャートである。

図 1 0は、 クライアントでの処理手順を示すフローチャートである。

図 1 1は、 多視点動画像データを M P E G— 4で符号ィヒする一例を示す図であ る。

図 1 2は、 管理情報が付加された多視点画像データを示す図である。

図 1 3は、 管理情報の一例を示す図である。

図 1 4は、 本実施の形態で想定するサーバとクライアントの接続形態である。 図 1 5は、 画像生成部の処理の詳細を示すフローチャートである。

図 1 6は、 従来例を示す図である。

発明を実施するための最良の形態 （

以下、 本発明に係る画像データ配信システムの実施の形態を図面に基づいて説 明する。

図 1は、 本発明に係る画像データ配信システムの実施の形態を示すブロック図 である。

サーバ 1 (画像データ送信装置） とクライアント 1 1 (画像データ受信装置） がネットワーク 7を介して接続されている。 サーバ 1は多視点画像データ 2を記 憶 （記録） しており、 クライアント 1 1がサーバ 1に対し要求情報を送信するこ とによって、 所望の視点から見た画像を表示部 1 4に立体表示することができる なお、 多視点画像データは、 必ずしも予めサーバ 1内に記憶 （記録） されてい る必要はなく、 外部よりリアルタイムで入力されてもよい。

サーバ 1は、 クライアント 1 1から送信される要求情報を要求解析部 4 (要求 情報解析手段 （要求情報受信手段を含む） ） で解析し、 多視点画像データ 2 (多 視点画像供給手段） の中から必要な画像データを選択して画像生成部 3 (画像生 成手段） へ出力し、 画像生成部 3では要求された視点 （視点情報） の画像データ を補間生成して画像合成部 5 (画像合成手段） へ出力し、 画像合成部 5では入力 した複数の画像データを符号化に適した形 （表示部情報に基づく形） に合成して 符号化部 6 (符号化手段） へ出力し、 符号化部 6では入力された画像データを適 切なビットレートで符号化してネットワーク 7へ送信する （送信手段） 。

クライアント 1 1は、 符号化された画像データを受信して （受信手段） 、 復号 部 1 2 (復号手段） で復号して、 復号した画像データを画像処理部 1 3 (画像処 理手段） へ出力して、 画像デ一夕を立体表示形式に合わせて適切な形に変換して 、 表示部 1 4 (表示手段） に表示する。 また、 クライアント 1 1は、 視点を変更 するための入力部 1 6 (要求情報入力手段） を備え、 要求出力部 1 5 (要求情報 送信手段） を介して視点変更の要求情報をネットワーク 7へ送信する。

以下、 サーバ 1およびクライアント 1 1の詳細について述べる。

多視点画像データ 2は、 複数のカメラを用いて撮影された画像データの組であ る。 複数のカメラは、 例えば、 図 2 ( a ) に示すように複数のカメラの光軸が 1 点に集まるように配置されるのが一般的である。 特殊な例として、 図 2 ( b ) の ように力メラの光軸がそれぞれ円の中心を向くように円周上に配置することもあ る。 どちらの場合であってもカメラは等間隔に配置されている必要はなく、 分布 に疎密があってもよい。 カメラがどのように配置されているかを示す情報を画像 データとともに記録しておく。 この配置情報は、 画像生成部 3がクライアント 1 1からの要求情報に基づいて所定の視点の画像データを補間生成する際、 どの力 メラからの画像データに基づいて作成すればよいかを判断する際に利用される。 次に、 要求された視点の画像を補間生成する際、 必要となるカメラ画像データ について説明する。 図 3 ( a ) に示す例では、 カメラ C 1〜C 4に対して左視点 Lと右視点 Rが図示するように設定されており、 この場合は、 左視点 Lの画像デ —夕を生成するには C 1と C 2の画像データを用い、 右視点 Rの画像を生成する には C 2と C 3の画像データを用いることになる。 また同様に、 図 3 ( b ) に示 す例では、 カメラ C 1〜C 4の配置と要求される左視点 L、 右視点 Rとの関係は 図示するようになっており、 この場合は、 左視点 Lの画像データも右視点 Rの画 像データも C 1と C 2の画像デ一夕を用いて生成される。 なお、 図 3ではカメラ を 4台用いる例を示しているが、 カメラの数は 4に限定されるものではない。 補間による中間視点画像の生成は公知の技術であり、 例えば 「綱島他：ォクル —ジョンを考慮した 2眼ステレオ画像デー夕からの中間画像デ一夕の作成、 3D I mage Conference ' 95, pp. 174-177 (1995) Jや「吾妻他：中間像生成のためのエツ ジ情報を用いた視差推定、 3D Image Conference ' 95, pp. 190- 194 (1995)」等に詳 しく開示されている。

画像生成部 3において必要な視点の画像データが生成されたら、 画像合成部 5 は、 要求された解像度分だけの画像データの抽出処理をする。 図 4 ( a ) では生 成された画像データ 2 1の大きさがカメラで撮影された画像の大きさと等しいも のとし、 クライアント 1 1において表示の際に必要となる解像度を領域 2 2で示 している。 図 4 ( a ) では生成された画像データの一部分だけを切り出している 。 或いは図 4 ( b ) に示すように、 クライアント 1 1において表示の際に必要と なる解像度そのものではなく、 生成された画像データ 2 3 (カメラで撮影された 画像と同じ大きさとする） から表示ァスぺクトを保って切り出せる最大の領域 2 4を切り出した後、 必要な解像度に縮小するようにしてもよい。 なお、 画像生成 部 3で予め必要な解像度分だけしか画像データを生成しないようにすることも可 能である。 図 5は、 クライアント 1 1となる携帯型端末 5 0のイメージ図である。 立体デ イスプレイ 5 4を備え、 視点を上下左右に移動するための十字キー 5 1と、 視点 を前後に移動するためのキー 5 2、 5 3を備える。 図示していないが、 サーバと 通信するための通信手段も備えている。

多視点画像データ 2の蓄積形態の例を図 6に示す。 複数のカメラで撮影した動 画像データは時間的に同期している必要があることから、 図 6 ( a ) のように各 力メラで撮影された複数の画像データ C 1〜 C 4を横に並べてくっつけることに より 1枚の画像となる画像データとして蓄積する形態がある。 このようにすれば 、 1枚の画像となる画像データに含まれる C 1〜C 4は同じ時刻に撮影されたも のであることが保証され、 時間管理が楽になる。 くっつけ方は図 6 ( a ) のよう に横一列に限定されるものではなく、 例えば図 6 ( b ) のようにくっつけてもよ い。

一方、 図 6 ( c ) のように各カメラで撮影された画像デ一夕 C 1〜C 4をバラ バラに蓄積する形態も考えられる。 このように蓄積することによるメリツトは、 例えば、 図 3 ( b ) に示したように、 要求された視点の画像データを生成するの に必要なカメラ画像が C 1と C 2だけの場合、 それらを容易に取り出せるという ことである。

多視点画像データ 2は圧縮して蓄積してもよいし、 非圧縮の状態で蓄積しても よいが、 ここで図 6 ( c ) のような各カメラ画像データがバラバラになっている 画像データを圧縮して蓄積する場合について図 8を用いて説明する。 このような 場合、 図 8 ( a ) に示すように各カメラで撮影された画像データ C 1〜C 4は符 号化部 3 1へ入力される。 符号化部 3 1は各画像データを符号ィ匕するとともに、 管理情報を生成するために必要な情報 （フレームタイプや発生ピット数など） を 管理情報生成部 3 2へ出力する。 記録部 3 3では符号化された画像デ一夕ととも に管理情報を蓄積データとして記録する （管理情報付加手段） 。 管理情報の詳細 及び蓄積形態については後述する。 図 8 ( a ) のような方法を用いて記録された蓄積データを多視点画像データと する場合、 画像生成部 3で使用するためにはそれを復号する必要があるが、 図 8 ( b) に示すようにクライアントからの要求に応じて選択部 3 4が蓄積されたデ 一夕から必要な画像デ一夕のみを選択して復号部 3 5へ出力して復号することに より、 必要十分な原画像データ （画像生成部 3で使う画像データ） を得ることが できる。 この際、 必要な部分を素早く抽出するために、 画像デ一夕とともに記録 されている管理情報が利用される。

図 7は、 画像合成部 5が生成する画像デ一夕形態の例を示している。 図 7 ( b ) に示すように左視点用画像データ Lと右視点用画像データ Rを別々の画像デ一 タとして符号化することも可能であるが、 図 7 ( a ) に示すように両者を横 （或 いは上下） に並べて 1枚の画像となる画像データに合成して符号化する方が望ま しい。 図 7 ( a ) のように 1枚の画像となる画像データとすることにより、 左視 点用画像データ Lと右視点用画像データ Rの同期が保証されることから、 時間管 理が楽になる。 特に MP E G— 4のようにコマ落しが発生するような符号化方式 を用いる場合、 ある時刻では左視点用画像データ Lのフレームが存在するのに右 視点用画像データ Rのフレームが存在しないというケースの発生を防ぐことがで きる。 さらに、 1枚の画像となる画像データとしてレートコントロールの制御が されることから、 左視点用画像 Lと右視点用画像 Rの画質をほぼ同等に保つこと ができる。 別々の画像データとして符号化する場合には、 レートコントロールの 結果によっては、 ある時刻のフレームを取り出した際に、 左視点用画像 Lの画質 は良いけれども右視点用画像 Rの画質は悪いというケースが発生し、 このような 場合には立体表示品質が低下してしまう。 すなわち、 図 7 ( a ) のような形とす ることにより、 立体表示品質を向上させることが可能である。

クライアント 1 1の立体表示形式によっては最終的に表示部 1 4に表示する画 像データが図 7 ( c ) に示すように 1ラインごとに左視点用画像データ Lと右視 点用画像データ Rのストライプが交互に並ぶ形になるが （レンチキユラ方式ゃパ ララクスバリア方式など） 、 このような場合であっても符号化する画像データは 図 7 ( a) の形になっていることが望ましい。 なぜなら、 D C Tのようなブロッ クベースの符号化を行う場合、 図 7 ( c ) のような形の画像データは隣接画素の 相関が弱くなり、 空間周波数が高くなることから、 圧縮効率が悪くなるためであ る。 なお、 要求される視点数が 2より大きな場合も同様の考え方を適用できる。 図 7 ( a ) のように複数視点の画像データをくっつけて 1枚の画像となる画像 データとした場合、 形式的にはそれが通常の二次元画像データなのか立体画像デ —夕なのか区別がつかなくなる。 図 1に示したシステムを用いてリアルタイムの ストリーミングを行う場合は、 クライアントからの要求に応じてリアルタイムに 画像データが送信されることから問題は発生しないが、 このようにして送信され た画像データをクライアント 1 1が口一カルに記録しておいて、 後からそれを見 るというような場合、 それが二次元画像デ一夕なのか立体画像デ一夕なのか区別 がっかなくなる。 これを防ぐため、 図 7 ( a ) のような形の画像データを記録す る際には、 画像データが二次元画像データであるか立体画像データであるかを識 別するためのフラグを付加するとよい （識別情報付加手段） 。 この識別フラグの 付加はサ一バ 1で行ってもよいし、 クライアント 1 1で行ってもよい。 また、 ク ライアント 1 1には、 二次元画像データか立体画像データかを判定する判定手段 が設けられる。

なお、 画像データをクライアント 1 1が口一カルに記録する場合において、 記 録手段は、 復号する前 （復号部 1 2の前段） または画像処理の後 （画像処理部の 後段） に設けられる。

図 9は、 サーバ 1での処理手順を示すフローチヤ一トである。 まず、 クライア ントからの要求を解析する （ステップ S 1 ) 。 次いで、 多視点画像データから必 要な画像データを選択する （ステップ S 2 ) 。 そして、 それを用いて要求された 視点の画像を生成する （ステップ S 3 ) 。 次いで、 表示するのに必要な大きさだ けの画像データの切り出し （必要に応じて縮小） を行う （ステップ S 4) 。 そし て、 切り出された左視点用画像デ一夕と右視点用画像データを合成する （ステツ プ S 5) 。 次いで、 合成画像データを符号化する （ステップ S 6) 。 そして、 ビ ットストリームとして出力する （ステップ S 7) 。

図 10は、 クライアント 11での処理手順を示すフロ一チャートである。 まず 、 初期化を行い初期状態の視点位置 （視点情報） と視点に依存しない情報 （立体 表示形式や解像度など （表示部情報） ） を設定する （ステップ S 11) 。 次いで 、 それらの情報を要求としてサーバ 1へ送信する （ステップ S 12) 。 そして、 サーバからネットワークを介して要求を満たすビットストリーム （画像データ） が送信される （ステップ S 13) 。 次いで、 それを復号する （ステップ S 14) 。 そして、 復号した画像データは図 7 (a) に示すようにそのまま立体表示でき る形式にはなっていないので、 これを並べ替えることにより図 7 (c) に示すよ うに立体表示形式に合致した形式にする （ステップ S 15) 。 そして、 表示部 1 4に表示する （ステップ S 16) 。 次いで、 続けて表示を行うかどうかを判定す る （ステップ S 17) 。 そして、 表示を続ける場合には、 視点の変更要求がある かどうかを判定する （ステップ S 18) 。 次いで、 視点の変更がある場合にはサ —バ 1へ再度要求を出力することにより、 ステップ S 12へ戻る。 ステップ S 1 8で表示を続けない場合には、 ステップ S 13へ戻る。

図 14は、 本実施の形態で想定するサーバとクライアントの接続形態である。 端末 A〜端末 Cがクライアントであり、 ネッ卜ワーク 7を介してサーバ 41と接 続されている。 各端末によって立体表示形式や表示解像度が異なり、 また見よう とする視点の位置も異なることから、 サーバ 41は各端末からの要求に応じて異 なる画像データを各端末に対して送信する。 サーバ 41が記憶 （記録） している 多視点画像データの全てをネットワークに送信し、 各端末がそれを取捨選択して 表示するようにすれば、 伝送する画像データは 1種類で済むが、 多視点画像デー タは莫大な情報量を持つこと及びネットワークの帯域制限により実際にはそのよ うにすることは不可能である。 このことから、 本発明のようにクライアントから の要求に合わせてサーバが適切な画像データを送信するシステムは、 異なる種類 の端末がネットワークに接続されるような環境では必須である。

図 15は、 画像生成部 3の処理の詳細を示すフローチャートである。 まず、 ク ライアントから要求された視点の位置を解析する （ステップ S 21) 。 次いで、 蓄積している多視点画像データの中にその視点と一致する位置の画像があるかど うかを判定する （ステップ S 22) 。 そして、 ある場合にはその画像データをそ のまま使えばよいし、 ない場合には補間画像を生成する (ステップ S 23) 。 つ いで、 それを画像データとして出力する （ステップ S 24) 。

次に、 管理情報について説明する。

多視点動画像を M P EG-4で符号化する場合の一例を図 11に示す。 M P E

G— 4ではコマ落しを用いることが出来るため、 符号化されるフレームは、 LT f 0、 LT f 3、 LTf 5、 LT f 10のようにフレーム番号が飛び飛びになつ ている。 また、 この例では LT f 0をフレーム内符号化フレーム (Iフレーム） 、 LT f l Oを LT f 0の復号フレームから予測符号化するフレーム （Pフレー ム） 、 LT f 3、 LTf 5を LT f O、 LT f l 0の復号フレームから両方向予 測符号化するフレーム （Bフレーム） として符号ィ匕している。

図 8 (a) の管理情報生成部 32で付加される管理情報の一例を図 13に示す 。 各カメラ画像の符号化デ一夕は、 管理情報とともに図 12に示すように結合し て蓄積することが可能だが、 このとき、 各カメラ画像デ一夕へのアクセスを可能 とするための情報が管理情報である。 多視点動画像の場合は、 各カメラ画像デー 夕へのアクセスとともに、 各カメラ画像データ内の指定時刻の符号化データへの ランダムアクセスを可能とする情報も含まれる。

図 13 (a)は、 各カメラ画像の符号化データへのアクセスを行うための管理情 報の一例である。 例えばカメラ画像 C 2の符号化データは、 図 12のデータの先 頭から B 2バイト目に存在することを示している。 図 13 (a) にはさらに、 力 メラ画像デー夕内での指定時刻の符号化デー夕へのアクセスを行うための情報へ のポインタが記載されている。 C 2の符号化データの場合、 指定時刻の符号化デ —夕へのアクセステーブルは管理情報内のァドレス P 2にあることが示される。 図 1 3 ( b ) は、 指定時刻の符号化データへのアクセステーブルの一例である 。 時刻 t l、 t 2、 t 3、 · · ·は等間隔に設定されていても良いし、 任意の時 間間隔であっても良い。 例えば時刻 t 3に対応する符号ィ匕データは、 カメラ画像 の符号化デ一夕の先頭から B t 3バイト目に存在し、 その位置から I t 3バイト 遡った位置に Ϊフレームの符号ィヒデータがあることが示されている。 デコーダが 時刻 t 3から表示したい場合、 まず、 先頭から （B t 3— I t 3 ) バイトにある Iフレームの符号ィ匕データを復号する。 次いで、 順次 Pフレームや Bフレームを 復号しつつ復号したバイト数をカウントし、 I t 3バイトだけ復号した時点で表 示を開始すれば、 指定した時刻 t 3の画像デ一夕が表示される。

次に、 その他のアクセス方法について説明する。

(ィ） 符号^データがパケヅト化されており、 各パケットのヘッダ情報に Iフ レームの先頭を含むか否かを示す情報がある。 図 1 3 ( b ) には、 指定時刻とそ れに対応するバケツ卜までのバイト数が書かれている。 デコーダで指定時刻 t 3 のバケツトにアクセスした後、 バケツトが Iフレームの先頭を含むか否かをチェ ックし、 Iフレームを含んだパケットから復号 ·表示を開始する （それ以前のパ ケットは読み捨てる） 。

(口） （ィ）で、 パケットまでのバイト数を明示せず、 パケット番号のみを図 1 3 ( b) に書いておく。 一つの符号化データ内のパケットの長さを固定とし、 符 号化データのヘッダ情報にパケットのバイト数を書いておく。 デコーダは、 パケ ット番号とバケツトのバイト数から、 指定時刻のバケツトまでのバイト数を計算 する （あとは (ィ）と同じ） 。

次に、 その他の蓄積形態について説明する。

(ハ） 図 1 2は管理情報と符号化情報が結合されて蓄積されているが、 管理情 報は別ファイルとして分離して蓄積してもかまわない。 (二） 管理情報中、 指定時刻へのアクセスのための情報は、 管理情報中ではな く、 各カメラ画像の符号ィ匕デ一夕のヘッダ情報に含まれていても良い。 その場合 、 図 1 3 ( a ) の 3列目 （カメラ画像内での指定時刻へのアクセスを行うための

,ι由

I冃報へのポインタ） は必要ない

(ホ） 管理情報、 各カメラ画像の符号ィヒデ一夕を全て別ファイルとしても良い

。 この時、 例えば図 1 3 ( a) の 2列目には先頭からのバイト数の代わりに、 各 カメラ画像の符号ィ匕デ一夕のファイル名が書かれる。 各カメラ画像へのアクセス はフアイル名に基づいて行われる。

産業上の利用可能性

本発明に係る画像データ配信システムならびにその画像データ送信装置および 画像データ受信装置は、 クライアント側において、 十分な容量を持つメモリと処 理能力の高い C P Uとを必要とせずに、 任意の視点から見た立体画像が観察でき る携帯端末などに適用できる。

Claims

請 求 の 範 囲

1 . ネットワークを介して送信されるクライアントの要求情報を受信する要求 情報受信手段と、 要求情報受信手段で受信した要求情報を解析する要求情報解析 手段と、 多視点画像データを供給する多視点画像供給手段と、 要求情報解析手段 で解析した要求情報の視点情報に基づいて必要とする画像デ一夕を多視点画像供 給手段から入力して要求情報に合致した所定視点の画像データを生成する画像生 成手段と、 画像生成手段で生成した複数の画像データを要求情報の表示部情報に 基づいて合成する画像合成手段と、 画像合成手段で合成した画像デ一夕を符号化 する符号化手段と、 符号化手段で符号化した画像データをネットワークへ送信す る送信手段と、 ネットヮ一クを介して符号ィ匕された画像データを受信する受信手 段と、 受信手段で受信した符号化された画像データを復号する復号手段と、 復号 手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、 画 像処理手段で処理された画像データを表示する表示手段と、 クライアントの要求 情報を入力する要求情報入力手段と、 要求情報をネットワークへ送信する要求情 報送信手段とを有することを特徴とする画像データ配信システム。

2 . ネットワークを介して送信されるクライアントの要求情報を受信する要求 情報受信手段と、 要求情報受信手段で受信した要求情報を解析する要求情報解析 手段と、 多視点画像データを供給する多視点画像供給手段と、 要求情報解析手段 で解析した要求情報の視点情報に基づいて必要とする画像データを多視点画像供 給手段から入力して要求情報に合致した所定視点の画像データを生成する画像生 成手段と、 画像生成手段で生成した複数の画像データを要求情報の表示部情報に 基づいて合成する画像合成手段と、 画像合成手段で合成した画像データを符号ィ匕 する符号化手段と、 符号化手段で符号化した画像データをネットワークへ送信す る送信手段とを有することを特徴とする画像データ送信装置。

3 . ネットワークを介して符号化された画像データを受信する受信手段と、 受 信手段で受信した符号化された画像データを復号する復号手段と、 復号手段で復 号した画像データを表示手段に表示可能に処理する画像処理手段と、 画像処理手 段で処理された画像データを表示する表示手段と、 クライアントの要求情報を入 力する要求情報入力手段と、 要求情報をネットワークへ送信する要求情報送信手 段とを有することを特徴とする画像データ受信装置。

4. 多視点画像データに各視点画像データへのアクセスおよびランダムァクセ スを可能にするための管理情報を付加する管理情報付加手段を有することを特徴 とする請求の範囲第 1項に記載の画像デ一夕配信システム。

5 . 多視点画像データに各視点画像データへのアクセスおよびランダムァクセ スを可能にするための管理情報を付加する管理情報付加手段を有することを特徴 とする請求の範囲第 2項に記載の画像データ送信装置。

6 . 受信した画像デ一夕が二次元画像データか立体画像データかを判定する判 定手段を有することを特徴とする請求の範囲第 1項または第 4項に記載の画像デ 一夕配信システム。

7 . 受信した画像デ一夕が二次元画像データか立体画像デ一夕かを判定する判 定手段を有することを特徴とする請求の範囲第 3項に記載の画像デ一夕受信装置

8 . 送信する画像デ一夕に二次元画像データか立体画像デ一タかを識別するた めの情報を付加する識別情報付加手段を有することを特徴とする請求の範囲第 1 項、 第 4項、 第 6項のいずれか 1項に記載の画像データ配信システム。

9 . 送信する画像デ一夕に二次元画像デ一夕か立体画像デー夕かを識別するた めの情報を付加する識別情報付加手段を有することを特徴とする請求の範囲第 2 項または第 5項に記載の画像デー夕送信装置。

1 0 . 受信した画像データに二次元画像データか立体画像データかを識別する ための情報を付加する識別情報付加手段を有することを特徴とする請求の範囲第 3項または第 7項に記載の画像デ一夕受信装置。