JP4346548B2

JP4346548B2 - 画像データ配信システムならびにその画像データ送信装置および画像データ受信装置

Info

Publication number: JP4346548B2
Application number: JP2004517332A
Authority: JP
Inventors: 敏男野村; 裕之堅田; 典男伊藤; 端内海; 秀一渡部
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-06-28
Filing date: 2003-06-30
Publication date: 2009-10-21
Anticipated expiration: 2023-06-30
Also published as: KR100742674B1; EP1519582A4; KR20050014893A; CN100342733C; EP1519582A1; CN1666525A; WO2004004350A1; AU2003244156A1; US7734085B2; JPWO2004004350A1; US20050248802A1

Description

本発明は、画像データを配信する画像データ配信システムならびにその画像データ送信装置および画像データ受信装置に関する。

従来から複数のカメラで撮影された多視点画像を用いて任意の視点から見た立体画像を表示する装置が考えられている。このような表示装置としては、例えば、図１６に示すようなものがある。これは、左右の視点を設定するための入力装置９５と、入力装置９５に接続され左右の視点より見た２枚の画像となる画像データを作成するためのコンピュータ９１と、コンピュータ９１に接続され２枚の画像となる画像データを受信して、それを内部回路で合成して立体表示する立体表示ディスプレイ９８とを含む。

コンピュータ９１は多視点画像データを記憶するためのメモリ９２と、２枚の画像となる画像データの作成処理を実行するためのＣＰＵ９３と、立体表示ディスプレイ９８および入力装置９５に接続され入力装置９５からの入力値および画像データの入出力を制御するための入出力インタフェース９４と、ＣＰＵ９３、メモリ９２および入出力インタフェース９４を相互に接続するためのバス９６とを含む。

入力装置９５によって、メモリ９２に記憶されている多視点画像データのうち所望の１つを選択するとともに、立体表示を行うための左右の視点を設定する。この場合においては、多視点画像データ内に左視点から見た画像データが存在するか否かを判断し、存在する場合にはその画像データを入出力インタフェース９４を介して出力する。存在しない場合には左視点の近傍の視点より撮影された所定の複数枚数の画像となる画像データを用いて補間処理を行うことによって、左視点から見た画像データを作成し、入出力インタフェース９４を介して出力する。右視点についても同様である。

しかしながら、従来の技術では、十分な容量を持つメモリと処理能力の高いＣＰＵが必要であるため、携帯端末のように限られた容量のメモリ、限られた処理能力のＣＰＵしか持たない端末においては実現することが不可能であるという問題点がある。

また、特定の立体表示ディスプレイがコンピュータに直接接続されていることを想定しているため、画像データの効率的な伝送については考えられておらず、ネットワークを通じて様々な種類の立体表示ディスプレイが接続されている場合に対処できないという問題点がある。

本発明は、このような状況を鑑みてなされたもので、携帯端末等においても任意の視点から見た立体画像が観察できるような画像データ配信システムならびにその画像データ送信装置および画像データ受信装置を提供することを課題とする。

また、立体画像データの効率的な伝送を実現し、同一の原画像データを用いながらもネットワークを介して接続された様々な種類の立体表示ディスプレイで任意の視点から見た立体画像を観察できるようにすることを課題とする。

前述の課題を解決するため、本発明に係る画像データ配信システムならびに画像データ送信装置および画像データ受信装置は、次のような手段を採用する。

即ち、本発明の画像データ配信システムは、ネットワークを介して送信されるクライアントの要求情報を受信する要求情報受信手段と、要求情報受信手段で受信した要求情報を解析する要求情報解析手段と、複数のカメラを用いて撮影され、符号化されて蓄積された多視点画像データから、要求情報解析手段で解析した要求情報の視点情報に基づいて必要となる画像データを選択し、復号して供給する多視点画像供給手段と、多視点画像供給手段から供給された画像データをもとに要求情報に合致した所定視点の画像データを生成する画像生成手段と、画像生成手段で生成した複数の画像データを要求情報の表示部情報に基づいて合成する画像合成手段と、画像合成手段で合成した画像データを符号化する符号化手段と、符号化手段により符号化された多視点画像データに対し各視点画像データへのアクセスを可能にするために、符号化データにおける視点画像データの先頭位置を示す管理情報を付加する管理情報付加手段と、符号化手段で符号化した画像データをネットワークヘ送信する送信手段と、ネットワークを介して符号化された画像データを受信する受信手段と、受信手段で受信した符号化された画像データを復号する復号手段と、復号手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、画像処理手段で処理された画像データを表示する表示手段と、クライアントの要求情報を入力する要求情報入力手段と、要求情報をネットワークヘ送信する要求情報送信手段と、を有することを特徴とすることを特徴とする。

また、本発明の画像データ送信装置は、ネットワークを介して送信されるクライアントの要求情報を受信する要求情報受信手段と、要求情報受信手段で受信した要求情報を解析する要求情報解析手段と、複数のカメラを用いて撮影され、符号化されて蓄積された多視点画像データから、要求情報解析手段で解析した要求情報の視点情報に基づいて必要となる画像データを選択し、復号して供給する多視点画像供給手段と、多視点画像供給手段から供給された画像データをもとに要求情報に合致した所定視点の画像データを生成する画像生成手段と、画像生成手段で生成した複数の画像データを要求情報の表示部情報に基づいて合成する画像合成手段と、画像合成手段で合成した画像データを符号化する符号化手段と、符号化手段により符号化された多視点画像データに対し各視点画像データへのアクセスを可能にするために、符号化データにおける視点画像データの先頭位置を示す管理情報を付加する管理情報付加手段と、符号化手段で符号化した画像データをネットワークヘ送信する送信手段と、を有することを特徴とする。

また、本発明の画像データ配信システムは、ネットワークを介して送信されるクライアントの要求情報を受信する要求情報受信手段と、要求情報受信手段で受信した要求情報を解析する要求情報解析手段と、多視点画像データを供給する多視点画像供給手段と、要求情報解析手段で解析した要求情報の視点情報に基づいて必要とする画像データを多視点画像供給手段から入力して要求情報に合致した所定視点の画像データを生成する画像生成手段と、画像生成手段で生成した複数の画像データを要求情報の表示部情報に基づいて合成する画像合成手段と、画像合成手段で合成した画像データを符号化する符号化手段と、
符号化手段で符号化した画像データをネットワークヘ送信する送信手段と、ネットワークを介して符号化された画像データを受信する受信手段と、受信手段で受信した符号化された画像データを復号する復号手段と、復号手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、画像処理手段で処理された画像データを表示する表示手段と、クライアントの要求情報を入力する要求情報入力手段と、要求情報をネットワークヘ送信する要求情報送信手段とを有し、受信した画像データが二次元画像データか立体画像データかを判定する判定手段を有することを特徴とする。

また、本発明の画像データ受信装置は、ネットワークを介して符号化された画像データを受信する受信手段と、受信手段で受信した符号化された画像データを復号する復号手段と、復号手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、画像処理手段で処理された画像データを表示する表示手段と、クライアントの要求情報を入力する要求情報入力手段と、要求情報をネットワークヘ送信する要求情報送信手段とを有し、受信した画像データが二次元画像データか立体画像データかを判定する判定手段を有することを特徴とする。

また、本発明の画像データ配信システムは、ネットワークを介して送信されるクライアントの要求情報を受信する要求情報受信手段と、要求情報受信手段で受信した要求情報を解析する要求情報解析手段と、多視点画像データを供給する多視点画像供給手段と、要求情報解析手段で解析した要求情報の視点情報に基づいて必要とする画像データを多視点画像供給手段から入力して要求情報に合致した所定視点の画像データを生成する画像生成手段と、画像生成手段で生成した複数の画像データを要求情報の表示部情報に基づいて合成する画像合成手段と、画像合成手段で合成した画像データを符号化する符号化手段と、符号化手段で符号化した画像データをネットワークヘ送信する送信手段と、ネットワークを介して符号化された画像データを受信する受信手段と、受信手段で受信した符号化された画像データを復号する復号手段と、復号手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、画像処理手段で処理された画像データを表示する表示手段と、クライアントの要求情報を入力する要求情報入力手段と、要求情報をネットワークヘ送信する要求情報送信手段とを有し、送信する画像データに二次元画像データか立体画像データかを識別するための情報を付加する識別情報付加手段を有することを特徴とする。

また、本発明の画像データ送信装置は、ネットワークを介して送信されるクライアントの要求情報を受信する要求情報受信手段と、要求情報受信手段で受信した要求情報を解析する要求情報解析手段と、多視点画像データを供給する多視点画像供給手段と、要求情報解析手段で解析した要求情報の視点情報に基づいて必要とする画像データを多視点画像供給手段から入力して要求情報に合致した所定視点の画像データを生成する画像生成手段と、画像生成手段で生成した複数の画像データを要求情報の表示部情報に基づいて合成する画像合成手段と、画像合成手段で合成した画像データを符号化する符号化手段と、符号化手段で符号化した画像データをネットワークヘ送信する送信手段とを有し、送信する画像データに二次元画像データか立体画像データかを識別するための情報を付加する識別情報付加手段を有することを特徴とする。

また、本発明の画像データ受信装置は、ネットワークを介して符号化された画像データを受信する受信手段と、受信手段で受信した符号化された画像データを復号する復号手段と、復号手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、画像処理手段で処理された画像データを表示する表示手段と、クライアントの要求情報を入力する要求情報入力手段と、要求情報をネットワークヘ送信する要求情報送信手段とを有し、受信した画像データに二次元画像データか立体画像データかを識別するための情報を付加する識別情報付加手段を有することを特徴とする。

以上のように、本発明によれば、上記構成を有することによって、クライアント側において、十分な容量を持つメモリと処理能力の高いＣＰＵとを必要としないため、携帯端末等においても任意の視点から見た立体画像が観察できるようになる効果がある。

また、同一の原画像データを用いながらもネットワークを介して接続された様々な種類の立体表示ディスプレイで任意の視点から見た立体画像を観察できるようになる効果がある。

以下、本発明に係る画像データ配信システムの実施の形態を図面に基づいて説明する。

図１は、本発明に係る画像データ配信システムの実施の形態を示すブロック図である。

サーバ１（画像データ送信装置）とクライアント１１（画像データ受信装置）がネットワーク７を介して接続されている。サーバ１は多視点画像データ２を記憶（記録）しており、クライアント１１がサーバ１に対し要求情報を送信することによって、所望の視点から見た画像を表示部１４に立体表示することができる。

なお、多視点画像データは、必ずしも予めサーバ１内に記憶（記録）されている必要はなく、外部よりリアルタイムで入力されてもよい。

サーバ１は、クライアント１１から送信される要求情報を要求解析部４（要求情報解析手段（要求情報受信手段を含む））で解析し、多視点画像データ２（多視点画像供給手段）の中から必要な画像データを選択して画像生成部３（画像生成手段）へ出力し、画像生成部３では要求された視点（視点情報）の画像データを補間生成して画像合成部５（画像合成手段）へ出力し、画像合成部５では入力した複数の画像データを符号化に適した形（表示部情報に基づく形）に合成して符号化部６（符号化手段）へ出力し、符号化部６では入力された画像データを適切なビットレートで符号化してネットワーク７へ送信する（送信手段）。

クライアント１１は、符号化された画像データを受信して（受信手段）、復号部１２（復号手段）で復号して、復号した画像データを画像処理部１３（画像処理手段）へ出力して、画像データを立体表示形式に合わせて適切な形に変換して、表示部１４（表示手段）に表示する。また、クライアント１１は、視点を変更するための入力部１６（要求情報入力手段）を備え、要求出力部１５（要求情報送信手段）を介して視点変更の要求情報をネットワーク７へ送信する。

以下、サーバ１およびクライアント１１の詳細について述べる。

多視点画像データ２は、複数のカメラを用いて撮影された画像データの組である。複数のカメラは、例えば、図２（ａ）に示すように複数のカメラの光軸が１点に集まるように配置されるのが一般的である。特殊な例として、図２（ｂ）のようにカメラの光軸がそれぞれ円の中心を向くように円周上に配置することもある。どちらの場合であってもカメラは等間隔に配置されている必要はなく、分布に疎密があってもよい。カメラがどのように配置されているかを示す情報を画像データとともに記録しておく。この配置情報は、画像生成部３がクライアント１１からの要求情報に基づいて所定の視点の画像データを補間生成する際、どのカメラからの画像データに基づいて作成すればよいかを判断する際に利用される。

次に、要求された視点の画像を補間生成する際、必要となるカメラ画像データについて説明する。図３（ａ）に示す例では、カメラＣ１〜Ｃ４に対して左視点Ｌと右視点Ｒが図示するように設定されており、この場合は、左視点Ｌの画像データを生成するにはＣ１とＣ２の画像データを用い、右視点Ｒの画像を生成するにはＣ２とＣ３の画像データを用いることになる。また同様に、図３（ｂ）に示す例では、カメラＣ１〜Ｃ４の配置と要求される左視点Ｌ、右視点Ｒとの関係は図示するようになっており、この場合は、左視点Ｌの画像データも右視点Ｒの画像データもＣ１とＣ２の画像データを用いて生成される。なお、図３ではカメラを４台用いる例を示しているが、カメラの数は４に限定されるものではない。

補間による中間視点画像の生成は公知の技術であり、例えば「綱島他：オクルージョンを考慮した２眼ステレオ画像データからの中間画像データの作成、3D Image Conference '95, pp.174-177(1995)」や「吾妻他：中間像生成のためのエッジ情報を用いた視差推定、3D Image Conference '95, pp.190-194(1995)」等に詳しく開示されている。

画像生成部３において必要な視点の画像データが生成されたら、画像合成部５は、要求された解像度分だけの画像データの抽出処理をする。図４（ａ）では生成された画像データ２１の大きさがカメラで撮影された画像の大きさと等しいものとし、クライアント１１において表示の際に必要となる解像度を領域２２で示している。図４（ａ）では生成された画像データの一部分だけを切り出している。或いは図４（ｂ）に示すように、クライアント１１において表示の際に必要となる解像度そのものではなく、生成された画像データ２３（カメラで撮影された画像と同じ大きさとする）から表示アスペクトを保って切り出せる最大の領域２４を切り出した後、必要な解像度に縮小するようにしてもよい。なお、画像生成部３で予め必要な解像度分だけしか画像データを生成しないようにすることも可能である。

図５は、クライアント１１となる携帯型端末５０のイメージ図である。立体ディスプレイ５４を備え、視点を上下左右に移動するための十字キー５１と、視点を前後に移動するためのキー５２、５３を備える。図示していないが、サーバと通信するための通信手段も備えている。

多視点画像データ２の蓄積形態の例を図６に示す。複数のカメラで撮影した動画像データは時間的に同期している必要があることから、図６（ａ）のように各カメラで撮影された複数の画像データＣ１〜Ｃ４を横に並べてくっつけることにより１枚の画像となる画像データとして蓄積する形態がある。このようにすれば、１枚の画像となる画像データに含まれるＣ１〜Ｃ４は同じ時刻に撮影されたものであることが保証され、時間管理が楽になる。くっつけ方は図６（ａ）のように横一列に限定されるものではなく、例えば図６（ｂ）のようにくっつけてもよい。

一方、図６（ｃ）のように各カメラで撮影された画像データＣ１〜Ｃ４をバラバラに蓄積する形態も考えられる。このように蓄積することによるメリットは、例えば、図３（ｂ）に示したように、要求された視点の画像データを生成するのに必要なカメラ画像がＣ１とＣ２だけの場合、それらを容易に取り出せるということである。

多視点画像データ２は圧縮して蓄積してもよいし、非圧縮の状態で蓄積してもよいが、ここで図６（ｃ）のような各カメラ画像データがバラバラになっている画像データを圧縮して蓄積する場合について図８を用いて説明する。このような場合、図８（ａ）に示すように各カメラで撮影された画像データＣ１〜Ｃ４は符号化部３１へ入力される。符号化部３１は各画像データを符号化するとともに、管理情報を生成するために必要な情報（フレームタイプや発生ビット数など）を管理情報生成部３２へ出力する。記録部３３では符号化された画像データとともに管理情報を蓄積データとして記録する（管理情報付加手段）。管理情報の詳細及び蓄積形態については後述する。

図８（ａ）のような方法を用いて記録された蓄積データを多視点画像データとする場合、画像生成部３で使用するためにはそれを復号する必要があるが、図８（ｂ）に示すようにクライアントからの要求に応じて選択部３４が蓄積されたデータから必要な画像データのみを選択して復号部３５へ出力して復号することにより、必要十分な原画像データ（画像生成部３で使う画像データ）を得ることができる。この際、必要な部分を素早く抽出するために、画像データとともに記録されている管理情報が利用される。

図７は、画像合成部５が生成する画像データ形態の例を示している。図７（ｂ）に示すように左視点用画像データＬと右視点用画像データＲを別々の画像データとして符号化することも可能であるが、図７（ａ）に示すように両者を横（或いは上下）に並べて１枚の画像となる画像データに合成して符号化する方が望ましい。図７（ａ）のように１枚の画像となる画像データとすることにより、左視点用画像データＬと右視点用画像データＲの同期が保証されることから、時間管理が楽になる。特にＭＰＥＧ−４のようにコマ落しが発生するような符号化方式を用いる場合、ある時刻では左視点用画像データＬのフレームが存在するのに右視点用画像データＲのフレームが存在しないというケースの発生を防ぐことができる。さらに、１枚の画像となる画像データとしてレートコントロールの制御がされることから、左視点用画像Ｌと右視点用画像Ｒの画質をほぼ同等に保つことができる。別々の画像データとして符号化する場合には、レートコントロールの結果によっては、ある時刻のフレームを取り出した際に、左視点用画像Ｌの画質は良いけれども右視点用画像Ｒの画質は悪いというケースが発生し、このような場合には立体表示品質が低下してしまう。すなわち、図７（ａ）のような形とすることにより、立体表示品質を向上させることが可能である。

クライアント１１の立体表示形式によっては最終的に表示部１４に表示する画像データが図７（ｃ）に示すように１ラインごとに左視点用画像データＬと右視点用画像データＲのストライプが交互に並ぶ形になるが（レンチキュラ方式やパララクスバリア方式など）、このような場合であっても符号化する画像データは図７（ａ）の形になっていることが望ましい。なぜなら、ＤＣＴのようなブロックベースの符号化を行う場合、図７（ｃ）のような形の画像データは隣接画素の相関が弱くなり、空間周波数が高くなることから、圧縮効率が悪くなるためである。なお、要求される視点数が２より大きな場合も同様の考え方を適用できる。

図７（ａ）のように複数視点の画像データをくっつけて１枚の画像となる画像データとした場合、形式的にはそれが通常の二次元画像データなのか立体画像データなのか区別がつかなくなる。図１に示したシステムを用いてリアルタイムのストリーミングを行う場合は、クライアントからの要求に応じてリアルタイムに画像データが送信されることから問題は発生しないが、このようにして送信された画像データをクライアント１１がローカルに記録しておいて、後からそれを見るというような場合、それが二次元画像データなのか立体画像データなのか区別がつかなくなる。これを防ぐため、図７（ａ）のような形の画像データを記録する際には、画像データが二次元画像データであるか立体画像データであるかを識別するためのフラグを付加するとよい（識別情報付加手段）。この識別フラグの付加はサーバ１で行ってもよいし、クライアント１１で行ってもよい。また、クライアント１１には、二次元画像データか立体画像データかを判定する判定手段が設けられる。

なお、画像データをクライアント１１がローカルに記録する場合において、記録手段は、復号する前（復号部１２の前段）または画像処理の後（画像処理部の後段）に設けられる。

図９は、サーバ１での処理手順を示すフローチャートである。まず、クライアントからの要求を解析する（ステップＳ１）。次いで、多視点画像データから必要な画像データを選択する（ステップＳ２）。そして、それを用いて要求された視点の画像を生成する（ステップＳ３）。次いで、表示するのに必要な大きさだけの画像データの切り出し（必要に応じて縮小）を行う（ステップＳ４）。そして、切り出された左視点用画像データと右視点用画像データを合成する（ステップＳ５）。次いで、合成画像データを符号化する（ステップＳ６）。そして、ビットストリームとして出力する（ステップＳ７）。

図１０は、クライアント１１での処理手順を示すフローチャートである。まず、初期化を行い初期状態の視点位置（視点情報）と視点に依存しない情報（立体表示形式や解像度など（表示部情報））を設定する（ステップＳ１１）。次いで、それらの情報を要求としてサーバ１へ送信する（ステップＳ１２）。そして、サーバからネットワークを介して要求を満たすビットストリーム（画像データ）が送信される（ステップＳ１３）。次いで、それを復号する（ステップＳ１４）。そして、復号した画像データは図７（ａ）に示すようにそのまま立体表示できる形式にはなっていないので、これを並べ替えることにより図７（ｃ）に示すように立体表示形式に合致した形式にする（ステップＳ１５）。そして、表示部１４に表示する（ステップＳ１６）。次いで、続けて表示を行うかどうかを判定する（ステップＳ１７）。そして、表示を続ける場合には、視点の変更要求があるかどうかを判定する（ステップＳ１８）。次いで、視点の変更がある場合にはサーバ１へ再度要求を出力することにより、ステップＳ１２へ戻る。ステップＳ１８で表示を続けない場合には、ステップＳ１３へ戻る。

図１４は、本実施の形態で想定するサーバとクライアントの接続形態である。端末Ａ〜端末Ｃがクライアントであり、ネットワーク７を介してサーバ４１と接続されている。各端末によって立体表示形式や表示解像度が異なり、また見ようとする視点の位置も異なることから、サーバ４１は各端末からの要求に応じて異なる画像データを各端末に対して送信する。サーバ４１が記憶（記録）している多視点画像データの全てをネットワークに送信し、各端末がそれを取捨選択して表示するようにすれば、伝送する画像データは１種類で済むが、多視点画像データは莫大な情報量を持つこと及びネットワークの帯域制限により実際にはそのようにすることは不可能である。このことから、本発明のようにクライアントからの要求に合わせてサーバが適切な画像データを送信するシステムは、異なる種類の端末がネットワークに接続されるような環境では必須である。

図１５は、画像生成部３の処理の詳細を示すフローチャートである。まず、クライアントから要求された視点の位置を解析する（ステップＳ２１）。次いで、蓄積している多視点画像データの中にその視点と一致する位置の画像があるかどうかを判定する（ステップＳ２２）。そして、ある場合にはその画像データをそのまま使えばよいし、ない場合には補間画像を生成する（ステップＳ２３）。ついで、それを画像データとして出力する（ステップＳ２４）。

次に、管理情報について説明する。

多視点動画像をＭＰＥＧ−４で符号化する場合の一例を図１１に示す。ＭＰＥＧ−４ではコマ落しを用いることが出来るため、符号化されるフレームは、ＬＴｆ０、ＬＴｆ３、ＬＴｆ５、ＬＴｆ１０のようにフレーム番号が飛び飛びになっている。また、この例ではＬＴｆ０をフレーム内符号化フレーム（Ｉフレーム）、ＬＴｆ１０をＬＴｆ０の復号フレームから予測符号化するフレーム（Ｐフレーム）、ＬＴｆ３、ＬＴｆ５をＬＴｆ０、ＬＴｆ１０の復号フレームから両方向予測符号化するフレーム（Ｂフレーム）として符号化している。

図８（ａ）の管理情報生成部３２で付加される管理情報の一例を図１３に示す。各カメラ画像の符号化データは、管理情報とともに図１２に示すように結合して蓄積することが可能だが、このとき、各カメラ画像データへのアクセスを可能とするための情報が管理情報である。多視点動画像の場合は、各カメラ画像データへのアクセスとともに、各カメラ画像データ内の指定時刻の符号化データへのランダムアクセスを可能とする情報も含まれる。

図１３(ａ)は、各カメラ画像の符号化データへのアクセスを行うための管理情報の一例である。例えばカメラ画像Ｃ２の符号化データは、図１２のデータの先頭からＢ２バイト目に存在することを示している。図１３（ａ）にはさらに、カメラ画像データ内での指定時刻の符号化データへのアクセスを行うための情報へのポインタが記載されている。Ｃ２の符号化データの場合、指定時刻の符号化データへのアクセステーブルは管理情報内のアドレスＰ２にあることが示される。

図１３（ｂ）は、指定時刻の符号化データへのアクセステーブルの一例である。時刻ｔ１、ｔ２、ｔ３、・・・は等間隔に設定されていても良いし、任意の時間間隔であっても良い。例えば時刻ｔ３に対応する符号化データは、カメラ画像の符号化データの先頭からＢｔ３バイト目に存在し、その位置からＩｔ３バイト遡った位置にＩフレームの符号化データがあることが示されている。デコーダが時刻ｔ３から表示したい場合、まず、先頭から（Ｂｔ３−Ｉｔ３）バイトにあるＩフレームの符号化データを復号する。次いで、順次ＰフレームやＢフレームを復号しつつ復号したバイト数をカウントし、Ｉｔ３バイトだけ復号した時点で表示を開始すれば、指定した時刻ｔ３の画像データが表示される。

次に、その他のアクセス方法について説明する。

（イ）符号化データがパケット化されており、各パケットのヘッダ情報にＩフレームの先頭を含むか否かを示す情報がある。図１３（ｂ）には、指定時刻とそれに対応するパケットまでのバイト数が書かれている。デコーダで指定時刻ｔ３のパケットにアクセスした後、パケットがＩフレームの先頭を含むか否かをチェックし、Ｉフレームを含んだパケットから復号・表示を開始する（それ以前のパケットは読み捨てる）。

（ロ）(イ)で、パケットまでのバイト数を明示せず、パケット番号のみを図１３（ｂ）に書いておく。一つの符号化データ内のパケットの長さを固定とし、符号化データのヘッダ情報にパケットのバイト数を書いておく。デコーダは、パケット番号とパケットのバイト数から、指定時刻のパケットまでのバイト数を計算する（あとは(イ)と同じ）。

次に、その他の蓄積形態について説明する。

（ハ）図１２は管理情報と符号化情報が結合されて蓄積されているが、管理情報は別ファイルとして分離して蓄積してもかまわない。

（ニ）管理情報中、指定時刻へのアクセスのための情報は、管理情報中ではなく、各カメラ画像の符号化データのヘッダ情報に含まれていても良い。その場合、図１３（ａ）の３列目（カメラ画像内での指定時刻へのアクセスを行うための情報へのポインタ）は必要ない。

（ホ）管理情報、各カメラ画像の符号化データを全て別ファイルとしても良い。この時、例えば図１３（ａ）の２列目には先頭からのバイト数の代わりに、各カメラ画像の符号化データのファイル名が書かれる。各カメラ画像へのアクセスはファイル名に基づいて行われる。

本発明に係る画像データ配信システムならびにその画像データ送信装置および画像データ受信装置は、クライアント側において、十分な容量を持つメモリと処理能力の高いＣＰＵとを必要とせずに、任意の視点から見た立体画像が観察できる携帯端末などに適用できる。

本発明に係る画像データ配信システムの実施の形態を示すブロック図である。多視点画像データを作成するための複数のカメラの配置を示す図である。補間生成される画像データの左視点Ｌおよび右視点Ｒを示す図である。生成される画像データから表示部の解像度によって切り出す領域を示す図である。クライアントとなる携帯型端末のイメージ図である。多視点画像データの蓄積データ形態の例を示す図である。生成される画像データ形態の例を示す図である。多視点画像データの蓄積および抽出を示す図である。サーバでの処理手順を示すフローチャートである。クライアントでの処理手順を示すフローチャートである。多視点動画像データをＭＰＥＧ−４で符号化する一例を示す図である。管理情報が付加された多視点画像データを示す図である。管理情報の一例を示す図である。本実施の形態で想定するサーバとクライアントの接続形態である。画像生成部の処理の詳細を示すフローチャートである。従来例を示す図である。

符号の説明

１サーバ
２多視点画像データ
３画像生成部
４要求解析部
５画像合成部
６符号化部
７ネットワーク
１１クライアント
１２復号部
１３画像処理部
１４表示部
１５要求出力部
１６入力部

Claims

ネットワークを介して送信されるクライアントの要求情報を受信する要求情報受信手段と、
要求情報受信手段で受信した要求情報を解析する要求情報解析手段と、
複数のカメラを用いて撮影され、符号化されて蓄積された多視点画像データから、要求情報解析手段で解析した要求情報の視点情報に基づいて必要となる画像データを選択し、復号して供給する多視点画像供給手段と、
多視点画像供給手段から供給された画像データをもとに要求情報に合致した所定視点の画像データを生成する画像生成手段と、
画像生成手段で生成した複数の画像データを要求情報の表示部情報に基づいて合成する画像合成手段と、
画像合成手段で合成した画像データを符号化する符号化手段と、
符号化手段により符号化された多視点画像データに対し各視点画像データへのアクセスを可能にするために、符号化データにおける視点画像データの先頭位置を示す管理情報を付加する管理情報付加手段と、
符号化手段で符号化した画像データをネットワークヘ送信する送信手段と、
ネットワークを介して符号化された画像データを受信する受信手段と、
受信手段で受信した符号化された画像データを復号する復号手段と、
復号手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、
画像処理手段で処理された画像データを表示する表示手段と、
クライアントの要求情報を入力する要求情報入力手段と、
要求情報をネットワークヘ送信する要求情報送信手段と、
を有することを特徴とすることを特徴とする画像データ配信システム。
ネットワークを介して送信されるクライアントの要求情報を受信する要求情報受信手段と、
要求情報受信手段で受信した要求情報を解析する要求情報解析手段と、
複数のカメラを用いて撮影され、符号化されて蓄積された多視点画像データから、要求情報解析手段で解析した要求情報の視点情報に基づいて必要となる画像データを選択し、復号して供給する多視点画像供給手段と、
多視点画像供給手段から供給された画像データをもとに要求情報に合致した所定視点の画像データを生成する画像生成手段と、
画像生成手段で生成した複数の画像データを要求情報の表示部情報に基づいて合成する画像合成手段と、
画像合成手段で合成した画像データを符号化する符号化手段と、
符号化手段により符号化された多視点画像データに対し各視点画像データへのアクセスを可能にするために、符号化データにおける視点画像データの先頭位置を示す管理情報を付加する管理情報付加手段と、
符号化手段で符号化した画像データをネットワークヘ送信する送信手段と、
を有することを特徴とする画像データ送信装置。
ネットワークを介して送信されるクライアントの要求情報を受信する要求情報受信手段と、
要求情報受信手段で受信した要求情報を解析する要求情報解析手段と、
多視点画像データを供給する多視点画像供給手段と、
要求情報解析手段で解析した要求情報の視点情報に基づいて必要とする画像データを多視点画像供給手段から入力して要求情報に合致した所定視点の画像データを生成する画像生成手段と、
画像生成手段で生成した複数の画像データを要求情報の表示部情報に基づいて合成する画像合成手段と、
画像合成手段で合成した画像データを符号化する符号化手段と、
符号化手段で符号化した画像データをネットワークヘ送信する送信手段と、
ネットワークを介して符号化された画像データを受信する受信手段と、
受信手段で受信した符号化された画像データを復号する復号手段と、
復号手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、
画像処理手段で処理された画像データを表示する表示手段と、
クライアントの要求情報を入力する要求情報入力手段と、
要求情報をネットワークヘ送信する要求情報送信手段とを有し、
受信した画像データが二次元画像データか立体画像データかを判定する判定手段を有することを特徴とする画像データ配信システム。
ネットワークを介して符号化された画像データを受信する受信手段と、
受信手段で受信した符号化された画像データを復号する復号手段と、
復号手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、
画像処理手段で処理された画像データを表示する表示手段と、
クライアントの要求情報を入力する要求情報入力手段と、
要求情報をネットワークヘ送信する要求情報送信手段とを有し、
受信した画像データが二次元画像データか立体画像データかを判定する判定手段を有することを特徴とする画像データ受信装置。
ネットワークを介して送信されるクライアントの要求情報を受信する要求情報受信手段と、
要求情報受信手段で受信した要求情報を解析する要求情報解析手段と、
多視点画像データを供給する多視点画像供給手段と、
要求情報解析手段で解析した要求情報の視点情報に基づいて必要とする画像データを多視点画像供給手段から入力して要求情報に合致した所定視点の画像データを生成する画像生成手段と、
画像生成手段で生成した複数の画像データを要求情報の表示部情報に基づいて合成する画像合成手段と、
画像合成手段で合成した画像データを符号化する符号化手段と、
符号化手段で符号化した画像データをネットワークヘ送信する送信手段と、
ネットワークを介して符号化された画像データを受信する受信手段と、
受信手段で受信した符号化された画像データを復号する復号手段と、
復号手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、
画像処理手段で処理された画像データを表示する表示手段と、
クライアントの要求情報を入力する要求情報入力手段と、
要求情報をネットワークヘ送信する要求情報送信手段とを有し、
送信する画像データに二次元画像データか立体画像データかを識別するための情報を付加する識別情報付加手段を有することを特徴とする画像データ配信システム。
ネットワークを介して送信されるクライアントの要求情報を受信する要求情報受信手段と、
要求情報受信手段で受信した要求情報を解析する要求情報解析手段と、
多視点画像データを供給する多視点画像供給手段と、
要求情報解析手段で解析した要求情報の視点情報に基づいて必要とする画像データを多視点画像供給手段から入力して要求情報に合致した所定視点の画像データを生成する画像生成手段と、
画像生成手段で生成した複数の画像データを要求情報の表示部情報に基づいて合成する画像合成手段と、
画像合成手段で合成した画像データを符号化する符号化手段と、
符号化手段で符号化した画像データをネットワークヘ送信する送信手段とを有し、
送信する画像データに二次元画像データか立体画像データかを識別するための情報を付加する識別情報付加手段を有することを特徴とする画像データ送信装置。
ネットワークを介して符号化された画像データを受信する受信手段と、
受信手段で受信した符号化された画像データを復号する復号手段と、
復号手段で復号した画像データを表示手段に表示可能に処理する画像処理手段と、
画像処理手段で処理された画像データを表示する表示手段と、
クライアントの要求情報を入力する要求情報入力手段と、
要求情報をネットワークヘ送信する要求情報送信手段とを有し、
受信した画像データに二次元画像データか立体画像データかを識別するための情報を付加する識別情報付加手段を有することを特徴とする画像データ受信装置。