WO2004093466A1

WO2004093466A1 - 立体視用映像提供方法及び立体映像表示装置

Info

Publication number: WO2004093466A1
Application number: PCT/JP2004/005427
Authority: WO
Inventors: Ken Mashitani; Haruhiko Murata; Toshio Nomura; Masahiro Shioi; Hidehiko Sekizawa; Seiji Satoh
Original assignee: Sanyo Electric Co., Ltd.; Sharp Kabushiki Kaisha; Sony Corporation
Priority date: 2003-04-18
Filing date: 2004-04-15
Publication date: 2004-10-28
Also published as: EP1617683A4; US20060209183A1; KR100816965B1; JP2004336701A; JP4324435B2; CN1778119A; EP1617683A1; KR20050114278A; CN1778119B

Abstract

送信側装置１では、立体視用映像として用いられる視点が異なる複数の２次元映像をデータとして送信する際に、各２次元映像のデータごとに付与された視点番号情報と一つ以上の２次元映像を選択する情報としての視点番号情報とを付属情報として当該２次元映像のデータと共に送信する。受信側装置２は、複数映像データ及び付属情報を受信し、例えば、複数映像データのなかの一つの映像にてサムネイル表示等を行わせるときに、前記選択する情報としての視点番号情報から映像データを選択する処理を行う。

Description

明細書立体視用映像提供方法及び立体映像表示装置技術分野

この発明は、立体視用映像提供方法及び立体映像表示装置に関する, 背景技術

立体視技術としては、従来よリパララックスバリアを用いる眼鏡無し立体視方法、偏光眼鏡や液晶シャツタ眼鏡などを用いる眼鏡有り立体視方法などが知られている。また、立体視させる映像についても、実写の映像だけでなく、コンピュータグラフィックスを用い、仮想空間上に配置したオブジェク卜を平面に投影して描画処理する 3 D描画による映像がある。更には、前記描画処理を二視点において行なうことで、右眼映像と左眼映像を作成することができる。また、二つの映像を 1 チャンネルの映像として放送し、受信機側で立体視が行なえる方法が提案されている（特開平 1 0— 1 7 4 0 6 4号公報参照）。二つ以上の映像からなる映像ファイルを作成すれば、このファイルを開いたときに、立体映像を生成することができる。、発明の開示

しかしながら、上記従来技術では、立体視用映像の作成者側（提供側）で意図する処理（立体表示に限らず、平面表示なども）を受信側装置において行わせることができない。

この発明は、上記の事情に鑑み、立体視用映像の作成者側（提供側）で意図する処理を受け手側の装置（立体映像表示装置）において行わせることができる立体視用映像提供方法及び立体映像表示装置を提供することを目的とする。

この発明の立体視用映像提供方法は、上記の課題を解決するために、立体視用映像として用いられる視点が異なる複数の 2次元映像をデータとして提供する際に、各 2次元映像のデータごとに付与された視点番号情報又は映像データにおける各 2次元映像領域ごとの視点番号情報を受信側で演算により取得するための情報と、一つ以上の 2次元映像を選択する情報としての視点番号情報と、を付属情報として当該 2次元映像のデータと共に提供することを特徴とする。

また、この発明の立体視用映像提供方法は、立体視用映像として用いられる視点が異なる複数の 2次元映像をデータとして提供する際に、各 2次元映像のデータごとに付与された視点番号情報又は映像データにおける各 2次元映像領域ごとの視点番号情報を受信側で演算により取得するための情報と、二つ以上の 2次元映像を選択する情報としての視点番号情報とそれらの優先順位を示す優先順位情報と、を付属情報として当該 2次元映像のデータと共に提供することを特徴とする。

また、この発明の立体視用映像提供方法は、立体視用映像として用いられる視点が異なる複数の 2次元映像をデータとして提供する際に、各 2次元映像のデータごとに付与された視点番号情報又は映像データにおける各 2次元映像領域ごとの視点番号情報を受信側で演算により取得するための情報と、二つ以上の 2次元映像を選択する情報としての視点番号情報を優先順に並べてなる情報と、を付属情報として当該 2次元映像のデータと共に提供することを特徴とする。

また、この発明の立体視用映像提供方法は、立体視用映像として用いられる視点が異なる複数の 2次元映像をデータとして提供する際に、各 2次元映像のデータごとに付与された視点番号情報又は映像データにおける各 2次元映像領域ごとの視点番号情報を受信側で演算によリ取得するための情報と、一つ以上の 2次元映像を選択する情報としての視点番号情報と、前記複数の 2次元映像が連続性を有する映像であるかどうかを示す情報と、を付属情報として当該 2次元映像のデータと共に提供することを特徴とする。

これらの立体視用映像提供方法において、前記選択するための情報によリ選択された 2次元映像のデータを本来の立体視用以外の補助的画像としてどのような態様で表示すべきかを示す表示態様情報を付属情報として当該 2次元映像のデータと共に提供するようにしてもよい。また、前記選択するための情報により選択された 2次元映像のデータをどのような目的で使用すべきかを示す使用目的情報を付属情報として当該 2次元映像のデータと共に提供するようにしてもよい。この場合、ビットの並びと使用目的の内容とを対応させると共に、各ビットの「0 J 「 1 」力各使用目的の有効/無効を意味するようにしてもよい。

また、これらの立体視用映像提供方法において、情報の記述形式としてどの記述形式が採用されているかを示す情報を付属情報として 2次元映像のデータと共に提供するようにしてもよい。情報の提供を、放送、通信、記録媒体への記録のいずれかによリ行なうようにしてもよい。また、この発明の立体映像表示装置は、視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において, 前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と 2次元映像を選択する情報としての視点番号情報とを取得する手段と、本来の立体視用の映像処理以外で一つ又は複数の 2次元映像データを選択することが必要とされる処理を実行する場合に、前記選択する情報としての視点番号情報によって指定される 2次元映像データを選択する手段と、を備えたことを特徴とする。また、この発明の立体映像表示装置は、視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において, 前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と二つ以上の 2次元映像を選択する情報としての視点番号情報とを取得する手段と、本来の立体視用の映像処理以外で所定数の 2次元映像データを選択することが必要とされる処理を実行する場合に、当該所定数の 2次元映像データを前記選択する情報としての視点番号情報の並び順に従って選択する手段と、を備えたことを特徴とする。

また、この発明の立体映像表示装置は、視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において, 前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と二つ以上の 2次元映像を選択する情報としての視点番号情報とそれらの優先順位を示す優先順位情報とを取得する手段と、本来の立体視用の映像処理以外で所定数の 2次元映像データを選択することが必要とされる処理を実行する場合に、当該所定数の 2次元映像データを前記選択する情報としての視点番号情報及び優先順位情報によって選択する手段とを備えたことを特徴とする。

また、この発明の立体映像表示装置は、視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において, 前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と 2次元映像を選択する情報としての視点番号情報と前記選択するための情報により選択された 2次元映像のデータを本来の立体視用以外の補助的画像としてどのような態様で表示すべきかを示す表示態様情報とを取得する手段と、本来の立体視用の映像処理以外で一つ又は複数の 2次元映像データを選択することが必要とされる処理を実行する場合に, 前記選択する情報としての視点番号情報によって指定される 2次元映像データを選択する手段と、前記選択した 2次元映像データと前記表示態様情報とに基づいて当該表示態様による映像表示を行う手段と、を備えたことを特徴とする。

これらの立体映像表示装置において、前記本来の立体視用の映像処理以外の処理は、視点が異なる複数の 2次元映像データの内容を示すために一つ又は複数の 2次元映像データを縮小処理して画面に表示する処理としてもよい。また、視点が異なる複数の 2次元映像データのなかからプリントァゥト用及び Z又は画像配信用に一つ又は複数の 2次元映像データを選択する処理としてもよい。

また、この発明の立体映像表示装置は、視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において, 前記 2次元映像データに付属する付属情報から各 2 元映像の視点番号情報と 2次元映像を選択する情報としての視点番号情報と前記選択するための情報により選択された 2次元映像のデータをどのような目的で使用すべきかを示す使用目的情報とを取得する手段と、前記使用目的に対応する処理を実行する場合に前記選択する情報としての視点番号情報によって指定される 2次元映像データを選択する手段と、を備えたことを特徴とする。

また、この発明の立体映像表示装置は、視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において, 前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と二つ以上の 2次元映像を選択する情報としての視点番号情報とを取得する手段と、本来の立体視用の映像処理で前記複数の 2次元映像デ一夕の数よリも少ない所定数の 2次元映像データを選択する場合に、当該所定数の 2次元映像データを前記選択する情報としての視点番号情報に基づいて選択する手段と、を備えたことを特徴とする。かかる構成において、前記選択された所定数の 2次元映像のなかで前記視点番号情報に一致する視点番号情報を持つ 2次元映像が中央側となるように立体視用の映像処理を行うようにしてもよい。また、前記付属情報から前記複数の 2次元映像が連続映像であるのかどうかを示す情報を取得する手段を備え、前記複数の 2次元映像が連続映像であることを示す情報を得たときには、前記所定数の選択された 2次元映像に前記複数の 2次元映像における第 1番目の 2次元映像と最終番目の 2次元映像とが存在することを許容するように構成されていてもよい。また、前記付属情報から前記複数の 2次元映像が連続映像であるのかどうかを示す情報を取得する手段を備え、前記複数の 2次元映像が連続映像でないことを示す情報を得たときには、前記所定数の選択された 2次元映像に前記複数の 2次元映像における第 1番目の 2次元映像と最終番目の 2次元映像とが存在する場合に、第 1番目の 2次元映像又は最終番目の 2次元映像が排除されるように選択映像のシフ卜を行って新たに一つ以上の 2次元映像を選択するようにしてもよい。

また、これらの構成において、付属情報から情報の記述形式としてどの記述形式が採用されているかを示す情報を取得する手段を備え、前記情報を取得できた場合には当該情報にて示される記述形式に基づいて付属情報の内容を判断するように構成されていてもよい。図面の簡単な説明

図 1 はこの発明の実施形態の立体視用映像提供方法及び立体映像表示装置を示した説明図である。図 2は複数映像用フォーマツト例を示した説明図である。図 3は複数映像用フォーマット例を示した説明図である。図 4は複数映像用フォーマット例を示した説明図である。図 5 Aと図 5 Bと図 5 Cは各々画像の並びの値と画像並びとの関係を示した説明図である , 発明を実施するための最良の形態

以下、この発明の立体視用映像提供方法及び立体映像表示装置を図 1 乃至図 5に基づいて説明していく。

図 1 に基づいて立体視用映像として用いられる視点が異なる複数の 2 次元映像をデータとして送信することについて説明していく。なお、この図においては、放送局ゃィンターネット上のサーバなどとして構成される送信側装置 1 と、放送受信装置ゃネッ卜接続環境を備えたパーソナルコンピュータや携帯電話などの受信側装置 2とからなるシステムを示している。

視点が異なる複数の 2次元映像データは、例えば互いに眼間距離離して設けた複数のカメラにて被写体を撮像することにより得ることができる。また、ポリゴン画像による 3次元映像に対して複数の視線方向を設定して各々平面投影することでも視点が異なる複数の 2次元映像データを得ることができる。図示しない編集装置を用い、各 2次元映像データに視点番号情報を与える。視点番号情報は、水平方向視点数を Μ (この実施形態では、 Μは 1 以上の正数とする）、垂直方向視点数を Ν (この実施形態では、 Νは 1 以上の正数とする）とすると、 (m， n ) として表すことができる（mは 0〜M— 1の範囲、 nは 0〜 N— 1 の範囲）。ただし、 M= 1 で且つ N= 1 は一つの 2次元映像データとなるので当該場合は無いことになる。ここで、 M= 8で N = 1 とされる水平 8眼視の場合、（0, 0) ( 1， 0) (2， 0) (3， 0) (4, 0) ( 5， 0) (6， 0) (7， 0 ) のごとく視点番号情報が与えられる。

2次元映像データは例えば J P EGデータとすることができる。各 J P E Gデータは、 J P EGヘッダと圧縮画像データとエンド ■ ォブ - ィメージとから成る。 J P E Gヘッダには、スタート ■ ォブ■ イメージや色管理情報などの付属情報が存在する。各 2次元映像データにおける前記視点番号情報は、例えば、各々の J P E Gヘッダに存在させることもできる。視点が異なる複数の 2次元映像データを一纏まリとするために、全体に対するヘッダ（以下、このヘッダをファイルヘッダという）を付加することとしてもよく、この場合、視点が異なる複数の 2次元映像デ —タは、ファイルヘッダとそれに続く複数の J P E Gデータとその全体の終りを示すファイルェンド情報とすることができる。全体に対するへッダを存在させない場合（結合画像の場合）には、視点番号等の情報が、 J P E Gのヘッダ内 (アプリケーションマ一力一 Z I F D ) に格納される。

ファイルヘッダには、下記に示すごとく、識別番号 i 、グループサイズ8、個数 k、水平視点番号 m、垂直視点番号 nなどが設定される。

【表 1 】

サイズ有効値単位

識別番号 i 1 バイ卜 0〜 2 5 5

グループサイズ s 1 バイト 2 バイト

個数 k 2バイト個

水平視点番号 m 1 バイト 0 M - 1

垂直視点番号 n 1バイ卜 0 N— 1 識別番号 i は情報の種類を表す記述であり、当該番号以降の記述が画像指定に係わる記述であることを示している。水平視点番号 m及び垂直視点番号 nはそれぞれ 1バイトで記述され、一個の画像を特定する情報 ( 1 グループ）として 2バイトが必要とされることから、この例では、グループサイズ sは 2バイトとなる。また、上記の例では、グループ数は一つであるから、個数 kは一個を表すことになる。このような記述によリ、個数 kが可変である場合などでもフィールド全体のサイズを算出することがでる。上記の例ではフィールド全体のサイズは 4 + s k = 6 と算出される。 4は ί、 s、 kのサイズ 1、 1、 2を合計したものであリ、 3 1 が（(^, n ) 群のサイズを示すものとなる。なお、個数 kが 0 のときは、例えば「指定画像なし」と定義される。

上記の例では、図 2に示しているように、ファイルヘッダ内の付属情報として、一つの 2次元映像を選択する情報としての視点番号情報が設定されたものとなる。図 2に示す例では、 M = 8で N = 1 とされる水平 8眼視の場合を示しており、各 2次元映像のデータには（0, 0) ( 1， 0 ) (2， 0 ) (3, 0 ) (4， 0 ) (5, 0 ) (6， 0 ) (7, 0 ) のごとく視点番号情報が付与されており、且つ、 2次元映像データを選択する情報としての視点番号情報は（3， 0) とされている。

このようにすることで、立体視用映像として用いられる視点が異なる複数の 2次元映像をデータとして送信する際に、各 2次元映像のデータごとに付与された視点番号情報と一つの 2次元映像を選択する情報としての視点番号情報とが付属情報として当該 2次元映像のデータと共に送信されることになる。一纏まりの視点が異なる複数の 2次元映像データは、それが送信等されるときには、 1次元ビット列とされ、所定のディジタル変調処理が施されて送信側装置 1 から出力される。なお、送信に限らず、放送でもよく、また、図示しない記録媒体に記録することにおいても、図 2に示したフォーマツ卜で複数の 2次元映像のデータを記録することもできる。以下に示す場合においても、同様である。

2次元映像を選択する情報としての視点番号情報を複数持たせる場合は、以下の通りである。更に、以下の例では、上から（mO， n O)、 (m 1 , n 1 ) ■ - ■ (m k- 1 , n k - 1 ) の順に優先順位が高い画像と定義する。フィールド全体のサイズは 4 + s k = 4 + 2 kである。

【表 2】

要素サイズ有効値単位

識別番号 i 1 バイト 0 〜 2 5 5

グループサイズ s 1 バイ卜 2 バイ卜個数 k 2バイ卜 0 〜 M X N 個

水平視点番号 mO 1バイ卜 0 〜！ I- 1

垂直視点番号 n 0 1 バイ卜 0 〜 N - 1

水平視点番号 m 1 1 パイ卜 0 〜M - 1

垂直視点番号 n 1 1 バイト 0 〜 N— 1

水平視点番号 mk— 1 1 バイト 0〜！ VI - 1

垂直視点番号 n k— 1 1 バイト 0〜N- 1 上記の例では、図 3に示しているように、ファイルヘッダ内の付属情報として、二つ以上の 2次元映像を選択する情報としての視点番号情報を優先順に並べてなる情報が設定されることになる。そして、図 3に示す例では、 2次元映像を選択する情報としての視点番号情報が（3, 0) 及び（4, 0) とされており、（3， 0)が先に記述され、その後に（4， 0) が記述されているので、優先順位は（3， 0) が第 1位で（4， 0) が第 2位である。このようにすることで、立体視用映像として用いられる視点が異なる複数の 2次元映像をデータとして提供する際に、各 2次元映像のデータごとに付与された視点番号情報と二つ以上の 2次元映像を選択する情報としての視点番号情報を優先順に並べてなる情報とが付属情報として当該 2次元映像のデータと共に提供されることになる。また、図 3に示す例では、付属情報として表示方法 Aを設定している。表示方法は、この実施形態では、本来の立体視用以外の表示（例えば、サムネイル表示やアイコン表示や壁紙映像表示などを示す。この表示を補助的画像表示という。）としている。表示方法 Aが取り得る値は、下記の表 3にも示しているように、この実施形態では 0， 1， 2， 3としている。また、情報の種類を示すものである識別番号 i には、「以下にはフアイルの中身を示す画像の表示方法が記述される」ことを示す番号が記述され、フィールドには表示方法が記述される。

【表 3】

要素サイズ有効値

識別番号 i 1 バイト 0〜 2 5 5

表示方法 A 1 バイ卜 0〜 3 値 a 意味

0 平面画像

1

2 平行法配置

3 ディスプレイフォーマツ卜に変換

「0」は表示方法が平面画像表示であることを示し、「 1 」は補助的画像表示が交差法配置表示（簡易な立体視法の一つである）であることを示し、「2」は補助的画像表示が平行法配置表示（簡易な立体視法の一つである）であることを示し、「3」は補助的画像表示がディスプレイフォ —マツ卜に変換した表示であることを示している。

「平面画像表示」では、一つの 2次元映像のデータを選択し（図 3に示す例では、第 1優先の（3， 0 ) の画像が選択される）、画像表示を行うことを受信側装置 2に示すことになる。

「平行法配置表示」では、（3， 0) の画像と（4， 0) の画像の縮小画像処理を行い、（3， 0) の画像を左側に配置し、（4， 0) の画像を右側に配置することを受信側装置 2に示すことになる。「交差法配置表示」では、（3， 0) の画像と（4， 0) の画像の縮小画像処理を行い、 (4， 0) の画像を左側に配置し、（3， 0) の画像を右側に配置することを受信側装置 2に示すことになる。

「ディスプレイフォーマットに変換した表示」では、例えば、受信側装置 2が縦ス卜ライプ状のパララックスバリアを採用している場合に、それぞれ縮小された (3, 0) 画像と（4, 0) 画像を水平方向に 1 画素ずつ交互に配置することを受信側装置 2に示すことになる。

なお、上述した優先順位設定では、視点番号情報の並び順が優先順を示すものとしたが、並びとは無関係に各視点番号情報に優先番号を付与するようにしてもよい。例えば、 2 (3， 0)、 1 (4， 0) のごとくでめ。

また、このような付属情報は、受信側装置 2において、受信した映像数が受信側装置 2のディスプレイ（受信側装置 2の構成等については後で説明する) の視点数と一致しない場合、例えば水平 8 (0〜フ） X垂直 1 (0) 視点の画像から 4視点の画像を選択して 4眼式立体ディスプレイで立体表示する際に、どの視点が基準となっているかを知る情報となる。

ファイルヘッダにおいて、水平視点番号 mが「3」であって垂直視点番号 nが「0」の画像、すなわち、視点番号（3， 0) の画像が指定されていれば、受信側装置 2では、水平視点番号が（2， 0) (3， 0 ) (4， 0) ( 5， 0) の画像を選択するとよい。ここで、指定された視点画像は 4つの視点の中央に近い位置に配置されることが好ましい。すなわち、受信側装置 2では、ディスプレイの視点数が Lである場合に、 L/2番目に指定画像が配置されるように選択するとよい。視点数が奇数の場合は、 LZ2の小数点以下の処理を切り捨て、切り上げなどに取り決めておけばよい。なお、切り捨てと切り上げのどちらを選択するかを示す情報をファイルヘッダに持たせてもよい。

また、上記のごとく、指定された視点画像が中央に近い位置に配置されることに限るものではなく、以下の指定方法も考えられる。

例 1. 全指定

2視点方式ディスプレイの場合であれば二つの視点番号（例えば（ 2， 0) と（5， 0)) を送り手側で指定しておく方式

3視点方式ディスプレイの場合であれば三つの視点番号（例えば（ 1， 0) と（3, 0) と（5， 0)) を送り手側で指定しておく方式

4視点方式ディスプレイの場合であれば四つの視点番号（例えば（ 0， 0) と（2, 0) と（4， 0) と（6， 0)) を送り手側で指定しておく方式

例 2. 条件指定 1 (必ず含める視点を条件別に指定）

ディスプレイの眼数が偶数の場合は、視点番号（2， 0) と（3， 0) を必ず含める視点として指定する方式 (それ以外は任意の視点を選択) ディスプレイの眼数が奇数の場合は、視点番号（3， 0) を必ず含める視点として指定する方式 (それ以外は任意の視点を選択)

例 3. 指定条件 2 (必ず含める視点と共に、次のような選択条件を指定）

①ディスプレイの視点数が或る数未満の場合は、 2つおきに画像を選択する。

②ディスプレイの視点数が或る数以上の場合は、 1つおきに画像を選択する。水平視点番号が「0」であって垂直視点番号 nが「0」の画像、すなわち、視点番号（0， 0) の画像が指定されていれば、（7， 0) (0， 0) ( 1 , 0) (2, 0) の画像を選択することが可能であるが、視点 7 と視点 0が連続しない可能性がある場合には、（ 1， 0) (2， 0) (3， 0) (4, 0)の画像を選択するとよい。つまり L/ 2の結果からは（一， 0) (0， 0) ( 1， 0) (2， 0) となり画像が存在しない視点が生じるので、左にシフトして（ 1， 0) (2, 0) (3, 0) (4, 0) の画像を選択する。一般に全周画像では最後の視点と最初の視点が連続する可能性がある。

飛び飛びの画像を表示する場合にも同様である。例えば、水平視点番号が「3」であって垂直視点番号 nが「0」の画像、すなわち、視点番号（3， 0 ) の画像が指定されていれば、（ 1， 0) (3， 0) (5, 0 ) ( 7， 0) の画像を選択する。しかしながら、画像の視点数が 7 (0〜 6 ) X 1 (0) で、ディスプレイが 4眼式の場合において視点番号（3, 0 ) の画像が指定されていれば、 ( 1， 0 ) (3， 0 ) (5， 0 ) (-, 0 ) となり、 4番目の画像が存在しない。この場合は、（0， 2, 4， 6) という選択しか存在しないため、受信側装置 2では上記の画像選択のための情報を無視すればよい。

複数の画像が指定されている場合には、その優先順位に従って表示を決めることもできる。例えば視点番号（3， 0) と視点番号（2， 0) の画像が指定されていれば、これら 2枚が中央に配置されるように、（ 1， 0) ( 2， 0) (3, 0) (4， 0) の画像を選択し、表示してもよい。送信側装置 1 は、上記のごとく、複数の 2次元映像から幾つかの 2次元映像を選択するための基準番号を示す情報としての視点番号情報を付属情報として当該 2次元映像のデータと共に提供する場合において、前記複数の 2次元映像が連続性を有する映像かどうかを示す情報を付属情報として当該 2次元映像のデータと共に提供するようにしてもよい。連続性を示す情報（全周画像であるか否か、つまり両端の画像の視点が連続しているか否かを表す情報）が提供されると、これを受けた受信側装置 2では、上述の（7, 0) (0， 0) ( 1 , 0) (2， 0) の画像を選択することが許されるかどうかの判定を行うことができる。下記の例では、情報の種類を示すものである識別番号 i には、「以下には両端画像の連続性の有無が記述される」ことを示す番号が記述されることになリ、連続性の状態を示すフィ一ルド rには連続か否かが記述される。

【表 4】

要素サイズ有効値

識別番号 i 1バイト 0〜 255

連続性 r 1バイト 0〜 1 値 r 意味

0 不連続

1 視点（0， 0) と視点（7， 0) が連続する場合（ r = 1 ) であれば、受信側装置 2では (7, 0) (0, 0) ( 1 , 0) (2， 0) の画像を選択し、連続していない視点（ r = 0) であれば上記選択は行わず、前述したごとく、左にシフトする処理を行って、（ 1， 0) (2， 0) (3， 0) (4, 0) の画像を選択する。なお、垂直方向の視点数が 2より大きい場合にも、垂直方向の視点番号を j とすれば視点（0， j ) と視点（7， j ) が連続するか否かを示す情報とすることができる。

以上説明した例では、送信側装置 1 は、前記選択するための情報によリ選択された 2次元映像のデータをどのような目的で使用すべきかを示す使用目的情報を送信することはしなかった。送信側装置 1 は、前記選択するための情報により選択された 2次元映像のデータをどのような目的で使用すべきかを示す使用目的情報を付属情報として当該 2次元映像のデータと共に提供するようになっていてもよい。この場合、ビットの並びと使用目的の内容とを対応させておき、各ビットの「0」「 1 J が各使用目的の有効無効を意味するようにしておいてもよい。

以下の表 5に具体例を示す。目的指定 bは、各ビット（ b i t O, b i t 1 , …， b i t 7 ) に用途が対応付けられており、各々が使用目的であるか否かを示すことになる。

【表 5】

目的指定 b 1 バイ卜 000 0 0 0 0 0〜 1 1 1 1 1 1 1 1

(2進)

b b ¹ t 0 多視点から一部選択

b b ' t 1 ファイルの中身を表す

b b - t 2 平面画像表示

b b " t 輻輳調整時の固定画像

b b ■ t 6 予約

b b ■ t 7 その他の用途値|3 |3 ! 1: 0〜 |3 13 ! 1 7 意味

0 使用目的でない（無効）

1 使用目的である（有効）

下記の表 6に具体例を示す。なお、画像選択の記述がなされることを示す識別番号を仮に 2 E (00 1 0 1 1 1 0) とする。下記の例では「多視点画像から一部を選択する画像」と「ファイルの中身を表す画像」は同じ画像となる。また、第 1優先が（3, 0) で、第 2優先が（2, 0) である。そして「輻輳調整時の固定画像の画像」は（2， 0) として別途指定している。ところで、通常は、この例のように同じ情報を表すフィールドが複数回現れることはないので、表 6に示す例では、「画像選択」の場合は特例として、識別番号と目的指定を合わせて情報の種類を示すこととしている。

【表 6】識別番号 00 1 0 1 1 1 0 ( 2 E )

目的指定 000000 1 1

グループサイズ 2

個数 2

水平視点番号 mO 3

垂直視点番号 n 0 0

水平視点番号 m l 2

垂直視点番号 n 1 0 値

識別番号 00 1 0 1 1 1 0 ( 2 E )

目的指定 0000 1 000

グループサイズ 2

個数 1

水平視点番号 mO 2

垂直視点番号 n 0 0 次の表 7に示す例では、目的指定を全ての選択映像に共通して利用することとしている。グループサイズ以下は省略している。なお、表 7に示す「目的指定」では b b i t 7も 1 であるので、例えば、全く用途に関係なく画像選択するという指定として定義できる。

【表 7】

要素値

識別番号 00 1 0 1 1 1 0 (2 E)

目的指定 1 1 1 1 1 1 1 1

表 6の内容を別の記述形式で実現することもできる。下記の表 8に示す例では目的指定と視点番号をグループとし、使用目的の使い分けを行つている。表 6と同じ指定は表 9のように行うことができる。

【表 8】

要サイズ有効値 . 単位識別番号 i 1 バイト 0〜 2 5 5

グループサイズ s 1 バイト 3 バイ個数 k 2バイ卜 0 〜！ VI xN 個水平視点番号 mO 1 バイト 0 〜！ Vl-1

垂直視点番号 n 0 1バイ卜 0 〜N— 1

目的指定 b 0 1 バイ卜 00000000〜11111

水平視点番号 m 1 1 バイト 0 〜！ VI-1

垂直視点番号 n 1 1 バイト 0 〜N— 1

目的指定 b 1 1 バイト 00000000〜1"" 111 水平視点番号 mk- 1 1 バイ卜 0〜！ \11 - 1

垂直視点番号 nk-1 1バイト 0〜N - 1

目的指定 bk-1 1バイ卜 00000000

【表 9】

値

識別番号 0 0 1 0 1 1 1 0 ( 2 E )

グループサイズ 3

個数 3

水平視点番号 m O 3

垂直視点番号 n 0 0

目的指定 b 0 0 0 0 0 0 0 1 1

水平視点番号 m 1 2

垂直視点番号 n 1 0

目的指定 b 1 0 0 0 0 0 0 1 1

水平視点番号 m 2

垂直視点番号 n 2 0

目的指定 b 3 0 0 0 0 1 0 0 0 表 9の例では、第 1 グループ及び第 2グループの記述により、「多視点から一部を選択する画像」および「ファイルの中身を表す画像」という目的が特定されることになリ、且つ、第 1 グループの記述により、第 1 優先画像が（3， 0 )、第 2グループの記述によリ、第 2優先画像が（2， 0 ) であることが特定されることになる。ここで、第 3グループの記述である「輻輳調整時の固定画像の画像」で特定される画像が「多視点から一部を選択する画像」および「ファイルの中身を表す画像」の第 2優先画像と同じ（2， 0) であるので、次の表 1 0に示すように記述してもよい。

【表 1 0】

値

識別番号 00 1 0 1 1 1 0 ( 2

グループサイズ 3

個数 2

水平視点番号 mO 3

垂直視点番号 n 0 0

目的指定 b 0 000000 1 1

水平視点番号 m 1 2

垂直視点番号 n 1 0

目的指定 b 1 0000 1 0 1 1 このように目的指定を付加することで、情報を付加するライタ側が何を意図して画像を選択したかを受信側装置 2側で知ることができる。表 6と表 9と表 1 0に示した記述のどれを採用してもよいわけであるが、その選択の自由度を持たせるために、どの記述 (表 6形式の記述か表 9形式記述か表 1 0形式の記述か) であるかを示す記述 cをファイルヘッダに持たせるフォーマツトとするようにしてもよい。

以上に説明した例では垂直視点数を 1 としたが、 2より大きい値の場合は垂直方向も含めて画像が選択される。その手法は水平方向と同様であ。

なお、選択画像の決め方は、（ 1 ) 正面に近い画像、（2) 2 D/3 D 変換で生成した画像については基準となった画像、（ 3 )複数のカメラで撮影した場合に基準となる画像（特にカメラの視点間に性能差がある場合に有効）などが考えられる。 [受信側装置]

受信側装置 2は、送信側装置 1 から送信された一纏まりの視点が異なる複数の 2次元映像データ（ 1 次元ビット列情報）を受信部 2 1 (モデム、チューナ等）にて受信する。かかるデータがディジタル変調処理されているのであれば、図示しない復調回路にて復調信号を生成する。また、かかる情報が他の情報と多重されて送信されてくるときには、デマルチプレクス ( D E M U X )処理を行う。受信した 2次元映像データ (例えば、前述したファイルヘッダ、各 J P E Gデータ、エンド ■ ォブ■ ィメージ) は、 C P U 2 2の制御によってメモリ 2 4に格納される。映像再生時には、 G P U 2 2の処理によってメモリ 2 4から読み出されたデ -タがデコーダ 2 3に与えられる。デコーダ 2 3によってデコードされた映像データは映像生成部 2 5に与えられる。

立体視処理時には、 C P U 2 2から制御情報として立体視を示す制御情報が映像生成部 2 5に与えられる。映像生成部 2 5は、複数の映像（図では、右眼映像と左眼映像としている）をデコード部 2 3から受け取り、立体視用映像の生成処理を行う。例えば、パララックスバリアを用いる水平立体視とするときには、映像生成部 2 5は、右眼映像 ( R ) の画素と左眼映像 (し）の画素とを水平方向に交互に並べる処理を各行で行つていき、 R画素列と L画素列が水平方向に交互に並んだ画像を例えば N T S C信号に変換にしてモニタ 2 6に与える。モニタ 2 6は受けとつた N T S C信号に基づいて映像表示を行う。そして、例えばモニタ 2 6の表示面上に液晶バリアを備えることにより、平面視映像の表示及び立体視映像の表示の両方が行なえることになる。

立体視映像が、上記のごとく右眼映像と左眼映像とを交互に縦ストライブ状に配置したものであれば、 C P U 2 2の制御により、上記液晶バリアにおいて、縦ストライプ状の遮光領域が形成される。なお、右眼映像と左眼映像とを交互に縦ストライプ状に配置した立体視映像に限らず, 例えば、右眼映像と左眼映像とを斜め配置配置した立体視映像としてもよく（特許第 3 0 9 6 6 1 3号公報参照）、この場合には、液晶バリアにおいて斜めバリアを形成する。勿論、このような眼鏡無し立体方式の他、眼鏡有りの立体方式などの立体映像表示も採用できる。

受信側装置 2の C P U 2 2は、前述した付属情報に基づいた映像生成処理を映像生成部 2 5に実行させる。以下、この映像生成処理について説明する。

( 1 ) C P U 2 2は、 2次元映像データに付属する付属情報から各 2 次元映像のデータごとに付与された視点番号情報と 2次元映像を選択する情報としての視点番号情報とを取得する。例えば、 2次元映像データとしての J P E Gデータの J P E Gヘッダから各データ毎に視点番号情報（m , n ) を取得する。また、ファイルヘッダから 2次元映像を選択する情報としての視点番号情報（m , n ) を取得する。

そして、 C P U 2 2は、本来の立体視用の映像処理以外で一つ又は複数の 2次元映像データを選択することが必要とされる処理が要求された際に、前記選択する情報としての視点番号情報によって指定される 2次元映像データを選択する。すなわち、 C P U 2 2は、選択する情報としての視点番号情報によって指定される 2次元映像データを読み出すべく , メモリ 2 4に読出ァドレスを与えて当該選択された 2次元映像データを取得してデコード部 2 3に与えると共に、前記の要求された処理に対応した制御情報を映像生成部 2 5に与える。

前記の要求された処理としては、一纏まりの視点が異なる複数の 2次元映像データ（ファイル）を示すサムネイル表示やアイコン表示などがある。前述した使用目的を送信する例で示した目的の内容も、受信側装置 2での独自の要求された処理の内容となるものである。また、要求された処理としては、一纏まりの視点が異なる複数の 2次元映像データのうちの一つの 2次元映像データを壁紙映像とする処理や、プリントァゥ卜する映像とする処理や、送信（例えば、メール送信等）する映像とする処理などがある。

C P U 2 2は、各処理を示す制御情報を映像生成部 2 5に与える。映像生成部 2 5は、壁紙映像とする処理の場合、モニタ 2 6の画面サイズに対応した大きさとなるように、デコ一ド部 2 3から与えられた映像デ —タを処理（画素補間、画素間引き等）してモニタ 2 6に与える。映像生成部 2 5は、プリントアウトする処理の場合、出力映像サイズに対応した大きさとなるように、デコード部 2 3から与えられた映像データを処理してプリンター（図示せず）に与える。プリンターと受信側映像表示装置は所定のインタ一フェイス（例えば、 U S Bインタ一フェイスや I E E E 1 3 9 4等）で接続しておけばよい。また、映像生成部 2 5は、画像送信処理の場合、出力映像サイズに対応した大きさとなるように、デコード部 2 3から与えられた映像データを処理して画像送信処理部 (図示せず) に与える。

( 2 ) C P U 2 2は、ファイルへッダの内容が例えば表 2に示した記述であるとき、グループの並びの順に基づき各グループにおいて特定される画像の優先順位を判断する。また、並び順とは別に優先順位を示す順位情報が各画像に付与されている記述の場合には、当該順位情報に基づいて画像の優先順位を判断する。

( 3 ) C P U 2 2は、ファイルヘッダ内の付属情報として表示方法 aを取得する。表 3に示した例に対応する処理例を以下に説明する。 C P U 2 2は、ファイルへッダ内の記述における表示方法 Aが「平面画像表示」を示している場合、ファイルヘッダ内の記述に従って第 1優先の（3, 0) の画像を選択する。すなわち、当該データをメモリ 24から読み出し、デコード部 23に与えると共に、映像生成部 25には「平面画像表示」であることを示す制御情報を与える。映像生成部 25はデコード部 23から受け取った画像を例えば V RAM上に展開する。モニタ 26の所定画面位置には画像（壁紙等）が表示されることになる。

C P U 22は、ファイルヘッダ内の記述における表示方法 Aが「平行法配置表示」を示している場合、（3， 0) 画像と（4, 0) 画像を選択する。すなわち、当該データをメモリ 24から読み出し、デコード部 2 3に与えると共に、映像生成部 25には「平行法配置表示」であることを示す制御情報を与える。映像生成部 25はデコード部 23から受け取つた画像に対して間引き処理を行い、例えば V RAMの所定位置上に（3， 0) 画像の縮小画像を展開し、その右側位置に（4， 0) 画像の縮小画像を展開する。モニタ 26の所定画面位置には前記二つの縮小画像が左右に並んで表示されることになる。

G P U 22は、ファイルヘッダ内の記述における表示方法 Aが「交差法配置表示」を示している場合、（3, 0) 画像と（4， 0) 画像を選択する。すなわち、当該データをメモリ 24から読み出し、デコード部 2 3に与えると共に、映像生成部 2 5には「交差法配置表示」であることを示す制御情報を与える。映像生成部 25はデコード部 23から受け取つた画像に対して間引き処理を行い、例えば V RAMの所定位置上に（4, 0) 画像の縮小画像を展開し、その右側位置に（3， 0) 画像の縮小画像を展開する。モニタ 26の所定画面位置には前記二つの縮小画像が左右に並んで表示されることになる。

C P U 22は、ファイルヘッダ内の記述における表示方法 Aが「ディスプレイフォーマツ卜に変換した表示」を示している場合、（3， 0) 画像と（4， 0) 画像を選択する。すなわち、当該データをメモリ 24から読み出してデコード部 23に与えると共に、映像生成部 25には「デイスプレイフォーマツ卜に変換した表示」であることを示す制御情報を与え、モニタ上の液晶バリアを O Nする。映像生成部 25はデコード部 23から受け取った画像に対して間引き処理を行い、それぞれ縮小された（3， 0) 画像と（4, 0) 画像を水平方向に 1 画素ずつ交互に配置した画像を V RAMの所定位置上に展開する。

(4) 受信側装置 2は、例えば、 8つの画像に基づく 8眼視映像の表示処理を行うことができるが、ユーザ指定に基づき、 4つの画像を選択して 4眼視映像の表示処理を行うことができる。或いは、受信側装置 2 が最大 4眼式であるのに、受信した再生用画像が 8眼視映像である場合が起こり得る。

C P U 2 2は、例えば、 8視点の画像から 4視点の画像を選択して 4 眼式で立体表示する際に、ファイルヘッダの記述に基づき、どの視点が基準となっているかを判断する。また、 C P U 2 2は、視点数が Lである場合に、 L/2の演算処理を行う。視点数が 4であれば 2という結果を得る。水平視点番号 mが「3」であって垂直視点番号 nが「0」の画像、すなわち、視点番号（3， 0) の画像が指定されていれば、 C P U 2 2は、視点番号（3， 0) の画像を 2番目に（できるだけ中央に）位置させるベく、水平視点番号が（2， 0) (3， 0) (4， 0) (5, 0) の画像を選択する。

ここで、 4眼式立体表示が行われるとき、適視距離上に、 4つの視点画像の視認範囲が水平方向に例えば眼間距離ピッチで存在することになる。そして、観察者がモニタ中央上に位置しているとき、左眼に（3， 0 ) 画像が導かれ、右眼に（4， 0) 画像が導かれることになる。視点数が奇数の場合は、 C P U 22は、 1_ノ2の小数点以下の処理を切リ捨て、又は切り上げなどの決められた処理を行う。

( 5 ) C P U 2 2は、水平視点番号 mが「0」であって垂直視点番号 nが「0」の画像、すなわち、視点番号（0， 0 ) の画像が指定されていれば、（7， 0 ) ( 0 , 0 ) ( 1 , 0 ) ( 2 , 0 ) の画像を選択する。或いは、 C P U 2 2は視点番号を左にシフトする処理を行い、（ 1， 0 ) ( 2， 0) ( 3 , 0 ) (4， 0 ) の画像を選択する。つまり 1_ 2の演算結果からは（一， 0 ) ( 0, 0 ) ( 1， 0 ) ( 2， 0 ) となり画像が存在しない視点が生じるので、左にシフトして（ 1， 0 ) ( 2， 0 ) ( 3， 0 ) ( 4, 0 ) の画像を選択する。飛び飛びの画像を表示する場合にも同様である。例えば、水平視点番号 mが「3」であって垂直視点番号 nが「0」の画像、すなわち、視点番号（3， 0 ) の画像が指定されていれば、 C P U 2 2は、（ 1， 0 ) ( 3， 0 ) ( 5， 0 ) ( 7， 0 ) の画像を選択する。しかしながら、画像の視点数が 7 ( 0〜6 ) X I ( 0 ) で、ディスプレィが 4眼式の場合において視点番号（3， 0 ) の画像が指定されていれば、前記 1_ 2の演算結果で ( 1， 0 ) ( 3， 0 ) ( 5， 0 ) (-， 0 ) となり、 4番目の画像が存在しない。この場合は、（0， 0 ) ( 2， 0 ) ( 4， 0 ) ( 6 , 0 ) という選択しか存在しないため、 C P U 2 2は当該選択を実行し、上記の画像選択のための情報を無視する処理を行う。

また、 C P U 2 2は、複数の画像が指定されている場合には、その優先順位に従って表示を決めることもできる。例えば視点番号（3， 0 ) と視点番号（2， 0 ) の画像が指定されていれば、これら 2枚が中央に配置されるように、（ 1， 0 ) ( 2， 0 ) ( 3 , 0 ) ( 4 , 0 ) の画像を選択する処理を行うようになつていてもよい。

( 6 ) C P U 2 2は、ファイルヘッダ内に連続性を示す記述が存在するときには、以下のように処理する。 C P U 2 2は、連続性を示す情報が検出できた場合、上述の（7， 0) (0, 0 ) ( 1 , 0 ) ( 2 , 0 ) の画像を選択する。すなわち、視点（0， 0) と視点（ 7， 0) が連続する場合（ r = 1 ) であれば、 C P U 22は（7, 0) (0， 0 ) ( 1 , 0)

( 2, 0) の画像を選択し、連続していない視点（ r = 0) であれば上記選択は行わず、前述したごとく、左にシフトする処理を行って、（ 1， 0) (2， 0) (3, 0) (4, 0) の画像を選択する。

( 7) C P U 22は、ファイルヘッダ内に使用目的を示す記述が存在するときには、以下のように処理する。以下に示す例では、ファイルへッダ内の記述が表 6に示すようであるとする。 C P U 2 2は、 8視点映像から 4視点映像を選択する処理（多視点から一部選択）を行うとき、フアイルへッダ内の目的指定 bの b i t b 0が「 1 」 (有効)かどうかを検出する。有効であるときには、目的指定 bに対応して記述されている視点番号の画像を選択する。有効でないときには、例えば受信側装置 2 で予めデフォルトで決められている画像を選択する。

C P U 2 2は、ファイルの中身を表す処理（サムネイル等の表示処理）を行うとき、ファイルヘッダ内の目的指定 bの b i t b 1 が「 1 」 (有効) かどうかを検出する。有効であるときには、目的指定 bに対応して記述されている視点番号の画像を選択する。有効でないときには、例えば受信側装置 2で予めデフオル卜で決められている画像を選択する。

C P U 22は、平面画像表示 (壁紙映像表示等) の処理を行うとき、ファイルヘッダ内の目的指定 bの b i t b 2が「 1 J (有効)かどうかを検出する。有効であるときには、目的指定 bに対応して記述されている視点番号の画像を選択する。有効でないときには、例えば受信側装置 2 で予めデフオル卜で決められている画像を選択する。

C P U 22は、輻輳調整時の画像ずらし処理を行うとき、ファイルへッダ内の目的指定 bの b i t b 3力「 1 J (有効）かどうかを検出する。有効であるときには、目的指定 bに対応して記述されている視点番号の画像を選択する。有効でないときには、例えば受信側装置 2で予めデフオル卜で決められている画像を選択する。

なお、輻輳調整時の画像ずらし処理における指定画像は、立体表示において画像を左右に互いにずらして表示する際に、固定する側の画像とする。各々の画像を左右に互いにずらすと、カメラの輻輳距離を変更する補正が可能であり、画像全体が前後移動する。このような処理において、位置をずらさずに固定する画像を決めておくと処理が容易である。 C P U 2 2は、前記固定画像として前記指定画像を採用する処理を行う。

( 8 ) C P U 2 2は、ファイルヘッダ内にどの記述 (表 6形式の記述か表 9形式記述か表 1 0形式の記述か) であるかを示す記述 cが存在するときには、当該記述 cに従って以降の記述がどの記述 (表 6形式の記述か表 9形式記述か表 1 0形式の記述か）であるかを解釈する処理を行ラ。

( 9 ) 受信側装置 2に図示しない記録媒体再生部（例えば、 C D— R O M ドライブ、 D V Dプレーヤ一等）が内蔵或いは所定のインターフエイスにて接続されるように構成してもよい。そして、記録媒体から再生されたフアイルが上述した複数の 2次元映像データを含むファイルであるとき、上述したのと同様の処理にて画像再生を行うようになつていてもよい。

フアイルに含まれる複数の画像はファイル内で分離している場合のみを対象にしているわけではない。複数の画像は 1枚に結合している場合も含む。すなわち、複数の 2次元画像データは、決められた規則に従つて結合し、 1 つの 2次元画像になっていてもよい。この場合は、受信側で画像のサイズと視点数の情報から各々の視点の 2次元画像が特定できるので、各々の画像に視点番号が実際的に付与されていなくても受信側で視点番号を取得することができる。以下に具体例を述べる。図 4では、横長の 1枚の画像に 8枚分の画像が存在する場合を示している。すなわち、 8枚の画像を結合させて横長の 1枚の画像としている。この横長の 1枚の画像におけるヘッダ内には、水平画素数、垂直画素数、水平視点数、垂直視点数、画像並びといった付属情報が付加されている。受信側装置 2は送信側から直接的に各画像の視点番号を受け取るのではなく、以下のごとく、上記付属情報に基づいて各画像を切り出すと共にこの切り出した画像と視点番号との対応関係を判定する。

水平画素数 8192/8 =1024

垂直画素数 768 /1 =768

開始 X座標 1024x q

開始 Y座標 768 X r

終了 X座標 1024X ( q + 1 ) 一 1

終了 Y座標 768 X ( r + 1 ) -1 受信側装置 2は、上記付属情報に基づいて各画像の大きさが水平画素数 1 024で垂直画素数 768であると判断する。また、國 4に示す例では、「画像並び」の値が. 「0」である。「0」は正順であることを示している。従って、受信側装置 2は、例えば、視点番号（3， 0) の画像については、 q = 3， r =0として、開始 X座標を 307 2とし、開始 Y座標を 0とし、終了 X座標を 4095とし、終了 Y座標を 7 6 7として切り出すことで得ることができる。なお、「画像並び」の値が「1」のときは、図 5 Aに示すように、逆順としておリ、この場合、 3枚目に切り出される画像の視点番号は（5， 0) であると判断することになる。また、「画像並び」の値が「2」のときは、図 5 Bに示すように、上下並びであることを示し、「3」のときには、図 5 Cに示すように、（4， 0 ) (7, 0) (6， 0) (5， 0) (3, 0) (2， 0 ) ( 1 , 0) (0， 0) の並びであることを示し且つ先頭画像が指定画像であることを示しておリ、受信側装置 2は「画像並び」の値と画像切り出しの情報とに基づいて各切リ出し画像の視点番号情報を取得することになる。

以上説明したように、この発明によれば、立体視用映像の作成者側（提供側）で意図する処理を受け手側の装置（立体映像表示装置）において行わせることができるという効果を奏する。

Claims

請求の範囲

1 . 立体視用映像として用いられる視点が異なる複数の 2次元映像をデータとして提供する際に、各 2次元映像のデータごとに付与された視点番号情報又は映像データにおける各 2次元映像領域ごとの視点番号情報を受信側で演算により取得するための情報と、一つ以上の 2次元映像を選択する情報としての視点番号情報と、を付属情報として当該 2次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。

2 . 立体視用映像として用いられる視点が異なる複数の 2次元映像をデータとして提供する際に、各 2次元映像のデータごとに付与された視点番号情報又は映像データにおける各 2次元映像領域ごとの視点番号情報を受信側で演算により取得するための情報と、二つ以上の 2次元映像を選択する情報としての視点番号情報と、それらの優先順位を示す優先順位情報と、を付属情報として当該 2次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。

3 . 立体視用映像として用いられる視点が異なる複数の 2次元映像をデータとして提供する際に、各 2次元映像のデータごとに付与された視点番号情報又は映像データにおける各 2次元映像領域ごとの視点番号情報を受信側で演算により取得するための情報と、二つ以上の 2次元映像を選択する情報としての視点番号情報を優先順に並べてなる情報と、を付属情報として当該 2次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。

4 . 立体視用映像として用いられる視点が異なる複数の 2次元映像をデータとして提供する際に、各 2次元映像のデータごとに付与された視点番号情報又は映像データにおける各 2次元映像領域ごとの視点番号情報を受信側で演算により取得するための情報と、一つ以上の 2次元映像を選択する情報としての視点番号情報と、前記複数の 2次元映像が連続性を有する映像であるかどうかを示す情報と、を付属情報として当該 2 次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。

5 . 請求項 1 乃至請求項 4のいずれかに記載の立体視用映像提供方法において、前記選択するための情報により選択された 2次元映像のデータを本来の立体視用以外の補助的画像としてどのような態様で表示すベきかを示す表示態様情報を付属情報として当該 2次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。

6 . 請求項 1 乃至請求項 5のいずれかに記載の立体視用映像提供方法において、前記選択するための情報により選択された 2次元映像のデータをどのよラな目的で使用すべきかを示す使用目的情報を付属情報として当該 2次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。

7 . 請求項 6に記載の立体視用映像提供方法において、ビットの並びと使用目的の内容とを対応させると共に、各ビットの「0」「 1 J が各使用目的の有効/無効を意味することを特徴とする立体視用映像提供方法 _c

8 . 請求項 1 乃至請求項 7のいずれかに記載の立体視用映像提供方法において、情報の記述形式としてどの記述形式が採用されているかを示す情報を付属情報として 2次元映像のデータと共に提供することを特徴とする立体視用映像提供方法。

9 . 請求項 1 乃至請求項 8のいずれかに記載の立体視用映像提供方法において、情報の提供を、放送、通信、記録媒体への記録のいずれかにより行なうことを特徴とする立体視用映像提供方法。

1 0 . 視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において、前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と 2次元映像を選択する情 '報としての視点番号情報とを取得する手段と、本来の立体視用の映像処理以外で一つ又は複数の 2次元映像データを選択することが必要とされる処理を実行する場合に、前記選択する情報としての視点番号情報によつて指定される 2次元映像データを選択する手段と、を備えたことを特徵とする立体映像表示装置。

1 1 . 視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において、前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と二つ以上の 2次元映像を選択する情報としての視点番号情報とを取得する手段と、本来の立体視用の映像処理以外で所定数の 2次元映像データを選択することが必要とされる処理を実行する場合に、当該所定数の 2次元映像データを前記選択する情報としての視点番号情報の並び順に従って選択する手段と、を備えたことを特徴とする立体映像表示装置。

1 2 . 視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において、前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と二つ以上の 2次元映像を選択する情報としての視点番号情報とそれらの優先順位を示す優先順位情報とを取得する手段と、本来の立体視用の映像処理以外で所定数の 2 次元映像データを選択することが必要とされる処理を実行する場合に、当該所定数の 2次元映像データを前記選択する情報としての視点番号情報及び優先順位情報によって選択する手段と、を備えたことを特徴とする立体映像表示装置。

1 3 . 視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において、前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と 2次元映像を選択する情報としての視点番号情報と前記選択するための情報によリ選択された 2 次元映像のデータを本来の立体視用以外の補助的画像としてどのような態様で表示すべきかを示す表示態様情報とを取得する手段と、本来の立体視用の映像処理以外で一つ又は複数の 2次元映像データを選択することが必要とされる処理を実行する場合に、前記選択する情報としての視点番号情報によって指定される 2次元映像データを選択する手段と、前記選択した 2次元映像データと前記表示態様情報とに基づいて当該表示態様による映像表示を行う手段と、を備えたことを特徴とする立体映像表示装。

1 4 . 請求項 1 0乃至請求項 1 3のいずれかに記載の立体映像表示装置において、前記本来の立体視用の映像処理以外の処理は、視点が異なる複数の 2次元映像データの内容を示すために一つ又は複数の 2次元映像データを縮小処理して画面に表示する処理であることを特徴とする立体映像表示装置。

1 5 . 請求項 1 0乃至請求項 1 3のいずれかに記載の立体映像表示装置において、前記本来の立钵視用の映像処理以外の処理は、視点が異なる複数の 2次元映像データのなかからプリントァゥ卜用及び/又は画像配信用に一つ又は複数の 2次元映像データを選択する処理であることを特徴とする立体映像表示装置。

1 6 . 視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において、前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と 2次元映像を選択する情報としての視点番号情報と前記選択するための情報によリ選択された 2 次元映像のデータをどのような目的で使用すべきかを示す使用目的情報とを取得する手段と、前記使用目的に対応する処理を実行する場合に前記選択する情報としての視点番号情報によって指定される 2次元映像データを選択する手段と、を備えたことを特徴とする立体映像表示装置。

1 7 . 視点が異なる複数の 2次元映像データに基づいて立体視用映像を生成する立体映像表示装置において、前記 2次元映像データに付属する付属情報から各 2次元映像の視点番号情報と二つ以上の 2次元映像を選択する情報としての視点番号情報とを取得する手段と、本来の立体視用の映像処理で前記複数の 2次元映像データの数よリも少ない所定数の 2次元映像データを選択する場合に、当該所定数の 2次元映像データを前記選択する情報としての視点番号情報に基づいて選択する手段と、を備えたことを特徴とする立体映像表示装置。

1 8 . 請求項 1 7に記載の立体映像表示装置において、前記選択された所定数の 2次元映像のなかで前記選択する情報としての視点番号情報に一致する視点番号情報を持つ 2次元映像が中央側となるように立体視用の映像処理を行うことを特徴とする立体映像表示装置。

1 9 . 請求項 1 7又は請求項 1 8に記載の立体映像表示装置において、前記付属情報から前記複数の 2次元映像が連続映像であるのかどうかを示す情報を取得する手段を備え、前記複数の 2次元映像が連続映像であることを示す情報を得たときには、前記所定数の選択された 2次元映像に前記複数の 2次元映像における第 1番目の 2次元映像と最終番目の 2 次元映像とが存在することを許容するように構成されたことを特徴とする立体映像表示装置。

2 0 . 請求項 1 7又は請求項 1 8に記載の立体映像表示装置において、前記付属情報から前記複数の 2次元映像が連続映像であるのかどうかを示す情報を取得する手段を備え、前記複数の 2次元映像が連続映像でないことを示す情報を得たときには、前記所定数の選択された 2次元映像に前記複数の 2次元映像における第 1番目の 2次元映像と最終番目の 2 次元映像とが存在する場合に、第 1番目の 2次元映像又は最終番目の 2 次元映像が排除されるように選択映像のシフトを行って新たに一つ以上の 2次元映像を選択することを特徴とする立体映像表示装置。

2 1 . 請求項 1 0乃至請求項 2 0のいずれかに記載の立体映像表示装置において、付属情報から情報の記述形式としてどの記述形式が採用されているかを示す情報を取得する手段を備え、前記情報を取得できた場合には当該情報にて示される記述形式に基づいて付属情報の内容を判断するように構成されたことを特徴とする立体映像表示装置。