JPWO2003092303A1 - マルチメディア情報生成装置およびマルチメディア情報再生装置 - Google Patents

Abstract

３次元画像データを含むマルチメディア情報ファイルに、３次元画像データがどのような３次元表示方法を想定しているか、あるいはどのようなデータ形式で記録されているかなどを示す３次元表示制御情報（２）を付加し、３次元画像再生装置においては、上記３次元表示制御情報（２）から得られるデータ特性に応じた適切な変換処理を行って表示するようにすることにより、記録された３次元画像データ（３）に汎用性を持たせ、異なる３次元表示方式に対しても同じ３次元画像データを共通に利用できるようにする。

Description

技術分野
この発明は、３次元表示するための画像データをファイルに生成する際に画像データに属性情報を付随させるマルチメディア情報生成方法、そのデータを再生するマルチメディア情報再生装置に関するものである。
背景技術
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左目用画像と右目用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。
図４１は、この２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。
この時分割方式では、図４１のように、左目用画像と右目用画像が垂直１ラインおきに交互にならんだ形に配置し、左目用画像を表示するフィールドと右目用画像を表示するフィールドを交互に切り替えて表示するものである。左目用画像及び右目用画像は通常の２次元表示時に比べて垂直解像度が半分になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左目用画像が表示されている時は左目側が開いて右目側が閉じ、右目用画像が表示されている時は左目側が閉じて右目側が開く。このようにすることにより左目用画像は左目だけで、右目用画像は右目だけで観察されることになり、立体視を行うことができる。
図４２Ａおよび４２Ｂは、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
図４２Ａは、視差が生じる原理を示す図である。一方、図４２Ｂは、パララクスバリア方式で表示される画面を示す図である。
図４２Ｂに示すような左目用画像と右目用画像のペアがストライプ状に並んだ画像を、図４２Ａに示すように、画像表示パネル９１に表示し、この画像に対応した間隔でスリットを持ついわゆるパララクスバリア９２をその前面に置くことにより、左目用画像は左目９３だけで、右目用画像は右目９４だけで観察することにより立体視を行う。
ところで、特開平１１−４１６２７号公報において、パララクスバリア方式と同様の原理に基づくレンチキュラ方式の３次元表示に用いる記録データ形式の一例が開示されている。
図４３Ａおよび４３Ｂは、このような「レンチキュラ方式」の記録データ形式の一例を示す概念図である。
すなわち、図４３Ａに示す左目用画像１０１と図４３Ｂに示す右目用画像１０２から、それぞれを間引きして図４３Ｃに示す１枚の混合画像１０３を作って記録し、再生時にはこの混合画像１０３を並べ替えることにより図４２Ｂに示したような合成画像が作成される。
上記の２眼式の例に限らず、３次元画像を表示するには様々な方法があり、一般的に異なる表示方式間での記録データの互換性はない。
例えば、時分割方式用に記録されたデータをそのままパララクスバリア方式の３次元ディスプレイに表示することはできない。従って、従来の３次元表示システムにおいては、最初から表示方法を固定したデータ記録が行われており、記録データに汎用性を持たせることは考えられていない。例えば、パララクスバリア方式の３次元ディスプレイを使うと決めたら、そのディスプレイに表示するためのデータを記録媒体に記録するのだが、他の方式のディスプレイに表示する可能性などは考えられていないため、記録データがパララクスバリア方式のためのデータだという情報はファイル上に記録されない。
表示方式以外にも視点数や間引き方法など、３次元表示に必要な情報はいろいろあるが、表示形式を１つに固定してしまっているためにそれらの情報もファイルには記録されない。いつも同じ形式を使うなら、あえてその情報を記録する必要がないからだが、このために記録データの汎用性が著しく損なわれている。例えば、パララクスバリア方式（あるいはレンチキュラ方式）用のデータを記録する場合に限っても、左目用画像と右目用画像を別々のシーケンスとして記録することもできるし、図４３Ｃのような左目用画像と右目用画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、図４２Ｂのような左目用画像と右目用画像のペアがストライプ状に並んだ合成画像を記録することもでき、当然記録形式が違えばその後表示するための処理方法も異なるが、記録されたデータからはどの形式で記録されたかを知ることができないため、第三者がそのデータを手にした時、どのような処理によって表示すればよいのかがわからないという問題がある。
発明の開示
本発明の目的は、３次元表示のための画像データに汎用性を持たせたマルチメディア情報生成方法を提供することにある。
本発明の他の目的は、３次元表示のための画像データに汎用性を持たせたマルチメディア情報を再生するためのマルチメディア情報再生装置を提供することにある。
上記目的を達成するため、本発明のある局面に従うと、２次元画像および／または３次元画像を複数個含むマルチメディア情報を生成するマルチメディア情報生成方法であって、マルチメディア情報に３次元画像データが含まれる場合、マルチメディア情報は、３次元画像の表示を制御する制御情報を含む。
この発明の他の局面に従うと、複数のモジュールから成るマルチメディア情報を生成するマルチメディア情報生成方法であって、モジュールは２次元画像および／または３次元画像を複数個含み、モジュールに３次元画像データが含まれる場合、モジュールは、３次元画像の表示を制御する制御情報を含む。
好ましくは、制御情報は、個々の３次元画像に対応して存在する。
好ましくは、制御情報は、複数の３次元画像に対応して存在する。
好ましくは、少なくとも２次元画像および／または３次元画像の各々を区別する識別子をあらかじめ設定し、制御情報は、３次元画像の識別子を示す識別情報を含む。
好ましくは、少なくとも２次元画像および／または３次元画像の各々を区別する識別子をあらかじめ設定し、制御情報は、３次元画像の識別子を示す識別情報を含む。
好ましくは、制御情報は、複数の識別子を含む。
好ましくは、識別子の所定の値は、マルチメディア情報に含まれる画像が全て３次元画像であることを示す。
好ましくは、識別子の所定の値は、モジュールに含まれる画像が全て３次元画像であることを示す。
したがって、この発明によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、３次元画像データと共に、３次元画像データを表示するための３次元画像表示制御情報をマルチメディア情報ファイルとして記録または構成するので、３次元画像データに汎用性を持たせ、１種類のマルチメディア情報ファイルで様々な３次元表示方式に柔軟に対応することが可能となる。
この発明のさらに他の局面に従うと、２次元画像あるいは３次元画像を複数個含むマルチメディア情報を再生するマルチメディア情報再生装置であって、２次元画像から３次元画像を生成する生成部と、生成部で生成された３次元画像と、マルチメディア情報に含まれる３次元画像を合成する第１の合成部を備える。
好ましくは、マルチメディア情報再生装置は、複数の２次元画像を合成する第２の合成部をさらに備え、生成部は、第２の合成部で合成された２次元画像データから３次元画像データを生成する。
したがって、この発明によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、マルチメディア情報ファイル中に含まれる３次元画像表示制御情報を解析することにより、３次元画像データと２次元画像データとを表示方法に合わせて適切に変換し、正しく表示することが可能となる。
また、上記目的を達成するため、本発明の他の局面に従うと、２次元画像および／または３次元画像を複数個含むマルチメディア情報を再生するマルチメディア情報再生装置であって、マルチメディア情報に含まれる図形および文字情報を復号しページ画像を得るページデータ復号部と、ページ画像を３次元画像に変換する２Ｄ／３Ｄ変換部と、２Ｄ／３Ｄ変換部で生成された３次元画像と、マルチメディア情報に含まれる３次元画像を合成する第１の合成部とを備える。
好ましくは、複数の２次元画像を合成する第２の合成部をさらに備え、２Ｄ／３Ｄ変換部は、第２の合成部で合成された２次元画像データを３次元画像データに変換する。
好ましくは、文字情報に対応した第１のフォントイメージと第２のフォントイメージを備え、文字情報を３次元表示する際に、第１のフォントイメージを用い、文字情報を２次元表示する際に第２のフォントイメージを用いる。
好ましくは、ページデータ復号部において、第１または第２のフォントイメージを用いてページ画像を得る。
好ましくは、２Ｄ／３Ｄ変換部において、第１または第２のフォントイメージを用いて３次元画像を得る。
好ましくは、第１および第２のフォントイメージを蓄積するフォントイメージ蓄積部と、第１または第２のフォントイメージを選択するスイッチとをさらに備える。
好ましくは、第２のフォントイメージを第１のフォントイメージに変換するフォント変換部をさらに備える。
好ましくは、第１のフォントイメージは複数の濃淡情報から成り、文字の太さが見かけ上細くなるように配置されている。
したがって、本発明のマルチメディア情報再生装置によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、マルチメディア情報ファイル中に含まれる３次元画像表示制御情報を解析することにより、３次元画像データと２次元画像データを表示方法に合わせて適切に変換し、正しく表示することが可能となる。
発明を実施するための最良の形態
以下、本発明の構成、作用および効果を図に従って説明する。なお、図中同一または相当部分には同一符号を付して、その説明は繰返さない。
図１Ａ〜１Ｃは、本発明の実施の形態において生成されるマルチメディア情報ファイルの構造を示す図である。
マルチメディア情報ファイルは３次元画像データと２次元画像データのどちらを含んでいても良いが、以下では３次元画像データを含む場合の例について説明する。
まず、図１Ａを参照して、マルチメディア情報ファイルは、ヘッダ制御情報１と、３次元表示制御情報２と、３次元画像データ３との少なくとも３つの構成要素を含んでいる。
ヘッダ制御情報１は、例えば画像のサイズなど３次元画像データ３を再生するために必要な制御情報である。３次元表示制御情報２は、得られた３次元画像を所望の３次元形式に変換するために必要な制御情報である。また、３次元画像データ３は、３次元画像データそのものである。
３次元画像データ３は、静止画データでも動画データであってもよい。また、マルチメディア情報ファイルには音声データを一緒に記録してもよいが、簡単のためここでは省略する。また、これ以外の付加情報を含んでもよい。
なお、マルチメディア情報ファイルが２次元画像データを含んでいる場合には、３次元表示制御情報は付加されない。
それぞれの構成要素はオブジェクトと呼ばれる。各オブジェクトは、図１Ｂに示すような形をしている。すなわち、まずオブジェクトを識別するためのオブジェクトＩＤ４と、オブジェクトサイズ５とが書かれ、その後オブジェクトサイズ５で規定される長さのオブジェクトデータ６が続く。オブジェクトＩＤ４とオブジェクトサイズ５を合わせてオブジェクトヘッダと呼ぶ。このオブジェクトは階層構造をとることが可能である。
なお、図１Ａにおいて、ヘッダ制御情報１、３次元表示制御情報２及び３次元画像データ３は、本来、それぞれヘッダ制御情報オブジェクト１、３次元表示制御情報オブジェクト２及び３次元画像データオブジェクト３と呼ぶべきものだが、呼称が長くなるのを避けるため、ここでは「オブジェクト」という表記を省略する。
図１Ｃは、３次元画像データ３の構造の一例を示す図である。３次元画像データ３では、オブジェクトＩＤやオブジェクトサイズを含むオブジェクトヘッダ７の後に、複数のパケット８が続く。パケット８はデータを通信する際の最小単位であり、各パケットはパケットヘッダとパケットデータにより構成される。なお、３次元画像データ３は必ずしもパケット化されている必要はなく、一続きのデータ列であってもよい。
図２は、本発明のマルチメディア情報生成装置の一例である画像データ記録装置１００の構成を示すブロック図である。
図２を参照して、画像データ記録装置１００は、３次元表示制御情報生成部１１と、ファイル生成部１２とを備える。
３次元表示制御情報生成部１１は、必要なパラメータを外部から受け取り、３次元表示制御情報を１つのオブジェクトとして生成する。ファイル生成部１２は３次元表示制御情報と３次元画像データとを受け取り、さらにヘッダ制御情報を付け加えることによって、図１Ａ〜１Ｃに示したようなマルチメディア情報ファイルを生成し出力する。ここでの３次元画像データは非圧縮データであってもよいし、圧縮符号化されたデータであってもよい。
なお、生成されたマルチメディア情報ファイルは記録媒体１３に記録してもよいし、直接通信路に送出してもよい。
次に、本発明のマルチメディア情報再生装置の一例として、本実施の形態における画像データ再生装置について説明する。
図３は、図１Ａに示したような３次元画像データを含むマルチメディア情報ファイルが入力される画像データ再生装置２００の構成を説明するためのブロック図である。
図３を参照して、画像データ再生装置２００は、ファイル構造解析部２１と、ファイルヘッダ解析部２２と、データ再生部２３と、表示部２４と、３次元表示制御情報解析部２５と、データ変換部２６とを備える。マルチメディア情報ファイルは、記録媒体１３から、あるいは通信路から供給される。
入力されたマルチメディア情報ファイルは、ファイル構造解析部２１でヘッダ制御情報、３次元画像データ及び３次元表示制御情報のそれぞれが認識され、ヘッダ制御情報はファイルヘッダ解析部２２へ、３次元画像データはデータ再生部２３へ、３次元表示制御情報は３次元表示制御情報解析部２５へそれぞれ送られる。
ファイルヘッダ解析部２２ではヘッダ制御情報の解析を行い、３次元画像データの再生に必要な情報をデータ再生部２３に渡す。データ再生部２３では、データの逆多重化やパケットからのデータ取り出し、さらにデータが圧縮符号化されている場合にはその復号を行う。３次元表示制御情報解析部２５では３次元表示制御情報を解析し、得られた情報をデータ変換部２６に渡す。データ変換部２６は所望の３次元表示形式に合うように復号された３次元画像データを変換し、表示部２４へ出力する。表示部２４は再生装置から独立した単体の３次元ディスプレイであってもよい。
図４Ａ〜４Ｃは、３次元表示制御情報２に記述する具体的な情報を説明するための概念図である。
図４Ａにその一部を示すように、３次元表示制御情報２に記述する具体的な情報には、視点数、各視点位置に対応するストリーム、間引き方向、カメラ配置、視差量シフト限度、枠表示の有無、枠画像データ、視差像切替ピッチ、サンプリングパターン、画像配置、反転の有無などがある。
以下、図４Ａに示した３次元表示制御情報について、さらに詳細に説明する。
図４Ａにおける「視点数」とは、文字通り視点すなわち視差像の数であり、上述の２眼式のデータであれば２となる。
カメラを用いた撮影ではカメラが眼の役割をするので、撮影時に使用したカメラの数ということもできる。人間の眼は２つしかないので、視点数が３以上の場合、データとしては冗長であるが、観察者の移動に合わせて観察像が変化するのでより自然な立体視が可能となる。
図４Ａにおいて視点数を記述した行の次の２行（視点位置Ｌ、視点位置Ｒ）は、それぞれ左の視点位置と右の視点位置に対応する「ストリーム番号」を示している。
ここで、「ストリーム番号」についてさらに詳しく説明する。
図４Ｂに示すように、音声と左目用画像と右目用画像のそれぞれが別のストリームとなっており、それをパケット多重化して記録する場合を考えると、多重化されたデータにおいて各パケットが音声データなのか左目用画像データなのか右目用画像データなのかを識別するために、各ストリームに固有のストリーム番号が付与される。
図４Ｂの例では、音声ストリームにはストリーム番号１、左目用画像データにはストリーム番号２、右目用画像データにはストリーム番号３を対応させ、各パケットヘッダにこのストリーム番号を書くことによってデータ種別を明示する。
このストリーム番号を用いることにより、図４Ａにおいては、左目用画像はストリーム番号２、右目用画像はストリーム番号３のデータであることを示している。なお、従来の２次元画像データを取り扱うマルチメディア情報ファイルにおいては、多重化されたストリームに対しては音声と画像の区別しか必要ないため、視点位置との対応を記述したこの情報は３次元画像データを取り扱う場合に特有のものである。
以下、さらに図５Ａ〜５Ｃに示す概念図を用いて、上記「視点数」、「視点位置」について、さらに説明しておく。
図５Ａは、２眼式の例を示しており、図５Ｂと図５Ｃは６眼式の例を示している。図５Ａの２眼式の場合は、左と右という指定の仕方で視点位置を特定することができる。
これに対して、６眼式の場合、図５Ｂのように、たとえば、左側において、中央から数えて何番目であるかに応じて、「Ｌ１」、「Ｌ２」、「Ｌ３」と表現する。右側も同様である。
あるいは、６眼式の場合、図５Ｃのように左からの通し番号で何番目と表現することも可能である。さらには、図５Ｂおよび図５Ｃ以外の種々の方法が考えられる。
視点位置をどのように表現するかについては、あらかじめ送信側と受信側で規格あるいは決まり事として共有されている必要がある。何の取り決めもなしでは、例えばｃｈ３と書いてあっても左から３番目なのか右から３番目なのかがわからなくなってしまうからである。
図６は、６眼式の場合において、視点位置と対応するストリームの記述の例を示す概念図であり、図４Ａと対比される図である。
図６では、音声ストリームはストリーム番号１であって、画像ストリームについては、たとえば、視点位置１〜６にストリーム番号２〜７を対応させている。そして、各パケットヘッダにこのストリーム番号を書くことによってデータ種別を明示する。
一方、図７Ａおよび７Ｂは、左目用画像と右目用画像が同じストリームとなっている場合において、視点位置と対応するストリームの記述の例を示す概念図である。
図７Ａに示すように、視点位置Ｌと視点位置Ｒには同じストリーム番号（この場合はストリーム番号２）を記述する。この時の多重化データは図７Ｂに示すようになり、複数の視差像が１枚の画像に合成されている３次元画像データを記録または伝送する場合には、この形態を用いるとよい。
ここで、再び、図４Ａ〜４Ｃに戻って、図４Ａにおける「間引き方向」とは、データを間引いた方向を示すものである。
例えば、上述した「パララクスバリア方式（あるいはレンチキュラ方式）」において、図４２Ｂのように左目用画像と右目用画像のペアが縦ストライプ状に並んでいるような画像を作成する場合、左目用画像と右目用画像のそれぞれは通常の２次元画像と比較して水平方向の解像度が半分になっている。この場合は、「間引き方向」には、水平方向に間引きされているという情報を記述する。これは左目用画像と右目用画像がそれぞれ独立した２つのストリームであるか、上述した図４３Ｃのような混合画像の形になった１つのストリームであるかには関係しない。
一方、上述した図４１は、垂直方向に間引きが行われている画像を示している。したがって、図４１の様な場合では、「間引き方向」には、垂直方向に間引きされているという情報を記述する。
また、図４３Ａ、４３Ｂのように間引きしていない画像をそのまま伝送し、表示する直前に間引く場合もあり、その場合はファイルに記録された状態では間引きされていないので、間引き方向の情報としては「間引きなし」と記述する。
なお、この間引き方向のようにパラメータを数値で表現することが困難な場合、図４Ｃに示すようなテーブルを設定し、そのインデックスを記述するという方法を取ることが望ましい。
例えば、間引き方向が水平方向の場合は、図４Ａの間引き方向の欄に「１」と記述すればよい。この際、インデックスとその意味するものを対応づけた図４Ｃのようなテーブルは、送信側と受信側で規格あるいは決まり事として共有されている必要がある。このような表現方法は他のパラメータにも適用することができる。
さらに、図４Ａにおける「カメラ配置」とは複数のカメラをどのように並べて撮影したかを示すものであり、平行型（ｐａｒａｌｌｅｌ）、集中型（ｃｏｎｖｅｒｇｅｎｔ）、発散型（ｄｉｖｅｒｇｅｎｔ）の３つに大別される。
上述した図５Ａ〜５Ｃは平行型の例であり、各カメラの光軸が平行になるように配置されたものである。
図８Ａ〜８Ｃは、「カメラ配置」の他の構成例を示す概念図である。
図８Ａと図８Ｂは集中型の例であり、全てのカメラの光軸がある１点に集まるように配置されたものである。
一方、図８Ｃは発散型の例であり、全てのカメラの光軸がある１点から出ていくように配置されたものである。
ここで、図８Ａは２眼式の、図８Ｂ、Ｃは６眼式の例を示している。この情報は視点補間や３次元モデル構築の際に活用される。
次に、再び図４Ａ〜４Ｃに戻って、図４Ａにおける「視差量シフト限度」について説明する。
一般的に、図４１や図４２Ａおよび４２Ｂを用いて説明したような両眼視差を利用して立体視するような表示においては、視差量を変化させることにより奥行き感を調整することができる。
視差量を変化させるには、具体的には、例えば図４２Ｂに示す合成画像において左目用画像はそのままにしておき、右目用画像だけを左右どちらかにずらすことにより実現できる。このように画像を左右にずらすことにより視差量を変化させると、表示画面の幅は限られていることから、ずらした分だけ画面の外にはみ出ることになり、その部分は表示できなくなる。従って、極端なずらし量を許すと画像の作成者が是非見てもらいたいと思っているものが表示されなくなる事態が発生する。このため、それを防ぐためにずらし量に制限を設ける。これが「視差量シフト限度」であり、例えば±１６ピクセルというように範囲指定する。
図４Ａにおける「枠表示の有無」は、３次元画像データの周囲に枠画像を表示するかどうかを指定する情報である。この枠画像は画面に変化を付けたり、面白味を付加するため、あるいは立体視をしやすくするために表示するものである。
図９Ａおよび９Ｂは、枠画像の構成を説明するための概念図である。
図９Ａは、枠画像を表示しない状態を示し、画面全体が通常の３次元画像表示領域３１であり、ここではその幅をＷとする。
これに対し、図９Ｂは、枠画像を表示した状態である。画面全体の大きさは図９Ａと変わらないが、画面の外周には幅Δｄの枠画像３３が表示され、その内側が３次元画像表示領域３２となる。したがって、枠画像を表示しない場合と比較して、枠画像を表示した場合には枠の分だけ３次元画像表示領域が狭くなり、３次元画像表示領域３２の幅をＷ１とすると、Ｗ＝Ｗ１＋２・Δｄの関係がある。なお、枠画像３３の四辺の幅は各辺によって異なっていてもよい。また、枠画像３３はそれ自体が立体視できるような３次元的な枠でもよいし、平面的に見える２次元的な枠でもよい。
このとき表示する枠画像データは、再生装置にあらかじめ準備しておいてもよいし、マルチメディア情報ファイルの中に含めて３次元画像データと一緒に送るようにしてもよい。
図１０Ａ〜１０Ｃは、このような枠画像を表示させるために「枠画像データ」を供給する構成を説明するためのブロック図である。
まず、図１０Ａは、画像データ再生装置２００に、「枠画像データ」を予め準備しておく場合の一つの構成の例を示す。図１０Ａは、図３に示した画像データ再生装置２００における３次元表示制御情報解析部２５の構成の詳細を示したものである。
図１０Ａを参照して、３次元表示制御情報解析部２５は、枠画像付加制御部２７と枠画像格納メモリ２８とを備える。枠画像付加制御部２７は、入力された３次元表示制御情報のうち枠表示の有無に関する情報を解析し、枠表示有りとなっている場合には枠画像格納メモリ２８に予め準備されている枠画像をデータ変換部２６へ出力する。データ変換部２６では、３次元画像データにこの枠画像を重畳して表示部２４へと出力する。
図１０Ｂは、枠画像データを再生装置に予め準備しておく場合の別の構成の例を示す。すなわち、図１０Ｂは、図３に示した画像データ再生装置２００における３次元表示制御情報解析部２５の他の構成の詳細を示したものである。
図１０Ｂを参照して、３次元表示制御情報解析部２５は、枠画像付加制御部２７と、枠画像選択部２９と、複数の枠画像格納メモリ２８−１〜２８−３とを備える。
図１０Ｂの例では、枠画像付加制御部２７において枠表示有りと判断された場合には、さらに複数準備されている枠画像のうちどの枠画像を使うかを枠画像選択部２９が判定し、適切な枠画像格納メモリから枠画像データを呼び出してデータ変換部へ出力する。どの枠画像を使うかは３次元表示制御情報の中に枠画像データを示す情報として記述する。図１０Ｂのような場合は、パターン１、パターン２等と記述することで指定することができる。複数の枠画像としてはテクスチャが異なる枠画像、あるいは飛び出し量が異なる立体的な枠画像を用いることができる。このようにすることにより、３次元画像データに応じて適切な枠画像を表示することができる。
また、デフォルトで使用する枠画像を設定しておき、枠表示有りで枠画像データが指定されていない場合あるいはデフォルトの枠画像が指定された場合にはデフォルト設定されている枠画像を用いるようにしてもよい。枠画像データとして指定された枠画像パターンを再生装置が持っていない場合は、デフォルト設定されている枠画像で代用するものとしてもよい。
なお、図１０Ａの場合、準備されている枠画像データが１つしかないため明示的に指定する必要はないが、枠画像データを示す情報として「デフォルト」と記述してもよい。
図１０Ａ、１０Ｂのような形態の場合、枠画像のデータは画像データ再生装置２００内に格納されており、３次元表示制御情報中に記載される情報は、予め用意されている１または複数の枠画像の中からどの枠画像を使用するかを示す選択情報である。
一方、図１０Ｃは、枠画像データがマルチメディア情報ファイルの中に含まれて３次元画像データと一緒に送られる場合において、画像データ再生装置２００における３次元表示制御情報解析部２５の構成の例を示す。
図１０Ｃを参照して、３次元表示制御情報解析部２５は、枠画像付加制御部２７を備える。枠画像付加制御部２７は枠表示有りと判定した場合には、３次元表示制御情報として含まれている枠画像のデータをデータ変換部２６へ送る。すなわち、この例では枠画像データを示す情報として選択情報を記述するのではなく、枠画像データそのものを記述する。このようにすることにより、マルチメディア情報ファイルの送り手が自由に生成した枠画像を付加することができる。
（３次元表示制御情報の他の構成）
以下では、主に上述した図４２Ａおよび４２Ｂに示したパララクスバリア方式あるいはレンチキュラ方式に用いられる３次元画像データをファイル化する際に用いられる３次元表示制御情報の例について説明する。
図４Ａにおける「視差像切替ピッチ」は、図４２Ｂのように異なる視差像のストライプを繰り返し配置する際の切替周期を示すものである。
図１１Ａ〜１１Ｄは、パララクスバリア方式で用いる液晶パネルとパララクスバリアのスリットの位置関係を示す概念図である。
図１１Ａ〜１１Ｄには、３次元画像を表示する液晶パネル１０６を示しているが、ここではＲ、Ｇ、Ｂがまとまって１組となった単位（１０５）をピクセル、Ｒ、Ｇ、Ｂの各エレメントをサブピクセルと呼ぶことにする。すなわち、１ピクセル＝３サブピクセルである。
図１１Ａは、パララクスバリア方式において視差像切替ピッチが１ピクセルである場合を示している。この場合、２ピクセルに対して１つのスリット１０４が割り当てられる。図１１Ｂは、図１１Ａを上から見た図である。図１１Ｂに示すとおり、液晶パネル１０６に表示する像は右目用画像と左目用画像が１ピクセルごとに交互に配置されている。この場合のパララクスバリア１０７のスリット間隔は２ピクセルとなる。
一方、図１１Ｃはパララクスバリア方式において視差像切替ピッチが１サブピクセル（１／３ピクセル）である場合を示している。この場合、２サブピクセルに対して１つのスリット１０４が割り当てられる。図１１Ｄは、図１１Ｃを上から見た図である。図１１Ｄに示すとおり、液晶パネル１０６に表示する像は右目用画像と左目用画像が１サブピクセルごとに交互に配置されている。この場合のパララクスバリア１０８のスリット間隔は２サブピクセルとなる。
図４Ａにおける「サンプリングパターン」は、原画像から水平方向に間引きを行って左目用画像および右目用画像を作る際に、どのような間引き方法を用いたかを示すものである。
このサンプリングパターンには、「色再現性優先方式」と「解像度優先方式」がある。
図１２Ａおよび１２Ｂは、サンプリングパターンを説明するための概念図である。
図１２Ａは、「色再現性優先方式」を示し、図１２Ｂは、「解像度優先方式」を示す。
図１２Ａおよび１２Ｂでは、画像データをＲ０、Ｇ１などの形式で表現しているが、最初のＲ、Ｇ、Ｂは色成分を、それに続く０、１等の数字はピクセルの水平位置を表している。
図１２Ａの色再現性優先方式では、データを半分に間引く際にピクセル単位で間引いている。間引かれて残ったデータは１ピクセルおきにサンプリングされた偶数番号の位置のみのデータとなる。この方式では残ったＲ、Ｇ、Ｂの組は間引き前と変わらないため、色再現性がよい。
一方、図１２Ｂの解像度優先方式では、データを半分に間引く際にサブピクセル単位で間引いている。間引き後はピクセル位置０のデータはＲとＢの成分だけがあり、ピクセル位置１のデータはＧの成分だけがある。間引き前のデータと比較するとＲ、Ｇ、Ｂの組が同じピクセルは存在しないが、間引き後のデータには全てのピクセル位置のデータが少なくとも１つの色成分については含まれている。このため、実感できる解像度は高くなる。このため、例えば斜め線のギザギザが目につきにくくなる。
なお、図１２Ｂの解像度優先方式は視差像切替ピッチがサブピクセル単位であることを前提としているため、図１１Ａに示したような視差像切替ピッチが１ピクセルの場合には、原理的に図１２Ａの色再現性優先方式しか選択できない。
図４Ａにおける「画像配置」は、図４３Ｃに示したように複数の視差像を並べて１枚の画像を構成して伝送記録する際に必要となる情報である。
図１３Ａ〜１３Ｅは、このような１枚の画像を構成するために複数の視差像を並べる画像配置を説明するための概念図である。
水平方向に間引いた左目用画像と右目用画像を横に並べて１枚の画像とする場合、図１３Ａに示すように左目用画像を左側に、右目用画像を右側に配置する形態がまず考えられる。これとは別の形態として、図１３Ｂに示すように左目用画像を右側に、右目用画像を左側に配置することも可能である。
また、垂直方向に間引いた左目用画像と右目用画像を縦に並べて１枚の画像とする場合、図１３Ｃに示すように左目用画像を上に、右目用画像を下に配置することもできるし、図１３Ｄに示すように左目用画像を下に、右目用画像を上に配置することもできる。
したがって、複数の視差像が左右に並んでいるのか上下に並んでいるのか、また、左目用画像が左右あるいは上下のどちら側にあるのかを示す情報を記述することによりこれらを区別する。なお、視点数（視差像の数）は２には限定されない。
また、間引き方向と画像を並べる方向とは独立して考えることができる。すなわち、水平方向に間引いた画像であっても図１３Ｅに示すように上下に並べることも可能である。逆に、間引き方向と画像を並べる方向を連動させることにすれば、どちらかの情報を省略することが可能になる。
ところで、先に説明した間引き方向の情報は左目用画像、右目用画像それぞれに対して独立に設定してもよい。図２２Ａに示した３次元表示制御情報の例では、左目用画像間引き方向として間引きなし、右目用画像間引き方向として水平方向と記述している。このような場合、左目用画像と右目用画像を横に並べた画像は図２２Ｂに示すようになり、左目用画像と右目用画像の大きさが異なる。このようにすることにより、２次元画像のみが表示できる表示部を持つ画像データ再生装置と、３次元画像も表示可能な表示部を持つ画像データ再生装置のどちらにおいても良好な画像再生を行うことができる。すなわち、２次元画像のみが表示できる画像データ再生装置では、図２２Ｂに示す画像データを受け取った場合、左目用画像のみを表示することにより、間引きされていない高解像度の２次元画像を再生することができる。３次元画像が表示可能な画像データ再生装置では、図２２Ｂに示す画像データを受け取った場合、左目用画像を水平方向に間引いて右目用画像と同じ解像度にした後で３次元表示用のデータ変換を行うことにより、図１３Ａに示したような画像データを受信した場合と同様の３次元表示を行うことができる。
図４Ａにおける「反転の有無」は、複数の視差像を並べて１枚の画像を構成する際に、各視差像が反転しているかどうかを示すものである。
図１４Ａおよび１４Ｂは、このような各視差像を反転する構成を説明するための概念図である。
図１４Ａは、左目用画像６１を左側に、右目用画像６２を右側に単に並べた状態である。ここで、右目用画像６２の左右を反転したとすると、図１４Ｂに示すようになる。画像を符号化して記録伝送する場合、類似した特徴を持つ領域は固まっていた方が、符号化効率が向上するケースがある。このため、図１４Ａの画像を符号化するよりも図１４Ｂの画像を符号化した方が符号化効率が高くなることがある。図１４Ｂのような配置とした場合、再生装置２００では右目用画像を再反転して元に戻すことが必要である。
２つの視差像を左右に並べた場合に取り得る状態としては、反転なし、左側画像反転、右側画像反転、両画像反転の４つが考えられる。ここで、左側画像とは左右に並べられた２つの画像のうち、左側の画像であるという定義を用いる。したがって、図１３Ａの並べ方をした場合、左側画像は左目用画像であるが、図１３Ｂの並べ方の場合は左側画像は右目用画像となる。なお、左側画像反転と記述する代わりに左目用画像反転と記述することも可能である。先に説明した画像配置の情報を用いることにより、左目用画像が左右どちらに配置されているかを知ることができるからである。
以上説明したような「３次元表示制御情報」の各項目は、マルチメディア情報ファイルに対して、全てが必須というわけではなく、必要に応じて省略することが可能である。その場合は、どの項目が記載されているかがわかるように別途定めておけばよい。
なお、図４ＡにおけるオブジェクトＩＤは、この位置から情報オブジェクトの単位が始まることを示すとともに、この情報オブジェクトが３次元表示制御情報に関するものであることをも示す。すなわち、このようなオブジェクトＩＤは、マルチメディア情報ファイルが３次元画像制御情報を含む、すなわち３次元画像データを含むことを示す３次元識別情報としても機能する。
一方、図１５に示すように３次元画像制御情報オブジェクトにおけるオブジェクトＩＤとして汎用のＩＤを用いることもできる。この場合は、このＩＤは単にこの位置から情報オブジェクトの単位が始まることだけを示し、その情報オブジェクトに書かれている情報がどのような種類のものかを示す情報はそのオブジェクト内に別途設けられる。図１５ではこの情報オブジェクトが３次元表示制御情報に関するものであることを示す情報として、３Ｄ−００１という３次元識別情報が書かれている。この３Ｄ−００１はあくまでも一例であり、任意の数字や文字列を３次元識別情報として使用することができる。
上記の例では３次元識別情報は３次元画像データを含むことを示すために用いられているが、異なる３次元表示方式に対して異なる３次元識別情報を与えることにより、それらを区別することができる。例えば、パララクスバリア方式用のデータに対して３Ｄ−００１、液晶シャッター方式用のデータに対して３Ｄ−００２を３次元識別情報として与えてもよい。
さらに、３次元識別情報は図１６に示すように、それだけで１つの情報オブジェクトを構成してもよい。この場合、図１９に示すようにマルチメディア情報ファイルが３次元識別情報４１と３次元表示制御情報２を別オブジェクトとして保持してもよい。
なお、マルチメディア情報ファイルが３次元画像データを含むことを示すために、３次元識別情報の代わりに専用の拡張子を用いることができる。例えば、通常の２次元画像データを含むマルチメディア情報ファイルに対して「ｊｐｇ」という拡張子を用いる時、３次元画像データを含むマルチメディア情報ファイルに対して「３ｄａ」という拡張子を用いるようにすることにより、マルチメディア情報ファイルが３次元画像データを含んでいるかどうかを拡張子によって識別することができる。また、異なる３次元表示方式に対して異なる拡張子を定めることにより、それらを区別することができる。例えば、パララクスバリア方式用のデータを含むマルチメディア情報ファイルに対して「３ｄａ」、液晶シャッター方式用のデータを含むマルチメディア情報ファイルに対して「３ｄｂ」を拡張子として用いる。
拡張子によって３次元識別を行う利点は、ファイルの内部を解析することなく、そのファイルが３次元画像データを含んでいるかどうか、あるいはどのような３次元表示方式のデータを含んでいるかを判定できる点にある。例えば、ハードディスク上に多くのマルチメディア情報ファイルが存在する時、自身の端末で再生可能なファイルがどれであるかを素早く見付けることができる。あるいはサーバ上に複数のマルチメディア情報ファイルが存在する時、２次元画像しか再生できない端末が３次元画像をダウンロードしないようにすることが可能になる。
一方、前述の３次元識別情報によって３次元識別を行う場合には、ファイルの中身を書き換えない限りは３次元識別情報が保存されるので、重要な情報である３次元識別情報が容易に改変されにくいという利点がある。
ところで、画像を表示する表示部は２次元表示と３次元表示の切り替えが可能なものを使うことができる。すなわち、図２０に示す画像データ再生装置における表示部４４は、２次元表示、３次元表示の表示モード切り替え機能を有しており、これは自動で切り替え可能な表示手段であっても良い。図３の画像データ再生装置と共通の部分については説明を省略する。図２０の画像データ再生装置は、図１５に示すように３次元識別情報が３次元表示制御情報と同じオブジェクトに含まれる場合に対応するものであり、３次元表示制御情報解析部２５が３次元識別情報の有無を解析し、その有無に従って表示部４４の表示モードを切り替える。すなわち、ここでは３次元表示制御情報解析部２５がファイル種別判定をも行っている。入力されたマルチメディア情報ファイルに３次元識別情報が含まれる場合、前記表示部４４では３次元表示モードで表示し、３次元識別情報が含まれない場合は、表示部４４では２次元表示モードで表示する。
なお、表示部が３次元表示専用である場合は、３次元識別情報を持たないファイルは再生しない、あるいは何らかの２次元／３次元変換を行った上で表示を行うようにすることが可能である。また逆に表示部が２次元表示専用である場合は、３次元識別情報を持つファイルは再生しない、あるいは何らかの３次元／２次元変換を行った上で表示を行うようにすることも可能である。
図１７に示す画像データ再生装置は、図１９に示すように３次元識別情報と３次元表示制御情報が別のオブジェクトとなっている場合に対応するものである。図１７の画像データ再生装置においては、３次元識別情報解析部４５によってマルチメディア情報ファイルに３次元識別情報が含まれているかどうかを解析し、その有無に従って表示部４４の表示モードが切り替わるような構成とする。すなわち、ここでは３次元識別情報解析部４５がファイル種別判定の役割を担っている。
前述のように拡張子によって３次元識別を行う場合には、この２次元表示、３次元表示の切り替えは、拡張子を用いて行うことができる。図２１に示す画像データ再生装置は拡張子によって３次元識別を行う場合の例であり、ファイル種別判定部４６が拡張子を解析した結果により、表示部４４の表示モードおよびデータ変換部２６の変換方法を制御する。
このように、３次元識別情報はマルチメディア情報ファイルが３次元画像データを含むかどうかを判定するために用いられる。画像データの符号化形式は２次元画像であろうと３次元画像であろうと同じ形式を用いることができ、共通の復号器を用いることができるが、その場合、人間であれば復号された画像を見てそれが２次元画像として出力されるべきか３次元画像として出力されるべきかを判断することができるが、再生装置にはその区別がつかない。そのため、再生装置がそれを判定するのに３次元識別情報が必要となるのである。これは２次元画像と３次元画像の区別のみならず、複数ある３次元表示形式のうちのどれが使われているかを判定する場合でも同様である。この判定結果により３次元表示モードと２次元表示モードを自動的に切り替えることが可能になる。
また、図１Ａではマルチメディア情報ファイルの中に３次元表示制御情報が１つだけ含まれているが、３次元画像データが動画像のように複数枚の画像から構成される場合は、各画像データの先頭に１つずつ３次元表示制御情報を付加するような形をとっても良い。或いは、３次元表示制御情報を３次元画像データ中の任意の位置に繰り返し格納するようにしてもよい。
また、動画像を衛星、地上波、インターネットなどの伝送媒体を介し放送するような場合、視聴者が放送の途中から受信、視聴したり、チャンネルの切り替えを行う可能性があるため、３次元表示制御情報を先頭に１つだけ配置するのではなく、図１８に示すように番組配列情報という形で定期的に放送コンテンツの中に挿入することが望ましい。ここで放送コンテンツとは、立体画像データや音声データ、これらの内容に関連したＢＭＬデータなどが多重化された符号化データである。また、番組配列情報の中には画像データや音声データ、ＢＭＬデータなどの互いの関連を示す情報（同期情報）や著作権情報などが含まれ、３次元表示制御情報もここに格納される。なお、３次元表示制御情報は番組配列情報に含めるのではなく、繰り返し３次元画像データ（符号化データ）の中に直接多重化してもよい。このように放送コンテンツ中に３次元表示制御情報あるいは３次元識別情報を繰り返し挿入することにより、番組途中から再生を開始する場合であっても受信データが３次元画像であるかどうか、あるいは３次元画像の場合には３次元表示に必要なパラメータ情報を知ることができる。
以下では、１つのマルチメディア情報ファイルの中に３次元画像データ、２次元画像データおよびページデータなどが、それぞれ少なくとも１つずつ含まれる場合について説明する。ここでページデータとはＨＴＭＬやＢＭＬのようなページ記述言語で記述されたデータである。またページデータに基づいて罫線や表などを描画した画像をページ画像と呼ぶ。マルチメディア情報ファイルには、この他音楽データや他のデータが含まれても良いが、簡略化のため以下では説明を省略する。
このようなマルチメディア情報ファイルでは、含まれる画像データが２次元か３次元かを識別するための情報をファイル中に挿入する必要がある。以下にこれを実現する例を説明する。
図２３は、２次元画像データ（画像データ（２Ｄ））と３次元画像データ（画像データ（３Ｄ））が混在するマルチメディア情報ファイルの構成を示す概念図である。
このようなマルチメディア情報ファイルは、ヘッダ情報および画像データ（３Ｄ）、画像データ（２Ｄ）、ページデータなどのマルチメディアデータから構成される。個々のマルチメディアデータは「モジュール」と呼ばれるブロックに格納される。ヘッダ情報には各モジュールを管理するための情報（ヘッダ補助情報）および各モジュールを再生するためのモジュール付加情報が含まれる。例えば、モジュール１のモジュール付加情報を「モジュール１付加情報」と呼ぶ。モジュール付加情報には画像データ、ページデータ等を区別する情報が含まれる。なお、画像データの場合は画像データを復号するのに用いられるヘッダ制御情報を、各モジュールの先頭に配置する。
図２４は、画面上で、画面の原点を基準として、２次元画像（２Ｄ画像）と３次元画像（３Ｄ画像）とが配置される状態を示す概念図である。
ページデータ中には、図２４に示すように、それぞれの画像データを画面上のどの位置にどのくらいの大きさで配置するかを示す配置情報なども含まれる。なお、画像の配置情報が別途定められている場合、ページデータ中に配置情報は必ずしも含まれない。
再び、図２３を参照して、ヘッダ情報に含まれる上記モジュール付加情報は、マルチメディア情報ファイルに含まれるモジュール数だけあり、各モジュール付加情報とモジュールは１対１に対応付けられる。モジュールに３次元画像データが格納される場合にのみ、既に説明した３次元画像表示制御情報が対応するモジュール付加情報に挿入される。すなわち、図２３に示した例では、モジュールは、３個存在し、このうち、１番目のモジュールには２次元画像データが、２番目のモジュールには３次元画像データが、３番目のモジュールにはページデータがそれぞれ含まれる。ヘッダ情報中の２番目のモジュールに対応するモジュール付加情報には、３次元画像表示制御情報が挿入されている。
このため、モジュール付加情報に上記３次元画像表示制御情報が含まれていれば、対応するモジュールは３次元画像データ、そうでなければ２次元画像データもしくはその他のデータと識別できる。図２３に示した画面の例ではこのようにして２次元画像データと３次元画像データの識別が可能となる。
モジュール付加情報の領域には、モジュール付加情報の実質的な内容を示すデータが含まれていなくとも良いものの、モジュール付加情報の領域そのものは必ず存在するものとする。モジュール付加情報の数とモジュール数が同一で、かつ格納順序も同一とすれば、これによりモジュール付加情報とモジュールとを正しく対応付けることができる。このため、各モジュール付加情報の先頭にはその領域の大きさを表すデータが挿入される。
上記モジュール付加情報の大きさを表すデータは、複数のモジュール付加情報の先頭にまとめて挿入しても良い。また、大きさを表すデータの代わりに領域の境界として識別可能な所定パターンを各モジュール付加情報の間に配置し、これによって領域を確保しても良い。
図２５は、マルチメディア情報ファイルの別の構成を示す概念図である。図２５に示す通り、ここでは先頭にデータサイズや種別などの情報を挿入したマルチメディアデータを複数まとめ、これを１つのモジュールとしている。モジュール付加情報はモジュールに対応するものであるため、モジュール付加情報に含めた情報とモジュール内の個々のマルチメディアデータとを対応させることはできない。そのため、図２５では、複数のマルチメディアデータに加え、それらに対応する個々の付加情報を１つのモジュールにまとめている。個々のマルチメディアデータに対応する上記付加情報は、実質的な内容を示すデータが含まれていなくとも良いが、個々の領域そのものは必ず存在するものとする。上記付加情報の数とマルチメディア情報数が同一で、かつ格納順序も同一とすれば、個々のマルチメディアデータと付加情報を対応付けられる。
これによって、上記付加情報に３次元画像表示制御情報を含めることで２次元画像データと３次元画像データの識別が可能となる。
図２６Ａおよび２６Ｂは、マルチメディア情報ファイルのさらに別の構成を示す概念図である。
すなわち、３次元画像表示制御情報にモジュール内のマルチメディアデータを指し示す識別子を含め、これにより画像データと前記３次元表示制御情報とを対応させるものである。図２６Ａでは、モジュール内の各マルチメディアデータに対して識別子番号を付与しておき、モジュール付加情報の領域に格納した３次元画像表示制御情報に、３次元画像データの識別子を含めている。このように構成することで、２次元画像データと３次元画像データの識別が可能となる。また、モジュール内に複数の３次元画像データが含まれる場合、図２６Ｂに示すように複数の３次元画像表示制御情報をモジュール付加情報領域に含めることで、モジュール内の２次元画像と３次元画像を識別することが可能となる。
図３１は、マルチメディア情報ファイルのさらに別の構成を示す概念図である。
すなわち、図３１に示すように、３次元画像表示制御情報に複数の識別子を含めることで、２次元画像と３次元画像データとを識別することが可能である。
なお、図２６Ａ、２６Ｂ、図３１においては、モジュールが１つの場合を例示しているが、モジュールはマルチメディア情報ファイルに複数含まれていても良い。この場合、複数のモジュールに含まれる３次元画像データを相互に識別可能なように識別子が付与されているものとする。
ここで、１つのモジュール内に格納される画像データの全てが３次元画像データの場合、対応する３次元画像表示制御情報全てを格納する代わりに例えば識別子番号＝０の３次元画像表示制御情報を１つだけ格納する形としても良い。すなわち、マルチメディアデータの識別子番号は１以上の整数と定義しておき、識別子番号＝０はモジュール内の全画像が３次元画像であるとしておく。この場合、複数の３次元画像表示制御情報を格納しなくて済むため、全体の符号量が少なくなる。
また、これまではマルチメディアデータに識別子を付与した例を説明したが、図２３で示すように１モジュール＝１マルチメディアデータの場合に、モジュールに識別子を付与しても良い。この場合、図２３の「モジュール１付加情報」〜「モジュール３付加情報」の部分を図２６Ａの「モジュール１付加情報」の中身で置き換えることで、同様に２次元画像データと３次元画像データを識別することが可能となる。また、図２３の「モジュール１付加情報」〜「モジュール３付加情報」の部分を図３１の「モジュール１付加情報」の中身で置き換えることで同様にマルチメディア情報ファイルに含まれる画像データが全て３次元画像データか否かを識別することが可能となる。
なお、上記ではマルチメディア情報ファイルについて述べたが、本発明はファイルに限定されるものではなく、通信、放送などの伝送フォーマット、もしくは他の目的に使用されるデータフォーマットにも適用可能なのは明らかである。
図３０は、本発明のマルチメディア情報生成装置の他の例である画像データ記録装置１００の別の構成を示すブロック図である。
すなわち、図３０は、図２で説明した画像データ記録装置１００のファイル生成部１２の入力に２次元画像データの入力およびページデータの入力が追加されたものである。３次元表示制御情報生成部１１の構成は、図２に示したものと同一であるため、説明を省略する。
図３２は、図３０に示した画像データ記録装置１００の処理のフローを説明するためのフローチャートである。
図３０および図３２を参照して、画像データ記録装置１００は、外部から、マルチメディア情報生成のために必要なパラメータ、３次元画像データ、２次元画像データ、ページデータを受け取り（ステップＳ１０２）、３次元表示制御情報生成部１１は、外部から受け取った画像データに３次元画像データが含まれる場合（ステップＳ１０４）、３次元制御情報を生成する（ステップＳ１０６）。ファイル生成部１２は、３次元表示制御情報と３次元画像データ、２次元画像データおよびページデータを受け取り、既に説明したモジュール付加情報を含むヘッダ情報を生成し（ステップＳ１０８）、図２３、図２５，図２６Ａ，２６Ｂ，図３１に示したような、各々が３次元画像データ、２次元画像データ、ページデータのうちの少なくとも１つを含むモジュールを生成することにより、マルチメディア情報ファイルを生成し出力する（ステップＳ１１０）。なお、上記では入力として、３次元画像データ、２次元画像データおよびページデータの３つの場合を説明したが、入力は最低１つあれば良い。また、逆に３つ以上の入力があっても良い。
このようにマルチメディア情報ファイルを構成することで、２次元画像データと３次元画像データが混在するマルチメディア情報を効率良く蓄積、伝送、管理することが可能となる。
次に、図２７は、前述した１つのマルチメディア情報ファイルの中に３次元画像データ、２次元画像データおよびその配置情報が含まれる場合の画像データ再生装置の構成を説明するための概略ブロック図である。
図２７に示す画像データ再生装置は、分離部５０と、複数のデータ再生部２３と、ページデータ復号部５１と、制御情報解析部５２と、スイッチ５６、５７と、２次元画像合成部５３、３次元画像合成部５５、２Ｄ／３Ｄ変換部５４と、データ変換部２６と表示部４４とから成る。データ変換部２６および表示部４４については、図１７に示す画像データ再生装置で既に説明しているため、説明を省略する。
分離部５０は、入力された上記マルチメディア情報ファイルを分離し、ヘッダ情報は制御情報解析部５２へ、画像データはデータ再生部２３へ、ページデータはページデータ復号部５１へ出力する。
制御情報解析部５２は、ヘッダ情報を解析し、各モジュール付加情報に３次元画像表示制御情報が含まれるか否かを判定し、その判定結果に応じてスイッチ５６を２Ｄ側、もしくは３Ｄ側に倒す。また、３次元画像表示制御情報をデータ再生部２３に入力する。
データ再生部２３は、３次元画像表示制御情報が入力されればその値を用いて３次元画像を再生し、そうでなければ２次元画像を再生する。
ページデータ復号部５１は、入力されたページデータを復号し、ページ画像を出力すると共に、それぞれの画像データの配置情報を解析し、２次元画像合成部及び３次元画像合成部へ出力する。なお、ページデータはマルチメディア情報ファイルに必須のものでは無い為、ページデータ復号部５１は無くとも良い。この場合、ページデータに含まれる配置情報は別途定められる。
２次元画像合成部５３では、入力された配置情報を元に、ページ画像と上記再生された２次元画像の合成を行う。
上記マルチメディアデータ情報が３次元画像を含む時、スイッチ５７を２Ｄ／３Ｄ変換部側に倒し、表示部４４は３次元表示を行い、３次元画像を含まない時、スイッチ５７を表示部側に倒し、表示部４４は２次元表示を行う。
２Ｄ／３Ｄ変換部５４は、上記合成された２次元画像データから３次元画像データを生成する。生成方法については後述する。
３次元画像合成部５５では、入力された配置情報を元に、上記３次元画像の合成を行う。
図２８は、２Ｄ／３Ｄ変換部５４の動作を説明するための概念図である。図２８に示すとおり、入力された２次元画像データは水平方向の解像度が半分になるように間引きかれる。該間引かれた画像を複製し２つの画像を生成し、一方を右画像、他方を左画像とする。以上では、水平方向の解像度を半分に間引きした例を説明したが、表示に必要となる３Ｄ画像データの解像度は画像データ再生装置が備える３Ｄ表示デバイスによって異なるため２Ｄ／３Ｄ変換部の動作はこれに限定されない。例えば、時分割方式では、奇数ラインのデータを用いて一方の画像が生成され、偶数ラインのデータを用いて他方の画像が生成される。
前記ページデータ復号部５１はページデータに文字情報が含まれる場合、文字情報に対応するフォントイメージをＲＯＭなどの記憶媒体から読み出し、これを展開してページ画像に貼り付ける。前記フォントイメージはビットマップデータであってもよいし、ベクトルデータであってもよい。
図３３Ａは図２７のページデータ復号部５１のより詳細なブロック図である。前記ページデータ復号部５１はページデータを復号してページ画像を生成するページ生成部６７およびフォントイメージを蓄積するフォントイメージ蓄積部６８から構成される。ページ生成部６７は分離部５０から入力されたページデータを復号し、表や罫線などからなるページ画像を生成すると伴に、ページデータ中で指定のフォントイメージをフォントイメージ蓄積部６８から読み出して展開し、ページ画像に貼り付ける。
図３５は前記ページデータ復号部５１と前記２Ｄ／３Ｄ変換部５４を経て、前記フォントイメージ蓄積部６８から読み出したフォントイメージがどのように変化するかを概念的に示したものである。既に説明したように前記２Ｄ／３Ｄ変換部は入力された画像データの水平解像度を半分に間引き、これを複製することで立体画像を生成する。
ここで２Ｄ／３Ｄ変換部５４で入力された２Ｄページデータの文字情報は図３５に示すように、奇数列のみを用いて水平方向を半分にする間引き処理によりフォントの一部の線が消滅し、文字として解読できなくなってしまう場合がある。これを避けるため、前記フォントイメージ蓄積部から読み出されるフォントは、間引き処理を行ってもフォントの一部が消滅しないように構成しなければならない。このようなフォントイメージを以降３Ｄフォントと呼ぶことにする。３Ｄフォントは、前記のように間引き処理を行ってもフォントの一部が消滅したため文字として解読できなくならないという条件さえ満たせばゴシック体などの太いフォントをそのまま使用できる場合がある。また、明朝体など細いフォントに後述の特別の処理を施すことによっても生成することが出来る。
次に、図３６、図３７Ａ〜３７Ｃおよび図４０を用いて３Ｄフォントを生成する方法を説明する。
図４０は、３Ｄフォントを作成する方法を概念的に示したものである。同図に示すように一旦、水平方向を半分に縮小し、各ピクセルを水平方向に２回ずつ繰り返して拡大することで３Ｄフォントを生成できる。
図３７Ａ〜３７Ｃは、３Ｄフォントの別の作成方法を説明する為の図である。同図Ａ、Ｂ、Ｃはそれぞれ前記縮小方法の別の例を示している。図中、白いマスはピクセルの値が０、黒いマスはピクセルの値が０以外の値ｋ、灰色のマスはピクセルの値が０以外でｋ未満の値ｍであることを表す。また、同図（１）〜（２）はそれぞれの縮小方法に対し、水平方向に隣り合う２ピクセルの値の組み合わせと、そこから縮小処理により生成されるピクセル値との関係を表している。
図３７Ａに示す縮小方法は、前記２ピクセルのうち少なくとも一方がｋである場合に縮小されたピクセルもｋにする方法である。図４０の手順Ａがこの方法で縮小、拡大したフォントの例である。この方法によれば、文字を構成するピクセル全てが消滅しないように構成されている為、間引き時に奇数列もしくは偶数列の一方が削除されても他方が保存される。このため２Ｄ／３Ｄ変換処理を行っても文字の一部が欠けることを回避できる。
図３７Ｂに示す縮小方法は、縮小後のピクセル値として前記隣り合う２つのピクセル値の間の値を取る方法である。状態（１）では隣接する２ピクセルの値が両方とも０であるため縮小後のピクセルの値を０とする。隣接する２つのピクセル値のどちらか一方が０で、もう一方がｋである状態（２）または状態（３）の場合は、縮小後のピクセルの値を０とｋの間の値ｍとする。隣接する２つのピクセルの値が両方ともｋである状態（４）ならば、縮小後のピクセル値もｋとする。前記ｍが前記ｋよりも小さい為、フォントが太くなっているにもかかわらずフォントの線を見かけ上細くすることが可能となる。例えば、前記ｋが１００の時、前記ｍの値として、例えばｍ＝ｋ／２である５０を用いれば良い。図４０の手順Ｂがこの方法で縮小、拡大したフォントの例である。太さが１の時にｍ＝２／ｋにすると、フォントが暗くなりすぎる時には、あらかじめフォントイメージ毎に太さｔを指定しておき、図３６に示すように太さが１に近い時、すなわちｔが１に近い時にｍがｋに近づくような関数を用いても良い。
図３７Ｃに示す縮小方法は、状態（１）および（４）に関する変換は前記図３７Ｂに示す縮小方法と同じであるが、前記２画素の左側のピクセルの値のみがｋである状態（２）の時にはｍに、右側のピクセルの値のみがｋである状態（３）の時にはｎに、それぞれ縮小後のピクセルの値を決める方法である。ここで、ｎはｍとは異なる０とｋの間の値である。これにより、フォントイメージの見え方を前記図３７Ｂに示す方法よりも更に細かく制御できる。
これまでに説明した方法で２Ｄフォントから生成した３Ｄフォントや、１から生成した３Ｄフォントをあらかじめ図３３Ｂのフォントイメージ蓄積部６８に備えて、３Ｄ表示時に３Ｄフォントを選択して読み出しても良いが、フォントイメージを読み出す際に変換しても良い。
図３３Ｃは、フォントイメージを読み出す際に変換するように構成した場合のページデータ復号部の詳細な構成を示したブロック図である。このページデータ復号部は、図３３Ｂのページデータ復号部にフォント変換部６９が加えられている。
ページ生成部は、ページデータを復号する際、フォントイメージ蓄積部から読み出した２Ｄ表示用のフォントイメージから、前記フォント変換部６９にて３Ｄフォントに変換し、これを用いてページ画像を生成する。このように構成することにより、２Ｄ、３Ｄ用のフォントイメージを別々に蓄積することなく、２Ｄ表示、３Ｄ表示のいずれも可能な装置の場合でも記憶領域を削減できる利点がある。
これまでの実施例では、図３８Ａのように文字情報の復号・展開は図２７のページデータ復号部５１にて行ったが、図３８Ｂのように文字情報の展開をページデータ復号部５１でする代わりに、２Ｄ／３Ｄ変換部５４にて行う例を示す。これまでの実施例とはページデータ復号部５１および２Ｄ／３Ｄ変換部５４の構成が異なる。ここでは図示しないがページデータ復号部５１は図３３Ａ〜３３Ｃにおいてページ生成部６７のみで構成される。
図３４の２Ｄ／３Ｄ変換部は、入力されたページ画像を水平方向に縮小する間引き処理部７０と、縮小されたページ画像から立体表示に必要な左右の画像を生成する左右画像複製部７１および左右画像生成時に用いるフォントイメージを蓄積するフォントイメージ蓄積部７２とフォントイメージを貼り付けるフォントイメージ貼付部７３とから構成される。
間引き処理部７０の動作はすでに２Ｄ／３Ｄ変換部の動作説明時に詳細に説明しているため、以後の説明は省略する。
前記左右画像複製部は、間引きされたページ画像を複製することで左右の画像を生成し、合わせて入力された文字情報を復号し、右目用、左目用それぞれのフォントイメージを前記フォントイメージ蓄積部７２から読み出して貼り付ける。なお、読み出されるフォントイメージは元のフォントイメージから前記間引き処理部７０と同一の方法で間引かれたものである。
右目用、左目用のフォントイメージを左右の画像それぞれに貼り付けることによって、左右のフォントの視差量を微妙に変えることが可能となり、３Ｄディスプレイ上で文字の飛び出しを制御することも可能である。
図３９Ａ〜３９Ｃは２Ｄ／３Ｄ変換部にてフォントを展開する場合の別の実施例を説明するための概念図である。
図３９Ａは、右目用もしくは左目用フォントイメージのいずれか一方のみを右画像、左画像に貼り付ける場合を表している。こうすることで、右もしくは左の一方にのみ文字情報が存在する為、輝度が高くなりすぎないという効果がある。
また図３９Ｂに示すように、間引き処理を行っていないフォントイメージを右画像、左画像それぞれにあるいは一方に貼り付けても良い。この場合、フォントイメージの３Ｄ表示では文字の大きさが倍になるが、縮小を行わないので、細いフォントであってもそのまま使用でき、さらに縮小にかかわる処理が発生しないという利点がある。
また、図３９Ｃに示すように、読み出された文字情報のピクセルの値を偶数列、奇数列毎に集めて、水平方向に半分に縮小したフォントを作成し、２Ｄ／３Ｄ変換部でコピーした左右画像にそれぞれ貼り付けても良い。こうすることで間引きにより情報が削除されることなく、また輝度も保存できる。この場合、例えば左画像にフォントイメージの偶数列のみのデータを、右画像に奇数列のみのデータを貼り付ければ良い。
また、右目用および左目用フォントイメージは同一のものであっても良い。この時貼り付けるフォントイメージは水平方向２分の１のものをフォント蓄積部に蓄積することによって、記憶容量を削減することもできる。両眼視差を調整し、フォントイメージの飛び出しを制御することも出来る。
図２９Ａおよび２９Ｂは、３次元画像データの合成時に配置情報がどのように使用されるかを示した概念図である。
図２９Ａに示すように、３次元画像データの配置情報が（Ｘ，Ｙ）と指定される場合、３次元画像合成部５５では、図２９Ｂに示すように左右の画像それぞれに対し、（Ｘ／２，Ｙ）の位置に合成すれば良い。この座標変換方法は、先の場合と同様、画像データ再生装置が備える３次元（３Ｄ）デバイスによって異なるため、本実施例の記載はあくまでも一例である。
また、表示部４４が表示領域の所望の部分を２次元表示モードにできる場合は、２Ｄ／３Ｄ変換部５４は不要であり、直接２次元画像データを表示部の２次元表示モードにした部分に入力すれば良い。
以上のように画像データ再生装置を構成することで、２次元画像と３次元画像が混在したマルチメディア情報ファイルを適切に表示することができる。
以上説明したとおり、本発明によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、３次元画像データと共に、３次元画像データを表示するための３次元画像表示制御情報をマルチメディア情報ファイルとして記録または構成するので、３次元画像データに汎用性を持たせ、１種類のマルチメディア情報ファイルで様々な３次元表示方式に柔軟に対応することが可能となる。
本発明のマルチメディア情報再生装置によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、マルチメディア情報ファイル中に含まれる３次元画像表示制御情報を解析することにより、３次元画像データと２次元画像データを表示方法に合わせて適切に変換し、正しく表示することが可能となる。
この発明を詳細に説明し示してきたが、これは例示のためのみであって、限定となってはならず、発明の精神と範囲は添付の請求の範囲によってのみ限定されることが明らかに理解されるであろう。
【図面の簡単な説明】
図１Ａ〜１Ｃは、本発明の実施の形態において生成されるマルチメディア情報ファイルの構造を示す図である。図１Ａは、マルチメディア情報ファイルの構成を示し、図１Ｂは、各オブジェクトの構成を示し、図１Ｃは、３次元画像データの構造の一例を示す。
図２は、本実施の形態における画像データ記録装置１００の構成を示すブロック図である。
図３は、画像データ再生装置２００の構成を説明するためのブロック図である。
図４Ａ〜４Ｃは、３次元表示制御情報２に記述する具体的な情報を説明するための概念図である。図４Ａは、３次元表示制御情報２に記述する具体的な情報を示し、図４Ｂは、音声と左目用画像と右目用画像のストリームを示し、図４Ｃは、間引き方向に対応するテーブルを示す。
図５Ａ〜５Ｃは、「視点数」および「視点位置」を説明するための概念図である。図５Ａは、２眼式の例を示し、図５Ｂと図５Ｃは６眼式の例を示す。
図６は、６眼式の場合において、視点位置と対応するストリームの記述の例を示す概念図である。
図７Ａは、左目用画像と右目用画像が同じストリームとなっている場合において、視点位置と対応するストリームの記述の例を示す概念図であり、図７Ｂは、多重化データを示す図である。
図８Ａ〜８Ｃは、「カメラ配置」の他の構成例を示す概念図である。図８Ａおよび図８Ｂは、集中型の例を示し、図８Ｃは発散型の例を示す。
図９Ａおよび９Ｂは、枠画像の構成を説明するための概念図である。図９Ａは、枠画像を表示しない状態を示し、図９Ｂは、枠画像を表示した状態を示す。
図１０Ａ〜１０Ｃは、枠画像を表示させるために「枠画像データ」を供給する構成を説明するためのブロック図である。
図１１Ａ〜１１Ｄは、パララクスバリア方式で用いる液晶パネルとパララクスバリアのスリットの位置関係を示す概念図である。
図１２Ａおよび１２Ｂは、サンプリングパターンを説明するための概念図である。
図１３Ａ〜１３Ｅは、１枚の画像を構成するために複数の視差像を並べる画像配置を説明するための概念図である。
図１４Ａおよび１４Ｂは、各視差像を反転する構成を説明するための概念図である。
図１５は、３次元画像制御情報オブジェクトにおけるオブジェクトＩＤとして汎用のＩＤを用いる場合を示す図である。
図１６は、３次元識別情報を示す図である。
図１７は、画像データ再生装置の第１の変形例を示すブロック図である。
図１８は、番組配列情報という形で定期的に放送コンテンツの中に挿入される３次元識別情報を示す図である。
図１９は、マルチメディア情報ファイルの構成を示す図である。
図２０は、画像データ再生装置の第２の変形例を示すブロック図である。
図２１は、画像データ再生装置の第３の変形例を示すブロック図である。
図２２Ａおよび２２Ｂは、３次元表示制御情報および左目用画像と右目用画像を横に並べた画像データを示す概念図である。
図２３は、２次元画像データと３次元画像データが混在するマルチメディア情報ファイルの構成を示す概念図である。
図２４は、画面上で、画面の原点を基準として、２次元画像（２Ｄ画像）と３次元画像（３Ｄ画像）とが配置される状態を示す概念図である。
図２５は、マルチメディア情報ファイルの別の構成を示す概念図である。
図２６ＡおよびＢは、マルチメディア情報ファイルのさらに別の構成を示す概念図である。
図２７は、１つのマルチメディア情報ファイルの中に３次元画像データ、２次元画像データおよびその配置情報が含まれる場合の画像データ再生装置の構成を説明するための概略ブロック図である。
図２８は、２Ｄ／３Ｄ変換部５４の動作を説明するための概念図である。
図２９Ａおよび２９Ｂは、３次元画像データの合成時に配置情報がどのように使用されるかを示した概念図である。
図３０は、本実施の形態における画像データ記録装置１００の別の構成を示すブロック図である。
図３１は、マルチメディア情報ファイルのさらに別の構成を示す概念図である。
図３２は、図３０に示した画像データ記録装置１００の処理のフローを説明するためのフローチャートである。
図３３Ａ〜３３Ｃは、本実施の形態におけるページデータ復号部の詳細なブロック図である。
図３４は、本実施の形態における２Ｄ／３Ｄ変換部の詳細なブロック図である。
図３５は、フォントイメージを２Ｄ／３Ｄ変換する概念図である。
図３６は、フォントの太さと輝度の関係の実施の一例を描画した図である。
図３７Ａ〜３７Ｃは、隣接するピクセルの状態とそれらの変換例を表す図である。
図３８Ａおよび３８Ｂは、本実施の一形態におけるフォントイメージの貼りつけの概念図である。
図３９Ａ〜３９Ｃは、本実施の一形態におけるフォントイメージの貼りつけの概念図である。
図４０は、３Ｄフォントを生成する手順の概念図である。
図４１は、２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。
図４２Ａおよび４２Ｂは、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
図４３Ａ〜４３Ｃは、「レンチキュラ方式」の記録データ形式の一例を示す概念図である。

【０００３】
る場合に限っても、左目用画像と右目用画像を別々のシーケンスとして記録することもできるし、図４３Ｃのような左目用画像と右目用画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、図４２Ｂのような左目用画像と右目用画像のペアがストライプ状に並んだ合成画像を記録することもでき、当然記録形式が違えばその後表示するための処理方法も異なるが、記録されたデータからはどの形式で記録されたかを知ることができないため、第三者がそのデータを手にした時、どのような処理によって表示すればよいのかがわからないという問題がある。
発明の開示
本発明の目的は、３次元表示のための画像データに汎用性を持たせたマルチメディア情報生成装置を提供することにある。
本発明の他の目的は、３次元表示のための画像データに汎用性を持たせたマルチメディア情報を再生するためのマルチメディア情報再生装置を提供することにある。
上記目的を達成するため、本発明のある局面に従うと、１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像を含むマルチメディア情報を生成するマルチメディア情報生成装置であって、３次元画像の表示を制御する制御情報を生成する制御情報生成部と、１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像と制御情報とを含むマルチメディア情報を生成するマルチメディア情報生成部とを備え、１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像は、合成するためのデータである。
この発明の他の局面に従うと、複数のモジュールから成るマルチメディア情報を生成するマルチメディア情報生成装置であって、１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像を含むモジュールを生成するモジュール生成部と、モジュールは、３次元画像の表示を制御する制御情報を含み、１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像は、合成するためのデータである。
好ましくは、制御情報は、個々の３次元画像に対応して存在する。
好ましくは、制御情報は、複数の３次元画像に対応して存在する。
好ましくは、少なくとも２次元画像および３次元画像の各々を区別する識別子をあらかじめ設定し、制御情報は、３次元画像の識別子を示す識別情報を含む。
好ましくは、少なくとも２次元画像および３次元画像の各々を区別す

【０００４】
る識別子をあらかじめ設定し、制御情報は、３次元画像の識別子を示す識別情報を含む。
好ましくは、制御情報は、複数の識別子を含む。
好ましくは、識別子の所定の値は、マルチメディア情報に含まれる画像が全て３次元画像であることを示す。
好ましくは、識別子の所定の値は、モジュールに含まれる画像が全て３次元画像であることを示す。
したがって、この発明によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、３次元画像データと共に、３次元画像データを表示するための３次元画像表示制御情報をマルチメディア情報ファイルとして記録または構成するので、３次元画像データに汎用性を持たせ、１種類のマルチメディア情報ファイルで様々な３次元表示方式に柔軟に対応することが可能となる。
この発明のさらに他の局面に従うと、１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像を含むマルチメディア情報を再生するマルチメディア情報再生装置であって、２次元画像もしくは文字情報から３次元画像を生成する生成部と、生成部で生成された３次元画像と、マルチメディア情報に含まれる３次元画像を合成する第１の合成部を備える。
好ましくは、マルチメディア情報再生装置は、複数の２次元画像を合成する第２の合成部をさらに備え、生成部は、２次元画像もしくは文字情報の代わりに第２の合成部で合成された２次元画像データから３次元画像データを生成する。
したがって、この発明によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、マルチメディア情報ファイル中に含まれる３次元画像表示制御情報を解析することにより、３次元画像データと２次元画像データとを表示方法に合わせて適切に変換し、正しく表示することが可能となる。
また、上記目的を達成するため、本発明の他の局面に従うと、１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像を複数個含むマルチメディア情報を再生するマルチメディア情報再生装置であって、マルチメディア情報に含まれる図形および文字情報を復号しページ画像を得るページデータ復号部と、ページ画像を３次元画像に変換

【書類名】 明細書
【特許請求の範囲】
【請求項１】 １つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像を含むマルチメディア情報を生成するマルチメディア情報生成装置であって、
前記３次元画像の表示を制御する制御情報を生成する制御情報生成部と、
前記１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像と前記制御情報とを含む前記マルチメディア情報を生成するマルチメディア情報生成部とを備え、前記１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像は、合成するためのデータである、マルチメディア情報生成装置。
【請求項２】 複数のモジュールから成るマルチメディア情報を生成するマルチメディア情報生成装置であって、
１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像を含む前記モジュールを生成するモジュール生成部と、
前記モジュールは、前記３次元画像の表示を制御する制御情報を含み、前記１つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像は、合成するためのデータである、マルチメディア情報生成装置。
【請求項３】 前記制御情報は、個々の３次元画像に対応して存在する、請求項１または２に記載のマルチメディア情報生成装置。
【請求項４】 前記制御情報は、複数の３次元画像に対応して存在する、請求項１または２に記載のマルチメディア情報生成装置。
【請求項５】 少なくとも前記２次元画像および前記３次元画像の各々を区別する識別子をあらかじめ設定し、前記制御情報は、前記３次元画像の識別子を含む、請求項１に記載のマルチメディア情報生成方法。
【請求項６】 少なくとも前記２次元画像および前記３次元画像の各々を区別する識別子をあらかじめ設定し、前記制御情報は、前記３次元画像の識別子を含む、請求項２に記載のマルチメディア情報生成装置。
【請求項７】 前記制御情報は、複数の識別子を含む、請求項５または６に記載のマルチメディア情報生成装置。
【請求項８】 前記識別子の所定の値は、前記マルチメディア情報に含まれる画像が全て３次元画像であることを示す、請求項５または６に記載のマルチメディア情報生成装置。
【請求項９】 前記識別子の所定の値は、前記モジュールに含まれる画像が全て３次元画像であることを示す、請求項５に記載のマルチメディア情報生成装置。
【請求項１０】 １つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像を含むマルチメディア情報を再生するマルチメディア情報再生装置であって、
前記２次元画像もしくは文字情報から３次元画像を生成する生成部と、
前記生成部で生成された３次元画像と、前記マルチメディア情報に含まれる３次元画像を合成する第１の合成部を備える、マルチメディア情報再生装置。
【請求項１１】 複数の２次元画像もしくは文字情報を合成する第２の合成部をさらに備え、
前記生成部は、前記２次元画像もしくは文字情報の代わりに前記第２の合成部で合成された２次元画像データから３次元画像データを生成する、請求項１０に記載のマルチメディア情報再生装置。
【請求項１２】 １つ以上の２次元画像もしくは文字情報および１つ以上の３次元画像を複数個含むマルチメディア情報を再生するマルチメディア情報再生装置であって、
前記マルチメディア情報に含まれる図形および文字情報を復号しページ画像を得るページデータ復号部と、
前記ページ画像を３次元画像に変換する２Ｄ／３Ｄ変換部と、
前記２Ｄ／３Ｄ変換部で生成された３次元画像と前記マルチメディア情報に含まれる３次元画像とを合成する第１の合成部とを備える、マルチメディア情報再生装置。
【請求項１３】 複数の２次元画像を合成する第２の合成部をさらに備え、
前記２Ｄ／３Ｄ変換部は、前記第２の合成部で合成された２次元画像データを３次元画像データに変換する、請求項１２に記載のマルチメディア情報再生装置。
【請求項１４】 文字情報に対応した第１のフォントイメージと第２のフォントイメージを備え、文字情報を３次元表示する際に、前記第１のフォントイメージを用い、文字情報を２次元表示する際に前記第２のフォントイメージを用いる、請求項１２または１３に記載のマルチメディア情報再生装置。
【請求項１５】 前記ページデータ復号部において、第１または第２のフォントイメージを用いてページ画像を得る、請求項１４に記載のマルチメディア情報再生装置。
【請求項１６】 前記２Ｄ／３Ｄ変換部において、第１または第２のフォントイメージを用いて３次元画像を得る、請求項１４に記載のマルチメディア情報再生装置。
【請求項１７】 前記第１および第２のフォントイメージを蓄積するフォントイメージ蓄積部と、
第１または第２のフォントイメージを選択するスイッチと、
をさらに備える、請求項１５または１６に記載にマルチメディア情報再生装置。
【請求項１８】 第２のフォントイメージを第１のフォントイメージに変換するフォント変換部をさらに備える、請求項１５または１６に記載にマルチメディア情報再生装置。
【請求項１９】 前記第１のフォントイメージは複数の濃淡情報から成り、文字の太さが見かけ上細くなるように配置されている、請求項１４に記載のマルチメディア情報再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、３次元表示するための画像データをファイルに生成する際に画像データに属性情報を付随させるマルチメディア情報生成装置、そのデータを再生するマルチメディア情報再生装置に関するものである。
【０００２】
【従来の技術】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左目用画像と右目用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。
【０００３】
図４１は、この２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。
【０００４】
この時分割方式では、図４１のように、左目用画像と右目用画像が垂直１ラインおきに交互にならんだ形に配置し、左目用画像を表示するフィールドと右目用画像を表示するフィールドを交互に切り替えて表示するものである。左目用画像及び右目用画像は通常の２次元表示時に比べて垂直解像度が半分になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左目用画像が表示されている時は左目側が開いて右目側が閉じ、右目用画像が表示されている時は左目側が閉じて右目側が開く。このようにすることにより左目用画像は左目だけで、右目用画像は右目だけで観察されることになり、立体視を行うことができる。
【０００５】
図４２Ａおよび４２Ｂは、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
【０００６】
図４２Ａは、視差が生じる原理を示す図である。一方、図４２Ｂは、パララクスバリア方式で表示される画面を示す図である。
【０００７】
図４２Ｂに示すような左目用画像と右目用画像のペアがストライプ状に並んだ画像を、図４２Ａに示すように、画像表示パネル９１に表示し、この画像に対応した間隔でスリットを持ついわゆるパララクスバリア９２をその前面に置くことにより、左目用画像は左目９３だけで、右目用画像は右目９４だけで観察することにより立体視を行う。
【０００８】
ところで、特開平１１−４１６２７号公報において、パララクスバリア方式と同様の原理に基づくレンチキュラ方式の３次元表示に用いる記録データ形式の一例が開示されている。
【０００９】
図４３Ａおよび４３Ｂは、このような「レンチキュラ方式」の記録データ形式の一例を示す概念図である。
【００１０】
すなわち、図４３Ａに示す左目用画像１０１と図４３Ｂに示す右目用画像１０２から、それぞれを間引きして図４３Ｃに示す１枚の混合画像１０３を作って記録し、再生時にはこの混合画像１０３を並べ替えることにより図４２Ｂに示したような合成画像が作成される。
【００１１】
上記の２眼式の例に限らず、３次元画像を表示するには様々な方法があり、一般的に異なる表示方式間での記録データの互換性はない。
【００１２】
例えば、時分割方式用に記録されたデータをそのままパララクスバリア方式の３次元ディスプレイに表示することはできない。従って、従来の３次元表示システムにおいては、最初から表示方法を固定したデータ記録が行われており、記録データに汎用性を持たせることは考えられていない。例えば、パララクスバリア方式の３次元ディスプレイを使うと決めたら、そのディスプレイに表示するためのデータを記録媒体に記録するのだが、他の方式のディスプレイに表示する可能性などは考えられていないため、記録データがパララクスバリア方式のためのデータだという情報はファイル上に記録されない。
【００１３】
表示方式以外にも視点数や間引き方法など、３次元表示に必要な情報はいろいろあるが、表示形式を１つに固定してしまっているためにそれらの情報もファイルには記録されない。いつも同じ形式を使うなら、あえてその情報を記録する必要がないからだが、このために記録データの汎用性が著しく損なわれている。例えば、パララクスバリア方式（あるいはレンチキュラ方式）用のデータを記録する場合に限っても、左目用画像と右目用画像を別々のシーケンスとして記録することもできるし、図４３Ｃのような左目用画像と右目用画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、図４２Ｂのような左目用画像と右目用画像のペアがストライプ状に並んだ合成画像を記録することもでき、当然記録形式が違えばその後表示するための処理方法も異なるが、記録されたデータからはどの形式で記録されたかを知ることができないため、第三者がそのデータを手にした時、どのような処理によって表示すればよいのかがわからないという問題がある。
【００１４】
【発明が解決しようとする課題】
本発明の目的は、３次元表示のための画像データに汎用性を持たせたマルチメディア情報生成方法を提供することにある。
【００１５】
本発明の他の目的は、３次元表示のための画像データに汎用性を持たせたマルチメディア情報を再生するためのマルチメディア情報再生装置を提供することにある。
【００１６】
上記目的を達成するため、本発明のある局面に従うと、２次元画像および／または３次元画像を複数個含むマルチメディア情報を生成するマルチメディア情報生成方法であって、マルチメディア情報に３次元画像データが含まれる場合、マルチメディア情報は、３次元画像の表示を制御する制御情報を含む。
【００１７】
【課題を解決するための手段】
この発明の他の局面に従うと、複数のモジュールから成るマルチメディア情報を生成するマルチメディア情報生成方法であって、モジュールは２次元画像および／または３次元画像を複数個含み、モジュールに３次元画像データが含まれる場合、モジュールは、３次元画像の表示を制御する制御情報を含む。
【００１８】
好ましくは、制御情報は、個々の３次元画像に対応して存在する。
【００１９】
好ましくは、制御情報は、複数の３次元画像に対応して存在する。
【００２０】
好ましくは、少なくとも２次元画像および／または３次元画像の各々を区別する識別子をあらかじめ設定し、制御情報は、３次元画像の識別子を示す識別情報を含む。
【００２１】
好ましくは、少なくとも２次元画像および／または３次元画像の各々を区別する識別子をあらかじめ設定し、制御情報は、３次元画像の識別子を示す識別情報を含む。
【００２２】
好ましくは、制御情報は、複数の識別子を含む。
【００２３】
好ましくは、識別子の所定の値は、マルチメディア情報に含まれる画像が全て３次元画像であることを示す。
【００２４】
好ましくは、識別子の所定の値は、モジュールに含まれる画像が全て３次元画像であることを示す。
【００２５】
したがって、この発明によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、３次元画像データと共に、３次元画像データを表示するための３次元画像表示制御情報をマルチメディア情報ファイルとして記録または構成するので、３次元画像データに汎用性を持たせ、１種類のマルチメディア情報ファイルで様々な３次元表示方式に柔軟に対応することが可能となる。
【００２６】
この発明のさらに他の局面に従うと、２次元画像あるいは３次元画像を複数個含むマルチメディア情報を再生するマルチメディア情報再生装置であって、２次元画像から３次元画像を生成する生成部と、生成部で生成された３次元画像と、マルチメディア情報に含まれる３次元画像を合成する第１の合成部を備える。
【００２７】
好ましくは、マルチメディア情報再生装置は、複数の２次元画像を合成する第２の合成部をさらに備え、生成部は、第２の合成部で合成された２次元画像データから３次元画像データを生成する。
【００２８】
したがって、この発明によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、マルチメディア情報ファイル中に含まれる３次元画像表示制御情報を解析することにより、３次元画像データと２次元画像データとを表示方法に合わせて適切に変換し、正しく表示することが可能となる。
【００２９】
また、上記目的を達成するため、本発明の他の局面に従うと、２次元画像および／または３次元画像を複数個含むマルチメディア情報を再生するマルチメディア情報再生装置であって、マルチメディア情報に含まれる図形および文字情報を復号しページ画像を得るページデータ復号部と、ページ画像を３次元画像に変換する２Ｄ／３Ｄ変換部と、２Ｄ／３Ｄ変換部で生成された３次元画像と、マルチメディア情報に含まれる３次元画像を合成する第１の合成部とを備える。
【００３０】
好ましくは、複数の２次元画像を合成する第２の合成部をさらに備え、２Ｄ／３Ｄ変換部は、第２の合成部で合成された２次元画像データを３次元画像データに変換する。
【００３１】
好ましくは、文字情報に対応した第１のフォントイメージと第２のフォントイメージを備え、文字情報を３次元表示する際に、第１のフォントイメージを用い、文字情報を２次元表示する際に第２のフォントイメージを用いる。
【００３２】
好ましくは、ページデータ復号部において、第１または第２のフォントイメージを用いてページ画像を得る。
【００３３】
好ましくは、２Ｄ／３Ｄ変換部において、第１または第２のフォントイメージを用いて３次元画像を得る。
【００３４】
好ましくは、第１および第２のフォントイメージを蓄積するフォントイメージ蓄積部と、第１または第２のフォントイメージを選択するスイッチとをさらに備える。
【００３５】
好ましくは、第２のフォントイメージを第１のフォントイメージに変換するフォント変換部をさらに備える。
【００３６】
好ましくは、第１のフォントイメージは複数の濃淡情報から成り、文字の太さが見かけ上細くなるように配置されている。
【００３７】
したがって、本発明のマルチメディア情報再生装置によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、マルチメディア情報ファイル中に含まれる３次元画像表示制御情報を解析することにより、３次元画像データと２次元画像データを表示方法に合わせて適切に変換し、正しく表示することが可能となる。
【００３８】
【発明の実施の形態】
以下、本発明の構成、作用および効果を図に従って説明する。なお、図中同一または相当部分には同一符号を付して、その説明は繰返さない。
【００３９】
図１Ａ〜１Ｃは、本発明の実施の形態において生成されるマルチメディア情報ファイルの構造を示す図である。
【００４０】
マルチメディア情報ファイルは３次元画像データと２次元画像データのどちらを含んでいても良いが、以下では３次元画像データを含む場合の例について説明する。
【００４１】
まず、図１Ａを参照して、マルチメディア情報ファイルは、ヘッダ制御情報１と、３次元表示制御情報２と、３次元画像データ３との少なくとも３つの構成要素を含んでいる。
【００４２】
ヘッダ制御情報１は、例えば画像のサイズなど３次元画像データ３を再生するために必要な制御情報である。３次元表示制御情報２は、得られた３次元画像を所望の３次元形式に変換するために必要な制御情報である。また、３次元画像データ３は、３次元画像データそのものである。
【００４３】
３次元画像データ３は、静止画データでも動画データであってもよい。また、マルチメディア情報ファイルには音声データを一緒に記録してもよいが、簡単のためここでは省略する。また、これ以外の付加情報を含んでもよい。
【００４４】
なお、マルチメディア情報ファイルが２次元画像データを含んでいる場合には、３次元表示制御情報は付加されない。
【００４５】
それぞれの構成要素はオブジェクトと呼ばれる。各オブジェクトは、図１Ｂに示すような形をしている。すなわち、まずオブジェクトを識別するためのオブジェクトＩＤ４と、オブジェクトサイズ５とが書かれ、その後オブジェクトサイズ５で規定される長さのオブジェクトデータ６が続く。オブジェクトＩＤ４とオブジェクトサイズ５を合わせてオブジェクトヘッダと呼ぶ。このオブジェクトは階層構造をとることが可能である。
【００４６】
なお、図１Ａにおいて、ヘッダ制御情報１、３次元表示制御情報２及び３次元画像データ３は、本来、それぞれヘッダ制御情報オブジェクト１、３次元表示制御情報オブジェクト２及び３次元画像データオブジェクト３と呼ぶべきものだが、呼称が長くなるのを避けるため、ここでは「オブジェクト」という表記を省略する。
【００４７】
図１Ｃは、３次元画像データ３の構造の一例を示す図である。３次元画像データ３では、オブジェクトＩＤやオブジェクトサイズを含むオブジェクトヘッダ７の後に、複数のパケット８が続く。パケット８はデータを通信する際の最小単位であり、各パケットはパケットヘッダとパケットデータにより構成される。なお、３次元画像データ３は必ずしもパケット化されている必要はなく、一続きのデータ列であってもよい。
【００４８】
図２は、本発明のマルチメディア情報生成装置の一例である画像データ記録装置１００の構成を示すブロック図である。
【００４９】
図２を参照して、画像データ記録装置１００は、３次元表示制御情報生成部１１と、ファイル生成部１２とを備える。
【００５０】
３次元表示制御情報生成部１１は、必要なパラメータを外部から受け取り、３次元表示制御情報を１つのオブジェクトとして生成する。ファイル生成部１２は３次元表示制御情報と３次元画像データとを受け取り、さらにヘッダ制御情報を付け加えることによって、図１Ａ〜１Ｃに示したようなマルチメディア情報ファイルを生成し出力する。ここでの３次元画像データは非圧縮データであってもよいし、圧縮符号化されたデータであってもよい。
【００５１】
なお、生成されたマルチメディア情報ファイルは記録媒体１３に記録してもよいし、直接通信路に送出してもよい。
【００５２】
次に、本発明のマルチメディア情報再生装置の一例として、本実施の形態における画像データ再生装置について説明する。
【００５３】
図３は、図１Ａに示したような３次元画像データを含むマルチメディア情報ファイルが入力される画像データ再生装置２００の構成を説明するためのブロック図である。
【００５４】
図３を参照して、画像データ再生装置２００は、ファイル構造解析部２１と、ファイルヘッダ解析部２２と、データ再生部２３と、表示部２４と、３次元表示制御情報解析部２５と、データ変換部２６とを備える。マルチメディア情報ファイルは、記録媒体１３から、あるいは通信路から供給される。
【００５５】
入力されたマルチメディア情報ファイルは、ファイル構造解析部２１でヘッダ制御情報、３次元画像データ及び３次元表示制御情報のそれぞれが認識され、ヘッダ制御情報はファイルヘッダ解析部２２へ、３次元画像データはデータ再生部２３へ、３次元表示制御情報は３次元表示制御情報解析部２５へそれぞれ送られる。
【００５６】
ファイルヘッダ解析部２２ではヘッダ制御情報の解析を行い、３次元画像データの再生に必要な情報をデータ再生部２３に渡す。データ再生部２３では、データの逆多重化やパケットからのデータ取り出し、さらにデータが圧縮符号化されている場合にはその復号を行う。３次元表示制御情報解析部２５では３次元表示制御情報を解析し、得られた情報をデータ変換部２６に渡す。データ変換部２６は所望の３次元表示形式に合うように復号された３次元画像データを変換し、表示部２４へ出力する。表示部２４は再生装置から独立した単体の３次元ディスプレイであってもよい。
【００５７】
図４Ａ〜４Ｃは、３次元表示制御情報２に記述する具体的な情報を説明するための概念図である。
【００５８】
図４Ａにその一部を示すように、３次元表示制御情報２に記述する具体的な情報には、視点数、各視点位置に対応するストリーム、間引き方向、カメラ配置、視差量シフト限度、枠表示の有無、枠画像データ、視差像切替ピッチ、サンプリングパターン、画像配置、反転の有無などがある。
【００５９】
以下、図４Ａに示した３次元表示制御情報について、さらに詳細に説明する。
【００６０】
図４Ａにおける「視点数」とは、文字通り視点すなわち視差像の数であり、上述の２眼式のデータであれば２となる。
【００６１】
カメラを用いた撮影ではカメラが眼の役割をするので、撮影時に使用したカメラの数ということもできる。人間の眼は２つしかないので、視点数が３以上の場合、データとしては冗長であるが、観察者の移動に合わせて観察像が変化するのでより自然な立体視が可能となる。
【００６２】
図４Ａにおいて視点数を記述した行の次の２行（視点位置Ｌ、視点位置Ｒ）は、それぞれ左の視点位置と右の視点位置に対応する「ストリーム番号」を示している。
【００６３】
ここで、「ストリーム番号」についてさらに詳しく説明する。
【００６４】
図４Ｂに示すように、音声と左目用画像と右目用画像のそれぞれが別のストリームとなっており、それをパケット多重化して記録する場合を考えると、多重化されたデータにおいて各パケットが音声データなのか左目用画像データなのか右目用画像データなのかを識別するために、各ストリームに固有のストリーム番号が付与される。
【００６５】
図４Ｂの例では、音声ストリームにはストリーム番号１、左目用画像データにはストリーム番号２、右目用画像データにはストリーム番号３を対応させ、各パケットヘッダにこのストリーム番号を書くことによってデータ種別を明示する。
【００６６】
このストリーム番号を用いることにより、図４Ａにおいては、左目用画像はストリーム番号２、右目用画像はストリーム番号３のデータであることを示している。なお、従来の２次元画像データを取り扱うマルチメディア情報ファイルにおいては、多重化されたストリームに対しては音声と画像の区別しか必要ないため、視点位置との対応を記述したこの情報は３次元画像データを取り扱う場合に特有のものである。
【００６７】
以下、さらに図５Ａ〜５Ｃに示す概念図を用いて、上記「視点数」、「視点位置」について、さらに説明しておく。
【００６８】
図５Ａは、２眼式の例を示しており、図５Ｂと図５Ｃは６眼式の例を示している。図５Ａの２眼式の場合は、左と右という指定の仕方で視点位置を特定することができる。
【００６９】
これに対して、６眼式の場合、図５Ｂのように、たとえば、左側において、中央から数えて何番目であるかに応じて、「Ｌ１」、「Ｌ２」、「Ｌ３」と表現する。右側も同様である。
【００７０】
あるいは、６眼式の場合、図５Ｃのように左からの通し番号で何番目と表現することも可能である。さらには、図５Ｂおよび図５Ｃ以外の種々の方法が考えられる。
【００７１】
視点位置をどのように表現するかについては、あらかじめ送信側と受信側で規格あるいは決まり事として共有されている必要がある。何の取り決めもなしでは、例えばｃｈ３と書いてあっても左から３番目なのか右から３番目なのかがわからなくなってしまうからである。
【００７２】
図６は、６眼式の場合において、視点位置と対応するストリームの記述の例を示す概念図であり、図４Ａと対比される図である。
【００７３】
図６では、音声ストリームはストリーム番号１であって、画像ストリームについては、たとえば、視点位置１〜６にストリーム番号２〜７を対応させている。そして、各パケットヘッダにこのストリーム番号を書くことによってデータ種別を明示する。
【００７４】
一方、図７Ａおよび７Ｂは、左目用画像と右目用画像が同じストリームとなっている場合において、視点位置と対応するストリームの記述の例を示す概念図である。
【００７５】
図７Ａに示すように、視点位置Ｌと視点位置Ｒには同じストリーム番号（この場合はストリーム番号２）を記述する。この時の多重化データは図７Ｂに示すようになり、複数の視差像が１枚の画像に合成されている３次元画像データを記録または伝送する場合には、この形態を用いるとよい。
【００７６】
ここで、再び、図４Ａ〜４Ｃに戻って、図４Ａにおける「間引き方向」とは、データを間引いた方向を示すものである。
【００７７】
例えば、上述した「パララクスバリア方式（あるいはレンチキュラ方式）」において、図４２Ｂのように左目用画像と右目用画像のペアが縦ストライプ状に並んでいるような画像を作成する場合、左目用画像と右目用画像のそれぞれは通常の２次元画像と比較して水平方向の解像度が半分になっている。この場合は、「間引き方向」には、水平方向に間引きされているという情報を記述する。これは左目用画像と右目用画像がそれぞれ独立した２つのストリームであるか、上述した図４３Ｃのような混合画像の形になった１つのストリームであるかには関係しない。
【００７８】
一方、上述した図４１は、垂直方向に間引きが行われている画像を示している。したがって、図４１の様な場合では、「間引き方向」には、垂直方向に間引きされているという情報を記述する。
【００７９】
また、図４３Ａ、４３Ｂのように間引きしていない画像をそのまま伝送し、表示する直前に間引く場合もあり、その場合はファイルに記録された状態では間引きされていないので、間引き方向の情報としては「間引きなし」と記述する。
【００８０】
なお、この間引き方向のようにパラメータを数値で表現することが困難な場合、図４Ｃに示すようなテーブルを設定し、そのインデックスを記述するという方法を取ることが望ましい。
【００８１】
例えば、間引き方向が水平方向の場合は、図４Ａの間引き方向の欄に「１」と記述すればよい。この際、インデックスとその意味するものを対応づけた図４Ｃのようなテーブルは、送信側と受信側で規格あるいは決まり事として共有されている必要がある。このような表現方法は他のパラメータにも適用することができる。
【００８２】
さらに、図４Ａにおける「カメラ配置」とは複数のカメラをどのように並べて撮影したかを示すものであり、平行型（parallel）、集中型（convergent）、発散型（divergent）の３つに大別される。
【００８３】
上述した図５Ａ〜５Ｃは平行型の例であり、各カメラの光軸が平行になるように配置されたものである。
【００８４】
図８Ａ〜８Ｃは、「カメラ配置」の他の構成例を示す概念図である。
【００８５】
図８Ａと図８Ｂは集中型の例であり、全てのカメラの光軸がある１点に集まるように配置されたものである。
【００８６】
一方、図８Ｃは発散型の例であり、全てのカメラの光軸がある１点から出ていくように配置されたものである。
【００８７】
ここで、図８Ａは２眼式の、図８Ｂ、Ｃは６眼式の例を示している。この情報は視点補間や３次元モデル構築の際に活用される。
【００８８】
次に、再び図４Ａ〜４Ｃに戻って、図４Ａにおける「視差量シフト限度」について説明する。
【００８９】
一般的に、図４１や図４２Ａおよび４２Ｂを用いて説明したような両眼視差を利用して立体視するような表示においては、視差量を変化させることにより奥行き感を調整することができる。
【００９０】
視差量を変化させるには、具体的には、例えば図４２Ｂに示す合成画像において左目用画像はそのままにしておき、右目用画像だけを左右どちらかにずらすことにより実現できる。このように画像を左右にずらすことにより視差量を変化させると、表示画面の幅は限られていることから、ずらした分だけ画面の外にはみ出ることになり、その部分は表示できなくなる。従って、極端なずらし量を許すと画像の作成者が是非見てもらいたいと思っているものが表示されなくなる事態が発生する。このため、それを防ぐためにずらし量に制限を設ける。これが「視差量シフト限度」であり、例えば±１６ピクセルというように範囲指定する。
【００９１】
図４Ａにおける「枠表示の有無」は、３次元画像データの周囲に枠画像を表示するかどうかを指定する情報である。この枠画像は画面に変化を付けたり、面白味を付加するため、あるいは立体視をしやすくするために表示するものである。
【００９２】
図９Ａおよび９Ｂは、枠画像の構成を説明するための概念図である。
【００９３】
図９Ａは、枠画像を表示しない状態を示し、画面全体が通常の３次元画像表示領域３１であり、ここではその幅をＷとする。
【００９４】
これに対し、図９Ｂは、枠画像を表示した状態である。画面全体の大きさは図９Ａと変わらないが、画面の外周には幅Δｄの枠画像３３が表示され、その内側が３次元画像表示領域３２となる。したがって、枠画像を表示しない場合と比較して、枠画像を表示した場合には枠の分だけ３次元画像表示領域が狭くなり、３次元画像表示領域３２の幅をＷ１とすると、Ｗ＝Ｗ１＋２・Δｄの関係がある。なお、枠画像３３の四辺の幅は各辺によって異なっていてもよい。また、枠画像３３はそれ自体が立体視できるような３次元的な枠でもよいし、平面的に見える２次元的な枠でもよい。
【００９５】
このとき表示する枠画像データは、再生装置にあらかじめ準備しておいてもよいし、マルチメディア情報ファイルの中に含めて３次元画像データと一緒に送るようにしてもよい。
【００９６】
図１０Ａ〜１０Ｃは、このような枠画像を表示させるために「枠画像データ」を供給する構成を説明するためのブロック図である。
【００９７】
まず、図１０Ａは、画像データ再生装置２００に、「枠画像データ」を予め準備しておく場合の一つの構成の例を示す。図１０Ａは、図３に示した画像データ再生装置２００における３次元表示制御情報解析部２５の構成の詳細を示したものである。
【００９８】
図１０Ａを参照して、３次元表示制御情報解析部２５は、枠画像付加制御部２７と枠画像格納メモリ２８とを備える。枠画像付加制御部２７は、入力された３次元表示制御情報のうち枠表示の有無に関する情報を解析し、枠表示有りとなっている場合には枠画像格納メモリ２８に予め準備されている枠画像をデータ変換部２６へ出力する。データ変換部２６では、３次元画像データにこの枠画像を重畳して表示部２４へと出力する。
【００９９】
図１０Ｂは、枠画像データを再生装置に予め準備しておく場合の別の構成の例を示す。すなわち、図１０Ｂは、図３に示した画像データ再生装置２００における３次元表示制御情報解析部２５の他の構成の詳細を示したものである。
【０１００】
図１０Ｂを参照して、３次元表示制御情報解析部２５は、枠画像付加制御部２７と、枠画像選択部２９と、複数の枠画像格納メモリ２８−１〜２８−３とを備える。
【０１０１】
図１０Ｂの例では、枠画像付加制御部２７において枠表示有りと判断された場合には、さらに複数準備されている枠画像のうちどの枠画像を使うかを枠画像選択部２９が判定し、適切な枠画像格納メモリから枠画像データを呼び出してデータ変換部へ出力する。どの枠画像を使うかは３次元表示制御情報の中に枠画像データを示す情報として記述する。図１０Ｂのような場合は、パターン１、パターン２等と記述することで指定することができる。複数の枠画像としてはテクスチャが異なる枠画像、あるいは飛び出し量が異なる立体的な枠画像を用いることができる。このようにすることにより、３次元画像データに応じて適切な枠画像を表示することができる。
【０１０２】
また、デフォルトで使用する枠画像を設定しておき、枠表示有りで枠画像データが指定されていない場合あるいはデフォルトの枠画像が指定された場合にはデフォルト設定されている枠画像を用いるようにしてもよい。枠画像データとして指定された枠画像パターンを再生装置が持っていない場合は、デフォルト設定されている枠画像で代用するものとしてもよい。
【０１０３】
なお、図１０Ａの場合、準備されている枠画像データが１つしかないため明示的に指定する必要はないが、枠画像データを示す情報として「デフォルト」と記述してもよい。
【０１０４】
図１０Ａ、１０Ｂのような形態の場合、枠画像のデータは画像データ再生装置２００内に格納されており、３次元表示制御情報中に記載される情報は、予め用意されている１または複数の枠画像の中からどの枠画像を使用するかを示す選択情報である。
【０１０５】
一方、図１０Ｃは、枠画像データがマルチメディア情報ファイルの中に含まれて３次元画像データと一緒に送られる場合において、画像データ再生装置２００における３次元表示制御情報解析部２５の構成の例を示す。
【０１０６】
図１０Ｃを参照して、３次元表示制御情報解析部２５は、枠画像付加制御部２７を備える。枠画像付加制御部２７は枠表示有りと判定した場合には、３次元表示制御情報として含まれている枠画像のデータをデータ変換部２６へ送る。すなわち、この例では枠画像データを示す情報として選択情報を記述するのではなく、枠画像データそのものを記述する。このようにすることにより、マルチメディア情報ファイルの送り手が自由に生成した枠画像を付加することができる。
【０１０７】
（３次元表示制御情報の他の構成）
以下では、主に上述した図４２Ａおよび４２Ｂに示したパララクスバリア方式あるいはレンチキュラ方式に用いられる３次元画像データをファイル化する際に用いられる３次元表示制御情報の例について説明する。
【０１０８】
図４Ａにおける「視差像切替ピッチ」は、図４２Ｂのように異なる視差像のストライプを繰り返し配置する際の切替周期を示すものである。
【０１０９】
図１１Ａ〜１１Ｄは、パララクスバリア方式で用いる液晶パネルとパララクスバリアのスリットの位置関係を示す概念図である。
【０１１０】
図１１Ａ〜１１Ｄには、３次元画像を表示する液晶パネル１０６を示しているが、ここではＲ、Ｇ、Ｂがまとまって１組となった単位（１０５）をピクセル、Ｒ、Ｇ、Ｂの各エレメントをサブピクセルと呼ぶことにする。すなわち、１ピクセル＝３サブピクセルである。
【０１１１】
図１１Ａは、パララクスバリア方式において視差像切替ピッチが１ピクセルである場合を示している。この場合、２ピクセルに対して１つのスリット１０４が割り当てられる。図１１Ｂは、図１１Ａを上から見た図である。図１１Ｂに示すとおり、液晶パネル１０６に表示する像は右目用画像と左目用画像が１ピクセルごとに交互に配置されている。この場合のパララクスバリア１０７のスリット間隔は２ピクセルとなる。
【０１１２】
一方、図１１Ｃはパララクスバリア方式において視差像切替ピッチが１サブピクセル（１／３ピクセル）である場合を示している。この場合、２サブピクセルに対して１つのスリット１０４が割り当てられる。図１１Ｄは、図１１Ｃを上から見た図である。図１１Ｄに示すとおり、液晶パネル１０６に表示する像は右目用画像と左目用画像が１サブピクセルごとに交互に配置されている。この場合のパララクスバリア１０８のスリット間隔は２サブピクセルとなる。
【０１１３】
図４Ａにおける「サンプリングパターン」は、原画像から水平方向に間引きを行って左目用画像および右目用画像を作る際に、どのような間引き方法を用いたかを示すものである。
【０１１４】
このサンプリングパターンには、「色再現性優先方式」と「解像度優先方式」がある。
【０１１５】
図１２Ａおよび１２Ｂは、サンプリングパターンを説明するための概念図である。
【０１１６】
図１２Ａは、「色再現性優先方式」を示し、図１２Ｂは、「解像度優先方式」を示す。
【０１１７】
図１２Ａおよび１２Ｂでは、画像データをＲ０、Ｇ１などの形式で表現しているが、最初のＲ、Ｇ、Ｂは色成分を、それに続く０、１等の数字はピクセルの水平位置を表している。
【０１１８】
図１２Ａの色再現性優先方式では、データを半分に間引く際にピクセル単位で間引いている。間引かれて残ったデータは１ピクセルおきにサンプリングされた偶数番号の位置のみのデータとなる。この方式では残ったＲ、Ｇ、Ｂの組は間引き前と変わらないため、色再現性がよい。
【０１１９】
一方、図１２Ｂの解像度優先方式では、データを半分に間引く際にサブピクセル単位で間引いている。間引き後はピクセル位置０のデータはＲとＢの成分だけがあり、ピクセル位置１のデータはＧの成分だけがある。間引き前のデータと比較するとＲ、Ｇ、Ｂの組が同じピクセルは存在しないが、間引き後のデータには全てのピクセル位置のデータが少なくとも１つの色成分については含まれている。このため、実感できる解像度は高くなる。このため、例えば斜め線のギザギザが目につきにくくなる。
【０１２０】
なお、図１２Ｂの解像度優先方式は視差像切替ピッチがサブピクセル単位であることを前提としているため、図１１Ａに示したような視差像切替ピッチが１ピクセルの場合には、原理的に図１２Ａの色再現性優先方式しか選択できない。
【０１２１】
図４Ａにおける「画像配置」は、図４３Ｃに示したように複数の視差像を並べて１枚の画像を構成して伝送記録する際に必要となる情報である。
【０１２２】
図１３Ａ〜１３Ｅは、このような１枚の画像を構成するために複数の視差像を並べる画像配置を説明するための概念図である。
【０１２３】
水平方向に間引いた左目用画像と右目用画像を横に並べて１枚の画像とする場合、図１３Ａに示すように左目用画像を左側に、右目用画像を右側に配置する形態がまず考えられる。これとは別の形態として、図１３Ｂに示すように左目用画像を右側に、右目用画像を左側に配置することも可能である。
【０１２４】
また、垂直方向に間引いた左目用画像と右目用画像を縦に並べて１枚の画像とする場合、図１３Ｃに示すように左目用画像を上に、右目用画像を下に配置することもできるし、図１３Ｄに示すように左目用画像を下に、右目用画像を上に配置することもできる。
【０１２５】
したがって、複数の視差像が左右に並んでいるのか上下に並んでいるのか、また、左目用画像が左右あるいは上下のどちら側にあるのかを示す情報を記述することによりこれらを区別する。なお、視点数（視差像の数）は２には限定されない。
【０１２６】
また、間引き方向と画像を並べる方向とは独立して考えることができる。すなわち、水平方向に間引いた画像であっても図１３Ｅに示すように上下に並べることも可能である。逆に、間引き方向と画像を並べる方向を連動させることにすれば、どちらかの情報を省略することが可能になる。
【０１２７】
ところで、先に説明した間引き方向の情報は左目用画像、右目用画像それぞれに対して独立に設定してもよい。図２２Ａに示した３次元表示制御情報の例では、左目用画像間引き方向として間引きなし、右目用画像間引き方向として水平方向と記述している。このような場合、左目用画像と右目用画像を横に並べた画像は図２２Ｂに示すようになり、左目用画像と右目用画像の大きさが異なる。このようにすることにより、２次元画像のみが表示できる表示部を持つ画像データ再生装置と、３次元画像も表示可能な表示部を持つ画像データ再生装置のどちらにおいても良好な画像再生を行うことができる。すなわち、２次元画像のみが表示できる画像データ再生装置では、図２２Ｂに示す画像データを受け取った場合、左目用画像のみを表示することにより、間引きされていない高解像度の２次元画像を再生することができる。３次元画像が表示可能な画像データ再生装置では、図２２Ｂに示す画像データを受け取った場合、左目用画像を水平方向に間引いて右目用画像と同じ解像度にした後で３次元表示用のデータ変換を行うことにより、図１３Ａに示したような画像データを受信した場合と同様の３次元表示を行うことができる。
【０１２８】
図４Ａにおける「反転の有無」は、複数の視差像を並べて１枚の画像を構成する際に、各視差像が反転しているかどうかを示すものである。
【０１２９】
図１４Ａおよび１４Ｂは、このような各視差像を反転する構成を説明するための概念図である。
【０１３０】
図１４Ａは、左目用画像６１を左側に、右目用画像６２を右側に単に並べた状態である。ここで、右目用画像６２の左右を反転したとすると、図１４Ｂに示すようになる。画像を符号化して記録伝送する場合、類似した特徴を持つ領域は固まっていた方が、符号化効率が向上するケースがある。このため、図１４Ａの画像を符号化するよりも図１４Ｂの画像を符号化した方が符号化効率が高くなることがある。図１４Ｂのような配置とした場合、再生装置２００では右目用画像を再反転して元に戻すことが必要である。
【０１３１】
２つの視差像を左右に並べた場合に取り得る状態としては、反転なし、左側画像反転、右側画像反転、両画像反転の４つが考えられる。ここで、左側画像とは左右に並べられた２つの画像のうち、左側の画像であるという定義を用いる。したがって、図１３Ａの並べ方をした場合、左側画像は左目用画像であるが、図１３Ｂの並べ方の場合は左側画像は右目用画像となる。なお、左側画像反転と記述する代わりに左目用画像反転と記述することも可能である。先に説明した画像配置の情報を用いることにより、左目用画像が左右どちらに配置されているかを知ることができるからである。
【０１３２】
以上説明したような「３次元表示制御情報」の各項目は、マルチメディア情報ファイルに対して、全てが必須というわけではなく、必要に応じて省略することが可能である。その場合は、どの項目が記載されているかがわかるように別途定めておけばよい。
【０１３３】
なお、図４ＡにおけるオブジェクトＩＤは、この位置から情報オブジェクトの単位が始まることを示すとともに、この情報オブジェクトが３次元表示制御情報に関するものであることをも示す。すなわち、このようなオブジェクトＩＤは、マルチメディア情報ファイルが３次元画像制御情報を含む、すなわち３次元画像データを含むことを示す３次元識別情報としても機能する。
【０１３４】
一方、図１５に示すように３次元画像制御情報オブジェクトにおけるオブジェクトＩＤとして汎用のＩＤを用いることもできる。この場合は、このＩＤは単にこの位置から情報オブジェクトの単位が始まることだけを示し、その情報オブジェクトに書かれている情報がどのような種類のものかを示す情報はそのオブジェクト内に別途設けられる。図１５ではこの情報オブジェクトが３次元表示制御情報に関するものであることを示す情報として、３Ｄ−００１という３次元識別情報が書かれている。この３Ｄ−００１はあくまでも一例であり、任意の数字や文字列を３次元識別情報として使用することができる。
【０１３５】
上記の例では３次元識別情報は３次元画像データを含むことを示すために用いられているが、異なる３次元表示方式に対して異なる３次元識別情報を与えることにより、それらを区別することができる。例えば、パララクスバリア方式用のデータに対して３Ｄ−００１、液晶シャッター方式用のデータに対して３Ｄ−００２を３次元識別情報として与えてもよい。
【０１３６】
さらに、３次元識別情報は図１６に示すように、それだけで１つの情報オブジェクトを構成してもよい。この場合、図１９に示すようにマルチメディア情報ファイルが３次元識別情報４１と３次元表示制御情報２を別オブジェクトとして保持してもよい。
【０１３７】
なお、マルチメディア情報ファイルが３次元画像データを含むことを示すために、３次元識別情報の代わりに専用の拡張子を用いることができる。例えば、通常の２次元画像データを含むマルチメディア情報ファイルに対して「ｊｐｇ」という拡張子を用いる時、３次元画像データを含むマルチメディア情報ファイルに対して「３ｄａ」という拡張子を用いるようにすることにより、マルチメディア情報ファイルが３次元画像データを含んでいるかどうかを拡張子によって識別することができる。また、異なる３次元表示方式に対して異なる拡張子を定めることにより、それらを区別することができる。例えば、パララクスバリア方式用のデータを含むマルチメディア情報ファイルに対して「３ｄａ」、液晶シャッター方式用のデータを含むマルチメディア情報ファイルに対して「３ｄｂ」を拡張子として用いる。
【０１３８】
拡張子によって３次元識別を行う利点は、ファイルの内部を解析することなく、そのファイルが３次元画像データを含んでいるかどうか、あるいはどのような３次元表示方式のデータを含んでいるかを判定できる点にある。例えば、ハードディスク上に多くのマルチメディア情報ファイルが存在する時、自身の端末で再生可能なファイルがどれであるかを素早く見付けることができる。あるいはサーバ上に複数のマルチメディア情報ファイルが存在する時、２次元画像しか再生できない端末が３次元画像をダウンロードしないようにすることが可能になる。
【０１３９】
一方、前述の３次元識別情報によって３次元識別を行う場合には、ファイルの中身を書き換えない限りは３次元識別情報が保存されるので、重要な情報である３次元識別情報が容易に改変されにくいという利点がある。
【０１４０】
ところで、画像を表示する表示部は２次元表示と３次元表示の切り替えが可能なものを使うことができる。すなわち、図２０に示す画像データ再生装置における表示部４４は、２次元表示、３次元表示の表示モード切り替え機能を有しており、これは自動で切り替え可能な表示手段であっても良い。図３の画像データ再生装置と共通の部分については説明を省略する。図２０の画像データ再生装置は、図１５に示すように３次元識別情報が３次元表示制御情報と同じオブジェクトに含まれる場合に対応するものであり、３次元表示制御情報解析部２５が３次元識別情報の有無を解析し、その有無に従って表示部４４の表示モードを切り替える。すなわち、ここでは３次元表示制御情報解析部２５がファイル種別判定をも行っている。入力されたマルチメディア情報ファイルに３次元識別情報が含まれる場合、前記表示部４４では３次元表示モードで表示し、３次元識別情報が含まれない場合は、表示部４４では２次元表示モードで表示する。
【０１４１】
なお、表示部が３次元表示専用である場合は、３次元識別情報を持たないファイルは再生しない、あるいは何らかの２次元／３次元変換を行った上で表示を行うようにすることが可能である。また逆に表示部が２次元表示専用である場合は、３次元識別情報を持つファイルは再生しない、あるいは何らかの３次元／２次元変換を行った上で表示を行うようにすることも可能である。
【０１４２】
図１７に示す画像データ再生装置は、図１９に示すように３次元識別情報と３次元表示制御情報が別のオブジェクトとなっている場合に対応するものである。図１７の画像データ再生装置においては、３次元識別情報解析部４５によってマルチメディア情報ファイルに３次元識別情報が含まれているかどうかを解析し、その有無に従って表示部４４の表示モードが切り替わるような構成とする。すなわち、ここでは３次元識別情報解析部４５がファイル種別判定の役割を担っている。
【０１４３】
前述のように拡張子によって３次元識別を行う場合には、この２次元表示、３次元表示の切り替えは、拡張子を用いて行うことができる。図２１に示す画像データ再生装置は拡張子によって３次元識別を行う場合の例であり、ファイル種別判定部４６が拡張子を解析した結果により、表示部４４の表示モードおよびデータ変換部２６の変換方法を制御する。
【０１４４】
このように、３次元識別情報はマルチメディア情報ファイルが３次元画像データを含むかどうかを判定するために用いられる。画像データの符号化形式は２次元画像であろうと３次元画像であろうと同じ形式を用いることができ、共通の復号器を用いることができるが、その場合、人間であれば復号された画像を見てそれが２次元画像として出力されるべきか３次元画像として出力されるべきかを判断することができるが、再生装置にはその区別がつかない。そのため、再生装置がそれを判定するのに３次元識別情報が必要となるのである。これは２次元画像と３次元画像の区別のみならず、複数ある３次元表示形式のうちのどれが使われているかを判定する場合でも同様である。この判定結果により３次元表示モードと２次元表示モードを自動的に切り替えることが可能になる。
【０１４５】
また、図１Ａではマルチメディア情報ファイルの中に３次元表示制御情報が１つだけ含まれているが、３次元画像データが動画像のように複数枚の画像から構成される場合は、各画像データの先頭に１つずつ３次元表示制御情報を付加するような形をとっても良い。或いは、３次元表示制御情報を３次元画像データ中の任意の位置に繰り返し格納するようにしてもよい。
【０１４６】
また、動画像を衛星、地上波、インターネットなどの伝送媒体を介し放送するような場合、視聴者が放送の途中から受信、視聴したり、チャンネルの切り替えを行う可能性があるため、３次元表示制御情報を先頭に１つだけ配置するのではなく、図１８に示すように番組配列情報という形で定期的に放送コンテンツの中に挿入することが望ましい。ここで放送コンテンツとは、立体画像データや音声データ、これらの内容に関連したＢＭＬデータなどが多重化された符号化データである。また、番組配列情報の中には画像データや音声データ、ＢＭＬデータなどの互いの関連を示す情報（同期情報）や著作権情報などが含まれ、３次元表示制御情報もここに格納される。なお、３次元表示制御情報は番組配列情報に含めるのではなく、繰り返し３次元画像データ（符号化データ）の中に直接多重化してもよい。このように放送コンテンツ中に３次元表示制御情報あるいは３次元識別情報を繰り返し挿入することにより、番組途中から再生を開始する場合であっても受信データが３次元画像であるかどうか、あるいは３次元画像の場合には３次元表示に必要なパラメータ情報を知ることができる。
【０１４７】
以下では、１つのマルチメディア情報ファイルの中に３次元画像データ、２次元画像データおよびページデータなどが、それぞれ少なくとも１つずつ含まれる場合について説明する。ここでページデータとはＨＴＭＬやＢＭＬのようなページ記述言語で記述されたデータである。またページデータに基づいて罫線や表などを描画した画像をページ画像と呼ぶ。マルチメディア情報ファイルには、この他音楽データや他のデータが含まれても良いが、簡略化のため以下では説明を省略する。
【０１４８】
このようなマルチメディア情報ファイルでは、含まれる画像データが２次元か３次元かを識別するための情報をファイル中に挿入する必要がある。以下にこれを実現する例を説明する。
【０１４９】
図２３は、２次元画像データ（画像データ（２Ｄ））と３次元画像データ（画像データ（３Ｄ））が混在するマルチメディア情報ファイルの構成を示す概念図である。
【０１５０】
このようなマルチメディア情報ファイルは、ヘッダ情報および画像データ（３Ｄ）、画像データ（２Ｄ）、ページデータなどのマルチメディアデータから構成される。個々のマルチメディアデータは「モジュール」と呼ばれるブロックに格納される。ヘッダ情報には各モジュールを管理するための情報（ヘッダ補助情報）および各モジュールを再生するためのモジュール付加情報が含まれる。例えば、モジュール１のモジュール付加情報を「モジュール１付加情報」と呼ぶ。モジュール付加情報には画像データ、ページデータ等を区別する情報が含まれる。なお、画像データの場合は画像データを復号するのに用いられるヘッダ制御情報を、各モジュールの先頭に配置する。
【０１５１】
図２４は、画面上で、画面の原点を基準として、２次元画像（２Ｄ画像）と３次元画像（３Ｄ画像）とが配置される状態を示す概念図である。
【０１５２】
ページデータ中には、図２４に示すように、それぞれの画像データを画面上のどの位置にどのくらいの大きさで配置するかを示す配置情報なども含まれる。なお、画像の配置情報が別途定められている場合、ページデータ中に配置情報は必ずしも含まれない。
【０１５３】
再び、図２３を参照して、ヘッダ情報に含まれる上記モジュール付加情報は、マルチメディア情報ファイルに含まれるモジュール数だけあり、各モジュール付加情報とモジュールは１対１に対応付けられる。モジュールに３次元画像データが格納される場合にのみ、既に説明した３次元画像表示制御情報が対応するモジュール付加情報に挿入される。すなわち、図２３に示した例では、モジュールは、３個存在し、このうち、１番目のモジュールには２次元画像データが、２番目のモジュールには３次元画像データが、３番目のモジュールにはページデータがそれぞれ含まれる。ヘッダ情報中の２番目のモジュールに対応するモジュール付加情報には、３次元画像表示制御情報が挿入されている。
【０１５４】
このため、モジュール付加情報に上記３次元画像表示制御情報が含まれていれば、対応するモジュールは３次元画像データ、そうでなければ２次元画像データもしくはその他のデータと識別できる。図２３に示した画面の例ではこのようにして２次元画像データと３次元画像データの識別が可能となる。
【０１５５】
モジュール付加情報の領域には、モジュール付加情報の実質的な内容を示すデータが含まれていなくとも良いものの、モジュール付加情報の領域そのものは必ず存在するものとする。モジュール付加情報の数とモジュール数が同一で、かつ格納順序も同一とすれば、これによりモジュール付加情報とモジュールとを正しく対応付けることができる。このため、各モジュール付加情報の先頭にはその領域の大きさを表すデータが挿入される。
【０１５６】
上記モジュール付加情報の大きさを表すデータは、複数のモジュール付加情報の先頭にまとめて挿入しても良い。また、大きさを表すデータの代わりに領域の境界として識別可能な所定パターンを各モジュール付加情報の間に配置し、これによって領域を確保しても良い。
【０１５７】
図２５は、マルチメディア情報ファイルの別の構成を示す概念図である。図２５に示す通り、ここでは先頭にデータサイズや種別などの情報を挿入したマルチメディアデータを複数まとめ、これを１つのモジュールとしている。モジュール付加情報はモジュールに対応するものであるため、モジュール付加情報に含めた情報とモジュール内の個々のマルチメディアデータとを対応させることはできない。そのため、図２５では、複数のマルチメディアデータに加え、それらに対応する個々の付加情報を１つのモジュールにまとめている。個々のマルチメディアデータに対応する上記付加情報は、実質的な内容を示すデータが含まれていなくとも良いが、個々の領域そのものは必ず存在するものとする。上記付加情報の数とマルチメディア情報数が同一で、かつ格納順序も同一とすれば、個々のマルチメディアデータと付加情報を対応付けられる。
【０１５８】
これによって、上記付加情報に３次元画像表示制御情報を含めることで２次元画像データと３次元画像データの識別が可能となる。
【０１５９】
図２６Ａおよび２６Ｂは、マルチメディア情報ファイルのさらに別の構成を示す概念図である。
【０１６０】
すなわち、３次元画像表示制御情報にモジュール内のマルチメディアデータを指し示す識別子を含め、これにより画像データと前記３次元表示制御情報とを対応させるものである。図２６Ａでは、モジュール内の各マルチメディアデータに対して識別子番号を付与しておき、モジュール付加情報の領域に格納した３次元画像表示制御情報に、３次元画像データの識別子を含めている。このように構成することで、２次元画像データと３次元画像データの識別が可能となる。また、モジュール内に複数の３次元画像データが含まれる場合、図２６Ｂに示すように複数の３次元画像表示制御情報をモジュール付加情報領域に含めることで、モジュール内の２次元画像と３次元画像を識別することが可能となる。
【０１６１】
図３１は、マルチメディア情報ファイルのさらに別の構成を示す概念図である。
【０１６２】
すなわち、図３１に示すように、３次元画像表示制御情報に複数の識別子を含めることで、２次元画像と３次元画像データとを識別することが可能である。
【０１６３】
なお、図２６Ａ、２６Ｂ、図３１においては、モジュールが１つの場合を例示しているが、モジュールはマルチメディア情報ファイルに複数含まれていても良い。この場合、複数のモジュールに含まれる３次元画像データを相互に識別可能なように識別子が付与されているものとする。
【０１６４】
ここで、１つのモジュール内に格納される画像データの全てが３次元画像データの場合、対応する３次元画像表示制御情報全てを格納する代わりに例えば識別子番号＝０の３次元画像表示制御情報を１つだけ格納する形としても良い。すなわち、マルチメディアデータの識別子番号は１以上の整数と定義しておき、識別子番号＝０はモジュール内の全画像が３次元画像であるとしておく。この場合、複数の３次元画像表示制御情報を格納しなくて済むため、全体の符号量が少なくなる。
【０１６５】
また、これまではマルチメディアデータに識別子を付与した例を説明したが、図２３で示すように１モジュール＝１マルチメディアデータの場合に、モジュールに識別子を付与しても良い。この場合、図２３の「モジュール１付加情報」〜「モジュール３付加情報」の部分を図２６Ａの「モジュール１付加情報」の中身で置き換えることで、同様に２次元画像データと３次元画像データを識別することが可能となる。また、図２３の「モジュール１付加情報」〜「モジュール３付加情報」の部分を図３１の「モジュール１付加情報」の中身で置き換えることで同様にマルチメディア情報ファイルに含まれる画像データが全て３次元画像データか否かを識別することが可能となる。
【０１６６】
なお、上記ではマルチメディア情報ファイルについて述べたが、本発明はファイルに限定されるものではなく、通信、放送などの伝送フォーマット、もしくは他の目的に使用されるデータフォーマットにも適用可能なのは明らかである。
【０１６７】
図３０は、本発明のマルチメディア情報生成装置の他の例である画像データ記録装置１００の別の構成を示すブロック図である。
【０１６８】
すなわち、図３０は、図２で説明した画像データ記録装置１００のファイル生成部１２の入力に２次元画像データの入力およびページデータの入力が追加されたものである。３次元表示制御情報生成部１１の構成は、図２に示したものと同一であるため、説明を省略する。
【０１６９】
図３２は、図３０に示した画像データ記録装置１００の処理のフローを説明するためのフローチャートである。
【０１７０】
図３０および図３２を参照して、画像データ記録装置１００は、外部から、マルチメディア情報生成のために必要なパラメータ、３次元画像データ、２次元画像データ、ページデータを受け取り（ステップＳ１０２）、３次元表示制御情報生成部１１は、外部から受け取った画像データに３次元画像データが含まれる場合（ステップＳ１０４）、３次元制御情報を生成する（ステップＳ１０６）。ファイル生成部１２は、３次元表示制御情報と３次元画像データ、２次元画像データおよびページデータを受け取り、既に説明したモジュール付加情報を含むヘッダ情報を生成し（ステップＳ１０８）、図２３、図２５，図２６Ａ，２６Ｂ，図３１に示したような、各々が３次元画像データ、２次元画像データ、ページデータのうちの少なくとも１つを含むモジュールを生成することにより、マルチメディア情報ファイルを生成し出力する（ステップＳ１１０）。なお、上記では入力として、３次元画像データ、２次元画像データおよびページデータの３つの場合を説明したが、入力は最低１つあれば良い。また、逆に３つ以上の入力があっても良い。
【０１７１】
このようにマルチメディア情報ファイルを構成することで、２次元画像データと３次元画像データが混在するマルチメディア情報を効率良く蓄積、伝送、管理することが可能となる。
【０１７２】
次に、図２７は、前述した１つのマルチメディア情報ファイルの中に３次元画像データ、２次元画像データおよびその配置情報が含まれる場合の画像データ再生装置の構成を説明するための概略ブロック図である。
【０１７３】
図２７に示す画像データ再生装置は、分離部５０と、複数のデータ再生部２３と、ページデータ復号部５１と、制御情報解析部５２と、スイッチ５６、５７と、２次元画像合成部５３、３次元画像合成部５５、２Ｄ／３Ｄ変換部５４と、データ変換部２６と表示部４４とから成る。データ変換部２６および表示部４４については、図１７に示す画像データ再生装置で既に説明しているため、説明を省略する。
【０１７４】
分離部５０は、入力された上記マルチメディア情報ファイルを分離し、ヘッダ情報は制御情報解析部５２へ、画像データはデータ再生部２３へ、ページデータはページデータ復号部５１へ出力する。
【０１７５】
制御情報解析部５２は、ヘッダ情報を解析し、各モジュール付加情報に３次元画像表示制御情報が含まれるか否かを判定し、その判定結果に応じてスイッチ５６を２Ｄ側、もしくは３Ｄ側に倒す。また、３次元画像表示制御情報をデータ再生部２３に入力する。
【０１７６】
データ再生部２３は、３次元画像表示制御情報が入力されればその値を用いて３次元画像を再生し、そうでなければ２次元画像を再生する。
【０１７７】
ページデータ復号部５１は、入力されたページデータを復号し、ページ画像を出力すると共に、それぞれの画像データの配置情報を解析し、２次元画像合成部及び３次元画像合成部へ出力する。なお、ページデータはマルチメディア情報ファイルに必須のものでは無い為、ページデータ復号部５１は無くとも良い。この場合、ページデータに含まれる配置情報は別途定められる。
【０１７８】
２次元画像合成部５３では、入力された配置情報を元に、ページ画像と上記再生された２次元画像の合成を行う。
【０１７９】
上記マルチメディアデータ情報が３次元画像を含む時、スイッチ５７を２Ｄ／３Ｄ変換部側に倒し、表示部４４は３次元表示を行い、３次元画像を含まない時、スイッチ５７を表示部側に倒し、表示部４４は２次元表示を行う。
【０１８０】
２Ｄ／３Ｄ変換部５４は、上記合成された２次元画像データから３次元画像データを生成する。生成方法については後述する。
【０１８１】
３次元画像合成部５５では、入力された配置情報を元に、上記３次元画像の合成を行う。
【０１８２】
図２８は、２Ｄ／３Ｄ変換部５４の動作を説明するための概念図である。図２８に示すとおり、入力された２次元画像データは水平方向の解像度が半分になるように間引きかれる。該間引かれた画像を複製し２つの画像を生成し、一方を右画像、他方を左画像とする。以上では、水平方向の解像度を半分に間引きした例を説明したが、表示に必要となる３Ｄ画像データの解像度は画像データ再生装置が備える３Ｄ表示デバイスによって異なるため２Ｄ／３Ｄ変換部の動作はこれに限定されない。例えば、時分割方式では、奇数ラインのデータを用いて一方の画像が生成され、偶数ラインのデータを用いて他方の画像が生成される。
【０１８３】
前記ページデータ復号部５１はページデータに文字情報が含まれる場合、文字情報に対応するフォントイメージをＲＯＭなどの記憶媒体から読み出し、これを展開してページ画像に貼り付ける。前記フォントイメージはビットマップデータであってもよいし、ベクトルデータであってもよい。
【０１８４】
図３３Ａは図２７のページデータ復号部５１のより詳細なブロック図である。前記ページデータ復号部５１はページデータを復号してページ画像を生成するページ生成部６７およびフォントイメージを蓄積するフォントイメージ蓄積部６８から構成される。ページ生成部６７は分離部５０から入力されたページデータを復号し、表や罫線などからなるページ画像を生成すると伴に、ページデータ中で指定のフォントイメージをフォントイメージ蓄積部６８から読み出して展開し、ページ画像に貼り付ける。
【０１８５】
図３５は前記ページデータ復号部５１と前記２Ｄ／３Ｄ変換部５４を経て、前記フォントイメージ蓄積部６８から読み出したフォントイメージがどのように変化するかを概念的に示したものである。既に説明したように前記２Ｄ／３Ｄ変換部は入力された画像データの水平解像度を半分に間引き、これを複製することで立体画像を生成する。
【０１８６】
ここで２Ｄ／３Ｄ変換部５４で入力された２Ｄページデータの文字情報は図３５に示すように、奇数列のみを用いて水平方向を半分にする間引き処理によりフォントの一部の線が消滅し、文字として解読できなくなってしまう場合がある。これを避けるため、前記フォントイメージ蓄積部から読み出されるフォントは、間引き処理を行ってもフォントの一部が消滅しないように構成しなければならない。このようなフォントイメージを以降３Ｄフォントと呼ぶことにする。３Ｄフォントは、前記のように間引き処理を行ってもフォントの一部が消滅したため文字として解読できなくならないという条件さえ満たせばゴシック体などの太いフォントをそのまま使用できる場合がある。また、明朝体など細いフォントに後述の特別の処理を施すことによっても生成することが出来る。
【０１８７】
次に、図３６、図３７Ａ〜３７Ｃおよび図４０を用いて３Ｄフォントを生成する方法を説明する。
【０１８８】
図４０は、３Ｄフォントを作成する方法を概念的に示したものである。同図に示すように一旦、水平方向を半分に縮小し、各ピクセルを水平方向に２回ずつ繰り返して拡大することで３Ｄフォントを生成できる。
【０１８９】
図３７Ａ〜３７Ｃは、３Ｄフォントの別の作成方法を説明する為の図である。同図Ａ、Ｂ、Ｃはそれぞれ前記縮小方法の別の例を示している。図中、白いマスはピクセルの値が０、黒いマスはピクセルの値が０以外の値ｋ、灰色のマスはピクセルの値が０以外でｋ未満の値ｍであることを表す。また、同図（１）〜（４）はそれぞれの縮小方法に対し、水平方向に隣り合う２ピクセルの値の組み合わせと、そこから縮小処理により生成されるピクセル値との関係を表している。
【０１９０】
図３７Ａに示す縮小方法は、前記２ピクセルのうち少なくとも一方がｋである場合に縮小されたピクセルもｋにする方法である。図４０の手順Ａがこの方法で縮小、拡大したフォントの例である。この方法によれば、文字を構成するピクセル全てが消滅しないように構成されている為、間引き時に奇数列もしくは偶数列の一方が削除されても他方が保存される。このため２Ｄ／３Ｄ変換処理を行っても文字の一部が欠けることを回避できる。
【０１９１】
図３７Ｂに示す縮小方法は、縮小後のピクセル値として前記隣り合う２つのピクセル値の間の値を取る方法である。状態（１）では隣接する２ピクセルの値が両方とも０であるため縮小後のピクセルの値を０とする。隣接する２つのピクセル値のどちらか一方が０で、もう一方がｋである状態（２）または状態（３）の場合は、縮小後のピクセルの値を０とｋの間の値ｍとする。 隣接する２つのピクセルの値が両方ともｋである状態（４）ならば、縮小後のピクセル値もｋとする。前記 ｍが前記ｋよりも小さい為、フォントが太くなっているにもかかわらずフォントの線を見かけ上細くすることが可能となる。例えば、前記ｋが１００の時、前記ｍの値として、例えばｍ＝ｋ／２である５０を用いれば良い。図４０の手順Ｂがこの方法で縮小、拡大したフォントの例である。太さが１の時にｍ＝２／ｋにすると、フォントが暗くなりすぎる時には、あらかじめフォントイメージ毎に太さｔを指定しておき、図３６に示すように太さが１に近い時、すなわちｔが１に近い時にｍがｋに近づくような関数を用いても良い。
【０１９２】
図３７Ｃに示す縮小方法は、状態（１）および（４）に関する変換は前記図３７Ｂに示す縮小方法と同じであるが、前記２画素の左側のピクセルの値のみがｋである状態（２）の時にはｍに、右側のピクセルの値のみがｋである状態（３）の時にはｎに、それぞれ縮小後のピクセルの値を決める方法である。ここで、ｎはｍとは異なる０とｋの間の値である。これにより、フォントイメージの見え方を前記図３７Ｂに示す方法よりも更に細かく制御できる。
【０１９３】
これまでに説明した方法で２Ｄフォントから生成した３Ｄフォントや、１から生成した３Ｄフォントをあらかじめ図３３Ｂのフォントイメージ蓄積部６８に備えて、３Ｄ表示時に３Ｄフォントを選択して読み出しても良いが、フォントイメージを読み出す際に変換しても良い。
【０１９４】
図３３Ｃは、フォントイメージを読み出す際に変換するように構成した場合のページデータ復号部の詳細な構成を示したブロック図である。このページデータ復号部は、図３３Ｂのページデータ復号部にフォント変換部６９が加えられている。
【０１９５】
ページ生成部は、ページデータを復号する際、フォントイメージ蓄積部から読み出した２Ｄ表示用のフォントイメージから、前記フォント変換部６９にて３Ｄフォントに変換し、これを用いてページ画像を生成する。このように構成することにより、２Ｄ、３Ｄ用のフォントイメージを別々に蓄積することなく、２Ｄ表示、３Ｄ表示のいずれも可能な装置の場合でも記憶領域を削減できる利点がある。
【０１９６】
これまでの実施例では、図３８Ａのように文字情報の復号・展開は図２７のページデータ復号部５１にて行ったが、図３８Ｂのように文字情報の展開をページデータ復号部５１でする代わりに、２Ｄ／３Ｄ変換部５４にて行う例を示す。これまでの実施例とはページデータ復号部５１および２Ｄ／３Ｄ変換部５４の構成が異なる。ここでは図示しないがページデータ復号部５１は図３３Ａ〜３３Ｃにおいてページ生成部６７のみで構成される。
【０１９７】
図３４の２Ｄ／３Ｄ変換部は、入力されたページ画像を水平方向に縮小する間引き処理部７０と、縮小されたページ画像から立体表示に必要な左右の画像を生成する左右画像複製部７１および左右画像生成時に用いるフォントイメージを蓄積するフォントイメージ蓄積部７２とフォントイメージを貼り付けるフォントイメージ貼付部７３とから構成される。
【０１９８】
間引き処理部７０の動作はすでに２Ｄ／３Ｄ変換部の動作説明時に詳細に説明しているため、以後の説明は省略する。
【０１９９】
前記左右画像複製部は、間引きされたページ画像を複製することで左右の画像を生成し、合わせて入力された文字情報を復号し、右目用、左目用それぞれのフォントイメージを前記フォントイメージ蓄積部７２から読み出して貼り付ける。なお、読み出されるフォントイメージは元のフォントイメージから前記間引き処理部７０と同一の方法で間引かれたものである。
【０２００】
右目用、左目用のフォントイメージを左右の画像それぞれに貼り付けることによって、左右のフォントの視差量を微妙に変えることが可能となり、３Ｄディスプレイ上で文字の飛び出しを制御することも可能である。
【０２０１】
図３９Ａ〜３９Ｃは２Ｄ／３Ｄ変換部にてフォントを展開する場合の別の実施例を説明するための概念図である。
【０２０２】
図３９Ａは、右目用もしくは左目用フォントイメージのいずれか一方のみを右画像、左画像に貼り付ける場合を表している。こうすることで、右もしくは左の一方にのみ文字情報が存在する為、輝度が高くなりすぎないという効果がある。
【０２０３】
また図３９Ｂに示すように、間引き処理を行っていないフォントイメージを右画像、左画像それぞれにあるいは一方に貼り付けても良い。この場合、フォントイメージの３Ｄ表示では文字の大きさが倍になるが、縮小を行わないので、細いフォントであってもそのまま使用でき、さらに縮小にかかわる処理が発生しないという利点がある。
【０２０４】
また、図３９Ｃに示すように、読み出された文字情報のピクセルの値を偶数列、奇数列毎に集めて、水平方向に半分に縮小したフォントを作成し、２Ｄ／３Ｄ変換部でコピーした左右画像にそれぞれ貼り付けても良い。こうすることで間引きにより情報が削除されることなく、また輝度も保存できる。この場合、例えば左画像にフォントイメージの偶数列のみのデータを、右画像に奇数列のみのデータを貼り付ければ良い。
【０２０５】
また、右目用および左目用フォントイメージは同一のものであっても良い。この時貼り付けるフォントイメージは水平方向２分の１のものをフォント蓄積部に蓄積することによって、記憶容量を削減することもできる。両眼視差を調整し、フォントイメージの飛び出しを制御することも出来る。
【０２０６】
図２９Ａおよび２９Ｂは、３次元画像データの合成時に配置情報がどのように使用されるかを示した概念図である。
【０２０７】
図２９Ａに示すように、３次元画像データの配置情報が（Ｘ，Ｙ）と指定される場合、３次元画像合成部５５では、図２９Ｂに示すように左右の画像それぞれに対し、（Ｘ／２，Ｙ）の位置に合成すれば良い。この座標変換方法は、先の場合と同様、画像データ再生装置が備える３次元（３Ｄ）デバイスによって異なるため、本実施例の記載はあくまでも一例である。
【０２０８】
また、表示部４４が表示領域の所望の部分を２次元表示モードにできる場合は、２Ｄ／３Ｄ変換部５４は不要であり、直接２次元画像データを表示部の２次元表示モードにした部分に入力すれば良い。
【０２０９】
以上のように画像データ再生装置を構成することで、２次元画像と３次元画像が混在したマルチメディア情報ファイルを適切に表示することができる。
【０２１０】
以上説明したとおり、本発明によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、３次元画像データと共に、３次元画像データを表示するための３次元画像表示制御情報をマルチメディア情報ファイルとして記録または構成するので、３次元画像データに汎用性を持たせ、１種類のマルチメディア情報ファイルで様々な３次元表示方式に柔軟に対応することが可能となる。
【０２１１】
本発明のマルチメディア情報再生装置によれば、複数の２次元画像データと３次元画像データが１つのマルチメディア情報ファイルに含まれる場合でも、マルチメディア情報ファイル中に含まれる３次元画像表示制御情報を解析することにより、３次元画像データと２次元画像データを表示方法に合わせて適切に変換し、正しく表示することが可能となる。
【０２１２】
この発明を詳細に説明し示してきたが、これは例示のためのみであって、限定となってはならず、発明の精神と範囲は添付の請求の範囲によってのみ限定されることが明らかに理解されるであろう。
【図面の簡単な説明】
【図１Ａ〜１Ｃ】 本発明の実施の形態において生成されるマルチメディア情報ファイルの構造を示す図である。図１Ａは、マルチメディア情報ファイルの構成を示し、図１Ｂは、各オブジェクトの構成を示し、図１Ｃは、３次元画像データの構造の一例を示す。
【図２】 本実施の形態における画像データ記録装置１００の構成を示すブロック図である。
【図３】 画像データ再生装置２００の構成を説明するためのブロック図である。
【図４Ａ〜４Ｃ】 ３次元表示制御情報２に記述する具体的な情報を説明するための概念図である。図４Ａは、３次元表示制御情報２に記述する具体的な情報を示し、図４Ｂは、音声と左目用画像と右目用画像のストリームを示し、図４Ｃは、間引き方向に対応するテーブルを示す。
【図５Ａ〜５Ｃ】 「視点数」および「視点位置」を説明するための概念図である。図５Ａは、２眼式の例を示し、図５Ｂと図５Ｃは６眼式の例を示す。
【図６】 ６眼式の場合において、視点位置と対応するストリームの記述の例を示す概念図である。
【図７Ａ〜７Ｂ】 図７Ａは、左目用画像と右目用画像が同じストリームとなっている場合において、視点位置と対応するストリームの記述の例を示す概念図であり、図７Ｂは、多重化データを示す図である。
【図８Ａ〜８Ｃ】 「カメラ配置」の他の構成例を示す概念図である。図８Ａおよび図８Ｂは、集中型の例を示し、図８Ｃは発散型の例を示す。
【図９Ａ〜９Ｂ】 枠画像の構成を説明するための概念図である。図９Ａは、枠画像を表示しない状態を示し、図９Ｂは、枠画像を表示した状態を示す。
【図１０Ａ〜１０Ｃ】 枠画像を表示させるために「枠画像データ」を供給する構成を説明するためのブロック図である。
【図１１Ａ〜１１Ｄ】 パララクスバリア方式で用いる液晶パネルとパララクスバリアのスリットの位置関係を示す概念図である。
【図１２Ａ〜１２Ｂ】 図サンプリングパターンを説明するための概念図である。
【図１３Ａ〜１３Ｅ】 １枚の画像を構成するために複数の視差像を並べる画像配置を説明するための概念図である。
【図１４Ａ〜１４Ｂ】 図１４Ａおよび１４Ｂは、各視差像を反転する構成を説明するための概念図である。
【図１５】 ３次元画像制御情報オブジェクトにおけるオブジェクトＩＤとして汎用のＩＤを用いる場合を示す図である。
【図１６】 ３次元識別情報を示す図である。
【図１７】 画像データ再生装置の第１の変形例を示すブロック図である。
【図１８】 番組配列情報という形で定期的に放送コンテンツの中に挿入される３次元識別情報を示す図である。
【図１９】 マルチメディア情報ファイルの構成を示す図である。
【図２０】 画像データ再生装置の第２の変形例を示すブロック図である。
【図２１】 画像データ再生装置の第３の変形例を示すブロック図である。
【図２２Ａ〜２２Ｂ】 ３次元表示制御情報および左目用画像と右目用画像を横に並べた画像データを示す概念図である。
【図２３】 ２次元画像データと３次元画像データが混在するマルチメディア情報ファイルの構成を示す概念図である。
【図２４】 画面上で、画面の原点を基準として、２次元画像（２Ｄ画像）と３次元画像（３Ｄ画像）とが配置される状態を示す概念図である。
【図２５】 マルチメディア情報ファイルの別の構成を示す概念図である。
【図２６Ａ〜２６Ｂ】 マルチメディア情報ファイルのさらに別の構成を示す概念図である。
【図２７】 １つのマルチメディア情報ファイルの中に３次元画像データ、２次元画像データおよびその配置情報が含まれる場合の画像データ再生装置の構成を説明するための概略ブロック図である。
【図２８】 ２Ｄ／３Ｄ変換部５４の動作を説明するための概念図である。
【図２９Ａ〜２９Ｂ】 ３次元画像データの合成時に配置情報がどのように使用されるかを示した概念図である。
【図３０】 本実施の形態における画像データ記録装置１００の別の構成を示すブロック図である。
【図３１】 マルチメディア情報ファイルのさらに別の構成を示す概念図である。
【図３２】 図３０に示した画像データ記録装置１００の処理のフローを説明するためのフローチャートである。
【図３３Ａ〜３３Ｃ】 本実施の形態におけるページデータ復号部の詳細なブロック図である。
【図３４】 本実施の形態における２Ｄ／３Ｄ変換部の詳細なブロック図である。
【図３５】 フォントイメージを２Ｄ／３Ｄ変換する概念図である。
【図３６】 フォントの太さと輝度の関係の実施の一例を描画した図である。
【図３７Ａ〜３７Ｃ】 隣接するピクセルの状態とそれらの変換例を表す図である。
【図３８Ａ〜３８Ｂ】 本実施の一形態におけるフォントイメージの貼りつけの概念図である。
【図３９Ａ〜３９Ｃ】 本実施の一形態におけるフォントイメージの貼りつけの概念図である。
【図４０】 ３Ｄフォントを生成する手順の概念図である。
【図４１】 ２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。
【図４２Ａ〜４２Ｂ】 ２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
【図４３Ａ〜４３Ｃ】 「レンチキュラ方式」の記録データ形式の一例を示す概念図である。

Claims (19)

1. ２次元画像および／または３次元画像を複数個含むマルチメディア情報を生成するマルチメディア情報生成方法であって、
   前記マルチメディア情報に３次元画像データが含まれる場合、前記３次元画像の表示を制御する制御情報を生成するステップと、
   前記２次元画像および／または３次元画像と前記制御情報とを含む前記マルチメディア情報を生成するステップとを備える、マルチメディア情報生成方法。
2. 複数のモジュールから成るマルチメディア情報を生成するマルチメディア情報生成方法であって、
   ２次元画像および／または３次元画像を複数個含む前記モジュールを生成するステップと、
   前記モジュールに３次元画像データが含まれる場合、前記モジュールは、前記３次元画像の表示を制御する制御情報を含むことを特徴とするマルチメディア情報生成方法。
3. 前記制御情報は、個々の３次元画像に対応して存在することを特徴とする、請求項１または２に記載のマルチメディア情報生成方法。
4. 前記制御情報は、複数の３次元画像に対応して存在することを特徴とする、請求項１または２に記載のマルチメディア情報生成方法。
5. 少なくとも前記２次元画像および／または前記３次元画像の各々を区別する識別子をあらかじめ設定し、前記制御情報は、前記３次元画像の識別子を示す識別情報を含むことを特徴とする、請求項１に記載のマルチメディア情報生成方法。
6. 少なくとも前記２次元画像および／または前記３次元画像の各々を区別する識別子をあらかじめ設定し、前記制御情報は、前記３次元画像の識別子を示す識別情報を含むことを特徴とする、請求項２に記載のマルチメディア情報生成方法。
7. 前記制御情報は、複数の識別子を含むことを特徴とする、請求項５または６に記載のマルチメディア情報生成方法。
8. 前記識別子の所定の値は、前記マルチメディア情報に含まれる画像が全て３次元画像であることを示す、請求項５または６に記載のマルチメディア情報生成方法。
9. 前記識別子の所定の値は、前記モジュールに含まれる画像が全て３次元画像であることを示す、請求項５に記載のマルチメディア情報生成方法。
10. ２次元画像あるいは３次元画像を複数個含むマルチメディア情報を再生するマルチメディア情報再生装置であって、
    前記２次元画像から３次元画像を生成する生成部と、
    前記生成部で生成された３次元画像と、前記マルチメディア情報に含まれる３次元画像を合成する第１の合成部を備えたことを特徴とするマルチメディア情報再生装置。
11. 複数の２次元画像を合成する第２の合成部をさらに備え、
    前記生成部は、前記第２の合成部で合成された２次元画像データから３次元画像データを生成することを特徴とする、請求項１０に記載のマルチメディア情報再生装置。
12. ２次元画像および／または３次元画像を複数個含むマルチメディア情報を再生するマルチメディア情報再生装置であって、
    前記マルチメディア情報に含まれる図形および文字情報を復号しページ画像を得るページデータ復号部と、
    前記ページ画像を３次元画像に変換する２Ｄ／３Ｄ変換部と、
    前記２Ｄ／３Ｄ変換部で生成された３次元画像と前記マルチメディア情報に含まれる３次元画像とを合成する第１の合成部とを備える、マルチメディア情報再生装置。
13. 複数の２次元画像を合成する第２の合成部をさらに備え、
    前記２Ｄ／３Ｄ変換部は、前記第２の合成部で合成された２次元画像データを３次元画像データに変換することを特徴とする、請求項１２に記載のマルチメディア情報再生装置。
14. 文字情報に対応した第１のフォントイメージと第２のフォントイメージを備え、文字情報を３次元表示する際に、前記第１のフォントイメージを用い、文字情報を２次元表示する際に前記第２のフォントイメージを用いることを特徴とする、請求項１２または１３に記載のマルチメディア情報再生装置。
15. 前記ページデータ復号部において、第１または第２のフォントイメージを用いてページ画像を得ることを特徴とする、請求項１４に記載のマルチメディア情報再生装置。
16. 前記２Ｄ／３Ｄ変換部において、第１または第２のフォントイメージを用いて３次元画像を得ることを特徴とする、請求項１４に記載のマルチメディア情報再生装置。
17. 前記第１および第２のフォントイメージを蓄積するフォントイメージ蓄積部と、
    第１または第２のフォントイメージを選択するスイッチと、
    をさらに備えることを特徴とする、請求項１５または１６に記載にマルチメディア情報再生装置。
18. 第２のフォントイメージを第１のフォントイメージに変換するフォント変換部をさらに備えることを特徴とする、請求項１５または１６に記載にマルチメディア情報再生装置。
19. 前記第１のフォントイメージは複数の濃淡情報から成り、文字の太さが見かけ上細くなるように配置されていることを特徴とする、請求項１２に記載のマルチメディア情報再生装置。

Images