JP4259884B2

JP4259884B2 - 画像データ作成装置およびそのデータを再生する画像データ再生装置

Info

Publication number: JP4259884B2
Application number: JP2003011472A
Authority: JP
Inventors: 正宏塩井; 健増谷
Original assignee: Sharp Corp; Sanyo Electric Co Ltd
Current assignee: Sharp Corp; Sanyo Electric Co Ltd
Priority date: 2003-01-20
Filing date: 2003-01-20
Publication date: 2009-04-30
Anticipated expiration: 2023-01-20
Also published as: EP1587330A4; KR100740607B1; EP1587330B1; US7796808B2; WO2004066639A1; US20060257016A1; CN100568984C; CN1739304A; KR20050090009A; EP1587330A1; JP2004264882A

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元表示するための画像データを作成する際に、画像データに属性情報を付随させる画像データ作成装置、およびそのデータを再生する画像データ再生装置に関するものである。
【０００２】
【従来の技術】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼画像と右眼画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。
【０００３】
図２２は、この２眼式の代表的な方式の１つである「時分割方式」を説明するための概念図である。
【０００４】
この時分割方式は、図２２のように、左眼画像と右眼画像が垂直方向１画素おきに交互にならんだ形に配置され、左眼画像の表示と右眼画像の表示が交互に切替えて表示されるものである。左眼画像および右眼画像は通常の２次元表示時に比べて垂直解像度が１／２になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼画像は左眼だけで、右眼画像は右眼だけで観察されることになり、立体視を行うことができる。
【０００５】
図２３は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
【０００６】
図２３（ａ）は、視差が生じる原理を示す図である。一方、図２３（ｂ）は、パララクスバリア方式で表示される画面を示す図である。
【０００７】
図２３（ａ）では、図２３（ｂ）に示すような左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル４０１に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア４０２を画像表示パネル４０１の前面に置くことにより、左眼画像は左眼４０３だけで、右眼画像は右眼４０４だけで観察することになり、立体視を行うことができる。
【０００８】
ところで、パララクスバリア方式と同様に図２３（ｂ）に示すような画像を３次元表示する方式に、「レンチキュラ方式」がある。このレンチキュラ方式で用いるための記録データ形式の一例が、後述する特許文献１において開示されている。
【０００９】
図２４は、このようなレンチキュラ方式の記録データ形式の一例を示す概念図である。図２４（ａ）に示す左眼画像５０１と図２４（ｂ）に示す右眼画像５０２から、それぞれを水平方向に１／２に間引きして図２４（ｃ）に示す１枚の混合画像５０３を作って記録する。再生時にはこの混合画像５０３を並べ替えることにより図２３（ｂ）に示したような合成画像が作成される。
【００１０】
【特許文献１】
特開平１１−４１６２７号公報
【００１１】
【発明が解決しようとする課題】
上記のように、従来の３次元表示システムにおいては、再生装置側で決められた表示方式に適するように、記録データ形式を固定した記録が行われており、記録データに汎用性を持たせることは考えられていない。
【００１２】
表示方式以外にも視点数や間引き方法など、３次元表示に必要な情報はいろいろあるが、表示方式が単一の場合、それらの情報は記録データとして記録されない。いつも同じ表示方式を使うなら、あえてそれらの情報を記録する必要がないからだが、このために記録データの汎用性が著しく損なわれている。例えば、パララクスバリア方式（あるいはレンチキュラ方式）用のデータを記録する場合に限っても、左眼画像と右眼画像を別々のシーケンスとして記録することもできるし、図２４（ｃ）のような左眼画像と右眼画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、図２３（ｂ）のような左眼画像と右眼画像が水平方向１画素おきに並んだ合成画像を記録することもできる。当然記録形式が違えばこれを表示するための処理方法も異なるが、記録されたデータからはどの形式で記録されたかを知ることができないため、第三者がそのデータを手にした時、どのような処理によって表示すればよいのかがわからないという問題がある。
【００１３】
本発明は、以上のような問題点を解決するためになされたものであって、その目的は、３次元表示のための画像データに汎用性を持たせることを可能とする画像データ作成装置、およびそのデータを再生する画像データ再生装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、立体視することが可能な複数の視点の各々に対応した複数の画像を含む立体視用画像データを作成する画像データ作成装置において、異なる視点の画像を一枚の画像に統合するか否かを示す統合情報と、画像を統合する場合における前記異なる視点の画像を、統合する一枚の画像のどの位置に配置するかを示す配置方法を示す画像配置情報と、を含む３Ｄ情報を作成する３Ｄ情報作成手段と、前記統合情報と、前記画像配置情報とに基づいて、前記複数の視点の画像を一枚の画像データに統合する画像統合手段と、前記画像データと、前記３Ｄ情報とを多重化して立体視用画像データを出力する画像多重化出力手段と、を備え、前記画像配置情報は、異なる視点の画像を一枚の画像に統合した場合、各視点画像の配置を所定の角度回転させた位置としたことを示す回転の情報と、画像が視点順に配置されているのか視点順と逆順に配置されているのかを示す配置順情報とを含むことで、上述の課題を解決する。
【００１６】
また、前記所定の角度は、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含むことで、上述の課題を解決する。
【００１７】
また、前記画像配置情報は、画像が垂直方向に配置されているのか水平方向に配置されているのかを示す配置方向情報を含むことで、上述の課題を解決する。
【００１８】
また、前記画像配置情報は、異なる視点の画像を一枚の画像に統合した際、各視点画像の配置を、所定の角度回転させた位置としたことと、視点の配置位置関係から位置関係を所定の方向に反転させた位置としたことの、いずれか一方のもしくは両者を組合せた配置としたことを示す情報であることで、上述の課題を解決する。
【００１９】
また、前記所定の角度とは、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含み、前記所定の方向とは、左右方向、上下方向の内、１つもしくは複数の方向を含むことで、上述の課題を解決する。
【００２０】
また、３Ｄ情報を含む立体視用画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記立体視用画像データを復号し、画像データを出力する復号手段と、前記３Ｄ情報から、画像データから異なる視点の画像が一枚の画像として統合されているか否かを示す統合情報と、統合された各視点の画像の配置方法を示す画像配置情報とについて解析する３Ｄ情報解析手段と、前記統合情報と前記画像配置情報を用いて、前記画像データを前記複数の画像に変換する画像変換手段と、を備え、前記画像配置情報は、異なる視点の画像を一枚の画像に統合した場合、各視点画像の配置を所定の角度回転させた位置としたことを示す回転の情報と、画像が視点順に配置されているのか視点順と逆順に配置されているのかを示す配置順情報とを含むことで、上述の課題を解決する。
【００２２】
また、前記所定の角度は、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含むことで、上述の課題を解決する。
【００２３】
また、前記画像配置情報は、画像が垂直方向に配置されているのか水平方向に配置されているのかを示す配置方向情報を含むことで、上述の課題を解決する。
【００２４】
また、前記画像配置情報は、異なる視点の画像を一枚の画像に統合した際、各視点画像の配置を、所定の角度回転させた位置としたことと、視点の配置位置関係から位置関係を所定の方向に反転させた位置としたことの、いずれか一方の方法もしくは両者を組合せた配置としたことを示す情報であることで、上述の課題を解決する。
【００２５】
また、前記所定の角度とは、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含み、前記所定の方向とは、左右方向、上下方向の内、１つもしくは複数の方向を含むことで、上述の課題を解決する。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２７】
＜第１の実施の形態＞
図１は本発明における第１の実施の形態による画像データ作成装置の構成を示すブロック図である。図１において、画像データ作成装置１００は、左眼画像と右眼画像を統合するか否か及び統合する場合の配置方法を指定する制御部１０１、制御部１０１からの指定に応じて、左眼画像と右眼画像を適切な位置に配置して、１つの画像に統合した画像を作成する画像統合部１０２、統合するか否か及び統合する場合の画像の配置方法をフォーマット化して３Ｄ情報を作成する３Ｄ情報作成部１０３、画像データを符号化する符号化部１０４、記録媒体や通信回線にアクセスする手段を備え、画像データと３Ｄ情報を多重化して出力する多重化部１０５から構成される。
【００２８】
以上のように構成された画像データ作成装置１００について、その動作を説明する。
【００２９】
連続するフレームから構成される画像信号は、１フレームごとに画像データ作成装置に入力される。
【００３０】
制御部１０１は、統合するか否か及び統合する場合の画像の配置方法を指定する。画像統合部１０２は、前記統合の有無及び配置方法で指定された形式の画像データを作成する。ここで配置方法の具体例を図２に示す。左上にＬと書かれた画像が左眼画像であり、左上にＲと書かれた画像が右眼画像である。以降、これらを視点画像と呼ぶ。
【００３１】
図２（ａ）は左側に左眼画像を配置し、右側に右眼画像を配置し、１枚の画像に統合した画像である。図２（ｂ）は上側に左眼画像を配置し、下側に右眼画像を配置し、１枚の画像に統合した画像である。図２（ｃ）は右側に左眼画像を配置し、左側に右眼画像を配置し、１枚の画像に統合した画像である。図２（ｄ）は下側に左眼画像を配置し、上側に右眼画像を配置し、１枚の画像に統合した画像である。これら図２（ａ）から（ｄ）の４個の画像は、各視点画像自体は回転せずに、各視点画像の配置が９０度ずつ回転したような画像である。そこで、視点画像がどのように配置されているのかを示す「回転配置」という概念を導入して、統一的に表現することとする。
【００３２】
すなわち、図２（ａ）は、画像の配置方法を視点の配置位置と一致させて１枚の画像に統合した画像であり、この画像を通常画像もしくは０度回転配置画像と表現する。そして、図２（ｂ）を右９０度回転配置画像と表現し、図２（ｃ）を右１８０度回転配置画像と表現し、図２（ｄ）を右２７０度回転配置画像と表現する事とする。
【００３３】
右１８０度回転配置画像、すなわち右側に左眼画像を配置し、左側に右眼画像を配置した映像は、その配置のまま通常のディスプレイに表示すれば、交差法という寄り目で画像を見る方法でその映像を見ると、立体映像として見えるという利点がある。また、従来例に記載した時分割方式で立体映像を生成する機器においては、通常配置画像や右１８０度回転配置画像のように、ライン毎に左眼画像のデータと右眼画像のデータを並べるよりは、右９０度回転配置画像及び右２７０度回転配置画像のように、左眼画像１枚分のデータに続けて右眼画像１枚分のデータをつなげるほうが、平易に実装できるという利点がある。
また、回転配置との概念以外に、「統合画像の回転」および「各視点画像の回転」という別の回転方法の概念を導入する事により、別の統合画像が作成できる。
【００３４】
図３（ａ）は通常配置の統合画像であり、図２（ａ）と同一の画像である。ここから統合画像自体を右９０度に回転すると図３（ｂ）となる。また図３（ａ）から統合画像自体を右１８０度に回転すると図３（ｃ）となる。また図３（ａ）から統合画像自体を右２７０度に回転すると図３（ｄ）となる。
【００３５】
図４（ａ）は通常配置の統合画像であり、図２（ａ）と同一の画像である。ここから各視点画像をそれぞれ右９０度に回転して統合すると図４（ｂ）となる。また図４（ａ）から各視点画像をそれぞれ右１８０度に回転して統合すると図４（ｃ）となる。また図４（ａ）から各視点画像をそれぞれ右２７０度に回転して統合すると図４（ｄ）となる。
【００３６】
なお、画像の回転配置と、統合画像の回転と、各視点画像の回転とは全て独立した事象であるが、３種類の回転方法を定義しなくても、２種類の回転方法を組み合わせることで、もう１つの回転方法を定義することが可能である。
【００３７】
具体的には、各視点画像を右９０度回転した画像とは、まず統合画像を右２７０度回転配置し、さらにその画像自体を右９０度回転した画像と同一の画像である。これは順番を逆にして、まず統合画像自体を右９０度回転してから右２７０度回転配置しても同一の画像になる。すなわち、各視点画像を右９０度回転した画像は、右２７０度回転配置と統合画像の右９０度回転とを組み合わせた画像と表現できる。同様に、各視点画像を右１８０度回転した画像は、右１８０度回転配置と統合画像の右１８０度回転とを組み合わせた画像と表現でき、各視点画像を右２７０度回転した画像は、右９０度回転配置と統合画像の右２７０度回転とを組み合わせた画像と表現できる。すなわち、回転配置の情報と統合画像の回転の情報とがあれば、各視点画像の回転の情報は表現できる事になる。
【００３８】
同様に考えると、統合画像を右９０度回転した画像は、右９０度回転配置と各視点画像の右９０度回転とを組み合わせた画像と表現でき、統合画像を右１８０度回転した画像は、右１８０度回転配置と各視点画像の右１８０度回転との組み合わと表現でき、統合画像を右２７０度回転した画像は、右２７０度回転配置と各視点画像の右２７０度回転との組み合わと表現できる。すなわち、回転配置の情報と各視点画像の回転の情報とがあれば、統合画像の回転の情報は表現できる事になる。
【００３９】
同じく、右９０度回転配置は、統合画像の右９０度回転と各視点画像の右２７０度回転とを組み合わせた画像と表現でき、右１８０度回転配置は、統合画像の右１８０度回転と各視点画像の右１８０度回転とを組み合わせた画像と表現でき、右２７０度回転配置は、統合画像の右２７０度回転と各視点画像の右９０度回転とを組み合わせた画像と表現できる。すなわち、統合画像の回転の情報と各視点画像の回転の情報とがあれば、回転配置の情報は表現できる事になる。
【００４０】
３Ｄ情報作成部１０３は、統合の有無、配置方法をフォーマット化して、画像を３次元表示するために必要な３Ｄ情報を作成する。配置方法の情報は、図５に示すように、前述した４種類の配置方法を識別するインデックスを定義し、そのインデックスをそのまま記録してもよい。また、統合の有無が「統合無し」を示している場合には、配置方法の情報は意味を持たないので、その場合には、配置方法の情報自体を省略させる事としてもよいし、配置方法の情報があっても情報自体は無効であると定義してもよい。もしくは、図６に示すように、統合の有無の情報と配置方法の情報を組み合わせて１つの情報としてインデックスを定義してもよい。また４種類の配置方法をすべて定義せずに、使用される可能性が高い配置方法だけを定義してもよい。例えば、通常配置と右９０度回転配置と右２７０度配置の３種類の回転配置のみを定義してもよいし、通常配置と右１８０度配置の２種類の回転配置のみを定義してもよい。
【００４１】
また、配置方法として、回転配置の概念を用いずに、画像の配置方向が左右配置であるか上下配置であるかを示す配置方向情報と、画像の配置順が視点順であるかその逆順であるかを示す配置順情報の組み合わせでも定義できる。すなわち、配置方向が左右配置で、配置順が視点順の場合は、通常配置を示し、配置方向が左右配置で、配置順が視点順と逆順の場合は、右１８０度回転配置を示し、配置方向が上下配置で、配置順が視点順の場合は、右９０度回転配置を示し、配置方向が上下配置で、配置順が視点順と逆順の場合は、右２７０度回転配置を示す。この場合は、図７（ａ）,（ｂ）に示すように、配置方向を識別するインデックスと配置順を識別するインデックスを別途定義し、そのインデックスをそれぞれそのまま記録してもよい。また、図７（ｃ）に示すように、配置方法を示す情報の中で、あるビットを配置方向の情報に割り当て、別のあるビットを配置順の情報に割り当てて、あわせて配置方法を示す情報として記録してもよい。
【００４２】
回転配置の情報と、統合画像の回転の情報と、各視点画像の回転の情報とは全て独立しているため、図８（ａ），（ｂ），（ｃ）の示すように、３種類の情報それぞれに前述した４個の配置方法および回転方法を識別するインデックスを定義し、そのインデックスをそのまま記録してもよい。また、前述したように３種類の情報を定義しなくても、どれか２種類の情報を定義すれば、もう１種類の情報を示す事が可能であるため、例えば図８の（ａ）と（ｂ）だけを識別するインデックスを定義してもよい。また、通常の配置方法および回転を行わない画像は、すべて同一の通常画像と表現される画像であるため、図９に示すように、３種類の情報を１つにまとめて、配置方法および回転方法を識別するインデックスを定義してもよい。また、図１０（ａ），（ｂ）に示すように、統合画像が、回転配置した画像であるのか、統合画像を回転した画像であるのか、各視点画像を回転した画像であるのかとの回転方法を定義するフィールドと、その回転方法の角度とを定義するフィールドとに分けて、それぞれを識別するインデックスを定義してもよい。なお図１０では、通常画像を示すために、回転方法を識別するフィールドに「回転なし」とのインデックスを設けたが、角度を定義するフィールドに「回転角度０度」を意味するインデックスを定義して、こちらで通常画像であることを識別することとしても良い。
さらに３Ｄ情報は、設定値をそのまま用いてもよいし、固定長符号化または可変長符号化により符号化してもよい。
【００４３】
符号化部１０４は、画像統合部１０２で作成された画像データを符号化し、符号化データを作成する。符号化方法として、静止画像に対してはＪＰＥＧ、ＪＰＥＧ２０００などの国際標準方式を用いるものとする。また、動画像に対してはＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などの国際標準方式を用いるものとする。動画像の符号化として、フレーム内符号化のみを用いる場合は、ＭｏｔｉｏｎＪＰＥＧなどの方式を用いてもよい。画像符号化方式としては、上記に限らず非標準の方式を用いてもよいし、圧縮を行わなくてもよい。図１では符号化部を１つとして記載したが、画像統合を行わない場合を考慮して、視点数分存在しても良い。
【００４４】
多重化部１０５は、符号化部１０４で作成された符号化データと、３Ｄ情報作成部で作成された３Ｄ情報を所定のフォーマットに変換して外部に出力する。図１には図示していないが、音声やテキストを多重化する場合は、それらのデータも多重化部１０５にて多重化される。
【００４５】
多重化部１０５の出力先には、ＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどの記録デバイスや、ＬＡＮやモデムなどの通信デバイスが接続される。ここでは、多重化部１０５にＩＣメモリが接続されているものとする。以下では、この場合の記録フォーマットについて説明する。
【００４６】
一般にＩＣメモリを記録媒体に使用する場合には、ＩＣメモリ上にＦＡＴ（ＦｉｌｅＡｌｌｏｃａｔｉｏｎＴａｂｌｅ）などのファイルシステムが構築され、データはファイルとして記録される。ここで使用するファイル形式は、既存の形式を使用してもよいし、新規に定めた独自の形式を使用してもよい。既存の形式を使用する場合、３Ｄ情報は一般に既存の形式に用意されているヘッダを拡張する仕組み（ここでは、拡張されたヘッダを拡張ヘッダと呼ぶ）を用いて、既存のファイルヘッダの一部として記録されるものとする。この場合には、一般に使用されている拡張子（例えばＪＰＥＧファイルの場合、一般に．ｊｐｇという拡張子が用いられている）をそのまま使用する。こうすることで、３次元画像の表示機能を持たない従来の再生装置でも既存の形式のファイルとして認識し、２次元画像として表示することができる。一方、新規の形式を使用する場合には、３Ｄ情報をファイルの先頭に記録する。また、新規の形式のファイルであることがわかるように、既存形式のファイルと区別することのできるユニークな拡張子をつける。
【００４７】
続いて、画像データ作成装置１００で作成した画像データを３次元画像として表示するための再生装置について説明する。
【００４８】
図１１は、本発明における第１の実施の形態による画像データ再生装置の構成を示すブロック図である。図１１において、画像データ再生装置２００は、多重化データを分離する逆多重化部２０１、３Ｄ情報を解析する３Ｄ情報解析部２０２、符号化データを復号する復号部２０３、画像データを表示形式に変換する画像変換部２０４から構成される。
【００４９】
以上のように構成された画像データ再生装置２００について、その動作を説明する。
【００５０】
逆多重化部２０１は、記録デバイスや通信デバイスから所定のフォーマットに多重化された多重化データを読み込み、符号化データと３Ｄ情報に分離する。図１１には図示していないが、音声やテキストが多重化されている場合は、それらのデータも逆多重化部２０１にて分離される。ここでは、逆多重化部２０１にＩＣメモリが接続されているものとする。前述したように、ＩＣメモリには画像ファイルが既存形式あるいは新規形式で記録される。既存形式と新規形式の区別は、ファイルの拡張子によって行うことができるので、再生するファイルが既存形式のファイルの場合、ファイルヘッダの拡張領域から３Ｄ情報を読み出す。また新規形式の場合には、ファイルの先頭から３Ｄ情報を読み出す。
【００５１】
３Ｄ情報解析部２０２は、３Ｄ情報を解析し、統合の有無および配置方法の情報を抽出する。
復号部２０３は、逆多重化部２０１により分離された符号化データから画像データを復号する。
【００５２】
画像変換部２０４には、通常のブラウン管や液晶パネルを用いた２次元表示装置、レンチキュラ方式、パララクスバリア方式、時分割方式などを用いた立体表示装置など、それぞれ表示形式が異なる表示装置が接続される。画像変換部２０４は、統合の有無、および配置方法から、分離された画像データを表示形式に変換する。
【００５３】
以上により、３次元画像データを含むマルチメディア情報ファイルに、該３次元画像データが統合されているか、また、統合されている場合はどのように各画像データが配置されているのかを示す３次元画像情報を付加し、３次元画像再生装置においては該３次元画像情報から得られるデータ特性に応じた適切な変換処理を行って表示するようにすることにより、記録された３次元画像データに汎用性を持たせ、異なる３次元表示方式に対しても同じ３次元画像データを共通に利用できるようにする。
【００５４】
＜第２の実施の形態＞
図１２は本発明における第２の実施の形態による画像データ作成装置の構成を示すブロック図である。第１の実施の形態では、視点数が２の場合について述べたが、本発明は視点数が３以上のいわゆる多視点の場合についても適用可能であり、本実施の形態では、多視点の場合について記載する。図１２において図１と同一部分には同一符号が付してある。画像データ作成装置１１０は、制御部１０１、制御部１０１からの指定に応じて、多視点（視点数Ｋ、ここでＫは２以上の整数である）の画像１から画像Ｋを適切な位置に配置して、１つの画像に統合した画像を作成する画像統合部１１１、統合するか否か及び統合する場合の画像の配置方法及び視点数の情報をフォーマット化して３Ｄ情報を作成する３Ｄ情報作成部１１２、符号化部１０４、多重化部１０５から構成される。
【００５５】
以上のように構成された画像作成装置１１０について、その動作を説明する。画像作成装置１１０には、画像データを入力するための撮像装置が２つ以上接続され、その撮像装置は、水平方向にＭ個、垂直方向にＮ個格子状に並べられ、各撮像装置にはそれぞれ番号（視点番号）がふられているものとする（ただし、Ｍ，Ｎは１以上の整数であり、ＭｘＮ＝Ｋとなる）。図１３に水平方向に４個、垂直方向に３個が格子状に並べられ、視点数が合計１２となる場合の設置例（設置された撮像装置を後から斜め下方に見下ろした図）を示す。ここで視点番号は、左から右、上から下の順にふるものとする。つまり撮像装置３０１が１、撮像装置３０２が２、撮像装置３０３が３、撮像装置３０４が４、同様にして撮像装置３０５〜３１２が５〜１２である。
【００５６】
制御部１０１は、統合の有無、画像の配置方法、水平方向の視点数Ｍと垂直方向の視点数Ｎを指定する。指定の仕方は第１の実施の形態と同様であるので、ここでの説明は省略する。
【００５７】
画像統合部１１１は、制御部１０１から入力された統合の有無が「統合あり」を示すとき、入力された画像１から画像Ｋまでの配置方法を選択する。配置方法としては８種類あり得、その具体例を図１４に示す。この図は水平方向に４視点（Ｍ＝４）、垂直方向に３視点（Ｎ＝３）を配置した例であり、各画像の右下に記載した番号は、視点番号である。
【００５８】
図１４（ａ）は、画像の配置方法を撮像装置の配置位置と一致させて１枚の画像に統合した画像である。画像の配置位置をｇ（ｘ，ｙ）とし、撮像装置の配置位置をｆ（ｘ，ｙ）とすると、両者の関係は以下のようになる。ここで（ｘ，ｙ）は、水平方向の配置位置をｘ座標、垂直方向の配置位置をｙ座標とし、左上を原点とした、右方向及び下方向が正の値となる座標系で表されている。
【００５９】
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
（ｘ＝０，１，・・・Ｍ−１：ｙ＝０，１，・・・Ｎ−１）
【００６０】
図１４（ｂ）は、撮像装置の配置位置から右９０度に回転した位置に、対応する画像を配置して１枚の画像に統合した画像の１例である。この画像の配置位置と撮像装置の配置位置との関係は以下のように定義され、この画像配置方法を「右９０度回転配置」と呼ぶ。
【００６１】
ｇ（ｘ，ｙ）＝ｆ（ｙ，Ｎ−１−ｘ）
（ｘ＝０，１，・・・Ｎ−１：ｙ＝０，１，・・・Ｍ−１）
【００６２】
この配置方法は、第１の実施例に記載した、右９０度回転配置の方法を多眼用に拡張した方法である。この配置方法では、最上段に左から撮像装置１，撮像装置２，撮像装置３，撮像装置４と並んだ位置関係は、最右列に上から画像１，画像２，画像３，画像４と並び、最左列に上から撮像装置１，撮像装置５，撮像装置９と並んだ位置関係は、最上段に右から画像１，画像５，画像９と並ぶことになる。すなわち、各画像の隣接関係は変わらずに、配置位置関係のみが変わることになる。
【００６３】
図１４（ｃ）は、撮像装置の配置位置から右１８０度に回転した位置に、対応する画像を配置して１枚の画像に統合した画像の１例である。この画像の配置位置と撮像装置の配置位置との関係は以下のように定義され、この画像配置方法を「右１８０度回転配置」と呼ぶ。
【００６４】
ｇ（ｘ，ｙ）＝ｆ（Ｍ−１−ｘ，Ｎ−１−ｙ）
（ｘ＝０，１，・・・Ｍ−１：ｙ＝０，１，・・・Ｎ−１）
【００６５】
この配置方法では、最上段に左から撮像装置１，撮像装置２，撮像装置３，撮像装置４と並んだ位置関係は、最下段に右から画像１，画像２，画像３，画像４と並び、最左列に上から撮像装置１，撮像装置５，撮像装置９と並んだ位置関係は、最右列に下から画像１，画像５，画像９と並ぶことになる。
【００６６】
図１４（ｄ）は、撮像装置の配置位置から右２７０度に回転した位置に、対応する画像を配置して１枚の画像に統合した画像の１例である。この画像の配置位置と撮像装置の配置位置との関係は以下のように定義され、この画像配置方法を「右２７０度回転配置」と呼ぶ。
【００６７】
ｇ（ｘ，ｙ）＝ｆ（Ｍ−１−ｙ，ｘ）
（ｘ＝０，１，・・・Ｎ−１：ｙ＝０，１，・・・Ｍ−１）
【００６８】
この配置方法では、最上段に左から撮像装置１，撮像装置２，撮像装置３，撮像装置４と並んだ位置関係は、最左列に下から画像１，画像２，画像３，画像４と並び、最左列に上から撮像装置１，撮像装置５，撮像装置９と並んだ位置関係は、最下段に左から画像１，画像５，画像９と並ぶことになる。
【００６９】
図１４（ｅ）は、撮像装置の配置位置から左右反転した位置に、対応する画像を配置して１枚の画像に統合した画像の１例である。この画像の配置位置と撮像装置の配置位置との関係は以下のように定義され、この画像配置方法を「左右反転配置」と呼ぶ。
【００７０】
ｇ（ｘ，ｙ）＝ｆ（Ｍ−１−ｘ，ｙ）
（ｘ＝０，１，・・・Ｍ−１：ｙ＝０，１，・・・Ｎ−１）
【００７１】
この配置方法では、最上段に左から撮像装置１，撮像装置２，撮像装置３，撮像装置４と並んだ位置関係は、最上段のままで右から画像１，画像２，画像３，画像４と並び、最左列に上から撮像装置１，撮像装置５，撮像装置９と並んだ位置関係は、最右列に上から画像１，画像５，画像９と並ぶことになる。
【００７２】
図１４（ｆ）は、撮像装置の配置位置から上下反転した位置に、対応する画像を配置して１枚の画像に統合した画像の１例である。この画像の配置位置と撮像装置の配置位置との関係は以下のように定義され、この画像配置方法を「上下反転配置」と呼ぶ。
【００７３】
ｇ（ｘ，ｙ）＝ｆ（ｘ，Ｎ−１−ｙ）
（ｘ＝０，１，・・・Ｍ−１：ｙ＝０，１，・・・Ｎ−１）
【００７４】
この配置方法では、最上段に左から撮像装置１，撮像装置２，撮像装置３，撮像装置４と並んだ位置関係は、最下段の左から画像１，画像２，画像３，画像４と並び、最左列に上から撮像装置１，撮像装置５，撮像装置９と並んだ位置関係は、最左列のままで下から画像１，画像５，画像９と並ぶことになる。
【００７５】
図１４（ｇ）は、撮像装置の配置位置から、右９０度回転後に、さらに上下反転した位置に、対応する画像を配置して１枚の画像に統合した画像の１例である。この画像の配置位置と撮像装置の配置位置との関係は以下のように定義され、この画像配置方法を「右９０度回転かつ上下反転配置」と呼ぶ。
【００７６】
ｇ（ｘ，ｙ）＝ｆ（Ｍ−１−ｙ，Ｎ−１−ｘ）
（ｘ＝０，１，・・・Ｎ−１：ｙ＝０，１，・・・Ｍ−１）
【００７７】
この配置方法では、最上段に左から撮像装置１，撮像装置２，撮像装置３，撮像装置４と並んだ位置関係は、最右列の下から画像１，画像２，画像３，画像４と並び、最左列に上から撮像装置１，撮像装置５，撮像装置９と並んだ位置関係は、最下段の右から画像１，画像５，画像９と並ぶことになる。
【００７８】
図１４（ｈ）は、撮像装置の配置位置から、右９０度回転後に、さらに左右反転した位置に、対応する画像を配置して１枚の画像に統合した画像の１例である。この画像の配置位置と撮像装置の配置位置との関係は以下のように定義され、この画像配置方法を「右９０度回転かつ左右反転配置」と呼ぶ。
【００７９】
ｇ（ｘ，ｙ）＝ｆ（ｙ，ｘ）
（ｘ＝０，１，・・・Ｎ−１：ｙ＝０，１，・・・Ｍ−１）
【００８０】
この配置方法では、最上段に左から撮像装置１，撮像装置２，撮像装置３，撮像装置４と並んだ位置関係は、最左列の上から画像１，画像２，画像３，画像４と並び、最左列に上から撮像装置１，撮像装置５，撮像装置９と並んだ位置関係は、最上段の左から画像１，画像５，画像９と並ぶことになる。
この８種類のいずれかの画像配置の方法が、選択される。
【００８１】
なお、図１４（ａ）から（ｆ）の８種類の画像は、４種類の回転配置と左右反転の有無の組み合わせでも表現できる。具体的には、図１４（ａ）から（ｄ）は、それぞれ通常配置、右９０度回転配置、右１８０度回転配置、右２７０度回転配置と左右反転無しとを組み合わせた画像で、図１４（ｅ）は、通常配置と左右反転配置を組み合わせた画像で、図１４（ｆ）は、右１８０度回転配置と左右反転配置を組み合わせた画像で、図１４（ｇ）は、右２７０度回転配置と左右反転配置を組み合わせた画像で、図１４（ｈ）は、右９０度回転配置と左右反転配置を組み合わせた画像と表現できる。
【００８２】
なお、ここでは、４種類の回転配置と左右反転配置の有無で組み合わせで８種類の画像を示せることを説明したが、４種類の回転配置と上下反転配置の有無の組み合わせでも８種類の画像を示すことができる。
【００８３】
また、第１の実施の形態と同様に、回転配置との概念以外に、「統合画像の回転」および「各視点画像の回転」という別の回転方法の概念を導入する事により、別の統合画像が作成できる。
【００８４】
図１５（ａ）は通常配置の統合画像であり、図１４（ａ）と同一の画像である。ここから統合画像自体を右９０度に回転すると図１５（ｂ）となる。また図１５（ａ）から統合画像自体を右１８０度に回転すると図１５（ｃ）となる。また図１５（ａ）から統合画像自体を右２７０度に回転すると図１５（ｄ）となる。
図１６（ａ）は通常配置の統合画像であり、図１４（ａ）と同一の画像である。ここから各視点画像をそれぞれ右９０度に回転して統合すると図１６（ｂ）となる。また図１６（ａ）から各視点画像をそれぞれ右１８０度に回転して統合すると図１６（ｃ）となる。また図１６（ａ）から各視点画像をそれぞれ右２７０度に回転して統合すると図１６（ｄ）となる。
【００８５】
符号化部１０４の動作は第１の実施の形態と同様であるので、ここでの説明は省略する。
【００８６】
３Ｄ情報作成部１１３は、符号化部１０４で作成された符号化データと、制御部１０１によって指定された統合の有無および配置方法および視点数をフォーマット化して、画像を３次元画像として表示するために必要な３Ｄ情報を作成する。配置方法の情報は、図１７に示すように、前述した８種類の配置方法を識別するインデックスを定義し、そのインデックスをそのまま記録してもよい。また、統合の有無が「統合無し」を示している場合には、配置方法の情報は意味を持たないので、その場合には、配置方法の情報自体を省略させる事としてもよいし、配置方法の情報があっても情報自体は無効であると定義してもよい。もしくは、図１８に示すように、統合の有無の情報と配置方法の情報を組み合わせて１つの情報としてインデックスを定義してもよい。また８種類の配置方法をすべて定義せずに、使用される可能性が高い配置方法だけを定義してもよい。例えば、通常配置と右９０度回転配置と左右反転配置と上下反転配置の４種類の回転配置のみを定義しても良い。
【００８７】
また前述したように、８種類の画像は，４種類の回転配置と左右反転の有無の組み合わせでも表現できるので、図１９（ａ），（ｂ）に示すように、４種類の回転配置を識別するインデックスと、左右反転の有無を示すを識別するインデックスとを独立して定義してもよい。また図２０（ａ），（ｂ）に示すように、統合の有無の情報と回転配置の情報を組み合わせて１つの情報とし、左右反転の有無の情報は、それらと独立して定義することとしてもよい。また、図１９および図２０のインデックスでは、左右反転でなく、上下反転で定義してもよい。
【００８８】
また第１の実施形態のように、回転配置の情報と統合画像の回転の情報と各視点画像の回転の情報とを独立に指定できるようにしても良いし、まとめて１つの情報としても良い。さらに３Ｄ情報を作成する際には、設定値をそのまま用いてもよいし、固定長符号化または可変長符号化により符号化してもよい。
【００８９】
多重化部１０５の動作は第１の実施の形態と同様であるので、ここでの説明は省略する。
【００９０】
続いて、画像データ作成装置１１０で作成した画像データを３次元画像として表示するための再生装置について説明する。
【００９１】
図２１は、本発明における第２の実施の形態による画像データ再生装置の構成を示すブロック図である。図２１において、画像データ再生装置２１０は、逆多重化部２０１、３Ｄ情報を解析する３Ｄ情報解析部２１１、符号化データを復号する復号部２０３、復号した画像データを表示形式に変換する画像変換部２１２から構成される。
【００９２】
以上のように構成された画像データ再生装置２１０について、その動作を説明する。
【００９３】
逆多重化部２０１の動作は第１の実施の形態と同じであるので、ここでの説明は省略する。
３Ｄ情報解析部２１１は、３Ｄ情報を解析し、統合の有無、配置方法、視点数を抽出する。
復号部２０３の動作は第１の実施の形態と同じであるので、ここでの説明は省略する。
【００９４】
画像変換部２１２は、３Ｄ情報解析部２１１により抽出された統合の有無、配置方法、視点数に応じて、復号された画像データを表示形式に変換する。表示形式については第１の実施の形態と同様であるので、ここでの説明は省略する。
【００９５】
以上のようにして多重化された多視点の画像データを、図１１における画像データ再生装置２００で再生する場合、３次元画像として表示するためには、多視点の画像から２視点を選択して、左眼画像、右眼画像とすればよい。図１３の撮影装置で記録された画像データの場合には、１と２、２と３、３と４など、水平方向に並んだ中から選択可能である。また、表示の際に９０度回転させれば、１と５、２と６、３と７および４と８の組を選択しても、３次元画像として表示することができる。
【００９６】
以上のように、第１の実施形態と同様に、様々な３次元画像の撮影方式で作成されたデータを統一的に扱い、３次元画像の表示機能を持たない従来の再生装置においては、２次元画像を正常に表示することができるようになるため、汎用性をもたせることができる。
【００９７】
【発明の効果】
本発明によれば、複数の視点の各々に対応した複数の画像から、所定のデータ形式の画像データを作成する画像データ作成装置において、異なる視点の画像を統合するか否かを示す統合情報と、画像を統合する場合における前記異なる視点の画像の配置方法を示す画像配置情報とを作成する情報作成手段を備え、前記データ形式は、前記統合情報と前記画像配置情報を含むことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【００９８】
また、前記画像配置情報は、視点画像の配置を所定の角度回転させた位置に画像を配置する方法の情報であることにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【００９９】
また、前記所定の角度は、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含むことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１００】
また、前記画像配置情報は、画像が垂直方向に配置されているのか水平方向に配置されているのかを示す配置方向情報と、画像が視点順に配置されているのか視点順と逆順に配置されているのかを示す配置順情報とから構成されることにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１０１】
また、前記画像配置情報は、視点画像の配置を所定の角度回転させた位置に画像を配置する方法と、視点の配置位置関係から位置関係を所定の方向に反転させた位置に画像を配置する方法の、いずれか一方の方法もしくは両者を組合せた方法の情報であることにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１０２】
また、前記所定の角度とは、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含み、前記所定の方向とは、左右方向、上下方向の内、１つもしくは複数の方向を含むことにより、３次元表示のための画像データに汎用性を持たせることができるという有利な効果が得られる。
【０１０３】
また、所定のデータ形式の画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、前記データ形式を解析する解析手段を備え、前記解析手段は異なる視点の画像が統合されているか否かを示す統合情報と統合された画像の配置方法を示す画像配置情報とを解析し、前記統合情報及び画像の配置方法とを用いて前記複数の画像を再生することにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１０４】
また、前記画像配置情報は、視点画像の配置を所定の角度回転させた位置に画像を配置する方法の情報であることにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１０５】
また、前記所定の角度は、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含むことにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１０６】
また、前記画像配置情報は、画像が垂直方向に配置されているのか水平方向に配置されているのかを示す配置方向情報と、画像が視点順に配置されているのか視点順と逆順に配置されているのかを示す配置順情報とから構成されることにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１０７】
また、前記画像配置情報は、視点画像の配置を所定の角度回転させた位置に画像を配置する方法と、視点の配置位置関係から位置関係を所定の方向に反転させた位置に画像を配置する方法の、いずれか一方の方法もしくは両者を組合せた方法の情報であることにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【０１０８】
また、前記所定の角度とは、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含み、前記所定の方向とは、左右方向、上下方向の内、１つもしくは複数の方向を含むことにより、汎用性を持たせた画像データを表示装置に応じて表示することができるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明における第１の実施の形態による画像データ作成装置の構成を示すブロック図である。
【図２】回転配置を利用した左右画像の統合例を示す図である。
【図３】統合画像の回転を利用した左右画像の統合例を示す図である。
【図４】各視点画像の回転を利用した左右画像の統合例を示す図である。
【図５】画像配置方法情報の構成例を示す図である。
【図６】画像配置方法情報の構成例を示す図である。
【図７】画像配置方法情報の構成例を示す図である。
【図８】画像配置方法情報の構成例を示す図である。
【図９】画像配置方法情報の構成例を示す図である。
【図１０】画像配置方法情報の構成例を示す図である。
【図１１】本発明における第１の実施の形態による画像データ再生装置の構成を示すブロック図である。
【図１２】本発明における第２の実施の形態による画像データ作成装置の構成を示すブロック図である。
【図１３】視点番号のふり方の例を示す図である。
【図１４】回転配置を利用した多視点画像の統合例を示す図である。
【図１５】統合画像の回転を利用した多視点画像の統合例を示す図である。
【図１６】各視点画像の回転を利用した多視点画像の統合例を示す図である。
【図１７】画像配置方法情報の構成例を示す図である。
【図１８】画像配置方法情報の構成例を示す図である。
【図１９】画像配置方法情報の構成例を示す図である。
【図２０】画像配置方法情報の構成例を示す図である。
【図２１】本発明における第２の実施の形態による画像データ再生装置の構成を示すブロック図である。
【図２２】時分割方式における画像の表示形式を示す図である。
【図２３】パララクスバリア方式の概念を説明するための図である。
【図２４】レンチキュラ方式の記録データ形式の一例を示す概念図である。
【符号の説明】
１００，１１０画像データ作成装置
１０１制御部
１０２，１１１画像統合部
１０３，１１２３Ｄ情報作成部
１０４符号化部
１０５多重化部
２００，２１０画像データ再生装置
２０１逆多重化部
２０２，２１１３Ｄ情報解析部
２０３復号部
２０４，２１２画像変換部
３０１〜３１２撮像装置
４０１画像表示パネル
４０２パララクスバリア
４０３左眼
４０４右眼
５０１左眼画像
５０２右眼画像
５０３レンチキュラ方式で記録した際の混合画像

Claims

立体視することが可能な複数の視点の各々に対応した複数の画像を含む立体視用画像データを作成する画像データ作成装置において、
異なる視点の画像を一枚の画像に統合するか否かを示す統合情報と、画像を統合する場合における前記異なる視点の画像を、統合する一枚の画像のどの位置に配置するかを示す配置方法を示す画像配置情報と、を含む３Ｄ情報を作成する３Ｄ情報作成手段と、
前記統合情報と、前記画像配置情報とに基づいて、前記複数の視点の画像を一枚の画像データに統合する画像統合手段と、
前記画像データと、前記３Ｄ情報とを多重化して立体視用画像データを出力する画像多重化出力手段と、
を備え、
前記画像配置情報は、異なる視点の画像を一枚の画像に統合した場合、各視点画像の配置を所定の角度回転させた位置としたことを示す回転の情報と、画像が視点順に配置されているのか視点順と逆順に配置されているのかを示す配置順情報とを含むことを特徴とする画像データ作成装置。
請求項１に記載の画像データ作成装置において、
前記所定の角度は、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含むことを特徴とする画像データ作成装置。
請求項１に記載の画像データ作成装置において、
前記画像配置情報は、画像が垂直方向に配置されているのか水平方向に配置されているのかを示す配置方向情報を含むことを特徴とする画像データ作成装置。
請求項１に記載の画像データ作成装置において、
前記画像配置情報は、異なる視点の画像を一枚の画像に統合した際、各視点画像の配置を、所定の角度回転させた位置としたことと、視点の配置位置関係から位置関係を所定の方向に反転させた位置としたことの、いずれか一方のもしくは両者を組合せた配置としたことを示す情報であることを特徴とする画像データ作成装置。
請求項４に記載の画像データ作成装置において、
前記所定の角度とは、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含み、前記所定の方向とは、左右方向、上下方向の内、１つもしくは複数の方向を含むことを特徴とする画像データ作成装置。
３Ｄ情報を含む立体視用画像データから、複数の視点の各々に対応した複数の画像を再生する画像データ再生装置において、
前記立体視用画像データを復号し、画像データを出力する復号手段と、
前記３Ｄ情報から、画像データから異なる視点の画像が一枚の画像として統合されているか否かを示す統合情報と、統合された各視点の画像の配置方法を示す画像配置情報とについて解析する３Ｄ情報解析手段と、
前記統合情報と前記画像配置情報を用いて、前記画像データを前記複数の画像に変換する画像変換手段と、
を備え、
前記画像配置情報は、異なる視点の画像を一枚の画像に統合した場合、各視点画像の配置を所定の角度回転させた位置としたことを示す回転の情報と、画像が視点順に配置されているのか視点順と逆順に配置されているのかを示す配置順情報とを含むことを特徴とする画像データ再生装置。
請求項６に記載の画像データ再生装置において、
前記所定の角度は、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含むことを特徴とする画像データ再生装置。
請求項６に記載の画像データ再生装置において、
前記画像配置情報は、画像が垂直方向に配置されているのか水平方向に配置されているのかを示す配置方向情報を含むことを特徴とする画像データ再生装置。
請求項６に記載の画像データ再生装置において、
前記画像配置情報は、異なる視点の画像を一枚の画像に統合した際、各視点画像の配置を、所定の角度回転させた位置としたことと、視点の配置位置関係から位置関係を所定の方向に反転させた位置としたことの、いずれか一方の方法もしくは両者を組合せた配置としたことを示す情報であることを特徴とする画像データ再生装置。
請求項９に記載の画像データ再生装置において、
前記所定の角度とは、０度、右９０度、右１８０度、右２７０度の内、１つもしくは複数の角度を含み、前記所定の方向とは、左右方向、上下方向の内、１つもしくは複数の方向を含むことを特徴とする画像データ再生装置。