JP4619412B2 - 立体画像記録再生システム - Google Patents
立体画像記録再生システム Download PDFInfo
- Publication number
- JP4619412B2 JP4619412B2 JP2007534423A JP2007534423A JP4619412B2 JP 4619412 B2 JP4619412 B2 JP 4619412B2 JP 2007534423 A JP2007534423 A JP 2007534423A JP 2007534423 A JP2007534423 A JP 2007534423A JP 4619412 B2 JP4619412 B2 JP 4619412B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- angle
- information
- image data
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/18—Stereoscopic photography by simultaneous viewing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
【技術分野】
【０００１】
本発明は、立体画像を記録および再生するためのシステムに関する。
【背景技術】
【０００２】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼用の画像と右眼用の画像（以下、それぞれ「左眼用画像」、「右眼用画像」という）を用意し、それぞれ独立に左右の眼に投影することにより立体視を行うことができる。
【０００３】
以下の説明では、３Ｄは３次元または立体を、２Ｄは２次元を意味する語としてそれぞれ用い、立体視用の画像データを３Ｄ画像データ、通常の２次元画像データを２Ｄ画像データとする。
【０００４】
ここで、２眼式の代表的な方式のひとつとしてパララクスバリア方式が提案されている。図１８は、パララクスバリア方式を説明するための概念図である。図１８（a）は、視差が生じる原理を示す図である。一方、図１８（b）は、パララクスバリア方式で表示される画面を示す図である。
図１８（a）では、図１８（b）に示すような左眼用画像と右眼用画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル１００に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア１０１を画像表示パネル１００の前面に置くことにより、左眼用画像は左眼１０２だけで、右眼用画像は右眼１０３だけで観察することになり、立体視を行うことができる。
【０００５】
また、左眼用画像と右眼用画像を撮影し、一枚の合成画像として合成する方法が後述する特許文献１において開示されている。
【０００６】
図１９は、このような合成画像の記録データ形式の一例を示す概念図である。
図１９（ａ）に示す左眼用画像１０４と図１９（ｂ）に示す右眼用画像１０５を左右に並べ、図１９（ｃ）に示す１枚の合成画像１０６を作って記録する。再生時にはこの合成画像１０６を並べ替えることにより、図１８（ｂ）に示したような、それぞれの表示形式に適した画像に変換する。
【０００７】
特許文献１では、画像の表示されているディスプレイ面に対し、観察者が９０度の角度から観察しているが、特許文献２では、ディスプレイ面を水平に配置し、それを観察者が斜め方向から観察する方法について述べられている。
【０００８】
また、特許文献２では、基準面に配置した物体に対して、斜め上の方向から左眼用画像と右眼用画像を撮影した後、撮影した画像それぞれに発生する奥行き方向のパースペクティブを補正する方法について述べられており、この方法について図２０から図２３を用いて簡単に説明する。
【０００９】
図２０は、このときの左眼用画像と右眼用画像の撮影の様子を示す図である。
図２０において、水平面１０７上に、横幅Ｈ、縦幅Ｖの大きさの基準面１０８を水平に設置する。この基準面１０８の上に物体１０９を配置し、右眼用画像を撮影するためのカメラ１１０と左眼用画像を撮影するためのカメラ１１１をそれぞれ、基準面１０８の斜め上に、カメラ間隔を左右の眼の幅と同じようにして配置する。そして、カメラ１１０とカメラ１１１の視線方向を物体１０９に向けて画像を撮影する。このとき、カメラ１１０とカメラ１１１の視線が基準面１０８に対して、それぞれ同じ角度θ１となるようにする。
【００１０】
図２１は、このとき撮影した左眼用画像と右眼用画像を示す図である。
図２１(a)は左眼用画像であり、図２１(b)が右眼用画像であり、それぞれの画像には、基準面１０８と物体１０９が撮影されている。このとき、図２１(a)の基準面１０８の四隅の点をそれぞれＰ１、Ｐ２、Ｐ３、Ｐ４とし、図２１(ｂ)の基準面１０８の四隅の点をそれぞれＰ５、Ｐ６、Ｐ７、Ｐ８とする。
【００１１】
図２２は、左眼用画像に対してパースペクティブを補正する様子を示した図である。
図２１(a)から基準面１０８を図２２(a)のように切り出し、切り出した基準面１０８のＰ１、Ｐ２、Ｐ３、Ｐ４の点をそれぞれ、図２２(ｂ)のように、左眼用画像１１３のＰ９、Ｐ１０、Ｐ１１、Ｐ１２となるように、基準面１０８を変形して展開する。このとき、図２２(b)の画像の縦横比がＨ：Ｖとなるように、つまり実際の基準面１０８と同じ縦横比になるようにする。
【００１２】
図２３は、右眼用画像に対してパースペクティブを補正する様子を示した図である。
図２２の説明と同様にして、図２１(ｂ)から基準面１０８を図２３（ａ）のように切り出し、切り出した基準面１０８のＰ５、Ｐ６、Ｐ７、Ｐ８の点をそれぞれ、図２３（ｂ）のように右眼用画像１１４のＰ１３、Ｐ１４、Ｐ１５、Ｐ１６に展開する。展開された基準面は、基準面の実寸の縦横比と同じ値となるようにする。
【００１３】
これにより、斜めから撮影されたことにより画像内に発生したパースペクティブに対する補正がなされた左眼用画像１１３と右眼用画像１１４が作成される。
【００１４】
図２４は、パースペクティブ補正した左眼用画像と右眼用画像を用いて立体視を行う際の様子を示す図である。
【００１５】
パースペクティブ補正した左眼用画像と右眼用画像を使い、例えばアナグリフ画像を作成する。アナグリフ画像とは、左眼用画像のＲＧＢ画像からＲ成分のみを、また、右眼用画像のＲＧＢ画像からＧまたはＢ成分のみを抜き出し、それぞれを合成して作成した一枚の画像である。観察者は赤青メガネをかけ、この画像を観察することにより立体視ができる。
【００１６】
ここで、作成したアナグリフ画像を撮影時の基準面１０８と同じ大きさにして印刷物１１５に印刷し、水平面１０７に配置する。観察者は、この印刷物１１５に対する右眼１１７および左眼１１８の位置および、その視線１１９と印刷物１１５のなす角度θ１が、撮影時のカメラと同じになるようにし、赤青メガネを使用して印刷物１１５をみることにより、印刷物１１５の上に物体１１６が浮き出るような立体画像を観察することができる。
【００１７】
また、上記特許文献２の説明において、アナグリフを使って立体視する方法について述べたが、左右の眼の画像を作成する際の方法さえ同じであれば、レンチキュラスクリーンや、パララクスバリアや、偏光メガネや、シャッター式メガネを使う方法であっても、同様に立体視を行うことができる。さらにまた、作成した立体画像を印刷物として作成する例について述べているが、ブラウン管や、液晶などによる表示装置であっても同様に立体視を行うことができる。
【特許文献１】
特開２００２−１２５２４６号公報
【特許文献２】
特許第３５７９６８３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、前記特許文献２では、観察時に観察者の眼の視線方向と、印刷物上の基準面とのなす観察角度が、撮影時に一意に決まる値であるため、観察者がこの値を知らずに観察し、その結果、異なる観察角度から観察してしまった場合、立体視の際にみえる物体の形が歪んでしまうという問題があった。
［００１９］
また、基準面は必ずしも水平面に平行である必要がないため、例えばデジタルカメラで画像を撮影した際に画像に付加されるＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）情報に含まれるレンズの焦点距離や方位角、仰角といったカメラパラメータだけで、上記観察角度を求めることはできないという問題があった。
［００２０］
また、上記観察角度は撮影時にしか取得できないため、撮影画像の観察角度が一度分からなくなってしまうと、どの角度で見ればいいかをユーザーが知るのが困難であるという問題があった。
［００２１］
本発明は、以上のような問題点を解決するためになされたものであって、基準面に対して斜め方向から撮影を行い、撮影時の基準面とカメラの視線方向がなす角度を観察角度として撮影画像データのヘッダに記録し、かつ、撮影した画像データに対して、奥行き方向のパースペクティブをなくすための補正を行った画像データに変換することにより、斜め方向から立体視を行うための画像データを作成する。作成した画像データを再生する際に、ヘッダの観察角度を観察者に提示することにより、観察者が正確な方向から立体視を行うことが可能な立体画像記録再生システムを提供することを目的とする。
課題を解決するための手段
【００２２】
以上の課題を解決するために、本発明は、複数の視点に対応した複数の画像データより、立体画像データを生成し、記録、再生を行う立体画像記録再生システムであって、撮像手段より撮影する際の視線方向と、被撮影体を配置した基準面とが成す角度についての情報である撮影角度情報を、画像データ及び制御情報とともに出力する３Ｄ画像入力手段と、前記画像データに対してパースペクティブ補正を行う画像補正手段と、前記パースペクティブ補正された立体画像を立体視するための表示手段に対する観察角度を、前記撮影角度情報より算出する制御手段を備え、算出した前記観察角度を３Ｄ画像制御情報として前記制御情報とともに立体画像データ内に記録する３Ｄ画像記録手段と、前記立体画像データを再生するとともに、前記３Ｄ画像制御情報を解析して、前記観察角度の情報を出力する３Ｄ画像再生手段と、を備えることを特徴とする。
［００２３］
また、前記３Ｄ画像記録手段は、前記撮影角度の値を前記観察角度に代入して観察角度情報を生成することを特徴とする。
［００２４］
また、前記３Ｄ画像記録手段は、前記基準面が傾いていた場合に、前記基準面と水平線とのなす角度をオフセット角度情報として３Ｄ画像制御情報内に記録することを特徴とする。
［００２５］
また、前記３Ｄ画像再生手段は、前記３Ｄ画像制御情報内に含まれた前記観察角度情報を解析し、該観察角度情報を前記表示手段に出力することを特徴とする。
［００２６］
また、前記３Ｄ画像再生手段は、前記３Ｄ画像制御情報内に含まれた前記オフセット角度情報を解析し、該オフセット角度情報を前記表示手段に出力することを特徴とする。
［００２７］
［００２８］
［発明の効果］
［００２９］
本発明によれば、立体画像データの制御情報に観察角度を観察角度情報として記録し、再生手段で立体画像データの制御情報から該観察角度情報を読み取って、出力時にユーザーに該観察角度を提示することにより、観察者が正確な方向から立体視を行うことができるため、歪みのない立体視を行うことができる。
［００３０］
また、本発明によれば、記録する３Ｄ画像データ内に観察角度情報を記録するため、データの管理や扱いが非常に簡易となる。
［００３１］
また、本発明によれば、撮影時のカメラの傾きを計測し、計測したカメラの傾きから、カメラの基準線に対する位置を推定し、カメラの傾きとカメラの基準線に対する位置関係から撮影角度を求めるため、観察角度を容易に求めることができる。
【００３２】
また、本発明によれば、３Ｄ画像記録手段により記録した３Ｄ画像データを用いて立体視を行う際、観察者がディスプレイの中心を見るときの適切な観察角度を、ディスプレイに数値として表示することにより、観察者は適切な観察角度を容易に知ることができ、その結果、観察者は正確な方向から立体視を行うことができるため、想定と異なる角度から観察した際に生じる立体像の歪みを生じることなく、立体視を行うことができる。
【００３３】
また、本発明によれば、３Ｄ画像データの撮影または記録時に撮影角度にオフセット角度を加えることにより、撮影時の撮影角度から一意に決まる観察角度を任意に設定することができるため、撮影時の撮影角度が小さくても、オフセット角度を加えて観察角度を自由に設定することにより、ディスプレイによっては観察がしづらいまたは観察ができないような３Ｄ画像データの作成を防止することができる。
または、入力時もしくは記録時にオフセット角度を観察角度に加えて算出しない場合は、再生時に観察者にオフセット角度を提示することにより、観察者に適切な立体視のための角度を示すこともできる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施例の立体画像記録再生システムの構成を示すブロック図である。
【図２】３Ｄ画像データのデータ構成の一例を示す図である。
【図３】左眼用画像と右眼用画像の一例を示す図である。
【図４】３Ｄ画像データ内の画像データの一例を示す図である。
【図５】３Ｄ画像データ内の画像データの一例を示す図である。
【図６】画像縦横比を変更した画像データの一例について説明するための図である。
【図７】３Ｄ画像入力手段２の構成を示すブロック図である。
【図８】カメラ傾斜角と撮影角度の関係を示す図である。
【図９】３Ｄ画像記録手段３の構成を示すブロック図である。
【図１０】３Ｄ画像記録手段３の動作を説明するためのフローチャート図である。
【図１１】３Ｄ画像再生手段４の構成を示すブロック図である。
【図１２】３Ｄ画像再生手段４の動作を説明するためのフローチャート図である。
【図１３】復号画像データから表示用画像データを作成する方法について説明する図である。
【図１４】撮影角度にオフセット角度を加えた際の、新たな基準線と撮影角度について説明するための図である。
【図１５】撮影角度にオフセット角度を加えた際の、新たな基準線と撮影角度について説明するための図である。
【図１６】オフセット角度情報を記録した場合の３Ｄ画像データのデータ構成の一例を示す図である。
【図１７】ディスプレイ面を傾けた場合の観察の様子を示す図である。
【図１８】パララクスバリア方式を説明するための概念図である。
【図１９】合成画像の記録データ形式の一例を示す概念図である。
【図２０】左眼用画像と右眼用画像の撮影の様子を示す図である。
【図２１】撮影した左眼用画像と右眼用画像を示す図である。
【図２２】左眼用画像に対して、パースペクティブを補正する様子を示した図である。
【図２３】右眼用画像に対してパースペクティブを補正する様子を示した図である。
【図２４】パースペクティブ補正した左眼用画像と右眼用画像を用いて立体視を行う際の様子を示す図である。
【符号の説明】
【００３５】
１ 立体画像記録再生システム
２ ３Ｄ画像入力手段
３ ３Ｄ画像記録手段
４ ３Ｄ画像再生手段
５ ヘッダ
６ 画像データ
７ 左眼用画像
８ 右眼用画像
９ 撮像手段
１０、２２、２７ 制御手段
１１ 撮影角度測定手段
１２ カメラ
１３ カメラの視線方向
１４、１５ 基準線
１６ 画像切り取り手段
１７ 画像補正手段
１８ 画像合成手段
１９ 圧縮手段
２０ ヘッダ情報作成手段
２１ 多重化手段
２３ 分離手段
２４ 復号手段
２５ ３Ｄ制御情報解析手段
２６ 表示画像作成手段
２８ 表示手段
２９ 新たな基準線
３０ 水平線と平行な線
３１ 観察者の視線方向
１００ 画像表示パネル
１０１ パララクスバリア
１０２、１１８ 左眼
１０３、１１７ 右眼
１０４、１１３ 左眼用画像
１０５、１１４ 右眼用画像
１０６ 合成画像
１０７ 水平面
１０８ 基準面
１０９、１１６ 物体
１１０、１１１ カメラ
１１５ 印刷物
１１９ 視線
【発明を実施するための最良の形態】
【００３６】
以下、本発明の実施例について、添付図面を参照しながら説明する。
【００３７】
図１は、本発明の実施例の立体画像記録再生システムの構成を示すブロック図である。
立体画像記録再生システム１は、３Ｄ画像入力手段２と、３Ｄ画像記録手段３と、３Ｄ画像再生手段４とから構成されている。
【００３８】
３Ｄ画像入力手段２は、複数の視点に対応した複数の画像データを外部から入力し、各視点の入力画像データを撮影した際の角度を示す撮影角度情報、各視点の入力画像データの水平画像サイズ及び垂直画像サイズ、３Ｄ画像データ内に含まれる視点数の数を表す水平視点数情報及び垂直視点数情報を画像データの制御情報として生成する。
３Ｄ画像記録手段３は、前記３Ｄ画像入力手段２より入力された画像データを３Ｄ画像データとして記録する。
３Ｄ画像再生手段４は、３Ｄ画像記録手段３で記録された３Ｄ画像データを再生する。
【００３９】
ここで、３Ｄ画像データとは立体視用の画像データであり、画像データと３Ｄ制御情報から構成されたデータとする。前記各手段に関する説明は後述することとし、まず、３Ｄ画像データと３Ｄ制御情報について説明を行う。
【００４０】
図２は、３Ｄ画像データのデータ構成の一例を示す図である。
３Ｄ画像データは、ヘッダ５と画像データ６から構成されており、ヘッダ５内には、画像データ６の画像サイズ情報や３Ｄ制御情報が含まれている。ヘッダ５の例としては、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）ヘッダや、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅｄ）、ＡＳＦ（Ａｄｖａｎｃｅｄ Ｓｔｒｅａｍｉｎｇ Ｆｏｒｍａｔ）、ＷＭＶ（Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ）、ＭＰ４などのファイルフォーマットのヘッダなどがあげられる。また、画像データの例としては、未圧縮の画像データや、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）といった圧縮方式で圧縮された圧縮画像データがあげられる。
【００４１】
また、３Ｄ制御情報とは、３Ｄ画像データ内の画像データの構成に関する情報や、３Ｄ画像を表示する際に表示を制御するための情報を示し、水平方向及び、垂直方向の視点数、観察角度情報を含んだ構成になっている。
【００４２】
ここで、水平方向及び、垂直方向の視点数とは、３Ｄ画像データ内に含まれる視点の異なる画像データの数の情報を示す。
【００４３】
また、観察者がこの３Ｄ画像データを立体視する際、３Ｄ画像を表示する表示面に対して、所定の角度から観察すれば歪みのない３Ｄ画像を観察することができる。このときの所定の角度の情報を観察角度情報とする。
【００４４】
図３は、左眼用画像と右眼用画像の一例について、また、図４、図５は、３Ｄ画像データ内の画像データ６の一例について説明するための図である。
【００４５】
例えば図３の（ａ）は左眼用画像を、（ｂ）は右眼用画像を示し、それぞれの水平画像サイズｈ、垂直画像サイズｖとも同じである。この左眼用画像と右眼用画像を、図４のように視点の順どおりに左から水平に並べて、一枚の画像データとする。このときの画像データの視点数は、水平方向が２、垂直方向が１となる。この３Ｄ画像データの画像サイズは、水平が２×ｈ、垂直がｖとなる。
【００４６】
また、例えば図５は、水平方向の視点の数が４、垂直方向の視点の数が２のときの例であり、８つの視点の画像を、図４の説明と同様に、番号１から８のように視点順に左上から右下にラスタスキャンで並べていき、一枚の画像データとしたものである。
【００４７】
また、このときの画像データは、画像縦横比を変更することができる。画像縦横比とは、画像データの垂直方向の拡大縮小率を水平方向の拡大縮小率で割った値を表記した情報を示す。
【００４８】
図６は、画像縦横比を変更した画像データの一例について説明するための図である。
図４や図５の画像データは、作成時に画像縦横比を変更しなかったので画像縦横比は１となるが、図６の画像データの場合、例えば、図４の画像データの縦の縮尺は変更せず、横の縮尺を２分の１にした画像データであり、その画像サイズは水平がｈ、垂直がｖ、画像縦横比が２となる。このとき、画像縦横比情報として前記の値“２”を、３Ｄ制御情報に記録してもよい。
【００４９】
以下では、説明の簡略化のため画像縦横比は１に固定して説明を行う。
【００５０】
次に、３Ｄ画像入力手段２と、３Ｄ画像入力手段２を構成する各手段の動作について、図面を用いて説明を行なう。
【００５１】
図７は３Ｄ画像入力手段２の構成を示すブロック図である。
３Ｄ画像入力手段２は、撮像手段９と制御手段１０、撮影角度測定手段１１から構成されている。
【００５２】
撮像手段９は、例えば少なくともひとつ以上のＣＣＤカメラのような撮像素子から構成されており、外部の映像を取り込み、入力画像として出力する手段である。
【００５３】
制御手段１０は、撮像手段９の制御を行い、例えば、撮像手段９の左右の角度や位置を制御する手段であり、図示しないＣＰＵ等で実現される。
【００５４】
撮影角度測定手段１１は、液体センサなどによる一般のデジタル角度計や、一般のジャイロセンサを用いた手段であり、本発明とは関係がないため、詳細な説明は省く。
【００５５】
この撮影角度測定手段１１により撮像手段９の撮像方向の水平面に対する傾斜角を計測し、計測した値から撮影角度を求め、出力することができる。
【００５６】
ここで、図面を用いて撮影角度について説明する。
図８は、カメラ傾斜角と撮影角度の関係を示す図である。
【００５７】
まず、撮影角度を、カメラの視線方向と基準線とがなす角αｎ（ｎは１から４までの整数）とし、その値の範囲は０から９０度までの値と定義する。ここで、基準線は水平線に平行な線とする。カメラを傾ける角度βｎ（ｎは１から４までの整数とし、以下、該角度を「カメラ傾斜角」という）を、デジタル角度計や、ジャイロセンサを用いて測定した場合、得られるカメラ傾斜角βｎの値は０から３６０度未満の値までとなる。このときの測定された値から撮影角度を算出する方法について述べる。
【００５８】
以下では、カメラを基準線に平行かつ、撮影した画像の上下がひっくり返っていない状態のカメラ傾斜角βｎを０度とし、カメラと基準線を横から見て、カメラの中心を軸に時計回りにカメラを回転させるに従い、カメラ傾斜角が増加することとし、３６０度で一回転して、０度の状態になるものとする。
【００５９】
図８（ａ）に、カメラ傾斜角β１が０度以上、かつ、９０度以下の場合の撮影角度α１との関係を示す。この場合、カメラ１２の視線方向１３と基準線１４のなす角である撮影角度α１は、カメラ傾斜角β１と一致する。ここで、図８中のカメラ１２の黒い部分は、カメラ１２の上部とする。
【００６０】
図８（ｂ）に、カメラ傾斜角β２が９０度より大きく、かつ、１８０度以下の場合の撮影角度α２を示す。この場合、カメラ１２の視線方向１３と基準線１４のなす角である撮影角度α２は、（１８０−β２）となる。
【００６１】
以下、図８（ｃ）や図８（ｄ）のようなカメラ傾斜角β３、β４が１８０度より大きく、かつ、３６０度未満の場合は、図８（ａ）や図８（ｂ）で説明した基準線１４よりも上で撮影を行うので、基準線１４が撮影画像に含まれない。よって、基準線１４に平行で、かつ、カメラより上にある基準線１５を新たな基準線とする。
【００６２】
図８（ｃ）に、カメラ傾斜角β３が１８０度より大きく、かつ、２７０度以下の場合の撮影角度α３を示す。基準線１５とカメラ１２の視線方向１３とがなす角を撮影角度α３とする。このときのα３の値は、（β３−１８０）となる。
【００６３】
図８（ｄ）に、カメラ傾斜角β４が２７０度より大きく、かつ、３６０度（これは０度と同じ）より小さい場合の撮影角度α４を示す。図８（ｃ）で説明した場合と同様、基準線１５と、カメラ１２の視線方向１３とがなす角を撮影角度α４とする。このときのα４の値は、（３６０―β４）となる。
【００６４】
このようにして、撮影角度測定手段１１は、撮影時のカメラの傾きを計測し、計測したカメラの傾きから、カメラの基準線に対する位置を推定し、カメラの傾きとカメラの基準線に対する位置関係から、撮影角度を求めることにより、撮影に使ったカメラの視線方向と、撮影画像内の、基準線および基準線を含む基準面のなす角度を出力することができる。
【００６５】
また、上記で求めた撮影角度は、歪みのない立体視を行うのに必要な観察角度を求める際に使用する情報であり、この観察角度の求め方については後述する。
【００６６】
以下では、説明を簡単にするため、撮像手段９を２つのＣＣＤカメラとし、左眼用画像データと右眼用画像データをそれぞれ出力するものとし、また、各視点の画像データの画像サイズは同じものとする。
【００６７】
図７において、撮像手段９は、２つのＣＣＤカメラが撮像した画像データを入力画像データとして出力する。
【００６８】
このとき、図２０で説明したように撮影対象物の下に水平線に対して平行になるよう、四角形の基準面を紙などで設置し、撮像した画像を見ながらその基準面に撮影対象物が納まるようにして撮影を行う。また、基準面の代わりに、基準面の４隅に当たる位置に特定のマークを設置し、それらのマークを頂点とする四角形をあらたな基準面として、撮影対象物がその基準面内に納まるように撮影を行ってもよい。さらにこのとき、この基準面とマークの両方を設置して、撮像する画像内に両方を含むようにして撮影を行ってもよい。
【００６９】
また、上記のマークや、基準面を構成する外側の枠を、所定の画像として、あらかじめ決めていた入力画像のある所定の位置に上書きし、それを新たな入力画像として出力してもよいし、それらマークの位置や基準面の枠の大きさと、基準面内の特定の点（例えば、中心や、枠を構成する４隅の点のいずれかなど）の位置をユーザーが外部から自由に入力できるようにしてもよい。
【００７０】
また、マークや基準面の上書きを行わず、マークの位置や基準面の枠の大きさと位置の情報のみを、画像データとともに出力してもよい。これらの情報は、後段の３Ｄ画像記録手段において、画像内の基準面の大きさと位置を判定するのに使うことができる。
【００７１】
また、撮影対象である基準面の実寸サイズの縦横比が、撮影する画像データの縦横比と同じになるように、基準面もしくはマークの位置を設定してもよいし、基準面の実寸サイズの縦横比が特定の値となるように、基準面もしくはマークの位置を設定してもよい。
【００７２】
またこのとき、上記の基準面の中心を通る、横方向の線上に、撮影した画像の中心が位置するようにして撮影を行う。
【００７３】
入力画像データを出力すると同時に、制御手段１０は、そのときの入力画像の水平画像サイズ、垂直画像サイズ、及び、水平方向の視点数を２、垂直方向の視点数を１としてそれぞれ出力する。
【００７４】
これと同時に撮影角度測定手段１１は、このときの撮影角度を撮影角度情報として出力する。
【００７５】
また、上記では、撮影角度測定手段１１により自動的に撮影角度を測定し、出力するようにしたが、この撮影角度測定手段１１の代わりに、撮影角度入力手段を設置して、撮影角度を撮影者が外部から数値入力してもよい。
【００７６】
また、ここで、３Ｄ画像入力手段２は、撮像手段９の代わりに、ビデオ信号などを入力とする画像信号入力装置、ＴＶ信号を受信して表示する画像表示装置、ビデオやＤＶＤなどを再生する画像再生装置、スキャナなどの画像読み取り装置、画像データファイル読み取り装置など、画像データを出力する装置であればよく、これらに限定されない。この場合、前述したように撮影角度情報はユーザーが外部から入力するものとする。
【００７７】
以上のようにして、３Ｄ画像入力手段２は、３Ｄの撮影画像データとして、複数の視点に対応した複数の画像データ、及び、撮影角度情報、水平画像サイズ、垂直画像サイズ、水平方向の視点数、垂直方向の視点数をそれぞれ出力することができる。
【００７８】
上記では、水平方向の視点数が２、垂直方向の視点数が１の場合について説明を行ったが、垂直方向の視点数が３以上ある場合でも、撮影角度情報は、同様にして算出できる。また、垂直方向の視点数が２以上ある場合は、同じ垂直方向にある画像データの組それぞれに１つずつに対して撮影角度情報を、同様にして算出すればよく、この場合、撮影角度情報として垂直方向の視点数分を算出し、出力する。
【００７９】
次に、３Ｄ画像記録手段３と、３Ｄ画像記録手段３を構成する各手段の動作について、図面を用いて説明を行う。
【００８０】
図９は３Ｄ画像記録手段３の構成を示すブロック図である。
【００８１】
３Ｄ画像記録手段３は、入力画像データから画像の一部を切り取り、この切り取った画像データである切り取り画像データを出力する画像切り取り手段１６と、切り取り画像データに対して奥行き方向のパースペクティブを補正し、補正画像データを出力する画像補正手段１７と、補正画像データを合成し、合成画像データを出力する画像合成手段１８と、合成画像データを圧縮符号化データに圧縮符号化する圧縮手段１９と、入力された水平画像サイズ、垂直画像サイズ、水平視点数情報、垂直視点数情報、撮影角度情報からヘッダ情報を作成し、出力するヘッダ情報作成手段２０と、圧縮符号化データとヘッダ情報を多重化し、３Ｄ画像データを作成する多重化手段２１と、制御手段２２から構成されている。
【００８２】
ここで、制御手段２２は図示しないＣＰＵ等で実現され、３Ｄ画像記録手段３内の各手段を制御する手段である。例えば、制御手段２２は、入力された情報を用いて、制御手段２２に接続された各手段をそれぞれ制御して、３Ｄ画像の画像符号化データと３Ｄ制御情報を含むヘッダを作成する。
【００８３】
次に、３Ｄ画像記録手段３の動作について、フローチャート図を用いて説明する。
【００８４】
図１０は、３Ｄ画像記録手段３の動作を説明するためのフローチャート図である。
以下では説明の簡略化のため、水平視点数情報は２、垂直視点数情報は１、入力画像データは左右の眼用の２枚の画像データとして説明を行う。
【００８５】
ステップＳ1において、３Ｄ画像記録手段３は、３Ｄ画像の記録処理を開始し、ステップＳ２へ進む。
【００８６】
判定ステップＳ２において、３Ｄ画像記録手段３に入力画像データ及び制御情報が入力されたか否かを制御手段２２が判定し、入力されていなければ判定ステップＳ２へ戻り、そうでなければ、３Ｄ画像記録手段３に入力画像データ、制御情報としての各視点の入力画像データの水平画像サイズ、垂直画像サイズ、水平視点数情報、垂直視点数情報および、撮影角度情報が入力され、ステップＳ３へ進む。このとき、３Ｄ画像記録手段３内部では、入力画像データが画像切り取り手段１６に、水平画像サイズ、垂直画像サイズ、水平視点数情報、垂直視点数情報、撮影角度情報が制御手段２２にそれぞれ入力される。
【００８７】
以下で説明するステップＳ３からＳ６の処理により、入力された画像データから、画像符号化データを作成する。また、これらのステップで述べる画像切り取り手段１６および画像補正手段１７で行われる画像の切り取りの方法や補正の方法は、特許文献２で示される方法と同じであり、本発明とは関係がないため、それらの詳細な説明は省略する。
【００８８】
ステップＳ３において、画像切り取り手段１６に、左右の視点の入力画像データがそれぞれ入力される。画像切り取り手段１６は、各視点の入力画像データごとに処理を行う手段である。画像切り取り手段１６は、これらの入力画像データから、画像マッチングなどにより、特定の基準面を求める。基準面の代わりにマークを撮影した場合は、マークを同じくマッチングなどで求め、４つのマークを含むような四角形の内部を基準面とする。
【００８９】
このようにして基準面を求めた後は、図２２（ａ）や、図２３（ａ）のように、基準面を切り出した画像を切り出し画像として、左右の視点ごとにそれぞれ出力し、ステップＳ４へ進む。このとき、画像内にマークや基準面がない場合は、特定の領域を基準面として切り出すようにしてもよいし、ユーザーが外部から基準面を直接入力するようにしてもよいし、また、異なる基準面を複数用意しておき、ユーザーが外部からどの基準面を使用するかを選択するようにしてもよい。また、３Ｄ画像入力手段２の説明で述べたマークの位置もしくは、基準面の枠の大きさや位置などが入力された場合は、それらの情報から基準面を求めてもよい。
【００９０】
ステップＳ４において、画像補正手段１７に、左右の視点の画像データが入力される。画像補正手段１７は、各視点の入力画像データごとに処理を行う手段である。画像補正手段１７は、図２２（ａ）または図２３（ａ）にある切り出し画像に対して、図２２（ｂ）または図２３（ｂ）と同じく、展開された基準面が、基準面の実寸の縦横比（以下、「基準面縦横比」という）と同じ値となるように展開変形を行う。このようにして、ＣＣＤカメラを基準面に対して斜め方向に向けて撮影したことにより発生した奥行き方向の歪み（パースペクティブ）が補正される。このときの基準面縦横比の値は、入力画像データの縦横比でもよいし、あらかじめ設定していてもよく、また、ユーザーが外部より入力するようにしてもよい。
【００９１】
またここで、基準面縦横比の値を、あらかじめ立体画像記録システムに設定されている特定の値として扱ってもよい。この場合は、撮影対象である基準面の実寸サイズの縦横比が、この基準面縦横比の値と同じになるように、基準面もしくはマークの位置を撮影時に調節しておく。
【００９２】
このようにして、画像補正手段１７は補正された左右の視点用の補正画像データをそれぞれ出力し、ステップＳ５へ進む。
【００９３】
ステップＳ５において、画像合成手段１８は、入力画像データから３Ｄ画像データを合成する処理を行う。ここで、画像合成手段１８は、水平視点数情報、垂直視点数情報から、各視点の画像データである入力画像データを、図４、図５、図６で説明したものと同様にして配置し、画像データを作成する手段である。ここでは、水平視点数情報は２、垂直視点数情報は１であり、入力画像データは左右の眼用の２枚の補正画像データである。
【００９４】
まず、補正画像データが、画像合成手段１８に入力される。それと同時に、制御手段２２は、水平視点数情報、垂直視点数情報を画像合成手段１８に伝送し、画像合成手段１８が３Ｄ画像データを合成するように制御する。合成と同時に、画像縦横比情報を作成する。ここでは、図５で説明したように、画像縦横比が１となるように合成し、画像縦横比情報を１とする。
【００９５】
画像合成手段１８は、作成した３Ｄ画像データを圧縮手段１９に、３Ｄ画像データの水平画像サイズと垂直画像サイズ、画像縦横比情報をそれぞれ制御手段２２にそれぞれ出力し、ステップＳ６へ進む。
【００９６】
ステップＳ６において、圧縮手段１９は、入力画像データをＪＰＥＧやＭＰＥＧなどの符号化手法による符号化を行い、符号化データを出力する処理を行う。圧縮手段１９は汎用の圧縮手段で構成されており、本発明に関係がないため、その構成は省略する。
【００９７】
まず、３Ｄ画像データが圧縮手段１９に入力される。圧縮手段１９は、入力画像データを符号化し、符号化データを出力し、ステップＳ７へ進む。
【００９８】
上記では圧縮手段１９で圧縮するとしているが、この圧縮手段１９を省き、未圧縮のデータを作成するようにしてもかまわない。
【００９９】
ステップＳ７において、制御手段２２は、ヘッダを作成するのに必要な情報として、符号化した画像全体の水平画像サイズ、垂直画像サイズ、水平の視点数情報、垂直の視点数情報、撮影角度情報、画像縦横比情報などを含む情報をヘッダ情報作成手段２０に伝送する。ヘッダ情報作成手段２０は、制御手段２２から入力された情報を用いて、図２で説明したように、３Ｄ制御情報を含むヘッダ５を作成し、出力する。
【０１００】
このとき、３Ｄ制御情報を構成する観察角度には、撮影角度を代入して、３Ｄ制御情報を作成する。このようにして、撮影角度から観察角度情報を求め、３Ｄ制御情報として記録することにより、観察者は３Ｄ画像データごとに観察角度を容易に管理することができる。
【０１０１】
ステップＳ８において、多重化手段２１は、入力された符号化データとヘッダを多重化する処理を行う。多重化手段２１は、圧縮手段１９から入力された符号化データとヘッダ情報作成手段２０から入力されたヘッダを多重化して多重化データを作成し、３Ｄ画像データとして出力して、ステップＳ９へ進む。
【０１０２】
ステップＳ９において、多重化手段２１で作成した３Ｄ画像データの記録を行う。
【０１０３】
ここで、立体画像記録再生システム１は、内部に図示しないデータ記録再生手段を備えている。このデータ記録再生手段は、３Ｄ画像記録手段３内の多重化手段２１が出力した３Ｄ画像データを、データとして記録することのできる、例えばカードなどのリムーバムルメディアやハードディスクや光ディスク、磁気テープなどといった記録媒体に記録したり、記録媒体からデータを読み出したりできる手段である。記録再生手段自体は一般のものであり、その構成は本発明とは関係がないので説明を略する。
【０１０４】
また、上記では、立体画像記録再生システム１の内部にデータ記録再生手段を含むと説明したが、このデータ記録再生手段は外部に設置してもよい。例えばデータ記録再生手段が、データを外部とやりとりのできるような機器、つまり、一般のパーソナルコンピュータ（以下、「ＰＣ」という）向けの外付けハードディスク、光ディスク記録再生装置、カードリーダーであってもよいし、ＰＣ自体であってもよい。さらにまた、デジタルビデオカメラやデジタルビデオなどでもよい。また、伝送経路をインターネットと考え、データ記録再生手段をインターネットに接続しているサーバーとしてもよい。また、データ記録再生手段に記録されたデータは、３Ｄ画像再生手段４により自由に読み出すことができる。
【０１０５】
ステップＳ９において、３Ｄ画像データは、上記のデータ記録再生手段によって記録され、判定ステップＳ１０へ進む。
判定ステップＳ１０において、３Ｄ画像記録手段３の記録処理を終了するか否かを判定し、記録処理を終了すると判定された場合は、ステップＳ１１に進み、３Ｄ画像記録手段３の記録処理を終了し、そうでなければ、ステップＳ２へ戻り、３Ｄ画像の記録処理を継続する。
【０１０６】
またここで、判定ステップＳ１０が記録を終了すると判定する要因は通常の記録装置と同じく、例えばユーザーの中断操作や記録媒体の容量不足、バッテリー切れといった電力供給の途絶えや、断線などの故障といったアクシデントなどがあげられる。
【０１０７】
このようにして、３Ｄ画像記録手段３は、３Ｄ画像データを記録することができる。
【０１０８】
次に、３Ｄ画像再生手段４と、３Ｄ画像再生手段４を構成する各手段の動作について、図面を用いて説明を行う。
【０１０９】
図１１は３Ｄ画像再生手段４の構成を示すブロック図である。
【０１１０】
３Ｄ画像再生手段４は、３Ｄ画像データをヘッダと画像の符号化データとに分離し、出力する分離手段２３と、入力された符号化データから画像データを復号し、表示画像作成手段２６に出力する復号手段２４、３Ｄ制御情報を解析し、制御手段２７に出力する３Ｄ制御情報解析手段２５、復号された画像データから表示用の画像を作成し、出力する表示画像作成手段２６、表示画像作成手段２６及び表示手段２８をそれぞれ制御する制御手段２７、並びに、入力された３Ｄ画像データを表示する表示手段２８から構成されている。
【０１１１】
ここで、表示手段２８は例えば、図１８で示したようなパララクスバリアを用いて立体表示を行う手段とする。
【０１１２】
次に、３Ｄ画像再生手段４の動作についてフローチャート図を用いて説明する。
【０１１３】
図１２は、３Ｄ画像再生手段４の動作を説明するためのフローチャート図である。
【０１１４】
ステップＳ１２において、３Ｄ画像再生手段４は再生処理を開始する。このとき、３Ｄ画像再生手段４は、３Ｄ画像記録手段３で説明したデータ記録再生手段にアクセスし、３Ｄ画像データの読み出しを開始し、判定ステップＳ１３に進む。
【０１１５】
判定ステップＳ１３において、３Ｄ画像再生手段４に３Ｄ画像データが入力されているか否かを判定し、入力されている場合はステップＳ１４に進み、そうでない場合は、ステップＳ１３に戻る。
【０１１６】
ステップＳ１４において、分離手段２３に３Ｄ画像データが入力される。分離手段２３は、入力された３Ｄ画像データから、符号化データと、ヘッダに分離して、符号化データを復号手段２４に、ヘッダを３Ｄ制御情報解析手段２５にそれぞれ出力し、ステップＳ１５に進む。
【０１１７】
ステップＳ１５において、復号手段２４に符号化データが入力され、復号手段２４は入力された符号化データを復号し、復号画像データを表示画像作成手段２６に出力し、ステップＳ１６に進む。
【０１１８】
このとき、復号手段２４は、入力された符号化データ、例えばＪＰＥＧやＭＰＥＧなどを復号し、復号画像データを出力する手段である。復号手段２４は汎用の復号手段で構成されており、本発明に関係がないため、その構成は省略する。
【０１１９】
ステップＳ１６において、３Ｄ制御情報解析手段２５にヘッダが入力される。３Ｄ制御情報解析手段２５は、ヘッダに含まれる３Ｄ制御情報を解析し、水平方向の視点数、垂直方向の視点数、画像縦横比情報、および、観察角度情報を含む３Ｄ制御情報を制御手段２７に出力し、ステップＳ１７に進む。
【０１２０】
ステップＳ１７において、表示画像作成手段２６に、復号画像データが入力される。これと同時に制御手段２７から、水平方向の視点数、垂直方向の視点数、および画像縦横比情報が入力される。表示画像作成手段２６はこれらの視点数の情報を用いて復号画像データに対して変換を行い、表示用画像データを作成する。このときの水平方向の視点数は２、垂直方向の視点数は１、画像縦横比情報は１であるとする。
【０１２１】
図１３は、復号画像データから表示用画像データを作成する方法について説明する図である。図１３（ａ）は、水平方向の視点数は２、垂直方向の視点数は１、画像縦横比情報は１であるような復号画像データである。復号画像データの左半分は左眼用画像データ、右半分は右眼用画像データであり、これらの各視点の画像が、視点の順に水平に並ぶようにして構成されている。
【０１２２】
表示画像作成手段２６は、水平方向の視点数と垂直方向の視点数から、この構造を解釈し、各視点の画像データのそれぞれにおいて、縦の長い短冊状に分割し、各視点で分割した短冊のうち左端のものから、図１３（ｂ）のように、左、右というように視点の順に並べ替えて、表示用画像データを作成し、表示手段２８に出力し、ステップＳ１８に進む。
【０１２３】
ステップＳ１８において、表示手段２８に、表示画像作成手段２６から表示用画像データが、制御手段２７から観察角度情報が、それぞれ入力される。表示手段２８は、ディスプレイと、パララクスバリアから構成されており、図１８（ａ）で説明したように、表示用画像データを立体表示し、判定ステップＳ１９に進む。
【０１２４】
このとき、表示手段２８は、入力された観察角度情報を、表示手段２８のディスプレイに、数値として表示してもよい。これにより、観察者は、表示手段２８のディスプレイの中心を見る際の適切な観察角度を簡易に知ることができ、その結果、正確な方向から立体視を行うことができるため、想定と異なる角度から観察した際に生じる歪みを生じることなく、立体視を行うことができる。
【０１２５】
また、上記では、観察角度情報をディスプレイ面に数値として表示することについて説明したが、例えば、表示手段２８の前面に水平なスリットやレンチキュラシートなどを用意して、適切な観察角度から観察者が観察したときのみ観察できるような特定の画像パターンを表示するようにしてもよい。これにより、観察者は、適切な観察位置を、より簡易に知ることができる。
【０１２６】
さらにまた、複数の指向性のあるバックライト、もしくはその角度を切り替えることのできるバックライトを用意し、これらのバックライトを切り替えるためのバックライト切り替え手段を、３Ｄ画像再生手段４に設置し、制御手段２７により、このバックライト切り替え手段を制御して、観察角度情報が示す方向にのみ光を照射するようにしてもよい。このようにすることにより、ユーザーは、適切な観察位置をより簡易に知ることができる。
【０１２７】
判定ステップＳ１９において、３Ｄ画像再生手段４の再生処理を終了するか否かを判定し、再生処理を終了すると判定された場合は、ステップＳ２０に進み、３Ｄ画像再生手段４の再生処理を終了し、そうでなければ、ステップＳ１３へ戻り、３Ｄ画像の再生処理を継続する。またここで、判定ステップＳ２０が再生を終了すると判定する要因は通常の再生装置と同じく、例えばユーザーの中断操作や、バッテリー切れといった電力供給の途絶え、断線などの故障や、壊れたデータが入力されていたなどといったアクシデントなどがあげられる。ステップＳ２０において、３Ｄ画像再生手段４は再生処理を終了する。
【０１２８】
このようにして、３Ｄ画像再生手段４は３Ｄ画像データを再生し、立体表示することができる。
【０１２９】
また、上記の３Ｄ画像再生手段４に、ディスプレイとそれを支える台、および、ディスプレイ面の角度を変更するための可動手段を追加してもよい。また、このときの可動手段をモータなどで構成し、ディスプレイ面の角度を観察角度情報に応じて制御手段２７が自動的に変更できるようにしてもよい。
【０１３０】
例えば、観察角度情報が０度のときには、ディスプレイ面が垂直になるように、また、観察角度情報が９０度のときには、ディスプレイ面が水平になるように、さらにまた、観察角度情報がＡ（０≦Ａ≦９０）度のときには、ディスプレイ面が垂直な状態から、ディスプレイ面の上部を（９０−Ａ）度傾けるように、それぞれ制御を行ってもよい。このようにして、観察角度情報に応じて、ディスプレイ面の角度を自動的に変えてやることにより、ユーザーは、操作の必要なく適切な観察角度から観察することができ、非常に簡易性の高い立体表示が可能となる。
【０１３１】
さらにまた、上記で、ディスプレイ面が垂直となる状態から（９０−Ａ）度傾けるようにするとしたが、観察角度情報が９０度でない場合はすべて、ディスプレイ面を水平にし、観察角度情報を表示するようにしてもよい。さらにこのとき、前述した可動手段に、回転だけではなく、上下に変動させる仕組みを備えるようにして、水平にした場合は自動的にディスプレイ面を下げるようにしてもよい。このようにすることにより、ユーザーは、適切な観察角度や位置から観察することができる。
【０１３２】
このようにして、本発明の立体画像記録再生システムによれば、上記の観察角度情報を画像データのヘッダ領域に記録、伝送、再生するため、データの管理や扱いが非常に簡易となる。
【０１３３】
また、上記では、撮影角度の定義の際に基準線を水平線に平行な線としたが、そうでなくても構わない。例えば、３Ｄ画像入力手段２内部の撮影角度測定手段１１が出力する撮影角度情報に、ユーザーが外部からオフセット角度ηを加えても構わない。
【０１３４】
オフセット角度ηの絶対値は、水平線とオフセット角度を加えて変更した新たな基準線のなす角度を示し、ηの値が負の値の場合は、カメラから見て、新たな基準線の手前の部分がカメラに近くなり、逆にηの値が正の値の場合は、遠くなる。またここで、新たな基準線とカメラの視線方向がなす角が、０から９０度の間の値になるようにするため、ηの値には制限を設ける。
【０１３５】
図１４および図１５は、撮影角度にオフセット角度を加えた際の、新たな基準線と撮影角度について説明するための図である。図１４（ａ）は、ηが負の値のときの撮影角度の変化を、図１４（ｂ）はηが正の値のときの撮影角度の変化をそれぞれ示す図である。
【０１３６】
カメラ１２の視線方向１３と、水平線がなす角度を初期撮影角度α１とした場合、オフセット角度ηを加えた新たな撮影角度α'１は、α１＋ηとなる。このとき、撮影角度α'１が０から９０度の値に収まるようにするため、ηの値を、
−α１≦η≦（９０−α１）
となるように制限してもよい。
【０１３７】
ここで撮影角度についての説明を簡単に示すために、図１４より、水平線１４を除き、カメラ１２及びカメラの視線方向１３、新たな基準線２９、並びに、撮影角度α'１のみを図１５に記す。
【０１３８】
図１５（ａ）は図１４（ａ）に、図１５（ｂ）は図１４（ｂ）に、それぞれ対応している。これらの図１５（ａ）および図１５（ｂ）は、図８（ａ）で説明したものと比べて、撮影角度α1がα'１になっただけであり、同様のものである。したがって、３Ｄ画像記録手段３と、３Ｄ画像再生手段４における動作は前述したものと変わらないため、その説明は省略する。
【０１３９】
また、上記では、３Ｄ画像入力手段２においてオフセット角度ηの入力を行う場合について説明したが、３Ｄ画像記録手段３において、ユーザーが外部から入力できるようにしてもかまわない。このとき、撮影角度情報は、３Ｄ画像入力手段２の場合と同様に、３Ｄ画像記録手段３の制御手段２２で更新され、更新された撮影角度情報を元に観察角度を求め、３Ｄ画像データを記録する。
【０１４０】
このようにして、３Ｄ画像データの撮影または記録時に撮影角度にオフセット角度を加えることにより、ユーザーは、撮影時の撮影角度から一意に決まる観察角度を自由に設定することができ、また、撮影の際の自由度もあがる。
【０１４１】
例えば、外部環境といった要因により非常に小さい撮影角度でしか撮影できない場合に、オフセット角度を加えなければ、表示の際の観察角度も小さくなる。観察角度が極端に小さくなると、ユーザーは非常に観察しづらく、視野角の小さいディスプレイでは、像を表示することすらできなくなるが、上記のようにオフセット角度を加えて観察角度を自由に設定することにより、ディスプレイによっては観察がしづらいまたは観察ができないような３Ｄ画像データの作成を防ぐことができる。
【０１４２】
また、このときのオフセット角度ηを、３Ｄ画像記録手段３において、オフセット角度情報として３Ｄ画像データ内に記録し、３Ｄ画像再生手段４は、再生時に、該オフセット角度情報を用いて３Ｄ画像データを再生し、立体表示するようにしてもよい。
【０１４３】
図１６は、このときのオフセット角度情報を記録した場合の３Ｄ画像データの構造を示す図である。図１６のように、オフセット角度情報は、視点数や観察角度情報などと同じように、ヘッダ５にある３Ｄ制御情報に記録してもよい。
【０１４４】
上記のように３Ｄ画像データ内にオフセット角度ηを記録した場合、３Ｄ画像再生手段４がこの３Ｄ画像データを再生する際の動作は、前述したものと若干異なる。以下では、３Ｄ制御情報内にオフセット角度情報が記録された３Ｄ画像データを再生する場合における３Ｄ画像再生手段４の動作について述べる。
【０１４５】
この場合の３Ｄ画像再生手段４に関して、内部の構成は図１１と変わらず、また、各手段の動作も３Ｄ制御情報解析手段２５と制御手段２７、表示手段２８以外は図１１で説明した場合と同じ動作をするため、分離手段２３、復号手段２４、表示画面作成手段２６の説明は省略し、３Ｄ制御情報解析手段２５、制御手段２７、および表示手段２８の動作のみについて説明する。
【０１４６】
３Ｄ制御情報解析手段２５は図１１で説明した動作に加え、３Ｄ制御情報からオフセット角度情報も解析し、制御手段２７に出力する。
【０１４７】
また、制御手段２７は、同じく図１１で説明した動作に加え、再生する立体像における水平面が、現実の水平面に平行となるようにするために、オフセット角度分だけディスプレイ面を傾ける旨を通知するメッセージを表示手段２８上に表示してもよいし、前述したように、ディスプレイ面を傾ける可動手段を３Ｄ画像再生手段４に設け、自動的にオフセット角度分だけディスプレイ面を傾けるようにしてもよい。
【０１４８】
図１７は、このときのディスプレイ面を傾けた場合の観察の様子を示す図である。例えば、３Ｄ画像再生手段４において再生される３Ｄ画像データは、図２０のように基準面１０８の上に立方体１０９が設置されているものを撮影し、オフセット角度ηを加えて作成した３Ｄ画像データとする。図１７において、観察者は、ディスプレイ面を現実の水平線と平行な線３０からオフセット角度η分傾け、観察者の視線方向３１とディスプレイ面のなす角度が角度α‘１となるような位置から観察を行う。
【０１４９】
３Ｄ画像記録手段３でオフセット角度を加えて作成された３Ｄ画像データを、３Ｄ画像再生手段４で再生し、ディスプレイ面を水平にして立体表示する際、表示される立体像における水平面は、現実の水平面よりもオフセット角度分傾いて表示される。しかし、上記のように、この傾きを打ち消すような方向に、ディスプレイ面をオフセット角度分だけ傾けて観察することにより、観察者は、基準面１０８が水平線と平行な線３０に平行となり、基準面１０８の立方体１０９は、現実の配置と同じように観察することができる。このとき、オフセット角度分だけ、ディスプレイ自体を傾けるよう通知する、もしくは、自動的に傾けるようにして、立体像における水平面が現実の水平面になるようにしてもよい。
【０１５０】
このようにして、３Ｄ画像データ内のオフセット角度情報を参照して、３Ｄ画像再生手段４のディスプレイ面を傾けて表示することにより、立体像は、撮影時の現実と同じような配置で表示される。つまり、３Ｄ画像再生手段４に表示される立体像における基準面が、現実の水平線と平行になるため、観察者は、非常にリアリティのある像を観察することができる。
【０１５１】
また、以上の説明では、説明の簡単化のため、２つの視差を有する画像を用いて３Ｄ画像データを作成する場合について述べたが、３つ以上の視差を有する画像であっても、観察角度情報の求め方は変わらないため、簡単に適用できる。
【０１５２】
また、前述したように、垂直方向の視点数が増える場合、カメラの撮影角度が異なるため、垂直方向の視点数分、それぞれ観察角度情報を求め、記録するようにしてもよい。例えば図５の視点１から４まででひとつの観察角度情報を記録し、視点５の８までで別の観察角度情報を記録するようにしてもよい。
【０１５３】
なお、本発明の立体画像記録再生システムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【産業上の利用可能性】
【０１５４】
以上のように、本発明によれば、基準面に対して斜め方向から撮影を行い、撮影時の基準面とカメラの視線方向がなす角度を観察角度として撮影画像データのヘッダに記録し、かつ、撮影した画像データに対して、奥行き方向のパースペクティブをなくすための補正を行った画像データに変換することにより、斜め方向から立体視を行うための画像データを作成する。作成した画像データを再生する際に、ヘッダの観察角度を観察者に提示することにより、観察者が正確な方向から立体視を行うことが可能になる。
【０００１】
本発明は、立体画像を記録および再生するためのシステムに関する。
【背景技術】
【０００２】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼用の画像と右眼用の画像（以下、それぞれ「左眼用画像」、「右眼用画像」という）を用意し、それぞれ独立に左右の眼に投影することにより立体視を行うことができる。
【０００３】
以下の説明では、３Ｄは３次元または立体を、２Ｄは２次元を意味する語としてそれぞれ用い、立体視用の画像データを３Ｄ画像データ、通常の２次元画像データを２Ｄ画像データとする。
【０００４】
ここで、２眼式の代表的な方式のひとつとしてパララクスバリア方式が提案されている。図１８は、パララクスバリア方式を説明するための概念図である。図１８（a）は、視差が生じる原理を示す図である。一方、図１８（b）は、パララクスバリア方式で表示される画面を示す図である。
図１８（a）では、図１８（b）に示すような左眼用画像と右眼用画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル１００に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア１０１を画像表示パネル１００の前面に置くことにより、左眼用画像は左眼１０２だけで、右眼用画像は右眼１０３だけで観察することになり、立体視を行うことができる。
【０００５】
また、左眼用画像と右眼用画像を撮影し、一枚の合成画像として合成する方法が後述する特許文献１において開示されている。
【０００６】
図１９は、このような合成画像の記録データ形式の一例を示す概念図である。
図１９（ａ）に示す左眼用画像１０４と図１９（ｂ）に示す右眼用画像１０５を左右に並べ、図１９（ｃ）に示す１枚の合成画像１０６を作って記録する。再生時にはこの合成画像１０６を並べ替えることにより、図１８（ｂ）に示したような、それぞれの表示形式に適した画像に変換する。
【０００７】
特許文献１では、画像の表示されているディスプレイ面に対し、観察者が９０度の角度から観察しているが、特許文献２では、ディスプレイ面を水平に配置し、それを観察者が斜め方向から観察する方法について述べられている。
【０００８】
また、特許文献２では、基準面に配置した物体に対して、斜め上の方向から左眼用画像と右眼用画像を撮影した後、撮影した画像それぞれに発生する奥行き方向のパースペクティブを補正する方法について述べられており、この方法について図２０から図２３を用いて簡単に説明する。
【０００９】
図２０は、このときの左眼用画像と右眼用画像の撮影の様子を示す図である。
図２０において、水平面１０７上に、横幅Ｈ、縦幅Ｖの大きさの基準面１０８を水平に設置する。この基準面１０８の上に物体１０９を配置し、右眼用画像を撮影するためのカメラ１１０と左眼用画像を撮影するためのカメラ１１１をそれぞれ、基準面１０８の斜め上に、カメラ間隔を左右の眼の幅と同じようにして配置する。そして、カメラ１１０とカメラ１１１の視線方向を物体１０９に向けて画像を撮影する。このとき、カメラ１１０とカメラ１１１の視線が基準面１０８に対して、それぞれ同じ角度θ１となるようにする。
【００１０】
図２１は、このとき撮影した左眼用画像と右眼用画像を示す図である。
図２１(a)は左眼用画像であり、図２１(b)が右眼用画像であり、それぞれの画像には、基準面１０８と物体１０９が撮影されている。このとき、図２１(a)の基準面１０８の四隅の点をそれぞれＰ１、Ｐ２、Ｐ３、Ｐ４とし、図２１(ｂ)の基準面１０８の四隅の点をそれぞれＰ５、Ｐ６、Ｐ７、Ｐ８とする。
【００１１】
図２２は、左眼用画像に対してパースペクティブを補正する様子を示した図である。
図２１(a)から基準面１０８を図２２(a)のように切り出し、切り出した基準面１０８のＰ１、Ｐ２、Ｐ３、Ｐ４の点をそれぞれ、図２２(ｂ)のように、左眼用画像１１３のＰ９、Ｐ１０、Ｐ１１、Ｐ１２となるように、基準面１０８を変形して展開する。このとき、図２２(b)の画像の縦横比がＨ：Ｖとなるように、つまり実際の基準面１０８と同じ縦横比になるようにする。
【００１２】
図２３は、右眼用画像に対してパースペクティブを補正する様子を示した図である。
図２２の説明と同様にして、図２１(ｂ)から基準面１０８を図２３（ａ）のように切り出し、切り出した基準面１０８のＰ５、Ｐ６、Ｐ７、Ｐ８の点をそれぞれ、図２３（ｂ）のように右眼用画像１１４のＰ１３、Ｐ１４、Ｐ１５、Ｐ１６に展開する。展開された基準面は、基準面の実寸の縦横比と同じ値となるようにする。
【００１３】
これにより、斜めから撮影されたことにより画像内に発生したパースペクティブに対する補正がなされた左眼用画像１１３と右眼用画像１１４が作成される。
【００１４】
図２４は、パースペクティブ補正した左眼用画像と右眼用画像を用いて立体視を行う際の様子を示す図である。
【００１５】
パースペクティブ補正した左眼用画像と右眼用画像を使い、例えばアナグリフ画像を作成する。アナグリフ画像とは、左眼用画像のＲＧＢ画像からＲ成分のみを、また、右眼用画像のＲＧＢ画像からＧまたはＢ成分のみを抜き出し、それぞれを合成して作成した一枚の画像である。観察者は赤青メガネをかけ、この画像を観察することにより立体視ができる。
【００１６】
ここで、作成したアナグリフ画像を撮影時の基準面１０８と同じ大きさにして印刷物１１５に印刷し、水平面１０７に配置する。観察者は、この印刷物１１５に対する右眼１１７および左眼１１８の位置および、その視線１１９と印刷物１１５のなす角度θ１が、撮影時のカメラと同じになるようにし、赤青メガネを使用して印刷物１１５をみることにより、印刷物１１５の上に物体１１６が浮き出るような立体画像を観察することができる。
【００１７】
また、上記特許文献２の説明において、アナグリフを使って立体視する方法について述べたが、左右の眼の画像を作成する際の方法さえ同じであれば、レンチキュラスクリーンや、パララクスバリアや、偏光メガネや、シャッター式メガネを使う方法であっても、同様に立体視を行うことができる。さらにまた、作成した立体画像を印刷物として作成する例について述べているが、ブラウン管や、液晶などによる表示装置であっても同様に立体視を行うことができる。
【特許文献１】
特開２００２−１２５２４６号公報
【特許文献２】
特許第３５７９６８３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、前記特許文献２では、観察時に観察者の眼の視線方向と、印刷物上の基準面とのなす観察角度が、撮影時に一意に決まる値であるため、観察者がこの値を知らずに観察し、その結果、異なる観察角度から観察してしまった場合、立体視の際にみえる物体の形が歪んでしまうという問題があった。
［００１９］
また、基準面は必ずしも水平面に平行である必要がないため、例えばデジタルカメラで画像を撮影した際に画像に付加されるＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）情報に含まれるレンズの焦点距離や方位角、仰角といったカメラパラメータだけで、上記観察角度を求めることはできないという問題があった。
［００２０］
また、上記観察角度は撮影時にしか取得できないため、撮影画像の観察角度が一度分からなくなってしまうと、どの角度で見ればいいかをユーザーが知るのが困難であるという問題があった。
［００２１］
本発明は、以上のような問題点を解決するためになされたものであって、基準面に対して斜め方向から撮影を行い、撮影時の基準面とカメラの視線方向がなす角度を観察角度として撮影画像データのヘッダに記録し、かつ、撮影した画像データに対して、奥行き方向のパースペクティブをなくすための補正を行った画像データに変換することにより、斜め方向から立体視を行うための画像データを作成する。作成した画像データを再生する際に、ヘッダの観察角度を観察者に提示することにより、観察者が正確な方向から立体視を行うことが可能な立体画像記録再生システムを提供することを目的とする。
課題を解決するための手段
【００２２】
以上の課題を解決するために、本発明は、複数の視点に対応した複数の画像データより、立体画像データを生成し、記録、再生を行う立体画像記録再生システムであって、撮像手段より撮影する際の視線方向と、被撮影体を配置した基準面とが成す角度についての情報である撮影角度情報を、画像データ及び制御情報とともに出力する３Ｄ画像入力手段と、前記画像データに対してパースペクティブ補正を行う画像補正手段と、前記パースペクティブ補正された立体画像を立体視するための表示手段に対する観察角度を、前記撮影角度情報より算出する制御手段を備え、算出した前記観察角度を３Ｄ画像制御情報として前記制御情報とともに立体画像データ内に記録する３Ｄ画像記録手段と、前記立体画像データを再生するとともに、前記３Ｄ画像制御情報を解析して、前記観察角度の情報を出力する３Ｄ画像再生手段と、を備えることを特徴とする。
［００２３］
また、前記３Ｄ画像記録手段は、前記撮影角度の値を前記観察角度に代入して観察角度情報を生成することを特徴とする。
［００２４］
また、前記３Ｄ画像記録手段は、前記基準面が傾いていた場合に、前記基準面と水平線とのなす角度をオフセット角度情報として３Ｄ画像制御情報内に記録することを特徴とする。
［００２５］
また、前記３Ｄ画像再生手段は、前記３Ｄ画像制御情報内に含まれた前記観察角度情報を解析し、該観察角度情報を前記表示手段に出力することを特徴とする。
［００２６］
また、前記３Ｄ画像再生手段は、前記３Ｄ画像制御情報内に含まれた前記オフセット角度情報を解析し、該オフセット角度情報を前記表示手段に出力することを特徴とする。
［００２７］
［００２８］
［発明の効果］
［００２９］
本発明によれば、立体画像データの制御情報に観察角度を観察角度情報として記録し、再生手段で立体画像データの制御情報から該観察角度情報を読み取って、出力時にユーザーに該観察角度を提示することにより、観察者が正確な方向から立体視を行うことができるため、歪みのない立体視を行うことができる。
［００３０］
また、本発明によれば、記録する３Ｄ画像データ内に観察角度情報を記録するため、データの管理や扱いが非常に簡易となる。
［００３１］
また、本発明によれば、撮影時のカメラの傾きを計測し、計測したカメラの傾きから、カメラの基準線に対する位置を推定し、カメラの傾きとカメラの基準線に対する位置関係から撮影角度を求めるため、観察角度を容易に求めることができる。
【００３２】
また、本発明によれば、３Ｄ画像記録手段により記録した３Ｄ画像データを用いて立体視を行う際、観察者がディスプレイの中心を見るときの適切な観察角度を、ディスプレイに数値として表示することにより、観察者は適切な観察角度を容易に知ることができ、その結果、観察者は正確な方向から立体視を行うことができるため、想定と異なる角度から観察した際に生じる立体像の歪みを生じることなく、立体視を行うことができる。
【００３３】
また、本発明によれば、３Ｄ画像データの撮影または記録時に撮影角度にオフセット角度を加えることにより、撮影時の撮影角度から一意に決まる観察角度を任意に設定することができるため、撮影時の撮影角度が小さくても、オフセット角度を加えて観察角度を自由に設定することにより、ディスプレイによっては観察がしづらいまたは観察ができないような３Ｄ画像データの作成を防止することができる。
または、入力時もしくは記録時にオフセット角度を観察角度に加えて算出しない場合は、再生時に観察者にオフセット角度を提示することにより、観察者に適切な立体視のための角度を示すこともできる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施例の立体画像記録再生システムの構成を示すブロック図である。
【図２】３Ｄ画像データのデータ構成の一例を示す図である。
【図３】左眼用画像と右眼用画像の一例を示す図である。
【図４】３Ｄ画像データ内の画像データの一例を示す図である。
【図５】３Ｄ画像データ内の画像データの一例を示す図である。
【図６】画像縦横比を変更した画像データの一例について説明するための図である。
【図７】３Ｄ画像入力手段２の構成を示すブロック図である。
【図８】カメラ傾斜角と撮影角度の関係を示す図である。
【図９】３Ｄ画像記録手段３の構成を示すブロック図である。
【図１０】３Ｄ画像記録手段３の動作を説明するためのフローチャート図である。
【図１１】３Ｄ画像再生手段４の構成を示すブロック図である。
【図１２】３Ｄ画像再生手段４の動作を説明するためのフローチャート図である。
【図１３】復号画像データから表示用画像データを作成する方法について説明する図である。
【図１４】撮影角度にオフセット角度を加えた際の、新たな基準線と撮影角度について説明するための図である。
【図１５】撮影角度にオフセット角度を加えた際の、新たな基準線と撮影角度について説明するための図である。
【図１６】オフセット角度情報を記録した場合の３Ｄ画像データのデータ構成の一例を示す図である。
【図１７】ディスプレイ面を傾けた場合の観察の様子を示す図である。
【図１８】パララクスバリア方式を説明するための概念図である。
【図１９】合成画像の記録データ形式の一例を示す概念図である。
【図２０】左眼用画像と右眼用画像の撮影の様子を示す図である。
【図２１】撮影した左眼用画像と右眼用画像を示す図である。
【図２２】左眼用画像に対して、パースペクティブを補正する様子を示した図である。
【図２３】右眼用画像に対してパースペクティブを補正する様子を示した図である。
【図２４】パースペクティブ補正した左眼用画像と右眼用画像を用いて立体視を行う際の様子を示す図である。
【符号の説明】
【００３５】
１ 立体画像記録再生システム
２ ３Ｄ画像入力手段
３ ３Ｄ画像記録手段
４ ３Ｄ画像再生手段
５ ヘッダ
６ 画像データ
７ 左眼用画像
８ 右眼用画像
９ 撮像手段
１０、２２、２７ 制御手段
１１ 撮影角度測定手段
１２ カメラ
１３ カメラの視線方向
１４、１５ 基準線
１６ 画像切り取り手段
１７ 画像補正手段
１８ 画像合成手段
１９ 圧縮手段
２０ ヘッダ情報作成手段
２１ 多重化手段
２３ 分離手段
２４ 復号手段
２５ ３Ｄ制御情報解析手段
２６ 表示画像作成手段
２８ 表示手段
２９ 新たな基準線
３０ 水平線と平行な線
３１ 観察者の視線方向
１００ 画像表示パネル
１０１ パララクスバリア
１０２、１１８ 左眼
１０３、１１７ 右眼
１０４、１１３ 左眼用画像
１０５、１１４ 右眼用画像
１０６ 合成画像
１０７ 水平面
１０８ 基準面
１０９、１１６ 物体
１１０、１１１ カメラ
１１５ 印刷物
１１９ 視線
【発明を実施するための最良の形態】
【００３６】
以下、本発明の実施例について、添付図面を参照しながら説明する。
【００３７】
図１は、本発明の実施例の立体画像記録再生システムの構成を示すブロック図である。
立体画像記録再生システム１は、３Ｄ画像入力手段２と、３Ｄ画像記録手段３と、３Ｄ画像再生手段４とから構成されている。
【００３８】
３Ｄ画像入力手段２は、複数の視点に対応した複数の画像データを外部から入力し、各視点の入力画像データを撮影した際の角度を示す撮影角度情報、各視点の入力画像データの水平画像サイズ及び垂直画像サイズ、３Ｄ画像データ内に含まれる視点数の数を表す水平視点数情報及び垂直視点数情報を画像データの制御情報として生成する。
３Ｄ画像記録手段３は、前記３Ｄ画像入力手段２より入力された画像データを３Ｄ画像データとして記録する。
３Ｄ画像再生手段４は、３Ｄ画像記録手段３で記録された３Ｄ画像データを再生する。
【００３９】
ここで、３Ｄ画像データとは立体視用の画像データであり、画像データと３Ｄ制御情報から構成されたデータとする。前記各手段に関する説明は後述することとし、まず、３Ｄ画像データと３Ｄ制御情報について説明を行う。
【００４０】
図２は、３Ｄ画像データのデータ構成の一例を示す図である。
３Ｄ画像データは、ヘッダ５と画像データ６から構成されており、ヘッダ５内には、画像データ６の画像サイズ情報や３Ｄ制御情報が含まれている。ヘッダ５の例としては、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）ヘッダや、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅｄ）、ＡＳＦ（Ａｄｖａｎｃｅｄ Ｓｔｒｅａｍｉｎｇ Ｆｏｒｍａｔ）、ＷＭＶ（Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ）、ＭＰ４などのファイルフォーマットのヘッダなどがあげられる。また、画像データの例としては、未圧縮の画像データや、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）といった圧縮方式で圧縮された圧縮画像データがあげられる。
【００４１】
また、３Ｄ制御情報とは、３Ｄ画像データ内の画像データの構成に関する情報や、３Ｄ画像を表示する際に表示を制御するための情報を示し、水平方向及び、垂直方向の視点数、観察角度情報を含んだ構成になっている。
【００４２】
ここで、水平方向及び、垂直方向の視点数とは、３Ｄ画像データ内に含まれる視点の異なる画像データの数の情報を示す。
【００４３】
また、観察者がこの３Ｄ画像データを立体視する際、３Ｄ画像を表示する表示面に対して、所定の角度から観察すれば歪みのない３Ｄ画像を観察することができる。このときの所定の角度の情報を観察角度情報とする。
【００４４】
図３は、左眼用画像と右眼用画像の一例について、また、図４、図５は、３Ｄ画像データ内の画像データ６の一例について説明するための図である。
【００４５】
例えば図３の（ａ）は左眼用画像を、（ｂ）は右眼用画像を示し、それぞれの水平画像サイズｈ、垂直画像サイズｖとも同じである。この左眼用画像と右眼用画像を、図４のように視点の順どおりに左から水平に並べて、一枚の画像データとする。このときの画像データの視点数は、水平方向が２、垂直方向が１となる。この３Ｄ画像データの画像サイズは、水平が２×ｈ、垂直がｖとなる。
【００４６】
また、例えば図５は、水平方向の視点の数が４、垂直方向の視点の数が２のときの例であり、８つの視点の画像を、図４の説明と同様に、番号１から８のように視点順に左上から右下にラスタスキャンで並べていき、一枚の画像データとしたものである。
【００４７】
また、このときの画像データは、画像縦横比を変更することができる。画像縦横比とは、画像データの垂直方向の拡大縮小率を水平方向の拡大縮小率で割った値を表記した情報を示す。
【００４８】
図６は、画像縦横比を変更した画像データの一例について説明するための図である。
図４や図５の画像データは、作成時に画像縦横比を変更しなかったので画像縦横比は１となるが、図６の画像データの場合、例えば、図４の画像データの縦の縮尺は変更せず、横の縮尺を２分の１にした画像データであり、その画像サイズは水平がｈ、垂直がｖ、画像縦横比が２となる。このとき、画像縦横比情報として前記の値“２”を、３Ｄ制御情報に記録してもよい。
【００４９】
以下では、説明の簡略化のため画像縦横比は１に固定して説明を行う。
【００５０】
次に、３Ｄ画像入力手段２と、３Ｄ画像入力手段２を構成する各手段の動作について、図面を用いて説明を行なう。
【００５１】
図７は３Ｄ画像入力手段２の構成を示すブロック図である。
３Ｄ画像入力手段２は、撮像手段９と制御手段１０、撮影角度測定手段１１から構成されている。
【００５２】
撮像手段９は、例えば少なくともひとつ以上のＣＣＤカメラのような撮像素子から構成されており、外部の映像を取り込み、入力画像として出力する手段である。
【００５３】
制御手段１０は、撮像手段９の制御を行い、例えば、撮像手段９の左右の角度や位置を制御する手段であり、図示しないＣＰＵ等で実現される。
【００５４】
撮影角度測定手段１１は、液体センサなどによる一般のデジタル角度計や、一般のジャイロセンサを用いた手段であり、本発明とは関係がないため、詳細な説明は省く。
【００５５】
この撮影角度測定手段１１により撮像手段９の撮像方向の水平面に対する傾斜角を計測し、計測した値から撮影角度を求め、出力することができる。
【００５６】
ここで、図面を用いて撮影角度について説明する。
図８は、カメラ傾斜角と撮影角度の関係を示す図である。
【００５７】
まず、撮影角度を、カメラの視線方向と基準線とがなす角αｎ（ｎは１から４までの整数）とし、その値の範囲は０から９０度までの値と定義する。ここで、基準線は水平線に平行な線とする。カメラを傾ける角度βｎ（ｎは１から４までの整数とし、以下、該角度を「カメラ傾斜角」という）を、デジタル角度計や、ジャイロセンサを用いて測定した場合、得られるカメラ傾斜角βｎの値は０から３６０度未満の値までとなる。このときの測定された値から撮影角度を算出する方法について述べる。
【００５８】
以下では、カメラを基準線に平行かつ、撮影した画像の上下がひっくり返っていない状態のカメラ傾斜角βｎを０度とし、カメラと基準線を横から見て、カメラの中心を軸に時計回りにカメラを回転させるに従い、カメラ傾斜角が増加することとし、３６０度で一回転して、０度の状態になるものとする。
【００５９】
図８（ａ）に、カメラ傾斜角β１が０度以上、かつ、９０度以下の場合の撮影角度α１との関係を示す。この場合、カメラ１２の視線方向１３と基準線１４のなす角である撮影角度α１は、カメラ傾斜角β１と一致する。ここで、図８中のカメラ１２の黒い部分は、カメラ１２の上部とする。
【００６０】
図８（ｂ）に、カメラ傾斜角β２が９０度より大きく、かつ、１８０度以下の場合の撮影角度α２を示す。この場合、カメラ１２の視線方向１３と基準線１４のなす角である撮影角度α２は、（１８０−β２）となる。
【００６１】
以下、図８（ｃ）や図８（ｄ）のようなカメラ傾斜角β３、β４が１８０度より大きく、かつ、３６０度未満の場合は、図８（ａ）や図８（ｂ）で説明した基準線１４よりも上で撮影を行うので、基準線１４が撮影画像に含まれない。よって、基準線１４に平行で、かつ、カメラより上にある基準線１５を新たな基準線とする。
【００６２】
図８（ｃ）に、カメラ傾斜角β３が１８０度より大きく、かつ、２７０度以下の場合の撮影角度α３を示す。基準線１５とカメラ１２の視線方向１３とがなす角を撮影角度α３とする。このときのα３の値は、（β３−１８０）となる。
【００６３】
図８（ｄ）に、カメラ傾斜角β４が２７０度より大きく、かつ、３６０度（これは０度と同じ）より小さい場合の撮影角度α４を示す。図８（ｃ）で説明した場合と同様、基準線１５と、カメラ１２の視線方向１３とがなす角を撮影角度α４とする。このときのα４の値は、（３６０―β４）となる。
【００６４】
このようにして、撮影角度測定手段１１は、撮影時のカメラの傾きを計測し、計測したカメラの傾きから、カメラの基準線に対する位置を推定し、カメラの傾きとカメラの基準線に対する位置関係から、撮影角度を求めることにより、撮影に使ったカメラの視線方向と、撮影画像内の、基準線および基準線を含む基準面のなす角度を出力することができる。
【００６５】
また、上記で求めた撮影角度は、歪みのない立体視を行うのに必要な観察角度を求める際に使用する情報であり、この観察角度の求め方については後述する。
【００６６】
以下では、説明を簡単にするため、撮像手段９を２つのＣＣＤカメラとし、左眼用画像データと右眼用画像データをそれぞれ出力するものとし、また、各視点の画像データの画像サイズは同じものとする。
【００６７】
図７において、撮像手段９は、２つのＣＣＤカメラが撮像した画像データを入力画像データとして出力する。
【００６８】
このとき、図２０で説明したように撮影対象物の下に水平線に対して平行になるよう、四角形の基準面を紙などで設置し、撮像した画像を見ながらその基準面に撮影対象物が納まるようにして撮影を行う。また、基準面の代わりに、基準面の４隅に当たる位置に特定のマークを設置し、それらのマークを頂点とする四角形をあらたな基準面として、撮影対象物がその基準面内に納まるように撮影を行ってもよい。さらにこのとき、この基準面とマークの両方を設置して、撮像する画像内に両方を含むようにして撮影を行ってもよい。
【００６９】
また、上記のマークや、基準面を構成する外側の枠を、所定の画像として、あらかじめ決めていた入力画像のある所定の位置に上書きし、それを新たな入力画像として出力してもよいし、それらマークの位置や基準面の枠の大きさと、基準面内の特定の点（例えば、中心や、枠を構成する４隅の点のいずれかなど）の位置をユーザーが外部から自由に入力できるようにしてもよい。
【００７０】
また、マークや基準面の上書きを行わず、マークの位置や基準面の枠の大きさと位置の情報のみを、画像データとともに出力してもよい。これらの情報は、後段の３Ｄ画像記録手段において、画像内の基準面の大きさと位置を判定するのに使うことができる。
【００７１】
また、撮影対象である基準面の実寸サイズの縦横比が、撮影する画像データの縦横比と同じになるように、基準面もしくはマークの位置を設定してもよいし、基準面の実寸サイズの縦横比が特定の値となるように、基準面もしくはマークの位置を設定してもよい。
【００７２】
またこのとき、上記の基準面の中心を通る、横方向の線上に、撮影した画像の中心が位置するようにして撮影を行う。
【００７３】
入力画像データを出力すると同時に、制御手段１０は、そのときの入力画像の水平画像サイズ、垂直画像サイズ、及び、水平方向の視点数を２、垂直方向の視点数を１としてそれぞれ出力する。
【００７４】
これと同時に撮影角度測定手段１１は、このときの撮影角度を撮影角度情報として出力する。
【００７５】
また、上記では、撮影角度測定手段１１により自動的に撮影角度を測定し、出力するようにしたが、この撮影角度測定手段１１の代わりに、撮影角度入力手段を設置して、撮影角度を撮影者が外部から数値入力してもよい。
【００７６】
また、ここで、３Ｄ画像入力手段２は、撮像手段９の代わりに、ビデオ信号などを入力とする画像信号入力装置、ＴＶ信号を受信して表示する画像表示装置、ビデオやＤＶＤなどを再生する画像再生装置、スキャナなどの画像読み取り装置、画像データファイル読み取り装置など、画像データを出力する装置であればよく、これらに限定されない。この場合、前述したように撮影角度情報はユーザーが外部から入力するものとする。
【００７７】
以上のようにして、３Ｄ画像入力手段２は、３Ｄの撮影画像データとして、複数の視点に対応した複数の画像データ、及び、撮影角度情報、水平画像サイズ、垂直画像サイズ、水平方向の視点数、垂直方向の視点数をそれぞれ出力することができる。
【００７８】
上記では、水平方向の視点数が２、垂直方向の視点数が１の場合について説明を行ったが、垂直方向の視点数が３以上ある場合でも、撮影角度情報は、同様にして算出できる。また、垂直方向の視点数が２以上ある場合は、同じ垂直方向にある画像データの組それぞれに１つずつに対して撮影角度情報を、同様にして算出すればよく、この場合、撮影角度情報として垂直方向の視点数分を算出し、出力する。
【００７９】
次に、３Ｄ画像記録手段３と、３Ｄ画像記録手段３を構成する各手段の動作について、図面を用いて説明を行う。
【００８０】
図９は３Ｄ画像記録手段３の構成を示すブロック図である。
【００８１】
３Ｄ画像記録手段３は、入力画像データから画像の一部を切り取り、この切り取った画像データである切り取り画像データを出力する画像切り取り手段１６と、切り取り画像データに対して奥行き方向のパースペクティブを補正し、補正画像データを出力する画像補正手段１７と、補正画像データを合成し、合成画像データを出力する画像合成手段１８と、合成画像データを圧縮符号化データに圧縮符号化する圧縮手段１９と、入力された水平画像サイズ、垂直画像サイズ、水平視点数情報、垂直視点数情報、撮影角度情報からヘッダ情報を作成し、出力するヘッダ情報作成手段２０と、圧縮符号化データとヘッダ情報を多重化し、３Ｄ画像データを作成する多重化手段２１と、制御手段２２から構成されている。
【００８２】
ここで、制御手段２２は図示しないＣＰＵ等で実現され、３Ｄ画像記録手段３内の各手段を制御する手段である。例えば、制御手段２２は、入力された情報を用いて、制御手段２２に接続された各手段をそれぞれ制御して、３Ｄ画像の画像符号化データと３Ｄ制御情報を含むヘッダを作成する。
【００８３】
次に、３Ｄ画像記録手段３の動作について、フローチャート図を用いて説明する。
【００８４】
図１０は、３Ｄ画像記録手段３の動作を説明するためのフローチャート図である。
以下では説明の簡略化のため、水平視点数情報は２、垂直視点数情報は１、入力画像データは左右の眼用の２枚の画像データとして説明を行う。
【００８５】
ステップＳ1において、３Ｄ画像記録手段３は、３Ｄ画像の記録処理を開始し、ステップＳ２へ進む。
【００８６】
判定ステップＳ２において、３Ｄ画像記録手段３に入力画像データ及び制御情報が入力されたか否かを制御手段２２が判定し、入力されていなければ判定ステップＳ２へ戻り、そうでなければ、３Ｄ画像記録手段３に入力画像データ、制御情報としての各視点の入力画像データの水平画像サイズ、垂直画像サイズ、水平視点数情報、垂直視点数情報および、撮影角度情報が入力され、ステップＳ３へ進む。このとき、３Ｄ画像記録手段３内部では、入力画像データが画像切り取り手段１６に、水平画像サイズ、垂直画像サイズ、水平視点数情報、垂直視点数情報、撮影角度情報が制御手段２２にそれぞれ入力される。
【００８７】
以下で説明するステップＳ３からＳ６の処理により、入力された画像データから、画像符号化データを作成する。また、これらのステップで述べる画像切り取り手段１６および画像補正手段１７で行われる画像の切り取りの方法や補正の方法は、特許文献２で示される方法と同じであり、本発明とは関係がないため、それらの詳細な説明は省略する。
【００８８】
ステップＳ３において、画像切り取り手段１６に、左右の視点の入力画像データがそれぞれ入力される。画像切り取り手段１６は、各視点の入力画像データごとに処理を行う手段である。画像切り取り手段１６は、これらの入力画像データから、画像マッチングなどにより、特定の基準面を求める。基準面の代わりにマークを撮影した場合は、マークを同じくマッチングなどで求め、４つのマークを含むような四角形の内部を基準面とする。
【００８９】
このようにして基準面を求めた後は、図２２（ａ）や、図２３（ａ）のように、基準面を切り出した画像を切り出し画像として、左右の視点ごとにそれぞれ出力し、ステップＳ４へ進む。このとき、画像内にマークや基準面がない場合は、特定の領域を基準面として切り出すようにしてもよいし、ユーザーが外部から基準面を直接入力するようにしてもよいし、また、異なる基準面を複数用意しておき、ユーザーが外部からどの基準面を使用するかを選択するようにしてもよい。また、３Ｄ画像入力手段２の説明で述べたマークの位置もしくは、基準面の枠の大きさや位置などが入力された場合は、それらの情報から基準面を求めてもよい。
【００９０】
ステップＳ４において、画像補正手段１７に、左右の視点の画像データが入力される。画像補正手段１７は、各視点の入力画像データごとに処理を行う手段である。画像補正手段１７は、図２２（ａ）または図２３（ａ）にある切り出し画像に対して、図２２（ｂ）または図２３（ｂ）と同じく、展開された基準面が、基準面の実寸の縦横比（以下、「基準面縦横比」という）と同じ値となるように展開変形を行う。このようにして、ＣＣＤカメラを基準面に対して斜め方向に向けて撮影したことにより発生した奥行き方向の歪み（パースペクティブ）が補正される。このときの基準面縦横比の値は、入力画像データの縦横比でもよいし、あらかじめ設定していてもよく、また、ユーザーが外部より入力するようにしてもよい。
【００９１】
またここで、基準面縦横比の値を、あらかじめ立体画像記録システムに設定されている特定の値として扱ってもよい。この場合は、撮影対象である基準面の実寸サイズの縦横比が、この基準面縦横比の値と同じになるように、基準面もしくはマークの位置を撮影時に調節しておく。
【００９２】
このようにして、画像補正手段１７は補正された左右の視点用の補正画像データをそれぞれ出力し、ステップＳ５へ進む。
【００９３】
ステップＳ５において、画像合成手段１８は、入力画像データから３Ｄ画像データを合成する処理を行う。ここで、画像合成手段１８は、水平視点数情報、垂直視点数情報から、各視点の画像データである入力画像データを、図４、図５、図６で説明したものと同様にして配置し、画像データを作成する手段である。ここでは、水平視点数情報は２、垂直視点数情報は１であり、入力画像データは左右の眼用の２枚の補正画像データである。
【００９４】
まず、補正画像データが、画像合成手段１８に入力される。それと同時に、制御手段２２は、水平視点数情報、垂直視点数情報を画像合成手段１８に伝送し、画像合成手段１８が３Ｄ画像データを合成するように制御する。合成と同時に、画像縦横比情報を作成する。ここでは、図５で説明したように、画像縦横比が１となるように合成し、画像縦横比情報を１とする。
【００９５】
画像合成手段１８は、作成した３Ｄ画像データを圧縮手段１９に、３Ｄ画像データの水平画像サイズと垂直画像サイズ、画像縦横比情報をそれぞれ制御手段２２にそれぞれ出力し、ステップＳ６へ進む。
【００９６】
ステップＳ６において、圧縮手段１９は、入力画像データをＪＰＥＧやＭＰＥＧなどの符号化手法による符号化を行い、符号化データを出力する処理を行う。圧縮手段１９は汎用の圧縮手段で構成されており、本発明に関係がないため、その構成は省略する。
【００９７】
まず、３Ｄ画像データが圧縮手段１９に入力される。圧縮手段１９は、入力画像データを符号化し、符号化データを出力し、ステップＳ７へ進む。
【００９８】
上記では圧縮手段１９で圧縮するとしているが、この圧縮手段１９を省き、未圧縮のデータを作成するようにしてもかまわない。
【００９９】
ステップＳ７において、制御手段２２は、ヘッダを作成するのに必要な情報として、符号化した画像全体の水平画像サイズ、垂直画像サイズ、水平の視点数情報、垂直の視点数情報、撮影角度情報、画像縦横比情報などを含む情報をヘッダ情報作成手段２０に伝送する。ヘッダ情報作成手段２０は、制御手段２２から入力された情報を用いて、図２で説明したように、３Ｄ制御情報を含むヘッダ５を作成し、出力する。
【０１００】
このとき、３Ｄ制御情報を構成する観察角度には、撮影角度を代入して、３Ｄ制御情報を作成する。このようにして、撮影角度から観察角度情報を求め、３Ｄ制御情報として記録することにより、観察者は３Ｄ画像データごとに観察角度を容易に管理することができる。
【０１０１】
ステップＳ８において、多重化手段２１は、入力された符号化データとヘッダを多重化する処理を行う。多重化手段２１は、圧縮手段１９から入力された符号化データとヘッダ情報作成手段２０から入力されたヘッダを多重化して多重化データを作成し、３Ｄ画像データとして出力して、ステップＳ９へ進む。
【０１０２】
ステップＳ９において、多重化手段２１で作成した３Ｄ画像データの記録を行う。
【０１０３】
ここで、立体画像記録再生システム１は、内部に図示しないデータ記録再生手段を備えている。このデータ記録再生手段は、３Ｄ画像記録手段３内の多重化手段２１が出力した３Ｄ画像データを、データとして記録することのできる、例えばカードなどのリムーバムルメディアやハードディスクや光ディスク、磁気テープなどといった記録媒体に記録したり、記録媒体からデータを読み出したりできる手段である。記録再生手段自体は一般のものであり、その構成は本発明とは関係がないので説明を略する。
【０１０４】
また、上記では、立体画像記録再生システム１の内部にデータ記録再生手段を含むと説明したが、このデータ記録再生手段は外部に設置してもよい。例えばデータ記録再生手段が、データを外部とやりとりのできるような機器、つまり、一般のパーソナルコンピュータ（以下、「ＰＣ」という）向けの外付けハードディスク、光ディスク記録再生装置、カードリーダーであってもよいし、ＰＣ自体であってもよい。さらにまた、デジタルビデオカメラやデジタルビデオなどでもよい。また、伝送経路をインターネットと考え、データ記録再生手段をインターネットに接続しているサーバーとしてもよい。また、データ記録再生手段に記録されたデータは、３Ｄ画像再生手段４により自由に読み出すことができる。
【０１０５】
ステップＳ９において、３Ｄ画像データは、上記のデータ記録再生手段によって記録され、判定ステップＳ１０へ進む。
判定ステップＳ１０において、３Ｄ画像記録手段３の記録処理を終了するか否かを判定し、記録処理を終了すると判定された場合は、ステップＳ１１に進み、３Ｄ画像記録手段３の記録処理を終了し、そうでなければ、ステップＳ２へ戻り、３Ｄ画像の記録処理を継続する。
【０１０６】
またここで、判定ステップＳ１０が記録を終了すると判定する要因は通常の記録装置と同じく、例えばユーザーの中断操作や記録媒体の容量不足、バッテリー切れといった電力供給の途絶えや、断線などの故障といったアクシデントなどがあげられる。
【０１０７】
このようにして、３Ｄ画像記録手段３は、３Ｄ画像データを記録することができる。
【０１０８】
次に、３Ｄ画像再生手段４と、３Ｄ画像再生手段４を構成する各手段の動作について、図面を用いて説明を行う。
【０１０９】
図１１は３Ｄ画像再生手段４の構成を示すブロック図である。
【０１１０】
３Ｄ画像再生手段４は、３Ｄ画像データをヘッダと画像の符号化データとに分離し、出力する分離手段２３と、入力された符号化データから画像データを復号し、表示画像作成手段２６に出力する復号手段２４、３Ｄ制御情報を解析し、制御手段２７に出力する３Ｄ制御情報解析手段２５、復号された画像データから表示用の画像を作成し、出力する表示画像作成手段２６、表示画像作成手段２６及び表示手段２８をそれぞれ制御する制御手段２７、並びに、入力された３Ｄ画像データを表示する表示手段２８から構成されている。
【０１１１】
ここで、表示手段２８は例えば、図１８で示したようなパララクスバリアを用いて立体表示を行う手段とする。
【０１１２】
次に、３Ｄ画像再生手段４の動作についてフローチャート図を用いて説明する。
【０１１３】
図１２は、３Ｄ画像再生手段４の動作を説明するためのフローチャート図である。
【０１１４】
ステップＳ１２において、３Ｄ画像再生手段４は再生処理を開始する。このとき、３Ｄ画像再生手段４は、３Ｄ画像記録手段３で説明したデータ記録再生手段にアクセスし、３Ｄ画像データの読み出しを開始し、判定ステップＳ１３に進む。
【０１１５】
判定ステップＳ１３において、３Ｄ画像再生手段４に３Ｄ画像データが入力されているか否かを判定し、入力されている場合はステップＳ１４に進み、そうでない場合は、ステップＳ１３に戻る。
【０１１６】
ステップＳ１４において、分離手段２３に３Ｄ画像データが入力される。分離手段２３は、入力された３Ｄ画像データから、符号化データと、ヘッダに分離して、符号化データを復号手段２４に、ヘッダを３Ｄ制御情報解析手段２５にそれぞれ出力し、ステップＳ１５に進む。
【０１１７】
ステップＳ１５において、復号手段２４に符号化データが入力され、復号手段２４は入力された符号化データを復号し、復号画像データを表示画像作成手段２６に出力し、ステップＳ１６に進む。
【０１１８】
このとき、復号手段２４は、入力された符号化データ、例えばＪＰＥＧやＭＰＥＧなどを復号し、復号画像データを出力する手段である。復号手段２４は汎用の復号手段で構成されており、本発明に関係がないため、その構成は省略する。
【０１１９】
ステップＳ１６において、３Ｄ制御情報解析手段２５にヘッダが入力される。３Ｄ制御情報解析手段２５は、ヘッダに含まれる３Ｄ制御情報を解析し、水平方向の視点数、垂直方向の視点数、画像縦横比情報、および、観察角度情報を含む３Ｄ制御情報を制御手段２７に出力し、ステップＳ１７に進む。
【０１２０】
ステップＳ１７において、表示画像作成手段２６に、復号画像データが入力される。これと同時に制御手段２７から、水平方向の視点数、垂直方向の視点数、および画像縦横比情報が入力される。表示画像作成手段２６はこれらの視点数の情報を用いて復号画像データに対して変換を行い、表示用画像データを作成する。このときの水平方向の視点数は２、垂直方向の視点数は１、画像縦横比情報は１であるとする。
【０１２１】
図１３は、復号画像データから表示用画像データを作成する方法について説明する図である。図１３（ａ）は、水平方向の視点数は２、垂直方向の視点数は１、画像縦横比情報は１であるような復号画像データである。復号画像データの左半分は左眼用画像データ、右半分は右眼用画像データであり、これらの各視点の画像が、視点の順に水平に並ぶようにして構成されている。
【０１２２】
表示画像作成手段２６は、水平方向の視点数と垂直方向の視点数から、この構造を解釈し、各視点の画像データのそれぞれにおいて、縦の長い短冊状に分割し、各視点で分割した短冊のうち左端のものから、図１３（ｂ）のように、左、右というように視点の順に並べ替えて、表示用画像データを作成し、表示手段２８に出力し、ステップＳ１８に進む。
【０１２３】
ステップＳ１８において、表示手段２８に、表示画像作成手段２６から表示用画像データが、制御手段２７から観察角度情報が、それぞれ入力される。表示手段２８は、ディスプレイと、パララクスバリアから構成されており、図１８（ａ）で説明したように、表示用画像データを立体表示し、判定ステップＳ１９に進む。
【０１２４】
このとき、表示手段２８は、入力された観察角度情報を、表示手段２８のディスプレイに、数値として表示してもよい。これにより、観察者は、表示手段２８のディスプレイの中心を見る際の適切な観察角度を簡易に知ることができ、その結果、正確な方向から立体視を行うことができるため、想定と異なる角度から観察した際に生じる歪みを生じることなく、立体視を行うことができる。
【０１２５】
また、上記では、観察角度情報をディスプレイ面に数値として表示することについて説明したが、例えば、表示手段２８の前面に水平なスリットやレンチキュラシートなどを用意して、適切な観察角度から観察者が観察したときのみ観察できるような特定の画像パターンを表示するようにしてもよい。これにより、観察者は、適切な観察位置を、より簡易に知ることができる。
【０１２６】
さらにまた、複数の指向性のあるバックライト、もしくはその角度を切り替えることのできるバックライトを用意し、これらのバックライトを切り替えるためのバックライト切り替え手段を、３Ｄ画像再生手段４に設置し、制御手段２７により、このバックライト切り替え手段を制御して、観察角度情報が示す方向にのみ光を照射するようにしてもよい。このようにすることにより、ユーザーは、適切な観察位置をより簡易に知ることができる。
【０１２７】
判定ステップＳ１９において、３Ｄ画像再生手段４の再生処理を終了するか否かを判定し、再生処理を終了すると判定された場合は、ステップＳ２０に進み、３Ｄ画像再生手段４の再生処理を終了し、そうでなければ、ステップＳ１３へ戻り、３Ｄ画像の再生処理を継続する。またここで、判定ステップＳ２０が再生を終了すると判定する要因は通常の再生装置と同じく、例えばユーザーの中断操作や、バッテリー切れといった電力供給の途絶え、断線などの故障や、壊れたデータが入力されていたなどといったアクシデントなどがあげられる。ステップＳ２０において、３Ｄ画像再生手段４は再生処理を終了する。
【０１２８】
このようにして、３Ｄ画像再生手段４は３Ｄ画像データを再生し、立体表示することができる。
【０１２９】
また、上記の３Ｄ画像再生手段４に、ディスプレイとそれを支える台、および、ディスプレイ面の角度を変更するための可動手段を追加してもよい。また、このときの可動手段をモータなどで構成し、ディスプレイ面の角度を観察角度情報に応じて制御手段２７が自動的に変更できるようにしてもよい。
【０１３０】
例えば、観察角度情報が０度のときには、ディスプレイ面が垂直になるように、また、観察角度情報が９０度のときには、ディスプレイ面が水平になるように、さらにまた、観察角度情報がＡ（０≦Ａ≦９０）度のときには、ディスプレイ面が垂直な状態から、ディスプレイ面の上部を（９０−Ａ）度傾けるように、それぞれ制御を行ってもよい。このようにして、観察角度情報に応じて、ディスプレイ面の角度を自動的に変えてやることにより、ユーザーは、操作の必要なく適切な観察角度から観察することができ、非常に簡易性の高い立体表示が可能となる。
【０１３１】
さらにまた、上記で、ディスプレイ面が垂直となる状態から（９０−Ａ）度傾けるようにするとしたが、観察角度情報が９０度でない場合はすべて、ディスプレイ面を水平にし、観察角度情報を表示するようにしてもよい。さらにこのとき、前述した可動手段に、回転だけではなく、上下に変動させる仕組みを備えるようにして、水平にした場合は自動的にディスプレイ面を下げるようにしてもよい。このようにすることにより、ユーザーは、適切な観察角度や位置から観察することができる。
【０１３２】
このようにして、本発明の立体画像記録再生システムによれば、上記の観察角度情報を画像データのヘッダ領域に記録、伝送、再生するため、データの管理や扱いが非常に簡易となる。
【０１３３】
また、上記では、撮影角度の定義の際に基準線を水平線に平行な線としたが、そうでなくても構わない。例えば、３Ｄ画像入力手段２内部の撮影角度測定手段１１が出力する撮影角度情報に、ユーザーが外部からオフセット角度ηを加えても構わない。
【０１３４】
オフセット角度ηの絶対値は、水平線とオフセット角度を加えて変更した新たな基準線のなす角度を示し、ηの値が負の値の場合は、カメラから見て、新たな基準線の手前の部分がカメラに近くなり、逆にηの値が正の値の場合は、遠くなる。またここで、新たな基準線とカメラの視線方向がなす角が、０から９０度の間の値になるようにするため、ηの値には制限を設ける。
【０１３５】
図１４および図１５は、撮影角度にオフセット角度を加えた際の、新たな基準線と撮影角度について説明するための図である。図１４（ａ）は、ηが負の値のときの撮影角度の変化を、図１４（ｂ）はηが正の値のときの撮影角度の変化をそれぞれ示す図である。
【０１３６】
カメラ１２の視線方向１３と、水平線がなす角度を初期撮影角度α１とした場合、オフセット角度ηを加えた新たな撮影角度α'１は、α１＋ηとなる。このとき、撮影角度α'１が０から９０度の値に収まるようにするため、ηの値を、
−α１≦η≦（９０−α１）
となるように制限してもよい。
【０１３７】
ここで撮影角度についての説明を簡単に示すために、図１４より、水平線１４を除き、カメラ１２及びカメラの視線方向１３、新たな基準線２９、並びに、撮影角度α'１のみを図１５に記す。
【０１３８】
図１５（ａ）は図１４（ａ）に、図１５（ｂ）は図１４（ｂ）に、それぞれ対応している。これらの図１５（ａ）および図１５（ｂ）は、図８（ａ）で説明したものと比べて、撮影角度α1がα'１になっただけであり、同様のものである。したがって、３Ｄ画像記録手段３と、３Ｄ画像再生手段４における動作は前述したものと変わらないため、その説明は省略する。
【０１３９】
また、上記では、３Ｄ画像入力手段２においてオフセット角度ηの入力を行う場合について説明したが、３Ｄ画像記録手段３において、ユーザーが外部から入力できるようにしてもかまわない。このとき、撮影角度情報は、３Ｄ画像入力手段２の場合と同様に、３Ｄ画像記録手段３の制御手段２２で更新され、更新された撮影角度情報を元に観察角度を求め、３Ｄ画像データを記録する。
【０１４０】
このようにして、３Ｄ画像データの撮影または記録時に撮影角度にオフセット角度を加えることにより、ユーザーは、撮影時の撮影角度から一意に決まる観察角度を自由に設定することができ、また、撮影の際の自由度もあがる。
【０１４１】
例えば、外部環境といった要因により非常に小さい撮影角度でしか撮影できない場合に、オフセット角度を加えなければ、表示の際の観察角度も小さくなる。観察角度が極端に小さくなると、ユーザーは非常に観察しづらく、視野角の小さいディスプレイでは、像を表示することすらできなくなるが、上記のようにオフセット角度を加えて観察角度を自由に設定することにより、ディスプレイによっては観察がしづらいまたは観察ができないような３Ｄ画像データの作成を防ぐことができる。
【０１４２】
また、このときのオフセット角度ηを、３Ｄ画像記録手段３において、オフセット角度情報として３Ｄ画像データ内に記録し、３Ｄ画像再生手段４は、再生時に、該オフセット角度情報を用いて３Ｄ画像データを再生し、立体表示するようにしてもよい。
【０１４３】
図１６は、このときのオフセット角度情報を記録した場合の３Ｄ画像データの構造を示す図である。図１６のように、オフセット角度情報は、視点数や観察角度情報などと同じように、ヘッダ５にある３Ｄ制御情報に記録してもよい。
【０１４４】
上記のように３Ｄ画像データ内にオフセット角度ηを記録した場合、３Ｄ画像再生手段４がこの３Ｄ画像データを再生する際の動作は、前述したものと若干異なる。以下では、３Ｄ制御情報内にオフセット角度情報が記録された３Ｄ画像データを再生する場合における３Ｄ画像再生手段４の動作について述べる。
【０１４５】
この場合の３Ｄ画像再生手段４に関して、内部の構成は図１１と変わらず、また、各手段の動作も３Ｄ制御情報解析手段２５と制御手段２７、表示手段２８以外は図１１で説明した場合と同じ動作をするため、分離手段２３、復号手段２４、表示画面作成手段２６の説明は省略し、３Ｄ制御情報解析手段２５、制御手段２７、および表示手段２８の動作のみについて説明する。
【０１４６】
３Ｄ制御情報解析手段２５は図１１で説明した動作に加え、３Ｄ制御情報からオフセット角度情報も解析し、制御手段２７に出力する。
【０１４７】
また、制御手段２７は、同じく図１１で説明した動作に加え、再生する立体像における水平面が、現実の水平面に平行となるようにするために、オフセット角度分だけディスプレイ面を傾ける旨を通知するメッセージを表示手段２８上に表示してもよいし、前述したように、ディスプレイ面を傾ける可動手段を３Ｄ画像再生手段４に設け、自動的にオフセット角度分だけディスプレイ面を傾けるようにしてもよい。
【０１４８】
図１７は、このときのディスプレイ面を傾けた場合の観察の様子を示す図である。例えば、３Ｄ画像再生手段４において再生される３Ｄ画像データは、図２０のように基準面１０８の上に立方体１０９が設置されているものを撮影し、オフセット角度ηを加えて作成した３Ｄ画像データとする。図１７において、観察者は、ディスプレイ面を現実の水平線と平行な線３０からオフセット角度η分傾け、観察者の視線方向３１とディスプレイ面のなす角度が角度α‘１となるような位置から観察を行う。
【０１４９】
３Ｄ画像記録手段３でオフセット角度を加えて作成された３Ｄ画像データを、３Ｄ画像再生手段４で再生し、ディスプレイ面を水平にして立体表示する際、表示される立体像における水平面は、現実の水平面よりもオフセット角度分傾いて表示される。しかし、上記のように、この傾きを打ち消すような方向に、ディスプレイ面をオフセット角度分だけ傾けて観察することにより、観察者は、基準面１０８が水平線と平行な線３０に平行となり、基準面１０８の立方体１０９は、現実の配置と同じように観察することができる。このとき、オフセット角度分だけ、ディスプレイ自体を傾けるよう通知する、もしくは、自動的に傾けるようにして、立体像における水平面が現実の水平面になるようにしてもよい。
【０１５０】
このようにして、３Ｄ画像データ内のオフセット角度情報を参照して、３Ｄ画像再生手段４のディスプレイ面を傾けて表示することにより、立体像は、撮影時の現実と同じような配置で表示される。つまり、３Ｄ画像再生手段４に表示される立体像における基準面が、現実の水平線と平行になるため、観察者は、非常にリアリティのある像を観察することができる。
【０１５１】
また、以上の説明では、説明の簡単化のため、２つの視差を有する画像を用いて３Ｄ画像データを作成する場合について述べたが、３つ以上の視差を有する画像であっても、観察角度情報の求め方は変わらないため、簡単に適用できる。
【０１５２】
また、前述したように、垂直方向の視点数が増える場合、カメラの撮影角度が異なるため、垂直方向の視点数分、それぞれ観察角度情報を求め、記録するようにしてもよい。例えば図５の視点１から４まででひとつの観察角度情報を記録し、視点５の８までで別の観察角度情報を記録するようにしてもよい。
【０１５３】
なお、本発明の立体画像記録再生システムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【産業上の利用可能性】
【０１５４】
以上のように、本発明によれば、基準面に対して斜め方向から撮影を行い、撮影時の基準面とカメラの視線方向がなす角度を観察角度として撮影画像データのヘッダに記録し、かつ、撮影した画像データに対して、奥行き方向のパースペクティブをなくすための補正を行った画像データに変換することにより、斜め方向から立体視を行うための画像データを作成する。作成した画像データを再生する際に、ヘッダの観察角度を観察者に提示することにより、観察者が正確な方向から立体視を行うことが可能になる。
Claims (5)
- 複数の視点に対応した複数の画像データより、立体画像データを生成し、記録、再生を行う立体画像記録再生システムであって、
撮像手段より撮影する際の視線方向と、被撮影体を配置した基準面とが成す角度についての情報である撮影角度情報を、画像データ及び制御情報とともに出力する３Ｄ画像入力手段と、
前記画像データに対してパースペクティブ補正を行う画像補正手段と、前記パースペクティブ補正された立体画像を立体視するための表示手段に対する観察角度を、前記撮影角度情報より算出する制御手段を備え、算出した前記観察角度を３Ｄ画像制御情報として前記制御情報とともに立体画像データ内に記録する３Ｄ画像記録手段と、
前記立体画像データを再生するとともに、前記３Ｄ画像制御情報を解析して、前記観察角度の情報を出力する３Ｄ画像再生手段と、を備えることを特徴とする立体画像記録再生システム。 - 前記３Ｄ画像記録手段は、前記撮影角度の値を前記観察角度に代入して観察角度情報を生成することを特徴とする請求項１に記載の立体画像記録再生システム。
- 前記３Ｄ画像記録手段は、前記基準面が傾いていた場合に、前記基準面と水平線とのなす角度をオフセット角度情報として３Ｄ画像制御情報内に記録することを特徴とする請求項１又は請求項２に記載の立体画像記録再生システム。
- 前記３Ｄ画像再生手段は、前記３Ｄ画像制御情報内に含まれた前記観察角度情報を解析し、該観察角度情報を前記表示手段に出力することを特徴とする請求項１乃至３のいずれか一つに記載の立体画像記録再生システム。
- 前記３Ｄ画像再生手段は、前記３Ｄ画像制御情報内に含まれた前記オフセット角度情報を解析し、該オフセット角度情報を前記表示手段に出力することを特徴とする請求項１乃至４のいずれか一つに記載の立体画像記録再生システム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005259682 | 2005-09-07 | ||
| JP2005259682 | 2005-09-07 | ||
| PCT/JP2006/317531 WO2007029686A1 (ja) | 2005-09-07 | 2006-09-05 | 立体画像記録再生システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2007029686A1 JPWO2007029686A1 (ja) | 2009-03-19 |
| JP4619412B2 true JP4619412B2 (ja) | 2011-01-26 |
Family
ID=37835806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007534423A Expired - Fee Related JP4619412B2 (ja) | 2005-09-07 | 2006-09-05 | 立体画像記録再生システム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4619412B2 (ja) |
| WO (1) | WO2007029686A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5096048B2 (ja) * | 2007-06-15 | 2012-12-12 | 富士フイルム株式会社 | 撮像装置、立体画像再生装置及び立体画像再生プログラム |
| EP2154650A1 (en) * | 2008-08-12 | 2010-02-17 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | 3D time-of-flight camera system and position/orientation calibration method therefor |
| US10136121B2 (en) * | 2016-04-08 | 2018-11-20 | Maxx Media Group, LLC | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display |
| JP7099326B2 (ja) * | 2016-12-19 | 2022-07-12 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN110059670B (zh) * | 2019-04-29 | 2024-03-26 | 杭州雅智医疗技术有限公司 | 人体头面部、肢体活动角度及体姿非接触测量方法及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07298302A (ja) * | 1994-04-22 | 1995-11-10 | Canon Inc | 複眼撮像−表示システム |
| JPH08339043A (ja) * | 1995-06-12 | 1996-12-24 | Minolta Co Ltd | 映像表示装置 |
| JPH10234057A (ja) * | 1997-02-17 | 1998-09-02 | Canon Inc | 立体映像装置及びこれを含むコンピュータシステム |
| JP2002125246A (ja) * | 2000-10-16 | 2002-04-26 | I-O Data Device Inc | ステレオ画像撮影アダプタ、ステレオ画像撮影用カメラ、および、ステレオ画像処理装置 |
| JP2004178581A (ja) * | 2002-11-12 | 2004-06-24 | Namco Ltd | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 |
| JP3579683B2 (ja) * | 2002-11-12 | 2004-10-20 | 株式会社ナムコ | 立体視用印刷物の製造方法、立体視用印刷物 |
-
2006
- 2006-09-05 JP JP2007534423A patent/JP4619412B2/ja not_active Expired - Fee Related
- 2006-09-05 WO PCT/JP2006/317531 patent/WO2007029686A1/ja active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07298302A (ja) * | 1994-04-22 | 1995-11-10 | Canon Inc | 複眼撮像−表示システム |
| JPH08339043A (ja) * | 1995-06-12 | 1996-12-24 | Minolta Co Ltd | 映像表示装置 |
| JPH10234057A (ja) * | 1997-02-17 | 1998-09-02 | Canon Inc | 立体映像装置及びこれを含むコンピュータシステム |
| JP2002125246A (ja) * | 2000-10-16 | 2002-04-26 | I-O Data Device Inc | ステレオ画像撮影アダプタ、ステレオ画像撮影用カメラ、および、ステレオ画像処理装置 |
| JP2004178581A (ja) * | 2002-11-12 | 2004-06-24 | Namco Ltd | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 |
| JP3579683B2 (ja) * | 2002-11-12 | 2004-10-20 | 株式会社ナムコ | 立体視用印刷物の製造方法、立体視用印刷物 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2007029686A1 (ja) | 2009-03-19 |
| WO2007029686A1 (ja) | 2007-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8218855B2 (en) | Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image | |
| JP5238429B2 (ja) | 立体映像撮影装置および立体映像撮影システム | |
| US7349006B2 (en) | Image processing apparatus and method, recording medium, and program | |
| JP4686795B2 (ja) | 画像生成装置及び画像再生装置 | |
| KR20110124473A (ko) | 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법 | |
| CN102111629A (zh) | 图像处理装置、图像捕获装置、图像处理方法和程序 | |
| CN102959974B (zh) | 立体图像再现装置、其视差调整方法及摄影装置 | |
| WO2004093469A1 (ja) | 立体視画像処理装置、立体視画像提供方法、画像表示方法 | |
| JP2002077943A (ja) | 画像取り扱い装置 | |
| JP2012023557A (ja) | 画像撮像装置 | |
| JP2010226500A (ja) | 立体画像表示装置および立体画像表示方法 | |
| JP4619412B2 (ja) | 立体画像記録再生システム | |
| JP2011024003A (ja) | 立体動画記録方法および装置、動画ファイル変換方法および装置 | |
| JP2012124766A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US20110193937A1 (en) | Image processing apparatus and method, and image producing apparatus, method and program | |
| JP6016180B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP2005130310A (ja) | 立体視画像処理装置 | |
| JPH0715748A (ja) | 画像記録再生装置 | |
| JP4512276B2 (ja) | 撮像装置 | |
| WO2012086298A1 (ja) | 撮影装置、方法及びプログラム | |
| KR20140030202A (ko) | 기록 장치, 기록 방법, 재생 장치, 재생 방법, 프로그램 및 기록 재생 장치 | |
| JP2005130312A (ja) | 立体視画像処理装置，コンピュータプログラム，および視差補正方法 | |
| JP2010268433A (ja) | 立体視画像処理装置、及び立体視画像生成方法 | |
| JP4759789B2 (ja) | 画像処理システム | |
| JP2013115467A (ja) | 立体撮影装置およびそれを用いた携帯端末装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101026 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101026 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |