JP4173684B2 - 立体画像作成装置 - Google Patents
立体画像作成装置 Download PDFInfo
- Publication number
- JP4173684B2 JP4173684B2 JP2002123952A JP2002123952A JP4173684B2 JP 4173684 B2 JP4173684 B2 JP 4173684B2 JP 2002123952 A JP2002123952 A JP 2002123952A JP 2002123952 A JP2002123952 A JP 2002123952A JP 4173684 B2 JP4173684 B2 JP 4173684B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye image
- eye
- pixel
- color information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、立体画像用の左眼用画像および右眼用画像を作成して表示する技術に関し、特に、左眼用画像および右眼用画像のフォーマット変換を行なって符号化を行なう立体画像作成装置に関する。
【０００２】
【従来の技術】
近年、立体画像を表示する技術が盛んに研究されている。その１つとして、ユーザの左眼と右眼との視差を利用して立体画像を作成し、表示する立体画像装置を挙げることができる。
【０００３】
図６は、従来の立体画像装置における画像データの作成方法を説明するための図である。この立体画像装置は、立体画像を作成する立体画像作成装置と、立体画像作成装置によって作成された立体画像を表示する立体画像表示装置とに分けられる。
【０００４】
立体画像作成装置は、画像データ作成時に２台のカメラで左眼用と右眼用との画像を各々撮影する。そして、図６（ａ）に示すように、１画素毎に画素を間引いて、左眼用画像および右眼用画像の水平方向のサイズを各々１／２にする。次に、水平方向に半分のサイズになった左眼用画像と右眼用画像とを各々符号化し、これらの符号化データを多重化し、多重化データを伝送、または記録媒体に記録する。
【０００５】
立体画像表示装置は、立体画像作成装置によって作成された多重化データを受信または記録媒体から読出し、左眼用画像と右眼用画像とを各々再生する。そして、図６（ｂ）に示すように、左眼用画像（Ｌ）と右眼用画像（Ｒ）とを１画素ずつ水平方向に交互に並べたり、図６（ｃ）に示すように、１ライン毎に垂直方向に交互に並べたりして、立体表示用の画像を作成する。立体画像表示装置は、レンチキュラ方式、パララクスバリア方式、シャッタ（時分割）方式等を用いて、ユーザの左眼には左眼用の画像だけが見え、ユーザの右眼には右眼用の画像だけが見えるようにすることで、ユーザに画像を立体として見せることができる。
【０００６】
このような立体画像装置の一例としては、特開平１１−１８１１１号公報に開示された立体映像伝送装置を挙げることができる。この特開平１１−１８１１１号公報に開示された立体映像伝送装置においては、圧縮回路が左眼用画像および右眼用画像をそれぞれ１画素毎に間引き処理を行なって、画像を水平走査線方向に圧縮する。
【０００７】
たとえば、図６（ｄ）に示すように、撮影した画像の左から偶数番目のＲＧＢ画素値のみを抽出して、左眼用画像と右眼用画像とを作成する。また、図６（ｅ）に示すように、左眼用画像と右眼用画像とのＲＧＢのうち、画素のＧ値をＲＢ値に対して１画素分ずらして間引くことによって、左眼用画像と右眼用画像とを作成している。ここで、図６（ｄ）および図６（ｅ）に示すＲ、Ｇ、Ｂの後に付加されている数字は、１ライン上でのＲ、Ｇ、Ｂの各座標を示している。
【０００８】
【発明が解決しようとする課題】
しかし、画像、特に動画像を伝送、または記録媒体に記録する場合には、画像のデータ量が非常に大きいため符号化処理を施すのが一般的である。一般的な符号化アルゴリズムであるＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、およびデジタルビデオカメラで使われるＤＶ方式の圧縮は、全て入力画像データとしてＹＵＶデータが用いられる。
【０００９】
また、カメラで撮影された画像もＲＧＢデータであるとは限らず、ＹＵＶデータであることが多い。さらには、ＹＵＶデータのフォーマットは、４：４：４、４：２：２、４：２：０、４：１：１等のように１種類ではないため、入力画像がＹＵＶデータであってもフォーマットが異なり、従来の立体画像表示装置が正しく立体画像を表示するためには適切なフォーマット変換が必要な場合があるといった問題点があった。
【００１０】
本発明は、上記問題点を解決するためになされたものであり、その目的は、精度の高い立体画像用データを作成することが可能な立体画像作成装置を提供することである。
【００１２】
【課題を解決するための手段】
本発明のある局面に従えば、輝度情報と色情報とが分離された入力画像から立体画像用データを作成する立体画像作成装置であって、左眼用画像を作成するための左眼用画像作成手段と、右眼用画像を作成するための右眼用画像作成手段と、左眼用画像作成手段によって作成された左眼用画像および右眼用画像作成手段によって作成された右眼用画像を符号化するための符号化手段と、符号化手段によって符号化された左眼用画像および右眼用画像を多重化するための多重化手段とを含み、左眼用画像作成手段および右眼用画像作成手段は、入力画像を水平方向に間引きながら画素をサンプリングして所定フォーマットの画像を作成する際、サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、当該画素の色情報を計算して所定フォーマットの画像を作成し、多重化手段は、符号化手段によって符号化された左眼用画像および右眼用画像と、色情報の計算方法に関する情報とを多重化する。
【００１３】
サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、画素の色情報が計算されるので、精度の高い立体画像用データを作成することが可能となる。
【００１７】
また、立体画像表示装置に立体画像を表示させることによって、ユーザはどの計算方法で色情報が作成された立体画像が立体に見えやすいか等を容易に判断することが可能となる。
【００１８】
本発明の別の局面に従えば、輝度情報と色情報とが分離された入力画像から立体画像用データを作成する立体画像作成装置であって、左眼用画像を作成するための左眼用画像作成手段と、右眼用画像を作成するための右眼用画像作成手段と、左眼用画像作成手段によって作成された左眼用画像および右眼用画像作成手段によって作成された右眼用画像を符号化するための符号化手段と、符号化手段によって符号化された左眼用画像および右眼用画像を多重化するための多重化手段とを含み、左眼用画像作成手段および右眼用画像作成手段は、入力画像を水平方向に間引きながら画素をサンプリングして所定フォーマットの画像を作成する際、サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、当該画素の色情報を計算して所定フォーマットの画像を作成し、多重化手段は、符号化手段によって符号化された左眼用画像および右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法に関する情報とを多重化する。
【００１９】
したがって、立体画像表示装置が色情報の補間方法に関する情報を抽出することによって、色情報が最適となるように立体画像用データを補間して、より立体として見えやすい画像を表示することが可能となる。
【００２０】
本発明のさらに別の局面に従えば、輝度情報と色情報とが分離された入力画像から立体画像用データを作成する立体画像作成装置であって、左眼用画像を作成するための左眼用画像作成手段と、右眼用画像を作成するための右眼用画像作成手段と、左眼用画像作成手段によって作成された左眼用画像および右眼用画像作成手段によって作成された右眼用画像を符号化するための符号化手段と、符号化手段によって符号化された左眼用画像および右眼用画像を多重化するための多重化手段とを含み、左眼用画像作成手段および右眼用画像作成手段は、入力画像を水平方向に間引きながら画素をサンプリングして所定フォーマットの画像を作成する際、サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、当該画素の色情報を計算して所定フォーマットの画像を作成し、多重化手段は、符号化手段によって符号化された左眼用画像および右眼用画像と、サンプリングした画素の位置に関する情報とを多重化する。
【００２１】
したがって、立体画像表示装置がサンプリングした画素に関する情報を抽出することによって、色情報が最適となるように立体画像用データを補間して表示することや、どの左眼用画像と右眼用画像との組合せが立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となる。
【００３２】
【発明の実施の形態】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における立体画像装置の概略構成を示すブロック図である。この立体画像装置は、立体画像作成装置（以下、立体画像用データ作成部と呼ぶ。）１１１と、立体画像表示装置（以下、立体画像用データ表示部と呼ぶ。）１１２とを含む。
【００３３】
立体画像用データ作成部１１１は、カメラ１０１ａおよび１０１ｂと、左眼用画像作成部１０２と、右眼用画像作成部１０３と、エンコーダ１０４ａおよび１０４ｂと、多重化部１０５とを含む。カメラ１０１ａは、左眼用の画像を撮影する。また、カメラ１０１ｂは、右眼用の画像を撮影する。
【００３４】
左眼用画像作成部１０２は、カメラ１０１ａによって撮影された左眼用の画像データを、エンコーダ１０４ａがエンコード可能なフォーマットに変換する。同様にして、右眼用画像作成部１０３は、カメラ１０１ｂによって撮影された右眼用の画像データを、エンコーダ１０４ｂがエンコード可能なフォーマットに変換する。
【００３５】
エンコーダ１０４ａは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、カメラ１０１ａによって撮影された画像をエンコードする。エンコーダ１０４ｂは、エンコーダ１０４ａと同様のアルゴリズムを利用して、カメラ１０１ｂによって撮影された画像をエンコードする。
【００３６】
多重化部１０５は、エンコーダ１０４ａによってエンコードされた左眼用画像の符号化データ、エンコーダ１０４ｂによってエンコードされた右眼用画像の符号化データ、および各種制御情報を多重化する。多重化部１０５によって多重化されたデータは、立体画像用データ表示部１１２に送信されたり、記録メディアに記録されたりする。
【００３７】
また、立体画像用データ表示部１１２は、逆多重化部１０６と、デコーダ１０７ａおよび１０７ｂと、フォーマット変換部１０８ａおよび１０８ｂと、合成部１０９と、表示部１１０とを含む。
【００３８】
逆多重化部１０６は、立体画像用データ作成部１１１から受信した多重化データや、記録メディアから読出した多重化データを逆多重化し、左眼用画像の符号化データ、右眼用画像の符号化データおよび各種制御情報を抽出する。抽出された左眼用画像の符号化データはデコーダ１０７ａに転送され、右眼用画像の符号化データはデコーダ１０７ｂに転送され、制御情報はフォーマット変換部１０８ａおよび１０８ｂに転送される。
【００３９】
デコーダ１０７ａは、エンコーダ１０４ａに対応しており、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、逆多重化部１０６から受けた左眼用画像の符号化データを復号する。デコーダ１０７ｂは、エンコーダ１０４ｂに対応しており、デコーダ１０７ａと同様のアルゴリズムを利用して、逆多重化部１０６から受けた右眼用画像の符号化データを復号する。
【００４０】
フォーマット変換部１０８ａは、逆多重化部１０６から受けた制御情報を参照して、デコーダ１０７ａによって復号された左眼用画像を、表示部１１０が表示可能なフォーマットに変換する。同様に、フォーマット変換部１０８ｂは、逆多重化部１０６から受けた制御情報を参照して、デコーダ１０７ｂによって復号された右眼用画像を、表示部１１０が表示可能なフォーマットに変換する。
【００４１】
合成部１０９は、フォーマット変換部１０８ａによってフォーマット変換された左眼用画像と、フォーマット変換部１０８ｂによってフォーマット変換された右眼用画像とを合成し、立体画像用データを作成する。
【００４２】
表示部１１０は、ＬＣＤ（Liquid Crystal Display）モジュールなどによって構成され、レンチキュラ方式、パララクスバリア方式、シャッタ（時分割）方式などを用いて、立体画像を表示する。
【００４３】
図２および図３は、各種画像フォーマットの一例を示す図である。各画素の上の数値はその画素の左端からの座標を表しており、本明細書では画素の位置を画像の左端からの座標で表すことにする。また、特に断らない限り、Ｕ成分とＶ成分とをまとめてＣ（クロマ成分）と表すことにする。なお、図２においては、ＹとＣとの関係が全てのラインで同じなので、１ラインのみを記載している。
【００４４】
図２（ａ）は、ＹＵＶ４：２：２フォーマットを示す図であり、Ｙに対してＣを水平方向に１／２に削減したものである。図２（ｄ）は、ＹＵＶ４：１：１フォーマットを示す図であり、Ｙに対してＣを水平方向に１／４に削減したものである。図３（ａ）はＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットを示す図であり、Ｙに対してＣを水平方向に１／２、垂直方向に１／２に削減したものである。
【００４５】
図２（ａ）および図２（ｄ）に示すように、ＹＵＶ４：２：２フォーマットやＹＵＶ４：１：１フォーマットにおいては、各ライン上でＹとＣとが同じ位置でサンプリングされている。しかし、図３（ａ）に示すように、ＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットにおいては、Ｃを垂直方向にも間引くために、ＹとＣとの垂直方向のサンプリング位置は異なっている。ここで、図３（ａ）の左端の数値は、その画素の画像の上端からの座標を示す数値である。
【００４６】
図２（ａ）と図３（ａ）とを比較すればわかるように、水平方向のＹとＣとの関係では、ＹＵＶ４：２：２フォーマットとＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットとが同じである。本発明においては水平方向の処理しか関係しないため、以下の説明ではＹＵＶ４：２：２フォーマットの中にＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットを含めることにする。
【００４７】
本実施の形態においては、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：２：２フォーマットのデータを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図２（ａ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：２：２フォーマットである場合には、図２（ｂ）または図２（ｃ）に示すものとなる。また、間引きを行なった後の画像データがＹＵＶ４：１：１フォーマットである場合には、図２（ｅ）または図２（ｆ）に示すものとなる。
【００４８】
ここで、間引き処理をする前の座標ｉの画素のＹをＹ（ｉ）、座標ｉの画素のＣをＣ（ｉ）と表すことにする。図２（ｂ）においては、Ｙ（０）、Ｙ（２）、Ｙ（４）、Ｙ（６）、Ｙ（８）…が存在すると共に、Ｃ（０）、Ｃ（４）、Ｃ（８）…が存在する。また、図２（ｃ）においては、Ｙ（１）、Ｙ（３）、Ｙ（５）、Ｙ（７）、Ｙ（９）…が存在すると共に、Ｃ（１）、Ｃ（５）、Ｃ（９）…が存在する。
【００４９】
図２（ｂ）と図２（ｃ）との違いは、偶数番目の画素をサンプリングするか、奇数番目の画素をサンプリングするかの違いである。左眼用画像と右眼用画像との組合わせにおいて、左眼用画像として図２（ｂ）に示す画像を使い、右眼用画像として図２（ｃ）に示す画像を使うようにしてもよい。また、左眼用画像として図２（ｃ）に示す画像を使い、右眼用画像として図２（ｂ）に示す画像を使うようにしてもよい。
【００５０】
また、左眼用画像および右眼用画像の双方とも図２（ｂ）に示す画像を使ってもよいし、双方とも図２（ｃ）に示す画像を使ってもよい。左眼用画像と右眼用画像との組み合わせの選択は自由である。本発明の実施の形態２以降についても同様である。
【００５１】
また、間引いた後の画像として、図２（ｂ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｃ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｃ）に示す画像を使う場合には、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。したがって、図２（ｃ）に示す画像のＣは、サンプリング前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…からＣ（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。
【００５２】
たとえば、図２（ａ）に示す画像のＣをＣａと表し、図２（ｃ）に示す画像のＣをＣｃと表すと、ＣａとＣｃとの関係は次に示す式（１）〜（３）のいずれかとなる。
【００５３】
Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４） …（１）
Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４＋２） …（２）
Ｃｃ（ｉ＊４＋１）＝（Ｃａ（ｉ＊４）＋Ｃａ（ｉ＊４＋２））／２…（３）
ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉの画素のＣを表している。式（１）、式（２）または式（３）のように、図２（ｃ）に示す画像のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（１）は左隣のＣの画素値を用いる場合、式（２）は右隣のＣの画素値を用いる場合、式（３）は両隣のＣの平均画素値を用いる場合を示している。
【００５４】
同様に、左眼用画像作成部１０２および右眼用画像作成部１０３がＹＵＶ４：１：１フォーマットで画像を作成する場合も、左眼用画像と右眼用画像との組み合わせの選択は自由である。間引いた後の画像として、図２（ｅ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｆ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｆ）に示す画像を使う場合には、画素のＣに関してはサンプリング前後で位置が異なるため、サンプリング前の同じ位置のデータが存在しない。従って、図２（ｆ）に示す画像のＣについては、サンプリング前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…から、Ｃ（１）、Ｃ（９）…を計算する必要がある。
【００５５】
たとえば、図２（ａ）に示す画像のＣをＣａと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、ＣａとＣｆとの関係は次に示す式（４）〜（６）のいずれかとなる。
【００５６】
Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８） …（４）
Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８＋２） …（５）
Ｃｆ（ｉ＊８＋１）＝（Ｃａ（ｉ＊８）＋Ｃａ（ｉ＊８＋２））／２…（６）
ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。式（４）、式（５）または式（６）に示すように、図２（ｆ）のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（４）は左隣のＣの画素値を用いる場合、式（５）は右隣のＣの画素値を用いる場合、式（６）は両隣のＣの平均画素値を用いる場合を示している。
【００５７】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図２（ｂ）および図２（ｃ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）および図２（ｆ）に示す画像）のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００５８】
光軸を並行にして撮影する場合には、左眼用画像として図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）に示す画像）、右眼用画像として図２（ｃ）に示す画像（ＹＵＶフォーマット４：１：１の場合には、図２（ｆ）に示す画像）を選択すると、高い精度の画像が得られる。
【００５９】
また、左眼用画像および右眼用画像とも、図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）に示す画像）を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００６０】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：２：２フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００６１】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる。
【００６２】
（第２の実施の形態）
本発明の第２の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００６３】
本実施の形態においては、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：１：１フォーマットの画像データを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図２（ｄ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：１：１フォーマットである場合には、図２（ｅ）または図２（ｆ）に示すものとなる。
【００６４】
間引いた後の画像として、図２（ｅ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｆ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｆ）に示す画像を使う場合には、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。したがって、図２（ｆ）に示す画像のＣは、サンプリング前のＣ（０）、Ｃ（４）、Ｃ（８）…からＣ（１）、Ｃ（９）…を計算する必要がある。
【００６５】
たとえば、図２（ｄ）に示す画像のＣをＣｄと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、ＣｄとＣｆとの関係は次に示す式（７）〜式（９）のいずれかとなる。
【００６６】
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８） …（７）
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８＋４） …（８）
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８）＊Ｗ１＋Ｃｄ（ｉ＊８＋４）＊Ｗ２…（９）
ここで、Ｃｄ（ｉ）は図２（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。式（７）、式（８）または式（９）のように、図２（ｆ）に示す画像のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（７）は左隣のＣの画素値を用いる場合、式（８）は右隣のＣの画素値を用いる場合、式（９）は両隣のＣの平均画素値を用いる場合である。
【００６７】
ＹＵＶ４：１：１フォーマットの場合はもともとＣの情報が少なく、水平方向に１／２に間引くと情報量がさらに少なくなるので、間引いた後の画像が図２（ｅ）に示す画像の場合でも、Ｃに関してはサンプリング前の近傍画素の重み付和等を計算した方が画質はよくなる。
【００６８】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図２（ｅ）および図２（ｆ）に示す画像のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００６９】
光軸を並行にして撮影する場合には、左眼用画像として図２（ｅ）に示す画像、右眼用画像として図２（ｆ）に示す画像を選択すると、高い精度の画像が得られる。また、左眼用画像および右眼用画像とも、図２（ｅ）に示す画像を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００７０】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：１：１フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００７１】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる等、第１の実施の形態において説明した効果と同様の効果を得ることが可能となった。
【００７２】
（第３の実施の形態）
本発明の第３の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００７３】
本実施の形態において、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットのデータを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図３（ｂ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：２：０フォーマットである場合には、図３（ｃ）または図３（ｄ）に示すものとなる。
【００７４】
また、間引いた後の画像として、図３（ｃ）および図３（ｄ）のいずれに示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。
【００７５】
したがって、図３（ｃ）に示す画像のＣは、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。ここで、Ｃ（ｉ＿（ｉ＋１））は座標ｉと座標（ｉ＋１）の中間位置を意味する。
【００７６】
たとえば、図３（ｂ）に示す画像のＣをＣｂと表し、図３（ｃ）に示す画像のＣをＣｃと表すと、ＣｂとＣｃとの関係は次に示す式（１０）〜（１２）のいずれかとなる。
【００７７】
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））…（１０）
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１１）
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１２）
ここで、Ｃｃ（ｉ）は図３（ｃ）の座標ｉのＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００７８】
また、図３（ｄ）に示す画像のＣは、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（２）、Ｃ（６）、Ｃ（１０）…を計算する必要がある。
【００７９】
たとえば、図３（ｂ）に示す画像のＣをＣｂと表し、図３（ｄ）に示す画像のＣをＣｄと表すと、ＣｂとＣｄとの関係は次に示す式（１３）〜（１５）のいずれかとなる。
【００８０】
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１）） …（１３）
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１４）
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１５）
ここで、Ｃｄ（ｉ）は図３（ｄ）の座標ｉのＣを表している。Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００８１】
式（１０）〜（１５）に示すように、図３（ｂ）のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（１０）および式（１３）は左隣のＣの画素値を用いる場合、式（１１）および式（１４）は右隣のＣの画素値を用いる場合、式（１２）および式（１５）は両隣のＣの平均画素値を用いる場合である。
【００８２】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図３（ｃ）および図３（ｄ）に示す画像のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００８３】
光軸を並行にして撮影する場合には、左眼用画像として図３（ｃ）に示す画像、右眼用画像として図３（ｄ）に示す画像を選択すると、高い精度の画像が得られる。また、左眼用画像および右眼用画像とも、図３（ｃ）を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００８４】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００８５】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる等、第１の実施の形態において説明した効果と同様の効果を得ることが可能となった。
【００８６】
なお、本発明の第１の実施の形態から第３の実施の形態を通じて、立体画像用データ作成部１１１と立体画像用データ表示部１１２とで通信をする場合は、左眼用画像と右眼用画像との組合せを立体画像用データ作成部１１１で変更して、立体画像用データ表示部１１２で最も立体に見えやすい組合せがわかった時点で、その組合わせを立体画像用データ表示部１１２からフィードバックしてもらい、いずれを選択したかを示すフラグを多重化部１０５で多重化してもよい。
【００８７】
（第４の実施の形態）
本発明の第４の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００８８】
本実施の形態においては、表示部１１０がレンチキュラ方式やパララクスバリア方式に対応している場合のものである。デコーダ１０７ａおよび１０７ｂから図２（ｂ）に示すＹＵＶ４：２：２フォーマットの画像データが出力され、フォーマット変換部１０８ａおよび１０８ｂがその画像データを、ＹＵＶ４：４：４フォーマットの画像データに拡張する。
【００８９】
図４は、第４の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。図４（ａ）に示すように、デコーダ１０７ａおよび１０７ｂからの出力データは、座標２、座標６…における画素のＣを含まない。図４（ｃ）は、この画素のＣを補間した一例を示している。
【００９０】
たとえば、図４（ｃ）に示す画像のＣをＣｃと表し、図４（ａ）に示す画像のＣをＣａと表すと、ＣｃとＣａとの関係は次に示す式（１６）〜（１８）のいずれかとなる。なお、式（１６）および式（１７）は近傍の画素値をそのままコピーする場合を示しており、式（１８）は複数の画素値の重み付和を計算する場合を示している。
【００９１】
Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ） …（１６）
Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ＋４） …（１７）
Ｃｃ（４＊ｉ＋２）＝Ｗ１＊Ｃａ（４＊ｉ）＋Ｗ２＊Ｃａ（４＊ｉ＋４）…（１８）
ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの画素のＣ、Ｃａ（ｉ）は図４（ａ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００９２】
また、デコーダ１０７ａおよび１０７ｂから図２（ｃ）に示すＹＵＶ４：２：２フォーマットの画像データが出力される場合、式（１６）〜式（１８）は以下のようになる。
【００９３】
Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋１） …（１９）
Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋５） …（２０）
Ｃｄ（４＊ｉ＋３）＝Ｗ１＊Ｃｃ（４＊ｉ＋１）＋Ｗ２＊Ｃｃ（４＊ｉ＋５）…（２１）
ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。式（１６）および式（１９）は左隣のＣの画素値を用いる場合、式（１７）および式（２０）は右隣のＣの画素値を用いる場合、式（１８）および式（２１）は両隣のＣの平均画素値を用いる場合を示している。
【００９４】
次に、デコーダ１０７ａおよび１０７ｂから図２（ｅ）に示すＹＵＶ４：１：１フォーマットの画像データが出力され、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画像データに拡張する場合について説明する。
【００９５】
図４（ｂ）に示すように、デコーダ１０７ａおよび１０７ｂの出力データは座標２、座標４、座標６…における画素のＣを含まない。図４（ｃ）は、この画素のＣを補間した一例を示している。
【００９６】
たとえば、図４（ｃ）に示す画像のＣをＣｃと表し、図４（ｂ）に示す画像のＣをＣｂと表すと、ＣｃとＣｂとの関係は次に示す式（２２）〜式（２４）のいずれかとなる。なお、式（２２）および式（２３）は近傍の画素値をそのままコピーする場合を示しており、式（２４）は複数の画素値の重み付和を計算する場合を示している。
【００９７】
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ） …（２２）
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ＋８） …（２３）
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｗ１＊Ｃｂ（８＊ｉ）＋Ｗ２＊Ｃｂ（８＊ｉ＋８）…（２４）
ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの画素のＣ、Ｃｂ（ｉ）は図４（ｂ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。
【００９８】
また、デコーダ１０７ａおよび１０７ｂから図２（ｆ）に示すＹＵＶ４：１：１フォーマットの画像データが出力される場合、式（２２）〜式（２４）は以下のようになる。
【００９９】
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋１） …（２５）
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋９） …（２６）
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｗ１＊Ｃｆ（８＊ｉ＋１）＋Ｗ２＊Ｃｆ（８＊ｉ＋９） …（２７）
ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。
【０１００】
補間画素の計算方法の選び方は、どの計算方法を選択した時に立体として見えやすいかが判断基準となる。図１の表示部１１０の特性に大きく依存する場合には、立体画像用データ表示部１１２で一意に決まっていればよい。また、ユーザの個人差に大きく依存する場合は、立体画像用データ表示部１１２内でユーザが補間方法を選択するようにしてもよい。
【０１０１】
また、最適な補間方法が、立体画像用データ作成部１１１が作成するデータに依存する場合には、最適な補間方法を示す情報を多重化部１０５であらかじめ多重化しておく。そして、立体画像用データ表示部１１２内の逆多重化部１０６でこの情報を取り出し、これに従ってフォーマット変換部１０８ａおよび１０８ｂが補間方法を選択するようにしてもよい。
【０１０２】
合成部１０９は、ＹＵＶ４：４：４フォーマットに変換した画像データを、図４（ｅ）に示すように、左眼用画像と右眼用画像とを１画素列ずつ水平方向に交互に並べて、表示用の画像を作成する。この表示用画像を表示部１１０に表示することで、ユーザは立体画像を見ることができる。
【０１０３】
以上説明したように、本実施の形態における立体画像装置においては、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：２：２フォーマットの画像データまたはＹＵＶ４：１：１フォーマットの画像データを補間して、ＹＵＶ４：４：４フォーマットの画像データを生成するようにしたので、表示部１１０がレンチキュラ方式やパララクスバリア方式に対応している場合に、精度の高い立体画像を表示することが可能となった。
【０１０４】
また、どのように色情報を補間するかを示す制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、色情報が最適となるように画像を補間することが可能となった。
【０１０５】
（第５の実施の形態）
本発明の第５の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【０１０６】
本実施の形態においては、表示部１１０がシャッタ（時分割）方式に対応している場合のものである。
【０１０７】
図５は、第５の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。図５（ｄ）に示すように、垂直方向に１ラインずつ左眼用画像と右眼用画像とを交互に並べるため、デコーダ１０７ａおよび１０７ｂの出力データを垂直方向に１／２に間引き、水平方向には２倍に拡大する（左眼用画像および右眼用画像を作成する前のサイズに戻す）ことが必要である。
【０１０８】
したがって、フォーマット変換部１０８ａおよび１０８ｂは、第４の実施の形態において説明したのと同様の方法で、ＹＵＶ４：４：４フォーマットの画像データとなるようにＣを補間する以外に、ＹＵＶともに垂直方向に１／２に間引き、さらに水平方向に２倍に拡大する処理が新たに必要である。
【０１０９】
図５（ａ）は、図２（ｂ）または図２（ｅ）に示す画像データを第４の実施の形態と同様の方法でＹＵＶ４：４：４フォーマットの画像データに変換した場合を示しており、図４（ｃ）に対応している。また、図５（ｂ）は、図２（ｃ）または図２（ｆ）に示す画像データを第４の実施の形態と同様の方法でＹＵＶ４：４：４フォーマットの画像データに変換した場合を示しており、図４（ｄ）に対応している。
【０１１０】
ここで、図２（ｂ）および図２（ｅ）は、左眼用画像作成部１０２および右眼用画像作成部１０３が、偶数番目の画素をサンプリングして作成されたものである。また、図２（ｃ）および図２（ｆ）は、左眼用画像作成部１０２および右眼用画像作成部１０３が奇数番目の画素をサンプリングして作成されたものである。このいずれのサンプリング方法を選択したかを示すフラグが、多重化部１０５で符号化データの中に多重化される。
【０１１１】
そのため、第４の実施の形態においてＣが補間された画素を、フォーマット変換部１０８ａおよび１０８ｂがこのフラグにしたがって配置する。すなわち、図４（ｃ）の場合には図５（ａ）に示すように各画素を配置し、図４（ｄ）の場合には図５（ｂ）に示すように各画素を配置することによって、ＹおよびＣともに水平方向に補間する画素を計算する。これによって、立体画像データ作成部１１１と立体画像データ表示部１１２とで位相がずれるのを防ぐことができる。
【０１１２】
以上は、ＹＵＶ４：２：２フォーマットまたはＹＵＶ４：１：１フォーマットについての説明であったが、図３（ｃ）および図３（ｄ）に示すようなＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットの場合も同様である。
【０１１３】
なお、以上の説明において、まず画像データをＹＵＶ４：４：４フォーマットに変換した後、垂直方向に間引き、水平方向に拡大して左眼用画像および右眼用画像を作成したが、処理の順番はこれに限らず、例えば、水平方向に拡大した後、垂直方向の間引きをするような順序であってもよい。
【０１１４】
合成部１１０は、このようにして作成された画像を図５（ｄ）に示すように、左眼用画像（Ｌ）と右眼用画像（Ｒ）とを垂直方向に１ラインずつ交互に配置して、立体表示用画像を作成する。
【０１１５】
以上説明したように、本実施の形態における立体画像装置においては、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画像データとなるように補間した後、ＹＵＶを垂直方向に１／２に間引き、さらに水平方向に２倍に拡大するようにしたので、表示部１１０がシャッタ（時分割）方式に対応している場合に、精度の高い立体画像を表示することが可能となった。
【０１１６】
また、サンプリングした画素の位置を示す制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、色情報が最適となるように画像を補間することができるとともに、立体画像データ作成部１１１と立体画像データ表示部１１２とで位相がずれるのを防止することが可能となった。
【０１１７】
なお、以上の実施の形態においては、２眼視の場合について説明したが、これに限らずＮ眼視（Ｎ≧２）の場合にも同様である。
【０１１８】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１１９】
【発明の効果】
本発明のある局面によれば、サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、画素の色情報が計算されるので、精度の高い立体画像用データを作成することが可能となった。
【０１２１】
また、符号化された左眼用画像および右眼用画像と、色情報の計算方法に関する情報とが多重化されるので、立体画像表示装置に立体画像を表示させることによって、ユーザはどの計算方法で色情報が作成された立体画像が立体に見えやすいか等を容易に判断することが可能となった。
【０１２２】
また、符号化された左眼用画像および右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法に関する情報とが多重化されるので、立体画像表示装置が色情報の補間方法に関する情報を抽出することによって、色情報が最適となるように立体画像用データを補間してより立体に見えやすい画像を表示することが可能となった。
【０１２３】
また、符号化された左眼用画像および右眼用画像と、サンプリングした画素の位置に関する情報とが多重化されるので、立体画像表示装置が画素のサンプリングした位置を示す情報に従って画素を配置でき、立体画像作成装置と立体画像表示装置とで位相のずれを防ぐことが可能となった。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態における立体画像装置の概略構成を示すブロック図である。
【図２】 ＹＵＶ４：２：２フォーマットおよびＹＵＶ４：１：１フォーマットの一例を示す図である。
【図３】 ＹＵＶ４：２：０フォーマットの一例を示す図である。
【図４】 第４の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。
【図５】 第５の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。
【図６】 従来の立体画像装置における画像データの作成方法を説明するための図である。
【符号の説明】
１０１ａ，１０１ｂ カメラ、１０２ 左眼用画像作成部、１０３ 右眼用画像作成部、１０４ａ，１０４ｂ エンコーダ、１０５ 多重化部、１０６ 逆多重化部、１０７ａ，１０７ｂ デコーダ、１０８ａ，１０８ｂ フォーマット変換部、１０９ 合成部、１１０ 表示部、１１１ 立体画像用データ作成部、１１２ 立体画像用データ表示部。
【発明の属する技術分野】
本発明は、立体画像用の左眼用画像および右眼用画像を作成して表示する技術に関し、特に、左眼用画像および右眼用画像のフォーマット変換を行なって符号化を行なう立体画像作成装置に関する。
【０００２】
【従来の技術】
近年、立体画像を表示する技術が盛んに研究されている。その１つとして、ユーザの左眼と右眼との視差を利用して立体画像を作成し、表示する立体画像装置を挙げることができる。
【０００３】
図６は、従来の立体画像装置における画像データの作成方法を説明するための図である。この立体画像装置は、立体画像を作成する立体画像作成装置と、立体画像作成装置によって作成された立体画像を表示する立体画像表示装置とに分けられる。
【０００４】
立体画像作成装置は、画像データ作成時に２台のカメラで左眼用と右眼用との画像を各々撮影する。そして、図６（ａ）に示すように、１画素毎に画素を間引いて、左眼用画像および右眼用画像の水平方向のサイズを各々１／２にする。次に、水平方向に半分のサイズになった左眼用画像と右眼用画像とを各々符号化し、これらの符号化データを多重化し、多重化データを伝送、または記録媒体に記録する。
【０００５】
立体画像表示装置は、立体画像作成装置によって作成された多重化データを受信または記録媒体から読出し、左眼用画像と右眼用画像とを各々再生する。そして、図６（ｂ）に示すように、左眼用画像（Ｌ）と右眼用画像（Ｒ）とを１画素ずつ水平方向に交互に並べたり、図６（ｃ）に示すように、１ライン毎に垂直方向に交互に並べたりして、立体表示用の画像を作成する。立体画像表示装置は、レンチキュラ方式、パララクスバリア方式、シャッタ（時分割）方式等を用いて、ユーザの左眼には左眼用の画像だけが見え、ユーザの右眼には右眼用の画像だけが見えるようにすることで、ユーザに画像を立体として見せることができる。
【０００６】
このような立体画像装置の一例としては、特開平１１−１８１１１号公報に開示された立体映像伝送装置を挙げることができる。この特開平１１−１８１１１号公報に開示された立体映像伝送装置においては、圧縮回路が左眼用画像および右眼用画像をそれぞれ１画素毎に間引き処理を行なって、画像を水平走査線方向に圧縮する。
【０００７】
たとえば、図６（ｄ）に示すように、撮影した画像の左から偶数番目のＲＧＢ画素値のみを抽出して、左眼用画像と右眼用画像とを作成する。また、図６（ｅ）に示すように、左眼用画像と右眼用画像とのＲＧＢのうち、画素のＧ値をＲＢ値に対して１画素分ずらして間引くことによって、左眼用画像と右眼用画像とを作成している。ここで、図６（ｄ）および図６（ｅ）に示すＲ、Ｇ、Ｂの後に付加されている数字は、１ライン上でのＲ、Ｇ、Ｂの各座標を示している。
【０００８】
【発明が解決しようとする課題】
しかし、画像、特に動画像を伝送、または記録媒体に記録する場合には、画像のデータ量が非常に大きいため符号化処理を施すのが一般的である。一般的な符号化アルゴリズムであるＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、およびデジタルビデオカメラで使われるＤＶ方式の圧縮は、全て入力画像データとしてＹＵＶデータが用いられる。
【０００９】
また、カメラで撮影された画像もＲＧＢデータであるとは限らず、ＹＵＶデータであることが多い。さらには、ＹＵＶデータのフォーマットは、４：４：４、４：２：２、４：２：０、４：１：１等のように１種類ではないため、入力画像がＹＵＶデータであってもフォーマットが異なり、従来の立体画像表示装置が正しく立体画像を表示するためには適切なフォーマット変換が必要な場合があるといった問題点があった。
【００１０】
本発明は、上記問題点を解決するためになされたものであり、その目的は、精度の高い立体画像用データを作成することが可能な立体画像作成装置を提供することである。
【００１２】
【課題を解決するための手段】
本発明のある局面に従えば、輝度情報と色情報とが分離された入力画像から立体画像用データを作成する立体画像作成装置であって、左眼用画像を作成するための左眼用画像作成手段と、右眼用画像を作成するための右眼用画像作成手段と、左眼用画像作成手段によって作成された左眼用画像および右眼用画像作成手段によって作成された右眼用画像を符号化するための符号化手段と、符号化手段によって符号化された左眼用画像および右眼用画像を多重化するための多重化手段とを含み、左眼用画像作成手段および右眼用画像作成手段は、入力画像を水平方向に間引きながら画素をサンプリングして所定フォーマットの画像を作成する際、サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、当該画素の色情報を計算して所定フォーマットの画像を作成し、多重化手段は、符号化手段によって符号化された左眼用画像および右眼用画像と、色情報の計算方法に関する情報とを多重化する。
【００１３】
サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、画素の色情報が計算されるので、精度の高い立体画像用データを作成することが可能となる。
【００１７】
また、立体画像表示装置に立体画像を表示させることによって、ユーザはどの計算方法で色情報が作成された立体画像が立体に見えやすいか等を容易に判断することが可能となる。
【００１８】
本発明の別の局面に従えば、輝度情報と色情報とが分離された入力画像から立体画像用データを作成する立体画像作成装置であって、左眼用画像を作成するための左眼用画像作成手段と、右眼用画像を作成するための右眼用画像作成手段と、左眼用画像作成手段によって作成された左眼用画像および右眼用画像作成手段によって作成された右眼用画像を符号化するための符号化手段と、符号化手段によって符号化された左眼用画像および右眼用画像を多重化するための多重化手段とを含み、左眼用画像作成手段および右眼用画像作成手段は、入力画像を水平方向に間引きながら画素をサンプリングして所定フォーマットの画像を作成する際、サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、当該画素の色情報を計算して所定フォーマットの画像を作成し、多重化手段は、符号化手段によって符号化された左眼用画像および右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法に関する情報とを多重化する。
【００１９】
したがって、立体画像表示装置が色情報の補間方法に関する情報を抽出することによって、色情報が最適となるように立体画像用データを補間して、より立体として見えやすい画像を表示することが可能となる。
【００２０】
本発明のさらに別の局面に従えば、輝度情報と色情報とが分離された入力画像から立体画像用データを作成する立体画像作成装置であって、左眼用画像を作成するための左眼用画像作成手段と、右眼用画像を作成するための右眼用画像作成手段と、左眼用画像作成手段によって作成された左眼用画像および右眼用画像作成手段によって作成された右眼用画像を符号化するための符号化手段と、符号化手段によって符号化された左眼用画像および右眼用画像を多重化するための多重化手段とを含み、左眼用画像作成手段および右眼用画像作成手段は、入力画像を水平方向に間引きながら画素をサンプリングして所定フォーマットの画像を作成する際、サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、当該画素の色情報を計算して所定フォーマットの画像を作成し、多重化手段は、符号化手段によって符号化された左眼用画像および右眼用画像と、サンプリングした画素の位置に関する情報とを多重化する。
【００２１】
したがって、立体画像表示装置がサンプリングした画素に関する情報を抽出することによって、色情報が最適となるように立体画像用データを補間して表示することや、どの左眼用画像と右眼用画像との組合せが立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となる。
【００３２】
【発明の実施の形態】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における立体画像装置の概略構成を示すブロック図である。この立体画像装置は、立体画像作成装置（以下、立体画像用データ作成部と呼ぶ。）１１１と、立体画像表示装置（以下、立体画像用データ表示部と呼ぶ。）１１２とを含む。
【００３３】
立体画像用データ作成部１１１は、カメラ１０１ａおよび１０１ｂと、左眼用画像作成部１０２と、右眼用画像作成部１０３と、エンコーダ１０４ａおよび１０４ｂと、多重化部１０５とを含む。カメラ１０１ａは、左眼用の画像を撮影する。また、カメラ１０１ｂは、右眼用の画像を撮影する。
【００３４】
左眼用画像作成部１０２は、カメラ１０１ａによって撮影された左眼用の画像データを、エンコーダ１０４ａがエンコード可能なフォーマットに変換する。同様にして、右眼用画像作成部１０３は、カメラ１０１ｂによって撮影された右眼用の画像データを、エンコーダ１０４ｂがエンコード可能なフォーマットに変換する。
【００３５】
エンコーダ１０４ａは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、カメラ１０１ａによって撮影された画像をエンコードする。エンコーダ１０４ｂは、エンコーダ１０４ａと同様のアルゴリズムを利用して、カメラ１０１ｂによって撮影された画像をエンコードする。
【００３６】
多重化部１０５は、エンコーダ１０４ａによってエンコードされた左眼用画像の符号化データ、エンコーダ１０４ｂによってエンコードされた右眼用画像の符号化データ、および各種制御情報を多重化する。多重化部１０５によって多重化されたデータは、立体画像用データ表示部１１２に送信されたり、記録メディアに記録されたりする。
【００３７】
また、立体画像用データ表示部１１２は、逆多重化部１０６と、デコーダ１０７ａおよび１０７ｂと、フォーマット変換部１０８ａおよび１０８ｂと、合成部１０９と、表示部１１０とを含む。
【００３８】
逆多重化部１０６は、立体画像用データ作成部１１１から受信した多重化データや、記録メディアから読出した多重化データを逆多重化し、左眼用画像の符号化データ、右眼用画像の符号化データおよび各種制御情報を抽出する。抽出された左眼用画像の符号化データはデコーダ１０７ａに転送され、右眼用画像の符号化データはデコーダ１０７ｂに転送され、制御情報はフォーマット変換部１０８ａおよび１０８ｂに転送される。
【００３９】
デコーダ１０７ａは、エンコーダ１０４ａに対応しており、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、逆多重化部１０６から受けた左眼用画像の符号化データを復号する。デコーダ１０７ｂは、エンコーダ１０４ｂに対応しており、デコーダ１０７ａと同様のアルゴリズムを利用して、逆多重化部１０６から受けた右眼用画像の符号化データを復号する。
【００４０】
フォーマット変換部１０８ａは、逆多重化部１０６から受けた制御情報を参照して、デコーダ１０７ａによって復号された左眼用画像を、表示部１１０が表示可能なフォーマットに変換する。同様に、フォーマット変換部１０８ｂは、逆多重化部１０６から受けた制御情報を参照して、デコーダ１０７ｂによって復号された右眼用画像を、表示部１１０が表示可能なフォーマットに変換する。
【００４１】
合成部１０９は、フォーマット変換部１０８ａによってフォーマット変換された左眼用画像と、フォーマット変換部１０８ｂによってフォーマット変換された右眼用画像とを合成し、立体画像用データを作成する。
【００４２】
表示部１１０は、ＬＣＤ（Liquid Crystal Display）モジュールなどによって構成され、レンチキュラ方式、パララクスバリア方式、シャッタ（時分割）方式などを用いて、立体画像を表示する。
【００４３】
図２および図３は、各種画像フォーマットの一例を示す図である。各画素の上の数値はその画素の左端からの座標を表しており、本明細書では画素の位置を画像の左端からの座標で表すことにする。また、特に断らない限り、Ｕ成分とＶ成分とをまとめてＣ（クロマ成分）と表すことにする。なお、図２においては、ＹとＣとの関係が全てのラインで同じなので、１ラインのみを記載している。
【００４４】
図２（ａ）は、ＹＵＶ４：２：２フォーマットを示す図であり、Ｙに対してＣを水平方向に１／２に削減したものである。図２（ｄ）は、ＹＵＶ４：１：１フォーマットを示す図であり、Ｙに対してＣを水平方向に１／４に削減したものである。図３（ａ）はＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットを示す図であり、Ｙに対してＣを水平方向に１／２、垂直方向に１／２に削減したものである。
【００４５】
図２（ａ）および図２（ｄ）に示すように、ＹＵＶ４：２：２フォーマットやＹＵＶ４：１：１フォーマットにおいては、各ライン上でＹとＣとが同じ位置でサンプリングされている。しかし、図３（ａ）に示すように、ＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットにおいては、Ｃを垂直方向にも間引くために、ＹとＣとの垂直方向のサンプリング位置は異なっている。ここで、図３（ａ）の左端の数値は、その画素の画像の上端からの座標を示す数値である。
【００４６】
図２（ａ）と図３（ａ）とを比較すればわかるように、水平方向のＹとＣとの関係では、ＹＵＶ４：２：２フォーマットとＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットとが同じである。本発明においては水平方向の処理しか関係しないため、以下の説明ではＹＵＶ４：２：２フォーマットの中にＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットを含めることにする。
【００４７】
本実施の形態においては、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：２：２フォーマットのデータを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図２（ａ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：２：２フォーマットである場合には、図２（ｂ）または図２（ｃ）に示すものとなる。また、間引きを行なった後の画像データがＹＵＶ４：１：１フォーマットである場合には、図２（ｅ）または図２（ｆ）に示すものとなる。
【００４８】
ここで、間引き処理をする前の座標ｉの画素のＹをＹ（ｉ）、座標ｉの画素のＣをＣ（ｉ）と表すことにする。図２（ｂ）においては、Ｙ（０）、Ｙ（２）、Ｙ（４）、Ｙ（６）、Ｙ（８）…が存在すると共に、Ｃ（０）、Ｃ（４）、Ｃ（８）…が存在する。また、図２（ｃ）においては、Ｙ（１）、Ｙ（３）、Ｙ（５）、Ｙ（７）、Ｙ（９）…が存在すると共に、Ｃ（１）、Ｃ（５）、Ｃ（９）…が存在する。
【００４９】
図２（ｂ）と図２（ｃ）との違いは、偶数番目の画素をサンプリングするか、奇数番目の画素をサンプリングするかの違いである。左眼用画像と右眼用画像との組合わせにおいて、左眼用画像として図２（ｂ）に示す画像を使い、右眼用画像として図２（ｃ）に示す画像を使うようにしてもよい。また、左眼用画像として図２（ｃ）に示す画像を使い、右眼用画像として図２（ｂ）に示す画像を使うようにしてもよい。
【００５０】
また、左眼用画像および右眼用画像の双方とも図２（ｂ）に示す画像を使ってもよいし、双方とも図２（ｃ）に示す画像を使ってもよい。左眼用画像と右眼用画像との組み合わせの選択は自由である。本発明の実施の形態２以降についても同様である。
【００５１】
また、間引いた後の画像として、図２（ｂ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｃ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｃ）に示す画像を使う場合には、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。したがって、図２（ｃ）に示す画像のＣは、サンプリング前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…からＣ（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。
【００５２】
たとえば、図２（ａ）に示す画像のＣをＣａと表し、図２（ｃ）に示す画像のＣをＣｃと表すと、ＣａとＣｃとの関係は次に示す式（１）〜（３）のいずれかとなる。
【００５３】
Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４） …（１）
Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４＋２） …（２）
Ｃｃ（ｉ＊４＋１）＝（Ｃａ（ｉ＊４）＋Ｃａ（ｉ＊４＋２））／２…（３）
ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉの画素のＣを表している。式（１）、式（２）または式（３）のように、図２（ｃ）に示す画像のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（１）は左隣のＣの画素値を用いる場合、式（２）は右隣のＣの画素値を用いる場合、式（３）は両隣のＣの平均画素値を用いる場合を示している。
【００５４】
同様に、左眼用画像作成部１０２および右眼用画像作成部１０３がＹＵＶ４：１：１フォーマットで画像を作成する場合も、左眼用画像と右眼用画像との組み合わせの選択は自由である。間引いた後の画像として、図２（ｅ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｆ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｆ）に示す画像を使う場合には、画素のＣに関してはサンプリング前後で位置が異なるため、サンプリング前の同じ位置のデータが存在しない。従って、図２（ｆ）に示す画像のＣについては、サンプリング前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…から、Ｃ（１）、Ｃ（９）…を計算する必要がある。
【００５５】
たとえば、図２（ａ）に示す画像のＣをＣａと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、ＣａとＣｆとの関係は次に示す式（４）〜（６）のいずれかとなる。
【００５６】
Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８） …（４）
Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８＋２） …（５）
Ｃｆ（ｉ＊８＋１）＝（Ｃａ（ｉ＊８）＋Ｃａ（ｉ＊８＋２））／２…（６）
ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。式（４）、式（５）または式（６）に示すように、図２（ｆ）のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（４）は左隣のＣの画素値を用いる場合、式（５）は右隣のＣの画素値を用いる場合、式（６）は両隣のＣの平均画素値を用いる場合を示している。
【００５７】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図２（ｂ）および図２（ｃ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）および図２（ｆ）に示す画像）のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００５８】
光軸を並行にして撮影する場合には、左眼用画像として図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）に示す画像）、右眼用画像として図２（ｃ）に示す画像（ＹＵＶフォーマット４：１：１の場合には、図２（ｆ）に示す画像）を選択すると、高い精度の画像が得られる。
【００５９】
また、左眼用画像および右眼用画像とも、図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）に示す画像）を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００６０】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：２：２フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００６１】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる。
【００６２】
（第２の実施の形態）
本発明の第２の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００６３】
本実施の形態においては、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：１：１フォーマットの画像データを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図２（ｄ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：１：１フォーマットである場合には、図２（ｅ）または図２（ｆ）に示すものとなる。
【００６４】
間引いた後の画像として、図２（ｅ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｆ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｆ）に示す画像を使う場合には、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。したがって、図２（ｆ）に示す画像のＣは、サンプリング前のＣ（０）、Ｃ（４）、Ｃ（８）…からＣ（１）、Ｃ（９）…を計算する必要がある。
【００６５】
たとえば、図２（ｄ）に示す画像のＣをＣｄと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、ＣｄとＣｆとの関係は次に示す式（７）〜式（９）のいずれかとなる。
【００６６】
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８） …（７）
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８＋４） …（８）
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８）＊Ｗ１＋Ｃｄ（ｉ＊８＋４）＊Ｗ２…（９）
ここで、Ｃｄ（ｉ）は図２（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。式（７）、式（８）または式（９）のように、図２（ｆ）に示す画像のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（７）は左隣のＣの画素値を用いる場合、式（８）は右隣のＣの画素値を用いる場合、式（９）は両隣のＣの平均画素値を用いる場合である。
【００６７】
ＹＵＶ４：１：１フォーマットの場合はもともとＣの情報が少なく、水平方向に１／２に間引くと情報量がさらに少なくなるので、間引いた後の画像が図２（ｅ）に示す画像の場合でも、Ｃに関してはサンプリング前の近傍画素の重み付和等を計算した方が画質はよくなる。
【００６８】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図２（ｅ）および図２（ｆ）に示す画像のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００６９】
光軸を並行にして撮影する場合には、左眼用画像として図２（ｅ）に示す画像、右眼用画像として図２（ｆ）に示す画像を選択すると、高い精度の画像が得られる。また、左眼用画像および右眼用画像とも、図２（ｅ）に示す画像を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００７０】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：１：１フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００７１】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる等、第１の実施の形態において説明した効果と同様の効果を得ることが可能となった。
【００７２】
（第３の実施の形態）
本発明の第３の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００７３】
本実施の形態において、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットのデータを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図３（ｂ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：２：０フォーマットである場合には、図３（ｃ）または図３（ｄ）に示すものとなる。
【００７４】
また、間引いた後の画像として、図３（ｃ）および図３（ｄ）のいずれに示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。
【００７５】
したがって、図３（ｃ）に示す画像のＣは、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。ここで、Ｃ（ｉ＿（ｉ＋１））は座標ｉと座標（ｉ＋１）の中間位置を意味する。
【００７６】
たとえば、図３（ｂ）に示す画像のＣをＣｂと表し、図３（ｃ）に示す画像のＣをＣｃと表すと、ＣｂとＣｃとの関係は次に示す式（１０）〜（１２）のいずれかとなる。
【００７７】
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））…（１０）
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１１）
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１２）
ここで、Ｃｃ（ｉ）は図３（ｃ）の座標ｉのＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００７８】
また、図３（ｄ）に示す画像のＣは、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（２）、Ｃ（６）、Ｃ（１０）…を計算する必要がある。
【００７９】
たとえば、図３（ｂ）に示す画像のＣをＣｂと表し、図３（ｄ）に示す画像のＣをＣｄと表すと、ＣｂとＣｄとの関係は次に示す式（１３）〜（１５）のいずれかとなる。
【００８０】
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１）） …（１３）
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１４）
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１５）
ここで、Ｃｄ（ｉ）は図３（ｄ）の座標ｉのＣを表している。Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００８１】
式（１０）〜（１５）に示すように、図３（ｂ）のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（１０）および式（１３）は左隣のＣの画素値を用いる場合、式（１１）および式（１４）は右隣のＣの画素値を用いる場合、式（１２）および式（１５）は両隣のＣの平均画素値を用いる場合である。
【００８２】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図３（ｃ）および図３（ｄ）に示す画像のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００８３】
光軸を並行にして撮影する場合には、左眼用画像として図３（ｃ）に示す画像、右眼用画像として図３（ｄ）に示す画像を選択すると、高い精度の画像が得られる。また、左眼用画像および右眼用画像とも、図３（ｃ）を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００８４】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００８５】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる等、第１の実施の形態において説明した効果と同様の効果を得ることが可能となった。
【００８６】
なお、本発明の第１の実施の形態から第３の実施の形態を通じて、立体画像用データ作成部１１１と立体画像用データ表示部１１２とで通信をする場合は、左眼用画像と右眼用画像との組合せを立体画像用データ作成部１１１で変更して、立体画像用データ表示部１１２で最も立体に見えやすい組合せがわかった時点で、その組合わせを立体画像用データ表示部１１２からフィードバックしてもらい、いずれを選択したかを示すフラグを多重化部１０５で多重化してもよい。
【００８７】
（第４の実施の形態）
本発明の第４の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００８８】
本実施の形態においては、表示部１１０がレンチキュラ方式やパララクスバリア方式に対応している場合のものである。デコーダ１０７ａおよび１０７ｂから図２（ｂ）に示すＹＵＶ４：２：２フォーマットの画像データが出力され、フォーマット変換部１０８ａおよび１０８ｂがその画像データを、ＹＵＶ４：４：４フォーマットの画像データに拡張する。
【００８９】
図４は、第４の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。図４（ａ）に示すように、デコーダ１０７ａおよび１０７ｂからの出力データは、座標２、座標６…における画素のＣを含まない。図４（ｃ）は、この画素のＣを補間した一例を示している。
【００９０】
たとえば、図４（ｃ）に示す画像のＣをＣｃと表し、図４（ａ）に示す画像のＣをＣａと表すと、ＣｃとＣａとの関係は次に示す式（１６）〜（１８）のいずれかとなる。なお、式（１６）および式（１７）は近傍の画素値をそのままコピーする場合を示しており、式（１８）は複数の画素値の重み付和を計算する場合を示している。
【００９１】
Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ） …（１６）
Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ＋４） …（１７）
Ｃｃ（４＊ｉ＋２）＝Ｗ１＊Ｃａ（４＊ｉ）＋Ｗ２＊Ｃａ（４＊ｉ＋４）…（１８）
ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの画素のＣ、Ｃａ（ｉ）は図４（ａ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００９２】
また、デコーダ１０７ａおよび１０７ｂから図２（ｃ）に示すＹＵＶ４：２：２フォーマットの画像データが出力される場合、式（１６）〜式（１８）は以下のようになる。
【００９３】
Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋１） …（１９）
Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋５） …（２０）
Ｃｄ（４＊ｉ＋３）＝Ｗ１＊Ｃｃ（４＊ｉ＋１）＋Ｗ２＊Ｃｃ（４＊ｉ＋５）…（２１）
ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。式（１６）および式（１９）は左隣のＣの画素値を用いる場合、式（１７）および式（２０）は右隣のＣの画素値を用いる場合、式（１８）および式（２１）は両隣のＣの平均画素値を用いる場合を示している。
【００９４】
次に、デコーダ１０７ａおよび１０７ｂから図２（ｅ）に示すＹＵＶ４：１：１フォーマットの画像データが出力され、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画像データに拡張する場合について説明する。
【００９５】
図４（ｂ）に示すように、デコーダ１０７ａおよび１０７ｂの出力データは座標２、座標４、座標６…における画素のＣを含まない。図４（ｃ）は、この画素のＣを補間した一例を示している。
【００９６】
たとえば、図４（ｃ）に示す画像のＣをＣｃと表し、図４（ｂ）に示す画像のＣをＣｂと表すと、ＣｃとＣｂとの関係は次に示す式（２２）〜式（２４）のいずれかとなる。なお、式（２２）および式（２３）は近傍の画素値をそのままコピーする場合を示しており、式（２４）は複数の画素値の重み付和を計算する場合を示している。
【００９７】
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ） …（２２）
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ＋８） …（２３）
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｗ１＊Ｃｂ（８＊ｉ）＋Ｗ２＊Ｃｂ（８＊ｉ＋８）…（２４）
ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの画素のＣ、Ｃｂ（ｉ）は図４（ｂ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。
【００９８】
また、デコーダ１０７ａおよび１０７ｂから図２（ｆ）に示すＹＵＶ４：１：１フォーマットの画像データが出力される場合、式（２２）〜式（２４）は以下のようになる。
【００９９】
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋１） …（２５）
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋９） …（２６）
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｗ１＊Ｃｆ（８＊ｉ＋１）＋Ｗ２＊Ｃｆ（８＊ｉ＋９） …（２７）
ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。
【０１００】
補間画素の計算方法の選び方は、どの計算方法を選択した時に立体として見えやすいかが判断基準となる。図１の表示部１１０の特性に大きく依存する場合には、立体画像用データ表示部１１２で一意に決まっていればよい。また、ユーザの個人差に大きく依存する場合は、立体画像用データ表示部１１２内でユーザが補間方法を選択するようにしてもよい。
【０１０１】
また、最適な補間方法が、立体画像用データ作成部１１１が作成するデータに依存する場合には、最適な補間方法を示す情報を多重化部１０５であらかじめ多重化しておく。そして、立体画像用データ表示部１１２内の逆多重化部１０６でこの情報を取り出し、これに従ってフォーマット変換部１０８ａおよび１０８ｂが補間方法を選択するようにしてもよい。
【０１０２】
合成部１０９は、ＹＵＶ４：４：４フォーマットに変換した画像データを、図４（ｅ）に示すように、左眼用画像と右眼用画像とを１画素列ずつ水平方向に交互に並べて、表示用の画像を作成する。この表示用画像を表示部１１０に表示することで、ユーザは立体画像を見ることができる。
【０１０３】
以上説明したように、本実施の形態における立体画像装置においては、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：２：２フォーマットの画像データまたはＹＵＶ４：１：１フォーマットの画像データを補間して、ＹＵＶ４：４：４フォーマットの画像データを生成するようにしたので、表示部１１０がレンチキュラ方式やパララクスバリア方式に対応している場合に、精度の高い立体画像を表示することが可能となった。
【０１０４】
また、どのように色情報を補間するかを示す制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、色情報が最適となるように画像を補間することが可能となった。
【０１０５】
（第５の実施の形態）
本発明の第５の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【０１０６】
本実施の形態においては、表示部１１０がシャッタ（時分割）方式に対応している場合のものである。
【０１０７】
図５は、第５の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。図５（ｄ）に示すように、垂直方向に１ラインずつ左眼用画像と右眼用画像とを交互に並べるため、デコーダ１０７ａおよび１０７ｂの出力データを垂直方向に１／２に間引き、水平方向には２倍に拡大する（左眼用画像および右眼用画像を作成する前のサイズに戻す）ことが必要である。
【０１０８】
したがって、フォーマット変換部１０８ａおよび１０８ｂは、第４の実施の形態において説明したのと同様の方法で、ＹＵＶ４：４：４フォーマットの画像データとなるようにＣを補間する以外に、ＹＵＶともに垂直方向に１／２に間引き、さらに水平方向に２倍に拡大する処理が新たに必要である。
【０１０９】
図５（ａ）は、図２（ｂ）または図２（ｅ）に示す画像データを第４の実施の形態と同様の方法でＹＵＶ４：４：４フォーマットの画像データに変換した場合を示しており、図４（ｃ）に対応している。また、図５（ｂ）は、図２（ｃ）または図２（ｆ）に示す画像データを第４の実施の形態と同様の方法でＹＵＶ４：４：４フォーマットの画像データに変換した場合を示しており、図４（ｄ）に対応している。
【０１１０】
ここで、図２（ｂ）および図２（ｅ）は、左眼用画像作成部１０２および右眼用画像作成部１０３が、偶数番目の画素をサンプリングして作成されたものである。また、図２（ｃ）および図２（ｆ）は、左眼用画像作成部１０２および右眼用画像作成部１０３が奇数番目の画素をサンプリングして作成されたものである。このいずれのサンプリング方法を選択したかを示すフラグが、多重化部１０５で符号化データの中に多重化される。
【０１１１】
そのため、第４の実施の形態においてＣが補間された画素を、フォーマット変換部１０８ａおよび１０８ｂがこのフラグにしたがって配置する。すなわち、図４（ｃ）の場合には図５（ａ）に示すように各画素を配置し、図４（ｄ）の場合には図５（ｂ）に示すように各画素を配置することによって、ＹおよびＣともに水平方向に補間する画素を計算する。これによって、立体画像データ作成部１１１と立体画像データ表示部１１２とで位相がずれるのを防ぐことができる。
【０１１２】
以上は、ＹＵＶ４：２：２フォーマットまたはＹＵＶ４：１：１フォーマットについての説明であったが、図３（ｃ）および図３（ｄ）に示すようなＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットの場合も同様である。
【０１１３】
なお、以上の説明において、まず画像データをＹＵＶ４：４：４フォーマットに変換した後、垂直方向に間引き、水平方向に拡大して左眼用画像および右眼用画像を作成したが、処理の順番はこれに限らず、例えば、水平方向に拡大した後、垂直方向の間引きをするような順序であってもよい。
【０１１４】
合成部１１０は、このようにして作成された画像を図５（ｄ）に示すように、左眼用画像（Ｌ）と右眼用画像（Ｒ）とを垂直方向に１ラインずつ交互に配置して、立体表示用画像を作成する。
【０１１５】
以上説明したように、本実施の形態における立体画像装置においては、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画像データとなるように補間した後、ＹＵＶを垂直方向に１／２に間引き、さらに水平方向に２倍に拡大するようにしたので、表示部１１０がシャッタ（時分割）方式に対応している場合に、精度の高い立体画像を表示することが可能となった。
【０１１６】
また、サンプリングした画素の位置を示す制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、色情報が最適となるように画像を補間することができるとともに、立体画像データ作成部１１１と立体画像データ表示部１１２とで位相がずれるのを防止することが可能となった。
【０１１７】
なお、以上の実施の形態においては、２眼視の場合について説明したが、これに限らずＮ眼視（Ｎ≧２）の場合にも同様である。
【０１１８】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１１９】
【発明の効果】
本発明のある局面によれば、サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、画素の色情報が計算されるので、精度の高い立体画像用データを作成することが可能となった。
【０１２１】
また、符号化された左眼用画像および右眼用画像と、色情報の計算方法に関する情報とが多重化されるので、立体画像表示装置に立体画像を表示させることによって、ユーザはどの計算方法で色情報が作成された立体画像が立体に見えやすいか等を容易に判断することが可能となった。
【０１２２】
また、符号化された左眼用画像および右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法に関する情報とが多重化されるので、立体画像表示装置が色情報の補間方法に関する情報を抽出することによって、色情報が最適となるように立体画像用データを補間してより立体に見えやすい画像を表示することが可能となった。
【０１２３】
また、符号化された左眼用画像および右眼用画像と、サンプリングした画素の位置に関する情報とが多重化されるので、立体画像表示装置が画素のサンプリングした位置を示す情報に従って画素を配置でき、立体画像作成装置と立体画像表示装置とで位相のずれを防ぐことが可能となった。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態における立体画像装置の概略構成を示すブロック図である。
【図２】 ＹＵＶ４：２：２フォーマットおよびＹＵＶ４：１：１フォーマットの一例を示す図である。
【図３】 ＹＵＶ４：２：０フォーマットの一例を示す図である。
【図４】 第４の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。
【図５】 第５の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。
【図６】 従来の立体画像装置における画像データの作成方法を説明するための図である。
【符号の説明】
１０１ａ，１０１ｂ カメラ、１０２ 左眼用画像作成部、１０３ 右眼用画像作成部、１０４ａ，１０４ｂ エンコーダ、１０５ 多重化部、１０６ 逆多重化部、１０７ａ，１０７ｂ デコーダ、１０８ａ，１０８ｂ フォーマット変換部、１０９ 合成部、１１０ 表示部、１１１ 立体画像用データ作成部、１１２ 立体画像用データ表示部。
Claims (3)
- 輝度情報と色情報とが分離された入力画像から立体画像用データを作成する立体画像作成装置であって、
左眼用画像を作成するための左眼用画像作成手段と、
右眼用画像を作成するための右眼用画像作成手段と、
前記左眼用画像作成手段によって作成された左眼用画像および前記右眼用画像作成手段によって作成された右眼用画像を符号化するための符号化手段と、
前記符号化手段によって符号化された左眼用画像および右眼用画像を多重化するための多重化手段とを含み、
前記左眼用画像作成手段および前記右眼用画像作成手段は、入力画像を水平方向に間引きながら画素をサンプリングして所定フォーマットの画像を作成する際、該サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、当該画素の色情報を計算して前記所定フォーマットの画像を作成し、
前記多重化手段は、前記符号化手段によって符号化された左眼用画像および右眼用画像と、前記色情報の計算方法に関する情報とを多重化する、立体画像作成装置。 - 輝度情報と色情報とが分離された入力画像から立体画像用データを作成する立体画像作成装置であって、
左眼用画像を作成するための左眼用画像作成手段と、
右眼用画像を作成するための右眼用画像作成手段と、
前記左眼用画像作成手段によって作成された左眼用画像および前記右眼用画像作成手段によって作成された右眼用画像を符号化するための符号化手段と、
前記符号化手段によって符号化された左眼用画像および右眼用画像を多重化するための多重化手段とを含み、
前記左眼用画像作成手段および前記右眼用画像作成手段は、入力画像を水平方向に間引きながら画素をサンプリングして所定フォーマットの画像を作成する際、該サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、当該画素の色情報を計算して前記所定フォーマットの画像を作成し、
前記多重化手段は、前記符号化手段によって符号化された左眼用画像および右眼用画像と、前記左眼用画像および前記右眼用画像の色情報の補間方法に関する情報とを多重化する、立体画像作成装置。 - 輝度情報と色情報とが分離された入力画像から立体画像用データを作成する立体画像作成装置であって、
左眼用画像を作成するための左眼用画像作成手段と、
右眼用画像を作成するための右眼用画像作成手段と、
前記左眼用画像作成手段によって作成された左眼用画像および前記右眼用画像作成手段によって作成された右眼用画像を符号化するための符号化手段と、
前記符号化手段によって符号化された左眼用画像および右眼用画像を多重化するための多重化手段とを含み、
前記左眼用画像作成手段および前記右眼用画像作成手段は、入力画像を水平方向に間引きながら画素をサンプリングして所定フォーマットの画像を作成する際、該サンプリングされた画素の中で色情報が必要な画素の位置に対応する色情報がない場合には、当該画素に近接する入力画像の画素の色情報に基づいて、当該画素の色情報を計算して前記所定フォーマットの画像を作成し、
前記多重化手段は、前記符号化手段によって符号化された左眼用画像および右眼用画像と、前記サンプリングした画素の位置に関する情報とを多重化する、立体画像作成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002123952A JP4173684B2 (ja) | 2002-04-25 | 2002-04-25 | 立体画像作成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002123952A JP4173684B2 (ja) | 2002-04-25 | 2002-04-25 | 立体画像作成装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007163778A Division JP4657258B2 (ja) | 2007-06-21 | 2007-06-21 | 立体画像表示装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003319417A JP2003319417A (ja) | 2003-11-07 |
| JP4173684B2 true JP4173684B2 (ja) | 2008-10-29 |
Family
ID=29539096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002123952A Expired - Fee Related JP4173684B2 (ja) | 2002-04-25 | 2002-04-25 | 立体画像作成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4173684B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4470491B2 (ja) * | 2002-03-07 | 2010-06-02 | 東レ株式会社 | ポリエステルフィルムおよびガスバリア性ポリエステルフィルム |
| KR100585966B1 (ko) * | 2004-05-21 | 2006-06-01 | 한국전자통신연구원 | 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법 |
| CN102100070A (zh) | 2008-07-20 | 2011-06-15 | 杜比实验室特许公司 | 立体视频传送系统的编码器优化 |
| JP4740364B2 (ja) * | 2009-09-29 | 2011-08-03 | パナソニック株式会社 | 三次元画像処理装置及びその制御方法 |
| JP4966400B2 (ja) | 2010-08-26 | 2012-07-04 | 株式会社東芝 | 画像出力装置及び画像出力方法 |
| CN102478757A (zh) * | 2010-11-25 | 2012-05-30 | 英业达股份有限公司 | 立体影像产生装置及其方法 |
| JP2012138856A (ja) * | 2010-12-27 | 2012-07-19 | Toshiba Corp | 映像送信装置及び３次元映像送信プログラム |
| KR20130039781A (ko) | 2011-10-13 | 2013-04-23 | 삼성전자주식회사 | 디스플레이 컨트롤러, 이를 포함하는 장치 및 이의 제어 방법 |
| KR101483052B1 (ko) * | 2013-07-11 | 2015-01-16 | 연세대학교 산학협력단 | 3d 동영상을 코딩/디코딩하기 위한 장치 및 그 방법 |
-
2002
- 2002-04-25 JP JP2002123952A patent/JP4173684B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003319417A (ja) | 2003-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4693900B2 (ja) | 画像処理装置 | |
| JP5127633B2 (ja) | コンテンツ再生装置および方法 | |
| TWI521940B (zh) | 用於立體及自動立體顯示器之深度圖傳遞格式 | |
| JP6095067B2 (ja) | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム | |
| US20080205791A1 (en) | Methods and systems for use in 3d video generation, storage and compression | |
| JP3776595B2 (ja) | 多視点画像の圧縮符号化装置および伸長復号化装置 | |
| JP4251864B2 (ja) | 画像データ作成装置およびそのデータを再生する画像データ再生装置 | |
| JP4252105B2 (ja) | 画像データ作成装置及び画像データ再生装置 | |
| JP2012186781A (ja) | 画像処理装置および画像処理方法 | |
| JP2010503310A (ja) | 符号化されたステレオスコピック映像データのファイルフォーマット | |
| JP2004208255A (ja) | 立体画像表示装置、記録方法、及び伝送方法 | |
| JP2010273333A (ja) | 立体映像合成装置 | |
| JP2004264882A (ja) | 画像データ作成装置およびそのデータを再生する画像データ再生装置 | |
| JPWO2012111757A1 (ja) | 画像処理装置および画像処理方法 | |
| JP4657258B2 (ja) | 立体画像表示装置およびその方法 | |
| WO2012111755A1 (ja) | 画像処理装置および画像処理方法 | |
| TWI511525B (zh) | 用於產生、傳送及接收立體影像之方法，以及其相關裝置 | |
| JP2004207772A (ja) | 立体画像表示装置、記録方法、及び伝送方法 | |
| JP4173684B2 (ja) | 立体画像作成装置 | |
| JP2005184377A (ja) | 画像変換装置及びそれを用いた画像記録装置 | |
| US20110193937A1 (en) | Image processing apparatus and method, and image producing apparatus, method and program | |
| KR100755020B1 (ko) | 와이유브이 컬러 시스템의 양안 입체 카메라 및 그카메라를 이용한 입체영상 디스플레이 방법과 입체영상처리방법 | |
| JP2004336492A (ja) | 画像処理装置および画像処理方法 | |
| WO2004030377A1 (ja) | 立体画像表示装置、記録方法、及び伝送方法 | |
| KR101107153B1 (ko) | 3ｄ ｔｖ용 영상 데이터 변환 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080422 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080529 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080701 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080814 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |