JP5127633B2 - コンテンツ再生装置および方法 - Google Patents

Description

この発明は、三次元映像データを光ディスクやＨＤＤなどの記録媒体或いは記録装置に記録して、その記録したデータを再生することが可能なコンテンツ再生装置において、
映像データのサイズを削減するために、映像データの間引きを行って記録されているコンテンツを再生する際に、
間引いたデータを補間することで、高精細な三次元映像を表示することを可能とするコンテンツ再生装置および再生方法に関するものである。

近年、映像表示方法として、左右の目の視差を利用して作成した右目用の映像と左目用の映像を、それぞれ対応する目に個別に入射させるように構成して立体的な表示を行う三次元映像表示が実用化されている。この方式を用いた立体映像表示は一部の映画館にて先行的に立体映像表示が行われていることから、今後更なる普及が予想される。三次元映像表示を行うためには、右目用の映像と左目用の映像が必要となるため、二次元映像のコンテンツに比べて映像のデータ量が２倍となる。データ量を削減するために、水平方向の１画素ごとにデータを間引くことによって、データ量を削減する方法がある（例えば、特許文献１参照）。

特開平９−２７１０４２号公報（第３頁、第２図）

上記の特許文献１に参照される方式においては、画素を間引くことによって画像のデータ量を半減させているが、そのまま再生を行うと、情報の欠落によって必然的に解像度がオリジナルの画像に比べて落ちることになる。この課題に対して、上記特許文献１に参照される方式においては、画像の再生時に間引かれた右目用の映像データおよび左目用の映像データに対してそれぞれ独立して予測演算処理を行うことによって、データを補間する方法が示されている。

しかし、このような方法では、シーンの切り替わりが激しい映像など、フレーム間の相関が低い映像においては、データを補間することによる画像品質改善の効果が十分に得られないことがあった。また、静止画のような独立した画像においても同様に画像品質の効果が十分に得られないことがあった。

本発明のコンテンツ再生装置は、
符号化圧縮された右目用の映像と左目用の映像を復号化して、表示装置に対して出力するコンテンツ再生装置であって、
画素数が１／２に間引かれて符号化圧縮された右目用の映像および左目用の映像を復号化する映像復号化手段と、
復号化された右目用の映像及び左目用の映像の各々の一部をなす各領域の画像データに類似する、前記各領域と同じサイズの領域を、前記復号化された右目用の映像及び左目用の映像の他方から検出する類似領域検出手段と、
前記類似する領域から画素データを抽出して各々の目用の映像補間データを生成する映像補間データ生成手段と、
前記復号化された前記各々の目用の映像を前記各々の目用の映像補間データによって補間するフレーム合成手段とを備える
ことを特徴とする。

本発明では、画素を間引いた各々の目用の映像を複数の領域に分割して、各領域に類似する領域の画素データを利用して映像データを補間するように構成したため、画素を間引くことでデータ量を削減した三次元映像コンテンツを表示する際に、シーンの切り替わり部分や静止画においても良好な表示品質を得ることができるという効果がある。

実施の形態１．
図１はこの発明の実施の形態１のコンテンツ再生装置の一例を示すブロック構成図である。図示のコンテンツ再生装置１は、蓄積された三次元映像コンテンツを再生し、映像信号用のインターフェースを経由して三次元映像表示装置に送信する機能を有する装置であり、主な構成要素としてＣＰＵ２、ＲＯＭ３、ＲＡＭ４、コンテンツ記憶装置５、デコード回路（映像復号化手段）６、分離回路７、Ｒ映像補間回路８ａ、Ｌ映像補間回路８ｂ、多重化回路（マルチプレクサ）９、及び出力Ｉ／Ｆ（出力インターフェース手段）１０を備える。

コンテンツ再生装置１は、蓄積された三次元映像コンテンツを再生するための装置である。ＲＯＭ３はコンテンツ再生装置１を制御するためのプログラムを格納する不揮発メモリなどから構成される記憶装置であり、不図示のＯＳ、各Ｈ／Ｗを制御するためのデバイスドライバ等の機能を実現する各アプリケーションが含まれる。

ＣＰＵ２はＲＯＭ３からプログラムを読み出して実行することでコンテンツ再生装置１全体を制御するプロセッサである。ＲＡＭ４はランダムに読み書き可能なメモリから構成され、ＣＰＵ２が処理を実行する際のワーク領域や、コンテンツデータを処理するために一時的に格納するためのバッファ領域に使用される。

コンテンツ記憶装置５は、三次元映像のデータを蓄積しておくための不揮発性の記憶装置であり、例えばＨＤＤのような装置に内蔵のメディアの他に、ＤＶＤやブルーレイディスクなどの光ディスクメディアにデータを蓄積するものであっても良い。コンテンツ記憶装置５に記憶されている三次元映像のデータは、データ量削減のために、ＭＰＥＧ−２やＨ．２６４形式などの映像符号化圧縮方式に従って圧縮された状態で蓄積されているものとする。

デコード回路６は、上記で示したような所定の映像符号化圧縮方式に従って圧縮された状態でコンテンツ記憶装置５に蓄積されている三次元映像のデータを、伸張して復号化する。デコード回路６により復号化された三次元映像のデータＤ１は画素ごとのデータで構成される。

分離回路７は、デコード回路６で復号化された三次元映像のデータを、右目用の映像（以降Ｒ映像と称する）Ｄ２Ｒおよび左目用の映像（以降Ｌ映像と称する）Ｄ２Ｌに分離する。ここで分離されたＲ映像データＤ２ＲとＬ映像データＤ２ＬはともにＲ映像補間回路８ａおよびＬ映像補間回路８ｂに入力される。

Ｒ映像補間回路８ａは入力されたＲ映像データＤ２ＲとＬ映像データＤ２Ｌを基にＲ映像を補間する回路であり、補間後のＲ映像Ｄ３Ｒを出力する。

Ｌ映像補間回路８ｂは同様に入力されたＲ映像データＤ２ＲとＬ映像データＤ２Ｌを基にＬ映像を補間する回路であり、補間後のＬ映像Ｄ３Ｌを出力する。

多重化回路９は補間後のＲ映像データＤ３ＲとＬ映像データＤ３Ｌを三次元映像表示装置１１に伝送するために多重化する。

出力Ｉ／Ｆ１０は多重化したＲ映像データおよびＬ映像データ（Ｄ４）を三次元映像表示装置１１に伝送する。この出力Ｉ／Ｆ１０は例えばデジタル方式の映像・音声入出力インターフェース規格であるＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格のものが使われる。

三次元映像表示装置１１は入力されたＲ映像データとＬ映像データを画面に映し、Ｒ映像データを視聴者の右目のみに、Ｌ映像データを視聴者の左目のみに入射することによって、視聴者に対して三次元映像を提示するモニター装置である。このための仕組みとして、例えばＲ映像とＬ映像をそれぞれ直交した偏光成分を持った画像として画面に表示し、偏光素子を使用した眼鏡で左右の目に分離して入力する方式や、Ｒ映像とＬ映像を１フレームごとに切り替えて画面に表示し、シャッター付きの眼鏡のシャッターを表示映像に同期して左右切り替えることによって左右の目に分離して入力する方式などがある。

以下、本発明の実施の形態１における動作を説明する。
以下の説明で、フレーム上の各画素は、その位置に応じて、Ｐ（ｖ，ｈ）で表される。ｖは縦方向（垂直方向）位置を表し、ｈは横方向（水平方向）位置を表す。元の、間引く前の映像データにおいては、フレーム上の画素は、図２に示すように、マトリクス状に配列されており、そのような映像データにおいては、フレームの左上隅においてｖ＝０、ｈ＝０であり、ｖの値は下方向に１画素毎に１ずつ増加し、ｈの値は右方向に１画素毎に１ずつ増加する。

間引いた後の映像データは、各水平ラインの画素が１画素おきに、かつ各垂直ラインの画素が１画素おきに間引かれて、図３（ａ）及び（ｂ）に示すように、市松模様状（チェックパターン状）の配置となっている。

図３（ａ）及び（ｂ）において白い部分が間引き後に残された画素を示す。この例では、Ｒ映像データとＬ映像データの間引く画素の位置が、互いにずれている。図示の例では、間引き後のＲ映像データは、画素Ｐ（０，１）、Ｐ（０，３）、…、Ｐ（１，０）、Ｐ（１，２）、Ｐ（１，４）、…のデータから成り、一方、間引き後のＬ映像データは、画素Ｐ（０，０）、Ｐ（０，２）、Ｐ（０，４）、…、Ｐ（１，１）、Ｐ（１，３）、…のデータから成る。

間引き後のＲ映像データ及びＬ映像データの画素を横方向（水平方向）に詰め、図４で示すように、Ｒ映像の画素を右半分の領域ＡＲに、Ｌ映像データの画素を左半分の領域ＡＬに配置して、１枚のフレームとし、さらにこのデータを所定の映像符号化圧縮方式に従って圧縮し、この圧縮データを音声データと多重化することで得られるストリームデータがコンテンツ記憶装置５に蓄積されているものとする。

再生に当たり、ＣＰＵ２はコンテンツ記憶装置５に格納されているストリームデータを読み出し、ストリームデータから映像データを分離した上で、デコード回路６に対して映像データを入力する。

デコード回路６は入力された映像データに対して所定の映像符号化圧縮方式に従って伸張処理を行い、伸張後の映像データＤ１を分離回路７に入力する。映像データＤ１は、図４で示した形式のフレームの連続したデータである。

分離回路７は入力された映像データＤ１の各フレームをＲ映像、Ｌ映像に分離してそれぞれＲ映像データＤ２ＲおよびＬ映像データＤ２Ｌとして出力する。
Ｒ映像データＤ２ＲおよびＬ映像データＤ２Ｌはそれぞれ元の（分離前の）映像データＤ１に対して横方向の画素数が半分になっている。この半分のものも、以下の説明では、「データフレーム」と呼ぶことがある。
Ｒ映像データＤ２ＲおよびＬ映像データＤ２Ｌは両方ともＲ映像補間回路８ａに入力される。同様に、Ｌ映像補間回路８ｂにも両方の映像データＤ２Ｒ、Ｄ２Ｌが入力される。

Ｒ映像補間回路８ａは入力されたＲ映像データＤ２ＲおよびＬ映像データＤ２Ｌを用いてＲ映像の補間処理を行い、同様に、Ｌ映像補間回路８ｂは入力されたＬ映像データＤ２ＬおよびＲ映像データＤ２Ｒを用いてＬ映像の補間処理を行うが、以降で図５を用いてＲ映像補間回路８ａの動作の説明を行う。

Ｒ映像補間回路８ａは図５に示す通り、類似領域検出部２０と、画像補間データ生成回路２１と、フレーム合成回路２２とを備える。同じフレームから分離されたＲ映像データＤ２ＲとＬ映像データＤ２Ｌが両方とも類似領域検出部２０に入力される。

類似領域検出部２０では、各フレームのＲ映像データを互いに同一のサイズの領域（ブロック）に分割し、Ｒ映像データの各領域を順次参照領域として選択し、該参照領域に対して、同じフレームから分離されたＬ映像データの中から、上記参照領域に類似する、参照領域と同一サイズの領域を検出する。本願では、この「類似する領域」を単に「類似領域」ということもあり、「相当領域」と呼ぶこともある。例えば、フレーム内の垂直方向位置が同じ領域の中から、類似度が最も高い領域を、相当領域として検出する。そして、検出された相当領域の、上記参照領域に対する相対位置を、ＲＬ差ベクトルとして算出する。なお、ここで、「相対位置」は、図４のように、Ｒ映像とＬ映像が左右に分けられた状態では、Ｒ映像部分ＡＲ内における参照領域の位置と、Ｌ映像部分ＡＬ内における相当領域の位置の差で表されるものである。

「上記の同一のサイズの領域」とは、例えば、縦及び横ともに１６画素の正方形の領域であり、例えば、図６に示すように、フレーム内の、Ｒ映像部分内の位置に応じて、ＢＲ（ｍ，ｎ）で表される。ここで、ｍは縦方向の位置を表し、ｎは横方向の位置を表す。左上隅の領域は、ｍ＝１、ｎ＝１であり、ｍは下方向に領域毎（１６画素毎）に１ずつ増加し、ｎは右方向に領域毎（１６画素毎）に１ずつ増加する。図示の例では、各フレームが縦方向Ｍ個、横方向Ｎ個の領域に分割されている。各領域の左上隅の画素がＰ（ｖ，ｈ）で表されるものである場合に、当該領域を符号ＢＲ［ｖ，ｈ]で表すこともある。

相当領域の検出に当たっては、例えば、Ｌ映像データのフレーム上の同じサイズの領域（縦、横ともに１６画素の領域）のうちで、類似度が最も高い領域を相当領域として検出する。このためには、上記Ｌ映像データのフレーム上の、同じサイズの領域を比較領域として順次選択し、各比較領域と参照領域との類似度を求め、順次選択した比較領域のうちで、類似度が最も高い領域を相当領域として検出する。

比較領域としては、例えば、図７（ａ）及び（ｂ）に示すように、参照領域ＢＲと縦方向位置が同じものに限定し、横方向位置を１画素ずつずらしながら、順次選択する。この結果、ＲＬ差ベクトルは、画素単位で検出される。図７（ａ）及び（ｂ）では、参照領域が、図６のＢＲ（２，３）である（従って、その左上隅の画素が、Ｐ（３２，４８）であり、符号ＢＲ［３２,４３］で表されるものである）場合を想定しており、比較領域として、左上隅の画素がＰ（３２，０）である領域ＢＬ［３２，０]、左上隅の画素がＰ（３２，１）である領域ＢＬ［３２，１]から左上隅の画素がＰ（３２，（Ｈｍｆ−１５））である右端の領域ＢＬ［３２，（Ｈｍｆ−１５）]まで、横方向に１画素（１列）ずつずらしながら、順に選択する。ここでＨｍｆは、右端の画素の横方向位置を表す値である。

なお、比較領域を、参照領域と縦方向位置が同じものに限定するのは、Ｒ映像とＬ映像は水平方向の視差に基づいて作成されていることを考慮したためである。
そして、このようにして、順次選択した比較領域の中で、参照領域に対する類似度の最も高かった比較領域を相当領域として選択する。そして、その領域の、Ｌ映像データフレーム上の位置（Ｌ映像部分内の位置）の、参照領域のＲ映像データフレーム上の位置（Ｒ映像部分内の位置）に対する差（相対位置）をＲＬ差ベクトルとする。
例えば図７（ａ）及び（ｂ）においてＲ映像の参照領域ＢＲ［３２，４８]に対して、Ｌ映像の領域ＢＬ［３２，４３]が最も類似度が高かった場合のＲＬ差ベクトルはＶ（４３−５０，３２−３２）＝Ｖ（０，−７）となる。

ここで、Ｒ映像の参照領域とＬ映像の比較領域の類似度を求める方法として、例えば比較領域内の各画素と、参照領域内の対応する画素の差（比較領域及び参照領域の、領域内での位置が互いに同じ画素同士の差）の絶対値の総和（差分絶対値和）を用いる。差分絶対値和は以下の式（１）で表される。

ここでＤｓは差分絶対値和、ｙはフレーム内の各画素の縦方向位置、ｘはフレーム内の各画素の横方向位置、νはフレーム内の位置に対する（横方向の）オフセット（参照領域に対する比較領域の相対的位置）、Ｓ_Ｒ（ｖ，ｈ）は、Ｒ映像のフレーム内の各位置（ｖ，ｈ）における画素値、Ｓ_Ｌ（ｖ，ｈ＋ν）は、Ｌ映像のフレーム内の、対応する位置（ｖ，ｈ＋ν）における画素値、Ｂ_Ｒは１６画素×１６画素の参照領域を示す。上記の式（１）中の、｛Ｓ_Ｌ（ｖ，ｈ＋ν）−Ｓ_Ｒ（ｖ，ｈ）｝が、参照フレーム内の各画素の値Ｓ_Ｒ（ｖ，ｈ）と、比較フレーム内の、対応する位置の画素Ｓ_Ｌ（ｖ，ｈ＋ν）の差を表す。

オフセットνの値は、参照領域に対する比較領域の相対位置を表すので、すべての比較領域に対応するすべてのνの値の中で、差分絶対値和Ｄｓが最小となるオフセットνがＲＬ差ベクトルである。ここで計算に使用する画素値は例えば輝度信号、青色色差信号、赤色色差信号であり、これらを単独もしくは組み合わせて用いて良い。また、ＲＧＢ信号の各コンポーネントデータを単独もしくは組み合わせて用いても良い。組み合わせる場合には、例えば、各信号についての差分絶対値和を、全ての信号について加算し、加算結果が最小になるものを選択する。

類似領域検出部２０は、Ｒ映像Ｄ２Ｒの１枚のフレームを１６画素×１６画素の領域に分割して、全ての分割領域を参照領域とした上でそれぞれの領域に対するＲＬ差ベクトルを算出する。算出されたＲＬ差ベクトルは、類似領域検出部２０内のメモリ２０ａに記憶される。

図８は、図６に示すＭ×Ｎ個の領域のそれぞれについて、ＲＬ差ベクトルＶ（ｍ，ｎ）（但し、ｍ＝１〜Ｍ、ｎ＝１〜Ｎ）が求められ、記憶されることを示している。

類似領域検出部２０は全ての参照領域に対するＲＬ差ベクトルを算出した後、このＲＬ差ベクトルを画像補間データ生成回路２１に対して出力する。

画像補間データ生成回路２１は入力されたＲＬ差ベクトルＶ（ｍ，ｎ）と、当該のＲＬ差ベクトルを算出する際に用いたものと同じ時間のＬ映像データＤ２Ｌを入力として、
１６画素×１６画素の各領域ＢＲ（ｍ，ｎ）について求められたＲＬ差ベクトルＶ（ｍ，ｎ）を元に、Ｌ映像データから当該ＲＬ差ベクトルＶ（ｍ，ｎ）が指し示す位置の（当該参照領域に対してＲＬ差ベクトルＶ（ｍ，ｎ）で表される相対位置にある）１６画素×１６画素の領域の画素データを取り出して、当該ＲＬ差ベクトルＶ（ｍ，ｎ）が求められた参照領域ＢＲ（ｍ，ｎ）と同じサイズの領域に並べることで、Ｒ映像補間データＤ２Ｒｉを生成し、フレーム合成回路２２に対して出力する。

これに併せてフレーム合成回路２２には、前述のＲＬ差ベクトルを算出する際に用いたものと同じ時間のＲ映像データＤ２Ｒが入力される。

フレーム合成回路２２は入力されたＲ映像データＤ２ＲとＲ映像補間データＤ２Ｒｉを縦方向及び横方向において１画素おきに並べる（交互に配置する）ことによってフレームを合成する。この並べ方を図９（ａ）〜（ｃ）に示す。この図では簡略化のために参照領域及び比較領域が４画素×４画素のサイズのものであるとしている。即ち、図９（ａ）に示される、４画素×４画素のサイズのＲ映像データＤ２Ｒ（＝Ｒ１１〜Ｒ４４）と、図９（ｂ）に示される、同じく４画素×４画素のサイズのＲ映像補間データＤ２Ｒｉ（＝Ｒｉ１１〜Ｒｉ４４）を合成して、図９（ｃ）に示される８画素×４画素の補間後Ｒ映像データＤ３Ｒを生成する様子を示している。合成に際しては、各領域内の上から数えて奇数番目の行では、Ｒ映像補間データ（Ｒｉ１１、Ｒｉ１２、…）が、対応するＲ映像データ（Ｒ１１、Ｒ１２、…）の右に位置するように、偶数番目の行では、Ｒ映像補間データ（Ｒｉ２１、Ｒｉ２２、…）が、対応するＲ映像データ（Ｒ２１、Ｒ２２、…）の左に位置するように配置される。ここで、「対応する」とは、図９（ａ）、（ｂ）に示すＲ映像データＤ２Ｒの配列及び映像補間データＤ２Ｒｉの配列において、同じ位置にあることを意味する。この結果、Ｒ映像データＤ２ＲとＲ映像補間データＤ２Ｒｉの各画素は市松模様状に（縦方向及び横方向に１画素おきに）配置されて、結果的に水平方向の解像度が２倍となった（間引き前と解像度が同じになった）補間後Ｒ映像データＤ３Ｒが得られる。補間後Ｒ映像データＤ３Ｒのうち、Ｒ映像データ（Ｒ１１、Ｒ１２、…）に相当するもの（Ｒ映像データから得られたもの）は、間引き後に残された画素と同じ位置の画素（図３（ａ）の白色部分の画素）のデータであり、Ｒ映像補間データ（Ｒｉ１１、Ｒｉ１２、…）に相当するもの（Ｒ映像補間データから得られたもの）は、間引かれた画素と同じ位置の画素（図３（ａ）のハッチングを施した位置の画素）のデータである。

上記の合成処理は１フレーム全体に対して行われるため、この合成処理を行った後の補間後Ｒ映像データ（合成後Ｒ映像データ）は水平解像度が２倍になったフレームとして出力される。

以上、図５をもとにしてＲ映像補間回路８ａの動作について説明したが、図１に示すＬ映像補間回路８ｂは、Ｒ映像補間回路８ａと対称の構成を採り、Ｒ映像補間回路８ａと同様の動作を行うことで補間後Ｌ映像データＤ３Ｌを出力する。この場合、図５〜図９（ｃ）における説明の「右」、「左」を逆に読み替え、符号の「Ｒ」、「Ｌ」を逆に読み替えれば、同じ説明がそのまま当てはまる。

Ｌ映像補間回路８ｂ内のフレーム合成回路２２の動作を図１０（ａ）〜（ｃ）に示す。
Ｌ映像補間回路８ｂの合成回路２２も、入力されたＬ映像データＤ２ＬとＬ映像補間データＤ２Ｌｉを縦方向及び横方向において１画素おきに並べる（交互に配置する）ことによってフレームを合成する。図１０（ａ）〜（ｃ）では、図９（ａ）〜（ｃ）と同様に、簡略化のために４画素×４画素のサイズのＬ映像データＤ２Ｌ（＝Ｌ１１〜Ｌ４４）と、同じく４画素×４画素のサイズのＬ映像補間データＤ２Ｌｉ（＝Ｌｉ１１〜Ｌｉ４４）を合成して、８画素×４画素の補間後Ｌ映像データＤ３Ｌを生成する。合成に際しては、各領域内の上から数えて奇数番目の行では、Ｌ映像補間データ（Ｌｉ１１、Ｌｉ１２、…）が、対応するＬ映像データ（Ｌ１１、Ｌ１２、…）の左に位置するように、偶数番目の行では、Ｌ映像補間データ（Ｌｉ２１、Ｌｉ２２、…）が、対応するＬ映像データ（Ｌ２１、Ｌ２２、…）の右に位置するように配置される。この結果、Ｌ映像データＤ２ＬとＬ映像補間データＤ２Ｌｉの各画素は市松模様状に（縦方向及び横方向に１画素おきに）配置されて、結果的に水平方向の解像度が２倍となった（間引き前と解像度が同じになった）補間後Ｌ映像データＤ３Ｌが得られる。補間後Ｌ映像データＤ３Ｌのうち、Ｌ映像データ（Ｌ１１、Ｌ１２、…）に相当するものは、間引き後に残された画素と同じ位置の画素（図３（ｂ）のデータであり、Ｌ映像補間データ（Ｌｉ１１、Ｌｉ１２、…）に相当するものは、間引かれた画素と同じ位置の画素（図３（ｂ））のデータである。

Ｒ映像補間回路８ａから出力された映像データＤ３ＲとＬ映像補間回路８ｂから出力された映像データＤ３Ｌは共に多重化回路９に入力される。多重化回路９では、入力された映像データＤ３Ｒと映像データＤ３Ｌを時間軸方向に１フレームずつ交互に並べることで１つの映像ストリームとして多重化する。この様子を図１１に示す。この例では、連続する１枚の偶数フレームと１枚の奇数フレームの組合せ（例えばフレームＦ０とフレームＦ１）が１枚の三次元映像を構成する右目用画像と左目用の画像の組となる。この場合、元の画像のフレームレートが３０ｆｐｓだった場合は、右目用画像と左目用の画像のフレームを多重化して送信することになるため、送信のフレームレートは２倍の６０ｆｐｓとなる。
多重化回路９から出力された多重化後の映像データＤ４は出力Ｉ／Ｆ１０を経由して映像データＤ５として三次元映像表示装置１１に送信される。

三次元映像表示装置１１は受信した映像データＤ５をもとにＲ映像データとＬ映像データを画面に映し、Ｒ映像データを視聴者の右目のみに、Ｌ映像データを視聴者の左目のみに入射するように表示する。このための方式としては、前述した通り偏光素子を使用した眼鏡で左右の目に分離して入力する方式や、Ｒ映像とＬ映像を１フレームごとに切り替えて画面に表示し、シャッター付きの眼鏡のシャッターを表示映像に同期して左右切り替えることによって左右の目に分離して入力する方式がある。以上のように構成することで、画素を間引くことでデータ量を削減した三次元映像コンテンツを表示する際に良好な表示品質を得ることが可能となる。なお、本実施の形態では、間引き後のＲ映像の画素を右半分にＬ映像の画素を左半分に配置して１枚のフレームとしたデータについて説明しているが、間引き後のＲ映像の画素を左半分にＬ映像の画素を右半分に配置しても良い。また、図１２に示すように間引き後のＲ映像データ及びＬ映像データの画素を縦方向（垂直方向）に詰め、Ｒ映像の画素を上半分の領域ＡＴに、Ｌ映像の画素を下半分の領域ＡＢに配置しても良い。逆に、間引き後のＬ映像の画素を上半分の領域ＡＴに、Ｒ映像の画素を下半分の領域ＡＢに配置しても良い。

また、Ｒ映像補間データを生成するために、Ｒ映像の参照領域に対する相当領域をＬ映像から検出しているが、Ｒ映像から最も類似度の高い領域を相当領域として検出しても良い。
同様にＬ映像補間データを生成するために、Ｌ映像の参照領域に対する相当領域をＲ映像から検出しているが、Ｌ映像から最も類似度の高い領域を相当領域として検出しても良い。

また、Ｒ映像補間データを生成するために、Ｒ映像の参照領域に対する相当領域を同じ時間のフレームから検出しているが、異なる時間のフレームから相当領域を検出しても良い。また、相当領域の例として差分絶対値和が一番少ない領域検出しているが、差分絶対値和が２番目に少ない領域、３番目に少ない領域など、一番少ない領域以外の領域を相当領域として用いても良い。

実施の形態２．
実施の形態１のコンテンツ再生装置は、間引き後のＲ映像の画素とＬ映像データの画素を１枚のフレームとして圧縮したデータが、コンテンツ記憶装置５に記憶されている場合に適したものであるが、次に、間引き後のＲ映像を１枚のフレームとし、間引き後のＬ映像も同様に１枚のフレームとして左右の映像を別々のデータとして所定の映像符号化圧縮方式に従って圧縮し、記憶している場合に適したコンテンツ再生装置について説明する。

図１３はこの発明の実施の形態２のコンテンツ再生装置の一例を示すブロック構成図である。実施の形態１に関し、図１を参照して説明した構成との違いは、図１のデコード回路６の代わりに、Ｒ映像をデコードするためのＲ映像デコード回路６ａとＬ映像をデコードするためのＬ映像デコード回路６ｂをそれぞれ独立して備えている点である。また、デコード回路６ａ、６ｂが独立しているためにデコード回路の後段に分離回路（図１の分離回路７）を持たない。

以下、図１３を参照して本発明の実施の形態２における動作を説明する。
Ｒ映像データおよびＬ映像データはそれぞれ実施の形態１と同様に図３（ａ）及び（ｂ）に示すように、市松模様状に間引かれているものとする。
間引き後のＲ映像を１枚のフレームとし、間引き後のＬ映像も同様に１枚のフレームとして、即ち左右の映像を別々のデータとして所定の映像符号化圧縮方式に従って圧縮し、音声データと多重化することで得られるストリームデータがコンテンツ記憶装置５に蓄積されているものとする。

再生に当たり、ＣＰＵ２はコンテンツ記憶装置５に格納されているストリームデータを読み出し、ストリームデータからＲ映像データＤ１ＲとＬ映像データＤ１Ｌをそれぞれ分離した上で、Ｒ映像データＤ１ＲをＲ映像デコード回路６ａに、Ｌ映像データＤ１ＬをＬ映像デコード回路６ｂに、それぞれ入力する。

Ｒ映像デコード回路６ａは入力された映像データに対して所定の映像符号化圧縮方式に従って伸張処理を行い、伸張後のＲ映像データＤ２ＲをＲ映像補間回路８ａとＬ映像補間回路８ｂの両方に入力する。
同様に、Ｌ映像デコード回路６ｂは入力された映像データに対して所定の映像符号化圧縮方式に従って伸張処理を行い、伸張後のＬ映像データＤ２ＬをＲ映像補間回路８ａとＬ映像補間回路８ｂの両方に入力する。
以降は、実施の形態１の例で説明した処理と同様の処理を行なうことで、実施の形態１と同様に、画素を間引くことでデータ量を削減した三次元映像コンテンツを表示する際に良好な表示品質を実現することが可能となる。

実施の形態３．
実施の形態１および２では、図３（ａ）及び（ｂ）に示すとおり、縦方向及び横方向において、１画素おきに市松模様状にデータが間引かれている場合の例を説明したが、図１４（ａ）及び（ｂ）に示す通り、１縦ライン（１列）ごとにデータが間引かれる場合も考えられる。

図１４（ａ）及び（ｂ）において白い部分が間引き後に残された画素を示す。図示の例では、Ｒ映像データとＬ映像データの間引く画素（ライン）の横方向位置が、１画素（１列）ずれている。
本実施の形態３のコンテンツ再生装置としては、図１に示すもの或いは図１３に示すもののどちらでも用いうるが、以下の図１に示すものを用いる場合について説明する。

ここで間引き後のＲ映像データ及びＬ映像データの画素を横方向（水平方向）に詰め、Ｒ映像の画素を右半分に、Ｌ映像の画素を左半分に配置して、図４で示す通り１枚のフレームとし、さらにこのデータを所定の映像符号化圧縮方式に従って圧縮し、この圧縮データを音声データと多重化することで得られるストリームデータがコンテンツ記憶装置５に蓄積されているものとする。

再生に当たり、ＣＰＵ２がコンテンツ記憶装置５に格納されているストリームデータを読み出してから、Ｒ映像補間回路８ａにＲ映像データＤ２ＲとＬ映像データＤ２Ｌが入力されるまでは、実施の形態１で説明したのと同様の処理が行なわれる。
また、図５で示したＲ映像補間回路８ａの動作において、画像補間データ生成回路２１がＲ映像補間データＤ２Ｒｉを生成しフレーム合成回路２２に対して出力するまでの処理においても、実施の形態１で説明したしたのと同様の処理が行なわれる。

この後、フレーム合成回路２２は入力されたＲ映像データＤ２ＲとＲ映像補間データＤ３Ｒを横方向において、１縦ライン（１列）おきに並べる（交互に配置する）ことによってフレームを合成する。この並べ方を図１５（ａ）〜（ｃ）に示す。この図では簡略化のために、図１５（ａ）に示される、４画素×４画素のサイズのＲ映像データＤ２Ｒ（＝Ｒ１１〜Ｒ４４）と、図１５（ｂ）に示される、同じく４画素×４画素のサイズのＲ映像補間データＤ２Ｒｉ（＝Ｒｉ１１〜Ｒｉ４４）を合成して、図１５（ｃ）に示される８画素×４画素の補間後Ｒ映像データＤ３Ｒを生成する様子を示している。合成に際しては、Ｒ映像補間データ（Ｒｉ１１、Ｒｉ１２、…）が、対応するＲ映像データ（Ｒ１１、Ｒ１２、…）の右に位置するように配置される。この結果、Ｒ映像データＤ２ＲとＲ映像補間データＤ２Ｒｉの各画素は１列おきに配置されて、結果的に水平方向の解像度が２倍となった（間引き前と解像度が同じになった）補間後Ｒ映像データＤ３Ｒが得られる。補間後Ｒ映像データＤ３Ｒのうち、Ｒ映像データ（Ｒ１１、Ｒ１２、…）に相当するものは、間引き後に残された画素と同じ位置の画素（図１４（ａ）の白色部分の画素）のデータであり、Ｒ映像補間データ（Ｒｉ１１、Ｒｉ１２、…）に相当するものは、間引かれた画素と同じ位置の画素（図１４（ａ）のハッチングを施した位置の画素）のデータである。

Ｌ映像補間回路８ｂは、Ｒ映像補間回路８ａと対称の構成を採り、Ｒ映像補間回路８ａと同様の動作を行うことで補間後Ｌ映像データＤ３Ｌを出力する。この場合、実施の形態１の説明と同様に、図５〜図８、図１４（ａ）、（ｂ）、図１５（ａ）〜（ｃ）における説明の「右」、「左」を逆に読み替え、符号の「Ｒ」、「Ｌ」を逆に読み替えれば、同じ説明がそのまま当てはまる。

実施の形態３におけるＬ映像補間回路８ｂ内のフレーム合成回路２２の動作を図１６（ａ）〜（ｃ）に示す。
Ｌ映像補間回路８ｂの合成回路２２も、入力されたＬ映像データＤ２ＬとＬ映像補間データＤ２Ｌｉを横方向において１縦ライン（１列）おきに並べる（交互に配置する）ことによってフレームを合成する。図１６（ａ）〜（ｃ）では、図１５（ａ）〜（ｃ）と同様に、簡略化のために、図１６（ａ）に示される、４画素×４画素のサイズのＬ映像データＤ２Ｌ（＝Ｌ１１〜Ｌ４４）と、図１６（ｂ）に示される、同じく４画素×４画素のサイズのＬ映像補間データＤ２Ｌｉ（＝Ｌｉ１１〜Ｌｉ４４）を合成して、図１６（ｃ）に示される、８画素×４画素の補間後Ｌ映像データＤ３Ｌを生成する。合成に際しては、Ｌ映像補間データ（Ｌｉ１１、Ｌｉ１２、…）が、対応するＬ映像データ（Ｌ１１、Ｌ１２、…）の左に位置するように配置される。この結果、Ｌ映像データＤ２ＬとＬ映像補間データＤ２Ｌｉの各画素は１列おきに配置されて、結果的に水平方向の解像度が２倍となった（間引き前と解像度が同じになった）補間後Ｌ映像データＤ３Ｌが得られる。補間後Ｌ映像データＤ３Ｌのうち、Ｌ映像データ（Ｌ１１、Ｌ１２、…）に相当するものは、間引き後に残された画素と同じ位置の画素（図１４（ｂ）の白色部分の画素）のデータであり、Ｌ映像補間データ（Ｌｉ１１、Ｌｉ１２、…）に相当するものは、間引かれた画素と同じ位置の画素（図１４（ｂ）ハッチングを施した位置の画素）のデータである。

Ｒ映像補間回路８ａが補間後Ｒ映像データＤ３Ｒを出力し、Ｌ映像補間回路８ｂが補間後Ｌ映像データＤ３Ｌを出力する処理以降の処理は実施の形態１で説明したのと同様である。

実施の形態３においても、実施の形態１と同様に、画素を間引くことでデータ量を削減した三次元映像コンテンツを表示する際に良好な表示品質を得ることが可能となる。
本実施の形態で説明した方法は、実施の形態２で説明したように間引き後のＲ映像を１枚のフレームとし、間引き後のＬ映像も同様に１枚のフレームとして左右の映像を別々のデータとして所定の映像符号化圧縮方式に従って圧縮されている場合にも適用することができる。

実施の形態４．
実施の形態３では、図１４（ａ）及び（ｂ）に示すとおり、縦方向に１ラインごとにデータが間引かれる場合を説明したが、図１７（ａ）及び（ｂ）に示す通り、１横ライン（１行）ごとにデータが間引かれる場合も考えられる。

図１７（ａ）及び（ｂ）において白い部分が間引き後に残された画素を示す。図示の例では、Ｒ映像データとＬ映像データの間引く画素（ライン）の縦方向位置が、１画素（１行）ずつずれている。
本実施の形態３のコンテンツ再生装置としては、図１に示すもの或いは図１３に示すもののどちらでも用いうるが、以下の図１に示すものを用いる場合について説明する。

ここで間引き後のＲ映像データ及びＬ映像データの画素を縦方向（垂直方向）に詰め、Ｒ映像の画素を上半分にＬ映像の画素を下半分に配置して、図１２で示す通り１枚のフレームとし、さらにこのデータを所定の映像符号化圧縮方式に従って圧縮し、この圧縮データを音声データと多重化することで得られるストリームデータがコンテンツ記憶装置５に蓄積されているものとする。

再生に当たり、ＣＰＵ２がコンテンツ記憶装置５に格納されているストリームデータを読み出してから、Ｒ映像補間回路８ａにＲ映像データＤ２ＲとＬ映像データＤ２Ｌが入力されるまでは、実施の形態１で説明したのと同様の処理が行なわれる。
また、図５で示したＲ映像補間回路８ａの動作において、画像補間データ生成回路２１がＲ映像補間データＤ２Ｒｉを生成しフレーム合成回路２２に対して出力するまでの処理においても、実施の形態１で説明したのと同様の処理が行なわれる。

この後、フレーム合成回路２２は入力されたＲ映像データＤ２ＲとＲ映像補間データＤ３Ｒを縦方向において、１横ライン（１行）おきに並べる（交互に配置する）ことによってフレームを合成する。この並べ方の様子を図１８（ａ）〜（ｃ）に示す。この図では簡略化のために、図１８（ａ）に示される、４画素×４画素のサイズのＲ映像データＤ２Ｒ（＝Ｒ１１〜Ｒ４４）と、図１８（ｂ）に示される、同じく４画素×４画素のサイズのＲ映像補間データＤ２Ｒｉ（＝Ｒｉ１１〜Ｒｉ４４）を合成して、図１８（ｃ）に示される、８画素×４画素の補間後Ｒ映像データＤ３Ｒを生成する様子を示している。合成に際しては、Ｒ映像補間データ（Ｒｉ１１、Ｒｉ１２、…）が、対応するＲ映像データ（Ｒ１１、Ｒ１２、…）の下に位置するように配置される。この結果、Ｒ映像データＤ２ＲとＲ映像補間データＤ２Ｒｉの各画素は１行おきに配置されて、結果的に垂直方向の解像度が２倍となった（間引き前と解像度が同じになった）補間後Ｒ映像データＤ３Ｒが得られる。補間後Ｒ映像データＤ３Ｒのうち、Ｒ映像データ（Ｒ１１、Ｒ１２、…）に相当するものは、間引き後に残された画素と同じ位置の画素（図１７（ａ）の白色部分の画素）のデータであり、Ｒ映像補間データ（Ｒｉ１１、Ｒｉ１２、…）に相当するものは、間引かれた画素と同じ位置の画素（図１７（ａ）のハッチングを施した位置の画素）のデータである。

Ｌ映像補間回路８ｂは、Ｒ映像補間回路８ａと対称の構成を採り、Ｒ映像補間回路８ａと同様の動作を行うことで補間後Ｌ映像データＤ３Ｌを出力する。この場合、実施の形態１の説明と同様に、図５〜図８、図１７、図１８（ａ）〜（ｃ）における説明の「右」、「左」を逆に読み替え、符号の「Ｒ」、「Ｌ」を逆に読み替えれば、同じ説明がそのまま当てはまる。

実施の形態４におけるＬ映像補間回路８ｂ内のフレーム合成回路２２の動作を図１９（ａ）〜（ｃ）に示す。
Ｌ映像補間回路８ｂの合成回路２２も、入力されたＬ映像データＤ２ＬとＬ映像補間データＤ２Ｌｉを縦方向において１横ライン（１行）おきに並べる（交互に配置する）ことによってフレームを合成する。図１９（ａ）〜（ｃ）では、図１８（ａ）〜（ｃ）と同様に、簡略化のために、図１９（ａ）に示される、４画素×４画素のサイズのＬ映像データＤ２Ｌ（＝Ｌ１１〜Ｌ４４）と、図１９（ｂ）に示される、同じく４画素×４画素のサイズのＬ映像補間データＤ２Ｌｉ（＝Ｌｉ１１〜Ｌｉ４４）を合成して、図１９（ｃ）に示される、８画素×４画素の補間後Ｌ映像データＤ３Ｌを生成する。合成に際しては、Ｌ映像補間データ（Ｌｉ１１、Ｌｉ１２、…）が、対応するＬ映像データ（Ｌ１１、Ｌ１２、…）の上に位置するように配置される。この結果、Ｌ映像データＤ２ＬとＬ映像補間データＤ２Ｌｉの各画素は１行おきに配置されて、結果的に垂直方向向の解像度が２倍となった（間引き前と解像度が同じになった）補間後Ｌ映像データＤ３Ｌが得られる。補間後Ｌ映像データＤ３Ｌのうち、Ｌ映像データ（Ｌ１１、Ｌ１２、…）に相当するものは、間引き後に残された画素と同じ位置の画素（図１７（ｂ）の白色部分の画素）のデータであり、Ｌ映像補間データ（Ｌｉ１１、Ｌｉ１２、…）に相当するものは、間引かれた画素と同じ位置の画素（図１７（ｂ）ハッチングを施した位置の画素）のデータである。

Ｒ映像補間回路８ａが補間後Ｒ映像データＤ３Ｒを出力し、Ｌ映像補間回路８ｂが補間後Ｌ映像データＤ３Ｌを出力する処理以降の処理は実施の形態１で説明したのと同様である。

実施の形態４においても、実施の形態１と同様に、画素を間引くことでデータ量を削減した三次元映像コンテンツを表示する際に良好な表示品質を得ることが可能となる。
本実施の形態で説明した方法は、実施の形態２で説明したように間引き後のＲ映像を１枚のフレームとし、間引き後のＬ映像も同様に１枚のフレームとして左右の映像を別々のデータとして所定の映像符号化圧縮方式に従って圧縮されている場合にも適用することができる。

なお、本実施の形態では、ここで間引き後のＲ映像の画素を上半分にＬ映像の画素を下半分に配置して１枚のフレームとしたデータについて説明しているが、間引き後のＬ映像の画素を上半分にＲ映像の画素を下半分に配置しても良い。

実施の形態５．
本実施の形態は、類似領域検出部２０で、各参照領域について、類似する比較領域がないと判断されたときに、代わりの補間方向（参照領域のデータを用いた補間方法以外の方法）で補間を行なうものである。
本実施の形態５のコンテンツ再生装置としては、図１に示すもの或いは図１３に示すもののどちらでも用いうるが、以下の図１に示すものを用いる場合について説明する。また、Ｒ映像補間回路８ａとしては、図２０に示すものが用いられる。図２０に示されるＲ映像補間回路８ａは、図５に示されるものと概して同じであるが、以下の点で異なる。実施の形態５のコンテンツ再生装置のＬ映像補間回路８ｂも、図２０に示されるＲ映像補間回路８ａと同様に構成されている。

類似領域検出部２０は、複数の比較領域（例えば、参照領域と同じ縦方向位置のすべての、同じサイズの領域）について算出した類似度のうちの最大のものが、所定の閾値よりも小さいときは、類似する領域がないと判断する。そして、そのことを示すデータ（フラグ）を出力する。
この場合、類似領域検出部２０が各参照領域に類似する領域がないと判断したときは、補間データ生成回路２１が、当該参照領域内の各画素の補間データの代わりに、補間データが無効であることを示すデータを生成することとしても良い。
また、この場合、フレーム合成回路２２は、各画素について補間データが無効であることを示すデータを受けたときは、画像補間データ生成回路から供給される補間データの代わりに、各画素（補間後に当該画素が配置される位置）の周辺の画素のデータから算出した補間データを用いて補間を行なう。例えば、各画素の周辺の画素として、当該画素（補間後に当該画素が配置される位置）の上、下、左、右に隣接する画素の画素値の平均値を、補間データとして算出する。
類似度の指標として、式（１）で示した差分絶対値和Ｄｓを用いる場合には、差分絶対値和Ｄｓに対する閾値Ｄｓｔを設定しておき、差分絶対値和Ｄｓが閾値Ｄｓｔ以下である比較領域が見つからなかった場合には、類似する領域がないとの判断を行なうこととする。
以下、詳細に説明する。

類似度の比較及びＲＬ差ベクトルを算出する際の参照領域および比較領域のサイズは、実際には、実施の形態１〜４と同様に、１６画素×１６画素程度であるが、以下の説明においては、説明を簡略化するために４画素×４画素とする。

類似領域検出部２０は、実施の形態１に関して図７（ａ）及び（ｂ）を参照して説明したように、参照領域に対して、同じ縦方向位置の比較領域を順次選択して、同じ縦方向位置のすべての比較領域について差分絶対値Ｄｓを求め、さらにその最小値Ｄｓｍｉｎを求める。

類似領域検出部２０はさらに、求められた最小値Ｄｓｍｉｎを閾値Ｄｓｔと比較する。そして、比較の結果に応じて、差分絶対値Ｄｓが最小となった比較領域のＲＬ差ベクトルを出力するか、求めたＲＬ差ベクトルが無効であることを示すデータ（フラグ）を出力する。
即ち、Ｄｓｍｉｎ≦Ｄｓｔの場合は、その領域（差分絶対値和Ｄｓが最小であった領域）のＬ映像データフレーム上の位置の、Ｒ映像データフレーム上の参照領域に対する相対位置（横方向の差）を、ＲＬ差ベクトルとして出力する。

Ｄｓｍｉｎ＞Ｄｓｔの場合は、参照領域に対して、類似度が十分に高い比較領域が存在せず、従って、有効なＲＬ差ベクトルが存在しないと判定して、フラグ等の設定することで当該の参照領域に対するＲＬ差ベクトルが無効であることを表す。

図２１（ａ）には、上から２行目で左から２列目の領域について、ＲＬ差ベクトルＶ（２，２）の代わりに、符号ＶＤＩ（２，２）で表されるデータ（フラグ）が生成されており、これにより、ＲＬ差ベクトルＶ（２，２）が無効であることが示されている。

画像補間データ生成回路２１は、入力されたＲＬ差ベクトルＶ（２，２）又はＲＬ差ベクトルが無効であることを示すデータＶＤＩ（２，２）と、当該のＲＬ差ベクトルを算出する際に用いたものと同じ時間のＬ映像データＤ２Ｌを入力として、４画素×４画素の各領域ＢＲ（ｍ，ｎ）について求められているＲＬ差ベクトルＶ（ｍ，ｎ）を元に、Ｌ映像データからＲＬ差ベクトルＶ（ｍ，ｎ）が指し示す位置の（当該参照領域に対してＲＬ差ベクトルＶ（ｍ，ｎ）で表される相対位置にある）４画素×４画素の領域の画素データを取り出して、ＲＬ差ベクトルＶ（ｍ，ｎ）が求められた領域ＢＲ（ｍ，ｎ）と同じサイズの領域に並べることで、Ｒ映像補間データＤ２Ｒｉ（図２１（ｃ））を生成する。
画像補間データ生成回路２１はさらに、ＲＬ差ベクトルが無効の領域（ＲＬ差ベクトルＶ（ｍ，ｎ）の代わりにＶＤＩ（ｍ，ｎ）が生成された領域）に含まれる各画素に対してはフラグ等の設定することでＲ映像補間データＤ２Ｒｉ（図２１（ｃ））の当該の領域のデータが無効であることを示す。

図２１（ｃ）では上から２行目で左から２列目の領域（画素数では、左から５〜８番目と上から５〜８番目の４画素×４画素の領域）のＲ映像補間データＲｉｐｑ（ｐ＝５〜８、ｑ＝５〜８）が無効であることをＲＤＩｐｑと表記して示している。
フレーム合成回路２２は、入力されたＲ映像データＤ２Ｒ（図２１（ｂ））とＲ映像補間データＤ２Ｒｉ（図２１（ｃ））を横方向及び縦方向に１画素おきに並べることによってフレームを合成する際に、Ｒ映像補間データＤ２Ｒｉに無効なデータが存在する場合、補間後の画素配置において、当該画素の上、下、左、右に隣接する画素の値の平均を算出し、その結果を当該画素の画素値とする。フレーム合成回路２２は、このような平均補間データを生成するための平均演算回路２３を内蔵している。

このようにして平均演算回路２３で生成された補間データが、画像補間データ生成回路２１からのデータの代わりに用いられた画素が、図２２では符号Ｘｐｑで表されている。平均演算回路２３において、画素値の平均を求める式を以下に示す。

式（２）において、Ｒ（ｐ−１）ｑ、Ｒ（ｐ＋１）ｑ、Ｒｐｑ、Ｒｐ（ｑ＋１）が、それぞれ、補間後の画素配置における、補間対象画素Ｘｐｑの上、下、左、右に隣接する画素のデータで表す。

式（２）の計算に使用する画素値は、例えば輝度信号、青色色差信号、赤色式差信号であり、これらを単独もしくは組み合わせて用いて良い。また、ＲＧＢ信号の各コンポーネントデータを単独もしくは組み合わせて用いても良い。

実施の形態５においても、Ｌ映像補間回路８ｂは、Ｒ映像補間回路８ａと対称の構成を採り、Ｒ映像補間回路８ａと同様の動作を行うことで補間後Ｌ映像データＤ３Ｌを出力する。この場合、実施の形態１の説明と同様に、図６〜図８、図２０、図２１（ａ）〜（ｃ）、図２２における説明の「右」、「左」を逆に読み替え、符号の「Ｒ」、「Ｌ」を逆に読み替えれば、同じ説明がそのまま当てはまる。

以上のように構成することで、画素を間引くことでデータ量を削減した三次元映像コンテンツを表示する際に良好な表示品質を得ることが可能となる。なお、本実施の形態では、フラグ等の設定することで当該の参照領域に対するＲＬ差ベクトルが無効であることを表すこととしているが、独立したファイルやデーターベースの形式で当該の参照領域に対するＲＬ差ベクトルが無効であることを表すこととしても良い。
また、ＲＬ差ベクトルが無効である領域に含まれる各画素に対してフラグ等の設定することでＲ映像補間データの当該の領域のデータが無効であることを表すこととしているが、独立したファイルやデーターベースの形式で当該の領域のデータが無効であることを表しても良い。

この発明の実施の形態１のコンテンツ再生装置の構成を示すブロック構成図である。 実施の形態１で用いられる、映像データの、間引く前の状態における、画素の配列を示す図である。 （ａ）及び（ｂ）は、実施の形態１において、映像データの間引き方の一例を示す図である。 実施の形態１において、データを間引いた左目用の映像と右目用の映像を左右に合成して１フレームの画像に合成する方法の一例を示す図である。 実施の形態１のＲ映像補間回路の一構成例を示すブロック図である。 各フレーム内の領域の配列の一例を示す図である。 （ａ）及び（ｂ）は、実施の形態１において、一つの参照領域と複数の比較領域とを示す図である。 図６に示すＭ×Ｎ個の領域のそれぞれについて求められたＲＬ差ベクトルを示す図である。 （ａ）〜（ｃ）は、実施の形態１において、Ｒ映像データとＲ映像補間データを合成する方法の一例を示す図である。 （ａ）〜（ｃ）は、実施の形態１において、Ｌ映像データとＬ映像補間データを合成する方法の一例を示す図である。 この発明の実施の形態１において、Ｒ映像のフレームとＬ映像のフレームを組合せる方法の一例を示す図である。 実施の形態１において、データを間引いた左目用の映像と右目用の映像を上下に合成して１フレームの画像に合成する方法の他の例を示す図である。 この発明の実施の形態２のコンテンツ再生装置の構成を示すブロックである。 （ａ）及び（ｂ）は、この発明の実施の形態３において、映像データの間引き方の一例を示す図である。 （ａ）〜（ｃ）は、実施の形態３において、Ｒ映像データとＲ映像補間データを合成する方法の一例を示す図である。 （ａ）〜（ｃ）は、実施の形態３において、Ｌ映像データとＬ映像補間データを合成する方法の一例を示す図である。 （ａ）及び（ｂ）は、この発明の実施の形態４において、映像データの間引き方の一例を示す図である。 （ａ）〜（ｃ）は、この発明の実施の形態４において、Ｒ映像データとＲ映像補間データを合成する方法の一例を示す図である。 （ａ）〜（ｃ）は、この発明の実施の形態４において、Ｌ映像データとＬ映像補間データを合成する方法の一例を示す図である。 実施の形態５のＲ映像補間回路の一構成例を示すブロック図である。 （ａ）〜（ｃ）は、この発明の実施の形態５において、Ｒ映像データとＲ映像補間データを合成する方法の一例を示す図である。 この発明の実施の形態５において、Ｒ映像データとＲ映像補間データを合成する方法の一例を示す図である。

符号の説明

１ コンテンツ再生装置、 ２ ＣＰＵ、 ３ ＲＯＭ、 ４ コンテンツ記憶装置、 ６ デコード回路、 ６ａ Ｒ映像デコード回路、 ６ｂ Ｌ映像デコード回路、 ７ 分離回路、 ８ａ Ｒ映像補間回路、 ８ｂ Ｌ映像補間回路、 ９ 多重化回路、 １０ 出力Ｉ／Ｆ、 １１ 三次元映像表示装置、 ２０ 類似領域検出部、 ２１ 画像補間データ生成回路、 ２２ フレーム合成回路。

Claims (24)

1. 符号化圧縮された右目用の映像と左目用の映像を復号化して、表示装置に対して出力するコンテンツ再生装置であって、
   画素数が１／２に間引かれて符号化圧縮された右目用の映像および左目用の映像を復号化する映像復号化手段と、
   復号化された右目用の映像及び左目用の映像の各々の一部をなす各領域の画像データに類似する、前記各領域と同じサイズの領域を、前記復号化された右目用の映像及び左目用の映像の他方から検出する類似領域検出手段と、
   前記類似する領域から画素データを抽出して各々の目用の映像補間データを生成する映像補間データ生成手段と、
   前記復号化された前記各々の目用の映像を前記各々の目用の映像補間データによって補間するフレーム合成手段とを備える
   ことを特徴とするコンテンツ再生装置。
2. 前記類似領域検出手段は、前記類似する領域として、前記各領域の画像データに対する類似度が最大の領域を検出することを特徴とする請求項１に記載のコンテンツ再生装置。
3. 前記画素数が１／２に間引かれて符号化圧縮された右目用の映像および左目用の映像として、マトリクス状に配列された画素のうちの各水平ラインの画素を１画素おきに、かつ各垂直ラインの画素を１画素おきに間引いて、市松模様状に配列された画素から成る映像を、符号化圧縮した映像が用いられ、
   前記フレーム合成手段は、
   前記復号化された各々の目用の映像を前記各々の目用の映像補間データによって補間する際に前記各々の目用の映像の画素と前記各々の目用の映像補間データの画素を縦方向に１画素おきに交互に、かつ横方向に１画素おきに交互に配置する
   ことを特徴とする請求項１に記載のコンテンツ再生装置。
4. 前記画素数が１／２に間引かれて符号化圧縮された右目用の映像および左目用の映像として、マトリクス状に配列された画素のうちの１垂直ラインおきに間引き、符号化圧縮した映像が用られ、
   前記フレーム合成手段は、前記復号化された各々の目用の映像を前記各々の目用の映像補間データによって補間する際に前記各々の目用の映像の画素と前記各々の目用の映像補間データの画素を横方向に１垂直ラインずつ交互に配置する
   ことを特徴とする請求項１に記載のコンテンツ再生装置。
5. 前記画素数が１／２に間引かれて符号化圧縮された右目用の映像および左目用の映像として、マトリクス状に配列された画素のうちの１水平ラインおきに間引き、符号化圧縮した映像が用いられ、
   前記フレーム合成手段は、前記復号化された各々の目用の映像を前記各々の目用の映像補間データによって補間する際に前記各々の目用の映像の画素と前記各々の目用の映像補間データの画素を縦方向に１水平ラインずつ交互に配置する
   ことを特徴とする請求項１に記載のコンテンツ再生装置。
6. 前記類似領域検出手段は、前記復号化された各々の目用の映像の各領域の画像データに類似する領域を検出する際に、前記各々の目用の映像の上記各領域と縦方向の同じ位置にある複数の領域の各々との比較を行い、類似度が最大のものを前記類似する領域として選択することを特徴とする請求項１乃至５のいずれかに記載のコンテンツ再生装置。
7. 前記類似領域検出手段は、前記復号化された各々の目用の映像の各領域の画像データに類似する領域を検出する際に、前記各々の目用の映像の前記各領域と縦方向の同じ位置にあるすべての領域の各々との比較を行い、類似度が最大のものを前記類似する領域として選択することを特徴とする請求項６に記載のコンテンツ再生装置。
8. 前記類似領域検出手段は、前記復号化された各々の目用の映像の各領域の画像データに類似する領域がないと判断したときは、そのことを示すデータを生成することを特徴とする請求項１乃至７のいずれかに記載のコンテンツ再生装置。
9. 前記類似領域検出手段は、前記類似度の最大値が所定の閾値よりも小さいときは、前記復号化された各々の目用の映像の各領域の画像データに類似する領域がないと判断し、そのことを示すデータを生成することを特徴とする請求項６又は７に記載のコンテンツ再生装置。
10. 前記類似領域検出手段が、前記各領域に類似する領域がないと判断したときは、前記映像補間データ生成手段は、前記当該領域内の各画素の補間データの代わりに、補間データが無効であることを示すデータを生成することを特徴とする請求項８又は９に記載のコンテンツ再生装置。
11. 前記フレーム合成手段は、各画素について前記補間データが無効であることを示すデータを受けたときは、前記補間データの代わりに、当該画素の補間後に当該画素の周辺に位置することになる画素のデータから算出した補間データを用いて補間を行なう
    ことを特徴とする請求項１０に記載のコンテンツ再生装置。
12. 前記各画素の周辺の画素として、補間後に当該画素の上、下、左、右に隣接することになる画素の画素値の平均値を、補間データとして算出することを特徴とする請求項１１に記載のコンテンツ再生装置。
13. 符号化圧縮された右目用の映像と左目用の映像を復号化して、表示装置に対して出力するコンテンツ再生方法であって、
    画素数が１／２に間引かれて符号化圧縮された右目用の映像および左目用の映像を復号化する映像復号化ステップと、
    復号化された右目用の映像及び左目用の映像の各々の一部をなす各領域の画像データに類似する、前記各領域と同じサイズの領域を、前記復号化された右目用の映像及び左目用の映像の他方から検出する類似領域検出ステップと、
    前記類似する領域から画素データを抽出して各々の目用の映像補間データを生成する映像補間データ生成ステップと、
    前記復号化された前記各々の目用の映像を前記各々の目用の映像補間データによって補間するフレーム合成ステップとを備える
    ことを特徴とするコンテンツ再生方法。
14. 前記類似領域検出ステップは、前記類似する領域として、前記各領域の画像データに対する類似度が最大の領域を検出することを特徴とする請求項１３に記載のコンテンツ再生方法。
15. 前記画素数が１／２に間引かれて符号化圧縮された右目用の映像および左目用の映像として、マトリクス状に配列された画素のうちの各水平ラインの画素を１画素おきに、かつ各垂直ラインの画素を１画素おきに間引いて、市松模様状に配列された画素から成る映像を、符号化圧縮した映像が用いられ、
    前記フレーム合成ステップは、前記復号化された各々の目用の映像を前記各々の目用の映像補間データによって補間する際に前記各々の目用の映像の画素と前記各々の目用の映像補間データの画素を縦方向に１画素おきに交互に、かつ横方向に１画素おきに交互に配置する
    ことを特徴とする請求項１３に記載のコンテンツ再生方法。
16. 前記画素数が１／２に間引かれて符号化圧縮された右目用の映像および左目用の映像として、マトリクス状に配列された画素のうちの１垂直ラインおきに間引き、符号化圧縮した映像が用られ、
    前記フレーム合成ステップは、前記復号化された各々の目用の映像を前記各々の目用の映像補間データによって補間する際に前記各々の目用の映像の画素と前記各々の目用の映像補間データの画素を横方向に１垂直ラインずつ交互に配置する
    ことを特徴とする請求項１３に記載のコンテンツ再生方法。
17. 前記画素数が１／２に間引かれて符号化圧縮された右目用の映像および左目用の映像として、マトリクス状に配列された画素のうちの１水平ラインおきに間引き、符号化圧縮した映像が用いられ、
    前記フレーム合成ステップは、前記復号化された各々の目用の映像を前記各々の目用の映像補間データによって補間する際に前記各々の目用の映像の画素と前記各々の目用の映像補間データの画素を縦方向に１水平ラインずつ交互に配置する
    ことを特徴とする請求項１３に記載のコンテンツ再生方法。
18. 前記類似領域検出ステップは、前記復号化された各々の目用の映像の各領域の画像データに類似する領域を検出する際に、前記各々の目用の映像の上記各領域と縦方向の同じ位置にある複数の領域の各々との比較を行い、類似度が最大のものを前記類似する領域として選択することを特徴とする請求項１３乃至１７のいずれかに記載のコンテンツ再生方法。
19. 前記類似領域検出ステップは、前記復号化された各々の目用の映像の各領域の画像データに類似する領域を検出する際に、前記各々の目用の映像の前記各領域と縦方向の同じ位置にあるすべての領域の各々との比較を行い、類似度が最大のものを前記類似する領域として選択することを特徴とする請求項１８に記載のコンテンツ再生方法。
20. 前記類似領域検出ステップは、前記復号化された各々の目用の映像の各領域の画像データに類似する領域がないと判断したときは、そのことを示すデータを生成することを特徴とする請求項１３乃至１９のいずれかに記載のコンテンツ再生方法。
21. 前記類似領域検出ステップは、前記類似度の最大値が所定の閾値よりも小さいときは、前記復号化された各々の目用の映像の各領域の画像データに類似する領域がないと判断し、そのことを示すデータを生成することを特徴とする請求項１８又は１９に記載のコンテンツ再生方法。
22. 前記類似領域検出ステップが、前記各領域に類似する領域がないと判断したときは、前記映像補間データ生成ステップは、前記当該領域内の各画素の補間データの代わりに、補間データが無効であることを示すデータを生成することを特徴とする請求項２０又は２１に記載のコンテンツ再生方法。
23. 前記フレーム合成ステップは、各画素について前記補間データが無効であることを示すデータを受けたときは、前記補間データの代わりに、当該画素の補間後に当該画素の周辺に位置することになる画素のデータから算出した補間データを用いて補間を行なう
    ことを特徴とする請求項２２に記載のコンテンツ再生方法。
24. 前記各画素の周辺の画素として、補間後に当該画素の上、下、左、右に隣接することになる画素の画素値の平均値を、補間データとして算出することを特徴とする請求項２３に記載のコンテンツ再生方法。

Images