JPWO2009154033A1 - 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置 - Google Patents

Abstract

三次元映像データを、そのデータ量を減らして記録媒体に記録することができる三次元映像変換記録装置であって、入力された三次元映像ストリームを複数の映像ストリームに分離する分離部１０と、分離された複数の映像ストリームの内の少なくとも一つをデコードするデコード部１１と、デコードされた映像ストリームのデータ量を減らすフレーム間引き部１３と、データ量が減らされた映像ストリームをエンコードするエンコード部１４と、分離された複数の映像ストリームの内のデコード部１１に入力された映像ストリーム以外の映像ストリームである他の映像ストリームと、エンコードされた映像ストリームとを多重化する多重化部１５と、多重化された映像データを記録媒体２１に記録する記録部を有する。

Description

本発明は、立体表示用の映像データ（三次元映像データ）を、そのデータ量を減らして記録媒体に記録する三次元映像変換記録装置及び三次元映像変換記録方法、多重化された映像データが記録された記録媒体、三次元映像変換装置、並びに三次元映像伝送装置に関するものである。

三次元映像データの伝送方法が、例えば、特許文献１に開示されている。この伝送方法では、左目用映像データと右目用映像データとを、それぞれ１画素毎に所定ビット数で構成し、左目用映像データ及び右目用映像データのいずれか一方に、他方を１画素単位で付加して、画素クロックに同期したタイミングで伝送する。

特開２００７−３３６５１８号公報（要約、図４）

しかしながら、このような伝送方法で伝送される三次元映像データのデータ量は、二次元映像データのデータ量に比べて、１画素あたり２倍である。このため、三次元映像データの記録には、二次元映像データの記録に比べて、約２倍の記録容量（ディスク容量）が必要になるので、記録装置による録画可能時間が短くなる、又は、大容量の記録装置が必要になるという問題があった。特に、水平１９２０画素、垂直１０８０ライン以上（「フルハイビジョン」とも言う。）の解像度の高い三次元映像データを記録する場合には、記録装置のディスク容量の不足によって、多くの番組を録り溜めておくことができなかった。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、三次元映像データを、そのデータ量を減らして記録媒体に記録することができる三次元映像変換記録装置及び三次元映像変換記録方法、多重化された映像データが記録された記録媒体、三次元映像変換装置、並びに三次元映像伝送装置を提供することにある。

本発明の三次元映像変換記録装置は、三次元映像を構成する複数の映像データの内の少なくとも一つの映像データのデータ量を減らす削減手段と、前記データ量が減らされた映像データをエンコードし、エンコードされた映像データを出力するエンコード手段と、三次元映像を構成する前記複数の映像データの内の前記データ量が減らされた映像データ以外の映像データと、前記データ量が減らされエンコードされた映像データとを多重化する多重化手段と、前記多重化手段によって多重化された映像データを記録媒体に記録する記録手段と、前記削減手段によるデータ量の削減の仕方を決めるための設定値を格納する設定格納手段と、前記削減手段の動作を制御する制御手段とを有し、前記制御手段は、前記設定格納手段に格納された前記設定値に基づく制御信号を前記削減手段に出力し、前記削減手段は、前記制御信号に基づいて映像データのデータ量を減らし、前記データ量が減らされた映像データを前記エンコード手段に出力することを特徴とする。

また、本発明の三次元映像変換記録方法は、三次元映像を構成する複数の映像データのデータ量を削減する方法を決めるための設定値を格納する設定格納ステップと、前記設定値に基づいて、三次元映像を構成する前記複数の映像データの内の少なくとも一つの映像データのデータ量を減らす削減ステップと、前記削減ステップによってデータ量が減らされた映像データをエンコードし、エンコードされた映像データを出力するステップと、三次元映像を構成する前記複数の映像データの内のデータ量を減らされた映像データ以外の映像データと、前記データ量が減らされエンコードされた映像データとを多重化する多重化ステップと、前記多重化ステップによって多重化された映像データを記録媒体に記録するステップとを有することを特徴とする。

また、本発明の記録媒体は、上記の三次元映像変換記録装置若しくは三次元映像変換記録方法によって多重化された映像データが記録されたことを特徴とする。

本発明の三次元映像変換記録装置、三次元映像変換記録方法、及び記録媒体によれば、三次元映像データから分離された複数の映像データの内の少なくとも一つのデータ量を減らすことによって、記録手段によって記録される三次元映像データのデータ量を減らすことができ、記録領域を有効に使用することができるという効果がある。また、本発明の三次元映像変換装置によれば、変換によって生成されるデータのサイズが縮小される効果があり、本発明の三次元映像伝送装置によれば、伝送されるデータのサイズが縮小されるという効果がある。

本発明の実施の形態１に係る三次元映像変換記録装置（すなわち、実施の形態１に係る三次元映像変換記録方法を実施する装置）の構成を概略的に示すブロック図である。 分離部から多重化部に出力される左目用映像のフレーム列と、フレーム間引き部から出力される右目用映像のフレーム列とを示す説明図である。 図１に示されるシーンチェンジ検出部の構成を概略的に示すブロック図である。 実施の形態１に係る三次元映像変換記録装置に記録されるファイルとデータ構造の一例を示す図である。 （ａ）及び（ｂ）は、実施の形態１に係る三次元映像変換記録装置に記録されるＭＰＥＧ−２ビデオデータのシーケンスヘッダの構造及びシーケンス・ディスプレイの構造を示す図である。 （ａ）及び（ｂ）は、本発明の実施の形態２に係る三次元映像変換記録装置において分離される二次元映像フレームと深さ情報フレームを示す図である。 本発明の実施の形態３に係る三次元映像変換記録装置（すなわち、実施の形態３に係る三次元映像変換記録方法を実施する装置）の構成を概略的に示すブロック図である。 実施の形態３に係る三次元映像変換記録装置のトリミング部によってトリミングされるトリミング領域を示す図である。 本発明の実施の形態４に係る三次元映像変換記録装置（すなわち、実施の形態４に係る三次元映像変換記録方法を実施する装置）の構成を概略的に示すブロック図である。 本発明の実施の形態５に係る三次元映像変換記録装置（すなわち、実施の形態５に係る三次元映像変換記録方法を実施する装置）の構成を概略的に示すブロック図である。 （ａ）及び（ｂ）は、本発明の実施の形態６に係る三次元映像変換記録装置（すなわち、実施の形態６に係る三次元映像変換記録方法を実施する装置）のフレーム画素を市松模様に間引くパターンと走査線を間引くパターンを示す図である。 本発明の実施の形態７に係る三次元映像変換記録装置（すなわち、実施の形態７に係る三次元映像変換記録方法を実施する装置）の３Ｄ＿Ｔｙｐｅ構造を示す図である。 本発明の実施の形態８に係る三次元映像変換記録装置（すなわち、実施の形態１に係る三次元映像変換記録方法を実施する装置）の構成を概略的に示すブロック図である。 実施の形態８に係る三次元映像変換記録装置において検出されるオブジェクトの移動を示す図である。 実施の形態１に係る三次元映像伝送装置（すなわち、実施の形態１に係る三次元映像伝送方法を実施する装置）の構成を概略的に示すブロック図である。

実施の形態１．
図１は、本発明の実施の形態１に係る三次元映像変換記録装置（すなわち、実施の形態１に係る三次元映像変換記録方法を実施する装置）の構成を概略的に示すブロック図である。図１に示されるように、実施の形態１に係る三次元映像変換記録装置は、入力された三次元映像データを含む入力ストリームＳａを複数の映像データ（ストリーム）に分離する分離部１０と、分離された複数のストリームの内の少なくとも一つのストリーム（例えば、右目用映像データ（右目用映像ストリーム）Ｓｃ）をデコードし、デコードされた映像データＳｃ１を出力するデコード手段としてのデコード部１１と、映像データＳｃ１を一時的に記憶するフレームバッファ１２と、フレームバッファ１２から出力された映像データＳｃ２のデータ量を減らすためにフレームを間引く削減手段としてのフレーム間引き部１３と、データ量が減らされた映像データＳｃ３をエンコードし、エンコードされた映像データＳｃ４を出力するエンコード手段としてのエンコード部１４と、分離部１０の分離によって生成された複数の映像データの内のデコード部１１に入力された映像データＳｃ以外の映像データである他の映像データ（ストリーム）（例えば、左目用映像データ（左目用映像ストリーム）Ｓｂ、並びに、音声ストリーム及び字幕ストリーム等Ｓｄ）と、エンコード部１４によってエンコードされた映像データＳｃ４とを多重化する多重化手段としての多重化部１５と、多重化部１５によって多重化された映像データＳｅを記録媒体に記録する記録手段としての記録部（ストレージ）１６とを有している。また、実施の形態１に係る三次元映像変換記録装置は、予め設定された又はユーザ入力によって設定された設定値を保持する設定格納手段としての設定格納部１７と、装置全体の動作（特に、分離部１０及びフレーム間引き部１３の動作）を制御する制御手段としてのコントローラ１８と、デコードされた映像データから映像の特徴の変化点を検出する特徴変化点検出手段としてのシーンチェンジ検出部１９とを有している。

分離部１０は、例えば、放送受信機（図示せず）、リムーバブルディスクの再生装置（図示せず）、又はネットワーク（図示せず）などから、三次元映像データのコンテンツを含む入力ストリームＳａを、トランスポートストリーム（ＴＳ）又はプログラムストリーム（ＰＳ）として受け取る。分離部１０は、入力ストリームＳａを、例えば、映像ストリーム、音声ストリーム、字幕ストリームなどに分離する処理と、映像ストリームを、複数のストリームに分離する処理を行なう。映像ストリームが左目用映像ストリームと右目用映像ストリームとが多重化されたストリームである場合には、分離部１０は、入力ストリームＳａから、例えば、左目用映像ストリームと右目用映像ストリームを分離する。実施の形態１においては、設定格納部１７に格納された設定によって、分離部１０で分離された左目用映像ストリームＳｂが多重化部１５に入力され、分離部１０で分離された右目用映像ストリームＳｃがデコード部１１に入力される場合を説明するが、右目用映像ストリームが多重化部１５に入力され、左目用映像ストリームがデコード部１１に入力される場合もある。映像ストリームが左目用映像ストリームと右目用映像ストリームとが別のストリームとして多重化されたストリームである場合には、分離部１０は、入力ストリームＳａから、例えば、左目用映像ストリームと右目用映像ストリームを分離する。映像ストリームが左目用映像ストリームと右目用映像ストリームとを別のストリームとしていないストリームである場合、例えば、映像ストリームが左目用映像データと右目用映像データとを含む１つのストリームである場合には、分離部１０は、左目用映像ストリームと右目用映像ストリームとを含むストリームを左目用映像ストリームと右目用映像ストリームに分離する処理を行う。

実施の形態１においては、左目用の映像を右目用の映像より重視する、又は、右目用の映像を左目用の映像より重視する、のいずれかの設定内容（例えば、設定値）が設定格納部１７に格納される。左目用の映像を右目用の映像より重視する設定では、左目用映像ストリームＳｂは加工せずに多重化部１５に入力させ、右目用映像ストリームＳｃは加工処理（実施の形態１においては、フレーム間引き処理）を施してから多重化部１５に入力させる。一方、右目用の映像を左目用の映像より重視する設定では、右目用映像ストリームは加工せずに多重化部１５に入力させ、左目用映像ストリームは加工処理を施してから多重化部１５に入力させる。このための設定内容は、予め又はユーザによる入力操作によって設定格納部１７に格納されており、コントローラ１８は、設定格納部１７の設定内容に基づく制御信号を出力して分離部１０及びフレーム間引き部１３の動作を制御する。なお、実施の形態１においては、左目用の映像を右目用の映像より重視する設定がなされた場合を中心に説明する。

設定格納部１７には、左目用の映像と右目用の映像のいずれを重視するかという上述の設定内容と、後述の画質の設定内容が格納される。三次元映像変換記録装置は、設定格納部１７に格納されるこれらの設定内容に基づいてデータ量を削減した映像データを記録媒体に記録する。

デコード部１１は、右目用映像ストリームＳｃをデコードして、フレームバッファ１２に出力する。フレームバッファ１２は、デコードされた右目用映像ストリームＳｃ１を格納する。フレーム間引き部１３は、コントローラ１８からの制御信号に基づいて、フレームバッファ１２から右目用映像ストリームＳｃ２を読み出し、フレームの間引き処理を行ってデータ量を削減し、データサイズの小さなストリームＳｃ３をエンコード部１４に出力する。エンコード部１４は、ストリームＳｃ３をエンコードして、ストリームビットレートが小さくなったストリームＳｃ４を多重化部１５に出力する。このため、エンコード部１４は、ビットレートの計算を行い、新たにビットレートの値を付加しなおす処理を行う。

多重化部１５は、加工処理を受けていない左目用映像ストリームＳｂ及び音声、字幕などのストリームＳｄと、加工処理を受けた右目用映像ストリームＳｃとを受け取って、これらを多重化し、記録部（ストレージ）１６は、多重化部１５から出力された多重化されたストリームＳｅを記録媒体に記録する。

次に、フレーム間引き部１３の動作を説明する。三次元映像変換記録装置の録画設定には、番組を多く録画できるようにする（記録可能時間を長くする）ために、画質を落として再エンコードして録画する方式と、画質を極力低下させずに高い画質で（再エンコードせずに）録画する方式とがある。例えば、設定格納部１７に格納された設定において、ユーザが高画質で記録することを選択している場合には、入力ストリームＳａを分離部１０に入力せずに、記録部１６に直接入力する手段（図示せず）を設けてもよい。一方、番組を多く録画できるようにする設定が設定格納部１７に格納されている場合には、分離部１０で右目用映像ストリームＳｃが取り出され、デコード部１１で右目用映像ストリームＳｃがデコードされてフレームバッファ１２に入力される。設定格納部１７から読み出された画質の設定に応じて、コントローラ１８は、フレームバッファ１２の更新タイミングを制御する。設定格納部１７に記録されている設定値は、フレームの間引き度合いを示す値を含み、コントローラ１８の指示によりフレーム間引き部１３で、設定値に指定されている数だけ同じフレームを取り込むようにする。動画の圧縮処理においては、前後のフレームの差分が小さい場合には、圧縮率を高めても画質に対する悪影響が少ない。例えば、同じフレームが続いた映像データをエンコードする場合には、フレーム間の差分が０であるため、その区間の圧縮後のデータ量を０にすることができる。

図２は、分離部１０から多重化部１５に出力される左目用映像のフレーム（１Ｌ，２Ｌ，３Ｌ，４Ｌ，５Ｌ，６Ｌ，…）から成る左目用映像のフレーム列１００と、フレーム間引き部１３から出力される右目用映像のフレーム（１Ｒ，１Ｒ，３Ｒ，３Ｒ，５Ｒ，５Ｒ，…）から成る右目用映像のフレーム列２００とを示す説明図である。なお、図２において、ｔは時間軸を示す。図２において、左目用映像のフレーム１０１，１０２，１０３，１０４，１０５，１０６，…と右目用映像のフレーム２０１，２０２，２０３，２０４，２０５，２０６，…とはそれぞれ対応するフレームである。図２に示されるように、実施の形態１においては、三次元映像変換記録装置は、左目用映像のフレームを間引かずにそのまま出力しており、例えば、１番目の入力映像フレーム１Ｌを１番目の左目用映像のフレーム１０１として出力し、２番目の入力映像フレーム２Ｌを２番目の左目用映像のフレーム１０２として出力し、３番目の入力映像フレーム３Ｌを３番目の左目用映像のフレーム１０３として出力し、４番目の入力映像フレーム４Ｌを４番目の左目用映像のフレーム１０４として出力し、５番目の入力映像フレーム５Ｌを５番目の左目用映像のフレーム１０５として出力し、６番目の入力映像フレーム６Ｌを６番目の左目用映像のフレーム１０６として出力する。これに対し、図２に示されるように、実施の形態１においては、フレーム間引き部１３は、右目用映像のフレームを間引いて出力しており、例えば、１番目の入力映像フレーム１Ｒを１番目の右目用映像のフレーム２０１として出力し、同じ１番目の入力映像フレーム１Ｒを２番目の右目用映像のフレーム２０２として出力し、３番目の入力映像フレーム３Ｒを３番目の右目用映像のフレーム２０３として出力し、同じ３番目の入力映像フレーム３Ｒを４番目の右目用映像のフレーム２０４として出力し、５番目の入力映像フレーム５Ｒを５番目の右目用映像のフレーム２０５として出力し、同じ５番目の入力映像フレーム５Ｒを６番目の右目用映像のフレーム２０６として出力する。図２に示される右目用のストリーム列２００は、同じフレームを２回繰り返すように右目用映像のフレームのデータを出力する場合を示しているが、データ量の削減率をさらに高める場合には（画質を落とす設定の場合）には、同じフレームの出力回数を増やす、例えば、３回同じフレームを繰り返す方法を採用してもよい。

また、コントローラ１８は、シーンチェンジ検出部１９によって特徴の変化点、例えば、シーンチェンジが検出されたフレームを間引く処理を、フレーム間引き部１３に実行させないように制御することができる。図２に示されるように、右目用映像フレームについて、同じフレームを２回繰り返すように動作させているときであって、シーンチェンジ点Ｐ１として示されるようにフレーム１０Ｒにシーンチェンジが検出された場合には、右目用映像のフレーム２１０として、フレーム９Ｒを繰り返すのでははく（すなわち、フレーム間引き手段１３による間引き処理を行なわずに）、シーンチェンジが検出されたフレーム１０Ｒを表示し、その後、同じフレームを２回繰り返すように動作させる。同一フレームを繰り返すことによってデータ圧縮率を高めることができるが、左目用映像のフレームと右目用映像のフレームの映像の差が大きくなるときには（例えば、シーンチェンジ点においては）、視聴者（ユーザ）は映像に不自然さを感じる（違和感を覚える）場合がある。シーンチェンジ検出部１９でシーンチェンジを検出し、シーンチェンジが検出された場合には、新たなフレームデータ（図２におけるフレーム１０Ｒ）を出力する方式を採用することによって、左目用映像データと右目用映像データの差が極端に大きくなる状態を排除することによって、視聴者が映像の不自然さを感じないようにすることができる。シーンチェンジ検出部１９による特徴変化点の検出結果を用いた制御は、フレームの繰り返し表示回数が多い場合（例えば、図２のフレーム列２００における同じフレームの繰り返し回数が多い場合）に、特に有効である。

図３は、図１に示されるシーンチェンジ検出部１９の構成を概略的に示すブロック図である。図３に示されるように、シーンチェンジ検出部１９は、デコードされた映像データのヒストグラムを生成するヒストグラム生成器１９１と、ヒストグラム生成器１９１によって生成されたヒストグラムを保持する第１のヒストグラムバッファ１９２及び第２のヒストグラムバッファ１９３と、第１のヒストグラムバッファ１９２に保持されたヒストグラムと第２のヒストグラムバッファ１９３に保持されたヒストグラムの差異を求める差分抽出器１９４とを有している。また、シーンチェンジ抽出部１９は、差分抽出器１９４で求められた差異値と予め設定された閾値とを比較するシーンチェンジ判定器１９５と、コントローラ１８からのシーンチェンジ検索開始命令などの制御信号に基づいてシーンチェンジ検出部１９を制御し、シーンチェンジを検出すると、コントローラ１８に結果を送信するシーンチェンジコマンド制御部１９６とを有している。

上述したようにフレーム間引き部１３によってフレームを間引くことによって、例えば、ＭＰＥＧ−２ビデオにおいて、エンコード部１４では高圧縮率で右目用映像ストリームを再エンコードすることができる。エンコード部１４は、右目用映像ストリームを再エンコードするときに、タイムスタンプを付加する。このとき、分離部１０で分離された左目用映像ストリームＳｂと変換処理をした右目用映像ストリームＳｃ４とを同期させるために、右目用映像ストリームＳｃ４のデコード前のタイムスタンプとして、デコード部１１で抽出したものを保持しておく。タイムスタンプは、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）とＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）の２種類があるが、ここではＰＴＳを保持しておく。ＤＴＳは、エンコード部１４で新たに付加する。エンコード部１４で保持していたタイムスタンプを使って再エンコード処理を行う。この圧縮した右目用映像ストリームを多重化部１５で左目用映像ストリームとその他の音声、字幕などのデータと多重化することによってストリームＳｅが得られ、記録部１６によって記録される。

記録部１６は、データの変換状況を示すメタデータをストリームと関連付けて記録する。図４は、実施の形態１に係る三次元映像変換記録装置に記録されるファイルとデータ構造の一例を示す図である。図４に示されるように、記録されるデータは、構造ストリームが記録されたファイルと拡張子を変えた同様のファイル名を付けたＣＬＩＰＩＮＦ（クリップ情報）ファイル３０３を使って関連付けする。ＣＬＩＰＩＮＦファイル３０３は、ＣＬＩＰＩＮＦディレクトリ３０１の下に配置するファイルであり、ストリームファイル３０４はＳＴＲＥＡＭ（ストリーム）ディレクトリ３０２の下に配置されるファイルである。ＣＬＩＰＬＩＮＦファイル３０３には、ストリームのタイプや、ストリームの種類がストリームの途中から変化する場合にはその変化点を記録する。ＣＬＩＰＬＩＮＦファイル３０３の構造の一例をファイル構造３０５として示す。ＣＬＩＰＬＩＮＦファイル３０３には、ＡＶストリームファイルのアドレス情報と時間情報とを関連付ける情報であるＣＰＩ（Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｐｏｉｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）が記録されている。ＣＰＩ構造３０６内に、三次元映像のタイプ「３Ｄ＿Ｔｙｐｅ」のフラグを新たに設けることによって、このストリームがどのような形式の三次元映像に対応しているのかを示す。例えば、ＣＰＩ構造３０６の「３Ｄ＿Ｔｙｐｅ」の値が２進数の‘００００’であれば、入力されたストリームは通常の二次元映像（２Ｄ）のみのストリームであり、２進数の‘０００１’であれば、入力されたストリームは右目用映像データのデータ量を減らしている三次元映像ストリームであり、２進数の‘００１０’であれば、入力されたストリームは左目用映像ストリームのデータ量を減らしている三次元映像ストリームであり、２進数の‘００１１’であれば左目用データ及び右目用データを等価に扱った三次元映像ストリームであり、２進数の‘１０１１’であれば、二次元映像データと深さ情報データとをあわせた三次元映像ストリームであり、２進数の‘１０１０’であれば、後述する深さ情報の情報量を減らした二次元映像データと深さ情報データとをあわせた三次元映像ストリームという定義をする。記録部１６からストリームを読み出して再生するときには、ＣＬＩＰＬＩＮＦファイル３０３のＣＰＩ構造３０６内の「３Ｄ＿Ｔｙｐｅ」情報を参照することによって、データ量を減らすための変換を行った三次元映像データなのか、データ量を減らした三次元映像データなのかを知ることができ、左目用に割り当てる映像チャンネルと右目用に割り当てる映像チャンネルを切り替えることにより、正しく三次元映像を構成することが可能になる。

また、入力ストリームを、二次元映像として表示するには、データ容量を減らしていない片チャンネルのストリームのみをデコードし、二次元映像表示用の経路（図示せず）に映像データを流すことによって、二次元映像として表示することが可能となる。

なお、以上の説明においては、ストリームの情報を記録するためにＣＬＩＰＬＩＮＦファイル３０３を使用する場合を説明したが、本発明はこのような例に限定されず、ＣＬＩＰＬＩＮＦファイル以外のファイルを使用してもよい。例えば、ＭＰＥＧ−２ビデオストリームのＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）毎に含まれているシーケンスヘッダに、三次元映像の情報を埋め込む方法を採用してもよい。この例のシーケンスヘッダの構造の一例を図５（ａ）及び（ｂ）に示す。図５（ａ）において、４０１はＳＨＣ（Ｓｅｑｕｅｎｃｅ Ｈｅａｄｅｒ Ｃｏｄｅ）、４０２はＨＳＶ（Ｈｏｒｉｚｏｎｔａｌ Ｓｉｚｅ Ｖａｌｕｅ）、４０３はＶＳＶ（Ｖｅｒｔｉｃａｌ Ｓｉｚｅ Ｖａｌｕｅ）、４０４はＡＲＩ（Ａｓｐｅｃｔ Ｒａｔｉｏ Ｉｎｆｏｒｍａｔｉｏｎ）、４０５はＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｉｎｆｏｒｍａｔｉｏｎ）、４０６はＢＲＶ（Ｂｉｔ Ｒａｔｅ Ｖａｌｕｅ）、４０７はＭＲＫ（Ｍａｒｋｅｒ Ｂｉｔ）、４０８はＶＢＳＶ（ＶＢＶ Ｂｕｆｆｅｒ Ｓｉｚｅ Ｖａｌｕｅ）、４０９はＣＰＦ（Ｃｏｎｓｔｒａｉｎｅｄ Ｐａｒａｍｅｔｅｒ Ｆｌａｇ）、４１０はＬＩＱＭ（Ｌｏａｄ Ｉｎｔｒａ Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘ）、４１１はＩＱＭ（Ｉｎｔｒａ Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘ）、４１２はＬＮＩＱＭ（Ｌｏａｄ Ｎｏｎ Ｉｎｔｒａ Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘ）、４１３はＮＩＱＭ（Ｎｏｎ Ｉｎｔｒａ Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘ）、４１４はＳｅｑｕｅｎｃｅ Ｅｘｔｅｎｓｉｏｎ（シーケンス・イクステンション）、４１５はＳｅｑｕｅｎｃｅ Ｄｉｓｐｌａｙ（シーケンス・ディスプレイ）、４１６はＳｅｑｕｅｎｃｅ Ｓｃａｌａｂｌｅ（シーケンス・スケーラブル）、４１７はＧＯＰ層、４１８はピクチャ層、４１９はＳＥＣ（Ｓｅｑｕｅｎｃｅ Ｅｎｄ Ｃｏｄｅ）を示す。また、図５（ｂ）において、Ｓｅｑｕｅｎｃｅ Ｄｉｓｐｌａｙ４１５を詳細に示されている。図５（ｂ）において、４２０はＥＳＣ（Ｅｘｔｅｎｓｉｏｎ Ｓｔａｒｔ Ｃｏｄｅ）、４２１はＵＤＳＣ（Ｕｓｅｒ Ｄａｔａ Ｓｔａｒｔ Ｃｏｄｅ）、４２２はＵＤ（Ｕｓｅｒ Ｄａｔａ）、４２３はＥＳＣＩ（Ｅｘｔｅｎｓｉｏｎ Ｓｔａｒｔ Ｃｏｄｅ Ｉｄｅｎｔｉｆｉｅｒ）、４２４はＶＦ（Ｖｉｄｅｏ Ｆｏｒｍａｔ）、４２５はＣＤ（Ｃｏｌｏｒ Ｄｅｓｃｒｉｐｔｉｏｎ）、４２６はＣＰ（Ｃｏｌｏｒ Ｐｒｉｍａｒｉｅｓ）、４２７はＴＣ（Ｔｒａｎｓｆｅｒ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）、４２８はＭＸＣ（Ｍａｔｒｉｘ Ｃｏｅｆｆｉｅｎｔｓ）、４２９はＤＨＳ（Ｄｉｓｐｌａｙ Ｈｏｒｉｚｏｎｔａｌ Ｓｉｚｅ）、４３０はＭＲＫ（Ｍａｒｋｅｒ Ｂｉｔ）、４３１はＤＶＳ（Ｄｉｓｐｌａｙ Ｖｅｒｔｉｃａｌ Ｓｉｚｅ）を示す。

シーケンス層には、図５（ｂ）にＵＤＳＣ４２１で示される３２ビット長のユーザデータの開始同期を示す同期コードと、ＵＤ（３Ｄ＿Ｔｙｐｅ）４２２と示される８の倍数のビット長のユーザ用データが追加されている。これらのデータの位置は、拡張データが挿入できる位置であればどの位置でもいいが、図５（ｂ）においては、一例として、ＥＳＣ４２０の後に配置した場合を示す。ＵＤ４２２として、８ビットの３Ｄ＿Ｔｙｐｅ情報を追加することによって、ＧＯＰ単位で三次元映像なのか二次元映像なのかストリームの画像のタイプを判別することが可能になる。このようにストリームの情報を関連付けするデータを記録する場合には、視聴時に二次元映像として視聴するか、三次元映像として視聴するかを、ユーザが選択できるようになる。

以上に説明したように、実施の形態１に係る三次元映像変換記録装置及び方法によれば、三次元映像データから分離された複数の映像ストリームの内の少なくとも一つのデータ量を減らすことによって、記録部１６によって記録される三次元映像データのデータ量を減らすことができる。さらに、この三次元映像変換記録装置及び方法によって三次元映像データが記録された記録媒体は、その記録領域を有効に使用することができる。

情報量を減らした二次元の映像データの映像は画質が低下して見えるが、三次元映像は２つの映像データによって１つの立体画像を構築するので、２つの映像データのうちの一方の映像データの情報量が減少しても、他方の情報量の多い映像データによって補正融合されるため、画質が比較的低下していないように見える。したがって、三次元の映像データの映像は、一方の映像データの情報量を減らすことにより、見た目の画質を比較的低下させないようにしつつ、記録媒体に記録される映像データのデータサイズを小さくすることができるという効果がある。

また、実施の形態１でデータ量を削減したストリームを生成する方法は、三次元映像記録装置の他にも、三次元映像の伝送装置（図１５の符号２０）に適用してもよい。

また、このようにしてデータ量を削減したストリームは、分離部を通して映像、音声、その他のデータに分離し、デコード部によってこれらのデータのデコードを行うことによって再生することができる。

なお、上記説明においては、分離された２つの映像ストリームの一方のデータサイズを小さくする処理を施している場合を説明したが、両方の映像ストリームについてデータサイズを小さくする処理を施してもよい。この場合には、図１の構成１１〜１９と同様の構成をストリームＳｂが出力される側にも備える必要がある。

また、映像ストリームをリアルタイム処理する必要がない場合には、図１の多重化部１５に入力する前のデータを、図示しない信号経路を通して、記録部１６に一時的に保持する。そして、複数の映像ストリームに対するデータサイズ縮小処理を、各ストリームについて実行し、多重化部１５に入力する前のデータを記録部１６に保持する。三次元映像を構成するための映像ストリームのデータサイズ縮小処理がすべて終了してから、記録部１６から一時保存していたデータを読み出し、多重化部１５に入力することによって、１つのストリームとして構成し、記録部１６に格納する。

また、入力された三次元映像データは、多重化されている場合には分離部１０に入力するが、映像データが分離されたものであれば分離部１０は無くてもよく、デコード部１１に映像データを直接入力してもいい。入力された三次元映像データがデコードする必要のない形式であった場合には、分離部１０とデコード部１１はともに無くてもよく、フレームバッファ１２に映像データを入力してもよい。

また、実施の形態１に係るデータ量の削減方法（すなわち、三次元映像変換方法）は、三次元映像変換装置、又は、この三次元映像変換装置に伝送装置を追加した三次元映像伝送装置に適用可能である。図１５は、実施の形態１に係る三次元映像伝送装置（すなわち、実施の形態１に係る三次元映像伝送方法を実施する装置）の構成を概略的に示すブロック図である。図１５において、図１の構成と同一又は対応する構成には同じ符号を付す。図１５は、記録部１６に代えて三次元映像変換装置３０が生成した多重化された映像データを伝送する伝送装置２０を備えている点が、図１の三次元映像変換記録装置と相違する。この場合には、変換によって生成される、又は、伝送されるデータのサイズが縮小されるという効果がある。

実施の形態２．
本発明の実施の形態２に係る三次元映像変換記録装置は、分離部１０において分離される映像ストリームが、二次元映像データ（ストリーム）３５１と深さ情報データ（ストリーム）３５２である点が、上記実施の形態１と相違する。他の点については、実施の形態２は、上記実施の形態１の場合と同じである。したがって、実施の形態２の説明においては、図１をも参照する。

図６（ａ）及び（ｂ）は、実施の形態２に係る三次元映像変換記録装置において分離される二次元映像データ３５１と深さ情報データ３５２を示す図である。立体映像を実現する方式として、図６（ａ）及び（ｂ）に示すように、三次元映像データを、二次元映像データと深さ情報データとから構成する方式がある。図６（ａ）に示される二次元映像データ３５１は、輝度情報及び色情報が含まれた二次元映像データである。図６（ｂ）に示される深さ情報データ３５２は、図６（ａ）に示される二次元映像データに対応する各画素における奥行きに関する情報を深さ情報として表現したデータである。図６（ｂ）において、深さ情報は、値０（黒）から値２５５（白）までの黒色の濃さで表現されており、最も白い部分（値２５５）が一番手前に位置（近くに位置）することを表し、最も黒い部分（値０）は一番奥に位置（遠くに位置）することを表している。図６（ａ）に示される二次元映像データに、図６（ｂ）に示される深さ情報データを加味して表示することにより、三次元映像を表現することができる。

実施の形態２に係る三次元映像変換記録装置においては、実施の形態１に係る三次元映像変換記録装置のように、入力ストリームＳａから左目用映像ストリームと右目用映像ストリームとを分離するのではなく、入力ストリームＳａから二次元映像ストリームと深さ情報ストリームとを分離する。なお、映像表示に関係していない音声、字幕等の他のデータＳｄは、分離された映像ストリームとは別に多重化部１５に入力され、デコード処理を行わず多重化部１５に入力される。実施の形態２においては、例えば、二次元映像データを多重化部１５に直接入力し、深さ情報データをデコード部１１に入力してデータ量の削減処理を施す。ただし、実施の形態２においては、例えば、深さ情報データを多重化部１５に直接入力し、二次元映像データをデコード部１１に入力してデータ量の削減処理を施してもよい。

実施の形態２に係る三次元映像変換記録装置及び方法によれば、三次元映像データから分離された二次元映像データ又は深さ情報データの少なくとも一つのデータ量を減らすことによって、記録される三次元映像データのデータ量を減らすことができる。さらに、この三次元映像変換記録装置及び方法によって三次元映像データを記録された記録媒体は、その記録領域を有効に使用することができる。

また、実施の形態２に係るデータ量の削減方法は、三次元映像の伝送装置に適用することもできる。また、実施の形態２に係るデータ量の削減方法（すなわち、三次元映像変換方法）は、三次元映像変換装置、又は、この三次元映像変換装置に伝送装置を追加した三次元映像伝送装置に適用可能である。この場合には、変換によって生成される、又は、伝送されるデータのサイズが縮小されるという効果がある。

実施の形態３．
図７は、本発明の実施の形態３に係る三次元映像変換記録装置（すなわち、実施の形態１に係る三次元映像変換記録方法を実施する装置）の構成を概略的に示すブロックである。図７において、図１の構成と同一又は対応する構成には、同じ符号を付す。実施の形態３に係る三次元映像変換記録装置は、図１に示されるフレーム間引き部１３に代えて図７に示されるトリミング部３３を備えた点、図１に示されるシーンチェンジ検出部１９を備えない点、設定格納部３７に格納される設定値、及びコントローラ３８による制御内容が、上記実施の形態１に係る三次元映像変換記録装置と相違する。他の点において、実施の形態３は、上記実施の形態１又は２の場合と同じである。

実施の形態３に係る三次元映像変換記録装置においては、入力ストリームＳａの入力からフレームバッファ１２にデータが入力されるまでの手順は実施の形態１の場合と同じである。コントローラ３８は、設定格納部３７から読み出したトリミング範囲の設定値に基づいて、トリミング処理部３３によってトリミング処理を実行する。図８は、実施の形態３に係る三次元映像変換記録装置のトリミング部３３によるトリミングの範囲を示す図である。図８は、１９２０×１０８０画素の解像度の映像を扱う場合を示している。トリミングの範囲は、例えば、左上の座標（ｘ０，ｙ０）と右下の座標（ｘ１，ｙ１）で指定する。ｘ０及びｘ１はそれぞれ０以上１９２０以下の整数であり、ｙ０及びｙ１はそれぞれ０以上１０８０以下の整数であり、ｘ０＜ｘ１且つｙ０＜ｙ１である。図８において、斜線で示した領域（トリミング領域）は映像情報を削除する領域であり、点（ｘ０，ｙ０）と点（ｘ１，ｙ１）を対向する角部とする矩形の範囲（白色）の映像情報をエンコード部１４に送る。エンコード部１４は、図８に斜線で示すトリミング領域の映像情報は変化しない情報であるとみなして、エンコード処理を行う。このような処理（トリミング領域におけるフレーム間の差分を０とみなす処理）によって、圧縮後のデータ量を減らすことができる。

実施の形態３に係る三次元映像変換記録装置及び方法によれば、三次元映像データから分離された映像データの少なくとも一つのデータ量を減らすことによって、記録される三次元映像データのデータ量を減らすことができる。さらに、この三次元映像変換記録装置及び方法によって映像データを記録された記録媒体は、その記録領域を有効に使用することができる。

また、実施の形態３に係るデータ量の削減方法は、三次元映像の伝送装置に適用することもできる。また、実施の形態３に係るデータ量の削減方法（すなわち、三次元映像変換方法）は、三次元映像変換装置、又は、この三次元映像変換装置に伝送装置を追加した三次元映像伝送装置に適用可能である。この場合には、変換によって生成される、又は、伝送されるデータのサイズが縮小されるという効果がある。

実施の形態４．
図９は、本発明の実施の形態４に係る三次元映像変換記録装置（すなわち、実施の形態１に係る三次元映像変換記録方法を実施する装置）の構成を概略的に示すブロック図である。図９において、図１の構成と同一又は対応する構成には、同じ符号を付す。実施の形態４に係る三次元映像変換記録装置は、図１に示されるフレーム間引き部１３に代えて図９に示される色差調整部４３を備えた点、図１に示されるシーンチェンジ検出部１９を備えない点、設定格納部４７に格納される設定値、及びコントローラ４８による制御内容が、上記実施の形態１に係る三次元映像変換記録装置と相違する。他の点において、実施の形態４は、上記実施の形態１乃至３のいずれかの場合と同じである。

実施の形態４に係る三次元映像変換記録装置においては、入力ストリームＳａの入力からフレームバッファ１２にデータが入力されるまでの手順は実施の形態１の場合と同じである。コントローラ４８は、設定格納部４７から読み出した色差調整値に応じて、色差調整部４３に、色差情報が持つビット数を減らす（すなわち、色差情報を間引く）処理を実行させる。例えば、映像信号を、輝度信号のみにし、Ｙ−Ｒ及びＹ−Ｂの２つの色差信号のビット数を０に減らすと、１画素当たりの情報量は輝度信号８ビットのみになりデータ量を減らすことができる。なお、変換後の色差信号のビット数は０ビットに限らず、８ビットから０ビットまでの範囲内で設定可能である。

色差情報を減らした状態で、エンコード部１４に映像データを送ることによって、色差情報を間引く操作をしない状態と比べて圧縮後のデータを減らすことができる。多重化部１５では、実施の形態１と同様に、入力ストリームＳａに多重化されて含まれるストリームデータと、データ量を減らした映像ストリームを多重化して、ストリームＳｅを生成し、記録部１６は、ストリームＳｅを蓄積する。

また、二次元映像と深さ情報を使って立体映像を作る方式の場合は、例えば、二次元映像は間引かずに、深さ情報を間引く。１画素あたり８ビットの深さ情報を持っているので、ビット数を減らすことによって深さ情報を縮小し、データ量を減らすことができる。なお、さらにデータサイズを小さくする場合には、二次元映像についても１画素あたりのビット数を減らしてもよい。

実施の形態４に係る三次元映像変換記録装置及び方法によれば、三次元映像データから分離された映像データの少なくとも一つのデータ量を減らすことによって、記録される三次元映像データのデータ量を減らすことができる。さらに、この三次元映像変換記録装置及び方法によって映像データを記録された記録媒体は、その記録領域を有効に使用することができる。

また、実施の形態４に係るデータ量の削減方法は、三次元映像の伝送装置に適用することもできる。また、実施の形態４に係るデータ量の削減方法（すなわち、三次元映像変換方法）は、三次元映像変換装置、又は、この三次元映像変換装置に伝送装置を追加した三次元映像伝送装置に適用可能である。この場合には、変換によって生成される、又は、伝送されるデータのサイズが縮小されるという効果がある。

実施の形態５．
上記実施の形態１乃至４においては、別々に映像ストリームのデータ量を減らすことを行っていたが、これらを組み合わせて実施してもよい。図１０は、本発明の実施の形態５に係る三次元映像変換記録装置（すなわち、実施の形態１に係る三次元映像変換記録方法を実施する装置）の構成を概略的に示すブロック図である。図１０において、図１、図７、又は図９の構成と同一又は対応する構成には、同じ符号を付す。実施の形態５に係る三次元映像変換記録装置は、データ量を削減する手段として、フレーム間引き部１３、トリミング部３３、及び色差調整部４３を備えた点、設定格納部５７に格納される設定値、及びコントローラ５８による制御内容が、上記実施の形態１乃至４に係る三次元映像変換記録装置と相違する。他の点において、実施の形態５は、上記実施の形態１乃至４のいずれかの場合と同じである。

実施の形態５に係る三次元映像変換記録装置においては、入力ストリームＳａがフレームバッファ１２に送られるまでの処理は実施の形態１と同様である。フレームバッファ１２の映像データは設定格納部５７に記録されている設定値に基づいて変換する。設定格納部５７にトリミング範囲が設定されている場合には、コントローラ５８の指令によって、実施の形態３に示したトリミング部２３によるトリミング処理によってデータ量が削減される。設定格納部５７にフレーム間引き条件が設定されている場合には、コントローラ５８の指令によって、フレーム間引き部１３は、実施の形態１又は２に示すフレームの間引き処理を行なう。また、シーンチェンジ検出部１９を備えている場合には、実施の形態１に示すように、シーンチェンジが発生した場合に、新たなフレームデータを取得するようにする。設定格納部５７に色差信号のビット数を調整する条件が設定されている場合には、コントローラ５８の指令によって、色差調整部４３は、実施の形態４に示される色差信号の調整処理を行なう。他の処理内容は、上記実施の形態１乃至４のいずれかの処理と同じである。

実施の形態５に係る三次元映像変換記録装置及び方法によれば、三次元映像データから分離された映像データの少なくとも一つのデータ量を減らすことによって、記録される三次元映像データのデータ量を減らすことができる。さらに、この三次元映像変換記録装置及び方法によって映像データを記録された記録媒体は、その記録領域を有効に使用することができる。

なお、上記説明では、データ量を減らすための処理は、トリミング、フレーム間引き、色差調整という順番にしているが、処理する順番を入れ替えてもよい。

また、データ量を削減する手段として、フレーム間引き部１３、トリミング部３３、及び色差調整部４３を備えた場合を説明したが、これらの中の２つの削減手段を備える装置であってもよい。

また、実施の形態５に係るデータ量の削減方法は、三次元映像の伝送装置に適用することもできる。また、実施の形態５に係るデータ量の削減方法（すなわち、三次元映像変換方法）は、三次元映像変換装置、又は、この三次元映像変換装置に伝送装置を追加した三次元映像伝送装置に適用可能である。この場合には、変換によって生成される、又は、伝送されるデータのサイズが縮小されるという効果がある。

実施の形態６．
本発明の実施の形態６に係る三次元映像変換記録装置は、データ量を削減する手段として、分離部１０において分離される映像ストリームからデータを削減する方法が、上記実施の形態１と相違する。他の点については、実施の形態６は、上記実施の形態１の場合と同じである。したがって、実施の形態６の説明においては、図１をも参照する。

図１１（ａ）及び（ｂ）は、本発明の実施の形態６に係る三次元映像変換記録装置（すなわち、実施の形態６に係る三次元映像変換記録方法を実施する装置）の間引き処理に使用されるパターンを示し、図１１（ａ）は、市松模様の間引きパターン５０１を示し、図１１（ｂ）は、走査線を間引くパターン５０２を示す図である。実施の形態６に係る三次元映像変換記録装置においては、フレーム単位で映像データを間引くのではなく、例えば、図１１（ａ）のクロスハッチング領域のように市松模様に構成された領域を削除することによってデータ量を削減する。また、実施の形態６に係る三次元映像変換記録装置においては、例えば、図１１（ｂ）のクロスハッチング領域のように走査線を削除することによってデータを削減してもよい。なお、データを削減するために使用されるパターンは図示のパターンに限定されない。このように、各フレームのデータ量を減らすことによって、エンコード後のデータ量を小さくすることができる。他の処理内容は、上記実施の形態１乃至４のいずれかの処理と同じである。

実施の形態６に係る三次元映像変換記録装置及び方法によれば、三次元映像データから分離された映像データの少なくとも一つのデータ量を減らすことによって、記録される三次元映像データのデータ量を減らすことができる。さらに、この三次元映像変換記録装置及び方法によって映像データを記録された記録媒体は、その記録領域を有効に使用することができる。

なお、上記説明では、データ量を減らすための処理は、パターンで指定された領域のデータを削除する処理であるが、この処理に代えて、又は、この処理に加えて、エンコード処理において、離散ウェーブレット変換を用いるように構成してもよい。離散ウェーブレット変換を行うことによって、周波数の高い成分を削減することができるため、データサイズを小さくする効果が得られる。

また、実施の形態６の処理を、上記実施の形態１乃至５のいずれかと組み合わせてもよい。

また、実施の形態６に係るデータ量の削減方法は、三次元映像の伝送装置に適用することもできる。また、実施の形態６に係るデータ量の削減方法（すなわち、三次元映像変換方法）は、三次元映像変換装置、又は、この三次元映像変換装置に伝送装置を追加した三次元映像伝送装置に適用可能である。この場合には、変換によって生成される、又は、伝送されるデータのサイズが縮小されるという効果がある。

実施の形態７．
図１２は、本発明の実施の形態７に係る三次元映像変換記録装置（すなわち、実施の形態７に係る三次元映像変換記録方法を実施する装置）に入力されるストリームの三次元映像のタイプを示すデータ構造（３Ｄ＿Ｔｙｐｅ構造）を示す図である。シーケンスヘッダに埋め込む３Ｄ＿Ｔｙｐｅは、図５（ｂ）に示されるＵＤ４２２に８ビットのデータとして配置される。図１２に示されるｂｉｔ７は、三次元映像フラグであり、例えば、その値が１の場合は三次元映像であり、０の場合は二次元映像である。ｂｉｔ０からｂｉｔ３までは、三次元映像のタイプを示している。例えば、３Ｄ＿Ｔｙｐｅの値が２進数の‘００００’であれば通常の二次元映像のみのストリーム、２進数の‘０００１’であれば右目用映像のデータ量を減らしている三次元映像ストリーム、２進数の‘００１０’であれば左目用映像のデータ量を減らしている三次元映像ストリーム、２進数の‘００１１’であれば左目用、右目用を等価に扱った三次元映像ストリーム、２進数の‘１０１１’であれば、二次元映像と深さ情報をあわせた三次元映像ストリーム、２進数の‘１０１０’であれば深さ情報の情報量を減らした二次元映像と深さ情報をあわせた三次元映像ストリームである。

映像のヒストグラムを測定することによって左目用映像ストリームと右目用映像ストリームの比較を行い、差分値が所定の閾値を超えるところについてｂｉｔ７の三次元映像フラグを立てることによって、フラグが立っていないときには右目用映像データの情報を削減し、再生するときには左目用映像を右目用映像として映し出すようにする。再生時に三次元映像フラグが立っているときには、右目用映像と左目用映像とをそれぞれデコードして表示するようにすれば、三次元映像を必要な部分だけ再現することができ、三次元映像が必要でない部分についてはデータ量を１チャンネル分に減らすことができる。

実施の形態７に係る三次元映像変換記録装置及び方法によれば、三次元映像データから分離された映像データの少なくとも一つのデータ量を減らすことによって、記録される三次元映像データのデータ量を減らすことができる。さらに、この三次元映像変換記録装置及び方法によって映像データを記録された記録媒体は、その記録領域を有効に使用することができる。

また、実施の形態７に係るデータ量の削減方法は、三次元映像の伝送装置に適用することもできる。また、実施の形態７に係るデータ量の削減方法（すなわち、三次元映像変換方法）は、三次元映像変換装置、又は、この三次元映像変換装置に伝送装置を追加した三次元映像伝送装置に適用可能である。この場合には、変換によって生成される、又は、伝送されるデータのサイズが縮小されるという効果がある。

実施の形態８．
図１３は、本発明の実施の形態８に係る三次元映像変換記録装置（すなわち、実施の形態１に係る三次元映像変換記録方法を実施する装置）の構成を概略的に示すブロック図である。図１３において、図１の構成と同一又は対応する構成には、同じ符号を付す。実施の形態８に係る三次元映像変換記録装置は、図１に示されるシーンチェンジ検出部１９に代えて図１３に示されるオブジェクト移動検出部８９を備えた点、間引き部８３の処理内容、設定格納部８７に格納される設定値、及びコントローラ８８による制御内容が、上記実施の形態１に係る三次元映像変換記録装置と相違する。

実施の形態８に係る三次元映像変換記録装置においては、オブジェクト移動検出部８９は、分離部１０で分離されデコード部１１でデコードされた映像データからオブジェクトの移動を検出する。設定格納部８７は、予め又はユーザ入力により、オブジェクト移動の検出又は非検出の判断の基準値データを格納する。コントローラ８８は、オブジェクト移動検出部８９によってオブジェクトの移動が検出された場合に、オブジェクトの移動が検出された領域以外の領域の情報を間引く処理を間引き部８３に実行させる。

図１４は、実施の形態８に係る三次元映像変換記録装置において検出されるオブジェクトの移動を示す図である。図１４は、ある時点のフレーム６０１における映像オブジェクト６０１ａが、フレーム６０１より１又は数フレーム後のフレーム６０２において、映像オブジェクト６０２ａに移動することを示している。映像オブジェクト６０１ａから映像オブジェクト６０２ａへの移動の量と方向を示すベクトルは、矢印６０３で示されている。このような動きのある映像オブジェクトを含むフレームのヒストグラム分布を求めると、映像オブジェクト６０１ａ及び６０２ａ以外の部分にはヒストグラムのピークが現れない。この性質を利用して、フレーム内の動きのある範囲を抽出し、動きのある範囲のデータを間引かずに、動きのある部分以外の部分（動きの無い部分）のデータ量を削減する処理を行なう。

実施の形態８に係る三次元映像変換記録装置又は方法によれば、三次元映像データから分離された映像データの少なくとも一つのデータ量を減らすことによって、記録される三次元映像データのデータ量を減らすことができる。さらに、この三次元映像変換記録装置及び方法によって映像データを記録された記録媒体は、その記録領域を有効に使用することができる。

また、実施の形態８に係る三次元映像変換記録装置又は方法によれば、間引かれるデータが、動きのない範囲のデータであるので、間引き部による間引き処理が表示映像に与える影響は少なく、三次元映像を見る人に不自然な印象を与えない（違和感を覚えさせない）ように映像を再現することができる。

なお、実施の形態８に係る三次元映像変換記録装置の構成を、上記実施の形態１乃至７に係る三次元映像変換記録装置のいずれかに組み合わせることも可能である。

また、実施の形態８に係るデータ量の削減方法は、三次元映像の伝送装置に適用することもできる。また、実施の形態８に係るデータ量の削減方法（すなわち、三次元映像変換方法）は、三次元映像変換装置、又は、この三次元映像変換装置に伝送装置を追加した三次元映像伝送装置に適用可能である。この場合には、変換によって生成される、又は、伝送されるデータのサイズが縮小されるという効果がある。

符号の説明

１０ 分離部、 １１ デコード部、 １２ フレームバッファ、 １３ フレーム間引き部、 １４ エンコード部、 １５ 多重化部、 １６ 記録部、 １７，３７，４７，５７，８７ 設定格納部、 １８，３８，４８，５８，８８ コントローラ、 １９ シーンチェンジ検出部、 ２０ 伝送部、 ２１ 記録媒体、 ３０ 三次元映像変換装置、 ３３ トリミング部、 ４３ 色差調整部、 ８３ 間引き部、 ８９ オブジェクト移動検出部、 １００ 左目用映像のフレーム列、 １０１〜１１０ 左目用映像のフレーム、 ２００ 右目用映像のフレーム列、 ２０１〜２１０ 右目用映像のフレーム、 １９１ ヒストグラム生成器、 １９２ 第１のヒストグラムバッファ、 １９３ 第２のヒストグラムバッファ、 １９４ 差分抽出器、 １９５ シーンチェンジ判定器、 １９６ シーンチェンジコマンド制御部、 ４０１〜４１６ シーケンスヘッダ、 ４１７ ＧＯＰ層、 ４１８ ピクチャ層、 ４１９ ＳＥＣ、 ４２０〜４３１ Ｓｅｑｕｅｎｃｅ Ｄｉｓｐｌａｙの構造、 ５０１ 市松模様に間引くパターン、 ５０２ 走査線を間引くパターン、 ６０１，６０２ フレーム、 ６０１ａ オブジェクト、 ６０２ａ 移動したオブジェクト、 ６０３ オブジェクトの移動ベクトル、 Ｓａ 入力ストリーム、 Ｓｂ 左目用映像ストリーム、 Ｓｃ 右目用映像ストリーム、 Ｓｄ ストリーム、 Ｓｅ 多重化されたストリーム、 Ｐ１ シーンチェンジ点。

Claims (16)

1. 三次元映像を構成する複数の映像データの内の少なくとも一つの映像データのデータ量を減らす削減手段と、
   前記データ量が減らされた映像データをエンコードし、エンコードされた映像データを出力するエンコード手段と、
   三次元映像を構成する前記複数の映像データの内の前記データ量が減らされた映像データ以外の映像データと、前記データ量が減らされエンコードされた映像データとを多重化する多重化手段と、
   前記多重化手段によって多重化された映像データを記録媒体に記録する記録手段と、
   前記削減手段によるデータ量の削減の仕方を決めるための設定値を格納する設定格納手段と、
   前記削減手段の動作を制御する制御手段とを有し、
   前記制御手段は、前記設定格納手段に格納された前記設定値に基づく制御信号を前記削減手段に出力し、
   前記削減手段は、前記制御信号に基づいて映像データのデータ量を減らし、前記データ量が減らされた映像データを前記エンコード手段に出力する
   ことを特徴とする三次元映像変換記録装置。
2. 前記複数の映像データは、左目用映像データと右目用映像データとを含み、
   前記削減手段によってデータ量を削減される映像データは、前記左目用映像データ又は前記右目用映像データである
   ことを特徴とする請求項１に記載の三次元映像変換記録装置。
3. 前記複数の映像データは、二次元映像データと深さ情報映像データとを含み、
   前記削減手段によってデータ量を削減される映像データは、前記二次元映像データ又は前記深さ情報映像データである
   ことを特徴とする請求項１に記載の三次元映像変換記録装置。
4. 前記削減手段は、前記制御信号に基づいて前記映像データのデータ量の削減処理を決定することを特徴とする請求項１に記載の三次元映像変換記録装置。
5. 前記削減手段は、前記映像データのフレームを間引くフレーム間引き手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の三次元映像変換記録装置。
6. 前記映像データから映像の特徴の変化点を検出する特徴変化点検出手段をさらに有し、
   前記制御手段は、前記特徴変化点検出手段によって特徴の変化点が検出されたフレームを間引く処理を、前記フレーム間引き手段に実行させない
   ことを特徴とする請求項５に記載の三次元映像変換記録装置。
7. 前記削減手段は、前記映像データのフレーム内の指定範囲以外の情報を削除するトリミング手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の三次元映像変換記録装置。
8. 前記削減手段は、前記映像データの色差成分を削減する色差調整手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の三次元映像変換記録装置。
9. 前記削減手段は、前記映像データからフレーム内の指定パターンの空間情報を間引くパターン間引き手段を有することを特徴とする請求項１乃至８のいずれか１項に記載の三次元映像変換記録装置。
10. 前記映像データからオブジェクトの移動を検出するオブジェクト移動検出手段をさらに有し、
    前記削減手段は、前記オブジェクトの移動が検出された領域以外の領域の情報を間引く
    ことを特徴とする請求項１乃至９のいずれか１項に記載の三次元映像変換記録装置。
11. 入力ストリームに含まれる映像ストリームが三次元映像ストリームであることを示す、前記入力ストリームに含まれる情報を検出する三次元映像検出手段と、
    前記三次元映像検出手段が三次元映像ストリームであることを示す前記情報を検出したときに、前記三次元映像ストリームを、三次元映像を構成する前記複数の映像データに分離する分離手段と
    を有することを特徴とする請求項１乃至１０のいずれか１項に記載の三次元映像変換記録装置。
12. 三次元映像を構成する複数の映像データのデータ量を削減する方法を決めるための設定値を格納する設定格納ステップと、
    前記設定値に基づいて、三次元映像を構成する前記複数の映像データの内の少なくとも一つの映像データのデータ量を減らす削減ステップと、
    前記削減ステップによってデータ量が減らされた映像データをエンコードし、エンコードされた映像データを出力するステップと、
    三次元映像を構成する前記複数の映像データの内のデータ量を減らされた映像データ以外の映像データと、前記データ量が減らされエンコードされた映像データとを多重化する多重化ステップと、
    前記多重化ステップによって多重化された映像データを記録媒体に記録するステップと
    を有することを特徴とする三次元映像変換記録方法。
13. 請求項１に記載の三次元映像変換記録装置によって前記多重化された映像データが記録されたことを特徴とする記録媒体。
14. 請求項１２に記載の三次元映像変換記録方法によって前記多重化された映像データが記録されたことを特徴とする記録媒体。
15. 三次元映像を構成する複数の映像データの内の少なくとも一つの映像データのデータ量を減らす削減手段と、
    前記データ量が減らされた映像データをエンコードし、エンコードされた映像データを出力するエンコード手段と、
    三次元映像を構成する前記複数の映像データの内の前記データ量が減らされた映像データ以外の映像データと、前記データ量が減らされエンコードされた映像データとを多重化して、多重化された映像データを出力する多重化手段と、
    前記削減手段によるデータ量の削減の仕方を決めるための設定値を格納する設定格納手段と、
    前記削減手段の動作を制御する制御手段とを有し、
    前記制御手段は、前記設定格納手段に格納された前記設定値に基づく制御信号を前記削減手段に出力し、
    前記削減手段は、前記制御信号に基づいて映像データのデータ量を減らし、前記データ量が減らされた映像データを前記エンコード手段に出力する
    ことを特徴とする三次元映像変換装置。
16. 三次元映像を構成する複数の映像データの内の少なくとも一つの映像データのデータ量を減らす削減手段と、
    前記データ量が減らされた映像データをエンコードし、エンコードされた映像データを出力するエンコード手段と、
    三次元映像を構成する前記複数の映像データの内の前記データ量が減らされた映像データ以外の映像データと、前記データ量が減らされエンコードされた映像データとを多重化する多重化手段と、
    前記多重化手段によって多重化された映像データを伝送する伝送手段と、
    前記削減手段によるデータ量の削減の仕方を決めるための設定値を格納する設定格納手段と、
    前記削減手段の動作を制御する制御手段とを有し、
    前記制御手段は、前記設定格納手段に格納された前記設定値に基づく制御信号を前記削減手段に出力し、
    前記削減手段は、前記制御信号に基づいて映像データのデータ量を減らし、前記データ量が減らされた映像データを前記エンコード手段に出力する
    ことを特徴とする三次元映像伝送装置。
    

Images