JP5993423B2 - カラーフレームとオリジナルデプスフレームをパック及びアンパックする方法、装置並びにシステム - Google Patents

Description

本発明は、カラーフレーム（color frame）及びオリジナルデプスフレーム（original depth frame）をパック及びアンパックする方法、装置並びにシステムに関する。

科学技術の進歩に伴い、電子製品の性能及び品質の向上がますます要求されるようになった。このうち、表示装置の設置に際しては、クリアで見やすい表示画面が提供されている外、各メーカーは次々と３次元（three-dimension, ３Ｄ）表示装置を発表して、多視点の３Ｄ映像を提供することで、消費者に従来とは異なる視覚効果を提供している。

現段階において、３Ｄ映像生成システムは、オリジナルの２Ｄ映像データ、すなわちオリジナルカラーフレームにより、前記オリジナルカラーフレームが対応するオリジナルデプスフレーム（original depth frame）を生成して、現有の伝送設備を介してオリジナルカラーフレームとオリジナルデプスフレームをユーザの３Ｄ表示装置に伝送する。このうち、データの伝送量を抑えて映像伝送効率を高めるために、一般的には、オリジナルカラーフレームとオリジナルデプスフレームを先ずパックして、パッキングフレーム（packed frame）を取得した後、現有の伝送設備を介してパッキングフレームをユーザの３Ｄ表示装置に伝送する。３Ｄ表示装置がパッキングフレームを受信したら、アンパッキング処理を行なうことで、オリジナルカラーフレームとオリジナルデプスフレームを復元及び生成することができる。その後、ＤＩＢＲ法（Depth-Image-based Rendering）によって、いかなる裸眼３Ｄ表示装置でも使用可能な２個以上の多視点映像、または、メガネ式３Ｄ表示装置の左眼映像と右眼映像を得ることができる。

しかしながら、現在では、家庭用の受信装置として最も普及しているテレビは、２Ｄ表示装置を主流としている。このような２Ｄ表示装置は、多視点映像や左右眼映像に対する処理がなされないため、２Ｄ表示装置が３Ｄ映像信号を受信した場合、左眼用映像と右眼用映像を半分ずつにしてつなぎ合わせた結果が表示されるか、単一視点及び単一深度の映像を左右に配置された結果が表示される。現在はまさに３Ｄ映像の発展期であるが、前述のようなつなぎ合わせた方式または配置方式で、一般の２Ｄ表示装置に直接に左、右眼用映像を半分ずつにしてつなぎ合わせたものや単一視点及び単一深度の映像を左右に配置されたカラーフレーム及びデプスフレームを表示すると、人の目で見た２Ｄ映像（カラーフレーム）は非常に不自然であるだけでなく、視聴者にも不快感をもたらしてしまう。

本発明は、取得したパッキングフレームが、直接に２Ｄ表示装置に表示されるだけでなく、人の目で見た２Ｄ映像が非常に自然に表示スクリーンの中心エリアに表示されて、不快感が生じないカラーフレーム及びオリジナルデプスフレームをパックする方法、装置並びにシステムを提供することを目的とする。また、本発明はさらに、従来の技術とは異なるパッキングフレームのアンパッキング方法、装置並びにシステムを提供することを目的とする。

上記目的を達成するためになされた本発明によるカラーフレーム及びオリジナルデプスフレームをパックしてパッキングフレームを取得する方法において、カラーフレームはオリジナルデプスフレームに対応しており、パッキングフレームは表示スクリーンに表示される。前記方法は、オリジナルデプスフレームをリサイズしてリサイズデプスフレームを取得するステップと、カラーフレームとリサイズデプスフレームを組み合わせてパッキングフレームを取得するステップとを備えている。このうち、カラーフレームの中心は、表示スクリーンの中心エリアに表示される。

上記目的を達成するためになされた本発明によるカラーフレーム及びオリジナルデプスフレームをパックしてパッキングフレームを取得する装置において、カラーフレームはオリジナルデプスフレームに対応しており、パッキングフレームは表示スクリーンに表示される。前記装置は、サイズ処理ユニット及び組合せ処理ユニットを備える。サイズ処理ユニットは、オリジナルデプスフレームをリサイズして、リサイズデプスフレームを取得する。組合せ処理ユニットは、カラーフレームとリサイズデプスフレームを組み合わせて、パッキングフレームを取得する。このうち、カラーフレームの中心は、表示スクリーンの中心エリアに表示される。

上記目的を達成するためになされた本発明によるカラーフレーム及びオリジナルデプスフレームをパックしてパッキングフレームを取得するシステムにおいて、カラーフレームはオリジナルデプスフレームに対応しており、パッキングフレームは表示スクリーンに表示される。前記システムは、メモリユニット及び処理ユニットを備える。メモリユニットは、カラーフレーム及びオリジナルデプスフレームを保存する。処理ユニットは、オリジナルデプスフレームをリサイズしてリサイズデプスフレームを取得してから、カラーフレームとリサイズデプスフレームを組み合わせてパッキングフレームを取得する。このうち、カラーフレームの中心は、表示スクリーンの中心エリアに表示される。

上記目的を達成するためになされた本発明によるパッキングフレームのアンパッキング方法において、パッキングフレームは、表示スクリーンに表示されて、カラーフレーム及びリサイズデプスフレームを備える。カラーフレームはリサイズデプスフレームに対応しており、カラーフレームの中心は、表示スクリーンの中心エリアに表示される。前記アンパッキング方法は、パッキングフレームからカラーフレーム及びリサイズデプスフレームを分離するステップと、リサイズデプスフレームを復元して、オリジナルデプスフレームを取得するステップとを備えている。

上記目的を達成するためになされた本発明によるパッキングフレームのアンパッキング装置において、パッキングフレームは、表示スクリーンに表示されて、カラーフレーム及びリサイズデプスフレームを備える。カラーフレームはリサイズデプスフレームに対応しており、カラーフレームの中心は、表示スクリーンの中心エリアに表示される。前記アンパッキング装置は、分離処理ユニット及び復元処理ユニットを備える。分離処理ユニットは、パッキングフレームを分離してカラーフレーム及びリサイズデプスフレームを取得する。復元処理ユニットは、リサイズデプスフレームを復元してオリジナルデプスフレームを取得する。

上記目的を達成するためになされた本発明によるパッキングフレームのアンパッキングシステムにおいて、パッキングフレームは、表示スクリーンに表示されて、カラーフレーム及びリサイズデプスフレームを備える。カラーフレームはリサイズデプスフレームに対応しており、カラーフレームの中心は、表示スクリーンの中心エリアに表示される。前記アンパッキングシステムは、メモリユニット及び処理ユニットを備える。メモリユニットはパッキングフレームを保存する。処理ユニットはパッキングフレームを分離することでカラーフレーム及びリサイズデプスフレームを取得して、リサイズデプスフレームを復元することでオリジナルデプスフレームを取得する。

このように、本発明のカラーフレーム及びオリジナルデプスフレームをパックしてパッキングフレーム取得する方法、装置並びにシステムでは、カラーフレーム及びリサイズデプスフレームを組み合わせることで、その中心が表示スクリーンの中心エリアに表示されるパッキングフレームを取得する。これにより、パッキングフレームを復元処理によって復元して、オリジナルカラーフレームやオリジナルデプスフレームを取得した後、ＤＩＢＲ法（Depth-Image-based Rendering）をさらに用いれば、３Ｄ表示装置に、例えば、マルチビューアングル立体映像またはメガネ式デュアルビューアングルの立体映像を正確に生成させることができる。同時に、さらに重要なのは、カラーフレームの中心が表示スクリーンの中心エリアに表示される点である。より好適には、カラーフレームの中心点と表示スクリーンの中心点が重なることであり、完全に重なり合うことがさらに望ましい。そうすることで、パッキングフレームを２Ｄ表示スクリーン中に直接表示できるだけでなく、人の目で実際に見た時、目に見える２Ｄ映像（すなわちカラーフレーム）が非常に自然にスクリーンの中心エリアに表示されるため、不快感を覚えることはない。また、本発明に係るカラーフレーム及びオリジナルデプスフレームをパックする方法、装置並びにシステムでは、オリジナルデプスフレームをリサイズしてリサイズデプスフレームを取得し、カラーフレームとリサイズデプスフレームを組み合わせて、簡易なパッキングフレームを取得するステップを備えることにより、その他のビデオ圧縮システムと組み合わせやすくなり、圧縮効率を高める効果を有しており、３Ｄ立体ビデオが必要とするバンドワイズの負担を減らして、３Ｄチャンネルの普及に役立てることができる。

また、本発明に係るパッキングフレームのアンパッキング方法、装置並びにシステムにおいては、パッキングフレームからカラーフレームとリサイズデプスフレームを分離するステップと、リサイズデプスフレームを復元して、オリジナルデプスフレームを取得するステップとを備えている。これにより、本発明に係るパッキングフレームのアンパッキング方法、装置並びにシステムは、従来の技術とは明らかに異なったものとなる。

本発明の好適な実施例におけるカラーフレーム及びオリジナルデプスフレームをパックする方法の過程を示したフロー図である。 本発明の好適な実施例におけるカラーフレーム及びオリジナルデプスフレームをパックする装置の機能を示したブロック図である。 第１実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第１実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第１実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第１実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第１実施例におけるオリジナルカラーフレームの処理過程を示した図である。 第１実施例におけるオリジナルカラーフレームの処理過程を示した図である。 第１実施例におけるパッキングフレームを示した図である。 第１実施例におけるパッキングフレームを２Ｄ表示装置で表示した時のカラーフレームと表示スクリーンを示した図である。 カラーフレーム及びオリジナルデプスフレームをパックする方法及び装置が取得した他のパッキングフレームの映像を示した図である。 本発明の実施例における表示スクリーンの中心エリアを示した図である。 第２実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第２実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第２実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第２実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第２実施例におけるオリジナルカラーフレームの処理過程を示した図である。 第２実施例におけるオリジナルカラーフレームの処理過程を示した図である。 第２実施例におけるパッキングフレームを示した図である。 第２実施例のパッキングフレームを２Ｄ表示装置で表示した時のカラーフレームと表示スクリーンを示した図である。 カラーフレーム及びオリジナルデプスフレームをパックする方法及び装置が取得した他のパッキングフレームの映像を示した図である。 本発明の好適な実施例における他の実施態様のカラーフレーム及びオリジナルデプスフレームをパックする装置の機能を示したブロック図である。 第３実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第３実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第３実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第３実施例におけるオリジナルデプスフレームの処理過程を示した図である。 第３実施例におけるオリジナルカラーフレームの処理過程を示した図である。 第３実施例におけるオリジナルカラーフレームの処理過程を示した図である。 第３実施例におけるパッキングフレームを示した図である。 第３実施例のパッキングフレームを２Ｄ表示装置で表示した時のカラーフレームと表示スクリーンを示した図である。 カラーフレーム及びオリジナルデプスフレームをパックする方法及び装置が取得した他のパッキングフレームの映像を示した図である。 本発明の好適な実施例におけるカラーフレーム及びオリジナルデプスフレームをパックするシステムの機能を示したブロック図である。 本発明の好適な実施例におけるパッキングフレームのアンパッキング方法の過程を示したフロー図である。 本発明の好適な実施例におけるパッキングフレームのアンパッキング装置の機能を示したブロック図である。 第４実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第４実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第４実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第４実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第４実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第４実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第４実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第４実施例のパッキングフレームを２Ｄ表示装置で表示した時のカラーフレームと表示スクリーンを示した図である。 本発明の好適な実施例における表示スクリーンの中心エリアを示した図である。 第５実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第５実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第５実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第５実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第５実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第５実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第５実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第５実施例のパッキングフレームを２Ｄ表示装置で表示した時のカラーフレームと表示スクリーンを示した図である。 第６実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第６実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第６実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第６実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第６実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第６実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第６実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。 第６実施例のパッキングフレームを２Ｄ表示装置で表示した時のカラーフレームと表示スクリーンを示した図である。 本発明の好適な実施例におけるパッキングフレームのアンパッキングシステムの機能を示したブロック図である。

以下、図面を参照しながら、本発明の好適な実施例におけるカラーフレーム及びオリジナルデプスフレームをパック及びアンパックする方法、装置並びにシステムについて説明する。このうち同じ構成要素は同じ符号を付して説明する。

以下、まず、カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する方法、装置並びにシステムについて説明する。

図１Ａ及び図１Ｂを参照しながら説明する。図１Ａは、本発明の好適な実施例におけるカラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する方法の過程を示したフロー図である。図１Ｂは、本発明の好適な実施例におけるカラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する装置１（以降では、装置１と称す）の機能を示したブロック図である。本発明によって取得したパッキングフレームは、表示スクリーン中に直接に表示されることができる。ここで、表示スクリーンは、２Ｄ表示装置の表示スクリーンである。２Ｄ表示装置の解像度は、例えば、１９２０×１０８０ピクセル（pixels）であるが、これに限定されるものではない。

図１Ａに示したように、カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する方法は、ステップＳ０１及びステップＳ０２を備える。また、図１Ｂに示したように、装置１は、サイズ処理ユニット１１及び組合せ処理ユニット１２を備える。また、装置１は、分割処理ユニット１３及び反転処理ユニット１４をさらに備える。以下、図２Ａから図４Ｂを同時に参照しながら、カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する方法及び装置１について説明する。

図２Ａから図２Ｄは、第１実施例におけるオリジナルデプスフレームの処理過程を示した図である。このうち、図２Ａはオリジナルデプスフレーム、図２Ｂは中間デプスフレーム、図２Ｃはリサイズデプスフレーム、図２Ｄは分割及び反転後の２つの部分のリサイズデプスフレームである。また、図３Ａから図３Ｂを参照されたい。図３Ａ及び図３Ｂは、第１実施例におけるオリジナルカラーフレームの処理過程を示した図である。このうち、図３Ａは、オリジナルカラーフレームであり、図３Ｂは図３Ａに示したものをリサイズして取得したカラーフレームである。

本実施例において、カラーフレームは、オリジナルカラーフレームをリサイズして取得したものである。このうち、オリジナルカラーフレームは、所定のフレームサイズを有し、例えば、１９２０×１０８０ピクセルであるが、これに限定されるものではない。このフレームサイズは、現在の高画質２Ｄ表示装置の画像解像度と同じである。ここでは、オリジナルデプスフレームとオリジナルカラーフレームのサイズは同じであり、いずれも所定のフレームサイズを有する。当然、その他の実施態様において、所定のフレームサイズを異なる数値とすることも可能である。また、図面には列方向Ｄ１及び行方向Ｄ２が表示されているが、列方向Ｄ１はフレーム画像の水平方向を表し、行方向Ｄ２はフレーム画像の垂直方向を表す。また、特筆すべきは、図３Ａ及び図３Ｂは、モノクロの画像で表示されているが、実際には、図３Ａ及び図３Ｂに示した映像は、カラー表示装置ではカラー映像で表示されている。

オリジナルデプスフレームはオリジナルカラーフレームに対応している。ここで述べる「対応」とは、両者のサイズまたは解像度が同じである外、オリジナルデプスフレームが、オリジナルカラーフレームの全てのオブジェクトの深さの値（depth values）を基に得たものであるということを意味する。さらに、オリジナルカラーフレームとオリジナルデプスフレームは、ＤＩＢＲ法（Depth-Image-based Rendering）によって、３Ｄ表示装置に再生させるための３Ｄ映像を合成することができる。オリジナルデプスフレームとオリジナルカラーフレームが対応しているため、オリジナルデプスフレームもカラーフレームに対応している。

まず、図１Ａが示したように、カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する方法におけるステップＳ０１は、オリジナルデプスフレームをリサイズして、リサイズデプスフレームを取得する（すなわち図２Ａに示したものから図２Ｃに示したものにリサイズする）ステップである。このうち、図２Ａのオリジナルデプスフレームは、グレースケールフレームであるため、その各ピクセルのサブピクセル値はいずれも同じ数値を有する（すなわち、同じグレースケール値を有する）。各ピクセルの数量は２個と等しいかまたはそれ以上とすることができる。ここで、各ピクセルは、それぞれ３個のサブピクセルＲ、Ｇ、Ｂを有する場合を例とする。

ステップＳ０１において、図２Ｃのリサイズデプスフレームを取得する前に、本実施例では、まず、図２Ａのオリジナルデプスフレームをリサイズして、図２Ｂの中間デプスフレームを取得してから、図２Ｂの中間デプスフレームに対してサブピクセルの再配置（subpixel rearrangement）を行なって、図２Ｃのリサイズデプスフレームを取得する。このうち、オリジナルデプスフレームをリサイズして、中間デプスフレームを取得することは、オリジナルデプスフレームのサイズの比率を小さくするか、オリジナルデプスフレームの解像度を下げることによって達成する。本実施例においては、サイズ処理ユニット１１が、図２Ａに示したオリジナルデプスフレームを比率に応じて縮小（downscaling）して、図２Ｂに示した中間デプスフレームを取得する。ここで、中間デプスフレームの行方向Ｄ２に沿ったサイズはオリジナルデプスフレームの４分の３倍に縮小される。したがって、中間デプスフレームのサイズは、１９２０×８１０（８１０＝１０８０×３／４）である。

次に、サブピクセルの再配置を行なう。サブピクセルの再配置は、中間デプスフレームの３個のピクセルの３個のサブピクセル値を取得し、前記サブピクセル値をそれぞれリサイズデプスフレームの１個のピクセルにおける３個のサブピクセル内に対応して保存させる。ここでは、オリジナルデプスフレームがグレースケールフレームであるため、各ピクセル中の３個のサブピクセル値も全て等しい。このため、各ピクセルは、そのうちの１個のサブピクセル値を取って代表値として採用することが可能である。サブピクセルの再配置は、中間デプスフレームの３個のピクセルのサブピクセル値をそれぞれ、リサイズデプスフレームの１個のピクセルにおける３個のサブピクセル内に対応して保存させる。つまり、中間デプスフレームの第１ピクセルのサブピクセル値をリサイズデプスフレームの第１ピクセルにおける第１サブピクセル内に保存させて、中間デプスフレームの第２ピクセルのサブピクセル値をリサイズデプスフレームの第１ピクセルにおける第２サブピクセル内に保存させて、さらに、中間デプスフレームの第３ピクセルのサブピクセル値をリサイズデプスフレームの第１ピクセルにおける第３サブピクセル内に保存させて、それ以降もこれに準じるということである。ここでは、図２Ｂに示した中間デプスフレームのサイズを、行方向Ｄ２に沿って元の３分の１倍までに縮小して、図２Ｃに示したリサイズデプスフレームを取得することが可能であり、その解像度は１９２０×２７０（２７０＝８１０×１/３）である。

上記により、本実施例の図２Ｃにおけるリサイズデプスフレームの行方向Ｄ２に沿ったサイズは、オリジナルデプスフレームの４分の１倍（３／４×１／３）である。サブピクセルを再配置する技術を使用することにより、中間デプスフレームにおける３行のピクセルのグレースケール値を、リサイズデプスフレームの１個のピクセルにおける３個のサブピクセル内に保存させることが可能であるため、オリジナルデプスフレームに比べると、リサイズデプスフレームは、コーディング効率が高いという長所を有すると同時に、データ量を小さくすることが可能であり、伝送に応用する場合、伝送効率を高めることもできる。

サブピクセルの再配置によりフレームが縮小するため、この技術は、「サブピクセル圧縮再配置技術（subpixel packing rearrangement）」とも称する。

また、オリジナルカラーフレームをリサイズしてカラーフレームを取得することは、オリジナルカラーフレームのサイズの比率を小さくするか、オリジナルカラーフレームの解像度を低くするかによって達成される。本実施例においては、サイズ処理ユニット１１が図３Ａに示したオリジナルカラーフレームを縮小して、図３Ｂに示したカラーフレームを取得する。ここで、図３Ｂに示したカラーフレームの行方向Ｄ２に沿ったサイズは、比率に基づき、オリジナルカラーフレームの４分の３倍に縮小されている。つまり、本実施例では、図３Ａに示したオリジナルカラーフレームのサイズが、行方向Ｄ２に沿って等比例で元の４分の３倍に縮小されて、図３Ｂに示したカラーフレームを取得した。このため、カラーフレームの解像度は、１９２０×８１０（８１０＝１０８０×３/４）である。しかしながら、その他の実施例において、その他の異なる比率でサイズを縮小することが可能であり、または、列方向Ｄ１に沿ってサイズを縮小するか、同時に行方向Ｄ２と列方向Ｄ１に沿ってサイズを縮小することも可能である。本発明は、特にこれを制限しない。

カラーフレーム及びリサイズデプスフレームを取得した後、ステップＳ０２を実行する。ステップＳ０２では、カラーフレームとリサイズデプスフレームを組み合わせて、パッキングフレームを取得する。しかしながら、組合せ処理ユニット１２によって、カラーフレームとリサイズデプスフレームを組み合わせるステップＳ０２において、本実施例では、まず分割処理ユニット１３によって、図２Ｃに示したリサイズデプスフレームを水平に２つの部分（列方向Ｄ１に沿って分割）に平均分割（splitting）してから、反転処理ユニット１４によって、この２つの部分をそれぞれ反転（flipping）させて、図２Ｄに示した２つの部分（いずれの部分もサイズが１９２０×１３５である）を取得する必要がある。さらに、反転後のリサイズデプスフレームの２つの部分を、組合せ処理ユニット１２によって、カラーフレームの上側と下側にそれぞれ組み合わせて、図４Ａに示したパッキングフレームを取得する。このうち、反転は、１８０度回転させて、上下が逆となることを意味している。本実施例では、分割後のリサイズデプスフレームの２つの部分のサイズが等しいものである。

図４Ｂを参照しながら説明する。図４Ｂは、第１実施例におけるパッキングフレームを２Ｄ表示装置に表示する時のカラーフレームと表示スクリーンを示した図である。

パッキングフレームを復元して、オリジナルカラーフレームまたはオリジナルデプスフレームを取得した後、ＤＩＢＲ法（Depth-Image-based Rendering）を介して、３Ｄ表示装置に裸眼多視点立体映像またはメガネ式デュアルビューアングル立体映像を正確に生成させると同時に、図４Ｂに示したように、パッキングフレームは、２Ｄ表示装置の表示スクリーン中に直接に表示される。さらに、カラーフレームの中心点（すなわちカラーフレームの対角線が交わる点）と表示スクリーンの中心点（すなわち表示スクリーンの対角線が交わる点）は重なり合っている（いずれも中心点Ｏ）。したがって、パッキングフレームは、２Ｄ表示スクリーン中に直接に表示できるだけでなく、図４Ａに示したように、人の目で見た時、目に見えるカラーフレーム（すなわち２Ｄ映像）は非常に自然であり、不快感を覚えることは少ない。当然、人の目で２Ｄ表示スクリーンを見た時に不快感が生じないために、上述の中心点を重ねるほか、テストの結果により、カラーフレームの中心が表示スクリーンの中心エリアに表示された時、一定の効果が得られることがわかっている。ここで述べた中心エリアとは、表示スクリーンの中心点及びその外に向かって延伸する一定のピクセル数量が形成する範囲を含む。この中心エリアは、例えば、円形または四角形である。例を挙げれば、図４Ｄに示したとおりである。図４Ｄは本発明の実施例中、パッキングフレームを２Ｄ表示装置において表示する時の表示スクリーンの中心エリアを示した図である。図４Ｄにおいて、表示スクリーンの中心エリアＣＡは、その表示スクリーンの中心点Ｏが、外に向かって延伸するスクリーンサイズの例えば３分の１の範囲を含み、カラーフレームの中心がこのエリア内に位置する時、見ている者が不快感を覚えることはない。

また、特筆すべきは、第１実施例において、図４Ａのパッキングフレームのサイズと図３Ａのオリジナルカラーフレームの所定のフレームサイズが等しく、いずれも１９２０×１０８０（１０８０＝１３５＋８１０＋１３５）であるという点である。現有の技術がオリジナルカラーフレームとオリジナルデプスフレームの配置上、いずれも単一視点と単一深度の映像を左右に配置する方式を使用しているため、配置後の画像解像度は元の２倍となり、伝送のバンドワイズの負担となる。しかしながら、上述のカラーフレーム及びオリジナルデプスフレームをパックする方法及び装置１によってパックされた後のパッキングフレームのサイズは、オリジナルカラーフレーム（またはオリジナルデプスフレーム）と等しく、１９２０×１０８０である。また、上述のカラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する方法及び装置は、いかなるビデオ圧縮方法とも組み合わせることが可能であり、好適な圧縮効率を有している。伝送に応用する場合、パッキングフレームは、伝送時のバンドワイズの負担を大きくすることがなく、圧縮解凍時の演算量が大きくなりすぎることもなく、使用する３Ｄ表示装置に負荷がかかりすぎることもない。

また、図５Ａから図５Ｄを参照しながら説明する。図５Ａから図５Ｄは、第２実施例におけるオリジナルデプスフレームの処理過程を示した図である。このうち、図５Ａはオリジナルデプスフレーム、図５Ｂは中間デプスフレーム、図５Ｃはリサイズデプスフレームであり、図５Ｄは分割及び反転後の２つの部分のリサイズデプスフレームである。また、図６Ａから図６Ｂを参照しながら説明する。図６Ａ及び図６Ｂは、第２実施例におけるオリジナルカラーフレームの処理過程を示した図である。このうち、図６Ａはオリジナルカラーフレームであり、図６Ｂは、図６Ａに示したオリジナルカラーフレームをリサイズして取得したカラーフレームである。

図５Ａから図５Ｄの処理過程は、図２Ａから図２Ｄと同様であるが、図５Ａから図５Ｄでは、フレームの高さ（１０８０）を維持したまま変更をせず、列方向Ｄ１に沿ってフレームをリサイズする方式が採用される。このうち、図５Ｃにおけるリサイズデプスフレームの列方向Ｄ１に沿ったサイズは、図５Ａのオリジナルデプスフレームの４分の１倍（４８０×１０８０）であり、さらに、垂直に平均分割及び反転を経た後のリサイズデプスフレームの２つの部分（２４０×１０８０、図５Ｄに示したとおり）は、組合せ処理ユニット１２を介して図６Ｂに示した水平方向へ４分の３に縮小されたカラーフレーム（１４４０×１０８０）の左側及び右側にそれぞれ組み合わせて、図７Ａに示したパッキングフレームを取得する。また、図７Ｂはパッキングフレームを表示スクリーンで表示する状態を示す図である。

その他の実施例において、サイズは同時に行方向Ｄ２及び列方向Ｄ１に沿って縮小されることも可能である。また、オリジナルデプスフレーム及びカラーフレームを、その他の異なる比率で縮小することもできる。例えば、カラーフレームのサイズが一方向に沿って、オリジナルカラーフレームのサイズのＡ倍に縮小されて、中間デプスフレームのサイズが同一方向に沿ってオリジナルデプスフレームのサイズのＢ倍に縮小された場合、Ａ＋Ｂ／３＝１の条件を満たしさえすればよい。本発明は、ここでは特にＡ及びＢの値を限定しない。前述の第１実施例において、中間デプスフレームの行方向Ｄ２に沿ったサイズの縮小比率は、カラーフレームの行方向Ｄ２に沿ったサイズの縮小比率に等しく、すなわち、Ａ＝Ｂ＝３／４である。そして、第２実施例において、中間デプスフレームの列方向Ｄ１に沿ったサイズの縮小比率も、カラーフレームの列方向Ｄ１に沿ったサイズの縮小比率に等しく、Ａ＝Ｂ＝３／４である。

特筆すべきは、上述の実施例におけるカラーフレームは、オリジナルカラーフレームをリサイズすることによって得られるという点である。しかしながら、その他の実施例において、カラーフレームを直接にリサイズデプスフレームの２つの部分と組み合わせて、異なるサイズのパッキングフレームを取得することも可能である。また、上述のサイズ処理ユニット１１、組合せ処理ユニット１２、分割処理ユニット１３及び反転処理ユニット１４は、ソフトウェアによってその機能を実現して、プロセッサ（たとえば、ＭＣＵ）を介して実行されることができる。または、ハードウェアもしくはファームウェアを応用する方式によって、上述のサイズ処理ユニット１１、組合せ処理ユニット１２、分割処理ユニット１３及び反転処理ユニット１４の機能を達成することも可能である。本発明はこれらに限定されるものではない。

また、図４Ｃまたは図７Ｃを参照しながら説明する。図４Ｃまたは図７Ｃは、カラーフレーム及びオリジナルデプスフレームをパックする方法及び装置１が取得した他のパッキングフレームの映像を示した図である。そのフレームのサイズは、それぞれ１９２０×１０８０である。

図４Ｃまたは図７Ｃからわかるように、人の目で実際に見た場合、目に見えるカラーフレーム中の人物映像は非常に自然であり、不快感を生じることもない。

また、図８を参照しながら説明する。図８は、本発明の好適な実施例における他の実施態様のカラーフレーム及びオリジナルデプスフレームをパックする装置１ａ（以下装置１ａと称する）の機能を示したブロック図である。

図１Ｂに示した装置１と異なるのは、装置１ａが回転処理ユニット１４ａを備え、反転処理ユニット１４を備えない点である。

さらに、図１Ａ及び図８を参照し、同時に図９Ａから図１１Ａも参照しながら、カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する方法及び装置の第３実施例について説明する。図９Ａから図９Ｄは、第３実施例におけるオリジナルデプスフレームの処理過程を示した図である。このうち、図９Ａは、オリジナルデプスフレーム、図９Ｂは中間デプスフレーム、図９Ｃはリサイズデプスフレームであり、図９Ｄは、分割及び回転後の２つの部分のリサイズデプスフレームである。また、図１０Ａ及び図１０Ｂは、第３実施例におけるオリジナルカラーフレームの処理過程を示した図である。このうち、図１０Ａは、オリジナルカラーフレームであり、図１０Ｂは、図１０Ａに示したオリジナルカラーフレームをリサイズして取得したカラーフレームである。第３実施例では、第１実施例と同じオリジナルデプスフレームとオリジナルカラーフレームを用いて説明しているため、図９Ａに示したものは図２Ａのものと同一であり、図１０Ａに示したものは図３Ａのものと同一である。

ステップＳ０１は、オリジナルデプスフレームをリサイズしてリサイズデプスフレームを取得する（図９Ａから図９Ｃを参照）ステップである。ステップＳ０１において、図９Ｃのリサイズデプスフレームを取得する前に、本実施例では、まず図９Ａのオリジナルデプスフレームをリサイズして、図９Ｂの中間デプスフレームを取得してから、中間デプスフレームに対してサブピクセルの再配置を行なって、図９Ｃのリサイズデプスフレームを取得する必要がある。ここでは、サイズ処理ユニット１１が、比率に応じて図９Ａのオリジナルデプスフレームを縮小して、図９Ｂの中間デプスフレームを取得する。このうち、図９Ａにおけるオリジナルデプスフレームの行方向Ｄ２に沿ったサイズが元の３分の２に縮小され、列方向Ｄ１に沿ったサイズが元の１６分の９に縮小されることによって、図９Ｂの中間デプスフレームを取得する。したがって、中間デプスフレームの解像度は、１０８０×７２０（１０８０＝１９２０×９／１６、７２０＝１０８０×２／３）である。また、サブピクセルの再配置は、すでに上述のその他の実施例において詳述しているため、ここでは再述しない。したがって、本実施例では、サブピクセルの再配置を行なった後、図９Ｂの中間デプスフレームのサイズは行方向Ｄ２に沿って元の３分の１に縮小されたため、図９Ｃのリサイズデプスフレームの解像度は１０８０×２４０（２４０＝７２０×１/３）である。このため、図９Ｃにおけるリサイズデプスフレームの行方向Ｄ２に沿ったサイズは、元のオリジナルデプスフレームの９分の２倍（１/３×１/３）であり、列方向Ｄ１に沿ったサイズは、元のオリジナルデプスフレームの１６分の９倍である。

また、本実施例では、サイズ処理ユニット１１によって、図１０Ａのオリジナルカラーフレームを縮小して、図１０Ｂのカラーフレームを取得する。ここで、図１０Ｂにおけるカラーフレームの列方向Ｄ１に沿ったサイズは、比率に応じて図１０Ａのオリジナルカラーフレームの８分の７倍に縮小されたため、カラーフレームの解像度は、１６８０×１０８０（１６８０＝１９２０×７/８）である。

カラーフレーム及びリサイズデプスフレームを取得した後、ステップＳ０２を実行する。ステップＳ０２は、カラーフレーム及びリサイズデプスフレームを組み合わせて、パッキングフレームを取得するステップである。しかしながら、組合せ処理ユニット１２によって、カラーフレームとリサイズデプスフレームを組み合わせるステップＳ０２において、本実施例では、まず分割処理ユニット１３によって、図９Ｃのリサイズデプスフレームを平均に２つの部分（ここでは列方向Ｄ１に沿って分割）に水平に分割した後、回転処理ユニット１４ａによって、この２つの部分をそれぞれ回転させて（rotating）、図９Ｄに示した２つの部分（各部分のサイズはいずれも１２０×１０８０）を取得する必要がある。それから、回転後のリサイズデプスフレームの２つの部分を、組合せ処理ユニット１２によってカラーフレームの左側と右側にそれぞれ組み合わせて、図１１Ａのパッキングフレームを取得する。ここでは、回転とは時計回りに９０度回転することを指している。したがって、図１１Ａのパッキングフレームからわかるように、本実施例のパッキングフレームのサイズは、オリジナルカラーフレームの所定のフレームサイズと同じく、１９２０×１０８０（１９２０＝１２０＋１６８０＋１２０）である。

また、図１１Ｂを参照しながら説明する。図１１Ｂは、第３実施例におけるパッキングフレームを２Ｄ表示装置で表示した時のカラーフレームと表示スクリーンを示した図である。

パッキングフレームが復元処理を経て復元されて、オリジナルカラーフレームまたはオリジナルデプスフレームを取得した後、ＤＩＢＲ 法（Depth-Image-based Rendering）によって、３Ｄ表示装置に裸眼多視点立体映像またはメガネ式デュアルビューアングル立体映像を正確に生成させられると同時に、図１１Ｂに示したように、パッキングフレームは、２Ｄ表示装置の表示スクリーンに直接表示され、且つ、カラーフレームの中心点（すなわち、カラーフレームの対角線が交わる点）と表示スクリーンの中心点（すなわち、表示スクリーンの対角線が交わる点）が重なる（いずれも中心点Ｏ）。したがって、パッキングフレームは、２Ｄ表示スクリーンに直接表示できるだけではなく、図１１Ａに示したように、人の目で実際に見た場合、目に見えるカラーフレーム（すなわち２Ｄ映像）は非常に自然であり、不快感を覚えることがほとんどない。当然、前述の実施例のように、同様の効果を達成するために、カラーフレームの中心が、表示スクリーンの中心エリアに表示されればよく、中心点が重なることを限定するものではない。

また、特筆すべきは、第３実施例において、図１１Ａのパッキングフレームのサイズは、図１０Ａのオリジナルカラーフレームの所定のフレームサイズと同じく、いずれも１９２０×１０８０（１０８０＝１３５＋８１０＋１３５）である。したがって、第１実施例と同様に、カラーフレーム及びオリジナルデプスフレームをパックする方法及び装置１ａによってパックした後のパッキングフレームもまた、いかなるビデオ圧縮方法とも組み合わせて応用することができるほか、良好な圧縮効率を有しており、伝送に応用する場合、伝送時のバンドワイズの負担が大きくなりすぎず、圧縮解凍時の演算量が大きくなって、使用する３Ｄ表示装置に負荷がかかりすぎることもない。

また、第３実施例において、図９Ａのオリジナルデプスフレームは列方向Ｄ１に沿って、その高さが同じとなるよう調整されている（幅は１９２０から１０８０に調整される）。仮に、オリジナルカラーフレームの列方向Ｄ１に沿った縮小比率がＣであり、オリジナルカラーフレームの高さを調整せず、オリジナルデプスフレームの行方向Ｄ２に沿った縮小比率がＤである時、Ｃ＋（元の高さ／元の幅）×（Ｄ／３）＝１という条件を満たす必要がある。本発明は、ここでは特に縮小比率Ｃ及びＤの値を限定しない。上述の第３実施例において、Ｃ＝７／８、且つＤ＝２／３である。

また、図１１Ｃを参照しながら説明する。図１１Ｃは、カラーフレーム及びオリジナルデプスフレームをパックする方法及び装置１ａが取得した他のパッキングフレームの映像を示した図である。

図１１Ｃに示したパッキングフレームのサイズも１９２０×１０８０である。図１１Ｃを見ると明らかなように、人の目で実際に見ると、目に見えるカラーフレームの人物画像は非常に自然であり、不快感が生じることがない。

次に、図１２を参照しながら説明する。図１２は、本発明の好適な実施例におけるカラーフレーム及びオリジナルデプスフレームをパックするシステム２（以下では、システム２と称する）の機能を示したブロック図である。

システム２は、メモリユニット２１及び処理ユニット２２を備える。メモリユニット２１と処理ユニット２２は電気的に接続される。メモリユニット２１は、カラーフレーム及びオリジナルデプスフレームを保存する。当然、メモリユニット２１は、リサイズデプスフレーム及びその２つの部分、中間デプスフレーム、パッキングフレーム、またはオリジナルカラーフレームを保存するために用いられることも可能である。このうち、メモリユニット２１は、非一時的なコンピュータ可読記録媒体（non-transitory computer readable storage medium）、メモリ、メモリカード、ＣＤ−ＲＯＭ、ビデオテープ、コンピュータ用磁気テープ、またはそれらの任意の組み合わせであり、情報を保存するためのものである。このうち、メモリは、ＲＯＭ、ＲＡＭ、フラッシュメモリ、または ＦＰＧＡ（Field-Programmable Gate Array）、またあるいは、その他の形式のメモリであるが、ここでは特に限定されない。

処理ユニット２２は、システム２の核心となるコントロールアセンブリを備え、例えば、少なくとも１個のＣＰＵ及びメモリを備えるか、その他の制御のためのハードウェア、ソフトウェア、またはファームウェアを備える。この処理ユニット２２は、オリジナルデプスフレームをリサイズして、中間デプスフレームを取得してから、中間デプスフレームに対してサブピクセルの再配置を行なって、リサイズデプスフレームを取得する。また、一実施例において、処理ユニット２２はさらに、リサイズデプスフレームを２つの部分に分割して、リサイズデプスフレームの２つの部分は、カラーフレームの上側及び下側にそれぞれ組み合わせられて、パッキングフレームを取得する。ここで、リサイズデプスフレームの２つの部分がカラーフレームの上側及び下側にそれぞれ組み合わせられる前、処理ユニット２２はさらに、リサイズデプスフレームの２つの部分をそれぞれ反転させる。

また、他の実施例において、処理ユニット２２はさらに、リサイズデプスフレームを２つの部分に分割し、且つ、リサイズデプスフレームの２つの部分を、カラーフレームの左側及び右側にそれぞれ組み合わせて、パッキングフレームを取得する。ここで、リサイズデプスフレームの２つの部分がカラーフレームの左側及び右側にそれぞれ組み合わせられる前、処理ユニット２２はさらに、リサイズデプスフレームの２つの部分をそれぞれ回転させる。また、処理ユニット２２はさらに、オリジナルカラーフレームをリサイズして、カラーフレームを取得する。

また、カラーフレームの中心は、表示スクリーンの中心エリアに表示され、且つ、好適には、カラーフレームの中心点は、表示スクリーンの中心点と重なることが望ましい。このうち、表示スクリーンは、２Ｄ表示スクリーンである。また、オリジナルデプスフレーム、中間デプスフレーム、リサイズデプスフレーム、カラーフレーム、オリジナルカラーフレーム及びパッキングフレームのその他の技術的特徴は、すでに上述のその他の実施例において詳述されているため、ここでは再述しない。

次に、パッキングフレームのアンパッキング方法、装置並びにシステムについて説明する。

図１３Ａ及び図１３Ｂを参照しながら説明する。図１３Ａは、本発明の好適な実施例におけるパッキングフレームのアンパッキング方法の過程を示したフロー図である。図１３Ｂは、本発明の好適な実施例におけるパッキングフレームのアンパッキング装置３（以下、装置３と称する）の機能を示したブロック図である。

図１３Ａに示したように、本実施例におけるパッキングフレームのアンパッキング方法は、ステップＰ０１及びステップＰ０２を備える。また、図１３Ｂに示したように、装置３は、分離処理ユニット３１及び復元処理ユニット３２を備える。また、装置３は、回転処理ユニット３３及び組合せ処理ユニット３４をさらに備える。ここで、分離処理ユニット３１、復元処理ユニット３２、回転処理ユニット３３及び組合せ処理ユニット３４は、ソフトウェアを応用する方式でその機能を実現して、プロセッサによって実行されることが可能である。または、ハードウェアもしくはファームウェアを応用する方式で、上述の分離処理ユニット３１、復元処理ユニット３２、回転処理ユニット３３及び組合せ処理ユニット３４的の機能を実現することも可能であるが、本発明ではこれを限定しない。

図１４から図１６Ｂを参照しながら、パッキングフレームのアンパッキング方法及び装置３の詳細な内容について説明する。このうち、図１４から図１６Ｂは、第４実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。ここで、図１４は、パッキングフレームを示した図である。図１５Ａは、リサイズデプスフレームの２つの部分を示した図である。図１５Ｂは、リサイズデプスフレームを示した図である。図１５Ｃは、中間デプスフレームを示した図である。図１５Ｄは、オリジナルデプスフレームを示した図である。図１６Ａは、カラーフレームを示した図である。図１６Ｂは、オリジナルカラーフレームを示した図である。また、特筆すべきは、図１４、図１６Ａ及び図１６Ｂは、モノクロの映像で示されているが、実際には、図１４、図１６Ａ及び図１６Ｂは、カラーの２Ｄ表示装置においては、カラーの映像が表示されたものである。

本実施例において、図１４のパッキングフレームは図４Ａのものと同じく、サイズが１９２０×１０８０ピクセルであり、現存の高画質２Ｄ表示装置の画像解像度と同じである。したがって、２Ｄ表示装置において直接表示することが可能である。パッキングフレームは、カラーフレーム及びリサイズデプスフレームを備える。本実施例のカラーフレームは、カラーの２Ｄ映像であり、パッキングフレームの中央部分に位置し、そしてリサイズデプスフレームは、カラーフレームの上、下両側に位置する。

図１３Ａに示したように、パッキングフレームのアンパッキング方法のステップＰ０１は、パッキングフレームからカラーフレーム及びリサイズデプスフレームを分離する（図１４のパッキングフレームから図１５Ａのリサイズデプスフレームの２つの部分及び図１６Ａのカラーフレームを分離する）ステップである。本実施例では、分離処理ユニット３１によって、パッキングフレームの上側及び下側からリサイズデプスフレームの２つの部分を分離して（水平分割）、図１５Ａのリサイズデプスフレームの２つの部分及び図１６Ａのカラーフレームを取得する。ここでは、列方向Ｄ１に沿って、リサイズデプスフレームの２つの部分を分離する。

リサイズデプスフレームの２つの部分を取得した後、組合せ処理ユニット３４を介して、この２つの部分をリサイズデプスフレームとして組み合わせる（すなわち図１５Ａに示したものから図１５Ｂに示したものに組み合わせる）。しかしながら、リサイズデプスフレームとして組み合わせる前に、まず回転処理ユニット３３によって、リサイズデプスフレームの２つの部分をそれぞれ反転（flipping）させてから、組合せ処理ユニット３４によってリサイズデプスフレームの２つの部分をリサイズデプスフレームとして組み合わせる必要がある。ここで、反転とは、リサイズデプスフレームの２つの部分を、それぞれ１８０度回転させて、上下を逆にすることである。本実施例のリサイズデプスフレームの２つの部分のサイズは等しく、いずれも１９２０×１３５であるため、組み合わせた後のリサイズデプスフレームのサイズは１９２０×２７０であり、カラーフレームのサイズは１９２０×８１０（８１０＝１０８０−１３５−１３５）である。

次に、ステップＰ０２を行なう。ステップＰ０２は、リサイズデプスフレームを復元して、オリジナルデプスフレーム（図１５Ｂから図１５Ｄに復元する）を取得するステップである。しかしながら、図１５Ｄのオリジナルデプスフレームを取得する前に、本実施例では、まず、図１５Ｂのリサイズデプスフレームに対して、サブピクセルの再配置を行なって、図１５Ｃの中間デプスフレームを取得してから、中間デプスフレームをリサイズして、図１５Ｄのオリジナルデプスフレームを取得する必要がある。ここで、サブピクセルの再配置は、リサイズデプスフレームのピクセルにおける第１サブピクセル値及び第２サブピクセル値を取得して、第１サブピクセル値を中間デプスフレームの第１ピクセルの全てのサブピクセル内に保存させるとともに、第２サブピクセル値を中間デプスフレームの第２ピクセルの全てのサブピクセル内に保存させる。つまり、１個のピクセルが３個のサブピクセルを有する場合を例とすると、サブピクセルの再配置は、リサイズデプスフレームの第１ピクセルにおける第１サブピクセル値を中間デプスフレームの第１ピクセルの全てのサブピクセル内に保存させて、リサイズデプスフレームの第１ピクセルにおける第２サブピクセル値を中間デプスフレームの第２ピクセルの全てのサブピクセル内に保存させて、さらに、リサイズデプスフレームの第１ピクセルの第３サブピクセル値を中間デプスフレームの第３ピクセルの全てのサブピクセル内に保存させる。他の場合もこれに準じる。

したがって、本実施例は、図１５Ｂのリサイズデプスフレームのサイズを行方向Ｄ２に沿って元の３倍に変更して、図１５Ｃの中間デプスフレームの行方向Ｄ２に沿ったサイズをリサイズデプスフレームの３倍に変更する（データ量も３倍である）。故に、図１５Ｃの中間デプスフレームの解像度は、１９２０×８１０（８１０＝２７０×３）である。

次に、復元処理ユニット３２を介して、中間デプスフレームをオリジナルデプスフレームに復元する（図１５Ｃから図１５Ｄに復元する）。このうち、中間デプスフレームをオリジナルデプスフレームに復元する過程は、中間デプスフレームのサイズを比率に応じて拡大させるか、中間デプスフレームの解像度を高めることで達成される。本実施例では、行方向Ｄ２に沿って図１５Ｃの中間デプスフレームのサイズを比率に応じて拡大させて、図１５Ｄのオリジナルデプスフレームを取得する。ここで、オリジナルデプスフレームの行方向Ｄ２に沿ったサイズは、比率に応じて中間デプスフレームの３分の４倍に拡大する。したがって、図１５Ｄに示したように、オリジナルデプスフレームのサイズは、１９２０×１０８０（１０８０＝８１０×４/３）である。このうち、オリジナルデプスフレームは、グレースケールフレーム（グレースケールフレームにおける各ピクセルのサブピクセル値はいずれも等しい）である。

また、アンパッキング方法は、カラーフレームを復元して、オリジナルカラーフレームを取得する（図１６Ａから図１６Ｂに復元する）ステップをさらに備える。ここでは、復元処理ユニット３２を介して、カラーフレームを復元してから、カラーフレームのサイズ（１９２０×８１０）を、行方向Ｄ２に沿って比率に応じて元の３分の４倍に拡大して、オリジナルカラーフレームを取得するため、図１６Ｂのオリジナルカラーフレームのサイズは、１９２０×１０８０（１０８０ ＝ ８１０×４/３）である。このうち、本実施例のオリジナルカラーフレームは、所定のサイズを有するとともに、パッキングフレームのサイズはこの所定のフレームのサイズに等しく、１９２０×１０８０である。また、オリジナルデプスフレームは、オリジナルカラーフレームに対応している。ここで述べる「対応」とは、オリジナルデプスフレームとオリジナルカラーフレームのサイズまたは解像度が同じであるということを意味する以外に、オリジナルデプスフレームがオリジナルカラーフレームの全てのピクセルのデプス値に基づいて取得されたことを意味する。さらに、オリジナルカラーフレームとオリジナルデプスフレームは、ＤＩＢＲ法（Depth-Image-based Rendering）によって、３Ｄ表示装置に再生させるための３Ｄ映像を合成することができる。オリジナルデプスフレームとオリジナルカラーフレームが対応しているため、オリジナルデプスフレームもカラーフレームに対応している。

また、図１７Ａを参照しながら説明する。図１７Ａは、第４実施例におけるパッキングフレームを２Ｄ表示装置で表示した時のカラーフレームと表示スクリーンを示した図である。

図１７Ａに示したように、第４実施例におけるパッキングフレームは、２Ｄ表示スクリーンにおいて直接表示することが可能であり、且つ、カラーフレームの中心点（すなわち、カラーフレームの対角線が交わる点）と表示スクリーンの中心点（すなわち、表示スクリーンの対角線が交わる点）が重なっている（いずれも中心点Ｏ）。従って、上述のその他の実施例と同様に、人の目で実際に見た場合、人の目に見えるカラーフレーム（すなわち２Ｄ映像）が非常に自然であり、不快感を生じることはない。当然、人の目で２Ｄ表示スクリーンを見た時、不快感を生じさせないために、上述の中心点を重ねる以外にも、テストの結果により、カラーフレームの中心が表示スクリーンの中心エリアにおいて表示される時、一定の効果が得られることが明らかになっている。ここで述べる中心エリアとは、表示スクリーンの中心点及びその外に向かって延伸する一定のピクセル数量が形成する範囲を意味する。この中心エリアは、例えば、円形または四角形である。例えば、図１７Ｂを参照しながら説明する。図１７Ｂは、本発明の実施例におけるパッキングフレームを２Ｄ表示装置で表示させた時、表示スクリーンの中心エリアを示した図である。図１７Ｂにおいて、表示スクリーンの中心エリアＣＡは、その表示スクリーンの中心点Ｏを含んでおり、かつこの中心点Ｏから外に向かって延伸して、スクリーンサイズの例えば３分の１の範囲に達する範囲を含んでいる。カラーフレームの中心がこのエリアに位置する時、見ている者が不快感を覚えることはない。

また、図１３Ａ及び図１３Ｂを参照すると同時に、図１８から図２０Ｂも参照しながら、パッキングフレームのアンパッキング方法及び装置の第５実施例について説明する。このうち、図１８から図２０Ｂは、第５実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。ここで、図１８は、上述の図７Ａと同じく、パッキングフレームを示した図である。図１９Ａは、リサイズデプスフレームの２つの部分を示した図である。図１９Ｂはリサイズデプスフレームを示した図である。図１９Ｃは、中間デプスフレームを示した図である。図１９Ｄは、オリジナルデプスフレームを示した図である。図２０Ａは、カラーフレームを示した図である。図２０Ｂは、オリジナルカラーフレームを示した図である。

まず、ステップＰ０１において、パッキングフレームはカラーフレーム及びリサイズデプスフレームに分離される（図１８から図１９Ａ及び図２０Ａが分離される）。本実施例では、分離処理ユニット３１を介して、パッキングフレームの左側及び右側からリサイズデプスフレームの２つの部分（垂直分割）を分離してから、図１９Ａに示したリサイズデプスフレームの２つの部分及び図２０Ａに示したカラーフレームを取得する。ここでは、行方向Ｄ２に沿ってリサイズデプスフレームの２つの部分を分離し、且つ、リサイズデプスフレームの２つの部分のサイズは同じく、いずれも２４０×１０８０である。

リサイズデプスフレームの２つの部分を取得した後、組合せ処理ユニット３４を介して、この２つの部分を組み合わせてリサイズデプスフレームにする（すなわち、図１９Ａから図１９Ｂに組み合わせる）。しかしながら、組み合わせてリサイズデプスフレームにする前に、まずはリサイズデプスフレームの２つの部分の位置を左右に交換してから、組合せ処理ユニット３４を介して、リサイズデプスフレームの２つの部分を組み合わせてリサイズデプスフレームにする。リサイズデプスフレームの２つの部分のサイズは同じく、いずれも２４０×１０８０であるため、リサイズデプスフレームのサイズは４８０×１０８０であり、カラーフレームのサイズは１４４０×１０８０（１４４０＝１９２０−２４０−２４０）である。

次に、ステップＰ０２を行なう。ステップＰ０２は、リサイズデプスフレームを復元して、オリジナルデプスフレームを取得する（図１９Ｂから図１９Ｄに復元する）ステップである。しかしながら、リサイズデプスフレームを復元する前に、本実施例では、まず図１９Ｂのリサイズデプスフレームに対してサブピクセルの再配置を行なって、図１９Ｃの中間デプスフレームを取得する必要がある。中間デプスフレームを取得した後、この中間デプスフレームをリサイズして、図１９Ｄのオリジナルデプスフレームを取得する。このうち、サブピクセルの再配置とは、リサイズデプスフレームのピクセルの第１サブピクセル値及び第２サブピクセル値を取得して、第１サブピクセル値を中間デプスフレームの第１ピクセルの全てのサブピクセル内に保存させるとともに、第２サブピクセル値を中間デプスフレームの第２ピクセルの全てのサブピクセル内に保存させる。つまり、１個のピクセルが３個のサブピクセルを有する場合を例とすると、サブピクセルの再配置は、リサイズデプスフレームの第１ピクセルの第１サブピクセル値を中間デプスフレームの第１ピクセルの全てのサブピクセル内に保存させて、リサイズデプスフレームの第１ピクセルの第２サブピクセル値を中間デプスフレームの第２ピクセルの全てのサブピクセル内に保存させて、さらに、リサイズデプスフレームの第１ピクセルの第３サブピクセル値を中間デプスフレームの第３ピクセルの全てのサブピクセル内に保存させる。他の場合もこれに準じる。

本実施例において、サブピクセルの再配置は、図１９Ｂのリサイズデプスフレームのサイズは、列方向Ｄ１（水平方向）に沿って元の３倍に変更されることで、図１９Ｃにおける中間デプスフレームの列方向Ｄ１に沿ったサイズは、リサイズデプスフレームの３倍（データ量も３倍）である。故に、図１９Ｃの中間デプスフレームの解像度は、１４４０×１０８０（１４４０＝４８０×３）である。

次に、復元処理ユニット３２を介して、中間デプスフレームをオリジナルデプスフレームに復元する（図１９Ｃから図１９Ｄに復元する）。本実施例では、列方向Ｄ１に沿って図１９Ｃの中間デプスフレームを比率に応じて拡大して、図１９Ｄのオリジナルデプスフレームを取得する。ここで、オリジナルデプスフレームのサイズは、列方向Ｄ１に沿って、比率に応じて元の３分の４倍に拡大される。したがって、図１９Ｄに示したように、オリジナルデプスフレームのサイズは１９２０×１０８０（１９２０＝１４４０×４/３）である。

また、アンパッキング方法は、カラーフレームを復元して、オリジナルカラーフレームを取得する（図２０Ａから図２０Ｂに復元する）ステップをさらに備える。ここでは、復元処理ユニット３２を介して、カラーフレームを復元して、カラーフレームのサイズ（１４４０×１０８０）を列方向Ｄ１に沿って比率に応じて元の３分の４倍に拡大することで、オリジナルカラーフレームを取得する。故に、図２０Ｂのオリジナルカラーフレームのサイズは１９２０×１０８０である。本実施例におけるオリジナルカラーフレームの所定のフレームサイズは、パッキングフレームのサイズに等しく、１９２０×１０８０である。また、本実施例におけるオリジナルデプスフレームもカラーフレームに対応している。

また、カラーフレームの一方向に沿ったサイズがオリジナルカラーフレームのＡ倍であり、中間デプスフレームの同一方向に沿ったサイズがオリジナルデプスフレームのＢ倍である場合、Ａ＋Ｂ／３＝1という条件を満たしさえすればよい。ここでは特にＡ及びＢの値を限定しない。前述の第４実施例において、中間デプスフレームの行方向Ｄ２に沿った復元比率はＡは、カラーフレームの行方向Ｄ２に沿った復元比率Ｂに等しく、すなわちＡ＝Ｂ＝３／４であり、そして第５実施例において、中間デプスフレームの列方向Ｄ１に沿った復元比率Ａもカラーフレームの列方向Ｄ１に沿った復元比率Ｂに等しく、Ａ＝Ｂ＝３／４である。

また、図２１を参照しながら説明する。図２１は、第５実施例におけるパッキングフレームを２Ｄ表示装置で表示した時のカラーフレームと表示スクリーンを示した図である。

図２１に示したように、第５実施例のパッキングフレームは、２Ｄの表示スクリーンに表示され、且つ、カラーフレームの中心点（すなわちカラーフレームの対角線が交わる点）と表示スクリーンの中心点（すなわち表示スクリーンの対角線が交わる点）は重なっている（いずれも中心点Ｏ）。したがって、人の目で実際に見た時、目に見えるカラーフレーム（すなわち２Ｄ映像）は非常に自然であり、不快感が生じることはない。当然、前述の実施例のように、同様の効果を達成するために、カラーフレームの中心は表示スクリーンの中心エリアに位置すればよく、中心点が重なる場合に限定されない。

また、図１３Ａ及び図１３Ｂを参照すると同時に、図２２から図２４Ｂを参照しながら、パッキングフレームのアンパッキング方法及び装置の第６実施例について説明する。このうち、図２２から図２４Ｂは、第６実施例におけるパッキングフレームのアンパッキング処理の過程を示した図である。ここで、図２２は上述の図１１Ａと同じく、パッキングフレームを示した図である。図２３Ａはリサイズデプスフレームの２つの部分を示した図である。図２３Ｂはリサイズデプスフレームを示した図である。図２３Ｃは、中間デプスフレームを示した図である。図２３Ｄは、オリジナルデプスフレームを示した図である。図２４Ａはカラーフレームを示した図である。図２４Ｂはオリジナルカラーフレームを示した図である。

第６実施例の処理の過程は、第５実施例のものとはほぼ同様である。第６実施例は、同様に、分離処理ユニット３１を介してパッキングフレームの左側及び右側からリサイズデプスフレームの２つの部分を分離して（同じく垂直分割）、図２３Ａに示したリサイズデプスフレームの２つの部分及び図２４Ａに示したカラーフレームを取得する。しかしながら、第５実施例と異なるのは、図２３Ａに示したリサイズデプスフレームの２つの部分のサイズがいずれも１２０×１０８０という点である。また、組合せ処理ユニット３４を介して、リサイズデプスフレームの２つの部分を組み合わせてリサイズデプスフレームにする前に、まずは回転処理ユニット３３を介して、リサイズデプスフレームの２つの部分をそれぞれ回転（rotating）させてから、組合せ処理ユニット３４を介してリサイズデプスフレームの２つの部分を組み合わせてリサイズデプスフレームにする点である。ここで、回転とは、リサイズデプスフレームの２つの部分を、それぞれ逆時計回りに９０度回転させることを意味する。本実施例におけるリサイズデプスフレームの２つの部分のサイズは等しく、いずれも１２０×１０８０であるため、リサイズデプスフレームのサイズは１０８０×２４０であり、カラーフレームのサイズは、１６８０×１０８０（１６８０＝１９２０−１２０−１２０）である。

また、図２３Ｂのリサイズデプスフレームに対してサブピクセルの再配置を行なった後、図２３Ｃの中間デプスフレームを取得することができる。この中間デプスフレームをリサイズすることにより、図２３Ｄのオリジナルデプスフレームを取得することができる。本実施例において、サブピクセルの再配置は、図２３Ｂにおけるリサイズデプスフレームのサイズを行方向Ｄ２に沿って元の３倍（列方向Ｄ１に沿ったサイズは変更されない）に変更して、図２３Ｃの中間デプスフレームの行方向Ｄ２に沿ったサイズをリサイズデプスフレームの３倍に変更する。故に、図２３Ｃの中間デプスフレームの解像度は１０８０×７２０（７２０＝２４０×３）である。

次に、復元処理ユニット３２を介して、中間デプスフレームをオリジナルデプスフレームに復元する（図２３Ｃから図２３Ｄに復元する）。ここでは、それぞれ列方向Ｄ１及び行方向Ｄ２に沿って、図２３Ｃの中間デプスフレームを比率に応じて拡大して、図２３Ｄのオリジナルデプスフレームを取得する。ここで、オリジナルデプスフレームの行方向Ｄ２に沿ったサイズは、元の２分の３倍に拡大されて、列方向Ｄ１に沿ったサイズは、元の９分の１６倍に拡大される。したがって、図２３Ｄに示したように、オリジナルデプスフレームのサイズは、１９２０×１０８０（１９２０＝１０８０×１６/９、１０８０＝７２０×３／２）である。さらに特筆すべきは、その他の実施例において、上述の拡大比率は、その他の異なる比率でも可能であるか、または、列方向Ｄ１のみに沿った拡大比率、またあるいは、行方向Ｄ２のみに沿った拡大比率でも可能であるということである。ここでは特に限定しない。

また、図２４Ａのカラーフレームが復元されることによって、図２４Ｂのオリジナルカラーフレームを取得する。ここでは、カラーフレームのサイズ（１６８０×１０８０）を列方向Ｄ１に沿って元の７分の８倍に拡大して、オリジナルカラーフレームを取得するため、図２４Ｂのオリジナルカラーフレームのサイズは、１９２０×１０８０である。本実施例におけるオリジナルカラーフレームの所定のサイズは、パッキングフレームと同じく、１９２０×１０８０である。

また、図２５を参照しながら説明する。図２５は、第６実施例のパッキングフレームを２Ｄ表示装置で表示した時のカラーフレームと表示スクリーンを示した図である。

図２５に示したように、第６実施例のパッキングフレームは、２Ｄ表示スクリーンに表示され、且つ、カラーフレームの中心点（すなわち、カラーフレームの対角線が交わる点）と表示スクリーンの中心点（すなわち、表示スクリーンの対角線が交わる点）は重なっている（いずれも中心点Ｏ）。したがって、人の目で実際に見た時、目に見えるカラーフレーム（すなわち２Ｄ映像）が非常に自然であり、不快感が生じることはない。当然、前述の実施例のように、同様の効果を達成するために、カラーフレームの中心は表示スクリーンの中心エリアに位置すればよく、中心点が重なる場合に限定されない。

また、上述の第４実施例、第５実施例及び第６実施例において、パッキングフレームのサイズは、オリジナルカラーフレームの所定のフレームサイズと同じく、１９２０×１０８０である。故に、第４実施例、第５実施例及び第６実施例におけるパッキングフレームが伝送に応用された場合、伝送バンドワイズの負担を増すことがなく、圧縮解凍演算量が大きくなりすぎて使用される３Ｄ表示装置が負荷に耐えられなくなるといった状況を回避することができる。

次に、図２６を参照しながら説明する。図２６は、本発明の好適な実施例におけるパッキングフレームのアンパッキングシステム４（以下システム４と称する）の機能を示したブロック図である。このうち、パッキングフレームは、２Ｄ表示スクリーンに表示されて、カラーフレーム及びリサイズデプスフレームを備える。カラーフレームはリサイズデプスフレームに対応しており、カラーフレームの中心は、表示スクリーンの中心エリアに表示される。

システム４は、メモリユニット４１及び処理ユニット４２を備える。メモリユニット４１は処理ユニット４２に電気的に接続される。メモリユニット４１は、パッキングフレームを保存するためのものである。当然、メモリユニット４１は、オリジナルカラーフレーム、オリジナルデプスフレーム、カラーフレーム、リサイズデプスフレーム及びその２つの部分、または中間デプスフレームを保存することも可能である。このメモリユニット４１は、非一時的なコンピュータ可読記録媒体（non-transitory computer readable storage medium）であり、例えば、メモリ、メモリカード、ＣＤ−ＲＯＭ、ビデオテープ、コンピュータ用磁気テープ、またはそれらの任意の組み合わせであり、情報を保存するためのものである。このうち、メモリは、ＲＯＭ、ＲＡＭ、フラッシュメモリ、またはＦＰＧＡ（Field-Programmable Gate Array）、またあるいは、その他の形式のメモリであるが、ここでは特に限定されない。

処理ユニット４２は、システム４の核心となるコントロールアセンブリを備え、例えば、少なくとも１個のＣＰＵ及びメモリを備えるか、その他の制御のためのハードウェア、ソフトウェア、またはファームウェアを備える。このうち、処理ユニット４２は、パッキングフレームを分離して、カラーフレーム及びリサイズデプスフレームを取得してから、リサイズデプスフレームを復元して、オリジナルデプスフレームを取得する。一実施例において、処理ユニット４２は、パッキングフレームの上側及び下側からリサイズデプスフレームの２つの部分を分離して、リサイズデプスフレームの２つの部分をそれぞれ反転させた後、リサイズデプスフレームの２つの部分を組み合わせて、リサイズデプスフレームを取得する。また、他の実施例において、処理ユニット４２は、パッキングフレームの左側及び右側から、リサイズデプスフレームの２つの部分を分離して、リサイズデプスフレームの２つの部分をそれぞれ回転させた後、リサイズデプスフレームの２つの部分を組み合わせて、リサイズデプスフレームを取得する。また、処理ユニット４２はさらに、リサイズデプスフレームに対して、サブピクセルの再配置を行なって、中間デプスフレームを取得する。この処理ユニット４２は、リサイズデプスフレームのピクセルにおける第１サブピクセル値及び第２サブピクセル値を取得して、第１サブピクセル値を、中間デプスフレームの第１ピクセルの全てのサブピクセル内に保存させるとともに、第２サブピクセル値を、中間デプスフレームの第２ピクセルの全てのサブピクセル内に保存させる。また、処理ユニット４２はさらに、中間デプスフレームをオリジナルデプスフレームに復元する。また、処理ユニット４２はさらに、カラーフレームを復元して、オリジナルカラーフレームを取得する。

また、システム４において、オリジナルデプスフレーム、中間デプスフレーム、リサイズデプスフレーム、カラーフレーム、オリジナルカラーフレーム及びパッキングフレームのその他の技術的特徴は、すでに上述のその他の実施例において詳述しているため、ここでは再述しない。

このように、本発明に係るカラーフレーム及びオリジナルデプスフレームをパックしてパッキングフレーム取得する方法、装置並びにシステムでは、カラーフレーム及びリサイズデプスフレームが組み合わされることで、その中心が表示スクリーンの中心エリアに表示されるパッキングフレームを取得する。これにより、パッキングフレームは、復元処理によって復元されて、オリジナルカラーフレームまたはオリジナルデプスフレームを取得した後、さらにＤＩＢＲ法（Depth-Image-based Rendering）によって、３Ｄ表示装置に、例えば、マルチビューアングル立体映像またはメガネ式デュアルビューアングルの立体映像を正確に生成させることができる。同時に、さらに重要なのは、カラーフレームの中心が表示スクリーンの中心エリアに表示される点である。より好適には、カラーフレームの中心点と表示スクリーンの中心点が重なることであり、完全に重なり合うことがさらに望ましい。そうすることで、パッキングフレームを２Ｄ表示スクリーンに直接表示できるだけでなく、人の目で実際に見た時、目に見える２Ｄ映像（すなわちカラーフレーム）が非常に自然にスクリーンの中心エリアに表示されるため、不快感を覚えることはない。また、本発明で開示されるカラーフレーム及びオリジナルデプスフレームをパックする方法、装置並びにシステムでは、オリジナルデプスフレームをリサイズしてリサイズデプスフレームを取得するステップと、カラーフレームとリサイズデプスフレームを組み合わせて、簡易なパッキングフレームを取得するステップとを備えることにより、その他のビデオ圧縮システムと組み合わせやすく、圧縮効率を高める効果を有するとともに、３Ｄ立体ビデオが必要とするバンドワイズの負担を減らして、３Ｄチャンネルの普及に役立てることができる。

また、本発明に係るパッキングフレームのアンパッキング方法、装置並びにシステムにおいては、パッキングフレームからカラーフレームとリサイズデプスフレームを分離するステップと、リサイズデプスフレームを復元して、オリジナルデプスフレームを取得するステップとを備えることにより、本発明に係るパッキングフレームのアンパッキング方法、装置並びにシステムは、従来の技術とは明らかに異なる。

以上、本発明の実施例を図面を参照して詳述してきたが、具体的な構成は、これらの実施例に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更などがあっても、本発明に含まれる。

本発明は、以上の構成により、カラーフレーム及びオリジナルデプスフレームをパック及びアンパックする方法、装置並びにシステムを提供する。カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得することにより、２Ｄ表示スクリーンにおいて直接表示することが可能なだけでなく、人の目で実際に見る２Ｄ映像（カラーフレーム）が非常に自然であり、不快感を生じることはない。

１、１ａ カラーフレーム及びオリジナルデプスフレームをパックする装置
１１ サイズ処理ユニット
１２、３４ 組合せ処理ユニット
１３ 分割処理ユニット
１４ 反転処理ユニット
１４ａ、３３ 回転処理ユニット
２ カラーフレーム及びオリジナルデプスフレームをパックするシステム
２１、４１ メモリユニット
２２、４２ 処理ユニット
３ パッキングフレームのアンパッキング装置
３１ 分離処理ユニット
３２ 復元処理ユニット
４ パッキングフレームのアンパッキングシステム
ＣＡ 中心エリア
Ｄ１ 列方向
Ｄ２ 行方向
Ｏ 中心点
Ｐ０１〜Ｐ０２、Ｓ０１〜Ｓ０２ ステップ

Claims (42)

1. カラーフレーム及びオリジナルデプスフレームをパックしてパッキングフレームを取得する方法であって、
   前記カラーフレームは前記オリジナルデプスフレームに対応すると共に、前記パッキングフレームは表示スクリーンに表示されており、
   前記方法は、
   前記オリジナルデプスフレームをリサイズして、リサイズデプスフレームを取得するステップと、
   前記カラーフレーム及び前記リサイズデプスフレームを組み合わせて、前記パッキングフレームを取得するステップとを備えており、
   前記カラーフレーム及び前記リサイズデプスフレームを組み合わせるステップは、
   前記リサイズデプスフレームを２つの部分に分割するステップと、前記２つの部分を前記カラーフレームの上側及び下側にそれぞれ組み合わせるステップとをさらに備え、
   前記２つの部分を前記カラーフレームの上側及び下側にそれぞれ組み合わせるステップは、前記リサイズデプスフレームに対応して前記２つの部分を反転させるステップをさらに備え、
   前記カラーフレームの中心は、前記表示スクリーンの中心エリアに表示されることを特徴とする、カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する方法。
2. 前記カラーフレームの中心点は、前記表示スクリーンの中心点と重なることを特徴とする、請求項１に記載の方法。
3. 前記オリジナルデプスフレームをリサイズして、中間デプスフレームを取得するステップと、
   前記中間デプスフレームに対してサブピクセルの再配置を行なって、前記リサイズデプスフレームを取得するステップと、をさらに備えることを特徴とする、請求項１に記載の方法。
4. 前記リサイズデプスフレームの行方向に沿ったサイズは、前記中間デプスフレームの３分の１倍であることを特徴とする、請求項３に記載の方法。
5. 前記リサイズデプスフレームは、複数のピクセルを有し、前記各ピクセルが３個のサブピクセルを有し、前記複数のサブピクセルは、前記中間デプスフレームの３個のピクセルのサブピクセル値をそれぞれ対応して保存することを特徴とする、請求項３に記載の方法。
6. オリジナルカラーフレームをリサイズして、前記カラーフレームを取得するステップをさらに備えることを特徴とする、請求項３に記載の方法。
7. 前記オリジナルカラーフレームは、所定のフレームサイズを有し、前記パッキングフレームのサイズは前記所定のフレームサイズと等しいことを特徴とする、請求項６に記載の方法。
8. カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する装置であって、
   前記カラーフレームは前記オリジナルデプスフレームに対応すると共に、前記パッキングフレームは、表示スクリーンに表示されて、
   前記装置は、
   前記オリジナルデプスフレームをリサイズしてリサイズデプスフレームを取得するサイズ処理ユニットと、
   前記カラーフレーム及び前記リサイズデプスフレームを組み合わせて、前記パッキングフレームを取得する組合せ処理ユニットとを備え、
   前記リサイズデプスフレームを２つの部分に分割する分割処理ユニットをさらに備え、
   前記組合せ処理ユニットは、前記リサイズデプスフレームの前記２つの部分を前記カラーフレームの上側及び下側にそれぞれ組み合わせて、前記パッキングフレームを取得し、
   前記リサイズデプスフレームの前記２つの部分を前記カラーフレームの上側及び下側にそれぞれ組み合わせる前に、前記リサイズデプスフレームの前記２つの部分をそれぞれ反転させる反転処理ユニットを備え、
   前記カラーフレームの中心は、前記表示スクリーンの中心エリアに表示されることを特徴とする、カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得する装置。
9. 前記カラーフレームの中心点は、前記表示スクリーンの中心点と重なることを特徴とする、請求項８に記載の装置。
10. 前記サイズ処理ユニットは、前記オリジナルデプスフレームをリサイズして、中間デプスフレームを取得してから、前記中間デプスフレームに対してサブピクセルの再配置を行なって、前記リサイズデプスフレームを取得することを特徴とする、請求項８に記載の装置。
11. 前記リサイズデプスフレームの行方向に沿ったサイズは、前記中間デプスフレームの３分の１倍であることを特徴とする、請求項１０に記載の装置。
12. 前記リサイズデプスフレームは、複数のピクセルを有し、前記各ピクセルは３個のサブピクセルを有し、前記複数のサブピクセルは、前記中間デプスフレームの３個ピクセルのサブピクセル値をそれぞれ対応して保存することを特徴とする、請求項１０に記載の装置。
13. 前記サイズ処理ユニットは、さらに、オリジナルカラーフレームをリサイズして、前記カラーフレームを取得することを特徴とする、請求項１０に記載の装置。
14. 前記オリジナルカラーフレームは、所定のフレームサイズを有し、前記パッキングフレームのサイズは前記所定のフレームサイズと等しいことを特徴とする、請求項１３に記載の装置。
15. カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得するシステムであって、
    前記カラーフレームは前記オリジナルデプスフレームに対応しており、前記パッキングフレームは、表示スクリーンに表示され、
    前記システムは、
    前記カラーフレーム及び前記オリジナルデプスフレームを保存するメモリユニットと、
    前記オリジナルデプスフレームをリサイズして、リサイズデプスフレームを取得してから、前記カラーフレーム及び前記リサイズデプスフレームを組み合わせて、前記パッキングフレームを取得する処理ユニットと、を備え、
    前記処理ユニットは、さらに、前記リサイズデプスフレームを２つの部分に分割し、前記リサイズデプスフレームの前記２つの部分を前記カラーフレームの上側及び下側にそれぞれ組み合わせて、前記パッキングフレームを取得し、
    前記リサイズデプスフレームの前記２つの部分を前記カラーフレームの上側及び下側にそれぞれ組み合わせる前に、前記処理ユニットがさらに前記リサイズデプスフレームの前記２つの部分をそれぞれ反転させ、
    前記カラーフレームの中心は、前記表示スクリーンの中心エリアに表示されることを特徴とする、カラーフレーム及びオリジナルデプスフレームをパックして、パッキングフレームを取得するシステム。
16. 前記カラーフレームの中心点は、表示スクリーンの中心点と重なることを特徴とする、請求項１５に記載のシステム。
17. 前記処理ユニットは、前記オリジナルデプスフレームをリサイズして、中間デプスフレームを取得してから、前記中間デプスフレームに対してサブピクセルの再配置を行なって、前記リサイズデプスフレームを取得することを特徴とする、請求項１５に記載のシステム。
18. 前記リサイズデプスフレームの行方向に沿ったサイズは、前記中間デプスフレームの３分の１倍であることを特徴とする、請求項１７に記載のシステム。
19. 前記リサイズデプスフレームは、複数のピクセルを有し、前記各ピクセルは３個のサブピクセルを有し、前記複数のサブピクセルは、前記中間デプスフレームの３個ピクセルのサブピクセル値をそれぞれ対応して保存することを特徴とする、請求項１７に記載のシステム。
20. 前記処理ユニットは、さらに、オリジナルカラーフレームをリサイズして、前記カラーフレームを取得することを特徴とする、請求項１７に記載のシステム。
21. 前記オリジナルカラーフレームは、所定のフレームサイズを有し、前記パッキングフレームのサイズは前記所定のフレームサイズと等しいことを特徴とする、請求項２０に記載のシステム。
22. パッキングフレームのアンパッキング方法であって、
    前記パッキングフレームは、表示スクリーンに表示されると共に、カラーフレーム及びリサイズデプスフレームを有し、前記カラーフレームは前記リサイズデプスフレームに対応しており、前記カラーフレームの中心は、前記表示スクリーンの中心エリアに表示されており、
    前記アンパッキング方法は、
    前記パッキングフレームから前記カラーフレーム及び前記リサイズデプスフレームを分離するステップと、
    前記リサイズデプスフレームを復元して、オリジナルデプスフレームを取得するステップとを備え、
    前記パッキングフレームから前記カラーフレーム及び前記リサイズデプスフレームを分離するステップには、
    前記パッキングフレームの上側及び下側から、前記リサイズデプスフレームの２つの部分を分離するステップと、
    前記リサイズデプスフレームの前記２つの部分を組み合わせて前記リサイズデプスフレームを取得するステップとをさらに備え、
    前記リサイズデプスフレームの前記２つの部分を組み合わせて前記リサイズデプスフレームを取得する前に、前記パッキングフレームから前記カラーフレーム及び前記リサイズデプスフレームを分離するステップには、
    前記リサイズデプスフレームの前記２つの部分をそれぞれ反転させるステップをさらに備えることを特徴とする、パッキングフレームのアンパッキング方法。
23. 前記カラーフレームの中心点は、前記表示スクリーンの中心点と重なることを特徴とする、請求項２２に記載のアンパッキング方法。
24. 前記カラーフレームを復元して、オリジナルカラーフレームを取得するステップをさらに備えることを特徴とする、請求項２２に記載のアンパッキング方法。
25. 前記リサイズデプスフレームを復元して、オリジナルデプスフレームを取得するステップには、
    前記リサイズデプスフレームに対してサブピクセルの再配置を行なって、中間デプスフレームを取得するステップと、
    前記中間デプスフレームをリサイズして、前記オリジナルデプスフレームを取得するステップとをさらに備えることを特徴とする、請求項２２に記載のアンパッキング方法。
26. 前記中間デプスフレームの行方向に沿ったサイズは、前記リサイズデプスフレームの３倍であることを特徴とする、請求項２５に記載のアンパッキング方法。
27. 前記中間デプスフレームを取得するステップでは、前記リサイズデプスフレームのピクセルの第１サブピクセル値及び第２サブピクセル値を取得して、前記第１サブピクセル値を、前記中間デプスフレームの第１ピクセルの全てのサブピクセル内に保存させるとともに、前記第２サブピクセル値を、前記中間デプスフレームの第２ピクセルの全てのサブピクセル内に保存させることを特徴とする、請求項２５に記載のアンパッキング方法。
28. 前記オリジナルデプスフレームの行方向に沿ったサイズは、前記中間デプスフレームの３分の４倍であることを特徴とする、請求項２５に記載のアンパッキング方法。
29. パッキングフレームのアンパッキング装置であって、
    前記パッキングフレームは、表示スクリーンに表示されると共に、カラーフレーム及びリサイズデプスフレームを有し、前記カラーフレームは前記リサイズデプスフレームに対応しており、前記カラーフレームの中心は、前記表示スクリーンの中心エリアに表示されて、
    前記アンパッキング装置は、
    前記パッキングフレームを分離して、前記カラーフレーム及び前記リサイズデプスフレームを取得する分離処理ユニットと、
    前記リサイズデプスフレームを復元して、オリジナルデプスフレームを取得する復元処理ユニットと、を備え、
    前記分離処理ユニットは、前記パッキングフレームの上側及び下側から前記リサイズデプスフレームの２つの部分を分離し、
    前記リサイズデプスフレームの前記２つの部分をそれぞれ反転させる回転処理ユニットをさらに備えることを特徴とする、パッキングフレームのアンパッキング装置。
30. 前記カラーフレームの中心点は、前記表示スクリーンの中心点と重なることを特徴とする、請求項２９に記載のアンパッキング装置。
31. 前記復元処理ユニットは、さらに、前記カラーフレームを復元して、オリジナルカラーフレームを取得することを特徴とする、請求項２９に記載のアンパッキング装置。
32. 前記復元処理ユニットは、前記リサイズデプスフレームに対してサブピクセルの再配置を行なって、中間デプスフレームを取得することを特徴とする、請求項２９に記載のアンパッキング装置。
33. 前記中間デプスフレームの行方向に沿ったサイズは、前記リサイズデプスフレームの３倍であることを特徴とする、請求項３２に記載のアンパッキング装置。
34. 前記復元処理ユニットはさらに、前記リサイズデプスフレームのピクセルの第１サブピクセル値及び第２サブピクセル値を取得して、前記第１サブピクセル値を前記中間デプスフレームの第１ピクセルの全てのサブピクセル内に保存させるとともに、前記第２サブピクセル値を前記中間デプスフレームの第２ピクセルの全てのサブピクセル内に保存させることを特徴とする、請求項３２に記載のアンパッキング装置。
35. 前記オリジナルデプスフレームの行方向に沿ったサイズは、前記中間デプスフレームの３分の４倍であることを特徴とする、請求項３２に記載のアンパッキング装置。
36. パッキングフレームのアンパッキングシステムであって、
    前記パッキングフレームは、表示スクリーンに表示されると共に、カラーフレーム及びリサイズデプスフレームを有し、前記カラーフレームは前記リサイズデプスフレームに対応し、前記カラーフレームの中心は、前記表示スクリーンの中心エリアに表示され、
    前記アンパッキングシステムは、
    前記パッキングフレームを保存するメモリユニットと、
    前記パッキングフレームを分離して、前記カラーフレーム及び前記リサイズデプスフレームを取得してから、前記リサイズデプスフレームを復元して、オリジナルデプスフレームを取得する処理ユニットと、を備え、
    前記処理ユニットは、前記パッキングフレームの上側及び下側から前記リサイズデプスフレームの２つの部分を分離し、前記リサイズデプスフレームの前記２つの部分をそれぞれ反転させることを特徴とする、パッキングフレームのアンパッキングシステム。
37. 前記カラーフレームの中心点は、前記表示スクリーンの中心点と重なることを特徴とする、請求項３６に記載のアンパッキングシステム。
38. 前記処理ユニットは、さらに、前記カラーフレームを復元して、オリジナルカラーフレームを取得することを特徴とする、請求項３６に記載のアンパッキングシステム。
39. 前記処理ユニットは、さらに、前記リサイズデプスフレームに対してサブピクセルの再配置を行なって、中間デプスフレームを取得することを特徴とする、請求項３６に記載のアンパッキングシステム。
40. 前記中間デプスフレームの行方向に沿ったサイズは、前記リサイズデプスフレームの３倍であることを特徴とする、請求項３９に記載のアンパッキングシステム。
41. 前記処理ユニットはさらに、前記リサイズデプスフレームのピクセルの第１サブピクセル値及び第２サブピクセル値を取得して、前記第１サブピクセル値を前記中間デプスフレームの第１ピクセルの全てのサブピクセル内に保存させるとともに、前記第２サブピクセル値を前記中間デプスフレームの第２ピクセルの全てのサブピクセル内に保存させることを特徴とする、請求項３９に記載のアンパッキングシステム。
42. 前記オリジナルデプスフレームの行方向に沿ったサイズは、前記中間デプスフレームの３分の４倍であることを特徴とする、請求項３９に記載のアンパッキングシステム。