JP5468526B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明の実施形態は、画像処理装置及び画像処理方法に関する。

近年、三次元（３Ｄ（Three-Dimension））画像を再生可能なディスプレイの普及に伴い、３Ｄコンテンツに加えて、既存の二次元（２Ｄ（Two-Dimension））画像から３Ｄ画像への変換（以下、「２Ｄ３Ｄ変換」）が求められている。一般的な２Ｄ３Ｄ変換では、奥行き推定処理と、視差画像生成処理と、が行われる。

しかしながら、一般的な奥行き推定処理では、２Ｄ画像から完全な奥行き情報が得られないので、予め決められたアルゴリズムを用いて奥行き情報が推定される。その結果、推定された奥行き情報が元画像と異なる奥行きを示す場合には、再生される３Ｄ画像が視聴者に違和感を与えてしまう。

また、一般的な視差画像生成処理では、元画像に存在しない陰面部を補完する処理が行われる。陰面部は画質を劣化させる要因になる傾向がある。従って、陰面部を補完することは、生成される３Ｄ画像の品質にとって好ましくない。

さらに、一般的な奥行き推定及び視差画像生成の処理量は、何れも、極めて大きい。一方、リアルタイムに３Ｄ画像を再生するために、２Ｄ３Ｄ変換には短時間の処理が要求される。従って、奥行き推定処理及び視差画像生成処理を実現するアルゴリズムを短時間で実行するような大規模なプロセッサを備えていない携帯電話等の小型機器では、２Ｄ３Ｄ変換を実現することはできない。

特表２０００−５０２２３４号公報

本発明が解決しようとする課題は、生成される３Ｄ画像の品質を劣化させることなく、処理量の小さい２Ｄ３Ｄ変換を実行可能な画像処理装置及び画像処理方法を提供することである。

本発明の実施形態によれば、画像処理装置は、定点設定部と、サンプリング点設定部と、視差画像生成部と、を備える。定点設定部は、複数の第１画素を含む第１画像データから、所定のサンプリング分解能に基づいて生成したサンプリング座標空間に複数の任意の定点を設定する。サンプリング点設定部は、サンプリング座標空間の任意の座標に対象点を設定し、対象点の画素成分に基づいて算出したサンプリング座標に対象点に対応するサンプリング点を設定する。視差画像生成部は、サンプリング座標に配置すべき第２画素の画素値を算出して、複数の第２画素を含む第２画像データを複数個生成する。

本発明の実施形態に係る画像処理システム１のブロック図。 第１画像データＩＭＧの構造を示す図。 第１実施形態の画像処理装置１０ａのブロック図。 第１実施形態の２Ｄ３Ｄ変換処理のフローチャート。 第１実施形態の２Ｄ３Ｄ変換処理を説明するためのサンプリング座標空間ＣＳの概略図。 第１実施形態のサンプリング点設定処理のフローチャート。 第１実施形態のサンプリング設定を説明する図。 第２画像データＩＭＧ´の構造を示す図。 第１実施形態の視差画像生成処理のフローチャート。 第１実施形態の第２画素の画素値算出の一例を示す図。 第２実施形態の画像処理装置１０ａのブロック図。 第２実施形態の２Ｄ３Ｄ変換処理のフローチャート。 第２実施形態の奥行き情報生成処理のフローチャート。 第２実施形態の奥行き生成処理を説明する図。 第２実施形態の奥行き生成処理を説明する図。 第２実施形態のサンプリング点補正を説明する図。

本発明の実施形態について、図面を参照して説明する。図１は、本発明の実施形態に係る画像処理システム１のブロック図である。画像処理システム１は、プロセッサ１０と、メモリ２０と、ビデオインタフェース３０と、ディスプレイ４０と、を備える。プロセッサ１０は、所定の画像処理プログラムを起動すると、画像処理装置１０ａとして動作するモジュールである。画像処理装置１０ａは、画像処理装置１０ａを利用するハードウェア又はソフトウェアから与えられる設定情報に基づいて、２Ｄ画像から少なくとも２個の視差画像を生成する装置である。メモリ２０は、２Ｄ画像を表現する第１画像データと、画像処理装置１０ａにより生成される少なくとも２つの視差画像を表現する第２画像データと、を含む様々なデータを格納可能な記憶媒体（例えばＤＲＡＭ（Dynamic Random Access Memory））である。ビデオインタフェース３０は、画像処理システム１に接続される外部装置から第１画像データを入力するとともに、外部装置に第２画像データを出力するモジュールである。ビデオインタフェース３０は、例えば、符号化された第１画像データを復号化するデコーダと、第２画像データを符号化するエンコーダと、を備える。ディスプレイ４０は、画像を表示するモジュール（例えば３Ｄ対応液晶ディスプレイ）である。なお、ディスプレイ４０は、省略されてもよい。

図２は、第１画像データＩＭＧの構造を示す図である。第１画像データＩＭＧは、Ｗ軸及びＨ軸の第１座標空間に、Ｗ方向及びＨ方向に配列されたＷｍ×Ｈｍ（Ｗｍ及びＨｍは自然数）個の第１画素ＰＸを含むデータである。第１画素ＰＸ（ｗ，ｈ）は、座標（ｗ，ｈ）（１≦ｗ≦Ｗｍ、１≦ｈ≦Ｈｍ）上に位置する画素である。各第１画素ＰＸは、例えばＹＵＶフォーマットで定義される画素値（輝度成分Ｙ、第１差分成分Ｕ、及び第２差分成分Ｖ）を含む。輝度成分Ｙ（ｗ，ｈ）は、第１画素ＰＸ（ｗ，ｈ）の輝度を示す画素値である。第１差分成分Ｕ（ｗ，ｈ）は、第１画素ＰＸ（ｗ，ｈ）の青色成分の差分を示す画素値である。第２差分成分Ｖ（ｗ，ｈ）は、第１画素ＰＸ（ｗ，ｈ）の赤色成分の差分を示す画素値である。輝度成分Ｙ、第１差分成分Ｕ、及び第２差分成分Ｖはそれぞれ、例えば０〜２５５の８ビット信号（２５６階調）で表される。なお、画像処理システム１は、その他のフォーマット（例えばＲＧＢフォーマット）で定義される画素値を含む画像データを取り扱うこともできる。

（第１実施形態）
第１実施形態について説明する。第１実施形態は、対象点が任意の定点に近いほど定点の近くにサンプリング点を設定し、対象点が定点から遠いほど定点の遠くにサンプリング点を設定する画像処理装置の例である。

第１実施形態の画像処理装置の構成について説明する。図３は、第１実施形態の画像処理装置１０ａのブロック図である。画像処理装置１０ａは、定点設定部１２と、サンプリング点設定部１４と、視差画像生成部１６と、を備える。

第１実施形態の画像処理装置の動作について説明する。図４は、第１実施形態の２Ｄ３Ｄ変換処理のフローチャートである。２Ｄ３Ｄ変換処理は、画像処理装置１０ａとして動作するプロセッサ１０により実行される。

＜Ｓ４００＞ 定点設定部１２は、第１座標空間から、所定のサンプリング分解能に基づいてＸｍ×Ｙｍのサンプリング座標空間ＣＳを生成し、生成したサンプリング座標空間ＣＳにｎ（ｎは２以上の整数）個の任意の定点Ｖを設定する（Ｓ４００）。

図５は、第１実施形態の２Ｄ３Ｄ変換処理を説明するためのサンプリング座標空間ＣＳの概略図である。図５は、座標（ｘ，ｙ）＝（２，４）に定点Ｖ１（２，４）が設定され、座標（ｘ，ｙ）＝（４，４）に定点Ｖ２（４，４）が設定されることを示している。サンプリング分解能は、所定の固定値であっても良いし、予め設定されたサンプリング分解能を示す情報により算出されても良い。例えば、定点Ｖは、２Ｄ画像を３Ｄ画像に変換したときに、３Ｄ画像で手前に位置すべきと推定される前方領域又は３Ｄ画像で後方に位置すべきと推定される後方領域に含まれるサンプリング座標空間ＣＳの座標に設定される。例えば、定点Ｖ１は右目用の視差画像を生成するための点であり、定点Ｖ２は左目用の視差画像を生成するための点である。ｎは、生成すべき視差画像の数を示しており、予め設定された生成すべき視差画像の数を示す情報により決まる。

一例として、定点設定部１２は、第１画像データＩＭＧから２Ｄ画像の奥行きを推定し、推定結果をマッピングして奥行きマップを生成する。そして、定点設定部１２は、生成した奥行きマップを参照して特定した前方領域に含まれる任意の点に定点Ｖを設定する。代替例として、定点設定部１２は、画像の特性を解析し、解析結果に基づいて画像のシーン（例えばスポーツシーン又は風景シーン）を判定し、判定結果に基づいて特定した前方領域に含まれる任意の点に定点Ｖを設定しても良い。他の代替例として、定点設定部１２は、予め設定された定点Ｖの座標を示す情報に基づいて定点Ｖを設定しても良い。

＜Ｓ４０２＞ サンプリング点設定部１４は、サンプリング座標空間の任意の座標に対象点Ｏを設定し、画像データＩＭＧの画素成分に基づいて対象点Ｏに対応するサンプリング点Ｓを設定するサンプリング点設定処理を実行する（Ｓ４０２）。図６は、第１実施形態のサンプリング点設定処理のフローチャートである。図７は、第１実施形態のサンプリング設定を説明する図である。

＜Ｓ６００＞ 図７（Ａ）に示すように、サンプリング点設定部１４は、定点設定部１２により生成されたサンプリング座標空間ＣＳの任意の座標（ｘｏ，ｙｏ）に対象点Ｏ（ｘｏ，ｙｏ）を設定する（Ｓ６００）。対象点Ｏ（ｘｏ，ｙｏ）は、サンプリング点Ｓの基準となるサンプリング座標空間ＣＳの点である。

＜Ｓ６０２＞ サンプリング点設定部１４は、定点Ｖの画素成分と対象点Ｏの画素成分とに基づいて対象点Ｏに対応するサンプリング点Ｓを設定する。例えば、サンプリング点設定部１４は、画素成分として、座標及び画素値の少なくとも１つを用いる。

画素成分として座標を用いる場合には、サンプリング点設定部１４は、式１を用いて、定点Ｖ（ｘｖ，ｙｖ）と対象点Ｏ（ｘｏ，ｙｏ）との距離ｄを算出する。式１において、ｄｘはサンプリング座標空間ＣＳのＸ方向における対象点Ｏと定点Ｖとの距離であり、ｄｙはサンプリング座標空間ＣＳのＹ方向における対象点Ｏと定点Ｖとの距離である。

次いで、図７（Ｂ）及び（Ｃ）に示すように、サンプリング点設定部１４は、式２を用いて算出した距離ｄに基づいて、サンプリング点Ｓを設定するサンプリング座標（ｘｓ，ｙｓ）を算出する。そして、サンプリング点設定部１４は、算出したサンプリング座標（ｘｓ，ｙｓ）上にサンプリング点Ｓ（ｘｓ，ｙｓ）を設定する。式２において、ｆ（ｄ）及びｇ（ｄ）は定点Ｖと対象点Ｏとの距離ｄの変換関数である。ｆ（ｄ）及びｇ（ｄ）は、例えば正の増加関数、正の減少関数、又は定数である。サンプリング座標空間ＣＳにおいて、距離ｄが小さいほど定点Ｖとサンプリング点Ｓとの距離が小さくなるように、距離ｄが大きいほど定点Ｖとサンプリング点Ｓとの距離が大きくなるように、サンプリング点Ｓが設定される（図７（Ｂ）及び（Ｃ））。その結果、定点Ｖの周辺領域では画素密度が高くなり、定点Ｖから遠い領域では画素密度が低くなるような視差画像が生成されるように、サンプリング点Ｓが設定される。

画素成分として画素値（例えば輝度成分Ｙ）を用いる場合には、サンプリング点設定部１４は、式３を用いて、対象点Ｏ（ｘｏ，ｙｏ）の輝度成分Ｙｏの大きさに基づいて、サンプリング座標（ｘｓ，ｙｓ）を算出する。そして、サンプリング点設定部１４は、算出したサンプリング座標（ｘｓ，ｙｓ）上にサンプリング点Ｓ（ｘｓ，ｙｓ）を設定する。式３において、ｈ（Ｙｏ）及びｉ（Ｙｏ）は対象点Ｏの輝度成分Ｙｏの変換関数である。ｈ（Ｙｏ）及びｉ（Ｙｏ）は、例えば正の増加関数、正の減少関数、又は定数である。サンプリング座標空間ＣＳにおいて、輝度成分Ｙｏが小さいほど定点Ｖとサンプリング点Ｓとの距離が小さくなるように、輝度成分Ｙｏが大きいほど定点Ｖとサンプリング点Ｓとの距離が大きくなるように、サンプリング点Ｓが設定される。その結果、輝度成分Ｙｏの小さい領域では画素密度が高くなり、輝度成分Ｙｏが大きい領域では画素密度が低くなるような視差画像が生成されるように、サンプリング点Ｓが設定される。

なお、画素成分として用いられる画素値は、輝度成分Ｙに限らない。第１差分成分Ｕ、第２差分成分Ｖ、赤成分Ｒ、緑成分Ｇ、又は青成分Ｂが画素成分として用いられても良いし、その他の画素成分が用いられても良い。何れの場合にも、サンプリング座標空間ＣＳにおいて、画素成分が小さいほど定点Ｖとサンプリング点Ｓとの距離が小さくなるように、画素成分が大きいほど定点Ｖとサンプリング点Ｓとの距離が大きくなるように、サンプリング点Ｓが設定される。換言すると、サンプリング点Ｓは、画素成分が小さいほど定点Ｖに対して疎になり、画素成分が大きいほど定点Ｖに対して密になるように、配置される。

＜Ｓ６０４＞ サンプリング点設定部１４は、ｋ（ｋは２以上の整数）個のサンプリング点Ｓが設定されたか否かを判定する。ｋの値は、３Ｄ画像の解像度により決まる。例えば、ｋの値は、３Ｄ画像の解像度を示す解像度設定情報により算出される。設定されたサンプリング点の数がｋに達していない場合には（Ｓ６０４−ＮＯ）、Ｓ６００に戻る。設定されたサンプリング点の数がｋに達した場合には（Ｓ６０４−ＹＥＳ）、サンプリング点設定処理を終了する。

＜Ｓ４０４＞ サンプリング点設定部１４は、サンプリング点設定処理（Ｓ４０２）の実行回数がｎに達しているか否かを判定する。サンプリング点設定処理の実行回数がｎに達していない場合には（Ｓ４０４−ＮＯ）、Ｓ４０２に戻る。サンプリング点設定処理の実行回数がｎに達した場合には（Ｓ４０４−ＹＥＳ）、Ｓ４０６に進む。

＜Ｓ４０６＞ 視差画像生成部１６は、設定されたサンプリング点のサンプリング座標に配置すべき第２画素Ｐ´の画素値を算出する。そして、視差画像生成部１６は、複数の第２画素Ｐ´を含む第２画像データＩＭＧ´を少なくとも２個生成する視差画像生成処理を実行する。図８は、第２画像データＩＭＧ´の構造を示す図である。第２画像データＩＭＧ´は、Ｗ軸及びＨ軸の第２座標空間に、Ｗ方向及びＨ方向に配列されたＷｍ´×Ｈｍ´（Ｗｍ´及びＨｍ´は自然数）個の第２画素ＰＸ´を含むデータである。第２画素ＰＸ´（ｗ´，ｈ´）は、座標（ｗ´，ｈ´）に位置する画素である。各第２画素ＰＸ´は、例えばＹＵＶフォーマットで定義される画素値（輝度成分Ｙ´、第１差分成分Ｕ´、及び第２差分成分Ｖ´）を含む。輝度成分Ｙ´（ｗ´，ｈ´）は、第２画素ＰＸ´（ｗ´，ｈ´）の輝度を示す画素値である。第１差分成分Ｕ´（ｗ´，ｈ´）は、第２画素ＰＸ´（ｗ´，ｈ´）の青色成分の差分を示す画素値である。第２差分成分Ｖ´（ｗ´，ｈ´）は、第２画素ＰＸ´（ｗ´，ｈ´）の赤色成分の差分を示す画素値である。図９は、第１実施形態の視差画像生成処理のフローチャートである。

＜Ｓ９００＞ 視差画像生成部１６は、解像度設定情報に基づいて、第２画像データＩＭＧ´の第２座標空間を生成する。図８に示すように、第２座標空間は、Ｗｍ´×Ｈｍ´（＝ｋ）個の座標を有する。第２座標空間のサイズは、サンプリング点設定部１４により設定されたサンプリング点Ｓの数により決まる。例えば、解像度設定情報が等倍（すなわち、２Ｄ画像と同じ解像度の３Ｄ画像を生成する）の場合には、視差画像生成部１６は、第１座標空間と同じサイズの第２座標空間を生成する。この場合には、Ｗｍ´＝Ｗｍ且つＨｍ´＝Ｈｍである。例えば、解像度設定情報が２倍（すなわち、２Ｄ画像の２倍の解像度の３Ｄ画像を生成する）の場合には、視差画像生成部１６は、第１座標空間の２倍のサイズの第２座標空間を生成する。この場合には、Ｗｍ´＝２Ｗｍ且つＨｍ´＝２Ｈｍである。

＜Ｓ９０２及びＳ９０４＞ 視差画像生成部１６は、ｋ個のサンプリング点のそれぞれに対応するサンプリング座標を第２座標空間に設定する（Ｓ９０２）。次いで、視差画像生成部１６は、ｋ個のサンプリング座標に配置すべき第２画素ＰＸ´の画素値（Ｙ´，Ｕ´，Ｖ´）を算出する（Ｓ９０４）。すなわち、視差画像生成部１６は、サンプリング座標の周囲に位置する複数の第１画像データＩＭＧの画素値から第２画素の画素値を算出する。図１０は、第１実施形態の第２画素の画素値算出の一例を示す図である。図１０（Ａ）に示すように、視差画像生成部１６は、サンプリング座標（２．５，２．５）の周辺に位置する第１画像データＩＭＧの４画素ＰＸ（２，２）〜ＰＸ（３，３）の画素値の平均値を、第２画素ＰＸ´（２．５，２．５）の画素値として算出する。または、図１０（Ｂ）に示すように、視差画像生成部１６は、サンプリング座標（２．５，２．５）の周辺に位置する第１画像データＩＭＧの１６画素ＰＸ（１，１）〜ＰＸ（４，４）の画素値を重み付け加算し、重み付け加算の結果を第２画素ＰＸ´（２．５，２．５）の画素値として算出しても良い。

＜Ｓ９０６＞ 視差画像生成部１６は、ｋ個の第２画素ＰＸ´の画素値が算出されたか否かを判定する。ｋ個の第２画素ＰＸ´の画素値が算出されていない場合には（Ｓ９０６−ＮＯ）、Ｓ９０４に戻る。ｋ個の第２画素ＰＸ´の画素値が算出されている場合には（Ｓ９０６−ＹＥＳ）、視差画像生成処理を終了する。

＜Ｓ４０８＞ 視差画像生成部１６は、視差画像生成処理（Ｓ４０６）の実行回数がｎに達しているか否かを判定する。視差画像生成処理（Ｓ４０６）の実行回数がｎに達していない場合には（Ｓ４０８−ＮＯ）、Ｓ４０６に戻る。視差画像生成処理（Ｓ４０６）の実行回数がｎに達した場合には（Ｓ４０８−ＹＥＳ）、２Ｄ３Ｄ変換処理が終了する。

第１実施形態によれば、画像処理装置１０ａは、定点設定部１２と、サンプリング点設定部１４と、視差画像生成部１６と、を備える。定点設定部１２は、複数の第１画素を含む第１画像データから、所定のサンプリング分解能により決まるサンプリング座標空間を生成し、生成したサンプリング座標空間に複数の任意の定点を設定する。サンプリング点設定部１４は、サンプリング座標空間の任意の座標に対象点を設定し、定点と対象点との距離に基づいてサンプリング座標を算出し、算出したサンプリング座標に対象点に対応するサンプリング点を設定する。視差画像生成部１６は、サンプリング座標に配置すべき第２画素の画素値を算出して、複数の第２画素を含む第２画像データを複数個生成する。その結果、少ない処理量で奥行きのある視差画像を表現する画像データが生成される。これにより、視差画像に基づいて再生される３Ｄ画像の品質を劣化させることなく、処理量の小さい２Ｄ３Ｄ変換が可能になる。例えば、背景が奥に配置され、物体が手前に配置された画像に関しては、背景と物体の全体に奥行きのある視差画像が得られる。

（第２実施形態）
第２実施形態について説明する。第２実施形態は、２Ｄ画像の画素値に基づいて画像の奥行き情報を生成し、生成した奥行き情報に基づいてサンプリング点の位置を補正する例である。なお、上述の実施形態と同様の説明は省略する。

第２実施形態の画像処理装置の構成について説明する。図１１は、第２実施形態の画像処理装置１０ａのブロック図である。画像処理装置１０ａは、定点設定部１２と、奥行き情報生成部１３と、サンプリング点設定部１４と、サンプリング点補正部１５と、視差画像生成部１６と、を備える。

第２実施形態の画像処理装置の動作について説明する。図１２は、第２実施形態の２Ｄ３Ｄ変換処理のフローチャートである。２Ｄ３Ｄ変換処理は、画像処理装置１０ａとして動作するプロセッサ１０により実行される。

＜Ｓ１２００及びＳ１２０１＞ Ｓ１２００は、第１実施形態の定点設定（Ｓ４００）と同様の処理を行う。次いで、奥行き情報生成部１３は、第１画素ＰＸの画素値の輝度成分Ｙに基づいて、奥行き情報を生成する奥行き情報生成処理を実行する（Ｓ１２０１）。奥行き情報は、第１画像データＩＭＧの奥行きを示す情報である。図１３は、第２実施形態の奥行き情報生成処理のフローチャートである。図１４及び図１５は、第２実施形態の奥行き生成処理を説明する図である。

＜Ｓ１３００＞ 奥行き情報生成部１３は、第１画像データＩＭＧのＷｍ×Ｈｍ個の第１画素ＰＸ（ｗ，ｈ）の第１輝度成分Ｙ（ｗ，ｈ）を抽出する。そして、奥行き情報生成部１３は、抽出したＷｍ×Ｈｍ個の第１輝度成分Ｙ（ｗ，ｈ）を含む第１輝度分布（図１４（Ａ））を生成する。第１輝度分布は、第１座標空間に対応する。

＜Ｓ１３０２＞ 奥行き情報生成部１３は、第１輝度分布を縮小して、Ｗｒ×Ｈｒ（Ｗｒ及びＨｒは自然数）個の第２輝度成分Ｙ（ｗｒ，ｈｒ）を含む第２輝度分布（図１４（Ｂ））を生成する（Ｓ１３０２）。例えば、奥行き情報生成部１３は、バイリニア法、バイキュービック法、又は平均加算法を用いて、第１輝度成分Ｙ（ｗ，ｈ）から算出した第２輝度成分Ｙｒ（ｗｒ，ｈｒ）に対してＭ×Ｎ（Ｍ及びＮは自然数）タップフィルタを適用して第２輝度分布の周波数を平滑化する。

＜Ｓ１３０４＞ 奥行き情報生成部１３は、第２輝度成分Ｙｒ（ｗｒ，ｈｒ）を所定の奥行き値Ｄｒ（ｗｒ，ｈｒ）に変換する。これにより、Ｗｒ×Ｈｒ個の第１奥行き成分Ｄｒ（ｗｒ，ｈｒ）を含む第１奥行き情報（図１５（Ａ））が生成される。

＜Ｓ１３０６＞ 奥行き情報生成部１３は、奥行き情報の階調を示す階調設定情報と第１奥行き成分Ｄｒの階調とを比較する。階調設定情報が示す階調と第１奥行き成分Ｄｒ（ｗｒ，ｈｒ）の階調とが等しい場合（Ｓ１３０６−ＮＯ）には、階調を変更せず、Ｓ１３１０に進む。階調設定情報が示す階調と第１奥行き成分Ｄｒ（ｗｒ，ｈｒ）の階調とが異なる場合（Ｓ１３０６−ＹＥＳ）には、階調を変更するために、Ｓ１３０８に進む。

＜Ｓ１３０８＞ 奥行き情報生成部１３は、第１奥行き情報のヒストグラムを整形（伸張、収縮、又は最適化）して、第１奥行き成分Ｄｒ（ｗｒ，ｈｒ）の階調を変更する（Ｓ１３０８）。これにより、所望の階調で表される奥行き情報が得られる。

＜Ｓ１３１０＞ 奥行き情報生成部１３は、第１奥行き情報を線形拡大して、Ｗｍ×Ｈｍの第２奥行き成分Ｄ（ｗ，ｈ）を含む第２奥行き情報（図１５（Ｂ））を生成する。これにより、第１画像データＩＭＧと同じ解像度の座標空間を有する奥行き情報が得られる。該奥行き情報は、２Ｄ画像の奥行きを示す情報である。

＜Ｓ１２０２及びＳ１２０４＞ Ｓ１２０２及びＳ１２０４は、第１実施形態と同様である。すなわち、サンプリング点設定部１４は、画像データＩＭＧの画素成分に基づいてサンプリング点Ｓを設定するサンプリング点設定処理を実行する（Ｓ１２０２）。サンプリング点設定処理の実行回数がｎに達していない場合には（Ｓ１２０４−ＮＯ）、Ｓ１２０２に戻る。サンプリング点設定処理（Ｓ１２０４）の実行回数がｎに達した場合には（Ｓ１２０４−ＹＥＳ）、Ｓ１２０５に進む。

＜Ｓ１２０５＞ サンプリング点補正部１５は、生成された第２奥行き情報に基づいて、サンプリング点Ｓのサンプリング座標を補正する。これにより、２Ｄ画像の奥行きを考慮したサンプリング点Ｓが得られる。具体的には、サンプリング点補正部１５は、定点Ｖ（ｘｖ，ｙｖ）から遠ざかるように、サンプリング点Ｓの補正量ΔＳを決定する。補正量ΔＳは、Ｘ方向の補正量ΔＳｘ及びＹ方向の補正量ΔＳｙを含む。補正量ΔＳｘ及びΔＳｙは、それぞれ、サンプリング点Ｓ（ｘｓ，ｙｓ）を設定するときの対象点Ｏ（ｘｏ，ｙｏ）に対応する第１画素Ｐ（ｗ，ｈ）の第２奥行き成分Ｄ（ｗ，ｈ）に基づいて決定される。例えば、図１６に示すように、奥行き情報に応じて決まる補正量ΔＳｘ及びΔＳｙの分だけサンプリング点Ｓが補正される。その結果、サンプリング座標が、Ｓ（ｘｓ，ｙｓ）からＳ´（ｘｓ´，ｙｓ´）に変わる。

＜Ｓ１２０６及びＳ１２０８＞ 視差画像生成処理（Ｓ１２０６）は、第１実施形態と同様に行われる。視差画像生成処理は、実行回数がｎに達するまで繰り返し実行される（Ｓ１２０８−ＮＯ）。視差画像生成処理の実行回数がｎに達した場合には（Ｓ１２０８−ＹＥＳ）、２Ｄ３Ｄ変換処理を終了する。

第２実施形態によれば、画像処理装置１０ａは、奥行き情報生成部１３と、サンプリング点補正部１５と、をさらに備える。奥行き情報生成部１３は、第１画素の画素値の第１輝度成分に基づいて、第１画像データにより表現される第１画像の奥行きを示す奥行き情報を生成する。サンプリング点補正部１５は、奥行き情報に基づいて、サンプリング座標を補正する。その結果、画素単位の奥行きのある視差画像を表現する画像データが生成される。これにより、第１実施形態に比べて、２Ｄ画像の奥行きがより正確に再現された高画質の３Ｄ画像を再生することができる。例えば、背景が奥に配置され、物体が手前に配置された画像に関しては、背景がより奥に配置され、物体がより手前に配置された視差画像が得られる。

本実施形態に係る画像処理装置１０ａの少なくとも一部は、ハードウェアで構成しても良いし、ソフトウェアで構成しても良い。ソフトウェアで構成する場合には、画像処理装置１０ａの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させても良い。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でも良い。

また、本実施形態に係る画像処理装置１０ａの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布しても良い。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布しても良い。

なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化される。また、上述した実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明が形成可能である。例えば、上述した実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ 画像処理システム
１０ プロセッサ
１０ａ 画像処理装置
１２ 定点設定部
１３ 奥行き情報生成部
１４ サンプリング点設定部
１５ サンプリング点補正部
１６ 視差画像生成部
２０ メモリ
３０ ビデオインタフェース
４０ ディスプレイ

Claims (5)

1. 複数の第１画素を含む第１画像データから、所定のサンプリング分解能に基づいて生成したサンプリング座標空間に複数の任意の定点を設定する定点設定部と、
   前記サンプリング座標空間の任意の複数の座標にそれぞれ対象点を設定し、前記複数の定点の画素成分と前記複数の対象点の画素成分に基づいて算出したサンプリング座標に前記対象点に対応するサンプリング点を設定するサンプリング点設定部と、
   前記サンプリング座標に配置すべき複数の第２画素の画素値を算出して、前記複数の第２画素を含む第２画像データを複数個生成する視差画像生成部と、
   を備えることを特徴とする画像処理装置。
2. 前記サンプリング点設定部は、前記定点と前記対象点との距離に基づいて前記サンプリング座標を算出する、請求項１に記載の画像処理装置。
3. 前記サンプリング点設定部は、前記対象点の画素値に基づいて前記サンプリング座標を算出する、請求項１又は２に記載の画像処理装置。
4. 前記第１画素の画素値に基づいて、前記第１画像データにより表現される第１画像の奥行きを示す奥行き情報を生成する奥行き情報生成部と、
   前記奥行き情報に基づいて、前記サンプリング座標を補正するサンプリング点補正部と、
   をさらに備える、請求項１乃至３の何れか１項に記載の画像処理装置。
5. 複数の第１画素を含む第１画像データから、所定のサンプリング分解能に基づいてサンプリング座標空間を生成し、
   前記サンプリング座標空間に複数の任意の定点を設定し、
   前記サンプリング座標空間の任意の複数の座標にそれぞれ対象点を設定し、
   前記複数の定点の画素成分と前記複数の対象点の画素成分に基づいてサンプリング座標を算出し、
   前記サンプリング座標に前記対象点に対応するサンプリング点を設定し、
   前記サンプリング座標に配置すべき複数の第２画素の画素値を算出して、前記複数の第２画素を含む第２画像データを複数個生成する、
   ことを特徴とする画像処理方法。

Images