JP4419139B2 - 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム - Google Patents

Description

本発明は、奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラムに係り、特に通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な奥行き信号を生成する奥行き信号生成装置、奥行き信号生成プログラム、さらに擬似立体画像を生成する擬似立体画像生成装置、擬似立体画像生成プログラムに関する。

奥行き信号生成装置
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われる。

また、立体視に限らず前記非立体画像のシーンから立体構造を推定し、画像の合成や仮想的な視点移動を実現しようというアプローチは数多く研究・検討がなされている（例えば、非特許文献１参照）。この非特許文献１記載のツァー・インツー・ザ・ピクチャ（Tour Into the Picture）法では、撮影済みの画像から近影物を除去し、遠近法における消失点を決定した上で、それを基にシーンの概略的な構成を推定して視点移動を行うことを可能にしている。

また、前記非特許文献１では奥行き構造が長方形を断面とするチューブ状になっているのに対して、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチによる非立体画像から立体画像への変換方法も従来から知られている（例えば、特許文献１参照）。この特許文献１記載の発明は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、前記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。

また、古典的な非立体画像から立体画像への変換手法として、シェープ・フロム・モーション（"shape from motion"）法が知られている（例えば、非特許文献２参照）。これは、動画像の動き情報から画像の奥行き量を推定し、この奥行き量を用いて立体画像を構成するというものである。
さらに、非立体画像をブロック状に分割し、それぞれについて輝度積算、高周波成分積算、輝度コントラスト算出、彩度積算の計算を行うことにより画像の奥行き量を推定する手法も開示されている（例えば、特許文献２参照）。
Y.Horry, K.Anjyo, K.Arai："Tour Into the Picture：Using a Spidery Mesh Interface to Make Animation from a Single Image",SIGGRAPH'97 Proceedings,pp.225-232(1997) C.Tomasi and T.Kanade: "Shape and Motion from Image Streams under Orthography: A Factorization Method", Int. Journal of Computer Vision.Vol.9,No.2, pp.137-154(1992) 特開平９−１８５７１２号公報 特許３００５４７４号

しかしながら、前記非特許文献１のツァー・インツー・ザ・ピクチャ法や特許文献１の手法は、遠近法を基本としており、実際には入力されるさまざまな非立体画像のすべてのシーンに対して遠近法的な構造推定が適合するわけではないので、効果は限定的である。
また遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではない。

また、前記非特許文献２のような、動画像の動き情報を基本とするシェープ・フロム・モーション法では、連続する動画像間の画像相関性を利用するために、静止画もしくは相対的に動きが停止している動画像の立体化は原理的に困難である。更に、動画像の動き情報から画像の奥行き量を推定する処理は、処理内容が複雑であり、動画像のリアルタイム性を損なわずに立体画像を表示し続けるには高速な処理装置、及び処理プログラムの実現手段が必要となる。

更に特許文献２の手法では、画像の奥行き量をブロック単位で得る構成のため、各ブロックの境界付近で不自然な立体画像となりやすい。そして、この不自然な立体画像は。補正や内挿を施す処理を行ったとしても、ブロック境界を意識しない画素単位での自然な立体映像を得ることは困難である。

本発明は以上の課題を鑑みてなされたものである。
本発明は、高速処理を必要とする動画像間の相関性を用いずに、独立した１枚の画面内の情報のみを用いて、かつ簡便な処理によって、自然な擬似立体画像を生成することを可能とするための、奥行き信号生成装置、及び奥行き信号生成プログラム、擬似立体画像生成装置、擬似立体画像生成プログラムを提供することを目的とする。

そこで上記課題を解決するために本発明は、以下の装置及びプログラムを提供するものである。
（１）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体映像を生成するための奥行き信号を生成する奥行き信号生成装置であって、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び／又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する記憶手段（６、７、８）と、
入力する前記非立体画像の画像サイズを前記基本奥行きモデルの画像サイズと同一になるようにスケーリングする第一のスケーリング手段（２）と、
前記第一のスケーリング手段にてスケーリングした非立体画像の画面内の所定領域における画素値の統計量を算出して、前記複数の基本奥行きモデルの合成比率を決定する合成比率決定手段（３、４、５）と、
前記記憶手段から読み出した前記複数の基本奥行きモデルを、前記合成比率決定手段により決定した値に応じた合成比率で合成して合成基本奥行きモデルを生成する合成手段（９）と、
前記合成手段により合成した合成基本奥行きモデルと、前記第一のスケーリング手段によりスケーリングした非立体画像を用いて奥行き信号を生成する奥行き信号生成手段（１０）と、
前記奥行き信号生成手段にて生成した前記奥行き信号の画像サイズを、前記入力する非立体画像の画像サイズと同一になるようにスケーリングする第二のスケーリング手段（１１）と、
を有することを特徴とする奥行き信号生成装置。
（２）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成する擬似立体画像生成装置であって、
上記（１）に記載の奥行き信号生成装置の第二のスケーリング手段から供給するスケーリングした奥行き信号に応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および/または右目用画像となる別視点画像を生成する別視点画像生成手段（１２、１３、１４）を有し、
前記別視点画像生成手段により生成した別視点画像と、前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力することを特徴とする擬似立体画像生成装置。
（３）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体映像を生成するための奥行き信号を生成する機能をコンピュータに実現させる奥行き信号生成プログラムであって、
入力する前記非立体画像の画像サイズを前記基本奥行きモデルの画像サイズと同一になるようにスケーリングする第一のスケーリング機能（Ｓ２）と、
前記第一のスケーリング機能にてスケーリングした非立体画像の画面内の所定領域における画素値の統計量を算出して、前記複数の基本奥行きモデルの合成比率を決定する合成比率決定機能（Ｓ３、Ｓ４、Ｓ５）と、
擬似立体画像を生成するための基本となり所定の計算式で求められる、複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを、前記合成比率決定機能により決定した値に応じた合成比率で合成して合成基本奥行きモデルを生成する合成機能（Ｓ６）と、
前記合成機能により合成した合成基本奥行きモデルと、前記第一のスケーリング機能によりスケーリングした非立体画像を用いて、奥行き信号を生成する奥行き信号生成機能（Ｓ７）と、
前記奥行き信号生成機能にて生成した前記奥行き信号の画像サイズを、前記入力する非立体画像の画像サイズと同一になるようにスケーリングする第二のスケーリング機能（Ｓ８）と、
をコンピュータに実現させる奥行き信号生成プログラム。
（４）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成する機能をコンピュータに実現させる擬似立体画像生成プログラムであって、
上記（３）に記載の奥行き信号生成プログラムの第二のスケーリング機能から供給するスケーリングした奥行き信号に応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および/または右目用画像となる別視点画像を生成する別視点画像生成機能（Ｓ９、Ｓ１０、Ｓ１１）を有し、
前記別視点画像生成機能により生成した別視点画像と前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力する機能をコンピュータに実現させる擬似立体画像生成プログラム。

本発明の奥行き信号生成装置、及び奥行き信号生成プログラムによれば、ツァー・インツー・ザ・ピクチャ法などで用いている遠近法的な推定を行なうことなしに奥行き信号を生成するので、遠近法を適合できないシーンにおいても、違和感の無い擬似立体映像を得るための奥行き信号を生成することができる。

また、高速処理が必要となる動画像間の画像相関性の評価を用いずに、奥行き信号生成の対象となる一枚の非立体画像（静止画像・動画の場合１フレームまたは1フィールド）を基本にして奥行き信号を生成するので、処理が単純になり、動画像のリアルタイム処理の実現に有利となる。

また、基本奥行きモデルを参照して奥行き信号を生成するので、生成処理が簡便となる。
更に、画像を明確なブロックとして分けずに奥行き信号を生成するので、各ブロックの境界付近で不自然な立体画像となること無しに自然な擬似立体映像を得るための奥行き信号を生成することができる。

更に加えて、奥行き信号を生成する際に入力する静止画像のサイズを前記奥行き基本モデルのサイズと同一にスケーリングすることで、前記奥行き基本モデルのサイズを固定でき、入力画像のサイズ毎に奥行き基本モデルを用意する必要が無いのでフレームメモリを削減できる。

また、本発明の擬似立体画像生成装置、擬似立体画像生成プログラムによれば、前記奥行き信号生成装置、及び奥行き信号生成プログラムによって生成した奥行き信号を用いて、どのような非立体画像からも違和感の少ない擬似立体画像を生成することができる。

＜装置の構成＞
次に、本発明を実施するための最良の形態について図面と共に説明する。図１は本発明の、奥行き信号生成装置、及び前記奥行き信号生成装置を内部に備える擬似立体画像生成装置の一実施の形態のブロック図である。また、図２は本発明の、奥行き信号生成装置を含んだ擬似立体画像生成装置の一実施の形態の処理の流れを示すフローチャートである。

図１において、本実施の形態の奥行き信号生成装置１５は、擬似立体化を行う非立体画像が入力される画像入力部１と、画像入力部１からの非立体画像を縮小または拡大するスケーリング部２と、スケーリング部２からの非立体画像の上部約２０％の高域成分評価値を計算により求める上部の高域成分評価部３と、スケーリング部２からの非立体画像の下部約２０％の高域成分評価値を計算により求める下部の高域成分評価部４と、前記上部の高域成分評価値と前記下部の高域成分評価値とを基に、擬似立体画像を生成する際の基本モデルである３種類の基本奥行きモデルの合成比率を決定する合成比率決定部５と、前記３種類の基本奥行きモデルを記憶する３つのフレームメモリ６、７及び８と、合成比率決定部５で決定した合成比率により、フレームメモリ６、７及び８から読み出す前記３種類の基本奥行きモデル画像を合成する奥行きモデル合成部９と、奥行きモデル合成部９により得られた合成基本奥行きモデル画像に、画像入力部１の基になる画像の三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）を重畳し奥行き信号を得る加算器１０と、奥行き信号を拡大または縮小し、入力画像と同じサイズにスケーリングし、最終的な奥行き信号を得るスケーリング部１１と、より構成している。

また、本実施の形態の擬似立体画像成装置は、前記奥行き信号生成装置１５と、前記奥行き信号生成装置１５で生成した奥行き信号に応じて、入力される非立体画像のテクスチャをシフトするテクスチャシフト部１２と、オクルージョンを補償するオクルージョン補償部１３と、ポスト処理をおこなうポスト処理部１４と、より構成している。
＜基本奥行きモデル＞
ここで、基本奥行きモデルについて説明する。

基本奥行きモデルとは、非立体画像から擬似立体画像を生成するための画像の奥行き情報を生成する為に参照する、予め経験知から得られている基本的な奥行き情報を持った複数の画像モデルである。擬似立体画像を生成する対象の非立体画像のシーンを分析して、そのシーンの立体的特徴が、前記複数の基本奥行きモデルにどの程度合致するかの比率を求めて、その比率に従って各基本奥行きモデルの画素毎の奥行き量を合成した合成奥行きモデルを、奥行き信号生成に用いる。ここで言うところのシーンの立体的特徴とは具体的には、前記上部の高域成分評価値と前記下部の高域成分評価値とのことである。

図３は、前記基本奥行きモデルを表すための座標系を示した図である。基本奥行きモデル画像の中心を座標の原点とするｘｙ平面に画素を配置し、ｚ軸方向を各画素毎の奥行き量とする。

本実施例では３種類の基本奥行きモデルを使用している。以下各基本奥行きモデルについて詳細に説明する。
[タイプＡ]
基本奥行きモデルタイプＡは、図３の座標系によれば各画素毎の奥行き量ｚは数式１で表される。ｒは球の半径、ｗは基本奥行きモデルＡの画像の水平サイズ、ｈは基本奥行きモデルＡの画像の垂直サイズであるとする。

ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００となる。

前記数式１で算出した奥行き情報を輝度値としてグレイスケールで表した例を図４に示す。ここでは、前記数式１で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図５は奥行き量を加味した立体構造を示した図である。
この基本奥行きモデルタイプＡでこのような凹面を使用する理由は、基本的にオブジェクトが存在しないシーンにおいては画面中央を一番遠距離に設定することにより違和感の少ない立体感及び適度な奥行き感が得られるからである。基本奥行きモデルタイプＡが使用されるシーン構成の一例として、図６のようなシーンがあげられる。
[タイプＢ]
基本奥行きモデルタイプＢは、図３の座標系によれば各画素毎の奥行き量ｚは数式２で表される。ｒは円筒、及び球の半径、ｗはモデル画像の水平サイズ、ｈはモデル画像の垂直サイズである。

ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００となる。

前記数式２で算出した奥行き情報を輝度値としてグレイスケールで表した例を図７に示す。ここでは、前記数式２で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図８は奥行き量を加味した立体構造を示した図である。

この基本奥行きモデルタイプＢは、前記上部の高域成分評価値が小さい場合に、画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深く設定するものである。基本奥行きモデルタイプＢが使用されるシーン構成の一例として、図９のようなシーンがあげられる。
[タイプＣ]
基本奥行きモデルタイプＣは、図３の座標系によれば各画素毎の奥行き量ｚは数式３で表される。ｒは円筒の半径、ｗはモデル画像の水平サイズ、ｈはモデル画像の垂直サイズである。

ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００としている。

前記数式３で算出した奥行き情報を輝度値としてグレイスケールで表した例を図１０に示す。ここでは、前記数式３で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図１１は奥行き量を加味した立体構造を示した図である。

この基本奥行きモデルタイプＣは前記下部の高域成分評価値が小さい場合に、画面下部に平坦な地面もしくは水面に広がるシーンと認識し、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きＺが小さくなるように設定したものである。基本奥行きモデルタイプＣが使用されるシーン構成の一例として、図１２のようなシーンがあげられる。
＜処理の詳細説明＞
＜奥行き信号生成装置＞
次に、図１の実施の形態の動作について図２のフローチャートと共に詳細に説明する。まず、画像入力部１に擬似立体化を行う対象の非立体画像を入力する（ステップＳ１）。この非立体画像は、通常の静止画もしくは動画、即ち画像の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像で、例えば、８ビットで量子化されている画像データである。また、この入力画像の画像サイズは、例えば、水平１２８０画素、垂直９６０画素とする。

前記画像入力部１に入力した非立体画像の画像データは、スケーリング部２に供給される。ここでは、入力した非立体画像を前記基本奥行きモデルのサイズと同一になるように縮小または拡大（スケーリング・再サンプル）する（ステップＳ２）。例えば、基本奥行きモデルのサイズが、水平６４０画素、垂直４８０画素であり、非立体画像のサイズが、水平１２８０画素、垂直９６０画素である場合、非立体画像のサイズを水平１／２倍、垂直１／２倍にスケーリングすると基本奥行きモデルのサイズと一致することになる。

なお再サンプルの方法としては、バイキュービック法、バイリニア法、ニアレストネイバー法などを用いることができるが、それぞれの処理の内容に関しては、本実施例の内容とは直接関係がないので省略する。

前記スケーリング部２でスケーリングした画像データを、上部の高域成分評価部３に供給する。ここで、スケーリングされた画像データの画面の上部約２０％、即ち、６４０×９６画素の範囲を水平８画素、垂直８画素のＮ個のブロックに分割し、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて下記数式４による計算を行う。この計算結果を上部の高域成分評価値（ｔｏｐ＿ａｃｔ）とする（ステップＳ３）。

また、前記上部の高域成分評価算出と並行して、前記スケーリング部２でスケーリングした画像データを、下部の高域成分評価部３にも供給する。ここで、スケーリングした画像データの画面の下部約２０％を水平８画素、垂直８画素のブロックに分割し、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて前記と同様に数式４による計算を行う。この計算結果を下部の高域成分評価値（ｂｏｔｔｏｍ＿ａｃｔ）とする（ステップＳ４）。

そして前記上部の高域成分評価部３で計算した上部の高域成分評価値と前記下部の高域成分評価部４で計算した下部の高域成分評価値を合成比率決定部５に供給する。合成比率決定部５では、奥行きモデル合成部９で合成する前記３種類の基本奥行きモデルの合成比率k1, k2, k3 (k1+k2+k3=1)を決定する（ステップＳ５）。

図１３は合成比率決定部５、ステップＳ５で決定する合成比率の決定条件の一例を示す。図１３は上部の高域成分評価値（ｔｏｐ＿ａｃｔ）を横軸、下部の高域成分評価値（ｂｏｔｔｏｍ＿ａｃｔ）を縦軸とし、予め指定された値ｔｐｓ，ｔｐｌ，ｂｍｓ，ｂｍｌとの兼ね合いにより基本奥行きモデルタイプを選択もしくは合成することを示す。図１３において、複数の基本奥行きモデルタイプを記載している部分については、高域成分評価値に応じて線形に合成する。

例えば、ＴｙｐｅＡ／Ｂでは
（ｔｏｐ＿ａｃｔ−ｔｐｓ）：（ｔｐｌ−ｔｏｐ＿ａｃｔ）
の比率で基本奥行きモデルタイプＡ（ＴｙｐｅＡ）と基本奥行きモデルタイプＢ（ＴｙｐｅＢ）の合成比率を決定する。すなわち、ＴｙｐｅＡ／Ｂの合成比率は、基本奥行きモデルタイプＣ（ＴｙｐｅＣ）は使用せず、
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ ＝
(ｔｏｐ＿ａｃｔ−ｔｐｓ)：(ｔｐｌ−ｔｏｐ＿ａｃｔ)：０
で合成比率を決定する。

また、ＴｙｐｅＢ／Ｃ、ＴｙｐｅＡ／Ｃについては
（ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ）：（ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ）
の比率で基本奥行きモデルタイプＢと基本奥行きモデルタイプＣの合成比率を決定し、基本奥行きモデルタイプＡと基本奥行きモデルタイプＣの合成比率を決定する。すなわち、ＴｙｐｅＢ／Ｃの合成比率は、基本奥行きモデルタイプＡ（ＴｙｐｅＡ）は使用せず、
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ ＝
０：(ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ)：(ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ)
で合成比率を決定し、ＴｙｐｅＡ／Ｃの合成比率は、基本奥行きモデルタイプＢ（ＴｙｐｅＢ）は使用せず、
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ ＝
(ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ)：０：(ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ)
で合成比率を決定する。

更に、ＴｙｐｅＡ／Ｂ／Ｃにおいては、ＴｙｐｅＡ／Ｂ，ＴｙｐｅＡ／Ｃの合成比率の平均を採用しており、
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ ＝
(ｔｏｐ＿ａｃｔ−ｔｐｓ)＋(ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ)：
(ｔｐｌ−ｔｏｐ＿ａｃｔ)：(ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ)
で合成比率を決定する。
更に、合成比率ｋ１、ｋ２、ｋ３を
ｋ１= ＴｙｐｅＡ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ）
ｋ２= ＴｙｐｅＢ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ）
ｋ３= ＴｙｐｅＣ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ）
で正規化する。

奥行きモデル合成部９では、合成比率決定部５で決定した合成比率ｋ１，ｋ２，ｋ３に基づいて、下記数式５により、フレームメモリ６、７及び８に格納されている３種類の基本奥行きモデルタイプＡ、Ｂ、Ｃの各画像ｄａ、ｄｂ、ｄｃをそれぞれ対応する画素毎に合成し、合成基本奥行きモデルｃｄを得る（ステップＳ６）。

ここで、ｐは各基本奥行きモデルの各画素位置を示す水平座標、ｑは垂直座標である。

なおこのステップ６の奥行きモデル合成処理においては、計算済みの基本奥行きモデルタイプをフレームメモリから呼び出すのでなく、その都度数式１〜３を用いた計算によって生成したものを使用しても構わない。また、その都度数式１〜３を用いた計算によって生成したものをフレームメモリに一旦記憶して、呼び出して使用しても構わない。

このように、本実施の形態では、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルを用意し、基になる画像の輝度信号の高域成分を画面上部及び画面下部について算定する。そしてその算出結果により、画面上部及び下部の高域成分が多い場合は、基本奥行きモデルタイプＡの比率を大きくする。また、画面上部の高域成分が少ない場合は、上部に空もしくは平坦な壁が存在するシーンと認識して、上部の奥行きを深くした基本奥行きモデルタイプＢの比率を増加する。逆に、画面下部の高域成分が少ない場合は、下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、上部を遠景として平面近似し、下部については下に行くほど奥行きを浅くした基本奥行きモデルタイプＣの比率を増加する。このような処理を行うことにより、より現実に近いシーン構造の推定を行うことが可能になる。

再び図１及び図２に戻って説明する。
奥行きモデル合成部９で生成した合成基本奥行きモデルを加算器１０に供給する。ここで、スケーリング部２から出力する画像データの三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）と前記合成奥行きモデルとを、下記数式６の算出式を用いて重畳し、奥行き信号を生成する（ステップＳ７）。ここでは原画のＲ信号の１／１０を重畳している。

Ｒ信号を使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更にもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。

基本奥行きモデルＡの一例である図６の手前に人物を配したサンプルである図１４に対して、Ｒ信号を重畳したときの奥行き信号の画像の例を図１５に示す。また図１６はその３次元構造を示した図である。

赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。さらに双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。

加算記１０で算出した奥行き信号を、スケーリング部１１に供給する。ここでは、算出した奥行き信号を、擬似立体化を行う対象の非立体画像のサイズと同一になるように拡大または縮小（スケーリング・再サンプル）する（ステップＳ８）。例えば非立体画像のサイズが水平１２８０画素、垂直９６０画素であり、基本奥行きモデルのサイズが、水平６４０画素、垂直４８０画素であり場合、基本奥行きモデルのサイズを水平２倍、垂直２倍にスケーリングすると非立体画像のサイズと一致することになる。

以上の処理、手順により、入力する非立体画像のサイズにスケーリングした奥行き信号を生成する、奥行き信号生成装置１５が実現できる。
＜擬似立体画像生成装置＞
次に、テクスチャシフト部１２では前記奥行き信号生成装置１５で生成した前記奥行き信号を用いて、画像入力部１から入力する非立体画像に対して別視点の画像を生成する（ステップＳ９）。例えば、入力する非立体画像に対して、左に視点移動した視差画像を生成する場合、画面より手前に表示するテクスチャについては、奥行きに応じた量だけ右に移動する。画面より奥に表示するテクスチャについては、奥行きに応じた量だけ左に移動する。このようにして生成した画像を左目画像、原画を右目画像とすることでステレオペアを構成する。ここでは、入力画像に対応する奥行き信号を８ビットの値Ydで表すものとする。このYdについて小さい値すなわち奥に位置するものから順に、その値に対応する部分の入力画像のテクスチャを(Yd-m)/n画素右にシフトする。ここで、mは画面上の奥行きに表示する奥行きデータであり、これより大きなYdに関しては画面より手前に、小さなYdに関しては奥に表示する。また、nは奥行き感を調整するパラメータであり、nを大きくすると、奥行き感が小さくなり、ｎを小さくすると奥行き感が大きくなる。これらのパラメータの具体例として、m=200, n=20などがあげられる。この場合、奥行き信号の値が200を境にして大きい場合、手前に表示され、奥行き信号の値が200より小さい場合奥に表示される。

前述のステップ９の動作は本発明の「非立体画像のテクスチャのシフト」に対応するものであり、換言するならば、非立体画像の各画素を奥行き信号の値に応じてそれぞれを左右に移動する処理である。

このとき、シフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部１３で入力画像の対応部分で充填することによりオクルージョンを補償する（ステップＳ１０）。

その後、ポスト処理部１４で平滑化などのポスト処理を行うことにより、それ以前の処理において発生したノイズなどを軽減する（ステップＳ１１）。
以上の処理、手順により、別視点画像信号を生成できる。

そして、生成した別視点画像信号を左目用の画像信号とし、別視点画像信号を生成する基となった入力画像信号を右目用の画像信号としてステレオペアを構成して外部へ出力すると、図１に示す擬似立体画像生成装置が実現できる。

図１７に本実施例の擬似立体画像生成装置から出力するステレオペアの画像の一例を示す。但し、ここでは、左右の違いをわかりやすくするための強調がなされている。
また、本実施例においては、右目用の画像を入力画像、左目用の画像を生成した別視点画像とするステレオペアを構成しているが、テクスチャシフト部１２で前記の画素の移動を左右反転することで、左目用の画像を入力画像、右目用の画像を生成した別視点画像とするステレオペアを構成することも可能である。また、左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。なお、本実施例ではステレオペアを生成する擬似立体画像生成装置として２視点での例を説明しているが、３視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する擬似立体画像生成装置を構成することも可能である。

本実施例の擬似立体画像生成装置と図示していないステレオ表示装置とを組み合わせることにより、擬似立体画像表示システムを構成することができる。
ここにおけるステレオ表示装置とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクションシステムを含む。

また、前記のように２視点以上の表示が可能な表示装置を用いた多視点立体映像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。

このように、本実施の形態によれば、基本奥行きモデルの決定において、３種類の基本奥行きモデルの合成を基本にし、経験知に基づき、現実のシーン構造に比較的近いモデルが主体になるように、いわばフェイルセーフに配慮しながら、立体感を見る者に与えるようにし、得られたステレオペア（擬似立体画像）は、左画像について目立った破綻がなく、また立体視した場合、大きな違和感がないため、１枚の画像からシーン内容に応じた奥行きモデルを構築することが可能になり、これを基に違和感の少ない擬似立体画像を生成することができる。

本実施例においては、画像の単位をフレームで説明しているが、フィールドを単位として実現してもよい。
また、本発明は上記した擬似立体画像生成装置の機能をコンピュータに実現させるためのプログラムも含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明の奥行き信号生成装置、及び擬似立体画像生成装置の一実施の形態のブロック図である。 本発明の奥行き信号生成プログラム、及び擬似立体画像生成プログラムの一実施の形態のフローチャートである。 基本奥行きモデルの座標系を示す図である。 基本奥行きモデルタイプＡの奥行き画像の一例を示す図である。 基本奥行きモデルタイプＡの立体構造の一例を示す図である。 基本奥行きモデルタイプＡが使用されるシーン構成の一例である。 基本奥行きモデルタイプＢの奥行き画像の一例を示す図である。 基本奥行きモデルタイプＢの立体構造の一例を示す図である。 基本奥行きモデルタイプＢが使用されるシーン構成の一例である。 基本奥行きモデルタイプＣの奥行き画像の一例を示す図である。 基本奥行きモデルタイプＣの立体構造の一例を示す図である。 基本奥行きモデルタイプＣが使用されるシーン構成の一例である。 基本奥行きモデル合成比率決定条件を説明する図である。 画像サンプルの一例を示す図である。 Ｒ信号を重畳した奥行き画像の一例を示す図である。 Ｒ信号を重畳した奥行きの立体構造を示す図である。 擬似立体化されたステレオペアの一例を示す図である。

符号の説明

１ 画像入力部
２ スケーリング部
３ 上部の高域成分評価部
４ 下部の高域成分評価部
５ 合成比率決定部
６ フレームメモリ（基本奥行きモデタイプＡ）
７ フレームメモリ（基本奥行きモデルタイプＢ）
８ フレームメモリ（基本奥行きモデルタイプＣ）
９ 奥行きモデル合成部
１０ 加算部
１１ スケーリング部
１２ テクスチャシフト部
１３ オクルージョン補償部
１４ ポスト処理部
１５ 奥行き信号生成装置

Claims (4)

1. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体映像を生成するための奥行き信号を生成する奥行き信号生成装置であって、
   基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び／又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する記憶手段と、
   入力する前記非立体画像の画像サイズを前記基本奥行きモデルの画像サイズと同一になるようにスケーリングする第一のスケーリング手段と、
   前記第一のスケーリング手段にてスケーリングした非立体画像の画面内の所定領域における画素値の統計量を算出して、前記複数の基本奥行きモデルの合成比率を決定する合成比率決定手段と、
   前記記憶手段から読み出した前記複数の基本奥行きモデルを、前記合成比率決定手段により決定した値に応じた合成比率で合成して合成基本奥行きモデルを生成する合成手段と、
   前記合成手段により合成した合成基本奥行きモデルと、前記第一のスケーリング手段によりスケーリングした非立体画像を用いて奥行き信号を生成する奥行き信号生成手段と、
   前記奥行き信号生成手段にて生成した前記奥行き信号の画像サイズを、前記入力する非立体画像の画像サイズと同一になるようにスケーリングする第二のスケーリング手段と、
   を有することを特徴とする奥行き信号生成装置。
2. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成する擬似立体画像生成装置であって、
   前記請求項１に記載の奥行き信号生成装置の第二のスケーリング手段から供給するスケーリングした奥行き信号に応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および/または右目用画像となる別視点画像を生成する別視点画像生成手段を有し、
   前記別視点画像生成手段により生成した別視点画像と、前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力することを特徴とする擬似立体画像生成装置。
3. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体映像を生成するための奥行き信号を生成する機能をコンピュータに実現させる奥行き信号生成プログラムであって、
   入力する前記非立体画像の画像サイズを前記基本奥行きモデルの画像サイズと同一になるようにスケーリングする第一のスケーリング機能と、
   前記第一のスケーリング機能にてスケーリングした非立体画像の画面内の所定領域における画素値の統計量を算出して、前記複数の基本奥行きモデルの合成比率を決定する合成比率決定機能と、
   擬似立体画像を生成するための基本となり所定の計算式で求められる、複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを、前記合成比率決定機能により決定した値に応じた合成比率で合成して合成基本奥行きモデルを生成する合成機能と、
   前記合成機能により合成した合成基本奥行きモデルと、前記第一のスケーリング機能によりスケーリングした非立体画像を用いて、奥行き信号を生成する奥行き信号生成機能と、
   前記奥行き信号生成機能にて生成した前記奥行き信号の画像サイズを、前記入力する非立体画像の画像サイズと同一になるようにスケーリングする第二のスケーリング機能と、
   をコンピュータに実現させる奥行き信号生成プログラム。
4. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成する機能をコンピュータに実現させる擬似立体画像生成プログラムであって、
   前記請求項３に記載の奥行き信号生成プログラムの第二のスケーリング機能から供給するスケーリングした奥行き信号に応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および/または右目用画像となる別視点画像を生成する別視点画像生成機能を有し、
   前記別視点画像生成機能により生成した別視点画像と前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力する機能をコンピュータに実現させる擬似立体画像生成プログラム。