以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
1.本発明の画像処理装置の第1実施例
1−1.本発明の画像処理装置の構成と処理の概要
1−2.本発明の画像処理装置の生成する左右眼用画像の構成と出力例
1−3.本発明の画像処理装置の生成する左右眼用画像の網膜像差について
1−4.本発明の画像処理装置の画像変換部の処理シーケンスについて
2.特定画像領域の検出と制御処理を含む本発明の画像処理装置の第2実施例
3.色差信号に対応する左右眼用画像信号を生成する本発明の画像処理装置の第3実施例
4.画像表示部を持つ画像処理装置の構成例
[1.本発明の画像処理装置の第1実施例]
まず、図1以下を参照して本発明の画像処理装置の第1実施例について説明する。
(1−1.本発明の画像処理装置の構成と処理の概要)
図1は、本発明の画像処理装置の一実施例を示す図である。画像処理装置100は、画像入力部110において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤(R)、緑(G)、青(B)の三原色のビデオデータ、または、輝度(Y)、色差(Cb,Cr)のビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部2が対応していればどのような色空間でも構わない。
画像入力部110から出力されたビデオデータは、色空間変換部120に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータが画像変換部130の処理データに適合している場合、例えば、Y,Cb,Cr色空間に従う場合には、色空間変換部120は、色空間の変換を行わずに出力する。入力ビデオデータがR,G,B色空間、または他の色空間に従う場合には、色空間変換部120は、輝度(Y)、色差(Cb,Cr)信号への変換を行い出力する。
なお、色空間変換部120から出力するビデオデータの色空間は、Y,Cb,Cr空間に限るものではなく、画像変換部130の処理データに適合し、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。例えば輝度信号(Y)と色差信号(U,V)を用いてもよい。
色空間変換部120から出力されたビデオデータは、画像変換部130に入力される。画像変換部130は、後述する処理によって左眼用と右眼用の両眼視差画像を生成し、立体表示装置の形式に従ってこれらの画像を合成して出力する。すなわち画像変換部130は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。
画像変換部130から出力されたビデオデータは、色空間逆変換部140に入力され、Y,Cb,Cr色空間から出力画像フォーマットに従った色空間へ変換される。このとき、出力画像フォーマットがY,Cb,Cr色空間に従う場合には、色空間逆変換部140は、色空間の変換を行わずに出力する。このように図1には、色空間変換部120、色空間逆変換部140を有する構成を示しているが、これらの構成は、必須構成ではなく、省略した構成も可能である。
色空間逆変換部140から出力されたビデオデータは、画像出力部150に入力される。画像出力部150は、画像変換部130で変換された両眼視差画像を表示して立体視を実現することが可能な外部接続した立体表示装置において受信可能なビデオデータに変換して出力する。
なお、本実施例においては、静止画像を入力した場合、画像入力部110においてビデオデータに変換する方法を記載しているが、この方法に限らず、1枚の静止画像から2枚の左眼用画像と右眼用画像に変換し、2枚の静止画像として例えばメモリカードなどにファイル出力する構成にしても構わない。
図2は、画像入力部110の一実施例の構成を示すブロック図である。画像入力部110は、静止画像ファイルなどを入力するためのメモリカードインタフェース111、映像機器を直接接続するためのUSBインタフェース112、ビデオ信号を入力するためのビデオインタフェース113、フレームメモリ114、デコーダ115、ビデオ出力部116で構成されている。
画像入力部110における処理の一例として、静止画像を入力する場合の処理シーケンスに関して図3に示すフローチャートを参照して説明する。
ステップS101において、画像入力部110は、静止画像の入力を開始する。
ステップS102において、画像入力部110は、メモリカードインタフェース111にメモリカードが挿入されているかどうかを確認し、メモリカードから画像データを入力するかどうかを判断する。メモリカードが挿入されている場合にはステップS104に進み、メモリカードが挿入されていない場合にはステップ103に進む。
ステップS103では、画像入力部110は、USBインタフェース112に静止画像入力が可能な外部機器が接続されているかどうかを確認し、USBインタフェース112から画像データを入力するかどうかを判断する。USB機器が接続されている場合にはステップS105に進み、USB機器が接続されていない場合には、画像入力処理を終了する。
ここで、どの媒体から動画像データを入力するかの判断には、図示しない操作部を利用して、入力装置を指示する方法でも構わない。
ステップS104において、画像入力部110は、メモリカードに記録されている静止画像ファイルから画像データを読み込む。この際、メモリカード内の静止画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に静止画像ファイルを選択しても良い。
ステップS105では、画像入力部110は、USBインタフェースに接続された外部機器から静止画像データを読み込む。このとき、外部機器内の静止画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に静止画像ファイルを選択しても良い。
ステップS106では、画像入力部110は、ステップS104、またはステップS105において読み込まれた静止画像データをフレームメモリ114に記憶する。
ステップS107において、画像入力部110は、図示しない制御部によりフレームメモリ114から静止画像データを読み出す。このとき、読み出しアドレスはステップS106において記憶された画像データの先頭を示す。
ステップS108において、画像入力部110は、静止画像のデコード処理を行う。静止画像データは、JPEG(Joint Photographic Experts Group)などで規定されたフォーマットに従って画像圧縮されていることが一般的であるため、デコーダ115は、画像フォーマットに従った画像伸張処理を実施し、ベースバンドの画像データを復元する。
ステップS109では、画像入力部110は、デコードされた静止画像データをビデオデータの1フレームとして出力する。ここで、ビデオデータのフォーマットは、画像出力部150で出力されるフォーマットに従う。つまり、画像出力部150においてHD(High Definition)解像度、60フレーム毎秒のビデオデータとして出力される場合には、図示しない制御部においてHD解像度、60フレーム毎秒のビデオ同期信号を生成し、この信号の有効領域内に静止画像を貼り付けて出力する。
ステップS110では、画像出力部150における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像入力処理を終了する。画像出力処理が終了していない場合には、ステップS111に進む。
ステップS111において、画像入力部110は、フレームメモリ114の読み出しアドレスを初期化し、ステップS106で記憶した静止画像データの先頭を示すようにする。ステップS111のアドレス初期化が終了すると、ステップS107に進み、以降、ステップS107〜ステップS111の処理を繰り返す。
このようにして、画像入力部110は、静止画像が入力された場合には、同じ画像が連続したビデオデータへの変換を行う。
次に、画像入力部110における処理の一例として、動画像を入力する場合の処理シーケンスに関して図4に示すフローチャートを参照して説明する。
ステップS201において、画像入力部110は、動画像の入力を開始する。
ステップS202において、画像入力部110は、ビデオインタフェース113にビデオ信号が入力されているかを確認し、ビデオインタフェースから動画像データを入力するかどうかを判断する。ビデオ信号が入力されている場合にはステップS205に進み、ビデオ信号が入力されていない場合にはステップS203に進む。
ステップS203では、画像入力部は、USBインタフェース112に動画像入力が可能な外部機器が接続されているかどうかを確認し、USBインタフェース112から動画像データを入力するかどうかを判断する。USB機器が接続されている場合にはステップS206に進み、USB機器が接続されていない場合にはステップS204に進む。
ステップS204では、画像入力部110は、メモリカードインタフェース111にメモリカードが挿入されているかどうかを確認し、メモリカードから動画像データを入力するかどうかを判断する。メモリカードが挿入されている場合にはステップS207に進み、メモリカードが挿入されていない場合には、画像入力処理を終了する。
ここで、どの媒体から動画像データを入力するかの判断には、図示しない操作部を利用して、入力装置を指示する方法でも構わない。
ステップS205において、画像入力部110は、ビデオインタフェース113からビデオデータを読み込む。ビデオインタフェース113は、DVI(Digital Video Interface)、HDMI(登録商標)(High−Definition Multimedia Interface)、HDSDI(High−Definition Serial Digital Interface)などのデジタルビデオ伝送方式で伝送されるビデオ信号や、NTSC(National Television Standards Committee)方式、コンポーネント方式などのアナログビデオ伝送方式で伝送されるビデオ信号が入力される。ビデオインタフェース113は、アナログビデオ信号が入力された場合には、復調処理によりベースバンド信号に変換した後、図示しないA/D変換器によりデジタル信号に変換する。一方、デジタルビデオ信号が入力された場合には、復調処理によりベースバンド信号に変換する。
ステップS206において、画像入力部110は、USBインタフェース112に接続された外部機器から動画像データを読み込む。このとき、外部機器内の動画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に動画像ファイルを選択しても良い。
ステップS207では、画像入力部1は、メモリカードに記録されている動画像ファイルから画像データを読み込む。この際、メモリカード内の動画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に動画像ファイルを選択しても良い。
ここで、USBインタフェース112を介して入力される動画像データや、メモリカードに記録されている動画像データは、MPEG(Moving Picture Experts Group)などで規定された動画像圧縮方式により圧縮されたストリームデータである。このような圧縮方式は、フレームメモリを用いたデコード処理を要するため、ステップS208では、これらのストリームデータをフレームメモリ114に記憶する。
ステップS209において、画像入力部1は、図示しない制御部によりフレームメモリ114から動画像データを読み出す。
ステップS210において、画像入力部110は、動画像のデコード処理を行う。前述の通り、フレームメモリ114に記憶されている動画像データは、MPEGなどで圧縮されたストリームデータであるので、デコーダ115は、画像フォーマットに従った画像伸張処理を実施し、ベースバンドのビデオデータを復元する。
ステップS211では、ビデオ出力部116は、ビデオインタフェース113から出力されるビデオデータ、または、デコーダ115から出力されるビデオデータのいずれかを内部データ形式によりビデオ出力する。
図5は、画像変換部130の一実施例の構成を示すブロック図である。画像変換部130は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。画像変換部130は、微分器131、非線形変換部132、および画像合成部133から構成される。
微分器131は、画像変換部130に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向3タップの線形1次微分フィルタなどを用いる。
非線形変換部132は、微分器131から出力される微分信号を非線形的に変換し、視差強調信号[enh]を生成して出力する。
図6は、非線形変換部132において実行する非線形変換処理の一例を示している。横軸が、微分器131からの入力信号であり輝度微分信号である。縦軸が、非線形変換部132における非線形変換処理後の出力を示している。非線形変換部132は、入力された微分信号(In)を、予め規定した関数f(x)により変換して、視差強調信号[enh](Out)を出力する。すなわちOut=f(In)とする。このとき、関数f(x)は、様々な設定が利用可能である。関数f(x)の一例としては、例えば、
f(x)=xβ
上記式に示されるような指数関数を用いる。βは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部132における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。
画像合成部133は、非線形変換部132から出力される視差強調信号[enh]と、画像変換部130に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。
なお、図5に点線で示すように、非線形変換部132の変換処理を省略し、微分器131の生成した微分信号を画像合成部133に直接入力して、画像合成部133が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。
画像合成部133は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号[enh]を適用して左眼用画像と、右眼用画像を生成する処理を行う。
図7は、画像合成部133において実行する画像合成処理の概念を示している。図7には、上から順に、
(a)入力信号
(b)微分信号
(c)右眼用画像信号
(d)左眼用画像信号
これらの各信号を示している。
(a)入力信号は、ビデオデータの任意のフレームの任意の水平1ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する1つのラインを例示している。ライン位置(x1)からライン位置(x2)までの領域Aにおいて、輝度が次第に高くなる変化を示し、ライン位置(x2)〜(x3)において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置(x3)からライン位置(x4)までの領域Bにおいて、輝度が次第に低くなる変化を示している。
(b)微分信号は、(a)入力信号の微分結果である。この微分信号は、図5に示す画像変換部130の微分器131において生成される信号である。
微分器131の生成する微分信号は、図に示すとおり、(a)入力信号の輝度変化が正になる領域Aにおいて正の値をとり、(a)入力信号の輝度変化が負になる領域Bにおいて負の値をとる。
(c)右眼用画像信号、(d)左眼用画像信号は、図5に示す画像変換部130の画像合成部133において生成する信号である。画像合成部133は、(a)入力信号と、(b)微分信号を非線形変換部132において非線形変換した結果(非線形変換部132の出力)である視差強調信号[enh]とを合成して(c)右眼用画像信号と、(d)左眼用画像信号を生成する。
図7(a)入力信号に相当するビデオデータの輝度レベルを(S)とし、
図7(b)に示す微分信号を非線形変換した視差強調信号[enh]の信号レベルを(E)とする。
画像合成部133は、(a)入力信号に相当するビデオデータ(S)と、(b)微分信号を非線形変換した視差強調信号[enh(E)]を受け取り、例えば以下の(式1)により右眼用画像信号(Right)と、左眼用画像信号(Left)を生成する。
Right=S−E
Left=S+E
・・・・・(式1)
ここで、画像合成部133は、(式1)のように左眼用画像信号(Left)と右眼用画像信号(Right)の両方を変換せずに、いずれか一方の信号に対してのみ変換をかけるようにしても構わない。
すなわち、
Right=S−E
Left=S
このような信号の組み合わせとしてもよい。
あるいは、
Right=S
Left=S+E
このような信号の組み合わせとしてもよい。
このような処理によって、右眼用画像信号(Right)と、左眼用画像信号(Left)には、網膜像差が発生し奥行きを知覚させる画像を得ることができる。なお、網膜像差と奥行き知覚との関係については、図12以下を参照して後段で説明する。
なお、前述したように、非線形変換部132の変換処理を省略し、微分器131の生成した微分信号を画像合成部133に直接入力(図5の点線)して、画像合成133が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。この場合は、上記の視差強調信号[enh(E)]は微分信号に置き換えられる。
このように、画像合成部133は、入力画像信号の空間的な特徴量を抽出して入力画像信号に対して前記特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。特徴量は、入力画像信号の輝度微分信号、あるいはその非線形変換処理によって生成する視差強調信号である。
図7(c)右眼用画像信号(Right)は、(a)入力信号から、(b)微分信号を非線形変換した視差強調信号[enh(E)]を減算して生成した信号である。
(c)右眼用画像信号(Right)は、図7(c)右眼用画像信号に示すように以下のような信号特性(c1)〜(c3)を持つ信号として生成される。
(信号特性)
(c1)(a)入力信号の輝度変化が正、(b)微分信号が正の値をとる領域Aの少なくとも一部領域において、(a)入力信号より輝度が低下した信号領域が発生する。
(c2)(a)入力信号の輝度変化が負、(b)微分信号が負の値をとる領域Bの少なくとも一部領域において、(a)入力信号より輝度が上昇した信号領域が発生する。
(c3)(b)微分信号が0の値をとる領域では、(a)入力信号に対する輝度変化は発生しない。
また、図7(d)左眼用画像信号(Left)は、(a)入力信号に、(b)微分信号を非線形変換した視差強調信号[enh(E)]を加算して生成した信号である。
(d)左眼用画像信号(Left)は、図7(d)左眼用画像信号に示すように以下のような信号特性(d1)〜(d3)を持つ信号として生成される。
(信号特性)
(d1)(a)入力信号の輝度変化が正、(b)微分信号が正の値をとる領域Aの少なくとも一部領域において、(a)入力信号より輝度が上昇した信号領域が発生する。
(d2)(a)入力信号の輝度変化が負、(b)微分信号が負の値をとる領域Bの少なくとも一部領域において、(a)入力信号より輝度が低下した信号領域が発生する。
(d3)(b)微分信号が0の値をとる領域では、(a)入力信号に対する輝度変化は発生しない。
画像合成部133は、上述したように、(a)入力信号と、(b)微分信号を非線形変換部132において非線形変換した結果(非線形変換部132の出力)である視差強調信号[enh]とを合成して(c)右眼用画像信号と、(d)左眼用画像信号を生成する。
なお、画像合成部133は、例えば、変換対象となる入力信号が静止画であれば、静止画を構成する1フレーム画像について、上記の式1に従った信号合成処理によって、(c)右眼用画像信号と、(d)左眼用画像信号を生成する。
また、変換対象となる入力信号が動画であれば、動画を構成する各フレーム画像について、上記の式1に従った信号合成処理によって、(c)右眼用画像信号と、(d)左眼用画像信号を生成する。ただし、動画像の場合は、最終的に画像表示を実行する画像出力部150(図1参照)や表示装置の制御方式に従って、右眼用画像信号と左眼用画像信号の生成態様を変更する設定としてもよい。以下、図8以下を参照して変換対象となる入力信号が動画像(ビデオデータ)である場合の画像合成部133の実行する複数の処理例について説明する。
まず、変換対象となる入力信号が動画像(ビデオデータ)の場合の画像合成部133の実行する基本的な処理例について図8を参照して説明する。図8に示す処理例は、画像合成部133が、入力ビデオデータの各フレーム(フレームn,n+1,n+2,n+3・・・)のすべてについて、左眼用画像(Left)と右眼用画像(Right)の両画像を生成して出力する処理例である。
画像合成部133は、図8に示す(a)入力画像フレームのすべてのフレームについて、(a)入力画像フレームの輝度信号と、(b)微分画像信号の非線形変換結果である視差強調信号とを合成して、図8に示す(c)右眼用画像信号と、(d)左眼用画像信号を生成して出力する。この場合、画像合成部133は、2系統のビデオ信号を出力する。
合成処理は、例えば先に説明した式(式1)に従って行われる。すなわち、図7(a)入力信号に相当するビデオデータの輝度レベルを(S)とし、図7(b)に示す微分信号を非線形変換した視差強調信号[enh]の信号レベルを(E)としたとき、以下の式により右眼用画像信号(Right)と、左眼用画像信号(Left)を生成する。
右眼用画像信号:Right=S−E
左眼用画像信号:Left=S+E
図8に示す基本処理例では、画像合成部133は、全てのフレームに対応する右眼用画像と、左眼用画像の2系統のビデオ信号を出力する。これらの2系統の信号を受領した画像出力部150(図1参照)は、立体視を実現する表示装置にこれらのデータを出力する。表示装置は、立体視を実現する各種の表示方式に従って出力制御を行う。表示装置の表示方式とは、例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式、あるいは、液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式などである。表示装置は、画像合成部133の生成した2系統のビデオ信号を利用して上記いずれかの表示方式に従った画像を表示する。
(1−2.本発明の画像処理装置の生成する左右眼用画像の構成と出力例)
画像表示方式が予め決定されている場合は、画像合成部133が、各画像出力方式に応じた出力画像信号を生成して出力する設定とすることができる。以下、図9〜図11を参照して、3つの異なる表示方式に応じた画像合成部133の処理例について説明する。
最終的に画像表示を実行する表示装置の表示方式は以下の3種類である。
(1)左眼用画像と右眼用画像を時間分割で交互に出力する方式(図9)
これは、例えば液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式である。
(2)左眼用画像と右眼用画像を時間分割で交互に出力する方式において出力フレームレートを高速とした方式(図10)
これは、図9と同様の時間分割方式であるが、出力フレームレートを高速化した方式である。
(3)左眼用画像と右眼用画像を空間的に分離して同時出力する方式(図11)
これは、例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式である。例えば、この空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて観察される。
まず、図9を参照して、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部133の処理例について説明する。
この画像表示方式の場合、画像合成部133は、入力ビデオデータの各フレーム(フレームn,n+1,n+2,n+3・・・)について、左眼用画像(Left)と右眼用画像(Right)を各フレーム毎に切り替えて生成して出力する。
入力するビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像および右眼用画像(または、右眼用画像および左眼用画像)として設定して出力する。出力された画像は、画像出力部150を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。
画像合成部133は、このような時間分割方式の立体表示装置に出力するため、入力ビデオデータの各フレーム(フレームn,n+1,n+2,n+3・・・)に対する画像合成処理をフレーム単位で左眼用画像と右眼用画像を切り替えて実行する。すなわち、図9(c),(d)に示すように、左眼用画像(Left)の合成と、右眼用画像(Right)の合成をフレーム単位で交互に実施して出力する。
図9に示す例では、フレームnでは、右眼用画像を先に説明した式(式1)に従って生成する。すなわち、図9(a)入力信号のフレームnのビデオデータの輝度レベルを(S)とし、図9(b)に示すフレームnの微分信号を非線形変換した視差強調信号[enh]の信号レベルを(E)としたとき、以下の式により右眼用画像信号(Right)を生成する。
右眼用画像信号:Right=S−E
次のフレームn+1では、左眼用画像を先に説明した式(式1)に従って生成する。すなわち、図9(a)入力信号のフレームn+1のビデオデータの輝度レベルを(S)とし、図9(b)に示すフレームn+1の微分信号を非線形変換した視差強調信号[enh]の信号レベルを(E)としたとき、以下の式により左眼用画像信号(Left)を生成する。
左眼用画像信号:Left=S+E
以降、フレームn+2では右眼用画像、フレームn+3では左眼用画像、以下、交互に各フレーム毎に右眼用画像と左眼用画像を、前述の式1に従った画像合成処理によって生成して出力する。この方式では、画像合成部133は、各フレームに対応して右眼用画像または左眼用画像の1画像を生成して出力することになる。すなわち1系統のビデオデータを出力する。
出力された画像は、画像出力部150を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。
図10は、図9と同様、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部133の処理例である。ただし、この処理例は、図9に示す処理と異なり、入力ビデオデータの各フレームに対して、左眼用画像(Left)と右眼用画像(Right)の両画像を前述の式1に従った合成処理により合成して出力する。
画像出力を行う表示装置においては、入力ビデオデータの2倍のフレームレートで、左眼用画像と右眼用画像を時間分割に交互出力する。
この処理では、画像合成部133は、図10に示すように、1つのフレーム、例えば、(a)入力画像のフレームnとその(b)微分画像から生成した視差強調信号から、前述の式1を適用して、(c)右眼用画像と、(d)左眼用画像を生成する。さらに、次のフレーム、すなわち、(a)入力画像のフレームn+1とその(b)微分画像から生成した視差強調信号から、前述の式1を適用して、(c)右眼用画像と、(d)左眼用画像を生成する。
このようにして1つのフレームから左眼用画像と右眼用画像を生成する。1フレームから生成した2枚の画像、すなわち、右眼用画像と左眼用画像は、画像出力部150を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。
画像出力部150は、表示装置において、図10(a)に示す入力画像のフレームレートの2倍のフレームレートで表示されるように出力する。なお、この表示タイミングに併せて画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉も同期して制御する。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるようにする。この方式では、画像合成部133は、1系統の入力ビデオデータの2倍のフレームレートのビデオデータを出力する。
図11は、空間分割方式の立体表示装置に対して出力する場合の画像合成部133の処理例を示している。空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示される方式である。すなわち、メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図11(c)に示す右眼用画像のみが観察され、左眼には図11(d)に示す左眼用画像のみが観察される。
この処理では、画像合成部133は、図11に示すように、1つのフレーム、例えば、(a)入力画像のフレームnとその(b)微分画像から生成した視差強調信号から、前述の式1を適用して、(c)右眼用画像と、(d)左眼用画像を生成する。
さらに、画像合成部133は、図11に示す(e)両眼視差画像を(c)右眼用画像と(d)左眼用画像から生成する。すなわち、(c)右眼用画像と(d)左眼用画像の各画像をそれぞれ位相を1ラインずらして垂直方向に1/2に縮小処理する。画像合成部133は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して1枚の(d)両眼視差画像を生成して出力する。
図11に示す(d)両眼視差画像は、(c)右眼用画像と(d)左眼用画像の有効領域(黒ライン以外の画像表示部)を連結して生成した画像である。すなわち、(d)両眼視差画像は、(c)右眼用画像と(d)左眼用画像の各ラインデータを交互に含む画像である。画像合成部133は、このようにして(d)両眼視差画像を生成して出力する。この方式では、画像合成部133は、入力画像と同一フレームレートの1系統のビデオデータを出力する。
画像出力部150は、空間分割方式の立体表示装置に対して、図11に示す(d)両眼視差画像を出力表示する。空間分割方式の立体表示装置は前述したように、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタが設定されている。ユーザは偏光フィルタ方式によるメガネで観察する。メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図11(c)に示す右眼用画像のみが観察され、左眼には図11(d)に示す左眼用画像のみが観察される。
図8〜図11を参照して説明した右眼用画像信号(Right)と、左眼用画像信号(Left)は、先に説明した式(式1)に従って生成される画像である。すなわち、下式に従って、右眼用画像信号(Right)と、左眼用画像信号(Left)が生成される。
Right=S−E
Left=S+E
ただし、Sは入力信号、Eは、入力信号Sの微分信号Dを非線形変換した視差強調信号である。なお、先に説明したように、視差強調信号Eは、入力信号Sの微分信号Dの非線形変換のみならず、線形変換信号を施して得られる信号でもよい。
(1−3.本発明の画像処理装置の生成する左右眼用画像の網膜像差について)
このような右眼用画像信号(Right)と、左眼用画像信号(Left)を生成して、これらの画像を観察者の右眼と左眼で観察することにより奥行きを感じることができる。これは、右眼用画像と左眼用画像の網膜像差に基づく現象である。本発明の画像処理装置100において生成する右眼用画像と左眼用画像の網膜像差について、以下、図12〜図15を参照して説明する。なお、以下において、図12〜図14では、微分信号Dに対する非線形変換処理を省略し、右眼用画像信号(Right)と、左眼用画像信号(Left)を入力信号Sと、入力信号Sの微分信号Dを適用して以下の式に従って生成したと仮定して説明する。
Right=S−D
Left=S+D
図12は、微分信号の加減算により発生する網膜像差を説明する図である。ここでは、説明を簡単にするために、入力信号として、1次元の正弦波信号が入力された場合に、左眼用の信号と右眼用の信号がどのように生成されるかを示した。図の水平軸は、画像の水平方向の画素位置を表しており、垂直軸は、画素の輝度レベルを表している。
入力信号Sを以下の式(式2)で表す。
S=sinωx・・・(式2)
このとき、微分信号Dは、以下の式(式3)で表される。
D=cosωx・・・(式3)
このとき、左眼信号Lと右眼信号Rは、以下のように式(式4)、(式5)で表される。
これらの式、(式4)、(式5)から、左眼信号Lは、入力信号Sに対してπ/4だけ位相が進み、右眼信号Rは、入力信号Sに対してπ/4だけ位相が遅れている。つまり、左眼信号Lは、入力信号よりも振幅が√2倍で、角周波数ωで決まる周期の1/8だけ水平左方向にずれた信号であり、右眼信号Rは、同様に、振幅が√2倍で、周期の1/8だけ水平右方向にずれた信号となっている。このように、左眼信号Lと右眼信号Rの間ではπ/2だけの位相差が発生し、この位相差が網膜像差として知覚され、奥行きを感じることが出来る。
上述の通り、網膜像差は、角周波数ωに依存して変化する。図13は、図12と比較して、入力信号の角周波数が1/2になった場合の波形を示している。図からわかる通り、網膜像差は図12の場合の2倍になっており、両眼立体視した場合には、図12の入力信号に比較して奥に知覚される。
また、図14は、図12と比較して、入力信号の角周波数が2倍になった場合の波形を示している。図からわかる通り、網膜像差は図12の場合の1/2になっており、両眼立体視した場合には、図12の入力信号に比較して手前に知覚される。
さらに、微分信号Dの振幅を制御した場合の波形を図15に示す。図15は、微分信号Dに2倍の増幅を施した場合を示しているが、より一般化するため、制御した微分信号Fを式(式6)で示す。
F=kcosωx・・・(式6)
ここで、kは正の実数である。
なお、上記のFは、微分信号Dに対する変換処理によって生成した前述の視差強調信号Eに相当する。
このとき、左眼信号Lと右眼信号Rは、以下のように式(式7)、式(式8)で表される。
ここで、αは0〜π/2の範囲にあり、以下の式(式9)で表される。
上記式(式9)において、微分信号の増幅値kを大きくするとαは大きくなるため、入力信号Sと左眼信号L、および右眼信号Rとの位相差は大きくなる。従って、左眼信号Lと右眼信号Rの位相差も大きくなり、網膜像差が大きく知覚される。この結果、両眼立体視した場合にはより奥にあるように知覚されるようになる。
このように、本発明の画像処理装置100の生成する右眼用画像と左眼用画像は、画像の空間周波数に応じて網膜像差が変化し、空間周波数の高い領域ほど網膜像差が小さくなり、空間周波数の低い領域ほど網膜像差が大きくなるような画像である。このような画像が人間の右眼、および左眼に分離して提示された場合、人間は、網膜像差の小さい領域を手前に、網膜像差の大きい領域を奥に知覚する。
しかしながら、本発明の画像処理装置100は、上述の通り、単に局所的な空間周波数に応じた処理を行っており、画像中の個々の被写体に対してもエッジ部とテクスチャ部では異なる網膜像差が与えられている。従って、観察者は網膜像差からのみでは正確な奥行きを知覚出来ないため、画像の絵画的な特徴(構図、物体の前後関係、空間周波数)や、運動視差などを手掛かりとして、画像の大局的な奥行きは人間がこれらの画像情報から類推して知覚することが出来ると考えられる。
また、上述のとおり、主に画像のエッジ部に対して網膜像差を発生させるようにしているため、樹木の枝や電線、髪の毛といった微細な構造にも網膜像差を与えることができるため、微細な被写体の立体感を表現することも可能である。
本発明の画像処理装置は、このような特性を利用して、画像の局所的な変調処理を施すだけで、自然な立体視を実現できる両眼視差画像の生成構成を実現している。
さらに、本発明の画像処理装置は、右眼用画像(Right)と左眼用画像(Left)を先に説明した式(式1)に従って生成している。すなわち、入力信号に相当するビデオデータの輝度レベルを(S)とし、図7(b)に示す微分信号を非線形変換した視差強調信号[enh]の信号レベルを(E)としたとき、以下の式により右眼用画像信号(Right)と、左眼用画像信号(Left)を生成している。
右眼用画像信号:Right=S−E
左眼用画像信号:Left=S+E
この式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号=(S+E)+(S−E)=S
結果として加算信号は、入力画像と等価になる。
従って、例えば、図9、または図10を参照して説明したように時間分割方式の立体表示装置で表示する場合において、観察者であるユーザが液晶シャッタ方式のメガネを外して画像を観察すると、人間の視覚系における時間的な積分機能により左眼用画像(Left)と右眼用画像(Right)が積分された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号=(S+E)+(S−E)=S
上記信号[S]となる。すなわち、入力の2次元画像をそのまま知覚することが出来る。すなわち不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能となる。
また、図11に示したように空間分割方式の立体表示装置で表示する場合には、偏光メガネを外した場合には、垂直方向の1画素を知覚できなくなる程度の距離から観察する場合には垂直方向の2画素が加算された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号=(S+E)+(S−E)=S
上記信号[S]となる。一方、人間の網膜像差に対する視力は、通常視力の10倍ほど高いため、このような距離から観察しても左眼用画像と右眼用画像の間の網膜像差は十分認識することが可能である。従って、偏光メガネを外した場合には、不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能であり、偏光メガネを装着すれば、立体知覚が可能となる。
このように、本発明の画像処理装置によって生成される画像は、立体表示装置を用いて表示を行うことにより、立体視用のメガネを装着した場合には立体知覚が可能であり、立体視用のメガネを非装着の場合には、変換を施していない元の2次元画像として知覚することが可能となる。
(1−4.本発明の画像処理装置の画像変換部の処理シーケンスについて)
次に、図16に示すフローチャートを参照して、本発明の一実施例に係る画像処理装置100の画像変換部130の実行する処理のシーケンスについて説明する。なお、図16に示すフローチャートは入力画像が動画像(ビデオデータ)である場合の処理である。
ステップS401において、微分器131(図5参照)は、画像変換部130に入力されるビデオデータのうち輝度信号に対して微分処理を行う。すなわち、図7(a)入力信号の微分処理により図7(b)微分信号を生成する。
ステップS402では、非線形変換部132(図5参照)が、微分器131から出力される微分信号に対して非線形変換処理を行う。この非線形変換処理は、例えば図6に示すようなグラフに対応した非線形変換処理である。
ステップS403以下の処理は画像合成部133の処理である。画像合成部133内の制御部は、ステップS403において、現在の入力フレームに対する左眼用画像の合成を行うかどうかを判断する。この判断処理は、画像処理装置100の出力する画像表示装置の表示方式と、画像合成部133内に設けられたフレームカウンタの値に従って判断する。フレームカウンタは、入力画像フレームのフレーム番号に対応する値を保持するカウンタである。
画像表示装置の出力方式が図9に示す時間分割出力方式の場合には、画像合成部133はフレームカウンタの値に従って左眼用画像を出力するかどうかを判断する。すなわち図9に示す時間分割出力方式の場合には、偶数フレームまたは奇数フレームのいずれかのみにおいて左眼用画像を出力するように制御を行う。フレームカウンタの値に従って左眼用画像を出力すると判断した場合は、ステップS404に進む。一方、フレームカウンタの値により右眼用画像出力のフレームであると判断した場合にはステップS405に進む。
また、図9に示す時間分割出力方式以外の場合、すなわち、図10に示す2倍のフレームレートによる時間分割出力方式、または、図11に示す空間分割出力方式、あるいは、画像表示装置側で、図8に示す左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部133は、全ての入力フレームに対して左眼用画像を合成すると判断してステップS404に進む。
ステップS404では、画像合成部133は、先に説明した式(式1)に従って左眼用画像(Left)を生成する。すなわち、図7に示すように、図7(a)入力信号に相当するビデオデータの輝度レベルを(S)とし、図7(b)に示す微分信号を非線形変換した視差強調信号[enh]の信号レベルを(E)としたとき、以下の式により左眼用画像信号(Left)を生成する。
左眼用画像信号:Left=S+E
一方、ステップS403において、現在の入力フレームに対する左眼用画像の合成を行わないと判定した場合は、ステップS405に進み、現在の入力フレームに対する右眼用画像を生成する。すなわち、図7に示すように、図7(a)入力信号に相当するビデオデータの輝度レベルを(S)とし、図7(b)に示す微分信号を非線形変換した視差強調信号[enh]の信号レベルを(E)としたとき、以下の式により右眼用画像信号(Right)を生成する。
右眼用画像信号:Right=S−E
の合成を行う。
ステップS404において左眼用画像の生成を終了すると、ステップS406において、左眼用画像の生成フレームと同一フレームに対して右眼用画像も生成するか否かを判定する。画像処理装置の出力方式が図9に示す時間分割出力方式の場合には、各フレームにおいては左眼、右眼のいずれかの画像のみを合成するため、右眼用画像の生成は行わないと判断してステップS407に進む。
また、図9に示す時間分割出力方式以外の場合、すなわち、図10に示す2倍のフレームレートによる時間分割出力方式、または、図11に示す空間分割出力方式、あるいは、画像表示装置側で、図8に示す左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部133は、全ての入力フレームに対して右眼用画像を合成すると判断してステップS405に進む。ステップS405の処理はすでに説明した通り、前述した式(式1)に従った右眼用画像の生成処理である。
ステップS407では、画像合成部133の制御部は、画像の縮小処理を行うかどうかを判断する。画像処理装置の出力形式が図11に示す空間分割出力方式の場合、画像縮小処理を行うと判断し、ステップS408に進む。画像処理装置の出力形式が図11に示す空間分割出力方式以外の場合、すなわち、図8に示す左眼用画像、右眼用画像の同時出力方式、図9に示す時間分割出力方式、または、図10に示す2倍のフレームレートによる時間分割出力方式のいずれかである場合には、画像縮小処理は不要であるため、ステップS410に進む。
ステップS408〜S409において、画像合成部133は、先に図11を参照して説明したように図11に示す(e)両眼視差画像を(c)右眼用画像と(d)左眼用画像から生成する。すなわち、(c)右眼用画像と(d)左眼用画像の各画像をそれぞれ位相を1ラインずらして垂直方向に1/2に縮小処理する(S408)。さらに、画像合成部133は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して1枚の(d)両眼視差画像を生成する(S409)。
ステップS410では、画像出力部150における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像変換処理を終了する。画像出力処理が終了していない場合には、ステップS411に進む。
ステップS411では、フレームカウントをインクリメントし、ステップS401に進み、以降、ステップS401〜ステップS410の処理を繰り返す。
以上、説明の通り、本発明の一実施例の画像処理装置によれば、2次元画像データを入力とし、画像の特徴量、すなわち輝度変化部分であるエッジ部を抽出して、エッジ部の画像態様を変更すことで擬似的な右眼用画像と左眼用画像を生成する構成である。この構成より、立体表示装置において好適な両眼視差画像を生成することが可能となる。
さらに、本発明による画像処理装置では、図7に示すように、図7(a)入力信号に相当するビデオデータの輝度レベルを(S)とし、図7(b)に示す微分信号を非線形変換した視差強調信号[enh]の信号レベルを(E)としたとき、以下の式により右眼用画像信号と左眼用画像信号を生成する。
右眼用画像信号:Right=S−E
左眼用画像信号:Left=S+E
この式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号=(S+E)+(S−E)=S
結果として加算信号は、入力画像と等価になる。
このように、加算信号は、入力信号に等しくなる、またはほぼ等しくなる設定である。従って、立体表示装置に表示した画像をユーザが見る場合に、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の2次元画像として知覚することが可能となる。すなわち、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像変換装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。
[2.特定画像領域の検出と制御処理を含む本発明の画像処理装置の第2実施例]
次に、本発明の画像処理装置の第2実施例として、特定画像領域の検出を行い、検出情報に基づいて画像領域の特徴に応じた強調処理制御を行う画像処理装置の例について説明する。上述した第1実施例の画像処理装置100は、図5に示す画像変換部130において、輝度信号の微分信号を生成して、入力信号に対して、微分信号を加算、または減算することで、右眼用画像と左眼用画像を生成していた。
この処理によって生成した右眼用画像と左眼用画像は、図7に示すように信号のエッジ周辺において原信号の振幅を超えるオーバーシュートやアンダーシュートが発生する傾向がある。このオーバーシュートやアンダーシュートは、観察画像の不自然さを発生させる要因となる。
また、人間は肌色の階調に敏感であるとされており、例えば業務用ビデオカメラなどでは、肌色領域の輪郭強調処理を弱めるスキントーンディテールと呼ばれる機能が搭載されている場合がある。図5に示した画像変換部では、原信号の高域強調を伴うため、立体視した場合に肌色領域のしわやあれなどが強調されてしまう問題がある。
以下に説明する第2実施例は、これらの問題を解決するため、処理対象となる入力画像からエッジ領域や肌色領域を検出し、エッジ周辺や肌色領域では視差強調信号の寄与を小さくする処理を行う。この処理によって、エッジ領域におけるオーバーシュートやアンダーシュートの発生を低減し、また肌をなめらかに表現することが可能となる。
本実施例に係る画像処理装置の全体構成は、図1に示す画像処理装置100と同様の構成である。すなわち画像処理装置100は、画像入力部110において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、色空間変換部120に入力する。
色空間変換部120は、入力信号から輝度信号と色差信号を生成し、画像変換部130に出力する。画像変換部130は、輝度信号と色差信号を用いて左右眼用画像を生成する。画像変換部130が生成した左右眼用画像は、色空間逆変換部140に入力され、出力信号に応じた信号に変換され、画像出力部150を介して表示部に出力される。
本実施例2では、画像変換部130の構成が、先の実施例1において説明した図5の構成とは異なる構成を持つ。実施例2における画像変換部130の構成について、図17を参照して説明する。画像変換部130は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。
図17に示すように、本実施例の画像変換部130は、微分器131、非線形変換部132、画像合成部133、エッジ領域検出部134、肌色領域検出部135、およびエンハンス制御部136を有する。
微分器131は、先の実施例1において図5を参照して説明した微分器131と同様、画像変換部130に入力される画像信号、例えばビデオデータから輝度信号を取り出し、輝度信号に対する微分信号を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向3タップの線形1次微分フィルタなどを用いる。
非線形変換部132も、先の実施例1において図5を参照して説明した非線形変換部132と同様、微分器131から出力される微分信号を非線形的に変換し、視差強調信号として出力する。
画像合成部133も、先の実施例1において図5を参照して説明した画像合成部133と同様、非線形変換部132から出力される視差強調信号と、画像変換部130に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。
エッジ領域検出部134は、画像変換部130に入力されたビデオデータからエッジ領域と平坦領域を識別するエッジ領域識別信号を生成して出力する。具体的には、例えば入力ビデオ信号から各画素の輝度信号を取り出し、輝度信号の周囲領域における平坦度合を得るため周辺領域における分散値を算出して、算出した分散値を画素対応のエッジ領域識別信号として出力する。分散値の値に応じてエッジ領域であるか平坦領域であるかを判別することができる。なお、エッジ領域検出部134が算出して出力する信号は、分散値に限らず、エッジ領域と平坦領域を判別することが可能な信号であればよい。
肌色領域検出部135は、画像変換部130に入力されたビデオデータから肌色領域を識別する肌色領域識別信号を生成して出力する。具体的には、例えば入力ビデオ信号から色差信号を取り出し、色差信号と予め設定した閾値との比較に基づいて人物の肌色の領域を検出し、肌色として認識された画素を[1]、非肌色の画素を[0]とする設定とした画素対応の肌色領域識別信号を出力する。
肌色領域検出部135の入力する色差信号は、(Cb,Cr)、または(U,V)などの色差信号であり、肌色領域検出部135は入力する色差信号に対応する肌色判別用の閾値データを保持し、閾値データと入力色差信号との比較を画素単位で実行して、各画素が肌色であるか否かを判定する。
なお、肌色領域検出部135における肌色の検出は、上述のような単純な色差信号と閾値との比較処理で実現可能であるが、この方法に限定するものではなく、顔検出や人体検出技術を用いて、より正確に肌色領域を検出する方法を用いても良い。
エンハンス制御部136は、非線形変換部132から出力される視差強調信号[enh(E)]、エッジ領域検出部134から出力されるエッジ領域識別信号(例えば分散値)、および肌色領域検出部135から出力される肌色領域識別信号(例えば[0],[1]の識別信号)を受け取り、エッジ領域識別信号と肌色領域識別信号に応じて視差強調信号[enh(E)]に対してゲイン制御処理を行う。
エッジ領域検出部134から出力されるエッジ領域識別信号である分散値は、エッジなどの輝度変化の大きい領域では大きく、平坦な領域では小さくなる信号である。
先に説明したように、第1実施例の図5に示す構成を持つ画像変換部130は、図7に示した通り、信号のエッジ周辺において原信号の振幅を超えるオーバーシュートやアンダーシュートが発生する傾向にある。この問題を解決するため、本実施例においては、画素値の変化が少ない平坦な領域では視差強調信号の寄与を大きくし、画素値の変化が大きいエッジ周辺では視差強調信号の寄与を小さくすることにより、オーバーシュート、アンダーシュートの発生を低減する。従って、エンハンス制御部136は、以下のような反比例式(式10)により与えられるエッジ対応ゲイン量[gainflat]を計算し、視差強調信号に乗ずることで視差強調信号の寄与を制御する。
上記式(式10)において、
varは1で正規化した分散値であり、
aは比例定数である。
varが0でない場合には、エッジ対応ゲイン量[gainflat]は、最大値[1]でクリッピングされる。varが0の場合には、エッジ対応ゲイン量[gainflat]は[1]になる。エッジ対応ゲイン量[gainflat]は、上記式による変換に限定するものではなく、平坦な領域では大きくなり、エッジ周辺で小さくなるような特性を持つ変換を実現するものであれば上記式と異なる変換式を適用してもよい。
肌色領域検出部135から出力される肌色領域識別信号は、肌色の領域のみで[1]となる信号である。人間は肌色の階調に敏感であるとされており、業務用ビデオカメラなどでは、肌色領域の輪郭強調処理を弱めるスキントーンディテールと呼ばれる機能が搭載されている場合がある。先に説明したように、第1実施例の図5に示す構成を持つ画像変換部130は、原信号の高域強調を伴うため、立体視した場合に肌色領域のしわやあれなどが強調されてしまう問題がある。この問題を解決するため、本実施例においては、肌色領域では視差強調信号の寄与を小さくすることにより、肌の肌理がなめらかに表現されるようにする。従って、エンハンス制御部136は、以下のような反比例式(式11)により与えられる肌色対応ゲイン量[gainskin]を計算し、視差強調信号に乗ずることで視差強調信号の寄与を制御する。
上記式(式11)において、
skiniは、画素位置iにおける肌色識別信号であり、
bは比例定数である。
このように、肌色対応ゲイン量[gainskin]は、周囲n画素の肌色識別信号の平均値に反比例し、最大値1でクリッピングされる。ここで、肌色対応ゲイン量[gainskin]は、上記式による変換に限定するものではなく、肌色領域で小さくなるような変換を実現するものであれば上記式と異なる変換式を適用してもよい。
エンハンス制御部136は、下記の式(式12)に示すとおり、上記の式(式10)により与えられるエッジ対応ゲイン量[gainflat]と、上記の式(式11)により与えられる肌色対応ゲイン量[gainskin]を、非線形変換部132から入力する視差強調信号[enh]に乗算することによりゲイン制御された修正視差強調信号[enh']を出力する。
上記の修正視差強調信号[enh']の算出は、各画素単位で実行され、各画素対応のエッジ対応ゲイン量[gainflat]と、肌色対応ゲイン量[gainskin]に基づいて各画素単位で修正視差強調信号[enh']を算出する。
このように、図17に示す画像変換部130のエンハンス制御部136は、修正視差強調信号[enh']を算出し、修正視差強調信号[enh']を画像合成部133に出力する。
画像合成部133の処理は、先に説明した実施例1の画像合成部133の処理と同様の処理である。画像合成部133は、エンハンス制御部136から出力される修正視差強調信号[enh']と、画像変換部130に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。
画像合成部133は、(a)入力信号に相当するビデオデータ(S)と、(b)微分信号を非線形変換した視差強調信号[enh(E)]に対して画像領域単位で修正(エンハンス制御)した修正視差強調信号[enh'(E')]を受け取り、以下の式により右眼用画像信号(Right)と、左眼用画像信号(Left)を生成する。
Right=S−E'
Left=S+E'
ここで、画像合成部133は、左眼用画像信号(Left)と右眼用画像信号(Right)の両方を変換せずに、いずれか一方の信号に対してのみ変換をかけるようにしても構わない。すなわち、
Right=S−E'
Left=S
このような信号の組み合わせとしてもよい。
あるいは、
Right=S
Left=S+E'
このような信号の組み合わせとしてもよい。
このような処理によって、右眼用画像信号(Right)と、左眼用画像信号(Left)には、網膜像差が発生し奥行きを知覚させる画像を得ることができる。
本実施例では、図17を参照して説明したように、画像変換部130に、エッジ領域検出部134、肌色領域検出部135、エンハンス制御部136を設定し、入力画像の画像特徴に応じて修正視差強調信号[enh']を算出する構成としている。
エンハンス制御部136は、例えばエッジ領域では、非線形変換部132から入力する視差強調信号[enh(E)]に小さなエッジ対応ゲイン量[gainflat]を乗算する。
エンハンス制御部136は、この処理により、エッジ領域では平面領域に比較して小さな値となる修正視差強調信号[enh'(E')]を生成する。この処理によって、画像合成部133で出力される左眼用画像と右眼用画像において、エッジ周辺に発生するオーバーシュート、およびアンダーシュートを抑制し、立体視において良好な画質を得ることが可能となる。さらに、エッジ周辺のみにおいて視差強調信号[enh(E)]の寄与を下げることにより、画像全体の視差量を維持することができるため、全体の奥行き感には大きな影響はない。
また、図17に示す画像変換部130は、上述の通り、肌色領域検出部135で検出された肌色領域に対して非線形変換部132から入力する視差強調信号[enh(E)]に小さな肌色対応ゲイン量[gainskin]を乗算する。
エンハンス制御部136は、肌色領域では、その他の領域に比較して小さな値となる修正視差強調信号[enh'(E')]を生成する。この処理により、画像合成部133で出力される左眼用画像と右眼用画像において、人物の顔などの肌色領域でのしわやあれなどの強調を抑えることができ、立体視において良好な画質を得ることが可能となる。
[3.色差信号に対応する左右眼用画像信号を生成する本発明の画像処理装置の第3実施例]
次に、本発明の画像処理装置の第3実施例として、色差信号に対応する左右眼用画像信号を生成する画像処理装置の構成について説明する。
本実施例に係る画像処理装置の全体構成は、図1に示す画像処理装置100と同様の構成である。すなわち画像処理装置100は、画像入力部110において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、色空間変換部120に入力する。
色空間変換部120は、入力信号から輝度信号と色差信号を生成し、画像変換部130に出力する。画像変換部130は、輝度信号と色差信号を用いて左右眼用画像を生成する。画像変換部130が生成した左右眼用画像は、色空間逆変換部140に入力され、出力信号に応じた信号に変換され、画像出力部150を介して表示部に出力される。
本実施例3では、画像変換部130の構成が、先の実施例1において説明した図5の構成とは異なる構成を持つ。実施例2における画像変換部130の構成について、図18を参照して説明する。画像変換部130は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。
図18に示すように、本実施例の画像変換部130は、微分器131、非線形変換部132、画像合成部133、色差信号微分器137、および第2画像合成部138を有する。微分器131、非線形変換部132、画像合成部133は、図5を参照して説明したと同様の処理を行う。これらの処理についての説明は省略する。
色差信号微分器137は、画像変換部130に入力されたビデオデータから色差信号(Cb,Cr)または(U,V)を取り出し、色差信号各々に対する微分信号を生成する。微分信号の生成は、微分器131による輝度信号に対する微分信号の生成と同様であり、例えば、水平方向3タップの線形1次微分フィルタなどを用いる。
第2画像合成部138は、
(a)色差信号微分器137から出力される色差信号の微分信号[Dc]、
(b)画像変換部130に入力されたビデオデータの色差信号[C]、
(c)微分器131から出力される輝度信号の微分信号、
(d)非線形変換部132から出力される視差強調信号[enh(E)]、
これらの各信号を入力する。
第2画像合成部138は、これらの信号を受け取り、ビデオデータを構成する各フレーム画像の色差信号と、色差信号の微分信号を合成し、左眼用画像と右眼用画像の色差信号を生成する処理を行う。具体的には、第2画像合成部138は、色差信号の微分信号[Dc]と、ビデオデータの色差信号[C]を以下の式(式13)により合成し、左眼用画像の色差信号[Leftc]と右眼用画像の色差信号[Rightc]を生成する。
上記式(式13)において、
色差信号Cは、色差信号のいずれかのチャンネル(CbまたはCr)、あるいは(UまたはV)を表している。
微分信号Dcは、色差信号Cを微分したものである。
また、Dyは輝度信号の微分信号、
enhは視差強調信号を表している。
なお、画像変換部130に入力される色差信号が(Cb,Cr)であれば、第2画像合成部138は、色差信号Cbに対応する左眼用画像の色差信号[Leftc]と右眼用画像の色差信号[Rightc]と、色差信号Crに対応する左眼用画像の色差信号[Leftc]と右眼用画像の色差信号[Rightc]とを生成する。
また、画像変換部130に入力される色差信号が(U,V)であれば、第2画像合成部138は、色差信号Uに対応する左眼用画像の色差信号[Leftc]と右眼用画像の色差信号[Rightc]と、色差信号Vに対応する左眼用画像の色差信号[Leftc]と右眼用画像の色差信号[Rightc]とを生成する。
上記式(式13)の合成式は、輝度信号の視差強調信号[enh]と微分信号[Dy]の比[enh/Dy]によって強調量を決める設定である。すなわち、
左眼用画像の色差信号[Leftc]は、視差強調信号[enh]と微分信号[Dy]の比[enh/Dy]に対する色差信号の微分信号Dcの乗算値[Dc×(enh/Dy)]を元の色差信号Cに加算して生成する。
右眼用画像の色差信号[Rightc]は、視差強調信号[enh]と微分信号[Dy]の比[enh/Dy]に対する色差信号の微分信号Dcの乗算値[Dc×(enh/Dy)]を元の色差信号Cから減算して生成する。
なお、上記式(式13)の合成式は、本実施例における第2画像合成部138の実行する合成処理の一例に過ぎず、第2画像合成部138は、左眼用画像の色差信号[Leftc]と右眼用画像の色差信号[Rightc]の各々を、色差信号とその微分信号の加算処理と減算処理によって生成すれば、上記式以外の合成処理を実行してもよい。
このように、本実施例の画像処理装置では、図18に示す画像変換部130によって、色差信号の微分信号を生成して、元の色差信号と合成する処理を行って、左眼用画像の色差信号[Leftc]と右眼用画像の色差信号[Rightc]の各々を生成する。この構成により、彩度の高い被写体の境界付近で発生する疑色や色にじみを抑制することが可能となる。さらに、輝度信号の視差強調信号と微分信号の比によって強調量を決めることにより、輝度信号と同程度のエンハンスを実現することが可能となる。
図18に示す画像変換部130の処理についてまとめて説明する。
図18に示す画像変換部130の微分器131、非線形変換部132、画像合成部133の処理は、前述の実施例1と同様の処理である。すなわち、微分器131が入力画像信号の輝度微分信号を抽出し、非線形変換部132において微分信号の非線形変換を実行し、この結果を第1の特徴量として設定する。画像合成部133は、入力画像信号の輝度信号に対してこの第1の特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像の輝度信号として生成する。
図18に示す画像変換部130の色差信号微分器137と第2画像合成部138の処理は以下の処理となる。色差信号微分器137は、入力画像信号の色差微分信号を抽出し、この色差微分信号を第2の特徴量として設定する。第2画像合成部138は、入力画像信号の色差信号に対して第2の特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像の色差信号として生成する。
このような処理によって、左眼用画像と右眼用画像の輝度信号と色差信号が得られる。なお、上述の処理によって、左眼用画像と右眼用画像の輝度信号と色差信号を生成して出力する構成としてもよいが、上述の特徴量を用いた加算または減算処理によって左眼用画像、または右眼用画像の一方の眼用画像の輝度信号と色差信号のみを生成して、入力画像信号に処理を加えない非変換信号を変換信号と異なる眼用の画像として設定して出力する構成としてもよい。
[4.画像表示部を持つ画像処理装置の構成例]
図1に示す画像処理装置は、画像表示部を持たない画像処理装置として説明した。しかし、画像表示部を持つ画像処理装置として構成してもよい。図19は、画像表示部を持つ画像処理装置の一実施例を示す図である。
画像表示装置300は、画像入力部310において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤(R)、緑(G)、青(B)の三原色のビデオデータや、輝度(Y)、色差(Cb,Cr)、あるいは(Y,U,V)などの信号からなるビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部32が対応していればどのような色空間でも構わない。
画像入力部310から出力されたビデオデータは、色空間変換部320に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータが画像変換部の処理対象とするデータ、例えばY,Cb,Cr色空間に従う場合には、色空間変換部320、色空間の変換を行わずに出力する。入力ビデオデータがR,G,B色空間、または他の色空間に従う場合には、色空間変換部2は、輝度(Y)、色差(Cb,Cr)信号への変換を行い出力する。
ここで、色空間変換部320から出力するビデオデータの色空間は、Y,Cb,Cr空間に限るものではなく、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。
色空間変換部320から出力されたビデオデータは、画像変換部330に入力される。画像変換部330は、先に説明した処理によって左眼用と右眼用の両眼視差画像を生成し、画像表示部350の形式に従ってこれらの画像を合成して出力する。
画像変換部330から出力されたビデオデータは、色空間逆変換部340に入力され、Y,Cb,Cr色空間からR,G,B色空間へ変換される。
色空間逆変換部340から出力されたビデオデータは、画像表示部350に入力される。画像表示部350は、画像出力部と表示部とを兼ね備えた構成であり、以下に示す立体表示方式(時間分割方式または空間分割方式)のいずれかの方式よって画像表示を行う。
(時間分割方式)
時間分割方式の立体表示方法においては、入力されるビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像、および右眼用画像(または、右眼用画像、および左眼用画像)と認識し、ユーザが装着する液晶シャッタ方式によるメガネを制御して、左眼と右眼に映像が時間的に交互に提示されるようにする。この表示方式では、画像表示部350は、左眼用画像、および右眼用画像の出力切り替えタイミングを、鑑賞者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させる設定として制御する。
(空間分割方式)
空間分割方式の立体表示方法においては、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示されるようにする。
以上、説明の通り、本発明による画像処理装置によれば、2次元画像データを入力とし、画像の特徴量から擬似的に右眼用画像と左眼用画像を生成することにより、両眼視差を利用した立体表示を行うことが可能である。さらに、本発明による画像処理装置によれば、左眼用画像と右眼用画像を加算したときに入力画像と等価となるように画像変換を行うことにより、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の2次元画像として知覚することが可能となり、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像表示装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。
なお、これまで複数の実施例について説明してきたが、各実施例を組み合わせた構成としてもよい。すなわち上述の実施例1〜3や画像表示部を有する画像処理装置の各々についての任意の組み合わせ、例えば実施例2と実施例3を組み合わせた機能を持つ画像処理装置など、各実施例の有する機能を併せ持つ画像処理装置を構成することが可能である。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。