JP5024632B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、画像における被写体の奥行値を正確に求め、求められた奥行値に基づいて画像を処理できるようにした画像処理装置および方法、並びにプログラムに関する。

画像の中で、被写体毎に奥行値を設定し、奥行値に応じて画像を処理する技術が提案されている（特許文献１）。また、画像より被写体の奥行値を抽出して、抽出された奥行値に対応して、上述した画像処理を施す処理が提案されている。

特開２００２−１９７４８６号公報

しかしながら、画像の輪郭成分、または高周波成分から奥行値を検出する場合、輝度の情報のみに基づいたものであることが多いため、平坦部分では輪郭、および高周波成分が微小であることから、奥行値が正確に得られないことがあり、画像処理を適正に行うことができない恐れがあった。また、暗い領域においても、輪郭、および高周波成分が小さくなることから、正確な奥行値を求めることができないことがあり、やはり画像処理を適正に行うことができない恐れがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、画像における暗い部分などの平坦部分においても正確に奥行値を設定することができるようにするものである。

本発明の一側面の画像処理装置は、入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出手段と、前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合手段と、前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理手段と、前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出手段と、前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合手段と、前記画素毎の奥行値を正規化する正規化手段と、前記正規化手段により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御手段と、前記画素毎に彩度を検出する彩度検出手段と、前記トーンカーブ制御手段により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御手段とを含む。

前記彩度制御手段により前記トーンカーブで制御された前記奥行値に基づいた係数により、前記入力画像の画素毎の輝度、および色差信号を制御する遠近感制御手段をさらに含ませるようにすることができる。

前記輝度のシャープネスを制御するシャープネス制御手段と、前記輝度のコントラストを制御するコントラスト制御手段と、前記画素毎の色差信号を制御する色差制御手段とをさらに含ませるようにすることができ、前記遠近感制御手段には、前記画素毎の輝度に加えて、前記シャープネス制御手段により制御された輝度、および前記コントラスト制御手段により制御された輝度を用いて、前記係数により輝度を制御させ、前記色差信号、および前記色差制御手段により制御された色差信号を用いて、前記奥行値に基づいた係数により前記色差信号を制御させるようにする。

本発明の一側面の画像処理方法は、入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出ステップと、前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合ステップと、前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理ステップと、前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出ステップと、前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合ステップと、前記画素毎の奥行値を正規化する正規化ステップと、前記正規化ステップの処理により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御ステップと、前記画素毎に彩度を検出する彩度検出ステップと、前記トーンカーブ制御ステップの処理により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御ステップとを含む。

本発明の一側面のプログラムは、入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出ステップと、前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合ステップと、前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理ステップと、前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出ステップと、前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合ステップと、前記画素毎の奥行値を正規化する正規化ステップと、前記正規化ステップの処理により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御ステップと、前記画素毎に彩度を検出する彩度検出ステップと、前記トーンカーブ制御ステップの処理により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、入力画像の画素毎に、周辺画素の輝度信号より高周波成分が焦点情報として抽出され、前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報が生成され、前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えられることで、前記入力画像の暗部焦点情報が生成され、前記画素毎の輝度信号が、周辺画素の輝度信号に統合されることで照明成分が抽出され、前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値が計算され、前記画素毎の奥行値が正規化され、正規化された奥行値がトーンカーブにより制御され、前記画素毎に彩度が検出され、前記トーンカーブにより制御された前記奥行値が前記彩度により制御される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、画像における被写体の奥行値を正確に求めることが可能となる。

［画像処理装置の構成例］
図１は、本発明を適用した一実施の形態の構成例を示す画像処理装置である。

図１の画像処理装置１は、YUV分離部１１、統合部１２、シャープネス制御部１３、コントラスト制御部１４、彩度制御部１５、および奥行検出部１６より構成される。画像処理装置１は、入力画像より画像内における広がり、すなわち、画素単位での奥行値を求めて、求められた奥行値に応じた処理を入力画像に施し、高画質化させるものである。

YUV分離部１１は、例えば、RGB信号などから構成される入力画像をYUV（輝度、および色差信号）に画素単位で変換して分離し、輝度信号Ｙを統合部１２、シャープネス制御部１３、コントラスト制御部１４、および奥行検出部１６に供給する。またYUV分離部１１は、入力画像より分離した色差信号Ｕ，Ｖを彩度制御部１５、および奥行検出部１６に供給する。尚、入力画像がYUV信号より構成される場合、YUV分離部１１は、単に輝度信号Ｙと色差信号Ｕ，Ｖとを分離するのみである。

シャープネス制御部１３は、入力された輝度信号Ｙの高周波成分を画素単位で強調するように制御することで、シャープネスを制御した輝度信号Ｙｓを生成して統合部１２に供給する。

コントラスト制御部１４は、入力された輝度信号Ｙのコントラストを画素単位で強調するように制御することにより、コントラストが強調された輝度信号Ｙｃを生成して統合部１２に供給する。

彩度制御部１５は、画素毎に色差信号Ｕ，Ｖに対して所定の係数を乗じることにより彩度を強調した色差信号Ｕｃ，Ｖｃを生成して統合部１２に供給する。

奥行検出部１６は、輝度信号Ｙおよび色差信号Ｕ，Ｖより画素単位で奥行値ｄを求めて統合部１２に供給する。尚、奥行検出部１６については、図２を参照して、詳細な構成例について後述する。

統合部１２は、奥行値ｄに基づいて、輝度信号Ｙ，Ｙｃ，Ｙｓ、および色差信号Ｕｃ，Ｖｃを遠近感を強調するように統合して出力画像Ｐ’として出力する。

［奥行検出部の構成例］
次に、図２を参照して、奥行検出部１６の詳細な構成例について説明する。

奥行検出部１６は、焦点情報抽出部３１、領域統合部３２、暗部処理部３３、奥行生成部３４、照明成分抽出部３５、および彩度検出部３６より構成されており、輝度信号Ｙおよび色差信号Ｕ，Ｖより画素単位で奥行値ｄを求め、統合部１２に供給する。

焦点情報抽出部３１は、輝度信号Ｙに水平HPF（High Pass Filter）および垂直HPFを掛けることにより高周波成分を抽出して焦点情報Ｆとして領域統合部３２、および暗部処理部３３に供給する。尚、焦点情報抽出部３１の構成例については、図３を参照して詳細を後述する。

領域統合部３２は、LPF（Low Pass Filter）より構成されており、焦点情報Ｆを平滑化することにより、画素毎に周辺画素の焦点情報Ｆの値に近付けるように統合することで、焦点情報ＦＬを生成し、奥行生成部３４に供給する。尚、領域統合部３２は、焦点情報Ｆを周辺の焦点情報Ｆの値に近付けられように統合処理ができるものであればよいので、LPFなどの他、FIR（Finite Impulse Response Filter）、IIR（Infinite Impulse Response Filter）、εフィルタ、またはメディアンフィルタなどでもよいものである。

暗部処理部３３は、画素毎に周辺画素の焦点情報Ｆとの比較により、注目画素の焦点情報Ｆよりも大きな値の平均値を求める。そして、暗部処理部３３は、求められた平均値で注目画素の焦点情報Ｆを置き換えることにより、暗部を明るするように処理することで焦点情報ＦＤを生成し、奥行生成部３４に供給する。

照明成分抽出部３５は、LPFより構成されており、輝度信号Ｙを平滑化することで、周辺の画素の輝度信号Ｙに近付けるように処理して、照明成分ＬＦを抽出して奥行生成部３４に供給する。

彩度検出部３６は、色差信号Ｕ，Ｖより彩度Ｓを検出し、検出した彩度Ｓを奥行生成部３４に供給する。

奥行生成部３４は、焦点情報ＦＬ，ＦＤ、照明成分ＬＦ、および彩度Ｓに基づいて、奥行値ｄを生成して出力する。尚、奥行生成部３４については、図５を参照して詳細を後述する。

［焦点情報抽出部の構成例］
次に、図３を参照して、焦点情報抽出部３１の詳細な構成例について説明する。

焦点情報抽出部３１は、水平方向HPF５１、絶対値処理部５２、最大値抽出部５３、垂直方向HPF５４、および絶対値処理部５５から構成されており、輝度信号Ｙの高周波成分を抽出し、焦点情報Ｆとして出力する。

水平方向HPF５１は、例えば、図４の左部で示されるような、水平方向の高周波成分を抽出するHPFであり、入力される輝度信号Ｙの水平方向の高周波成分ＹＨを抽出して絶対値処理部５２に供給する。

絶対値処理部５２は、水平方向の高周波成分として抽出された高周波成分ＹＨの絶対値を求めて最大値抽出部５３に供給する。

垂直方向HPF５４は、例えば、図４の右部で示されるような、垂直方向の高周波成分を抽出するHPFであり、入力される輝度信号Ｙの垂直方向の高周波成分ＹＶを抽出して絶対値処理部５２に供給する。

絶対値処理部５５は、垂直方向の高周波成分として抽出された高周波成分ＹＶの絶対値を求めて最大値抽出部５３に供給する。

最大値抽出部５３は、高周波成分ＹＨ，ＹＶの最大値を抽出し、焦点情報Ｆとして出力する。

［奥行生成部の構成例］
次に、図５を参照して、奥行生成部３４の詳細な構成例について説明する。

奥行生成部３４は、明暗統合部７１、正規化部７２、トーンカーブ制御部７３、および彩度制御部７４より構成されており、焦点情報ＦＬ，ＦＤ、照明成分ＬＦ、および彩度Ｓに基づいて、奥行値ｄを生成して出力する。

明暗統合部７１は、領域統合部３２からの輝度信号ＹＬと、暗部処理部３３からの輝度信号ＹＤとを、照明成分抽出部３５より供給されてくる照明成分ＬＦに基づいた比率で合成することで、輝度信号の明部と暗部とを統合し、合成信号ｇを正規化部７２に供給する。

正規化部７２は、明暗統合部７１より供給されてくる合成信号ｇを正規化し、正規化された合成信号ｇ’としてトーンカーブ制御部７３に供給する。

トーンカーブ制御部７３は、予め設定されているトーンカーブにしたがって、合成信号ｇ’を制御して奥行値ｄｇを生成し、彩度制御部７４に供給する。

彩度制御部７４は、トーンカーブ制御部７３より供給されてくる奥行値ｄｇに、彩度検出部３６より供給されてくる彩度Ｓに基づいて設定される係数を乗じることにより奥行値ｄを生成し統合部１２に供給する。

［画像処理装置による画像処理］
次に、図６のフローチャートを参照して、図１の画像処理装置１による画像処理について説明する。

ステップＳ１１において、YUV分離部１１は、新たな画像が供給されてきたか否かを判定し、新たな画像が供給されてくるまで、同様の処理を繰り返す。ステップＳ１において、例えば、新たな画像が入力されてきた場合、処理は、ステップＳ１２に進む。

ステップＳ１２において、YUV分離部１１は、画素単位でYUV信号に変換して分離し、輝度信号Ｙを、統合部１２、シャープネス制御部１３、コントラスト制御部１４、および奥行検出部１６に供給すると共に、色差信号Ｕ，Ｖを彩度制御部１５、および奥行検出部１６に供給する。

ステップＳ１３において、シャープネス制御部１３は、入力画像の輝度信号Ｙを、画素単位で、輪郭強調処理などによりシャープネスを強調するように制御し、輝度信号Ｙｓとして統合部１２に供給する。

ステップＳ１４において、コントラスト制御部１４は、入力画像の輝度信号Ｙを、以下の式（１）で示される演算処理により、画素単位でコントラストを高めるように制御し、輝度信号Ｙｃを生成して統合部１２に供給する。

Ｙｃ＝（Ｙ−Ｙｍｉｎ）／（Ｙｍａｘ−Ｙｍｉｎ）
・・・（１）

式（１）において、Ｙは入力画像の各画素の輝度信号であり、Ｙｍｉｎは、入力画像内の輝度信号Ｙの最小値であり、Ｙｍａｘは、入力画像内の輝度信号Ｙの最大値であり、Ｙｃは、コントラスト制御された輝度信号である。

すなわち、ステップＳ１４の処理により、コントラスト制御部１４は、輝度信号Ｙを、輝度信号Ｙと最小値Ｙｍｉｎとの差分の、最大値Ｙｍａｘと最小値Ｙｍｉｎとの差分に対する比率に変換することで、コントラストを強調する。

ステップＳ１５において、彩度制御部１５は、供給されてくる色差信号Ｕ，Ｖのそれぞれに対して、所定の係数κを乗じることにより彩度を強調するように制御し、色差信号Ｕｃ（＝κＵ），Ｖｃ（＝κＶ）を統合部に供給する。尚、所定の係数κは、任意に設定することが可能である。

ステップＳ１６において、奥行検出部１６は、輝度信号Ｙおよび色差信号Ｕ，Ｖに基づいて、奥行検出処理を実行し、奥行値ｄを画素単位で求め、統合部１２に供給する。

［奥行検出処理］
ここで、図７のフローチャートを参照して奥行検出処理について説明する。

ステップＳ３１において、彩度検出部３６は、供給されてきた色差信号Ｕ，Ｖより彩度Ｓを以下の式（２）を演算することにより求め、奥行生成部３４に供給する。

Ｓ＝√（Ｕ²＋Ｖ²）
・・・（２）

ここで、Ｕ，Ｖは、色差信号である。すなわち、彩度Ｓは、色差信号Ｕ，Ｖの二乗和の平方根として求められる。

ステップＳ３２において、照明成分抽出部３５は、各画素の周辺の輝度信号Ｙにより平滑化することにより、周辺の画素の輝度信号Ｙに近付けるように処理し、照明成分ＬＦを抽出して奥行生成部３４に供給する。すなわち、明るい領域は、焦点が合っている状態でも高周波成分が小さくなるため、周辺の画素の輝度信号Ｙに近い値が照明成分ＬＦとして抽出される。

ステップＳ３３において、焦点情報抽出部３１は、各画素について焦点情報抽出処理を実行し、輝度信号Ｙより焦点情報Ｆを求めて領域統合部３２、および暗部処理部３３に供給する。

［焦点情報抽出処理］
ここで、図８のフローチャートを参照して、焦点情報抽出処理について説明する。

ステップＳ５１において、水平方向HPF５１は、入力される輝度信号Ｙに、例えば、図４の左部で示されるような水平方向のフィルタ処理を施し、高周波成分ＹＨを抽出して絶対値処理部５２に供給する。

ステップＳ５２において、絶対値処理部５２は、水平方向の高周波成分として抽出された高周波成分ＹＨの絶対値を求めて最大値抽出部５３に供給する。

ステップＳ５３において、垂直方向HPF５４は、入力される輝度信号Ｙに、例えば、図４の右部で示されるような垂直方向のフィルタ処理を施し、高周波成分ＹＶを抽出して絶対値処理部５５に供給する。

ステップＳ５４において、絶対値処理部５５は、垂直方向の高周波成分として抽出された高周波成分ＹＶの絶対値を求めて最大値抽出部５３に供給する。

ステップＳ５５において、最大値抽出部５３は、高周波成分ＹＨ，ＹＶの最大値、すなわち、いずれか大きな値を抽出し、焦点情報Ｆとして領域統合部３２、および暗部処理部３３に出力する。

以上の処理により、入力画像Ｐの各画素について輝度信号Ｙの水平方向、または、垂直方向の高周波成分のうち、いずれか大きな値が焦点情報Ｆとして出力される。

ここで、図７のフローチャートの説明に戻る。

ステップＳ３４において、領域統合部３２は、焦点情報Ｆを平滑化することにより、周辺の画素の焦点情報Ｆの値に近づけて焦点情報ＦＬを生成し、奥行生成部３４に供給する。すなわち、この処理により、領域統合部３２は、焦点情報Fを、全体が高周波成分の画像であるものとして、平滑化して処理し、焦点情報ＦＬを生成して奥行生成部３４に供給する。

ステップＳ３５において、暗部処理部３３は、画素毎に画素周辺の焦点情報Ｆとの比較により、処理対照となる画素の焦点情報Ｆよりも大きな周辺画素の焦点情報Ｆの平均値を求める。すなわち、暗部処理部３３は、例えば、図９で示されるように、図中の黒丸で示される処理対象の画素を中心とした垂直方向、または、水平方向などの１次元の範囲Ｗにおける焦点情報Ｆのうち、太線で示される注目画素の焦点情報Ｆよりも大きな値の平均値ＦＡ（図９の白丸）を求める。そして、暗部処理部３３は、処理対象となる画素の焦点情報Ｆを、求めた平均値ＦＡで置き換えることにより焦点情報ＦＤを生成する。この処理により、画素毎に、周辺画素の焦点情報Ｆのうち、自らよりも明るいものの平均値ＦＡに置換されて、焦点情報ＦＤが生成されることになるので、明るくなるように処理される。すなわち、例えば、画像内で暗い範囲に存在するような画素については、明るく処理されることになる。尚、暗部処理部３３の処理については、処理対象の画素の近傍の所定範囲の平均値を用いるようにすればよく、例えば、処理対象の画素を中心とした２次元の範囲における焦点情報Ｆよりも大きな値の平均値で、焦点情報Ｆを置き換えるようにしてもよい。

ステップＳ３６において、奥行生成部３４は、奥行生成処理を実行し、焦点情報ＦＬ，ＦＤ、照明成分ＬＦ、および彩度Ｓに基づいて、奥行値ｄを生成して統合部１２に出力する。

［奥行生成処理］
ここで、図１０のフローチャートを参照して、奥行生成処理について説明する。

ステップＳ７１において、明暗統合部７１は、焦点情報ＦＬと焦点情報ＦＤとを用いて、以下の式（３）を演算することにより、照明成分ＬＦに基づいた比率で合成し、合成信号ｇを生成し、合成信号ｇを正規化部７２に供給する。

ｇ＝Ａ×ＦＤ＋（１−Ａ）×ＦＬ
・・・（３）

ここで、ｇは合成信号を示し、ＦＤは暗部の輝度信号を示し、ＹＬは明部の輝度信号を示し、Ａは、図１１で示されるように、照明成分ＬＦに基づいて決定される係数である。すなわち、係数Ａは、０乃至１．０の値であり、照明成分ＬＦが０近傍であるとき１．０を取り、照明成分ＬＦが所定の値までは１．０であるが、所定の値より大きくなると、照明成分ＬＦが大きくなるに従って線形的に小さくなり、所定の値を超えると０となる。

従って、明暗統合部７１は、明部の輝度信号ＹＬと暗部の輝度信号ＹＤとを、照明成分ＬＦが大きく、全体として明るい画像に対しては、明部の輝度信号ＹＬの割合を高めるように合成する。逆に、明暗統合部７１は、明部の輝度信号ＹＬと暗部の輝度信号ＹＤとを、照明成分ＬＦが小さく、全体として暗い画像に対しては、暗部の輝度信号ＹＤの割合を高めるように合成する。

結果として、焦点情報Ｆは、入力画像Ｐが全体として明るい場合、高周波成分の高い輝度信号ＹＬに追従して調整され、逆に、全体として暗い場合、暗部処理された輝度信号ＹＤに追従して調整される。

ステップＳ７２において、正規化部７２は、合成信号ｇを、例えば、以下の式（４）で示されるような演算を実行することにより、正規化し、正規化した合成信号ｇ’をトーンカーブ制御部７３に供給する。

ｇ’＝（ｇ−ｇｍｉｎ）／（ｇｍａｘ−ｇｍｉｎ）
・・・（４）

ここで、ｇ’は正規化された合成信号を、ｇは正規化される前の合成信号を、ｇｍａｘは、入力画像における各画素の合成信号ｇのうち最大値を、ｇｍｉｎは、入力画像における各画素の合成信号ｇのうち最小値を、それぞれ表している。

ステップＳ７３において、トーンカーブ制御部７３は、例えば、図１２で示されるようなトーンカーブにしたがって、合成信号ｇ’を制御して奥行値ｄｇを生成し、彩度制御部７４に供給する。すなわち、図１２で示されるように、予め設定されたトーンカーブにおいては、合成信号ｇ’が０近傍、または１近傍の値においては、奥行値ｄｇが緩やかに増加し、合成信号ｇ’が０．４近傍においては、奥行値ｄｇが急峻に増加する。このため、合成信号ｇ’が大きい場合、奥行値ｄｇが小さく設定され、合成信号ｇ’が小さい場合は、奥行値ｄｇが大きく設定される。また、合成信号ｇ’の大きさにより奥行値ｄｇは、０または１．０のいずれかの値に近い値となり、奥行について、手前に位置するものであるのか、または、奥に位置するものであるのかが、比較的鮮明に分けられ易く制御される。

ステップＳ７４において、彩度制御部７４は、トーンカーブ制御部７３より供給されてくる奥行値ｄｇに、彩度検出部３６より供給されてくる図１３で示される彩度Ｓにより設定される係数Ｂを乗じることで、彩度Ｓにより制御された奥行値ｄを生成する。より具体的には、彩度制御部７４は、以下の式（５）で示される演算を実行することにより、奥行値ｄを計算し、計算した奥行値ｄを統合部１２に供給する。

ｄ＝Ｂ×ｄｇ
・・・（５）

ここで、ｄは彩度Ｓにより制御された奥行値を、Ｂは図１３で示されるように彩度Ｓにより設定される係数を、ｄｇは彩度Ｓにより制御される前の奥行値をそれぞれ表している。

図１３で示されるように、係数Ｂは、予め設定される係数Ｂの最小値Ｂｍｉｎ乃至最大値Ｂｍａｘの範囲における値をとり、入力画像における彩度Ｓの最小値Ｓｍｉｎと最大値Ｓｍａｘとの間で線形変換される値である。すなわち、奥行値ｄは、彩度Ｓが大きいほど、制御される前の奥行値ｄｇが大きな値となるように制御され、逆に、彩度Ｓが小さいほど、制御される前の奥行値ｄｇが小さな値となるように制御される。このため、彩度Ｓが大きいほど奥行値ｄが大きくなり、より奥行をはっきりと識別できる値に設定することが可能なり、彩度Ｓが小さいほど、奥行値ｄが小さくなり、より奥行を識別し難い値に設定することが可能となる。

以上の処理により、入力画像における画素単位での明暗に応じて設定される合成係数ｇ、照明成分ＬＦ、および彩度Ｓに基づいて、奥行値ｄが設定されるので、適切に奥行値ｄを計算することが可能となる。

ここで、図６のフローチャートの説明に戻る。

すなわち、図７のフローチャートにおけるステップＳ３６の奥行生成処理が終了すると、図６のフローチャートにおけるステップＳ１６の奥行検出処理が終了し、処理は、ステップＳ１７に進む。

ステップＳ１７において、統合部１２は、奥行値ｄに基づいて、入力画像の輝度信号Ｙ、シャープネスが強調された輝度信号Ｙｓ、コントラストが強調された輝度信号Ｙｃ、および彩度が強調された色差信号Ｕｃ，Ｖｃを統合して出力する。より具体的には、統合部１２は、以下の式（６）乃至式（８）で示されるように演算し、奥行値ｄに対応した新たな輝度信号Ｙ’、および色差信号Ｕ’，Ｖ’からなる出力画像Ｐ’を生成して出力する。

Ｙ’＝（１−α）×Ｙ＋α×（β×Ｙｓ＋γ×Ｙｃ）
・・・（６）
Ｕ’＝（１−α）×Ｕ＋α×Ｕｃ
・・・（７）
Ｖ’＝（１−α）×Ｖ＋α×Ｖｃ
・・・（８）

ここで、αは図１４の上部で示されるように奥行値ｄに対応して設定される係数であり、βは図１４の中部で示されるように奥行値ｄに対応して設定される係数であり、γは図１４の下部で示されるように奥行値ｄに対応して設定される係数である。

すなわち、係数αは、０乃至１．０の値を取り、奥行値ｄの入力画像における最小値ｄｍｉｎから最大値ｄｍａｘの範囲において、線形的に変化する。係数βは、係数βの最小値βｍｉｎ乃至最大値βｍａｘの値を取り、奥行値ｄの入力画像における最小値ｄｍｉｎから最大値ｄｍａｘの範囲において、線形的に変化する。係数γは、係数γの最小値γｍｉｎ乃至最大値γｍａｘの値を取り、奥行値ｄの入力画像における最小値ｄｍｉｎから最大値ｄｍａｘの範囲において、線形的に変化する。

画素単位で奥行値ｄが大きくなるほど、係数α，β，γがいずれも大きな値となるため、輝度信号Ｙ’は、シャープネスが強調された輝度信号Ｙｓ、およびコントラストが強調された輝度信号Ｙｃによる影響が大きくなる。また、色差信号Ｕ’，Ｖ’は、いずれも彩度が制御された色差信号Ｕｃ，Ｖｃの影響が大きくなる。このため、画像処理装置１は、入力画像Ｐを処理することにより、コントラストやシャープネスが強調された、メリハリのある奥行感の大きな出力画像Ｐ’として出力される。

一方、画素単位で奥行値ｄが小さくなるほど、係数α，β，γがいずれも小さな値となるため、輝度信号Ｙ’は、入力画像Ｐにおける輝度信号Ｙによる影響が大きくなる。また、色差信号Ｕ’，Ｖ’は、いずれも入力画像Ｐにおける色差信号Ｕ，Ｖの影響が大きくなる。このため、画像処理装置１は、入力画像Ｐに加える処理が小さな、ほぼそのままの画像として出力画像Ｐ’が出力される。

結果として、奥行値ｄに応じて、入力画像を適切な奥行感に制御して処理することが可能となる。

また、係数β，γは、図１５で示されるように、それぞれの最小値βｍｉｎ，γｍｉｎ、および最大値βｍａｘ，γｍａｘとして異なる値に設定することで、シャープネスが強調された輝度信号Ｙｓおよびコントラストが強調された輝度信号Ｙｃの輝度信号Ｙ’への影響の程度を調整するようにしても良い。尚、図１５においては、例えば、最小値βｍｉｎ＝０．２，γｍｉｎ＝０．１、および最大値βｍａｘ＝０．６，γｍａｘ＝０．４である場合の例を示している。

さらに、係数β，γは、例えば、γ＝１−βとして定義することにより、係数β，γとの関係を連携するようにしてもよく、このように設定することで、シャープネスが強調された輝度信号Ｙｓおよびコントラストが強調された輝度信号Ｙｃの輝度信号Ｙ’への影響の程度をある程度規制することが可能となる。

本発明によれば、明部および暗部の輝度信号、および色差信号による彩度に基づいて、画像における画素単位での奥行値を適切に設定することが可能となる。このため、例えば、画像中における暗い部分や平坦部分についても適切に奥行値を設定することが可能となり、奥行値に応じた画素単位での処理が可能となる。

ところで、上述した一連の情報処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明を適用した画像処理装置の構成例を示すブロック図である。 図１の奥行検出部の構成例を示すブロック図である。 図２の焦点情報抽出部の構成例を示すブロック図である。 水平方向HPFおよび垂直方向HPFの構成例を示すブロック図である。 図２の奥行生成部の構成例を示すブロック図である。 図１の画像処理装置による画像処理を説明するフローチャートである。 奥行検出処理を説明するフローチャートである。 焦点情報抽出処理を説明するフローチャートである。 暗部処理部の動作を説明する図である。 奥行生成処理を説明するフローチャートである。 奥行生成処理を説明する図である。 トーンカーブを説明する図である。 彩度Ｓと係数Ｂとの関係を説明する図である。 奥行値ｄと係数α，β，γとの関係を説明する図である。 奥行値ｄと係数β，γとのその他の関係を説明する図である。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

１ 画像処理装置， １１ YUV分離部， １２ 統合部， １３ シャープネス制御部， １４ コントラスト制御部， １５ 彩度制御部， １６ 奥行検出部， ３１ 焦点情報抽出部， ３２ 領域統合部， ３３ 暗部処理部， ３４ 奥行生成部， ３５ 照明成分抽出部， ３６ 彩度検出部， ５１ 水平方向HPF， ５２ 絶対値処理部， ５２， ５３ 最大値抽出部， ５４ 垂直方向HPF， ５５ 絶対値処理部， ７１ 明暗統合部， ７２ 正規化部， ７３ トーンカーブ制御部， ７４ 彩度制御部

Claims (5)

1. 入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出手段と、
   前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合手段と、
   前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理手段と、
   前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出手段と、
   前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合手段と、
   前記画素毎の奥行値を正規化する正規化手段と、
   前記正規化手段により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御手段と、
   前記画素毎に彩度を検出する彩度検出手段と、
   前記トーンカーブ制御手段により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御手段と
   を含む画像処理装置。
2. 前記彩度制御手段により前記トーンカーブで制御された前記奥行値に基づいた係数により、前記入力画像の画素毎の輝度、および色差信号を制御する遠近感制御手段をさらに含む
   請求項１に記載の画像処理装置。
3. 前記輝度のシャープネスを制御するシャープネス制御手段と、
   前記輝度のコントラストを制御するコントラスト制御手段と、
   前記画素毎の色差信号を制御する色差制御手段とをさらに含み、
   前記遠近感制御手段は、前記画素毎の輝度に加えて、前記シャープネス制御手段により制御された輝度、および前記コントラスト制御手段により制御された輝度を用いて、前記係数により輝度を制御し、前記色差信号、および前記色差制御手段により制御された色差信号を用いて、前記奥行値に基づいた係数により前記色差信号を制御する
   請求項２に記載の画像処理装置。
4. 入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出ステップと、
   前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合ステップと、
   前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理ステップと、
   前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出ステップと、
   前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合ステップと、
   前記画素毎の奥行値を正規化する正規化ステップと、
   前記正規化ステップの処理により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御ステップと、
   前記画素毎に彩度を検出する彩度検出ステップと、
   前記トーンカーブ制御ステップの処理により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御ステップと
   を含む画像処理方法。
5. 入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出ステップと、
   前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合ステップと、
   前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理ステップと、
   前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出ステップと、
   前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合ステップと、
   前記画素毎の奥行値を正規化する正規化ステップと、
   前記正規化ステップの処理により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御ステップと、
   前記画素毎に彩度を検出する彩度検出ステップと、
   前記トーンカーブ制御ステップの処理により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御ステップと
   を含む処理をコンピュータに実行させるプログラム。

Images