JP4655238B2

JP4655238B2 - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP4655238B2
Application number: JP2008240334A
Authority: JP
Inventors: 信一郎五味; 昌美緒形
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-09-19
Filing date: 2008-09-19
Publication date: 2011-03-23
Anticipated expiration: 2028-09-19
Also published as: JP2010072982A; CN101676951B; US8520134B2; CN101676951A; US20100073521A1

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、画像における被写体の奥行値を正確に求め、求められた奥行値に基づいて画像を処理できるようにした画像処理装置および方法、並びにプログラムに関する。

画像の中で、被写体毎に奥行値を設定し、奥行値に応じて画像を処理する技術が提案されている（特許文献１）。また、画像より被写体の奥行値を抽出して、抽出された奥行値に対応して、上述した画像処理を施す処理が提案されている。

特開２００２−１９７４８６号公報

しかしながら、画像の輪郭成分、または高周波成分から奥行値を検出する場合、輝度の情報のみに基づいたものであることが多いため、平坦部分では輪郭、および高周波成分が微小であることから、奥行値が正確に得られないことがあり、画像処理を適正に行うことができない恐れがあった。また、暗い領域においても、輪郭、および高周波成分が小さくなることから、正確な奥行値を求めることができないことがあり、やはり画像処理を適正に行うことができない恐れがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、画像における暗い部分などの平坦部分においても正確に奥行値を設定することができるようにし、奥行値に対応して画像を適切に処理できるようにするものである。

本発明の一側面の画像処理装置は、入力画像の画素毎に、奥行値を検出する奥行値検出手段と、前記奥行値を前記入力画像の所定の領域毎に分布する重みを用いて積算し、所定の領域毎の重み付け平均値を算出する算出手段と、前記入力画像の前記領域毎の重み付け平均値に基づいて、構図を解析する解析手段と、前記解析手段の解析結果に基づいて、前記入力画像を処理する処理手段とを含み、前記奥行検出手段は、入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出手段と、前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合手段と、前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理手段と、前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出手段と、前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合手段と、前記画素毎の奥行値を正規化する正規化手段と、前記正規化手段により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御手段と、前記画素毎に彩度を検出する彩度検出手段と、前記トーンカーブ制御手段により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御手段とを含む。

前記処理手段には、前記解析結果に基づいて、前記入力画像を高画質化処理させるようにすることができる。

前記処理手段には、前記解析結果に基づいて、前記入力画像を圧縮処理させるようにすることができる。

本発明の一側面の画像処理方法は、入力画像の画素毎に、奥行値を検出する奥行値検出ステップと、前記奥行値を前記入力画像の所定の領域毎に分布する重みを用いて積算し、所定の領域毎の重み付け平均値を算出する算出ステップと、前記入力画像の前記領域毎の重み付け平均値に基づいて、構図を解析する解析ステップと、前記解析ステップの処理での解析結果に基づいて、前記入力画像を処理する処理ステップとを含み、前記奥行検出ステップの処理は、入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出ステップと、前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合ステップと、前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理ステップと、前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出ステップと、前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合ステップと、前記画素毎の奥行値を正規化する正規化ステップと、前記正規化ステップの処理により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御ステップと、前記画素毎に彩度を検出する彩度検出ステップと、前記トーンカーブ制御ステップの処理により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御ステップとを含む。

本発明の一側面のプログラムは、入力画像の画素毎に、奥行値を検出する奥行値検出ステップと、前記奥行値を前記入力画像の所定の領域毎に分布する重みを用いて積算し、所定の領域毎の重み付け平均値を算出する算出ステップと、前記入力画像の前記領域毎の重み付け平均値に基づいて、構図を解析する解析ステップと、前記解析ステップの処理での解析結果に基づいて、前記入力画像を処理する処理ステップとを含む処理をコンピュータに実行させ、前記奥行検出ステップの処理は、入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出ステップと、前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合ステップと、前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理ステップと、前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出ステップと、前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合ステップと、前記画素毎の奥行値を正規化する正規化ステップと、前記正規化ステップの処理により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御ステップと、前記画素毎に彩度を検出する彩度検出ステップと、前記トーンカーブ制御ステップの処理により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御ステップとを含む。

本発明の一側面においては、入力画像の画素毎に、奥行値が検出され、前記奥行値が前記入力画像の所定の領域毎に分布する重みを用いて積算されて、所定の領域毎の重み付け平均値が算出され、前記入力画像の前記領域毎の重み付け平均値に基づいて、構図が解析され、解析結果に基づいて、前記入力画像が処理され、入力画像の画素毎に、周辺画素の輝度信号より高周波成分が焦点情報として抽出され前記画素毎に、周辺画素の焦点情報が統合されることで前記統合焦点情報が生成され、前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えられ、前記入力画像の暗部焦点情報が生成され、前記画素毎の輝度信号が、周辺画素の輝度信号に統合されることで照明成分が抽出され、前記統合焦点情報と前記暗部焦点情報との、前記照明成分が用いられた係数による積和演算により画素毎の奥行値が計算され、前記画素毎の奥行値が正規化され、正規化された奥行値がトーンカーブにより制御され、前記画素毎に彩度が検出され、前記トーンカーブにより制御された前記奥行値が前記彩度により制御される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、画像における被写体の奥行値を正確に求め、奥行値に対して適切に画像を処理することが可能となる。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は、以下の順序で行う。
１．第１の実施の形態（高画質化処理）
２．第２の実施の形態（圧縮処理）

＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明を適用した一実施の形態の構成例を示す画像処理装置である。

図１の画像処理装置１は、画像解析部２、および高画質化処理部３より構成されており、入力された画像の構図を解析し、解析された構図に応じて、高画質化処理を実行する。

画像解析部２は、YUV分離部１１、奥行検出部１２、ブロック積算部１３、および積算値解析部１４より構成される。画像解析部２は、入力画像より画像内における広がり、すなわち、画素単位での奥行値を求めて、求められた奥行値に応じて、入力画像の構図を解析し、解析結果を高画質化処理部３に供給する。

YUV分離部１１は、例えば、RGB信号などから構成される入力画像をYUV（輝度信号Ｙ、および色差信号Ｕ，Ｖ）に画素単位で変換して分離し、奥行検出部１２に供給する。奥行検出部１２は、輝度信号Ｙおよび色差信号Ｕ，Ｖより画素単位で奥行値ｄを求めてブロック積算部１３に供給する。尚、奥行検出部１２については、図２を参照して、詳細な構成例について後述する。

ブロック積算部１３は、画素単位の奥行値ｄに基づいて、入力画像内の領域毎に奥行値ｄを積算して、領域毎の積算結果を積算値解析部１４に供給する。より詳細には、ブロック積算部１３は、オープンスカイ領域積算部１３ａ、およびポートレート領域積算部１３ｂを備えている。このうち、オープンスカイ領域積算部１３ａは、入力画像における上部領域からなるオープンスカイ領域における奥行値ｄを積算し、オープンスカイ領域重み付け平均値ｓｄｏを求める。また、ポートレート領域積算部１３ｂは、入力画像における左右の側面領域からなるポートレート領域における奥行値ｄを積算し、ポートレート領域重み付き平均値ｓｄｐを求める。そして、ブロック積算部１３は、オープンスカイ領域重み付け平均値ｓｄｏおよびポートレート領域重み付け平均値ｓｄｐを積算値解析部１４に供給する。

積算値解析部１４は、オープンスカイ領域重み付け平均値ｓｄｏおよびポートレート領域重み付け平均値ｓｄｐに基づいて、オープンスカイ度、およびポートレート度を解析し、解析結果であるオープンスカイ度、およびポートレート度で構図を特定し、特定した構図の情報を高画質化処理部３に供給する。尚、オープンスカイ度、およびポートレート度と、構図との対応については、詳細を後述する。

高画質化処理部３は、オープンスカイ度、およびポートレート度に基づいて特定される入力画像の構図に基づいて、入力画像を高画質化して出力する。

［奥行検出部の構成例］
次に、図２を参照して、奥行検出部１２の詳細な構成例について説明する。

奥行検出部１２は、焦点情報抽出部３１、領域統合部３２、暗部処理部３３、奥行生成部３４、照明成分抽出部３５、および彩度検出部３６より構成されており、輝度信号Ｙおよび色差信号Ｕ，Ｖより画素単位で奥行値ｄを求め、ブロック積算部１３に供給する。

焦点情報抽出部３１は、輝度信号Ｙに水平HPF（High Pass Filter）および垂直HPFを掛けることにより高周波成分を抽出して焦点情報Ｆとして領域統合部３２、および暗部処理部３３に供給する。尚、焦点情報抽出部３１の構成例については、図３を参照して詳細を後述する。

領域統合部３２は、LPF（Low Pass Filter）より構成されており、焦点情報Ｆを平滑化することにより、画素毎に周辺画素の焦点情報Ｆの値に近付けるように統合することで、焦点情報ＦＬを生成し、奥行生成部３４に供給する。尚、領域統合部３２は、焦点情報Ｆを周辺の焦点情報Ｆの値に近付けられように統合処理ができるものであればよいので、LPFなどの他、FIR（Finite Impulse Response Filter）、IIR（Infinite Impulse Response Filter）、εフィルタ、またはメディアンフィルタなどでもよいものである。

暗部処理部３３は、画素毎に周辺画素の焦点情報Ｆとの比較により、注目画素の焦点情報Ｆよりも大きな値の平均値を求める。そして、暗部処理部３３は、求められた平均値で注目画素の焦点情報Ｆを置き換えることにより、暗部を明るするように処理することで焦点情報ＦＤを生成し、奥行生成部３４に供給する。

照明成分抽出部３５は、LPFより構成されており、輝度信号Ｙを平滑化することで、周辺の画素の輝度信号Ｙに近付けるように処理して、照明成分ＬＦを抽出して奥行生成部３４に供給する。

彩度検出部３６は、色差信号Ｕ，Ｖより彩度Ｓを検出し、検出した彩度Ｓを奥行生成部３４に供給する。

奥行生成部３４は、焦点情報ＦＬ，ＦＤ、照明成分ＬＦ、および彩度Ｓに基づいて、奥行値ｄを生成して出力する。尚、奥行生成部３４については、図５を参照して詳細を後述する。

［焦点情報抽出部の構成例］
次に、図３を参照して、焦点情報抽出部３１の詳細な構成例について説明する。

焦点情報抽出部３１は、水平方向HPF５１、絶対値処理部５２、最大値抽出部５３、垂直方向HPF５４、および絶対値処理部５５から構成されており、輝度信号Ｙの高周波成分を抽出し、焦点情報Ｆとして出力する。

水平方向HPF５１は、例えば、図４の左部で示されるような、水平方向の高周波成分を抽出するHPFであり、入力される輝度信号Ｙの水平方向の高周波成分ＹＨを抽出して絶対値処理部５２に供給する。

絶対値処理部５２は、水平方向の高周波成分として抽出された高周波成分ＹＨの絶対値を求めて最大値抽出部５３に供給する。

垂直方向HPF５４は、例えば、図４の右部で示されるような、垂直方向の高周波成分を抽出するHPFであり、入力される輝度信号Ｙの垂直方向の高周波成分ＹＶを抽出して絶対値処理部５２に供給する。

絶対値処理部５５は、垂直方向の高周波成分として抽出された高周波成分ＹＶの絶対値を求めて最大値抽出部５３に供給する。

最大値抽出部５３は、高周波成分ＹＨ，ＹＶの最大値を抽出し、焦点情報Ｆとして出力する。

［奥行生成部の構成例］
次に、図５を参照して、奥行生成部３４の詳細な構成例について説明する。

奥行生成部３４は、明暗統合部７１、正規化部７２、トーンカーブ制御部７３、および彩度制御部７４より構成されており、焦点情報ＦＬ，ＦＤ、照明成分ＬＦ、および彩度Ｓに基づいて、奥行値ｄを生成して出力する。

明暗統合部７１は、領域統合部３２からの輝度信号ＹＬと、暗部処理部３３からの輝度信号ＹＤとを、照明成分抽出部３５より供給されてくる照明成分ＬＦに基づいた比率で合成することで、輝度信号の明部と暗部とを統合し、合成信号ｇを正規化部７２に供給する。

正規化部７２は、明暗統合部７１より供給されてくる合成信号ｇを正規化し、正規化された合成信号ｇ’としてトーンカーブ制御部７３に供給する。

トーンカーブ制御部７３は、予め設定されているトーンカーブにしたがって、合成信号ｇ’を制御して奥行値ｄｇを生成し、彩度制御部７４に供給する。

彩度制御部７４は、トーンカーブ制御部７３より供給されてくる奥行値ｄｇに、彩度検出部３６より供給されてくる彩度Ｓに基づいて設定される係数を乗じることにより奥行値ｄを生成し、ブロック積算部１３に供給する。

［図１の画像処理装置による画像処理］
次に、図６のフローチャートを参照して、図１の画像処理装置１による画像処理について説明する。

ステップＳ１１において、YUV分離部１１は、新たな画像が供給されてきたか否かを判定し、新たな画像が供給されてくるまで、同様の処理を繰り返す。ステップＳ１において、例えば、新たな画像が入力されてきた場合、処理は、ステップＳ１２に進む。

ステップＳ１２において、YUV分離部１１は、画素単位でYUV信号に変換して分離し、輝度信号Ｙおよび、色差信号Ｕ，Ｖを奥行検出部１２に供給する。

ステップＳ１３において、奥行検出部１２は、輝度信号Ｙおよび色差信号Ｕ，Ｖに基づいて、奥行検出処理を実行し、奥行値ｄを画素単位で求め、ブロック積算部１３に供給する。

［奥行検出処理］
ここで、図７のフローチャートを参照して奥行検出処理について説明する。

ステップＳ３１において、彩度検出部３６は、供給されてきた色差信号Ｕ，Ｖより彩度Ｓを以下の式（１）を演算することにより求め、奥行生成部３４に供給する。

Ｓ＝√（Ｕ²＋Ｖ²）
・・・（１）

ここで、Ｕ，Ｖは、色差信号である。すなわち、彩度Ｓは、色差信号Ｕ，Ｖの二乗和の平方根として求められる。

ステップＳ３２において、照明成分抽出部３５は、各画素の周辺の輝度信号Ｙにより平滑化することにより、周辺の画素の輝度信号Ｙに近付けるように処理し、照明成分ＬＦを抽出して奥行生成部３４に供給する。すなわち、明るい領域は、焦点が合っている状態でも高周波成分が小さくなるため、周辺の画素の輝度信号Ｙに近い値が照明成分ＬＦとして抽出される。

ステップＳ３３において、焦点情報抽出部３１は、各画素について焦点情報抽出処理を実行し、輝度信号Ｙより焦点情報Ｆを求めて領域統合部３２、および暗部処理部３３に供給する。

［焦点情報抽出処理］
ここで、図８のフローチャートを参照して、焦点情報抽出処理について説明する。

ステップＳ５１において、水平方向HPF５１は、入力される輝度信号Ｙに、例えば、図４の左部で示されるような水平方向のフィルタ処理を施し、高周波成分ＹＨを抽出して絶対値処理部５２に供給する。

ステップＳ５２において、絶対値処理部５２は、水平方向の高周波成分として抽出された高周波成分ＹＨの絶対値を求めて最大値抽出部５３に供給する。

ステップＳ５３において、垂直方向HPF５４は、入力される輝度信号Ｙに、例えば、図４の右部で示されるような垂直方向のフィルタ処理を施し、高周波成分ＹＶを抽出して絶対値処理部５４に供給する。

ステップＳ５４において、絶対値処理部５５は、垂直方向の高周波成分として抽出された高周波成分ＹＶの絶対値を求めて最大値抽出部５３に供給する。

ステップＳ５５において、最大値抽出部５３は、高周波成分ＹＨ，ＹＶの最大値、すなわち、いずれか大きな値を抽出し、焦点情報Ｆとして領域統合部３２、および暗部処理部３３に出力する。

以上の処理により、入力画像Ｐの各画素について輝度信号Ｙの水平方向、または、垂直方向の高周波成分のうち、いずれか大きな値が焦点情報Ｆとして出力される。

ここで、図７のフローチャートの説明に戻る。

ステップＳ３４において、領域統合部３２は、焦点情報Ｆを平滑化することにより、周辺の画素の焦点情報Ｆの値に近づけて焦点情報ＦＬを生成し、奥行生成部３４に供給する。すなわち、この処理により、領域統合部３２は、焦点情報Fを、全体が高周波成分の画像であるものとして、平滑化して処理し、焦点情報ＦＬを生成して奥行生成部３４に供給する。

ステップＳ３５において、暗部処理部３３は、画素毎に画素周辺の焦点情報Ｆとの比較により、処理対照となる画素の焦点情報Ｆよりも大きな周辺画素の焦点情報Ｆの平均値を求める。すなわち、暗部処理部３３は、例えば、図９で示されるように、図中の黒丸で示される処理対象の画素を中心とした垂直方向、または、水平方向などの１次元の範囲Ｗにおける焦点情報Ｆのうち、太線で示される注目画素の焦点情報Ｆよりも大きな値の平均値ＦＡ（図９の白丸）を求める。そして、暗部処理部３３は、処理対象となる画素の焦点情報Ｆを、求めた平均値ＦＡで置き換えることにより焦点情報ＦＤを生成する。この処理により、画素毎に、周辺画素の焦点情報Ｆのうち、自らよりも明るいものの平均値ＦＡに置換されて、焦点情報ＦＤが生成されることになるので、明るくなるように処理される。すなわち、例えば、画像内で暗い範囲に存在するような画素については、明るく処理されることになる。尚、暗部処理部３３の処理については、処理対象の画素の近傍の所定範囲の平均値を用いるようにすればよく、例えば、処理対象の画素を中心とした２次元の範囲における焦点情報Ｆよりも大きな値の平均値で、焦点情報Ｆを置き換えるようにしてもよい。

ステップＳ３６において、奥行生成部３４は、奥行生成処理を実行し、焦点情報ＦＬ，ＦＤ、照明成分ＬＦ、および彩度Ｓに基づいて、奥行値ｄを生成してブロック積算部１３に出力する。

［奥行生成処理］
ここで、図１０のフローチャートを参照して、奥行生成処理について説明する。

ステップＳ７１において、明暗統合部７１は、輝度信号ＹＬと輝度信号ＹＤとを用いて、以下の式（２）を演算することにより、照明成分ＬＦに基づいた比率で合成し、合成信号ｇを生成し、合成信号ｇを正規化部７２に供給する。

ｇ＝Ａ×ＦＤ＋（１−Ａ）×ＦＬ
・・・（２）

ここで、ｇは合成信号を示し、ＦＤは暗部の輝度信号を示し、ＹＬは明部の輝度信号を示し、Ａは、図１１で示されるように、照明成分ＬＦに基づいて決定される係数である。すなわち、係数Ａは、０乃至１．０の値であり、照明成分ＬＦが０近傍であるとき１．０を取り、照明成分ＬＦが所定の値までは１．０であるが、所定の値より大きくなると、照明成分ＬＦが大きくなるに従って線形的に小さくなり、所定の値を超えると０となる。

従って、明暗統合部７１は、明部の輝度信号ＹＬと暗部の輝度信号ＹＤとを、照明成分ＬＦが大きく、全体として明るい画像に対しては、明部の輝度信号ＹＬの割合を高めるように合成する。逆に、明暗統合部７１は、明部の輝度信号ＹＬと暗部の輝度信号ＹＤとを、照明成分ＬＦが小さく、全体として暗い画像に対しては、暗部の輝度信号ＹＤの割合を高めるように合成する。

結果として、焦点情報Ｆは、入力画像Ｐが全体として明るい場合、高周波成分の高い輝度信号ＹＬに追従して調整され、逆に、全体として暗い場合、暗部処理された輝度信号ＹＤに追従して調整される。

ステップＳ７２において、正規化部７２は、合成信号ｇを、例えば、以下の式（３）で示されるような演算を実行することにより、正規化し、正規化した合成信号ｇ’をトーンカーブ制御部７３に供給する。

ｇ’＝（ｇ−ｇｍｉｎ）／（ｇｍａｘ−ｇｍｉｎ）
・・・（３）

ここで、ｇ’は正規化された合成信号を、ｇは正規化される前の合成信号を、ｇｍａｘは、入力画像における各画素の合成信号ｇのうち最大値を、ｇｍｉｎは、入力画像における各画素の合成信号ｇのうち最小値を、それぞれ表している。

ステップＳ７３において、トーンカーブ制御部７３は、例えば、図１２で示されるようなトーンカーブにしたがって、合成信号ｇ’を制御して奥行値ｄｇを生成し、彩度制御部７４に供給する。すなわち、図１２で示されるように、予め設定されたトーンカーブにおいては、合成信号ｇ’が０近傍、または１近傍の値においては、奥行値ｄｇが緩やかに増加し、合成信号ｇ’が０．４近傍においては、奥行値ｄｇが急峻に増加する。このため、合成信号ｇ’が大きい場合、奥行値ｄｇが小さく設定され、合成信号ｇ’が小さい場合は、奥行値ｄｇが大きく設定される。また、合成信号ｇ’の大きさにより奥行値ｄｇは、０または１．０のいずれかの値に近い値となり、奥行について、手前に位置するものであるのか、または、奥に位置するものであるのかが、比較的鮮明に分けられ易く制御される。

ステップＳ７４において、彩度制御部７４は、トーンカーブ制御部７３より供給されてくる奥行値ｄｇに、彩度検出部３６より供給されてくる図１３で示される彩度Ｓにより設定される係数Ｂを乗じることで、彩度Ｓにより制御された奥行値ｄを生成する。より具体的には、彩度制御部７４は、以下の式（４）で示される演算を実行することにより、奥行値ｄを計算し、計算した奥行値ｄをブロック積算部１３に供給する。

ｄ＝Ｂ×ｄｇ
・・・（４）

ここで、ｄは彩度Ｓにより制御された奥行値を、Ｂは図１３で示されるように彩度Ｓにより設定される係数を、ｄｇは彩度Ｓにより制御される前の奥行値をそれぞれ表している。

図１３で示されるように、係数Ｂは、予め設定される係数Ｂの最小値Ｂｍｉｎ乃至最大値Ｂｍａｘの範囲における値をとり、入力画像における彩度Ｓの最小値Ｓｍｉｎと最大値Ｓｍａｘとの間で線形変換される値である。すなわち、奥行値ｄは、彩度Ｓが大きいほど、制御される前の奥行値ｄｇが大きな値となるように制御され、逆に、彩度Ｓが小さいほど、制御される前の奥行値ｄｇが小さな値となるように制御される。このため、彩度Ｓが大きいほど奥行値ｄが大きくなり、より奥行をはっきりと識別できる値に設定することが可能なり、彩度Ｓが小さいほど、奥行値ｄが小さくなり、より奥行を識別し難い値に設定することが可能となる。

以上の処理により、入力画像における画素単位での明暗に応じて設定される合成係数ｇ、照明成分ＬＦ、および彩度Ｓに基づいて、奥行値ｄが設定されるので、適切に奥行値ｄを計算することが可能となる。

ここで、図６のフローチャートの説明に戻る。

すなわち、図７のフローチャートにおけるステップＳ３６の奥行生成処理が終了すると、図６のフローチャートにおけるステップＳ１３の奥行検出処理が終了し、処理は、ステップＳ１４に進む。

ステップＳ１４において、ブロック積算部１３は、オープンスカイ領域積算部１３ａを制御し、入力画像における上部領域からなるオープンスカイ領域における奥行値ｄを積算し、オープンスカイ領域重み付け平均値ｓｄｏを求めさせる。すなわち、オープンスカイ領域とは、例えば、図１４の左部で示される入力画像Ｐにおける斜線部で示される領域Ｚ１である。オープンスカイ領域積算部１３ａは、この領域Ｚ１で示されるオープンスカイ領域に属する画素の奥行値ｄを、例えば、図１４の左部左上の曲線で示されているような垂直方向中央で最大値μｙを取るように垂直方向に分布する重みｗ（ｘ，ｙ）を用いて、オープンスカイ領域重み付け平均値ｓｄｏを求める。

ステップＳ１５において、ブロック積算部１３は、ポートレート領域積算部１３ｂを制御し、入力画像における左右側面領域からなるポートレート領域における奥行値ｄを積算し、ポートレート領域重み付け平均値ｓｄｐを求めさせる。すなわち、ポートレート領域とは、例えば、図１４の右部で示される入力画像Ｐにおける斜線部で示される領域Ｚ２である。ポートレート領域積算部１３ｂは、この領域Ｚ２で示されるオープンスカイ領域に属する画素の奥行値ｄを、例えば、図１４の右部左右下の曲線で示されているような水平方向中央で最大値μｘを取るように水平方向に分布する重みｗ（ｘ，ｙ）を用いて、ポートレート領域重み付け平均値ｓｄｐを求める。

ステップＳ１６において、ブロック積算部１３は、オープンスカイ領域重み付け平均値ｓｄおよびポートレート領域重み付け平均値ｓｄｐを積算値解析部１４に供給する。そして、積算値解析部１４は、オープンスカイ領域重み付け平均値ｓｄｏおよびポートレート領域重み付け平均値ｓｄｐより、図１５で示されるような関係を用いて、それぞれオープンスカイ度、およびポートレート度を求める。さらに、積算値解析部１４は、このオープンスカイ度、およびポートレート度を解析して入力画像の構図の情報を高画質化処理部３に供給する。尚、図１５においては、横軸がオープンスカイ領域重み付け平均値ｓｄｏまたはポートレート領域重み付け平均値ｓｄｐを示す平均値ｄ＿ａｖｅを示しており、縦軸がオープンスカイ度、およびポートレート度を示している。すなわち、平均値ｄ＿ａｖｅが、所定の値までは、オープンスカイ度、およびポートレート度は、いずれも最大値を取り、所定の値以降は、平均値ｄ＿ａｖｅが大きくなるにつれて小さくなり、所定の値以上になると０となる。

ここで、オープンスカイ度は、図１４の左部で示されるように、画像上の領域Ｚ１における奥行値ｄの重み付け平均である、オープンスカイ領域重み付け平均値ｓｄｏが小さくなるほど、大きくなるものである。従って、オープンスカイ度が大きくなる場合、画像は、上方に奥行のある構図となる。このような構図は、例えば、画像の上方に空などの奥行きのある画像が撮像されているような構図である可能性が高いと言える。

また、ポートレート度は、図１４の右部で示されるように、画像上の領域Ｚ２における奥行値ｄの重み付け平均である、ポートレート領域重み付け平均値ｓｄｐが大きくなるほど小さくなるものである。従って、ポートレート度が大きくなる場合、画像の左右側面に奥行が存在する構図となる。このような構図は、例えば、画像の左右に壁や空などの奥行きのある画像が撮像されているような構図である可能性が高いと言える。

そこで、積算値解析部１４は、オープンスカイ度、およびポートレート度に基づいて、図１６で示されるような傾向があるものとして、構図を解析する。ここで、図１６においては、横軸がオープンスカイ度であり、縦軸がポートレート度である。

すなわち、積算値解析部１４は、オープンスカイ度、およびポートレート度がいずれも高い場合、図１６の構図Ｋ１で示されるような、中央に被写体があり、上部、および側面部が背景、または、空であるような構図であるものと解析する。構図Ｋ１には、中央に被写体があり、上部、および側面部が背景、または、空であるような構図である４枚の画像が例示されている。

また、積算値解析部１４は、オープンスカイ度が低く、ポートレート度が高い場合、図１６の構図Ｋ２で示されるような、中央に被写体があり、側面部が壁であるような構図であるものと解析する。構図Ｋ２には、中央に被写体があり、側面部が壁であるような構図である４枚の画像が例示されている。

さらに、積算値解析部１４は、オープンスカイ度およびポートレート度がいずれも低い場合、図１６の構図Ｋ３で示されるような、画像全体に被写体があり、奥行のあるものが存在しないような構図であるものと解析する。構図Ｋ３には、画像全体に被写体があり、奥行のあるものが存在しないような構図である４枚の画像が例示されている。

また、積算値解析部１４は、オープンスカイ度が高く、ポートレート度が低い場合、図１６の構図Ｋ４で示されるような、画像全体に奥行のある空や野原が広がるような構図であるものと解析する。構図Ｋ４には、画像全体に奥行のある空や野原が広がるような構図である４枚の画像が例示されている。

ステップＳ１７において、高画質化処理部３は、積算値解析部１４より供給されてくる解析結果である構図の情報に基づいて、入力画像Ｐを高画質化処理し、処理結果である画像Ｐ’を出力する。

このとき、高画質化処理部３は、例えば、上述した構図Ｋ１に対応するような構図の情報が供給されてきた場合、入力画像における中央に被写体が存在し、上部、または、側面部に空、または、背景がある画像として高画質化する。このような場合、図１６の構図Ｋ１で示されるように、大きな建物などを離れた位置から空などを背景に撮像している画像である可能性が高い。そこで、高画質化処理部３は、例えば、ホワイトバランスなどを屋外であるものとして調整するなどして、入力画像を高画質化する。

また、高画質化処理部３は、例えば、上述した構図Ｋ２に対応するような構図の情報が供給されてきた場合、入力画像における中央に被写体が存在し、側面部に壁、または、背景がある画像として高画質化する。このような場合、図１６の構図Ｋ２で示されるように、中央に被写体などを配置して撮像している画像である可能性が高い。そこで、高画質化処理部３は、例えば、被写体認識機能等により被写体の位置を検索し、検索された被写体の位置において、被写体の色補正などを施すなどして、入力画像を高画質化する。

さらに、高画質化処理部３は、例えば、上述した構図Ｋ３に対応するような構図の情報が供給されてきた場合、入力画像における全領域に被写体がある画像として高画質化する。このような場合、図１６の構図Ｋ３で示されるように、画像全体に被写体が存在する状態で撮像している画像である可能性が高く、全体として高周波成分を多く含む画像である可能性が高い。そこで、高画質化処理部３は、例えば、全体としてシャープネスやコントラストを上げることにより、入力画像を高画質化する。

また、高画質化処理部３は、例えば、上述した構図Ｋ４に対応するような構図の情報が供給されてきた場合、入力画像における全領域に奥行のあるものが撮像されているような画像として高画質化する。このような場合、図１６の構図Ｋ４で示されるように、画像全体に奥行きのあるものが存在する状態で撮像している画像である可能性が高い。そこで、高画質化処理部３は、例えば、全体として奥行値ｄを利用するなどして、近いものと遠いものとのシャープネスやコントラストを切り替えて処理するなどして、入力画像を高画質化する。

尚、以上においては、図１４で示されるように、オープンスカイ領域重み付け平均値ｓｄｏおよびポートレート領域重み付け平均値ｓｄｐが、領域Ｚ１，Ｚ２で示される領域における奥行値ｄの重み付け平均値として求められる例について説明してきたが、オープンスカイ領域重み付け平均値ｓｄｏおよびポートレート領域重み付け平均値ｓｄｐの求められる領域は、図１４で示される領域Ｚ１，Ｚ２に限られるものではなく、その他の領域であってもよい。

例えば、図１７で示されるように、画像Ｐにおける上部の領域Ｚ１１の領域における奥行値ｄの重み付け平均値をオープンスカイ領域重み付け平均値ｓｄｏとして、側面部の領域Ｚ１１を除く領域Ｚ１２をポートレート領域重み付け平均値ｓｄｐとしてもよい。

さらに、重みｗ（ｘ，ｙ）の分布についても図１４で示されるものでなくても良く、例えば、図１７の左右下部で示されるように、重みｗ（ｘ，ｙ）の分布についても、それぞれ最大値を取る位置を画像Ｐの側面方向にシフトするようにしてもよい。

以上の処理により、入力画像における画素単位の奥行値ｄを正確に求めることにより、その積算値の平均値から入力画像の構図を推定することが可能となり、構図に対応した画像処理を実現することが可能となる。

＜２．第２の実施の形態＞
以上においては、入力画像における画素単位の奥行値ｄより構図を求めて、入力画像を高画質化する例について説明してきたが、求められた構図に基づいて、入力画像を適切に圧縮するようにしても良い。

［画像処理装置の構成例］
図１８は、求められた構図に基づいて、入力画像を適切に圧縮するようにした画像処理装置１の構成例を示している。尚、図１８において、図１と同一の機能を備えた構成については、同一名称、および同一符号を付しており、その説明は適宜省略するものとする。

すなわち、図１８における画像処理装置１において、図１の画像処理装置１と異なる構成は、高画質化処理部３に代えて、画像圧縮処理部１０１を設けた点である。

画像圧縮処理部１０１は、画像解析部２より供給されてくる構図の情報に基づいて、入力画像を適切に圧縮する。

［図１８の画像処理装置による画像処理］
次に、図１９のフローチャートを参照して、図１８の画像処理装置１による画像処理について説明する。尚、図１９のフローチャートにおけるステップＳ１１１乃至Ｓ１１６の処理は、図６のフローチャートを参照して説明したステップＳ１１乃至Ｓ１６の処理と同様であるので、その説明は省略する。

ステップＳ１１７において、画像圧縮処理部１０１は、画像解析部２より供給されてくる構図の情報に基づいて、入力画像を圧縮する。すなわち、例えば、構図の情報として、図１６における構図Ｋ１を示す情報が供給されてきた場合、図１４における領域Ｚ１，Ｚ２の領域については、空である可能性が高い。このため、画像圧縮処理部１０１は、空である可能性の高い領域Ｚ１，Ｚ２の情報の圧縮率を向上することで、圧縮率を高めて圧縮する。この処理により、画質を低減させること無く、適切に画像を圧縮することが可能となる。

また、構図の情報として、構図Ｋ３を示す情報が供給されてきた場合、入力画像が全体として高周波成分が高い可能性がある。このため、画像圧縮処理部１０１は、圧縮率を低減させることなく圧縮する。この処理により、構図に応じて画質の低減レベルを調整して、適切に画像を圧縮することが可能となる。

本発明によれば、画像における画素単位の奥行値を正確に求めることが可能となり、求められた奥行値を利用することで、画像の構図を認識し、認識した構図に対応して適切な画像処理を実現することが可能となる。

ところで、上述した一連の情報処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図２０は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明を適用した画像処理装置の構成例を示すブロック図である。図１の奥行検出部の構成例を示すブロック図である。図２の焦点情報抽出部の構成例を示すブロック図である。水平方向HPFおよび垂直方向HPFの構成例を示すブロック図である。図２の奥行生成部の構成例を示すブロック図である。図１の画像処理装置による画像処理を説明するフローチャートである。奥行検出処理を説明するフローチャートである。焦点情報抽出処理を説明するフローチャートである。暗部処理部の動作を説明する図である。奥行生成処理を説明するフローチャートである。奥行生成処理を説明する図である。トーンカーブを説明する図である。彩度Ｓと係数Ｂとの関係を説明する図である。オープンスカイ領域重み付け平均値およびポートレート領域重み付け平均値を説明する図である。オープンスカイ度およびポートレート度とオープンスカイ領域重み付け平均値およびポートレート領域重み付け平均値との関係を説明する図である。オープンスカイ度およびポートレート度と構図との関係を説明する図である。その他のオープンスカイ領域重み付け平均値およびポートレート領域重み付け平均値を説明する図である。本発明を適用した他の画像処理装置の構成例を示すブロック図である。図１８の画像処理装置による画像処理を説明するフローチャートである。パーソナルコンピュータの構成例を説明する図である。

符号の説明

１画像処理装置，２画像解析部，３高画質化処理部，１１ YUV分離部，１２奥行検出部，１３ブロック積算部，１４積算値解析部，３１焦点情報抽出部，３２領域統合部，３３暗部処理部，３４奥行生成部，３５照明成分抽出部，３６彩度検出部，５１水平方向HPF，５２絶対値処理部，５２，５３最大値抽出部，５４垂直方向HPF，５５絶対値処理部，７１明暗統合部，７２正規化部，７３トーンカーブ制御部，７４彩度制御部

Claims

入力画像の画素毎に、奥行値を検出する奥行値検出手段と、
前記奥行値を前記入力画像の所定の領域毎に分布する重みを用いて積算し、所定の領域毎の重み付け平均値を算出する算出手段と、
前記入力画像の前記領域毎の重み付け平均値に基づいて、構図を解析する解析手段と、
前記解析手段の解析結果に基づいて、前記入力画像を処理する処理手段とを含み、
前記奥行検出手段は、
入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出手段と、
前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合手段と、
前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理手段と、
前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出手段と、
前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合手段と、
前記画素毎の奥行値を正規化する正規化手段と、
前記正規化手段により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御手段と、
前記画素毎に彩度を検出する彩度検出手段と、
前記トーンカーブ制御手段により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御手段と
を含む画像処理装置。
前記処理手段は、前記解析結果に基づいて、前記入力画像を高画質化処理する
請求項１に記載の画像処理装置。
前記処理手段は、前記解析結果に基づいて、前記入力画像を圧縮処理する
請求項１に記載の画像処理装置。
入力画像の画素毎に、奥行値を検出する奥行値検出ステップと、
前記奥行値を前記入力画像の所定の領域毎に分布する重みを用いて積算し、所定の領域毎の重み付け平均値を算出する算出ステップと、
前記入力画像の前記領域毎の重み付け平均値に基づいて、構図を解析する解析ステップと、
前記解析ステップの処理での解析結果に基づいて、前記入力画像を処理する処理ステップとを含み、
前記奥行検出ステップの処理は、
入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出ステップと、
前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合ステップと、
前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理ステップと、
前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出ステップと、
前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合ステップと、
前記画素毎の奥行値を正規化する正規化ステップと、
前記正規化ステップの処理により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御ステップと、
前記画素毎に彩度を検出する彩度検出ステップと、
前記トーンカーブ制御ステップの処理により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御ステップと
を含む画像処理方法。
入力画像の画素毎に、奥行値を検出する奥行値検出ステップと、
前記奥行値を前記入力画像の所定の領域毎に分布する重みを用いて積算し、所定の領域毎の重み付け平均値を算出する算出ステップと、
前記入力画像の前記領域毎の重み付け平均値に基づいて、構図を解析する解析ステップと、
前記解析ステップの処理での解析結果に基づいて、前記入力画像を処理する処理ステップとを含む処理をコンピュータに実行させ、
前記奥行検出ステップの処理は、
入力画像の画素毎に、周辺画素の輝度信号より高周波成分を焦点情報として抽出する焦点情報抽出ステップと、
前記画素毎に、周辺画素の焦点情報を統合することで前記統合焦点情報を生成する領域統合ステップと、
前記画素毎に、周辺画素の焦点情報のうち、自らの焦点情報よりも大きな焦点情報に基づいて得られる値に置き換えることで、前記入力画像の暗部焦点情報を生成する暗部処理ステップと、
前記画素毎の輝度信号を、周辺画素の輝度信号に統合することで照明成分を抽出する照明成分抽出ステップと、
前記統合焦点情報と前記暗部焦点情報との、前記照明成分を用いた係数による積和演算により画素毎の奥行値を計算する明暗統合ステップと、
前記画素毎の奥行値を正規化する正規化ステップと、
前記正規化ステップの処理により正規化された奥行値をトーンカーブにより制御するトーンカーブ制御ステップと、
前記画素毎に彩度を検出する彩度検出ステップと、
前記トーンカーブ制御ステップの処理により、前記トーンカーブにより制御された前記奥行値を前記彩度により制御する彩度制御ステップとを含む
プログラム。