JP5846885B2

JP5846885B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP5846885B2
Application number: JP2011271006A
Authority: JP
Inventors: 大祐鈴木; 善隆豊田; 山下　孝一; 孝一山下
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2011-12-12
Filing date: 2011-12-12
Publication date: 2016-01-20
Anticipated expiration: 2031-12-12
Also published as: JP2013123148A

Description

本発明は、低照度の撮像環境において、より高感度な撮像画像が得られる撮像装置に関する。

従来の撮像装置として、Ｎ画素（Ｎは２以上の整数）前までのデジタル信号を全て加算する機能を実行することにより、固体撮像素子の高感度化やＳ／Ｎ向上を図るように構成したものが知られている（例えば、特許文献１参照）。
また、従来の画像処理装置として、注目画素とその周辺の画素に対する複数のフィルタ値を重み付け加算し、その結果に対して増感倍率を乗算して、解像度低下の少ない高感度な画像を得るように構成したものが知られている（例えば、特許文献２参照）。

特開２０００−１８４２７４号公報（第４頁、段落００１０）国際公開第２０１０／０５８４９７号（第２頁、段落０００７）

特許文献１では注目画素に加算する画素数Ｎ、特許文献２では増感倍率ＤＧａｉｎが、画像内の全ての画素に対して一定であるために、高感度化前の入力画像の中の高輝度な領域は、高感度化後には白とびし、また、高輝度な領域の周辺で色の変化が起こるという問題があった。

この発明は、上述の課題を解決するためになされたもので、注目画素とその周辺画素から高感度な画像を得ても、高輝度な領域が白とびせず、高輝度な領域の周辺で色の変化が起こらないようにすることを目的とする。

本発明の画像処理装置は、
入力画像の注目画素とその周辺画素から、入力画像を増感した増感画像を得る増感部と、
前記増感画像の各画素の輝度値に基づいて、各画素のための補正係数を決定する補正係数決定部と、
前記補正係数決定部で決定された各画素のための前記補正係数を、前記増感画像の各画素の画素値に乗算して、補正後の画像信号を生成する補正係数乗算部とを備え、
前記増感部における増感倍率は画像内の全ての画素に対して一定であり、
前記増感部における増感倍率をＬとし、
前記増感画像の各画素の輝度値をＸｓとし、
第１の閾値をＴＨ１とし、
第２の閾値をＴＨ２とし、
前記補正係数をＫとするとき、次式

の関係が満たされるように、前記補正係数決定部が前記補正係数を定める
ことを特徴とする。

本発明によれば、入力画像の注目画素とその周辺画素から得られた増感画像の各画素の輝度値及び増感倍数に応じて、各画素の輝度の補正係数を算出し、その各画素の輝度の補正係数を用いて、増感画像の各画素を補正するので、入力画像の中の高輝度な領域が白とびせず、また、入力画像の中の高輝度な領域の周辺での色の変化も生じることなく高感度画像を得ることができる。

本発明の実施の形態１の画像処理装置（実施の形態１の画像処理方法を実施する装置）の概略構成を示すブロック図である。実施の形態１の画像処理装置の動作（実施の形態１の画像処理方法）を概略的に示すフローチャートである。実施の形態１の画像処理装置において用いる補正係数の例を示すグラフである。本発明の実施の形態２の画像処理装置（実施の形態２の画像処理方法を実施する装置）の概略構成を示すブロック図である。本発明の実施の形態３の画像処理装置（実施の形態３に係る画像処理方法を実施する装置）の概略構成を示すブロック図である。実施の形態３に係る画像処理装置の各所に現れる輝度値の分布における輝度信号分布の変化を示す図である。

実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置（実施の形態１に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。図１に示されるように、実施の形態１に係る画像処理装置は、増感部１と、輝度信号生成部２と、補正係数決定部３と、補正係数乗算部４と、制御部５とを有する。

図１の画像処理装置に入力される入力画像信号Ｘｉは、画像の各画素の画素値を表すものであり、画像内における各画素の水平方向位置をｈ、垂直方向位置をｖとするとき、当該画素及びその画素値はＸｉ（ｈ，ｖ）で表される。

増感部１は、入力画像信号Ｘｉで表される画像の各画素Ｘｉ（ｈ，ｖ）を順次注目画素として選択し、注目画素とその周辺画素から、入力画像を増感した増感画像信号Ｘｓを出力する。具体的には、該注目画素の画素値に、注目画素の周辺の（Ｌ−１）個の画素の画素値を加算することで増感倍率Ｌで増感した増感画像信号Ｘｓを生成する。例えば、特許文献１に示されるように、直前の（Ｌ−１）個（特許文献１の「Ｎ個」に相当）の画素の画素値を加算することとしても良い。

増感部１における増感倍率Ｌは、制御部５から与えられるものであり、画像内の全ての画素に対して一定である。
複数フレームの画像が連続して得られる場合には、少なくとも各フレーム期間中は、増感倍率Ｌが一定に保たれ、異なるフレーム間では、増感倍率が異なっていても良い。

注目画素Ｘｉ（ｈ，ｖ）の信号は、例えば、８ビット階調で、水平方向６４０画素×垂直方向４８０画素のマトリクス状に２次元配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の信号（以下「ＲＧＢ信号」と言う。）である。注目画素Ｘｉ（ｈ，ｖ）のＲ信号の画素値をＲｉ（ｈ，ｖ）、Ｇ信号の画素値をＧｉ（ｈ，ｖ）、Ｂ信号の画素値をＢｉ（ｈ，ｖ）と表記する。以下では、各信号の画素値を、画素値を「信号レベル」と言うこともある。

入力画像信号Ｘｉは、ＲＧＢ信号に限定されず、ＹＣｂＣｒ信号などであってもよい。入力画像信号ＸｉとしてＹＣｂＣｒ信号を用いる場合には、増感部１は、ＹＣｂＣｒ信号をＲＧＢ信号に色変換処理する色変換部（図示せず）を備える。また、入力画像信号Ｘｉの階調数は、上記８ビットに限定されない。さらに、入力画像信号Ｘｉｎは、上記の画素数の画像を表すものに限定されず、異なる画素数の画像を表すものであってもよい。

増感画像信号Ｘｓの階調数は、入力画像信号Ｘｉの階調数にＬｏｇ_２（Ｌ）を加算した階調数を有する。こうすることで、増感したことによる信号飽和が起きるのを避けることができる。例えば、入力画像信号Ｘｉの階調数が８ビットであり、注目画素に加算する画素数（Ｌ−１）が３である場合、増感画像信号Ｘｓの階調数は１０（＝８＋Ｌｏｇ_２（３＋１）ビットである。

増感画像信号Ｘｓの画素Ｘｓ（ｈ，ｖ）のＲ画素値をＲｓ（ｈ，ｖ）、Ｇ画素値をＧｓ（ｈ，ｖ）、Ｂ画素値をＢｓ（ｈ，ｖ）と表記する。

輝度信号生成部２は、増感部１が出力する増感画像信号ＸｓのＲ画素値、Ｇ画素値及びＢ画素値から輝度値Ｙｓ（ｈ，ｖ）を算出し、該輝度値を表す輝度信号Ｙｓを出力する。輝度信号Ｙｓの階調数は増感画像信号Ｘｓの階調数と等しく、ＩＴＵ−ＲＢＴ．７０９規定の場合、増感画像の画素Ｘｓ（ｈ，ｖ）の輝度値Ｙｓ（ｈ，ｖ）は、画素Ｘｓ（ｈ，ｖ）のＲ画素値をＲｓ（ｈ，ｖ）、Ｇ画素値をＧｓ（ｈ，ｖ）、Ｂ画素値をＢｓ（ｈ，ｖ）から、次式（１）により算出することができる。
Ｙｓ（ｈ，ｖ）
＝０．２９９×Ｒｓ（ｈ，ｖ）＋０．５８７×Ｇｓ（ｈ，ｖ）
＋０．１１４×Ｂｓ（ｈ，ｖ）
（１）
なお、輝度値Ｙｓ（ｈ，ｖ）を算出するための変換式は、上記の式（１）に限定されず、例えば画像処理装置内の信号処理で採用される色空間の規格に応じて変えることができる。

補正係数決定部３は、第１の補正係数出力部３１と、第２の補正係数出力部３２と、第３の補正係数Ｋ３を出力する第３の補正係数出力部３３と、補正係数選択部３４と、閾値保持部３５とを有する。

第１の補正係数出力部３１は、輝度値Ｙｓ（ｈ，ｖ）に依存しない第１の一定の値を取る第１の補正係数Ｋ１を出力する。第１の補正係数出力部３１は、例えば、下記の式（２ａ）で表される値を持つ第１の補正係数Ｋ１を出力する。
Ｋ１＝１（２ａ）

第２の補正係数出力部３２は、輝度値Ｙｓ（ｈ，ｖ）に依存して変化する第２の補正係数Ｋ２を出力する。第２の補正係数出力部３２は、輝度信号生成部２が出力する輝度信号Ｙｓ、制御部５が出力する増感倍率Ｌ、並びに閾値保持部３５が出力する閾値ＴＨ１及びＴＨ２を入力とし、これらに基づいて、下記の式（２ｂ）で表される値を持つ第２の補正係数Ｋ２を出力する。

第３の補正係数出力部３３は、輝度値Ｙｓ（ｈ，ｖ）に依存しない第２の一定の値を取る第３の補正係数Ｋ３を出力する。第３の補正係数出力部３３は、例えば、制御部５が出力する増感倍率Ｌを入力とし、これに基づいて、下記の式（２ｄ）で表される値を持つ第３の補正係数Ｋ３を出力する。
Ｋ＝１／Ｌ（２ｄ）

なお、閾値ＴＨ２と閾値ＴＨ２の間には以下の関係がある。
ＴＨ２＞Ｌ×ＴＨ１（２ｅ）

補正係数選択部３４は、輝度信号生成部２が出力する輝度信号Ｙｓ、並びに閾値保持部３５が出力する閾値ＴＨ１及び閾値ＴＨ２を入力とし、これらに基づいて、第１、第２及び第３の補正係数Ｋ１、Ｋ２及びＫ３のいずれかを選択して出力する。
このため、各画素についての輝度値Ｙｓ（ｈ，ｖ）が閾値ＴＨ１未満か閾値ＴＨ１以上か、及び、閾値ＴＨ２未満か閾値ＴＨ２以上かを判断し、輝度値Ｙｓ（ｈ，ｖ）が閾値ＴＨ１未満であるときに、第１の補正係数Ｋ１を選択して補正係数Ｋとして出力し、輝度値Ｙｓ（ｈ，ｖ）が閾値ＴＨ２以上であるときに、第３の補正係数Ｋ３を選択して補正係数Ｋとして出力し、輝度値Ｙｓ（ｈ，ｖ）が閾値ＴＨ１以上閾値ＴＨ２未満であるときに、第２の補正係数Ｋ２を選択して補正係数Ｋとして出力する。
補正係数選択部３４の出力Ｋは補正係数決定部３の出力（補正係数）として補正係数乗算部４に供給される。

このような処理をする結果、補正係数決定部３は全体として以下のように定められる補正係数Ｋを出力することになる。

式（３ｂ）、（３ｃ）、及び（３ｄ）において、Ｌは増感部１における増感倍率を示し、１以上の値である。ＴＨ１は増感画像信号Ｘｓの低輝度部と中輝度部を分ける切替点輝度を示し、ＴＨ２は増感画像信号Ｘｓの中輝度部と高輝度部を分ける切替点輝度を示す。

補正係数乗算部４は、増感部１が出力する増感画像信号Ｘｓ（ｈ，ｖ）のＲ画素値Ｒｓ（ｈ，ｖ）、Ｇ画素値Ｇｓ（ｈ，ｖ）、及びＢ画素値Ｂｓ（ｈ，ｖ）に、補正係数決定部３から出力される補正係数Ｋを乗算し、高感度画像信号の画素値Ｘｏ（ｈ，ｖ）を出力する。
増感画像信号Ｘｓの画素値に補正係数Ｋを乗算したことにより、輝度値Ｙｓが閾値ＴＨ１以上の画素信号が階調圧縮され、出力画像Ｘｏの階調数を入力画像Ｘｉの階調数と等しくすることができる。

補正係数決定部３内の上記の補正係数出力部３１、３２、及び３３、補正係数選択部３４、並びに閾値保持部３５は、必ずしもそれぞれ独立した構成を意味するものではなく、これらを１つの構成で実現してもよい。例えば、ルックアップテーブルを保持する記憶部とそこからデータを読み出す読出部、又は、１つの演算部などによって実現できる。
なお、補正係数Ｋの算出処理の詳細は、後述する。

図２は、実施の形態１に係る画像処理装置の動作（実施の形態１に係る画像処理方法）を概略的に示すフローチャートである。
図２に示されるように、実施の形態１に係る画像処理方法は、増感処理ステップＳ１と、輝度信号生成処理ステップＳ２と、補正係数決定処理ステップＳ３と、補正係数乗算処理ステップ４とを含む。

まず、増感処理ステップＳ１において、入力画像信号Ｘｉを増感倍率Ｌで増感して増感画像信号Ｘｓを生成する。この増感は、入力画像Ｘｉの注目画素の画素値に、周辺画素の画素値を加算することで行われる。
次に輝度信号生成処理ステップＳ２において、増感処理ステップＳ１で生成された増感画像Ｘｓの画素ごとの輝度値を決定する。
次に補正係数決定処理ステップＳ３において、輝度値Ｙｓから増感画像の各画素に対する補正係数Ｋを決定する。
次に補正係数乗算処理ステップＳ４において、補正係数決定処理ステップ３で得られた補正係数Ｋを増感画像信号Ｘｓの各画素の画素値Ｘｓ（ｈ，ｖ）に乗算し、高感度画像信号Ｘｏの画素値を生成する。

以下に、補正係数決定部３の動作を詳細に説明する。
図１に示される補正係数決定部３は、増感画像Ｘｓの低輝度部（輝度値Ｙｓが閾値ＴＨ１未満の画素により構成される領域）と、中輝度部（輝度値Ｙｓが閾値ＴＨ１以上、閾値ＴＨ２未満の画素により構成される領域）と、高輝度部（輝度値Ｙｓが閾値ＴＨ２以上の画素により構成される領域）で、異なる算出式を用いて補正係数Ｋを求める。

低輝度部に対する補正係数Ｋは、例えば、式（３ａ）により求め、中輝度部に対する補正係数Ｋは、例えば、式（３ｂ）により求め、高輝度部に対する補正係数Ｋは、例えば、式（３ｄ）により求める。

式（３ａ）の補正係数Ｋは、図１の第１の補正係数出力部３１から出力される第１の補正係数Ｋ１であり、式（３ｂ）の補正係数Ｋは、図１の第２の補正係数出力部３２から出力される第２の補正係数Ｋ２であり、式（３ｄ）の補正係数Ｋは、図１の第３の補正係数出力部３３から出力される第３の補正係数Ｋ３である。

図３は、補正係数決定部３により得られる補正係数Ｋを示すグラフである。図３において、横軸は、増感画像信号Ｘｓの各画素の輝度値を示し、縦軸は、補正係数Ｋを示す。

閾値ＴＨ１は、増感画像信号Ｘｓの低輝度部ＬＬと中輝度部ＭＬで補正係数の算出式を切り替える閾値であり、輝度値Ｙｓ（ｈ，ｖ）が閾値ＴＨ１未満の場合は、式（３ａ）により補正係数Ｋを求める。また、輝度値Ｙｓ（ｈ，ｖ）が閾値ＴＨ１以上であり、後述の閾値ＴＨ２未満である場合は、式（３ｂ）により補正係数Ｋを求める。閾値ＴＨ１においては、式（３ａ）、式（３ｂ）により求められる補正係数が互いに等しくなるように、パラメータＧは式（３ｃ）に従って決定される。

閾値ＴＨ１の上限値は、入力画像信号Ｘｉの階調上限値であり、例えば、入力画像信号Ｘｉが８ビット階調である場合、閾値ＴＨ１の上限値は２５５（＝（２の８乗）−１）となる。

閾値ＴＨ２は、増感画像信号Ｘｓの中輝度部ＭＬと高輝度部ＨＬで補正係数の算出式を切り替える閾値であり、輝度値Ｙｓ（ｈ，ｖ）が、閾値ＴＨ２未満であり、上記の閾値ＴＨ１以上である場合は、式（３ｂ）により補正係数Ｋを求める。また、輝度値Ｙｓ（ｈ，ｖ）が閾値ＴＨ２以上である場合は、式（３ｄ）により補正係数Ｋを求める。ここで、閾値ＴＨ２においては、式（３ｂ）、式（３ｄ）は共に増感部１における増感倍率Ｌの逆数（＝１／Ｌ）となる。

閾値ＴＨ２の上限値は、増感画像信号Ｘｓの階調数により一義的に決まる。例えば、入力画像信号ＸｉのＲ画素、Ｇ画素、Ｂ画素が８ビット階調で信号上限値が２５５であり、増感部１における増感倍率Ｌが４である場合には、閾値ＴＨ２の上限値は１０２０（２５５×４）となり、１０ビット階調となる。

閾値ＴＨ１は、増感倍率Ｌでの増感を行いたい入力画像信号Ｘｉの輝度値の範囲の上限値となるように決定される。例えば、増感部１における増感倍率Ｌが２であり、入力画像信号Ｘｉの輝度値が６４までの画素に対して、増感倍率Ｌ＝２での増感を行いたい場合、ＴＨ１は１２８（＝６４×２）とする。

増感画像信号Ｘｓの輝度値が閾値ＴＨ１未満の画素に対しては、乗算する補正係数Ｋが１となり、補正係数乗算部４から出力される高感度画像信号Ｘｏの画素値は増感画像信号Ｘｓの画素値と等しくなる。これにより、増感画像信号Ｘｓの画素値に補正係数Ｋを乗算することで得られる高感度画像Ｘｏの低輝度領域において、増感部１における増感の効果を損なわないようにすることができる。

閾値ＴＨ２は、入力画像信号Ｘｉの増感を行いたくない輝度値の範囲の下限値に一致するように決定される。例えば、増感部１における増感倍率Ｌが２であり、入力画像信号Ｘｉの輝度値が１９２以上の画素に対して増感を行いたくない場合、ＴＨ２は３８４（＝１９２×２）とする。

増感画像信号Ｘｓの輝度値が閾値ＴＨ２以上の高輝度部の画素に対しては、乗算する補正係数Ｋが、増感部１における増感倍率Ｌの逆数（１／Ｌ）となり、補正係数乗算部４から出力される高感度画像信号Ｘｏの画素値が入力画像信号Ｘｉの画素値とほぼ等しくなる。即ち、増感画像信号Ｘｓの画素値に補正係数Ｋを乗算することで得られる高感度画像Ｘｏの高輝度領域において、入力画像信号Ｘｉの画素値を維持することができ、入力画像の高輝度領域の白とびや、高輝度領域周辺の色の変化が起こらないようにすることができる。

増感画像信号Ｘｓの輝度値が閾値ＴＨ１以上閾値ＴＨ２未満の中輝度部の画素に対しては、増感画像信号Ｘｓの各画素の輝度値が大きくなるにつれて、補正係数Ｋが、次第に減少し（単調減少し）、増感倍率Ｌの逆数に漸近するため、増感画像信号Ｘｓに補正係数Ｋを乗算することで得られる高感度画像Ｘｏの中輝度領域において、階調反転が生じずに、輝度分布幅を圧縮することが出来る。

このように式（３ａ）、（３ｂ）、（３ｄ）を用いた補正を行うことで、入力画像の低輝度領域に対しては、増感倍率Ｌの高感度化を行い、中輝度領域に対しては、階調反転が生じないように信号分布幅を圧縮し、高輝度領域に対しては、増感を行わず、低輝度領域から高輝度領域に亘って、視認性のよい高感度画像が得ることできる。

実施の形態２．
図４は、本発明の実施の形態２に係る画像処理装置（実施の形態２に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。
実施の形態２に係る画像処理装置は、補正係数Ｋに基づいて、増感画像信号Ｘｓの画素値と入力画像信号Ｘｉの画素値を一定の割合で加算する合成部６が付加されている点、及び補正係数選択部３４の代わりに補正係数選択部３６を備えている点で上記実施の形態１と異なる。

補正係数選択部３６は、補正係数選択部３４と同様に補正係数の選択を行うが、それとともに、輝度信号Ｙｓと第２の閾値ＴＨ２との比較結果を示す信号（判定信号）ＣＳを出力する。この判定信号ＣＳは、輝度信号Ｙｓが第２の閾値ＴＨ２以上であったか否かを示すものであり、従って、第３の補正係数Ｋ３が補正係数Ｋとして選択されたか否かを示す信号でもある。

合成部６は、判定信号ＣＳを入力とし、増感画像Ｘｓの輝度値Ｙｓが第２の閾値ＴＨ２以上であるか（従って、補正係数Ｋ３が補正係数Ｋとして用いられているか否か）を、判定信号ＣＳに基づいて、画素ごとに判断し、増感画像Ｘｓの輝度値Ｙｓが第２の閾値ＴＨ２以上である場合、入力画像Ｘｉと高感度画像Ｘｏを下式に示すように、Ａ：１−Ａの比率で加算することで得られる信号Ｘｏｂを出力し、増感画像Ｘｓの輝度値Ｙｓが第２の閾値ＴＨ２未満である場合、高感度画像Ｘｏをそのまま信号Ｘｏｂとして出力する。

増感画像Ｘｓの輝度値Ｙｓが第２の閾値ＴＨ２以上である画素では、高感度画像信号Ｘｏの画素値と入力画像信号Ｘｉの画素値は前述したようにほぼ等しくなっているが、解像度は入力画像信号Ｘｉの方が高い。すなわち、合成部６における加算比Ａを１に近づけることにより、増感画像Ｘｓの輝度値Ｙｓが第２の閾値ＴＨ２以上である領域（高輝度領域ＨＬ）の信号は、入力画像信号Ｘｉの画素値の割合が大きくなり、解像度を向上させることができる。
加算比Ａは、出力させる画像の高輝度部の画像品質を踏まえ、増感部１による画像信号のＳ／Ｎ改善量と、解像度低下量から判断して事前に決定すればよく、解像度を重視したい場合にはＡを１に近づけ、Ｓ／Ｎを重視したい場合にはＡを０に近づければよい。

実施の形態１及び２では、補正係数決定部３において、輝度信号生成部２が出力する輝度信号Ｙｓを用いて、増感画像信号Ｘｓの画素ごとの補正係数Ｋを算出する構成としたが、輝度信号への寄与が最も大きい増感画像信号ＸｓのＧ画素値Ｇｓを用いる構成としてもよい。この場合、輝度信号生成部２としては、増感画像信号ＸｓのＧ画素値Ｇｓを抽出するものを用いれば良く、輝度値を算出する処理が不要となるので、画像処理装置の構成規模を小さくできるという効果がある。

実施の形態１及び２では、補正係数Ｋの算出が、増感部１が出力する増感画像信号Ｘｓの各画素の輝度値のみに基づいており、入力画像Ｘｉの高輝度領域の白とびや、高輝度領域周辺の色の変化が生じない高感度画像Ｘｏを生成するために必要となる遅延時間を極力短くするができる。

実施の形態１及び２では、外付けフレームメモリを用いることなく、画素単位で入力画像Ｘｉの高輝度領域の白とびや、高輝度領域周辺の色の変化が生じない高感度画像Ｘｏを生成することができ、また、複雑な演算を行う必要が無いので、構成の簡素化、その結果、コスト低減を図ることができる。

実施の形態３．
図５は、本発明の実施の形態３に係る画像処理装置（実施の形態３に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。
実施の形態３に係る画像処理装置は、画像解析部７及び閾値算出部８が付加されており、補正係数決定部３内の補正係数選択部３４の代わりに補正係数選択部３７を備えており、一方閾値保持部３５が省かれている点で、図１の画像処理装置と異なる。

画像解析部７は、増感画像信号Ｘｓから画像を解析してその特徴を表す情報を得る。例えば、画面全体や被写体の明るさ、コントラスト、輝度分布、輝度のヒストグラム、色の分布等を求めて出力する。
画像解析部７は、また、被写体の特定のカテゴリーの領域（画像処理上重要であって、特定の画像処理が好まれる領域、例えば、人の顔など）を検出する機能を有してもよい。この場合、特定の領域（例えば人の顔）が検出されたか否かを示す情報を出力しても良く、特定の領域の検出されたときに、検出された特定の領域のコントラスト、輝度分布、輝度のヒストグラム、色の分布等を求めて出力するようにしても良い。

閾値算出部８は、画像解析部７で得られた画像解析結果から、補正係数Ｋを求めるときに用いる閾値ＴＨ１及びＴＨ２を求めて出力する。
例えば、画像全体のコントラスト、輝度分布等に基づいて閾値ＴＨ１、ＴＨ２を定めても良く、特定の領域のコントラスト、輝度分布等に基づいて閾値ＴＨ１、ＴＨ２を定めても良く、特定の領域が検出されたどうかに基づいて閾値ＴＨ１、ＴＨ２を定めても良い。

閾値算出部８から出力された閾値ＴＨ１及びＴＨ２は、第２の補正係数出力部３２、及び補正係数選択部３７に供給される。

第２の補正係数出力部３２は、閾値算出部８から供給された閾値ＴＨ１、ＴＨ２を用いて式（２ｂ）、（２ｃ）の演算を行うことで、第２の補正係数Ｋ２を求めて出力する。

補正係数選択部３７は、閾値算出部８から供給された閾値ＴＨ１、ＴＨ２を、輝度信号Ｙｓとの比較に用い、比較結果に基づいて補正係数の選択を行う。

図６（ａ）〜（ｃ）は、実施の形態３の画像処理装置の各部に現れる画像の画素値の発生頻度分布を示す。以下では画素値がすべて輝度値であるものとして説明する。
画像解析部７で得られた画像解析結果に基づいて、閾値算出部８で閾値ＴＨ１、ＴＨ２を求め、その閾値ＴＨ１、ＴＨ２を用いて、補正係数Ｋを算出し、高感度画像信号Ｘｏの画素値を得た場合の、高感度画像信号Ｘｏの画素値の輝度ヒストグラムを示している。

入力画像信号Ｘｉの輝度分布が図６（ａ）に示すように、低輝度領域Ｄｉ１の一連の高頻度部分（ピーク）と高輝度領域Ｄｉ４の一連の高頻度部分にはっきり分かれた画像信号が増感部１に入力された場合、増感画像信号Ｘｓの輝度分布は、図６（ｂ）に示されるように、図６（ａ）の輝度分布を横軸（輝度値軸）方向にＬ倍したものとなる。

画像解析部７が増感画像信号Ｘｓを解析した結果、その輝度ヒストグラムが図６（ｂ）に示す輝度分布で示されるものであることを示す情報を解析結果として出力する。

この情報に基づいて、閾値算出部８は、図６（ｂ）に示されるように、閾値ＴＨ１を、増感画像信号Ｘｓの低輝度領域Ｄｓ１の一連の高頻度部分の最大値又はこの最大値よりも少し大きな値とし、閾値ＴＨ２を高輝度領域Ｄｓ４の一連の高頻度部分の最小値又はこの最小値よりも少し小さい値に決定する。

図６（ａ）には閾値ＴＨ１、ＴＨ２に対応する入力画像Ｘｉの輝度値が符号ＴＨ１／Ｌ、ＴＨ２／Ｌで示され、図６（ｃ）には閾値ＴＨ１、ＴＨ２に対応する高感度画像Ｘｏの輝度値が符号ＴＨ１、ＴＨ２／Ｌで示されている。

このようにすることで、増感画像Ｘｓの低輝度領域Ｄｓ１の一連の高頻度部分及び高輝度領域Ｄｓ４の一連の高頻度部分を正しく検出し、低輝度領域Ｄｓ１の一連の高頻度部分の画素に対する補正係数を１とすることができ、高輝度領域Ｄｓ４の一連の高頻度部分の画素に対する補正係数Ｋを増感倍率Ｌの逆数とすることができ、入力画像信号Ｘｉの低輝度領域Ｄｉ１の一連の高頻度部分の分布幅をＬ倍し、高感度画像Ｘｏの低輝度領域Ｄｏ１として出力することができ、入力画像Ｘｉの高輝度領域Ｄｉ４の一連の高頻度部分の分布幅をほぼ変えることなく、高感度画像信号Ｘｏの高輝度領域Ｄｏ４として出力することができ、低輝度領域Ｄｏ１の一連の高頻度部分と高輝度領域Ｄｏ４の一連の高頻度部分に対して適切な信号レンジを割り当てた高感度画像Ｘｏを得ることができる。

以上では、増感画像信号Ｘｓの画面全体の輝度のヒストグラムを用いて閾値ＴＨ１、ＴＨ２を決める場合について説明したが、被写体の特定の領域（重要な領域）（例えば、人の顔など）の検出結果に基づいて注目領域を決定し、注目領域の輝度分布から閾値ＴＨ１、ＴＨ２を決めることもできる。この場合は、注目領域に対して最適な補正係数Ｋを用いることができ、特定の領域（重要な領域）の高感度化に重点をおいた補正を行うことが可能である。
なお、実施の形態３において、上記以外の点は、実施の形態１の場合と同じである。

実施の形態１及び２では、入力画像信号Ｘｉ及び高感度画像信号Ｘｏは、画素ごとにＲＧＢ信号が揃っている構成としたが、ベイヤ配列されたＲＧＢ信号であってもよい。この場合、増感部１は、ベイヤ配列されたＲＧＢ信号を入力とし、ベイヤ配列されたＲＧＢ信号を出力とする増感処理が行われる。

増感部１が、ベイヤ配列されたＲＧＢ信号を出力する場合、輝度信号生成部２は、増感部１が出力するベイヤ配列のＧ信号Ｇｓに対して、Ｇ信号Ｇｓを輝度信号Ｙｓとして出力し、増感部１が出力するベイヤ配列のＲ信号Ｒｓに対して、信号Ｒｓに対応する画素の上下左右に位置するＧ画素のＧ信号の平均値を輝度信号Ｙｓとして出力し、増感部１が出力するベイヤ配列のＢ信号Ｂｓに対して、Ｂ信号Ｂｓに対応する画素の上下左右に位置するＧ画素のＧ信号の平均値を輝度信号Ｙｓとして出力する。

実施の形態１及び２では、増感部１は、注目画素に注目画素の周辺画素を（Ｌ−１）個加算する構成としたが、注目画素を含む一定領域に対して複数のフィルタ値を算出し、算出された複数のフィルタ値を重み付け加算し、その重み付け加算の結果に増感倍率Ｌを乗算して、増感画像を出力する構成（例えば、特許文献２参照）としてもよい。ここで言う複数のフィルタ値とは、複数の互いに異なる特性のフィルタによるフィルタリングにより得られる値を意味し、例えば、注目画素を含む１次元方向のローパスフィルタ値、注目画素を含む１次元方向のメディアンフィルタ値、及び注目画素を含む２次元方向のローパスフィルタ値が含まれる。このように構成した場合にも、注目画素に注目画素の周辺画素を加算する場合と同様に、入力画像信号Ｘｉの高輝度領域の白とびと、高輝度領域周辺の色の変化が生じない高感度画像Ｘｏを得ることができる。

実施の形態１及び２では、増感部１で画像に対する増感に用いられる増感倍率Ｌ（従って、補正係数決定部３で補正係数の決定に用いられる増感倍率）を一定の値としたが、外部から調整可能なパラメータとしても良い。この場合、増感部１における増感倍率Ｌの変化に合わせて、補正係数Ｋを算出するための閾値ＴＨ１、ＴＨ２を変化させることとしても良い。例えば、増感倍率Ｌを２倍した場合、閾値ＴＨ１を（１／２）倍とすることで、増感画像信号Ｘｓの輝度信号Ｙｓが閾値ＴＨ１未満の領域の増感倍率を２倍としながら、白とびする領域が増えない高感度画像Ｘｏを得ることができる。

以上本発明を画像処理装置として説明したが、画像処理装置で実施される画像処理方法もまた本発明の一部を成す。

１増感部、２輝度信号生成部、３補正係数決定部、４補正係数乗算部、５制御部、６合成部、７画像解析部、８閾値算出部、３１第１の補正係数出力部、３２第２の補正係数出力部、３３第３の補正係数出力部、３４、３６、３７補正係数選択部、３５閾値保持部。

Claims

入力画像の注目画素とその周辺画素から、入力画像を増感した増感画像を得る増感部と、
前記増感画像の各画素の輝度値に基づいて、各画素のための補正係数を決定する補正係数決定部と、
前記補正係数決定部で決定された各画素のための前記補正係数を、前記増感画像の各画素の画素値に乗算して、補正後の画像信号を生成する補正係数乗算部とを備え、
前記増感部における増感倍率は画像内の全ての画素に対して一定であり、
前記増感部における増感倍率をＬとし、
前記増感画像の各画素の輝度値をＸｓとし、
第１の閾値をＴＨ１とし、
第２の閾値をＴＨ２とし、
前記補正係数をＫとするとき、次式

の関係が満たされるように、前記補正係数決定部が前記補正係数を定める
ことを特徴とする画像処理装置。
前記補正係数乗算部が出力する、前記補正後の画像の画素値と前記入力画像の画素値を合成して出力する合成部をさらに備え、
前記合成部は、前記補正係数乗算部が出力する、前記補正後の画像の画素ごとに、
前記増感画像の輝度値が前記第２の閾値以上である場合、前記補正後の画像の画素値と前記入力画像の画素値を一定の割合で加算して出力し、
前記増感画像の輝度値が前記第２の閾値未満である場合、前記補正後の画像の画素値をそのまま出力する
ことを特徴とする請求項１に記載の画像処理装置。
前記増感画像を解析してその特徴を表す情報を得る画像解析部と、
前記画像解析部による画像解析結果に基づいて、前記第１の閾値及び前記第２の閾値を求める閾値算出部とを備え、
前記補正係数決定部は、前記閾値算出部が求めた前記第１の閾値及び前記第２の閾値を用いて、前記輝度値との比較を行う
ことを特徴とする請求項１又は２に記載の画像処理装置。
前記画像解析部による前記画像解析結果は、前記増感画像の輝度のヒストグラムであり、
前記閾値算出部は、前記輝度のヒストグラムに基づいて前記第１の閾値及び前記第２の閾値を求める
ことを特徴とする請求項３に記載の画像処理装置。
前記画像解析部は、前記増感画像の特定の領域を検出し、
前記閾値算出部は、前記画像解析部により検出された特定の領域の画像の特徴に基づいて前記第１の閾値及び前記第２の閾値を求めて出力する
ことを特徴とする請求項３又は４に記載の画像処理装置。
入力画像の注目画素とその周辺画素から、入力画像を増感した増感画像を得る増感ステップと、
前記増感画像の各画素の輝度値に基づいて、各画素のための補正係数を決定する補正係数決定ステップと、
前記補正係数決定ステップで決定された各画素のための前記補正係数を、前記増感画像の各画素の画素値に乗算して、補正後の画像信号を生成する補正係数乗算ステップとを備え、
前記増感ステップにおける増感倍率は画像内の全ての画素に対して一定であり、
前記増感ステップにおける増感倍率をＬとし、
前記増感画像の各画素の輝度値をＸｓとし、
第１の閾値をＴＨ１とし、
第２の閾値をＴＨ２とし、
前記補正係数をＫとするとき、次式

の関係が満たされるように、前記補正係数決定ステップが前記補正係数を定める
ことを特徴とする画像処理方法。