JP4571923B2 - ヒストグラムプロジェクション処理用度数閾値設定装置、方法、及びそのプログラムを記録した記録媒体。 - Google Patents

Description

本発明は、低コントラストの画像をより鮮明に表示することのできるヒストグラムプロジェクション処理用度数閾値設定装置、方法、及びそのプログラムを記録した記録媒体に関する。

従来、カメラ等で取得された画像には往々にして低コントラストの画像がある。低コントラストの画像は見にくいので、画像処理技術によってコントラストを高め、より鮮明に表示するための様々な方法が開発されてきた。その画像処理のひとつとしてヒストグラムプロジェクション（以下、ＨＰと記載）処理がある。

ＨＰ処理は、１フレーム内において入力映像信号の信号レベルとその信号レベルの度数との関係を表すヒストグラムを生成し、度数閾値以上を持つ信号レベルのみを表示階調に割り当てるよう入力映像信号レベルを表示信号レベルに変換する方法である。

図６(a),(b) は、従来のＨＰ処理をより具体的に示す図である。これを演算する場合の式は、以下の式で表すことができる。
ｉｍａｇｅ＿ｏｕｔ（ｉ）＝ｈｐｌｅｖｅｌ（ｉｍａｇｅ＿ｉｎ（ｉ））
ここで「ｉｍａｇｅ＿ｏｕｔ（ｉ）」は第ｉ画素の処理後の出力レベルを示し、「ｉｍａｇｅ＿ｉｎ（ｉ）」は第ｉ画素の入力レベルを示している。なお、係数ｉは、ｉ＝１，２，・・・Ｎを表し、Ｎは全画素数を表している。

また、「ｈｐｌｅｖｅｌ（ｘ）」は入力レベルがｘの画素を表示階調にレベル変換する関数であり、式
ｈｐｌｅｖｅｌ（ｘ）＝ＧＳｄｉｓｐ／ＧＳｔｏｔａｌ×（ＧＳ（ｘ）−１）
により、求められる。ここで、ＧＳｄｉｓｐは表示階調数、ＧＳｔｏｔａｌは切り捨て後の全階調教である。上記に示す式
ＧＳ（ｘ）＝Σ［ｊ＝０〜ｘ］（ｃｎｔ（ｊ））
は、ｘ以下で画素数がＨＰｔｈ（度数閾値）を越えている階調数を表し、ｐｏｐ（ｙ）を入力レベルｙの画素数として、
ｃｎｔ（ｙ）＝１｜ｐｏｐ（ｙ）≧ＨＰｔｈ
＝０｜ｐｏｐ（ｙ）＜ＨＰｔｈ
は、入力レベルｙの画素数が度数閾値ＨＰｔｈを越えているか否かのフラグを表している。

上記第ｉ画素の入力レベル「ｉｍａｇｅ＿ｉｎ（ｉ）」は、入力レベルｘを表示階調にレベル変換する関数「ｈｐｌｅｖｅｌ（ｘ）」に従い、第ｉ素の処理後の出力レベル「ｉｍａｇｅ＿ｏｕｔ（ｉ）」に変換される。

「ｈｐｌｅｖｅｌ（ｘ）」は、入力レベルｘ以下で画素数が度数閾値ＨＰｔｈを越えている階調数「ＧＳ（ｘ）」から１を引いた値に、切り捨て後の全階調数「ＧＳｔｏｔａｌ」を表示階調数「ＧＳｄｉｓｐ」に有効に割当てるよう、その比を掛けることによって算出される。

「ＧＳ（ｘ）」は、入力レベルｙの画素数「ｐｏｐ（ｙ）」がＨＰｔｈ以上の場合、入力レベルｙの画素数が度数閾値ＨＰｔｈを越えているか否かのフラグ「ｃｎｔ（ｙ）」を１とし、カウント値「Σ［ｊ＝０〜ｘ］（ｃｎｔ（ｊ）」をカウントアップすることによって算出される。

上述したＨＰ処理における度数閾値ＨＰｔｈは、入力画像の各場面に対して固定値となっており、通常は多くの入力映像信号レベルを残すように、低い値に設定されている。
図６(a) は、そのように輝度ヒストグラムの度数閾値が低い値に固定して設定されている場合の度数閾値と輝度ヒストグラムがピークを持つ画像である場合の輝度ヒストグラムとの関係を示すであり、同図(b) のその度数閾値に基づいてＨＰ処理された画像の出力レベルを示す図である。

図６(a) に示すように、度数閾値が常に低い値に固定して設定されていると、輝度ヒストグラムがピークを持つような画像では、同図(b) に示すように、その出力レベルではピークの部分が生かされず大差の無い階調の占める割合が多くなり、画像全体のコントラストが低下してしまう。

画像のコントラストを強調するものとしては、画像データのヒストグラムに独特の処理を行って、ダイナミックレンジの狭い映像においても明暗のはっきりしたメリハリのある表示を可能とする方法が提案されている。（例えば、特許文献１参照。）
特開２００４−２１２８０９号公報（要約、段落００２８〜００３０、図１）

特許文献１の技術は、段落００２６〜段落００３０の説明にもあるように、低輝度画素側と高輝度画素側のみ階調レベルを切り捨て表示階調に変換する処理であり、中間輝度画素が少ない場合では中間輝度の階調レベルは切捨てられないため表示階調に有効に変換できずコントラスト強調効果が低下してしまう。 また、従来からあるＨＰ処理の方法は、上述したように度数閾値は、場面画像ごとに予め設定されているので、場面の急激な変化に伴う輝度レベルの頻繁な変化に対処できない。また、設定される度数閾値が一般的に低い値であるため、輝度ヒストグラムにピークを有する画像に対して明暗のはっきりしたメリハリのある表示ができない。

本発明の課題は、上記従来の実情に鑑み、各場面のヒストグラムの形状により輝度分布の度数閾値を適切な値に変更設定することによって低コントラストの画像に対してもより鮮明にコントラスト強調効果の高い画像を得ることができるヒストグラムプロジェクション処理用度数閾値設定装置、方法、及びそのプログラムを記録した記録媒体を提供することである。

先ず、第１の発明の記録媒体は、入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出機能と、上記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定機能と、上記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得機能と、上記ピークが１つであるときはそのピークの立ち上がり部の度数、上記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定機能と、一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定機能と、を実行させるためのプログラムをコンピュータにより読み取り可能に記録されている。

次に、第２の発明のヒストグラムプロジェクション処理用度数閾値設定方法は、入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出工程と、上記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定工程と、上記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得工程と、上記ピークが１つであるときはそのピークの立ち上がり部の度数、上記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定工程と、一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定工程と、を含んで構成される。

更に、第３の発明のヒストグラムプロジェクション処理用度数閾値設定装置は、入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、上記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定手段と、上記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得手段と、上記ピークが１つであるときはそのピークの立ち上がり部の度数、上記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定手段と、一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定手段と、を有して構成される。

本発明によれば、各場面のヒストグラムの形状により輝度分布の度数閾値を適切な値に変更設定するので、低コントラストの画像に対してもより鮮明にコントラスト強調効果の高い画像を得ることができるヒストグラムプロジェクション処理用度数閾値設定装置、方法、及びそのプログラムを記録した記録媒体を提供することが可能となる。

以下、本発明の実施の形態を図面を参照しながら説明する。

図１は、一実施の形態におけるヒストグラムプロジェクション（以下、ＨＰと記載）処理システムのブロック図である。同図に示すように、ＨＰ処理システムは、映像信号入力部１、ヒストグラム算出部２、レベル変換部３、度数閾値判定部４、及びレベル変換関数算出部５から構成される。

映像信号入力部１には、外部から映像信号が１フレームごとに入力する。映像信号入力部１は、その入力する映像信号をヒストグラム算出部２とレベル変換部３に出力する。
ヒストグラム算出部２は、映像信号入力部１から入力される画像信号の各画素の複数フレーム間の輝度レベル平均に対する輝度ヒストグラムを算出し、その算出した輝度ヒストグラムを度数閾値判定部４とレベル変換関数算出部５へ出力する。

尚、上記ヒストグラム算出部２で行われる輝度ヒストグラムの算出は、通常のＨＰ処理で行われる処理である。
度数閾値判定部４は、ヒストグラム算出部２から入力される輝度ヒストグラムを用い、後述する度数分割と、差分の調査と、ピーク判定と、閾値の設定（算出）を行う。

図２は、輝度ヒストグラムにピークが有る画像の場合のピーク判定と度数閾値の算出例を示す図である。同図は横軸に階調を示し、縦軸に度数を示している。なお、階調すなわち信号レベルは、本例では８ビット構成で０〜２５５の値をとる２５６階調で表されるものとする。

度数閾値判定部４は、先ず、輝度ヒストグラムにローパスフィルタを掛けて大局的な変化を抽出する。次に、抽出した輝度ヒストグラムの度数最大値を算出する。そして、その度数最大値を、図２に示すように、ある一定度数値で分割する。

そして、輝度ヒストグラムの最上段の度数分割区間から、信号レベル差の分布区間内平均値ΔＬ1 を算出し、次に最上段の度数分割区間から二番目の度数分割区間の信号レベル差の分布区間内平均値ΔＬ2 を算出するというように、順次輝度ヒストグラムの最下段の度数分割区間まで信号レベル差の分布区間内平均値（ΔＬ1 、ΔＬ2 、ΔＬ3 、・・・）をそれぞれ算出する。

例えば１番目の度数分割区間において、最大度数をａ個、最小度数をｂ個、ｂ個である信号レベルをＡレベル及びＢレベル（Ｂ＞Ａ）)とすると（仮にＡレベルを階調１１８近傍、Ｂレベルを階調１３８近傍とする）、ｂ個における信号レベル差は（Ｂ−Ａ）となる。次に（ｂ＋１）個における信号レベル差を求め（Ｂ−Ａ）に加算する。これをａ個まで繰返し、総加算値を（ａ−ｂ）で割った値が信号レベル差の平均値ΔＬ1となる。

その結果を仮に１３８−１１８＝２０とする。また、この１番目の度数分割区間の信号レベルの差の平均値ΔＬ1 が所定の値よりも小さいときは、ここにピークがある可能性がある。

上記に続いて、それら算出された信号レベル差平均値の隣接区間間の差分（ΔＬ2 −ΔＬ1 、ΔＬ3 −ΔＬ2 、・・・）を順次算出する。
例えば、２番目の度数分割区間において、最大度数をｃ個、最小度数をｄ個、ｄ個である信号レベルをＣレベル及びＤレベル（Ｄ＞Ｃ）)とすると（仮にＣレベルを階調１１３近傍、Ｄレベルを階調１４１近傍とする）、ｄ個における信号レベル差は（Ｄ−Ｃ）となる。次に（ｄ＋１）個における信号レベル差を求め（Ｄ−Ｃ）に加算する。これをｃ個まで繰返し、総加算値を（ｃ−ｄ）で割った値が信号レベル差の平均値ΔＬ2となる。その結果を仮に１４３−１１３＝３０とする。

そして、これら上下に隣接する度数分割区間の間の信号レベル差の平均値の差分「ΔＬ2 −ΔＬ1 」（仮の値としては「３０−２０＝１０」）が一定値ＲTH（例えば２０）よりも大であるか否かを調べるということを、順次度数分割区間の下方へと行っていく。

そして、その調べた信号レベル差の平均値の差分がＮ個連続して一定値ＲTH以下であって、かつ、Ｎ＋１個目の度数分割区間で、Ｎ個目の度数分割区間との信号レベル差の平均値の差分が一定値ＲTHを超えたとき、この１フレームの画像をピークを持つ画像であると判定する。そして、一定値ＲTHを超えたときの度数を、そのピークに対する度数閾値として算出する。

例えばＮ番目の度数分割区間において、最大度数をｉ個、最小度数をｊ個、ｊ個である信号レベルをＩレベル及びＪレベル（Ｊ＞Ｉ）)とすると（仮にＩレベルを階調８５近傍、Ｄレベルを階調１６６近傍とする）、ｊ個における信号レベル差は（Ｊ−Ｉ）となる。次に（ｊ＋１）個における信号レベル差を求め（Ｊ−Ｉ）に加算する。これをｉ個まで繰返し、総加算値を（ｉ−ｊ）で割った値が信号レベル差の平均値ΔＬNとなる。その結果を仮に１６６−８５＝８１とする。

同様にして、例えばＮ＋１番目の度数分割区間において、最大度数をｍ個、最小度数をｎ個、ｎ個である信号レベルをＭレベル及びＮレベル（Ｎ＞Ｍ）)とすると（仮にＭレベルを階調６４近傍、Ｎレベルを階調１８８近傍とする）、ｎ個における信号レベル差は（Ｎ−Ｍ）となる。次に（ｎ＋１）個における信号レベル差を求め（Ｎ−Ｍ）に加算する。これをｍ個まで繰返し、総加算値を（ｍ−ｎ）で割った値が信号レベル差の平均値ΔＬN+1となる。その結果を仮に１８８−６４＝１２４とする。

この隣り合う度数分割区間の信号レベル差の平均値の差分「ΔＬN+1 −ΔＬN 」（仮の値としては「１２４−８１＝４３」）が所定の一定値ＲTHよりも大であったとすれば、この一定値ＲTHを超えた度数（Ｎ番目の度数分割区間とＮ＋１番目の度数分割区間の中間値）がピークに対する度数閾値として算出される。

尚、上記の「ΔＬN+1 −ΔＬN 」が一定値ＲTHを超えた度数は、階調の低いほうから見て輝度ヒストグラムのピークが立ち上がり始めた度数を示しているということも出来る。
図３(a) は、図６(a) に示した入力輝度ヒストグラムに対して、上述した手法により度数閾値を設定した図であり、同図(b) はその結果としての出力輝度ヒストグラムを示す図である。

上述したようにして算出された度数閾値は、図１において度数閾値判定部４からレベル変換関数算出部５に出力される。レベル変換関数算出部５は、ヒストグラム算出部２から入力されている輝度ヒストグラムと、度数閾値判定部４から入力される度数閾値とに基づいてレベル変換関数を算出する。

このレベル変換関数の算出では、まず、図３(a) に示すように、度数閾値によって度数閾値以下の階調部分ａ、ｂ、ｃの度数が切捨てられる。度数が切捨てられた階調部分ａ、ｂ、ｃは、このままでは使用されない、いわば余った階調部分である。この余った階調部分に、切捨てられずに残った階調部分ｄ、ｅの度数を配分するための関数がレベル変換関数である。

このレベル変換関数は、図１においてレベル変換部３に出力される。レベル変換部３は映像信号入力部１から入力される入力映像信号を、レベル変換関数算出部５から入力されたレベル変換関数に基づいて信号レベルを変換して表示装置に出力する。

図３(b) は、その出力輝度ヒストグラムを示している。このように、本実施の形態によれば、場面画像に応じて度数閾値が設定され、例えば、輝度ヒストグラムがピークを持つような場面画像に対しては、ピークの部分を残すように度数閾値を高く設定するので、コントラスト強調効果の高い画像を得ることができる。

また、各画素の複数フレーム間のレベル平均に対して輝度ヒストグラムを算出して、上記の処理を行うので、入力映像の場面が急激に変化して画面全体の輝度レベルが頻繁に変化するような場合でも、その輝度レベルを前後の場面に連動するよう緩やかな変化とすることができ、入力映像の輝度レベルが頻繁に変化するような場合でも、見やすい画像を得ることができる。

尚、図３(a) に示す例では、輝度ヒストグラムにピークを持つ画像についての処理を分易く説明するために、ピークが二つある場合で、たまたま２つのピークの分布変化から算出された度数閾値が同一であった場合を取り上げているが、ピークごとに度数閾値が異なる場合について、代表的にピークが三つある場合を例にとって以下に説明する。

図４は、輝度ヒストグラムに複数（図の例では三つ）のピークのある画像の度数閾値の設定例を示す図である。同図に示すように輝度ヒストグラムに三つのピーク６、７、８のある画像について、図２及び図３(a),(b) で説明した本発明の処理を行った結果、それぞれについて異なる３つの度数閾値Ｆth1 、Ｆth2 、Ｆth3 が算出され、Ｆth1 ＜Ｆth2 ＜Ｆth3 であるとする。

この場合は、最小度数閾値として第１ピーク６に対して算出された度数閾値Ｆth1 を、この画像の度数閾値として設定する。これにより、複数ピークのある画像の強調効果を高めると共に、より多くの入力映像信号レベルを残すことができる。

次に、輝度ヒストグラムにピークのない画像の度数閾値の設定について説明する。
図５は、輝度ヒストグラムにピークのない画像の度数閾値の設定例を示す図である。輝度ヒストグラムにピークのない画像の場合は、図１の度数閾値判定部４においては、先ず度数の多い階調順（降順）に度数を累積する。そして、全画素数のＲ％を越えた時の加算度数を度数閾値として設定する。尚、Ｒは、９０〜１００の範囲で設定される。

このように、本例においては、輝度ヒストグラムがピークを持たない場面画像では、多くの入力映像信号レベルを残すように度数閾値を低く設定する。

一実施の形態におけるヒストグラムプロジェクション（ＨＰ）処理システムのブロック図である。 輝度ヒストグラムにピークが有る画像の場合のピーク判定と度数閾値の算出例を示す図である。 (a) はピークのある入力輝度ヒストグラムに対して本発明の手法により度数閾値を設定した図、(b) はその結果としての出力輝度ヒストグラムを示す図である。 輝度ヒストグラムに複数のピークのある画像の度数閾値の設定例を示す図である。 輝度ヒストグラムにピークのない画像の度数閾値の設定例を示す図である。 (a),(b) は従来のＨＰ処理をより具体的に示す図である。

符号の説明

１ 映像信号入力部
２ ヒストグラム算出部
３ レベル変換部
４ 度数閾値判定部
５ レベル変換関数算出部
６，７，８ 輝度ヒストグラムのピーク

Claims (3)

1. 入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出機能と、
   前記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定機能と、
   前記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得機能と、
   前記ピークが１つであるときはそのピークの立ち上がり部の度数、前記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定機能と、
   一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定機能と、
   を実行させるためのプログラムをコンピュータにより読み取り可能に記録された記録媒体。
2. 入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出工程と、
   前記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定工程と、
   前記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得工程と、
   前記ピークが１つであるときはそのピークの立ち上がり部の度数、前記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定工程と、
   一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定工程と、
   を含むことを特徴とするヒストグラムプロジェクション処理用度数閾値設定方法。
3. 入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、
   前記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定手段と、
   前記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得手段と、
   前記ピークが１つであるときはそのピークの立ち上がり部の度数、前記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定手段と、
   一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定手段と、
   を有することを特徴とするヒストグラムプロジェクション処理用度数閾値設定装置。