JP5486963B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、カメラで撮影した画像を入力画像として扱う輝度伸張処理機能を有する画像処理装置およびカメラ映像の輝度伸張アルゴリズムに特徴をもつ画像処理プログラムに関する。

単眼カメラの映像を用いた動物体の追跡処理技術において、カメラで撮影し入力した入力画像の画面全体の一部エリアを注目エリアとして、当該注目エリアから動物体（オブジェクト画像）を検出し追跡処理する画像認識処理技術が存在する（特許文献１参照）。

また、カメラで撮影し入力した入力画像をその明暗に応じて予め設定した所定の輝度変換特性（特性曲線）に従い輝度変換する輝度変換方式も、例えば非線形曲線、シグモイド関数曲線等を用いた種々の輝度変換方式が提案され実装されている（特許文献２、３参照）。

上記した画像処理技術においては、輝度伸張パラメータを、画面全体の注目エリアから抽出し決定している。このため、カメラから入力された伸張処理対象画像が明暗両方を含む画像の場合、注目エリア全体の輝度に依存して輝度伸張処理が実施され、従って注目エリア内における部分画像の明暗の双方を鮮明に表示することができないという問題があった。

また、画像をブロック化して、そのブロックを単位に輝度情報（ヒストグラムなど）を収集する方法も種々の技術が提案されている（特許文献４参照）。

しかしながら、この種、ブロック単位で画素情報を収集しパラメータを求める方法は、ブロック内部に含まれる輝度値のみを利用して、ブロック単位でパラメータを求めていることから、上記した画像認識処理技術に適用した場合、ブロックの境目でシャギーが発生することや、明るさが極端に異なるブロックが隣り合わせになると不自然な画像になるという問題がある。

特許第４４２７０５２号公報 特許第４３４０３０３号公報 特開平８−１６１４８５号公報 特開平８−６２７４１号公報

上述したように従来では、カメラから入力された伸張処理対象画像が画面全体の一部エリアに明暗の両方を含む場合、エリア内における部分画像の明暗の双方を鮮明に表示することができないという問題があった。

本発明は上記実情に鑑みなされたもので、画面全体の一部に明暗の画像が存在しても、その明暗の各画像部分を鮮明に表示出力できる輝度伸張処理機能を実現可能な画像処理装置および画像処理プログラムを提供することを目的とする。

本発明の画像処理装置は、カメラで撮影した入力画像を、外部より指定したブロックサイズ（ｍ×ｍ）に従い複数のブロックに分割し、その分割した各ブロックについて、当該ブロックの輝度総和を輝度情報として出力する輝度設定手段と、前記輝度情報を受けて、平均輝度の算出対象となる注目ブロック（ｍ×ｍ）と当該注目ブロックを右・下・右下の３方向にｍ／２ブロックシフトした周囲ブロックを積み上げて、その積み上げた９つの小ブロック（ｍ／２×ｍ／２）毎に畳み込み係数をもたせて畳み込み演算を行い、その演算で得た輝度総和から平均輝度値を算出することで、前記ブロック毎の平均輝度値を算出する平均輝度算出手段と、前記平均輝度値をもとに、前記入力画像の各画素に対する輝度伸張処理のための累乗パラメータを前記ブロック毎に算出するパラメータ算出手段と、前記累乗パラメータと前記平均輝度値から輝度変換テーブルを前記ブロック毎に作成するテーブル作成手段と、前記入力画像の各画素に対して、当該画素の前記注目ブロックとその周囲ブロックの前記輝度変換テーブルを参照して、画素位置の距離差に応じたバイリニア補間を実施する補間処理手段と、前記バイリニア補間を施した前記各ブロックの各画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、を有することを特徴とする。

また、画像処理装置は、カメラで撮影した入力画像を、外部より指定したブロックサイズ（ｍ×ｍ）に従い複数のブロックに分割し、その分割した各ブロックについて、当該ブロックの輝度総和を輝度情報として出力する輝度設定手段と、前記輝度情報を受けて、平均輝度の算出対象となる注目ブロック（ｍ×ｍ）と当該注目ブロックを右・下・右下の３方向にｍ／２ブロックシフトした周囲ブロックを積み上げて、その積み上げた９つの小ブロック（ｍ／２×ｍ／２）毎に畳み込み係数をもたせて畳み込み演算を行い、その演算で得た輝度総和から平均輝度値を算出することで、前記ブロック毎の平均輝度値を算出する平均輝度算出手段と、前記平均輝度値をもとに式（１）に従い、前記注目エリアに対する輝度伸張処理のための累乗パラメータγを前記ブロック毎に算出するパラメータ算出手段と、
式（１） γ＝（α／Bmed２）×（Iave−Bmed）２＋1.0
前記累乗パラメータγと前記平均輝度値から式（２）に従い凸曲線および式（３）に従い凹曲線の輝度変換テーブルを前記ブロック毎に作成するテーブル作成手段と、
式（２） I’＝Bmax-（（Bmax-I）／Bmax）γ×Bmax：Iave≦Bmed
式（３） I’＝（I／Bmax）γ×Bmax：Iave＞Bmed
（ただし、αは固定値、Bmedは輝度中央値、Iaveは入力画像注目エリアの平均輝度、I’は出力輝度、Iは入力輝度、Bmaxは輝度最大値）
前記入力画像の各画素に対して、当該画素の前記注目ブロックとその周囲ブロックの前記輝度変換テーブルを参照して、画素位置の距離差に応じたバイリニア補間を実施する補間処理手段と、前記バイリニア補間を施した前記各ブロックの各画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、を有することを特徴とする。

また、画像処理プログラムは、カメラで撮影した入力画像を画像バッファに保持し、前記画像バッファ上で前記入力画像についてガンマ補正を行う処理装置に、カメラで撮影した入力画像を、外部より指定したブロックサイズ（ｍ×ｍ）に従い複数のブロックに分割し、その分割した各ブロックについて、当該ブロックの輝度総和を輝度情報として出力する機能と、前記輝度情報を受けて、平均輝度の算出対象となる注目ブロック（ｍ×ｍ）と当該注目ブロックを右・下・右下の３方向にｍ／２ブロックシフトした周囲ブロックを積み上げて、その積み上げた９つの小ブロック（ｍ／２×ｍ／２）毎に畳み込み係数をもたせて畳み込み演算を行い、その演算で得た輝度総和から平均輝度値を算出することで、前記ブロック毎の平均輝度値を算出する機能と、前記平均輝度値をもとに、前記注目エリアに対する輝度伸張処理のための累乗パラメータを前記ブロック毎に算出する機能と、前記累乗パラメータと前記平均輝度値から輝度変換テーブルを前記ブロック毎に作成する機能と、前記入力画像の各画素に対して、当該画素の前記注目ブロックとその周囲ブロックの前記輝度変換テーブルを参照して、画素位置の距離差に応じたバイリニア補間を実施する機能と、前記バイリニア補間を施した前記各ブロックの各画素をもとに前記入力画像に対する輝度伸張出力画像を作成する機能と、を有することを特徴とする。

本発明によれば、画面全体の一部に明暗の画像が存在しても、その明暗の各画像を鮮明に表示出力できる輝度伸張処理機能を実現可能な画像処理装置を提供できる。

本発明の実施形態に係る画像処理装置の要部の構成要素を示すブロック図。 上記実施形態に係る輝度伸張処理部の輝度伸張処理動作を説明するための動作説明図。 上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。 上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。 上記実施形態に係る畳み込み処理動作を説明するための動作説明図。 上記実施形態に係る畳み込み処理動作を説明するための動作説明図。 上記実施形態に係るバイリニア補間処理動作を説明するための動作説明図。 上記実施形態に係る画像処理装置の構成を示すブロック図。 上記実施形態に係る輝度伸張処理部の構成を示すブロック図。 上記実施形態に係る輝度伸張処理部の処理手順を示すフローチャート。 上記実施形態に係る輝度伸張処理部のより詳細な処理手順を示すフローチャート。 上記実施形態に係る輝度伸張処理部のより詳細な処理手順を示すフローチャート。 上記実施形態に係る輝度伸張処理部のより詳細な処理手順を示すフローチャート。 上記実施形態に係る輝度伸張処理部のより詳細な処理手順を示すフローチャート。 上記実施形態に係る輝度伸張処理部のより詳細な処理手順を示すフローチャート。 上記実施形態に係る輝度伸張処理部のより詳細な処理手順を示すフローチャート。 上記実施形態に係る輝度伸張処理部のより詳細な処理手順を示すフローチャート。 上記実施形態に係る輝度伸張処理部のより詳細な処理手順を示すフローチャート。

以下図面を参照して本発明の実施形態を説明する。

本発明に係る画像処理装置は、画像を複数にブロック分割し、重なりあうブロックで抽出されたパラメータを総合して伸張パラメータを決定し、明暗の双方を自動的に鮮明化する機能を提供するもので、注目ブロックに含まれる輝度値以外に、その周囲８近傍のブロックの輝度値も重み付けして含み輝度伸張パラメータを求める処理手段ａと、この処理手段で求めた輝度伸張パラメータを複数利用して（注目画素が含まれるブロックと周囲ブロックのパラメータを利用して）注目画素の伸張後の値を求める処理手段ｂとを具備する。

処理手段ａでは画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを求め、処理手段ｂでは周囲ブロックを利用したバイリニア補間で変換輝度値を求める。

なお、上記した輝度伸張パラメータおよび輝度変換テーブルは、カメラで撮影し入力した入力画像をその明暗に応じて予め設定した所定の輝度変換特性（特性曲線）に従い輝度変換する輝度伸張処理方式に依存して生成されるもので、例えば非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用される輝度伸張パラメータおよび輝度変換テーブル、若しくはシグモイド関数曲線を用いた輝度伸張処理に適用される輝度伸張パラメータおよび輝度変換テーブル等、いずれの輝度伸張処理方式に適用される輝度伸張パラメータおよび輝度変換テーブルであってもよい。

本発明の実施形態に係る画像処理装置の要部の構成要素を図１に示す。
図１に示す輝度伸張処理部１は、単眼カメラで撮影した画像を入力画像として、当該入力画像について輝度伸張処理（ガンマ補正）を施し、上記入力画像を当該入力画像の輝度値の分布状態から最適な階調に変換する。ここでは、ＱＶＧＡ（３２０画素×２４０画素）の０〜２５５階調の入力画像を対象に設定された注目エリアの画像を輝度伸張処理する。

この輝度伸張処理部１における輝度伸張処理では、ガンマ（γ）補正の理論を参考にし、ガンマ補正に必要とする輝度伸張のための輝度伸張パラメータを、入力画像における注目エリアを複数のブロックに分割したブロック単位の画像の平均輝度値をもとに自動算出する手段を具備した。

輝度伸張処理部１は、輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、上記補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。

図１に示す輝度伸張処理部１の輝度伸張処理動作について、図２乃至図７を参照して説明する。図２は上記輝度伸張処理部１の輝度伸張処理動作を説明するための動作説明図、図３および図４はそれぞれ上記したブロック処理手段における輝度伸張処理の動作原理を説明するための動作説明図、図５および図６はそれぞれ上記したブロック処理手段における畳み込み処理の動作原理を説明するための動作説明図、図７は上記した補間処理手段におけるバイリニア補間処理の動作原理を説明するための動作説明図である。

図２に示す、輝度伸張処理部１のブロック処理手段４ａは、先ず、単眼カメラで撮影した入力画像（３２０画素×２４０画素）２について、予め設定された注目エリア３を複数のブロックに分割する。具体例を挙げると、入力画像を３２×３２画素単位、若しくは１６×１６画素単位、若しくは８×８画素単位等に分割し、注目エリア３を複数のブロックに分割する。例えば注目エリア３の画面を１６×１６画素単位のブロック（２０×１５ブロック）に分割する。このブロック分割領域それぞれについて、周囲ブロックの輝度値を可変要素に、平均輝度を求める。

この動作原理を図３乃至図６に示している。ここでは、図３および図４に示すように、画面をブロック分割した１６×１６画素のパターンを、１／２ブロック（８×８画素）分シフトしたブロック４パターンから１つの小ブロックの値を考える。ここでは、１／２ブロックシフトで、４パターンのブロックが重なったブロック（８×８画素）について、重なったブロックの輝度の平均、さらには輝度二乗の平均等を求め、この値をもとに、予め設定された輝度伸張処理方式に適用される輝度伸張用の輝度変換テーブルをブロック単位に作成する。さらにブロック処理手段４ａは、分割したブロック各々について、ブロック毎の輝度総和を算出し、算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出して、各ブロックの平均輝度を算出する。この際の畳み込み係数および畳み込み処理のイメージを図５および図６に示している。ここでは、図５に示すように、平均輝度の算出対象となる注目ブロックに対して「４」、注目ブロックの周囲８近傍のブロックのうち、上下左右の４ブロックに対してそれぞれ「２」、斜め４方向の各ブロックに対してそれぞれ「１」の畳み込み係数をもたせて、図６に示すデータの積み上げイメージで、上記各ブロックの輝度値を畳み込み、畳み込み演算することで、注目ブロックの輝度平均を求めることができる。このブロック毎の平均輝度値をもとに、予め設定された輝度伸張処理方式に適用されるブロック単位の輝度伸張パラメータおよび輝度変換テーブルを作成する。

つぎに、輝度伸張処理部１の補間処理手段４ｂにおいて、上記ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、上記した補間手段により、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。このバイリニア補間は図７に示すように、注目画素の変換値を、周囲４ブロック（Ａ，Ｂ，Ｃ，Ｄ）の変換値の線形補間（バイリニア補間）にて決定し設定する。ここでは、注目画素が位置するブロック位置、および注目画素の当該ブロックとの位置差を小数点で求めて、当該ブロックと周囲ブロックの輝度変換テーブルの値に、ブロック位置差の係数を掛け、線形補間（バイリニア補間）の原理で輝度の変換値を求める。

上記補間処理手段４ｂによりバイリニア補間を施した各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する。

このように、輝度伸張処理部１のブロック処理手段４ａにおいて、画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを求め、輝度伸張処理部１の補間処理手段４ｂにおいて、周囲ブロックを利用したバイリニア補間で変換輝度値を求めて、バイリニア補間を施した（周囲ブロックの輝度伸張パラメータを反映した）各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する構成としたことにより、ブロック境界に輝度差が生じることなく、注目エリア内の一部に局所的に存在する明暗の各画像をそれぞれ明瞭に階調表示することができる。

上記実施形態をより具現化した一例を図８乃至図１８に示している。
図８は本発明の実施形態に係る画像処理装置の構成を示すブロック図、図９は同実施形態に係る前置画像処理部に設けられた輝度伸張処理部の構成を示すブロック図、図１０は上記輝度伸張処理部の処理手順を示すフローチャート、図１１乃至図１８は上記輝度伸張処理部の処理手順をより詳細に示すフローチャートである。なお、ここでは、画像処理装置の前置画像処理部に、本発明の要旨とするところの輝度伸張処理機能部を設けた構成を例示するが、上記輝度伸張処理機能部は図８に示す構成の画像処理装置に限らず、例えば、単にカメラ映像に対して輝度伸張処理を施す画像処理装置等、種々の画像処理装置に適用可能である。

本発明の実施形態に係る画像処理装置は、図８に示すように、カメラ１１と、キャプチャ部１２と、前置画像処理部１３と、画像処理部１４と、表示部１５とを具備して構成される。

カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を取り込み、前置画像処理部１３内の画像バッファ２１に保持する処理機能をもつ。

前置画像処理部１３は、キャプチャ部１２がカメラ１１から取り込んだフレーム単位の画像を輝度伸張処理の対象となる入力画像として保持する画像バッファ２１と、上述した図１に示す輝度伸張処理部１と同様の処理機能をもつ輝度伸張処理部２２とを具備して構成される。この前置画像処理部１３の内部構成要素については図９を参照して後述する。

画像処理部１４は、前置画像処理部１３の画像バッファ２１に保持された輝度伸張処理後の画像を取り込み、例えば時間差をもつ画像の差分二値化処理、ノイズ除去、変化画素を含む矩形領域の抽出および変化画素領域の追跡処理等の一連の画像処理を行う。表示部１５は上記画像処理部１４で処理した、例えば動物体領域の画像を表示出力する。

上記図８に示す前置画像処理部１３に設けられた輝度伸張処理部２２の構成要素を図９に示す。
この輝度伸張処理部２２は、上述したブロック処理手段（４ａ）の機能と補間処理手段（４ｂ）の機能を備え、ブロック処理機能により画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを生成し、補間処理機能により周囲ブロックを利用したバイリニア補間で各ブロックの画素の変換輝度値を求めている。

なお、図９に示す構成は、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示している。

この非線形輝度伸張処理方式では、後述する平均輝度算出部２２２が算出した平均輝度値が２５６階調の中心輝度値（１２７）以下であるか超えているかを判定し、中心輝度値以下であるとき、凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成し、中心輝度値を超えるとき、凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成する。この非線形輝度伸張処理機能は、既に公知の特許第４３４０３０３号による非線形輝度伸張処理方式に適用したもので、その要旨は後述する。

図９に示す前置画像処理部１３において、前置画像処理部１３に設けられた輝度伸張処理部２２は、ブロック参照輝度設定部２２１と、平均輝度算出部２２２と、累乗パラメータ算出部２２３と、参照テーブル判定部２２４と、画像変換部２２５と、線形補間（バイリニア補間）算出部２２６とを有する。

ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリアを、外部より指定されたブロックサイズに従い、複数のブロックに分割し、ブロック毎に、各ブロックの輝度値の総和を算出する。ここでは、８×８画素、１６×１６画素、２４×２４画素、３２×３２画素のうちのいずれかのブロックサイズ（例えば１６×１６画素）が指定され、その指定サイズに従い、入力画像の注目エリアがブロック分割される。なお、入力画像のエッジ部分に指定ブロックサイズより小さい端数画素分の領域が生じた場合は、当該領域を輝度伸張処理対象から外すかまたは他の輝度伸張処理手段を適用するものとする。

平均輝度算出部２２２は、ブロック参照輝度設定部２２１がブロック分割し、ブロック毎に算出した輝度総和をもとに、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位の画像の平均輝度値（＝Ｍ）を算出する。

累乗パラメータ算出部２２３は、上記した非線形輝度伸張処理方式において適用されるもので、平均輝度算出部２２２が算出した平均輝度をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出する。

参照テーブル判定部２２４は、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する。

画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施し、入力輝度に対して出力輝度を変換した画像を画像バッファ２１に書き戻すことによって画像バッファ２１上に輝度伸張画像を作成する。

線形補間算出部２２６は、図７に示したように、ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。

上記した輝度伸張処理部２２の処理手順を図１０に示している。

輝度伸張処理部２２は、カメラ１１が撮像したフレーム単位の入力画像がキャプチャ部１２を介して画像バッファ２１に保持される毎に図１０に示す処理を実行する。

画像バッファ２１に輝度伸張処理の対象となる入力画像が保持されると、ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリアを、外部より指定されたブロックサイズ（例えば１６×１６画素）に従い、複数のブロック（２０×１５ブロック）に分割し、ブロック毎に各ブロックの輝度値の総和を求めて当該ブロック単位の輝度総和を注目ブロックの輝度情報として平均輝度算出部２２２に送出する（ステップＳ１１）。

平均輝度算出部２２２は、ブロック参照輝度設定部２２１から注目ブロックの輝度情報（ブロック単位の輝度総和）を入力すると、この輝度情報をもとに、図５および図６に示したように、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出し、当該注目ブロックの画像の平均輝度値を累乗パラメータ算出部２２３と参照テーブル判定部２２４に送出する（ステップＳ１２）。

累乗パラメータ算出部２２３は、平均輝度算出部２２２が算出した平均輝度値をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出し、当該パラメータを参照テーブル判定部２２４に送出する。

参照テーブル判定部２２４は、平均輝度算出部２２２から入力した平均輝度値と累乗パラメータ算出部２２３から入力した累乗パラメータを輝度伸張パラメータとして、当該輝度伸張パラメータに従う輝度変換テーブルを作成する。ここでは、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する（ステップＳ１３）。

ここで、上記した凸曲線および凹曲線を用いた非線形輝度伸張処理方式における輝度伸張処理について記述する。

累乗パラメータ算出部２２３は、注目エリアの平均輝度をもとに輝度伸張用の累乗パラメータγを下式（１）により自動的に算出する。

γ＝（α／Bmed^２）×（Iave−Bmed）^２＋1.0・・・・式（１）
（ただし、αは固定値、Bmedは輝度中央値、Iaveは入力画像注目エリアの平均輝度）
上記平均輝度と上記入力画像の輝度階調範囲の中心輝度とを比較し、累乗パラメータγを用いて自動的に下式（２）又は下式（３）を切り替えて、凸曲線および凹曲線の輝度変換テーブルを作成する。

I’＝Bmax-（（Bmax-I）／Bmax）γ×Bmax：Iave≦Bmed・・・・式（２）凸曲線
I’＝（I／Bmax）γ×Bmax：Iave＞Bmed ・・・・式（３）凹曲線
（だたし、I’は出力輝度、Iは入力輝度、Bmedは輝度中央値、Bmaxは輝度最大値、Iaveは入力画像注目エリアの平均輝度）
この参照テーブル判定部２２４で作成された凸曲線および凹曲線の輝度変換テーブル２３２は画像変換部２２５に送出される（ステップＳ１３）。

画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施す。このブロック単位で輝度伸張された注目ブロックの各画素に対して、線形補間算出部２２６より、図７に示したように、注目ブロックと、その周囲４ブロックの輝度変換テーブルを用いて画素位置の距離差に応じたバイリニア補間が実施され、このバイリニア補間で輝度変換された画像が画像バッファ２１に書き戻されることによって画像バッファ２１上にブロック間のバイリニア補間を施した輝度伸張画像が作成される（ステップＳ１４，Ｓ１５）。

上記した処理のより詳細な手順を図１１乃至図１８に示している。なお、図中、ｗｉｄｔｈは、画面の幅であり、ここでは、３２０画素とする。ｈｅｉｇｈｔは、画面の高さであり、ここでは、２４０画素とする。ＢＲＩＧＨＴＮＥＳＳ＿ＭＡＸは輝度の最大値、ここでは、輝度値＝２５５とする。ＢＲＩＧＨＴＮＥＳＳ＿ＭＩＥＤＩＡＮは、輝度の中央値であり、ここでは、輝度値＝１２８とする。

図１１に示すステップＳ１１１〜Ｓ１１６において、輝度伸張画像を格納するメモリ領域の確保および初期化（ｐ＿ＴｅｍｐＩｍｇ）、累積画像、総和画像（ブロック単位）を格納するメモリ領域の確保および初期化、輝度平均を求める変数の初期化（０にする）、累積総和画像の作成および格納等の各処理を実行する。図１２に示すステップＳ１１７〜Ｓ１１９において、ブロック単位の輝度の総和を求め、格納する。

図１３に示すステップＳ１２１〜Ｓ１２３において、ブロック単位の総和の畳み込み処理を実行する。ブロック数分ループし、以下の図１４に示す処理を実行する。ただし、注目ブロックが画面端ブロックの場合は、１ブロック内部にシフトしたブロックを注目ブロックとする。

図１４および図１５に示すステップＳ１３１〜Ｓ１３５において、注目ブロックの輝度平均値ｔｅｍｐＭｅａｎを算出し、格納し、輝度平均値をもとに、当該ブロックのガンマ値を求める。

ｇａｍｍａ＝
（ａ／（ＢＲＩＧＨＴＮＥＳＳ＿ＭＥＤＩＡＮ＊ ＢＲＩＧＨＴＮＥＳＳ＿ＭＥＤＩＡＮ）） ＊ （ｐｏｗｐｏｗ（（ｔｅｍｐＭｅａｎ−ＢＲＩＧＨＴＮＥＳＳ＿ＭＥＤＩＡＮ），２））＋１
（ただし、αは固定値）
図１６に示すステップＳ１３６〜Ｓ１３８において、輝度値分ループし、当該ブロックの変換テーブルを作成する。平均輝度値が輝度値範囲の中央値以下の時、以下の式で変換輝度値を求める。

（変換後の輝度値）＝
ＢＲＩＧＨＴＮＥＳＳ＿ＭＡＸ−（ｐｏｗ（（ＢＲＩＧＨＴＮＥＳＳ＿ＭＡＸ−入力画像輝度値）／ＢＲＩＧＨＴＮＥＳＳ＿ＭＡＸ、ガンマ値））×ＢＲＩＧＨＮＥＳＳ＿ＭＡＸ
平均輝度値が輝度値範囲の中央値より大きいとき、以下の式で変換輝度値を求める。

（変換後の輝度値）＝
（ｐｏｗ（（入力画像輝度値）／ＢＲＩＧＨＴＮＥＳＳ＿ＭＡＸ、ガンマ値））×ＢＲＩＧＨＮＥＳＳ＿ＭＡＸ
図１７に示すステップＳ１４１〜Ｓ１４５において、全画面分ループし、以下処理を実行する。

注目画素が位置するブロック位置（小数点）を求める。注目画素の当該ブロックとの位置差を小数点で求める。注目ブロックが画面端ブロックの場合は、１ブロック内部にシフトしたブロックを注目ブロックとする。当該ブロックと周囲ブロック（右、下、右下ブロックを含む４ブロック）の輝度変換テーブルの値に、ブロック位置差の係数を掛け線形補間の原理で変換値を求める。求めた変換値の最小、最大チェックを行い最終結果として格納する。

図１８に示すステップＳ１４６〜Ｓ１４８において、不要となったメモリ領域の解放し、ｐ＿ＴｅｍｐＩｍｇのメモリ領域を解放する。

上記したように、本発明の実施形態によれば、画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを求め、輝度伸張処理部１の補間処理手段４ｂにおいて、周囲ブロックを利用したバイリニア補間で変換輝度値を求めて、バイリニア補間を施した（周囲ブロックの輝度伸張パラメータを反映した）各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する構成としたことにより、ブロック境界に輝度差が生じることなく、画面全体の一部に明暗の画像が存在しても、その明暗の各画像を鮮明に表示出力できる輝度伸張処理機能を実現可能な画像処理装置を実現できる。

なお、上記した実施形態では、ＱＶＧＡ（３２０画素×２４０画素）の０〜２５５階調のカメラ映像を輝度伸張処理の対象となる入力画像としたが、これに限らず、例えばＶＧＡ等の画像を扱う画像処理装置に於いても本発明に係る輝度伸張処理機能部を適用することができる。また、上記実施形態において、輝度伸張処理機能を実現する輝度伸張処理部２２の構成要素（ブロック参照輝度設定部２２１、平均輝度算出部２２２、累乗パラメータ算出部２２３、参照テーブル判定部２２４、画像変換部２２５、線形補間算出部２２６等）について、その一部機能若しくはすべての機能をソフトウェア処理により実現可能である。

また、上記した実施形態では、ブロック毎に各ブロックの輝度値の総和を求め、注目ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出しているが、これに限らず、例えば、ブロック毎に輝度平均を算出し、このブロック毎の平均輝度を用いて重み付けおよび畳み込み処理を実施することも可能である。

また、上記した実施形態では、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示しているが、これに限らず、例えばシグモイド関数曲線を利用した輝度伸張処理方式や、その他の各種輝度伸張処理方式に適用可能である。

また、上記した実施形態による輝度伸張処理では、注目エリアの画面全てに対して輝度伸張処理を実施していることから、ＣＰＵパフォーマンスを大幅に必要とする（ブロックサイズが小さくなればなるほど必要パフォーマンスは大きくなる）が、ブロック分割した複数のブロックを１つのエリアとして定義し、その中を順次シフトしてテーブルの更新を行うことにより、また、変化が大きい輝度集合を保有するブロックと判断した場合にのみ、その８近傍周囲ブロックの更新を実施することにより、処理の高速化を図る（ＣＰＵの処理負荷を軽減する）ことができる。

１…輝度伸張処理部、２…単眼カメラで撮影した画像（入力画像）、３…注目エリア対象画像、４ａ…ブロック処理手段、４ｂ…補間処理手段、５…輝度伸張出力画像、１１…カメラ、１２…キャプチャ部、１３…前置画像処理部、１４…画像処理部、１５…表示部、２１…画像バッファ、２２…輝度伸張処理部、２２１…ブロック参照輝度設定部、２２２…平均輝度算出部、２２３…累乗パラメータ算出部、２２４……参照テーブル判定部、２２５…画像変換部、２２６…輝度伸張出力画像、２３１…テーブル作成部、２３２…輝度変換用テーブル（参照テーブル）。

Claims (8)

1. カメラで撮影した入力画像を、外部より指定したブロックサイズ（ｍ×ｍ）に従い複数のブロックに分割し、その分割した各ブロックについて、当該ブロックの輝度総和を輝度情報として出力する輝度設定手段と、
   前記輝度情報を受けて、平均輝度の算出対象となる注目ブロック（ｍ×ｍ）と当該注目ブロックを右・下・右下の３方向にｍ／２ブロックシフトした周囲ブロックを積み上げて、その積み上げた９つの小ブロック（ｍ／２×ｍ／２）毎に畳み込み係数をもたせて畳み込み演算を行い、その演算で得た輝度総和から平均輝度値を算出することで、前記ブロック毎の平均輝度値を算出する平均輝度算出手段と、
   前記平均輝度値をもとに、前記入力画像の各画素に対する輝度伸張処理のための累乗パラメータを前記ブロック毎に算出するパラメータ算出手段と、
   前記累乗パラメータと前記平均輝度値から輝度変換テーブルを前記ブロック毎に作成するテーブル作成手段と、
   前記入力画像の各画素に対して、当該画素の前記注目ブロックとその周囲ブロックの前記輝度変換テーブルを参照して、画素位置の距離差に応じたバイリニア補間を実施する補間処理手段と、
   前記バイリニア補間を施した前記各ブロックの各画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、
   を有することを特徴とする画像処理装置。
2. 前記畳み込み係数は、前記小ブロックの前記積み上げた数に比例することを特徴とする請求項１に記載の画像処理装置。
3. 前記パラメータ算出手段は、
   前記重なったブロックの輝度の平均、およびその輝度二乗の平均値を少なくとも用いて前記累乗パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
4. 補間処理手段は、
   注目画素が位置するブロック位置を求め、そのブロック位置と前記注目画素の当該注目ブロックとのブロック位置差を求め、当該注目ブロックとその周辺ブロックの前記輝度変換テーブルの値に、前記ブロック位置差を係数として掛け、線形補間により前記バイリニア補間の補間値を得ることを特徴とする請求項１に記載の画像処理装置。
5. カメラで撮影した入力画像を、外部より指定したブロックサイズ（ｍ×ｍ）に従い複数のブロックに分割し、その分割した各ブロックについて、当該ブロックの輝度総和を輝度情報として出力する輝度設定手段と、
   前記輝度情報を受けて、平均輝度の算出対象となる注目ブロック（ｍ×ｍ）と当該注目ブロックを右・下・右下の３方向にｍ／２ブロックシフトした周囲ブロックを積み上げて、その積み上げた９つの小ブロック（ｍ／２×ｍ／２）毎に畳み込み係数をもたせて畳み込み演算を行い、その演算で得た輝度総和から平均輝度値を算出することで、前記ブロック毎の平均輝度値を算出する平均輝度算出手段と、
   前記平均輝度値をもとに式（１）に従い、前記注目エリアに対する輝度伸張処理のための累乗パラメータγを前記ブロック毎に算出するパラメータ算出手段と、
   式（１） γ＝（α／Bmed２）×（Iave−Bmed）２＋1.0
   前記累乗パラメータγと前記平均輝度値から式（２）に従い凸曲線および式（３）に従い凹曲線の輝度変換テーブルを前記ブロック毎に作成するテーブル作成手段と、
   式（２） I’＝Bmax-（（Bmax-I）／Bmax）γ×Bmax：Iave≦Bmed
   式（３） I’＝（I／Bmax）γ×Bmax：Iave＞Bmed
   （ただし、αは固定値、Bmedは輝度中央値、Iaveは入力画像注目エリアの平均輝度、I’は出力輝度、Iは入力輝度、Bmaxは輝度最大値）
   前記入力画像の各画素に対して、当該画素の前記注目ブロックとその周囲ブロックの前記輝度変換テーブルを参照して、画素位置の距離差に応じたバイリニア補間を実施する補間処理手段と、
   前記バイリニア補間を施した前記各ブロックの各画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、
   を有することを特徴とする画像処理装置。
6. 補間処理手段は、
   注目画素が位置するブロック位置を求め、前記ブロック位置と前記注目画素の当該注目ブロックとのブロック位置差を求め、当該注目ブロックとその周辺ブロックの前記輝度変換テーブルの値に、前記ブロック位置差を係数として掛け、線形補間により前記バイリニア補間の補間値を得ることを特徴とする請求項５に記載の画像処理装置。
7. カメラで撮影した入力画像を画像バッファに保持し、前記画像バッファ上で前記入力画像についてガンマ補正を行う処理装置に、
   カメラで撮影した入力画像を、外部より指定したブロックサイズ（ｍ×ｍ）に従い複数のブロックに分割し、その分割した各ブロックについて、当該ブロックの輝度総和を輝度情報として出力する機能と、
   前記輝度情報を受けて、平均輝度の算出対象となる注目ブロック（ｍ×ｍ）と当該注目ブロックを右・下・右下の３方向にｍ／２ブロックシフトした周囲ブロックを積み上げて、その積み上げた９つの小ブロック（ｍ／２×ｍ／２）毎に畳み込み係数をもたせて畳み込み演算を行い、その演算で得た輝度総和から平均輝度値を算出することで、前記ブロック毎の平均輝度値を算出する機能と、
   前記平均輝度値をもとに、前記注目エリアに対する輝度伸張処理のための累乗パラメータを前記ブロック毎に算出する機能と、
   前記累乗パラメータと前記平均輝度値から輝度変換テーブルを前記ブロック毎に作成する機能と、
   前記入力画像の各画素に対して、当該画素の前記注目ブロックとその周囲ブロックの前記輝度変換テーブルを参照して、画素位置の距離差に応じたバイリニア補間を実施する機能と、
   前記バイリニア補間を施した前記各ブロックの各画素をもとに前記入力画像に対する輝度伸張出力画像を作成する機能と、
   を有することを特徴とする画像処理プログラム。
8. カメラで撮影した入力画像を画像バッファに保持し、前記画像バッファ上で前記入力画像についてガンマ補正を行う処理装置に、
   カメラで撮影した入力画像を、外部より指定したブロックサイズ（ｍ×ｍ）に従い複数のブロックに分割し、その分割した各ブロックについて、当該ブロックの輝度総和を輝度情報として出力する機能と、
   前記輝度情報を受けて、平均輝度の算出対象となる注目ブロック（ｍ×ｍ）と当該注目ブロックを右・下・右下の３方向にｍ／２ブロックシフトした周囲ブロックを積み上げて、その積み上げた９つの小ブロック（ｍ／２×ｍ／２）毎に畳み込み係数をもたせて畳み込み演算を行い、その演算で得た輝度総和から平均輝度値を算出することで、前記ブロック毎の平均輝度値を算出する機能と、
   前記平均輝度値をもとに式（１）に従い、前記注目エリアに対する輝度伸張処理のための累乗パラメータγを前記ブロック毎に算出する機能と、
   式（１） γ＝（α／Bmed２）×（Iave−Bmed）２＋1.0
   前記累乗パラメータγと前記平均輝度値から式（２）に従い凸曲線および式（３）に従い凹曲線の輝度変換テーブルを前記ブロック毎に作成する機能と、
   式（２） I’＝Bmax-（（Bmax-I）／Bmax）γ×Bmax：Iave≦Bmed
   式（３） I’＝（I／Bmax）γ×Bmax：Iave＞Bmed
   （ただし、αは固定値、Bmedは輝度中央値、Iaveは入力画像注目エリアの平均輝度、I’は出力輝度、Iは入力輝度、Bmaxは輝度最大値）
   前記入力画像の各画素に対して、当該画素の前記注目ブロックとその周囲ブロックの前記輝度変換テーブルを参照して、画素位置の距離差に応じたバイリニア補間を実施する機能と、
   前記バイリニア補間を施した前記各ブロックの各画素をもとに前記入力画像に対する輝度伸張出力画像を作成する機能と、
   を有することを特徴とする画像処理プログラム。

Images