JP5966603B2 - 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体 - Google Patents

Description

本発明は、画像に対し階調の画像補正を行う画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体に関する。

市販のディジタルスチルカメラ（Digital still camera）および広ダイナミックレンジ（ＲＧＢ各色８ビット以上の表現力を持つ）カメラで撮像された画像の補正技術において、輝度や明度等の明るさの偏りを改善する技術に注目が集まっている。輝度等の偏りを改善するために、処理対象となる画像に対して、単一の輝度特性を用いた補正が主体であり、例えば、輝度特性を補正する関数には、ガンマ補正関数、対数関数、および、ヒストグラム平均化等の統計処理を用いて定義された関数等が用いられている。

また、光ファイバー等のブロードバンドインターネット接続の普及や高精細度テレビジョン放送等の動画等の高解像度化により、ディジタルスチルカメラおよびディジタルビデオカメラ（Digital video camera）といった機器が、数メガピクセルからギガピクセルのように高画質化してきたため、画像処理の高速化や高精度が求められるようになってきている。

そのため、高速化で適切に画像のコントラストを強調できるように、例えば、特許文献１には、階調圧縮画像を得るための画像処理装置が開示されている。また、高精度化に関して、特許文献２には、局所領域を設定し、局所領域における明るさに関する局所ヒストグラムを算出し、局所ヒストグラムを累積して局所累積ヒストグラムを算出し、局所累積ヒストグラムの各階級における累積度数値に対応した単調増加関数を各々決定し、各単調増加関数に対する重み関数を各々決定し、重み関数により重み付けされた各単調増加関数から画素の明るさの変換関数を生成して画素の明るさを変換する画像処理装置が開示されている。

特許４２１４４５７号公報 特開２０１１−９７４６５号公報

しかしながら、特許文献１の技術では、画像処理の高速化のために、画像全体をブロックに分割し、ブロック毎に処理すると、ブロックノイズが発生してしまう。また、従来の画像補正において、画像内の黒つぶれの部分等を補正する場合、画像において輪郭部分の領域や特定輝度が集中する領域に不自然さが生じることがあり、十分とは言えなかった。さらに、特許文献２では、例えば、晴天時の空、車のボディー等の人工物、波が無い湖面等のように、明るさが連続して変化する画像の場合に、十分精度よく明るさを変換することが難しいことがあった。

本発明は、上記課題を解決するためになされたものであり、明るさが連続する画像でも精度よく各画素の明るさを変換できる画像処理装置、画像処理方法、および、画像処理用プログラムを提供することを目的とする。

上記の課題を解決するために、請求項１に記載の発明は、画像処理を行う原画像の入力を受け付ける原画像入力手段と、前記原画像から、明るさの変換を行う画素の周りに局所領域を設定する局所領域設定手段と、前記明るさに対して連続かつ単調増加であり、明るさの変換の出力上限を決める上限変換関数を設定する上限変換関数設定手段と、前記明るさに対して連続かつ単調増加であり、明るさの変換の出力下限を決める下限変換関数を設定する下限変換関数設定手段と、前記変換を行う画素の明るさにおける前記上限変換関数の値である上限値および前記下限変換関数の値である下限値を算出する上限・下限値算出手段と、前記局所領域における各画素の明るさに応じて、前記上限値と前記下限値との間の値を設定するための比率を算出する比率算出手段と、前記上限値と前記下限値と前記比率とより、前記明るさの変換を行う画素の変換後の明るさを算出する明るさ算出手段と、前記明るさに対する重みにより明るさ領域を規定するための明るさ領域関数を設定する明るさ領域関数設定手段と、前記明るさ領域関数を明るさに対して累積することにより、明るさ変換関数を設定する明るさ変換関数設定手段と、を備え、前記比率算出手段が、前記局所領域における各画素の明るさに前記明るさ変換関数を適用して、比率を算出することを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記明るさ領域関数設定手段が、前記明るさ領域毎に、各明るさ領域関数を設定し、前記明るさ変換関数設定手段が、各明るさ領域関数に対して、各明るさ変換関数を設定し、前記上限変換関数設定手段が、前記各明るさ領域に対応して上限変換関数を設定し、前記下限変換関数設定手段が、前記各明るさ領域に対応して下限変換関数を設定し、前記上限・下限値算出手段が、前記各明るさ領域に対応する上限変換関数および下限変換関数に応じて、各上限値および下限値を算出し、前記比率算出手段が、前記各明るさ変換関数を適用して、前記各上限値および前記下限値に対する各比率を算出し、前記明るさ算出手段が、前記各上限値および下限値と、前記各比率とより、前記変換後の明るさを算出することを特徴とする。

また、請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記明るさ領域関数が、連続関数であることを特徴とする。

また、請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の画像処理装置において、前記上限変換関数および下限変換関数が、明るさに対する視覚特性に合うように補正する関数であることを特徴とする。

また、請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記上限変換関数および下限変換関数が、ガンマ補正関数であることを特徴とする。

また、請求項６に記載の発明は、請求項１から請求項５のいずれか１項に記載の画像処理装置において、前記局所領域における明るさに関する局所ヒストグラムを算出する局所ヒストグラム算出手段と、前記局所領域における各画素の明るさを累積した明るさ累積ヒストグラムを算出する明るさ累積ヒストグラム算出手段と、を更に備え、前記比率算出手段が、前記局所ヒストグラムと前記明るさ累積ヒストグラムとから前記比率を算出することを特徴とする。

また、請求項７に記載の発明は、画像処理装置が画像処理をする画像処理方法において、画像処理を行う原画像の入力を受け付ける原画像入力ステップと、前記原画像から、明るさの変換を行う画素の周りに局所領域を設定する局所領域設定ステップと、前記明るさに対して連続かつ単調増加であり、明るさの変換の出力上限を決める上限変換関数を設定する上限変換関数設定ステップと、前記明るさに対して連続かつ単調増加であり、明るさの変換の出力下限を決める下限変換関数を設定する下限変換関数設定ステップと、前記変換を行う画素の明るさにおける前記上限変換関数の値である上限値および前記下限変換関数の値である下限値を算出する上限・下限値算出ステップと、前記局所領域における各画素の明るさに応じて、前記上限値と前記下限値との間の値を設定するための比率を算出する比率算出ステップと、前記上限値と前記下限値と前記比率とより、前記明るさの変換を行う画素の変換後の明るさを算出する明るさ算出ステップと、前記明るさに対する重みにより明るさ領域を規定するための明るさ領域関数を設定する明るさ領域関数設定ステップと、前記明るさ領域関数を明るさに対して累積することにより、明るさ変換関数を設定する明るさ変換関数設定ステップと、を有し、前記比率算出ステップが、前記局所領域における各画素の明るさに前記明るさ変換関数を適用して、比率を算出することを特徴とする。

また、請求項８に記載の発明は、コンピュータを、画像処理を行う原画像の入力を受け付ける原画像入力手段、前記原画像から、明るさの変換を行う画素の周りに局所領域を設定する局所領域設定手段、前記明るさに対して連続かつ単調増加であり、明るさの変換の出力上限を決める上限変換関数を設定する上限変換関数設定手段、前記明るさに対して連続かつ単調増加であり、明るさの変換の出力下限を決める下限変換関数を設定する下限変換関数設定手段、前記変換を行う画素の明るさにおける前記上限変換関数の値である上限値および前記下限変換関数の値である下限値を算出する上限・下限値算出手段、前記局所領域における各画素の明るさに応じて、前記上限値と前記下限値との間の値を設定するための比率を算出する比率算出手段、前記明るさに対する重みにより明るさ領域を規定するための明るさ領域関数を設定する明るさ領域関数設定手段、前記明るさ領域関数を明るさに対して累積することにより、明るさ変換関数を設定する明るさ変換関数設定手段、および、前記上限値と前記下限値と前記比率とより、前記明るさの変換を行う画素の変換後の明るさを算出する明るさ算出手段として機能させ、前記比率算出手段が、前記局所領域における各画素の明るさに前記明るさ変換関数を適用して、比率を算出することを特徴とする。

また、請求項９に記載の発明は、コンピュータを、画像処理を行う原画像の入力を受け付ける原画像入力手段、前記原画像から、明るさの変換を行う画素の周りに局所領域を設定する局所領域設定手段、前記明るさに対して連続かつ単調増加であり、明るさの変換の出力上限を決める上限変換関数を設定する上限変換関数設定手段、前記明るさに対して連続かつ単調増加であり、明るさの変換の出力下限を決める下限変換関数を設定する下限変換関数設定手段、前記変換を行う画素の明るさにおける前記上限変換関数の値である上限値および前記下限変換関数の値である下限値を算出する上限・下限値算出手段、前記局所領域における各画素の明るさに応じて、前記上限値と前記下限値との間の値を設定するための比率を算出する比率算出手段、前記上限値と前記下限値と前記比率とより、前記明るさの変換を行う画素の変換後の明るさを算出する明るさ算出手段、前記明るさに対する重みにより明るさ領域を規定するための明るさ領域関数を設定する明るさ領域関数設定手段、および、前記明るさ領域関数を明るさに対して累積することにより、明るさ変換関数を設定する明るさ変換関数設定手段として機能させ、前記比率算出手段が、前記局所領域における各画素の明るさに前記明るさ変換関数を適用して、比率を算出することを特徴とする画像処理用プログラムがコンピュータ読み取り可能に記録される。

本発明によれば、原画像から、明るさの変換を行う画素の周りに局所領域を設定し、明るさに対して連続かつ単調増加であり、明るさの変換の出力上限を決める上限変換関数を設定し、明るさに対して連続かつ単調増加であり、明るさの変換の出力下限を決める下限変換関数を設定し、変換を行う画素の明るさにおける上限変換関数の値である上限値および前記下限変換関数の値である下限値を算出し、局所領域における各画素の明るさに応じて、上限値と下限値との間の値を設定するための比率を算出し、上限値と下限値と比率とより、明るさの変換を行う画素の変換後の明るさを算出することにより、明るさが連続する画像でも精度よく各画素の明るさを変換できる。

本発明の第１実施形態に係る画像処理装置の概要構成例を示すブロック図である。 図１の画像処理部の概要構成例を示すブロック図である。 図２に示したＹ方向の加算処理部の概要構成例を示すブロック図である。 図２に示したＸ方向の加算処理部の概要構成例を示すブロック図である。 図１の画像処理装置における第１実施形態の動作例を示すフローチャートである。 輝度を輝度領域に分割するための重み関数の一例を示す線図である。 図６の重み関数に対する輝度値変換関数の一例を示す線図である。 低輝度領域における上限変換関数および下限変換関数の一例を示す線図である。 中輝度領域における上限変換関数および下限変換関数の一例を示す線図である。 高輝度領域における上限変換関数および下限変換関数の一例を示す線図である。 図１の画像処理装置により画像処理をする原画像の一例を示す模式図である。 図９の原画像において、輝度の変換を行うある画素を中心とした局所領域の一例を示す模式図である。 低輝度領域において、対象画素の輝度値における上限値、下限値、および、変換後の輝度値の一例を示す模式図である。 中輝度領域において、対象画素の輝度値における上限値、下限値、および、変換後の輝度値の一例を示す模式図である。 高輝度領域において、対象画素の輝度値における上限値、下限値、および、変換後の輝度値の一例を示す模式図である。 輝度値変換テーブルの一例を示す模式図である。 Ｂｏｘフィルタの考え方を示す模式図である。 Ｂｏｘフィルタの考え方を示す模式図である。 Ｂｏｘフィルタの考え方を示す模式図である。 Ｂｏｘフィルタの考え方を示す模式図である。 Ｂｏｘフィルタの考え方を示す模式図である。 図１の画像処理装置による輝度変換後の画像の一例を示す模式図である。 輝度変換後の画像の一例を示す模式図である。 図６の重み関数に対する輝度値変換関数の変形例を示す線図である。 図１１Ａの比率の変形例を示す模式図である。 図１の画像処理装置において、本発明の第２実施形態に係る動作例を示すフローチャートである。 局所領域における各画素の輝度値を累積した輝度累積ヒストグラムの一例を示す線図である。 局所領域における輝度に関する局所ヒストグラムの一例を示す線図である。

以下、図面を参照して本発明を実施するための形態について説明する。

［１．構成および機能概要］
（１．１ 画像処理装置の構成および機能）
まず、本発明に係る第１実施形態に係る画像処理装置の概要構成および機能について、図を用いて説明する。

図１は、本発明の第１実施形態に係る画像処理装置の概要構成例を示すブロック図である。

図１に示すように、画像処理装置１は、画像処理用のＬＳＩ（Large Scale Integration）であり、各種の演算を行うＣＰＵ（Central Processing Unit）部２と、専用の画像処理を行う画像処理部３と、画像データ等を記憶する記憶部４と、処理される画像データを入力して処理結果を出力する入出力部（Ｉ／Ｏ）５と、を備える。これら各部は、画像処理装置１において、同一ダイ上に集積され、内部バス（図示せず）に接続されている。

入出力部５は、任意の画像信号（例えば、ＲＧＢ信号）から、Ｙ,Ｃｂ,Ｃｒ信号等の輝度と色を示す画像信号に変換する機能を有する。

ＣＰＵ部２は、演算装置やレジスタ等を有し、各種のプログラムを実行したり、入出力部５を通したデータの入手力を制御したり、画像処理部３に画像処理の指令をしたり、画像処理装置１外部のメインメモリ等を制御する。

画像処理部３は、論理回路や、ラインメモリやシフトレジスタ等を有する。そして画像処理部３は、原画像から、輝度や明度等の明るさの変換を行う画素を中心とした局所領域を抽出したり、局所領域における各画素の明るさに応じて、明るさの変換を行ったり等、ＣＰＵ部２からの指令に従って専用の画像処理をする。また、画像処理部３は、Box-Filtering方式を利用した、高速に逐次的に画像処理するための回路を有する。

記憶部４は、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像を記憶するためのメモリ、すなわち、フレーム・メモリの機能を有する。また、記憶部４には、画像処理に必要なパラメータテーブルが記憶されている。

（１．２ 画像処理部の回路構成）
次に、画像処理部３が有する回路構成について図を用いて説明する。

図２は、画像処理部３の概要構成例を示すブロック図である。ここで、Ｘ方向は、画像処理の対象である原画像に対して走査する方向であり、Ｙ方向とは、原画像に対してＸ方向に走査してＸ方向の端に来ると、Ｙ方向に順に走査を１画素移動させる方向である。

図２に示すように、画像処理部３は、原画像の画素データの輝度値に応じて輝度値を変換する輝度値変換関数を実現する輝度値変換テーブル部ＴＣｓ、ＴＣｍ、ＴＣｈと、輝度値変換テーブル部ＴＣｓ、ＴＣｍ、ＴＣｈからの画素データを処理するＹ方向の加算処理部１０と、Ｙ方向の加算処理部１０からの画素データを処理するＸ方向の加算処理部２０とを備える。なお、Ｙ方向の加算処理部１０およびＸ方向の加算処理部２０が、Box-Filtering方式を実現し、計算を高速化する。

輝度値変換テーブル部ＴＣｓは、低輝度領域用の輝度値変換テーブルを有し、輝度値変換テーブル部ＴＣｍは、中輝度領域用の輝度値変換テーブルを有し、輝度値変換テーブル部ＴＣｈは、高輝度領域用の輝度値変換テーブルを有する。各輝度領域用の２つの輝度値変換テーブル部には、Ｙ方向にずれた画素の位置の輝度値が入力される。各輝度値変換テーブル部ＴＣｓ、ＴＣｍ、ＴＣｈの出力端の各々にＹ方向の加算処理部１０が接続される。Ｙ方向の加算処理部１０の入力端には、２つの輝度値変換テーブル部の各出力端が接続される。各Ｙ方向の加算処理部１０には、Ｘ方向の加算処理部２０が各々接続される。

各輝度値変換テーブル部ＴＣｓ、ＴＣｍ、ＴＣｈに、原画像の局所領域内のある画素の輝度値Ｌ［ｘｔ＋Ｎ，ｙｔ＋Ｎ］に対して、Ｙ方向にタップ数２Ｎ＋１分、離れた画素の輝度値Ｌ［ｘｔ＋Ｎ、ｙｔ−Ｎ−１］が入力され、各輝度値変換テーブル部ＴＣｓ、ＴＣｍ、ＴＣｈは、各輝度値変換テーブルに対応した値を出力する。

そして、画像処理部３は、各輝度値変換テーブル部ＴＣｓ、ＴＣｍ、ＴＣｈ、Ｙ方向の加算処理部１０およびＸ方向の加算処理部２０により、座標［ｘｔ，ｙｔ］である対象画素ＰＩＸ［ｘｔ，ｙｔ］の輝度値Ｌ［ｘｔ，ｙｔ］を中心とした局所領域（タップ数２Ｎ＋１の正方領域）の統計情報として、輝度領域Ｂｓ、Ｂｍ、Ｂｈ毎に輝度値変換関数Ｃｓ［Ｌ］、Ｃｍ［Ｌ］、Ｃｈ［Ｌ］で変換した輝度値の総和のデータＳｕｍＣｓ、ＳｕｍＣｍ、ＳｕｍＣｈを求める。

（１．３ Ｙ方向の加算処理部１０の概要構成および機能）
次に、Ｙ方向の加算処理部１０の概要構成および機能について、図３を用いて説明する。なお、データついては、データＣｓを用いて説明を行い、データＣｍ、Ｃｈに関しては同様なので、省略する。

図３は、Ｙ方向の加算処理部１０の概要構成例を示すブロック図である。

図３に示すように、Ｙ方向の加算処理部１０は、入力側からの輝度値変換テーブル部ＴＣｓの出力データＣｓ［ｘｔ＋Ｎ，ｙｔ＋Ｎ］と、出力側からのフィードバックされたデータＢａｒＣｓとを加算する加算器１１と、加算器１１からの出力データから、入力側からの輝度値変換テーブル部ＴＣｓの出力データＣｓ［ｘｔ＋Ｎ，ｙｔ−Ｎ−１］を減算する減算器１２と、減算器１２からのデータＢａｒＣｓを１ライン分（原画像のＸ方向の画素数個分）順に記憶するラインメモリ１３と、を有する。なお、画像データの座標は一例である。

加算器１１は、例えば、半加算器や全加算器等から構成された複数ビット用の加算器であり、任意の桁数の２進数の加算を行う。

減算器１２は、例えば、not回路や全加算器等から構成された複数ビット用の減算器であり、任意の桁数の２進数の減算を行う。

ラインメモリ１３は、原画像のＸ方向のライン分の長さの画素データ等を記憶するメモリであり、減算器１２からの出力のデータＢａｒＣｓ［ｘｔ＋Ｎ，ｙｔ］を記憶し、１ライン分遅れたデータを加算器１１に出力するシフトレジスタとして機能する。すなわち、加算処理のたびに、参照したＢａｒＣｓ［ｘｔ＋Ｎ，ｙｔ−１］を破棄し、生成したＢａｒＣｓ［ｘｔ＋Ｎ，ｙｔ］を記憶するＦＩＦＯメモリとして機能する。ここで、画像処理装置１は、Ｘ方向に１画素ずつ走査していき、１ライン分遅れた画素データを出力するので、ラインメモリ１３は、Ｙ方向に１画素マイナスの画素データを出力する。

Ｙ方向の加算処理部１０の入力は、加算器１１の一方の入力端および減算器１２の一方の入力端により形成されている。加算器１１の出力端は、減算器１２の入力端に接続され、減算器１２の出力端は、Ｙ方向の加算処理部１０の外部に出力する出力端を形成し、この分岐がラインメモリ１３の入力端に接続されている。そして、ラインメモリ１３の出力端は、加算器１１の入力端に接続されている。

（１．４ Ｘ方向の加算処理部２０の概要構成および機能）
次に、Ｘ方向の加算処理部２０の概要構成および機能について、図４を用いて説明する。なお、データついては、データＢａｒＣｓを用いて説明を行い、データＢａｒＣｍ、ＢａｒＣｈに関しては同様なので、省略する。

図４は、Ｘ方向の加算処理部２０の概要構成例を示すブロック図である。

図４に示すように、Ｘ方向の加算処理部２０は、入力側からの入力のデータＢａｒＣｓ［ｘｔ＋Ｎ，ｙｔ］と、出力側からのフィードバックされたデータＳｕｍＣｓ［ｘｔ，ｙｔ］とを加算する加算器２１と、加算器２１からの出力データから、シフトレジストされた入力側からの入力のデータＢａｒＣｓ［ｘｔ−Ｎ−１，ｙｔ］を減算して外部に出力する減算器２２と、入力側からの入力のデータＢａｒＣｓ［ｘｔ＋Ｎ，ｙｔ］をシフトレジストするシフトレジスタ２３と、減算器２２の出力のデータＳｕｍＣｓ［ｘｔ，ｙｔ］を１データ分記憶して、データＳｕｍＣｓ［ｘｔ−１，ｙｔ］を加算器２１に出力する記憶器２４と、を有する。

加算器２１は、加算器１１と同様の構成および機能を有し、減算器２２は、減算器１２と同様の構成および機能を有する。

シフトレジスタ２３は、タップ数分のデータを記憶するシフトレジスタであり、入力側からの入力のデータＢａｒＣｓ［ｘｔ＋Ｎ，ｙｔ］を記憶し、タップ数分遅れたデータＢａｒＣｓ［ｘｔ−Ｎ−１，ｙｔ］を減算器２２に出力するシフトレジスタとして機能する。

記憶器２４は、データ１個分を記憶する遅延素子である。

Ｘ方向の加算処理部２０の入力は、加算器２１およびシフトレジスタ２３の入力端に接続されている。加算器２１およびシフトレジスタ２３の出力端は、減算器２２の入力端に接続され、減算器２２の出力端は、Ｘ方向の加算処理部２０の外部に出力する出力端を形成し、この分岐が記憶器２４の入力端に接続されている。そして、記憶器２４の出力端は、加算器２１の入力端に接続されている。

［２．画像処理装置における第１実施形態の動作］
（２．１ 画像処理装置１の動作例）
次に、画像処理装置１の動作例について、図５から図１１を用いて説明する。

図５は、画像処理装置１における動作例を示すフローチャートである。図６は、輝度を輝度領域に分割するための重み関数の一例を示す線図である。図７は、重み関数に対する輝度値変換関数の一例を示す線図である。図８Ａは、低輝度領域における上限変換関数および下限変換関数の一例を示す線図である。図８Ｂは、中輝度領域における上限変換関数および下限変換関数の一例を示す線図である。図８ｃは、高輝度領域における上限変換関数および下限変換関数の一例を示す線図である。図９は、画像処理装置１により画像処理をする原画像の一例を示す模式図である。図１０は、原画像において、輝度の変換を行うある画素を中心とした局所領域の一例を示す模式図である。図１１Ａは、低輝度領域において、対象画素の輝度値における上限値、下限値、および、変換後の輝度値の一例を示す模式図である。図１１Ｂは、中輝度領域において、対象画素の輝度値における上限値、下限値、および、変換後の輝度値の一例を示す模式図である。図１１Ｃは、高輝度領域において、対象画素の輝度値における上限値、下限値、および、変換後の輝度値の一例を示す模式図である。

まず、図５に示すように、画像処理装置１は、各輝度領域に対応した輝度領域関数を設定する（ステップＳ１）。具体的には、画像処理装置１のＣＰＵ部２が、図６に示すように、輝度領域（明るさ領域の一例）を低輝度領域Ｂｓ，中輝度領域Ｂｍ，高輝度領域Ｂｈに、重みにより区分するための輝度領域関数Ｗｓ，Ｗｍ，Ｗｈ（明るさ領域関数の一例）を各々設定する。輝度領域関数Ｗｓ，Ｗｍ，Ｗｈは、輝度に対する重みにより各輝度領域を規定する。低輝度領域Ｂｓは、輝度領域関数Ｗｓの重みに従って、輝度を表す値が０から２５５まで広がる領域である。中輝度領域Ｂｍは、輝度領域関数Ｗｍの重みに従って、輝度０から輝度２５６まで広がる領域である。高輝度領域Ｂｈは、輝度領域関数Ｗｈの重みに従って、輝度０から輝度２５６まで広がる領域である。

輝度値Ｌの関数である輝度領域関数Ｗｓ，Ｗｍ，Ｗｈは、例えば、式（１）により設定される。

輝度領域関数Ｗｓおよび輝度領域関数Ｗｈは、ガウス関数であり、また、低、中、高の各領域の面積（重みの合計）がほぼ等しくなるように、分散値σが調整される。また、輝度領域関数Ｗｍは、ある輝度値における各輝度領域の重みの合計が、１になるように設定される。なお、本実施形態では、ガウス関数を用いたが、シグモイド曲線等、他の関数を用いてもよい。但し、関数は連続的な変化をする関数であることが好ましい。また、分割される領域数は３に限らず、２や４でもよい。

このように、画像処理装置１は、明るさに対する重みにより明るさ領域（低輝度領域Ｂｓ等）を規定するための明るさ領域関数（輝度領域関数Ｗｓ等）を設定する明るさ領域関数設定手段の一例として機能する。また、画像処理装置１は、明るさ領域毎（各輝度領域Ｂｓ、Ｂｍ，Ｂｈ）に、各明るさ領域関数を設定する明るさ領域関数設定手段の一例として機能する。

次に、画像処理装置１は、輝度領域関数から輝度領域毎の輝度値変換関数を設定する（ステップＳ２）。具体的には、画像処理装置１のＣＰＵ部２が、輝度領域関数Ｗｓ、Ｗｍ，Ｗｈを累積した輝度累積関数Ｆｓ，Ｆｍ、Ｆｈを求める。輝度累積関数Ｆｓ，Ｆｍ、Ｆｈは、
である。ここで、最小輝度は０とし、最大輝度をＬｍａｘとする。

そして、画像処理装置１のＣＰＵ部２が、図７に示すように、輝度累積関数Ｆｓ，Ｆｍ、Ｆｈより、輝度値変換関数Ｃｓ、Ｃｍ、Ｃｈ（明るさ変換関数の一例）を設定する。

ここで、輝度値変換関数Ｃｓ、Ｃｍ、Ｃｈは、正規化するために、輝度累積関数Ｆｓ，Ｆｍ、Ｆｈを、輝度累積関数Ｆｓ，Ｆｍ、Ｆｈの各々最大値である最大値ｍａｘ［Ｆｓ］、ｍａｘ［Ｆｍ］、ｍａｘ［Ｆｈ］で割った関数である。

このように、画像処理装置１は、明るさ領域関数（輝度領域関数Ｗｓ，Ｗｍ，Ｗｈ）を明るさ（輝度）に対して累積することにより、輝度累積関数Ｆｓ，Ｆｍ、Ｆｈを求め、明るさ変換関数（輝度値変換関数Ｃｓ、Ｃｍ、Ｃｈ）を設定する明るさ変換関数設定手段の一例として機能する。また、画像処理装置１は、各明るさ領域関数に対して、各明るさ変換関数（輝度値変換関数Ｃｓ、Ｃｍ、Ｃｈ）を設定する明るさ変換関数設定手段の一例として機能する。

次に、画像処理装置１は、輝度領域毎の上・下限変換関数を設定する（ステップＳ３）。具体的には、画像処理装置１のＣＰＵ部２が、図８Ａ、図８Ｂ、図８Ｃに示すように、輝度変換の上限値と下限値を規定するために、輝度領域Ｂｓ、Ｂｍ、Ｂｈ毎に上限変換関数として、上限ガンマ曲線関数Ｇｓ１、Ｇｍ１、Ｇｈ１と、下限変換関数として、下限ガンマ曲線関数Ｇｓ０、Ｇｍ０、Ｇｈ０とを設定する。ここで、各ガンマ曲線関数（ガンマ補正関数）のガンマ値は任意に設定可能とする。

なお、上限変換関数（上限ガンマ曲線関数Ｇｓ１、Ｇｍ１、Ｇｈ１）は、輝度に対して連続かつ単調増加であり、輝度変換の出力の上限を決める。下限変換関数（下限ガンマ曲線関数Ｇｓ０、Ｇｍ０、Ｇｈ０）は、輝度に対して連続かつ単調増加であり、輝度変換の出力の下限を決める。また、上限ガンマ曲線関数Ｇｓ１、Ｇｍ１、Ｇｈ１および下限ガンマ曲線関数Ｇｓ０、Ｇｍ０、Ｇｈ０は、ガンマ補正関数である。また、ガンマ補正関数は、明るさに対する視覚特性に合うように補正する関数の一例である。また、本実施形態では上限変換関数および下限変換関数の一例として、ガンマ曲線関数を挙げたが、上限変換関数および下限変換関数を生成する曲線は、単調増加であれば、ガンマ曲線関数に限定されるものでは無い。例えば、複数のガンマ曲線関数を合成した曲線や、直線とガンマ曲線関数を合成した曲線等であってもよい。

次に、画像処理装置１は、画像処理を行う原画像の入力を受け付ける（ステップＳ４）。具体的には、画像処理装置１のＣＰＵ部２が、画像処理装置１の外部から、図９に示すような画像処理を行う原画像３０を取得して、記憶部４のフレーム・メモリに記憶させる。ここで、図９に示すように、原画像では、逆光などで暗く見えにくくなってしまう”黒つぶれ”や、逆に明るく見えにくくなる”白とび”が生じていて、原画像は、輝度の偏りが生じている例である。

このように画像処理装置１は、画像処理を行う原画像の入力を受け付ける原画像入力手段の一例として機能する。

次に、画像処理装置１は、原画像から処理の対象画素を設定する（ステップＳ５）。具体的には、ＣＰＵ部２が、画像処理の指令を画像処理部３に与え、図１０に示すように、画像処理部３が、記憶部４の原画像３０から処理の対象画素ＰＩＸ［ｘｔ,ｙｔ］を設定する。さらに具体的には、画像処理部３が、画像処理の対象である原画像に対してＸ方向に走査してＸ方向の端に来ると、Ｙ方向に順に走査を１画素移動させて、対象画素を設定していき、原画像を画素毎に順次ディジタル処理する。

次に、画像処理装置１は、対象画素を中心とした局所領域を設定する（ステップＳ６）。具体的には、画像処理装置１の画像処理部３は、図１０に示すように、明るさの変換を行う画素である対象画素ＰＩＸ［ｘｔ，ｙｔ］を中心とした局所領域３２を設定する。ここで、Box-Filtering方式を利用する場合、タップ数を設定することにより、局所領域が
決定される。画像処理装置１は、対象画素ＰＩＸ［ｘｔ,ｙｔ］をＸ方向に１画素ずつ走
査していく。そして、画像処理装置１は、走査が原画像３０の図中右端にくると、左端に戻り、Ｙ方向に１画素分移動して、Ｘ方向に操作していく。

このように画像処理装置１は、原画像から、明るさの変換を行う画素を中心とした局所領域を設定する局所領域設定手段の一例として機能する。

次に、画像処理装置１は、各輝度領域に対して対象画素の輝度値における上限・下限変換関数値を算出する（ステップＳ７）。具体的には、画像処理装置１のＣＰＵ部２が、低輝度領域Ｂｓの場合、図１１Ａに示すように、対象画素ＰＩＸ［ｘｔ,ｙｔ］の輝度値Ｌ［ｘｔ,ｙｔ］における上限変換関数値Ｇｓ１［Ｌ［ｘｔ,ｙｔ］］および下限変換関数値Ｇｓ０［Ｌ［ｘｔ,ｙｔ］］を算出する。中輝度領域Ｂｍの場合、図１１Ｂに示すように、画像処理装置１のＣＰＵ部２が、対象画素［ｘｔ,ｙｔ］の輝度値Ｌ［ｘｔ,ｙｔ］における上限変換関数値Ｇｍ１［Ｌ［ｘｔ,ｙｔ］］および下限変換関数値Ｇｍ０［Ｌ［ｘｔ,ｙｔ］］を算出する。高輝度領域Ｂｈの場合、図１１Ｃに示すように、画像処理装置１のＣＰＵ部２が、対象画素［ｘｔ,ｙｔ］の輝度値Ｌ［ｘｔ,ｙｔ］における上限変換関数値Ｇｈ１［Ｌ［ｘｔ,ｙｔ］］および下限変換関数値Ｇｈ０［Ｌ［ｘｔ,ｙｔ］］を算出する。

なお、上限変換関数値Ｇｓ１［Ｌ［ｘｔ,ｙｔ］］、Ｇｍ１［Ｌ［ｘｔ,ｙｔ］］、Ｇｈ１［Ｌ［ｘｔ,ｙｔ］］は、各輝度領域において、変換を行う画素（対象画素ＰＩＸ［ｘｔ,ｙｔ］）の明るさ（輝度値Ｌ［ｘｔ,ｙｔ］）における上限変換関数Ｇｓ１、Ｇｍ１、Ｇｈ１の値である上限値である。下限変換関数値Ｇｓ０［Ｌ［ｘｔ,ｙｔ］］、Ｇｍ０［Ｌ［ｘｔ,ｙｔ］］、Ｇｈ０［Ｌ［ｘｔ,ｙｔ］］は、各輝度領域において、変換を行う画素（対象画素ＰＩＸ［ｘｔ,ｙｔ］）の明るさ（輝度値Ｌ［ｘｔ,ｙｔ］）における下限変換関数Ｇｓ０、Ｇｍ０、Ｇｈ０の値である下限値である。

このように、画像処理装置１は、明るさに対して連続かつ単調増加であり、明るさの変換の出力上限を決める上限変換関数を設定する上限変換関数設定手段、明るさに対して連続かつ単調増加であり、明るさの変換の出力下限を決める下限変換関数を設定する下限変換関数設定手段の一例として機能する。また、画像処理装置１は、各明るさ領域（輝度領域Ｂｓ，Ｂｍ，Ｂｈ）に対応して上限変換関数（上限ガンマ曲線関数Ｇｓ１、Ｇｍ１、Ｇｈ１）を設定する上限変換関数設定手段の一例として機能する。また、画像処理装置１は、各明るさ領域（輝度領域Ｂｓ，Ｂｍ，Ｂｈ）に対応して下限変換関数（下限ガンマ曲線関数Ｇｓ０、Ｇｍ０、Ｇｈ０）を設定する下限変換関数設定手段の一例として機能する。

また、画像処理装置１は、変換を行う画素の明るさにおける上限変換関数の値である上限値および下限変換関数の値である下限値を算出する上限・下限値算出手段の一例として機能する。また、画像処理装置１は、各明るさ領域（輝度領域Ｂｓ，Ｂｍ，Ｂｈ）に対応する上限変換関数および下限変換関数に応じて、各上限値および下限値を算出する上限・下限値算出手段の一例として機能する。

次に、画像処理装置１は、局所領域の各画素に輝度値変換関数を適用して総和を求め、上限・下限変換関数値の間の値を設定するための分割比率を算出する（ステップＳ８）。具体的には、画像処理装置１の画像処理部３が、座標［ｘｔ，ｙｔ］である対象画素ＰＩＸ［ｘｔ，ｙｔ］の輝度値Ｌ［ｘｔ,ｙｔ］を中心とした局所領域３２の統計情報として
、各輝度領域Ｂｓ、Ｂｍ、Ｂｈに輝度値変換関数Ｃｓ［Ｌ］、Ｃｍ［Ｌ］、Ｃｈ［Ｌ］で変換した輝度値の総和のデータＳｕｍＣｓ、ＳｕｍＣｍ、ＳｕｍＣｈを各々求める。さらに具体的には、図２に示すように、画像処理部３の輝度値変換テーブル部ＴＣｓ、ＴＣｍ、ＴＣｈが、局所領域の各画素に対して、各領域の輝度値変換関数Ｃｓ［Ｌ］、Ｃｍ［Ｌ］、Ｃｈ［Ｌ］の値を求める。そして、画像処理部３のＹ方向の加算処理部１０およびＸ方向の加算処理部２０が、総和のデータＳｕｍＣｓ、ＳｕｍＣｍ、ＳｕｍＣｈを求める。そして、画像処理装置１のＣＰＵ部２は、画像処理部３から、総和のデータＳｕｍＣｓ、ＳｕｍＣｍ、ＳｕｍＣｈのデータを受信し、正規化するために、各総和のデータＳｕｍＣｓ、ＳｕｍＣｍ、ＳｕｍＣｈは局所領域に含まれる画素数ＳＵＭで各々割り、各分割比率Ｈｓ、Ｈｍ、Ｈｈを求める。

各分割比率Ｈｓ、Ｈｍ、Ｈｈを式で表すと式（４）になる。

ここで、局所領域は一辺の長さを２Ｎ＋１の大きさの正方形とする。また、局所領域に含まれる各画素の輝度をＬ［ｉ，ｊ］とする。また、Ｃｓ［Ｌ［ｉ，ｊ］］、Ｃｍ［Ｌ［ｉ，ｊ］］、Ｃｈ［Ｌ［ｉ，ｊ］］を、各々単にＣｓ［ｉ，ｊ］、Ｃｍ［ｉ，ｊ］、Ｃｈ［ｉ，ｊ］と記載する。

なお、各分割比率Ｈｓ、Ｈｍ、Ｈｈは、Ｙ方向の加算処理部１０およびＸ方向の加算処理部２０により、Box-Filtering方式（後述）で高速に算出される。また、本実施形態で
は、局所領域の形を正方形としたが、任意の縦横比の長方形でもよい。また、各座標値［ｉ，ｊ］は、ラスタスキャン順に増加する。

次に、画像処理装置１は、上限・下限変換関数値と分割比率とより各輝度領域の変換輝度値を求める（ステップＳ９）。具体的には、画像処理装置１のＣＰＵ部２が、輝度領域Ｂｓ、Ｂｍ、Ｂｈ毎に、対象画素ＰＩＸ［ｘｔ,ｙｔ］の輝度値Ｌ［ｘｔ,ｙｔ］に対応する、各領域の上限ガンマ値と下限ガンマ値を分割比率Ｈｓ，Ｈｍ、Ｈｈを利用して、輝度領域毎の変換輝度値Ｌｓ、Ｌｍ、Ｌｈを式（５）より求める。

図１１Ａに示すように、低輝度領域Ｂｓの場合、輝度値Ｌ［ｘｔ,ｙｔ］における各領域の下限ガンマ値Ｇｓ０［Ｌ［ｘｔ,ｙｔ］］および上限ガンマ値Ｇｓ１［Ｌ［ｘｔ,ｙｔ］］から、分割比率Ｈｓ［ｘｔ,ｙｔ］から、式（５）に従って変換輝度値Ｌｓ［ｘｔ,ｙｔ］を求める。

また、図１１Ｂに示すように、中輝度領域Ｂｍの場合、輝度値Ｌ［ｘｔ,ｙｔ］における各領域の下限ガンマ値Ｇｍ０［Ｌ［ｘｔ,ｙｔ］］および上限ガンマ値Ｇｍ１［Ｌ［ｘｔ,ｙｔ］］から、分割比率Ｈｍ［ｘｔ,ｙｔ］から、式（５）に従って変換輝度値Ｌｍ［ｘｔ,ｙｔ］を求める。

また、図１１Ｃに示すように、高輝度領域Ｂｈの場合、輝度値Ｌ［ｘｔ,ｙｔ］における各領域の下限ガンマ値Ｇｈ０［Ｌ［ｘｔ,ｙｔ］］および上限ガンマ値Ｇｈ１［Ｌ［ｘｔ,ｙｔ］］から、分割比率Ｈｈ［ｘｔ,ｙｔ］から、式（５）に従って変換輝度値Ｌｈ［ｘｔ,ｙｔ］を求める。

このように、画像処理装置１は、局所領域における各画素の明るさ（輝度）に応じて、上限値と下限値との間の値を設定するための比率（分割比率Ｈ）を算出する比率算出手段の一例として機能する。また、画像処理装置１は、局所領域における各画素の明るさに明るさ変換関数（輝度値変換関数Ｃｓ、Ｃｍ、Ｃｈ）を適用して、比率を算出する比率算出手段の一例として機能する。また、画像処理装置１は、各明るさ変換関数（輝度値変換関数Ｃｓ、Ｃｍ、Ｃｈ）を適用して、各上限値および下限値に対する各比率（分割比率Ｈｓ、Ｈｍ、Ｈｈ）を算出する比率算出手段の一例として機能する。

次に、画像処理装置１は、各輝度領域の変換輝度値より変換輝度を求める（ステップＳ１０）。具体的には、画像処理装置１のＣＰＵ部２が、式（６）のように、各領域の変換輝度値Ｌｓ［ｘｔ,ｙｔ］、Ｌｍ［ｘｔ,ｙｔ］、Ｌｈ［ｘｔ,ｙｔ］を加算し、対象画素
ＰＩＸ［ｘｔ,ｙｔ］における輝度値を変換した輝度Ｌｏｕｔ［ｘｔ,ｙｔ］を求める。

このように、画像処理装置１は、上限値と下限値と比率とより、明るさ（輝度）の変換を行う画素の変換後の明るさ（輝度Ｌｏｕｔ）を算出する明るさ算出手段の一例として機能する。また、画像処理装置１は、各上限値および下限値と、各比率（分割比率Ｈｓ、Ｈｍ、Ｈｈ）とより、変換後の明るさを算出する明るさ算出手段の一例として機能する。

次に、画像処理装置１は、最後の画素か否かを判定する（ステップＳ１１）。具体的には、画像処理部３は、原画像を走査していき、最後の画素まで来たか否かを判定する。最後の画素で無い場合（ステップＳ１１；ＮＯ）、画像処理部３は、ステップＳ５に戻り、次の対象画素に移動して輝度変換を行う。最後の画素の場合（ステップＳ１１；ＹＥＳ）、画像処理部３は、処理を終了し、ＣＰＵ部２に、画像処理終了の信号を送信する。

（２．２ Box-Filtering方式の説明）
次に、画像処理部３で高速に画像処理するためのBox-Filtering方式について図を用いて説明する。

図１２は、輝度値変換テーブルの一例を示す模式図である。図１３から図１７はＢｏｘフィルタの考え方を示す模式図である。

対象画素PIXの輝度を決めるに当たり、局所領域３２に含まれる全画素による演算が必要であり、単純に処理を行うと、極めて多くの演算が必要になる。この演算数を低減する方法の一つとして、Box-Filteringの考え方が応用できる。

対象画素ＰＩＸ［ｘｔ,ｙｔ］に対して、分割比率Ｈｓ、Ｈｍ、Ｈｈを求めることが、回路化に際して重い処理となる。分割比率Ｈｓ、Ｈｍ、Ｈｈは、同一の手法で求めることができるので、ここでは、低輝度領域Ｂｓについて、分割比率Ｈｓを例に説明する。

まず、図１２示すように、予めに用意した輝度値変換テーブル部ＴＣｓによって、輝度値変換関数Ｃｓが実現される。輝度値変換テーブル部ＴＣｓは、例えば、メモリ(ＲＡＭまたはＲＯＭ)により実装される。そして、メモリのアドレスを任意の輝度値Ｌを入力とし、各輝度に対する変換結果がＣｓ［Ｌ］を出力するように、メモリのデータにはアドレス毎に、Ｃｓ［Ｌ］の値が記憶される。例えば、図１２に示すように、輝度の範囲を０〜２５５とし、画像処理部３の輝度値変換テーブル部ＴＣｓは、任意の画素ＰＩＸ［ｉ,ｊ］の輝度値Ｌ［ｉ,ｊ］を入力とし、輝度変換後のデータをＣｓ［ｉ,ｊ］を出力する。

次に、画像データと局所領域の関係について、図１３を用いてする。なお、説明を簡単にするために、図１３に示す各画素における値は、輝度値変換のデータＣｓ［ｉ,ｊ］とする。画素ｐ１の座標は、対象画素ＰＩＸ［ｘｔ,ｙｔ］の座標に対応する。画素ｐ１に対する局所領域を領域ａ１とする。また、領域ａ１の大きさは２Ｎ＋１×２Ｎ＋１とする。ここで、Ｈｓ［ｘｔ,ｙｔ］を求めることを考える。Ｈｓ［ｘｔ,ｙｔ］は、局所領域に含まれる全てのＣｓ［ｉ,ｊ］の総和であるＳｕｍＣｓ［ｉ，ｊ］を局所領域の画素数ＳＵＭで割った値であるから、ＳｕｍＣｓ［ｉ，ｊ］を求めると、容易にＨｓ［ｘｔ,ｙｔ］を求めることができる。従って、局所領域に含まれる全てのＣｓ［ｉ,ｊ］の総和を求める方法について説明する。

まず対象画素である画素ｐ１から、Ｘ方向に１画素前の画素のデータＣｓ［ｘｔ−１,ｙｔ］に対する局所領域として領域ａ２を考える。領域ａ２に含まれるＣｓの総和は既に求められているとする。領域ａ１および領域ａ２には、共通領域が存在する。その差分は、図１４に示すように、領域ａ４および領域ａ５である。求める領域内のＣｓ［ｉ,ｊ］の総和をデータＳｕｍＣｓ［ｉ,ｊ］、領域ａ４や領域ａ５内のＣｓ［ｉ,ｊ］の総和をデータＢａｒＣｓ［ｉ,ｊ］（但し、ｉ,ｊは、中央部の座標）とすると、領域ａ１＝領域ａ２−領域ａ４＋領域ａ５であるから、
となる。

次に、領域ａ５であるＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ］の生成方法を考える。ＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ］の中心画素における値は、画素ｐ２における値Ｃｓ［ｘｔ＋Ｎ,ｙｔ］である。生成に当たり、図１５に示すように、領域ａ５から見てＹ方向に、図中一つ上（Ｙ方向に−１）の領域である領域ａ６、すなわち、ＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ−１］を考える。領域ａ５および領域ａ６にも共通部分が存在するので、図１６に示すように、非共通部分である画素ｐ３（Ｃｓ［ｘｔ＋Ｎ,ｙｔ＋Ｎ］）と画素ｐ４（Ｃｓ［ｘｔ＋Ｎ,ｙｔ−Ｎ−１］）より、領域ａ５＝領域ａ６−画素ｐ４＋画素ｐ３であるから、

ここで、ＢａｒＣｓ［ｉ,ｊ］を１ライン分記憶する記憶素子ＭｅｍＣｓ（ラインメモ
リ１３）を考える。記憶素子ＭｅｍＣｓの領域は、図１６に示す領域ａ７とする。すなわち、
とする。

ＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ］を求めるに当たり、ＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ−１］は、記憶素子ＭｅｍＣｓを参照する。一方、記憶素子ＭｅｍＣｓは、ＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ］生成後、参照したＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ−１］を削除し、生成したＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ］を追加するとする。この操作によって、次の対象画素である、Ｃｓ［ｘｔ＋１,ｙｔ］に備えることが可能となる。

以上より、データＳｕｍＣｓ［ｘｔ,ｙｔ］を求めるためには、画素ｐ４および画素ｐ３のみ参照すればよいことになり、わずかの演算でＳｕｍＣｘ［ｘｔ,ｙｔ］を求めることができる。また、この方式は局所領域の大きさに関わらず、演算コストは同一となる。但し、本方式を行うに当たり、画像処理の前に最初の１ライン分のＭｅｍＣｓを用意する必要がある。また、画像の左辺は、データＳｕｍＣｓが存在しないので、単純に加算する必要がある。

なお、画像の各辺付近の画素は、図１７に示すように、対象画素の周辺に仮想画素を想定する。仮想画素を想定する方法は、ミラー方式等、様々提案されている。ミラー方式の場合、例えば、Ｃｓ［０，０］を生成するに当たり、Ｃｓ［−２,−２］が必要になるが、この画素はＣｓ［２，２］を代用すればよい。

（２．３ Box-Filtering方式の回路化）
次に、（２．２）で示した方法を回路化する方法に関して、データＳｕｍＣｓ［ｘｔ,ｙｔ］を生成する過程を、図２から図４のブロック図を用いて説明する。

なお、記憶部４は、上・下限ガンマ曲線関数Ｇｓ１,Ｇｓ０,Ｇｍ１,Ｇｍ０,Ｇｈ１,Ｇｈ０によるガンマテーブルＴＧＳ１,ＴＧｓ０Ｔ,Ｇｍ１,ＴＧｍ０,ＴＧｈ１,ＴＧｈ０を記憶し、画像処理部３より、いつでも参照可能な構造とする。

対象画素ＰＩＸ［ｘｔ,ｙｔ］に対するデータＳｕｍＣｓ［ｘｔ,ｙｔ］は、図２における輝度値の入力データＬ［ｘｔ＋Ｎ,ｙｔ−Ｎ−１］およびＬ［ｘｔ＋Ｎ,ｙｔ＋Ｎ］を輝度値変換テーブル部ＴＣｓで変換したデータＣｓ［ｘｔ＋Ｎ,ｙｔ−Ｎ−１］およびデータＣｓ［ｘｔ＋Ｎ,ｙｔ＋Ｎ］から、上述した式（７）、および、式（８）に従って処理により生成される。

図２に示すように、Ｙ方向の加算処理部１０は、式（８）に対応し、データＢａｒＣｓを生成する部分である。Ｘ方向の加算処理部２０は、式（７）に対応し、データＳｕｍＣｓを生成する部分である。

図３に示すように、Ｙ方向の加算処理部１０に関して、式（８）のデータＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ−１］は、ラインメモリ１３（ＭｅｍＣｓ）より参照される。ラインメモリ１３（ＭｅｍＣｓ）は、データＢａｒＣｓを１ライン分記憶するメモリであり、加算処理のたびに、参照したＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ−１］を破棄し、生成したＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ］を記憶するＦＩＦＯメモリとして機能する。

次に、図４に示すように、Ｘ方向の加算処理部２０に関して、データＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ］は、Ｙ方向の加算処理部１０の出力である。データＢａｒＣｓ［ｘｔ−Ｎ−１,ｙｔ］は、入力であるデータＢａｒＣｓ［ｘｔ＋Ｎ,ｙｔ］を２Ｎ＋１分だけ前の値である。よって、データＢａｒＣｓ［ｘｔ−Ｎ−１,ｙｔ］は、シフトレジスタ２３により、入力を遅らせることによって生成される。加算器２１の出力からシフトレジスタ２３の出力を、減算器２２によって減算することにより、データＳｕｍＣｓ［ｘｔ,ｙｔ］が生成される。なお、図４では、シフトレジスタ２３による遅延でＢａｒＣｓ［ｘｔ−Ｎ−１,ｙｔ］を生成したが、ラインメモリ１３（ＭｅｍＣｓ）にも同じ値が記憶されているので、それを使ってもよい。

なお、中輝度領域ＢｍにおけるデータＳｕｍＣｍ［ｘｔ,ｙｔ］や、高輝度領域ＢｈにおけるデータＳｕｍＣｈ［ｘｔ,ｙｔ］を生成する過程も同様に付き省略する。データＳｕｍＣｓ、ＳｕｍＣｍ、ＳｕｍＣｈからデータＬｏｕｔを生成する過程は、回路で生成しても、ＣＰＵで生成してもよいが、画像処理の高速化するならば、回路化が好ましい。

（２．４ 画像処理結果）
次に、画像処理結果について、図１８および図１９を用いて説明する。
図１８は、本実施形態による輝度変換後の画像の一例を示す模式図である。図１９は、特許文献２の手法による輝度変換後の画像の一例を示す模式図である。

図１８に示すように、画像処理装置１により、原画像３０が画像処理されて、”黒つぶれ”していた部分（畑）がはっきりした画像４０が得られる。また、図１９示すように、特許文献２の手法による画像処理結果の画像４１では、空の部分のグラデーション領域に、縞模様のような濃淡部分が生じる。しかし、図１８に示すように、図１８に示すように、本実施形態の手法による画像処理結果では、空等のグラデーション領域を再現できている。

以上、画像処理装置１は、原画像３０から、輝度変換を行う画素の周りに局所領域３２を設定し、輝度に対して連続かつ単調増加であり、輝度変換の出力上限を決める上限変換関数（Ｇｓ１等）を設定し、輝度に対して連続かつ単調増加であり、輝度変換の出力下限を決める下限変換関数（Ｇｓ０等）を設定する。そして、画像処理装置１は、変換を行う画素の輝度（Ｌ［ｘｔ,ｙｔ］）おける上限変換関数の値である上限値（上限変換関数値Ｇｓ１［Ｌ［ｘｔ,ｙｔ］］等）および下限変換関数の値である下限値（下限変換関数値Ｇｓ０［Ｌ［ｘｔ,ｙｔ］］等）を算出し、局所領域３２における各画素の輝度に応じて、上限値と下限値との間の値を設定するための分割比率Ｈｓ等を算出し、上限値と下限値と分割比率とより輝度変換を行う画素の変換後の輝度を算出する。従って、本実施形態によれば、明るさが連続する画像でも精度よく各画素の輝度を変換できる。すなわち、空等のグラデーション領域を含む画像であっても、良好な輝度変換を行うことができる。

局所領域３２における各画素の輝度に応じて、分割比率Ｈｓ、Ｈｍ、Ｈｈを算出している。例えば、対象画素ＰＩＸ［ｘｔ、ｙｔ］の局所領域３２内に含まれる画素に対する総和のデータＳｕｍＣｓ、ＳｕｍＣｍ、ＳｕｍＣｈのような、局所領域３２内における平均的な値により、分割比率Ｈｓ、Ｈｍ、Ｈｈを算出している。このため、対象画素が、１画素ずれても、分割比率Ｈｓ、Ｈｍ、Ｈｈの値が大きく変化しなく、対象画素の近傍の他の対象画素でも、変換の割合が大きく変化しない。従って、空等のグラデーション領域を含む画像であっても、良好な輝度変換を行うことができる。

なお、従来の手法では、空等のグラデーション領域を含む画像のように、輝度が緩やかに変化する画像の場合、輝度のヒストグラムが特定の輝度に集中した形状で、輝度変換を行うと、ヒストグラムの形状が広がり、良好な輝度変換を行うことができなかった。しかし、本実施形態によれば、上限変換関数（Ｇｓ１等）および下限変換関数Ｇｓ０等）により、極端な輝度変換が防止でき、空等のグラデーション領域を含む画像であっても、良好な輝度変換を行うことができる。

また、本実施形態によれば、ブロックノイズが無く、高精度にコントラストの改善ができる。また、画像処理装置１は、高速化で適切に各画素の明るさを変換できる。

また、画像処理装置１が、明るさ（輝度）に対する重みにより明るさ領域（低輝度領域Ｂｓ等）を規定するための明るさ領域関数（輝度領域関数Ｗｓ等）を設定し、明るさ領域関数を明るさに対して累積することにより（輝度累積関数Ｆｓ等）、明るさ変換関数（輝度値変換関数Ｃｓ等）を設定し、局所領域における各画素の明るさに明るさ変換関数を適用して、分割比率Ｈｓ等を算出する場合、局所領域における各画素の情報を反映した分割比率が決定でき、明るさ変換の精度を向上させることができる。

また、画像処理装置１が、明るさ領域毎（輝度領域Ｂｓ，Ｂｍ，Ｂｈ）に、各明るさ領域関数（輝度領域関数Ｗｓ，Ｗｍ，Ｗｈ）を設定し、各明るさ領域関数に対して、各明るさ変換関数（輝度値変換関数Ｃｓ、Ｃｍ、Ｃｈ）を設定し、各明るさ領域に対応して上限変換関数（上限ガンマ曲線関数Ｇｓ１、Ｇｍ１、Ｇｈ１）を設定し、各明るさ領域に対応して下限変換関数（下限ガンマ曲線関数Ｇｓ０、Ｇｍ０、Ｇｈ０）を設定する。そして、画像処理装置１が、各明るさ領域に対応する上限変換関数および下限変換関数に応じて、各上限値および下限値を算出し、各明るさ変換関数を適用して、各上限値および下限値に対する各比率（分割比率Ｈｓ、Ｈｍ、Ｈｈ）を算出し、各上限値および下限値と、各比率とより、変換後の明るさを算出する場合、ユーザが輝度領域毎に、輝度領域関数Ｗｓ，Ｗｍ，Ｗｈ、上限変換関数、および、下限変換関数の少なくとも１つを調整することにより、コントラスト等の調節ができる。

また、明るさ領域関数（輝度領域関数Ｗｓ，Ｗｍ，Ｗｈ）が、連続関数である場合、特に、原画像の明るさが連続する領域における、画像処理の精度を向上させることができる。

また、上限変換関数および下限変換関数が、ガンマ補正関数のように、明るさに対する視覚特性に合うように補正する関数である場合、人間の感覚にあった画像補正ができる。

次に、本実施形態の変形例について図を用いて説明する。

図２０は，重み関数に対する輝度値変換関数の変形例を示す線図である。図２１は、比率の変形例を示す模式図である。

図２０に示すように、図７の輝度値変換関数Ｃｓ、Ｃｍ、Ｃｈが、輝度の軸の方向で反転させた場合でもよい。

例えば、輝度値変換関数Ｃｓは、
Ｃｓ＝１−Ｆｓ［Ｌ］／ｍａｘ［Ｆｓ］ ・・・（１０）
でもよい。

図２１に示すように、図１１Ａと比較して、分割比率Ｈｓが、Ｇｓ０からの比率となる。

［３．画像処理装置における第２実施形態の動作］
次に、本発明の第２実施形態に係る動作について説明する。

第２実施形態の動作において、画像処理装置の概要構成は第１実施形態と同じである。なお、前記第１実施形態と同一または対応する部分には、同一の符号を用いて異なる構成および作用のみを説明する。その他の実施形態および変形例も同様とする。

次に、第２実施形態に係る画像処理装置１の動作例について、図２２、図２３Ａおよび図２３Ｂを用いて説明する。

図２２は。画像処理装置１において、本発明の第２実施形態に係る動作例を示すフローチャートである。図２３Ａは、局所領域における各画素の輝度値を累積した輝度累積ヒストグラムの一例を示す線図である。図２３Ｂは、局所領域における輝度に関する局所ヒストグラムの一例を示す線図である。

まず、図２２に示すように、ステップＳ２１からステップＳ２７までは、第１実施形態のステップＳ１からステップＳ７まで同様の処理である。そして、ステップＳ３１からステップＳ３３は、第１実施形態のステップＳ９からステップＳ１１まで同様の処理である。従って、ステップＳ２８からステップＳ３０までの処理について説明する。

ステップＳ２７で、上限・下限変換関数値を算出した後、画像処理装置１は、局所ヒストグラムを生成する（ステップＳ２８）。具体的には、画像処理装置１のＣＰＵ部２または画像処理部３が、図２３Ａに示すように、局所領域３２に内の画素の輝度値に対して、所定のビン数（例えば、ビン数が８）により、各ビンにおける画素の数を積算して、式（１１）に示すように、ヒストグラムＨＮを生成する。

ここで、各階級を示す記号をｂｉｎとする。また、個々の対象階級ｂｉｎの輝度範囲に含まれる画素のみを対象とする。

このように、画像処理装置１は、局所領域における明るさに関する局所ヒストグラムを算出する局所ヒストグラム算出手段の一例として機能する。

次に、画像処理装置１は、輝度累積ヒストグラムを生成する（ステップＳ２９）。具体的には、画像処理装置１のＣＰＵ部２または画像処理部３が、図２３Ｂに示すように、輝度値Ｌを積算した輝度累積ヒストグラムＨＬを生成する（式（１２））。

例えば、最も輝度範囲の小さな階級を階級番号０（ｂｉｎ＝０）とし、この階級に３つの画素が含まれたとする。各画素の輝度値が、それぞれ”５、１２、２１”とすると、ＨＮ［０］＝３、ＨＬ［０］＝５＋１２＋２１＝３８となる。

このように、画像処理装置１は、局所領域における各画素の明るさを累積した明るさ累積ヒストグラムを算出する明るさ累積ヒストグラム算出手段の一例として機能する。

次に、画像処理装置１は、局所ヒストグラムと、輝度累積ヒストグラムと、輝度値変換関数とから分割比率を算出する（ステップＳ３０）。具体的には、画像処理装置１のＣＰＵ部２または画像処理部３が、まず、各階級のヒストグラムＨＮ、輝度累積ヒストグラムＨＬから階級毎に平均輝度Ｌａｖｒを求める（式（１３））。

そして、画像処理装置１のＣＰＵ部２または画像処理部３が、階級毎に、平均輝度Ｌａｖｒを輝度値変換関数Ｃｓ、Ｃｍ、Ｃｈにより変換した値に、各階級に含まれる画素数を掛けた値を、全ての階級で加算され、局所領域に含まれる画素数で割ることにより、分割比率Ｈｓ’，Ｈｍ’，Ｈｈ’を求める（式（１４））。

ここで、ｂｉｎの最小値は、０とし、最大値は、ＢＩＮｍａｘとする。また、中輝度領域Ｂｍ、高輝度領域Ｂｈにおいても、同様に、それぞれ、分割比率Ｈｍ’、Ｈｈ’が求められる。なお、分割比率Ｈｓ’，Ｈｍ’，Ｈｈ’は、第１実施形態で求めた分割比率Ｈｓ，Ｈｍ，Ｈｈの近似値となる。

このように、画像処理装置１局所ヒストグラムと明るさ累積ヒストグラムとから比率（分割比率Ｈｓ’，Ｈｍ’，Ｈｈ’）を算出する比率算出手段の一例として機能する。

分割比率Ｈｓ’，Ｈｍ’ｍＨｈ’を算出した後の処理は、ステップＳ３１からステップＳ３３は、第１実施形態のステップＳ９からステップＳ１１と同様の処理である。

なお、第１実施形態では、局所領域に含まれる全ての画素毎に、輝度値変換関数で変換し積算したが、本実施形態では、各階級に含まれる画素の平均値を代表値として使った。また、本実施形態では、各階級の輝度の代表値として算術平均値を用いたが、代表値として中央値や最頻値等を用いてもよい。

以上、局所領域における明るさに関する局所ヒストグラムを算出し、局所領域における各画素の明るさを累積した明るさ累積ヒストグラムを算出し、局所ヒストグラムと明るさ累積ヒストグラムとから比率を算出する場合でも、明るさが連続する画像でも精度よく各画素の輝度を変換できる。

なお、第１および第２実施形態の処理は、コンピュータにより実行してもよい。この場合、例えば、第１および第２実施形態の処理を実行するプログラムを記憶した記録媒体等をコンピュータが読み出し実行する。

また、第１および第２実施形態における画像補正技術は、ディジタルスチルカメラやビデオカメラでの画像処理のみならず、医療、車載、監視等、様々な用途に適用できる。

さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

１：画像処理装置
２：ＣＰＵ部
３：画像処理部
４：記憶部
１０：Ｙ方向の加算処理部
２０：Ｘ方向の加算処理部
３０：原画像
３２：局所領域
Ｌ：輝度値（明るさ）
Ｂｓ、Ｂｍ、Ｂｈ：輝度領域（明るさ領域）
Ｗｓ、Ｗｍ、Ｗｈ：輝度領域関数（明るさ領域関数）
Ｃｓ、Ｃｍ、Ｃｈ：輝度値変換関数（明るさ変換関数）
Ｇｓ０、Ｇｍ０、Ｇｈ０：下限ガンマ曲線関数（下限変換関数）
Ｇｓ１、Ｇｍ１、Ｇｈ１：上限ガンマ曲線関数（上限変換関数）
Ｈｓ、Ｈｍ、Ｈｈ：分割比率（比率）
Ｌｏｕｔ：輝度（変換後の明るさ）

Claims (9)

1. 画像処理を行う原画像の入力を受け付ける原画像入力手段と、
   前記原画像から、明るさの変換を行う画素の周りに局所領域を設定する局所領域設定手段と、
   前記明るさに対して連続かつ単調増加であり、明るさの変換の出力上限を決める上限変換関数を設定する上限変換関数設定手段と、
   前記明るさに対して連続かつ単調増加であり、明るさの変換の出力下限を決める下限変換関数を設定する下限変換関数設定手段と、
   前記変換を行う画素の明るさにおける前記上限変換関数の値である上限値および前記下限変換関数の値である下限値を算出する上限・下限値算出手段と、
   前記局所領域における各画素の明るさに応じて、前記上限値と前記下限値との間の値を設定するための比率を算出する比率算出手段と、
   前記上限値と前記下限値と前記比率とより、前記明るさの変換を行う画素の変換後の明るさを算出する明るさ算出手段と、
   前記明るさに対する重みにより明るさ領域を規定するための明るさ領域関数を設定する明るさ領域関数設定手段と、
   前記明るさ領域関数を明るさに対して累積することにより、明るさ変換関数を設定する明るさ変換関数設定手段と、
   を備え、
   前記比率算出手段が、前記局所領域における各画素の明るさに前記明るさ変換関数を適用して、比率を算出することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記明るさ領域関数設定手段が、前記明るさ領域毎に、各明るさ領域関数を設定し、
   前記明るさ変換関数設定手段が、各明るさ領域関数に対して、各明るさ変換関数を設定し、
   前記上限変換関数設定手段が、前記各明るさ領域に対応して上限変換関数を設定し、
   前記下限変換関数設定手段が、前記各明るさ領域に対応して下限変換関数を設定し、
   前記上限・下限値算出手段が、前記各明るさ領域に対応する上限変換関数および下限変換関数に応じて、各上限値および下限値を算出し、
   前記比率算出手段が、前記各明るさ変換関数を適用して、前記各上限値および前記下限値に対する各比率を算出し、
   前記明るさ算出手段が、前記各上限値および下限値と、前記各比率とより、前記変換後の明るさを算出することを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記明るさ領域関数が、連続関数であることを特徴とする画像処理装置。
4. 請求項１から請求項３のいずれか１項に記載の画像処理装置において、
   前記上限変換関数および下限変換関数が、明るさに対する視覚特性に合うように補正する関数であることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記上限変換関数および下限変換関数が、ガンマ補正関数であることを特徴とする画像処理装置。
6. 請求項１から請求項５のいずれか１項に記載の画像処理装置において、
   前記局所領域における明るさに関する局所ヒストグラムを算出する局所ヒストグラム算出手段と、
   前記局所領域における各画素の明るさを累積した明るさ累積ヒストグラムを算出する明るさ累積ヒストグラム算出手段と、
   を更に備え、
   前記比率算出手段が、前記局所ヒストグラムと前記明るさ累積ヒストグラムとから前記比率を算出することを特徴とする画像処理装置。
7. 画像処理装置が画像処理をする画像処理方法において、
   画像処理を行う原画像の入力を受け付ける原画像入力ステップと、
   前記原画像から、明るさの変換を行う画素の周りに局所領域を設定する局所領域設定ステップと、
   前記明るさに対して連続かつ単調増加であり、明るさの変換の出力上限を決める上限変換関数を設定する上限変換関数設定ステップと、
   前記明るさに対して連続かつ単調増加であり、明るさの変換の出力下限を決める下限変換関数を設定する下限変換関数設定ステップと、
   前記変換を行う画素の明るさにおける前記上限変換関数の値である上限値および前記下限変換関数の値である下限値を算出する上限・下限値算出ステップと、
   前記局所領域における各画素の明るさに応じて、前記上限値と前記下限値との間の値を設定するための比率を算出する比率算出ステップと、
   前記上限値と前記下限値と前記比率とより、前記明るさの変換を行う画素の変換後の明るさを算出する明るさ算出ステップと、
   前記明るさに対する重みにより明るさ領域を規定するための明るさ領域関数を設定する明るさ領域関数設定ステップと、
   前記明るさ領域関数を明るさに対して累積することにより、明るさ変換関数を設定する明るさ変換関数設定ステップと、
   を有し、
   前記比率算出ステップが、前記局所領域における各画素の明るさに前記明るさ変換関数を適用して、比率を算出することを特徴とする画像処理方法。
8. コンピュータを、
   画像処理を行う原画像の入力を受け付ける原画像入力手段、
   前記原画像から、明るさの変換を行う画素の周りに局所領域を設定する局所領域設定手段、
   前記明るさに対して連続かつ単調増加であり、明るさの変換の出力上限を決める上限変換関数を設定する上限変換関数設定手段、
   前記明るさに対して連続かつ単調増加であり、明るさの変換の出力下限を決める下限変換関数を設定する下限変換関数設定手段、
   前記変換を行う画素の明るさにおける前記上限変換関数の値である上限値および前記下限変換関数の値である下限値を算出する上限・下限値算出手段、
   前記局所領域における各画素の明るさに応じて、前記上限値と前記下限値との間の値を設定するための比率を算出する比率算出手段、
   前記明るさに対する重みにより明るさ領域を規定するための明るさ領域関数を設定する明るさ領域関数設定手段、
   前記明るさ領域関数を明るさに対して累積することにより、明るさ変換関数を設定する明るさ変換関数設定手段、および、
   前記上限値と前記下限値と前記比率とより、前記明るさの変換を行う画素の変換後の明るさを算出する明るさ算出手段として機能させ、
   前記比率算出手段が、前記局所領域における各画素の明るさに前記明るさ変換関数を適用して、比率を算出することを特徴とする画像処理用プログラム。
9. コンピュータを、
   画像処理を行う原画像の入力を受け付ける原画像入力手段、
   前記原画像から、明るさの変換を行う画素の周りに局所領域を設定する局所領域設定手段、
   前記明るさに対して連続かつ単調増加であり、明るさの変換の出力上限を決める上限変換関数を設定する上限変換関数設定手段、
   前記明るさに対して連続かつ単調増加であり、明るさの変換の出力下限を決める下限変換関数を設定する下限変換関数設定手段、
   前記変換を行う画素の明るさにおける前記上限変換関数の値である上限値および前記下限変換関数の値である下限値を算出する上限・下限値算出手段、
   前記局所領域における各画素の明るさに応じて、前記上限値と前記下限値との間の値を設定するための比率を算出する比率算出手段、
   前記上限値と前記下限値と前記比率とより、前記明るさの変換を行う画素の変換後の明るさを算出する明るさ算出手段、
   前記明るさに対する重みにより明るさ領域を規定するための明るさ領域関数を設定する明るさ領域関数設定手段、および、
   前記明るさ領域関数を明るさに対して累積することにより、明るさ変換関数を設定する明るさ変換関数設定手段として機能させ、
   前記比率算出手段が、前記局所領域における各画素の明るさに前記明るさ変換関数を適用して、比率を算出することを特徴とする画像処理用プログラムがコンピュータ読み取り可能に記録された記録媒体。