WO2019146122A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

画像の局所エリアごとに反射率の振幅が異なっている画像に対しても適切にコントラストを補正可能な画像処理装置、画像処理方法及び画像処理プログラムを提供すること。　画像処理装置であって、信号強度抽出部と、周辺領域基準値算出部と、強調度合決定部とを備え、当該画像処理装置に入力された入力画像における反射率を信号強度と定義し、前記入力画像の一部であって少なくとも１つのピクセルからなる領域を小領域と定義した場合において、前記信号強度抽出部は、前記入力画像の信号強度を抽出し、前記周辺領域基準値算出部は、注目する前記小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値を算出し、前記強調度合決定部は、前記小領域の信号強度を高めるように当該信号強度の強調度合を決定し、前記強調度合は、前記周辺領域基準値と所定値との差分に対して単調非減少である、画像処理装置が提供される。　

Description

画像処理装置、画像処理方法及び画像処理プログラム

　　本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

　　画像のコントラストを補正する手法の１つとしてＲｅｔｉｎｅｘ理論に基づいたＭｕｌｔｉ　Ｓｃａｌｅ　Ｒｅｔｉｎｅｘ手法という画像処理方法が提案されており、高い視認性向上効果を実現する手法として知られている。

特表２００５－５１５５１５号公報

　　しかし、従来のＭｕｌｔｉ　Ｓｃａｌｅ　Ｒｅｔｉｎｅｘ手法では画像に対して一様に正規化処理を行うため、画像の局所エリアごとに反射率の振幅が異なっている場合には適切にコントラストを補正することができない、という問題があった（例えば、図１０Ａ及び図１０Ｂ参照）。

　　本発明は、このような事情を鑑みてなされたものであり、画像の局所エリアごとに反射率の振幅が異なっている画像に対しても適切にコントラストを補正可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

　　本発明の一観点によれば、画像処理装置であって、信号強度抽出部と、周辺領域基準値算出部と、強調度合決定部とを備え、当該画像処理装置に入力された入力画像における反射率を信号強度と定義し、前記入力画像の一部であって少なくとも１つのピクセルからなる領域を小領域と定義した場合において、前記信号強度抽出部は、前記入力画像の信号強度を抽出し、前記周辺領域基準値算出部は、注目する前記小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値を算出し、前記強調度合決定部は、前記小領域の信号強度を高めるように当該信号強度の強調度合を決定し、前記強調度合は、前記周辺領域基準値と所定値との差分に対して単調非減少である、画像処理装置が提供される。

　　本発明に係る画像処理装置では、信号強度抽出部が、入力画像の信号強度を抽出し、周辺領域基準値算出部が、注目する小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値を算出し、強調度合決定部が、小領域の信号強度を高めるように、当該信号強度の強調度合を決定する。そして、強調度合は、周辺領域基準値と所定値との差分に対して単調非減少であることを特徴とする。このような構成を有することにより、画像の局所エリアごとに反射率の振幅が異なっている画像に対しても適切にコントラストを補正することができる。

　　以下、本発明の種々の実施形態を例示する。以下に示す実施形態は、互いに組み合わせ可能である。

　　好ましくは、注目する前記小領域の信号強度をＲ、前記周辺領域基準値をＳ、前記所定値をＴ、出力画像として出力しうる信号強度の上限値及び下限値をそれぞれＯＬ及びＵＬと定義した場合において、
　　　Ｒ≧０のとき、Ｓ≦Ｔ≦ＯＬ
　　　Ｒ＜０のとき、ＵＬ≦Ｔ≦Ｓ
　　を満たす。
　　好ましくは、前記信号強度は、当該画像処理装置に入力された入力画像から反射光成分及び照明光成分を分離し且つこれらに基づいて算出される。

　　また、本発明の別の観点によれば、画像処理方法であって、信号強度抽出ステップと、周辺領域基準値算出ステップと、強調度合決定ステップとを備え、当該方法に際して入力された入力画像における反射率を信号強度と定義し、前記入力画像の一部であって少なくとも１つのピクセルからなる領域を小領域と定義した場合において、前記信号強度抽出ステップでは、前記入力画像の信号強度を抽出し、前記周辺領域基準値算出ステップでは、注目する前記小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値を算出し、前記強調度合決定ステップは、前記小領域の信号強度を高めるように当該信号強度の強調度合を決定し、前記強調度合は、前記周辺領域基準値と所定値との差分に対して単調非減少である、画像処理方法が提供される。

　　本発明に係る画像処理方法では、信号強度抽出ステップにおいて、入力画像の信号強度を抽出し、周辺領域基準値算出ステップにおいて、注目する小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値を算出し、強調度合決定ステップにおいて、小領域の信号強度を高めるように、当該信号強度の強調度合を決定する。そして、強調度合は、周辺領域基準値と所定値との差分に対して単調非減少であることを特徴とする。このような方法により、画像の局所エリアごとに反射率の振幅が異なっている画像に対しても適切にコントラストを補正することができる。

　　また、本発明の別の観点によれば、コンピュータに所定の機能を実行させる画像処理プログラムであって、前記所定の機能は、信号強度抽出機能と、周辺領域基準値算出機能と、強調度合決定機能とを備え、前記コンピュータに入力された入力画像における反射率を信号強度と定義し、前記入力画像の一部であって少なくとも１つのピクセルからなる領域を小領域と定義した場合において、前記信号強度抽出機能によって、前記入力画像の信号強度が抽出され、前記周辺領域基準値算出機能によって、注目する前記小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値が算出され、前記強調度合決定機能によって、前記小領域の信号強度を高めるように当該信号強度の強調度合が決定され、前記強調度合は、前記周辺領域基準値と所定値との差分に対して単調非減少である、画像処理プログラムが提供される。

　　本発明に係る画像処理プログラムでは、信号強度抽出機能によって、入力画像の信号強度が抽出され、周辺領域基準値算出機能によって、注目する小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値が算出され、強調度合決定機能によって、小領域の信号強度を高めるように、当該信号強度の強調度合が決定される。そして、強調度合は、周辺領域基準値と所定値との差分に対して単調非減少であることを特徴とする。このような機能をコンピュータに実行させるプログラムにより、画像の局所エリアごとに反射率の振幅が異なっている画像に対しても適切にコントラストを補正することができる。

実施形態に係る画像処理装置を用いたシステムの構成概要を示す機能ブロック図。 信号強度抽出部、周辺領域基準値算出部、強調度合決定部、変換出力部による処理フローを表すブロック線図。 周辺領域基準値算出部が周辺領域基準値を決定する態様を示す概念図。 強調度合決定部が強調度合を決定する態様を示す概念図。 第１実施形態に係り、信号強度抽出部の処理フロー（詳細）を表すブロック線図。 第１実施形態に係り、周辺領域基準値算出部及び強調度合決定部の処理フロー（詳細）を表すブロック線図。 変換出力部の処理フロー（詳細）を表すブロック線図。 入力画像の一例。 実施形態に係る画像処理装置によって画像処理を適用した場合の出力画像（実施例）。 従来技術に係る画像処理を適用した場合の出力画像（比較例）。 第１実施形態に係る画像処理装置を用いたシステムでの、フレームメモリの使用を示す概要図。 第２実施形態に係る画像処理装置を用いたシステムでの、フレームメモリの使用を示す概要図。 第２実施形態に係り、信号強度抽出部、周辺領域基準値算出部及び強調度合決定部の処理フロー（詳細）を表すブロック線図。

　　以下、本発明の実施形態について図面を参照しながら詳細に説明する。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものを指しうる。

　　また、広義の回路とは、回路（ｃｉｒｃｕｉｔ）、回路類（ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＬＰＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものであることに留意されたい。

　　また、本明細書では、画像処理装置に入力された入力画像から反射光成分及び照明光成分を分離し且つこれらに基づいて算出される反射率を信号強度（対数値）と定義し、入力画像の一部であって少なくとも１つのピクセルからなる領域を小領域と定義する。更に、画像とは、静止画／動画の何れも含むものとし、動画の場合においては特に指定がない限りそのうちの１フレームを指すものとする。

　　また、下記に詳述する実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうるものである。具体的には、「小領域」、「ピクセルデータ」、「信号強度」、「反射率」、「周辺領域基準値」、「強調度合」、「明度」等が、かかる情報／概念に含まれうる。これらについては、再度必要に応じて詳しく説明するものとする。

　１．第１実施形態
　１．１　システム１（全体構成）
　　図１は、本発明の第１実施形態に係る画像処理装置３を用いたシステム１の構成概要を示す図である。システム１は、入力画像源２と、画像処理装置３と、表示部４とを備える。

　１．１．１　入力画像源２
　　入力画像源２は、画像処理装置３の画像処理の対象とする入力画像を出力し、画像処理部３における送受信部３４（後述）に送信する。例えば、一般的なコンピュータや携帯型端末であってもよいし、リアルタイムに外界の状況を画像化するビジョンセンサ（カメラ、内視鏡システム等）であってもよいし、動画を再生する再生機であってもよい。なお、情報処理という観点において、この入力画像は、２次元の画素の集合体（ピクセルデータ配列）である。なお、図１では入力画像源２が画像処理装置３と別体のように図示されているが、これに限らず入力画像源２が画像処理装置３に含まれるように実施してもよい。

　１．１．２　画像処理装置３
　　画像処理装置３は、入力画像源２より送信された画像データに対して所定の画像処理を実行する装置である。画像処理装置３は、制御部３１と、記憶部３２と、入力部３３と、送受信部３４と、信号強度抽出部３５と、周辺領域基準値算出部３６と、強調度合決定部３７と、変換出力部３８とを備え、これらが通信バス３Ｂを介して接続されている。以下、構成要素３１～３８をそれぞれ詳述する。

　＜制御部３１＞
　　制御部３１は、画像処理装置３に関連する全体動作の処理・制御を行う。制御部３１は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）である。制御部３１は、記憶部３２に記憶された所定のプログラムを読み出すことによって、画像処理装置３ないしはシステム１に係る種々の機能を実現する。例えば、所定のプログラムを読み出して、入力画像源２の表示画像を含むグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示部４に表示させることが含まれる。

　　なお、図１においては、単一の制御部３１として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３１を有するように実施してもよい。またそれらの組合せであってもよい。

　＜記憶部３２＞
　　記憶部３２は、上述の通り、制御部３１により実現させるための種々のプログラム等を記憶する。これは、例えばハードディスクドライブ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ：ＨＤＤ）又はソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして実施されうる。また記憶部３２は、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとしても実施されうる。また、これらの組合せであってもよい。

　＜入力部３３＞
　　入力部３３は、例えば、画像処理装置３自体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部３３は、タッチパネルとして実施されうる。或いは、スイッチボタン、マウス、キーボード等のユーザインターフェースを採用してもよい。入力部３３を介して、操作者の指示（コマンド）を受け付ける。当該指示は、通信バス３Ｂを介して制御部３１に転送され、制御部３１が必要に応じて所定の制御や演算を実行しうる。当該指示の一例として、操作者は、入力部３３を介して、表示部４に表示されている入力画像源２が出力中の動画を一時停止することができる。

　＜送受信部３４＞
　　送受信部３４は、画像処理装置３と、画像処理装置３以外の外部機器との通信のためのユニットである。すなわち、送受信部３４を介して、入力画像源２より入力画像となる画像データを受信し、これを画像処理（詳細後述）した後、出力画像として表示部４に送信しうる。なお、送受信部３４による通信は、画像データに限るものではない。例えば、有線ＬＡＮネットワーク通信、Ｂｌｕｅｔｏｏｔｈ通信、無線ＬＡＮネットワーク通信等を含む複数の通信手段の集合体であって通信対象について適切な通信規格を含むように実施することが好ましい。

　＜信号強度抽出部３５＞
　　図２は、本発明の第１実施形態に係る信号強度抽出部３５、周辺領域基準値算出部３６、強調度合決定部３７、変換出力部３８による処理フローを表すブロック線図である。

　　信号強度抽出部３５は、送受信部３４を介して入力画像源２から受信した入力画像Ｉ（ｘ，ｙ）に対して、Ｒｅｔｉｎｅｘ理論に係る演算を実行して信号強度である反射率Ｒ（ｘ，ｙ）を算出する。Ｒｅｔｉｎｅｘ理論では、入力画像Ｉ（ｘ，ｙ）は照明光成分Ｌ（ｘ，ｙ）と反射率Ｒ（ｘ，ｙ）からなると考える。そして、照明光成分Ｌ（ｘ，ｙ）と反射率Ｒ（ｘ，ｙ）とは、次のように決定される。

　　　　ここで、式中のＧ＿ｎはｎ番目のガウシアンフィルタ、Ｗ＿ｎはその重み付け係数である。より具体的な処理手順については、第１．２節において再度詳述する。また、入力画像Ｉ（ｘ，ｙ）が反射光成分であり、本実施形態では、入力画像として明度Ｖ（ｘ，ｙ）を用いた例を説明する。

　＜周辺領域基準値算出部３６＞
　　図３Ａ～図３Ｃは、周辺領域基準値算出部３６が周辺領域基準値を決定する態様を示す概念図である。図示の通り、周辺領域基準値算出部３６は、信号強度抽出部３５によって抽出された反射率Ｒ（ｘ，ｙ）を用いて基準値Ｓ（ｘ，ｙ）を算出する。

　　入力画像Ｉ（ｘ，ｙ）がｗｉｄｔｈ×ｈｅｉｇｈｔ［ピクセル］の画像であるとすると、反射率Ｒ（ｘ，ｙ）もｗｉｄｔｈ×ｈｅｉｇｈｔ［ピクセル］のピクセルデータ配列である。そして、反射率Ｒ（ｘ，ｙ）に対して、ω×ω［ピクセル］を有するＲＯＩ（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）を設定する。ここで、ＲＯＩの中心に位置するピクセルを、対象ピクセルｐ＿［ｉ，ｊ］（特許請求の範囲における「注目する小領域」の一例）と呼ぶものとする。図３Ａ～図３Ｃでは、対象ピクセルｐ＿［ｉ，ｊ］の一例として、対象ピクセルｐ＿［ａ，ｂ］、対象ピクセルｐ＿［ｃ，ｄ］、対象ピクセルｐ＿［ｅ，ｆ］が示されている。

　　周辺領域基準値算出部３６は、対象ピクセルｐ＿［ｉ，ｊ］に係る反射率Ｒ（ｉ，ｊ）が０以上である場合、これを同ＲＯＩの対象ピクセルｐ＿［ｉ，ｊ］以外の複数のピクセル（周辺領域）の反射率Ｒ（ｘ，ｙ）のうちの最大値Ｒ＿Ｍに置き換えたピクセルデータ配列を生成しようとする（ｌｏｃａｌ＿ｍａｘ（）フィルタ）。一方、対象ピクセルｐ＿［ｉ，ｊ］に係る反射率Ｒ（ｉ，ｊ）が負である場合、これを同ＲＯＩの対象ピクセルｐ＿［ｉ，ｊ］以外の複数のピクセル（周辺領域）の反射率Ｒ（ｘ，ｙ）のうちの最小値Ｒ＿ｍに置き換えたピクセルデータ配列を生成しようとする（ｌｏｃａｌ＿ｍｉｎ（）フィルタ）。つまり、図３Ａ～図３Ｃに示されるように上記の処理を全ピクセルに対して実行することで、各ＲＯＩにおける最大値Ｒ＿Ｍ又は最小値Ｒ＿ｍをピクセルデータとして有するようなピクセルデータ配列である基準値Ｓ（ｘ，ｙ）が算出される。なお、対象ピクセルｐ＿［ｉ，ｊ］が反射率Ｒ（ｘ，ｙ）の端部に位置するような場合であっても、その分の周辺領域が狭くなるだけで処理上の問題は生じない。処理手順については、第１．２節において再度詳述する。

　　なお、ωの値は、例えば、ｗｉｄｔｈ、ｈｅｉｇｈｔ又は両者の平均値に基づいて決定されることが好ましい。例えば、ｗｉｄｔｈ、ｈｅｉｇｈｔ又は両者の平均値をαとすると、０．０５≦ω／α≦０．５０を満たす。具体的には例えば、ω／α＝０．０５、０．０６、０．０７、０．０８、０．０９、０．１０、０．１５、０．２０、０．２５、０．３０、０．３５、０．４０、０．４５、０．５０であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。ω／αが小さすぎると最終的な出力画像Ｏ（ｘ，ｙ）にノイズが目立ち、一方でω／αが大きすぎると、一律に反射率を補正する場合との差異がなくなるため、注意が必要である。

　＜強調度合決定部３７＞
　　図４Ａ及び図４Ｂは、強調度合決定部３７が強調度合ｇ（ｘ，ｙ）を決定する態様を示す概念図である。強調度合決定部３７は、周辺領域基準値算出部３６で算出された基準値Ｓ（ｘ，ｙ）と所定値（通常は、出力画像Ｏ（ｘ，ｙ）として出力しうる反射率Ｒ（ｘ，ｙ）の上限値ＯＬ又は下限値ＵＬ）とを比較して、強調度合ｇ（ｘ，ｙ）を決定する。図４Ａにおいては、Ｒ（ｘ，ｙ）≧０の場合を例として、Ｓ（ｘ，ｙ）とＯＬの差分からｇ（ｘ、ｙ）を算出する。ここで差分が大きいほどｇ（ｘ、ｙ）は大きくなる。そして図４Ｂに示されるように、入力画像Ｉ（ｘ，ｙ）の反射率Ｒ（ｘ，ｙ）に強調度合ｇ（ｘ，ｙ）を乗算することで、補正された反射率Ｒ＿ｃ（ｘ，ｙ）が規定される。より具体的な処理手順については、第１．２節において再度詳述する。

　　なお、反射率Ｒ（ｘ，ｙ）を高めるように強調度合ｇ（ｘ，ｙ）が決定され、基準値Ｓ（ｘ，ｙ）と上限値ＯＬの差分の大小が、強調度合ｇ（ｘ，ｙ）の大小に依存することに留意されたい。換言すると、強調度合ｇ（ｘ，ｙ）は、基準値Ｓ（ｘ，ｙ）と上限値ＯＬの差分に対して単調増加（特許請求の範囲における「単調非減少」の一例）である。

　＜変換出力部３８＞
　　変換出力部３８は、信号強度抽出部３５にて抽出された反射率Ｒ（ｘ，ｙ）と、強調度合決定部３７にて決定された強調度合ｇ（ｘ，ｙ）とから、コントラストの補正がなされた出力画像Ｏ（ｘ，ｙ）を出力する。つまり、変換出力部３８は、前述の補正された反射率Ｒ＿ｃ（ｘ，ｙ）を用いて、出力画像Ｏ（ｘ，ｙ）を出力する。

　１．１．３　表示部４
　　表示部４は、画像処理装置３によって画像処理された画像データが入力されると、各ピクセルデータ（各ピクセルが有する輝度等の情報）に基づいてこれを映像として表示する媒体であり、例えばＬＣＤモニタ、ＣＲＴモニタ、有機ＥＬモニタ等であってよい。なお、画像処理装置３が表示部４を含んでもよい。より具体的には、画像処理装置３における変換出力部３８から出力された出力画像Ｏ（ｘ，ｙ）が通信バス３Ｂ及び送受信部３４を介して表示部４に送信され、表示部４が当該出力画像を表示する。

　１．２　画像処理方法
　　続いて、第１．１節において説明した画像処理装置３を用いた画像処理方法について説明する。特にここでは、送受信部３４より入力された入力画像Ｉ（ｘ，ｙ）が、画像処理を経て変換出力部３８から出力画像Ｏ（ｘ，ｙ）が出力されるまでについて、詳述する。特に以下の処理では、入力画像Ｉ（ｘ，ｙ）の所定の対象ピクセルｐ＿［ｉ，ｊ］（すなわちピクセルデータＩ（ｉ，ｊ）を有するもの）について考えるものとする。

　１．２．１　反射率Ｒ（ｘ，ｙ）の抽出
　　図５は、信号強度抽出部３５の処理フロー（詳細）を表すブロック線図である。以下、図５の各ステップに沿って説明する。

　［開始］
　（ステップＳ１－１）
　　入力画像Ｉ（ｘ，ｙ）の注目領域（ここでは入力画像Ｉの全ピクセル：動画であれば１フレーム分）内における対象ピクセルの明度Ｖ（ｉ，ｊ）をそれぞれ抽出し、その対数値ｌｏｇ｛Ｖ（ｉ，ｊ）｝を取得する（ステップＳ１－２ａ～ｃに進む）。

　（ステップＳ１－２ａ～ｃ）
　　続いて、抽出された明度Ｖ（ｉ，ｊ）にガウシアンフィルタＧ＿１～Ｇ＿３及び重み付け係数Ｗ＿１～Ｗ＿３を乗じる。なお、ガウシアンフィルタＧ＿１～Ｇ＿３はカーネルサイズの異なるもので、重み付け係数Ｗ＿１～Ｗ＿３は、式（３）を満たすものである（ステップＳ１－３に進む）。
　　　Ｗ＿１＋Ｗ＿２＋Ｗ＿３＝１　　（３）

　（ステップＳ１－３）
　　続いて、ステップＳ１－２ａ～ｃにおいて得られた各値の対数値をとって、その和をとることで
　照明光成分Ｌ（ｉ，ｊ）を計算する（ステップＳ１－４に進む）。

　（ステップＳ１－４）
　　続いて、ステップＳ１－１において取得された対数値ｌｏｇ｛Ｖ（ｉ，ｊ）｝からステップＳ１－３において算出された照明光成分Ｌ（ｉ，ｊ）を減算することで、信号強度である反射率Ｒ（ｉ，ｊ）が抽出される。
　［終了］

　１．２．２　強調度合ｇ（ｘ，ｙ）の決定
　　図６は、周辺領域基準値算出部３６及び強調度合決定部３７の処理フロー（詳細）を表すブロック線図である。以下、図６の各ステップに沿って説明する。

　［開始］
　（ステップＳ２－１）
　　周辺領域基準値算出部３６は、信号強度抽出部３５によって抽出された反射率Ｒ（ｉ，ｊ）が０以上か未満かを判別する。Ｒ（ｉ，ｊ）≧０であれば、ステップＳ２－２ａに係る処理を実行し、Ｒ（ｉ，ｊ）＜０であれば、ステップＳ２－２ｂを実行する（ステップＳ２－２ａ、ｂに続く）。

　（ステップＳ２－２ａ）
　　周辺領域基準値算出部３６は、反射率Ｒ（ｉ，ｊ）に対応する基準値Ｓ（ｉ，ｊ）を決定する。換言すると、対象ピクセルｐ＿［ｉ，ｊ］に対して規定されるＲＯＩにおいて、複数のピクセル（対象ピクセルｐ＿［ｉ，ｊ］及びその周辺領域）の反射率Ｒ（ｘ，ｙ）のうちの最大値Ｒ＿Ｍが、基準値Ｓ（ｉ，ｊ）となる（ステップＳ２－３ａに続く）。

　（ステップＳ２－３ａ）
　　強調度合決定部３７は、ステップＳ２－２ａにて決定された基準値Ｓ（ｉ，ｊ）の逆数値である１／Ｓ（ｉ，ｊ）を算出する（ステップＳ２－４ａに続く）。

　（ステップＳ２－４ａ）
　　強調度合決定部３７は、逆数値１／Ｓ（ｉ，ｊ）に、ｌｏｇ（ＯＬ／β）を乗算することによってｇ（ｉ，ｊ）を算出する。ここでβは予め規定されたオフセット定数である。

　（ステップＳ２－２ｂ）
　　周辺領域基準値算出部３６は、反射率Ｒ（ｉ，ｊ）に対応する基準値Ｓ（ｉ，ｊ）を決定する。換言すると、対象ピクセルｐ＿［ｉ，ｊ］に対して規定されるＲＯＩにおいて、複数のピクセル（対象ピクセルｐ＿［ｉ，ｊ］及びその周辺領域）の反射率Ｒ（ｘ，ｙ）のうちの最小値Ｒ＿ｍが採用される。

　（ステップＳ２－３ｂ）
　　強調度合決定部３７は、ステップＳ２－２ｂにて決定された基準値Ｓ（ｉ，ｊ）の逆数値である１／Ｓ（ｉ，ｊ）を算出する（ステップＳ２－４ｂに続く）。

　（ステップＳ２－４ｂ）
　　強調度合決定部３７は、逆数値１／Ｓ（ｉ，ｊ）に、ｌｏｇ（ＵＬ／β）を乗算することによってｇ（ｉ，ｊ）を算出する。ここでβは予め規定されたオフセット定数である。
　［終了］

　１．２．３　出力画像Ｏ（ｘ，ｙ）の生成
　　図７は、変換出力部３８の処理フロー（詳細）を表すブロック線図である。以下、図７の各ステップに沿って説明する。

　［開始］
　（ステップＳ３－１）
　　変換出力部３８は、強調度合決定部３７によって決定された強調度合ｇ（ｉ，ｊ）に反射率Ｒ（ｉ，ｊ）を乗算することによって、補正された反射率Ｒ＿ｃ（ｉ，ｊ）を導出する（ステップＳ３－２に続く）。

　（ステップＳ３－２）
　　ステップＳ３－１にて導出された、補正された反射率Ｒ＿ｃ（ｉ，ｊ）にｌｏｇβを加算する。（ステップＳ３－３に続く）。

　（ステップＳ３－３）
　　ステップＳ３－２にて導出された、補正された反射率Ｒ＿ｃ（ｉ，ｊ）にｌｏｇβを加算した値の真数を取り出すことで、補正された明度Ｕ（ｉ，ｊ）が決定される。すなわち、色相・彩度といった色成分を維持したまま、コントラストの補正された出力画像Ｏ（ｘ，ｙ）の対象ピクセルｐ＿［ｉ，ｊ］のピクセルデータＯ（ｉ，ｊ）が決定される。
　［終了］

　　このように、第１．２．１～３節において詳述した各ステップに係る処理を各ピクセルに対して繰り返すことで、入力画像Ｉ（ｘ，ｙ）が画像処理された出力画像Ｏ（ｘ，ｙ）が出力される。

　１．３　実施例
　　第１実施形態に係る画像処理装置３を用いた画像処理の実施例について説明する。例えば、図８に示されるような画像を入力画像Ｉ（ｘ，ｙ）とすると、第１実施形態に係る画像処理装置３によれば、図９に示されるような出力画像Ｏ（ｘ，ｙ）が得られる（実施例）。また、全ピクセルに一様に強調度合を決定するような従来技術に係る画像処理によれば、図１０Ａ及び図１０Ｂに示されるような出力画像が得られる（比較例）。

　　図８の入力画像Ｉ（ｘ，ｙ）は、左側が右側に比べて相対的に反射率Ｒ（ｘ，ｙ）の値が低いことを特徴とする。このような入力画像Ｉ（ｘ，ｙ）に対して、図９に示される実施例では、左側と右側にそれぞれ適切な強調度合ｇ（ｘ，ｙ）を加えることによって、左側、右側それぞれが際立った出力画像Ｏ（ｘ，ｙ）が得られている。

　　一方、図１０Ａに示される比較例では、強めの強調度合ｇ（ｘ，ｙ）を一様に加えているため、左側についてはコントラストが向上して視認性が上がっているものの、右側のコントラストが限界に達していて視認性が良くない。また、図１０Ｂに示される比較例では、右側のコントラストを抑えるために、図１０Ａよりも弱めの強調度合ｇ（ｘ，ｙ）を一様に加えているため、左側のコントラストが小さく視認性が悪いといえる。このように、従来技術と比較して、第１実施形態に係る画像処理装置３を用いた画像処理では、画像の局所エリアごとに反射率の振幅が異なっている画像に対しても適切にコントラストを補正可能であり、より視認性の高い出力画像Ｏ（ｘ，ｙ）を生成することができることが確認された。

　２．第２実施形態
　　続いて、第２実施形態に係るシステム１について説明する。第２実施形態に係るシステム１の全体構成は、第１実施形態に係るシステム１と同じである。しかしながら、画像処理装置３における信号強度抽出部３５及び周辺領域基準値算出部３６の画像処理方法が異なることに留意されたい。この点について以下説明する。

　　ところで、第１実施形態に係る画像処理装置３では、信号強度抽出部３５においてガウシアンフィルタＧ＿ｎが使用されている。ガウシアンフィルタＧ＿ｎは、対象ピクセルｐ＿［ｉ，ｊ］の周囲のピクセルのピクセルデータも演算に使用するため、対象ピクセルｐ＿［ｉ，ｊ］の演算時に周囲のピクセルデータを記憶しておく必要がある。同様に、周辺領域基準値算出部３６でも、ｌｏｃａｌ＿ｍａｘ（）フィルタ及びｌｏｃａｌ＿ｍｉｎ　（）フィルタを使用するにあたり、対象ピクセルｐ＿［ｉ，ｊ］の周囲のピクセルに係るピクセルデータの記憶が必要である。このような場合、一般的にフレームメモリが使用される。すなわち、図１１に示されるように、第１実施形態に係る画像処理装置３においてはフレームメモリが２度のタイミングで使用されることとなる。

　　一方、第２実施形態に係る画像処理装置３では、図１２に示されるように、フレームメモリの使用を１度限りに抑える工夫がなされている。具体的には、入力画像Ｉ（ｘ，ｙ）の対象ピクセルｐ＿［ｉ，ｊ］について、明度Ｖ（ｉ，ｊ）から、反射率Ｒ（ｉ，ｊ）をいったん導出することなく、基準値Ｓ（ｉ，ｊ）が近似的に導出されている（図１３参照）。

　　具体的には、第１実施形態に係る画像処理装置３においても使用しているガウシアンフィルタ、ｌｏｃａｌ＿ｍａｘ（）フィルタ、ｌｏｃａｌ＿ｍｉｎ（）フィルタを一度に使用する。すなわち、これらのフィルタを明度Ｖ（ｉ，ｊ）に対して適用し、その対数値をとるようにすると、ｌｏｇ｛ｌｏｃａｌ＿ｍａｘ（Ｖ（ｉ，ｊ））｝とｌｏｇ｛Ｇ＊Ｖ（ｉ，ｊ）｝の差分、又はｌｏｇ｛ｌｏｃａｌ＿ｍｉｎ（Ｖ（ｉ，ｊ））｝とｌｏｇ｛Ｇ＊Ｖ（ｉ，ｊ）｝の差分が基準値Ｓ（ｉ，ｊ）として導出される。

　３．変形例　
　　本実施形態は、以下の態様によっても実施することができる。

　　第１に、本実施形態においては、画像処理の範囲（注目領域）を入力画像Ｉ（ｘ，ｙ）（動画であれば１フレーム）の全ピクセルとして説明しているが、使用するピクセルを部分的に選択してもよい。例えば、注目領域を一部の矩形領域としてもよいし、所定サイズの矩形小領域ごとに代表ピクセル（例えば、左上といった特定位置や小領域における中央値）を適宜選択することで縮小画像を生成し、これを注目領域として実施してもよい。

　　第２に、基準値Ｓ（ｉ，ｊ）を決定するにあたり、ＲＯＩの複数のピクセル（対象ピクセルｐ＿［ｉ，ｊ］及びその周辺領域）の反射率Ｒ（ｘ，ｙ）のうちの最大値Ｒ＿Ｍ又は最小値Ｒ＿ｍに代えて、これらの近傍誤差を含む値であるＲ＿Ｍ±ΔＲ＿ＭやＲ＿ｍ±ΔＲ＿ｍを採用してもよい。近傍誤差は例えば、
　　　０≦ΔＲ＿Ｍ≦Ｒ＿Ｍ／２０　　（４）
　　　０≦ΔＲ＿ｍ≦Ｒ＿ｍ／５　　（５）
　　を満たすことが好ましい。

　　具体的には例えば、ΔＲ＿Ｍ／Ｒ＿Ｍ＝０．００１、０．００２、０．００３、０．００４、０．００５、０．０１、０．０２、０．０３、０．０４、０．０５であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。また、ΔＲ＿ｍ／Ｒ＿ｍ＝０．０１、０．０２、０．０３、０．０４、０．０５、０．１０、０．１５、０．２０であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。

　　第３に、強調度合決定部３７は、上限値ＯＬ又は下限値ＵＬに代えて、所定値Ｔに基づいて強調度合ｇ（ｘ，ｙ）を決定してもよい。なお、かかる場合、所定値Ｔは、次の式（６）及び（７）を満たすものである。
　　　Ｒ≧０のとき、Ｓ（ｘ，ｙ）≦Ｔ≦ＯＬ　　（６）
　　　Ｒ＜０のとき、ＵＬ≦Ｔ≦Ｓ（ｘ，ｙ）　　（７）

　　第４に、本実施形態においては、対象ピクセルｐ＿［ｉ，ｊ］ごとに画像処理を実行しているが、複数の対象ピクセルからなる小領域ごとに画像処理を実行してもよい。

　　第５に、上述の種々の処理では２次元配列を想定しているが、最終的に所望の画像が表示部４に表示できるのであれば、演算途中に際して１次元配列として記憶されていてもよい。また、１次元配列又は２次元配列を用いて演算する代わりに、逐次、演算をしてもよい。

　　第６に、反射率Ｒ（ｘ，ｙ）を調整する強調度合ｇ（ｘ，ｙ）及び、照明光成分を調整する照明光調整パラメータの少なくとも一方を調整することで、前述の画像処理を実行できるように実施してもよい。つまり、Ｒｅｔｉｎｅｘ理論における関係式であるＩ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）Ｒ（ｘ，ｙ）を考慮したとき、Ｒ（ｘ，ｙ）の値を強調度合ｇ（ｘ，ｙ）により大きくする手段や、Ｒ（ｘ，ｙ）の値を大きくする代わりにＬ（ｘ，ｙ）の値を照明光調整パラメータにより大きくすることで結果的にＲ（ｘ，ｙ）を上げたことと同じになる手段や、その双方を混ぜ合わせた手段が考えられるということである。

　　第７に、コンピュータに所定の機能を実行させる画像処理プログラムであって、前記所定の機能は、信号強度抽出機能と、周辺領域基準値算出機能と、強調度合決定機能とを備え、前記コンピュータに入力された入力画像に含まれる所定のピクセルデータを信号強度と定義し、前記入力画像の一部であって少なくとも１つのピクセルからなる領域を小領域と定義した場合において、前記信号強度抽出機能によって、前記入力画像の信号強度が抽出され、前記周辺領域基準値算出機能によって、注目する前記小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値が算出され、前記強調度合決定機能によって、前記小領域の信号強度を高めるように当該信号強度の強調度合が決定され、前記強調度合は、前記周辺領域基準値と所定値との差分に対して単調増加である、プログラムを提供することもできる。また、かかるプログラムの機能を実装したコンピュータ読み取り可能な非一時的な記録媒体として提供することもできる。また、かかるプログラムを、インターネット等を介して配信することもできる。更に、システム１を構成する各部は、同じ筐体に含まれてもよく、複数の筐体に分散配置されてもよい。

　４．結言
　　以上のように、本実施形態によれば、画像の局所エリアごとに反射率の振幅が異なっている画像に対しても適切にコントラストを補正可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

　　本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

　１：システム、２：入力画像源、３：画像処理装置、３Ｂ：通信バス、３１：制御部、３２：記憶部、３３：入力部、３４：送受信部、３５：信号強度抽出部、３６：周辺領域基準値算出部、３７：強調度合決定部、３８：変換出力部、４：表示部、Ｇ＿ｎ：ガウシアンフィルタ、Ｉ：入力画像、Ｌ：照明光成分、Ｏ：出力画像、ＯＬ：上限値、Ｒ：反射率、Ｒ＿Ｍ：最大値、Ｒ＿ｃ：反射率、Ｒ＿ｍ：最小値、Ｓ：基準値、Ｔ：所定値、Ｕ：明度、ＵＬ：下限値、Ｖ：明度、Ｗ＿ｎ：重み付け係数、ｇ：強調度合

Claims (5)

1. 　画像処理装置であって、
   　　信号強度抽出部と、周辺領域基準値算出部と、強調度合決定部とを備え、
   　　当該画像処理装置に入力された入力画像における反射率を信号強度と定義し、前記入力画像の一部であって少なくとも１つのピクセルからなる領域を小領域と定義した場合において、
   　　前記信号強度抽出部は、前記入力画像の信号強度を抽出し、
   　　前記周辺領域基準値算出部は、注目する前記小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値を算出し、
   　　前記強調度合決定部は、前記小領域の信号強度を高めるように当該信号強度の強調度合を決定し、
   　　　前記強調度合は、前記周辺領域基準値と所定値との差分に対して単調非減少である、
   　画像処理装置。
2. 　請求項１に記載の画像処理装置において、
   　　注目する前記小領域の信号強度をＲ、前記周辺領域基準値をＳ、前記所定値をＴ、出力画像として出力しうる信号強度の上限値及び下限値をそれぞれＯＬ及びＵＬと定義した場合において、
   　　　Ｒ≧０のとき、Ｓ≦Ｔ≦ＯＬ
   　　　Ｒ＜０のとき、ＵＬ≦Ｔ≦Ｓ
   　　を満たす、
   　画像処理装置。
3. 　請求項１又は請求項２に記載の画像処理装置において、
   　　前記信号強度は、当該画像処理装置に入力された入力画像から反射光成分及び照明光成分を分離し且つこれらに基づいて算出される、
   　画像処理装置。
4. 　画像処理方法であって、
   　　信号強度抽出ステップと、周辺領域基準値算出ステップと、強調度合決定ステップとを備え、
   　　当該方法に際して入力された入力画像における反射率を信号強度と定義し、前記入力画像の一部であって少なくとも１つのピクセルからなる領域を小領域と定義した場合において、
   　　前記信号強度抽出ステップでは、前記入力画像の信号強度を抽出し、
   　　前記周辺領域基準値算出ステップでは、注目する前記小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値を算出し、
   　　前記強調度合決定ステップは、前記小領域の信号強度を高めるように当該信号強度の強調度合を決定し、
   　　　前記強調度合は、前記周辺領域基準値と所定値との差分に対して単調非減少である、
   　画像処理方法。
5. 　コンピュータに所定の機能を実行させる画像処理プログラムであって、
   　　前記所定の機能は、信号強度抽出機能と、周辺領域基準値算出機能と、強調度合決定機能とを備え、
   　　前記コンピュータに入力された入力画像における反射率を信号強度と定義し、前記入力画像の一部であって少なくとも１つのピクセルからなる領域を小領域と定義した場合において、
   　　前記信号強度抽出機能によって、前記入力画像の信号強度が抽出され、
   　　前記周辺領域基準値算出機能によって、注目する前記小領域の周辺に位置する周辺領域の信号強度に基づいて周辺領域基準値が算出され、
   　　前記強調度合決定機能によって、前記小領域の信号強度を高めるように当該信号強度の強調度合が決定され、
   　　　前記強調度合は、前記周辺領域基準値と所定値との差分に対して単調非減少である、
   　画像処理プログラム。
   　

Images