JP6930605B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP6930605B2
JP6930605B2 JP2019559484A JP2019559484A JP6930605B2 JP 6930605 B2 JP6930605 B2 JP 6930605B2 JP 2019559484 A JP2019559484 A JP 2019559484A JP 2019559484 A JP2019559484 A JP 2019559484A JP 6930605 B2 JP6930605 B2 JP 6930605B2
Authority
JP
Japan
Prior art keywords
image
fusion
images
input
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019559484A
Other languages
English (en)
Other versions
JPWO2019116487A1 (ja
Inventor
竜一 赤司
竜一 赤司
真人 戸田
真人 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019116487A1 publication Critical patent/JPWO2019116487A1/ja
Application granted granted Critical
Publication of JP6930605B2 publication Critical patent/JP6930605B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Description

本発明は、２以上の画像を融合した融合画像を生成するための画像処理装置、画像処理方法および画像処理プログラムに関する。
２以上の画像を融合することによって、視認性を向上させた融合画像を生成する画像融合手法がある。この画像融合手法は、融合対象とされる各々の入力画像から算出される融合指標に基づいて各々の入力画像に対する融合比率を決定し、決定した融合比率に従って入力画像を融合することにより、融合画像を生成する。
融合画像の生成技術に関して、例えば、特許文献１、２に記載の技術がある。特許文献１には、複数個のセンサによって生成された複数の入力画像を対象にして重畳または組み合わせ処理を行い、融合画像を生成する画像処理方法が記載されている。
特許文献１に記載の画像処理方法は、まず複数個のセンサにより生成された複数個の画像の各々について複数個の画像領域へと分割する。次いで、各画像に対して、各画像領域に対するコントラスト値を含むコントラスト・マップを生成する。次いで、各画像領域に対するコントラスト値に基づいて融合画像において使用される画像領域を選択し、選択された各画像領域により融合画像を形成する。特許文献１に記載の方法では、画像領域を選択する際、競合コントラスト値（例えば、重複する画像領域の対応コントラスト値）を比較し、大きい方を選択する。
また、特許文献２には、空間周波数成分に着目して画像融合処理を実施する画像融合方法が記載されている。
特許文献２に記載の画像処理方法は、画像取得手段によって取得された可視光画像および赤外画像をそれぞれ分割し、分割により得られた両画像の複数の所定領域の各々を、複数の空間周波数成分に変換する。次いで、複数の所定領域の各々について、両画像における所定領域の空間周波数成分を合成し、逆変換を行う。次いで、逆変換によって得られた複数の所定領域の各画像を用いて疑似濃淡画像（融合画像）を生成する。特許文献２に記載の方法では、複数の所定領域の各々について、低周波数成分が大きい方の周波数成分を選択したり、周波数成分の大きい方を選択したり、加重平均することにより、空間周波数成分を合成する。
特表２００５−５３７５４５号公報 特開２０１０−１６６３６３号公報
しかし、特許文献１、２に記載の技術には下記の点で問題がある。
第１の問題点は、強いノイズを含んだ視認性の低い画像が入力画像に含まれる場合、融合前の原画像より視認性が向上した融合画像を生成できない点である。
例えば、特許文献１に記載の方法は、重複する画像領域の対応コントラスト値を比較し、コントラスト値が大きい方の画像領域を用いて融合画像を生成する。しかし、このような融合比率の決定では、強いノイズを含む画像が原画像に含まれる場合、その原画像から高いコントラスト値が算出される。その場合、当該原画像に対して高い融合比率で融合処理が行われた結果、視認性が向上していない融合画像が生成されるおそれがある。
また、特許文献２に記載の方法でも、原画像より視認性が向上した融合画像を生成できない問題がある。特許文献２に記載の方法は、複数の画像をそれぞれ分割して得られた複数の所定領域の各々を空間周波数成分に変換し、各領域について、低周波数成分が大きい方の周波数成分を選択する、周波数成分の大きい方を選択するまたは加重平均することにより、空間周波数成分を合成する。このような融合比率の決定では、視認性低下の要因であるノイズの周波数成分についても融合されるおそれがある。たとえば、ノイズの周波数成分が低周波であったり大きかったりすると、そのような周波数成分を含む原画像の領域に対して融合比率が高くなるよう決定がされ、結果としてノイズを多く含んだ視認性の低い融合画像が生成されるおそれがある。
そこで、本発明は、視認性が高い融合画像を安定して生成することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
本発明による画像処理装置は、異なる特性を有する２以上の画像であって、少なくとも重複する領域を含む２以上の画像である融合元画像が入力されると、融合元画像の各々に対して、当該画像のコントラスト値と当該画像に含まれるノイズ量とに基づいて、当該画像における視対象の視認性に関する指標である視認性指標を算出する視認性指標算出手段と、算出された視認性指標に基づいて、融合元画像間における各画像の融合比率を算出する融合比率算出手段と、算出された融合比率に基づいて、融合元画像を融合して融合画像を生成する画像融合手段とを備えることを特徴とする。
また、本発明による画像処理方法は、情報処理装置が、異なる特性を有する２以上の画像であって、少なくとも重複する領域を含む２以上の画像である融合元画像が入力されると、融合元画像の各々に対して、当該画像のコントラスト値と当該画像に含まれるノイズ量とに基づいて、当該画像における視対象の視認性に関する指標である視認性指標を算出し、算出された視認性指標に基づいて、融合元画像間における各画像の融合比率を算出し、算出された融合比率に基づいて、融合元画像を融合して融合画像を生成することを特徴とする。
また、本発明による画像処理プログラムは、コンピュータに、異なる特性を有する２以上の画像であって、少なくとも重複する領域を含む２以上の画像である融合元画像が入力されると、融合元画像の各々に対して、当該画像のコントラスト値と当該画像に含まれるノイズ量とに基づいて、当該画像における視対象の視認性に関する指標である視認性指標を算出する処理、算出された視認性指標に基づいて、融合元画像間における各画像の融合比率を算出する処理、および算出された融合比率に基づいて、融合元画像を融合して融合画像を生成する処理を実行させることを特徴とする。
本発明によれば、視認性が高い融合画像を安定して生成することができる。
第１の実施形態の画像処理装置の構成例を示すブロック図である。 画像処理装置１００の動作の一例を示すフローチャートである。 第１の実施形態の画像処理装置の他の構成例を示すブロック図である。 空間的識別分解能算出手段１２−１の構成例を示すブロック図である。 空間的識別分解能算出手段１２−１の他の構成例を示すブロック図である。 第１の実施形態の画像処理装置１０の動作の一例を示すフローチャートである。 第２の実施形態の画像処理装置の構成例を示すブロック図である。 第２の実施形態の画像処理装置２０の動作の一例を示すフローチャートである。 第３の実施形態の画像処理装置の構成例を示すブロック図である。 第３の実施形態の画像処理装置３０の動作の一例を示すフローチャートである。 第４の実施形態の画像処理装置の構成例を示すブロック図である。 第４の実施形態の画像処理装置３０の動作の一例を示すフローチャートである。 第５の実施形態の画像処理装置の構成例を示すブロック図である。 第６の実施形態の画像処理装置の構成例を示すブロック図である。 第７の実施形態の画像処理装置の構成例を示すブロック図である。 第８の実施形態の画像処理装置の構成例を示すブロック図である。 例１における第１の画像の一例を示す説明図である。 例１における第２の画像の一例を示す説明図である。 例１において第１の画像および第２の画像から算出される各パラメータの値の例を示す説明図である。 例１において算出された融合比率の一例を示す説明図である。 例１において生成された融合画像の一例を示す説明図である。 本発明の各実施形態にかかるコンピュータの構成例を示す概略ブロック図である。 本発明の画像処理装置の概略を示すブロック図である。
実施形態１．
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の第１の実施形態の画像処理装置の構成例を示すブロック図である。図１に示す画像処理装置１００は、視認性指標算出手段１０１と、融合比率算出手段１０２と、画像融合手段１０３とを備える。
ここで、図１に示す画像処理装置１００は、異なる特性を有する２つの画像であって、少なくとも重複する領域を含む２つの画像（第１の画像と第２の画像）が入力されると、適切な融合比率で２つの画像を融合した融合画像を出力する画像処理装置である。なお、図１では、融合元画像として２つの画像が入力される例を示すが、融合元画像は２以上であってもよい。
視認性指標算出手段１０１は、融合元画像である第１の画像および第２の画像が入力されると、入力画像の各々に対して、所定の視認性指標を算出する。
ここで、視認性指標は、算出対象とされる入力画像におけるコントラスト値と、入力画像に含まれるノイズ量とに基づいて算出される視対象の視認性（視認されやすさ）を表す指標である。なお、視対象は、所定の視認元（人や物）が画像から視認したい対象（物体等）である。なお、視対象は一つでなくてもよい。
視認性指標は、コントラスト値とノイズ量とに基づいて算出される視対象の視認性に関する指標であれば、特に限定されない。例えば、視認性指標は、コントラスト値とノイズ量とを入力とする冪関数を用いて算出されるような指標であってもよい。また、視認性指標は、例えば、後述する空間的識別分解能であってもよい。
融合比率算出手段１０２は、各融合元画像の視認性指標に基づいて、融合元画像間における各画像（画像情報）の融合比率を算出する。
画像融合手段１０３は、各融合元画像の融合比率に基づいて、各融合元画像を融合して融合画像を生成する。
図２、画像処理装置１００の動作の一例を示すフローチャートである。図２に示す例では、まず、画像処理装置１００に、融合元画像として、異なる特性を有する第１の画像と第２の画像とが入力される（ステップＳ０１）。
融合元画像が入力されると、視認性指標算出手段１０１が、融合元画像の各々に対して、当該画像のコントラスト値と当該画像に含まれるノイズ量とに基づいて、当該画像における視対象の視認性に関する指標である視認性指標を算出する（ステップＳ０２）。
次いで、融合比率算出手段１０２は、算出された各融合元画像の視認性指標に基づいて、融合元画像間における各画像の融合比率を算出する（ステップＳ０３）。
最後に、画像融合手段１０３が、算出された各融合元画像の融合比率に基づいて、各融合元画像を融合して融合画像を生成する（ステップＳ０４）。
図３は、本実施形態の画像処理装置の他の構成例を示すブロック図である。図３に示す画像処理装置１０は、画像処理装置１００のより詳細な例であり、２つの画像取得手段１１（１１−１と１１−２）と、画像取得手段１１の各々に対応する２つの空間的識別分解能算出手段１２（１２−１と１２−２）と、融合比率算出手段１３と、画像融合手段１４とを備える。
なお、空間的識別分解能算出手段１２−１および１２−１が視認性指標算出手段１０１に相当し、融合比率算出手段１３が融合比率算出手段１０２に相当し、画像融合手段１４が画像融合手段１０３に相当する。
以下では、画像取得手段１１−１を第１の画像取得手段１１といい、画像取得手段１１−２を第２の画像取得手段１１という場合がある。また、第１の画像取得手段１１が取得した画像を第１の画像、第２の画像取得手段１１が取得した画像を第２の画像という場合がある。また、第１の画像取得手段１１と第２の画像取得手段１１を特に区別なく表す場合に、単に画像取得手段１１という場合がある。
本実施形態の画像処理装置１０は、第１の画像と第２の画像を取得して、それらの画像を融合した融合画像を出力する装置である。
第１の画像取得手段１１は、所定のまたは任意の第１の領域を含む画像情報を取得する。また、第１の画像取得手段１１は、取得した画像情報を、第１の画像の画像情報として後段の処理手段（本例では、空間的識別分解能算出手段１２−１および融合比率算出手段１３）に出力する。なお、画像情報の取得は、その画像情報によって示される画像の取得を含む意味である。ただし、画像情報の取得は、画像だけでなく、画像に関する他の情報を取得することも含みうる。
第２の画像取得手段１１は、第１の画像取得手段１１とは特性が異なる画像情報であって、第１の領域を含む第２の領域の画像情報を取得する。
第２の画像取得手段１１が画像情報を取得する第２の領域は、第１の画像取得手段１１が画像情報を取得する領域と同一の領域であってもよいし、異なっていてもよい。ただし、２つの画像取得手段１１がそれぞれ取得する画像情報に、少なくとも第１の領域が含まれる。なお、２つの画像取得手段１１がそれぞれ取得する画像情報の画像において重複する領域を、第１の領域とみなすことも可能である。
また、第２の画像取得手段１１は、取得した画像情報を、第２の画像の画像情報として後段の処理手段（本例では、空間的識別分解能算出手段１２−２および融合比率算出手段１３）出力する。
ここで、特性の異なりは、例えば、観測波長の異なり（近赤外光と遠赤外光や、可視光と赤外光など）であってもよい。また、例えば、観測情報の異なり（輝度情報と距離情報（デプス情報等）など）であってもよい。なお、上記はあくまで一例であり、特性の異なりは上記に限定されない。
第１の画像取得手段１１および第２の画像取得手段１１はそれぞれ、所定の領域を撮影して撮影画像の画像情報を取得する撮像装置（イメージセンサ）等により実現されてもよいし、外部の撮像装置やそれらと接続されたサーバ装置等から上記の画像情報を入力する入力装置により実現されてもよい。その場合、撮像装置から直接画像情報を入力する画像入力装置だけでなく、撮像装置の撮像装置が記憶されているサーバ装置等からネットワークを介して画像情報を入力するネットワークＩ／Ｏ装置なども含まれる。このように、第１の画像取得手段１１および第２の画像取得手段１１における画像情報の取得方法は特に限定されない。
各々の画像取得手段１１は、例えば、画像情報として、撮影画像（画像そのもの）を出力してもよし、撮影画像に加えて、撮影画像のコントラスト値、撮影画像に含まれるノイズ量および撮影画像を取得した際の各種パラメータ（露光時間やゲインの設定値等）のいずれかまたはそれらの組み合わせを出力してもよい。
また、図示省略しているが、各々の画像取得手段１１は、画像融合手段１４にも画像情報を出力してもよい。なお、画像取得手段１１が空間的識別分解能算出手段１２に出力した画像情報を、空間的識別分解能算出手段１２が、後段の融合比率算出手段１３や画像融合手段１４に出力してもよい。または、空間的識別分解能算出手段１２から画像情報を受け取った融合比率算出手段１３が後段の画像融合手段１４に出力することも可能である。または、図示しない記憶部に記憶することにより、各手段が自由に参照できるようにしてもよい。このように画像処理装置１０内での画像情報の受け渡し方法は特に限定されない。
また、第１の画像の撮影元の位置と第２の画像の撮影元の位置は特に限定されない。しかし、撮影元の位置が離れていると、第１の画像と第２の画像との間の視差が発生し、画像の位置あわせが困難になるおそれがある。両画像の撮影元はできるだけ近い位置に設置されることが好ましい。なお、撮影元が第１の画像取得手段１１および第２の画像取得手段１１である場合には、それらをできるだけ近い位置に設置すればよい。
空間的識別分解能算出手段１２−１および空間的識別分解能算出手段１２−２はそれぞれ、対応する画像取得手段１１（第１の画像取得手段１１または第２の画像取得手段１１）が取得した画像情報を入力として、画像情報が示す画像（入力画像）から、空間的識別分解能を算出する。
ここで、空間的識別分解能とは、所定の視認元において識別可能な最小の視対象のサイズである最小視対象サイズを表す指標である。視認元は、例えば、画像から所望の物体等を視認する人や物（装置）である。また、視対象は、視認元が画像から視認したい対象（物体等）である。なお、サイズは、画像内のサイズ（ピクセル数）である。ただし、入力画像間で縮尺が異なる場合はいずれかの画像の縮尺に統一した後の画像内サイズとする。なお、空間的識別分解能は、最小視対象サイズそのものを表す指標に限らず、異なる画像間において最小視対象サイズの大小を比較可能な指標（例えば、比較対象とされた画像や基準とされる画像に対して求まる相対的な指標）などでもよい。
以下では、空間的識別分解能算出手段１２−１を第１の空間的識別分解能算出手段１２といい、空間的識別分解能算出手段１２−２を第２の空間的識別分解能算出手段１２という場合がある。また、第１の空間的識別分解能算出手段１２と第２の空間的識別分解能算出手段１２とを特に区別なく表す場合に、単に空間的識別分解能算出手段１２という場合がある。
例えば、第１の空間的識別分解能算出手段１２は、第１の画像を入力とし、第１の画像に対する空間的識別分解能を出力する。また、例えば、第２の空間的識別分解能算出手段１２は、第２の画像を入力とし、第２の画像に対する空間的識別分解能を出力する。なお、これら空間的識別分解能算出手段１２における空間的識別分解能の算出方法については後述する。
また、図３では、画像処理装置１０が、融合元とされる２つの画像に対応して２つの画像取得手段と２つの空間的識別分解能算出手段１２を備える例を示したが、画像処理装置１０は、融合元とされる２つの画像を取得する１つの画像取得手段や、２つの画像それぞれから空間的識別分解能を算出する１つの空間的識別分解能算出手段１２を備える構成であってもよい。
融合比率算出手段１３は、第１の画像の空間的識別分解能と、第２の画像の空間的識別分解能とを入力として、第１の画像と第２の画像とを融合する融合処理における各々の画像の融合比率を算出する。
融合比率の算出方法の一例として、式（１）に示すように、第１の画像から算出された空間的識別分解能と、第２の画像から算出された空間的識別分解能との加重平均を各々の画像の融合比率とする方法がある。
Figure 0006930605
ここで、Ｒ１、Ｒ２はそれぞれ、第１の画像の融合比率、第２の画像の融合比率を表す。また、ｔ１、ｔ２はそれぞれ、第１の画像に対して得られた空間的識別分解能、第２の画像に対して得られた空間的識別分解能を表す。
また、融合比率の算出方法の他の例として、式（２）に示すように、第１の画像と第２の画像の各々の空間的識別分解能を比較し、空間的識別分解能が低い方の画像の融合比率を０とする方法を用いてもよい。
Figure 0006930605
融合比率算出手段１３は、各入力画像に対して得られた空間的識別分解能を比較し、少なくとも空間的識別分解能が高い方の画像の比率が高くなるように融合比率を設定する。
画像融合手段１４は、第１の画像と、第２の画像と、それらの融合比率とを入力とし、第１の画像と第２の画像とを融合した融合画像を生成して出力する。なお、画像融合手段１４における融合画像の生成方法（画像の融合方法）は、特に限定されない。例えば、特許文献１に記載されているような、画像の重畳または組み合わせによる融合処理であってもよいし、特許文献２に記載されているような、周波数空間での融合処理であってもよい。ただし、そられの際に、入力された融合比率に応じた重畳、組み合わせまたは空間周波数成分の合成が行われるものとする。
次に、空間的識別分解能算出手段１２における空間的識別分解能の算出方法についてより詳細に説明する。
図２は、空間的識別分解能算出手段１２−１の構成例を示すブロック図である。図２に示す空間的識別分解能算出手段１２−１は、コントラスト算出手段１２１と、識別分解能算出手段１２２とを含む。なお、図２に示す空間的識別分解能算出手段１２−１は、所定の領域を含む入力画像と、当該入力画像に含まれるノイズ量とを入力とし、入力画像が有する空間的識別分解能を出力する。
ノイズ量は、各々の画像取得手段１１が出力する画像情報にノイズ量が含まれている場合はそれを用いればよい。画像情報にノイズ量が含まれていない場合は、入力画像の撮影元の（既知の）ノイズ特性や、画像情報から得られる他のパラメータ（撮影元が入力画像を撮影した際の露光時間やゲイン設定等）に基づいて、ノイズ量を算出してもよい。
コントラスト算出手段１２１は、入力画像から、該画像のコントラスト値を算出する。
コントラスト算出手段１２１におけるコントラスト値の算出方法の例としては、コントラスト値の算出対象とされる画像領域内の輝度値の最大値Ｉｍａｘと最大値Ｉｍｉｎとを用いて、式（３）により算出する方法が挙げられる。なお、式（３）において、Ｃはコントラスト値を表す。
Figure 0006930605
ここで、コントラスト値の算出対象とする画像領域は、特に限定されない。例えば、画像全体や、第１の画像と第２の画像の重複領域や、第１の領域であってもよい。
また、コントラスト値の算出方法は、式（３）以外にも多数存在し、コントラスト算出手段１２１に適用可能なコントラスト値の算出方法は上記に限定されない。
識別分解能算出手段１２２は、入力画像のコントラスト値と、入力画像のノイズ量とに基づいて、入力画像の空間的識別分解能を算出する。識別分解能算出手段１２２に入力されるノイズ量は、例えば、対応する画像取得手段１１が入力画像を取得する際に入力画像とともに取得されたものであってもよいし、後述するように入力画像から推定されたものであってもよい。
識別分解能算出手段１２２における空間的識別分解能の算出方法の例として、次の方法が挙げられる。
すなわち、入力画像において視対象が識別可能であるときのノイズ量変化量ΔＮとコントラスト値変化量ΔＣとの関係を表す関数ｆ（ΔＣ）と、入力画像において視対象が識別可能であるときのノイズ量変化量ΔＮ（ただし、上記と区別するため以降ΔＮ’と記す）と視対象サイズの変化量ΔＳとの関係を表す関数ｇ（ΔＳ）とを用いる方法である。
式（４）および式（５）に、上記の関数ｆ（ΔＣ）および関数ｇ（ΔＳ）の一例を示す。
Figure 0006930605
Figure 0006930605
式（４）および式（５）におけるａ，ｂ，ｃ，ｄは、所定の定数である。なお、式（４）は、視対象のコントラスト値がΔＣだけ変化した際に、視対象が識別可能となるときのノイズ量の変化量がΔＮであることを表しており、式（５）は、視対象のサイズがΔＳだけ変化した際に、視対象が識別可能となるときのノイズ量の変化量がΔＮ’であることを表している。
式（４）、式（５）より、入力画像に含まれるノイズ量ＮＩと、入力画像から算出されるコントラスト値ＣＩとから、視対象を識別可能なサイズ（空間的識別分解能）ＳＩを推定する式（６）を生成することができる。
Figure 0006930605
ここで、ｋは、スケールを表す係数である。ｇ−１（ｘ）は、関数ｇ（ｘ）の逆関数である。なお、式（４）、式（５）および式（６）はそれぞれ一例であり、関数ｆ（ΔＣ）、関数ｇ（ΔＳ）および空間的識別分解能は上記式に限定されず、例えば、コントラスト値とノイズ量とに基づく指標であればよい。
また、空間的識別分解能の算出方法として、予めＮＩとＣＩの組み合わせに対するＳＩを計算するなどして所定のルックアップテーブルを作成しておき、これを必要に応じて用いてもよい。
また、図２では、空間的識別分解能算出手段１２−１に、入力画像とともにそのノイズ量ＮＩが入力される例を示したが、空間的識別分解能算出手段１２−１は、例えば、図５に示すような構成でもよい。
図５は、空間的識別分解能算出手段１２−１の他の構成例を示すブロック図である。図５に示す空間的識別分解能算出手段１２−１は、図４に示す構成に加えて、さらにノイズ量推定手段１２３を含む。
ノイズ量推定手段１２３は、入力画像に含まれるノイズ量を推定する。
ノイズ量推定手段１２３におけるノイズ量の推定方法の一例として、画像中の平坦領域の輝度値の分散を用いる方法が挙げられる。以下に、輝度値の分散を用いるノイズ量推定方法について説明する。
ノイズ量推定手段１２３は、まず、ノイズ量推定を行う対象画像（入力画像）をｐ×ｑサイズのブロックに分割し、各々のブロックについて、輝度値の分散σを算出する。ここで、ｐ、ｑは正の整数である。次いで、ノイズ量推定手段１２３は、最も小さいまたはＸ番目に小さい分散σが算出されたブロックを平坦領域とみなし、そのブロック（平坦領域）から算出された分散σｍｉｎを、入力画像に含まれるノイズの分散として、入力画像に含まれるノイズ量を推定する。
より具体的には、ノイズ量推定手段１２３は、最も小さいまたはＸ番目に小さい分散σの値をσｍｉｎとする。ただし、Ｘは分散を求めたブロックの数に比べて小さな値とする。分散がσｍｉｎの以下のブロックは、画像中の全てのブロックの中で分散が小さいブロックであることから、このブロックは画像における平坦領域であるとみなせる。平坦領域におけるブロック内の輝度分散はノイズ由来であるため、その最大値であるσｍｉｎを画像に含待得るノイズ量と推定してもよい。なお、その他にも平坦領域における分散の平均値をノイズ量と推定することも可能である。
なお、上記のノイズ量の推定方法はノイズ量推定方法の一例であり、本発明で適用可能なノイズ量推定方法は前述に限られない。また、平坦領域の決定方法も上記に限定されない。
また、上記のコントラスト値算出方法、空間的識別分解能値算出方法およびノイズ量推定方法は、画像情報が一次元である場合を例に用いて説明したが、画像情報（画素値）は多次元であってもよい。画像情報が多次元である場合は、各次元のデータに対して上述した各処理を施せばよい。
なお、上記では、空間的識別分解能算出手段１２−１を例に用いて具体的な構成例を示したが、他の空間的識別分解能算出手段１２も同様でよい。
次に、本実施形態の動作を説明する。図６は、本実施形態の画像処理装置１０の動作の一例を示すフローチャートである。図６に示す例では、まず、画像取得手段１１がそれぞれ、第１の領域を含む領域を撮影した撮影画像の画像情報を取得する（ステップＳ００１）。第１の画像取得手段１１および第２の画像取得手段１１は、それぞれ第１の領域を含む領域を撮影して、撮影画像の画像情報を生成してもよい。
第１の画像取得手段１１が取得した画像情報は、第１の画像の画像情報として、第１の空間的識別分解能算出手段１２に出力される。また、第２の画像取得手段１１が取得した画像情報は、第２の画像の画像情報として、第２の空間的識別分解能算出手段１２に出力される。
次に、空間的識別分解能算出手段１２がそれぞれ、入力画像の空間的識別分解能を算出する（ステップＳ００２）。ここでは、第１の空間的識別分解能算出手段１２が第１の画像の分割画像から空間的識別分解能を算出し、第２の空間的識別分解能算出手段１２が第２の画像の分割画像から空間的識別分解能を算出する。各々の空間的識別分解能算出手段１２は、例えば、入力画像に対するコントラスト値を算出し、算出されたコントラスト値と、入力画像に含まれるノイズ量とから、入力画像に対する空間的識別分解能値を算出する。
次に、融合比率算出手段１３が、入力画像（第１の画像および第２の画像）に対して算出された空間的識別分解能に基づいて、融合画像における各入力画像の融合比率を算出する（ステップＳ００３）。融合比率算出手段１３は、例えば、空間的識別分解能が高い入力画像の融合比率が高くなるように融合比率を算出する。
次に、画像融合手段１４が、融合比率算出手段１３により算出された融合比率で、入力画像（第１の画像および第２の画像）を融合し、融合画像を生成する（ステップＳ００４）。
以上のように、本実施形態によれば、空間的識別分解能を指標として融合比率を決定することで、入力画像のうち、視対象についてより空間的に詳細な情報を視認可能な画像の融合比率を高く設定することが可能となり、原画像にノイズが含まれるような場合であっても視認性の高い融合画像を安定して生成することが可能となる。
例えば、コントラスト値のみに基づいて融合比率を決定した場合、ノイズを多く含む入力画像の融合比率が高くなるおそれがある。これに対して、本実施形態では、コントラスト値だけでなくノイズ量も加味して算出される空間的識別分解能を基に融合比率を決定することにより、より明確に視対象を識別可能な入力画像の方が優先され、高比率で融合できる。
実施形態２．
次に、本発明の第２の実施の形態について図７を参照して説明する。図７は、第２の実施形態の画像処理装置の構成例を示すブロック図である。図７に示す画像処理装置２０は、図３に示す第１の実施形態の画像処理装置１０と比べて、前処理手段２１（前処理手段２１−１および前処理手段２１−２）が追加されている点が異なる。
以下、前処理手段２１−１を第１の前処理手段２１といい、前処理手段２１−２を第２の前処理手段２１という場合がある。また、第１の前処理手段２１と第２の前処理手段２１を特に区別なく表す場合に、単に前処理手段２１という場合がある。
本例の前処理手段２１は、画像取得手段１１の後段であって空間的識別分解能算出手段１２の前段に設けられる。したがって、例えば、第１の画像取得手段１１は、第１の画像の画像情報を第１の前処理手段２１に出力する。また、例えば、第２の画像取得手段１１は、第２の画像の画像情報を第２の前処理手段２１に出力する。
各々の前処理手段２１は、画像取得手段１１から入力される画像情報によって示される画像（入力画像）に対して、前処理を行う。また、各々の前処理手段２１は、前処理後の画像情報を、後段の空間的識別分解能算出手段１２や融合比率算出手段１３や画像融合手段１４に出力する。
前処理の例としては、ノイズ抑制処理、コントラスト強調処理、画像鮮鋭化処理などが挙げられる。前処理手段２１は、このうちのいずれかのみを行ってもよいし、これらを複数組み合わせ行ってもよい。なお、前処理手段２１は、上記以外の前処理を施すことも可能である。
空間的識別分解能算出手段１２、融合比率算出手段１３および画像融合手段１４は、前処理後の画像を入力画像として、前処理後の画像に対して、空間的識別分解能の算出、融合比率の算出および融合処理を行う。
次に、第２の実施の形態の動作を説明する。図８は、第２の実施形態の画像処理装置２０の動作の一例を示すフローチャートである。
図８に示すように、本実施形態では、画像取得手段１１による画像情報の取得処理（ステップＳ００１）の後、前処理手段２１がそれぞれ、入力画像に対して、前処理を行う（ステップＳ２０１）。ここでは、第１の前処理手段２１が第１の画像に対して前処理を行い、第２の前処理手段２１が第２の画像に対して前処理を行う。そして、各々の前処理手段２１は、前処理後の画像の画像情報を、後段の空間的識別分解能算出手段１２に出力する。
空間的識別分解能算出手段１２ではそれぞれ、前処理後の画像の画像情報が入力されると、画像情報で示される前処理後の画像に対して、空間的識別分解能を算出する（ステップＳ２０２）。ここでは、第１の空間的識別分解能算出手段１２が第１の画像の前処理後の画像から空間的識別分解能を算出し、第２の空間的識別分解能算出手段１２が第２の画像の前処理後の画像から空間的識別分解能を算出する。
空間的識別分解能算出手段１２は、例えば、前処理が画像鮮鋭化処理などの画像強調処理であった場合、前処理後の画像（強調画像）から改めてコントラスト値を算出し、算出されたコントラスト値と、強調画像に含まれるノイズ量とに基づいて、空間的識別分解能を算出してもよい。このとき、強調画像に含まれるノイズ量として、当初の入力画像の画像情報に含まれるノイズ量を用いてもよいし、強調画像から推定されるノイズ量を用いることも可能である。なお、前処理がノイズ抑制処理である場合には、前処理後の画像（ノイズ抑制画像）からノイズ量を推定するのがより好ましい。
次に、融合比率算出手段１３が、第１の空間的識別分解能算出手段１２および第２の空間的識別分解能算出手段１２により、第１の画像の前処理後の画像および第２の画像の前処理後の画像に対して算出された空間的識別分解能に基づいて、融合画像におけるそれら前処理後の画像の融合比率を算出する（ステップＳ２０３）。
次に、画像融合手段１４が、融合比率算出手段１３により算出された融合比率で、第１の画像の前処理後の画像と第２の画像の前処理後の画像とを融合し、融合画像を生成する（ステップＳ２０４）。
ステップＳ２０２〜ステップＳ２０４の動作は、入力画像が前処理後の画像となっているだけで、基本的には第１の実施形態のステップＳ００２〜ステップＳ００４と同様である。
以上のように、本実施形態によれば、一般的な撮影画像だけでなく、前処理として画像処理がなされた画像に対しても、空間的識別分解能を基に適切な融合比率を決定することができるので、視認性の高い融合画像を安定して生成できる。
さらに、画像処理装置２０で前処理を施すことにより、入力画像が強いノイズを含む場合であっても、ノイズではない真の観測値（輝度値など）の変化を考慮して空間的識別分解能を算出できるようになるため、視認性の高い融合画像を安定して生成できる。
例えば、撮影装置によってノイズではない真の輝度値が観測されているにもかからず、入力画像に強いノイズが含まれる場合がある。このような場合、入力画像から算出される空間的識別分解能は、コントラストが全くない画像から算出される値と同等の値となってしまう。このような場合に、前処理によって、ノイズの抑制やコントラストの強調等を行って前処理後の画像に対してコントラスト値やノイズ量を求めることにより、撮影装置によって観測可能な輝度変化を考慮した空間的識別分解能を算出することができる。なお、このようなノイズの影響の除去等による効果は輝度値以外の観測値でも同様である。
実施形態３．
次に、本発明の第３の実施の形態について図９を参照して説明する。図９は、第３の実施形態の画像処理装置の構成例を示すブロック図である。図９に示す画像処理装置３０は、図３に示す第１の実施形態の画像処理装置１０と比べて、画像分割手段３１（画像分割手段３１−１および画像分割手段３１−２）が追加されている点が異なる。
本実施形態の画像処理装置３０は、入力画像を画像分割手段３１により分割し、分割後の画像領域（分割領域）の各々に対して、空間的識別分解能と融合比率とを算出し、算出された融合比率に応じて分割領域ごとに画像の融合処理を行い、融合画像を生成する。
以下、画像分割手段３１−１を第１の画像分割手段３１といい、画像分割手段３１−２を第２の画像分割手段３１という場合がある。また、第１の画像分割手段３１と第２の画像分割手段３１を特に区別なく表す場合に、単に画像分割手段３１という場合がある。
本例の画像分割手段３１は、画像取得手段１１の後段であって空間的識別分解能算出手段１２の前段に設けられる。したがって、例えば、第１の画像取得手段１１は、第１の画像の画像情報を第１の画像分割手段３１に出力する。また、例えば、第２の画像取得手段１１は、第２の画像の画像情報を第２の画像分割手段３１に出力する。
各々の画像分割手段３１は、画像取得手段１１から入力される画像情報によって示される画像（入力画像）を複数の領域に分割する。以下、分割後の領域（分割領域）の部分画像を分割画像という場合がある。分割画像は、単一の画素または複数の画素によって構成されるブロック領域の部分画像であってもよいし、複数の画素によって構成される任意形状領域の部分画像であってもよい。
ただし、各々の画像分割手段３１は、少なくとも第１の領域における分割方法を、入力画像間で一致させる。すなわち、第１の画像に含まれる第１の領域に対して行われる分割方法と、第２の画像に含まれる第１の領域に対して行われる分割方法とを一致させる。換言すると、第１の画像に含まれる第１の領域を分割して得られる分割画像と、第２の画像に含まれる第１の領域を分割して得られる分割画像が、それぞれ同じ領域を撮影した部分画像となるように、第１の画像および第２の画像を分割する。
また、各々の画像分割手段３１は、分割後の各分割画像の画像情報を、後段の空間的識別分解能算出手段１２や融合比率算出手段１３や画像融合手段１４に出力する。
空間的識別分解能算出手段１２、融合比率算出手段１３および画像融合手段１４は、分割後の各分割画像を入力画像として、分割領域ごとに空間的識別分解能の算出、融合比率の算出および融合処理を行う。
なお、空間的識別分解能の算出に際し、算出対象とされた分割領域以外の領域の画像情報を参照してもよい。例えば、コントラストを算出する際や、ノイズ量を推定するために平坦領域や分散を求める際に、分割前の入力画像全体の情報や、隣接する分割画像の情報を参照することができる。
また、本実施形態の融合比率算出手段１３は、分割領域ごとに、その分割領域に対して算出された第１の画像の分割画像の空間的識別分解能と第２の画像の分割画像の空間的識別分解能とに基づいて、それら分割画像の融合比率を算出する。ここで、撮影領域が一致していない領域等、いずれか一方の分割画像しか存在しない分割領域においては、その分割画像の融合比率を１（１００％）とすればよい。
また、本実施形態の画像融合手段１４は、分割領域ごとに融合画像（分割融合画像）を生成し、生成した分割融合画像を統合して融合画像を生成する。画像融合手段は、例えば、分割領域ごとに、第１の画像の分割画像と、第２の画像の分割画像と、各分割画像から算出された融合比率とを入力し、入力された融合比率で第１の画像の分割画像と第２の画像の分割画像とを融合して分割融合画像を生成してもよい。全ての分割領域で分割融合画像が生成されると、それら融合分割画像を統合して融合画像を生成する。このとき、いずれか一方の画像の領域のみを対象に融合画像を生成してもよいし、第１の領域のみを対象に融合画像を生成することも可能である。
次に、第３の実施の形態の動作を説明する。図１０は、第３の実施形態の画像処理装置３０の動作の一例を示すフローチャートである。
図１０に示すように、本実施形態では、画像取得手段１１による画像情報の取得処理（ステップＳ００１）の後、画像分割手段３１が、入力画像を分割する（ステップＳ３０１）。ここでは、第１の画像分割手段３１が第１の画像を分割し、第２の画像分割手段３１が第２の画像を分割する。そして、各々の画像分割手段３１は、分割して得られた分割画像の画像情報を、後段の空間的識別分解能算出手段１２に順次出力する。分割画像の画像情報には、分割サイズや分割前の画像における位置などの情報が含まれていてもよい。
空間的識別分解能算出手段１２では、分割画像の画像情報が入力されると、画像情報で示される分割画像に対して、空間的識別分解能を算出する（ステップＳ３０２）。ここでは、第１の空間的識別分解能算出手段１２が第１の画像の分割画像から空間的識別分解能を算出し、第２の空間的識別分解能算出手段１２が第２の画像の分割画像から空間的識別分解能を算出する。
次に、融合比率算出手段１３が、第１の空間的識別分解能算出手段１２および第２の空間的識別分解能算出手段１２により、第１の画像の分割画像および第２の画像の分割画像に対して算出された空間的識別分解能に基づいて、融合画像におけるそれら分割画像の融合比率を算出する（ステップＳ３０３）。
ステップＳ３０４では、全ての分割領域（分割画像）に対して、融合比率の算出処理（ステップＳ３０３）が完了したか否かを判定する。全ての分割画像に対して融合比率の算出処理が完了していない場合（ステップＳ３０４のＮｏ）、ステップＳ３０２に戻り、融合比率が未算出の分割領域に対応する第１の画像の分割画像および第２の画像の分割画像について、空間的識別分解能算出処理（ステップＳ３０２）および融合比率算出処理（Ｓ３０３）を実施する。
一方、全ての分割画像に対して融合比率の算出処理が完了した場合（ステップＳ３０４のＹｅｓ）、ステップＳ３０５に進む。
ステップＳ３０５では、画像融合手段１４が、各分割領域について、算出された各分割画像（分割領域に対応する第１の画像の分割画像および第２の画像の分割画像）の融合比率に従って分割画像を融合し、得られた分割融合画像を統合して最終的な融合画像を生成する。
以上のように、本実施形態によれば、画像分割を行って分割領域ごとに空間的識別分解能の算出および融合比率の算出を行うことにより、各分割領域における適切な融合比率を求めることができるので、全ての分割領域において視認性の高い融合画像を安定して得ることができる。
実施形態４．
次に、本発明の第４の実施の形態について図１１を参照して説明する。図１１は、第４の実施形態の画像処理装置の構成例を示すブロック図である。図１１に示す画像処理装置４０は、第２の実施形態の構成と第３の実施形態の構成を組み合わせたものである。すなわち、図１に示す第１の実施形態の画像処理装置１０の構成に、前処理手段２１（前処理手段２１−１および前処理手段２１−２）と、画像分割手段３１（画像分割手段３１−１および画像分割手段３１−２）とが追加されている。
本例では、画像取得手段１１と空間的識別分解能算出手段１２との間に、前処理手段２１と画像分割手段３１とがこの順で設けられている。すなわち、画像取得手段１１の後段に前処理手段２１が設けられ、前処理手段２１の後段に画像分割手段３１が設けられ、画像分割手段３１の後段に空間的識別分解能算出手段１２が設けられている。
本実施形態の画像処理装置４０は、入力画像に対して前処理手段２１が前処理を行い、前処理後の画像を画像分割手段３１により分割する。なお、分割後の各分割画像に対する取り扱いは第３の実施形態と同様である。
次に、第４の実施の形態の動作を説明する。図１２は、第４の実施形態の画像処理装置４０の動作の一例を示すフローチャートである。なお、第１〜第３の実施形態と同様の動作については同じ符号を付している。
図１２に示すように、本実施形態では、画像取得手段１１による画像情報の取得処理（ステップＳ００１）の後、前処理手段２１がそれぞれ、入力画像に対して、前処理を行う（ステップＳ２０１）。そして、前処理後の画像の画像情報を、後段の画像分割手段３１に出力する。
次に、画像分割手段３１が、入力画像である前処理後の画像を分割する（ステップＳ３０１）。ここでは、第１の画像分割手段３１が第１の画像の前処理後の画像を分割し、第２の画像分割手段３１が第２の画像の前処理後の画像を分割する。
以降の処理は、分割画像が前処理後の画像の分割画像に置き換わるだけで、第３の実施形態と同様である。
以上のように、本実施形態によれば、入力画像に対して前処理を行った上で画像分割を行うので、入力画像が強いノイズを含む場合であっても、全ての分割領域において視認性の高い融合画像を安定して得ることができる。
実施形態５．
上記の第１〜第４の実施形態では、２つの画像を融合する場合について説明したが、融合する画像は２以上であってもよい。図１３は、第５の実施形態の画像処理装置の構成例を示すブロック図である。図１３に示す画像処理装置５０は、３つ以上の画像取得手段１１（画像取得手段１１−１〜１１−ｎ）と、それに対応する空間的識別分解能算出手段１２（空間的識別分解能算出手段１２−１〜１２−ｎ）とを備える例である。なお、本実施形態は、第１の実施形態において入力画像が３つ以上となる場合の例である。入力画像が３つ以上となる点以外は、第１の実施形態の動作と基本的に同様である。
入力画像が３つ以上であっても、各入力画像は、少なくとも他の入力画像の少なくとも１つと互いに一致する領域（上記の第１の領域に相当）を含む。なお、同じ１つの領域を、必ずしも全ての入力画像間で一致させる必要はない。すなわち、各入力画像が他のいずれか１つの入力画像とのみ一致する領域を含んでいればよい。例えば、第１の画像と第２の画像間で一致する領域と、第２の画像と第３の画像間が一致する領域とが異なっていてもよい。その場合、融合比率算出手段１３は、一致する領域を含む画像間における当該領域の融合比率を算出すればよい。
３つ以上の画像を対象に融合比率を定める場合、空間的識別分解能が高い画像ほど高い比率となるように定める。これには、最も高い空間的識別分解能の画像が最も高い比率となり、最も低い空間的識別分解能の画像が最も低い比率となるものも含まれる。一例としては、各画像の融合比率を空間的識別分解能の高さの比をそのまま各入力画像の融合比率としたり、空間的識別分解能の高さに基づく重みの比を各入力画像の融合比率とするものなどが挙げられる。
実施形態６．
図１４は、第６の実施形態の画像処理装置の構成例を示すブロック図である。図１４に示す画像処理装置６０は、第５の実施形態の構成に、さらに３つ以上の前処理手段２１（前処理手段２１−１〜前処理手段２１−ｎ）が追加されている。なお、本実施形態は、第２の実施形態において入力画像が３つ以上となる場合の例である。入力画像が３つ以上となる点以外は、第２の実施形態の動作と基本的に同様である。
実施形態７．
図１５は、第７の実施形態の画像処理装置の構成例を示すブロック図である。図１５に示す画像処理装置７０は、第５の実施形態の構成に、さらに３つ以上の画像分割手段３１（画像分割手段３１−１〜画像分割手段３１−ｎ）が追加されている。なお、本実施形態は、第３の実施形態において入力画像が３つ以上となる場合の例である。入力画像が３つ以上となる点以外は、第３の実施形態の動作と基本的に同様である。
実施形態８．
図１６は、第８の実施形態の画像処理装置の構成例を示すブロック図である。図１６に示す画像処理装置８０は、第６の実施形態の構成と第７の実施形態の構成を組み合わせたものに相当する。なお、本実施形態は、第４の実施形態において入力画像が３つ以上となる場合の例である。入力画像が３つ以上となる点以外は、第４の実施形態の動作と基本的に同様である。
（例１）
次に、具体的な例を用いて第３の実施形態の動作を説明する。本例は、図９に示す第３の実施形態の構成において、第１の画像取得手段１１が近赤外カメラ装置であり、第２の画像取得手段１１が遠赤外カメラ装置である場合の例である。
図１７は第１の画像取得手段１１が取得した第１の画像の例を示す説明図であり、図１８は第２の画像取得手段１１が取得した第２の画像の例を示す説明図である。なお、第１の画像および第２の画像は元々、画素値が２５６諧調で表されるグレースケール画像であるが、図面においては白黒二値画像に変換されている。なお、画素値は２５６諧調以外の多諧調で表されていてもよい。
本例の第１の画像および第２の画像はどちらも暗所環境において撮影した画像である。第１の画像は、ノイズが生じ、視認性が低い画像となっている。一方、第２の画像は、ノイズが少なく、容易に人物を視認することができるが、人物以外の領域（人物奥の草や木、人物手間の草のある領域など）のコントラスト値が低く、特に人物の周辺領域についての視認性は低い画像となっている。なお、第１の画像の撮影領域と第２の画像の撮影領域とは完全に一致しており、画像内の領域全てが第１の領域に相当する。
図１９に、本例の第１の画像および第２の画像から算出したコントラスト値、ノイズ量（標準偏差）および空間的識別分解能の一例を示す。なお、図１９に示す例は、画像内の人物の左側の足の領域において算出された値である。図１９に示すように、本例の第１の画像から算出されたコントラスト値、ノイズ量および空間的識別分解能はそれぞれ０．５９、５０、３．２５であった。一方、第２の画像から算出されたコントラスト値、ノイズ量および空間的識別分解能はそれぞれ０．４９、６、３．０３であった。
コントラストの観点では、第２の画像に比べて第１の画像の方がコントラストが良い（コントラスト値が高い）。しかし、実際の画像では、当該領域において、第１の画像に比べて第２の画像の方がより明確に人物の足（視対象）とそれ以外（背景）を識別可能である。なお、仮により細かな領域を対象とした場合であっても、第２の画像において人物の足と背景を識別できる。
なお、ノイズ量とコントラスト値から算出した空間的識別分解能によれば、第２の画像の方が、より細やかな視対象を識別可能であることがわかる。
本例では、画像の融合方式として、多重解像度解析を用いた。この融合方式では、入力画像である第１の画像と第２の画像とを、特定の空間周波数成分を含む複数の画像へと分解し、分解された各画像を、指定された融合比率で融合することで、融合画像を生成する。本例では、視認性指標としての空間的識別分解能に基づいて各画像の融合比率を決定した。図１９に示すとおり、第１の画像の空間的識別分解能よりも第２の画像の空間的識別分解能の方が小さいことから、第１の画像と比べて第２の画像の方がより細やかな視対象を視認可能であることがわかる。したがって、第２の画像の高周波成分の融合比率を高くすることで視認性の高い融合画像を生成できることがわかる。
図２０に、本例において、画像融合手段に対して指定した第１の画像と第２の画像の融合比率の一例を示す。図２０に示す例は、本例において、特定空間周波数成分を含む４組の画像組に対して、各々の画像組に含まれる第１の画像の空間的識別分解能と第２の画像の空間的識別分解能とに基づき算出した第１の画像と第２の画像の融合比率の例である。
図２１は、本例において生成された融合画像を示す説明図である。なお、融合画像も元々、画素値が２５６諧調で表されるグレースケール画像であるが、図面においては白黒二値画像に変換されている。図２１より、コントラスト値とノイズ量とに基づく空間的識別分解能を用いて算出された融合比率に従って融合した本例の融合画像では、第１の画像では視認困難であった人物の視認性が向上していることがわかる。また、図２１より、本例の融合画像では、さらに、第２の画像では視認困難であった人物の周辺領域についても視認性が向上していることがわかる。
また、図２２は、本発明の各実施形態にかかるコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。
上述の実施形態の画像処理装置は、コンピュータ１０００に実装されてもよい。その場合、各装置の動作は、プログラムの形式で補助記憶装置１００３に記憶されていてもよい。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って各実施形態における所定の処理を実施する。なお、ＣＰＵ１００１は、プログラムに従って動作する情報処理装置の一例であり、ＣＰＵ（Central Processing Unit）以外にも、例えば、ＭＰＵ（Micro Processing Unit）やＭＣＵ（Memory Control Unit）やＧＰＵ（Graphics Processing Unit）などを備えていてもよい。
補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータは１０００がそのプログラムを主記憶装置１００２に展開し、各実施形態における所定の処理を実行してもよい。
また、プログラムは、上記の実施形態における所定の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで各実施形態における所定の処理を実現する差分プログラムであってもよい。
インタフェース１００４は、他の装置との間で情報の送受信を行う。また、ディスプレイ装置１００５は、ユーザに情報を提示する。また、入力デバイス１００６は、ユーザからの情報の入力を受け付ける。
また、実施形態における処理内容によっては、コンピュータ１０００の一部の要素は省略可能である。例えば、コンピュータ１０００がユーザに情報を提示しないのであれば、ディスプレイ装置１００５は省略可能である。例えば、コンピュータ１０００がユーザから情報入力を受け付けないのであれば、入力デバイス１００６は省略可能である。
また、上記の実施形態の各構成要素の一部または全部は、汎用または専用の回路（Circuitry）、プロセッサ等やこれらの組み合わせによって実施される。これらは単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また、上記の実施形態の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
上記の実施形態の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
次に、本発明の概要を説明する。図２３は、本発明の画像処理装置の概略を示すブロック図である。図２３に示すように、本発明の画像処理装置５００は、視認性指標算出手段５０１と、融合比率算出手段５０２と、画像融合手段５０３とを備える。
視認性指標算出手段５０１（例えば、視認性指標算出手段１０１、空間的識別分解能算出手段１２−１〜１２−ｎ）は、異なる特性を有する２以上の画像であって、少なくとも重複する領域を含む２以上の画像である融合元画像が入力されると、融合元画像の各々に対して、当該画像のコントラスト値と当該画像に含まれるノイズ量とに基づいて、当該画像における視対象の視認性に関する指標である視認性指標を算出する。
融合比率算出手段５０２（例えば、融合比率算出手段１０２、融合比率算出手段１３）は、視認性指標算出手段５０１によって算出された視認性指標に基づいて、融合元画像間における画像の融合比率を算出する。
画像融合手段５０３（例えば、画像融合手段１０３、画像融合手段１４）は、融合比率算出手段５０２によって算出された融合比率に基づいて、融合元画像を融合して融合画像を生成する。
このような構成によれば、視認性が高い融合画像を安定して生成することができる。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
本発明は、２以上の画像を融合して新たな画像を取得する用途であれば、好適に適用可能である。
１００ 画像処理装置
１０１ 視認性指標算出手段
１０２ 融合比率算出手段
１０３ 画像融合手段
１０、２０、３０、４０、５０、６０、７０、８０ 画像処理装置
１１ 画像取得手段
１２ 空間的識別分解能算出手段
１２１ コントラスト算出手段
１２２ 識別分解能算出手段
１２３ ノイズ量推定手段
１３ 融合比率算出手段
１４ 画像融合手段
２１ 前処理手段
３１ 画像分割手段
５００ 画像処理装置
５０１ 視認性指標算出手段
５０２ 融合比率算出手段
５０３ 画像融合手段
１０００ コンピュータ
１００１ ＣＰＵ
１００２ 主記憶装置
１００３ 補助記憶装置
１００４ インタフェース
１００５ ディスプレイ装置
１００６ 入力デバイス

Claims (10)

  1. 異なる特性を有する２以上の画像であって、少なくとも重複する領域を含む２以上の画像である融合元画像が入力されると、前記融合元画像の各々に対して、当該画像のコントラスト値と当該画像に含まれるノイズ量とに基づいて、当該画像における視対象の視認性に関する指標である視認性指標を算出する視認性指標算出手段と、
    前記視認性指標に基づいて、前記融合元画像間における各画像の融合比率を算出する融合比率算出手段と、
    前記融合比率に基づいて、前記融合元画像を融合して融合画像を生成する画像融合手段とを備える
    ことを特徴とする画像処理装置。
  2. 前記視認性指標が、前記コントラスト値と前記ノイズ量とを入力とする冪関数を用いて算出される
    請求項１に記載の画像処理装置。
  3. 前記視認性指標が、所定の視認元において識別可能な最小の視対象のサイズを表す空間的識別分解能である
    請求項１または請求項２に記載の画像処理装置。
  4. 前記融合元画像を取得する画像取得手段を備える
    請求項１から請求項３のうちのいずれかに記載の画像処理装置。
  5. 前記融合元画像の各々に対して、前処理を施す前処理手段を備え、
    前記視認性指標算出手段、前記融合比率算出手段および前記画像融合手段は、前記前処理後の画像に対して前記視認性指標の算出、前記融合比率の算出および画像融合処理を行う
    請求項１から請求項４のうちのいずれかに記載の画像処理装置。
  6. 前記コントラスト値を算出するコントラスト値算出手段を備え、
    前記コントラスト値算出手段は、前記コントラスト値を、前記入力画像内の最大輝度値と最小輝度値との差と、該最大輝度値と該最小輝度値との和との比として算出する
    請求項１から請求項５のうちのいずれかに記載の画像処理装置。
  7. 前記ノイズ量を推定するノイズ量推定手段を備え、
    前記ノイズ量推定手段は、前記入力画像内の平坦領域における輝度値または画素値を構成する測定値の分散に基づいて、前記ノイズ量を推定する
    請求項１から請求項６のうちのいずれかに記載の画像処理装置。
  8. 前記視認性指標算出手段よりも前段に位置し、入力された画像を分割して複数の分割画像を出力する画像分割手段を備え、
    前記視認性指標算出手段は、前記分割画像の各々に対して前記視認性指標を算出し、
    前記融合比率算出手段は、撮影領域が一致する前記分割画像を対象に、前記視認性指標に基づいて、当該分割画像間における各画像の融合比率を算出し、
    前記画像融合手段は、撮影領域が一致する前記分割画像間で算出された前記融合比率に基づいて、当該分割画像を融合し、得られた分割融合画像を統合して融合画像を生成する
    請求項１から請求項７のうちのいずれかに記載の画像処理装置。
  9. 情報処理装置が、
    異なる特性を有する２以上の画像であって、少なくとも重複する領域を含む２以上の画像である融合元画像が入力されると、前記融合元画像の各々に対して、当該画像のコントラスト値と当該画像に含まれるノイズ量とに基づいて、当該画像における視対象の視認性に関する指標である視認性指標を算出し、
    前記視認性指標に基づいて、前記融合元画像間における各画像の融合比率を算出し、
    前記融合比率に基づいて、前記融合元画像を融合して融合画像を生成する
    ことを特徴とする画像処理方法。
  10. コンピュータに、
    異なる特性を有する２以上の画像であって、少なくとも重複する領域を含む２以上の画像である融合元画像が入力されると、前記融合元画像の各々に対して、当該画像のコントラスト値と当該画像に含まれるノイズ量とに基づいて、当該画像における視対象の視認性に関する指標である視認性指標を算出する処理、
    前記視認性指標に基づいて、前記融合元画像間における各画像の融合比率を算出する処理、および
    前記融合比率に基づいて、前記融合元画像を融合して融合画像を生成する処理
    を実行させるための画像処理プログラム。
JP2019559484A 2017-12-14 2017-12-14 画像処理装置、画像処理方法および画像処理プログラム Active JP6930605B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/044853 WO2019116487A1 (ja) 2017-12-14 2017-12-14 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2019116487A1 JPWO2019116487A1 (ja) 2020-11-19
JP6930605B2 true JP6930605B2 (ja) 2021-09-01

Family

ID=66819118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019559484A Active JP6930605B2 (ja) 2017-12-14 2017-12-14 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US11227371B2 (ja)
JP (1) JP6930605B2 (ja)
WO (1) WO2019116487A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246108B (zh) * 2018-11-21 2023-06-20 浙江大华技术股份有限公司 一种图像处理方法、装置及计算机可读存储介质
KR102643243B1 (ko) * 2019-10-10 2024-03-05 삼성전자 주식회사 사용자 인터페이스에 대한 시인성 개선을 지원하기 위한 전자 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3625144B2 (ja) * 1999-01-18 2005-03-02 大日本スクリーン製造株式会社 画像処理方法
US7016045B2 (en) * 1999-03-12 2006-03-21 Regents Of The University Of Minnesota Video camera-based visibility measurement system
US6898331B2 (en) 2002-08-28 2005-05-24 Bae Systems Aircraft Controls, Inc. Image fusion system and method
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP4985660B2 (ja) 2009-01-16 2012-07-25 株式会社豊田中央研究所 擬似濃淡画像生成装置及びプログラム
JP5576812B2 (ja) * 2011-02-16 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP6035153B2 (ja) * 2013-01-17 2016-11-30 シャープ株式会社 画像処理装置、画像表示装置、プログラム、および、記憶媒体
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US8885976B1 (en) * 2013-06-20 2014-11-11 Cyberlink Corp. Systems and methods for performing image fusion
JP6543787B2 (ja) * 2014-09-09 2019-07-17 ハンファテクウィン株式会社 画像処理装置および画像処理方法
EP3343501A1 (en) * 2016-12-28 2018-07-04 Karl-Franzens-Universität Graz Method and device for image processing
US11880909B2 (en) * 2017-03-17 2024-01-23 Maxell, Ltd. AR display apparatus and AR display method
US11037038B2 (en) * 2019-03-27 2021-06-15 Digimarc Corporation Artwork generated to convey digital messages, and methods/apparatuses for generating such artwork
JP7136138B2 (ja) * 2020-01-29 2022-09-13 トヨタ自動車株式会社 地図生成用データ収集装置及び地図生成用データ収集方法ならびに車両

Also Published As

Publication number Publication date
JPWO2019116487A1 (ja) 2020-11-19
US11227371B2 (en) 2022-01-18
US20200388015A1 (en) 2020-12-10
WO2019116487A1 (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
EP2827297B1 (en) Method and apparatus for processing depth image
US8718356B2 (en) Method and apparatus for 2D to 3D conversion using scene classification and face detection
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
JP6355346B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2016513320A (ja) 少なくとも１つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置
US11030799B2 (en) Image processing apparatus, image processing method and storage medium. With estimation of parameter of real illumination based on normal information on pixel included in high luminance area
CN111985427A (zh) 活体检测方法、设备及可读存储介质
JP6930605B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Agaian et al. New haze removal scheme and novel measure of enhancement
CN112132925A (zh) 用于重建水下图像颜色的方法和装置
JP6922399B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6514504B2 (ja) 画像処理装置およびその制御方法、ならびにプログラム
JP5286215B2 (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
CN111179245B (zh) 图像质量检测方法、装置、电子设备和存储介质
JP6896811B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5203159B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
US11176728B2 (en) Adaptive depth-guided non-photorealistic rendering method and device
WO2008018459A1 (fr) Procédé de traitement d'image, appareil de traitement d'image, programme de traitement d'image, et appareil de prise d'image
JP4996554B2 (ja) 画像高画質化装置、方法およびプログラム
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
JP7421273B2 (ja) 画像処理装置及びその制御方法及びプログラム
JP6949494B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R150 Certificate of patent or registration of utility model

Ref document number: 6930605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150