JPWO2019012647A1 - 画像処理装置、画像処理方法およびコンピュータプログラム - Google Patents

画像処理装置、画像処理方法およびコンピュータプログラム Download PDF

Info

Publication number
JPWO2019012647A1
JPWO2019012647A1 JP2019529391A JP2019529391A JPWO2019012647A1 JP WO2019012647 A1 JPWO2019012647 A1 JP WO2019012647A1 JP 2019529391 A JP2019529391 A JP 2019529391A JP 2019529391 A JP2019529391 A JP 2019529391A JP WO2019012647 A1 JPWO2019012647 A1 JP WO2019012647A1
Authority
JP
Japan
Prior art keywords
image
gradient
pixel
combined
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019529391A
Other languages
English (en)
Other versions
JP6835227B2 (ja
Inventor
剛志 柴田
剛志 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019012647A1 publication Critical patent/JPWO2019012647A1/ja
Application granted granted Critical
Publication of JP6835227B2 publication Critical patent/JP6835227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明は、合成画像に要求される画質の改善を図ることができる画像処理装置を提供する。勾配算出部21は、合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する。スケール探索部22は、合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する。勾配スコア算出部23は、画像勾配およびスケールスコアに基づいて勾配スコアを画素毎に算出する。勾配確定部24は、勾配スコアを利用して、合成対象の複数の画像を合成した後の合成画像における画素毎の画像勾配をターゲット勾配として算出する。係数算出部25は、合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数をターゲット勾配に基づいて合成画像の画素毎に算出する。合成部26は、算出された係数に基づいた基底ベクトルの線形結合により、合成画像を生成する。

Description

本発明は、複数の画像を合成する技術に関する。
昨今、様々な画像合成手法が提案されている。また、撮影に係る設定(露光量や露出時間)を変更できるカメラは、光の波長帯域に対する感度特性が異なる様々な画像を取得できる。さらに、露出時間等の設定が同じでも、撮影時にフラッシュを焚くか焚かないかの相違によって実質的に異なる画像がカメラにより取得される。さらにまた、様々な目的対象を撮影するために、目的に応じたセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。また、夜間における監視に対して、近赤外線や遠赤外線などの非可視光利用のセンサを搭載したカメラも広く普及している。他にも、近紫外線カメラも市販されている。あるいは、テラヘルツ波や電波など可視光の波長帯域よりも長い波長を撮影する装置も市販されている。
このように様々な撮影装置が普及していることから、波長帯域が異なる複数の撮影画像を医療やセキュリティなどの多くの分野に応用する画像処理技術が開発されている。特許文献1には、撮影領域と撮影タイミングが同じ可視光画像と近赤外画像を合成する技術が開示されている。特許文献1に開示されている技術では、可視光画像と近赤外画像を合成するに際し、各画素において、可視光画像と近赤外画像の各輝度情報が比較され、高い方の輝度情報が合成画像における画素の輝度情報として選択されている。また、非特許文献1には、複数の画像を合成する場合に、画像における各画素の画像勾配(隣接間の画素値の差分の情報)を利用して合成画像を生成する技術が開示されている。
特開2010−166363号公報
Graham D. Finlayson, David Connah and Mark S. Drew, "Lookup-table-based Gradient Field Reconstruction", IEEE Transactions on Image Processing, Volume 20, Issue 10, Oct. 2011, page 2827−2836
ところで、画像勾配の情報を利用して画像処理を行うことにより、画像処理後の画像の用途に適した画質が得やすくなり、用途に応じた画像の画質改善を図ることができる。非特許文献1では、画像勾配の情報を利用して画像を合成する技術が開示されているが、次のような問題発生の虞がある。
すなわち、非特許文献1に開示されている技術では、合成対象の複数の画像のそれぞれにおいて、画素毎に画像勾配が算出される。そして、合成対象の各画像における対応する画素同士の画像勾配の和による算出値を利用して、合成対象の複数の画像を合成した後の合成画像における画素毎の画像勾配が算出される。このように算出される画像勾配の情報をも利用して、合成画像が生成される。
しかしながら、このような手法では、合成画像の生成に際し、画像勾配の和による算出値が利用されることから、局所的に大きな画像勾配の情報は合成画像に反映され易い。一方、グラデーションなどの大域的に変化する小さな画像勾配の情報は合成画像に反映され難い。例えば、遠赤外画像は、テクスチャが少なくて全体的に画像勾配が小さい。このような画像勾配が小さい遠赤外画像などの画像と、当該画像よりも大きな画像勾配を多く持つ可視光画像とを非特許文献1に開示されている手法により合成すると、画像勾配が小さい画像の情報がほとんど反映されていない合成画像が生成されてしまう。このため、例えば、可視光画像に遠赤外画像(換言すれば、遠赤外線センサによる画像)を重ねることにより得られる合成画像を利用して、遠赤外画像に撮影されている事象を解析することが難しいという問題が生じる。
本発明は上記のような課題を解決するために考え出された。すなわち、本発明の主な目的は、画像勾配の情報を利用して複数の画像を合成する場合に、小さな画像勾配の画像の情報も反映された合成画像を生成でき、合成画像に要求される画質の改善を図ることができる技術を提供することにある。
上記目的を達成するために、本発明の画像処理装置は、
合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する勾配算出部と、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出するスケール探索部と、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する勾配スコア算出部と、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する勾配確定部と、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する係数算出部と、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する合成部と
を備える。
また、本発明に係る画像処理方法は、
合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出し、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出し、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出し、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出し、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出し、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する。
さらに、本発明のプログラム記憶媒体は、
合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する処理と、
前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する処理と、
算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する処理と、
前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する処理と、
前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する処理と、
算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
本発明によれば、画像勾配の情報を利用して複数の画像を合成する場合に、小さな画像勾配の画像の情報も反映された合成画像を生成でき、合成画像に要求される画質の改善を図ることができる。
本発明に係る第1実施形態の画像処理装置の構成を簡略化して表すブロック図である。 第1実施形態の画像処理装置における画像合成の動作例を表すフローチャートである。 第1実施形態の画像処理装置における画像合成処理により得られる効果を説明する図である。 本発明に係るその他の実施形態を説明する図である。
以下に、本発明に係る実施形態を図面に基づいて説明する。
<第1実施形態>
図1は、本発明に係る第1実施形態の画像処理装置の構成を表すブロック図である。第1実施形態の画像処理装置1は、入力部3と、処理装置4と、記憶部5と、出力部6とを備えている。
入力部3は、インターフェース装置であり、例えば撮影装置7と接続し当該撮影装置7から出力される画像を受信するインターフェース機能を備えている。第1実施形態では、入力部3に接続される撮影装置7は、可視光と近赤外を撮影可能な装置(近赤外センサ搭載の撮影装置)であり、可視光画像(以下、スカラー画像とも記す)と、近赤外画像とを出力する機能を備えている。撮影装置7から出力されるスカラー画像と近赤外画像は撮影範囲がほぼ等しく、ここでは、当該撮影範囲は一致しているとみなす。
なお、入力部3に接続される撮影装置は、可視光と近赤外を撮影可能な撮影装置に限定されず、例えば、可視光を撮影する撮影装置と、近赤外を撮影する撮影装置(近赤外センサとも称す)とが入力部3に接続されてもよい。また、入力部3には撮影装置が接続されるのに代えて、記憶装置が接続されてもよい。この場合には、例えば、撮影装置によって撮影されたスカラー画像と近赤外画像が記憶装置に格納され、当該記憶装置から例えば処理装置4の機能により読み出されたスカラー画像と近赤外画像を入力部3が受信してもよい。
記憶部5は、記憶媒体を備え、様々なデータや、コンピュータプログラム(プログラム)を記憶可能な構成を備える。記憶媒体を備える記憶装置には、例えば、ハードディスク装置や半導体メモリなど様々な種類が有り、ここでは、画像処理装置1に搭載される複数種の記憶装置をまとめて記憶部5として表している。
第1実施形態では、記憶部5には、入力部3で受信された撮影画像(スカラー画像と近赤外画像)が処理装置4により登録される。
また、記憶部5には、予め定められた基底ベクトル群Φの情報が格納されている。ここでの基底ベクトル群Φは、合成対象のスカラー画像と近赤外画像を合成した場合における合成画像に設定された複数の基底ベクトルφ(“j”は1以上の整数)のグループである。なお、基底ベクトルφの“j”は、基底ベクトルを識別する情報であり、ここでは、基底ベクトル群Φを構成する複数の基底ベクトルをΦ={φ1,φ2,φ3,・・・}というように予め定められた順に並べて基底ベクトル群Φを表す場合の配列順を示す。
例えば、入力部3に入力されるスカラー画像のチャネルが赤(R)、緑(G)、青(B)であり、近赤外画像のチャネルが近赤外(N)であるとする。この場合には、スカラー画像と近赤外画像の合成画像(以下、単に合成画像とも記す)における各画素iの画素値を表す基底ベクトル群Φは、例えば下式(1)により設定される。
式(1):
Φ={φji
={R,G,B,N,R ,G ,B ,N ,R*B,R*G,G*B,R*N,G*N,B*N
なお、式(1)中における“i”は、1以上の整数であり、スカラー画像あるいは近赤外画像あるいは合成画像における各画素を識別する情報を表し、ここでは、画像をラスタスキャンした場合における画素の順番を表している。また、式(1)中における“*”は乗算記号である。さらに、“φji”における“j”は、上述した“j”と同様に、基底ベクトルを識別する情報である。例えば、基底ベクトル群Φが式(1)のように表される場合には、例えば、画素iにおける基底ベクトルφ3i(j=3)は、“B”であり、また、基底ベクトルφ9i(j=9)は、“R*B”である。
なお、式(1)に表される基底ベクトル群Φは、一例であって、基底ベクトル群Φは、式(1)に限定されない。例えば、基底ベクトル群Φを構成する基底ベクトルφjiは、式(1)よりも少なくてもよいし、式(1)に加えて、Ri 3,Gi 3,Bi 3,Ni 3などの基底ベクトルをさらに加えてもよい。基底ベクトル群Φを構成する基底ベクトルφjiは、合成画像に要求される解像度などを考慮して適宜設定される。また、合成対象の各画像に含まれている画素値の情報等を考慮し、基底ベクトルφの組み合わせが異なる複数の基底ベクトル群Φが設定され記憶部5に格納されてもよい。この場合には、例えば、装置のユーザが要求する画質等に応じて、処理に利用する基底ベクトル群Φが択一的に選択されてもよい。
合成画像を生成する場合には、合成画像における各画素の上記のような基底ベクトル群Φを構成する各基底ベクトルφjiの係数がスカラー画像と近赤外画像(入力画像)に基づき決定されることにより、合成画像の各画素の画素値が定まり、これにより、合成画像が生成できる。第1実施形態では、その合成画像における各基底ベクトルφjiの係数を算出する手法およびそれを処理する画像処理装置(処理装置4)に特徴がある。
処理装置4は、例えば、1つ又はそれ以上のCPU(Central Processing Unit)により構成される。第1実施形態では、処理装置4は、記憶部5に格納されているコンピュータプログラムを読み出し実行することにより、次のような機能を持つことができる。すなわち、処理装置4は、機能部として、勾配算出部40と、スコア算出部41と、勾配確定部42と、係数算出部43と、合成部44とを備えている。
勾配算出部40は、各画素の特徴を表す情報として画像勾配を算出する機能を備える。画像勾配とは、隣接する画素間の画素値の差分の情報である。画像勾配を算出する手法には様々な手法が提案されており、ここでは、合成画像に要求される画質や、処理装置4の処理能力などの事項を考慮した適宜な手法が採用される。勾配算出部40は、その採用した勾配算出手法に基づいて、入力部3で受信したスカラー画像と近赤外画像のそれぞれにおいて各画素の画像勾配を算出する。
なお、第1実施形態では、各画素iにおいて、基底ベクトル群Φを構成する各基底ベクトルφjiを考慮した画素値の成分(チャネル)毎に、画像勾配が算出される。例えば、基底ベクトル群Φが前述した式(1)のように設定されている場合には、画素毎に、画像勾配は、赤(R)成分、緑(G)成分、青(B)成分、近赤外(N)成分に関して算出される。ここでは、勾配算出部40により算出される赤(R)成分、緑(G)成分、青(B)成分、近赤外(N)成分に関する画像勾配は、画素毎に、∇R,∇G,∇B,∇Nとも表される。なお、“i”は、式(1)における“i”と同様に、画素を識別する情報を表す。以下、明細書中における“i”は、同様に、画素を識別する情報を表す。
スコア算出部41は、スカラー画像と近赤外画像において、各画素の特徴を数値により表すスコアを算出する機能を備えている。画像処理装置1では、スコア算出部41は、スケール探索部411と勾配部(勾配スコア算出部)412を有している。スケール探索部411は、スカラー画像と近赤外画像において、各画素における空間周波数成分の含有度合いに関連するスケール(以下、単にスケールとも記す)に基づくスコア(ここでは、便宜上、スケールスコアとも記す)を算出する機能を備えている。例えば、スケール探索部411は、画素値に基づいて画像を空間周波数毎の画像に分解するスケールスペース手法を利用して、各画素におけるスケールスコアを算出する。より具体的には、スケール探索部411は、例えば、画素毎に、Lindebergらにより提案されている下式(2)に表されるLoG(Laplacian of Gaussian)オペレータにおける“σ”の値を変化させ、最も値が大きいLoGの数値を各画素におけるスケールスコアとして算出する。
式(2):
Figure 2019012647
なお、式(2)中における“σ”はスケールを表す。また、“x”は、入力部3に入力する画像(入力画像)の各画素の位置をx,yの二次元直交座標系を利用して表す場合に、基準画素からのx軸方向の距離を表し、“y”は、基準画素からのy軸方向の距離を表す。
また、第1実施形態では、スケール探索部411は、予め設定されている基底ベクトル群Φを構成する各基底ベクトルφjiを考慮した画素値の成分(チャネル)毎に、スケールスコアを算出する。例えば、基底ベクトル群Φが前述した式(1)のように設定されている場合には、スケール探索部411は、画素毎に、赤(R)成分、緑(G)成分、青(B)成分、近赤外(N)成分に関するスケールスコアを算出する。ここでは、スケール探索部411により算出されたスケールスコアは、sRi,sGi,sBi,sNiとも表されるとする。
なお、スケール探索部411がスケールスコアを算出する手法は、上記のようなLoGオペレータを利用する手法に限定されない。例えば、スケールスコアを算出する手法としては、式(2)に表されるf(σ)の最大値に、σ(スケール)を変数として持つ単調増加関数あるいは単調減少関数の値を乗じた値をスケールスコアとする手法を採用してもよい。又は、スケールスコアを算出する手法として、式(3)に表されるf(σ)の最大値をスケールスコアとする手法を採用してもよい。
式(3):
Figure 2019012647
勾配部412は、スカラー画像と近赤外画像において、スケール探索部411により算出されたスケールスコアをも考慮して、各画素における勾配に基づくスコア(以下、勾配スコアと記す)を算出する機能を備えている。例えば、勾配算出部40により算出される画像勾配とスケール探索部411により算出されるスケールスコアとを変数として持ち画像勾配とスケールスコアの大きさに応じた値を算出する数式のデータが記憶部5に予め与えられている。勾配部412は、スカラー画像と近赤外画像のそれぞれにおいて、そのデータを利用して各画素における基底ベクトル群Φを構成する基底ベクトルφjiを考慮した画素値の成分毎に勾配スコアを算出する。具体例としては、基底ベクトル群Φが前述した式(1)のように設定されている場合には、勾配スコアは、画素i毎に、赤(R)成分、緑(G)成分、青(B)成分、近赤外(N)成分に関して算出される。すなわち、勾配算出部40により、各画素iにおいて、赤(R)成分、緑(G)成分、青(B)成分、近赤外(N)成分に関する画像勾配∇R,∇G,∇B,∇Nが算出されているとする。また、スケール探索部411により、各画素iにおいて、赤(R)成分、緑(G)成分、青(B)成分、近赤外(N)成分に関するスケールスコアsRi,sGi,sBi,sNiが算出されているとする。この場合、勾配部412は、各画素iにおいて、赤(R)成分、緑(G)成分、青(B)成分、近赤外(N)成分に関する勾配スコアgRi,gGi,gBi,gNiとして、sRi×∇R,sGi×∇G,sBi×∇B,sNi×∇Nを算出する。
勾配確定部42は、スカラー画像と近赤外画像の合成に際し、当該合成画像における各画素iの画像勾配(以下、ターゲット勾配とも記す)を、勾配部412により算出される勾配スコアを利用して確定する機能を備えている。換言すれば、勾配確定部42は、スカラー画像と近赤外画像のそれぞれの画像勾配の情報だけでなく、スケールスコア(空間周波数に関連する情報)をも考慮された勾配スコアを利用して、ターゲット勾配を確定する。
例えば、勾配確定部42は、各画素iにおける勾配スコアgRi,gGi,gBi,gNiの中で最もスコアが大きい成分(チャネル)を選択し、選択した成分(チャネル)の勾配スコアの算出に利用した画像勾配をターゲット勾配∇Jとして確定する。具体例を挙げると、画像(i=5)における勾配スコアgR5,gG5,gB5,gN5の中で最もスコアが大きい成分(チャネル)が赤である場合には、gR5=sR5×∇Rの“∇R”がターゲット勾配∇Jとして確定される。
なお、ターゲット勾配∇Jの算出手法は上述した手法に限定されない。例えば、勾配確定部42は、勾配算出部40により算出される画像勾配の情報と、勾配部412により算出される勾配スコアと、下式(4)とに基づいて、ターゲット勾配∇Jを算出してもよい。つまり、勾配確定部42は、画素毎に、算出された勾配スコアを画像勾配で加重平均することによりターゲット勾配∇Jを算出してもよい。
式(4):
∇J=gRi×∇R+gGi×∇G+gBi×∇B+sNi×∇N
係数算出部43は、スカラー画像と近赤外画像の合成に際し、合成画像における各画素iにおいて、勾配確定部42により画定される各画素iのターゲット勾配∇Jを利用して、基底ベクトル群Φiを構成する基底ベクトルφjiの係数を算出する機能を備えている。例えば、係数算出部43は、画素iにおける基底ベクトル群Φiの基底ベクトルφの係数をλとした場合に、下式(5)に表される二乗誤差E(λ)を最小化するλの値を、基底ベクトルφの係数として算出する。
式(5):
Figure 2019012647
なお、式(5)における∇Φは、画素iにおける基底ベクトル群Φの画像勾配(ここでは、例えば、基底ベクトルφの勾配)を表す。∇Jは勾配確定部42により算出されるターゲット勾配を表す。
合成部44は、係数算出部43により算出された各画素iの基底ベクトルφjiの係数λjiに基づいた基底ベクトルの線形結合により合成画像を生成する機能を備えている。
処理装置4は、上記のように、スカラー画像と近赤外画像の合成画像を生成する。出力部6は、インターフェース装置であり、例えば表示装置8に接続されスカラー画像や近赤外画像や合成画像の情報を表示装置8に向けて出力するインターフェース機能を備えている。表示装置8は、出力部6から出力された画像の情報に基づいて、スカラー画像や近赤外画像や合成画像をディスプレイに表示する機能を備えている。
次に、処理装置4における合成画像の生成に係る処理動作の一例を図2のフローチャートに基づいて説明する。
例えば、処理装置4の勾配算出部40は、合成対象のスカラー画像と近赤外画像を例えば記憶部5から読み出す。そして、勾配算出部40は、読み出したスカラー画像と近赤外画像のそれぞれにおいて、各画素の画像勾配を算出する(ステップS101)。
また、スコア算出部41のスケール探索部411は、合成対象のスカラー画像と近赤外画像のそれぞれにおいて、各画素におけるスケールスコアを算出する(ステップS102)。
その後、スコア算出部41の勾配部412は、スカラー画像と近赤外画像のそれぞれの各画素において、算出された画像勾配およびスケールスコアの大きさに応じた勾配スコアを算出する(ステップS103)。
然る後に、勾配確定部42は、勾配部412により算出される勾配スコアを利用して、スカラー画像と近赤外画像の合成画像における各画素のターゲット勾配を確定する(ステップS104)。
その後、係数算出部43は、確定したターゲット勾配を利用して、基底ベクトル群を構成する基底ベクトルの係数を算出する(ステップS105)。そして、合成部44は、係数算出部43により算出された基底ベクトルの係数に基づいた基底ベクトルの線形結合により合成画像を生成する(ステップS106)。
第1実施形態の画像処理装置1は、上記のような構成を備えていることにより、次のような効果を奏することができる。すなわち、画像処理装置1の処理装置4は、複数の画像を合成する際に、それら画像の各画素における空間周波数に関連する情報をスケールスコアとして算出し、当該スケールスコアを考慮して合成画像における各画素の勾配スコアを算出する。そして、処理装置4は、算出した勾配スコアを利用して、各画素の基底ベクトルの係数を算出することにより、合成画像を生成する。つまり、処理装置4は、合成前の各画像における空間周波数の情報をも考慮して合成画像を生成している。このため、処理装置4(画像処理装置1)は、合成画像の画質の向上を図ることができる。
例えば、図3において、(a)部分に表されるようなスカラー画像と、(b)部分に表されるようなテクスチャが少なくグラデーションが含まれる近赤外画像とを、前述した非特許文献1における手法を利用して合成したとする。この場合には、近赤外画像におけるグラデーションの情報は合成画像に現れない。これに対し、第1実施形態では、空間周波数に関連する情報がスケールスコアとして算出され、当該スケールスコアを利用して勾配スコアが算出される。図3における(c)部分は、(a)部分のスカラー画像における各画素の勾配スコアの大きさの一例が白黒度合いにより表され、(d)部分は、(b)部分の近赤外画像における各画素の勾配スコアの大きさの一例が白黒度合いにより表されている。図3における(c),(d)部分において、勾配スコアが大きくなるに従って白くなるように(勾配スコアが小さくなるに従って黒くなるように)、勾配スコアが白黒度合いにより表されている。図3の(d)部分に表されているように、グラデーションが含まれる部分に高い勾配スコアが与えられることにより、図3の(e)部分に表されている合成画像のように、グラデーションの情報が反映された合成画像が生成される。
このように、第1実施形態の画像処理装置1(処理装置4)は、複数の画像を合成する場合に、画像勾配の情報を利用することにより、例えば合成画像を利用して画像解析を行う解析者にとって解析し易い合成画像を生成できるという効果を得ることができる。その上、第1実施形態の画像処理装置1は、空間周波数の情報(スケール)をも利用して合成画像を生成するので、大域的に変化するグラデーションの情報をも反映された合成画像を生成でき、これにより、合成画像に要求される画質の改善を図ることができる。
<その他の実施形態>
なお、この発明は第1実施形態に限定されず、様々な実施の形態を採り得る。例えば、第1実施形態では、画像全体を考慮して基底ベクトル群を構成する基底ベクトルが設定されている。これに代えて、例えば、画像の一部の領域に着目することにより基底ベクトル群を構成する基底ベクトルが設定されてもよい。また、基底ベクトル群を構成する例えば式(1)に表されるような多くの基底ベクトルが設定された後に、例えば、主成分分析や非負行列因子分解などを利用して基底ベクトルの数が削減されることにより、基底ベクトル群の基底ベクトルが設定されてもよい。
さらに、画像が複数の分割領域に区分され、分割領域毎に上記のような画像処理が実行され、分割領域毎に合成画像が生成されてもよい。この場合には、例えば、画像の分割領域毎に基底ベクトル群が設定されてもよい。また、このように分割領域毎に基底ベクトル群が設定される場合には、分割領域毎に、第1実施形態と同様に基底ベクトル群を構成する基底ベクトルの係数が算出された後に、次のような処理が行われてもよい。例えば、係数算出部43は、さらに、分割領域間の空間的な平滑化を考慮した下式(6)に表されるような最適化関数を最小化させる基底ベクトルの係数を算出し、当該算出した係数を合成画像全体を考慮した各画素の基底ベクトルの係数として確定する。
式(6):
Figure 2019012647
なお、式(6)におけるλjiは、式(6)を利用して係数算出部43が確定する画素iにおける基底ベクトル群のj番目の基底ベクトルの係数を表す。λji0は、第1実施形態で説明したように係数算出部43が算出する係数λjiと同様であり、ここでは、便宜上、λji0と表す。∇λjiは、係数λjiの勾配を表し、∇λji0は、λji0の勾配を表す。
なお、式(6)に代えて、下式(7)を採用して分割領域における各画素の基底ベクトルの係数を確定してもよい。
式(7):
Figure 2019012647
なお、式(7)におけるpは、零以上の整数である定数を表す。このpは適宜設定される。
また、第1実施形態では、スカラー画像(可視光画像)と近赤外画像との合成を例にして説明しているが、第1実施形態における画像処理装置1は、スカラー画像と遠赤外画像との合成というように、合成対象の複数の画像の組み合わせは第1実施形態における組み合わせに限定されない。また、画像処理装置1が実行する画像合成に係る処理は、2つの画像の合成に限定されず、例えば、3つ以上の画像を合成する際にも適用される。
さらに、本発明に係る画像処理装置は、第1実施形態の構成に限定されず、図4のブロック図に表されるような構成を備えていればよい。すなわち、図4に示される画像処理装置20は、勾配算出部21と、スケール探索部22と、勾配スコア算出部23と、勾配確定部24と、係数算出部25と、合成部26とを備えている。
勾配算出部21は、合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する機能を備える。スケール探索部22は、合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する機能を備える。勾配スコア算出部23は、算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを画素毎に算出する機能を備える。
勾配確定部24は、合成対象の複数の画像における対応する画素同士の勾配スコアを比較し、合成対象の複数の画像のうち、他の画像よりも勾配スコアが大きい画像の勾配スコアに応じた画像勾配を、合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する機能を備える。
係数算出部25は、合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数をターゲット勾配に基づいて合成画像の画素毎に算出する機能を備える。合成部26は、算出された係数に基づいた基底ベクトルの線形結合により、合成画像を生成する機能を備える。
この画像処理装置20においても、第1実施形態と同様に、空間周波数成分を考慮して合成画像を生成するので、第1実施形態と同様の効果を得ることができる。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
1,20 画像処理装置
21,40 勾配算出部
22,411 スケール探索部
23 勾配スコア算出部
24,42 勾配確定部
25,43 係数算出部
26,44 合成部
412 勾配部

Claims (7)

  1. 合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する勾配算出手段と、
    前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出するスケール探索手段と、
    算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する勾配スコア算出手段と、
    前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する勾配確定手段と、
    前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する係数算出手段と、
    算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する合成手段と
    を備える画像処理装置。
  2. 前記係数算出手段は、前記合成画像を複数に区分した分割領域毎において、各画素における基底ベクトルの係数を算出した後に、さらに、前記分割領域間が空間的に滑らかになる平滑化を考慮した処理を前記算出した係数に行って前記合成画像の全体を考慮した基底ベクトルの係数を確定する請求項1に記載の画像処理装置。
  3. 前記勾配確定手段は、前記合成対象の複数の画像における算出された勾配スコアを比較し、最も大きい勾配スコアを持つ画像の前記画像勾配を前記ターゲット勾配として確定する請求項1又は請求項2に記載の画像処理装置。
  4. 前記勾配確定手段は、画素毎に、算出された前記勾配スコアを前記画像勾配で加重平均することにより前記ターゲット勾配を算出する請求項1又は請求項2に記載の画像処理装置。
  5. 前記係数算出手段は、前記合成画像における前記基底ベクトルの係数を算出する際に、画像勾配に関する二乗誤差を最小化する係数を前記基底ベクトルの係数として算出する請求項1乃至請求項4の何れか1つに記載の画像処理装置。
  6. 合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出し、
    前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出し、
    算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出し、
    前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出し、
    前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出し、
    算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する画像処理方法。
  7. 合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する処理と、
    前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する処理と、
    算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する処理と、
    前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する処理と、
    前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する処理と、
    算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する処理と
    をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
JP2019529391A 2017-07-13 2017-07-13 画像処理装置、画像処理方法およびコンピュータプログラム Active JP6835227B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/025542 WO2019012647A1 (ja) 2017-07-13 2017-07-13 画像処理装置、画像処理方法およびプログラム記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2019012647A1 true JPWO2019012647A1 (ja) 2020-04-23
JP6835227B2 JP6835227B2 (ja) 2021-02-24

Family

ID=65002151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019529391A Active JP6835227B2 (ja) 2017-07-13 2017-07-13 画像処理装置、画像処理方法およびコンピュータプログラム

Country Status (4)

Country Link
US (1) US11055877B2 (ja)
JP (1) JP6835227B2 (ja)
TW (1) TWI721288B (ja)
WO (1) WO2019012647A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
JP2015502058A (ja) * 2011-11-04 2015-01-19 クゥアルコム・インコーポレイテッドQualcomm Incorporated マルチスペクトル撮像システム
JP2016032289A (ja) * 2014-07-25 2016-03-07 日本電気株式会社 画像合成システム、画像合成方法、画像合成プログラム
JP2017011633A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181086B2 (en) * 2002-06-06 2007-02-20 Eastman Kodak Company Multiresolution method of spatially filtering a digital image
US7570832B2 (en) * 2004-06-14 2009-08-04 Precoad Inc. Image clean-up and pre-coding
US7676113B2 (en) * 2004-11-19 2010-03-09 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames using a sharpening factor
US8515171B2 (en) * 2009-01-09 2013-08-20 Rochester Institute Of Technology Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof
JP4985660B2 (ja) 2009-01-16 2012-07-25 株式会社豊田中央研究所 擬似濃淡画像生成装置及びプログラム
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
US8885941B2 (en) * 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
WO2016176209A1 (en) * 2015-04-28 2016-11-03 Dolby Laboratories Licensing Corporation Image highlight detection and rendering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
JP2015502058A (ja) * 2011-11-04 2015-01-19 クゥアルコム・インコーポレイテッドQualcomm Incorporated マルチスペクトル撮像システム
JP2016032289A (ja) * 2014-07-25 2016-03-07 日本電気株式会社 画像合成システム、画像合成方法、画像合成プログラム
JP2017011633A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
US20200193644A1 (en) 2020-06-18
TWI721288B (zh) 2021-03-11
JP6835227B2 (ja) 2021-02-24
US11055877B2 (en) 2021-07-06
TW201921912A (zh) 2019-06-01
WO2019012647A1 (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
US10997696B2 (en) Image processing method, apparatus and device
JP7027537B2 (ja) 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
Yang et al. Multi-scale fusion of two large-exposure-ratio images
Jeon et al. Accurate depth map estimation from a lenslet light field camera
Kalantari et al. Patch-based high dynamic range video.
JP6027159B2 (ja) 画像ぼかし方法および機器、および電子装置
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
Chakrabarti et al. Modeling radiometric uncertainty for vision with tone-mapped color images
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
KR20140109439A (ko) 잡음에 강한 영상 정합 방법 및 시스템
JP6598660B2 (ja) 画像処理装置および画像処理方法
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
JP6501452B2 (ja) 画像処理装置及びシステム、画像処理方法、並びにプログラム
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
JP7328096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6624785B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP6835227B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
CN110689486A (zh) 图像的处理方法、装置、设备及计算机可存储介质
JP7191588B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
US9270883B2 (en) Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
Shah et al. Multimodal image/video fusion rule using generalized pixel significance based on statistical properties of the neighborhood
JP6826277B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP6661491B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R150 Certificate of patent or registration of utility model

Ref document number: 6835227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150