JP6826277B2 - 画像処理システム、画像処理方法、および画像処理プログラム - Google Patents

画像処理システム、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP6826277B2
JP6826277B2 JP2017524597A JP2017524597A JP6826277B2 JP 6826277 B2 JP6826277 B2 JP 6826277B2 JP 2017524597 A JP2017524597 A JP 2017524597A JP 2017524597 A JP2017524597 A JP 2017524597A JP 6826277 B2 JP6826277 B2 JP 6826277B2
Authority
JP
Japan
Prior art keywords
image
band
gradient
image processing
importance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017524597A
Other languages
English (en)
Other versions
JPWO2016208142A1 (ja
Inventor
剛志 柴田
剛志 柴田
正行 田中
正行 田中
正敏 奥富
正敏 奥富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Tokyo Institute of Technology NUC
Original Assignee
NEC Corp
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Tokyo Institute of Technology NUC filed Critical NEC Corp
Publication of JPWO2016208142A1 publication Critical patent/JPWO2016208142A1/ja
Application granted granted Critical
Publication of JP6826277B2 publication Critical patent/JP6826277B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理技術に関し、画像処理システム、画像処理方法、および画像処理プログラムに関する。
昨今、様々な画像合成手法が開発されている。また、様々な設定（例えば露光量や露出時間）で動作する様々なカメラがあり、それらカメラは波長帯域に対する様々な感度特性で画像を取得する。また、同一の設定のカメラでも、撮影時にフラッシュを焚くか焚かないかで、実質的に異なる画像を取得する。
また、様々な目的対象を撮像するために、各々適したセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。一方、夜間における監視に対して、近赤外線カメラや遠赤外線カメラなどの非可視光センサを用いたカメラも広く普及している。また、他のカメラとして、近紫外線カメラも市販されている。或いは、他のカメラとして、テラヘルツ波や電波など可視光の波長領域よりも長い波長をイメージングするデバイスも市販されている。
このような背景の中、複数のセンサより取得された画像群を容易に解析するために、１枚の画像として表示することが必要になる。特許文献１は、複数のセンサより取得された画像群を容易に解析するために、複数バンドの画像群の情報を、１枚のカラー画像を用いて表現する方法を開示している。
この特許文献１に開示された方法では、後で図１を参照して詳細に説明するように、複数バンドの画像群の勾配情報から構造テンソルを算出し、構造テンソルを用いて出力画像を合成している。
米国特許第８６８２０９３号明細書
しかしながら、特許文献１の方法では、構造テンソルを算出する際に、各バンドの特性を考慮せず、単純に勾配の総和により、構造テンソルを算出している。このため、特許文献１の方法では、特定のバンドに含まれている重要な情報が、出力されるカラー画像に反映されないという課題がある。
本発明の目的は、複数のセンサより取得された画像群を容易に解析するために、各バンドの重要な情報が含まれた１枚の合成画像を表示することを可能にする、画像処理システム、画像処理方法、画像処理プログラムを提供することにある。
本発明の一形態は、複数のセンサより取得された可視画像および近赤外画像を含む画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手段と；前記重みを用いて、画像群から算出された各画像の勾配から、出力すべき合成画像の勾配を制約する構造テンソルを算出する算出手段と；前記構造テンソルを用いて、画像群を合成して前記合成画像を生成する画像最適化手段と；を含み、前記重み決定手段は、霧領域でのみ前記近赤外画像のバンドの重要度が大きくなるように設定し、前記霧領域以外の領域では、前記可視画像のバンドの重要度が大きくなるように設定することを特徴とする画像処理システムである。
本発明によれば、複数のセンサより取得された可視画像および近赤外画像を含む画像群を容易に解析するために、各バンドの重要な情報が含まれた１枚の合成画像を表示することを可能にする画像処理システムを提供できる。
特許文献１に開示された関連技術の画像処理システムの概略構成を示すブロック図である。 本発明の一実施の形態に係る画像処理システムの概略構成を示すブロック図である。 図２に示した画像処理システムに使用される画像最適化部の概略構成を示すブロック図である。 図２に示した画像処理システムの動作を説明するためのフローチャートである。
［関連技術］
まず、本発明の理解を容易にするために、上記特許文献１に開示された関連技術の画像処理システムについて説明する。
図１は、特許文献１に記載され関連技術の画像処理システムを示すブロック図である。特許文献１に記載された画像処理システムは、画像入力部１０、勾配制約算出部２１、勾配算出部２２、画像合成部２３、および画像出力部３０からなる。
画像入力部１０には、複数バンドの画像群と参照するカラー画像とが入力される。そして、画像入力部１０は、入力された画像をメモリ（図示せず）等に記録する。
勾配制約算出部２１は、複数バンドの画像群の勾配情報から構造テンソルと呼ばれる、勾配の総和を画素毎に算出する。
勾配算出部２２は、勾配制約算出部２１にて算出した構造テンソルと、参照するカラー画像の勾配とから、出力画像と算出した構造テンソルが厳密に一致し、さらに入力されたカラー画像の勾配と出力画像の勾配の最小二乗誤差が最小となるように、出力画像の勾配を算出する。
画像合成部２３は、勾配算出部２２にて算出した勾配より、ポアソン合成を用いて、出力画像を合成する。
しかしながら、図１に示した特許文献１の画像処理システムでは、構造テンソルを算出する際に、各バンドの特性を考慮せず、単純に勾配の総和により、構造テンソルを算出している。このため、図１に示した特許文献１の画像処理システムでは、特定のバンドに含まれている重要な情報が、出力されるカラー画像に反映されないという課題がある。
次に、本発明の課題について具体例を用いて説明する。以下では、多バンドの画像群として、霧領域が撮影された可視画像と近赤外画像とがあり、可視画像では霧領域が不鮮明でノイジーであるが、近赤外画像ではノイズが少なく遠方の風景が鮮明に撮影されている、場合を例にとって説明する。
この場合、霧領域においては、近赤外画像の方が鮮明な画像となっているため、近赤外画像の勾配をもとに出力されるカラー画像を生成することが望ましい。しかしながら、図１に示した特許文献１の画像処理システムでは、可視画像から算出された勾配と、近赤外画像から算出された勾配の総和として構造テンソルを算出する。このため、図１に示した特許文献１の画像処理システムでは、結果として、出力されるカラー画像は、入力した可視画像の勾配情報の影響により不鮮明な画像となる。
［実施の形態]
次に、発明を実施するための形態について図面を参照して詳細に説明する。
[構成の説明]
図２は、本発明の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
図２を参照すると、本発明の実施の形態に係る画像処理システムは、画像入力部１００と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２００と、画像出力手段３００とから成る。
コンピュータ（中央処理装置；プロセッサ；データ処理装置）２００は、バンド重み決定部２１０と、勾配制約算出部２２０と、画像最適化部２３０とから成る。さらに、図３に示されるように、画像最適化部２３０は、勾配最適化部２３１と、画素値最適化部２３２とから成る。
これらの手段は、それぞれ概略、次のように動作する。
画像入力部１００には、カメラなどによって得られた画像が入力される。入力する画像としては、カラー画像とその他のセンサから取得された画像とを別々に入力してもよい。そして、画像入力部１００は、入力された画像をメモリ（図示せず）等に記録する。
ここで、以下では、入力カラー画像としてＲＧＢ画像を考えた場合、i番目の画素の赤，緑，青の画素値をRi,Gi，Biと表すこととする。また、これらの成分をまとめて、
Figure 0006826277
 と表すこととする。さらに、入力カラー画像以外の他のセンサから取得された画像が存在する場合には、その画像についても、i番目の画素の画素値を下付き添え字を用いて表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明すると、i番目の近赤外画像の画素値をNiと表せばよい。
また、合成画像についても入力画像と同様に、各画素の画素値をラスタスキャン順に並べた行列により表すこととする。より具体的には、出力カラー画像としてＲＧＢ画像を考えた場合、i番目の画素の赤，緑，青の画素値をRi,Gi,Biと表すこととする。
画像出力部３００は、再構成画像を出力する出力装置である。画像出力部３００は、例えば、ディスプレイ装置などによって実現される。
バンド重み決定部２１０は、画像入力部１００にて入力した入力画像のうち、どのバンドが重要であるかを表す重みを決定する。重みを決定する方法としては、例えば、各バンドの重要度を、利用者がパラメータとして予め与えてもよいし、機械学習などの技術を用いて、自動的に算出してもよい。また、各バンドの重要度は、画像全体で同じであってもよいし、画素毎に異なる値を用いてもよい。
以下では、各バンドの重要度が画素毎に異なる値を持つ場合の例として、次の場合を例にとって説明する。まず、多バンドの画像群として、霧領域が撮影された可視画像と近赤外画像とがあるとする。そして、可視画像では霧領域が不鮮明でノイジーであるが、近赤外画像では、ノイズが少なく、遠方の風景が鮮明に撮影されているとする。
この場合、バンド重み決定部２１０は、霧領域でのみ近赤外画像のバンドの重要度が大きくなるように設定し、それ以外の領域では、可視画像（すなわちＲＧＢ）のバンドの重要度が大きくなるように設定すればよい。
以下では、バンド重み決定部２１０にて決定したi番目のバンド重みを、各バンドの重みを対角成分として持つバンド重み行列
Figure 0006826277
 を用いて表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明する。この場合、i番目のＲＧＢ及び近赤外画像の重みをWRi，WGi，WBi，WNiと決定した場合、i番目のバンド重み行列
Figure 0006826277
 を、例えば以下の数４のように表せばよい。
Figure 0006826277
勾配制約算出部２２０は、画像入力部１００にて入力された入力画像群と、バンド重み決定部２１０にて得られた各バンドの重要さを表すバンド重み行列
Figure 0006826277
 より、出力カラー画像の勾配を制約する構造テンソル
Figure 0006826277
 を画素毎に算出する。構造テンソルを算出するために、勾配制約算出部２２０は、まず、入力画像群より、画像空間における垂直方向と水平方向の微分値を算出する。
以下では、i番目の画素の勾配を以下の勾配行列
Figure 0006826277
 により表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明すると、勾配制約算出部２２０は、i番目の勾配行列
Figure 0006826277
 を、以下の数９のように算出すればよい。
Figure 0006826277
 ここで、∇ｘは、水平方向の微分値であり、∇ｙは垂直方向の微分値である。
次に、勾配制約算出部２２０は、各バンドの重要さを表すバンド重み行列
Figure 0006826277
 と勾配行列
Figure 0006826277
 とを用いて、構造テンソル
Figure 0006826277
 を、以下の数１３のように算出すればよい。
Figure 0006826277
画像最適化部２３０は、出力する合成画像から算出した構造テンソルに相当する値が、勾配制約算出部２２０にて算出した構造テンソル
Figure 0006826277
 となるべく一致し、さらに入力カラー画像の色と出力カラー画像の色がなるべく一致するように、合成画像を生成する。
以下では、合成画像を
Figure 0006826277
 で表す。合成画像は画素毎にＲＧＢの３つの成分を持つため、
Figure 0006826277
 は、合成画像の画素数がＮである場合、Ｎ×３の行列となる。
以下では、画像最適化部２３０は、具体的には、例えば、以下の数１８で表される最適化関数を
Figure 0006826277
 について最小化することで、合成画像を生成すればよい。
Figure 0006826277
 ここで、数１８の右辺第一項は、勾配制約算出部２２０にて算出した構造テンソル
Figure 0006826277
 と、合成画像から算出した構造テンソルに相当する値
Figure 0006826277
 が一致するように制約する項である。なお、添え字のFは、行列のフロベニウスノルムを意味している。
また、数１８の右辺第二項は、入力カラー画像と合成画像の色がなるべく一致するように制約する項であり、行列
Figure 0006826277
 は、色の一致の程度を調整する行列である。例えば、色の輝度成分に比べ、式差成分については、入力カラー画像と合成画像をより強く一致させるためには、行列
Figure 0006826277
 は、例えば以下の数２３のように与えればよい。
Figure 0006826277
 ただしここで、
Figure 0006826277
 は、色空間を変換する行列であり、例えば、ｓＲＧＢ色空間からＹＵＶ色空間に変換する行列などを用いればよい。
数１８の右辺第三項は、入力画像の画素値と、合成画像の画素値をなるべく一致させるための項である。なお、下付き添え字の「２」は、ベクトルのL2ノルムを意味している。ここで、α，ε，δは利用者があらかじめ決定したパラメータである。
そして、画像最適化部２３０は、数１８で表される最適化関数を
Figure 0006826277
 について最小化するために、さらに勾配最適化部２３１と、画素値最適化部２３２から成る。
そして、画像最適化部２３０では、勾配最適化部２３１と画素値最適化部２３２とを用いて、画像の勾配
Figure 0006826277
 と画素値
Figure 0006826277
 を交互に最適化する。より具体的には、画像最適化部２３０は、
Figure 0006826277
 について最適化するために、
Figure 0006826277
 の勾配、すなわち
Figure 0006826277
 を画素毎に独立に最小化する。そのために、勾配最適化部２３１は、数１８で表される最適化関数を、以下の数３１のように拡張する。
Figure 0006826277
ここで、数１８では、
Figure 0006826277
 についての最適化関数であったが、数３１では、
Figure 0006826277
 に加え
Figure 0006826277
 を同時に最適化する。
ここで、数３１の右辺第１項，第３項，第４項は、数１８と同等であるため、説明を省略する。
数３１の右辺第２項は、
Figure 0006826277
 と
Figure 0006826277
 が一致するように制約するための項であり、βは、勾配最適化部２３１と画素値最適化部２３２にて、画像の勾配
Figure 0006826277
 と画素値
Figure 0006826277
 を交互に最適化するたびに大きくなるパラメータであり、最終的には非常に大きな値をもつパラメータである。
なお、βが大きくなる場合には、
Figure 0006826277
 と
Figure 0006826277
 がほぼ一致するように、画像最適化部２３０は動作するため、数３１を
Figure 0006826277
 及び
Figure 0006826277
 で最適化することで、数１８を
Figure 0006826277
 について最適化することと同等になる。
勾配最適化部２３１では、例えば、数３１の
Figure 0006826277
 に相当する部分だけを、画素毎に最小化すればよい。より具体的には、勾配最適化部２３１は、例えば以下の数４６を
Figure 0006826277
 について最小化することで、合成画像の勾配を算出すればよい。
Figure 0006826277
勾配最適化部２３１では、
Figure 0006826277
 に相当する部分は、画素毎に独立に算出できるため、例えば並列計算などの技術を用いることで
Figure 0006826277
 を高速に算出することができる。
次に、画素値最適化部２３２では、例えば、数３１の
Figure 0006826277
 に相当する部分だけを、以下の数５０で示されるように、画像全体で最小化すればよい。
Figure 0006826277
なお、画素値最適化部２３２において、
Figure 0006826277
 に相当する部分は、２次形式になっているため、例えばフーリエ変換などを用いることで、画像の画素値を高速に算出することができる。
以上のように、画像最適化部２３０は、勾配最適化部２３１と画素値最適化部２３２とを有し、数１８に加え新しい補助変数
Figure 0006826277
 を追加し、数３１に相当する最適化関数を構成し、画素毎に独立に最適化が可能な部分（数４６）と、フーリエ変換などの画像変換を用いて画像全体で効率的に計算が可能な部分（数５０）とに分離することで、数１８に相当する最適化関数の最小化を効率的に行うことができる。
[動作の説明]
次に、図４のフローチャートを参照して、本実施の形態に係る画像処理システムの全体の動作について詳細に説明する。
まず、画像入力部１００にて、カラー画像と複数センサから取得された多バンド画像とを入力する（ステップＳ２００）。
次に、バンド重み決定部２１０にて、各バンドの重要度を決定する（ステップＳ２０１）。
さらに、勾配制約算出部２２０にて、構造テンソル
Figure 0006826277
 を算出する（ステップＳ２０２）。
勾配最適化部２３１にて、合成画像の勾配に相当する補助変数
Figure 0006826277
 を、例えば数４６を用いて最適化する（ステップＳ２０３）。
次に、画素値最適化部２３２にて、合成画像の画素値
Figure 0006826277
 を、例えば数５０を用いて最適化する（ステップＳ２０４）。
次に、画像最適化部２３０は、補助変数
Figure 0006826277
 と合成画像の画素値
Figure 0006826277
 とが一致させることを制約するパラメータβの値を増加させる（ステップ２０５）。
次に、画像最適化部２３０は、画素値
Figure 0006826277
 の値が十分に収束しているかを判定する（ステップＳ２０６）。もしも、十分に画素値
Figure 0006826277
 の値が収束していない場合（ステップＳ２０６のＮｏ）、画像最適化部２３０は、再度、ステップＳ２０３からＳ２０５までの処理を繰り返し行う（ステップＳ２０６）。
もしも、画素値
Figure 0006826277
 の値が十分に収束していれば（ステップＳ２０６のＹｅｓ）、その画素値からなる合成画像を画像出力部３００にて出力する（ステップＳ２０７）。
[効果の説明]
次に、本実施の形態の効果について説明する。
本発明の実施の形態によれば、性質の異なる複数の画像から、各々のバンドに含まる重要な情報が集約された合成画像を生成することができる。その理由は、バンド重み決定部２１０にて、入力した入力画像のうち、どのバンドが重要であるかを表す重みを決定し、勾配制約算出部２２０で、決定したバンド重みを用いて構造テンソルを算出することで、そのバンドの勾配情報がより反映された合成画像を生成できるためである。
さらに、本発明の実施の形態によれば、出力画像の勾配と、出力画像の画素値とを交互に最適化することで、より高速かつ高精度に合成画像を生成することできる。その理由は、画像最適化部２３０は、勾配最適化部２３１と画素値最適化部２３２とを有し、本来の最適化関数に補助変数を追加した最適化関数を構成し、さらに画素毎に独立に最適化が可能な部分と、フーリエ変換などの画像変換を用いて画像全体で効率的に計算が可能な部分とに分離し、これらを交互に最適化することで、本来の最適化関数の最小化を効率的に行うことができるためである。
尚、画像処理システムの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、コンピュータ読取可能な記録媒体に記録されて頒布されても良い。当該コンピュータ読取可能な記録媒体に記録されたプログラムは、有線、無線、又はコンピュータ読取可能な記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、コンピュータ読取可能な記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記実施の形態を別の表現で説明すれば、画像処理システムとして動作させるコンピュータを、ＲＡＭに展開された画像処理プログラムに基づき、バンド重み決定部２１０、勾配制約算出部２２０、および画像最適化部２３０として動作させることで実現することが可能である。
以上説明したように、本発明の実施の形態によれば、性質の異なる複数の画像から、各々のバンドに含まれる重要な情報が集約された合成画像を生成することができる。また、本発明の実施の形態によれば、出力画像の勾配と、出力画像の画素値とを交互に最適化することで、より高速かつ高精度に合成画像を生成することが可能となる。
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。例えば、上記実施の形態では、画像の勾配をもとに算出された量として、構造テンソルを用いているが、それに限定されないのは勿論である。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
本発明を用いることで、例えば、衛星画像といった画像を、画像分析者が分析する際に、画像解析者が最適と思う画質になるように、バンド重み決定部にて、入力した入力画像のうちどのバンドが重要であるかを表す重みを決定することで、調整することができる。
また、医療画像を医療従事者、研究者等が分析する際にも同様に、分析者が最適と思う画質を、バンド重み決定部にて重みを調整し、その画像を分析する、といった用途にも適用可能である。
さらに，本発明を用いることで、それらの各画像分析者が調整したバンド重みを、他の画像分析者が利用することで、各画像分析者の画像分析に対する経験やノウハウを共有する、といった用途にも適用できる。
この出願は、２０１５年６月２６日に出願された日本特許出願２０１５−１２９１２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１００ 画像入力部
２００ コンピュータ（中央処理装置；プロセッサ；データ処理装置）
２１０ バンド重み決定部
２２０ 勾配制約算出部
２３０ 画像最適化部
２３１ 勾配最適化部
２３２ 画素値最適化部
３００ 画像出力部

Claims (15)

  1. 複数のセンサより取得された可視画像および近赤外画像を含む画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手段と、
    前記重みを用いて、前記画像群から算出された各画像の勾配から、出力すべき合成画像の勾配を制約する構造テンソルを算出する算出手段と、
    前記構造テンソルを用いて、前記画像群を合成して前記合成画像を生成する画像最適化手段と、
    を含み、
    前記重み決定手段は、霧領域でのみ前記近赤外画像のバンドの重要度が大きくなるように設定し、前記霧領域以外の領域では、前記可視画像のバンドの重要度が大きくなるように設定することを特徴とする画像処理システム。
  2. 前記画像最適化手段は、
    前記合成画像の勾配を画素毎に独立に最適化する勾配最適化手段と、
    前記最適化された勾配を用いて画像全体で前記合成画像の画素値を最適化する画素値最適化手段と、
    を含む請求項１に記載の画像処理システム。
  3. 前記重み決定手段は、各バンドの重要度を、パラメータとして予め与えるか、又は機械学習技術を用いて自動的に算出する、請求項１又は２に記載の画像処理システム。
  4. 前記重み決定手段は、各バンドの重要度を画素毎に決定する、請求項１から３の何れか１つに記載の画像処理システム。
  5. 前記算出手段は、各バンドの重要度を表すバンド重み行列と、各画素の勾配を表す勾配行列とを用いて、前記構造テンソルを算出する、請求項１から４の何れか１つに記載の画像処理システム。
  6. 複数のセンサより取得された可視画像および近赤外画像を含む画像群を解析して、１枚の合成画像を得る画像処理システムの画像処理方法であって、
    重み決定部が、前記画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定工程と、
    算出部が、前記重みを用いて、前記画像群から算出された各画像の勾配から、出力すべき前記合成画像の勾配を制約する構造テンソルを算出する算出工程と、
    画像最適化部が、前記構造テンソルを用いて、前記画像群を合成して前記合成画像を生成する画像最適化工程と、
    を含み、
    前記重み決定工程では、前記重み決定部が、霧領域でのみ前記近赤外画像のバンドの重要度が大きくなるように設定し、前記霧領域以外の領域では、前記可視画像のバンドの重要度が大きくなるように設定することを特徴とする画像処理方法。
  7. 前記画像最適化工程は、
    勾配最適化部が、前記合成画像の勾配を画素毎に独立に最適化する勾配最適化工程と、
    画素値最適化部が、前記最適化された勾配を用いて画像全体で前記合成画像の画素値を最適化する画素値最適化工程と、
    を含む請求項６に記載の画像処理方法。
  8. 前記重み決定工程では、前記重み決定部が、各バンドの重要度を、パラメータとして予め与えるか、又は機械学習技術を用いて自動的に算出する、請求項６又は７に記載の画像処理方法。
  9. 前記重み決定工程では、前記重み決定部が各バンドの重要度を画素毎に決定する、請求項６から８の何れか１つに記載の画像処理方法。
  10. 前記算出工程では、前記算出部が、各バンドの重要度を表すバンド重み行列と、各画素の勾配を表す勾配行列とを用いて、前記構造テンソルを算出する、請求項６から９の何れか１つに記載の画像処理方法。
  11. コンピュータに、複数のセンサより取得された可視画像および近赤外画像を含む画像群を解析させて、１枚の合成画像を得させる画像処理システムの画像処理プログラムであって、前記画像処理プログラムは、前記コンピュータに、
    前記画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手順と、
    前記重みを用いて、前記画像群から算出された各画像の勾配から、出力すべき前記合成画像の勾配を制約する構造テンソルを算出する算出手順と、
    前記構造テンソルを用いて、前記画像群を合成して前記合成画像を生成する画像最適化手順と、
    を実行させ、
    前記重み決定手順は、前記コンピュータに、霧領域でのみ前記近赤外画像のバンドの重要度が大きくなるように設定させ、前記霧領域以外の領域では、前記可視画像のバンドの重要度が大きくなるように設定させることを特徴とする画像処理プログラム。
  12. 前記画像最適化手順は、前記コンピュータに、
    前記合成画像の勾配を画素毎に独立に最適化する勾配最適化手順と、
    前記最適化された勾配を用いて画像全体で前記合成画像の画素値を最適化する画素値最適化手順と、
    を実行させる請求項１１に記載の画像処理プログラム。
  13. 前記重み決定手順は、前記コンピュータに、各バンドの重要度を、パラメータとして予め与えるか、又は機械学習技術を用いて自動的に算出させる、請求項１１又は１２に記載の画像処理プログラム。
  14. 前記重み決定手順は、前記コンピュータに、各バンドの重要度を画素毎に決定させる、請求項１１から１３の何れか１つに記載の画像処理プログラム。
  15. 前記算出手順は、前記コンピュータに、各バンドの重要度を表すバンド重み行列と、各画素の勾配を表す勾配行列とを用いて、前記構造テンソルを算出させる、請求項１１から１４の何れか１つに記載の画像処理プログラム。
JP2017524597A 2015-06-26 2016-06-10 画像処理システム、画像処理方法、および画像処理プログラム Active JP6826277B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015129122 2015-06-26
JP2015129122 2015-06-26
PCT/JP2016/002813 WO2016208142A1 (ja) 2015-06-26 2016-06-10 画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2016208142A1 JPWO2016208142A1 (ja) 2018-04-12
JP6826277B2 true JP6826277B2 (ja) 2021-02-03

Family

ID=57585522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524597A Active JP6826277B2 (ja) 2015-06-26 2016-06-10 画像処理システム、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
US (1) US11010876B2 (ja)
JP (1) JP6826277B2 (ja)
WO (1) WO2016208142A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656107B (zh) * 2019-01-30 2020-05-26 北京理工大学 一种采用变换l1范数约束的光刻光源图形优化方法
CN110706188B (zh) * 2019-09-23 2020-10-23 北京航天宏图信息技术股份有限公司 一种影像融合方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL146978A0 (en) * 1999-06-11 2002-08-14 Pulsent Corp Method and apparatus for digital image segmentation
EP1530156B1 (en) * 2003-11-07 2012-03-14 Mitsubishi Electric Information Technology Centre Europe B.V. Visual object detection
JP2009224971A (ja) 2008-03-14 2009-10-01 Omron Corp 画像処理装置
US8233705B2 (en) * 2008-10-03 2012-07-31 Eastman Kodak Company Potential field-based gamut mapping
JP2010103740A (ja) 2008-10-23 2010-05-06 Panasonic Corp デジタルカメラ
GB0914982D0 (en) * 2009-08-27 2009-09-30 Univ East Anglia Methods and apparatus for generating accented image data
US8903130B1 (en) * 2011-05-09 2014-12-02 Google Inc. Virtual camera operator
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
CN104700381B (zh) * 2015-03-13 2018-10-12 中国电子科技集团公司第二十八研究所 一种基于显著目标的红外与可见光图像融合方法

Also Published As

Publication number Publication date
US20180174282A1 (en) 2018-06-21
WO2016208142A1 (ja) 2016-12-29
US11010876B2 (en) 2021-05-18
JPWO2016208142A1 (ja) 2018-04-12

Similar Documents

Publication Publication Date Title
KR102574141B1 (ko) 이미지 디스플레이 방법 및 디바이스
Maurer How to pan-sharpen images using the gram-schmidt pan-sharpen method–A recipe
US20180367774A1 (en) Convolutional Color Correction in Digital Images
US9332190B2 (en) Image processing apparatus and image processing method
JP2019534520A (ja) 画像処理用のニューラルネットワークモデルのトレーニング方法、装置、及び記憶媒体
US11948279B2 (en) Method and device for joint denoising and demosaicing using neural network
KR101821285B1 (ko) 열화상 이미지 개선 장치 및 방법
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
US20160260199A1 (en) Image processing apparatus, image processing method, and storage medium
JP7328096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6909979B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP7370922B2 (ja) 学習方法、プログラム及び画像処理装置
JP7223117B2 (ja) ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像
JP6826277B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP2023003763A (ja) 学習装置、画像処理装置、学習処理方法、及びプログラム
JP4963492B2 (ja) 画像セグメンテーション方法、プログラムおよび装置
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
JP6835227B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
JP7291389B2 (ja) 対象識別方法、情報処理装置、情報処理プログラム、および照明装置
JP4615430B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP6332982B2 (ja) 画像処理装置およびその方法
van Zwanenberg et al. A tool for deriving camera spatial frequency response from natural scenes (NS-SFR)
US20230088317A1 (en) Information processing apparatus, information processing method, and storage medium
JP5836878B2 (ja) 画像処理装置、方法、及びプログラム
US20220092357A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201105

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201113

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201224

R150 Certificate of patent or registration of utility model

Ref document number: 6826277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250