JP6997969B2 - 画像合成システム、画像合成方法、および画像合成プログラム記録媒体 - Google Patents

画像合成システム、画像合成方法、および画像合成プログラム記録媒体 Download PDF

Info

Publication number
JP6997969B2
JP6997969B2 JP2018548972A JP2018548972A JP6997969B2 JP 6997969 B2 JP6997969 B2 JP 6997969B2 JP 2018548972 A JP2018548972 A JP 2018548972A JP 2018548972 A JP2018548972 A JP 2018548972A JP 6997969 B2 JP6997969 B2 JP 6997969B2
Authority
JP
Japan
Prior art keywords
image
group
reliability
perturbation
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018548972A
Other languages
English (en)
Other versions
JPWO2018084069A1 (ja
Inventor
剛志 柴田
正敏 奥富
正行 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Tokyo Institute of Technology NUC
Original Assignee
NEC Corp
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Tokyo Institute of Technology NUC filed Critical NEC Corp
Publication of JPWO2018084069A1 publication Critical patent/JPWO2018084069A1/ja
Application granted granted Critical
Publication of JP6997969B2 publication Critical patent/JP6997969B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Description

本発明は、画像合成システム、画像合成方法、および画像合成プログラム記録媒体に関する。
昨今のデバイス技術とソフトウェアの進歩により、温度や距離，動きベクトルなどの計測量を高精度に計測することが可能になってきており、これらデバイスにより取得された画像を同時に利用することが盛んになってきている。例えば、可視画像と遠赤外画像、近赤外画像、深度画像などを同時に利用する画像処理が盛んになってきている。
一例をあげると、非特許文献１、２及び３に記載の技術のように、可視画像或いは非可視画像のうち、一方の画像をガイドとして用い（以下、「ガイド画像」とよぶ）、他方の画像（以下、「ターゲット画像」とよぶ）中に含まれるノイズを除去したり、ターゲット画像をアップサンプリングしたり、霧領域を鮮明化するなどの技術が盛んに研究されている。
Tomasi, Carlo, and Roberto Manduchi. "Bilateral filtering for gray and color images." Computer Vision, 1998. Sixth International Conference on. IEEE, 1998. He, Kaiming, Jian Sun, and Xiaoou Tang. "Guided image filtering." European conference on computer vision. Springer Berlin Heidelberg, 2010. Shen, Xiaoyong, et al. "Mutual-Structure for Joint Filtering." Proceedings of the IEEE International Conference on Computer Vision. 2015.
しかしながら、一般的に、可視カメラと非可視カメラとでは、画角や姿勢などのカメラパラメータが異なるため、位置ずれが発生することが一般的である。
これに対して、非特許文献１、２及び３のようにガイド画像を用いるフィルタ処理の方法は、可視画像と非可視画像との間で、位置合わせが正確に行われていることが前提となっている。位置ずれが存在する可視画像と非可視画像とに対して、非特許文献１、２或いは３に記載の方法を用いた場合、ハロー効果やゴースト効果、或いはリンギングなどのアーチファクトが発生する。
本発明の目的は、上述した課題を解決できる画像合成システムを提供することにある。
本発明の一形態は、ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動部と；前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理部と；前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出部と；前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化部と；前記重み群と前記フィルタ処理画像群より出力画像を合成する出力画像合成部と；を備える画像合成システムである。
本発明によれば、画像中に含まれるノイズが除去された画像、アップサンプリングされた画像、霧領域を鮮明化された画像を生成することが可能となる。
本発明の一実施の形態に係る画像合成システムの概略構成を示すブロック図である。 図１に示された画像合成システムに使用される、信頼度算出部の構成を示すブロック図である。 図１に示された画像合成システムに使用される、重み最適化部における入出力関係の一例を示すブロック図である。 図１に示された画像合成システムに使用される、重み最適化部における入出力関係の他の例を示すブロック図である。 図１に示された画像合成システムに使用される、重み最適化部における入出力関係の更に他の例を示すブロック図である。 図１に示した画像合成システムの動作を説明するためのフローチャートである。
次に、発明を実施するための形態について図面を参照して詳細に説明する。
[構成の説明]
図１は、本発明の実施の形態に係る画像合成システムの概略構成を示すブロック図である。
図１を参照すると、本発明の実施の形態に係る画像処理システムは、ターゲット画像入力部１０１と、ガイド画像入力部１０２と、プログラム制御により動作するコンピュータ２００と、画像出力部３０１とから成る。コンピュータ２００は、例えば、中央処理装置やプロセッサ、或いはデータ処理装置で構成されてよい。
コンピュータ２００は、画像摂動部２１０と、フィルタ処理部２２０と、信頼度算出部２３０と、重み最適化部２４０と、出力画像合成部２５０とから成る。
これらの手段は、それぞれ概略、次のように動作する。
ターゲット画像入力部１０１には、ターゲット画像として、カメラや測定用のセンサなどによって得られた画像や測定値が入力される。ターゲット画像入力部１０１に入力する画像或いは測定値（ターゲット画像）としては、可視画像に限定されず、例えば、その他のセンサから取得された画像を入力してもよい。そして、ターゲット画像入力部１０１は、入力された画像或いは測定値（ターゲット画像）をメモリ（図示せず）等に記録する。
ガイド画像入力部１０２には、ガイド画像として、カメラや測定用のセンサなどによって得られた画像や測定値が入力される。ターゲット画像入力部１０１と同様に、ガイド画像入力部１０２に入力する画像或いは測定値（ガイド画像）としては、可視画像に限定されず、例えば、その他のセンサから取得された画像を入力してもよい。例えば、ターゲット画像入力部１０１には、ガイド画像として、深度画像、遠赤外画像、近赤外画像などを入力してもよい。そして、ガイド画像入力部１０２は、入力された画像或いは測定値（ガイド画像）をメモリ（図示せず）等に記録する。
画像摂動部２１０は、ガイド画像入力部１０２にて入力したガイド画像を、位置ずれ量に関して摂動させ、摂動ガイド画像群を生成する。位置ずれ量に関して摂動させる方法としては、例えば、画像の縦方向と横方向に、一定の間隔毎（例えば数画素おき）に画像を平行移動させることで、摂動ガイド画像を生成してもよい。或いは、画像摂動部２１０は、平行移動だけでなく、回転変形やアフィン変形、或いはホモグラフィ変換などの画像変形により摂動ガイド画像群を生成してもよい。また、本発明の実施の形態において、摂動ガイド画像群を生成する方法は、位置ずれ量に限定されず、例えば、ボケ量や倍率など、より一般的な画像劣化過程の一部を摂動として与えてガイド画像を変換し、これを摂動ガイド画像群として用いてもよい。
以下では、説明のため、ターゲット画像を
Figure 0006997969000001
 と表し、ｋ番目の摂動ガイド画像を
Figure 0006997969000002
 と表し、摂動ガイド画像群を
Figure 0006997969000003
 と表す。
したがって、摂動ガイド画像の個数をＫ（１≦ｋ≦Ｋ）とすると、摂動ガイド画像群は、第１乃至第Ｋの摂動ガイド画像から成る。
フィルタ処理部２２０は、前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成する。より具体的には、フィルタ処理部２０２は、ターゲット画像
Figure 0006997969000004
 と、前記摂動ガイド画像群
Figure 0006997969000005
 より、フィルタ処理画像群を生成する。各フィルタ処理の方法としては、上記非特許文献１、２或いは３の手法などを用いればよい。以下では、生成されたフィルタ処理画像群を
Figure 0006997969000006
 と表す。
信頼度算出部２３０は、前記第１乃至第Ｋの摂動ガイド画像とターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する。前記摂動ガイド画像群とターゲット画像群との間の相関値群としては、例えば、フィルタ処理部２２０で用いた第１乃至第Ｋのフィルタ処理の際に使用した第１乃至第Ｋの目的関数を、第１乃至第Ｋの相関値として用いてもよい。
したがって、信頼度算出部２３０は、図２に示されるように、相関値計算部２３２と、信頼度計算部２３４とから成る。相関値計算部２３２は、第１乃至第Ｋの相関値から成る相関値群を、第１乃至第Ｋの目的関数から成る目的関数群に基づき計算する。信頼度計算部２３４は、相関値群に基づき、信頼度群を計算する。
例えば、相関値計算部２３２は、以下の数７に示すようにリッジ回帰に基づく量がフィルタ処理の目的関数として用いられる場合には、その値を用いて相関値を算出すればよい。
Figure 0006997969000007
 ここで、
Figure 0006997969000008
 は、リッジ回帰の結果算出された係数である。
また、以下の数９のように、リッジ回帰に基づく相関値に加え、ターゲット画像及び摂動ガイド画像群との誤差項の２つに基づく量がフィルタ処理の目的関数として用いられている場合には、相関値計算部２３２は、その値を相関値として用いてもよい。
Figure 0006997969000009
 ここで、
Figure 0006997969000010
 は、リッジ回帰の結果算出された係数である。また、λI，λGは、パラメータであり、利用者により決定される量である。
あるいは、カーネル関数K（・）に基づく量がフィルタ処理の目的関数として用いられる場合には、相関値計算部２３２は、以下の数１１のように、その値を用いて相関値を算出すればよい。
Figure 0006997969000011
 ここで、
Figure 0006997969000012
 は、カーネル関数であり、σｓ，σiは利用者により決定されるパラメータである。
なお、本発明で用いる相関値は、上記に限定されず、例えば、ターゲット画像と摂動ガイド画像群との間の相関を表すものであれば良い。このような相関を表す量としては、ターゲット画像と各摂動ガイド画像との間の局所領域における正規化相関、差分の二乗和、差分の絶対値の和などを用いればよい。或いは、本発明では、ターゲット画像と摂動ガイド画像群との間の相関を、予め機械学習などの方法で学習し、これを用いて相関値を算出してもよい。
次に、信頼度計算部２３４は、例えば、以下の数１４のようなソフトマックス関数を用いて、第ｋの信頼度
Figure 0006997969000013
 を算出すればよい。
Figure 0006997969000014
 ここで、βはパラメータであり、利用者により決定される量である。
なお、上記実施の形態では、信頼度算出部２３０において相関値群からソフトマックス関数を用いて信頼度群を算出する方法について述べたが、本発明はこれに限定されない。一般的には、信頼度は相関値の単調増加関数であれば何でもよく、例えば、相関値の値をそのまま用いてもよい。或いは、信頼度算出部２３０は、二次関数、多項式関数、対数関数などを用いて信頼度を算出してもよい。
重み最適化部２４０は、第１乃至第Ｋの信頼度に基づき、それぞれ第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する。本例では、重み最適化部２４０は、第ｋの信頼度
Figure 0006997969000015
 及び、第ｋの信頼度
Figure 0006997969000016
 の空間平滑性とスパース性に基づき、前記第ｋのフィルタ処理画像を合成するための第ｋの重み
Figure 0006997969000017
 を算出する。
図３に示されるように、第ｋの重み
Figure 0006997969000018
 を算出する方法として、例えば、以下の数２０で定義される、第ｋの信頼度
Figure 0006997969000019
 に関する忠実項、空間的平滑性、スパース性に基づくエネルギー関数を最小化すればよい。
Figure 0006997969000020
 ここで、数２０における、右辺第一項は第ｋの信頼度
Figure 0006997969000021
 に関する忠実項、右辺第二項は空間的平滑性、右辺第三項はスパース性に基づく項である。また、η及びγは、各項の大きさを調整するためにパラメータであり、利用者により決定される量である。
例えば、第ｋの信頼度
Figure 0006997969000022
 に関する忠実項としては、以下の数２５で定義されるように、第ｋの信頼度
Figure 0006997969000023
 と第ｋの重み
Figure 0006997969000024
 との差分の二乗和として定義されたものを用いればよい。
Figure 0006997969000025
 なお、上記実施の形態では、第ｋの信頼度
Figure 0006997969000026
 に関する忠実項として、第ｋの信頼度
Figure 0006997969000027
 と第ｋの重み
Figure 0006997969000028
 との差分の二乗和として定義されたものを用いたが、本発明はこれに限定されない。忠実項は、第ｋの信頼度
Figure 0006997969000029
 と第ｋの重み
Figure 0006997969000030
 との差分に関する関数であればなんでもよく、例えば、忠実項として差分の絶対値の和などを用いてもよい。
また、空間平滑性としては、例えば、以下の数３２で表すように、第ｋの重み
Figure 0006997969000031
 の空間微分の二乗和を用いればよい。
Figure 0006997969000032
 なお、上記実施の形態では、空間平滑性を表す量として、第ｋの重み
Figure 0006997969000033
 の空間微分の二乗和を用いる形態について述べたが、本発明はこれに限定されない。例えば、第ｋの重み
Figure 0006997969000034
 の空間微分の二乗和の替わりに、空間平滑性を表す量として空間微分の絶対値の和を用いてもよい。或いは、第ｋの重み
Figure 0006997969000035
 の空間微分の替わりに、空間平滑性を表す量として二回微分を用いてもよい。すなわち、空間平滑性を表す量としては、なんらかの形態で高周波成分を抽出する量であればなんでもよく、上記の方法に限定されない。
また、スパース性に基づく項としては、例えば、下記の数３７に表すように、第ｋの重み
Figure 0006997969000036
 に関するノルムを用いればよい。
Figure 0006997969000037
 ここで、εは、スパース性を調整するパラメータであり、利用者により与えられるパラメータである。
なお、上記実施の形態では、重み関数として、信頼度群に関する忠実項、空間的平滑性、スパース性に基づくエネルギー関数を最小化することで算出する方法を述べたが、本発明はこれに限定されない。一般的に、重み最適化部２４０は、重み関数として、信頼度の値をそのまま用いてもよい。
或いは、図４に示されるように、重み最適化部２４０は、画素毎に、摂動フィルタ画像群のうち、第１乃至第Ｋの信頼度に対して、対応する信頼度が最大となるものだけ重みを１とし、その他の重みをゼロとすることで、第１乃至第Ｋの重みを算出してもよい。
或いは、図５に示されるように、重み最適化部２４０は、上述のようなエネルギー関数を用いるのではなく、信頼度群に関する忠実項と空間平滑性とのみを考慮したエネルギー関数を、例えば、離散最適化の手法を用いることで最小化し、重み群を算出してもよい。
出力画像合成部２５０は、前記第ｋの重み
Figure 0006997969000038
 と、前記フィルタ処理画像群
Figure 0006997969000039
 とから、これらの線形結合として出力画像
Figure 0006997969000040
 を合成する。
より具体的には、出力画像合成部２５０は、例えば、以下の数４１に示すように、出力画像を合成すればよい。
Figure 0006997969000041
 なお、上記実施の形態では、出力画像を第ｋの重み
Figure 0006997969000042
 とフィルタ処理画像群
Figure 0006997969000043
 との線形結合として表す場合について述べたが、本発明はこれに限定されない。例えば、出力画像合成部２５０は、第ｋの重み
Figure 0006997969000044
 とフィルタ処理画像群
Figure 0006997969000045
 との非線形結合として、出力画像を合成してもよい。或いは、出力画像合成部２５０は、第ｋの重み
Figure 0006997969000046
 に応じて、出力画像をどのように合成するかを規定する合成則を予め何らかの形で学習しておき、この合成則に基づいて、フィルタ処理画像群
Figure 0006997969000047
 から出力画像を合成してもよい。
画像出力部３０１は、出力画像合成部２５０にて合成した出力画像
Figure 0006997969000048
 をモニタなどで出力する。
[動作の説明]
次に、図６のフローチャートを参照して、本実施の形態に係る画像合成システムの全体の動作について詳細に説明する。
まず、ターゲット画像入力部１０１とガイド画像入力部１０２とにて、処理対象となるターゲット画像とガイド画像とを入力する（ステップＳ１０１）。
次に、画像摂動部２１０にて、ガイド画像を摂動変形させ、第１乃至第Ｋの摂動ガイド画像から成る摂動ガイド画像群を生成する（ステップＳ１０２）。
次に、フィルタ処理部２２０にて、摂動ガイド画像群とターゲット画像とから、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成する（ステップＳ１０３）。
次に、信頼度算出部２３０にて、フィルタ処理画像群の第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する（ステップＳ１０４）。
次に、重み最適化部２４０にて、信頼度算出部２３０にて算出された信頼度群から、重み群を算出する（ステップＳ１０５）。
次に、出力画像合成部２５０にて、重み最適化部２４０にて算出した重み群と、フィルタ処理画像群とから、出力画像を合成し、画像出力部３０１にて出力画像を出力する（ステップＳ１０６）。
[効果の説明]
次に、本実施の形態の効果について説明する。
本発明の実施の形態を用いることで、位置ずれが含まれる可視画像と非可視画像とに対して、ガイドを用いたフィルタ処理を適用することで、ゴースト効果やハロー効果などのアーチファクトを抑えながら、画像中に含まれるノイズが除去された画像、アップサンプリングされた画像、霧領域を鮮明化された画像を生成することが可能となる。その理由は、位置連れに関して摂動させたガイド画像を用いてフィルタ処理画像を生成し、これらの線形結合のための重みを、画素毎にフィルタ処理の信頼度に基づき、適応的に算出するためである。
尚、画像合成システムの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に画像合成プログラムが展開され、該画像合成プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該画像合成プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された画像合成プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記実施の形態を別の表現で説明すれば、画像合成システムとして動作させるコンピュータを、ＲＡＭに展開された画像合成プログラムに基づき、画像摂動部２１０、フィルタ処理部２２０、信頼度算出部２３０、重み最適化部２４０、および出力画像合成部２５０として動作させることで実現することが可能である。
なお、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動部と；前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理部と；前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出部と；前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化部と；前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成部と；を備える画像合成システム。
（付記２）前記画像摂動部は、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、付記１に記載の画像合成システム。
(付記３)前記信頼度算出部は、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、付記１又は２に記載の画像合成システム。
(付記４)前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記１乃至３のいずれか１つに記載の画像合成システム。
（付記５）前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記１乃至３のいずれか１つに記載の画像合成システム。
(付記６)前記重み最適化部は、前記信頼度算出部にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、付記１乃至３のいずれか１つに記載の画像合成システム。
（付記７）画像摂動部が、ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動工程と；フィルタ処理部が、前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理工程と；信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出工程と；重み最適化部が、前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化工程と；出力画像合成部が、前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成工程と；を含む画像合成方法。
（付記８）前記画像摂動工程では、前記画像摂動部が、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、付記７に記載の画像合成方法。
(付記９)前記信頼度算出工程では、前記信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、付記７又は８に記載の画像合成方法。
(付記１０)前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記７乃至９のいずれか１つに記載の画像合成方法。
（付記１１）前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記７乃至９のいずれか１つに記載の画像合成方法。
（付記１２）前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、付記７乃至９のいずれか１つに記載の画像合成方法。
(付記１３)ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動手順と；前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理手順と；前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出手順と；前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化手順と；前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成手順と；をコンピュータに実行させる画像合成プログラムを記録した画像合成プログラム記録媒体。
（付記１４）前記画像摂動手順は、前記コンピュータに、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成させる、付記１３に記載の画像合成プログラム記録媒体。
（付記１５）前記信頼度算出手順は、前記コンピュータに、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出させる、付記１３又は１４に記載の画像合成プログラム記録媒体。
（付記１６）前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、付記１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
（付記１７）前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、付記１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
(付記１８)前記重み最適化手順は、前記コンピュータに、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いらせる、付記１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
１０１ ターゲット画像入力部
１０２ ガイド画像入力部
２００ コンピュータ（中央処理装置；プロセッサ；データ処理装置）
２１０ 画像摂動部
２２０ フィルタ処理部
２３０ 信頼度算出部
２３２ 相関値計算部
２３４ 信頼度計算部
２４０ 重み最適化部
２５０ 出力画像合成部
３０１ 画像出力部
この出願は、２０１６年１１月７日に出願された日本出願特願２０１６－２１７５４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (18)

  1. ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動部と、
    前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理部と、
    前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出部と、
    前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化部と、
    前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成部と、
    を備える画像合成システム。
  2. 前記画像摂動部は、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、請求項１に記載の画像合成システム。
  3. 前記信頼度算出部は、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、請求項１又は２に記載の画像合成システム。
  4. 前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項１乃至３のいずれか１つに記載の画像合成システム。
  5. 前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項１乃至３のいずれか１つに記載の画像合成システム。
  6. 前記重み最適化部は、前記信頼度算出部にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、請求項１乃至３のいずれか１つに記載の画像合成システム。
  7. 画像摂動部が、ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動工程と、
    フィルタ処理部が、前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理工程と、
    信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出工程と、
    重み最適化部が、前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化工程と、
    出力画像合成部が、前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成工程と、
    を含む画像合成方法。
  8. 前記画像摂動工程では、前記画像摂動部が、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、請求項７に記載の画像合成方法。
  9. 前記信頼度算出工程では、前記信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、請求項７又は８に記載の画像合成方法。
  10. 前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項７乃至９のいずれか１つに記載の画像合成方法。
  11. 前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項７乃至９のいずれか１つに記載の画像合成方法。
  12. 前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、請求項７乃至９のいずれか１つに記載の画像合成方法。
  13. ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動手順と、
    前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理手順と、
    前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出手順と、
    前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化手順と、
    前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成手順と、
    をコンピュータに実行させる画像合成プログラムを記録した画像合成プログラム記録媒体。
  14. 前記画像摂動手順は、前記コンピュータに、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成させる、請求項１３に記載の画像合成プログラム記録媒体。
  15. 前記信頼度算出手順は、前記コンピュータに、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出させる、請求項１３又は１４に記載の画像合成プログラム記録媒体。
  16. 前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、請求項１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
  17. 前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、請求項１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
  18. 前記重み最適化手順は、前記コンピュータに、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いらせる、請求項１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
JP2018548972A 2016-11-07 2017-10-26 画像合成システム、画像合成方法、および画像合成プログラム記録媒体 Active JP6997969B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016217543 2016-11-07
JP2016217543 2016-11-07
PCT/JP2017/038721 WO2018084069A1 (ja) 2016-11-07 2017-10-26 画像合成システム、画像合成方法、および画像合成プログラム記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018084069A1 JPWO2018084069A1 (ja) 2019-09-19
JP6997969B2 true JP6997969B2 (ja) 2022-01-18

Family

ID=62076084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018548972A Active JP6997969B2 (ja) 2016-11-07 2017-10-26 画像合成システム、画像合成方法、および画像合成プログラム記録媒体

Country Status (3)

Country Link
US (1) US10943339B2 (ja)
JP (1) JP6997969B2 (ja)
WO (1) WO2018084069A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796443B2 (en) * 2018-10-17 2020-10-06 Kneron, Inc. Image depth decoder and computing device
CN112101173A (zh) * 2020-09-09 2020-12-18 青岛黄海学院 一种图像处理装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267494A1 (en) 2007-04-30 2008-10-30 Microsoft Corporation Joint bilateral upsampling
WO2014192487A1 (ja) 2013-05-29 2014-12-04 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
JP2015231220A (ja) 2014-06-06 2015-12-21 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9967535B2 (en) * 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267494A1 (en) 2007-04-30 2008-10-30 Microsoft Corporation Joint bilateral upsampling
WO2014192487A1 (ja) 2013-05-29 2014-12-04 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
JP2015231220A (ja) 2014-06-06 2015-12-21 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム

Also Published As

Publication number Publication date
JPWO2018084069A1 (ja) 2019-09-19
US20200074604A1 (en) 2020-03-05
US10943339B2 (en) 2021-03-09
WO2018084069A1 (ja) 2018-05-11

Similar Documents

Publication Publication Date Title
JP4799428B2 (ja) 画像処理装置及び方法
Aly et al. A regularized model-based optimization framework for pan-sharpening
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
JP4585456B2 (ja) ボケ変換装置
JP5906493B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2011223477A (ja) ブラー補正装置およびブラー補正方法
JP2017010092A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
WO2018225133A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
JP7246900B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP6997969B2 (ja) 画像合成システム、画像合成方法、および画像合成プログラム記録媒体
JP6645442B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2017010093A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9996908B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur
JP7443030B2 (ja) 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法
JP2012003503A (ja) 画像処理装置およびその制御方法、並びにプログラム
JP5587322B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Salvador et al. Patch-based spatio-temporal super-resolution for video with non-rigid motion
JP7191588B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
JP6158956B2 (ja) 画像処理装置
JP5761988B2 (ja) 画像処理装置、画像処理方法
CN113506212A (zh) 一种改进的基于pocs的高光谱图像超分辨率重建方法
JP5750349B2 (ja) 画像復元装置、画像復元方法およびプログラム
Eckardt et al. Adaptation of spatial resolution for high resolution imaging system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211202

R150 Certificate of patent or registration of utility model

Ref document number: 6997969

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150