JP5522736B2 - 画像超解像装置およびそのプログラム - Google Patents
画像超解像装置およびそのプログラム Download PDFInfo
- Publication number
- JP5522736B2 JP5522736B2 JP2010261913A JP2010261913A JP5522736B2 JP 5522736 B2 JP5522736 B2 JP 5522736B2 JP 2010261913 A JP2010261913 A JP 2010261913A JP 2010261913 A JP2010261913 A JP 2010261913A JP 5522736 B2 JP5522736 B2 JP 5522736B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- super
- resolution
- block
- reference block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000006866 deterioration Effects 0.000 claims description 227
- 238000000034 method Methods 0.000 claims description 116
- 238000006731 degradation reaction Methods 0.000 claims description 115
- 230000009467 reduction Effects 0.000 claims description 108
- 230000015556 catabolic process Effects 0.000 claims description 95
- 238000004364 calculation method Methods 0.000 claims description 66
- 238000003860 storage Methods 0.000 claims description 50
- 238000010276 construction Methods 0.000 claims description 27
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 238000005520 cutting process Methods 0.000 claims description 12
- 230000000593 degrading effect Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002542 deteriorative effect Effects 0.000 claims 1
- 230000003252 repetitive effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 45
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
しかし、これらの画素値の補間法では、拡大した画像にボケが生じるという問題がある。その大きな原因として、拡大した画像には、高周波成分が十分含まれていないことが挙げられる。
まず、入力画像から相似関係にある大小一組のブロックを切り出し、それらのDCT(離散コサイン変換)係数を算出する。そして、小さい方のブロックのDCT係数を、大きい方のブロックのDCT係数のうち対応するものと置き換える。そして、その置き換えた大きい方のブロックのDCT係数を逆DCTすることで、拡大した超解像ブロックの画素値を得る。例えば、小さい方のブロックのサイズを8×8画素、大きい方のブロックのサイズを16×16画素としたとき、大きい方のブロックのDCT係数(16×16)のうち、低周波領域の8×8画素のDCT係数を小さい方のブロックのDCT係数(8×8)で置き換える。そして、その置き換えて生成したDCT係数(16×16)を逆DCTすることで、8×8画素の小さいブロックに対応した16×16画素の超解像ブロックを生成する。同様な処理を、画像全体の小さいブロックに対して行い、小さいブロックのそれぞれを対応する超解像ブロックに置き換えることで、超解像画像を生成する。
すなわち、特許文献1に記載された手法は、画像縮小による劣化過程しか考慮していない。そのため、入力画像が画像縮小以外の劣化過程を経た場合、必ずしも適切な超解像処理ができるとは限らない。例えば、ほとんどのスチルカメラやビデオカメラで撮影された画像や映像は、記録する際に圧縮符号化による劣化過程を経ている。その結果、特許文献1に記載された手法では、圧縮符号化による劣化過程を経た画像から、高画質な超解像画像を生成できないことがあるという問題がある。
請求項1,2,7,8に記載の発明によれば、入力画像から、画像縮小による劣化過程のみならず、圧縮符号化による劣化過程による損失成分を付加して超解像画像を生成することができる。これによって、本発明は、学習を行うことなく、既知の符号化方式で符号化および復号された入力画像から、高周波成分を付加し、符号劣化した成分を補完することで、高画質な超解像画像を生成することができる。
<第1実施形態>
[画像超解像装置の構成]
まず、図1を参照して、本発明の第1実施形態に係る画像超解像装置1の構成について説明する。画像超解像装置1は、入力画像よりも解像度の高い画像(超解像画像)を生成するものである。なお、超解像とは、入力画像の解像度が、出力画像の解像度に満たない場合に、解像度を補完することをいう。
以下の説明において、画像超解像装置1は、入力画像Gを縦横2倍に拡大した超解像画像SGを生成するものとして説明する。この拡大率は、任意の比率が可能であることはいうまでもない。
この処理ブロックの大きさは任意に設定することができる。また、処理ブロック切り出し手段10は、処理ブロックD間で重複領域を設けて切り出すこととしてもよい。このように重複領域を設けることで、後記する超解像画像構成手段60において、超解像画像を構成する際に、ブロック境界で生じやすい画素値の不連続を抑えることができる。
例えば、処理ブロック切り出し手段10には、処理ブロックDを4×4画素の正方形領域、処理ブロックD間の重複領域の大きさを2画素幅に予め設定しておく。
なお、この参照ブロックHの大きさは、処理ブロックDを拡大した拡大処理ブロックLと同一の大きさとする。すなわち、本実施形態において、参照ブロックHの大きさは、処理ブロックDの縦横2倍の大きさとする。
この縮小劣化手段321における縮小処理は、予め定めた任意の手法で行うことができる。例えば、縮小劣化手段321は、縮小手法として、最近傍法、線形補間法、Bicubic補間法等の画素値の補間法により参照ブロックHを縮小する。
このブロック記憶手段33に記憶された劣化参照ブロックHD2は、類似度算出手段34および損失成分生成手段40によって読み出される。また、ブロック記憶手段33に記憶された参照ブロックHは、損失成分生成手段40によって読み出される。
具体的には、超解像ブロック合成手段50は、拡大処理ブロックLに対して、参照ブロック選択劣化手段30の類似度算出手段34で算出された類似度の高さに応じて、すべての損失成分HFを重み付き加算する。これによって、処理ブロックDを拡大した拡大処理ブロックLに、縮小劣化および非縮小劣化で失われたと推定される損失成分HFが加算され、処理ブロックDを超解像したブロックが生成されることになる。
以後、超解像ブロック合成手段50が生成したブロックを超解像ブロック(SR)と呼ぶ。この超解像ブロック合成手段50は、生成した超解像ブロックSRを超解像画像構成手段60に出力する。
この処理ブロックDに対応する位置とは、入力画像Gにおける処理ブロックDの位置が、画像超解像装置1において超解像画像SGを生成するために予め定めた拡大率で入力画像Gを拡大した画像に対応する位置である。具体的には、ここでは、画像超解像装置1は、入力画像Gを縦横2倍に拡大した超解像画像SGを生成するため、処理ブロックDの位置である水平座標(X座標)および垂直座標(Y座標)をそれぞれ2倍した座標位置が、処理ブロックDに対応する位置となる。
この超解像画像構成手段60で生成された超解像画像SGが、画像超解像装置1の出力画像となる。
次に、図5を参照(構成については適宜図1参照)して、本発明の第1実施形態に係る画像超解像装置1の動作について説明する。さらに、ここでは、適宜図6を参照して、各手段において生成されるブロック(画像)についても模式的に説明する。なお、図5に示すステップの番号(S1等)と、図6に示す処理の番号(P1等)とは、対応していない。
以上の動作によって、画像超解像装置1は、入力画像Gから、劣化による成分を補完した高画質な超解像画像SGを生成することができる。
例えば、ここでは、処理ブロック切り出し手段10は、処理ブロックDとして、正方形領域のブロックを切り出したが、長方形領域のブロックを切り出すこととしてもよい。この場合、参照ブロック切り出し手段31は、その長方形領域を予め定めた拡大率で拡大した領域を参照ブロックHとして切り出せばよい。
あるいは、超解像ブロック合成手段50は、類似度が予め定めた高さ以上の類似度の劣化参照ブロックHD2に対応する損失成分HFのみを、拡大処理ブロックLに加算する対象としてもよい。
例えば、入力画像Gに既知のボケやブレが含まれている場合、それらを模擬する処理を付加してもよい。このボケやブレを模擬する場合、非縮小劣化手段322は、ローパスフィルタによってボケを模擬したり、水平、垂直、斜め方向のフィルタによって、ブレを模擬したりすることで、画像の劣化を模擬することができる。
以下、第1実施形態の変形例以外の他の実施形態について、図面を参照して説明する。
まず、図2を参照して、本発明の第2実施形態に係る画像超解像装置1Bについて説明する。画像超解像装置1Bは、画像超解像装置1(図1参照)と同様、入力画像よりも解像度の高い画像(超解像画像)を生成するものである。画像超解像装置1は、図1で説明したように、参照ブロックHとそれを劣化させた劣化参照ブロックHD2とを入力画像Gから生成し、予めブロック記憶手段33に記憶しておき、損失成分生成手段40が逐次参照する構成である。これに対し、第2実施形態に係る画像超解像装置1Bは、ブロック記憶手段33を備えない構成とした。
画像超解像装置1Bは、画像超解像装置1の参照ブロック選択劣化手段30を参照ブロック選択劣化手段30Bに替え、損失成分生成手段40を損失成分生成手段40Bに替えて構成した。
この類似度算出手段34Bは、算出した類似度を超解像ブロック合成手段50に出力するとともに、類似度を算出した劣化参照ブロックHD2に対応する参照ブロックHの切り出し位置を損失成分生成手段40Bに出力する。
そして、非縮小劣化手段442は、生成した劣化参照ブロックHD2を劣化参照ブロック拡大手段41に出力する。
これによって、損失成分生成手段40Bは、参照ブロック選択劣化手段30Bにおいて、処理ブロックDと比較された同一の参照ブロックHを入力画像Gから切り出して、損失成分HFを生成することができる。
次に、図3を参照して、本発明の第3実施形態に係る画像超解像装置1Cについて説明する。画像超解像装置1Cは、画像超解像装置1(図1参照)と同様、入力画像よりも解像度の高い画像(超解像画像)を生成するものである。画像超解像装置1は、図1で説明したように、入力画像Gから切り出した参照ブロックHに対して劣化過程を模擬することで、損失成分を生成する構成である。これに対し、第3実施形態に係る画像超解像装置1Cは、入力画像Gそのものに劣化過程を模擬することで、損失成分を生成する構成とした。
画像超解像装置1Cは、画像超解像装置1の参照ブロック選択劣化手段30を参照ブロック選択劣化手段30Cに替えて構成した。
なお、参照ブロック切り出し手段31Cにおける参照ブロックHの切り出し方については、図1で説明した参照ブロック切り出し手段31と同じである。
この縮小劣化手段321Cにおける縮小処理は、予め定めた任意の手法で行うことができる。例えば、縮小劣化手段321Cは、縮小手法として、最近傍法、線形補間法、Bicubic補間法等の画素値の補間法により入力画像Gを縮小する。
この劣化参照ブロック切り出し手段35は、切り出した劣化参照ブロックHD2を、参照ブロックHと対応付けてブロック記憶手段33に書き込む。
次に、図4を参照して、本発明の第4実施形態に係る画像超解像装置1Dについて説明する。画像超解像装置1Dは、画像超解像装置1C(図3参照)と同様、入力画像よりも解像度の高い画像(超解像画像)を生成するものである。画像超解像装置1Cは、図3で説明したように、参照ブロックHとそれを劣化させた劣化参照ブロックHD2とを入力画像Gから生成し、予めブロック記憶手段33に記憶しておき、損失成分生成手段40が逐次参照する構成である。これに対し、第4実施形態に係る画像超解像装置1Dは、ブロック記憶手段33を備えない構成とした。
画像超解像装置1Dは、画像超解像装置1Cの参照ブロック選択劣化手段30Cを参照ブロック選択劣化手段30Dに替え、損失成分生成手段40を損失成分生成手段40Dに替えて構成した。
この類似度算出手段34Dは、算出した類似度を超解像ブロック合成手段50に出力するとともに、類似度を算出した劣化参照ブロックHD2の劣化前のブロックに相当する参照ブロックの切り出し位置を損失成分生成手段40Dに出力する。
そして、非縮小劣化手段442Dは、生成した劣化入力画像G2を劣化参照ブロック切り出し手段45に出力する。
この劣化参照ブロック切り出し手段45は、切り出した劣化参照ブロックHD2を、劣化参照ブロック拡大手段41に出力する。
これによって、画像超解像装置1,1B,1C,1Dは、入力画像が経た劣化過程を考慮して、高周波成分を付加するとともに、符号化に伴う劣化を補完して、高画質な超解像画像を生成することができる。
次に、図7を参照して、本発明の第5実施形態に係る画像超解像装置2について説明する。画像超解像装置2は、画像超解像装置1,1B,1C,1D(図1〜図4参照)と同様、入力画像よりも解像度の高い画像(超解像画像)を生成するものである。画像超解像装置1,1B,1C,1Dは、入力画像Gに対して、劣化過程を模擬した損失成分を1回加算することで超解像画像SGを生成する構成である。これに対し、画像超解像装置2は、画像超解像装置1,1B,1C,1Dが行う超解像処理を反復する構成とした。
また、ブロック更新手段61は、超解像ブロック合成手段50から同一の位置に配置する超解像ブロックSRが入力された場合、拡大画像記憶手段80上において超解像ブロックSRを更新する。
この反復の判定は、例えば、予め定めた回数で判定する。また、ブロック更新手段61において、更新を行う超解像ブロックSRの数が予め定めた数以下となった場合に、反復を停止すると判定することとしてもよい。
一方、反復判定手段62は、反復を行わない(終了)と判定した場合、拡大画像記憶手段80に記憶されている拡大画像LGを読み出して、超解像画像SGとして出力する。
この入力切り換え手段70は、初期段階では、入力画像Gを超解像する対象とし、超解像画像構成手段60E(反復判定手段62)から、切り換えを指示された段階で、処理画像TGを超解像する対象として切り換える。この切り換えられた画像(入力画像Gまたは処理画像TG)は、処理ブロック切り出し手段10と、参照ブロック選択劣化手段30とに出力される。
この拡大画像記憶手段80は、超解像画像構成手段60Eによって更新される。また、超解像処理が反復される場合、画像縮小手段90によって拡大画像LGが読み出され、超解像処理が終了した場合、超解像画像構成手段60Eによって拡大画像LGが超解像画像SGとして読み出される。
この画像縮小手段90における縮小処理は、予め定めた任意の手法で行うことができる。例えば、画像縮小手段90は、縮小手法として、最近傍法、線形補間法、Bicubic補間法等の画素値の補間法により拡大画像LGを縮小する。
すなわち、画像超解像装置2は、処理ブロック切り出し手段10、処理ブロック拡大手段20、参照ブロック選択劣化手段30、損失成分生成手段40および超解像ブロック合成手段50を、図2〜図4で説明した画像超解像装置1B,1C,1Dの対応する構成で置き換えて構成することも可能である。
最後に、図8を参照(構成に付いては適宜図7参照)して、画像超解像装置2が行う超解像処理を、各手段によって生成されるブロック(画像)の流れで模式的に説明する。
まず、画像超解像装置2は、入力画像Gが入力されると、参照ブロック選択劣化手段30によって、予め定めた大きさの参照ブロックH1(H)と、当該ブロックを劣化処理した縮小参照ブロックHD21(HD2)を生成する。そして、画像超解像装置2は、損失成分生成手段40によって、縮小参照ブロックHD21を拡大し、参照ブロックH1と差分をとることで、損失成分HF1(HF)を生成する。
そして、画像超解像装置2は、超解像画像構成手段60Eの反復判定手段62によって、反復回数等によって反復を行うか否かを判定する。
そして、反復を行うと判定された場合、画像超解像装置2は、画像縮小手段90によって、拡大画像記憶手段80に記憶されている拡大画像LG1を縮小して、処理画像TGを生成する。
そして、画像超解像装置2は、超解像画像構成手段60Eの反復判定手段62によって、反復を行わないと判定された段階で、拡大画像記憶手段80に記憶されている拡大画像LG2を、超解像画像SG2として出力する。
10 処理ブロック切り出し手段
20 処理ブロック拡大手段
30 参照ブロック選択劣化手段
31 参照ブロック切り出し手段
32 劣化モデル手段
321 縮小劣化手段
322 非縮小劣化手段
33 ブロック記憶手段
34 類似度算出手段
35 劣化参照ブロック切り出し手段
40 損失成分生成手段
41 劣化参照ブロック拡大手段
42 損失成分算出手段
43 参照ブロック切り出し手段
44 劣化モデル手段
441 縮小劣化手段
442 非縮小劣化手段
45 劣化参照ブロック切り出し手段
50 超解像ブロック合成手段
60 超解像画像構成手段
61 ブロック更新手段
62 反復判定手段
70 入力切り換え手段
80 拡大画像記憶手段
90 画像縮小手段
Claims (8)
- 予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段と、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段と、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段と、
この参照ブロック切り出し手段で切り出された参照ブロックを、前記拡大率の逆比率で縮小するとともに、前記符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する劣化モデル手段と、
この劣化モデル手段で生成された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段と、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段と、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段と、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段と、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段と、
を備えることを特徴とする画像超解像装置。 - 予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段と、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段と、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段と、
前記入力画像を、前記拡大率の逆比率で縮小するとともに、前記符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する劣化モデル手段と、
この劣化モデル手段で生成された劣化入力画像から、前記処理ブロックと同一の大きさで、前記参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す劣化参照ブロック切り出し手段と、
この劣化参照ブロック切り出し手段で切り出された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段と、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段と、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段と、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段と、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段と、
を備えることを特徴とする画像超解像装置。 - 前記超解像ブロック合成手段は、前記拡大処理ブロックに、前記複数の参照ブロックから生成された前記損失成分を、前記類似度に基づいて重み付き加算することを特徴とする請求項1または請求項2に記載の画像超解像装置。
- 前記類似度算出手段は、前記劣化参照ブロックと前記処理ブロックとの画素ごとの類似度を算出し、
前記超解像ブロック合成手段は、前記拡大処理ブロックに、前記複数の参照ブロックから生成された前記損失成分を、前記画素ごとの類似度に基づいて画素ごとに重み付き加算することを特徴とする請求項1から請求項3のいずれか一項に記載の画像超解像装置。 - 前記超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、
この拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、
処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、
前記超解像画像構成手段は、
前記画像縮小手段に対して前記処理画像を生成させ、前記入力切り換え手段に対して、前記処理対象の画像を前記処理画像とすることで、前記拡大画像の生成を繰り返し、予め定めた回数繰り返した段階で、前記拡大画像を前記超解像画像として出力する反復判定手段を備えることを特徴とする請求項1から請求項4のいずれか一項に記載の画像超解像装置。 - 前記超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、
この拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、
処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、
前記超解像画像構成手段は、
前記拡大画像において、更新前後の超解像ブロックの差分が予め定めた閾値以上の場合にのみ新たな超解像ブロックで前記拡大画像を更新するブロック更新手段と、
前記画像縮小手段に対して前記処理画像を生成させ、前記入力切り換え手段に対して、前記処理対象の画像を前記処理画像とすることで、前記拡大画像の生成を繰り返し、前記ブロック更新手段における更新を行う前記超解像ブロックの数が予め定めた数以下となった段階で、前記拡大画像を前記超解像画像として出力する反復判定手段と、
を備えることを特徴とする請求項1から請求項4のいずれか一項に記載の画像超解像装置。 - 予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段、
この参照ブロック切り出し手段で切り出された参照ブロックを、前記拡大率の逆比率で縮小するとともに、前記符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する劣化モデル手段、
この劣化モデル手段で生成された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段、
として機能させることを特徴とする画像超解像プログラム。 - 予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段、
前記入力画像を、前記拡大率の逆比率で縮小するとともに、前記符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する劣化モデル手段、
この劣化モデル手段で生成された劣化入力画像から、前記処理ブロックと同一の大きさで、前記参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す劣化参照ブロック切り出し手段、
この劣化参照ブロック切り出し手段で切り出された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段、
として機能させることを特徴とする画像超解像プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010261913A JP5522736B2 (ja) | 2010-11-25 | 2010-11-25 | 画像超解像装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010261913A JP5522736B2 (ja) | 2010-11-25 | 2010-11-25 | 画像超解像装置およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012113513A JP2012113513A (ja) | 2012-06-14 |
JP5522736B2 true JP5522736B2 (ja) | 2014-06-18 |
Family
ID=46497663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010261913A Expired - Fee Related JP5522736B2 (ja) | 2010-11-25 | 2010-11-25 | 画像超解像装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5522736B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9875532B2 (en) | 2013-08-15 | 2018-01-23 | Nec Corporation | Information processing device that implements image processing, and image processing method |
KR102467091B1 (ko) * | 2022-07-20 | 2022-11-16 | 블루닷 주식회사 | 효과적인 비디오 압축을 위한 슈퍼 레졸루션 영상 처리 방법 및 시스템 |
-
2010
- 2010-11-25 JP JP2010261913A patent/JP5522736B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012113513A (ja) | 2012-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101137753B1 (ko) | 고속의 메모리 효율적인 변환 구현 방법 | |
EP2735158A2 (en) | Adaptive interpolation for spatially scalable video coding | |
WO2011111819A1 (ja) | 画像処理装置、画像処理プログラム、および、画像を生成する方法 | |
CN102497545B (zh) | 内容自适应和艺术可引导可缩放视频编码 | |
JP4824703B2 (ja) | 2次元フィルタ演算装置及び方法 | |
CN115486068A (zh) | 用于视频编码中基于深度神经网络的帧间预测的方法和设备 | |
WO2010026838A1 (ja) | フレームレート変換装置、並びに、その対応点推定装置、対応点推定方法及び対応点推定プログラム | |
JP6102938B2 (ja) | 画像処理装置、及び、画像処理方法 | |
JP5522736B2 (ja) | 画像超解像装置およびそのプログラム | |
JP4945533B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5198500B2 (ja) | 信号処理装置及びプログラム | |
JP4931884B2 (ja) | フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム | |
JP2009077183A (ja) | データ圧縮装置、データ圧縮・伸張システム、およびデータ圧縮方法 | |
KR20150047332A (ko) | 비디오 스트림을 복호화하는 방법 및 장치 | |
JP5678295B2 (ja) | 画像表示処理方法及び画像表示処理装置 | |
JP5712385B2 (ja) | 画像表示処理装置及び画像表示処理方法 | |
JP5042171B2 (ja) | フィルタリング処理装置及びフィルタリング処理方法 | |
JP5712386B2 (ja) | 画像表示処理方法及び画像表示処理装置 | |
KR101428531B1 (ko) | 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법 | |
JP2011081477A (ja) | 画像復元装置、そのプログラム、及び、多次元画像復元装置 | |
JP5042172B2 (ja) | 動画処理装置及び動画処理方法 | |
JP6071618B2 (ja) | 画像処理装置及びプログラム | |
JP5712388B2 (ja) | 画像表示処理方法及び画像表示処理装置 | |
JP2013250765A (ja) | 画像表示処理方法及び画像表示処理装置 | |
JP5754635B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5522736 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |