JP6085620B2 - 超解像度処理のための方法、システム及び装置 - Google Patents

超解像度処理のための方法、システム及び装置 Download PDF

Info

Publication number
JP6085620B2
JP6085620B2 JP2014560343A JP2014560343A JP6085620B2 JP 6085620 B2 JP6085620 B2 JP 6085620B2 JP 2014560343 A JP2014560343 A JP 2014560343A JP 2014560343 A JP2014560343 A JP 2014560343A JP 6085620 B2 JP6085620 B2 JP 6085620B2
Authority
JP
Japan
Prior art keywords
resolution
frequency
frame
frames
patch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014560343A
Other languages
English (en)
Other versions
JP2015515179A (ja
JP2015515179A5 (ja
Inventor
サルバドール，ジョルディ
コカーレ，アクセル
シュヴァイドラー，ジークフリート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2015515179A publication Critical patent/JP2015515179A/ja
Publication of JP2015515179A5 publication Critical patent/JP2015515179A5/ja
Application granted granted Critical
Publication of JP6085620B2 publication Critical patent/JP6085620B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Description

本発明は時間領域又は時空間領域において超解像度処理(super resolution：SR)を実行するための方法及び装置等に関連する。
非特許文献1においては、入力ビデオシーケンスの時空間ピラミッドが形成され、これは様々な空間及び時間スケールによる複数のバージョンを含む。そして、(5×5の画素による空間次元と3フレームによる時間次元とを有する)時空間ビデオパッチの各々について、ピラミッドの中で最も合致する組(セット)が探索される。この処理はランダム化された探索方式を利用することにより高速化できるが、非常にコストがかかる。そして、標準的な再構築方式のSR技術を利用して複数の超分解ビデオパッチ(super-resolved video patch)を生成し、これらを一緒にすると、超分解処理されたビデオシーケンスになる。たとえこの方法が所定の結果をもたらすように適切に機能するとしても、入力ビデオシーケンスの中で様々な空間及び時間スケールにより再帰的ではない形式で生じる様々な性質の動きを伴う一般的なシーケンスにおいても適切に機能するか否かは明確でない。更に、時空間サーチは、たとえ包括的(或いは網羅的)ではないにしても、コストのかかる処理(或いは、負担の重い処理)であり、これはリアルタイムアプリケーションには使用できない方法であるということになる。
非特許文献2においては、複数の時空間シフトにより複数のバージョンが存在する超分解されたシーケンスバージョンが提案されており、これはグラフ切断方式を利用して、MRF-MAP(Markov Random Field - Maximum A Posteriori)モデルによる標準的な再構築方式の超分解方程式を解いている。この方法は、同じビデオシーケンスを異なる時空間シフトした複数のバージョンが存在することを必要とするが、これらは、利用可能な記録内容のほとんどにおいて生じないものである。
非特許文献3においては、ジョイントフレームレートアップコンバージョン及びアップスケーリングを行う方法が提案されており、これは標準的な再構築方式の超解像度モデルに基づいている。この文献で提案されている方法は時間的な超分解を行うことが可能であるが、そのような動作を記述する方程式は、得られるものが、空間的に最も近い超分解フレームの平滑化線形補間であり、これは一般的な動作に対しては不適切な補間フレームを招いてしまう。
非特許文献4においては、ブロックマッチング方式を利用することにより合致するパッチを整合させた後に、ビデオシーケンスの時空間超分解が、ローカル領域における時空間ステアリングフィルタを利用することにより行われている。この方式には問題が2つあり、第1の問題は、時空間ステアリングフィルタの影響により、超分解されるべき領域に非線形の過剰な平滑化を施してしまい、コストのかかる非線形な後処理及び詳細情報の欠落を招いてしまうことであり、この方式の第2の問題は、動き補償(ブロックマッチング)に起因して、限られた部分的な動き範囲の中でしか適切な補間フレームを生成できないことである。
"Space-Time Super-Resolution from a Single Video", O. Shahar, A. Faktor and M. Irani, IEEE Conf. on Computer Vision and Pattern Recognition, 2011 "On improving space-time super resolution using a small set of video inputs", U. Mudenagudi, S. Banerjee and P. Kalra, Indian Conf. on Computer Vision, Graphics and Image Processing, 2008 "Spatio-temporal resolution enhancement of video sequence based in super-resolution reconstruction", M. Haseyama, D. Izumi and M. Takizawa, ICASSP2010 "Super-Resolution Without Explicit Subpixel Motion Estimation", H. Takeda, P. Milanfar, M. Protter and M. Elad, IEEE Trans. on Image Processing, vol. 18, no.9, 2009
実施の形態の課題は、上記の問題の少なくとも1つを軽減することである。
一観点の実施形態による方法は、
低解像度の入力ビデオフレームシーケンスについて超解像度処理を実行する方法であって、
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成するステップと、
前記入力ビデオシーケンスのフレームについてフレーム間の空間的な高周波外挿補間を実行し、高解像度の高周波空間バンドを生成するステップと、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得するステップと
を有する方法である。
一実施形態により提案されるシステムの構造を示す図。 一実施形態による時空間補間サブシステムを示す図。 一実施形態による反復的なロバストブロックマッチング方式に関するフローチャートを示す図。 所望の正規化された時間位置τに新たなフレームがどのようにして生成されるかについての原理を示す図。 HR/アップサンプルフレームがどのようにして取得されるかについての原理を概要を示す図。 2つの連続する低解像度入力フレームの一例を示す図。 関連する超解像度出力フレームを示す図。 従来のブロックマッチングにより生じるアーチファクトと本発明によるアーチファクトのない結果とを比較例を示す図。 空間超解像度処理を実行する方法例のフローチャートを示す図。 元の解像度スケールによる類似パッチの高周波情報を外挿することにより超解像度画像の高周波バンドを合成する様子を示す図。 サーチウィンドウの場所及び利用例を示す図。 重複を含む2D入力データ構造における連続パッチの選択例及び連続パッチの合致するブロックを決定する原理的な動作例を示す図。 補間された低周波バンドL1及び外挿された高周波バンドH1を結合し、超解像度画像S1を生成する様子を示す図。 フレーム内補間の原理構造を示す図。 低解像度入力データ構造に対する超解像度処理を実行する装置の構造を示す図。
＜実施の形態の概要＞
本発明は、ビデオシーケンスにおける各フレームの解像度及びビデオフレームのフレームレートのうち少なくとも1つを改善する新規な方法に関連する。本方法はともに係属している欧州特許出願第12305046.0号で説明されている方法に一部関連している。本願で説明されているように、超分解(能)技術又は超解像(度)技術は、様々な次元の信号に適用できる程度に十分に柔軟性を有する(ただし、信号が適切にサンプリングされることを条件とする、すなわち深刻なエイリアシングアーチファクトが生じていないことを条件とする)。混乱のおそれのない限り、超分解は超解像と同義的に使用されてよい。従来技術(発明者等にとっての従来技術)に対する本願による新規な寄与は、(例えば、15ないし30フレーム毎秒(fps)のような)典型的なビデオシーケンスに深刻な時間的なエイリアシングが存在しても対処できる手段を少なくとも有する。一実施形態において、本方法は上記のアプリケーションによる一般的な超分解の枠組み(フレームワーク)に含まれる。画像処理の文献において、本願に関連する方法は、超分解及びフレームレートアップコンバージョンの技術分野に該当する。
一般的な概念として、入力シーケンスのビデオフレームは先ず体積構造(volumetric structure)に積み上げられ、最初の2つの次元は各フレームにおける垂直軸及び水平軸を表現し、3番目の次元は時間軸を表現する。そして、超分解されるビデオシーケンスの低周波時空間バンド及び空間高周波バンドが別々に生成される。超分解されるビデオシーケンスの低周波時空間バンドは、ロバスト反復ブロックマッチング方法及び分析補間(Robust Iterative Block Matching method and analytical interpolation)を行うことにより生成される。次の段階において、ビデオシーケンスにおけるローカル時空間自己相似処理(local spatio-temporal self-similarity)を利用することにより、空間高周波バンドが合成される。そして、低周波時空間バンド及び空間高周波バンドが合成され、最終的な超分解ビデオシーケンスが生成される。
本発明の一実施形態において、低解像度の入力ビデオシーケンスに超分解処理を実行するための方法は、入力ビデオシーケンスの高解像度低周波(high-resolution, low frequency：HRLF)時空間バンドを補間により生成するステップと、高解像度高周波(high-resolution, high-frequency：HRHF)空間バンドを、フレーム間空間高周波外挿により合成するステップと、これらのバンドを結合し、時空間超分解ビデオシーケンスを生成するステップとを有する。
本発明の一実施形態において、低解像度の入力ビデオシーケンスに超分解処理を実行するためのシステムは、入力ビデオシーケンスの高解像度低周波(HRLF)時空間バンドが補間により生成される処理ステージ部と、高解像度高周波(HRHF)空間バンドが、フレーム間空間高周波外挿により合成される処理ステージ部と、高解像度低周波時空間バンド(HRLF)と高解像度高周波空間バンドとが結合され、時空間超分解ビデオシーケンス(HR)を生成する処理ステージ部とを有する。
本発明は上記及び後述の方法をコンピュータに実行させる実行可能命令を有するコンピュータ可読媒体にも関連する。コンピュータ可読媒体は、コンピュータにより読み取ることが可能な媒体である。
提案される方法の利点のうちの1つは、現在のGPUで利用可能な超並列処理ハードウェア(massively parallel hardware)に適した方法で広範囲に及ぶ動きに対する適切な動き補償を行うことが可能な点である。それでも、そのような方法で達成されるフレーム補間結果は、オプティカルフロー(optical flow)推定による高コストな従来の最新技術に匹敵することが可能である。言い換えれば、本方法はビデオシーケンスの時間軸を適切に補間することが可能であり、これによりフレームレートアップコンバージョンを効果的に行うことができる。
提案方法による利点の1つは、上述した欧州特許出願第12305046.0号で提案されている高周波補間方式を利用することにより、入力ビデオシーケンスの空間解像度を改善できる点である。本発明では、出力ビデオシーケンスの高周波バンドを合成する手段は、3D領域に拡張される幅広いサーチ範囲を考察している。
本発明の実施の形態のよる利点は従属的な階層として明細書及び図面を参照しながら説明される。
＜図面＞
本発明の実施の形態は添付図面を参照しながら説明される。
図1は一実施形態により提案されるシステムの構造を示す。
図2は一実施形態による時空間補間サブシステムを示す。
図3は一実施形態による反復的なロバストブロックマッチング方式に関するフローチャートを示す。
図4は所望の正規化された時間位置τに新たなフレームがどのようにして生成されるかについての原理を示す。
図5はHR/アップサンプルフレームがどのようにして取得されるかについての原理を概要を示す。
図6は2つの連続する低解像度入力フレームの一例を示す。
図7は関連する超解像度出力フレームを示す。
図8は従来のブロックマッチングにより生じるアーチファクトと本発明によるアーチファクトのない結果とを比較例を示す。
図9は空間超解像度処理を実行する方法例のフローチャートを示す。
図10は元の解像度スケールによる類似パッチの高周波情報を外挿することにより超解像度画像の高周波バンドを合成する様子を示す。
図11はサーチウィンドウの場所及び利用例を示す。
図12は重複を含む2D入力データ構造における連続パッチの選択例及び連続パッチの合致するブロックを決定する原理的な動作例を示す。
図13は補間された低周波バンドL1及び外挿された高周波バンドH1を結合し、超解像度画像S1を生成する様子を示す。
図14はフレーム内補間の原理構造を示す。
図15は低解像度入力データ構造に対する超解像度処理を実行する装置の構造を示す。
＜実施の形態の詳細な説明＞
図1は一実施形態により提案されるシステムの構造を示す。図1において、LR10は低解像度の入力されたビデオシーケンス(低解像度入力ビデオシーケンス)であり、HRLF15は高解像度の低周波数に関する補間されたバンド(高解像度低周波補間バンド)であり、HRHF16は高解像度の高周波数の合成されたバンド(高解像度高周波空間合成バンド)であり、HR17はHRLF15及びHRHF16のバンドを合成した後に得られる結果の超解像ビデオシーケンスである。高解像度低周波HRLF補間バンド15は、低解像度入力ビデオシーケンス10が印加される時空間補間部11で生成される。空間HF合成部12にはHRLF補間バンド15が印加され、ここでは元の入力シーケンス10も使用される。空間HF合成部12は高解像度高周波空間合成バンド16を生成する。HRLF補間バンド15及びHRHF合成バンド16は結合され(13)、超解像ビデオシーケンス14が得られる。
以下、時空間補間(部)11の詳細を説明する。システムの時空間補間部は、高解像度出力シーケンスのうちの低周波バンド(HRLF)を取得する。そのブロック図が図2に示されている。主な問題はビデオシーケンスの時間補間である。解決手段として、低解像度の現在のフレーム(低解像度現在フレーム)と先行するものとを利用して、出力時点tが整数でない場合の補間フレームを生成する。これは、動き推定(反復的なロバストブロックマッチング(Iterative Robust Block Matching：IRBM)ブロック)及びフレーム間補間を行うことにより達成され、それ以外の整数の出力時点については、現時点の高解像度低周波バンドが現在フレームの分析補間として取得される。
次に、反復的なロバストブロックマッチング(IRBM)を説明する。標準的なビデオシーケンスではかなりの時間エイリアシングに起因して、連側的なフレーム間のシーケンスを補間する場合に分析補間を適用することはできず、入力ビデオシーケンスに大きな動きやコントラストがあった場合、深刻なゴーストアーチファクトを招いてしまう。本発明はブロックマッチングアルゴリズムを利用して、反復的な方式により、大きなスケールの線形フィルタ及び小さなスケールの非線形フィルタの双方を適切に適用する。これは本願において反復的なロバストブロックマッチング(IRBM)と言及される。一実施形態において、IRBMは後述するように高周波合成の段階でも使用される。
図3は反復的なロバストブロックマッチング処理のフローチャート例を示す。IRBMに対する入力は2つの連続的なビデオフレームI1、I2であり、出力は動きベクトルの稠密集合(dense set)(すなわち、モーションフィールドMF)310であり、動きベクトルは、第1の入力画像I1(過去のフレーム)におけるオーバーラップする5×5パッチ各々と第2の入力画像I2(将来のフレーム)における推定位置とを関連付ける。5×5画素以外のパッチサイズを利用することも可能でるが、高速処理及び高画像品質等の観点からは5×5が特に好ましい。第1のステップは、画像についてブロックマッチング(BM)301を適用することにより、モーションフィールド(motion field：MF)の初期推定結果を取得することである。
そして、(通常的には5ないし15回であり、一例として10回である)所定回数iの反復的な改善305がモーションフィールド推定結果に適用される。これらは、大きなスケールの線形フィルタリング302、縮小するサーチウィンドウとともに行うガイドブロックマッチング303、及びローカルなスケールの非線形フィルタリング304の一連の処理から形成される。
画像に関するブロックマッチング301が、初期サーチウィンドウ(例えば、41×41画素)とともに実行される。大きなスケールの線形フィルタリング302は、例えば、81×81のカーネルサイズ(kernel size)とともに動きベクトルを平均化する。カーネルサイズは中核的サイズ等と言及されてもよい。ガイドブロックマッチング303は縮小するサーチウィンドウサイズを使用する：MFはサーチ範囲のオフセットとして使用され、各々の反復段階で縮小するサーチウィンドウを許容する。経験的には、一実施形態において、サーチウィンドウは21×21から3×3まで指数関数的に減少する。ローカルスケール非線形フィルタリング304は線形に減少するカーネルサイズのメジアンフィルタを利用する。一実施形態において、カーネルサイズは例えば15×15ないし5×5の範囲内にあってもよい。
ブロックマッチング301における初期サーチウィンドウサイズ、ガイドブロックマッチング303におけるサーチウィンドウサイズ、及びローカルスケールの非線形フィルタリング304のためのメジアンフィルタのカーネルサイズのような上記のパラメータの内の少なくとも幾つかは、少なくともパッチサイズとともに可変であってよく、例えば、それらの値のうちの1つ以上は、大きなパッチについては大きな値であってよく、及び/又はCIFより大きな画像について大きな値であってよい。
大スケール線形フィルタリング302における第1の線形フィルタによる効果の1つは、モーションフィールドの推定における平滑化を導入することである。ローカルスケール非線形フィルタリング304における第2の非線形フィルタによる効果の1つは、エッジを維持しつつローカルな一定性を導入することであり、すなわち原理的にはノイズに対する頑強性又はロバスト性(robustness)を導入することである。(大スケール線形フィルタリング302における)平均化の効果をもたらす平滑化フィルタ、ガイドブロックマッチング303、及び、ローカルスケール非線形フィルタリング304における減少するウィンドウサイズを有するロバストフィルタ(例えば、メジアンフィルタ)による一連の処理の反復は、実際のモーションフィールド310の平滑化及びロバスト近似をもたらす。
新たな画像(すなわち、フレーム)を補間するために利用可能な画像(すなわち、フレーム)双方からのデータを利用するために、IRBMは現在の画像I1に関するリファレンスとして第2の画像I2を利用する。この場合、各々の画像を先行するもの/後続するもの関連付ける動きの遅いモーションフィールドが取得される。
次に、図2に示されているフレーム間補間102を説明する。所与の2つの画像及びそれらを互いに関連付ける対応するモーションフィールドに関し、フレーム間補間102の出力は、補間されたフレームq102であり、補間されたフレームq102は、高周波の時間情報を有しておらず、0及び1の間の正規化された時間位置τにおけるものである(0は第1の画像に対応し、1は第2の画像に対応する)。
フレーム間補間102の処理については図4に示されている。先ず、フレーム間補間102では、出力画像が初期化される(例えば、時点0に初期化される)。次に、入力ビデオシーケンス10に属する最初の2つの入力画像fr1、fr2が、重複するパッチ(例えば、5×5のサイズ)に分割される。これら2つの各画像に関し、時間補間される画像の位置が線形補間により算出され、中心に対する動きベクトルMV1にτを乗算することにより、入力画像の位置に関する移動(すなわち、シフト)τ×MV1として算出される。次に、移動したパッチ(すなわちシフトされたパッチ)が、1-τの重み因子とともに中間出力画像403に蓄積される。すなわち、新たなフレームの時間位置は、第1のフレームfr1に近いほど、第1のフレームfr1からのパッチに対する重み因子は大きくなる。「蓄積」は「累積」又は「アキュムレーション」等と言及されてもよい。0に初期化される重み因子蓄積バッファBW,accは、出力画像中の画素各々に適用される重み因子を蓄積する。
移動の大きさの値が1-τに変更され、重み因子がτに変更される点を除いて、第2の画像fr2も同様な方法で処理される。すなわち、新たなフレームの時間位置は、第2のフレームfr2に近いほど、第2のフレームfr2からのパッチに対する重み因子は大きくなる。
双方の画像fr1、fr2の全てのパッチが処理されると、蓄積された中間出力画像403は、重み因子蓄積バッファBW,accにより取得された蓄積された重み因子により正規化され、時間的に補間されたフレーム404が結果的に得られる。
図4では、最も近い2つの画像を組み合わせることにより、所望の正規化された時間位置における新たなフレームが生成される。双方向のモーションフィールドはIRBMにより既に取得されている。第1の動きベクトルMV1は時点t1及びt2における図示のフレームfr1、fr2から取得される。上述した実施形態において、同じ動きベクトルMV1が双方のフレームfr1、fr2からの寄与の算出に使用されている。別の実施形態では、時点t2におけるフレームfr2及び時点t3における後のフレーム(図示せず)から取得される第2の動きベクトルMV2が、補間に使用されてもよい。
一実施形態において、低周波数の時空間バンドの時間的に補間されたフレームは、少なくとも2つの入力フレームfr1、fr2の間でモーションフィールドを生成する処理と、出力画像バッファを初期化する処理401と、出力画像の時間位置τを決定する処理と、2つの入力フレームfr1、fr2の各々を重複するパッチに分割する処理と、入力フレームfr1、fr2の双方について以下のステップを実行する処理とを行うことにより取得される：
パッチ各々について、決定された時間位置に従って動きベクトルの線形補間により出力画像における空間位置を算出する処理と、
パッチ各々について、決定した時間位置(1-τ)に従って重み因子を計算し、その重み因子を現在のパッチの画素値に乗算し、パッチ各々の重み付けされた画素値を得る処理と、
各パッチの算出された空間位置におけるパッチの重み付けされた画素値を、出力画像バッファに蓄積する処理であって、パッチの各々は、画素の重み付けされた値の分だけ、計算された位置における出力画像の画素に寄与する、処理と、
出力画像の画素各々に寄与する重み因子を、重み因子蓄積バッファに蓄積する処理であって、蓄積された重み因子は画素各々について取得される、処理と、
画像fr1、fr2の双方のパッチが処理された場合に、重み因子蓄積バッファに含まれかつそこから取得可能な蓄積された重み因子により、蓄積された中間的な出力画像を正規化する処理とが行われる。
次に、図2に示されているフレーム内補間103を説明する。このモジュールは、所望の任意のアップスケーリング因子により、画像のアップスケーリングされた低周波バンドの生成と等価であり、この点については上記の欧州特許出願第12305046.0号に関連する記載があり、以下簡単に説明する。フレーム内補間103はHRフレームのHRHF部分を取得するために使用され、その部分について、時間的に一致するLR入力フレームが利用可能である。すなわち、フレーム間補間103は空間領域でのみ機能する。
フレーム間補間103の原理的なしくみについては図14に示されている。より詳細な事項が以下の説明及び図9に示されている。この点に関し、本発明では、単独の画像を超分解する処理は3つの段階又はステージ141-143を有する。第1のステージ141では、入力画像の補間に基づくアップスケーリングが実行され、低解像度画像に関する等価的なローパスフィルタ処理が続く。第2のステージ142は、高解像度画像における検査されるパッチと低解像度低周波画像(部分的に重複するパッチを含む)におけるローカルに隣接するパッチとの間で低周波のマッチングによるサーチを行う処理と、低解像度画像から取得された対応する高解像度周波数の寄与を蓄積する処理を含む。第3のステージ143は、外挿された高周波バンド及び高解像度画像の低周波バンドによる寄与を加える処理を含む。
一実施形態において、単独の低解像度ディジタル入力データ構造S0の超解像度バージョンを生成する本発明の一形態による方法は、単独の低解像度ディジタル入力データ構造S0をアップスケーリングした後にローパスフィルタリングし、アップスケーリングされた高解像度ディジタルデータ構造の低周波部分L1を取得する。更に、低解像度ディジタル入力データ構造S0は、低周波部分L0と高周波部分H0に分離される。
アップスケールされた高解像度ディジタル構造の高周波部分H1,initが生成され、これは当初はエンプティ(empty)である。アップスケールされた高解像度データ構造の低周波部分L1の複数のパッチ各々について、低解像度ディジタル入力データ構造の低周波部分L0において最も合致するブロックが探索又はサーチされ、低解像度ディジタル入力データ構造の高周波部分における対応するブロックが判別される。そして、低解像度ディジタル入力データ構造の高周波部分H0の中から判別されたブロックは、アップスケールされた高解像度ディジタルデータ構造の低周波部分L1における上記のパッチが含んでいる場所において、アップスケールされた高解像度ディジタルデータ構造の高周波部分H1,accに加えられる。そして、アップルケールされた高解像度データ構造の結果的に得られる高周波部分H1,accは正規化され、一実施形態ではハイパスフィルタリングされる(195)。アップルケールされた高解像データ構造の正規化されハイパスフィルタリングされた高周波部分H1は、アップスケールされた高解像度データ構造の低周波部分L1に加えられ、これにより、単独の低解像度ディジタル入力データ構造S0の改善された超解像度バージョンS1が得られる。ディジタル入力データ構造S0は、1次元(1D)、2次元(2D)又は3次元(3D)にすることが可能である。本発明の一実施形態では、2つの空間次元と1つの時間次元とを有する3D構造が使用される。
説明及び理解を容易にするため、以下、「ブロック」という用語は低解像度データ構造における隣接する値のグループについて使用される一方、「パッチ」という用語は高解像度データ構造における隣接する値のグループについて使用される。ただし、ブロック及びパッチは同じサイズを有し(すなわち、同数及び同一形状をなす隣接データ群であり)かつ実質的に同じである。
一実施形態では、図15に示すような構造を利用して、ディジタルデータの低解像度入力データ構造S0の超解像度処理を実行する装置により、フレーム間補間103が実行される。ディジタルデータの低解像度入力データ構造S0の超解像度処理を実行するそのような装置900は、
入力データ構造S0をフィルタリングし、低周波入力データ構造L0を取得する第1のローパスフィルタFI,0970と、
入力データ構造S0と低周波入力データ構造L0との間の差分を演算することにより、高周波入力データ構造H0を生成する減算部980(例えば、加算部、減算部、比較部、差分化部等により形成される)と、
入力データ構造S0をアップスケーリングするアップスケーラ920と、
アップスケーリングされた入力データ構造をフィルタリングし、アップスケーリングされた低周波データ構造L1を取得する第2のローパスフィルタFI,1930と、
アップスケーリングされた低周波データ構造L1の中で第1の位置における第1のパッチを決定する第1の決定部951と、
低周波入力データ構造L0の中で、第1のパッチに最も合致する第1のブロックを探索又はサーチする探索部952と、
低周波入力データ構造L0の中で第1のブロックの位置を特定する第2の決定部954と、
高周波入力データ構造H0の中で、特定された位置における第2のブロックを選択する選択部又はセレクタ955と、
アップスケールされた高周波データ構造の中で第1の位置にあるパッチである第2のパッチについて、選択された第2のブロックの画素データを蓄積するアキュムレータ957と、
アップスケールされた低周波データ構造L1及びH1,accにおける複数のパッチに関する処理の反復を制御する制御部950と、
アップスケールされた高周波データ構造の中で蓄積された画素値を正規化することにより、アップスケールされ正規化された高周波データ構造H1,ufを取得する正規化部990と、
アップスケールされ正規化された高周波データ構造H1,ufをフィルタリングするハイパスフィルタ995と、
アップスケールされ正規化されハイパスフィルタリングされた高周波データ構造H1とアップスケールされた低周波データ構造L1とを合成(例えば、加算又は結合)することにより、超解像度データ構造S1を取得する合成部999と
を有する。超解像度処理を実行する装置900がフレーム内補間部103において使用される場合、超解像度データ構造S1は図2に示されているLRLFとなる。フィルタ955に関する更なる詳細については後述される。
本発明による少なくともこの実施形態の利点の1つは、自己平均化(self-averaging)を活用していることに起因して、アップスケールされたデータ構造に、従来方法よりも少ないノイズしか導入しない点である。フレーム内補間103に関するこの形態の更なる利点は、単独の画像とともに機能するが、有利なことに、データベース、コードブック又はそれらに類似するものを必要とせず、何らかのトレーニングやトレーニングデータも必要としない点であり、単独画像を使用する従来方法は高周波サンプルを抽出してトレーニングしたデータベースを必要とする。
図9は、ディジタル1D、2D又は3Dデータの低解像度入力データ構造S0について超解像度処理を実行する本発明の実施形態によるフローチャートを示す。この実施形態による方法は、
第1のローパスフィルタFI,0により、入力データ構造S0をフィルタリングし、低周波入力データ構造L0を取得するステップ170と、
加算部/減算部180において、入力データ構造S0と低周波入力データ構造L0との間の差分を演算することにより、高周波入力データ構造H0を生成するステップ180と、
入力データ構造S0をアップスケーリングするステップ120と、
第2のローパスフィルタFI,1により、アップスケーリングされた入力データ構造をフィルタリングし、アップスケーリングされた低周波データ構造L1を取得するステップ130と、
アップスケーリングされた低周波データ構造L1の中で第1の位置における第1のパッチPn,L1を決定するステップと、
低周波入力データ構造L0の中で、第1のパッチPn,L1に最も合致する第1のブロックBn,L0を探索又はサーチするステップ151、152、154と、
低周波入力データ構造L0の中で第1のブロックBn,L0の位置を特定するステップと、
高周波入力データ構造H0の中で、特定された位置における第2のブロックBn,H0を選択するステップと、
アップスケールされた高周波データ構造H1,accの中で第1の位置にあるパッチである第2のパッチについて(第1の位置は第1のパッチPn,L1について既に決定されている)、選択された第2のブロックBn,H0のデータ値(例えば、画素データ)を蓄積する(アキュムレートする)ステップと、
アップスケールされた低周波データ構造L1の中で新たなパッチPn,L1を特定する処理と、低周波入力データ構造L0の中で、選択されたパッチPn,L1に最も合致するブロックBn,L0を探索又はサーチする処理151、152、154と、高周波入力データ構造H0の中で、対応するブロックBn,H0を選択する処理155と、アップスケールされた高周波データ構造H1,accの中で新たなパッチPn,L1の位置におけるパッチPn,H1について、対応する選択されたブロックBn,H0の画素データを蓄積する(アキュムレートする)処理157とを反復するステップ150と、
アップスケールされた高周波データ構造H1,accの中で蓄積された画素値を正規化190及びハイパスフィルタリング(HPフィルタリング)195することにより、アップスケールされ正規化された高周波データ構造H1を取得するステップと
を有する。そして、アップスケールされ正規化された高周波データ構造H1をアップスケールされた低周波データ構造L1に加えることにより、超解像度データ構造S1が取得される。
一実施形態において、第2のローパスフィルタFI,1によりフィルタリング(130)された後に、アップスケールされた入力データ構造は、ダウンスケーリング因子d(n＞d)によりダウンスケーリングされる(140)。従って、アップスケールされた低周波データ構造L1に関し、全体的には非整数のアップスケーリング因子n/dが得られる。アップスケーリングされた高周波データ構造H1,init(又はH1のそれぞれ)は、アップスケールされた低周波データ構造L1と同じサイズを有する。H1のサイズは予め決められていてもよいし、L1から導出されてもよい。H1はこのサイズの空のデータ構造H1,initに対して初期化ステップ160において初期化される。そのような実施形態では、アップスケーリング因子nにより入力データ構造S0をアップスケーリングする処理120と、アップスケールされた入力データ構造を第2のローパスフィルタFI,1によりフィルタリングする処理130と、アップスケールされフィルタリングされた入力データ構造をダウンスケーリング部940がダウンスケーリング因子d(n＞d)によりダウンスケーリングする処理140とを実行することで、アップスケールされた低周波データ構造L1が取得される。こうして、最終的に非整数のアップスケーリング因子n/dが得られる。
図10は超解像度(すなわち、高解像度)の画像の高周波バンドH1を合成する原理を示す。これは、元の解像度スケールにおける類似パッチの高周波情報H0を外挿することにより達成される。以下の説明において、高周波高解像度データ構造H1に言及する場合、正確には、フィルタリングされていない正規化されていない高周波高解像度データ構造H1,accを意味することに留意を要する。
先ず、高解像度画像の低周波バンドLlが、所定のオーバーラップを伴う小さなパッチPn,L1(例えば、5×5画素)に分割される。オーバーラップ量又は重複量の選択の仕方は、高周波アーチファクトに対するロバスト性(これを優先する場合にはオーバーラップを多くする)と演算速度に対するロバスト性(これを優先する場合にはオーバーラップを少なくする)との間の妥協又はトレードオフに依存する。一実施形態では、各方向において20-30％のオーバーラップが選択され、この場合例えば5つの値(20％)のオーバーラップとともにパッチが隣接する。別の実施形態では、オーバーラップは更に大きくてもよく、例えば、30-40％、40-50％又は約50％(例えば、45-55％)等であってもよく、更には90％に達するほど高くてもよい。パッチサイズの20％未満のオーバーラップの場合、後述する本発明による効果は小さくなる。
各画素に寄与するパッチ数で正規化し、平均値を求めることにより、最終的な高周波バンドH1が得られる。パッチ間のオーバーラップが多いほど、高周波外挿補間処理に起因して生じる高周波アーチファクトを抑制する効果は大きくなり、より多くの値が蓄積されるようになる。従って、低解像度画像の低周波バンドL0に関するローカルサーチウィンドウ(例えば、11×11画素)の中で網羅的又は包括的なサーチを行った後に、低周波高解像度パッチPn,L1の各々について、平均差分絶対値(mean absolute difference：MAD)(これは、動き推定から分かる)の観点から最も合致するものが取得される。低周波低解像度画像L0の中で最も合致するブロックはPn,L0であり、低周波高解像度パッチPn,L1と同じサイズを有する(例えば、5×5画素のサイズを有する)。
次の処理ステップを理解する場合において、図10に示されているように、低解像度低周波データ構造L0が低解像度高周波データ構造H0と同じ次元(サイズ)を有し、高解像度低周波データ構造L1が高解像度高周波データ構造H1と同じ次元(サイズ)を有していることが重要である。全てのパッチに関し、合致する低周波低解像度パッチPn,L0の(L0内の)位置が特定され、合致する低周波低解像度パッチPn,L0の位置における対応する(H0内の)低解像度高周波パッチPn,H0が抽出又は特定される。H0から抽出又は特定された低解像度高周波パッチPn,H0は、高解像度低周波データ構造L1内の現在のパッチPn,L1が有する同じ位置において、高解像度画像H1の高周波バンドについて蓄積される。具体的には、H0から抽出された低解像度高周波パッチPn,H0の各々の値(例えば、画素)は、高解像度画像H1の高周波バンドの各パッチにおける対応する値(例えば、画素)について蓄積される。このように、高解像度画像H1の高周波バンドが、パッチ毎の蓄積により合成される。高解像度画像L1の低周波バンドを重複するパッチに分割する処理、低周波で最も合致するものを発見する処理、及び、対応する高周波の寄与を蓄積する処理については図11に示されており、この点tに付いては後述する。
結果的に、高解像度データ構造の結果的な(予備的な)高周波バンドにおける各々の値は、複数の寄与するパッチからの値の総和である。L1(及びH1(両者は同じサイズを有するからである))におけるパッチオーバーラップに起因して、少なくとも2つのパッチからの値は、H1における全部又は多くの値に寄与する。そして、高解像度データの結果的(予備的)な高周波バンドH1が正規化される(190)。このため、高周波高解像度データ構造H1における各々の値についてH0からの寄与する値の数が、合成プロセスの間にカウントされ、H1,accに累積された各々の値が最終的にその寄与数により除算される。
図11は低解像度低周波数データ構造L0におけるサーチウィンドウの場所及び利用例を例示的に示す。L1内の第1のパッチP11,L1に関し、L0内の第1のサーチウィンドウW11の中で第1の最も合致するブロックP11,L0が探し出される(サーチされる)。何れのパッチも同じサイズを有する。サーチウィンドウは、各々の方向に少なくとも1つの値の分だけパッチより大きい(ただし、第1のパッチについてはエッジを除く)この例の場合、第1の最も合致するブロックP11,L0が、L0の中で第1のサーチウィンドウW11の左上隅に発見される。このパッチ及びブロックに関する更なる処理については上述したとおりである。水平に及び/又は垂直に移動(シフト)して次のパッチに移る(各々のパッチは先行するパッチと重複している)。本発明では、1つ以上の隣接するフレームまでサーチが拡大して行われる。一実施形態では、直接隣接するものがサーチされてもよく、すなわち±1フレームの範囲内のフレームが使用されてもよい。一実施形態において、(直接隣接するもの)及び(直接隣接するものに直接隣接するもの)のうち少なくとも一方がサーチされてもよく、すなわち、±1フレーム又は±2フレームの範囲内のフレームが使用されてもよい。
図11に示す例の場合、第2のパッチP12,L1が、所定の前進分(パッチアドバンス)だけ水平にシフトした位置で選択される。パッチアドバンスは、パッチサイズとオーバーラップとの間の差分である。(例えば、2Dデータ構造の場合には水平及び垂直のような)異なる方向に関するパッチアドバンスは異なっていてもよく、高解像度出力データ構造の大きさに関して異なる影響又は量を使用してもよいが、通常的には等しい値が使用される。
新たなパッチ位置に応じて新たなサーチウィンドウW12が決定される。原則として、サーチウィンドウはパッチと同じ方向に進むが、進み方は遅い。従って、現在のサーチウィンドウは、以前のサーチウィンドウと同じ位置にあってもよく、この例でもそうである。しかしながら、サーチウィンドウの中で別のパッチP12,L1が発見されているので、最も合致するパッチP12,L0の位置は通常的には異なる。上述したように、最も合致するパッチP12,L0は、低周波高解像度パッチP12,L1の位置において、高解像度高周波データ構造H1に対して累積される。その後パッチP13,L1、P14,L1が決定され、それらに最も合致するものが同様にして発見される。図11に示されているように、サーチウィンドウの中で最も合致するブロックの位置は任意的であり、入力データ(例えば、画像コンテンツ)に依存する。
上記の説明は1次元(1D)的なデータ構造については十分である。2Dデータ構造の場合、以後別のパッチの位置が垂直パッチアドバンスに基づいて決定される。垂直パッチアドバンスは水平パッチアドバンスと組み合わせられていてもいなくてもよい。上述したように、垂直パッチアドバンスもオーバーラップを含み、図11ではP21,L1、．．．、P23,L1についての例が示されている。
サーチウィンドウの位置は、現在のパッチの位置に応じて決定される。図11に示されているように、異なるパッチのサーチウィンドウW11、．．．、W22はオーバーラップ又は重複している。L0はL1よりも小さなデータ構造であるので、各方向のサーチウィンドウの前進分は非常に小さい。一実施形態において、対応するパッチがL1のエッジに接している場合、サーチウィンドウはL0のエッジに接しており、これらのエッジの中で一様に及び/又は一定の割合で(比例して)動かされる。エッジは端、辺、縁などと言及されてもよい。
(図11には示されていない)一実施形態において、サーチウィンドウの中心は、パッチの中心に事実上比例している位置に設定されてもよい。例えば、パッチの中心が高解像度データ構造L1の3％の場所(例えば、中心から3％隔たった場所)にあった場合、サーチウィンドウの中心は低解像度データ構造L0の約3％の場所であるように設定される。その場合、エッジ付近のパッチについては、サーチウィンドウのサイズが縮小されてもよいし、或いは、サーチウィンドウが完全に低解像度データ構造L0の中にシフトされてもよい。
一般に、サーチウィンドウが大きくなるほど、非常に類似するパッチを見出す確率も増える。しかしながら、実際には、サーチウィンドウを大きくすることにより期待されるほどの精度の相違はなく、その理由は、一般的な性質の画像の場合、ローカルなパッチ構造は非常にローカルな領域の中でしか発見されない傾向が強いからである。更に、より大きなサーチウィンドウは探索処理の最中に多くの処理負担を必要とすることになる。
図12は、重複する画像(すなわち、2D入力データ構造)における連続パッチの選択例、及び、連続パッチについて合致するブロックを決定する原理的な動作例を詳細に示す。例示的に、パッチ及びブロックは5×5画素のサイズを有し、サーチウィンドウは12×12画素のサイズを有する。L1の中の第1のパッチP1,L1に関し、上述したように、L0又は隣接するLFフレームの中でサーチウィンドウW1が決定される。サーチウィンドウW1の中で、様々なブロック位置で第1のパッチの比較が行われ、最小の平均絶対値差分(MAD)を有するブロックB1,L0が決定される。これは最も合致するブロックである。低解像度低周波数データ構造L0内の位置が決定され、例えば、左上隅が第3列の第3行の位置にあることが確認される。そして、対応する高周波低解像度画像H0の中の同じ位置に対応するパッチ(近隣であってもよい)が決定される。図示の例では、それは左上隅が第3列の第3行の位置にある5×5画素パッチである。このパッチはH0から取得され、現在の低周波高解像度パッチP1,L1のその位置におけるH1に加えられる、すなわちH1の左上隅の位置におけるH1に加えられる(図12a参照)。
図12bに示されているように、使用されているパッチアドバンスに応じて第2のパッチP2,L1が選択される。パッチアドバンスはこの例では双方の方向に関して2画素分であり、パッチサイズは5×5画素であるのでオーバーラップは3画素分になる。この例の場合、垂直オーバーラップvv及び水平オーバーラップvhは等しい。サーチウィンドウの前進分はパッチの前進分より少ないことに起因して、サーチウィンドウW2は前回のパッチに関するものと同じになっている。しかしながら、(画像コンテンツの任意性により)対比する画素値が前回と異なっていることに起因して、サーチウィンドウの中で最も合致する別のブロックB2,L0が発見される。上述した方法と同様に、その位置が確認され(この例では、左上隅が7列目及び2行目にあることが確認され)、対応する5×5のブロック(左上隅が7列目及び2行目にあるブロック)がH0から取得され、H0から取得されたブロックが第2のパッチP2,L1の位置(すなわち、左上隅が1行目及び3列目にある位置)に関して高周波高解像度画像H1に加えられる。すなわち、2つ以上の異なるパッチに属する特定の画素は、対応する画素から、最も合致するブロックに蓄積される。すなわち、例示的に、(図12に示されているL1の位置に対応する)高解像度高周波画像H1の第4列及び第5行にある特定の画素は、上記の処理の現在の段階において、(第1のパッチの最も合致するブロックB1,L0の中で)第6列及び第7行にある画素から、(第2のパッチの最も合致するブロックB2,L0の中で)第8列及び第6行にある画素に移るように関連付けられる。
上述したように、サーチウィンドウは、通常、複数のパッチが処理された後でしか前進しない。図12cの例に示されているように、上記の例の場合、サーチウィンドウW3は水平方向に1画素だけシフトする前に、3回分のパッチ前進がなされている。更に、ここでは、様々な大きさのパッチアドバンス(及びサーチウィンドウの前進)の順番は相違をもたらさないことに留意を要する。すなわち、L1の右端に到達するまで、先行するパッチがシフトした後に、図12dに示されているパッチが処理されているが、図12aに示されている第1のパッチの直後に図12dに示されているパッチが処理されてもよい。
次に、空間HF合成12を説明する(図1参照)。空間FH合成(処理)の入力において、多数のフレームレートアップコンバージョンされたアップスケールされた入力ビデオフレームが存在し、それらは3次元的に積み上げられている。2つの軸は空間画像の次元に対応し、第3の軸は時間の次元に対応する。
一実施形態において、フレーム間補間(処理)102に関する説明箇所で説明したのと非常に類似する空間HF合成のための方法が使用される。相違点は、この実施形態では、高周波バンドが取得されるべきパッチのローカルな近隣における任意の画像からHFサンプルが取得可能なことである。言い換えれば、サーチウィンドウは、各パッチを中心とする3D領域を占める。
本技術は(2Dパッチの代わりに3Dパッチを考察することにより)時間的な高周波(画像)を復元するために適用すること自体は可能であるが、時間エイリアシングに関する多くのエイリアシングが生じてしまうことが懸念され、目に見えるゴーストの影響を招いてしまうおそれがある。従って更に効果的な方法が望まれる。この問題に対処するため、本発明の一実施形態では、超解像度処理(すなわち、高周波バンドを合成する処理)が、空間的次元においてのみ行われ、時間的次元では行われない。この実施形態の利点は、補間されたフレームの高解像度バージョンを生成するのに必要な高周波成分が、低解像度隣接フレームを外挿することにより取得可能なことである。
次に、HRLF補間バンド15及びHRHF合成バンド16の結合処理(fusing)13を説明する。この結合処理13は、結合部で実行され、超解像度ビデオシーケンス14をもたらす。一実施形態では、ハイパスフィルタ995が空間的次元のこの部分に適用され、合成されたHRHFバンドと補間されたHRLFバンドとのスペクトル的な整合性を保証する。図13aは、高解像度低周波(HRLF)バンドL1と正規化された高周波高解像度(HRHF)バンドH1とを合成し、超解像度画像S1を生成する様子を例示的に示す。正規化された高周波バンドH1は、低周波バンドとのスペクトル的な整合性を保証するために、ハイパスフィルタ995を利用してフィルタリングされる。この高解像度ハイパスフィルタ995は次のように説明される。フィルタFh,1995は、上述したようにフィルタリングステップ195で使用されており、好ましくは、第1の処理ステージ11におけるフィルタFI,0、FI,1930、970と同様に設計されている。この場合、目的は、カットオフ周波数がΩ1,h=d/max(n,d)=d/nであるハイパスフィルタを得ることである。その次数は低解像度フィルタ次数のスケールされたバージョンに設定される：N1,h=round(N0n/d)及びその大きさσ1,h=1。ここのハイパスフィルタの最終的な係数は、ハミングウィンドウの中心に整合したクロネッカーデルタ(Kronecker delta)、マイナス、同じカットオフ周波数を有する相補的な関係にあるローパスフィルタの係数に設定される。すなわち、ハイパスフィルタは、オールパスフィルタ、マイナス、ローパスフィルタ(所望のハイパスフィルタと同じカットオフ周波数を有する)として定義される。これは図13bのように図示されており、左辺はハイパスフィルタの所望の周波数応答HPであり、右辺はオールパスフィルタAPの応答と上記のローパスフィルタLPとの間の差分である。実際の結合(処理)は、バンドの重ね合わせとして実行されることが可能であり、LF及びHFの周波数バンドが互いに単に加算される。上記の説明から明らかになったように、高解像度画像の低周波バンド(HRLF)L1は原則的に内挿補間により取得されるが、高解像度画像の高周波バンド(HRHF)H1は原則的に外挿補間により取得される。
一例として、図6に示すような所定の2つの連続的な低解像度入力フレームf61、f62に関し、超解像度出力フレームf71、f72、f73(空間的に2倍及び時間的に1つ分拡張されている)が図7に示されている。図7において、第1のフレームf71は、空間次元について超解像度処理がなされた第1の入力フレームf61から取得される。第2のフレームf72は、空間次元について超解像度処理がなされた新たなフレームである。第3のフレームf73は、空間次元について超解像度処理がなされた第2の入力フレームf62から取得される。
本発明の一般的な特徴は、他の技術分野にも原則として適用可能である。2つの所定の画像の間の動きを判定し、ロバスト性に優れたバンドル調整(bundle adjustment)アルゴリズムに正確な入力を提供し、2つの画像の間の相対的なポーズ又は姿勢を決定する場合には、動き補償技術を利用することが有益である。符号化のアプリケーションでは、中間的な画像は速やかに動き、かつ、2つの隣接する画像から正確に推定できるという事実を活用することにより、高密度マルチビューシーケンスがデシメートされることが可能である。これは、空間(或る1つの何らかの時点において新たな画像を生成する処理)及び時間(連続する時点同士の間で位置を追跡する処理)の双方において優れた3D再構成機能を促すことが可能である。
本発明の利点の1つは簡易なことであり、従って、提案される技術と同程度の品質レベルの補間ビデオフレームを生成できる従来のオプティカルフロー推定技術よりも安価である。これは空間的な超解像度アルゴリズムと結合され、ビデオシーケンスに含まれる豊富な冗長的な情報を利用せずに済む。本発明は、自然な複雑な動きを処理できるという利点を有する。従来の再構築方式のマルチフレーム超解像度技術は、一般に、自然な複雑な動きを処理することはできない。
従来技術では、通常、何らかの先行するモデルが導入され、輪郭の近辺のテクスチャ(texture)や過剰な陰影を除去すること等のような望まれない影響を招いてしまう。更に、フレーム補間に関する従来のブロックマッチングと比較するならば、開示される技法は、ローカルな近辺で類似するパッチの領域において適切に補間されたフレームを生成できる。例えば、図8(左側)はローカルな近辺で類似するパッチの領域においてブロックマッチングにより生じたアーチファクトを含む例を示し、これに対して図8(右側)は開示されるロバスト反復ブロックマッチングにより、アーチファクトを顕著に抑制した適切な処理例を示す。画像は、2つの最も近い近辺から補間されたフレームの詳細に対応する。
別の利点は、オプティカルフロー技術と比較した場合に、大規模な動き推定に関して画像ピラミッドを最初に形成する必要が無く、入力画像について直接的に処理を行うことが可能であり；結果的なオプティカルフローは整数に基づく変位を利用するが、本願ではオプティカルフロー技術が行うのと同様に浮動小数点の変位を利用することが可能であり；(典型的にはエネルギ最小化方式であるので)動き推定を求めるために、長時間の反復を必要としない等の点である。
図5は本発明により高解像度アップサンプルフレームがどのようにして取得されるかを示す。先ず、低解像度フレームf1、．．．、f4が上述したように時間的に補間され、時間手金補間された低解像度フレームi1、．．．、i3が取得される。そして、次のようにアップサンプリング及び補間により低解像度(LR)フレームf1、i1、．．．、i3、f4から、高解像度(HR)フレームF1、I1、．．．、I3、F4が取得される。HRフレームの低周波(LF)の部分(HRLFバンド)は、各自の時間的に対応するLRフレームから空間的にアップサンプルされ、LRフレームは時間的に補間されたフレームを含む。例えば、LF(F1)はf1からアップサンプルされ、LF(I1)はi1からアップサンプルされる、等である。F1、．．．、F4のような入力シーケンスにおける時間的に対応するフレームを有するHRフレームの高周波(HF)部分/バンドは、入力シーケンス(すなわち、f1、．．．、f4)のLRフレームから空間的にアップサンプルされる。
入力シーケンスの中で時間的に対応するフレームが存在しないHRフレームのHF部分/バンド(例えば、I1、I2、I3)は、入力シーケンス(すなわち、f1、．．．、f4)の近辺のLRフレームから空間的にアップサンプルされ、次に補間される。例えば、f1及びf2はアップサンプルされ、そしてI1を得るために補間される。
一実施形態において、非整数の時間位置τにおける新たなHF画像I1、．．．、I3の各々は、2つの別個の部分(すなわち、LFの部分及びHFの部分)において時間的に補間される。LFの部分は、時間的に補間されたLR画像i1から取得され(例えば、図5)、空間的な超解像度処理によりアップサンプルされる(例えば、図9に示すような処理ステップが使用される)。HF部分は、時間的に補間されていない近辺のフレームf1、．．．、f4から取得される。近辺のフレームf1、．．．、f4は空間的な超解像度処理によりアップスケールされる(例えば、図9に示すような処理ステップが使用される)。利点は、良好に一致するパッチが近辺のフレームで発見されるかもしれないことである。
一実施形態において、本発明は、ビデオシーケンスのフレームレートを補足し、出力フレームの各々を空間的に超分解処理するためのパッチに基づくフレームワークを提供する。パッチに基づく(又はブロックに基づく)画像処理は、ノイズ抑制処理又は空間的超解像度処理について適切に別々に優れた効果を発揮する。単独のパッチに基づく方式において、上記2つの問題に対処するために本願による順応性(adaptability)が活用される。本発明は、任意のタイプのビデオシーケンスを改善することに適しており、時間的な次元において多くのエイリアシングが存在する場合にさえ適している。すなわち、本発明は、周期的或いは非常に冗長的な空間及び時間の属性を有するシーケンスのみに着目してはいない。時間的なサンプリング周波数は、空間的次元におけるものよりも、およそ2桁ほど大きさが小さい。有利なことに、空間な超解像度処理の問題は従来方式よりも改善されている(従来方式は、潜在的に、具体的な場合に十分には適応していない過剰な画像モデルとなってしまうおそれがある)。深刻な不適切な時間的超解像度の問題は、線形及び非線形な適切な手段によるMAPモデルを利用することにより対処される。以下、時間的補間に関する更なる詳細な事項を説明する。
＜時間補間＞
ビデオシーケンスを3次元的な方式により考察する場合において、超解像度処理されたビデオシーケンスの低周波バンドを生成するために、3つの利用可能な次元に関し(2つの空間次元と1つの時間次元)、同じ補間方式を適用することが望ましい。しかしながら、これを行う場合に、時間的イベントを適切に補間することができな場合が懸念される。時間領域は、一般に、ナイキスト条件よりも低い周波数でサンプリングされるが、それでも多くの場合に、表示システムが、連続する動きを知覚には十分である。
シーン(場面)の中で時間的なイベントが再帰的でない場合でさえ、時間的な解像度を改善するために、先ず、連続するフレーム間の動きを推定し、次に、線形補間により任意の所望の時点における中間フレームを生成することが提案される。
本願により考察される方式に従って、5×5画素のサイズのパッチが少し重複しているパッチに基づく処理方式を考察する。ある空間位置(i,j)にある画素を中心とするパッチに対応する画素群をPi,jとし、そのパッチに含まれる要素数を＃Pi,jとする。ui,j及びvi,jを、それぞれ、その空間位置における水平動き成分及び垂直動き成分とする。所与の2つのカラーフレームがI1(x,y)及びI2(x,y)であり、色差又はカラー距離(color distance)を‖I1(x,y)-I2(x,y)‖2とすると、モーションフィールドを推定するために以下の変動に関する数式を利用することができる。
Figure 0006085620
 N1 i,j及びN2 i,jは位置(i,j)を中心とするローカルスケール及びラージスケールの近辺を表し、各々の領域内で、変動性(一定性)及び粗さ(滑らかさ)を拒否(強制)するために使用される。提案されるデータ項は、従来のオプティカルフロー方式を用いることによっては線形化されない点に留意を要する。むしろここではブロックマッチング(BM)データ項を考察しており、オプティカルフローの場合よりも多い数の情報を利用し、マルチスケール処理を必要としない動き推定を考察することを許容する。欠点は、そのような関数の最小化は、NP困難な問題(NP hard problem)となることである。
この問題に対処する第1の選択肢は、データ項を近似(convexify)することである。各々の画素周辺の構造化データコストは、トライアングルメッシュとして表現される下位の凸包(convex hull)により置換され、近似された関数のデータ項について指数関数的に減少する更新ステップとともに、投影される最急降下線(projected steepest descent)が利用される。最後の反復において、下位の凸包のうち最も近い頂点(ローカルな最小点)が、各々の位置における最適な候補として選択される。
しかしながら、この方法は、選択されるパラメータに対して非常に敏感である点に留意を要する。数式(1)における第1の正則化項(regularization term)のウェイトλ1が大きな値に設定される場合、収束に到達するために、更新ステップは非常に小さくなり、その結果、処理時間は長くなる。従って、GPUの処理能力に更に適した更なる近似が考察され、その方法は、適切な品質と処理時間との間の適切なトレードオフを提案できる反復的なブロックマッチング(反復BM)アルゴリズムをもたらす。
モーションフィールドが双方向に(I1からI2への方向及びその逆方向の双方について)計算されると、中心画素の動きベクトルで指定される方向の各画像の重複する離間したパッチの重み付けされた線形結合として、時間的に補間されたフレームが取得される。
実験では、BMの初期サーチウィンドウサイズが、41×41画素に設定され、反復的なBMの10回の反復の間に、3×3画素のサイズまで指数関数的に減少させた。大きなスケールの線形フィルタの領域では、#N2 i,jが81×81画素のサイズで10回の反復の間に一定に維持されるが、ローカルなスケールの非線形フィルタの領域では、#N1 i,jが21×21画素のサイズから3×3画素のサイズまで指数関数的に変化している。我々の近似におけるフィルタ領域及びサーチウィンドウサイズの相対的な変動は、(多くのオプティカルフロー推定技法で見受けられるように)粗から密への変動処理における正規化ウェイトの変動と解釈できる。最初に、平滑化フィルタのウェイト(数式(1)におけるλ2)はデータコスト項におけるものより僅かに大きいが、関連する最適化の最中に(BMサーチウィンドウサイズが指数関数的に減らされるにつれて)指数関数的に増やされる。エッジ保存フィルタのウェイトλ2は、データコスト項におけるものより小さな値から実際に等しい値に至るまで変化し、それは最終的な処理ステージで同じサイズのBMサーチウィンドウ及びフィルタ領域双方に適用される指数関数的減少に対応する。サーチウィンドウを制御する更に正確な調整法は、僅かな改善したもたらさないかもしれないが、使用された値は実験において妥当な結果を提供するのに十分であった。
3×3画素の小さなサーチウィンドウとともに更に工夫されたBM処理ステップは、合致するパッチが、補間されたフレームのレンダリングに先行する実際のローカルな最小部分であることを保証するにの使用される。後者の処理はGPUにおける実施に対して直接的である。
数式(1)においてλ1及びλ2がそれぞれ乗算されている第2及び第3の総和は、ブロック毎に適用され、画素毎には適用されない点に留意を要する。これは、オプティカルフロー方法等と相違する。
開示されるアルゴリズムは、全体的に最適な選択肢を一般的に求めるのではなく、ローカルに適切な選択肢を求める貪欲アルゴリズム(greedy algorithm)と考えることが可能である。貪欲アルゴリズムは、収束に至るまで十分な回数の反復を適用できない場合に、「最適」な方法ではないが、それでも、より良い解を提供できる。
提案される解決手段の利点の1つは、コストのかかる全体的な最適化方法を必要としない現在の超並列処理ハードウェアに相応しいアルゴリズムとともに、フレームレートアップコンバージョンの処理及び空間アップスケーリングの処理を別々に又は一緒に行うことができる点である。
別の利点として、本発明は、グラフィックスハードウェアで特に実施しやすいロバスト性に優れたブロックマッチングアルゴリズムを提供するが、その理由は、超並列処理プラットフォームに利用可能なハードウェアに適するように設計されるからであり、本発明は、コストのかかるオプティカルフロー推定方法に匹敵する高い品質レベルでフレーム補間を実行できる。
別の利点として、本発明は、クロススケール自己類似性(cross scale self similarity)により超解像度信号を一般的な構成に統合することを許容し、超解像度ビデオフレーム及びフレームレートアップコンバージョンを一緒に行うことができる。更に、フレームレートアップコンバージョンは、所望の任意の値で達成できる。開示される方法は、例えば、2：3のプルダウン等のような従来のテレシネ(telecine)方式を改善することが可能である。
以下、本願により教示される実施形態を例示的に列挙する。
低解像度の入力ビデオフレームシーケンスについて超解像度処理を実行する装置は、
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成する空間補間モジュールと、
前記入力ビデオシーケンスのフレームについてフレーム間の空間的な高周波外挿補間を実行し、高解像度の高周波空間バンドを生成する空間外挿補間モジュールと、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する結合モジュールと
を有する装置である。
一実施形態による装置においては、前記フレーム間の空間的な高周波外挿補間を実行する際に、前記低周波時空間バンドを時間的に補間したフレームが使用される。
一実施形態による装置は、
前記低周波時空間バンドを時間的に補間したフレームを取得するモジュールを更に有し、該モジュールは、
少なくとも２つの入力フレームの間でモーションフィールドを生成するモーションフィールド生成モジュールと、
出力画像バッファと、
前記出力画像の時間位置を決定する制御部と、
前記２つの入力フレームの各々を重複するパッチ群に分割する分割モジュールと
前記２つの入力フレームの双方又は一方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する線形補間部と、
前記２つの入力フレーム双方又は一方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する重み係数計算部と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する第１のアキュムレータであって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、第１のアキュムレータと、
重み係数の蓄積バッファと、
画素各々について取得されかつ前記出力画像の画素各々に寄与をもたらす重み係数を、前記重み係数の蓄積バッファに蓄積する第２のアキュムレータと、
前記２つの入力フレーム双方の全てのパッチが処理された後に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する正規化モジュールとを有する。
一実施形態による装置においては、ＩＲＢＭ処理部を更に有し、前記モーションフィールドがＩＲＢＭにより取得される。
一実施形態による装置においては、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合する前記結合モジュールが、
前記高解像度の高周波空間バンドをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間バンドを取得するハイパスフィルタと、
前記ハイパスフィルタリングされた高解像度の高周波空間バンドと前記高解像度の低周波時空間バンドとを結合する結合部とを有する。
一実施形態による装置においては、
前記入力ビデオフレームシーケンスのフレームを空間的に補間する前記空間補間モジュールが、
前記入力ビデオフレームシーケンスの入力ビデオフレームをフィルタリングし、低周波入力ビデオフレームを取得する第１のローパスフィルタと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成する差分処理部と、
前記入力ビデオフレームをアップスケーリングするアップスケーリング部と、
アップスケーリングされた入力ビデオフレームをフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得する第２のローパスフィルタと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定する処理モジュールと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するサーチ部と、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するセレクタ部と、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するアキュムレータ部と、
前記サーチ部、前記セレクタ部及び前記アキュムレータ部のうちの１つ以上を制御し、アップスケーリングされた低周波ビデオフレーム内の全てのパッチを処理するための制御部と、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得する正規化部と、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得する結合部とを有する。
以上、本発明に関する基本的な新規な特徴が好ましい実施形態に適用されるように開示、記述及び説明されてきたが、説明された装置の形態や詳細において及びそれらの動作において、説明された装置及び方法に対する様々な省略、置換及び変形が、本発明の精神から逸脱することなく当業者によってなされてよいことが、理解されるであろう。実質的に同じ機能を実質的に同じ方法で実行して同じ結果に至るそれらの要素全ての組み合わせも本発明の範囲内に属することが、明示的に意図されている。説明された或る実施形態の要素を別の実施形態に置換することも十分に意図され想定されている。上述した全ての画像及び/又はパッチは、必ずしも必須ではないが、カラー画像及び/又はカラーパッチとすることが可能である。本発明は純粋に単なる具体例により説明されているにすぎず、発明の範囲から逸脱することなく、細かい修正を行うことが可能であることも理解されるであろう。明細書、(該当する場合には)特許請求の範囲及び図面に開示されている個々の特徴は、独立に又は適切な任意の組み合わせにより提供されてよい。そのような特徴は、該当する場合には、ハードウェア、ソフトウェア又はそれらの組み合わせにより実現されてよい。接続は、該当する場合には、無線接続又は有線接続として実現されてよく、必ずしも直接的或るいは専用の接続である必要はない。特許請求の範囲に参照番号が仮に含まれていたとしても、それは単なる例示に過ぎず、特許請求の範囲を限定するように解釈してはならない。
実施形態に関する付記を以下に例示的に示す。
（付記１）
低解像度の入力ビデオフレームシーケンスについて超解像度処理を実行する方法であって、
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成するステップと、
前記入力ビデオシーケンスのフレームについてフレーム間の空間的な高周波外挿補間を実行し、高解像度の高周波空間バンドを生成するステップと、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得するステップと
を有する方法。
（付記２）
前記フレーム間の空間的な高周波外挿補間を実行する際に、前記低周波時空間バンドを時間的に補間したフレームが使用される、付記１に記載の方法。
（付記３）
前記低周波時空間バンドを時間的に補間したフレームは、
少なくとも２つの入力フレームの間でモーションフィールドを生成する処理と、
出力画像のバッファを初期化する処理と、
前記出力画像の時間位置を決定する処理と、
前記２つの入力フレームの各々を重複するパッチ群に分割する処理と
前記２つの入力フレーム双方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する処理と、
前記２つの入力フレーム双方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する処理と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する処理であって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、処理と、
前記２つの入力フレーム双方について、画素各々について取得されかつ前記出力画像の画素各々に寄与をもたらす重み係数を、重み係数の蓄積バッファに蓄積する処理と、
前記２つの入力フレーム双方の全てのパッチが処理された場合に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する処理と
を実行することにより取得される、付記１に記載の方法。
（付記４）
前記モーションフィールドがＩＲＢＭにより取得される、付記３に記載の方法。
（付記５）
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する前記ステップが、
前記高解像度の高周波空間バンドをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間バンドを取得するステップと、
前記ハイパスフィルタリングされた高解像度の高周波空間バンドと前記高解像度の低周波時空間バンドとを結合するステップと
を有する付記１〜４のうち何れか１項に記載の方法。
（付記６）
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成する前記ステップが、
前記入力ビデオフレームシーケンスの入力ビデオフレームを第１のローパスフィルタによりフィルタリングし、低周波入力ビデオフレームを取得するステップと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成するステップと、
前記入力ビデオフレームをアップスケーリングし、アップスケーリングされた入力ビデオフレームを第２のローパスフィルタによりフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得するステップと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定するステップと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するステップと、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するステップと、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するステップと、
アップスケールされた低周波ビデオフレームの中で新たなパッチを特定する処理と、低周波入力ビデオフレームの中で、選択されたパッチに最も合致するブロックを探す処理と、高周波入力ビデオフレームの中で、対応するブロックを選択する処理と、アップスケールされた高周波ビデオフレームの中で新たなパッチの位置におけるパッチについて、対応する選択されたブロックの画素データを蓄積する処理とを反復するステップと、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得するステップと、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得するステップと
を有する付記１〜５のうち何れか１項に記載の方法。
（付記７）
超解像度処理を実行するシステムであって、
入力ビデオフレームシーケンスについての高解像度の低周波時空間バンドを、補間により生成する処理部と、
フレーム間の空間的な高周波外挿補間により、高解像度の高周波空間バンドを合成する処理部と、
前記の２つのバンドを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを生成する処理部と
を有するシステム。
（付記８）
低解像度の入力ビデオフレームシーケンスについて超解像度処理を実行する装置であって、
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成する空間補間モジュールと、
前記入力ビデオシーケンスのフレームについてフレーム間の空間的な高周波外挿補間を実行し、高解像度の高周波空間バンドを生成する空間外挿補間モジュールと、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する結合モジュールと
を有する装置。
（付記９）
前記フレーム間の空間的な高周波外挿補間を実行する際に、前記低周波時空間バンドを時間的に補間したフレームが使用される、付記８に記載の装置。
（付記１０）
当該装置は、前記低周波時空間バンドを時間的に補間したフレームを取得するモジュールを更に有し、該モジュールは、
少なくとも２つの入力フレームの間でモーションフィールドを生成するモーションフィールド生成モジュールと、
出力画像バッファと、
前記出力画像の時間位置を決定する制御部と、
前記２つの入力フレームの各々を重複するパッチ群に分割する分割モジュールと
前記２つの入力フレームの双方又は一方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する線形補間部と、
前記２つの入力フレーム双方又は一方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する重み係数計算部と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する第１のアキュムレータであって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、第１のアキュムレータと、
重み係数の蓄積バッファと、
画素各々について取得されかつ前記出力画像の画素各々に寄与をもたらす重み係数を、前記重み係数の蓄積バッファに蓄積する第２のアキュムレータと、
前記２つの入力フレーム双方の全てのパッチが処理された後に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する正規化モジュールと
を有する、付記９に記載の装置。
（付記１１）
当該装置がＩＲＢＭ処理部を更に有し、前記モーションフィールドがＩＲＢＭにより取得される、付記１０に記載の装置。
（付記１２）
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合する前記結合モジュールが、
前記高解像度の高周波空間バンドをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間バンドを取得するハイパスフィルタと、
前記ハイパスフィルタリングされた高解像度の高周波空間バンドと前記高解像度の低周波時空間バンドとを結合する結合部と
を有する付記８〜１１のうち何れか１項に記載の装置。
（付記１３）
前記入力ビデオフレームシーケンスのフレームを空間的に補間する前記空間補間モジュールが、
前記入力ビデオフレームシーケンスの入力ビデオフレームをフィルタリングし、低周波入力ビデオフレームを取得する第１のローパスフィルタと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成する差分処理部と、
前記入力ビデオフレームをアップスケーリングするアップスケーリング部と、
アップスケーリングされた入力ビデオフレームをフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得する第２のローパスフィルタと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定する処理モジュールと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するサーチ部と、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するセレクタ部と、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するアキュムレータ部と、
前記サーチ部、前記セレクタ部及び前記アキュムレータ部のうちの１つ以上を制御し、アップスケーリングされた低周波ビデオフレーム内の全てのパッチを処理するための制御部と、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得する正規化部と、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得する結合部と
を有する付記８〜１２のうち何れか１項に記載の装置。

Claims (15)

  1. 第１の空間的な解像度及び第１の時間的な解像度を有する入力ビデオフレームシーケンスについて超解像度処理を実行する方法であって、
    前記入力ビデオフレームシーケンスのフレームを時間的に補間し、時間的に補間されたフレームを取得するステップと、
    前記入力ビデオフレームシーケンスのフレーム及び時間的に補間されたフレームを空間的に補間し、高解像度の低周波時空間フレームを生成するステップであって、前記高解像度の低周波時空間フレームは、前記第１の空間的な解像度より高い第２の空間的な解像度と前記第１の時間的な解像度より高い第２の時間的な解像度とを有する、ステップと、
    前記入力ビデオフレームシーケンスのビデオフレームについてフレーム間の空間的な高周波外挿補間を実行し、前記入力ビデオフレームシーケンスのパッチを利用して空間的な高周波合成処理を適用し、前記第２の空間的な解像度及び第２の時間的な解像度を有する高解像度の高周波空間フレームを生成するステップであって、時間的に一致する入力ビデオフレームを有する高解像度の高周波空間フレームのうちの第１のグループは、時間的に一致する入力ビデオフレーム各々から合成され、時間的に一致する入力ビデオフレームを有しない高解像度の高周波空間フレームのうちの第２のグループは、前記第１のグループに属する隣接するフレームに時間的に一致する入力ビデオフレームから合成される、ステップと、
    前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得するステップと
    を有する方法。
  2. 前記低周波時空間フレームを時間的に補間したフレームは、
    少なくとも２つの入力フレームの間でモーションフィールドを生成する処理と、
    出力画像のバッファを初期化する処理と、
    前記出力画像の時間位置を決定する処理と、
    前記２つの入力フレームの各々を重複するパッチに分割する処理と
    前記の双方の入力フレームの各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する処理と、
    前記の双方の入力フレームの各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する処理と、
    前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する処理であって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、処理と、
    前記出力画像の画素各々に寄与をもたらす重み係数を、重み係数の蓄積バッファに蓄積する処理であって、蓄積される重み係数は画素の各々について取得される、処理と、
    前記の双方の画像の全てのパッチが処理された場合に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する処理と
    により取得される、請求項１に記載の方法。
  3. 前記モーションフィールドは、反復的なロバストブロックマッチング（ＩＲＢＭ）により取得され、該ＩＲＢＭは、
    ブロックマッチングにより類似するパッチを発見する処理と、
    ラージスケールの線形フィルタリング及びローカルスケールの非線形フィルタリングを前記類似するパッチに反復的に適用する処理と
    を含む、請求項２に記載の方法。
  4. 前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合する前記のステップが、
    前記高解像度の高周波空間フレームをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間フレームを取得するステップと、
    前記ハイパスフィルタリングされた高解像度の高周波空間フレームと前記高解像度の低周波時空間フレームとを結合するステップと
    を有する請求項１〜３のうち何れか１項に記載の方法。
  5. 前記入力ビデオフレームシーケンスのビデオフレームについてフレーム間の空間的な高周波外挿補間を実行する前記のステップが、
    前記入力ビデオフレームシーケンスの入力ビデオフレームを第１のローパスフィルタによりフィルタリングし、低周波入力ビデオフレームを取得するステップと、
    前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成するステップと、
    前記入力ビデオフレームをアップスケーリングし、アップスケーリングされた入力ビデオフレームを第２のローパスフィルタによりフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得するステップと、
    前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定するステップと、
    前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するステップと、
    高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するステップと、
    アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するステップと、
    アップスケールされた低周波ビデオフレームの中で新たなパッチを特定する処理と、低周波入力ビデオフレームの中で、選択されたパッチに最も合致するブロックを探す処理と、高周波入力ビデオフレームの中で、対応するブロックを選択する処理と、アップスケールされた高周波ビデオフレームの中で新たなパッチの位置におけるパッチについて、対応する選択されたブロックの画素データを蓄積する処理とを反復するステップと、
    アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得するステップと、
    前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得するステップと
    を有する請求項１〜４のうち何れか１項に記載の方法。
  6. 高解像度の高周波空間フレームの第２のグループの現在フレームが、前記現在フレームの直接隣接する時間的に一致する入力シーケンスの２つのフレームから、高周波合成により取得される、請求項５に記載の方法。
  7. 入力ビデオシーケンスについて超解像度処理を実行するシステムであって、
    入力ビデオシーケンスについての高解像度の低周波時空間フレームを、補間により生成する処理部と、
    フレーム間の空間的な高周波外挿補間により、前記入力ビデオシーケンスのフレームから、高解像度の高周波空間フレームを合成する処理部と、
    前記の２つのフレームを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスのフレームを生成する処理部と
    を有するシステム。
  8. 第１の空間的な解像度及び第１の時間的な解像度を有する入力ビデオフレームシーケンスについて超解像度処理を実行する装置であって、
    前記入力ビデオフレームシーケンスのフレームを時間的に補間し、時間的に補間されたフレームを取得する時間補間モジュールと、
    前記入力ビデオフレームシーケンスのフレーム及び時間的に補間されたフレームを空間的に補間し、高解像度の低周波時空間フレームを生成する空間補間モジュールであって、前記高解像度の低周波時空間フレームは、前記第１の空間的な解像度より高い第２の空間的な解像度と前記第１の時間的な解像度より高い第２の時間的な解像度とを有する、空間補間モジュールと、
    前記入力ビデオフレームシーケンスのビデオフレームについてフレーム間の空間的な高周波外挿補間を実行し、前記入力ビデオフレームシーケンスのパッチを利用して空間的な高周波合成処理を実行し、前記第２の空間的な解像度及び第２の時間的な解像度を有する高解像度の高周波空間フレームを生成する空間外挿補間モジュールであって、時間的に一致する入力ビデオフレームを有する高解像度の高周波空間フレームのうちの第１のグループは、時間的に一致する入力ビデオフレーム各々から合成され、時間的に一致する入力ビデオフレームを有しない高解像度の高周波空間フレームのうちの第２のグループは、前記第１のグループに属する隣接するフレームに時間的に一致する入力ビデオフレームから合成される、空間外挿補間モジュールと、
    前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する結合モジュールと
    を有する装置。
  9. 当該装置は、前記低周波時空間フレームを時間的に補間したフレームを取得するモジュールを更に有し、該モジュールは、
    少なくとも２つの入力フレームの間でモーションフィールドを生成するモーションフィールド生成モジュールと、
    出力画像のバッファと、
    前記出力画像の時間位置を決定する制御部と、
    前記２つの入力フレームの各々を重複するパッチに分割する分割モジュールと、
    前記の入力フレームの双方又は一方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像におけるパッチの空間位置を計算する線形補間部と、
    前記の入力フレームの双方又は一方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する重み係数計算部と、
    前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する第１のアキュムレータであって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、第１のアキュムレータと、
    重み係数の蓄積バッファと、
    前記出力画像の画素各々に寄与をもたらす重み係数を、前記重み係数の蓄積バッファに蓄積する第２のアキュムレータであって、蓄積される重み係数は画素の各々について取得される、第２のアキュムレータと、
    前記の双方の画像の全てのパッチが処理された後に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する正規化モジュールと
    を有する、請求項８に記載の装置。
  10. 当該装置は、ラージスケール線形フィルタ及びローカルスケール非線形フィルタを有する反復的なロバストブロックマッチング（ＩＲＢＭ）部を更に有し、
    前記反復的なロバストブロックマッチング部が、所与のパッチに類似するパッチを発見し、ラージスケールの線形フィルタリング及びローカルスケールの非線形フィルタリングを前記類似するパッチに反復的に適用することにより、前記モーションフィールドが取得される、請求項９に記載の装置。
  11. 前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合する前記結合モジュールが、
    前記高解像度の高周波空間フレームをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間フレームを取得するハイパスフィルタと、
    前記ハイパスフィルタリングされた高解像度の高周波空間フレームと前記高解像度の低周波時空間フレームとを結合する結合部と
    を有する請求項８〜１０のうち何れか１項に記載の装置。
  12. 前記入力ビデオフレームシーケンスのビデオフレームについてフレーム間の空間的な高周波外挿補間を実行する前記空間外挿補間モジュールが、
    前記入力ビデオフレームシーケンスの入力ビデオフレームをフィルタリングし、低周波入力ビデオフレームを取得する第１のローパスフィルタと、
    前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成する差分化部と、
    前記入力ビデオフレームをアップスケーリングするアップスケーリング部と、
    アップスケーリングされた入力ビデオフレームをフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得する第２のローパスフィルタと、
    前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定する処理モジュールと、
    前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するサーチ部と、
    高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するセレクタ部と、
    アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するアキュムレータ部と、
    前記サーチ部、前記セレクタ部及び前記アキュムレータ部のうちの１つ以上を制御し、アップスケーリングされた低周波ビデオフレーム内の全てのパッチを処理するための制御部と、
    アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得する正規化部と、
    前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得する結合部と
    を有する請求項８〜１１のうち何れか１項に記載の装置。
  13. 高解像度の高周波空間フレームの第２のグループの現在フレームが、前記現在フレームの直接隣接する時間的に一致する入力シーケンスの２つのフレームから、高周波合成により取得される、請求項１２に記載の装置。
  14. 請求項１〜６のうち何れか１項に記載の方法をコンピュータに実行させるコンピュータプログラム。
  15. 請求項１４に記載のコンピュータプログラムを記憶する記憶媒体。
JP2014560343A 2012-03-05 2013-03-05 超解像度処理のための方法、システム及び装置 Active JP6085620B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305265.6 2012-03-05
EP12305265 2012-03-05
PCT/EP2013/054447 WO2013131929A1 (en) 2012-03-05 2013-03-05 Method and apparatus for performing super-resolution

Publications (3)

Publication Number Publication Date
JP2015515179A JP2015515179A (ja) 2015-05-21
JP2015515179A5 JP2015515179A5 (ja) 2016-04-28
JP6085620B2 true JP6085620B2 (ja) 2017-02-22

Family

ID=47827208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014560343A Active JP6085620B2 (ja) 2012-03-05 2013-03-05 超解像度処理のための方法、システム及び装置

Country Status (6)

Country Link
US (1) US9258518B2 (ja)
EP (1) EP2823461A1 (ja)
JP (1) JP6085620B2 (ja)
KR (1) KR20140135968A (ja)
CN (1) CN104160422A (ja)
WO (1) WO2013131929A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3014568B1 (en) 2013-06-24 2018-09-19 Nintendo European Research And Development Brightness-compensating safe pixel art upscaler
US10147350B2 (en) * 2013-07-26 2018-12-04 Darwin Hu Method and apparatus for increasing perceived display resolutions from an input image
CN106415657A (zh) * 2014-01-30 2017-02-15 汤姆逊许可公司 用于增强图像质量的方法和设备
TWI543586B (zh) * 2014-05-30 2016-07-21 國立交通大學 影像增強的方法及其影像處理裝置與電腦程式產品
CN104159119A (zh) * 2014-07-07 2014-11-19 大连民族学院 一种视频图像实时共享播放的超分辨率重构方法和系统
CN104660951A (zh) * 2015-01-21 2015-05-27 上海交通大学 一种高清转超高清视频图像的超分辨率放大方法
CN104580931A (zh) * 2015-01-22 2015-04-29 成都索贝数码科技股份有限公司 一种图像、视频超分辨率放大的系统与方法
GB201604345D0 (en) * 2016-03-14 2016-04-27 Magic Pony Technology Ltd Super resolution using fidelity transfer
CN104820966B (zh) * 2015-04-30 2016-01-06 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法
EP3207708B1 (en) * 2015-07-31 2021-10-13 SZ DJI Technology Co., Ltd. Method and system of modifying search areas
JP6391694B2 (ja) 2015-07-31 2018-09-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ符号化方法及びシステム
WO2017124036A1 (en) * 2016-01-16 2017-07-20 Flir Systems, Inc. Systems and methods for image super-resolution using iterative collaborative filtering
EP3452983A4 (en) * 2016-05-04 2019-04-10 Tel HaShomer Medical Research Infrastructure and Services Ltd. METHOD AND SYSTEM FOR PROVIDING A LOCALLY CONSISTENT IMPROVEMENT OF A MINIMUM IMAGE
EP3249652B1 (en) * 2016-05-25 2020-07-15 Axis AB Method and apparatus for playing back recorded video
US10366480B2 (en) 2016-07-01 2019-07-30 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
US20180020229A1 (en) * 2016-07-14 2018-01-18 Sharp Laboratories Of America, Inc. Computationally efficient motion compensated frame rate conversion system
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체
US9607365B1 (en) * 2016-10-31 2017-03-28 HDRlog SARL Systems and methods for enhancing quality of image media
US10621446B2 (en) * 2016-12-22 2020-04-14 Texas Instruments Incorporated Handling perspective magnification in optical flow processing
US10546521B2 (en) * 2017-05-16 2020-01-28 Darwin Hu Resolutions by modulating both amplitude and phase in spatial light modulators
US10284810B1 (en) * 2017-11-08 2019-05-07 Qualcomm Incorporated Using low-resolution frames to increase frame rate of high-resolution frames
CN110896492B (zh) * 2018-09-13 2022-01-28 阿里巴巴（中国）有限公司 图像处理方法、装置及存储介质
WO2020056798A1 (zh) 2018-09-21 2020-03-26 华为技术有限公司 一种视频编解码的方法与装置
WO2020057648A1 (zh) * 2018-09-21 2020-03-26 华为技术有限公司 一种帧间预测方法和装置
US10499009B1 (en) * 2018-09-25 2019-12-03 Pixelworks, Inc. Realistic 24 frames per second output from high frame rate content
KR102646695B1 (ko) * 2019-01-15 2024-03-12 포틀랜드 스테이트 유니버시티 비디오 프레임 보간을 위한 특징 피라미드 워핑
CN109949221B (zh) * 2019-01-30 2022-05-17 深圳大学 一种图像处理方法及电子设备
KR102350273B1 (ko) * 2019-04-29 2022-01-17 주식회사 휴윈 트랜션트 분석을 위한 대역 제한된 s-매개변수 처리방법
CN111246250B (zh) * 2020-03-13 2022-07-01 广州市百果园信息技术有限公司 视频处理方法、装置、设备及存储介质
WO2021215567A1 (ko) * 2020-04-24 2021-10-28 엘지전자 주식회사 Pov 디스플레이 장치 및 그 제어방법
CN112950470B (zh) * 2021-02-26 2022-07-15 南开大学 基于时域特征融合的视频超分辨率重建方法及系统
CN113014817B (zh) * 2021-03-04 2022-11-29 维沃移动通信有限公司 高清高帧视频的获取方法、装置及电子设备
EP4274207A1 (en) 2021-04-13 2023-11-08 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR20220141543A (ko) * 2021-04-13 2022-10-20 삼성전자주식회사 전자 장치 및 그 제어 방법
CN113938575B (zh) * 2021-07-23 2023-06-13 东莞理工学院 一种视频超分辨率重构方法、装置、终端设备及存储介质
CN113747242B (zh) * 2021-09-06 2023-03-24 海宁奕斯伟集成电路设计有限公司 图像处理方法、装置、电子设备及存储介质
CN115578255A (zh) * 2022-09-22 2023-01-06 北京航空航天大学 一种基于帧间亚像素块匹配的超分辨率重建方法
CN115564653A (zh) * 2022-09-30 2023-01-03 江苏济远医疗科技有限公司 一种多因子融合的图像超分辨率方法
CN116091322B (zh) * 2023-04-12 2023-06-16 山东科技大学 超分辨率图像重建方法和计算机设备
CN117061826B (zh) * 2023-10-12 2024-02-02 深圳云天畅想信息科技有限公司 流媒体时空视频渲染方法、装置及计算机设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005067294A1 (ja) * 2004-01-09 2005-07-21 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置および画像処理プログラム
JP2009267446A (ja) * 2008-04-21 2009-11-12 Hitachi Ltd 動画像情報処理方法、及び装置
CN101345870B (zh) * 2008-09-04 2010-06-30 上海交通大学 低码率视频超分辨率重构的编码装置和解码装置
US20100135395A1 (en) * 2008-12-03 2010-06-03 Marc Paul Servais Efficient spatio-temporal video up-scaling
JP2011035450A (ja) * 2009-07-29 2011-02-17 Toshiba Corp 画像表示装置及び画像表示方法
CN102770887A (zh) * 2010-01-28 2012-11-07 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于从输入图像产生像素分辨率提高的输出图像的方法和系统
US8913661B2 (en) * 2010-02-19 2014-12-16 Skype Motion estimation using block matching indexing
CN101938656B (zh) * 2010-09-27 2012-07-04 上海交通大学 基于关键帧超分辨率重建的视频编解码系统
EP2615579A1 (en) * 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure

Also Published As

Publication number Publication date
WO2013131929A1 (en) 2013-09-12
US20150104116A1 (en) 2015-04-16
US9258518B2 (en) 2016-02-09
EP2823461A1 (en) 2015-01-14
CN104160422A (zh) 2014-11-19
JP2015515179A (ja) 2015-05-21
KR20140135968A (ko) 2014-11-27

Similar Documents

Publication Publication Date Title
JP6085620B2 (ja) 超解像度処理のための方法、システム及び装置
US9245326B2 (en) Method and device for generating a super-resolution version of a low resolution input data structure
EP2662825B1 (en) Method and device for generating a super-resolution version of a low resolution input data structure
Cornillere et al. Blind image super-resolution with spatially variant degradations
US20120219229A1 (en) Image enhancement apparatus and method
Bahy et al. Adaptive regularization-based super resolution reconstruction technique for multi-focus low-resolution images
JP6462372B2 (ja) 超解像装置及びプログラム
WO2011111819A1 (ja) 画像処理装置、画像処理プログラム、および、画像を生成する方法
KR101756841B1 (ko) 블록 기반 영상의 해상도 변환 방법 및 장치
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
KR101538313B1 (ko) 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치
JP2013250891A (ja) 超解像方法及び装置
RU2583725C1 (ru) Способ и система для обработки изображения
Zhao et al. Single depth image super-resolution with multiple residual dictionary learning and refinement
JP6059899B2 (ja) フレーム補間装置及びプログラム
Patel Shreyas Novel Iterative Back Projection Approach
Takahashi et al. Super-resolved free-viewpoint image synthesis using semi-global depth estimation and depth-reliability-based regularization
Shen et al. GPU-aided real-time image/video super resolution based on error feedback
Barzigar et al. A robust super resolution method for video
Al-Anizy Super Resolution Image from Low Resolution of Sequenced Frames-Text Image and Image-Based on POCS
Wang et al. Superresolution of hyperspectral image using advanced nonlocal means filter and iterative back projection
Salvador et al. Robust super-resolution for interactive video navigation
Lee et al. Self-synthesis based super-resolution for a natural image
Al_anizy Enhancement of Video Image Resolution Based on POCS (projection onto convex set
Li et al. Research on super-resolution based on random fields for low-level vision

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170130

R150 Certificate of patent or registration of utility model

Ref document number: 6085620

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250