JP5497066B2 - ビデオに含まれるノイズを低減する方法、装置およびプログラム - Google Patents

ビデオに含まれるノイズを低減する方法、装置およびプログラム Download PDF

Info

Publication number
JP5497066B2
JP5497066B2 JP2011544464A JP2011544464A JP5497066B2 JP 5497066 B2 JP5497066 B2 JP 5497066B2 JP 2011544464 A JP2011544464 A JP 2011544464A JP 2011544464 A JP2011544464 A JP 2011544464A JP 5497066 B2 JP5497066 B2 JP 5497066B2
Authority
JP
Japan
Prior art keywords
video sequence
images
module
input video
aligned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011544464A
Other languages
English (en)
Other versions
JP2012514419A (ja
Inventor
ナスタレス、オスカー
ハウスゼッカー、ホルスト、ダブリュー．
エッチンガー、スコット、エム．
ガット、ヨラム
クルパティ、スリーナス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2012514419A publication Critical patent/JP2012514419A/ja
Application granted granted Critical
Publication of JP5497066B2 publication Critical patent/JP5497066B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、ビデオ処理に関する。より具体的には、本発明の一部の実施形態は、ビデオに含まれるノイズの低減に関する。
米国特許第７，４４７，３８２号では、モデルを用いたロバストなベイズ推定を用いて、複数の低解像度画像から一の高解像度画像を算出することが開示されている。結果として得られるあるシーンの高解像度（ＨＲ）画像は、与えられた当該シーンの複数の低解像度（ＬＲ）画像に基づき、ベイズ推定画像再構築方法を用いて算出される。当該方法では、ノイズが存在する中でＬＲ画像を形成するモデルを実行する可能性確率関数に基づき、ＨＲ画像を生成する。このノイズは、確率的、非ガウス的、且つロバストな関数によってモデル化される。
本特許または本願には、少なくとも１つのカラー図面が含まれている。カラー図面を含む本特許または本願の公報の複製は、申請して必要料金を支払うことによって、特許庁から提供される。
本発明のさまざまな特徴は、添付図面に図示した好ましい実施形態に関する以下の説明から明らかとなる。添付図面では、同様の参照番号は概して、複数の図面にわたって同じ構成要素を指すものとする。図面は必ずしも実寸に即したものではなく、本発明の原理を説明することに重点を置いた内容となっている。
本発明の一部の実施形態に係るフローチャートである。
本発明の一部の実施形態に係る別のフローチャートである。
本発明の一部の実施形態に係る別のフローチャートである。
本発明の一部の実施形態に係るビデオ処理装置を示すブロック図である。
本発明の一部の実施形態に係る別のビデオ処理装置を示すブロック図である。
本発明の一部の実施形態に係るノイズ除去モジュールを示すブロック図である。
本発明の一部の実施形態に係る別のノイズ除去モジュールを示すブロック図である。
本発明の一部の実施形態に係るプロセッサベースの電子システムを示すブロック図である。
本発明の一部の実施形態に係るオプティカルフロー推定モジュールを示すブロック図である。
本発明の一部の実施形態に係る別のノイズ除去モジュールを示すブロック図である。
基準デジタル画像を示す図である。
本発明の一部の実施形態に係る処理後のデジタル画像である。
本発明の一部の実施形態に係る別の処理後のデジタル画像である。
別の基準デジタル画像を示す図である。
本発明の一部の実施形態に係る別の処理後のデジタル画像である。
本発明の一部の実施形態に係る別の処理後のデジタル画像である。
別の基準デジタル画像を示す図である。
本発明の一部の実施形態に係る別の処理後のデジタル画像である。
本発明の一部の実施形態に係る別の処理後のデジタル画像である。
以下に記載する説明では、限定ではなく説明を目的として、本発明のさまざまな側面を徹底的に理解していただくべく、具体的な構造、アーキテクチャ、インターフェース、技術等、具体的且つ詳細な内容を記載する。しかし、本開示内容を参照すれば、本発明のさまざまな側面は、記載している具体的且つ詳細な内容から逸脱した他の例においても実施し得ることは当業者には明らかであろう。また、不要に詳細な内容によって本発明の説明があいまいになることを避けるべく、公知のデバイス、回路、および方法の説明は省略する。
図１を参照しつつ説明すると、本発明の一部の実施形態に係るビデオシーケンス処理方法は、入力ビデオシーケンス解像度を持つ入力ビデオシーケンスを受信する段階（例えば、ブロック１０）と、入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階（例えば、ブロック１１）と、アラインメントされた複数の画像に含まれるノイズを低減する段階（例えば、ブロック１２）と、ノイズが低減された複数の画像に基づき、解像度が入力ビデオシーケンス解像度と同じである出力ビデオシーケンスを生成する段階（例えば、ブロック１３）とを備えるとしてよい。例えば、入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階の前に、入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階の前に入力ビデオシーケンスのオプティカルフローを推定する段階（例えば、ブロック１４）をさらに必要とするとしてもよい。例えば、入力ビデオシーケンスは、基準フレームと、基準フレームに対して相対的に決まる少なくとも１つの前方フレームおよび少なくとも１つの後方フレームとを含むとしてよい（例えば、ブロック１５）。
図２を参照しつつ説明すると、本発明の一部の実施形態によると、アラインメントされた複数の画像に含まれるノイズを低減する段階は、共役勾配極小化に対応する反復前方および後方再マッピングをアラインメントされた画像に対して実行する段階（例えば、ブロック２０）を有するとしてよい。本発明の一部の実施形態によると、アラインメントされた複数の画像に含まれるノイズを低減する段階は、反復ライン極小化を実行する段階（例えば、ブロック２１）を有するとしてよい。
図３を参照しつつ説明すると、本発明の一部の実施形態では、アラインメントされた複数の画像に含まれるノイズを低減する段階は、アラインメントされた画像に対して画像ワーピングを実行する段階を有するとしてよい。本発明の一部の実施形態では、アラインメントされた複数の画像に含まれるノイズを低減する段階は、ワーピングが実行されたアラインメントされた画像に対して、時間および空間においてバイラテラルフィルタリングを実行する段階を有するとしてよい。
図４を参照しつつ説明すると、本発明の一部の実施形態に係るビデオ処理装置４０は、入力ビデオシーケンス解像度を持つ入力ビデオシーケンスを受信する第１のモジュール４１と、第１のモジュール４１に結合されており、入力ビデオシーケンスに含まれている複数の画像をアラインメントする第２のモジュール４２と、第２のモジュール４２に結合されており、アラインメントされた画像に基づき入力ビデオシーケンスに含まれているノイズを低減する第３のモジュール４３と、第３のモジュール４３に結合されており、ノイズが低減された入力ビデオシーケンスに基づき、入力ビデオシーケンス解像度以下の解像度の出力ビデオシーケンスを生成する第４のモジュール４４とを備えるとしてよい。
図５を参照しつつ説明すると、画像アラインメントモジュール５２（例えば、図４の第２のモジュール４２）はさらに、入力ビデオシーケンスのオプティカルフローを推定するモジュール５５を有するとしてよい。例えば、入力ビデオシーケンスは、基準フレームＲと、基準フレームＲに対して相対的に決まる少なくとも１つの前方フレームＦおよび少なくとも１つの後方フレームＢとを含むとしてよい。
図６を参照しつつ説明すると、ノイズ除去モジュール６３（例えば、図４の第３のモジュール４３）は、共役勾配極小化に対応する反復前方および後方再マッピングをアラインメントされた画像に対して実行するモジュール６５を有するとしてよい。ノイズ除去モジュール６３はさらに、反復ライン極小化を実行するモジュール６６を有するとしてよい。
図７を参照しつつ説明すると、別のノイズ除去モジュール７３（例えば、図４の第３のモジュール４３）は、アラインメントされた画像に対して画像ワーピングを実行するモジュール７５を有するとしてよい。この別のノイズ除去モジュール７３はさらに、ワーピングが実行されたアラインメントされた画像に対して、時間および空間においてバイラテラルフィルタリングを実行するモジュール７６を有するとしてよい。
図８を参照しつつ説明すると、プロセッサベースの電子システム８０は、プロセッサ８１と、プロセッサ８１に結合されているメモリ８２とを備えるとしてよい。例えば、メモリ８２は、命令を有しているとしてよく、当該命令は、プロセッサによって実行されると、入力ビデオシーケンス解像度を持つ入力ビデオシーケンスを受信して、入力ビデオシーケンスに含まれる複数の画像をアラインメントして、アラインメントされた複数の画像に基づき入力ビデオシーケンスに含まれるノイズを低減して、ノイズが低減された入力ビデオシーケンスに基づき、解像度が入力ビデオシーケンス解像度以下である出力ビデオシーケンスを生成するとしてよい。例えば、メモリ８２はさらに、プロセッサによって実行されると、入力ビデオシーケンスのオプティカルフローを推定する命令を有するとしてよい。例えば、入力ビデオシーケンスは、基準フレームと、基準フレームに対して相対的に決まる少なくとも１つの前方フレームおよび少なくとも１つの後方フレームとを含むとしてよい。
例えば、メモリ８２はさらに、プロセッサによって実行されると、共役勾配極小化に対応する反復前方および後方再マッピングをアラインメントされた画像に対して実行する命令を有するとしてよい。メモリ８２はさらに、プロセッサによって実行されると、反復ライン極小化を実行する命令を有するとしてよい。これに代えて、メモリ８２はさらに、プロセッサによって実行されると、アラインメントされた画像に対して画像ワーピングを実行して、ワーピングが実行されたアラインメントされた画像に対して、時間および空間においてバイラテラルフィルタリングを実行する命令を有するとしてよい。
例えば、プロセッサ８１およびメモリ８２は、筐体８３内に配されているとしてよい。例えば、筐体は、プロセッサベースのシステム８０については他にも多くの可能例があるが、デスクトップコンピュータ、ラップトップコンピュータ、セットトップボックス、ハンドヘルドデバイスのうちいずれかに対応するものであるとしてよい。例えば、システム８０はさらに、プロセッサ８１およびメモリ８２に結合されている表示デバイス８４を備えるとしてよい。出力ビデオシーケンスは、表示デバイス８４で表示されるとしてよい。例えば、システム８０はさらに、ユーザ入力をプロセッサ８１およびメモリ８２に供給する入力デバイス８５を備えるとしてよい。例えば、入力デバイス８５は、無線遠隔制御デバイスであってよい。
本発明の一部の実施形態には、ビデオおよび／または画像シーケンスに含まれるノイズを低減し得るという利点がある。本発明の一部の実施形態は、動作理論に限定されることはなく、オプティカルフローを用いたロバストな多重フレームビデオノイズ低減を実現するとしてよい。例えば、本発明の一部の実施形態は、多岐にわたるソースから得られた、品質も取得方法もさまざまであるビデオおよび／または画像シーケンスに利用されるとしてよい。例えば、ビデオシーケンスとしてはその他のソースも数多く考えられるが、安価なデバイス（例えば、ユビキタスな携帯電話のカメラ、ウェブカメラ等）で取得された消費者レベルのビデオ、最適ではない条件（低輝度）で取得されたプロレベルのビデオ、さまざまなソース（レントゲン、超音波等）から得られる医療用画像シーケンス等がある。
本発明の一部の実施形態は、動作理論に限定されることはなく、ビデオおよび画像シーケンスで通常見られる高い冗長性を利用するとしてよい。例えば、シーンおよびカメラが静止した状態のノイズを含むビデオシーケンスの場合、各画素でのノイズを含む強度のフレームの多くのサンプルを用いて、（例えば、取得可能なサンプル全ての平均を取ることによって）当該画素の基本的な一定強度の統計的推定値を得ることができる。
しかし、多くのビデオシーケンスでは、カメラまたは被写体が動いているので、シーンは静止していないことが多い。本発明の一部の実施形態には、ビデオシーケンスのオプティカルフローを推定するという利点がある。例えば、オプティカルフローは、シーン内でカメラまたは被写体が動いたことによって、ビデオシーケンス内のある画像と次の画像との間で発生する、強度レベルの見せかけの動きに対応するとしてよい。例えば、オプティカルフローは、基準フレーム（例えば、名目上の中央フレーム）の前後のある範囲内の複数のフレームに基づき推定されるとしてよい。例えば、前方の２フレームおよび後方の２フレームを用いて、合計で５つのフレームを用いて、各フレームを基準フレームにアラインメントする。
例えば、画像アラインメントは、複数の異なる動きモデルを用いて推定することができる。動きモデルは、一般的なビデオでは利用可能性が限られている低度なパラメータ動きモデル（例えば、純粋な並進、回転、アフィン、射影等）から、変位ベクトルがピクセル毎に推定された高度なノンパラメトリックモデル（例えば、オプティカルフロー）まで、中間的な方法（１つの低度なパラメータ動きモデルと、このモデルで外れ値と見なされたポイントについては個別にオプティカルフローを求める）も含め、多岐にわたる。例えば、米国特許出願公開公報第２００８−０１１２６３０号（発明の名称：「ロバストな主要動き推定に基づくデジタルビデオ安定化」（ＤＩＧＩＴＡＬ ＶＩＤＥＯ ＳＴＡＢＩＬＩＺＡＴＩＯＮ ＢＡＳＥＤ ＯＮ ＲＯＢＵＳＴ ＤＯＭＩＮＡＮＴ ＭＯＴＩＯＮ ＥＳＴＩＭＡＴＩＯＮ）では、入力画像シーケンスを受信して、画像シーケンスに含まれる連続した画像間での主要動きを推定する装置が開示されている。当該装置は、独立して動く被写体に対応する外れ値を自動的に検出して無視するロバストな推定部を利用するとしてよい。
本発明の一部の実施形態では、理論的にはサブピクセル精度で行なわれる、勾配を利用した多重解像度でのオプティカルフロー推定を利用するとしてよい。しかし、他の高度な動き推定方法も利用可能である。例えば、フレームレート変換に適用される動き推定方法を利用可能であるとしてよい。
図９を参照しつつ説明すると、本発明の一部の実施形態は、勾配に基づく粗から精への推定を用いたオプティカルフロー推定を含むとしてよい。例えば、多重解像度ピラミッドが得られると、追加入力として、あれば前のレベルで推定されたオプティカルフローを用いて、各解像度レベルでオプティカルフローが推定されるとしてよい。オプティカルフローは各レベルにおいて繰り返し推定され、最初にオプティカルフローの現在の推定値に応じて入力画像を再マッピングして、二次勾配を算出して、各画素において当該画素の周辺での勾配の制約に基づきフローベクトルの値を求める。
本発明の一部の実施形態によると、ビデオシーケンスに含まれるアラインメントされた複数の画像にロバストなフレームノイズ除去を適用するとしてよい。例えば、アラインメントが推定されると、１つの同じシーンに対応する複数の異なるフレームからのノイズを含む強度を合成して、中央フレーム、つまり、基準フレームのノイズ除去バージョンを取得するとしてよい。本発明の一部の実施形態によると、フレームノイズ除去にはさまざまなロバスト性を適用するとしてよい。例えば、本発明の一部の実施形態によると、ロバストなフレームノイズ除去では、演算コストが比較的高くなるが、非常に高効率のノイズ除去（例えば、ベイズ法）が実現されるとしてよい。例えば、本発明の一部の実施形態によると、ロバストなフレームノイズ除去では、演算コストが比較的低くなるが、比較的効率の低いノイズ除去（例えば、事前ワーピングに基づくもの）が実現されるとしてもよい。
ロバストな方法（本明細書で提案する方法と同様のもの）において重要なパラメータの１つは、どの程度のエラーがノイズと見なされるのか、そして、どの程度が外れ値と見なされるのかに関連しているスケールパラメータとして知られているパラメータがる。このように重要なパラメータであるスケールパラメータは、（垂直画素差および水平画素差のＭＡＤ（絶対差の中央値）に基づき）画像ノイズをロバストに推定することによって入力画像から自動的に推定される。これによって、本発明で提案する方法は、入力画像シーケンスのノイズレベルとは関係なく、ユーザとのやり取り無しで完全自動化モードで実行することが可能となる。
図１０を参照しつつ説明すると、ベイズ法の一例では、ノイズの無い画像から対応する測定されたフレームを形成するモデルであって、画像および付加ノイズをアラインメントするのに必要なワーピングを含む正方向画像形成モデルを利用するとしてよい。さらに、自然画像で見えると期待されるもののコンパクトな確率論的記述であるノイズの無い画像に関する事前モデルを含むとしてもよい。例えば、ベイズ法では、ベイズモデルで与えられるコスト関数を最小化するべく非線形共役傾斜を利用するとしてよい。ノイズの無い画像ｇの現在推定値が与えられると、画像形成モデル（後方再マッピング、エラー算出、非線形関数の適用、および前方再マッピングを含む）および事前モデルを用いて２つの更新を算出する。更新を算出すると、最適重み付け係数αをライン最小化を用いて推定して、更新にこの重みを乗算して、ノイズの無い画像ｇの推定値に加算して、ｇの新しい現在推定値を得る。この手順は、収束点まで反復して行なわれるとしてよい。
上述した米国特許第７，４４７，３８２号に開示されている超解像度画像処理に比べて、本発明の一部の実施形態には、ノイズ除去性能は良好なままで比較的演算コストが低いという利点がある。例えば、本発明の一部の実施形態は画像の解像度を高くしないので、画像形成モデルはダウンサンプリング／アップサンプリングを省略するとしてよい。本発明の一部の実施形態は、反復して実行され、正方向画像形成モデルおよび逆方向画像形成モデル（基本的に、後方再マッピングおよび前方再マッピング）を複数回適用するとしてよく、同時に、毎回反復する度にライン最小化を行なうので、演算コストが高くなる。このような反復モデルを用いる方法で得られる結果は多くの場合、非常に品質が高く、ノイズ低減効果も高くて、結果として得られる画像にブラーが実質的に追加されていないという利点がある。本発明の一部の実施形態によると、ブラー除去機能をさらに利用するとしてもよい。
本発明の一部の実施形態によると、演算コストが低い方法では、画像に対して事前にワーピングを行なって、結果を合成するとしてもよい。例えば、アラインメントが推定されると、１つの同じシーンに対応する複数の異なるフレームから得られるノイズを含む強度を統計的に合成して、中央フレームのノイズ除去バージョンを取得することが可能となる。例えば、推定されたオプティカルフローを用いて中央フレームの前後のある範囲内の各画像に対してワーピングを実行するとしてよい。ワーピングは、後方補間（例えば、バイリニア補間）を用いて行なわれるとしてよい。
前後の画像を中央フレームに対してアラインメントしてワーピングを実行した結果として、画素がアラインメントされているフレーム群が得られ、ノイズの無い強度についてノイズを含むサンプルを少なくとも１つ、フレーム毎に、供給する。例えば、各画素位置において、ノイズを含む強度のサンプルが複数あり、当該ピクセルの複数の画像における視認性に応じて変わるが、１（中央フレームに対応するもの）から画像数までの範囲内である。本発明の一部の実施形態によると、入手可能なサンプルは全てその後、バイラテラルフィルタリングと同様の方法を用いて合成するとしてよい。
例えば、各画素位置について重み付け平均を取るとしてよく、各サンプルの重みは、当該サンプルと中央フレームとの強度差の関数として（例えば、ガウス関数を用いて）決まる。本発明の一部の実施形態には、中央フレームの強度値に近い強度を優先するという利点がある。これによって、不正確なアラインメントによって間違った強度を合成する問題が避けられるとしてよい。この方法は、反復する必要がなく、画素単位で局所的にプロセスを実行するので、演算コストが比較的低いという利点がある。
本発明の一部の実施形態には、（例えば、ベイズ法と比較すると）比較的単純で、解像度を上げない、演算コストが比較的低い、ビデオ向けの多重フレームノイズ除去方法を提供するという利点がある。合成すべき複数のフレームをアラインメントすると、本発明の一部の実施形態では、追加する帯域幅および処理が非常に少ないとしてよい。本発明の一部の実施形態では、他のモジュールによって既に推定されている動き（例えば、フレームレート変換に用いられるもの）を利用して画像アラインメントを実行するので、さらに演算処理が少なくなる（そして、例えば、ハードウェアの実施例の場合にはシリコン面積または基板面積が小さくなる可能性もある）という利点がある。
本発明の一部の実施形態は、バイラテラルフィルタリングに基づいたロバストなノイズ除去を含むとしてよい。画像をアラインメントすると、画素単位で強度値を合成して、適切な統計的方法を用いて、ノイズを含む測定値に隠れた、ノイズの無い強度の値を推定するとしてよい。例えば、測定値を合成する単純な方法としては、単純な統計的推定値、例えば、平均値または中央値を採用する方法が挙げられるとしてよい。しかし、このような推定値は、アラインメントのエラーに対して十分なロバスト性を持たない場合がある。アラインメントでは、高度な動き推定技術を採用したとしても、大きなエラーが発生する可能性がある。本発明の一部の実施形態には、バイラテラルフィルタリングによってノイズを含む測定値を合成するので、アラインメントにエラーが発生しても結果が改善されるという利点がある。
バイラテラルフィルタリングは、各画素において、（例えば、線形フィルタリングと同様に）周囲のウィンドウ内の複数の画素の強度の重み付け平均を取得することによって空間的なノイズ除去において有用であるとしてよい。所与の画素における重みは、当該画素における強度と中央フレームの強度との差分の関数（例えば、中央画素に近い強度ほど重みを大きくするガウス関数）に応じて決まる。
本発明の一部の実施形態では、複数の異なるフレームからの強度を合成することによって、所与の画像について以下の解を得るとしてよい（それぞれの画素の位置は、分かりやすいように、式から削除している）。
Figure 0005497066
 式中、Ｎは合成されるフレームの数を示し、ｃは中央（基準）フレームに対応するインデックスである。画像Ｉｋは、中央フレームに対する推定アラインメントに応じて、既にワーピングが実行されている。
本発明の一部の実施形態では、時間情報および空間情報の両方を合成するとしてよい。具体的には、一の所与の画素の値を取得するべく、事前にアラインメントされた複数のフレームにおける同じ位置の情報を、中央フレームにおける一の所与の画素の周囲のウィンドウ内の複数の隣接画素と共に、合成するとしてよい。
動作理論に限定されることなく、バイラテラルフィルタは、解が中央画素の強度で初期化され、最小二乗推定値の重み付けが繰り返し変更される方法の１回分と解釈され得る。本発明の一部の実施形態には、繰り返しがなく、外れ値に対してロバスト性があり、中央画素の元々の値に近いノイズ除去済み画素値を生成するという利点がある。これは、大きなアラインメントエラーが発生して強度推定にバイアスがかかって、ロバストな推定値を用いたとしても、元々の値とは非常に離れた値になってしまう場合、ロバストな推定値の降伏点に到達してアーチファクトを形成する場合に特に大きな利点となるとしてよい。
反復ＲＷＬＳでは、収束点に到達するまでこの手順を繰り返すとしてよい。本発明の一部の実施形態によると、数１に示すバイラテラルフィルタリングによって、ＲＷＬＳ法の合理的な推定値である結果が得られる。例えば、特定の１つのノイズを含む測定値を中心の値と定義して、ｇの初期推定値として利用し、１回のみの実行で結果を算出するとしてよい。このため、本発明の一部の実施形態では、バイラテラルフィルタリングは、特定の開始点で反復ＲＷＬＳを１回実行することと解釈され得る。
標準的なバイラテラルフィルタリングにおいて、重み付け関数の最も一般的なものは、ロバスト統計学の文献ではウェルシュ（Ｗｅｌｓｃｈ）関数として知られている基礎となるロバスト関数に対応するガウス重み付け関数である。ロバスト関数の他の例は、バイラテラルフィルタの適切な代替例であってよい。例えば、超解像度の事例において高品質の結果を提供するので、ビデオノイズ除去にはコーシー（Ｃａｕｃｈｙ）関数が適切であるとしてよい。フーバー（Ｈｕｂｅｒ）関数でも良好な結果が得られるとしてよい。逆に、テューキー（Ｔｕｋｅｙ）関数は、ウェルシュ関数と同様の形状を持ち、適切ではあるが、良好な結果は得られない。
図１１から図１９を参照すると、このノイズ除去方法を実行した結果を複数のテスト画像で図示している。図１１は、中程度のノイズレベルのＨＤプロ品質シーケンスのクロップ（例えば、サブ領域）である。図１２は、本発明の一部の実施形態に係るベイズ方式のノイズ除去技術を実行した後の代表的なデジタル画像である。図１３は、本発明の一部の実施形態に係る時間的バイラテラルノイズ除去を実行した後の代表的なデジタル画像である。図１４は、光量が少なくノイズレベルが高い状況で取得したホームビデオのデジタル画像である。図１５は、本発明の一部の実施形態に係るベイズ方式のノイズ除去を実行した後の代表的なデジタル画像である。図１６は、本発明の一部の実施形態に係る時間的バイラテラルノイズ除去を実行した後の代表的なデジタル画像である。図１７、図１８および図１９は、図１４、図１５および図１６に対応しており、詳細を示すべく拡大したものである。
図１３、図１６、および図１９に示す結果は、５フレームの時間的合成（数１）のみを用いて、そして、ガウス重み付け関数を用いて得られた。尚、ガウス関数の標準偏差は、画像ノイズのロバストな推定値（垂直画素差および水平画素差のＭＡＤ（絶対差の中央値）に基づく）の２．５倍と推定されている。事前評価では、この方法で得られた結果は、演算コストがより高い反復ベイズ法で得られたものに比べて品質が低いように見える（ノイズおよびブラーがわずかにより多い）。しかし、どちらの方法にも原画像よりはノイズがはるかに少なくなった画像を生成するという利点が見られる。演算コストがより高いベイズ方式の再構築では、バイラテラルフィルタリング方式よりもシャープネスをより良好に維持できていることが分かる。
本発明の一部の実施形態では、動き推定方法とロバスト統計学的方法（例えば、バイラテラルフィルタリングまたはロバスト関数を用いるベイズ方式の再構築）とを組み合わせて、実質的にアーチファクトを発生させることなく高品質のノイズ除去処理を実現でき、大きな空間ブラーを発生させないという利点が得られる。また、当該方法は、完全自動化され得るものであり、あまりノイズを含まないシーケンスから非常にノイズが多いシーケンスまでさまざまなレベルのノイズを含むシーケンスに、ノイズの無いシーケンスにおいて顕著なアーチファクトを発生させることなく、または、視覚品質を劣化させることなく、適用することができる。
例えば、本発明の一部の実施形態は、ノイズを含む可能性があるコンテンツからノイズを除去するノイズ除去モジュールの恩恵を享受するディスプレイおよび／またはセットトップボックスに組み込まれるべきビデオ処理パイプラインで有用であるとしてよい。例えば、本発明の一部の実施形態は、機能固定ハードウェアとして実現されるとしてよい。例えば、本発明の一部の実施形態は、特定用途向けプロセッサまたは汎用プロセッサで実行されるソフトウェアとして実現されるとしてもよい。モジュールに関連付けて説明したが、当業者であれば、記載したモジュールは必ずしも固定成分を持つディスクリートな構成要素ではないことに想到するであろう。そのようなモジュールはむしろ、プロセッサベースのシステムのアーキテクチャ全体にわたって分散して設けられているハードウェアおよび／またはソフトウェアをさまざまに組み合わせることによって実現されるとしてよい。
当業者であれば、図１から図３のフローチャートおよび図４から図１０のブロック図は、ハードウェア、ソフトウェアおよび／またはファームウェアをどのように配して実現するとしてもよいことに想到するであろう。例えば、上述のフローチャートおよびブロック図は、特定用途向けハードウェア回路のみで実現されるとしてよい。これに代えて、上述のフローチャートおよびブロック図は、汎用プロセッサで実行されるソフトウェアのみで実現するとしてもよい。これに代えて、上述のフローチャートおよびブロック図は、特定用途向けハードウェア、および、汎用プロセッサで実行されるソフトウェアで実行される部分をそれぞれ選択して分割するとしてもよい。
本発明の上記およびその他の側面は、別々でも組み合わせても実現される。本発明は、請求項で要件であることを明示していなければ、本発明の上記およびその他の側面の２つ以上の側面を必要とするものと解釈されるべきではない。また、現時点において好ましい例と見なされる内容に関連付けて本発明を説明したが、本発明は開示した例に限定されるものではなく、逆に、本発明の意図および範囲に含まれるさまざまな変形例および均等例も含むことを意図するものと理解されたい。

Claims (15)

  1. ビデオシーケンスを処理する方法であって、
    入力ビデオシーケンス解像度を持つ入力ビデオシーケンスを受信する段階と、
    前記入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階と、
    アラインメントされた前記複数の画像に含まれるノイズを低減する段階と、
    ノイズが低減された前記複数の画像に基づき、解像度が前記入力ビデオシーケンス解像度と同じである出力ビデオシーケンスを生成する段階と
    を備え、
    前記ノイズを低減する段階では、前記入力ビデオシーケンスから推定され、垂直画素差および水平画素差の絶対差の中央値に基づく前記ノイズの推定を利用するスケールパラメータを用いて、前記ノイズを低減させる方法。
  2. 前記入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階はさらに、前記入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階の前に、前記入力ビデオシーケンスのオプティカルフローを推定する段階を有する請求項１に記載の方法。
  3. 前記入力ビデオシーケンスは、基準フレームと、前記基準フレームに対して相対的に決まる少なくとも１つの前方フレームおよび少なくとも１つの後方フレームとを含む
    請求項２に記載の方法。
  4. アラインメントされた前記複数の画像に含まれるノイズを低減する段階は、共役勾配極小化に対応する反復前方および後方再マッピングを前記アラインメントされた複数の画像に対して実行する段階を有する請求項１から３のいずれか一項に記載の方法。
  5. アラインメントされた前記複数の画像に含まれるノイズを低減する段階は、反復ライン極小化を実行する段階を有する請求項４に記載の方法。
  6. アラインメントされた前記複数の画像に含まれるノイズを低減する段階は、基準フレームに対して前記アラインメントされた複数の画像のそれぞれに画像ワーピングを実行する段階を有し、
    前記アラインメントされた複数の画像の強度は、前記基準フレームのノイズ除去バージョンを取得するために合成される請求項１から５のいずれか一項に記載の方法。
  7. アラインメントされた前記複数の画像に含まれるノイズを低減する段階は、ワーピングが実行された前記アラインメントされた複数の画像に対して、時間および空間においてバイラテラルフィルタリングを実行して前記強度を合成する段階を有する請求項６に記載の方法。
  8. 入力ビデオシーケンス解像度を持つ入力ビデオシーケンスを受信する第１のモジュールと、
    前記第１のモジュールに結合されており、前記入力ビデオシーケンスに含まれている複数の画像をアラインメントする第２のモジュールと、
    前記第２のモジュールに結合されており、アラインメントされた前記複数の画像に基づき前記入力ビデオシーケンスに含まれているノイズを低減する第３のモジュールと、
    前記第３のモジュールに結合されており、ノイズが低減された前記入力ビデオシーケンスに基づき、前記入力ビデオシーケンス解像度以下の解像度の出力ビデオシーケンスを生成する第４のモジュールと
    を備え、
    前記第３のモジュールは、前記入力ビデオシーケンスから推定され、垂直画素差および水平画素差の絶対差の中央値に基づく前記ノイズの推定を利用するスケールパラメータを用いて、前記ノイズを低減させるビデオ処理装置。
  9. 前記第２のモジュールは、前記入力ビデオシーケンスのオプティカルフローを推定するモジュールを有する請求項８に記載のビデオ処理装置。
  10. 前記入力ビデオシーケンスは、基準フレームと、前記基準フレームに対して相対的に決まる少なくとも１つの前方フレームおよび少なくとも１つの後方フレームとを含む請求項９に記載のビデオ処理装置。
  11. 前記第３のモジュールは、共役勾配極小化に対応する反復前方および後方再マッピングを前記アラインメントされた複数の画像に対して実行するモジュールを有する請求項８から１０のいずれか一項に記載のビデオ処理装置。
  12. 前記第３のモジュールはさらに、反復ライン極小化を実行するモジュールを有する請求項１１に記載のビデオ処理装置。
  13. 前記第３のモジュールは、基準フレームに対して前記アラインメントされた複数の画像のそれぞれに画像ワーピングを実行するモジュールを有し、
    前記アラインメントされた複数の画像の強度は、前記基準フレームのノイズ除去バージョンを取得するために合成される請求項８から１２のいずれか一項に記載のビデオ処理装置。
  14. 前記第３のモジュールはさらに、ワーピングが実行された前記アラインメントされた複数の画像に対してバイラテラルフィルタリングを実行して前記強度を合成するモジュールを有する
    請求項１３に記載のビデオ処理装置。
  15. コンピュータを請求項８から１４のいずれか一項に記載のビデオ処理装置として機能させるためのプログラム。
JP2011544464A 2008-12-30 2009-12-16 ビデオに含まれるノイズを低減する方法、装置およびプログラム Expired - Fee Related JP5497066B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/317,806 2008-12-30
US12/317,806 US8903191B2 (en) 2008-12-30 2008-12-30 Method and apparatus for noise reduction in video
PCT/US2009/068185 WO2010077913A2 (en) 2008-12-30 2009-12-16 Method and apparatus for noise reduction in video

Publications (2)

Publication Number Publication Date
JP2012514419A JP2012514419A (ja) 2012-06-21
JP5497066B2 true JP5497066B2 (ja) 2014-05-21

Family

ID=42284495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011544464A Expired - Fee Related JP5497066B2 (ja) 2008-12-30 2009-12-16 ビデオに含まれるノイズを低減する方法、装置およびプログラム

Country Status (11)

Country Link
US (1) US8903191B2 (ja)
JP (1) JP5497066B2 (ja)
KR (2) KR101573974B1 (ja)
CN (1) CN102171722B (ja)
DE (1) DE112009002658T5 (ja)
FI (1) FI126544B (ja)
GB (1) GB2478438B (ja)
HK (1) HK1160270A1 (ja)
RU (1) RU2486591C2 (ja)
SG (1) SG172407A1 (ja)
WO (1) WO2010077913A2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903191B2 (en) 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US8331714B2 (en) * 2009-02-23 2012-12-11 Sharp Laboratories Of America, Inc. Methods and systems for image processing
US9286691B2 (en) * 2009-04-17 2016-03-15 The Hong Kong University Of Science And Technology Motion estimation and compensation of feature-motion decorrelation
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
JP5726482B2 (ja) * 2010-11-08 2015-06-03 株式会社東芝 画像処理装置及びそれを用いたｘ線診断装置、画像処理装置の作動方法
US8923392B2 (en) 2011-09-09 2014-12-30 Adobe Systems Incorporated Methods and apparatus for face fitting and editing applications
EP2783344B1 (en) * 2011-11-23 2017-05-03 Koninklijke Philips N.V. Image domain de-noising
DE102011121332A1 (de) * 2011-12-16 2013-06-20 Testo Ag Verfahren zur Erzeugung von SR-Bildern mit verbesserter Bildauflösung und Messvorrichtung
US9639915B2 (en) * 2012-08-08 2017-05-02 Samsung Electronics Co., Ltd. Image processing method and apparatus
KR101652658B1 (ko) * 2014-02-07 2016-08-30 가부시키가이샤 모르포 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체
US9311690B2 (en) * 2014-03-11 2016-04-12 Adobe Systems Incorporated Video denoising using optical flow
WO2016114684A1 (ru) * 2015-01-16 2016-07-21 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) Способ повышения резкости цифрового изображения
US11238564B2 (en) * 2015-03-21 2022-02-01 Mine One Gmbh Temporal de-noising
EP3274986A4 (en) 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
US11132769B2 (en) 2016-03-23 2021-09-28 Koninklijke Philips N.V. Image quality by two pass temporal noise reduction
US10504211B2 (en) * 2017-03-10 2019-12-10 Disney Enterprises, Inc. Sample-based video denoising
CN109509146B (zh) * 2017-09-15 2023-03-24 腾讯科技（深圳）有限公司 图像拼接方法及装置、存储介质
CN109949221B (zh) * 2019-01-30 2022-05-17 深圳大学 一种图像处理方法及电子设备
US11176682B2 (en) * 2019-11-27 2021-11-16 Nvidia Corporation Enhanced optical flow estimation using a varied scan order
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN113938575B (zh) * 2021-07-23 2023-06-13 东莞理工学院 一种视频超分辨率重构方法、装置、终端设备及存储介质

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561975A (ja) 1991-08-31 1993-03-12 Sony Corp 信号マツチング装置
US5208673A (en) 1991-11-05 1993-05-04 Matsushita Electric Corporation Of America Noise reduction in frame transmitted video signals
JP3306671B2 (ja) * 1992-09-24 2002-07-24 日本テキサス・インスツルメンツ株式会社 ノイズ低減回路
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US5453792A (en) * 1994-03-18 1995-09-26 Prime Image, Inc. Double video standards converter
US5442407A (en) 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
JPH0865682A (ja) 1994-08-25 1996-03-08 Sanyo Electric Co Ltd 動画像の動き補償予測方式
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6408104B1 (en) * 1997-12-31 2002-06-18 Lg Electronics Inc. Method and apparatus for eliminating noise in a video signal encoder
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6681058B1 (en) * 1999-04-15 2004-01-20 Sarnoff Corporation Method and apparatus for estimating feature values in a region of a sequence of images
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
WO2001028238A2 (en) * 1999-10-08 2001-04-19 Sarnoff Corporation Method and apparatus for enhancing and indexing video and audio signals
US7289154B2 (en) * 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
JP3619136B2 (ja) 2000-09-25 2005-02-09 キヤノン株式会社 画像形成装置
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
KR100405150B1 (ko) * 2001-06-29 2003-11-10 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
US20030095696A1 (en) * 2001-09-14 2003-05-22 Reeves Anthony P. System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans
US7711044B1 (en) * 2001-10-29 2010-05-04 Trident Microsystems (Far East) Ltd. Noise reduction systems and methods
JP3856031B2 (ja) * 2002-06-25 2006-12-13 松下電器産業株式会社 動き検出装置及びそれを用いたノイズリダクション装置
US6824514B2 (en) * 2002-10-11 2004-11-30 Koninklijke Philips Electronics N.V. System and method for visualizing scene shift in ultrasound scan sequence
US7218792B2 (en) 2003-03-19 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Stylized imaging using variable controlled illumination
JP4017578B2 (ja) * 2003-09-19 2007-12-05 三洋電機株式会社 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
RU2295297C2 (ru) * 2003-12-02 2007-03-20 Александр Васильевич Жукоцкий Способ исследования и диагностики состояния биологического объекта или его части
JP2005295302A (ja) 2004-04-01 2005-10-20 Mitsubishi Electric Corp カメラ画像処理装置
JP2005295287A (ja) 2004-04-01 2005-10-20 Shibasoku:Kk 映像信号処理装置
US7447382B2 (en) 2004-06-30 2008-11-04 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
JP4640579B2 (ja) 2005-01-27 2011-03-02 ソニー株式会社 情報処理装置および回収基板
JP5352942B2 (ja) 2005-03-31 2013-11-27 株式会社ニコン 画像処理方法、画像処理プログラム、および画像処理装置
JP2006319136A (ja) 2005-05-12 2006-11-24 Mitsubishi Electric Corp 高周波モジュール
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US7519235B1 (en) * 2005-10-24 2009-04-14 Adobe Systems Incorporated Using nonlinear filtering while resizing an image to preserve sharp image detail
JP4679372B2 (ja) 2006-01-20 2011-04-27 株式会社日立製作所 映像ノイズ削減処理装置及び映像表示装置
US7861068B2 (en) 2006-03-07 2010-12-28 Intel Corporation Method and apparatus for using dynamic workload characteristics to control CPU frequency and voltage scaling
JP4859516B2 (ja) 2006-04-27 2012-01-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像復元方法
JP2006221190A (ja) 2006-05-01 2006-08-24 National Institute Of Advanced Industrial & Technology 共焦点走査型顕微鏡システム
GB0611969D0 (en) * 2006-06-16 2006-07-26 Robert Gordon The University Video content prioritisation
US7945117B2 (en) * 2006-08-22 2011-05-17 Siemens Medical Solutions Usa, Inc. Methods and systems for registration of images
US7760848B2 (en) 2006-09-08 2010-07-20 General Electric Company Method and system for generating a multi-spectral image of an object
US20080112630A1 (en) 2006-11-09 2008-05-15 Oscar Nestares Digital video stabilization based on robust dominant motion estimation
CN100530239C (zh) 2007-01-25 2009-08-19 复旦大学 基于特征匹配与跟踪的视频稳定方法
CN101543065B (zh) * 2007-02-20 2012-03-14 索尼株式会社 图像显示装置、视频信号处理器以及视频信号处理方法
JP4321626B2 (ja) 2007-05-23 2009-08-26 ソニー株式会社 画像処理方法および画像処理装置
WO2009066186A2 (en) * 2007-11-21 2009-05-28 University Of Manitoba System and methods of improved tomography imaging
US8718133B2 (en) * 2008-03-26 2014-05-06 Samsung Electronics Co., Ltd. Method and system for image scaling detection
US8339456B2 (en) * 2008-05-15 2012-12-25 Sri International Apparatus for intelligent and autonomous video content generation and streaming
US8903191B2 (en) 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US8712156B2 (en) * 2010-01-10 2014-04-29 Bronstein Bronstein Kimmel Technologies Ltd. Comparison of visual information
US8447565B2 (en) * 2010-06-07 2013-05-21 Lawrence Livermore National Security, Llc Approximate error conjugation gradient minimization methods
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement

Also Published As

Publication number Publication date
KR101573974B1 (ko) 2015-12-02
SG172407A1 (en) 2011-07-28
GB201105549D0 (en) 2011-05-18
FI20115688A (fi) 2011-06-30
CN102171722B (zh) 2014-08-13
WO2010077913A2 (en) 2010-07-08
US20100165206A1 (en) 2010-07-01
WO2010077913A3 (en) 2010-09-02
KR101252363B1 (ko) 2013-04-08
HK1160270A1 (en) 2012-08-10
RU2011131987A (ru) 2013-02-10
KR20120114386A (ko) 2012-10-16
FI126544B (fi) 2017-02-15
CN102171722A (zh) 2011-08-31
DE112009002658T5 (de) 2012-08-02
KR20110048591A (ko) 2011-05-11
US8903191B2 (en) 2014-12-02
RU2486591C2 (ru) 2013-06-27
GB2478438A (en) 2011-09-07
JP2012514419A (ja) 2012-06-21
GB2478438B (en) 2014-06-25

Similar Documents

Publication Publication Date Title
JP5497066B2 (ja) ビデオに含まれるノイズを低減する方法、装置およびプログラム
EP2266095B1 (en) Method and apparatus for super-resolution of images
JP5543605B2 (ja) 空間画像事前確率を用いたぼけ画像修正
US7840095B2 (en) Image processing method, image processing apparatus, program and recording medium
US8755636B2 (en) Method and apparatus of high-resolution image reconstruction based on multi-frame low-resolution images
US8428390B2 (en) Generating sharp images, panoramas, and videos from motion-blurred videos
EP1351502A1 (en) Enhanced resolution video construction method and apparatus
JP6236259B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2008091979A (ja) 画像高画質化装置、及びその方法、並びに画像表示装置
CN107155096B (zh) 一种基于半误差反向投影的超分辨率重建方法及装置
Takeda et al. Spatio-temporal video interpolation and denoising using motion-assisted steering kernel (MASK) regression
JP2013069012A (ja) 多眼撮像装置
JP2008306608A (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP4714062B2 (ja) 高解像度画像を生成する画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体
Lokhande A matlab based GUI for multiframe super resolution reconstruction of different gray scale images with and without adaptive filter
Zhang et al. Multi-frame Image Super-resolution Reconstruction based on GPOF Registration and L1-norm
Kyamakya et al. Super Resolution Challenges and Rewards
Gavade et al. A Survey on Image Reconstruction Using Super Resolution
Mudugamuwa et al. Efficient super-resolution by finer sub-pixel motion prediction and bilateral filtering
JP2011248475A (ja) 画像処理装置、画像処理方法
Vliegen et al. Advances in super-resolution for high quality television applications
Brüggemann et al. Temporally recursive robust detail reconstruction from stereo 3D sequences
JP2009129073A (ja) 高解像度化装置及び方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130524

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140305

R150 Certificate of patent or registration of utility model

Ref document number: 5497066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees