JP7078139B2 - ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体 - Google Patents

ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体 Download PDF

Info

Publication number
JP7078139B2
JP7078139B2 JP2020563729A JP2020563729A JP7078139B2 JP 7078139 B2 JP7078139 B2 JP 7078139B2 JP 2020563729 A JP2020563729 A JP 2020563729A JP 2020563729 A JP2020563729 A JP 2020563729A JP 7078139 B2 JP7078139 B2 JP 7078139B2
Authority
JP
Japan
Prior art keywords
image
feature point
region
video stabilization
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020563729A
Other languages
English (en)
Other versions
JP2021534600A (ja
Inventor
イウェイ ワン
リイェヌ リィウ
ウェイ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2021534600A publication Critical patent/JP2021534600A/ja
Application granted granted Critical
Publication of JP7078139B2 publication Critical patent/JP7078139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理の分野に関し、特に、ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体及びコンピュータプログラムに関する。
ビデオ安定化方法は、主に、結像システム、照準システム、測位システムなどの外乱を除去するために使用される。具体的には、ビデオ安定化方法は、２つのクラス、即ち、センサーベースのビデオ安定化方法とアルゴリズムベースのビデオ安定化方法に大別することができる。代表的なアルゴリズムベースのビデオ安定化方法は、通常、動き推定、動き平滑化及び動き補償のステップを含む。これらのステップを実行することで、カメラの動きずれを把握することができるため、該カメラが撮影したビデオを出力する際に動きずれを解消することができる。これにより、より安定した画像シーケンス（即ち、ビデオ）を表示することができ、つまり、その出力品質を向上させることができる。
しかし、従来技術におけるアルゴリズムベースのビデオ安定化方法では、多くの場合、動き推定を実行するときに、カメラが撮影した画像（「フレーム」、「ビデオ画像」又は「ビデオフレーム」とも称される）内のすべての物体の移動状態が含まれる。実際のシーンにおける移動物体の移動状態が画像に含まれると、ビデオ安定化の計算結果に干渉を生じ、外乱除去効果やビデオ品質が低下する恐れがある。
本発明の目的は、上述の技術的問題を解決するために、ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体及びコンピュータプログラムを提供することにある。
本発明の第一側面によれば、ビデオ安定化方法が提供され、それは、
第一画像における第一領域を選択し；
選択された前記第一領域に基づいて1つ又は複数の第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチ対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
取得された前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータの推定を行い；及び
推定された前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得するステップを含む。
本発明の第二側面によれば、ビデオ安定化装置が提供され、それは、
第一画像における第一領域を選択する選択部；
選択された前記第一領域に基づいて1つ又は複数の第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチ対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含むマッチング部；
取得された前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータの推定を行う推定部；及び
推定された前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得する補償部を含む。
本発明の第三側面によれば、ビデオ安定化装置が提供され、それは、
コンピュータ実行可能な指令を記憶している記憶器；及び
前記記憶器に接続される処理器を含み、
前記コンピュータ実行可能な指令は、前記処理器により実行されるときに、前記処理器に、
第一画像における第一領域を選択し；
選択された前記第一領域に基づいて1つ又は複数の第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチ対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
取得された前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータの推定を行い；及び
推定された前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得するステップを実行させる。
本発明の第四側面によれば、コンピュータ実行可能な指令を記憶している非一時的コンピュータ可読媒体が提供され、前記コンピュータ実行可能な指令は、処理器により実行されるときに、前記処理器に、
第一画像における第一領域を選択し；
選択された前記第一領域に基づいて1つ又は複数の第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチ対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
取得された前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータの推定を行い；及び
推定された前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得するステップを実行させる。
本発明の第五側面によれば、コンピュータプログラムが提供され、それは、処理器に、
第一画像における第一領域を選択し；
選択された前記第一領域に基づいて1つ又は複数の第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチ対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
取得された前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータの推定を行い；及び
推定された前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得するステップを実行させることができる。
本発明により、ビデオ安定化アルゴリズムに影響を与えることができるビデオ画像におけるシーン領域の、画像補償に対する干渉を回避することができるため、関連するビデオの出力品質を向上させることができる。
本発明の第一実施例によるビデオ安定化方法のフローチャートである。 本発明の第一実施例に用いられる第一画像を示す図である。 図2Aに示す第一画像に対して行われるオプティカルフローの計算を示す図である。 本発明の第一実施例で取得される物体検出結果を示す図である。 本発明の第一実施例で取得される他の物体検出結果を示す図である。 パノラマカメラが撮影した三次元（3D）画像に対して投影を行うことで取得される正距円筒画像（Equirectangular Image）における異なる部分の理論的移動方向を示す図である。 本発明の第二実施例によるビデオ安定化装置のブロック図である。 本発明の第三実施例による他のビデオ安定化装置のブロック図である。
当業者が本発明をよりよく理解するために、以下、図面を参照しながら本発明の実施例を詳細に説明する。なお、本明細書及び図面において同一の符号は、基本的に同一の機能や構成を有する構成要素を表し、また、構成要素の説明の繰り返しは省略する。
本発明の実施例では、従来技術における特徴点マッチング及び動き推定の精度が十分ではないという問題を解決するために、ビデオ画像をビデオ安定化のプロセスで複数の領域に分割し、そして、分割した領域に基づいて特徴点マッチング及び後続の動き推定、動き補償を行う。これにより、ビデオの出力品質を向上させることができる。
＜第一実施例＞
図1は、本実施例によるビデオ安定化方法のフローチャートである。
なお、ビデオ安定化方法は、通常のカメラで撮影した二次元（2D）画像だけでなく、パノラマカメラで撮影した3D画像にも適用することができるが、本発明は、これに限定されない。
図1に示すように、ステップS101において、第一画像における第一領域を選択する。
画像における移動物体を含む動き推定及び画像全体の動き補償により、画像内の静的物体に対しての過剰な補償を引き起こす可能性があることを考慮して、画像におけるシーン領域（例えば、移動物体の所在する領域）の、ビデオ安定化に対する干渉をできるだけ回避するために、このステップでは、ビデオ安定化処理待ちの第一画像に対して領域選択行うことで、1つ又は複数の第一領域を取得する。
オプションとして、第一画像は、収集されたビデオ画像の中の現在のフレームであっても良いが、もちろん、その中のどんなフレームであっても良い。また、移動ロボット、インテリジェント自動車、ドローンなどに設けられた撮影部により、第一画像、後述する第二画像などを撮影することが可能である。撮影部は、単レンズカメラ又はビデオカメラであっても良いが、明らかのように、2レンズ又はマルチレンズのカメラ或いはビデオカメラであっても良い。
一例では、ビデオ画像が2D画像である場合、第一領域は、その中から直接選択することができる。別の例では、ビデオ画像が3D画像である場合、ビデオ画像に対して座標変換を行うことで2D画像（例えば、経度・緯度画像）を取得し、そして、2D画像における第一領域を選択することができる。
また、一例では、第一画像から選択される第一領域は、画素が第一状態を有する１つ又は複数の第一領域を含み得る。第一状態は、非移動状態であり、該非移動状態は、静止状態、及び、画素の瞬間移動速度が所定の閾値未満である状態を含んでも良い。
具体的には、第一画像のオプティカルフロー値に基づいて、第一画像における第一領域を選択することが可能である。一般的に言えば、オプティカルフローは、画像内のすべての画素の動き情報を表すために使用することができ、また、関連するオプティカルフローフィールドは、画像内のすべての画素により形成される瞬間移動速度フィールドを示すことができる。よって、非移動状態にある画素を含む第一画像における第一領域を決定するために、第一画像における各画素のオプティカルフロー値を計算し、そして、画素のオプティカルフロー値が所定の閾値未満である領域を第一領域として取得することができる。ここで、所定の閾値は、第一画像全体のオプティカルフロー値の平均値を計算することにより得ることができる。
図2Aは、第一画像を示す図であり、図2Bは、図2Aに示す第一画像に対して行われるオプティカルフローの計算を示す図である。
図2A及び図2Bから分かるように、第一画像内の相対的に静止している物体、例えば、木、中央にある人物などに対応する画素のオプティカルフロー値は、比較的小さい（図2Bでは、このような物体の色が比較的明るい）。これに対して、第一画像内の相対的に移動している物体、例えば、ベビーカーを押す歩行者、ランニングしている人々などに対応する画素のオプティカルフロー値は、比較的大きい（図2Bでは、このような物体の色が比較的暗い）。このため、オプティカルフロー値を使用することで、後続の特徴点マッチングステップ及び動き推定ステップから第一画像内の相対的に移動している物体を除去し、ビデオ安定化の精度を高めることができる。
例えば、図2Bにおいて特定のオプティカルフロー値（例えば、平均オプティカルフロー値）が所定の閾値を超えた領域を矩形枠により選択し、そして、図2Aから選択された領域を差し引くことにより、残りの領域を第一画像の第一領域とすることができる。なお、明らかのように、実際の応用では、矩形枠の代わりに、画素又は画素グループを使用することで同じ処理を行うこともできる。
また、別の例では、人工知能（AI）ベースのアプローチ、例えば、ディープラーニングを採用することで、第一画像に対して物体検出を行い、そして、物体検出結果に基づいてその中の第一領域を取得することができる。この例では、第一画像における第一領域を選択することは、第一画像に対して物体検出を行い、そして、第一画像から検出された少なくとも1つの物体の種類に基づいて、少なくとも1つの第一領域を選択することを含んでも良い。ここで、各第一領域は、対応する重み値を有する。
例示として、第一画像に対して物体検出を行うことにより、複数の種類の物体を取得することができる。その後、異なる種類の物体に基づいて、異なる種類の異なる物体の所定する異なる第一領域に異なる重み値を与えることができる。
図3A及び図3Bは、それぞれ、前述の物体検出プロセスを行った後に得られた例示的な結果を示す図である。
図3Aに示す検出物体は、窓（WINDOW）及び扉（DOOR）であり、図3Bに示す検出物体は、建物（BUILDING）である。もちろん、図3A及び図3Bに示すのは、例示に過ぎない。実際の応用では、第一画像に対応する異なるシーンに基づいて、様々な種類の物体、例えば、人物、車、動物、木、空、道路、机、椅子などを検出することができる。第一画像における物体及びその種類が確定された後に、異なる種類の物体の所在する異なる第一領域を選択することができる。また、異なる物体の種類に応じて、異なる第一領域に異なる重み値を与えることができる。
例えば、相対的に静止している物体の所在する第一領域に、比較的大きい重み値を与えることができる。これに対して、相対的に移動している物体の所在する第一領域に、比較的小さい重み値を与えることができる。具体的には、空、建物、扉、窓、机又は椅子の所在する第一領域に重み値0.9を与えることができ、また、人物、車又は動物の所在する第一領域に重み値0.1を与えることができる。もちろん、上述の物体検出方法及び重み値割り当て方法は、例示に過ぎない。実際の応用では、他の任意の物体検出方法及び重み値割り当て方法を採用しても良い。
再び図1を参照するに、ステップS102において、第一画像から選択された第一領域に基づいて1つ又は複数の特徴点を決定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、第一画像と第二画像との間の少なくとも1つの特徴点マッチング対を取得する。ここで、各特徴点マッチング対は、第一画像の第一特徴点及び第二画像の第二特徴点を含む。
このステップでは、第一画像における第一領域を選択するための異なる方式及び基準に従って、異なる方式を採用して第一特徴点を確定しても良い。一例として、非移動状態にある画素を有する第一画像における第一領域を選択した後に、第一領域に対して特徴点検出を行い、そして、検出した特徴点を、特徴点マッチングを行うための第一特徴点としても良い。具体的には、オプティカルフローベースのアプローチが第一画像から第一領域を選択するために使用される場合、選択された第一画像のみに対して特徴点検出を行っても良い。これは、重み値1を選択された第一領域に与え、その中のすべての特徴点（100％の特徴点）を、第二画像内の対応する領域と特徴点マッチングを行って少なくとも1つの特徴点マッチング対を得るための第一特徴点として選択することに相当する。
それに応じて、第一画像から第一領域を選択するための方式と同様の方式で、第二画像における第二領域を選択することもできる。例えば、オプティカルフローベースのアプローチを用いて、第二画像から選択された、非移動状態にある画素を有する第二領域に対して特徴点検出を行い、そして、第一画像及び第二画像内の特徴点が確定された後に、第一画像における第一特徴点及び第二画像における第二特徴点を用いて特徴点マッチングを行い、少なくとも1つの特徴点マッチング対を取得することができる。
なお、上述の選択方式は、例示に過ぎない。別の場合、第一画像における第一領域及び非特定領域から特定の数又は割合の特徴点をそれぞれ選択して第一特徴点とし、第二画像内の対応する第二特徴点と特徴点マッチングを行うことも可能である。
或いは、前述の物体検出により、第一画像から異なる重み値を有する1つ又は複数の第一領域を選択した後に、検出された1つ又は複数（或いは、少なくとも一部）の特徴点を、第一領域に対応する重み値に基づいて特徴点マッチングを行うための第一特徴点としても良い。例えば、第一画像に空、建物、木及び人物が存在すると判断された場合、これらの種類の物体のそれぞれの所在する領域を第一領域とすることができる。その後、空及び建物に対応する第一領域に所定の重み値1を与え、木に対応する第一領域に所定の重み値0.9を与え、また、人物に対応する第一領域に所定の重み値0.1を与えても良い。
この場合では、重み値は、それぞれの第一領域における1つ又は複数の第一特徴点を選択するための比率とされても良い。つまり、各第一領域に対応する比率に基づいて、該第一領域から1つ又は複数の特徴点を1つ又は複数の第一特徴点として選択しても良い。具体的には、空及び建物のそれぞれの所在する第一領域におけるすべての特徴点（即ち、100％の特徴点）は、対応する比率（重み値）がすべて1であるので、第一特徴点として選択することができる。木の所在する第一領域における90％の特徴点は、対応する比率（重み値）が0.9であるので、第一特徴点として選択することができる。また、人物の所在する第一領域における10％の特徴点は、対応する比率（重み値）が0.1であるので、第一特徴点として選択することができる。なお、本発明は、これに限られない。例えば、所定のルールに従って、第一画像内の少なくとも1つの第一特徴点を選択しても良い。
また、一例では、上述のように、第一画像から第一領域を選択するための方式と同様の方式で、第二画像における1つ又は複数の第二領域を選択しても良い。第二画像における第二領域が取得された後に、各第二領域と、第一画像内の対応する第一領域との間の対応関係を確立し、また、第二領域に基づいて、特徴点検出、特徴点マッチングなどを行っても良い。
例えば、第一画像の第一領域のみに対して特徴点検出を行い、且つ検出されたすべての特徴点を、特徴点マッチングを行うための第一特徴点とすると判断された場合、第一画像の第一領域に対応する第二画像の第二領域に対して特徴点検出を行い、検出されたすべての特徴点を、特徴点マッチングを行うための第二特徴点としても良い。或いは、第一画像における第一領域から特定の数又は割合の特徴点を第一特徴点として選択すると判断された場合、第一画像における第一領域に対応する第二画像における第二領域から同じ数又は割合の特徴点を第二特徴点として選択しても良い。オプションとして、これを基に、ビデオの一部又は全部のフレームに対して領域分割及び領域選択を行い、そして、異なるフレーム間の特徴点検出及び特徴点マッチングを行っても良い。
本実施例では、特徴点検出は、SIFT（Scale Invariant Feature Transform）、SURF（Speeded UP Robust Features）、Harrisコーナー又はORB（Oriented FAST and Rotated BRIEF）ベースのアルゴリズムにより実現することができる。特徴点検出が行われた後に、オプションとして、検出された特徴点は、グレースケール特徴、勾配特徴、視差情報などを用いる様々な特徴記述方法で記述することができる。
また、第一画像と第二画像との間の特徴点マッチングは、例えば、GMS（Grid-based Motion Statistics）ベースのアルゴリズムにより実現することができる。特徴点マッチングを行う目的は、特徴点マッチング結果が正しいかを判断することで、幾つかの誤った又は不一致の特徴点を除去し、適切な特徴点及び関連する特徴点マッチング対を取得することにある。これにより、特徴点マッチングの安定性を向上させることができる。例示として、誤った特徴点マッチング対の除去は、動きの一致性（motion consistency）に基づく方法により実現することができる。
図4は、パノラマカメラが撮影した3D画像に対して投影を行うことにより得られた正距円筒画像における異なる部分の理論的移動方向を示す図である。
図4に示す場合では、3D画像は、パノラマカメラを地面と平行に移動させることにより取得されるものである。パノラマカメラが移動するにつれて、正距円筒画像の異なる部分における画素は異なる方向に沿って移動する。言い換えると、特徴点マッチングが図4に示すようなシーンで得られた第一画像及び第二画像に対して行われるときに、2つの画像の取得時点間の間隔、及び、得られた特徴点マッチング対における特徴点の実際の移動方向と、図4に示すような理論的移動方向との間の一致性に基づいて、誤った特徴点マッチング対を除去することができる。
以下、一例を挙げてより詳細に説明する。
この例では、次のように仮定し、即ち、第一画像及び第二画像が、隣接するフレームであり、
（外１）
Figure 0007078139000001
が、第一画像の第一特徴点及び第二画像の第二特徴点を含む特徴点マッチング対の実際の移動方向を示し、例えば、2つの特徴点を通る直線で表されても良く、
（外２）
Figure 0007078139000002
が、第一特徴点又は第二特徴点に対応する図4中の位置の理論的移動方向を表し、例えば、この位置を通過する曲線の、この位置における接線方向であっても良く、αが、
（外３）
Figure 0007078139000003
と
（外４）
Figure 0007078139000004
の間の角度であると仮定する。そうすると、以下の公式（1）を得ることができる。
Figure 0007078139000005
公式（1）は、移動方向が所定の条件を満たす特徴点マッチング対を選択するために用いられる。例えば、
Figure 0007078139000006
 の場合、関連する特徴点マッチング対は残り、そうでない場合、関連する特徴点マッチング対は除去する。なお、本発明は、これに限定されない。実際の応用では、特徴点マッチング対の選択を行うために、移動方向の一致性に基づく任意のマッチングアプローチを採用しても良い。
特徴点マッチングを行った後に、取得された各々の特徴点マッチング対は、第一画像の第一特徴点及び第二画像の第二特徴点を含む。つまり、第一画像の各第一特徴点と、第二画像の対応する第二特徴点とは、1対1の関係を有し、且つ1つの特徴点マッチング対を形成する。
再び図1を参照するに、ステップS130において、取得された特徴点マッチング対に基づいて動きパラメータの推定を行う。
第一画像の第一特徴点及び第二画像の第二特徴点を含む特徴点マッチング対が得られた後に、これに基づいて動きパラメータの推定を行うことができる。例えば、RANSAC（Random Sample Consensus）ベースのアプローチで、第一画像と第二画像との間のホモグラフィ行列（homography matrix）を推定することができる。
オプションとして、第二画像は、第一画像の直前のフレームであっても良く、即ち、2つの画像は、隣接するフレームである。この場合では、動きパラメータの推定を行うときに、後続の動き補償用の、第一画像と第二画像との間のホモグラフィ行列を推定するために、取得された特徴点マッチング対のみを利用しても良い。また、これを基に、第二画像と参照フレームとの間の相対移動をさらに利用することで、第一画像と参照フレームとの間の動きパラメータを、両者間の動き補償のために推定することができる。具体的には、まず、第一画像と第一画像の直前のフレーム（即ち、第二画像）との間のホモグラフィ行列を計算し、次に、参照画像に到達するまで、第二画像の、その前のフレームに対するホモグラフィ行列を順次計算し（例えば、第二画像と、使用される前の各フレームとの間のフレーム数は2の倍数であっても良い）、これにより、最終的には、動き補償のための、参照フレームに対する第一画像のホモグラフィ行列を得ることができる。
或いは、第二画像は、ビデオにおける参照フレームであっても良い。この場合では、取得された特徴点マッチング対を用いて、第一画像と第二画像（即ち、参照フレーム）との間のホモグラフィ行列を推定して、後続の動き補償のための推定される動きパラメータとすることができる。
言い換えると、取得される動きパラメータは、第二画像に対する第一画像の動きパラメータであっても良く、又は、所定の参照フレームに対する第一画像の動きパラメータであっても良い。これは、後続のステップで第一画像の動き補償がどのフレームに対して行われるかを決定する。
再び図1を参照するに、ステップS104において、推定された動きパラメータに基づいて、第一画像に対して動き補償を行い、第一安定画像を取得する。
このステップでは、動き補償を行う前に、平均フィルタリングにより、推定された動きパラメータ、例えば、上述のホモグラフィ行列に対して平滑化処理を行い、そして、平滑化後の動きパラメータを用いて、第一画像に対して動き補償を行うことも可能である。
具体的には、例えば、ホモグラフィ行列Roriginが与えられた場合、Roriginからオイラー角（Euler Angles）を導出することができ、そして、平均フィルタリングに基づく平滑化処理がオイラー角に対して行われた後に、平滑化後のオイラー角は、以下の公式（2）により表すことができる。
Figure 0007078139000007
ここで、nは、フレームの番号を示し、sizeは、平均フィルタリングに基づく平滑化処理に適用されるスライディングウィンドウのサイズを表す。
次に、平滑化後のオイラー角に基づいて、平滑化後の行列Rを以下のように取得することができる。
Figure 0007078139000008
その後、与えられた平滑化前のホモグラフィ行列Roriginと、平滑化後の行列Rとに基づいて第一画像に対して動き補償を行うことで、補償後の第一安定画像Stable（img）を以下の公式（4）に示すように得ることができる。
Figure 0007078139000009
ここで、Unstable（img）は、補償前の第一画像を示す。
一例では、第一画像が3Dビデオ画像である場合、Unstable（img）は3D画像であり、取得された第一安定画像Stable（img）も3D画像である。また、第一安定画像が得られた後に、第一安定画像に対して座標変換を行うことで、変換後の2D画像を取得することもできる。
別の例では、第一画像が2Dビデオ画像である場合、それを上述の公式に直接代入することで、3Dから2Dへの座標変換を行うことなく第一安定画像を取得することができる。
よって、本実施例によるビデオ安定化方法を用いて、第一画像から第一領域を選択し、そして、選択された第一領域に基づいて、特徴点マッチング、動きパラメータ推定及び動き補償を行うことで、画像内の移動物体を含む動き推定及び画像全体の動き補償による静的物体に対しての過剰な補償を回避することができる。これにより、ビデオの出力品質を向上させることができる。
＜第二実施例＞
図5は、本実施例によるビデオ安定化装置500のブロック図である。
なお、ビデオ安定化装置500は、第一実施例によるビデオ安定化方法を実行することができる。
図5に示すように、ビデオ安定化装置500は、選択部510、マッチング部520、推定部530及び補償部540を含む。もちろん、ビデオ安定化装置500は他の部品を含んでも良いが、このような部品は本実施例とは密接な関係がないため、ここでは図示及び説明を省略する。
具体的には、選択部510、マッチング部520、推定部530及び補償部540は、第一実施例におけるステップS101～S104（図１に示されている）を実行するように構成される。なお、これらのステップは第一実施例によるビデオ安定化方法において詳細に説明されているので、即ち、ステップS101～S104の詳細については第一実施例を参照することができるので、ここでは詳しい説明を省略する。
よって、本実施例によるビデオ安定化装置を用いて、第一画像から第一領域を選択し、そして、選択された第一領域に基づいて、特徴点マッチング、動きパラメータ推定及び動き補償を行うことで、画像内の移動物体を含む動き推定及び画像全体の動き補償による静的物体に対しての過剰な補償を回避することができる。これにより、ビデオの出力品質を向上させることができる。
＜第三実施例＞
図6は、本実施例における他のビデオ安定化装置600のブロック図である。
図6に示すように、ビデオ安定化装置600は、少なくとも1つの処理器610及び記憶器620を含み、記憶器620は、処理器610に接続される。なお、ビデオ安定化装置600は、他の部品を含んでも良いが、このような部品は、本実施例とは密接な関係がないため、ここでは図示及び説明を省略する。
具体的には、処理器610は、CPU（Central Processing Unit）或いはデータ処理能力及び／又は指令実行能力を有する任意の他の処理部であっても良く、且つ第一実施例によるビデオ安定化方法におけるステップS101～S104を実現するためのコンピュータプログラムを実行するように構成される。該コンピュータプログラムは、例えば、記憶器620に記憶されている。なお、ビデオ安定化方法におけるステップS101～S104の詳細については第一実施例を参照することができるので、ここでは詳しい説明を省略する。
また、記憶器は、フロッピーディスク、ハードディスク、CD ROM、磁気テープデバイス、ソリッドステートメモリデバイスなどのプロセッサー可読コンピュータプログラムを格納するための任意の記憶媒体であっても良い。
＜第四実施例＞
本実施例では、コンピュータプログラム及び非一時的コンピュータ可読媒体が提供され、以下のように簡単に説明される。
コンピュータプログラムは、コンピュータに、第一実施例によるビデオ安定化方法を実行させることができる。
また、非一時的コンピュータ可読媒体は、処理器又は処理システムを含むコンピュータにより実行されるコンピュータ実行可能な指令（即ち、コンピュータプログラム）を記憶することができる。コンピュータ実行可能な指令は、実行されるときに、処理器又は処理システムに、第一実施例によるビデオ安定化方法を実行させることができる。
なお、本発明の実施例は、例えば、専用ハードウェア又は専用ハードウェアとソフトウェアとの混合を使用して任意の便利な形で実装することができる。また、本発明の実施例は、1つ又は複数のネットワーク化された処理装置により実行されるコンピュータソフトウェアとして実装することができる。ネットワークは、インターネットなどの従来の地上又は無線通信ネットワークを含んでも良い。処理装置は、汎用コンピュータ、携帯情報端末、携帯電話（例えば、WAP又は3G準拠の電話）などの適切にプログラムされた装置を含んでも良い。本発明の実施例は、ソフトウェアとして実装することができるので、本発明のありとあらゆる態様は、プログラマブルデバイス上で実装可能なコンピュータソフトウェアを包含する。
コンピュータソフトウェアは、フロッピーディスク、ハードディスク、CD ROM、磁気テープデバイス、ソリッドステートメモリデバイスなどのプロセッサー可読コードを格納するための任意の記憶媒体を使用してプログラム可能なデバイスに提供されても良い。ハードウェアプラットフォームは、例えば、中央処理装置（CPU）、ランダムアクセスメモリ（RAM）、及びハードディスクドライブ（HDD）を含む任意のハードウェアリソースを含む。CPUは、任意のタイプ及び数のプロセッサーを含んでも良い。RAMは、任意の揮発性又は不揮発性メモリを含んでも良い。HDDは、大量のデータを記憶することができる任意の不揮発性メモリを含んでも良い。ハードウェアリソースは、装置の種類に応じて、入力デバイス、出力デバイス及びネットワークデバイスをさらに含み得る。HDDは、装置からアクセス可能であれば、装置の外部に設けられていても良い。この場合、CPU、例えば、CPUのキャッシュメモリ及びRAMは、装置の物理メモリ又は一次メモリとして動作し、HDDは、装置の二次メモリとして動作する。
以上、本発明の好ましい実施形態を説明したが、本発明はこのような実施形態に限定されず、本発明の趣旨を逸脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
本出願は、2018年05月15日に中国専利局に出願した、出願番号が201810461379.4である中国特許出願に基づく優先権を主張するものであり、その全内容を参照によりここに援用する。

Claims (13)

  1. ビデオ安定化方法であって、
    第一画像における第一領域を選択し；
    前記第一領域に基づいて少なくとも1つの第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチング対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含み；
    前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行い、動きパラメータを取得し；及び
    前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得することを含み、
    前記第一画像における第一領域を選択することは、
    前記第一画像に対して物体検出を行い、少なくとも1つの物体を取得し；及び
    前記第一画像における前記少なくとも1つの物体の種類に基づいて少なくとも1つの第一領域を選択し、各第一領域に重み値を与えることを含み、
    前記第一領域に基づいて少なくとも1つの第一特徴点を確定することは、
    前記少なくとも1つの第一領域に対して特徴点検出を行い、少なくとも1つの特徴点を取得し；及び
    前記少なくとも1つ第一領域に与えた前記重み値に基づいて、前記少なくとも1つの特徴点を前記少なくとも1つの第一特徴点とすることを含む、ビデオ安定化方法。
  2. 請求項1に記載のビデオ安定化方法であって、
    前記第一画像における第一領域を選択することは、前記第一画像内の、第一状態を有する画素を含む少なくとも1つの第一領域を選択することを含み、
    前記第一領域に基づいて少なくとも1つの第一特徴点を確定することは、前記少なくとも1つの第一領域に対して特徴点検出を行い、少なくとも1つの特徴点を前記少なくとも1つの第一特徴点として取得することを含む、ビデオ安定化方法。
  3. 請求項2に記載のビデオ安定化方法であって、
    前記第一状態は、非移動状態であり、
    前記非移動状態は、
    静止状態；及び
    画素の瞬間移動速度が所定の閾値よりも小さい状態を含む、ビデオ安定化方法。
  4. 請求項2に記載のビデオ安定化方法であって、
    前記第一画像内の、第一状態を有する画素を含む少なくとも1つの第一領域を選択することは、
    前記第一画像における各画素のオプティカルフロー値を計算し；及び
    画素のオプティカルフロー値が所定の閾値よりも小さい領域を前記第一領域とすることを含む、ビデオ安定化方法。
  5. 請求項1に記載のビデオ安定化方法であって、
    前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得することは、
    動きの一致性に基づくアプローチを用いて、誤った特徴点マッチング対を除去することを含む、ビデオ安定化方法。
  6. 請求項1に記載のビデオ安定化方法であって、
    前記動きパラメータに基づいて前記第一画像に対して動き補償を行うことは、
    平均フィルタリングにより、前記動きパラメータに対して平滑化処理を行い、平滑化後の動きパラメータを取得し；及び
    平滑化後の前記動きパラメータを用いて、前記第一画像に対して動き補償を行うことを含む、ビデオ安定化方法。
  7. 請求項1に記載のビデオ安定化方法であって、
    前記第二画像は、前記第一画像の隣接するフレームであり；又は
    前記第二画像は、ビデオにおける参照フレームである、ビデオ安定化方法。
  8. 請求項7に記載のビデオ安定化方法であって、
    前記第二画像が前記第一画像の隣接するフレームである場合、前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行うことは、
    前記少なくとも1つの特徴点マッチング対を用いて、前記第二画像に対する前記第一画像のホモグラフィ行列を推定することを含む、ビデオ安定化方法。
  9. 請求項8に記載のビデオ安定化方法であって、
    前記第二画像が前記第一画像の隣接するフレームである場合、前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行うことは、
    前記ホモグラフィ行列、及び、前記第二画像と前記参照フレームとの間の相対移動を用いて、前記第一画像と前記参照フレームとの間の動きパラメータを推定することをさらに含む、ビデオ安定化方法。
  10. ビデオ安定化装置であって、
    第一画像における第一領域を選択する選択部；
    前記第一領域に基づいて少なくとも1つの第一特徴点を確定し、前記第一画像と第二画像とに対して特徴点マッチングを行い、前記第一画像と前記第二画像との間の少なくとも1つの特徴点マッチング対を取得し、各特徴点マッチング対が前記第一画像の第一特徴点及び前記第二画像の第二特徴点を含むマッチング部；
    前記少なくとも1つの特徴点マッチング対に基づいて動きパラメータ推定を行い、動きパラメータを取得する推定部；及び
    前記動きパラメータに基づいて前記第一画像に対して動き補償を行い、補償後の第一安定画像を取得する補償部を含み、
    前記第一画像における第一領域を選択することは、
    前記第一画像に対して物体検出を行い、少なくとも1つの物体を取得し；及び
    前記第一画像における前記少なくとも1つの物体の種類に基づいて少なくとも1つの第一領域を選択し、各第一領域に重み値を与えることを含み、
    前記第一領域に基づいて少なくとも1つの第一特徴点を確定することは、
    前記少なくとも1つの第一領域に対して特徴点検出を行い、少なくとも1つの特徴点を取得し；及び
    前記少なくとも1つ第一領域に与えた前記重み値に基づいて、前記少なくとも1つの特徴点を前記少なくとも1つの第一特徴点とすることを含む、ビデオ安定化装置。
  11. ビデオ安定化装置であって、
    プログラムを記憶している記憶器；及び
    前記記憶器に接続される処理器を含み、
    前記プログラムは、前記処理器により実行されるときに、前記処理器に、請求項1乃至9のうちの任意の1項に記載のビデオ安定化方法を実行させる、ビデオ安定化装置。
  12. コンピュータに、請求項1乃至9のうちの任意の1項に記載のビデオ安定化方法を実行させるためのプログラム。
  13. 請求項12に記載のプログラムを記憶しているコンピュータ読み取り可能な記憶媒体。
JP2020563729A 2018-05-15 2019-05-09 ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体 Active JP7078139B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810461379.4A CN110493488B (zh) 2018-05-15 2018-05-15 视频稳像方法、视频稳像装置和计算机可读存储介质
CN201810461379.4 2018-05-15
PCT/JP2019/018626 WO2019221013A2 (en) 2018-05-15 2019-05-09 Video stabilization method and apparatus and non-transitory computer-readable medium

Publications (2)

Publication Number Publication Date
JP2021534600A JP2021534600A (ja) 2021-12-09
JP7078139B2 true JP7078139B2 (ja) 2022-05-31

Family

ID=66677191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020563729A Active JP7078139B2 (ja) 2018-05-15 2019-05-09 ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体

Country Status (5)

Country Link
US (1) US11748894B2 (ja)
EP (1) EP3794812B1 (ja)
JP (1) JP7078139B2 (ja)
CN (1) CN110493488B (ja)
WO (1) WO2019221013A2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557522A (zh) * 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 一种去除视频抖动的方法及装置
US10892287B2 (en) 2019-01-18 2021-01-12 Cista System Corp. Image sensor with image receiver and automatic image switching
US11704895B2 (en) * 2019-09-27 2023-07-18 Ghost Autonomy Inc. Camera data normalization for an autonomous vehicle
CN113132560B (zh) * 2019-12-31 2023-03-28 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质
CN113256679A (zh) * 2021-05-13 2021-08-13 湖北工业大学 一种基于车载后视镜系统的电子稳像算法
CN113658238B (zh) * 2021-08-23 2023-08-08 重庆大学 一种基于改进特征检测的近红外静脉图像高精度匹配方法
CN113794842B (zh) * 2021-11-16 2022-02-08 广东皓耘科技有限公司 视频图像处理方法、装置、系统、电子设备及存储介质
CN114827473B (zh) * 2022-04-29 2024-02-09 北京达佳互联信息技术有限公司 视频处理方法和装置
WO2024063675A1 (en) * 2022-09-21 2024-03-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for generating three-dimensional representations

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4212109B2 (ja) 2007-03-20 2009-01-21 パナソニック株式会社 撮影装置および撮影方法
US20180070013A1 (en) 2015-10-15 2018-03-08 Agt International Gmbh Method and system for stabilizing video frames

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2798761B1 (fr) * 1999-09-17 2002-03-29 Thomson Multimedia Sa Procede de construction d'un modele de scene 3d par analyse de sequence d'images
JP4249478B2 (ja) * 2002-12-27 2009-04-02 東京瓦斯株式会社 流量計測装置
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置
WO2008111169A1 (ja) * 2007-03-13 2008-09-18 Fujitsu Microelectronics Limited 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
CN101616310B (zh) * 2009-07-17 2011-05-11 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
US8798387B2 (en) * 2010-11-11 2014-08-05 Panasonic Intellectual Property Corporation Of America Image processing device, image processing method, and program for image processing
JP2012142829A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
US20130107066A1 (en) 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization
TWI469062B (zh) * 2011-11-11 2015-01-11 Ind Tech Res Inst 影像穩定方法及影像穩定裝置
US20130322697A1 (en) * 2012-05-31 2013-12-05 Hexagon Technology Center Gmbh Speed Calculation of a Moving Object based on Image Data
CN103079037B (zh) * 2013-02-05 2015-06-10 哈尔滨工业大学 基于远近景切换的自适应电子稳像方法
US9053366B2 (en) * 2013-02-20 2015-06-09 Honeywell International Inc. System and method for detecting motion in compressed video
US9277129B2 (en) 2013-06-07 2016-03-01 Apple Inc. Robust image feature based video stabilization and smoothing
CN104424649B (zh) 2013-08-21 2017-09-26 株式会社理光 检测运动物体的方法和系统
CN104574433A (zh) 2013-10-14 2015-04-29 株式会社理光 对象跟踪方法和设备、跟踪特征选择方法
US10311595B2 (en) * 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
CN104113698A (zh) * 2014-08-06 2014-10-22 北京北纬通信科技股份有限公司 应用于图像捕获设备的模糊图像处理方法和系统
CN105590309B (zh) 2014-10-23 2018-06-15 株式会社理光 前景图像分割方法和装置
CN104917931B (zh) * 2015-05-28 2018-03-02 京东方科技集团股份有限公司 运动图像补偿方法及装置、显示装置
CN106406507B (zh) 2015-07-30 2020-03-27 株式会社理光 图像处理方法以及电子设备
JP6740052B2 (ja) * 2016-08-02 2020-08-12 キヤノン株式会社 撮像装置およびその制御方法
CN106384356A (zh) * 2016-09-22 2017-02-08 北京小米移动软件有限公司 分离视频序列的前景与背景的方法及装置
CN109040521B (zh) 2017-06-08 2020-11-13 株式会社理光 图像处理方法、装置、电子设备及计算机可读存储介质
CN107730881A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的交通拥堵视觉检测系统
TWI679612B (zh) * 2018-08-14 2019-12-11 國立交通大學 影像追蹤方法
TWI762956B (zh) * 2020-06-17 2022-05-01 瑞昱半導體股份有限公司 影像中靜止圖像的處理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4212109B2 (ja) 2007-03-20 2009-01-21 パナソニック株式会社 撮影装置および撮影方法
US20180070013A1 (en) 2015-10-15 2018-03-08 Agt International Gmbh Method and system for stabilizing video frames

Also Published As

Publication number Publication date
CN110493488B (zh) 2021-11-26
WO2019221013A2 (en) 2019-11-21
WO2019221013A4 (en) 2020-03-05
JP2021534600A (ja) 2021-12-09
EP3794812A2 (en) 2021-03-24
CN110493488A (zh) 2019-11-22
WO2019221013A3 (en) 2020-01-02
EP3794812B1 (en) 2023-08-30
US20210227139A1 (en) 2021-07-22
US11748894B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
JP7078139B2 (ja) ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
KR102103252B1 (ko) 이미지 융합 방법 및 장치, 및 단말 디바이스
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
JP6961797B2 (ja) プレビュー写真をぼかすための方法および装置ならびにストレージ媒体
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
US8810692B2 (en) Rolling shutter distortion correction
US9971418B2 (en) Tracker for cursor navigation
US9613403B2 (en) Image processing apparatus and method
WO2015014111A1 (zh) 一种光流跟踪方法和装置
JP2013192224A (ja) ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置
CN108876813B (zh) 用于视频中物体检测的图像处理方法、装置及设备
KR101671391B1 (ko) 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20110136152A (ko) 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
JP2018195084A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2015060593A (ja) 画像をフィルタリングするための方法および装置
KR101202642B1 (ko) 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
KR101596203B1 (ko) 모션 블러 이미지 복원 방법 및 장치
JP6204669B2 (ja) ロバストに非均一モーションブラーを推定する方法及び装置
WO2020098325A1 (zh) 一种图像合成方法、电子设备及存储介质
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
WO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR101460317B1 (ko) 불안정한 카메라 환경에서의 이동 객체 검출 장치 및 방법
WO2014165159A1 (en) System and method for blind image deconvolution
JP2016201037A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220502

R151 Written notification of patent or utility model registration

Ref document number: 7078139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151