JP4709794B2 - 動き推定装置及びその方法 - Google Patents
動き推定装置及びその方法 Download PDFInfo
- Publication number
- JP4709794B2 JP4709794B2 JP2007067470A JP2007067470A JP4709794B2 JP 4709794 B2 JP4709794 B2 JP 4709794B2 JP 2007067470 A JP2007067470 A JP 2007067470A JP 2007067470 A JP2007067470 A JP 2007067470A JP 4709794 B2 JP4709794 B2 JP 4709794B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- weight
- region
- flow
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
J. Xiao, H. Cheng, H. Sawhney, C. Rao, and M. Isnardi, "Bilateral Filtering-Based Optical Flow Estimation with Occlusion Detection", ECCV2006,2006
(1)前記対象領域を始点として、前記対象領域の周囲の複数の領域の推定動きベクトルによってそれぞれ指し示される前記参照画像内の複数の第2の参照領域をそれぞれ求め、
(2)前記複数の第2の参照領域の画素値をそれぞれ求め、
(3)前記複数の第2の参照領域の画素値と前記対象領域の画素値との差であるフレーム間残差をそれぞれ求め、
(4)前記複数のフレーム間残差に基づいて、前記フレーム間残差が小さいほど大きくなり、前記フレーム間残差が大きいほど小さくなる第1の重みを計算する重み計算部と、
前記第1の重みを用いて前記推定動きベクトルを加重平均して動きベクトルを求めるフィルタリング部と、を備えた動き推定装置である。
本発明の実施形態1の動き推定装置10について図1、図5、図6に基づいて説明する。本実施形態の動き推定装置10は、対象画像、参照画像が入力されたときに、対象画像から参照画像へのフロー(動きベクトル)を求めるものである。
動き推定装置10の構成について図1のブロック図に従って説明する。
フロー推定部12におけるフローu(x)の推定方法について説明する。
フローフィルタリング部16の機能について説明する。
重み計算部14の機能について説明する。
図6に基づいて動き推定装置10の処理内容を説明する。
本実施形態であれば、ブロックマッチング法でブロックフローを求めた後、フローフィルタリングによってパーピクセルのフローにリファインでき、高精度なフローが推定できる。
本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
また、重みの組み合わせは数8のものに限らず、以下の数10のように自由に構成しても構わない。
本発明の実施形態2の動き推定装置10について図7、図8に基づいて説明する。本実施形態の動き推定装置10では、Xiaoが示したように、フロー推定とフローフィルタリングをイテレーションすることによってフローを高精度に求める。
動き推定装置10の構成について図7のブロック図に従って説明する。
本実施形態では画素単位にフローを推定できるフロー推定を示す。これはフロー毎に画像のエネルギー、フローが画像に適合していれば低エネルギーとなる、と定義し、これを最小化させることにより画像に適したフローを得ることができる手法である。
重み計算部14は実施形態1と同様である。このフロー推定部12とフローフィルタリング部16を交互に実行しながら、全体としてイテレーションすることにより、高精度なフロー推定ができる。
本発明の実施形態3の動き推定装置10について基づいて説明する。なお、図1に示すブロック図に従って説明する。
フロー推定部12は、実施形態1と同様である。
フローフィルタリング部16では、フロー推定部12によって求まったフローをフィルタリングする。実施形態1とは異なり、画素単位ではなくフィルタリング単位で処理を行っている。フィルタリング後のフローu’(x)は
重み計算ス部14では、フローフィルタリング部12で用いるフィルタリングの重みを計算する。
12 フロー推定部
14 重み計算部
16 フローフィルタリング部
Claims (9)
- 対象画像を複数の領域に分割する分割部と、
前記分割された複数の領域の中の一つの領域である対象領域の画素値と相関が高い参照画像内の領域である第1の参照領域とから推定される動きベクトルである推定動きベクトルを求める推定部と、
(1)前記対象領域を始点として、前記対象領域の周囲の複数の領域の推定動きベクトルによってそれぞれ指し示される前記参照画像内の複数の第2の参照領域をそれぞれ求め、
(2)前記複数の第2の参照領域の画素値をそれぞれ求め、
(3)前記複数の第2の参照領域の画素値と前記対象領域の画素値との差であるフレーム間残差をそれぞれ求め、
(4)前記複数のフレーム間残差に基づいて、前記フレーム間残差が小さいほど大きくなり、前記フレーム間残差が大きいほど小さくなる第1の重みを計算する重み計算部と、
前記第1の重みを用いて前記推定動きベクトルを加重平均して動きベクトルを求めるフィルタリング部と、
を備えた動き推定装置。 - 前記重み計算部は、
(1)前記第1の参照領域の位置が、前記対象領域から離れているほど小さくなる第2の重み、
(2)前記対象領域の画素値と、前記第1の参照領域の画素値との差が大きいほど小さくなる第3の重み、
(3)前記対象領域の前記推定動きベクトルと、前記第1の参照領域の前記推定動きベクトルとの差が大きいほど小さくなる第4の重み、
の中の少なくとも一つの重みと、前記第1の重みの積によって、前記加重平均の重みを計算する、
請求項1記載の動き推定装置。 - 前記フィルタリング部は、前記加重平均を複数回繰り返して前記動きベクトルを求める、
請求項1記載の動き推定装置。 - 前記推定部における前記推定動きベクトルの推定と、前記フィルタリング部における前記動きベクトルの計算を交互に複数回繰り返して前記動きベクトルを求める、
請求項1記載の動き推定装置。 - 前記推定部は、前記推定動きベクトルの推定をブロックマッチング法で行う、
請求項1記載の動き推定装置。 - 前記推定部は、前記対象領域の画素値と前記第1の参照領域の画素値との差によって定まるエネルギーが降下する方向に更新して最小化して前記推定動きベクトルを求める、
請求項1記載の動き推定装置。 - 前記対象領域が一画素、または、複数の画素から構成されたブロックであり、前記第1の参照領域が一画素、または、複数の画素から構成されたブロックである、
請求項1記載の動き推定装置。 - 対象画像を複数の領域に分割する分割ステップと、
前記分割された複数の領域の中の一つの領域である対象領域の画素値と相関が高い参照画像内の領域である第1の参照領域とから推定される動きベクトルである推定動きベクトルを求める推定ステップと、
(1)前記対象領域を始点として、前記対象領域の周囲の複数の領域の推定動きベクトルによってそれぞれ指し示される前記参照画像内の複数の第2の参照領域をそれぞれ求め、
(2)前記複数の第2の参照領域の画素値をそれぞれ求め、
(3)前記複数の第2の参照領域の画素値と前記対象領域の画素値との差であるフレーム間残差をそれぞれ求め、
(4)前記複数のフレーム間残差に基づいて、前記フレーム間残差が小さいほど大きくなり、前記フレーム間残差が大きいほど小さくなる第1の重みを計算する重み計算ステップと、
前記第1の重みを用いて前記推定動きベクトルを加重平均して動きベクトルを求めるフィルタリングステップと、
を備えた動き推定方法。 - 対象画像を複数の領域に分割する分割機能と、
前記分割された複数の領域の中の一つの領域である対象領域の画素値と相関が高い参照画像内の領域である第1の参照領域とから推定される動きベクトルである推定動きベクトルを求める推定機能と、
(1)前記対象領域を始点として、前記対象領域の周囲の複数の領域の推定動きベクトルによってそれぞれ指し示される前記参照画像内の複数の第2の参照領域をそれぞれ求め、
(2)前記複数の第2の参照領域の画素値をそれぞれ求め、
(3)前記複数の第2の参照領域の画素値と前記対象領域の画素値との差であるフレーム間残差をそれぞれ求め、
(4)前記複数のフレーム間残差に基づいて、前記フレーム間残差が小さいほど大きくなり、前記フレーム間残差が大きいほど小さくなる第1の重みを計算する重み計算機能と、
前記第1の重みを用いて前記推定動きベクトルを加重平均して動きベクトルを求めるフィルタリング機能と、
をコンピュータによって実現する動き推定プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007067470A JP4709794B2 (ja) | 2007-03-15 | 2007-03-15 | 動き推定装置及びその方法 |
EP20080004560 EP1970861A2 (en) | 2007-03-15 | 2008-03-12 | Motion estimation apparatus and method |
US12/048,887 US8019123B2 (en) | 2007-03-15 | 2008-03-14 | Motion estimation apparatus and method |
CNA2008100836573A CN101266688A (zh) | 2007-03-15 | 2008-03-14 | 运动估计设备与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007067470A JP4709794B2 (ja) | 2007-03-15 | 2007-03-15 | 動き推定装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008226187A JP2008226187A (ja) | 2008-09-25 |
JP4709794B2 true JP4709794B2 (ja) | 2011-06-22 |
Family
ID=39591130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007067470A Active JP4709794B2 (ja) | 2007-03-15 | 2007-03-15 | 動き推定装置及びその方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8019123B2 (ja) |
EP (1) | EP1970861A2 (ja) |
JP (1) | JP4709794B2 (ja) |
CN (1) | CN101266688A (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009081574A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 画像処理装置、方法およびプログラム |
US8711938B2 (en) * | 2009-09-04 | 2014-04-29 | Sharp Laboratories Of America, Inc. | Methods and systems for motion estimation with nonlinear motion-field smoothing |
KR101630688B1 (ko) | 2010-02-17 | 2016-06-16 | 삼성전자주식회사 | 움직임 예측 장치 및 방법과 영상 처리 장치 |
JP2014093602A (ja) | 2012-11-01 | 2014-05-19 | Toshiba Corp | 画像処理装置、画像処理方法、画像処理プログラム、および立体画像表示装置 |
US9836831B1 (en) * | 2014-07-30 | 2017-12-05 | Google Inc. | Simulating long-exposure images |
CN105894460A (zh) * | 2015-12-14 | 2016-08-24 | 乐视云计算有限公司 | 图像滤波方法及装置 |
JP6453837B2 (ja) * | 2016-12-08 | 2019-01-16 | 株式会社東芝 | 画像処理装置、画像処理方法、画像処理プログラム、および立体画像表示装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH104555A (ja) * | 1996-06-17 | 1998-01-06 | Oki Electric Ind Co Ltd | 動きベクトル検出装置 |
JP2005250561A (ja) * | 2004-03-01 | 2005-09-15 | Sony Corp | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06209466A (ja) * | 1992-10-07 | 1994-07-26 | Canon Inc | 動ベクトル検出装置 |
US6438254B1 (en) * | 1999-03-17 | 2002-08-20 | Matsushita Electric Industrial Co., Ltd. | Motion vector detection method, motion vector detection apparatus, and data storage media |
JP3979894B2 (ja) * | 2002-07-22 | 2007-09-19 | 本田技研工業株式会社 | 物体検出装置及び方法 |
US7356172B2 (en) * | 2002-09-26 | 2008-04-08 | Siemens Medical Solutions Usa, Inc. | Methods and systems for motion tracking |
JP4271115B2 (ja) * | 2004-09-29 | 2009-06-03 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
ATE481696T1 (de) * | 2005-01-14 | 2010-10-15 | Morpho Inc | Verfahren zur berechnung von bewegungsvektoren, vorrichtung zur korrektur von handbewegungen, die das verfahren verwendet, vorrichtung zur bildaufnahme und zur erzeugung von filmen |
JP2006260527A (ja) * | 2005-02-16 | 2006-09-28 | Toshiba Corp | 画像マッチング方法およびこれを用いた画像補間方法 |
JP4398919B2 (ja) * | 2005-08-22 | 2010-01-13 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
US20070140529A1 (en) * | 2005-12-21 | 2007-06-21 | Fujifilm Corporation | Method and device for calculating motion vector between two images and program of calculating motion vector between two images |
-
2007
- 2007-03-15 JP JP2007067470A patent/JP4709794B2/ja active Active
-
2008
- 2008-03-12 EP EP20080004560 patent/EP1970861A2/en not_active Withdrawn
- 2008-03-14 US US12/048,887 patent/US8019123B2/en active Active
- 2008-03-14 CN CNA2008100836573A patent/CN101266688A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH104555A (ja) * | 1996-06-17 | 1998-01-06 | Oki Electric Ind Co Ltd | 動きベクトル検出装置 |
JP2005250561A (ja) * | 2004-03-01 | 2005-09-15 | Sony Corp | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2008226187A (ja) | 2008-09-25 |
EP1970861A2 (en) | 2008-09-17 |
US8019123B2 (en) | 2011-09-13 |
CN101266688A (zh) | 2008-09-17 |
US20080226193A1 (en) | 2008-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4709794B2 (ja) | 動き推定装置及びその方法 | |
US9471964B2 (en) | Non-local mean-based video denoising method and apparatus | |
US8379120B2 (en) | Image deblurring using a combined differential image | |
JP4585456B2 (ja) | ボケ変換装置 | |
US8390704B2 (en) | Image deblurring using a spatial image prior | |
US9036032B2 (en) | Image pickup device changing the size of a blur kernel according to the exposure time | |
US8203615B2 (en) | Image deblurring using panchromatic pixels | |
US20140354886A1 (en) | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence | |
US9406108B2 (en) | Deblurring of an image from a sequence of images | |
EP2785047B1 (en) | Image pickup apparatus, image processing system, image pickup system, image processing method, image processing program, and storage medium | |
US9286663B2 (en) | Method and apparatus for filtering an image using a guidance image | |
US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
KR101341871B1 (ko) | 비디오 디블러링 방법 및 그 장치 | |
JP2018195084A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
CN105574823B (zh) | 一种失焦模糊图像的去模糊方法和装置 | |
US9002132B2 (en) | Depth image noise removal apparatus and method based on camera pose | |
KR101341616B1 (ko) | 세부정보 추정에 의한 영상 개선 장치 및 방법 | |
US20240185405A1 (en) | Information processing apparatus, information processing method, and program | |
US20200410645A1 (en) | Image processing apparatus, image processing method, and storage medium | |
KR101437898B1 (ko) | 단일 영상을 이용한 hdr 영상 생성 장치 및 방법 | |
JP6938282B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6604131B2 (ja) | 電子機器および情報表示プログラム | |
EP2887309A1 (en) | Method and apparatus for filtering an image | |
JP2010039968A (ja) | オブジェクト検出装置及び検出方法 | |
JP2015118611A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110318 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4709794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |