JP3028685B2 - 視覚モデルを用いた動画像のブロックマッチング動き推定方法 - Google Patents
視覚モデルを用いた動画像のブロックマッチング動き推定方法Info
- Publication number
- JP3028685B2 JP3028685B2 JP27928392A JP27928392A JP3028685B2 JP 3028685 B2 JP3028685 B2 JP 3028685B2 JP 27928392 A JP27928392 A JP 27928392A JP 27928392 A JP27928392 A JP 27928392A JP 3028685 B2 JP3028685 B2 JP 3028685B2
- Authority
- JP
- Japan
- Prior art keywords
- block matching
- block
- image
- filter
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、動画像のフレーム内挿
や、動き補償符号化、ＴＶ方式変換における動画像の動
き推定に関する。
や、動き補償符号化、ＴＶ方式変換における動画像の動
き推定に関する。
【０００２】
【従来の技術】動画像のフレーム（フィールド）間の動
き検出方式として、従来よりブロックマッチング法があ
る。これは、図１に示すごとく、画面を小ブロックに分
割し、ブロック単位に参照フレーム（フィールド）内の
どの部分ともっともよく一致するかを決定し、現ブロッ
クの予測ブロックとして、その参照フレーム内のその位
置のブロックを当てはめるものである。一致する割合を
表す判定基準としては、フレーム間差分の最小絶対値和
や、最小自乗和が用いられる。この技術は、画像の動き
補償フレーム間予測符号化や、テレビジョン方式変換に
おけるフレーム内挿技術に応用されている。この技術は
１９８１年頃にはＩＥＥＥのＴｒａｎｓａｃｔｉｏｎｓ
ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ誌などに発表され
ており、最近ではこのアルゴリズムを実現するＶＬＳＩ
チップも製造されている。しかし、これらはいずれも参
照フレームと現フレームを直接ブロックマッチングする
ことを前提としている。
き検出方式として、従来よりブロックマッチング法があ
る。これは、図１に示すごとく、画面を小ブロックに分
割し、ブロック単位に参照フレーム（フィールド）内の
どの部分ともっともよく一致するかを決定し、現ブロッ
クの予測ブロックとして、その参照フレーム内のその位
置のブロックを当てはめるものである。一致する割合を
表す判定基準としては、フレーム間差分の最小絶対値和
や、最小自乗和が用いられる。この技術は、画像の動き
補償フレーム間予測符号化や、テレビジョン方式変換に
おけるフレーム内挿技術に応用されている。この技術は
１９８１年頃にはＩＥＥＥのＴｒａｎｓａｃｔｉｏｎｓ
ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ誌などに発表され
ており、最近ではこのアルゴリズムを実現するＶＬＳＩ
チップも製造されている。しかし、これらはいずれも参
照フレームと現フレームを直接ブロックマッチングする
ことを前提としている。
【０００３】
【発明が解決しようとする課題】従来の方法では、画像
にレベル変動がある場合などに、視覚的に正しい動きベ
クトルを検出していないという欠点があった。このた
め、再生画像を見た場合に、劣化が見えやすいという結
果になっている。
にレベル変動がある場合などに、視覚的に正しい動きベ
クトルを検出していないという欠点があった。このた
め、再生画像を見た場合に、劣化が見えやすいという結
果になっている。
【０００４】これをより具体的に説明する。画像にレベ
ル変動がある場合とは、例えば、ニュース映像などにお
いて、カメラフラッシュがたかれる瞬間などである。従
来のブロックマッチング方法では、現フレームと参照フ
レーム画像のレベル値（輝度値）を比較してマッチング
を行なう。そのため、カメラフラッシュのような急激な
レベル変動のもとでは、動きの誤推定が発生しやすい。
ル変動がある場合とは、例えば、ニュース映像などにお
いて、カメラフラッシュがたかれる瞬間などである。従
来のブロックマッチング方法では、現フレームと参照フ
レーム画像のレベル値（輝度値）を比較してマッチング
を行なう。そのため、カメラフラッシュのような急激な
レベル変動のもとでは、動きの誤推定が発生しやすい。
【０００５】さらに、ブロックマッチングにおいて、入
力画像は８ｂｉｔすなわちそのレベル値が０−２５５の
範囲で表されるため、計算負荷が大きい。
力画像は８ｂｉｔすなわちそのレベル値が０−２５５の
範囲で表されるため、計算負荷が大きい。
【０００６】本発明は再生画像の画質を改善すると共
に、動き予測の計算量を減少させることを目的とする。
に、動き予測の計算量を減少させることを目的とする。
【０００７】
【課題を解決するための手段】本発明は、以上の問題点
に鑑みなされたもので、動画像のフレーム間またはフィ
ールド間の動き検出方式であるブロックマッチング法に
おいて、現ブロックの属するフレームまたはフィールド
（現フレームまたは現フィールド）と参照フレームまた
はフィールドに、それぞれ視覚を表すフィルタをかけ、
それらをブロックマッチングの入力画像とすることによ
り、動きベクトルを検出することを特徴とする、動画像
のブロックマッチング動き推定方法である。以下、詳細
に説明する。
に鑑みなされたもので、動画像のフレーム間またはフィ
ールド間の動き検出方式であるブロックマッチング法に
おいて、現ブロックの属するフレームまたはフィールド
（現フレームまたは現フィールド）と参照フレームまた
はフィールドに、それぞれ視覚を表すフィルタをかけ、
それらをブロックマッチングの入力画像とすることによ
り、動きベクトルを検出することを特徴とする、動画像
のブロックマッチング動き推定方法である。以下、詳細
に説明する。
【０００８】
【発明の原理】人間の視覚を数式モデル化したものを用
いて、あらかじめ各フレームが人間の視覚にどのように
見えるかを求め、それに基づきブロックマッチングする
ものである。さらに、ブロックマッチングの入力を二値
化すれば、計算負荷を減らすことができる。
いて、あらかじめ各フレームが人間の視覚にどのように
見えるかを求め、それに基づきブロックマッチングする
ものである。さらに、ブロックマッチングの入力を二値
化すれば、計算負荷を減らすことができる。
【０００９】まず、現フレーム（フィールド）と参照フ
レーム（フィールド）に、それぞれ視覚を表すフィルタ
をかける。これは、例えば、次の式で表される。
レーム（フィールド）に、それぞれ視覚を表すフィルタ
をかける。これは、例えば、次の式で表される。
【数１】 ここに Ｇｅｘ（ｉ，ｊ）＝λ２ｅｘｐ［−（ｉ２＋ｊ２）／２σ２］…（２） Ｇｉｎ（ｉ，ｊ）＝ｅｘｐ［−（ｉ２＋ｊ２）／２λ２σ２］…（３） σ，λ：定数 式（１）において、Ｉ（ｉ，ｊ）は入力画像中の座標
（ｉ，ｊ）における画素値である。
（ｉ，ｊ）における画素値である。
【外１】 は畳み込みを表す。Ｏ（ｉ，ｊ）がフィルタの出力であ
る。Ｏ（ｉ，ｊ）の集合である出力画像が、ブロックマ
ッチングへの入力となる。Ｇｅｘ−ＧｉｎはＤＯＧ関数
とよばれ、これはλ＝１．６の時に網膜の受容野を表現
するもっともよい近似となる。σは目の解像度に関係し
ており、σが大きいほど、解像度が粗くなる。
る。Ｏ（ｉ，ｊ）の集合である出力画像が、ブロックマ
ッチングへの入力となる。Ｇｅｘ−ＧｉｎはＤＯＧ関数
とよばれ、これはλ＝１．６の時に網膜の受容野を表現
するもっともよい近似となる。σは目の解像度に関係し
ており、σが大きいほど、解像度が粗くなる。
【００１０】本フィルタについては、文献［Ｄ．Ｍａｒ
ｒ ｅｔ ａｌ．：”Ｔｈｅｏｒｙｏｆ Ｅｄｇｅ Ｄ
ｅｔｅｃｔｉｏｎ”，Ｐｒｏｃ．Ｒ．Ｓｏｃ．Ｌｏｎ
ｄ．Ｂ２０７，ｐｐ．１８７−２１７（１９８０）］な
どに詳説されているが、ここではその定性的特性につい
て説明する。
ｒ ｅｔ ａｌ．：”Ｔｈｅｏｒｙｏｆ Ｅｄｇｅ Ｄ
ｅｔｅｃｔｉｏｎ”，Ｐｒｏｃ．Ｒ．Ｓｏｃ．Ｌｏｎ
ｄ．Ｂ２０７，ｐｐ．１８７−２１７（１９８０）］な
どに詳説されているが、ここではその定性的特性につい
て説明する。
【００１１】ＧｅｘとＧｉｎは、いずれもガウス型低域
通過フィルタであるが、Ｇｅｘの方がより広帯域であ
る。したがって、ＧｅｘからＧｉｎを差し引く形式をと
ることで、本フィルタは、定性的には帯域通過特性を示
すこととなる。従来の問題点である画像のレベル変動と
は、画像の輝度値の主に直流成分の変化であるため、帯
域通過特性のフィルタを通すことにより、このレベル変
動が吸収される。
通過フィルタであるが、Ｇｅｘの方がより広帯域であ
る。したがって、ＧｅｘからＧｉｎを差し引く形式をと
ることで、本フィルタは、定性的には帯域通過特性を示
すこととなる。従来の問題点である画像のレベル変動と
は、画像の輝度値の主に直流成分の変化であるため、帯
域通過特性のフィルタを通すことにより、このレベル変
動が吸収される。
【００１２】次に、視覚フィルタを通した後のフレーム
（フィールド）を、ブロックマッチングの入力フレーム
（フィールド）とし、ブロックマッチングを行い、ブロ
ックごとの動きベクトルを検出する。あるいは、式
（１）による出力を正負より二値化し、これをブロック
マッチングの入力とし、その後は同様とする。
（フィールド）を、ブロックマッチングの入力フレーム
（フィールド）とし、ブロックマッチングを行い、ブロ
ックごとの動きベクトルを検出する。あるいは、式
（１）による出力を正負より二値化し、これをブロック
マッチングの入力とし、その後は同様とする。
【００１３】以上により、カメラフラッシュのような急
激な輝度値変化のある画像でも、そのレベル変動が視覚
フィルタにより吸収され、正しいブロックマッチング動
き推定が可能となる。
激な輝度値変化のある画像でも、そのレベル変動が視覚
フィルタにより吸収され、正しいブロックマッチング動
き推定が可能となる。
【００１４】
【実施例】図２は、前項で説明した「視覚フィルタを用
いた動き推定」の構成図である。図中、点線で囲んだ部
分以外は、従来の技術であり、点線部を挿入すること
が、新しい点である。図中、視覚画像を二値化したもの
とすれば、ブロックマッチング部６を簡易化できる。す
なわち、８ビット演算ではなく、１ビット演算にでき
る。
いた動き推定」の構成図である。図中、点線で囲んだ部
分以外は、従来の技術であり、点線部を挿入すること
が、新しい点である。図中、視覚画像を二値化したもの
とすれば、ブロックマッチング部６を簡易化できる。す
なわち、８ビット演算ではなく、１ビット演算にでき
る。
【００１５】ブロックマッチング法では、１画面をある
サイズのブロックに分割し、各ブロックについて、参照
画像内のどの部分ともっとも一致するかを調べる。その
際には、自乗和の総和がもっとも小さい場所を選ぶ。ブ
ロックサイズは、たとえば、±３２画素×１６ラインと
し、探索範囲は、横±１６画素、縦±８ラインとする。
これは、従来の技術である。
サイズのブロックに分割し、各ブロックについて、参照
画像内のどの部分ともっとも一致するかを調べる。その
際には、自乗和の総和がもっとも小さい場所を選ぶ。ブ
ロックサイズは、たとえば、±３２画素×１６ラインと
し、探索範囲は、横±１６画素、縦±８ラインとする。
これは、従来の技術である。
【００１６】本発明では、現ブロックの属するフレーム
４と、参照フレーム１に、視覚モデルを表すフィルタ２
をかけ、その結果の画像（の二値化画像）３、５どうし
でブロックマッチング６を行なう。ブロックマッチング
の際の動き検出のアルゴリズムは、たとえば、全探索法
（探索範囲内の参照ブロックをすべて調べる）で行な
う。
４と、参照フレーム１に、視覚モデルを表すフィルタ２
をかけ、その結果の画像（の二値化画像）３、５どうし
でブロックマッチング６を行なう。ブロックマッチング
の際の動き検出のアルゴリズムは、たとえば、全探索法
（探索範囲内の参照ブロックをすべて調べる）で行な
う。
【００１７】式１で表される視覚フィルタ２は、具体的
には、例えば図３のようなフィルタとなる。このフィル
タは帯域通過特性を有し直流分をカットするため、これ
を入力画像に畳み込んだ式（１）の結果３、５は正負の
値をとる。これをそのままブロックマッチングの入力と
してもよいが、これを正負に対応して二値化してからブ
ロックマッチングをすれば、ブロックマッチングユニッ
ト６の演算回路を８ビット演算から１ビット演算へと簡
易化することができる。
には、例えば図３のようなフィルタとなる。このフィル
タは帯域通過特性を有し直流分をカットするため、これ
を入力画像に畳み込んだ式（１）の結果３、５は正負の
値をとる。これをそのままブロックマッチングの入力と
してもよいが、これを正負に対応して二値化してからブ
ロックマッチングをすれば、ブロックマッチングユニッ
ト６の演算回路を８ビット演算から１ビット演算へと簡
易化することができる。
【００１８】以下、ブロックマッチング法により、動ベ
クトルを求める。これは従来の方法と同じである。
クトルを求める。これは従来の方法と同じである。
【００１９】
【発明の効果】ブロックマッチングによる動き検出にお
いて、人間の視覚モデルを用いた本発明を用いれば、動
画像の動き補正フレーム内挿後の画像や、低ビットレー
ト動き補償画像において、入力映像に輝度レベル変動が
あるような場合でも、正しい動き推定に基づく予測画像
や変換画像が得られる。これは、視覚フィルタをかける
ことにより、レベル変動が動き推定に及ぼす影響を除去
できるという理由による。さらに、視覚フィルタの出力
を二値化することにより、ブロックマッチングユニット
動き推定部の構造を簡単にすることができる。
いて、人間の視覚モデルを用いた本発明を用いれば、動
画像の動き補正フレーム内挿後の画像や、低ビットレー
ト動き補償画像において、入力映像に輝度レベル変動が
あるような場合でも、正しい動き推定に基づく予測画像
や変換画像が得られる。これは、視覚フィルタをかける
ことにより、レベル変動が動き推定に及ぼす影響を除去
できるという理由による。さらに、視覚フィルタの出力
を二値化することにより、ブロックマッチングユニット
動き推定部の構造を簡単にすることができる。
【００２０】図４は、レベル変動のある画像について、
従来の方法と視覚フィルタを用いた方法による検出動ベ
クトルの誤差を表したものである。視覚フィルタを用い
たほうが、誤差が０に集中しており、よい特性であるこ
とが判る。
従来の方法と視覚フィルタを用いた方法による検出動ベ
クトルの誤差を表したものである。視覚フィルタを用い
たほうが、誤差が０に集中しており、よい特性であるこ
とが判る。
【図１】ブロックマッチング法の概念を説明した図であ
る。
る。
【図２】本発明の視覚フィルタを用いた動画像のブロッ
クマッチング方法を適用した動き推定の例を示す構成図
である。
クマッチング方法を適用した動き推定の例を示す構成図
である。
【図３】現フレームと参照フレームにかける視覚フィル
タの例を示す図である。
タの例を示す図である。
【図４】レベル変動のある画像について、従来の方法と
視覚フィルタを用いた方法による検出動ベクトルの誤差
を表したものである。
視覚フィルタを用いた方法による検出動ベクトルの誤差
を表したものである。
１ 参照フレーム ２ 視覚フィルタ部 ３ 参照フレームの視覚画像 ４ 現フレーム ５ 現フレームの視覚画像 ６ ブロックマッチング部
Claims (2)
- 【請求項１】 画面を複数の小ブロックに分割し、ブロ
ック単位に現フレーム又は現フィールドを参照フレーム
又は参照フィールドと比較して、現ブロックの予測ブロ
ックとして参照フレーム又は参照フィールド内のブロッ
クを当てはめる動画像のブロックマッチング動き推定方
法において、 現フレーム又は現フィールド、及び参照フレーム又は参
照フィールドのブロック化された出力信号に、視覚をあ
らわす帯域通過特性を有するフィルタをかけ、 該フィルタの出力をブロックマッチングの入力画像とす
ることにより、動きベクトルを検出することを特徴とす
る動画像のブロックマッチング動き推定方法。 - 【請求項２】 請求項１の視覚フィルタの出力を二値化
し、それをブロックマッチングの入力とする二値ブロッ
クマッチング方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27928392A JP3028685B2 (ja) | 1992-09-25 | 1992-09-25 | 視覚モデルを用いた動画像のブロックマッチング動き推定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27928392A JP3028685B2 (ja) | 1992-09-25 | 1992-09-25 | 視覚モデルを用いた動画像のブロックマッチング動き推定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06113266A JPH06113266A (ja) | 1994-04-22 |
| JP3028685B2 true JP3028685B2 (ja) | 2000-04-04 |
Family
ID=17609013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27928392A Expired - Fee Related JP3028685B2 (ja) | 1992-09-25 | 1992-09-25 | 視覚モデルを用いた動画像のブロックマッチング動き推定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3028685B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2789164A1 (en) * | 2011-12-09 | 2014-10-15 | General Instrument Corporation | Encoding and decoding using perceptual representations |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4973591B2 (ja) * | 2008-05-01 | 2012-07-11 | ソニー株式会社 | 動きベクトル検出装置及び動きベクトル検出方法 |
-
1992
- 1992-09-25 JP JP27928392A patent/JP3028685B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2789164A1 (en) * | 2011-12-09 | 2014-10-15 | General Instrument Corporation | Encoding and decoding using perceptual representations |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06113266A (ja) | 1994-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0549471B1 (en) | Motion detection and estimation apparatus and method thereof | |
| JP3308921B2 (ja) | 映像データループフィルタリング方法及び装置 | |
| US20040120597A1 (en) | Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal | |
| US20050128355A1 (en) | Method of removing noise from digital moving picture data | |
| JP3164121B2 (ja) | 動きベクトル検出装置 | |
| US20120328205A1 (en) | Image enhancement for challenging lighting conditions | |
| US8243194B2 (en) | Method and apparatus for frame interpolation | |
| JPH07274044A (ja) | 時間可変フィルタ係数を用いたビデオ信号ノイズ低減システムおよびノイズ低減方法 | |
| US7734110B2 (en) | Method for filtering the noise of a digital image sequence | |
| US20030123747A1 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
| JPH10327334A (ja) | リンギングノイズの減少のための信号適応フィルタリング方法及び信号適応フィルター | |
| JPH07203451A (ja) | テレビジョン信号における動きの階層的予測方法 | |
| CN113612996A (zh) | 一种基于时域滤波的视频降噪的方法及装置 | |
| KR20050065104A (ko) | 영상 오류 복구장치 및 방법 | |
| US7724979B2 (en) | Video preprocessing temporal and spatial filter | |
| US6944230B2 (en) | Device and method for motion-compensated recursive filtering of video images | |
| JP3028685B2 (ja) | 視覚モデルを用いた動画像のブロックマッチング動き推定方法 | |
| JP3883250B2 (ja) | 監視画像記録装置 | |
| US20020033901A1 (en) | Adaptive pre-processing method for motion estimation | |
| WO2003073750A1 (en) | Noise filtering in images | |
| JP2782766B2 (ja) | 動画静止画変換方法 | |
| CN113613005A (zh) | 一种基于时域滤波的视频降噪的方法及装置 | |
| JP2001346208A (ja) | 画像信号復号化装置および方法 | |
| JPH05292489A (ja) | 動きベクトル推定方法 | |
| KR20040111436A (ko) | 비디오 신호 후처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000104 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |