JPH0865682A - 動画像の動き補償予測方式 - Google Patents

動画像の動き補償予測方式

Info

Publication number
JPH0865682A
JPH0865682A JP6201076A JP20107694A JPH0865682A JP H0865682 A JPH0865682 A JP H0865682A JP 6201076 A JP6201076 A JP 6201076A JP 20107694 A JP20107694 A JP 20107694A JP H0865682 A JPH0865682 A JP H0865682A
Authority
JP
Japan
Prior art keywords
optical flow
motion
search
moving image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6201076A
Other languages
English (en)
Inventor
Kota Fujimura
恒太 藤村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP6201076A priority Critical patent/JPH0865682A/ja
Publication of JPH0865682A publication Critical patent/JPH0865682A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】 動画像の動き補償予測において、精度を維持
しつつ処理時間を短縮化する。 【構成】 本発明の動画像の動き補償予測方式は、異な
る時間に得られた複数の画像に基づき画像のオプティカ
ルフローを算出するステップと、算出されたオプティカ
ルフローに基づいて画像内の着目ブロックの予測誤差を
演算するステップを有する。動画像100において、算
出されたオプティカルフローの方向のみに着目ブロック
12を移動させて予測誤差を演算することにより、着目
ブロックの周辺領域の全方向を探索する場合に比べ処理
時間が短縮化される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は動画像の動き補償予測方
式、特にオプティカルフローを用いた動き補償予測に関
する。
【0002】
【従来の技術】従来より、動画像を圧縮する方式として
動き補償予測が行われている。動き補償予測では、画像
を複数ブロックに分割し、フレーム間(あるいはフィー
ルド間)でブロック毎の動きベクトルを求める必要があ
る。そして、この動きベクトルは、一般に各ブロック毎
に次フレームでの周辺の所定範囲を探索し、現フレーム
との差分の総和が最小となるブロック位置を見いだすこ
とにより求めることができる。
【0003】図3には従来の動き補償予測方式における
動きベクトル検出のための探索方法が模式的に示されて
いる。図において、画像100内の一点鎖線で示す探索
範囲10が探索すべき範囲であり、着目ブロック12を
この範囲で一画素ずつ移動させて差分の総和を演算する
(以下、この方法を「全探索法」という)。この全探索
法では、文字どおり全方位の探索を行うので、常にある
程度の精度を得ることが可能であるが、より高精度の探
索を行うべく探索範囲を拡大すると、すべての画素につ
いて差分演算を行うため処理時間が飛躍的に増大してし
まう問題がある。
【0004】そこで、従来より精度を著しく低下させる
ことなく処理時間を短縮するための方法が模索されてお
り、4画素8画素レベルで8方向に探索方向を限定して
動きベクトルを求める方法も提案されている(限定探索
法)。
【0005】
【発明が解決しようとする課題】限定探索法では、確か
に全探索に比べて処理時間は短縮化されるものの、実際
の動きが限定した8方向以外の場合には予測誤差が増大
してしまい、高精度の動き補償予測ができない問題があ
った。
【0006】本発明は上記従来技術の有する課題に鑑み
なされたものであり、その目的は、処理時間を短縮化す
るとともに予測誤差の低減をも可能とする動画像の動き
補償予測方式を提供することにある。
【0007】
【課題を解決するための手段】上記目的を達成するため
に、請求項1記載の動画像の動き補償予測方式は、異な
る時間に得られた複数の画像に基づき画像のオプティカ
ルフローを算出するステップと、算出されたオプティカ
ルフローに基づいて画像内の着目ブロックの予測誤差を
演算するステップとを有し、オプティカルフローにより
定められる範囲のみ補償予測誤差演算を行うことを特徴
とする。
【0008】また、上記目的を達成するために、請求項
2記載の動画像の動き補償予測方式は、請求項1記載の
動画像の動き補償予測方式において、前記オプティカル
フローにより定められる範囲を、オプティカルフローベ
クトルの延長線上とすることを特徴とする。
【0009】また、上記目的を達成するために、請求項
3記載の動画像の動き補償予測方式は、請求項1記載の
動画像の動き補償予測方式において、前記オプティカル
フローにより定められる範囲を、オプティカルフローベ
クトル方向に広がる扇形範囲とすることを特徴とする。
【0010】さらに、上記目的を達成するために、請求
項4記載の動画像の動き補償予測方式は、請求項1記載
の動画像の動き補償予測方式において、前記着目領域
を、単一の矩形を含む任意形状に設定することを特徴と
する。
【0011】
【作用】請求項1乃至請求項4記載の発明は、従来のよ
うに全方向あるいは予め定められた8方向で探索を行う
のではなく、任意の領域毎に求められるオプティカルフ
ローが動きベクトルとして利用できることに着目し、探
索の方向をこのオプティカルフローで示される方向に基
づいて決定することにより、処理の高速化ならびに補償
予測誤差の低減を図ったものである。
【0012】オプティカルフローとは、後述するごとく
動画像のフレーム間の時間及び空間濃度勾配(画素値変
化)情報から得られる速度分布であり、一般には画像か
ら動きを抽出するための物理量として知られている。本
発明は、このオプティカルフローを動画像の動き補償に
適用することにより、動きの方向を予め推定し、その方
向のみで現フレームとの差分の総和が最小となるブロッ
ク位置を見いだすのである。
【0013】これにより、処理時間が短縮化されること
はもちろん、オプティカルフローが動きの方向を高精度
に近似している限り、従来方式に比べより高精度に動き
補償を行うことができる。
【0014】なお、請求項2記載の発明では、探索の方
向をオプティカルフローベクトルと同一の方向に限定し
ているため、探索領域の低減により演算時間の一層の短
縮を図ることができる。
【0015】また、請求項3記載の発明では、探索の方
向をオプティカルフローベクトル方向に広がる扇形領域
とすることにより、全探索法などと比較して演算時間の
低減を図りつつ、請求項2記載の発明より予測誤差の低
減を図って精度を向上させることができる。
【0016】また、請求項4記載の発明では、オプティ
カルフローが任意の領域毎に演算可能であることに鑑
み、着目領域を単一の矩形領域のみならず任意形状に設
定して実際の動体の形状に合致させ、予測誤差の一層の
低減を図ることができる。
【0017】
【実施例】以下、図面に基づき本発明の動き補償予測方
式の実施例について説明する。
【0018】<オプティカルフロー>上述したように、
本発明ではオプティカルフローを巧みに利用し、動きベ
クトル算出の際の探索時間と精度の改善を行っている。
そこで、まず、画像内の移動物体抽出などに用いられる
ことの多い、このオプティカルフローについて概説す
る。
【0019】オプティカルフローとは、一般に観測者と
物体との間の相対的な運動によって生じる画像上の見か
けの速度分布をいう。画像上の点(x,y)の時刻tに
おける明るさをI(x,y,t)とし、微小時間Δtの
間に物体がx軸、y軸の方向にΔx,Δyだけ移動した
とする。物体上の点の明るさが不変であると仮定する
と、
【数1】 となる。上式(1)の右辺をテーラー展開すると、
【数2】 となる。但し、右辺のeはΔx、Δy、Δzの高次の項
であり無視し得る項である。上式(2)の両辺をΔtで
除算し、Δt→0として整理すると、
【数3】 となる。ここで、見かけの速度ベクトル(オプティカル
フロー)を(u,v)、空間的な明るさの勾配をIx,I
y 、時間的な変化分をIt とすると、
【数4】 となる。この(4)式がオプティカルフローを与える条
件の一つである。
【0020】一方、(u, v)に対するもう一つの拘束
条件は2方式あり、一つはグローバル法で、他の一つは
ローカル法である。グローバル法では、画像全体でオプ
ティカルフローは滑らかに変化するという拘束条件に従
うものであり、繰り返し演算により解を求めるものであ
る。このグローバル法はオプティカルフローが滑らかに
変化するという条件を課しているため、必然的に一画素
上における誤差が周囲の画素の解に悪影響を及ぼす欠点
があり、誤ったオプティカルフローが存在する場合には
画像全体にわたって信頼度が低下する可能性がある。こ
れに対し、ローカル法では着目画素の近傍の画素は同じ
運動を行うと仮定し、最小二乗法により解を求めるもの
である。従って、グローバル法に比べて短時間で算出で
き、また、比較的ノイズに強いと考えられている(ノイ
ズを含んだ画像からのオプティカルフローの検出:電子
情報通信学会論文誌 D−II Vol.J73-DII No.12
pp.1952-1959参照)。
【0021】<補償予測誤差演算>以上がオプティカル
フローの概略であり、本実施例では、CCIR601画
像シーケンスの“Mobile and Calend
ar”に対し、グローバル法及びローカル法の両方法で
オプティカルフローを算出した。
【0022】次に、グローバル法及びローカル法の両方
法で算出したオプティカルフローに基づき、ブロックサ
イズとベクトル方向の探索領域を変化させて補償予測誤
差とその計算時間を計測した。なお、ここで「ブロッ
ク」(領域)とは連続する画素の集合を意味し、その形
状は後述するように任意に設定可能である。図1には、
算出したオプティカルフローに基づく探索方法が模式的
に示されている。従来の全探索では全方位について探索
が行われ(図3参照)、限定探索法では予め定められた
所定の8方向の探索が行われたが、本実施例では、算出
されたオプティカルフローと同方向のみに着目ブロック
12を移動させて探索する。
【0023】図2には、上述した“Mobile an
d Calendar”に対し、本実施例の探索方法及
び従来の全探索法により得られた補償予測誤差とその計
測時間の結果が示されている。ブロックサイズは2×
2、4×4、8×8、16×16の4種類とし、探索範
囲はオプティカルフローの倍数で8画素、16画素、3
2画素、及び64画素である。図より、例えば4×4ブ
ロックサイズで探索範囲が16画素の場合には、 グローバル法によるオプティカルフローを用いた場合 補償予測誤差:9.570370(レベル/画素) 探索時間:134.2(秒) ローカル法によるオプティカルフローを用いた場合 補償予測誤差:9.427569(レベル/画素) 探索時間:8.0(秒) 全探索法を用いた場合 補償予測誤差:6.673964(レベル/画素) 探索時間:285.2(秒) となり、8×8ブロックサイズで探索範囲が8画素の場
合には、 グローバル法によるオプティカルフローを用いた場合 補償予測誤差:10.267124(レベル/画素) 探索時間:135.1(秒) ローカル法によるオプティカルフローを用いた場合 補償予測誤差:9.787454(レベル/画素) 探索時間:5.1(秒) 全探索法を用いた場合 補償予測誤差:8.230043(レベル/画素) 探索時間:60.7(秒) となる。これらの結果より、以下のことが明らかとな
る。
【0024】(1)ブロックサイズは小さく、探索範囲
は広いほど予測誤差は小さくなる。
【0025】(2)予測誤差は、ブロックサイズが8×
8以上であれば全探索と比較しても良好である。
【0026】(3)計算時間はローカル法が一番短い。
【0027】従って、同程度の精度で動き補償予測を行
う場合には、ローカル法によるオプティカルフローを用
いることにより、全探索法に比べて極めて短時間に処理
することができ、このことは、探索範囲を拡大しても全
探索法に比べてなお短時間に処理できるとともに、より
高精度の動き補償予測も可能であることを示している。
【0028】なお、上記実施例では算出されたオプティ
カルフローの方向に探索範囲を設定したが、算出された
オプティカルフローの方向に対し、ある幅を持たせて探
索範囲を設定することも可能であり、例えば探索の方向
をオプティカルフローベクトル方向に広がる扇形領域と
することにより、より高精度の動き補償予測が可能とな
るであろう。
【0029】また、本実施例では、4×4ブロックや8
×8ブロックなどの矩形ブロックについて動き補償を行
う場合を示したが、これは、画像を格子状に分割するこ
とにより処理の並列化及び単純化を図るためである。一
方、オプティカルフローは任意の領域毎に求めることが
できるので、このような矩形でないブロックについてオ
プティカルフローを用いた動き補償を行うことも可能で
あることは言うまでもなく、ブロックの形状を適宜設定
することにより、動き補償をより円滑に行うことが可能
であろう。
【0030】
【発明の効果】以上説明したように、請求項1乃至請求
項4記載の動画像の動き補償予測方式によれば、従来の
全探索法や限定探索法に比べ、より短時間でかつ高精度
に動き補償を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施例の概念説明図である。
【図2】本発明の実施例の補償予測誤差と処理時間の結
果を示す図である。
【図3】従来方式の概念説明図である。
【符号の説明】
10 探索範囲 12 着目ブロック 100 画像

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 異なる時間に得られた複数の画像に基づ
    き画像のオプティカルフローを算出するステップと、 算出されたオプティカルフローに基づいて画像内の着目
    領域の予測誤差を演算するステップと、 を有し、オプティカルフローにより定められる範囲のみ
    補償予測誤差演算を行うことを特徴とする動画像の動き
    補償予測方式。
  2. 【請求項2】 請求項1記載の動画像の動き補償予測方
    式において、 前記オプティカルフローにより定められる範囲を、オプ
    ティカルフローベクトルの延長線上とすることを特徴と
    する動画像の動き補償予測方式。
  3. 【請求項3】 請求項1記載の動画像の動き補償予測方
    式において、 前記オプティカルフローにより定められる範囲を、オプ
    ティカルフローベクトル方向に広がる扇形範囲とするこ
    とを特徴とする動画像の動き補償予測方式。
  4. 【請求項4】 請求項1記載の動画像の動き補償予測方
    式において、 前記着目領域を、単一の矩形を含む任意形状に設定する
    ことを特徴とする動画像の動き補償予測方式。
JP6201076A 1994-08-25 1994-08-25 動画像の動き補償予測方式 Pending JPH0865682A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6201076A JPH0865682A (ja) 1994-08-25 1994-08-25 動画像の動き補償予測方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6201076A JPH0865682A (ja) 1994-08-25 1994-08-25 動画像の動き補償予測方式

Publications (1)

Publication Number Publication Date
JPH0865682A true JPH0865682A (ja) 1996-03-08

Family

ID=16434998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6201076A Pending JPH0865682A (ja) 1994-08-25 1994-08-25 動画像の動き補償予測方式

Country Status (1)

Country Link
JP (1) JPH0865682A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012514419A (ja) * 2008-12-30 2012-06-21 インテル・コーポレーション ビデオに含まれるノイズを低減する方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012514419A (ja) * 2008-12-30 2012-06-21 インテル・コーポレーション ビデオに含まれるノイズを低減する方法および装置
US8903191B2 (en) 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video

Similar Documents

Publication Publication Date Title
US6985527B2 (en) Local constraints for motion matching
US7221776B2 (en) Video stabilizer
JP3603737B2 (ja) 移動体追尾方法及びその装置
KR100869497B1 (ko) 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치
US20130271666A1 (en) Dominant motion estimation for image sequence processing
US8189104B2 (en) Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame
US7457438B2 (en) Robust camera pan vector estimation using iterative center of mass
KR20100107594A (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
JP2005525607A (ja) サブピクセルのエッジ検出方法およびエッジ検出装置
US20050213840A1 (en) Method for image stabilization by adaptive filtering
KR20030080419A (ko) 모션벡터결정방법
US5739872A (en) High-speed motion estimating apparatus for high-definition television and method therefor
US9142031B2 (en) Image processing apparatus with detection of motion vector between images, control method therefor, and storage medium storing control program therefor
JPH089379A (ja) 動きベクトル検出方法
KR100312427B1 (ko) 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치
JPH0865682A (ja) 動画像の動き補償予測方式
JPH07200832A (ja) 画像間の大域変位の検出方法
JPH05236452A (ja) 動ベクトル検出方法及び検出装置
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JPH08242454A (ja) グローバル動きパラメタ検出方法
JPH07222143A (ja) 画像間の大域変位の検出方法
KR100856474B1 (ko) 영상 흔들림 보정방법
JP2743763B2 (ja) 動画像の動き推定方法
JPH11243546A (ja) 画像符号化装置及び方法
JPH0795587A (ja) 動きベクトル検出方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041102

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050823