JP3018021B2 - 動きベクトル抽出方法及び動きベクトル抽出装置 - Google Patents

動きベクトル抽出方法及び動きベクトル抽出装置

Info

Publication number
JP3018021B2
JP3018021B2 JP4676592A JP4676592A JP3018021B2 JP 3018021 B2 JP3018021 B2 JP 3018021B2 JP 4676592 A JP4676592 A JP 4676592A JP 4676592 A JP4676592 A JP 4676592A JP 3018021 B2 JP3018021 B2 JP 3018021B2
Authority
JP
Japan
Prior art keywords
frame
difference
pixels
motion vector
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP4676592A
Other languages
English (en)
Other versions
JPH05252501A (ja
Inventor
直博 富川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP4676592A priority Critical patent/JP3018021B2/ja
Publication of JPH05252501A publication Critical patent/JPH05252501A/ja
Application granted granted Critical
Publication of JP3018021B2 publication Critical patent/JP3018021B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ディジタル化された映
像信号を動画像のフレーム相関を利用して高能率符号化
する際に、動き補償フレーム間予測符号化を行なうべ
く、映像の動きを示す動きベクトルを抽出する動きベク
トル抽出方法及び動きベクトル抽出装置に関するもので
ある。
【０００２】
【従来の技術】ディジタル化された映像信号を高能率符
号化し、高能率符号化後の映像信号を伝送路に伝送また
は記録媒体に記録する場合において、映像信号の空間的
相関または時間的相関を利用することによって高い情報
圧縮率が得られることはよく知られている。特に、動画
像においては、時間的相関を利用して次のフレームの映
像を予測するフレーム間予測符号化が用いられることが
多い。フレーム間予測では、画面に動きが生じると予測
誤差が増大し、高能率符号化後の情報量が意図したよう
な量になるように映像信号を圧縮できないことがある。
このため、画面の動きを検出して予測に適当な補正を加
えることにより動画部分に対する符号化効率の向上と視
覚特性の適切な利用とを可能にしようとする試みがなさ
れている。
【０００３】動きベクトルの抽出は、フレーム間の相互
相関を最大とする偏位を求めることであるが、計算量が
膨大であるので、リアルタイム性が要求される動画像圧
縮にそのまま用いられることはほとんどなく、計算量削
減のためのなんらかの簡易化方法が採られている。その
一つの方法として、隣合ういくつかの画素を２次元的に
ブロック化し、このブロック単位で次のフレーム上で少
しずらした各位置のブロックとの差の最小値を求め、こ
の時のズレをこの位置の動きベクトルとする方法があ
る。図１は例えば特公平３-40556号（特開昭57-52281
号、以下引例１という）公報に示された２次元ブロック
化された予測符号化装置の動き補償の原理を示す図であ
り、図２は引例１の装置の構成を示すブロック図であ
る。まず、引例１における動き補償の原理について説明
する。
【０００４】図１に示すように、ｔ＝ｔ0 なる時刻に座
標（ｘ0 ，ｙ0 ）付近にあった図形が１フレーム時間
（τ）後には（ｘ1 ，ｙ1 ）付近に移動したとする。こ
のとき、通常のフレーム間予測符号化においては、１フ
レーム前の画素を予測信号として用いるので、ｔ＝ｔ0
＋τにおける（ｘ0 ，ｙ0 ）付近の画素の予測にはｔ＝
ｔ0 における（ｘ0 ，ｙ0 ）付近の画素が用いられる。
従って、図１から明らかなように、ｔ＝ｔ0 ＋τでは差
分値（予測誤差）が零でないものは（ｘ0 ，ｙ0）と
（ｘ1 ，ｙ1 ）との両地点の付近に発生する。ここで、
もしなんらかの方法で（ｘ0 ，ｙ0 ）から（ｘ1 ，
ｙ1 ）への図形の偏移量を抽出できたとすると、ｔ＝ｔ
0 での（ｘ0 ，ｙ0 ）近傍の図形を用いてｔ＝ｔ0 ＋τ
における（ｘ1 ，ｙ1 ）近傍の図形を予測でき、発生情
報量を大幅に低減できる。
【０００５】この偏移量（動きベクトル）を抽出する方
法として、例えばブロック単位で補償しようとする速度
に対応する全ての範囲について予測誤差量を計算する方
法もあるが、この方法では回路規模が膨大でかつ複雑と
なり、引例１においてもこの方法を採用していない。引
例１では動きベクトルを抽出するための計算量を削減し
て高速化を図るために、Ｍ個の画素で２次元ブロックを
構成し、このＭ個の各画素について演算手段を用意して
動き補償のＮ個の対象範囲の回数だけ並列演算させるよ
うに構成している。これにより、動きベクトルを抽出す
るまでの演算回数はＭ×Ｎとなる。この引例１では、走
査変換を行うことによって実際に用いる演算ユニットの
数をＭより小さくしており、また次に演算すべき予測関
数の選択順を工夫することによって繰り返し回数もＮよ
り小さくしている。
【０００６】次に引例１の構成とその動作とを図２によ
り説明する。入力映像信号１は走査変換回路20に供給さ
れ、ここで複数の画素からなるブロックが形成される。
ブロック化された映像信号は遅延回路21及び最適予測関
数判定回路28に供給される。遅延回路21は、ブロック化
された映像信号を最適予測関数の決定に要する時間だけ
遅延した後、減算器22へ出力する。減算器22において、
遅延回路21の出力と予測信号発生回路23から供給される
予測信号との差（予測誤差）が求められ、求められた予
測誤差信号は量子化回路24に供給されて量子化される。
量子化された予測誤差信号は情報圧縮回路25及び加算器
26に供給される。加算器26において、量子化された予測
誤差信号と予測信号発生回路23の出力とが加算されて局
部復号信号が発生される。この局部復号信号は引き続く
予測信号の発生に役立てるため遅延回路27に供給され
る。遅延回路27の遅延時間はこの引例１においてはおよ
そ１フレーム時間に設定されており、遅延された局部復
号信号は予測信号発生回路23及び最適予測関数判定回路
28に供給される。予測信号発生回路23では、最適予測関
数判定回路28から供給される最適予測関数を示す情報に
基づき、遅延された局部復号信号を用いて予測信号を発
生する。この最適予測関数の判定はブロック単位で行わ
れ、この結果に従って予測符号化が実行される。最適予
測関数判定回路28では、ブロック化された入力映像信号
と遅延回路27により遅延された局部復号信号とを用いて
最適な動きベクトルを抽出する。以上のようにして抽出
された動きベクトルは情報圧縮回路25に供給され、映像
信号をできるだけ少ない符号量で表せるように圧縮変換
が行われる。
【０００７】
【発明が解決しようとする課題】一般に動き補償を用い
るフレーム間予測符号化においては、動き補償の範囲す
なわち動きベクトルの取り得る範囲の数Ｎをできるだけ
多くし、しかもブロック内の画素数Ｍをできるだけ少な
くすることが望ましいことは、引例１の明細書第６頁第
15行から第18行にも述べられている。ところが、映像信
号の１フレームを構成する画素数が定まっている場合
に、ブロックサイズＭを小さくすることは１フレーム当
りの動きベクトル演算回数を増加させることになり、結
果的に計算量の増大につながるという問題があった。
【０００８】本発明は上記の問題点を解消する為になさ
れたものであり、ディジタルの映像信号の動き補償フレ
ーム間予測符号化において、動きベクトルを抽出する際
の計算量を大幅に削減することができる動きベクトル抽
出方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】本願の第１発明（請求項
１，６）に係る動きベクトル抽出方法及び装置は、ディ
ジタル化されたカラー映像信号をサンプリング周波数を
異ならせて分離した輝度信号と複数の色差信号とについ
て独立的に、現在のフレーム内の水平方向及び垂直方向
において隣合う画素間の差分値を求め、輝度信号と各色
差信号とで異なる所定の閾値より大きい差分値に関係す
る画素に対してのみ次のフレーム内において周辺画素を
探索して動きベクトルを抽出することを特徴とする。
【００１０】本願の第２発明（請求項２，７）に係る動
きベクトル抽出方法及び装置は、ディジタル化されたカ
ラー映像信号を分離した輝度信号と複数の色差信号とに
ついて独立的に、現在のフレーム内の水平方向及び垂直
方向において隣合う画素間の差分値を求め、所定の閾値
より大きい差分値に関係する画素に対してのみ次のフレ
ーム内において周辺画素を探索して動きベクトルを抽出
する際に、所定の閾値より大きい差分値に関係する画素
の数に応じて、動きベクトルの探索範囲を変化させるこ
とを特徴とする。
【００１１】本願の第３発明（請求項３，８）に係る動
きベクトル抽出方法及び装置は、ディジタル化されたカ
ラー映像信号を分離した輝度信号と複数の色差信号とに
ついて独立的に、現在のフレーム内の水平方向及び垂直
方向において隣合う画素間の差分値を求め、所定の閾値
より大きい差分値に関係する画素に対してのみ次のフレ
ーム内において周辺画素を探索して動きベクトルを抽出
する際に、所定の閾値より大きい差分値に関係する画素
の数に応じて、所定の閾値を変化させることを特徴とす
る。
【００１２】本願の第４発明（請求項４，９）に係る動
きベクトル抽出方法及び装置は、ディジタル化されたカ
ラー映像信号を分離した輝度信号と複数の色差信号とに
ついて独立的に、現在のフレーム内の水平方向及び垂直
方向において隣合う画素間の差分値を求め、所定の閾値
より大きい差分値に関係する画素に対してのみ次のフレ
ーム内において周辺画素を探索して動きベクトルを抽出
する際に、所定の閾値より大きい差分値に関係する画素
が水平方向及び垂直方向に連続する数を、画素の広がり
として計数しておき、次のフレームの映像信号の中から
この広がりに類似する画素から優先的に探索することを
特徴とする。
【００１３】本願の第５発明（請求項５，10）に係る動
きベクトル抽出方法及び装置は、ディジタル化されたカ
ラー映像信号を分離した輝度信号と複数の色差信号とに
ついて独立的に、現在のフレーム内における水平方向及
び垂直方向の隣合う画素の差分を求め、求めた差分値を
その大きさに応じて複数の群に分類し、差分値が大きい
群から順番に次順のフレーム内において当該画素の周辺
画素を探索して動きベクトルを抽出することを特徴とす
る。
【００１４】
【００１５】
【００１６】
【００１７】
【作用】本発明の動きベクトル抽出方法及び装置では、
画面の輪郭に着目し、輪郭の動きを画面の動きに近似し
ても視覚上大きな差異は生じないことを利用している。
人間の視覚が自然動画像のどの部分を輪郭として判断し
ているかについての定説はないが、予測符号化において
予測誤差の増大を防ぐという観点からすると、映像信号
の最大変化点すなわち微分係数の極大点を輪郭と定義し
ても実用上の支障はない。ディジタル化された映像信号
においては隣合う画素間の差分値の極大点がこれに相当
する。本発明では、このように定義された画面の輪郭に
着目し、輪郭に相当する画素についてのみ動きベクトル
の探索を行う。具体的には、ディジタル化されたカラー
映像信号を輝度信号と複数の色差信号とに分離し、分離
した輝度信号及び各色差信号について独立的に、一のフ
レーム内で水平方向及び垂直方向に隣合う画素間の差分
値が求められ、差分値がある閾値を超えるときその画素
のアドレスを記憶しておき、この閾値を超えた画素につ
いてのみ次順のフレーム内で動きベクトルの探索を実施
する。このようにすることにより、１フレーム当りの探
索回数が低減され、全体の計算量は大幅に削減される。
【００１８】第１発明では、輪郭画素を検出する際の閾
値を輝度信号と色差信号とで異ならせる。そうすると、
効率良く動きベクトルの抽出を行なえる。また、人間の
視覚解像度は色差信号より輝度信号に対して高いので、
輝度信号の標本化周波数より色差信号の標本化周波数を
少なくする。そうすると、画質劣化を招くことなくデー
タ量は削減される。
【００１９】第２発明では、検出した輪郭画素の数が少
ない場合は動きベクトルの探索範囲を広くとり、その数
が多い場合はその探索範囲を狭くする。このようにして
抽出した動きベクトルに基づいて予測符号化を行なう
と、より人間の視覚特性に合致した予測符号化となる。
【００２０】第３発明では、検出した輪郭画素の数に応
じて、輪郭画素を検出する際の閾値を可変とする。この
ようにすると、種々のディジタル化映像信号に対して、
有効に輪郭画素を検出できる。
【００２１】第４発明では、検出した輪郭画素が水平方
向及び垂直方向に連続する数を、輪郭画素の広がりとし
て計数しておき、次順のフレームの映像信号の中からこ
の広がりに類似する画素から優先的に探索する。このよ
うにすると、より実際的に動きベクトルの抽出を行なえ
る。
【００２２】第５発明では、求めた差分値をその大きさ
に従って複数の群に分類し、動きベクトルを抽出する際
に、差分値が大きい群に分類された画素から順次探索す
る。このようにすると、探索回数を低減でき、より短時
間に動きベクトルの抽出を行なえる。
【００２３】
【実施例】以下、本発明をその実施例を示す図面に基づ
いて具体的に説明する。
【００２４】実施例１．図３は、本発明に係る動きベク
トル抽出方法を実施する装置の構成を示すブロック図で
ある。図３において２は、入力映像信号１が入力される
Ａ／Ｄ変換器である。Ａ／Ｄ変換器２は、アナログの入
力映像信号１を所定の周波数にて標本化してディジタル
の映像信号に変換し、そのディジタル映像信号を差分回
路３へ出力する。差分回路３は、１フレーム単位の映像
信号の水平方向及び垂直方向の隣合う画素間の差分を求
め、その差分値を比較器５へ出力する。また、１フレー
ムメモリであるメモリ４は、Ａ／Ｄ変換器２にて変換さ
れた１フレーム分のディジタル映像信号を記憶する。比
較器５は、入力された差分値と外部から入力される閾値
６とを比較し、差分値が閾値６を超える場合には、出力
“１”をメモリ７に出力する。メモリ空間としてはメモ
リ４と等しいが、極性と合わせても深さ２ビットのメモ
リであるメモリ７は、比較器５からの出力“１”を記憶
する。メモリ４の内容は動き検出回路９に読み出され、
一方、メモリ７の内容は遅延回路８によりメモリ４の読
み出しより１フレームだけ遅延して動き検出回路９に読
み出される。動き検出回路９は、各メモリ４，７からの
読み出し内容に基づいて、動きベクトル10を抽出する。
【００２５】次に、動作について説明する。入力映像信
号１はＡ／Ｄ変換器２でサンプリング, ディジタル化さ
れ、差分回路３で水平方向及び垂直方向の隣合う画素間
の差分が取られてメモリ４に記憶される。同時に差分回
路３の出力である差分信号は比較器５に入力され、予め
定められた閾値６と比較される。入力された差分信号が
閾値６を超える場合に、出力“１”がメモリ７に記憶さ
れる。次のフレームの映像信号がメモリ４に書き込まれ
るときメモリ７の内容が遅延回路８に転送され、この遅
延回路８の出力が“１”の画素についてのみ、メモリ４
の内容の中から出力“１”の画素に近いものが動き検出
回路９により探索され、新旧２つの画素間の距離が動き
ベクトル10として抽出される。
【００２６】図４は、本発明に係る動きベクトル抽出方
法を用いた動き補償フレーム間予測符号化装置の構成を
示すブロック図である。図４において、図２または図３
と同番号を付した部分は同一部分を示している。図３に
示したような開ループの動きベクトル抽出回路は予測誤
差が蓄積して行くので、そのような抽出回路を実際のフ
レーム間予測符号化回路にそのまま使用することは稀で
あり、通常は局部復号器で予測値を復号し、予測誤差が
最小となるようにフィードバック機構を設けた構成が用
いられる。このような構成をなす図４において、動き検
出回路９にて抽出された動きベクトル10は局部復号器11
に入力され、予測信号として実際の入力映像信号と比較
される。図４は予測符号化のみを行う場合の構成を示し
ているが、直交変換符号化，ベクトル量子化などと併用
するハイブリッド符号化を行なう場合には、量子化回路
の前に符号器をおいてフィードバックループの中に逆変
換器を挿入する構成が一般に用いられており、図４の構
成はこのようなハイブリッド符号化にも適用できる。
【００２７】次に動作について説明する。ディジタル化
された映像信号で隣合う画素間の差分を取ることは、ア
ナログ映像信号を微分することに相当する。従って、差
分回路３の出力は輝度の勾配を示す。画面の輪郭を輝度
勾配の極大値と定義すると、差分回路３の出力の極大値
を検出することによりこの画面の輪郭は得られる。極大
値の演算には前後の差分値との比較演算が必要である
が、動きベクトルの抽出という目的のためには厳密な輪
郭を求める必要は無いので、計算を簡易化するために予
め定められた閾値６と比較してこの閾値を超える画素を
画面の輪郭とみなす。１フレーム内で輪郭と判定される
画素の数は画面の内容によって異なるが、自然画像にお
いてはフレーム全画素の半数以上になることは極めて稀
である。このようにして得られた輪郭画素をメモリ７に
記憶しておく。全画素について動きベクトルの計算を行
う代わりに、メモリ７に記憶された輪郭画素についての
み動きベクトルの計算を行うことにより動き検出回路９
における１フレーム当りの計算量を半分以下にすること
ができる。また、１フレーム当りの計算量を一定とすれ
ば動きベクトルの探索範囲を２倍以上に広げることがで
き、より高精度の予測が可能となる。
【００２８】カラー映像信号は視覚上はＲ，Ｇ，Ｂの３
色の要素で表わされるが、伝送時においてはこれを輝度
信号（Ｙ）と色差信号（R-Y,B-Y)との形で表すことが多
い。以下では輝度信号をＹ、色差信号R-Y をCR、色差信
号B-Y をCBとそれぞれ表記し、図においては各構成要素
を示す番号の後ろにＹ，CR，CBを付記してそれぞれのコ
ンポーネントに対する構成要素であることを示す。
【００２９】輝度信号と色差信号との間、または色差信
号相互間の相関は一般にかなり低い。従って、上述した
輪郭画素の検出及び動きベクトルの抽出はそれぞれのコ
ンポーネント毎に独立して行う方が有利である。閾値６
の設定も、輝度信号用閾値６Ｙ、CR信号用閾値６CR、CB
信号用閾値６CBをそれぞれ独立に設定可能としておいた
方が有利である。このような場合による装置構成は、図
３または図４を３つのコンポーネント毎に並列させたも
のとなる。
【００３０】人間の視覚解像度は輝度信号成分に対して
高く色差成分に対して低いことがよく知られている。
（例えばテレビジョン学会編画像エレクトロニクス講座
１「画像エレクトロニクスの基礎」（以下、引例２とい
う）第5.2.3 章238 頁−240 頁参照）。従って、輝度信
号の標本化周波数より低い周波数で色差信号を標本化し
ても視覚上の劣化は生じず、データ量を削減できる。輝
度信号と色差信号とにおける標本化周波数の関係は理論
上は任意であるが、実際の回路構成の簡易化のためには
簡単な整数比になるように選ばれる。４：２：２と呼ば
れるCCIRの勧告によるディジタルビデオ伝送信号では、
輝度信号の標本化周波数13.5 MHzに対して色差信号の標
本化周波数はその半分の6.75 MHzに選ばれている。ま
た、垂直方向の解像度についても色差信号の標本化周波
数を輝度信号の半分にすること、すなわち色差信号の走
査線を間引くことも可能であり、これによりカラー映像
信号のデータ量は更に削減される。
【００３１】実施例２． １フレームの映像信号において輪郭画素の数はその画面
の細かさを示す。人間の視覚が運動（動き）を知覚する
条件についても例えば引例２の第３章に述べられてお
り、一般に細かい画面の大きな動きは知覚されにくい。
従って、１フレーム当りの輪郭画素の数をパラメータと
して輪郭画素の数が少ない場合は動きベクトルの探索範
囲を広げ、その数が多い場合にはその探索範囲を狭める
ように適応的に制御することにより、より人間の視覚特
性に合致した予測符号化を行える。
【００３２】図５は、輪郭画素の数に応じて探索範囲を
適応的に制御するようにした実施例２を実施するための
装置の構成を示すブロック図であり、図５において図４
と同番号を付した部分は同一部分を示す。カウンタ71に
はそれぞれの画素に対応したクロックが印加されてお
り、このクロックはメモリ４またはメモリ７のアドレス
カウンタ（図示せず）のクロックと共通である。一方、
カウンタ71のイネーブル端子には比較器５の出力が接続
されており、輪郭と判定される画素すなわち比較器５の
出力が“１”の時のみカウンタ71は計数を行う。カウン
タ71はフレーム毎にリセットされる。カウンタ71の計数
結果はリセットの直前にラッチ回路72に転送され、ラッ
チ回路72の内容に応じて探索範囲判定器73は動き検出回
路９における動きベクトルの探索範囲を適応的に切り換
える。
【００３３】実施例３． ディジタル化された映像信号の信号源は自然動画だけと
は限らない。特に、パターンジェネレータなどの計測用
信号源から出力されるスロープ波形などは差分値が常に
一定であり、閾値６の設定次第では１フレームの全画素
が輪郭画素であると判定されてしまうことも起こり得
る。このような不具合を避けるためには輪郭と判定され
た画素の数に応じて閾値６の設定を適応的に切り換える
ことが有効である。なお、このように閾値６の設定を大
幅に切り換える必要が生じるのはシーンチェンジと称さ
れる画面の全面切り替えを伴うことが多いので、このよ
うな場合は動き補償を停止することが望ましい。
【００３４】図６は、輪郭画素の数に応じて閾値を適応
的に制御するようにした実施例３を実施するための装置
の構成を示すブロック図であり、図６において図５と同
番号を付した部分は同一部分を示す。閾値発生器61は、
輪郭画素の数を示すラッチ回路72の内容に応じて、閾値
６を切り換えると同時に、切り換え幅が所定量より大き
い場合には、動き検出停止信号91を発生して動き検出回
路９の動作を停止させ、動き補償を行わせない。
【００３５】なお、自然動画像においては前述のように
輝度信号と２つの色差信号とはそれほど強い相関を有し
ていないが、計測器を信号源とする画像の場合には輝度
信号と色差信号との相関が大になる傾向がある。カラー
バー信号などはその顕著な例である。従って、輝度信号
の輪郭画素の数と２つの色差信号のそれぞれの輪郭画素
の数との組合せによって閾値制御または動き検出停止制
御を行わせるようにしてもよい。
【００３６】実施例４．実施例３ のように閾値を適応的に制御する場合において
も、１フレームの映像信号に対する閾値は一定である。
従って、比較的緩やかな輪郭も鋭い輪郭も同じ輪郭画素
としてメモリ７に記憶される。輪郭の鋭さは輪郭画素と
して検出される画素の連なり具合いによって判断され
る。動きベクトルを抽出する場合、連続する画像の輪郭
の鋭さが急変することは稀であるので、輪郭画素が連続
する数すなわち広がりを計数し、次のフレームの映像信
号の中からこの輪郭画素の広がりに近いものを選んで予
測点とすることができる。このようにすることによりよ
り実際的な動きベクトルの抽出を行える。
【００３７】図７は、実施例４に使用される、輪郭画素
の水平方向の広がりを計数する回路の構成を示すブロッ
ク図であり、図７において図５，６と同番号を付した部
分は同一部分を示す。カウンタ74は、実施例２，３にお
けるカウンタ71と同様の構成であるが、リセットのタイ
ミングが異なっている。比較器５の出力が“０”となっ
た瞬間にラッチ回路72への転送とカウンタ74のリセット
とがなされる。メモリ７の深さはカウンタ74での計数値
が入れられるように広げられている。また、輪郭画素の
垂直方向の広がりはメモリ７の内容を参照して行われ
る。これらの計数処理演算は実際の符号化装置を構成す
る際にはソフトウェアで行われることが多いと考えられ
るので、垂直方向の輪郭画素の広がりを計数する手段に
ついては、その図示を省略する。
【００３８】実施例５． 画面の輪郭の鋭さを判定するためのもう一つの基準は隣
合う画素間の差分値の大きさである。単一の閾値にて輪
郭画素を検出する代わりに、差分値をその大きさによっ
てＫ個（Ｋは３以上。ただしそれぞれの極性について）
の群に分類し、この分類結果を画素の位置と共に記憶し
ておく。群の数Ｋが２の場合は単一の閾値により輪郭画
素を検出する場合に等しい。実施例４でも述べたよう
に、連続する画像の輪郭の鋭さが急変することは稀であ
るので、動きベクトルを抽出する場合、予測点の差分値
の大きさは前のフレームの差分値の大きさとほぼ等しい
という仮定が成立する。従って、動きベクトルの抽出に
あたって、同じ群に分類された画素を先ず探索し、次い
で隣合う群に分類された画素を探索することにより、最
適予測点を少ない探索回数で求めることができる。
【００３９】図８は、実施例５に使用される、差分値を
その大きさによっていくつかの群に分類する回路の構成
を示すブロック図である。図８において51〜5Kはそれぞ
れ比較器であり、差分回路３の出力とそれぞれの群にお
ける境界値である閾値161 〜16K とを比較する。比較結
果はマルチプレクサ63でまとめられ、それぞれの群を示
す値をつけられてメモリ７に記憶される。図８では判定
演算をすべて並列に行う例を示しているが、回路規模と
演算速度とに応じて、直列演算と並列演算との併用また
は直列演算のみで構成してもよい。ソフトウエアでこの
ような群分類を行う場合はIF…THENルールによって行な
うようにしてもよい。
【００４０】以上の説明では、各実施例において画素単
位で動きベクトルの抽出を行う方法を示したが、これら
の画素を例えば２×２、または４×４程度の小さなブロ
ックにまとめて、画素ブロック単位で動きブロックの抽
出を行ってもよい。このようなブロックマッチングによ
る動き補償ではブロックサイズが大きくなると予測誤差
は増大するが、引例１にも示されているようにブロック
サイズが小さければ実用上問題なく、計算量を削減でき
る効果がある。
【００４１】
【発明の効果】以上述べたように、本発明によれば水平
方向及び垂直方向に隣合う画素間の差分値を求め、この
差分値がある閾値を超える画素を画面の輪郭と判定し、
輪郭と判定された画素についてのみ周辺画素を探索して
動きベクトルを抽出するので、動きベクトルの抽出のた
めの計算量を大幅に削減でき、または同じ計算量でより
広い探索範囲を得ることが可能となり、動き補償予測符
号化における予測誤差を小さくすることができる。ま
た、小さな画素ブロック単位あるいは画素単位で動きベ
クトルの抽出を行うので、より実際の動きに近い予測が
行える。従って、高能率符号化における符号化効率すな
わちデータの圧縮率を向上することができ、その効果は
極めて大きい。また、このような輪郭画素の検出及び動
きベクトルの抽出を、輝度信号と色差信号とで独立的に
行なうので、それぞれの信号において効率良く動きベク
トルの抽出を行なうことができる。
【００４２】
【００４３】第１発明では、輪郭画素を抽出する際の閾
値を輝度信号と色差信号とで異ならせているので、効率
良く動きベクトルの抽出を行なえると共に、標本化周波
数を輝度信号と色差信号とで異ならせているので、画質
劣化を招くことなくデータ量を削減できる。
【００４４】第２発明では、検出した輪郭画素の数に応
じて動きベクトルの探索範囲を可変としているので、よ
り人間の視覚特性に合致した予測符号化を実現できる。
【００４５】第３発明では、検出した輪郭画素の数に応
じて、輪郭画素を抽出する際の閾値を可変としているの
で、種々のディジタル化映像信号に対して、有効に輪郭
画素を抽出できる。
【００４６】第４発明では、検出した輪郭画素が水平方
向及び垂直方向に連続する数を、輪郭画素の広がりとし
て計数しておき、次のフレームの映像信号の中からこの
広がりに類似する画素から優先的に探索するので、より
実際的に動きベクトルの抽出を行なうことができる。
【００４７】第５発明では、求めた差分値をその大きさ
に従って複数の群に分類し、動きベクトルを抽出する際
に、差分値が大きい群に分類された画素から順次探索す
るので、探索回数を低減でき、より短時間に動きベクト
ルの抽出を行なうことができる。
【図面の簡単な説明】
【図１】従来の予測符号化装置における動き補償の原理
を示す図である。
【図２】従来の動き補償を用いた予測符号化装置の構成
を示すブロック図である。
【図３】本発明の動きベクトル抽出方法を実施するため
の装置構成を示すブロック図である。
【図４】本発明の動きベクトル抽出方法を用いた動き補
償フレーム間予測符号化装置の一構成例を示すブロック
図である。
【図５】１フレーム当りの輪郭画素の数に応じて動きベ
クトルの探索範囲を適応的に制御する実施例を行なうた
めの装置構成を示すブロック図である。
【図６】１フレーム当りの輪郭画素の数に応じて閾値を
適応的に制御する実施例を行なうための装置構成を示す
ブロック図である。
【図７】輪郭画素の水平方向の広がりを計数する回路の
構成を示すブロック図である。
【図８】差分値をその大きさによりいくつかの群に分類
する回路の構成を示すブロック図である。
【符号の説明】
１ 入力映像信号 ２ Ａ／Ｄ変換器 ３ 差分回路 ４ メモリ ５ 比較器 ６ 閾値 ７ メモリ ８ 遅延回路 ９ 動き検出回路 10 動きベクトル 11 局部復号器 61 閾値発生器 71 カウンタ 72 ラッチ回路 73 探索範囲判定器 74 カウンタ

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項１】 ディジタル化されたカラー映像信号の一
    のフレームと次順のフレームとにおける動きベクトルを
    抽出する方法において、カラー映像信号を相異なる周波
    数で標本化して輝度信号と複数の色差信号とに分離し、
    輝度信号及び各色差信号について独立的に、前記一のフ
    レーム内における水平方向及び垂直方向の隣合う画素の
    差分を求め、求めた差分値が輝度信号及び各色差信号で
    異ならせて定めた閾値を超えるか否かを判定し、前記閾
    値を超えた差分値に関係する画素についてのみ次順のフ
    レーム内において当該画素の周辺画素を探索して動きベ
    クトルを抽出することを特徴とする動きベクトル抽出方
    法。
  2. 【請求項２】 ディジタル化されたカラー映像信号の一
    のフレームと次順のフレームとにおける動きベクトルを
    抽出する方法において、カラー映像信号を輝度信号と複
    数の色差信号とに分離し、輝度信号及び各色差信号につ
    いて独立的に、前記一のフレーム内における水平方向及
    び垂直方向の隣合う画素の差分を求め、求めた差分値が
    予め定められた閾値を超えるか否かを判定し、前記閾値
    を超えた差分値に関係する画素についてのみ次順のフレ
    ーム内において当該画素の周辺画素を探索して動きベク
    トルを抽出することとし、前記閾値を超えた差分値に関
    係する画素の数のフレーム内における全画素の数に対す
    る割合に応じて、次順のフレーム内において当該画素の
    周辺画素を探索する範囲を可変とすることを特徴とする
    動きベクトル抽出方法。
  3. 【請求項３】 ディジタル化されたカラー映像信号の一
    のフレームと次順のフレームとにおける動きベクトルを
    抽出する方法において、カラー映像信号を輝度信号と複
    数の色差信号とに分離し、輝度信号及び各色差信号につ
    いて独立的に、前記一のフレーム内における水平方向及
    び垂直方向の隣合う画素の差分を求め、求めた差分値が
    予め定められた閾値を超えるか否かを判定し、前記閾値
    を超えた差分値に関係する画素についてのみ次順のフレ
    ーム内において当該画素の周辺画素を探索して動きベク
    トルを抽出することとし、前記閾値を超えた差分値に関
    係する画素の数のフレーム内における全画素の数に対す
    る割合に応じて、輝度信号の差分値に対する閾値と色差
    信号の差分値に対する閾値とを可変とすることを特徴と
    する動きベクトル抽出方法。
  4. 【請求項４】 ディジタル化されたカラー映像信号の一
    のフレームと次順のフレームとにおける動きベクトルを
    抽出する方法において、カラー映像信号を輝度信号と複
    数の色差信号とに分離し、輝度信号及び各色差信号につ
    いて独立的に、前記一のフレーム内における水平方向及
    び垂直方向の隣合う画素の差分を求め、求めた差分値が
    予め定められた閾値を超えるか否かを判定し、前記閾値
    を超えた差分値に関係する画素についてのみ次順のフレ
    ーム内において当該画素の周辺画素を探索して動きベク
    トルを抽出することとし、前記閾値を超えた差分値に関
    係する画素が水平方向及び垂直方向に連続する数を計数
    し、次順のフレーム内においてこの計数値に近い広がり
    を有するものから優先して当該画素の周辺画素を探索す
    ることを特徴とする動きベクトル抽出方法。
  5. 【請求項５】 ディジタル化されたカラー映像信号の一
    のフレームと次順のフレームとにおける動きベクトルを
    抽出する方法において、カラー映像信号を輝度信号と複
    数の色差信号とに分離し、輝度信号及び各色差信号につ
    いて独立的に前記一のフレーム内における水平方向及び
    垂直方向の隣合う画素の差分を求め、求めた差分値をそ
    の大きさに応じて複数の群に分類し、差分値が大きい群
    から順番に次順のフレーム内において当該画素の周辺画
    素を探索して動きベクトルを抽出することを特徴とする
    動きベクトル抽出方法。
  6. 【請求項６】 ディジタル化されたカラー映像信号の一
    のフレームと次順のフレームとにおける動きベクトルを
    抽出する装置において、カラー映像信号を相異なる周波
    数で標本化して輝度信号と複数の色差信号とに分離する
    手段と、輝度信号及び各色差信号について独立的に、前
    記一のフレーム内における水平方向及び垂直方向の隣合
    う画素の差分を求める手段と、求めた差分値が輝度信号
    及び各色差信号で異ならせて定めた閾値を超えるか否か
    を判定する手段と、前記閾値を超えた差分値に関係する
    画素についてのみ次順のフレーム内において当該画素の
    周辺画素を探索して動きベクトルを抽出する手段とを備
    えることを特徴とする動きベクトル抽出装置。
  7. 【請求項７】 ディジタル化されたカラー映像信号の一
    のフレームと次順のフレームとにおける動きベクトルを
    抽出する装置において、カラー映像信号を輝度信号と複
    数の色差信号とに分離する手段と、輝度信号及び各色差
    信号について独立的に、前記一のフレーム内における水
    平方向及び垂直方向の隣合う画素の差分を求める手段
    と、求めた差分値が予め定められた閾値を超えるか否か
    を判定する手段と、前記閾値を超えた差分値に関係する
    画素についてのみ次順のフレーム内において当該画素の
    周辺画素を探索して動きベクトルを抽出する手段とを備
    え、前記閾値を超えた差分値に関係する画素の数のフレ
    ーム内における全画素の数に対する割合に応じて、次順
    のフレーム内において当該画素の周辺画素を探索する範
    囲を可変とするように構成したことを特徴とする動きベ
    クトル抽出装置。
  8. 【請求項８】 ディジタル化されたカラー映像信号の一
    のフレームと次順のフレームとにおける動きベクトルを
    抽出する装置において、カラー映像信号を輝度信号と複
    数の色差信号とに分離する手段と、輝度信号及び各色差
    信号について独立的に、前記一のフレーム内における水
    平方向及び垂直方向の隣合う画素の差分を求める手段
    と、求めた差分値が予め定められた閾値を超えるか否か
    を判定する手段と、前記閾値を超えた差分値に関係する
    画素についてのみ次順のフレーム内において当該画素の
    周辺画素を探索して動きベクトルを抽出する手段とを備
    え、前記閾値を超えた差分値に関係する画素の数のフレ
    ーム内における全画素の数に対する割合に応じて、輝度
    信号の差分値に対する閾値と色差信号の差分値に対する
    閾値とを可変とするように構成したことを特徴とする動
    きベクトル抽出装置。
  9. 【請求項９】 ディジタル化されたカラー映像信号の一
    のフレームと次順のフレームとにおける動きベクトルを
    抽出する装置において、カラー映像信号を輝度信号と複
    数の色差信号とに分離する手段と、輝度信号及び各色差
    信号について独立的に、前記一のフレーム内における水
    平方向及び垂直方向の隣合う画素の差分を求める手段
    と、求めた差分値が予め定められた閾値を超えるか否か
    を判定する手段と、前記閾値を超えた差分値に関係する
    画素についてのみ次順のフレーム内において当該画素の
    周辺画素を探索して動きベクトルを抽出する手段と、前
    記閾値を超えた差分値に関係する画素が水平方向及び垂
    直方向に連続する数を計数する手段とを備え、次順のフ
    レーム内においてこの計数値に近い広がりを有するもの
    から優先して当該画素の周辺画素を探索するように構成
    したことを特徴とする動きベクトル抽出装置。
  10. 【請求項１０】 ディジタル化されたカラー映像信号の
    一のフレームと次順のフレームとにおける動きベクトル
    を抽出する装置において、カラー映像信号を輝度信号と
    複数の色差信号とに分離する手段と、輝度信号及び各色
    差信号について独立的に前記一のフレーム内における水
    平方向及び垂直方向の隣合う画素の差分を求める手段
    と、求めた差分値をその大きさに応じて複数の群に分類
    する手段と、差分値が大きい群から順番に次順のフレー
    ム内において当該画素の周辺画素を探索して動きベクト
    ルを抽出する手段とを備えることを特徴とする動きベク
    トル抽出装置。
JP4676592A 1992-03-04 1992-03-04 動きベクトル抽出方法及び動きベクトル抽出装置 Expired - Lifetime JP3018021B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4676592A JP3018021B2 (ja) 1992-03-04 1992-03-04 動きベクトル抽出方法及び動きベクトル抽出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4676592A JP3018021B2 (ja) 1992-03-04 1992-03-04 動きベクトル抽出方法及び動きベクトル抽出装置

Publications (2)

Publication Number Publication Date
JPH05252501A JPH05252501A (ja) 1993-09-28
JP3018021B2 true JP3018021B2 (ja) 2000-03-13

Family

ID=12756431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4676592A Expired - Lifetime JP3018021B2 (ja) 1992-03-04 1992-03-04 動きベクトル抽出方法及び動きベクトル抽出装置

Country Status (1)

Country Link
JP (1) JP3018021B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100423133B1 (ko) * 1997-03-06 2004-05-17 삼성전자주식회사 화상의 에지 정보 추출법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600884B2 (ja) * 1989-02-14 1997-04-16 松下電器産業株式会社 テレビジョン受像機
JP2837925B2 (ja) * 1990-06-06 1998-12-16 沖電気工業株式会社 Ｔｖ方式変換装置の動きベクトル検出方式

Also Published As

Publication number Publication date
JPH05252501A (ja) 1993-09-28

Similar Documents

Publication Publication Date Title
KR100530223B1 (ko) 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
KR0178231B1 (ko) 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치
US7362808B2 (en) Device for and method of estimating motion in video encoder
KR100905880B1 (ko) 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더
EP1592248A1 (en) Motion vector estimation employing adaptive temporal prediction
US7868946B2 (en) Adaptive motion compensated interpolating method and apparatus
JP3659157B2 (ja) 映像内容に重み付けをする画像圧縮方式
JP2000013744A (ja) 異常検出機能を備えたタイムラプスレコーダ
US5689312A (en) Block matching motion estimation method
JPH06351002A (ja) 動き信号検出方法およびこれを用いた映像信号処理装置
JP3674186B2 (ja) 画像情報変換装置および方法
KR100229803B1 (ko) 움직임 벡터 검출 방법 및 장치
JPH0795591A (ja) ディジタル画像信号処理装置
JP3946781B2 (ja) 画像情報変換装置及び方法
JP3018021B2 (ja) 動きベクトル抽出方法及び動きベクトル抽出装置
JP3355964B2 (ja) 適応直交変換モード判定方法
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
JP3724008B2 (ja) 画像情報変換装置および係数データ作成装置
JP3063380B2 (ja) 高能率符号化装置
JP2907663B2 (ja) 動きベクトル検出方法
JPH0851598A (ja) 画像情報変換装置
JP2868445B2 (ja) 動画像圧縮方法および装置
US6266372B1 (en) Apparatus for image reproduction using motion estimation
JPH08242457A (ja) 動きベクトル検出方法
JPH1013836A (ja) 動きベクトル検出装置