JPH08205165A - 映像処理システム - Google Patents

映像処理システム

Info

Publication number
JPH08205165A
JPH08205165A JP7025964A JP2596495A JPH08205165A JP H08205165 A JPH08205165 A JP H08205165A JP 7025964 A JP7025964 A JP 7025964A JP 2596495 A JP2596495 A JP 2596495A JP H08205165 A JPH08205165 A JP H08205165A
Authority
JP
Japan
Prior art keywords
frame
motion vectors
current frame
skipped
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7025964A
Other languages
English (en)
Inventor
Hae-Mook Jung
海黙 丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiu Denshi Kk
WiniaDaewoo Co Ltd
Original Assignee
Daiu Denshi Kk
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP95100205A priority Critical patent/EP0721284B1/en
Application filed by Daiu Denshi Kk, Daewoo Electronics Co Ltd filed Critical Daiu Denshi Kk
Priority to JP7025964A priority patent/JPH08205165A/ja
Priority to CN95101986A priority patent/CN1103164C/zh
Priority to US08/393,291 priority patent/US5654761A/en
Publication of JPH08205165A publication Critical patent/JPH08205165A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【目的】 フレームデシメーション法と画素単位の動
き推定及び補償を用いた映像処理システムを提供するこ
と。 【構成】 本発明の映像処理システムは、符号化手段
と復号化手段とを備え、符号化手段がビデオ信号のフレ
ームを飛ばして選択する手段と、前フレームと現フレー
ムの変位を推定して前フレームを推定された変位で補償
し予測された現フレームを提供する手段と、現フレーム
と予測された現フレームとの差分信号を生成し差分信号
と動きベクトルの第１セットとを符号化する手段とを含
み、復号化手段が、差分信号と動きベクトルの第１セッ
トとを復元する手段と、動きベクトルの第１セットに基
づいて前フレームと現フレームとの間の変位を推定し、
それらから予測された現フレームを復元する手段と、こ
の予測された現フレームと差分信号とから現フレームを
復元する手段と、飛ばされたフレームを復元する手段と
を含む。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明はビデオ信号を符号化、復
号化する映像処理システムに関し、特に、データを圧縮
するためのフレームデシメーション(frame decimation)
法と画素単位の動き推定及び動き補償とを用いてビデオ
信号を符号化、復号化する映像処理システムに関する。
【０００２】
【従来の技術】周知のように、ディジタル信号化された
画像信号の伝送は、アナログ信号より良好な画質を伝送
することができる。一連の画像“フレーム”から成る画
像信号がディジタル信号として表現される時、特に、高
精細度テレビジョンシステムの場合、大量のデータを伝
送しなければならない。しかし、従来の伝送チャネルの
使用可能な周波数帯域は制限されているため、大量のデ
ィジタルデータを制限されたチャネル帯域を通じて伝送
するためには、伝送データ量を圧縮、または減らすこと
が必要である。多様なビデオ信号の圧縮方法の中で、い
わゆるハイブリッド符号化法が最も効果的であると知ら
れている。この方法は、統計的圧縮技術と時間的／空間
的圧縮技術とを組み合わせたものである。
【０００３】ほとんどのハイブリッド符号化法は、動き
補償DPCM（差分パルス符号変調）、２次元DCT（離散コ
サイン変換）、DCT係数の量子化、VLC（可変長符号化）
などを用いている。動き補償DPCMは、現フレームと前フ
レームとの間の物体の動きを決定すると共に、物体の動
きから現フレームを予測し、現フレームとその予測との
差を表す差分信号を生成する方法である。この方法は、
例えば、Staffan Ericssonの“Fixed and Adaptive Pre
dictors for Hybrid Predictive/Transform Coding”、
IEEE Transactions on Communications、COM-33、No.12
(1985年12月)、またはNinomiyaとOhtsukaの“A Motion
Compensated Interframe Coding Schemefor Television
Pictures”、IEEE Transactions on Communications、
COM-30、No.1(1982年1月)に記載されている。
【０００４】より詳しく述べると、動き補償DPCMでは、
現フレームは、現フレームと前フレームとの間の動き推
定に基づいて、対応する前フレームから予測される。推
定された動きは、前フレームと現フレームとの間の画素
（ｐｉｘｅｌ）の変位を表す２次元動きベクトルで表す
ことができる。
【０００５】物体の画素の変位を推定するには様々な基
本的なアプローチがあるが、一般に、２つのタイプに分
類される。その中の一つはブロック単位の動き推定で、
もう一つは画素単位の動き推定である。
【０００６】ブロック単位の動き推定では、現フレーム
内のブロックを前フレーム内のブロックと比較して最適
整合ブロックを特定する。これから、伝送される現フレ
ームの全ブロックに対して、フレーム間の変位ベクトル
（フレーム間のブロックの移動量）が推定される。しか
し、ブロック単位の動き推定では、動き補償過程に於い
てブロックの境界にブロック化効果(blocking effect)
が発生することがあり、またブロック内の全ての画素が
同一方向へ移動しない場合には推定の精度が悪く、その
結果全体的な符号化効率が低減されることがある。
【０００７】一方、画素単位の動き推定を用いた場合、
変位は各々の画素に対して求められる。この方法は画素
値(pixel value)をより正確に推定し得るとともに、ス
ケール変化（例えば、ズーミング(zooming)のような映
像面に垂直な動き）も容易に取り扱うことができる。し
かし、画素単位の動き推定では、動きベクトルが全ての
画素の各々に対して決定されるので、実際に、全ての動
きベクトルを受信器へ伝送することは不可能である。従
って、選択された１セットの画素（即ち、特徴点）の動
きベクトルを受信器に向けて伝送する。この特徴点の各
々は周囲の画素を代表し得る画素として決定され、受信
器では特徴点でない点の動きベクトルは特徴点の動きベ
クトルから復元することができる。本特許出願と出願人
を同じくする係属中の米国特許出願“Method and Appar
atus for Encoding a Video Signal Using Pixel-by-pi
xel Motion Estimation”に開示された特徴点を用いた
動き推定を採用した符号化器では、最初に前フレームに
含まれる全ての画素から特徴点を選択する。しかる後、
選択された特徴点の各々に対する動きベクトルが決定さ
れるが、この動きベクトルは、それぞれ前フレーム内の
一つの特徴点と対応する現フレーム内の整合点との間の
変位を表す。より詳しく述べると、各々の特徴点に対す
る整合点を現フレームの探索領域で探すが、この探索領
域は対応する特徴点の位置を含む予め定められた広さの
領域として定義される。
【０００８】容易に実現することのできる他の圧縮技術
として、フレームデシメーション(frame decimation)法
があるが、この方法では、選択されたフレームだけを符
号化して伝送し、その間の残りのフレームは飛ばすこと
によって、即ち、デシメーションすることによってデー
タの量を減らす（例えば、“Video Codec for Audiovis
ual Services at p x 64kb/s,CCITT勧告案H261.CDM XV-
R 37-E,InternationalTelegraph and Telephone Consul
tative Committee(CCITT),1990年8月”参照）。
【０００９】通常、ビデオ信号符号化器への入力は、主
に３０フレーム／秒のビデオ信号である。２枚の符号化
されるフレームの間に、１枚、２枚または３枚のフレー
ムが飛ばされるとすると、フレームレートはそれぞれ１
５、１０及び７．５フレーム／秒になる。
【００１０】上記の符号化器で符号化された信号を復号
化するには、３０フレーム／秒のビデオ信号を復元する
ために飛ばされたフレームを推定しなければならない。
このため、フレームデシメーション法を用いて伝送され
た元のビデオ信号を復元することのできる改善されたシ
ステムが開発される必要があった。
【００１１】
【発明が解決しようとする課題】従って、本発明の主な
目的は、フレームデシメーション法と特徴点を用いた画
素単位の動き推定及び動き補償とを用いることによって
ビデオ信号の符号化及び復号化をする映像処理システム
を提供することにある。
【００１２】
【課題を解決するための手段】上記の目的を達成するた
め、本発明によると、ビデオ信号を符号化して符号化さ
れた信号を提供する符号化手段と、前記符号化された信
号を復号化して復号化されたビデオ信号を提供する復号
化手段とを備える映像処理システムであって、
【００１３】前記符号化手段が、前フレームと現フレー
ムとの間にN個（Nは正の整数）のフレームを飛ばして前
記ビデオ信号から複数のフレームを選択する手段と、前
記前フレームと前記現フレームとの間の変位を推定し前
記前フレームを前記推定された変位で補償し画素単位で
予測された現フレームを提供する推定手段と、前記現フ
レームから前記予測された現フレームを減算して差分信
号を生成し前記差分信号と前記推定された変位を代表す
る動きベクトルの第１セットとを符号化することによっ
て符号化された信号を提供する手段とを含み、前記復号
化手段が、前記符号化された信号を復号化して前記差分
信号と前記動きベクトルの第１セットとを復元する手段
と、前記復元された動きベクトルの第１セットに基づい
て前記前フレームと前記現フレームとの間の変位を推定
し前記前フレームを前記推定された変位で補償して前記
予測された現フレームを復元する推定手段と、前記復元
された予測された現フレームと前記差分信号とを加算し
て前記現フレームを復元する手段と、前記前フレームと
前記復元された現フレームとの間の前記N個の飛ばされ
たフレームを決定する手段とを含むことを特徴とする映
像処理システムが提供される。
【００１４】
【実施例】以下、本発明の映像処理システムについて図
面を参照しながらより詳しく説明する。
【００１５】図１にフレームデシメーション法と画素単
位の動き推定及び動き補償を用いたビデオ信号符号化器
を示す。
【００１６】入力信号はフレームデシメータ101へ入力
される。フレームデシメータ101では、デシメーション
の程度を表す予め定められたフレームデシメーション比
でフレームを飛ばすことによって符号化するフレームを
選択し、選択されたフレームは第１フレームメモリ100
へ入力される。例えば、予め定められたデシメーション
比が２または３である場合、フレームデシメータ101
は、それぞれ２枚に１枚または３枚に１枚の割合でビデ
オ信号を選択する。図１に示されているように、フレー
ムデシメータ101は、選択されたビデオ信号を格納する
第１フレームメモリ100とつながっており、それはさら
に減算器102へとつながっている。また、ラインL10を通
して現フレーム予測ブロック150にもつながっている。
【００１７】現フレーム予測ブロック150では、第１フ
レームメモリ100から入力されるラインL10上の現フレー
ム信号と、第２フレームメモリ124から入力されるライ
ンL12上の復元された前フレーム信号とを処理して画素
単位で現フレームを予測し、ラインL30上に予測された
現フレーム信号を出力すると共に、ラインL20上に特徴
点に対する動きベクトルの第１セットを出力する。現フ
レーム予測ブロック150は、図２と図３とを参照して詳
細に説明される。
【００１８】減算器102では、ラインL30上の予測された
現フレーム信号が現フレームから減算され、その結果、
データ、即ち、差分画素値を表すエラー信号が映像信号
符号化器105へ入力され、エラー信号は離散コサイン変
換（DCT）などの量子化方法によって一連の量子化され
た変換係数に符号化される。その後、量子化された変換
係数はエントロピー符号化器107と映像信号復号化器113
とに伝送される。エントロピー符号化器107では、映像
信号符号化器105からの量子化された変換係数と現フレ
ーム予測ブロック150からラインL20を通じて入力された
動きベクトルとが、例えばランレングス符号化器と可変
長符号化法とを組み合わた方法などによって符号化され
伝送される。一方、映像信号復号化器113では、映像信
号符号化器105から入力される量子化された変換係数を
逆量子化及び離散コサイン逆変換によってエラー信号に
復元する。
【００１９】映像信号復号化器113からの復元されたエ
ラー信号と現フレーム予測ブロック150からの予測され
た現フレーム信号は、加算器115で加え合わせられ、復
元された現フレーム信号となり、第２フレームメモリ12
4に前フレームとして格納される。
【００２０】図２には、図１に示されている現フレーム
予測ブロック150の詳細図が示されている。第２フレー
ムメモリ124からのラインL12上の前フレーム信号は、特
徴点選択ブロック210、特徴点動きベクトル検出ブロッ
ク212、及び動き補償ブロック216へ入力される。
【００２１】特徴点選択ブロック210では、前フレーム
に含まれる画素の中から複数の特徴点が選択される。各
特徴点は、フレーム内の物体の動きを代表し得る画素と
して定義される。特徴点選択ブロック210からの選択さ
れた特徴点は、特徴点動きベクトル検出ブロック212と
現フレーム動きベクトル検出ブロック214とに入力され
る。
【００２２】特徴点動きベクトル検出ブロック212で
は、選択された特徴点に対する動きベクトルの第１セッ
トを検出する。動きベクトルの第１セットの各ベクトル
は、前フレーム内の特徴点とその特徴点と最も類似した
現フレーム内の画素間の変位である。
【００２３】全ての特徴点に対して、動きベクトルを検
出した後、動きベクトルの第１セットは現フレーム動き
ベクトル検出ブロック214に入力されると共に、エント
ロピー符号化器107（図１参照）にラインL20を通じて入
力される。現フレーム動きベクトル検出ブロック214で
は、現フレームに含まれた全ての画素に対する動きベク
トルの第２セットを、動きベクトルの第１セットと特徴
点選択ブロックからの特徴点とを用いて決定する。動き
ベクトルの第２セットを決定するため、最初に“準特徴
点(quasi-feature point)”に対する動きベクトルを決
定する。各準特徴点は前フレームの各特徴点から、動き
ベクトルの第１セットの対応する動きベクトルだけ移動
した現フレーム内の画素点を表す。準特徴点の動きベク
トルの大きさは、対応する特徴点の動きベクトルと同じ
であり、その２つの動きベクトルの方向は反対である。
全ての準特徴点に対する動きベクトルを決定した後に、
現フレームの残りの画素である準特徴点でない点に対す
る動きベクトルを次のように決定する。
【００２４】図３を見ると、複数の準特徴点が現フレー
ムの全体に不規則に分布している。＊マークで表示され
た準特徴点でない点に対する動きベクトルは、半径ｄr
＋ｄaの円内に含まれる準特徴点の動きベクトルを平均
することによって求められる。ｄaは＊マークで表示さ
れた画素と最も近い準特徴点との間の距離であり、ｄr
は動きベクトルの計算に用いられる他の準特徴点が含ま
れるように、予め定められた拡張半径(expanded radiu
s)である。例えば、最も近い準特徴点が“Y”であり、
準特徴点“X”が半径ｄr＋ｄaの円内に含まれとする
と、＊マークで表示された画素に対する動きベクトル(M
Vx,MVy)は（式１）のように計算される。
【００２５】
【数１】
【００２６】ここで、ｄx及びｄyは、それぞれ＊マーク
で表示された画素の位置から準特徴点X及びYまでの距離
であり、(MVx,MVy)X及び(MVx,MVy)Yはそれぞれの準特徴
点の動きベクトルである。
【００２７】図２を参照すると、準特徴点及び準特徴点
でない点に対する動きベクトルの第２セットは、動き補
償ブロック216へ提供される。動き補償ブロック216で
は、予測された現フレームに含まれる各画素を、動きベ
クトルの第２セットに含まれる動きベクトルの各々を用
いて、第２フレームメモリ124（図１参照）から取り出
す。
【００２８】図４には、図１のビデオ信号符号化器に対
応するビデオ信号復号化器が示されている。ビデオ信号
符号化器から送られてきた信号は、エントロピー復号化
器407から入力される。ここで、送られてきた信号は、
ラインL49上の動きベクトルの第１セットとラインL42上
の量子化された変換係数とに復号化される。動きベクト
ルの第１セットは現フレーム予測ブロック450とフレー
ム補間器401へ提供され、量子化された変換係数は映像
信号復号化器413へ入力される。
【００２９】映像信号復号化器413で、量子化された変
換係数は逆量子化及び離散コサイン逆変換によってエラ
ー信号に復元される。
【００３０】現フレーム予測ブロック450は、図１に示
したビデオ信号符号化器の現フレーム予測ブロックと殆
ど同じ働きをするが、予測された現フレーム信号の提供
を、フレームメモリ424に格納された前フレーム信号と
エントロピー復号化器407からの動きベクトルの第１セ
ットとに基づいて行うという点が異なる。
【００３１】従って、現フレーム予測ブロック450は、
図２と類似した構造であるが、図２の特徴点動きベクト
ル検出ブロック212のような動き補償器はない。これ
は、動きベクトルの第１セットは、ビデオ信号符号化器
から伝送されてラインL40上に提供されるためである。
【００３２】ビデオ信号復号化器内の特徴点選択ブロッ
クでは、ビデオ信号符号化器内で行ったのと同様の方法
でビデオ信号復号化器内で復号化され格納された前フレ
ームから、特徴点を復元する。ビデオ信号復号化器内の
現フレーム動きベクトル検出ブロックでは、現フレーム
に含まれる全ての画素に対する動きベクトルの第２セッ
トが、動きベクトルの第１セットと特徴点とを用いて推
定される。ビデオ信号復号化器内の動きベクトル補償ブ
ロックでは、前フレームの画素を動きベクトルの第２セ
ットに含まれる各動きベクトルを用いて補償し、予測さ
れた現フレームに含まれる画素を決定する。
【００３３】映像信号復号化器413からの復元されたエ
ラー信号と現フレーム予測ブロック450からのラインL30
上の予測された現フレーム信号は、加算器415で加え合
わされ、復元された現フレーム信号をフレームメモリ42
4へと出力する。
【００３４】復元された現フレームはフレーム補間器40
1にも提供されて、後述するように、エントロピー復号
化器407からの動きベクトルの第１セットを用いて現フ
レームと前フレームとの間のN個の飛ばされたフレーム
を復元する。
【００３５】前フレームと現フレームとの間のi番目の
フレームを復元するためには、最初に、i番目の飛ばさ
れたフレーム内の複数の動きベクトルと対応する数の画
素点とを決定する。ここで、複数の動きベクトルと対応
する数の画素点の各々は、上述の動きベクトルの第１セ
ットの各々に対応し、iの値が小さいほど前フレームに
近いフレームであることを示す。N個の飛ばされたフレ
ームの動きベクトルと画素点とを決定する場合、２つの
フレームの間の動きは、その間の時間差に比例すると仮
定する。この仮定に基づいて、i番目の飛ばされたフレ
ームの各画素点は、前フレームの各特徴点を対応する動
きベクトルの第１セットにi/(N+1)を乗じた分だけ移動
させることによって得られる。しかる後、前フレームと
i番目のフレームとの間の各々の動きベクトルは、前フ
レームの対応する特徴点の動きベクトルにi/(N+1)を乗
ずることによって求められる。
【００３６】i番目の飛ばされたフレームの残りの画素
に対する動きベクトルは、前記i番目のフレームの複数
の動きベクトルと画素点を用いて、図２と図３を参照し
て説明されたような方法により決定する。しかる後、i
番目のフレームの画素値は、i番目のフレームの画素に
対する動きベクトルと前フレームとから容易に決定し得
る。
【００３７】同様に、現フレームを用いてi番目のフレ
ームを復元することもできる。この場合には、i番目の
飛ばされたフレームの各画素点は、現フレームの各特徴
点を対応する動きベクトルに(N+1-i)/(N+1)を乗じた分
だけ移動して決定し、現フレームとi番目の飛ばされた
フレーム間の動きベクトルは、現フレームの対応する動
きベクトルに(N+1-i)/(N+1)を乗ずることによって算出
される。一般に飛ばされたフレームを、前フレームと現
フレームのうち時間的に近いフレームを用いて復元する
ことが有利である。
【００３８】
【発明の効果】本発明によれば、ビデオ信号をフレーム
デシメーション法と特徴点とを用いた画素単位の動き推
定及び動き補償を用いて、ビデオ信号の符号化及び復号
化をすることができる。
【図面の簡単な説明】
【図１】現フレーム予測ブロックを含む本発明のビデオ
信号符号化器のブロック図である。
【図２】図１に示されている現フレーム予測ブロックの
詳細なブロック図である。
【図３】準特徴点でない点に対する動きベクトルを検出
する方法を示す図である。
【図４】図１のビデオ信号符号化器に対応するビデオ信
号復号化器である。
【符号の説明】
100 第１フレームメモリ 101 フレームデシメータ 102 減算器 105 映像信号符号化器 107 エントロピー符号化器 113 映像信号復号化器 115 加算器 124 第２フレームメモリ 150 現フレーム予測ブロック 210 特徴点選択ブロック 212 特徴点動きベクトル検出ブロック 214 現フレーム動きベクトル検出ブロック 216 動き補償ブロック 401 フレーム補間器 407 エントロピー復号化器 413 映像信号復号化器 415 加算器 424 フレームメモリ 450 現フレーム予測ブロック L10 ライン L12 ライン L20 ライン L30 ライン L40 ライン L42 ライン ｄa 準特徴点でない＊マークで表示された画素と最も
近い準特徴点との距離 ｄr 拡張半径 ｄx 準特徴点でない＊マークで表示された画素位置か
ら準特徴点Xまでの距離 ｄy 準特徴点でない＊マークで表示された画素位置か
ら準特徴点Yまでの距離 X 準特徴点 Y 準特徴点 ＊ 準特徴点でない点（画素）

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 ビデオ信号を符号化して符号化された
    信号を提供する符号化手段と、前記符号化された信号を
    復号化して復号化されたビデオ信号を提供する復号化手
    段とを備える映像処理システムであって、 前記符号化手段が、 前フレームと現フレームとの間にN個（Nは正の整数）の
    フレームを飛ばして、前記ビデオ信号から複数のフレー
    ムを選択する手段と、 前記前フレームと前記現フレームとの間の変位を推定
    し、前記前フレームを前記推定された変位で補償し、画
    素単位で予測された現フレームを提供する推定手段と、 前記現フレームから前記予測された現フレームを減算し
    て差分信号を生成し、前記差分信号と前記推定された変
    位を代表する動きベクトルの第１セットとを符号化する
    ことによって符号化された信号を提供する手段とを含
    み、 前記復号化手段が、 前記符号化された信号を復号化して前記差分信号と前記
    動きベクトルの第１セットとを復元する手段と、 前記復元された動きベクトルの第１セットに基づいて、
    前記前フレームと前記現フレームとの間の変位を推定
    し、前記前フレームを前記推定された変位で補償して前
    記予測された現フレームを復元する推定手段と、 前記復元された予測された現フレームと前記差分信号と
    を加算して、前記現フレームを復元する手段と、 前記前フレームと前記復元された現フレームとの間の前
    記N個の飛ばされたフレームを決定する手段とを含むこ
    とを特徴とする映像処理システム。
  2. 【請求項２】 前記符号化手段に於ける前記推定手段
    が、 前記前フレームに含まれる画素から物体の動きを代表す
    る画素点である複数の特徴点を選択する手段と、 前記前フレームと前記現フレームとを比較して、前記選
    択された特徴点に対する前記動きベクトルの第１セット
    を、前記動きベクトルの第１セットの各々が前記前フレ
    ーム内の選択された特徴点のひとつと前記現フレーム内
    の最も類似した画素との間の空間的変位を表すように検
    出する手段と、 前記動きベクトルの第１セットと前記特徴点とに基づい
    て、前記現フレームに含まれる全ての画素に対する動き
    ベクトルの第２セットを求める手段と、 前記前フレームを前記動きベクトルの第２セットで補償
    して、前記予測された現フレームを生成する手段とを備
    えることを特徴とする請求項１に記載の映像処理システ
    ム。
  3. 【請求項３】 前記復号化手段の前記推定手段が、 前記前フレームに基づいて、前記複数の特徴点を復元す
    る手段と、 前記復元された動きベクトルの第１セット及び復元され
    た特徴点に基づいて、前記現フレームに含まれる全ての
    画素に対する前記動きベクトルの第２セットを復元する
    手段と、 前記前フレームを前記復元された動きベクトルの第２セ
    ットで補償して、前記予測された現フレームを復元する
    手段とを備えることを特徴とする請求項２に記載の映像
    処理システム。
  4. 【請求項４】 前記N個の飛ばされたフレームを決定
    する手段が、 i番目の飛ばされたフレームの複数の動きベクトルと、
    それに対応する数の画素点とを決定する手段であって、
    前記i番目の飛ばされたフレームの前記対応する数の画
    素点の各々を、前記前フレームの特徴点の各々を対応す
    る前記前フレームの動きベクトルの第１セットのひとつ
    にi/(N+1)を乗じた分だけ移動することによって決定
    し、前記i番目の飛ばされたフレームの前記対応する数
    の画素点の各々と前記前フレームの特徴点の各々との間
    の前記動きベクトルの各々を、前記動きベクトルの第１
    セットの各々にi/(N+1)を乗ずることによって決定する
    該決定手段と、 前記i番目の飛ばされたフレームに含まれる全ての画素
    に対する動きベクトルを、前記i番目の飛ばされたフレ
    ームの前記複数の動きベクトルと前記対応する数の画素
    点とを用いて決定することによって、前記i番目のフレ
    ームを提供する手段とを備えることを特徴とする請求項
    ３に記載の映像処理システム。
  5. 【請求項５】 前記N個の飛ばされたフレームを決定
    する手段が、 i番目の飛ばされたフレームの複数の動きベクトルと、
    それに対応する数の画素点とを決定する手段であって、
    前記i番目の飛ばされたフレームの前記対応する数の画
    素点の各々を、前記現フレームの特徴点の各々を対応す
    る前記復元された現フレームの動きベクトルの第１セッ
    トの各々に(N+1-i)/(N+1)を乗じた分だけ移動すること
    によって決定し、前記i番目の飛ばされたフレームの前
    記対応する数の画素点の各々と前記復元された現フレー
    ムの特徴点の各々との間の動きベクトルの各々を、前記
    動きベクトルの第１セットの各々に(N+1-i)/(N+1)を乗
    ずることによって決定する該決定手段と、 前記i番目の飛ばされたフレームに含まれる全ての画素
    に対する動きベクトルを、前記i番目の飛ばされたフレ
    ームの前記複数の動きベクトルと前記対応する数の画素
    点とを用いて決定することによって、前記i番目のフレ
    ームを提供する手段とを備えることを特徴とする請求項
    ３に記載の映像処理システム。
JP7025964A 1995-01-09 1995-01-20 映像処理システム Pending JPH08205165A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP95100205A EP0721284B1 (en) 1995-01-09 1995-01-09 An image processing system using pixel-by-pixel motion estimation and frame decimation
JP7025964A JPH08205165A (ja) 1995-01-09 1995-01-20 映像処理システム
CN95101986A CN1103164C (zh) 1995-01-09 1995-02-13 利用逐个像素的运动估算和跳帧方法的图像处理系统
US08/393,291 US5654761A (en) 1995-01-09 1995-02-23 Image processing system using pixel-by-pixel motion estimation and frame decimation

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP95100205A EP0721284B1 (en) 1995-01-09 1995-01-09 An image processing system using pixel-by-pixel motion estimation and frame decimation
JP7025964A JPH08205165A (ja) 1995-01-09 1995-01-20 映像処理システム
CN95101986A CN1103164C (zh) 1995-01-09 1995-02-13 利用逐个像素的运动估算和跳帧方法的图像处理系统
US08/393,291 US5654761A (en) 1995-01-09 1995-02-23 Image processing system using pixel-by-pixel motion estimation and frame decimation

Publications (1)

Publication Number Publication Date
JPH08205165A true JPH08205165A (ja) 1996-08-09

Family

ID=27429985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7025964A Pending JPH08205165A (ja) 1995-01-09 1995-01-20 映像処理システム

Country Status (4)

Country Link
US (1) US5654761A (ja)
EP (1) EP0721284B1 (ja)
JP (1) JPH08205165A (ja)
CN (1) CN1103164C (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181747B1 (en) * 1996-02-01 2001-01-30 Hughes Electronics Corporation Methods and systems for high compression rate encoding and decoding of quasi-stable objects in video and film
US5778097A (en) * 1996-03-07 1998-07-07 Intel Corporation Table-driven bi-directional motion estimation using scratch area and offset valves
JP3864400B2 (ja) * 1996-10-04 2006-12-27 ソニー株式会社 画像処理装置および画像処理方法
JPH10136380A (ja) * 1996-10-31 1998-05-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および方法
CN1208866B (zh) * 1997-03-25 2011-06-22 富士胶片株式会社 印片系统
WO1999021285A1 (en) * 1997-10-23 1999-04-29 Sony Electronics, Inc. Apparatus and method for recovery of lost/damaged data in a bitstream of data based on compatibility
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
JP2002230543A (ja) * 2000-11-28 2002-08-16 Monolith Co Ltd 画像補間方法および装置
JP2004140630A (ja) * 2002-10-18 2004-05-13 Fujitsu Ltd フレーム間引き処理を行うための画像圧縮方法及び装置
US8239766B2 (en) * 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
US7916791B2 (en) * 2006-06-16 2011-03-29 International Business Machines Corporation Method and system for non-linear motion estimation
US20090002558A1 (en) * 2007-06-29 2009-01-01 Digital Vision Ab Three-frame motion estimator for restoration of single frame damages
CN101127873B (zh) * 2007-09-19 2011-03-16 中兴通讯股份有限公司 提高可视电话图像质量的方法和系统
CN101394554B (zh) * 2008-09-28 2010-06-09 湖北科创高新网络视频股份有限公司 一种自适应跳帧方法和装置
US8508659B2 (en) * 2009-08-26 2013-08-13 Nxp B.V. System and method for frame rate conversion using multi-resolution temporal interpolation
CN102104775B (zh) * 2009-12-18 2013-04-17 华为技术有限公司 一种帧率调整方法和装置
AU2012202352A1 (en) * 2012-04-20 2013-11-07 Canon Kabushiki Kaisha Method, system and apparatus for determining a hash code representing a portion of an image

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU612543B2 (en) * 1989-05-11 1991-07-11 Panasonic Corporation Moving image signal encoding apparatus and decoding apparatus
KR0128860B1 (ko) * 1993-07-16 1998-04-10 배순훈 저비트율의 영상전화 시스템의 부호화장치

Also Published As

Publication number Publication date
EP0721284A1 (en) 1996-07-10
EP0721284B1 (en) 2000-05-03
US5654761A (en) 1997-08-05
CN1129386A (zh) 1996-08-21
CN1103164C (zh) 2003-03-12

Similar Documents

Publication Publication Date Title
KR0181027B1 (ko) 화소 단위 움직임 추정을 이용하는 영상처리 시스템
US5619281A (en) Method and apparatus for detecting motion vectors in a frame decimating video encoder
US5453801A (en) Method and apparatus for detecting motion vectors in a frame decimating video encoder
US4703350A (en) Method and apparatus for efficiently communicating image sequences
US4661849A (en) Method and apparatus for providing motion estimation signals for communicating image sequences
US4727422A (en) Method and apparatus for efficiently communicating image sequence having improved motion compensation
US5612743A (en) Method for encoding a video signal using feature point based motion estimation
JP3917692B2 (ja) ディジタル映像信号符号化装置及びその方法
JPH08265780A (ja) ビデオ信号符号化／復号化装置及び方法
US5654761A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
US5638129A (en) Image processing apparatus using a pixel-by-pixel motion estimation based on feature points
US5574663A (en) Method and apparatus for regenerating a dense motion vector field
JP3681784B2 (ja) 映像信号符号化装置
KR100212559B1 (ko) 물체의 윤곽 부호화 시스템 및 그의 움직임 추정방법
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
US6023298A (en) Video signal encoding system using a current frame prediction apparatus
EP0720373A1 (en) Method and apparatus for encoding a video signal using region-based motion vectors
KR0174462B1 (ko) 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템
KR100203638B1 (ko) 반화소 단위 움직임 추정방법
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR0174463B1 (ko) 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
KR100200227B1 (ko) 동영상 부호화장치
KR970010096B1 (ko) 영상 데이타의 압축 부호화를 위한 두계층 움직임 추정장치 및 그 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040601

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20040831

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050705