JP3868017B2 - 映像処理システム - Google Patents
映像処理システム Download PDFInfo
- Publication number
- JP3868017B2 JP3868017B2 JP16678895A JP16678895A JP3868017B2 JP 3868017 B2 JP3868017 B2 JP 3868017B2 JP 16678895 A JP16678895 A JP 16678895A JP 16678895 A JP16678895 A JP 16678895A JP 3868017 B2 JP3868017 B2 JP 3868017B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- interlaced
- motion vectors
- candidate
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
Description
【０００１】
【産業上の利用分野】
本発明はビデオ信号を符号化、復号化する映像処理システムに関し、特に、フレームデシメーション（decimation）と、画素単位の動き推定及び補償技法とを用いてビデオ信号を符号化、復号化する映像処理システムに関する。
【０００２】
【従来の技術】
周知のように、ディジタル信号化された画像信号の伝送は、アナログ信号より良好な画質を伝送することができる。一連のイメージ「フレーム」から成る画素信号がディジタル信号として表現される時、特に、高精細度テレビジョンの場合、大量のデータを伝送しなければならない。しかし、従来の伝送チャネルの使用可能な周波数帯域は制限されているため、大量のディジタルデータを制限されたチャネル帯域を通じて伝送するためには、伝送データの量を圧縮、または減らすことが必要である。多様なビデオの圧縮技法の中で、いわゆるハイブリッド符号化技法が最も効率的であると知られている。この技法は、確率的符号化技法と時間的／空間的圧縮技法とを組み合わせたものである。
【０００３】
ほとんどのハイブリッド符号化技法は、動き補償DPCM（差分パルス符号変調）、２次元DCT（離散的コサイン変換）、DCT係数の量子化、VLC（可変長符号化）などを用いている。動き補償DPCMは現フレームとその前フレームとの間の物体の動きを特定すると共に、物体の動きから現フレームを予測し、現フレームとその予測との差を表す差分信号を生成する方法である。この方法は、例えば、Staffan Ericssonの「Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding」,IEEE Transactions on Communications,COM-33,No.12(1985年12月)、またはNinomiyaとOhtsukaの「A motion Compensated Interframe Coding Scheme for Television Pictures」,IEEE Transactions on Communications,COM-30,No.1(1982年1月)に記載されている。
【０００４】
より詳しく述べると、動き補償DPCMでは、現フレームは、現フレームと前フレームとの間の動き推定に基づいて、対応する前フレームのデータから予測される。そのように推定された動きは、前フレームと現フレームとの間の画素（pixel）の変位を表す２次元動きベクトルで表すことができる。
【０００５】
物体の画素の変位を推定するには様々な基本的なアプローチがあるが、一般に、２つのタイプに分類される。その中の１つはブロック単位の動き推定で、もう１つは画素単位の動き推定である。
【０００６】
ブロック単位の動き推定では、現フレームにおけるブロックを前フレーム内のブロックと比較して最適整合ブロックを特定する。これから、伝送される現フレームに対して、フレーム間の変位ベクトル（フレーム間で画素のブロックがどの位移動したかを表す）が推定される。しかし、ブロック単位の動き推定では、ブロック内の全ての画素が同一方向へ移動しない場合には推定の精度が悪く、その結果全体的な符号化効率が低減されることがある。
【０００７】
一方、画素単位の動き推定方法を用いた場合、変位は各々の画素に対して求められる。従って、この方法は画素値（pixel value）をより正確に推定し得ると共に、スケール変化（例えば、ズーミング(zooming)のような映像面に垂直な動き）も容易に取り扱うことができる。しかし、画素単位の動き推定では、動きベクトルが全ての画素の各々に対して特定されるので、実際に、全ての動きベクトルを受信器へ伝送することは不可能である。従って、選択された１セットの画素（即ち、特徴点）の動きベクトルを受信器に向けて伝送する。この特徴点の各々は周囲の画素を代表し得る画素として決定され、受信器では特徴点でない点の動きベクトルは特徴点の動きベクトルから復元することができる。本特許出願と出願人を同じくする係属中の米国特許第08/367,520号に「Method and Apparatus for Encoding a Video Signal Using Pixel-by-pixel Motion Estimation」との表題で開示された特徴点を用いた動き推定を採用した符号化器では、最初に前フレームに含まれる全ての画素から特徴点が選択される。しかる後、選択された特徴点に対する動きベクトルが決定されるが、この動きベクトルは、それぞれ前フレーム内の１つの特徴点と対応する現フレーム内の整合点、即ち、最も類似な画素との間の変位を表す。より詳しく述べると、各々の特徴点に対する整合点を現フレーム内の探索領域で探すが、この探索領域は相応する探索点の位置を含む予め定められた領域として定義される。
【０００８】
容易に実現することのできる他の圧縮技法として、フレームデシメーション(frame decimation)法があるが、この方法では、ある選択されたフレームだけ符号化して伝送し、その間の残りのフレームは飛ばすことによって、即ち、デシメーションすることによってデータの量を減らす（例えば、「Video Codec for Audiovisual Services at p x 64kb/s,CCITT勧告案H.261.CDM XV-R 37-E,International Telegraph and Telephone Consultative Committee(CCITT),1990年8月」参照）。
【０００９】
通常、ビデオ符号化器の入力は、主に３０フレーム／秒のビデオ信号である。２枚の符号化されるフレームの間に、１枚、２枚または３枚のフレームが飛ばされるとすると、フレームレートはそれぞれ１５、１０または７．５フレーム／秒になる。
【００１０】
飛び越し技法を用いる、このような符号化器に対応する復号化器では、30フレーム／秒のビデオ信号を復元するために、飛ばされたフレームをその近くの復号化されたフレームのみに基づいて推定している。このようなビデオ信号の復元では、飛び越されたフレーム（飛び越しフレームと呼ぶ）が元々持っていた情報を全く考慮していないため、これらの飛び越しフレームの正確な特徴を再構成することが不可能であり、その結果全体的な映像の画質が低下してしまうという欠点があった。
【００１１】
【発明が解決しようとする課題】
従って、本発明の主な目的は、飛び越しフレームの推定を容易にする飛び越しフレーム予測ファクター、更に、特徴点を用いる画素単位の動き推定及び補償技法を採用して、ビデオ信号を符復号化するための改善された映像処理システムを提供することにある。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、映像信号を符号化して符号化された信号を提供する符号化手段と、前記符号化された信号を復号化して、復号化された映像信号を提供する復号化手段とを備える映像処理システムに於いて、前記符号化手段が、前記映像信号から、現フレームと前フレームを含む複数のフレームを選択する手段であって、該前フレームと該現フレームとの間にＮ個の飛び越しフレーム（Ｎは正の整数）が含まれるフレーム選択手段と、前記前フレームと前記現フレームとの間の変位を推定し、その推定された変位を表示する第１セットの動きベクトルを提供し、かつ、前記第１セットの動きベクトルを用いて前記前フレームを補償して、予測された現フレームを画素単位で提供する予測された現フレーム提供手段と、前記現フレームから前記予測された現フレームを引き算し、差分信号を提供すると共に、前記差分信号と前記第１セットの動きベクトルとを符号化することによって、符号化された差分信号と符号化された第１セットの動きベクトルとを提供する手段と、Ｍ個（Ｍは前記Ｎより大きい正の整数）の飛び越しフレーム予測ファクターが掛けられた前記第１セットの動きベクトルを用いて、前記前フレームを再度補償してＭ個の候補フレームを発生する手段と、前記Ｎ個の飛び越しフレームの各々と前記候補フレームの各々とを比較して、前記Ｎ個の飛び越しフレームの各々に対して１つの飛び越しフレーム予測ファクターを提供する手段とを備え、かつ、前記復号化手段が、前記符号化された差分信号及び前記符号化された第１セットの動きベクトルを復号化することによって、前記差分信号と前記第１セットの動きベクトルとを復元する手段と、復元された前記第１セットの動きベクトルを用いて、前記前フレームを補償して予測された現フレームを復元する手段と、復元された前記予測された現フレームを前記復元された差分信号に加えて、前記現フレームを復元する手段と、前記Ｎ個の飛び越しフレームの各々に対する各々の伝送された飛び越しフレーム予測ファクター及び前記復元された第１セットの動きベクトルを用いて、前記前フレームを補償することによって、前記前フレームと前記復元された現フレームとの間に前記Ｎ個の飛び越しフレームの各々を復元する手段とを含むことを特徴とする映像処理システムが提供される。
【００１３】
【実施例】
以下、本発明の映像処理システムについて図面を参照しながらより詳しく説明する。
【００１４】
図１には、フレームデシメーション法と画素単位の動き推定及び補償技法とを採用した映像信号符号化器が示されている。示されているように、入力信号はフレームデシメータ１０１へ入力される。このフレームデシメータ１０１は、デシメーションの程度を表す予め定められたフレームデシメーション比に従って間のフレームを飛ばすことによって符号化すべきフレームを選択し、選択されたフレームを第１フレームメモリ１００へ提供する。例えば、予め定められたデシメーション比が２または３の場合、フレームデシメータ１０１は、それぞれ一つおき、または２つおきにビデオ信号フレームを選択する。飛び越されたフレーム（飛び越しフレーム）は、飛び越しフレームメモリ１４８内に格納される。
【００１５】
図１に示されているように、第１フレームメモリ１００に格納された選択された信号は減算器１０２へ伝えられると共に、ラインＬ１０を介して現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック１５０へも入力される。
【００１６】
このブロック１５０は、第１フレームメモリ１００から取り出されたラインＬ１０上の現フレーム信号と、第２フレームメモリ１２４からのラインＬ１２上の復元された前フレーム信号と、飛び越しフレームメモリ１４８からのラインＬ８上の飛び越しフレーム信号とを処理すると共に画素単位で現フレームを予測して、ラインＬ３０上に予測された現フレーム信号を、ラインＬ２０上に特徴点に対する動きベクトルの1セットを、そしてラインＬ２１上に飛び越しフレームの各々に対する飛び越しフレーム予測ファクターを提供する。現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック１５０については、後に図２及び図３を参照しつつより詳しく説明する。
【００１７】
一方、減算器１０２では、ラインＬ３０上の予測された現フレーム信号が現フレーム信号から引き算されて、その結果データ、即ち、差分画素値を表すエラー信号が映像信号符号化器１０５へ入力されるが、そこでこのエラー信号は離散的コサイン変換(DCT)及び公知の他の量子化方法を用いて一連の量子化された変換係数に符号化される。しかる後、その量子化された変換係数は、エントロピー符号化器１０７及び映像信号復号化器１１３へ送られる。エントロピー符号化器１０７では、映像信号符号化器１０５からの量子化された変換係数とブロック１５０からラインＬ２０を介して入力された動きベクトルとが、共に可変長符号化法を用いて符号化されて伝送される。
【００１８】
マルチプレクサ（ＭＵＸ）１０９は、エントロピー符号化器１０７の出力信号とブロック１５０からラインＬ２１を介して提供される飛び越しフレーム予測ファクターとを多重化する。しかる後、その多重化された信号を伝送するために伝送器（図示せず）へ提供する。
【００１９】
一方、映像信号復号化器１１３は、映像信号符号化器１０５から入力された量子化された変換係数を逆量子化及び逆離散的コサイン変換を通じて復元されたエラー信号に再度変換する。映像信号復号化器１１３からの復元されたエラー信号と、ブロック１５０からの予測された現フレーム信号とは加算器１１５で合わせられて復元された現フレーム信号になり、第２フレームメモリ１２４に前フレームとして格納される。
【００２０】
図２には、図１の現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック１５０の詳細が示されている。第２フレームメモリ１２４からのラインＬ１２上の前フレーム信号は特徴点選択ブロック２１０、特徴点動きベクトル検知ブロック２１２、動き補償ブロック２１６及び飛び越しフレーム予測ファクター特定ブロック２１８へ入力される。
【００２１】
特徴点選択ブロック２１０では、前フレームに含まれた画素の中から複数の特徴点が選択される。特徴点の各々はフレーム内の物体の動きを代表し得る画素として定義される。特徴点選択ブロック２１０からのこれらの選択された特徴点は、特徴点動きベクトル検知ブロック２１２、現フレーム動きベクトル検知ブロック２１４及び飛び越しフレーム予測ファクター特定ブロック２１８へ入力される。ラインＬ１０上の現フレーム信号は特徴点動きベクトル検知ブロック２１２へ提供される。
【００２２】
特徴点動きベクトル検知ブロック２１２では、選択された特徴点に対する第１セットの動きベクトルを検知する。第１セットの動きベクトルの各々は前フレームの特徴点と現フレーム内で最も類似な画素との間の空間的変位を表す。
【００２３】
全ての特徴点に対する動きベクトル、即ち、第１セットの動きベクトルを検知した後、そのベクトルは現フレーム動きベクトル検知ブロック２１４、飛び越しフレーム予測ファクター特定ブロック２１８、及びエントロピー符号化器１０７（図１に図示）へラインＬ２０を介して供給される。
【００２４】
現フレーム動きベクトル検知ブロック２１４では、現フレームに含まれた全ての画素に対する第２セットの動きベクトルを、ブロック２１２からの第１セットの動きベクトルと特徴点選択ブロック２１０からの特徴点とを用いて特定する。第２セットの動きベクトルを特定するためには、まず、“準特徴点”に対する１セットの動きベクトルを特定するが、ここで各々の準特徴点は前フレームの特徴点の各々から第１セットの各々の動きベクトルだけ移動した現フレームにおける画素点を表す。準特徴点に対する動きベクトルの大きさは、動きベクトルの方向が反対であることを除いては、それに対応する特徴点の動きベクトルと同一である。全ての準特徴点に対する動きベクトルを特定した後には、現フレーム内の残りの画素点、即ち、非準特徴点に対する動きベクトルを次のように特定する。
【００２５】
図３に示されているように、複数の準特徴点が現フレーム内においてランダムに分布されている。＊で表示された非準特徴点に対する動きベクトルは、半径ｄr＋ｄaの円の境界に含まれる準特徴点に対する動きベクトルを平均することによって求められるが、ここで、ｄaは最も近い準特徴点と＊で表された画素の間の距離であって、そして、ｄrは動きベクトル計算に用いられる他の準特徴点を含むように拡張された予め定められた半径である。例えば、最も近い準特徴点が「Ｙ」であり、そして準特徴点「Ｘ」がｄr＋ｄaの境界内に含まれれば、＊で表された画素に対する動きベクトル(ＭＶx，ＭＶy)は次式(1)のように計算される。
【００２６】
【数１】
【００２７】
ここで、ｄx及びｄyは、各々＊で表示された画素位置から準特徴点Ｘ及びＹまでの距離を、(ＭＶx，ＭＶy)X及び(ＭＶx，ＭＶy)Yは各々の準特徴点に対する動きベクトルを表す。
【００２８】
図２を再度参照すると、準特徴点及び非準特徴点に対する第２セットの動きベクトルは、動き補償ブロック２１６へ提供される。動き補償ブロック２１６においては、予測された現フレームに含まれるべき画素の各々を第２セットの動きベクトルの各々を用いて、第２フレームメモリ１２４（図１に図示）から取り出す。
【００２９】
一方、飛び越しフレーム予測ファクター特定ブロック２１８では、Ｎ個の飛び越しフレームの各々に対するＭ個の候補フレームを生成すると共に、各飛び越しフレームをＭ個の候補フレームの各々と比較して、飛び越しフレームの各々に対する飛び越しフレーム予測ファクターをＭＵＸ１０９（図１）に供給する。飛び越しフレーム予測ファクター及び候補フレームの定義、そして飛び越しフレーム予測ファクター特定ブロック２１８の詳細については、図４Ａ、図４Ｂ及び図５を参照しつつ詳細に説明する。
【００３０】
図４Ａ及び図４Ｂを参照すると、候補フレームを規定するための複数のフレームが概略的に示されている。図４Ａには、４つのフレーム、即ち、前フレーム３０、第１飛び越しフレーム３２、第２飛び越しフレーム３４及び予測された現フレーム３６が示されている。説明を容易にするため、前フレーム３０と予測された現フレーム３６との間の飛び越しフレームの数を２つとし、前フレーム３０の複数の特徴点の中から一つの特徴点Ａと、それに対応する予測された現フレーム３６の準特徴点Ｂを例として示すこととする。そして、特徴点Ａに対応する第１及び第２飛び越しフレーム３２及び３４上の画素点は、画素点Ｃ及び画素点Ｄでそれぞれ表す。
【００３１】
図４Ａに示したように、第１飛び越しフレーム３２及び第２飛び越しフレーム３４上の画素点Ｃ及び画素点Ｄは特徴点Ａと準特徴点Ｂとを直接連結するライン上に置かれていないが、これが意味するのは、前フレーム３０における特徴点Ａに対応する第１または第２飛び越しフレーム３２、３４においての画素点Ｃまたは画素点Ｄの位置が、前フレーム３０と予測された現フレーム３６との間の時間差に比例する位置（即ち、特徴点と準特徴点を結ぶラインと飛び越しフレーム３２または３４とが交差する位置）に一致していないということである。しかしながら、前フレーム３０における特徴点Ａが予測された現フレーム３６における準特徴点Ｂへと線形に動く場合は、２つの画素点Ｃ及びＤは、特徴点Ａと準特徴点Ｂとの間のライン上に配列される。このような場合、画素点Ｃ及びＤの各々の位置は特徴点Ａと準特徴点Ｂとの間のライン上に複数の候補特徴点を順に配列することによって推定できる。例えば、図４Ｂでは、Ｅ乃至Ｋの複数の候補特徴点が候補特徴点Ｅと候補特徴点Ｋとの間のライン上に配列されているが、ここで、候補特徴点Ｅ及びＫは特徴点Ａ及び準特徴点Ｂとそれぞれ同一である。Ｍ個の候補フレームからの一つの候補特徴点の選択は、飛び越しフレーム３２及び３４の各々とＭ個の候補フレームとを比較することによってなされる。これらの候補フレームの各々は、内部に含まれる複数の候補特徴点に基づいて求められる。
【００３２】
Ｍ個の候補フレームを求める方法は、予測された現フレームにおける準特徴点が、各々の候補フレーム内に含まれる候補特徴点に置き換えられることを除いては、図２に示された現フレーム動きベクトル検知ブロック２１４及び動き補償ブロック２１６のような２つのブロックにおいて行われた、予測された現フレームを作成する方法と同一である。例えば、図４Ｂに示したように、第１候補フレーム３８とＭ番目の候補フレーム５０との間の時間間隔がＴ、２つの候補フレーム間のギャップΔＴがＴ／（Ｍ−１）の場合（ここでＭは２より大きい整数）、ｊ番目の候補フレームにおける１つの候補特徴点及びその動きベクトルは次のように特定され得る。
【００３３】
ｊ番目の候補フレームにおける候補特徴点の位置は、前フレーム３０における特徴点Ａを、特徴点Ａと準特徴点Ｂとの間で、動きベクトルに（ｊ−１）／（Ｍ−１）を掛けた分だけ移動させることによって求められる。また、前フレーム３０の特徴点Ａとｊ番目の候補フレームにおける候補特徴点との間の動きベクトルは、特徴点Ａと準特徴点Ｂとの間の動きベクトルに（ｊ−１）／（Ｍ−１）を掛けることによって求められる。
【００３４】
図５を参照すると、図２の飛び越しフレーム予測ファクター特徴ブロック２１８の詳細なブロック図が示されている。図５に示したように、特徴点動きベクトル検知ブロック２１２（図２）で決定された特徴点の動きベクトルがラインＬ１８を介して掛け算器５００へ提供される。一方、各候補フレームに対して予め定められた飛び越しフレーム予測ファクターが、飛び越しフレーム予測ファクター発生器５０２から掛け算器５００へ提供される。ｊ番目の候補フレームに対する飛び越しフレーム予測ファクターは、図４Ａ及び図４Ｂで述べたように、（ｊ−１）／（Ｍ−１）であって、これは、コンパレータ５１４の制御の下で、第１レジスター５１６に格納される。更に、飛び越しフレーム予測ファクターが掛けられた特徴点の動きベクトルが、候補フレーム動きベクトル検知ブロック５０４へ提供される。候補フレーム動きベクトル検知ブロック５０４では、ラインＬ１３を介して提供される特徴点選択ブロック２１０からの特徴点及び掛け算器５００からの飛び越しフレームファクターが掛けられた特徴点の動きベクトルを用いて、候補フレームに含まれる全ての画素点に対する動きベクトルが特定される。ここで、ブロック５０４の動作は、上述した現フレーム動きベクトル検知ブロック２１４（図２）の動作と同一である。
【００３５】
候補フレームに含まれる全ての画素に対する動きベクトルは、候補フレーム動き補償ブロック５０６へ提供される。ここでは候補フレーム動きベクトル検知ブロック５０４からの全ての動きベクトルを用いて、ラインＬ１２上の前フレームを動き補償することによって、候補フレームを作る。この候補フレームは候補フレームメモリ５０８に送られて格納される。
【００３６】
減算器５１０では、候補フレームメモリ５０８内に格納された候補フレームとラインＬ８上の飛び越しフレームとの間のエラー値が画素単位で計算された後、その結果が候補フレームエラー蓄積ブロック５１２へ送られてエラー信号として蓄積される。この候補フレームのエラー信号はコンパレータ５１４及び第２レジスター５１８へ提供される。コンパレータ５１４では、現入力候補フレームのエラー信号と、前に入力されて第２レジスターに格納された前の候補フレームのエラー信号とを比較して、第１レジスター５１６及び第２レジスター５１８へイネーブル信号を発生する。現入力候補フレームのエラー信号が前候補フレームのエラー信号より少ない場合、イネーブル信号が発生する。この際、第１レジスター５１６に格納された前候補フレームの飛び越しフレーム予測ファクターは、現入力候補フレームの新しい飛び越しフレーム予測ファクターに置き換えられて、かつ、第２レジスター５１８に格納されているエラー値は現入力候補フレームのエラー信号に更新される。一つの飛び越しフレームに対して全ての候補フレームとの比較が終了すると、その時第１レジスター５１６に格納されている最終的な飛び越しフレーム予測ファクターがラインＬ２１上へ、その飛び越しフレームに対する飛び越しフレーム予測ファクターとして提供される。
【００３７】
図６を参照すると、図１で示した映像信号符号化器に対応する映像信号復号化器が示されている。符号化器から伝送された信号はデマルチプレクサ６０５へ加えられて、符号化された信号はラインＬ６０を介してエントロピー復号化器６０７へ提供され、かつ各々の飛び越しフレームに対する予測ファクターはラインＬ６６を介してフレーム補間器６０１へ提供される。エントロピー復号化器６０７では、ラインＬ６０上の伝送された信号が、第１セットの動きベクトル及び量子化された変換係数に復号化される。動きベクトルは、ラインＬ６４を介して現フレーム予測ブロック６５０及びフレーム補間器６０１へ提供されるが、量子化された変換係数はラインＬ６２を介して映像信号復号化器６１３へ提供される。
【００３８】
映像信号復号化器６１３では、逆量子化及び逆離散的コサイン変換によって、量子化された変換係数を復元されたエラー信号に再度変換する。
【００３９】
現フレーム予測ブロック６５０は、現フレーム信号がフレームメモリ６２４に格納された前フレーム信号に基づいて予測されて、かつ第１セットの動きベクトルがエントロピー復号化器６０７から提供されるという点を除外すれば、図１に示された映像信号符号化器におけるブロック１５０での現フレーム予測過程と実質的に同一の動作を行う。
【００４０】
従って、現フレーム予測ブロック６５０は、図２の現フレーム予測部分（飛び越しフレーム予測ブロック２１８を備えない）と類似な構造を有する。しかしながら、異なる点は、符号化器から伝送された第１セットの動きベクトルがラインＬ６４上に伝送されるため、図２に示された特徴点動きベクトル検知ブロック２１２のような動き推定器のないことである。
【００４１】
復号化器の特徴点選択ブロックにおいて、特徴点は、復号化器内に復号化されて格納された前フレームから、符号化器で行われたのと同様な方法で求められる。復号化器の現フレーム動きベクトル検知ブロックでは、第１セットの動きベクトル及び特徴点を用いて、現フレームに含まれる全ての画素に対する第２セットの動きベクトルが推定される。復号化器の動き補償ブロックにおいて、前フレーム内の各々の画素点を第２セットの動きベクトルの各々を用いて移動させることによって、予測された現フレーム内に含まれるべき各画素を求める。
【００４２】
映像信号復号化器６１３からの復元されたエラー信号、及び現フレーム予測ブロック６５０からのラインＬ７０上の予測された現フレーム信号は加算器６１５で組み合わせられ、復元された現フレーム信号をフレームメモリ６２４へ提供する。
【００４３】
フレームメモリ６２４内に格納された復元されたフレーム信号は、フレーム補間器６０１へ供給されるが、そこでデマルチプレクサ６０５から提供される飛び越しフレーム予測ファクター及びエントロピー復号化器６０７から提供される第１セットの動きベクトルを用いて、前フレームと復元された現フレームとの間のＮ個の飛び越しフレームが、次のようにして求められる。
【００４４】
前フレームと現フレームとの間のｉ番目の飛び越しフレームを復元するためには、伝送された飛び越しフレーム予測ファクター中の対応する一つに応じて、最初にｉ番目の飛び越しフレームに対する複数の動きベクトル及び対応する数の画素点が特定される。ｉ番目の飛び越しフレームにおけるこれらの画素点の各々は、前フレームにおける特徴点の各々を、伝送された飛び越しフレーム予測ファクター（ｊ−１）／（Ｍ−１）を掛けられた、特徴点の各々に対応する第１セットの動きベクトルの各々を用いて移動させることによって特定されて、ｉ番目の飛び越しフレームにおける対応する数の画素点の各々と前フレームにおける各々の特徴点との間の動きベクトルは、第１セットの動きベクトルの各々に（ｊ−１）／（Ｍ−１）を掛けることによって特定される。続いて、ｉ番目の飛び越しフレーム内に含まれる全ての画素に対する動きベクトル及び対応する数のｉ番目の飛び越しフレームの画素点が特定され、その後、これらの全ての画素に対する動きベクトルを用いて前記前フレームを補償することによって、ｉ番目の飛び越しフレームが推定される。前フレームと予測された現フレームとの間の全ての飛び越しフレームが復元された後、フレーム補間器６０１は入力される映像信号を再構成するために出力フレームの順番を制御する。即ち、補間器６０１から出力される信号の順番は前フレーム信号、飛び越しフレーム信号、そして予測された現フレーム信号になる。
【００４５】
上記に於いて、本発明の特定の実施例について説明したが、本発明に記載の請求範囲を逸脱することなく当業者は種々の改変をなし得るであろう。
【００４６】
【発明の効果】
従って、本発明によれば、飛び越しフレームに対して簡単な予測ファクターを用いることによって、伝送データの増大なしに、飛び越しフレームの特徴をうまく表現できるので、全体的な映像の画質を改善することができる。
【図面の簡単な説明】
【図１】本発明による、現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック１５０を含む映像信号符号化器のブロック図である。
【図２】図１の現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック１５０の詳細なブロック図である。
【図３】非準特徴点に対する動きベクトルを検知する方法を示す図である。
【図４】Ａ及びＢよりなり、候補フレームを定義するための複数の例示的なフレームを示した図である。
【図５】図２の飛び越しフレーム予測ファクター特定ブロック２１８の詳細なブロック図である。
【図６】図１に示された映像信号符号化器に対応する映像信号復号化器を示す図である。
【符号の説明】
３０ 前フレーム
３２ 飛び越しフレーム
３４ 飛び越しフレーム
３６ 予測された現フレーム
３８ 候補フレーム
４０ 候補フレーム
４２ 候補フレーム
４４ 候補フレーム
４６ 候補フレーム
４８ 候補フレーム
５０ 候補フレーム
１００ 第１フレームメモリ
１０１ フレームデシメータ
１０２ 減算器
１０５ 映像信号符号化器
１０７ エントロピー符号化器
１０９ マルチプレクサ
１１３ 映像信号復号化器
１１５ 加算器
１２４ 第２フレームメモリ
１４８ 飛び越しフレームメモリ
１５０ 現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック
２１０ 特徴点選択ブロック
２１２ 特徴点動きベクトル検知ブロック
２１４ 現フレーム動きベクトル検知ブロック
２１６ 動き補償ブロック
２１８ 飛び越しフレーム予測ファクター特定ブロック
５００ 掛け算器
５０２ 飛び越しフレーム予測ファクター発生器
５０４ 候補フレーム動きベクトル検知ブロック
５０６ 候補フレーム動き補償ブロック
５０８ 候補フレームメモリ
５１０ 減算器
５１２ 候補フレームエラー蓄積ブロック
５１４ コンパレータ
５１６ 第１レジスター
５１８ 第２レジスター
６０１ フレーム補間器
６０５ デマルチプレクサ
６０７ エントロピー復号化器
６１３ 映像信号復号化器
６１５ 加算器
６２４ フレームメモリ
６５０ 現フレーム予測ブロック
【産業上の利用分野】
本発明はビデオ信号を符号化、復号化する映像処理システムに関し、特に、フレームデシメーション（decimation）と、画素単位の動き推定及び補償技法とを用いてビデオ信号を符号化、復号化する映像処理システムに関する。
【０００２】
【従来の技術】
周知のように、ディジタル信号化された画像信号の伝送は、アナログ信号より良好な画質を伝送することができる。一連のイメージ「フレーム」から成る画素信号がディジタル信号として表現される時、特に、高精細度テレビジョンの場合、大量のデータを伝送しなければならない。しかし、従来の伝送チャネルの使用可能な周波数帯域は制限されているため、大量のディジタルデータを制限されたチャネル帯域を通じて伝送するためには、伝送データの量を圧縮、または減らすことが必要である。多様なビデオの圧縮技法の中で、いわゆるハイブリッド符号化技法が最も効率的であると知られている。この技法は、確率的符号化技法と時間的／空間的圧縮技法とを組み合わせたものである。
【０００３】
ほとんどのハイブリッド符号化技法は、動き補償DPCM（差分パルス符号変調）、２次元DCT（離散的コサイン変換）、DCT係数の量子化、VLC（可変長符号化）などを用いている。動き補償DPCMは現フレームとその前フレームとの間の物体の動きを特定すると共に、物体の動きから現フレームを予測し、現フレームとその予測との差を表す差分信号を生成する方法である。この方法は、例えば、Staffan Ericssonの「Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding」,IEEE Transactions on Communications,COM-33,No.12(1985年12月)、またはNinomiyaとOhtsukaの「A motion Compensated Interframe Coding Scheme for Television Pictures」,IEEE Transactions on Communications,COM-30,No.1(1982年1月)に記載されている。
【０００４】
より詳しく述べると、動き補償DPCMでは、現フレームは、現フレームと前フレームとの間の動き推定に基づいて、対応する前フレームのデータから予測される。そのように推定された動きは、前フレームと現フレームとの間の画素（pixel）の変位を表す２次元動きベクトルで表すことができる。
【０００５】
物体の画素の変位を推定するには様々な基本的なアプローチがあるが、一般に、２つのタイプに分類される。その中の１つはブロック単位の動き推定で、もう１つは画素単位の動き推定である。
【０００６】
ブロック単位の動き推定では、現フレームにおけるブロックを前フレーム内のブロックと比較して最適整合ブロックを特定する。これから、伝送される現フレームに対して、フレーム間の変位ベクトル（フレーム間で画素のブロックがどの位移動したかを表す）が推定される。しかし、ブロック単位の動き推定では、ブロック内の全ての画素が同一方向へ移動しない場合には推定の精度が悪く、その結果全体的な符号化効率が低減されることがある。
【０００７】
一方、画素単位の動き推定方法を用いた場合、変位は各々の画素に対して求められる。従って、この方法は画素値（pixel value）をより正確に推定し得ると共に、スケール変化（例えば、ズーミング(zooming)のような映像面に垂直な動き）も容易に取り扱うことができる。しかし、画素単位の動き推定では、動きベクトルが全ての画素の各々に対して特定されるので、実際に、全ての動きベクトルを受信器へ伝送することは不可能である。従って、選択された１セットの画素（即ち、特徴点）の動きベクトルを受信器に向けて伝送する。この特徴点の各々は周囲の画素を代表し得る画素として決定され、受信器では特徴点でない点の動きベクトルは特徴点の動きベクトルから復元することができる。本特許出願と出願人を同じくする係属中の米国特許第08/367,520号に「Method and Apparatus for Encoding a Video Signal Using Pixel-by-pixel Motion Estimation」との表題で開示された特徴点を用いた動き推定を採用した符号化器では、最初に前フレームに含まれる全ての画素から特徴点が選択される。しかる後、選択された特徴点に対する動きベクトルが決定されるが、この動きベクトルは、それぞれ前フレーム内の１つの特徴点と対応する現フレーム内の整合点、即ち、最も類似な画素との間の変位を表す。より詳しく述べると、各々の特徴点に対する整合点を現フレーム内の探索領域で探すが、この探索領域は相応する探索点の位置を含む予め定められた領域として定義される。
【０００８】
容易に実現することのできる他の圧縮技法として、フレームデシメーション(frame decimation)法があるが、この方法では、ある選択されたフレームだけ符号化して伝送し、その間の残りのフレームは飛ばすことによって、即ち、デシメーションすることによってデータの量を減らす（例えば、「Video Codec for Audiovisual Services at p x 64kb/s,CCITT勧告案H.261.CDM XV-R 37-E,International Telegraph and Telephone Consultative Committee(CCITT),1990年8月」参照）。
【０００９】
通常、ビデオ符号化器の入力は、主に３０フレーム／秒のビデオ信号である。２枚の符号化されるフレームの間に、１枚、２枚または３枚のフレームが飛ばされるとすると、フレームレートはそれぞれ１５、１０または７．５フレーム／秒になる。
【００１０】
飛び越し技法を用いる、このような符号化器に対応する復号化器では、30フレーム／秒のビデオ信号を復元するために、飛ばされたフレームをその近くの復号化されたフレームのみに基づいて推定している。このようなビデオ信号の復元では、飛び越されたフレーム（飛び越しフレームと呼ぶ）が元々持っていた情報を全く考慮していないため、これらの飛び越しフレームの正確な特徴を再構成することが不可能であり、その結果全体的な映像の画質が低下してしまうという欠点があった。
【００１１】
【発明が解決しようとする課題】
従って、本発明の主な目的は、飛び越しフレームの推定を容易にする飛び越しフレーム予測ファクター、更に、特徴点を用いる画素単位の動き推定及び補償技法を採用して、ビデオ信号を符復号化するための改善された映像処理システムを提供することにある。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、映像信号を符号化して符号化された信号を提供する符号化手段と、前記符号化された信号を復号化して、復号化された映像信号を提供する復号化手段とを備える映像処理システムに於いて、前記符号化手段が、前記映像信号から、現フレームと前フレームを含む複数のフレームを選択する手段であって、該前フレームと該現フレームとの間にＮ個の飛び越しフレーム（Ｎは正の整数）が含まれるフレーム選択手段と、前記前フレームと前記現フレームとの間の変位を推定し、その推定された変位を表示する第１セットの動きベクトルを提供し、かつ、前記第１セットの動きベクトルを用いて前記前フレームを補償して、予測された現フレームを画素単位で提供する予測された現フレーム提供手段と、前記現フレームから前記予測された現フレームを引き算し、差分信号を提供すると共に、前記差分信号と前記第１セットの動きベクトルとを符号化することによって、符号化された差分信号と符号化された第１セットの動きベクトルとを提供する手段と、Ｍ個（Ｍは前記Ｎより大きい正の整数）の飛び越しフレーム予測ファクターが掛けられた前記第１セットの動きベクトルを用いて、前記前フレームを再度補償してＭ個の候補フレームを発生する手段と、前記Ｎ個の飛び越しフレームの各々と前記候補フレームの各々とを比較して、前記Ｎ個の飛び越しフレームの各々に対して１つの飛び越しフレーム予測ファクターを提供する手段とを備え、かつ、前記復号化手段が、前記符号化された差分信号及び前記符号化された第１セットの動きベクトルを復号化することによって、前記差分信号と前記第１セットの動きベクトルとを復元する手段と、復元された前記第１セットの動きベクトルを用いて、前記前フレームを補償して予測された現フレームを復元する手段と、復元された前記予測された現フレームを前記復元された差分信号に加えて、前記現フレームを復元する手段と、前記Ｎ個の飛び越しフレームの各々に対する各々の伝送された飛び越しフレーム予測ファクター及び前記復元された第１セットの動きベクトルを用いて、前記前フレームを補償することによって、前記前フレームと前記復元された現フレームとの間に前記Ｎ個の飛び越しフレームの各々を復元する手段とを含むことを特徴とする映像処理システムが提供される。
【００１３】
【実施例】
以下、本発明の映像処理システムについて図面を参照しながらより詳しく説明する。
【００１４】
図１には、フレームデシメーション法と画素単位の動き推定及び補償技法とを採用した映像信号符号化器が示されている。示されているように、入力信号はフレームデシメータ１０１へ入力される。このフレームデシメータ１０１は、デシメーションの程度を表す予め定められたフレームデシメーション比に従って間のフレームを飛ばすことによって符号化すべきフレームを選択し、選択されたフレームを第１フレームメモリ１００へ提供する。例えば、予め定められたデシメーション比が２または３の場合、フレームデシメータ１０１は、それぞれ一つおき、または２つおきにビデオ信号フレームを選択する。飛び越されたフレーム（飛び越しフレーム）は、飛び越しフレームメモリ１４８内に格納される。
【００１５】
図１に示されているように、第１フレームメモリ１００に格納された選択された信号は減算器１０２へ伝えられると共に、ラインＬ１０を介して現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック１５０へも入力される。
【００１６】
このブロック１５０は、第１フレームメモリ１００から取り出されたラインＬ１０上の現フレーム信号と、第２フレームメモリ１２４からのラインＬ１２上の復元された前フレーム信号と、飛び越しフレームメモリ１４８からのラインＬ８上の飛び越しフレーム信号とを処理すると共に画素単位で現フレームを予測して、ラインＬ３０上に予測された現フレーム信号を、ラインＬ２０上に特徴点に対する動きベクトルの1セットを、そしてラインＬ２１上に飛び越しフレームの各々に対する飛び越しフレーム予測ファクターを提供する。現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック１５０については、後に図２及び図３を参照しつつより詳しく説明する。
【００１７】
一方、減算器１０２では、ラインＬ３０上の予測された現フレーム信号が現フレーム信号から引き算されて、その結果データ、即ち、差分画素値を表すエラー信号が映像信号符号化器１０５へ入力されるが、そこでこのエラー信号は離散的コサイン変換(DCT)及び公知の他の量子化方法を用いて一連の量子化された変換係数に符号化される。しかる後、その量子化された変換係数は、エントロピー符号化器１０７及び映像信号復号化器１１３へ送られる。エントロピー符号化器１０７では、映像信号符号化器１０５からの量子化された変換係数とブロック１５０からラインＬ２０を介して入力された動きベクトルとが、共に可変長符号化法を用いて符号化されて伝送される。
【００１８】
マルチプレクサ（ＭＵＸ）１０９は、エントロピー符号化器１０７の出力信号とブロック１５０からラインＬ２１を介して提供される飛び越しフレーム予測ファクターとを多重化する。しかる後、その多重化された信号を伝送するために伝送器（図示せず）へ提供する。
【００１９】
一方、映像信号復号化器１１３は、映像信号符号化器１０５から入力された量子化された変換係数を逆量子化及び逆離散的コサイン変換を通じて復元されたエラー信号に再度変換する。映像信号復号化器１１３からの復元されたエラー信号と、ブロック１５０からの予測された現フレーム信号とは加算器１１５で合わせられて復元された現フレーム信号になり、第２フレームメモリ１２４に前フレームとして格納される。
【００２０】
図２には、図１の現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック１５０の詳細が示されている。第２フレームメモリ１２４からのラインＬ１２上の前フレーム信号は特徴点選択ブロック２１０、特徴点動きベクトル検知ブロック２１２、動き補償ブロック２１６及び飛び越しフレーム予測ファクター特定ブロック２１８へ入力される。
【００２１】
特徴点選択ブロック２１０では、前フレームに含まれた画素の中から複数の特徴点が選択される。特徴点の各々はフレーム内の物体の動きを代表し得る画素として定義される。特徴点選択ブロック２１０からのこれらの選択された特徴点は、特徴点動きベクトル検知ブロック２１２、現フレーム動きベクトル検知ブロック２１４及び飛び越しフレーム予測ファクター特定ブロック２１８へ入力される。ラインＬ１０上の現フレーム信号は特徴点動きベクトル検知ブロック２１２へ提供される。
【００２２】
特徴点動きベクトル検知ブロック２１２では、選択された特徴点に対する第１セットの動きベクトルを検知する。第１セットの動きベクトルの各々は前フレームの特徴点と現フレーム内で最も類似な画素との間の空間的変位を表す。
【００２３】
全ての特徴点に対する動きベクトル、即ち、第１セットの動きベクトルを検知した後、そのベクトルは現フレーム動きベクトル検知ブロック２１４、飛び越しフレーム予測ファクター特定ブロック２１８、及びエントロピー符号化器１０７（図１に図示）へラインＬ２０を介して供給される。
【００２４】
現フレーム動きベクトル検知ブロック２１４では、現フレームに含まれた全ての画素に対する第２セットの動きベクトルを、ブロック２１２からの第１セットの動きベクトルと特徴点選択ブロック２１０からの特徴点とを用いて特定する。第２セットの動きベクトルを特定するためには、まず、“準特徴点”に対する１セットの動きベクトルを特定するが、ここで各々の準特徴点は前フレームの特徴点の各々から第１セットの各々の動きベクトルだけ移動した現フレームにおける画素点を表す。準特徴点に対する動きベクトルの大きさは、動きベクトルの方向が反対であることを除いては、それに対応する特徴点の動きベクトルと同一である。全ての準特徴点に対する動きベクトルを特定した後には、現フレーム内の残りの画素点、即ち、非準特徴点に対する動きベクトルを次のように特定する。
【００２５】
図３に示されているように、複数の準特徴点が現フレーム内においてランダムに分布されている。＊で表示された非準特徴点に対する動きベクトルは、半径ｄr＋ｄaの円の境界に含まれる準特徴点に対する動きベクトルを平均することによって求められるが、ここで、ｄaは最も近い準特徴点と＊で表された画素の間の距離であって、そして、ｄrは動きベクトル計算に用いられる他の準特徴点を含むように拡張された予め定められた半径である。例えば、最も近い準特徴点が「Ｙ」であり、そして準特徴点「Ｘ」がｄr＋ｄaの境界内に含まれれば、＊で表された画素に対する動きベクトル(ＭＶx，ＭＶy)は次式(1)のように計算される。
【００２６】
【数１】
ここで、ｄx及びｄyは、各々＊で表示された画素位置から準特徴点Ｘ及びＹまでの距離を、(ＭＶx，ＭＶy)X及び(ＭＶx，ＭＶy)Yは各々の準特徴点に対する動きベクトルを表す。
【００２８】
図２を再度参照すると、準特徴点及び非準特徴点に対する第２セットの動きベクトルは、動き補償ブロック２１６へ提供される。動き補償ブロック２１６においては、予測された現フレームに含まれるべき画素の各々を第２セットの動きベクトルの各々を用いて、第２フレームメモリ１２４（図１に図示）から取り出す。
【００２９】
一方、飛び越しフレーム予測ファクター特定ブロック２１８では、Ｎ個の飛び越しフレームの各々に対するＭ個の候補フレームを生成すると共に、各飛び越しフレームをＭ個の候補フレームの各々と比較して、飛び越しフレームの各々に対する飛び越しフレーム予測ファクターをＭＵＸ１０９（図１）に供給する。飛び越しフレーム予測ファクター及び候補フレームの定義、そして飛び越しフレーム予測ファクター特定ブロック２１８の詳細については、図４Ａ、図４Ｂ及び図５を参照しつつ詳細に説明する。
【００３０】
図４Ａ及び図４Ｂを参照すると、候補フレームを規定するための複数のフレームが概略的に示されている。図４Ａには、４つのフレーム、即ち、前フレーム３０、第１飛び越しフレーム３２、第２飛び越しフレーム３４及び予測された現フレーム３６が示されている。説明を容易にするため、前フレーム３０と予測された現フレーム３６との間の飛び越しフレームの数を２つとし、前フレーム３０の複数の特徴点の中から一つの特徴点Ａと、それに対応する予測された現フレーム３６の準特徴点Ｂを例として示すこととする。そして、特徴点Ａに対応する第１及び第２飛び越しフレーム３２及び３４上の画素点は、画素点Ｃ及び画素点Ｄでそれぞれ表す。
【００３１】
図４Ａに示したように、第１飛び越しフレーム３２及び第２飛び越しフレーム３４上の画素点Ｃ及び画素点Ｄは特徴点Ａと準特徴点Ｂとを直接連結するライン上に置かれていないが、これが意味するのは、前フレーム３０における特徴点Ａに対応する第１または第２飛び越しフレーム３２、３４においての画素点Ｃまたは画素点Ｄの位置が、前フレーム３０と予測された現フレーム３６との間の時間差に比例する位置（即ち、特徴点と準特徴点を結ぶラインと飛び越しフレーム３２または３４とが交差する位置）に一致していないということである。しかしながら、前フレーム３０における特徴点Ａが予測された現フレーム３６における準特徴点Ｂへと線形に動く場合は、２つの画素点Ｃ及びＤは、特徴点Ａと準特徴点Ｂとの間のライン上に配列される。このような場合、画素点Ｃ及びＤの各々の位置は特徴点Ａと準特徴点Ｂとの間のライン上に複数の候補特徴点を順に配列することによって推定できる。例えば、図４Ｂでは、Ｅ乃至Ｋの複数の候補特徴点が候補特徴点Ｅと候補特徴点Ｋとの間のライン上に配列されているが、ここで、候補特徴点Ｅ及びＫは特徴点Ａ及び準特徴点Ｂとそれぞれ同一である。Ｍ個の候補フレームからの一つの候補特徴点の選択は、飛び越しフレーム３２及び３４の各々とＭ個の候補フレームとを比較することによってなされる。これらの候補フレームの各々は、内部に含まれる複数の候補特徴点に基づいて求められる。
【００３２】
Ｍ個の候補フレームを求める方法は、予測された現フレームにおける準特徴点が、各々の候補フレーム内に含まれる候補特徴点に置き換えられることを除いては、図２に示された現フレーム動きベクトル検知ブロック２１４及び動き補償ブロック２１６のような２つのブロックにおいて行われた、予測された現フレームを作成する方法と同一である。例えば、図４Ｂに示したように、第１候補フレーム３８とＭ番目の候補フレーム５０との間の時間間隔がＴ、２つの候補フレーム間のギャップΔＴがＴ／（Ｍ−１）の場合（ここでＭは２より大きい整数）、ｊ番目の候補フレームにおける１つの候補特徴点及びその動きベクトルは次のように特定され得る。
【００３３】
ｊ番目の候補フレームにおける候補特徴点の位置は、前フレーム３０における特徴点Ａを、特徴点Ａと準特徴点Ｂとの間で、動きベクトルに（ｊ−１）／（Ｍ−１）を掛けた分だけ移動させることによって求められる。また、前フレーム３０の特徴点Ａとｊ番目の候補フレームにおける候補特徴点との間の動きベクトルは、特徴点Ａと準特徴点Ｂとの間の動きベクトルに（ｊ−１）／（Ｍ−１）を掛けることによって求められる。
【００３４】
図５を参照すると、図２の飛び越しフレーム予測ファクター特徴ブロック２１８の詳細なブロック図が示されている。図５に示したように、特徴点動きベクトル検知ブロック２１２（図２）で決定された特徴点の動きベクトルがラインＬ１８を介して掛け算器５００へ提供される。一方、各候補フレームに対して予め定められた飛び越しフレーム予測ファクターが、飛び越しフレーム予測ファクター発生器５０２から掛け算器５００へ提供される。ｊ番目の候補フレームに対する飛び越しフレーム予測ファクターは、図４Ａ及び図４Ｂで述べたように、（ｊ−１）／（Ｍ−１）であって、これは、コンパレータ５１４の制御の下で、第１レジスター５１６に格納される。更に、飛び越しフレーム予測ファクターが掛けられた特徴点の動きベクトルが、候補フレーム動きベクトル検知ブロック５０４へ提供される。候補フレーム動きベクトル検知ブロック５０４では、ラインＬ１３を介して提供される特徴点選択ブロック２１０からの特徴点及び掛け算器５００からの飛び越しフレームファクターが掛けられた特徴点の動きベクトルを用いて、候補フレームに含まれる全ての画素点に対する動きベクトルが特定される。ここで、ブロック５０４の動作は、上述した現フレーム動きベクトル検知ブロック２１４（図２）の動作と同一である。
【００３５】
候補フレームに含まれる全ての画素に対する動きベクトルは、候補フレーム動き補償ブロック５０６へ提供される。ここでは候補フレーム動きベクトル検知ブロック５０４からの全ての動きベクトルを用いて、ラインＬ１２上の前フレームを動き補償することによって、候補フレームを作る。この候補フレームは候補フレームメモリ５０８に送られて格納される。
【００３６】
減算器５１０では、候補フレームメモリ５０８内に格納された候補フレームとラインＬ８上の飛び越しフレームとの間のエラー値が画素単位で計算された後、その結果が候補フレームエラー蓄積ブロック５１２へ送られてエラー信号として蓄積される。この候補フレームのエラー信号はコンパレータ５１４及び第２レジスター５１８へ提供される。コンパレータ５１４では、現入力候補フレームのエラー信号と、前に入力されて第２レジスターに格納された前の候補フレームのエラー信号とを比較して、第１レジスター５１６及び第２レジスター５１８へイネーブル信号を発生する。現入力候補フレームのエラー信号が前候補フレームのエラー信号より少ない場合、イネーブル信号が発生する。この際、第１レジスター５１６に格納された前候補フレームの飛び越しフレーム予測ファクターは、現入力候補フレームの新しい飛び越しフレーム予測ファクターに置き換えられて、かつ、第２レジスター５１８に格納されているエラー値は現入力候補フレームのエラー信号に更新される。一つの飛び越しフレームに対して全ての候補フレームとの比較が終了すると、その時第１レジスター５１６に格納されている最終的な飛び越しフレーム予測ファクターがラインＬ２１上へ、その飛び越しフレームに対する飛び越しフレーム予測ファクターとして提供される。
【００３７】
図６を参照すると、図１で示した映像信号符号化器に対応する映像信号復号化器が示されている。符号化器から伝送された信号はデマルチプレクサ６０５へ加えられて、符号化された信号はラインＬ６０を介してエントロピー復号化器６０７へ提供され、かつ各々の飛び越しフレームに対する予測ファクターはラインＬ６６を介してフレーム補間器６０１へ提供される。エントロピー復号化器６０７では、ラインＬ６０上の伝送された信号が、第１セットの動きベクトル及び量子化された変換係数に復号化される。動きベクトルは、ラインＬ６４を介して現フレーム予測ブロック６５０及びフレーム補間器６０１へ提供されるが、量子化された変換係数はラインＬ６２を介して映像信号復号化器６１３へ提供される。
【００３８】
映像信号復号化器６１３では、逆量子化及び逆離散的コサイン変換によって、量子化された変換係数を復元されたエラー信号に再度変換する。
【００３９】
現フレーム予測ブロック６５０は、現フレーム信号がフレームメモリ６２４に格納された前フレーム信号に基づいて予測されて、かつ第１セットの動きベクトルがエントロピー復号化器６０７から提供されるという点を除外すれば、図１に示された映像信号符号化器におけるブロック１５０での現フレーム予測過程と実質的に同一の動作を行う。
【００４０】
従って、現フレーム予測ブロック６５０は、図２の現フレーム予測部分（飛び越しフレーム予測ブロック２１８を備えない）と類似な構造を有する。しかしながら、異なる点は、符号化器から伝送された第１セットの動きベクトルがラインＬ６４上に伝送されるため、図２に示された特徴点動きベクトル検知ブロック２１２のような動き推定器のないことである。
【００４１】
復号化器の特徴点選択ブロックにおいて、特徴点は、復号化器内に復号化されて格納された前フレームから、符号化器で行われたのと同様な方法で求められる。復号化器の現フレーム動きベクトル検知ブロックでは、第１セットの動きベクトル及び特徴点を用いて、現フレームに含まれる全ての画素に対する第２セットの動きベクトルが推定される。復号化器の動き補償ブロックにおいて、前フレーム内の各々の画素点を第２セットの動きベクトルの各々を用いて移動させることによって、予測された現フレーム内に含まれるべき各画素を求める。
【００４２】
映像信号復号化器６１３からの復元されたエラー信号、及び現フレーム予測ブロック６５０からのラインＬ７０上の予測された現フレーム信号は加算器６１５で組み合わせられ、復元された現フレーム信号をフレームメモリ６２４へ提供する。
【００４３】
フレームメモリ６２４内に格納された復元されたフレーム信号は、フレーム補間器６０１へ供給されるが、そこでデマルチプレクサ６０５から提供される飛び越しフレーム予測ファクター及びエントロピー復号化器６０７から提供される第１セットの動きベクトルを用いて、前フレームと復元された現フレームとの間のＮ個の飛び越しフレームが、次のようにして求められる。
【００４４】
前フレームと現フレームとの間のｉ番目の飛び越しフレームを復元するためには、伝送された飛び越しフレーム予測ファクター中の対応する一つに応じて、最初にｉ番目の飛び越しフレームに対する複数の動きベクトル及び対応する数の画素点が特定される。ｉ番目の飛び越しフレームにおけるこれらの画素点の各々は、前フレームにおける特徴点の各々を、伝送された飛び越しフレーム予測ファクター（ｊ−１）／（Ｍ−１）を掛けられた、特徴点の各々に対応する第１セットの動きベクトルの各々を用いて移動させることによって特定されて、ｉ番目の飛び越しフレームにおける対応する数の画素点の各々と前フレームにおける各々の特徴点との間の動きベクトルは、第１セットの動きベクトルの各々に（ｊ−１）／（Ｍ−１）を掛けることによって特定される。続いて、ｉ番目の飛び越しフレーム内に含まれる全ての画素に対する動きベクトル及び対応する数のｉ番目の飛び越しフレームの画素点が特定され、その後、これらの全ての画素に対する動きベクトルを用いて前記前フレームを補償することによって、ｉ番目の飛び越しフレームが推定される。前フレームと予測された現フレームとの間の全ての飛び越しフレームが復元された後、フレーム補間器６０１は入力される映像信号を再構成するために出力フレームの順番を制御する。即ち、補間器６０１から出力される信号の順番は前フレーム信号、飛び越しフレーム信号、そして予測された現フレーム信号になる。
【００４５】
上記に於いて、本発明の特定の実施例について説明したが、本発明に記載の請求範囲を逸脱することなく当業者は種々の改変をなし得るであろう。
【００４６】
【発明の効果】
従って、本発明によれば、飛び越しフレームに対して簡単な予測ファクターを用いることによって、伝送データの増大なしに、飛び越しフレームの特徴をうまく表現できるので、全体的な映像の画質を改善することができる。
【図面の簡単な説明】
【図１】本発明による、現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック１５０を含む映像信号符号化器のブロック図である。
【図２】図１の現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック１５０の詳細なブロック図である。
【図３】非準特徴点に対する動きベクトルを検知する方法を示す図である。
【図４】Ａ及びＢよりなり、候補フレームを定義するための複数の例示的なフレームを示した図である。
【図５】図２の飛び越しフレーム予測ファクター特定ブロック２１８の詳細なブロック図である。
【図６】図１に示された映像信号符号化器に対応する映像信号復号化器を示す図である。
【符号の説明】
３０ 前フレーム
３２ 飛び越しフレーム
３４ 飛び越しフレーム
３６ 予測された現フレーム
３８ 候補フレーム
４０ 候補フレーム
４２ 候補フレーム
４４ 候補フレーム
４６ 候補フレーム
４８ 候補フレーム
５０ 候補フレーム
１００ 第１フレームメモリ
１０１ フレームデシメータ
１０２ 減算器
１０５ 映像信号符号化器
１０７ エントロピー符号化器
１０９ マルチプレクサ
１１３ 映像信号復号化器
１１５ 加算器
１２４ 第２フレームメモリ
１４８ 飛び越しフレームメモリ
１５０ 現フレーム予測及び飛び越しフレーム予測ファクター生成ブロック
２１０ 特徴点選択ブロック
２１２ 特徴点動きベクトル検知ブロック
２１４ 現フレーム動きベクトル検知ブロック
２１６ 動き補償ブロック
２１８ 飛び越しフレーム予測ファクター特定ブロック
５００ 掛け算器
５０２ 飛び越しフレーム予測ファクター発生器
５０４ 候補フレーム動きベクトル検知ブロック
５０６ 候補フレーム動き補償ブロック
５０８ 候補フレームメモリ
５１０ 減算器
５１２ 候補フレームエラー蓄積ブロック
５１４ コンパレータ
５１６ 第１レジスター
５１８ 第２レジスター
６０１ フレーム補間器
６０５ デマルチプレクサ
６０７ エントロピー復号化器
６１３ 映像信号復号化器
６１５ 加算器
６２４ フレームメモリ
６５０ 現フレーム予測ブロック
Claims (3)
- 映像信号を符号化して符号化された信号を提供する符号化手段と、前記符号化された信号を復号化して、復号化された映像信号を提供する復号化手段とを備える映像処理システムに於いて、
前記符号化手段が、
前記映像信号から、現フレームと前フレームを含む複数のフレームを選択する手段であって、符号化される前フレームと現フレームとの間のフレームをＮ個（Ｎは正の整数）ずつ飛び越し、符号化されるフレームとＮ個の飛び越しフレームを選択的に出力するフレーム選択手段と、
前記前フレームと前記現フレームとの間の変位を推定し、その推定された変位を表す動きベクトルのセットを提供し、かつ、前記動きベクトルのセットを用いて前記前フレームを補償して、予測された現フレームを画素単位で提供する予測された現フレーム提供手段と、
前記現フレームから前記予測された現フレームを引き算してエラー信号を生成する手段と、
前記エラー信号及び前記動きベクトルのセットを符号化する手段と、
Ｍ個（Ｍは前記Ｎより大きい正の整数）の飛び越しフレーム予測ファクターのそれぞれを前記動きベクトルのセットに掛けることで生成されるＭ個の動きベクトルのセットを用いて前記前フレームを補償してＭ個の候補フレームを発生する手段と、
前記Ｎ個の飛び越しフレームの各々と前記Ｍ個の候補フレームの各々とを比較して、最小のエラー値を与える候補フレームに対応する飛び越しフレーム予測ファクターを、前記Ｎ個の飛び越しフレームの各々に対する飛び越しフレーム予測ファクターとして特定する手段と、
前記符号化されたエラー信号、符号化された動きベクトルのセット、及び前記Ｎ個の飛び越しフレームの各々に対し特定した飛び越しフレーム予測ファクターを前記復号化手段へ伝送する手段とを備え、
前記符号化手段における前記予測された現フレーム提供手段が、
前記前フレーム内に含まれる画素から、物体の動きを代表し得る画素点である複数の特徴点を選択する手段と、
前記前フレームと前記現フレームとを比較して、前記複数の特徴点の各々に対する動きベクトルを検知する特徴点動きベクトル検知手段であって、各特徴点に対する動きベクトルは前記前フレームに含まれる各特徴点と前記現フレームにおいて該特徴点と最も類似する画素との間の空間的な変位を表す該特徴点動きベクトル検知手段と、
前記特徴点とこれら特徴点の各々に対する前記動きベクトルとに基づいて、前記現フレーム内に含まれる全ての画素に対する動きベクトルを求める手段と、
前記前フレームを前記現フレーム内の全画素に対する動きベクトルで補償して予測された現フレームを生成する手段とを備え、
前記符号化手段における前記候補フレーム発生手段が、
ｊ番目（ｊは１〜Ｍの整数）の候補フレームにおいて、前記前フレームの前記特徴点に対応する画素である候補特徴点及びこれら候補特徴点の各々に対する動きベクトルを特定する手段であって、該ｊ番目の候補フレームの前記候補特徴点の各々は、前フレームにおける対応する特徴点を、飛び越しフレーム予測ファクター（ｊ−１）／（Ｍ−１）を掛けられた前記特徴点に対する動きベクトルを用いて移動することによって特定され、かつ前記ｊ番目の候補フレームの各候補特徴点に対する動きベクトルは、前記対応する特徴点の動きベクトルに前記ファクター（ｊ−１）／（Ｍ−１）を掛けることによって特定される該手段と、
前記ｊ番目の候補フレームの候補特徴点及び各候補特徴点の動きベクトルに基づいて、ｊ番目の候補フレームに含まれる全ての画素に対する動きベクトルを特定する手段と、
前記ｊ番目の候補フレームに含まれる全ての画素に対する動きベクトルを用いて前記前フレームを補償することによって、前記ｊ番目の候補フレームを発生する手段とを備えることを特徴とする映像処理システム。 - 前記復号化手段が、
前記符号化されたエラー信号及び前記符号化された動きベクトルのセットを復号化することによって、前記エラー信号と前記動きベクトルのセットとを復元する手段と、
復元された前記動きベクトルのセットを用いて、前記前フレームを補償して予測された現フレームを復元する手段と、
復元された前記予測された現フレームに前記復元されたエラー信号を加えて、前記現フレームを復元する手段と、
前記Ｎ個の飛び越しフレームの各々に対して特定された各飛び越しフレーム予測ファクター及び前記復元された動きベクトルのセットを用いて、前記前フレームを補償することによって、前記前フレームと前記復元された現フレームとの間に前記Ｎ個の飛び越しフレームの各々を復元する手段とを含むことを特徴とする請求項１に記載の映像処理システム。 - 前記復号化手段が、
前記符号化されたエラー信号及び前記符号化された動きベクトルのセットを復号化することによって、前記エラー信号と前記動きベクトルのセットとを復元する手段と、
復元された前記動きベクトルのセットを用いて、前記前フレームを補償して予測された現フレームを復元する手段と、
復元された前記予測された現フレームに前記復元されたエラー信号を加えて、前記現フレームを復元する手段と、
前記Ｎ個の飛び越しフレームの各々に対して特定された各飛び越しフレーム予測ファクター及び前記復元された動きベクトルのセットを用いて、前記前フレームを補償することによって、前記前フレームと前記復元された現フレームとの間に前記Ｎ個の飛び越しフレームの各々を復元する手段とを含み、
前記復号化手段における前記Ｎ個の飛び越しフレームの各々を復元する手段が、
伝送された飛び越しフレーム予測ファクター中の１つに応じて、ｉ番目（ｉは１〜Ｎの整数）の飛び越しフレームにおいて前記前フレームの特徴点に対応する画素及びこれらの画素の各々に対する動きベクトルを特定する手段であって、該ｉ番目の飛び越しフレームにおいて前記特徴点に対応する画素の各々は、前記前フレームの対応する特徴点を、該ｉ番目の飛び越しフレームに対して特定された飛び越しフレーム予測ファクター（ｊ−１）／（Ｍ−１）を掛けられた前記特徴点に対する動きベクトルを用いて移動することによって特定され、かつ、前記ｉ番目の飛び越しフレームにおいて前記特徴点に対応する画素の各々に対する動きベクトルは、対応する特徴点の動きベクトルに前記ｉ番目の飛び越しフレームに対して特定された前記飛び越しフレーム予測ファクター（ｊ−１）／（Ｍ−１）を掛けることによって特定される該手段と、
前記特徴点に対応する画素及びこれら画素に対する動きベクトルに基づいて、ｉ番目の飛び越しフレームに含まれる全ての画素に対する動きベクトルを特定する手段と、
前記ｉ番目の飛び越しフレームに含まれる全ての画素に対する動きベクトルを用いて前記前フレームを補償することによって、前記ｉ番目の飛び越しフレームを発生する手段とを備えることを特徴とする請求項１に記載の映像処理システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950005869A KR0181027B1 (ko) | 1995-03-20 | 1995-03-20 | 화소 단위 움직임 추정을 이용하는 영상처리 시스템 |
| KR1995P5869 | 1995-03-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08275177A JPH08275177A (ja) | 1996-10-18 |
| JP3868017B2 true JP3868017B2 (ja) | 2007-01-17 |
Family
ID=19410200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16678895A Expired - Lifetime JP3868017B2 (ja) | 1995-03-20 | 1995-06-08 | 映像処理システム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5617144A (ja) |
| EP (1) | EP0734165B1 (ja) |
| JP (1) | JP3868017B2 (ja) |
| KR (1) | KR0181027B1 (ja) |
| CN (1) | CN1115879C (ja) |
| DE (1) | DE69525525T2 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5784175A (en) * | 1995-10-05 | 1998-07-21 | Microsoft Corporation | Pixel block correlation process |
| US5970504A (en) * | 1996-01-31 | 1999-10-19 | Mitsubishi Denki Kabushiki Kaisha | Moving image anchoring apparatus and hypermedia apparatus which estimate the movement of an anchor based on the movement of the object with which the anchor is associated |
| US6144972A (en) * | 1996-01-31 | 2000-11-07 | Mitsubishi Denki Kabushiki Kaisha | Moving image anchoring apparatus which estimates the movement of an anchor based on the movement of the object with which the anchor is associated utilizing a pattern matching technique |
| US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
| US5982438A (en) * | 1996-03-22 | 1999-11-09 | Microsoft Corporation | Overlapped motion compensation for object coding |
| US6147684A (en) * | 1998-02-06 | 2000-11-14 | Sun Microysytems, Inc. | Techniques for navigating layers of a user interface |
| US6563953B2 (en) * | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
| US6983018B1 (en) | 1998-11-30 | 2006-01-03 | Microsoft Corporation | Efficient motion vector coding for video compression |
| US6499060B1 (en) | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| US7043058B2 (en) * | 2001-04-20 | 2006-05-09 | Avid Technology, Inc. | Correcting motion vector maps for image processing |
| JP4610195B2 (ja) * | 2001-12-17 | 2011-01-12 | マイクロソフト コーポレーション | スキップマクロブロックコード化 |
| US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
| US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US7280700B2 (en) * | 2002-07-05 | 2007-10-09 | Microsoft Corporation | Optimization techniques for data compression |
| US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
| US7421129B2 (en) * | 2002-09-04 | 2008-09-02 | Microsoft Corporation | Image compression and synthesis for video effects |
| US7408986B2 (en) * | 2003-06-13 | 2008-08-05 | Microsoft Corporation | Increasing motion smoothness using frame interpolation with motion analysis |
| US7558320B2 (en) * | 2003-06-13 | 2009-07-07 | Microsoft Corporation | Quality control in frame interpolation with motion analysis |
| US7499495B2 (en) * | 2003-07-18 | 2009-03-03 | Microsoft Corporation | Extended range motion vectors |
| US7609763B2 (en) * | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
| US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
| US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| US7606308B2 (en) * | 2003-09-07 | 2009-10-20 | Microsoft Corporation | Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields |
| US7599438B2 (en) * | 2003-09-07 | 2009-10-06 | Microsoft Corporation | Motion vector block pattern coding and decoding |
| US7317839B2 (en) | 2003-09-07 | 2008-01-08 | Microsoft Corporation | Chroma motion vector derivation for interlaced forward-predicted fields |
| US7577200B2 (en) | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Extended range variable length coding/decoding of differential motion vector information |
| US7567617B2 (en) * | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
| US7623574B2 (en) | 2003-09-07 | 2009-11-24 | Microsoft Corporation | Selecting between dominant and non-dominant motion vector predictor polarities |
| US7616692B2 (en) | 2003-09-07 | 2009-11-10 | Microsoft Corporation | Hybrid motion vector prediction for interlaced forward-predicted fields |
| US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
| US7620106B2 (en) | 2003-09-07 | 2009-11-17 | Microsoft Corporation | Joint coding and decoding of a reference field selection and differential motion vector information |
| JP3846490B2 (ja) * | 2004-05-17 | 2006-11-15 | セイコーエプソン株式会社 | 画像データ圧縮装置、電子機器及び画像データ圧縮方法 |
| KR100619041B1 (ko) | 2004-07-22 | 2006-09-01 | 삼성전자주식회사 | 비디오 동기화 장치 및 비디오 동기화 방법 |
| US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| US9077960B2 (en) | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
| US7894522B2 (en) * | 2005-09-16 | 2011-02-22 | Sony Corporation | Classified filtering for temporal prediction |
| US20070076796A1 (en) * | 2005-09-27 | 2007-04-05 | Fang Shi | Frame interpolation using more accurate motion information |
| JP5188033B2 (ja) * | 2006-04-24 | 2013-04-24 | 株式会社日立製作所 | 記録再生装置、送出装置及び伝送システム。 |
| US8811495B1 (en) * | 2007-02-06 | 2014-08-19 | Geo Semiconductor Inc. | Skipped video data recovery using multiple alternative recovery modes |
| US8254455B2 (en) * | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
| JP4523024B2 (ja) * | 2007-08-08 | 2010-08-11 | パナソニック株式会社 | 画像符号化装置および画像符号化方法 |
| WO2009078686A2 (en) * | 2007-12-18 | 2009-06-25 | Humax Co., Ltd. | Method and device for video coding and decoding |
| US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
| US8848799B2 (en) * | 2009-09-02 | 2014-09-30 | Sony Computer Entertainment Inc. | Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder |
| US8437505B2 (en) * | 2009-12-17 | 2013-05-07 | Lifesize Communications, Inc. | Detection of local motion between image frames |
| KR101768207B1 (ko) * | 2010-01-19 | 2017-08-16 | 삼성전자주식회사 | 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치 |
| CN106210852B (zh) * | 2016-07-07 | 2019-06-28 | 青岛海信电器股份有限公司 | 一种终端静态图层信息检测方法及终端 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU612543B2 (en) * | 1989-05-11 | 1991-07-11 | Panasonic Corporation | Moving image signal encoding apparatus and decoding apparatus |
| JP3159309B2 (ja) * | 1989-09-27 | 2001-04-23 | ソニー株式会社 | 映像信号符号化方法及び映像信号符号化装置 |
| US4958226A (en) * | 1989-09-27 | 1990-09-18 | At&T Bell Laboratories | Conditional motion compensated interpolation of digital motion video |
| JPH03117991A (ja) * | 1989-09-29 | 1991-05-20 | Victor Co Of Japan Ltd | 動きベクトル符号化装置及び復号化装置 |
| US5305400A (en) * | 1990-12-05 | 1994-04-19 | Deutsche Itt Industries Gmbh | Method of encoding and decoding the video data of an image sequence |
| US5398078A (en) * | 1991-10-31 | 1995-03-14 | Kabushiki Kaisha Toshiba | Method of detecting a motion vector in an image coding apparatus |
| GB2265065B (en) * | 1992-03-02 | 1995-08-16 | Sony Broadcast & Communication | Motion compensated image processing |
| JPH05344493A (ja) * | 1992-06-10 | 1993-12-24 | Victor Co Of Japan Ltd | 動画像符号化装置 |
| KR0128860B1 (ko) * | 1993-07-16 | 1998-04-10 | 배순훈 | 저비트율의 영상전화 시스템의 부호화장치 |
-
1995
- 1995-03-20 KR KR1019950005869A patent/KR0181027B1/ko not_active IP Right Cessation
- 1995-05-24 DE DE1995625525 patent/DE69525525T2/de not_active Expired - Lifetime
- 1995-05-24 EP EP19950107990 patent/EP0734165B1/en not_active Expired - Lifetime
- 1995-05-25 US US08/452,627 patent/US5617144A/en not_active Expired - Lifetime
- 1995-06-01 CN CN95106689A patent/CN1115879C/zh not_active Expired - Lifetime
- 1995-06-08 JP JP16678895A patent/JP3868017B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5617144A (en) | 1997-04-01 |
| JPH08275177A (ja) | 1996-10-18 |
| DE69525525T2 (de) | 2002-07-25 |
| EP0734165A2 (en) | 1996-09-25 |
| KR0181027B1 (ko) | 1999-05-01 |
| EP0734165B1 (en) | 2002-02-20 |
| DE69525525D1 (de) | 2002-03-28 |
| CN1131872A (zh) | 1996-09-25 |
| EP0734165A3 (en) | 1998-03-11 |
| KR960036707A (ko) | 1996-10-28 |
| CN1115879C (zh) | 2003-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3868017B2 (ja) | 映像処理システム | |
| US5619281A (en) | Method and apparatus for detecting motion vectors in a frame decimating video encoder | |
| US5453801A (en) | Method and apparatus for detecting motion vectors in a frame decimating video encoder | |
| JP4187264B2 (ja) | 特徴点ベース動き推定技法を用いる映像信号符号化方法及びその装置 | |
| US4703350A (en) | Method and apparatus for efficiently communicating image sequences | |
| US5546129A (en) | Method for encoding a video signal using feature point based motion estimation | |
| US5612743A (en) | Method for encoding a video signal using feature point based motion estimation | |
| JP3917692B2 (ja) | ディジタル映像信号符号化装置及びその方法 | |
| JP3277111B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
| JP2000175193A (ja) | 電子ディジタル画像シ―ケンス再生システムにおける画像デ―タ補間方法、フレ―ム速度アップ変換方法、および特徴的ブロックに関連する真のモ―ション・ベクトルを決定する方法 | |
| US5654761A (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| US5638129A (en) | Image processing apparatus using a pixel-by-pixel motion estimation based on feature points | |
| CN1136732C (zh) | 用在图象编码系统中的改进的运动补偿装置 | |
| JPH0955943A (ja) | 映像信号符号化装置 | |
| JP3681784B2 (ja) | 映像信号符号化装置 | |
| US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| JPH0955944A (ja) | 映像信号符号化装置 | |
| US6023298A (en) | Video signal encoding system using a current frame prediction apparatus | |
| KR0174462B1 (ko) | 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템 | |
| KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
| KR0174463B1 (ko) | 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치 | |
| JPH08205168A (ja) | ビデオ信号の符号化／復号化装置及びその方法 | |
| KR0174448B1 (ko) | 영역 단위 움직임 벡터를 이용한 움짐임 보상 영상 신호 부호화 장치 및 방법과 움직임 보상 영상 신호 복호화 장치 및 방법 | |
| JPH08205176A (ja) | 映像信号符号化装置及び映像信号符号化方法 | |
| KR19990003316A (ko) | 개선된 윤곽선 움직임 벡터 부호화 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050127 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060811 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060817 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061010 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |