JP4298803B2 - 画像のソース符号化方法 - Google Patents
画像のソース符号化方法 Download PDFInfo
- Publication number
- JP4298803B2 JP4298803B2 JP03382495A JP3382495A JP4298803B2 JP 4298803 B2 JP4298803 B2 JP 4298803B2 JP 03382495 A JP03382495 A JP 03382495A JP 3382495 A JP3382495 A JP 3382495A JP 4298803 B2 JP4298803 B2 JP 4298803B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image unit
- foreground
- unit
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【産業上の利用分野】
本発明は、画像のソース符号化方法に関する。
【0002】
【従来の技術】
画像のソース符号化方法は既に、D.Biere "Transmission of moving and still images in highly disturbed narrow-band chanells using the radio videophoe"(Bosch Technical Reports, 54版、1991年、第35頁以降)から公知である。この方法において、画像は予測エラーパターンの符号化を用いてかつブロック向き動き推定を用いて伝送される。ブロック向き動き推定を使用して、ベクトル場が決定され、それは、モデルに基づいたアルゴリズムを使用して後処理される。決定された動きベクトルおよび動画像の相応の輪郭がまず符号化されて伝送される。
【0003】
依然として残る残留データレートに応じて、まだ相異しているブロック内容がフレーム内符号化またはフレーム間符号化されて伝送される。フレーム内符号化される画像領域を決定するために、画像領域内の画像信号の分散が可変のしきい値と比較される。分散が可変のしきい値より小さければ、画像領域はフレーム内符号化されかつ伝送される。残りの画像領域に対して、3段階の適応量子化が行われ、かつさらなるブロックサブ分割の後に、ストラクチャ符号化されかつ伝送される。
【0004】
【発明の利点】
本発明においてまず、複数の画像のそれぞれが予め定めた大きさを有している、フレームを分割した画像単位に分割される。請求項1の特徴を有する本発明の方法は、フレーム内符号化すべき画像単位またはフレーム間符号化すべき画像単位が前景および背景に分類される。まず第1に、離散余弦変換しきい値との比較に際してフレーム内符号化すべきであるとされしかも前景に属する画像単位を伝送し、次いで前記しきい値との比較に際してフレーム間符号化すべきであるとされたが前景に属することでフレーム内符号化されると判断された画像単位を伝送し、続いて、前記しきい値との比較に際してフレーム内符号化すべきであるとされたが背景に属することでフレーム間符号化されると判断された画像単位を伝送し、かつ最後に前記しきい値との比較に際してフレーム間符号化すべきであるとされしかも背景に属する画像単位を伝送する。すなわち、まず第1に、前景に属しかつ画像の観察者にとって、背景に属する画像領域より重要である画像領域が伝送される。したがって、観察者によって主観的に一層良好な品質の画像が知覚される。
【0005】
その他の請求項に記載の構成の結果として、請求項1に特定された方法の有利な実施例および改良例が可能である。
【0006】
前景として決定された画像単位を、動き推定が既に当該画像を背景として決定しているにも拘わらず、まだ前景として処理すると、画像品質は改良される。
前景に属する画像単位に所定の値を割り当てかつ当該画像単位が背景として決定されたとき、所定の時間間隔において所定の量だけ画像単位の値を高めかつ当該画像単位の値が所定のしきい値を上回ったときにだけ当該画像単位を背景として処理すると有利である。この場合、画像単位の処理は、数値の比較によって簡単な方法で可能である。
画像単位の所定の値を高める所定量が画像単位の平均動きベクトルに依存しているようにすれば、画像の品質の付加的な改良が実現される。この場合、符号化の際に、画像単位のダイナミック特性が考慮されかつ画像品質のさらなる改良が可能である。
【0007】
さらに、動き推定において前景と認められた、背景の画像領域は直ちに前景として処理すると有利である。このようにして、動画像領域は一般に、改良された画像品質によって符号化される。
【0008】
【実施例】
次に本発明を図示の実施例につき図面を用いて詳細に説明する。
【0009】
図1は、画像ソース符号器20の動作モードを説明するブロック線図である。この図において、データ線17を介して入力信号が供給される動き推定ユニット1が示されている。入力信号は同時に、離散余弦変換器2および減算器4に供給される。離散余弦変換器2は、データ線17を介して、第1のエントロピー符号器12および逆離散余弦変換器9に接続されている。減算器4は、データ線17を介して適応形量子化器およびストラクチャ符号器3に接続されている。
適応形量子化器およびストラクチャ符号器3は、データ線17を介して、逆ストラクチャ符号器8および第2のエントロピー符号器13に接続されている。逆ストラクチャ符号器8は、データ線17を介して加算器5に接続されている。逆離散余弦変換器9の出力側は、予測メモリ7に接続されている。加算器5は同様に、データ線17を介して予測メモリ7に接続されている。
【0010】
動き推定ユニット1の1つの出力側は、データ線17を介して、動き平滑化ユニット6に接続されている。動き平滑化ユニット6の出力側は、データ線17を介して、予測メモリ7、予測ベクトル符号器10および輪郭符号器11に接続されている。予測ベクトル符号器10の出力側は、データ線17を介して、第3のエントロピー符号器14に接続されている。輪郭符号器11は、データ線17を介して、第4のエントロピー符号器15に接続されている。第1、第2、第3および第4のエントロピー符号器12,13,14,15は、データ線を介して、データマルチプレクサ16に接続されている。予測メモリ7の出力側は、データ線17を介して加算器5、減算器4および動き推定ユニット1に接続されている。データマルチプレクサ16はデータチャネルに接続されている。
図1に示された装置は次のように動作する:動画像が動き推定ユニット1に供給される。動画像は画像単位に分割される。それぞれの画像単位に対して、動き推定ユニット1は、当該動画像と予測メモリ7にファイルされている予測画像との間の動きの推定を実施する。この場合、例えば、予測画像における40×40ピクセルの前以て決められたウィンドウ内の種々の位置において、画像領域の平均自乗誤差の基準値が最小化される。動き推定ユニット1は、結果として、画像単位当たりに1つの変位ベクトルを発生する。動き推定ユニット1は、真の物体運動の検出ではなくて、平均自乗誤差を最小とすることを判断基準として使用したので、動画像全体の拡散変位ベクトル場を発生する。動き推定ユニット1により求められたベクトル場は、動き平滑化ユニット6に供給される。空間的に隣接する画像単位の変位ベクトルの相関を使用して動き平滑化ユニット6は、一層一様な動きベクトル場を決定する。この場合、動きベクトルの一様性を検査しかつこれにより画像一様性を検査するために次の式1が使用される:
【0011】
【数1】
【0012】
ただしCi=qi*|vk−vi|、
直接隣接個所(左、右、上および下)に対してはqi=1、
対角線上の隣接個所に対してはqi=1/√2、
|vk−vi|は、考察された動きベクトルvkと隣接する動きベクトルvi間の長さの差を表しかつ次の式に従って計算される:
(vkx−vix)2+(vky−viy)2。
【0013】
この場合、vkxおよびvixは、画像面にある特定のx方向における動きベクトルの成分を表し、vkyおよびviyは、画像面にありかつx方向に対して90゜の角度を成しているy方向における動きベクトルの成分を表している。変数Mは、考慮した隣接動きベクトルの数を示す。変数qiは、適用に依存して選択された重み定数である。式1を用いて、考察した動きベクトルvkと隣接する動きベクトルviとの間の長さの差に比例する値P(V)が計算される。P(V)に依存して、動きベクトル場の平滑化が、ギブズの分布を使用して実施される。このために、例えば、P(V)は前以て決められた値と比較され、この値を上回っていれば、平滑化が実施される。上述の平滑化は公知のプロセスでありかつ例えば、Stiller 著、"Motion Estimation for Coding of Moving Video at 8 kbit/s with Gibbs Modeled Vectorfield smoothing"、Proc. SPIE Lausanne, 1990年、第468ないし476頁に記載されている。
【0014】
平滑化された動きベクトル場は、動き平滑化ユニット6から予測ベクトル符号器10および輪郭符号器11に供給される。予測ベクトル符号器10は、隣接する画像単位を使用して動きベクトルの空間的な予測符号化を行う。その際、連続する画像単位から成る画像領域を求められ、この画像領域を予測画像と比較した変位が1つの動きベクトルによって表される。輪郭符号器11は、これら画像領域の輪郭を求める。予測ベクトル符号器10は、予測符号化された動きベクトルを第3のエントロピー符号器14に送出する。第3のエントロピー符号器14は、予測符号化された動きベクトルに対してエントロピー符号化を行い、引き続きこれらをデータマルチプレクサ16に供給する。輪郭符号器11は、求められた輪郭を、2進マスクの形で第4のエントロピー符号器15に送出する。第4のエントロピー符号器15は、2進マスクに対してエントロピー符号化を行い、引き続きこれをデータマルチプレクサ16に送出する。予測メモリ7における画像は、求められた動きベクトル分だけ変位される。
【0015】
上述の画像ソース符号器は、前向き制御の原理に従って動作し、すなわち画像の符号化の前に先行する画像の符号化に基づいて、どの画像領域を使用可能なデータレートに基づいて伝送することができるかが推定される。属性および動き情報に対するデータレートを平均データレートから減算した後、画像の予測誤差符号化に対する残留データレートが得られる。しきい値決定を用いて、それぞれの画像単位は、フレーム内符号化するか、フレーム間符号化するかまたは変化せずに繰り返すかの属性を受け取る。コンピュータユニットは、前以て決められたしきい値を上回っている平均自乗誤差を有する画像単位を求める。引き続いて離散余弦変換器2は、その分散が所定のしきい値を上回っている画像単位に対してフレーム内符号化を実施し、次いでこれらを第1のエントロピー符号器12に送出する。第1のエントロピー符号器12は、フレーム内符号化された画像単位に対してエントロピー符号化を行い、次いでこれらをデータマルチプレクサ16に送出する。離散余弦変換器2は、フレーム内符号化された画像単位を逆離散余弦変換器9に送出する。逆離散余弦変換器9は、フレーム内符号化された画像単位に対して逆離散余弦変換を行い、次いでこれらを予測メモリ7に送出する。その平均自乗誤差が前以て決められたしきい値を下回っている画像単位はフレーム間符号化される。
【0016】
フレーム間符号化される画像単位を求めるために、画像単位の画像信号が減算器4に供給される。さらに、既に動き補償された予測画像が、予測メモリ7から減算器4に供給される。供給された画像信号と予測画像との差が、適応形量子化器およびストラクチャ符号器3に送出される。差画像信号に対して、適応形量子化および次いでストラクチャ符号化が行われる。適応形量子化器およびストラクチャ符号器の後で、画像信号は第2のエントロピー符号器13および逆ストラクチャ符号器8に供給される。第2のエントロピー符号器13は、ストラクチャ符号化された画像信号に対してエントロピー符号化を行い、この信号を次いでデータマルチプレクサ16に供給する。
【0017】
逆ストラクチャ符号器8は、供給された画像信号に対して逆ストラクチャ符号化を行い、この信号を次いで加算器5に送出する。加算器5は、新しい予測画像を形成するために、予測画像と量子化された差画像信号とを加算する。
【0018】
図2には、前景に属しかつフレーム内符号化される画像単位を求めるためのプログラムシーケンスが示されている。プログラム点21において、すべての画像単位の平均自乗誤差が予測画像を基準にして求められ、それぞれの画像単位毎にメモリにファイルされる。次いで、プログラム点22において、画像単位は、平均自乗誤差の大きさの関数として大きい順に分類される。これに基づいて、プログラム点23において、プログラムループがすべての画像単位について実行される。
【0019】
このプログラムループはプログラム点24に、画像単位の平均自乗誤差が所定の離散余弦変換しきい値より大きいか否かについての質問を含んでいる。ノーであれば、プログラム点26への分岐が行われ、この画像単位はフレーム間符号化すべき画像単位として2進マスクにマークされ、メモリにファイルされる。しかし、プログラム点24における質問で平均自乗誤差が所定の離散余弦変換しきい値より大きいことが明らかになれば、図示されていないがこの画像単位はいったんフレーム内符号化すべき画像単位としてマークされる。それからプログラム点25への分岐が行われる。
【0020】
プログラム点25では、この画像単位が前景に属するかどうかの質問が行われる。動き推定ユニット1によって求められた変位ベクトルが零に等しければ、この画像単位は背景に属する。この画像単位が背景に属するのであれば、プログラム点27への分岐が行われ、この画像単位はフレーム間符号化すべき画像単位として2進マスクにマークされ、メモリにファイルされる。しかし、プログラム点25での質問により、この画像単位が前景に属することが明らかになった場合、プログラム点28への分岐が行われ、この画像単位はフレーム内符号化すべき画像単位として2進マスクにマークされ、メモリにファイルされる。
【0021】
図2によるプログラムは、フレーム内符号化すべき画像単位を決定する。フレーム内符号化は、画像単位が前景に属しかつその平均自乗誤差が所定の離散余弦変換しきい値より大きい場合のみ行われる。
【0022】
図3には、図2のプログラムによってフレーム間符号化すべき画像単位として決定された画像単位を引き続き処理するプログラムシーケンスが示されている。
【0023】
プログラム点41ですべての画像単位に対して実行されるプログラムループがスタートする。プログラム点42では、当該画像ユニットが前景に属するか否かの質問が行われる。ノーであれば、プログラム点44への分岐が行われ、この画像単位は最終的にフレーム間符号化すべき画像単位と見なされる。しかしプログラム点42における質問により、当該画像単位が前景に属することが明らかになった場合、プログラム点43への分岐が行われ、この画像単位は、フレーム内符号化されるべき画像単位としてマークされる。この質問は、すべての画像単位について実行される。図3によるプログラムは、図2のプログラムによりフレーム間符号化すべきと決定された画像単位を、これらが前景に属している場合、フレーム内符号化すべき画像単位として決定する。
【0024】
図4には、データ線61を介してコンピュータユニット18に接続されている画像撮影ユニット50が示されている。コンピュータユニット18は、データ線61を介してメモリ19に接続されている。コンピュータユニット18は、さらにデータ線61を介して画像ソース符号器20に接続されている。画像ソース符号器20は、図1に示されているように構成されておりかつデータチャネルに接続されている。
【0025】
次に、図5のプログラムシーケンスおよび図1ないし4を参照して、特別な実施例について説明する。図5のプログラム点30で、画像はコンピュータユニット18によって8×8ピクセルの大きさの画像単位に分割され、動き推定ユニット1に供給される。動き推定ユニット1は、それぞれの画像単位に対して、予測メモリ7から供給される予測画像と当該画像の比較によって動きを推定する。基準として、例えば、予測画像における40×40ピクセルの前以て決められたウィンドウ内の種々の位置において、画像の平均自乗誤差を最小とする。結果として、画像単位当たり1つの変位ベクトルが得られる。コンピュータユニット18はメモリ19に2進マスクをファイルする。この2進マスクには、零に等しくない動きベクトルを有する画像単位がマークされている。画像品質を改善するためにプログラム点31では、動き推定ユニット1によって求められた変位ベクトルが、動き平滑化ユニット6によってギブズの分布(式1)を使用して平滑化され、図1に示されているように、予測動きベクトル符号化および輪郭符号化されて伝送される。
【0026】
次いでプログラム点32で、コンピュータユニット18は、画像の伝送のために使用可能である残留データレートを求める。残留データレートは、画像当たりの全データレートから、動きベクトルおよびこれと関連した輪郭の伝送に対して使用されるデータレートを減じ、さらに属性に対して使用されるデータレートを減ずることにより得られる。この属性は、それぞれの画像単位に対する符号化の形式を示す。使用可能な残留データレートは、フレーム内符号化またはフレーム間符号化のために使用される。フレーム内符号化は、離散余弦変換を用いて実施される。フレーム間符号化、すなわち動き補償された予測画像と現在の画像の画像単位との差は、まず適応量子化されかつ次いでストラクチャ符号化される。
【0027】
プログラム点33では、図2のプログラムを使用して、フレーム内符号化すべきであり、かつ前景に属している画像の画像単位が求められる。このために、コンピュータユニット18は、画像単位の平均自乗誤差が所定のしきい値より大きいかどうかについての比較を行い、メモリ19にファイルされている2進マスクに基づいて、当該画像単位の動きベクトルが零より大きいかどうかを検査する。コンピュータユニット18は画像単位を、係数PF−intraと乗算された平均自乗誤差の大きさに従って配列する。この係数PF−intraは、前景の画像単位に対しては1であり、背景の画像単位に対しては零である。
【0028】
プログラム点34では、図3のプログラムに従いフレーム間符号化すべきであり、かつ前景に属する画像単位が求められる。コンピュータユニット18は画像単位を、係数PF−interと乗算されたこれらの平均自乗誤差に応じて配列する。係数PF−interは、前景の画像単位に対しては1であり、背景画像単位に対しては時間に依存して変化する。次いで、プログラム点35においてコンピュータユニット18は、すべての画像単位を、相応する係数PF−intraまたはPF−interと乗算されたこれらの平均自乗誤差に応じて配列する。次に画像単位は、平均自乗誤差と係数PF−intraまたはPF−interとの積が最大のものから順番に、画像の伝送に対する残留データレートのような時間が使用され終わるまで、図1に示されているように符号化されて伝送される。
【0029】
背景の画像領域に対する係数PF−interは有利には時間に依存しているので、係数PF−interは時間の関数として段階的に低下される。
【0030】
コンピュータユニット18によってメモリ19に供給される2進マスクは動画像単位の決定のためのものである。この2進マスクは最も簡単な場合、2進値によって形成することができる。このことは、変位ベクトルが零である画像単位に例えば値零が与えられ、変位ベクトルが零に等しくない画像単位Iに値1が与えられることを意味する。有利には画像単位には、所定の数値ZIを割り当てることができる。ZIは、画像単位Iに対して動きが検出されかつ当該画像単位が前景に属する場合、零にセットされる。その他の場合、ZIは、時間クロック当たり所定の量Bだけ高められる:ZI(t+1)=(ZI(t)+B)、ただしtは所定の時間クロックを表す。
【0031】
画像単位Iの数値ZIが一定の所定のしきい値Sを上回ると、画像単位Iは背景に割り当てられる。このことは、動き推定ユニット1が、画像単位Iに対して零に等しくない変位ベクトルを再び検出し、従ってZIが零にセットされるまで続く。このしきい値操作によって、前景/背景移行は、長さ零の動きベクトルを有する画像単位に対して遅延される。しかし、零に等しくない動きベクトルに対しては前景/背景移行は直ちに行われる。所定の量Bの計算のために、例えば、次式に従った平均動きベクトル長が使用される:
【0032】
【数2】
【0033】
ただしn=現在の画像における零ベクトルでないベクトルの数、
Xi,Yi=X方向およびY方向におけるベクトルの長さ、
この場合量Bは、
B=Lm*Lm。
【0034】
2進マスクはさらに、侵食および膨脹による公知の方法を用いて処理することができる。
【0035】
平均自乗誤差は有利には、次式に従って計算される:
【0036】
【数3】
【0037】
ただしn=ブロックにおけるピクセルの数、
i=ブロックのすべてのピクセルについての連続指標、
orgi=オリジナルブロックにおけるi番目のピクセル、
prei=先行画像のブロックにおけるi番目のピクセル。
【図面の簡単な説明】
【図1】 画像ソース符号器の動作を説明するブロック図である。
【図2】 フレーム内符号化されかつ前景に属する画像領域の決定のためのプログラムシーケンスを示す図である。
【図3】 前景に属しかつフレーム間符号化すべき画像領域の決定のためのプログラムシーケンスを示す図である。
【図4】 画像ソース符号化のプログラムシーケンスを示す図である。
【図5】 画像ソース符号化のプログラムシーケンスを示す図である。
【符号の説明】
1 動き推定ユニット、 2 離散余弦変換器、 3 適応形量子化器+ストラクチャ符号器、 6 動き平滑化ユニット、 7 予測メモリ、 9 逆離散余弦変換器、 10 予測ベクトル符号器、 11 輪郭符号器、 12,13,14,15 エントロピー符号器、 16 データマルチプレクサ、 20 画像ソース符号器
Claims (5)
- 複数の画像をソース符号化するための方法であって、
複数の画像のそれぞれを予め定めた大きさを有している、フレームを分割した画像単位に分割し、
前記すべての画像単位の、予測画像に対する平均自乗誤差を求め、
画像単位を平均自乗誤差の大きさの関数として降べき順に整理し、
画像単位に対する平均自乗誤差が所定の離散余弦変換しきい値以上であれば、該画像単位をフレーム内符号化とマークし、
画像単位に対する平均自乗誤差が前記所定の離散余弦変換しきい値より小さければ、該画像単位をフレーム間符号化とマークし、
前記それぞれの画像単位を、動き推定決定の関数として前景の画像を表すものおよび背景の画像を表すものと分類し、ここで画像単位は、前記動きに従って、零とは異なっている変位ベクトルを有する画像単位は前景と定義されかつ零に等しい変位ベクトルを有する画像単位は背景と定義され、かつ
前記画像単位を符号化し、ここで
フレーム内符号化すべきである画像がフレーム間符号化すべきである画像に対して優先度を有しており、かつ前景を表していると分類された画像単位が背景を表していると分類された画像単位に対して優先度を有しており、前記しきい値との比較に際してフレーム内符号化すべきであるとマークされた画像について前景に属するものはフレーム内符号化されるようにし、背景に属するものは、フレーム間符号化されるようにし、かつ前記しきい値との比較に際してフレーム間符号化すべきであるとマークされた画像について前景に属するものはフレーム内符号化されるようにし、背景に属するものは、フレーム間符号化されるようにし、
まず第1に、前記しきい値との比較に際してフレーム内符号化すべきであるとされしかも前景に属する画像単位を伝送し、次いで前記しきい値との比較に際してフレーム間符号化すべきであるとされたが前景に属することでフレーム内符号化されると判断された画像単位を伝送し、続いて、前記しきい値との比較に際してフレーム内符号化すべきであるとされたが背景に属することでフレーム間符号化されると判断された画像単位を伝送し、かつ最後に前記しきい値との比較に際してフレーム間符号化すべきであるとされしかも背景に属する画像単位を伝送する
画像のソース符号化方法。 - 前景の画像単位を、動き推定が当該画像単位を既に背景として決定したにも拘わらずまだ所定の時間の間は前景として処理する
請求項1記載の画像のソース符号化方法。 - 前景として決定された画像単位に所定の値を割り当て、かつ該値をメモリにファイルし、かつ
当該画像単位が背景として決定された場合、当該画像単位の値を所定の時間間隔において所定の量だけ高め、かつ当該画像単位を、該画像単位の値が所定のしきい値を上回ったときにのみ、背景として処理する
請求項2記載の画像のソース符号化方法。 - 前記所定の量を、動き推定によって決定された画像単位の平均動きベクトルに依存して決定する
請求項3記載の画像のソース符号化方法。 - 背景の画像単位を、動き推定が当該画像単位を前景として決定したら直ちに前景として処理する
請求項1から4までのいずれか1項記載の画像のソース符号化方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE4405803A DE4405803C2 (de) | 1994-02-23 | 1994-02-23 | Verfahren zur Quellcodierung |
DE4405803.9 | 1994-02-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07264595A JPH07264595A (ja) | 1995-10-13 |
JP4298803B2 true JP4298803B2 (ja) | 2009-07-22 |
Family
ID=6510988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03382495A Expired - Fee Related JP4298803B2 (ja) | 1994-02-23 | 1995-02-22 | 画像のソース符号化方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5650822A (ja) |
JP (1) | JP4298803B2 (ja) |
DE (1) | DE4405803C2 (ja) |
FR (1) | FR2716556B1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08256266A (ja) * | 1995-03-17 | 1996-10-01 | Mitsubishi Electric Corp | 画像符号化方式 |
US6101282A (en) * | 1995-06-22 | 2000-08-08 | Canon Kabushiki Kaisha | Apparatus and method for image data encoding |
KR100211055B1 (ko) * | 1996-10-28 | 1999-07-15 | 정선종 | 내용기반으로 분할된 영상객체들의 스케러블 전송방법 |
US5883977A (en) * | 1996-12-30 | 1999-03-16 | Daewoo Electronics Co., Ltd. | Method and apparatus for encoding a video signal of a contour of an object |
JPH10336682A (ja) | 1997-04-02 | 1998-12-18 | Canon Inc | 符号化装置及び方法及び方法を記憶した記憶媒体 |
US6304295B1 (en) * | 1998-09-18 | 2001-10-16 | Sarnoff Corporation | Region-based refresh strategy for video compression |
KR100353851B1 (ko) * | 2000-07-07 | 2002-09-28 | 한국전자통신연구원 | 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법 |
KR100643454B1 (ko) * | 2001-11-17 | 2006-11-10 | 엘지전자 주식회사 | 영상 데이터 전송 제어방법 |
GB0227570D0 (en) * | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for estimating global motion in video sequences |
GB0227566D0 (en) | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for estimating global motion in video sequences |
JP5906430B2 (ja) * | 2011-01-24 | 2016-04-20 | パナソニックIpマネジメント株式会社 | 動画伝送端末及び動画伝送システム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0123616B1 (en) * | 1983-04-20 | 1987-03-04 | Nippon Telegraph And Telephone Corporation | Interframe coding method and apparatus therefor |
EP0330455A3 (en) * | 1988-02-22 | 1990-07-04 | Kabushiki Kaisha Toshiba | Image encoding apparatus |
DE3820037A1 (de) * | 1988-06-13 | 1989-12-14 | Ant Nachrichtentech | Bildcodierverfahren und einrichtung |
FR2675002B1 (fr) * | 1991-04-05 | 1993-06-18 | Thomson Csf | Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification. |
JP3002019B2 (ja) * | 1991-07-04 | 2000-01-24 | 富士通株式会社 | セル廃棄補償機能を有する画像符号化伝送方式 |
KR940011881B1 (ko) * | 1991-12-23 | 1994-12-27 | 주식회사 금성사 | 움직임 검출 및 추정장치 |
US5347311A (en) * | 1993-05-28 | 1994-09-13 | Intel Corporation | Method and apparatus for unevenly encoding error images |
US5440346A (en) * | 1993-06-16 | 1995-08-08 | Intel Corporation | Mode selection for method and system for encoding images |
-
1994
- 1994-02-23 DE DE4405803A patent/DE4405803C2/de not_active Expired - Fee Related
-
1995
- 1995-02-22 JP JP03382495A patent/JP4298803B2/ja not_active Expired - Fee Related
- 1995-02-23 FR FR9502120A patent/FR2716556B1/fr not_active Expired - Fee Related
- 1995-02-23 US US08/392,660 patent/US5650822A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE4405803A1 (de) | 1995-08-31 |
JPH07264595A (ja) | 1995-10-13 |
FR2716556A1 (fr) | 1995-08-25 |
DE4405803C2 (de) | 1997-04-30 |
US5650822A (en) | 1997-07-22 |
FR2716556B1 (fr) | 1998-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3854933B2 (ja) | 固定演算量を有する動映像符号化方法及びその装置 | |
KR100275694B1 (ko) | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 | |
US8665960B2 (en) | Real-time video coding/decoding | |
US5689306A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
US5598216A (en) | Method and apparatus for encoding/decoding a video signal | |
KR100235345B1 (ko) | 분할영역에서의 움직임 추정방법 및 장치 | |
JPH0955945A (ja) | 動きベクトル特定方法及び装置 | |
JPH08307874A (ja) | 映像信号符号化装置 | |
JPH08242458A (ja) | 動きベクトル検出方法 | |
JP3659157B2 (ja) | 映像内容に重み付けをする画像圧縮方式 | |
KR20080054400A (ko) | 모션 벡터 선택 | |
JP4298803B2 (ja) | 画像のソース符号化方法 | |
JP2009509403A (ja) | 統合時空間予測法 | |
US5387938A (en) | Adaptive interframe/intraframe block coding method and apparatus | |
EP0800677B1 (en) | Method and device for selectively compressing video codec | |
KR20080054399A (ko) | 비디오 압축에서 적응형 모션 벡터 샘플링을 위한멀티-스테이지 링크된 프로세스 | |
US6950465B1 (en) | Video coding by adaptively controlling the interval between successive predictive-coded frames according to magnitude of motion | |
US6141449A (en) | Coding mode determination system | |
JP3200518B2 (ja) | 画像信号符号化装置 | |
JP5171658B2 (ja) | 画像符号化装置 | |
EP1925095A2 (en) | Variable shape motion estimation in video sequence | |
JP2574572B2 (ja) | 画像符号化方法及び画像符号化装置 | |
JP2003061099A (ja) | 符号化装置における動き検出方法 | |
JP2596352B2 (ja) | 小数精度動きベクトル探索装置 | |
JPH11355781A (ja) | 動画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050121 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050418 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050421 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060712 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20061011 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20061016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080319 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080715 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090318 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090416 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |