JPH07264595A - 画像のソース符号化方法 - Google Patents

画像のソース符号化方法

Info

Publication number
JPH07264595A
JPH07264595A JP7033824A JP3382495A JPH07264595A JP H07264595 A JPH07264595 A JP H07264595A JP 7033824 A JP7033824 A JP 7033824A JP 3382495 A JP3382495 A JP 3382495A JP H07264595 A JPH07264595 A JP H07264595A
Authority
JP
Japan
Prior art keywords
image
foreground
image area
unit
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7033824A
Other languages
English (en)
Other versions
JP4298803B2 (ja
Inventor
Philipp Heisler
ハイスラー フィリップ
Stefan Goss
ゴス シュテファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JPH07264595A publication Critical patent/JPH07264595A/ja
Application granted granted Critical
Publication of JP4298803B2 publication Critical patent/JP4298803B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Abstract

(57)【要約】 【目的】 画像を画像領域に分割しかつ各画像領域に対
して画像統計量を決定し、画像統計量が所定のしきい値
を上回っている画像領域をフレーム内符号化し、その他
の画像領域をフレーム間符号化し、画像領域を画像統計
量に応じて分類し、フレーム内符号化すべき画像領域は
フレーム間符号化すべき画像領域より優先順位を有して
いる、画像のソース符号化方法を、一層の画像品質の改
良が行われるようにする。 【構成】 画像領域を動き推定を用いて前景および背景
に分割し、符号化の際、前景の画像領域が、背景の画像
領域に対して優先順位を有する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像を所定の大きさの
画像領域に分割しかつそれぞれの画像領域に対して画像
統計量を求め、その画像統計量が所定のしきい値を上回
っている画像領域をフレーム内符号化しかつその他の画
像領域をフレーム間符号化し、画像領域を画像統計量に
応じて分類しかつフレーム内符号化すべき画像領域が、
符号化の際フレーム間符号化すべき画像領域に対して優
先順位を有する、画像のソース符号化方法に関する。
【0002】
【従来の技術】画像のソース符号化方法は既に、D.Bier
e “Transmission of moving and still images in hig
hly disturbed narrow-band chanells using the radio
videophoe”(Bosch Technical Reports, 54版、1
991年、第35頁以降)から公知である。この方法に
おいて、画像は予測エラーパターンの符号化を用いてか
つブロック向き動き推定を用いて伝送される。ブロック
向き動き推定を使用して、ベクトル場が決定され、それ
は、モデルに基づいたアルゴリズムを使用して後処理さ
れる。決定された動きベクトルおよび動画像の相応の輪
郭がまず符号化されて伝送される。
【0003】依然として残る残留データレートに応じ
て、まだ相異しているブロック内容がフレーム内符号化
またはフレーム間符号化されて伝送される。フレーム内
符号化される画像領域を決定するために、画像領域内の
画像信号の分散が可変のしきい値と比較される。分散が
可変のしきい値より小さければ、画像領域はフレーム内
符号化されかつ伝送される。残りの画像領域に対して、
3段階の適応量子化が行われ、かつさらなるブロックサ
ブ分割の後に、ストラクチャ符号化されかつ伝送され
る。
【0004】
【発明の利点】請求項1の特徴を有する本発明の方法
は、フレーム内符号化すべき画像領域またはフレーム間
符号化すべき画像領域が前景および背景に分割されると
いう利点を有する。まず第1に、前景に属しかつフレー
ム内符号化すべき画像領域が伝送される。次いで、前景
に属しかつフレーム間符号化すべき画像領域が伝送され
る。続いて、背景に属しかつフレーム内符号化すべき画
像領域が伝送されかつ背景に属しかつフレーム間符号化
すべき画像領域が伝送される。すなわち、まず第1に、
前景に属しかつ画像の観察者にとって、背景に属する画
像領域より重要である画像領域が伝送される。したがっ
て、観察者によって主観的に一層良好な品質の画像が知
覚される。
【0005】その他の請求項に記載の構成の結果とし
て、請求項1に特定された方法の有利な実施例および改
良例が可能である。前景として決定された画像領域を、
動き推定が既に当該画像を背景として決定しているにも
拘わらず、まだ前景として処理すると、画像品質は改良
される。
【0006】前景に属する画像領域に所定の値を割り当
てかつ当該画像領域が背景として決定されたとき、所定
の時間間隔において所定の量だけ画像領域の値を高めか
つ当該画像領域の値が所定のしきい値を上回ったときに
だけ当該画像領域を背景として処理すると有利である。
この場合、画像領域の処理は、数値の比較によって簡単
な方法で可能である。画像領域の所定の値を高める所定
量が画像領域の平均動きベクトルに依存しているように
すれば、画像の品質の付加的な改良が実現される。この
場合、符号化の際に、画像領域のダイナミック特性が考
慮されかつ画像品質のさらなる改良が可能である。
【0007】さらに、動き推定において前景と認められ
た、背景の画像領域は直ちに前景として処理すると有利
である。このようにして、動画像領域は一般に、改良さ
れた画像品質によって符号化される。
【0008】
【実施例】次に本発明を図示の実施例につき図面を用い
て詳細に説明する。
【0009】図1は、画像ソース符号器の動作モードを
説明するブロック線図である。この図において、データ
線17を介して入力信号が供給される動き推定ユニット
2が示されている。入力信号は同時に、離散余弦変換器
2および減算器4に供給される。離散余弦変換器2は、
データ線17を介して、第1のエントロピー符号器12
および逆離散余弦変換器9に接続されている。減算器4
は、データ線17を介して適応形量子化器およびストラ
クチャ符号器3に接続されている。適応形量子化器およ
びストラクチャ符号器3は、データ線17を介して、逆
ストラクチャ符号器8および第2のエントロピー符号器
13に接続されている。逆ストラクチャ符号器8は、デ
ータ線17を介して加算器5に接続されている。逆離散
余弦変換器9の出力側は、予測メモリ7に接続されてい
る。加算器5は同様に、データ線17を介して予測メモ
リ7に接続されている。動き推定ユニット1の1つの出
力側は、データ線17を介して、動き平滑化ユニット6
に接続されている。動き平滑化ユニット6の出力側は、
データ線17を介して、予測メモリ7、予測ベクトル符
号器10および輪郭符号器11に接続されている。予測
ベクトル符号器10の出力側は、データ線17を介し
て、第3のエントロピー符号器13に接続されている。
輪郭符号器11は、データ線17を介して、第4のエン
トロピー符号器15に接続されている。第1、第2、第
3および第4のエントロピー符号器12,13,14,
15は、データ線17を介して、データマルチプレクサ
16に接続されている。予測メモリ7の出力側は、デー
タ線17を介して加算器5、減算器4および動き推定ユ
ニット1に接続されている。データマルチプレクサ16
はデータチャネルに接続されている。
【0010】図1に示された装置は次のように動作す
る:動画像が動き推定ユニット1に供給される。動画像
は画像単位に分割される。それぞれの画像単位に対し
て、動き推定ユニット1は、当該動画像と予測メモリ7
にファイルされている予測画像との間の動きの推定を実
施する。この場合、例えば、予測画像における40×4
0ピクセルの前以て決められたウィンドウ内の種々の位
置における画像領域の平均自乗誤差の基準値が最小化さ
れる。動き推定ユニット1は、結果として、画像単位当
たりに1つの変位ベクトルを発生する。動き推定ユニッ
ト1は、真の物体運動の検出ではなくて、平均自乗誤差
を最小とすることを判断基準として使用されたので、動
画像全体の拡散変位ベクトル場を発生する。動き推定ユ
ニット1により求められたベクトル場は、動き平滑化ユ
ニット6に供給される。空間的に隣接する画像単位の変
位ベクトルの相関を使用して動き平滑化ユニット6は、
一層一様な動きベクトル場を決定する。この場合、動き
ベクトルの一様性を検査しかつこれにより画像一様性を
検査するために次の式1が使用される:
【0011】
【数1】
【0012】ただしCi=qi*|vk−vi|、直接隣接
個所(左、右、上および下)に対してはqi=1、対角
線上の隣接個所に対してはqi=1/√2、|vk−vi
|は、考察された動きベクトルvkと隣接する動きベク
トルvi間の長さの差を表しかつ次の式に従って計算さ
れる: (vkx−vix2+(vky−viy2
【0013】この場合、vkxおよびvixは、画像面にあ
る特定のx方向における動きベクトルの成分を表しかつ
kyおよびviyは、画像面にありかつx方向に対して9
0゜の角度を成しているy方向における動きベクトルの
成分を表している。変数Mは、考慮した隣接動きベクト
ルの数を示す。変数qiは、用途に依存して選択される
重み定数である。式1を用いて、考察した動きベクトル
vkと隣接する動きベクトルviとの間の長さの差に比
例する値(V)が計算される。P(V)に依存して、動
きベクトル場の平滑化が、ギブズの分布を使用して実施
される。このために、例えば、P(V)は前以て決めら
れた値と比較され、かつこの値を上回っていれば、平滑
化は実施される。上述の平滑化は公知のプロセスであり
かつ例えば、Stiller 著、“Motion Estimation for Co
ding of Moving Video at 8 kbit/s with Gibbs Modele
d Vectorfield smoothing”、Proc. SPIE Lausanne, 1
990年、第468ないし476頁に記載されている。
【0014】平滑化された動きベクトル場は、動き平滑
化ユニット6から予測ベクトル符号器10および輪郭符
号器11に供給される。予測ベクトル符号器10は、隣
接する画像単位を使用して動きベクトルの空間的な予測
符号化を行う。その際、関連する画像単位から成る画像
領域を求め、予測画像と比較したその変位が1つの動き
ベクトルによって表される。輪郭符号器11は、これら
画像領域の輪郭を求める。予測ベクトル符号器10は、
予測符号化された動きベクトルを第3のエントロピー符
号器14に送出する。第3のエントロピー符号器14
は、予測符号化された動きベクトルに対してエントロピ
ー符号化を行いかつ連続的にこれらをデータマルチプレ
クサ16に供給する。輪郭符号器11は、求められた輪
郭を、2進マスクの形において、第4のエントロピー符
号器15に送出する。第4のエントロピー符号器15
は、2進マスクに対してエントロピー符号化を行いかつ
連続的にこれをデータマルチプレクサ16に送出する。
予測メモリ7における画像は、求められた動きベクトル
分だけ変位される。
【0015】上述の画像ソース符号器は、前向き制御の
原理に従って動作し、すなわち画像の符号化の前に、使
用可能なデータレートに基づいてどの画像領域を伝送す
ることができるかに関して、先行する画像の符号化に基
づいて仮定がなされる。属性および動き情報に対するデ
ータレートを平均データレートから減算した後、画像の
予測誤差符号化に対する残留データレートを得る。しき
い値決定を用いて、それぞれの画像単位は、フレーム内
符号化するか、フレーム間符号化するかまたは変化せず
に繰り返すかの属性を受け取る。コンピュータユニット
は、前以て決められたしきい値を上回っている平均自乗
誤差を有する画像単位を求める。引く続いて離散余弦変
換器2は、その分散が所定のしきい値を上回っている画
像単位に対してフレーム内符号化を実施しかつ次いでこ
れらを第1のエントロピー符号器12に送出する。第1
のエントロピー符号器12は、フレーム内符号化された
画像単位に対してエントロピー符号化を行いかつ次いで
これらをデータマルチプレクサ16に送出する。離散余
弦変換器2は、フレーム内符号化された画像単位を逆離
散余弦変換器9に送出する。逆離散余弦変換器9は、フ
レーム内符号化された画像単位に対して逆離散余弦変換
を行いかつ次いでこれらを予測メモリ7に送出する。そ
の平均自乗誤差が前以て決められたしきい値を下回って
いる画像単位がフレーム間符号化される。
【0016】フレーム間符号化された画像単位を求める
ために、画像単位の画像信号が減算器4に供給される。
さらに、既に動き補償された予測画像が、予測メモリ7
から.減算器4に供給される。供給された画像信号と予
測画像との差が、適応形量子化器およびストラクチャ符
号器3に送出される。差画像信号に対して、適応形量子
化および次いでストラクチャ符号化が行われる。適応形
量子化器およびストラクチャ符号器の後で、画像信号は
第2のエントロピー符号器13および逆ストラクチャ符
号器8に供給される。第2のエントロピー符号器13
は、ストラクチャ符号化された画像信号に対してエント
ロピー符号化を行いかつこの信号を次いでデータマルチ
プレクサ16に供給する。
【0017】逆ストラクチャ符号器8は、供給された画
像信号に対して逆ストラクチャ符号化を行いかつこの信
号を次いで加算器5に送出する。加算器5は、新しい予
測画像を形成するために、予測画像と量子化された差画
像信号とを加算する。
【0018】図2には、前景に属しかつフレーム内符号
化される画像単位を求めるためのプログラムシーケンス
が示されている。プログラム点21において、予測画像
に比べたすべての画像単位の平均自乗誤差が求められか
つ、それぞれの画像単位に対してメモリにファイルされ
る。次いで、プログラム点22において、画像単位は、
平均自乗偏差の大きさの関数として大きい順に分類され
る。これに基づいて、プログラム点23において、プロ
グラムループがすべての画像単位について実行される。
【0019】プログラム点24において、このプログラ
ムループは、画像単位の平均自乗誤差が所定の離散余弦
変換しきい値より大きいかについての質問を含んでい
る。ノーであれば、プログラム点26への分岐が行われ
かつこの画像単位はフレーム間符号化すべき画像単位と
して2進マスクにおいてマークされかつメモリにファイ
ルされる。しかし、プログラム点24における質問が平
均自乗誤差が所定の離散余弦変換しきい値より大きいこ
とが明らかになれば、プログラム点25への分岐が行わ
れる。
【0020】プログラム点25において、この画像単位
が前景に属するかどうかの質問が行われる。動き推定ユ
ニット1によって求められた変位ベクトルが零に等しけ
れば、この画像単位は背景に属する。この画像単位が背
景に属するのであれば、プログラム点27への分岐が行
われかつこの画像単位はフレーム間符号化すべき画像単
位として2進マスクにおいてマークされかつメモリにフ
ァイルされる。しかし、プログラム点25における質問
により、この画像単位が前景に属することが明らかにな
った場合、プログラム点28への分岐が行われかつこの
画像単位はフレーム内符号化されるべき画像単位として
2進マスクにおいてマークされかつメモリにファイルさ
れる。
【0021】図2によるプログラムは、フレーム内符号
化すべき画像単位を決定する。フレーム内符号化は、前
景に属しかつその平均自乗誤差が所定の離散余弦変換し
きい値より大きい画像単位に対してのみ行われる。
【0022】図3には、フレーム内符号化すべき画像単
位として、図2のプログラムによって決定された画像単
位を引き続き処理するプログラムシーケンスが示されて
いる。
【0023】プログラム点41において、すべての画像
単位に対して実行されるプログラムループがスタートす
る。プログラム点42において、当該画像ユニットが前
景に属するかどうかの質問が行われる。ノーであれば、
プログラム点44への分岐が行われかつこの画像単位は
最終的に、フレーム間符号化すべき画像単位と見なされ
る。しかしプログラム点42における質問により、当該
画像単位が前景に属することが明らかになった場合、プ
ログラム点43への分岐が行われかつこの画像単位は、
フレーム内符号化されるべき画像単位としてマークされ
る。この質問は、すべての画像単位について実行され
る。図3によるプログラムは、図2のプログラムにより
決定されたフレーム間符号化されるべき画像単位から、
これらが前景に属している場合、フレーム内符号化され
るべき画像単位を決定する。
【0024】図4には、データ線61を介してコンピュ
ータユニット18に接続されている画像撮影ユニット5
0が示されている。コンピュータユニット18は、デー
タ線61を介してメモリ19に接続されている。コンピ
ュータユニット18は、さらにデータ線61を介して画
像ソース符号器20に接続されている。画像ソース符号
器20は、図1に示されているように構成されておりか
つデータチャネルに接続されている。
【0025】次に、図5のプログラムシーケンスおよび
図1ないし4を参照して、特別な実施例について説明す
る。図5のプログラム点30において、画像はコンピュ
ータユニット18によって8×8ピクセルの大きさの画
像単位に分割されかつ動き推定ユニット1に供給され
る。動き推定ユニット1は、それぞれの画像単位に対し
て、予測メモリ7から供給される予測画像と当該画像の
比較によって動きを推定する。基準として、例えば、予
測画像における40×40ピクセルの前以て決められた
ウィンドウ内の種々の位置における画像の平均自乗誤差
を最小とする。結果として、画像単位当たり1つの変位
ベクトルが得られる。コンピュータユニット18は、メ
モリ19に、零に等しくない動きベクトルを表す画像単
位をマークしている2進マスクをファイルする。画像品
質を改善するために、プログラム点31において、動き
推定ユニット1によって求められた変位ベクトルが、動
き平滑化ユニット6によってギブズの分布(式1)を使
用して平滑化されかつ図1に示されているように、予測
動きベクトル符号化および輪郭符号化されて伝送され
る。
【0026】次いで、プログラム点42において、コン
ピュータユニット18は、画像の伝送のために使用可能
である残留データレートを求める。残留データレート
は、画像当たりの全データレートマイナス動きベクトル
およびこれと関連した輪郭の伝送に対して使用されたデ
ータレートマイナス属性に対して使用されたデータレー
トから得られる。属性は、それぞれの画像単位に対する
符号化の形式を示す。使用可能な残留データレートは、
フレーム内符号化またはフレーム間符号化のために使用
される。フレーム内符号化は、離散余弦変換を用いて実
施される。フレーム間符号化、すなわち動き補償された
予測画像と現在の画像の画像単位との差がまず適応量子
化されかつ次いでストラクチャ符号化される。
【0027】プログラム点33において、図2のプログ
ラムを使用して、フレーム内符号化されかつ前景に属し
ている、画像の画像単位が求められる。このために、コ
ンピュータユニット18は、画像単位の平均自乗誤差が
所定のしきい値より大きいかどうかについての比較を行
いかつメモリ19にファイルされている2進マスクに基
づいて、当該画像単位の動きベクトルが零より大きいか
どうかを検査する。コンピュータユニット18は、前景
の画像単位に対しては1に等しくかつ背景の画像単位に
対しては零に等しい係数PF−intraと乗算され
た、平均自乗誤差に従って画像単位を、それらの大きさ
に応じて整理する。
【0028】プログラム点34において、図3のプログ
ラムに示すように、フレーム間符号化すべきでありかつ
前景に属する画像単位が求められる。コンピュータユニ
ット18は、画像単位を、係数PF−interと乗算
された、これらの平均自乗誤差に応じて整理する。係数
PF−interは、前景の画像単位に対しては1に等
しくかつ背景画像単位に対しては時間に依存して変化す
る。次いで、プログラム点35において、コンピュータ
ユニット18は、すべての画像単位を、相応の係数PF
−intraまたはPF−interと乗算された、こ
れらの平均自乗誤差に応じて整理する。それから画像単
位は順番に、画像の伝送に対する残留データレートのよ
うな時間が使用され終わるまで、図1に示されているよ
うに、平均自乗誤差と係数PF−intraまたはPF
−interとの最大積によって符号化されて伝送され
る。
【0029】背景の画像領域に対する係数PF−int
erは有利には時間に依存しているので、時間の関数と
しての係数PF−interは段階的に低下される。
【0030】動画像単位の決定のためにコンピュータユ
ニット18によってメモリ19に供給される2進マスク
は、最も簡単な場合、2進値によって形成することがで
きる。このことは、その変位ベクトルが零に等しい画像
単位に例えば値零が与えられかつその変位ベクトルが零
に等しくない画像単位Iに値1が与えられることを意味
する。有利には、画像単位は、所定の数値ZIを割り当
てることができる。ZIは、画像単位Iに対して、動き
が検出されかつ当該画像単位が前景に属する場合、零に
セットされる。その他の場合、ZIは、時間クロック当
たり所定の量Bだけ高められる:ZI(t+1)=(ZI
(t)+B)、ただしtは所定の時間クロックを表す。
【0031】画像単位Iの数値ZIが一定の所定のしき
い値Sを上回ると、画像単位Iは、動き推定ユニット1
が再び、画像単位Iに対して零に等しくない変位ベクト
ルを記録するまでの間は背景に対応させられかつその場
合ZIは零にセットされる。このしきい値操作によっ
て、前景/背景移行は、長さ零の動きベクトルを有する
画像単位に対して遅延される。しかし、零に等しくない
動きベクトルに対しては前景/背景移行は直ちに行われ
る。所定の量Bの計算のために、例えば、次式に従った
平均動きベクトル長が使用される:
【0032】
【数2】
【0033】ただしn=現在の画像における零ベクトル
でないベクトルの数、Xi,Yi=X方向およびY方向に
おけるベクトルの長さ、この場合量Bは、 B=Lm*Lm。
【0034】2進マスクはさらに、侵食および膨脹によ
る公知の方法を用いて処理することができる。
【0035】平均自乗誤差は有利には、次式に従って計
算され:
【0036】
【数3】
【0037】ただしn=ブロックにおけるピクセルの
数、i=ブロックのすべてのピクセルについての連続指
標、orgi=オリジナルブロックにおけるi番目のピ
クセル、prei=先行画像のブロックにおけるi番目
のピクセル。
【図面の簡単な説明】
【図1】画像ソース符号器の動作を説明するブロック図
である。
【図2】フレーム内符号化されかつ前景に属する画像領
域の決定のためのプログラムシーケンスを示す図であ
る。
【図3】前景に属しかつフレーム間符号化すべき画像領
域の決定のためのプログラムシーケンスを示す図であ
る。
【図4】画像ソース符号化のプログラムシーケンスを示
す図である。
【図5】画像ソース符号化のプログラムシーケンスを示
す図である。
【符号の説明】
1 動き推定ユニット、 2 離散余弦変換器、 3
適応形量子化器+ストラクチャ符号器、 6 動き平滑
化ユニット、 7 予測メモリ、 9 逆離散余弦変換
器、 10 予測ベクトル符号器、 11 輪郭符号
器、 12,13,14,15 エントロピー符号器、
16 データマルチプレクサ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 シュテファン ゴス ドイツ連邦共和国 ヒルデスハイム フィ ヒテシュトラーセ 11

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 画像を所定の大きさの画像領域に分割し
    かつそれぞれの画像領域に対して画像統計量を求めかつ
    その画像統計量が所定のしきい値を上回っている画像領
    域をフレーム内符号化しかつその他の画像領域をフレー
    ム間符号化し、画像領域を画像統計量に応じて分類しか
    つフレーム内符号化すべき画像領域が、符号化の際にフ
    レーム間符号化すべき画像領域に対して優先順位を有す
    る、画像のソース符号化方法において、前記画像領域
    を、動き推定を用いて前景および背景に分割し、かつ前
    景の画像領域は、符号化の際に背景の画像領域に対して
    優先順位を有することを特徴とする画像のソース符号化
    方法。
  2. 【請求項2】 前景の画像領域を、動き推定が当該画像
    領域を既に背景として決定したにも拘わらずまだ所定の
    時間の間は前景として処理する請求項1記載の画像のソ
    ース符号化方法。
  3. 【請求項3】 前景として決定された画像領域に所定の
    値を割り当て、かつ該値をメモリにファイルし、かつ当
    該画像領域が背景として決定された場合、当該画像領域
    の値を所定の時間間隔において所定の量だけ高め、かつ
    当該画像領域を、該画像領域の値が所定のしきい値を上
    回ったときにのみ、背景として処理する請求項2記載の
    画像のソース符号化方法。
  4. 【請求項4】 前記所定の量を、動き推定によって決定
    された画像領域の平均動きベクトルに依存して決定する
    請求項3記載の画像のソース符号化方法。
  5. 【請求項5】 背景の画像領域を、動き推定が当該画像
    領域を前景として決定したら直ちに前景として処理する
    請求項1から4までのいずれか1項記載の画像のソース
    符号化方法。
JP03382495A 1994-02-23 1995-02-22 画像のソース符号化方法 Expired - Fee Related JP4298803B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE4405803A DE4405803C2 (de) 1994-02-23 1994-02-23 Verfahren zur Quellcodierung
DE4405803.9 1994-02-23

Publications (2)

Publication Number Publication Date
JPH07264595A true JPH07264595A (ja) 1995-10-13
JP4298803B2 JP4298803B2 (ja) 2009-07-22

Family

ID=6510988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03382495A Expired - Fee Related JP4298803B2 (ja) 1994-02-23 1995-02-22 画像のソース符号化方法

Country Status (4)

Country Link
US (1) US5650822A (ja)
JP (1) JP4298803B2 (ja)
DE (1) DE4405803C2 (ja)
FR (1) FR2716556B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100353851B1 (ko) * 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
JP2012156653A (ja) * 2011-01-24 2012-08-16 Panasonic Corp 動画伝送システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256266A (ja) * 1995-03-17 1996-10-01 Mitsubishi Electric Corp 画像符号化方式
US6101282A (en) * 1995-06-22 2000-08-08 Canon Kabushiki Kaisha Apparatus and method for image data encoding
KR100211055B1 (ko) * 1996-10-28 1999-07-15 정선종 내용기반으로 분할된 영상객체들의 스케러블 전송방법
US5883977A (en) * 1996-12-30 1999-03-16 Daewoo Electronics Co., Ltd. Method and apparatus for encoding a video signal of a contour of an object
JPH10336682A (ja) * 1997-04-02 1998-12-18 Canon Inc 符号化装置及び方法及び方法を記憶した記憶媒体
US6304295B1 (en) * 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression
KR100643454B1 (ko) * 2001-11-17 2006-11-10 엘지전자 주식회사 영상 데이터 전송 제어방법
GB0227570D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
GB0227566D0 (en) 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0123616B1 (en) * 1983-04-20 1987-03-04 Nippon Telegraph And Telephone Corporation Interframe coding method and apparatus therefor
EP0330455A3 (en) * 1988-02-22 1990-07-04 Kabushiki Kaisha Toshiba Image encoding apparatus
DE3820037A1 (de) * 1988-06-13 1989-12-14 Ant Nachrichtentech Bildcodierverfahren und einrichtung
FR2675002B1 (fr) * 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
JP3002019B2 (ja) * 1991-07-04 2000-01-24 富士通株式会社 セル廃棄補償機能を有する画像符号化伝送方式
KR940011881B1 (ko) * 1991-12-23 1994-12-27 주식회사 금성사 움직임 검출 및 추정장치
US5347311A (en) * 1993-05-28 1994-09-13 Intel Corporation Method and apparatus for unevenly encoding error images
US5440346A (en) * 1993-06-16 1995-08-08 Intel Corporation Mode selection for method and system for encoding images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100353851B1 (ko) * 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
JP2012156653A (ja) * 2011-01-24 2012-08-16 Panasonic Corp 動画伝送システム

Also Published As

Publication number Publication date
US5650822A (en) 1997-07-22
FR2716556A1 (fr) 1995-08-25
JP4298803B2 (ja) 2009-07-22
DE4405803C2 (de) 1997-04-30
FR2716556B1 (fr) 1998-02-06
DE4405803A1 (de) 1995-08-31

Similar Documents

Publication Publication Date Title
JP3954656B2 (ja) 画像符号化装置及び方法
CN1980393B (zh) 图像编码装置、方法及集成电路
JPH05167998A (ja) 画像の符号化制御処理方法
JP4702059B2 (ja) 動画像を符号化する方法及び装置
JP3755155B2 (ja) 画像符号化装置
KR20050119422A (ko) 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체
JPH07264595A (ja) 画像のソース符号化方法
JP2000197049A (ja) 動画像可変ビットレート符号化装置および方法
WO2007113559A1 (en) Video coding
JP3508916B2 (ja) 動画像可変ビットレート符号化方法および装置
US6950465B1 (en) Video coding by adaptively controlling the interval between successive predictive-coded frames according to magnitude of motion
JP3982615B2 (ja) 符号化動画像データの方式変換装置
Ngan et al. Improved single-video-object rate control for MPEG-4
JP3426668B2 (ja) 動画像符号化方法
JP3480067B2 (ja) 画像符号化装置及び方法
US6141449A (en) Coding mode determination system
EP0639924B1 (en) Coding mode control device for digital video signal coding system
JPH09168155A (ja) 可変フレームレート動画像符号化方法
JP3858520B2 (ja) 動画像符号化装置及びその方法
JP3200518B2 (ja) 画像信号符号化装置
JP3711572B2 (ja) 画像符号化装置及び方法
JP3711573B2 (ja) 画像符号化装置及び画像符号化方法
JP2000032468A (ja) 画像符号化方法および動き補償モード選択プログラムを記録した記録媒体
JP5171658B2 (ja) 画像符号化装置
JP2004297696A (ja) 映像信号符号化装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050418

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050421

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060712

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061011

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061016

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080319

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080715

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090318

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090416

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees