JP4298803B2 - 画像のソース符号化方法 - Google Patents
画像のソース符号化方法 Download PDFInfo
- Publication number
- JP4298803B2 JP4298803B2 JP03382495A JP3382495A JP4298803B2 JP 4298803 B2 JP4298803 B2 JP 4298803B2 JP 03382495 A JP03382495 A JP 03382495A JP 3382495 A JP3382495 A JP 3382495A JP 4298803 B2 JP4298803 B2 JP 4298803B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image unit
- foreground
- unit
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、画像のソース符号化方法に関する。
【０００２】
【従来の技術】
画像のソース符号化方法は既に、D.Biere "Transmission of moving and still images in highly disturbed narrow-band chanells using the radio videophoe"（Bosch Technical Reports, ５４版、１９９１年、第３５頁以降）から公知である。この方法において、画像は予測エラーパターンの符号化を用いてかつブロック向き動き推定を用いて伝送される。ブロック向き動き推定を使用して、ベクトル場が決定され、それは、モデルに基づいたアルゴリズムを使用して後処理される。決定された動きベクトルおよび動画像の相応の輪郭がまず符号化されて伝送される。
【０００３】
依然として残る残留データレートに応じて、まだ相異しているブロック内容がフレーム内符号化またはフレーム間符号化されて伝送される。フレーム内符号化される画像領域を決定するために、画像領域内の画像信号の分散が可変のしきい値と比較される。分散が可変のしきい値より小さければ、画像領域はフレーム内符号化されかつ伝送される。残りの画像領域に対して、３段階の適応量子化が行われ、かつさらなるブロックサブ分割の後に、ストラクチャ符号化されかつ伝送される。
【０００４】
【発明の利点】
本発明においてまず、複数の画像のそれぞれが予め定めた大きさを有している、フレームを分割した画像単位に分割される。請求項１の特徴を有する本発明の方法は、フレーム内符号化すべき画像単位またはフレーム間符号化すべき画像単位が前景および背景に分類される。まず第１に、離散余弦変換しきい値との比較に際してフレーム内符号化すべきであるとされしかも前景に属する画像単位を伝送し、次いで前記しきい値との比較に際してフレーム間符号化すべきであるとされたが前景に属することでフレーム内符号化されると判断された画像単位を伝送し、続いて、前記しきい値との比較に際してフレーム内符号化すべきであるとされたが背景に属することでフレーム間符号化されると判断された画像単位を伝送し、かつ最後に前記しきい値との比較に際してフレーム間符号化すべきであるとされしかも背景に属する画像単位を伝送する。すなわち、まず第１に、前景に属しかつ画像の観察者にとって、背景に属する画像領域より重要である画像領域が伝送される。したがって、観察者によって主観的に一層良好な品質の画像が知覚される。
【０００５】
その他の請求項に記載の構成の結果として、請求項１に特定された方法の有利な実施例および改良例が可能である。
【０００６】
前景として決定された画像単位を、動き推定が既に当該画像を背景として決定しているにも拘わらず、まだ前景として処理すると、画像品質は改良される。
前景に属する画像単位に所定の値を割り当てかつ当該画像単位が背景として決定されたとき、所定の時間間隔において所定の量だけ画像単位の値を高めかつ当該画像単位の値が所定のしきい値を上回ったときにだけ当該画像単位を背景として処理すると有利である。この場合、画像単位の処理は、数値の比較によって簡単な方法で可能である。
画像単位の所定の値を高める所定量が画像単位の平均動きベクトルに依存しているようにすれば、画像の品質の付加的な改良が実現される。この場合、符号化の際に、画像単位のダイナミック特性が考慮されかつ画像品質のさらなる改良が可能である。
【０００７】
さらに、動き推定において前景と認められた、背景の画像領域は直ちに前景として処理すると有利である。このようにして、動画像領域は一般に、改良された画像品質によって符号化される。
【０００８】
【実施例】
次に本発明を図示の実施例につき図面を用いて詳細に説明する。
【０００９】
図１は、画像ソース符号器２０の動作モードを説明するブロック線図である。この図において、データ線１７を介して入力信号が供給される動き推定ユニット１が示されている。入力信号は同時に、離散余弦変換器２および減算器４に供給される。離散余弦変換器２は、データ線１７を介して、第１のエントロピー符号器１２および逆離散余弦変換器９に接続されている。減算器４は、データ線１７を介して適応形量子化器およびストラクチャ符号器３に接続されている。
適応形量子化器およびストラクチャ符号器３は、データ線１７を介して、逆ストラクチャ符号器８および第２のエントロピー符号器１３に接続されている。逆ストラクチャ符号器８は、データ線１７を介して加算器５に接続されている。逆離散余弦変換器９の出力側は、予測メモリ７に接続されている。加算器５は同様に、データ線１７を介して予測メモリ７に接続されている。
【００１０】
動き推定ユニット１の１つの出力側は、データ線１７を介して、動き平滑化ユニット６に接続されている。動き平滑化ユニット６の出力側は、データ線１７を介して、予測メモリ７、予測ベクトル符号器１０および輪郭符号器１１に接続されている。予測ベクトル符号器１０の出力側は、データ線１７を介して、第３のエントロピー符号器１４に接続されている。輪郭符号器１１は、データ線１７を介して、第４のエントロピー符号器１５に接続されている。第１、第２、第３および第４のエントロピー符号器１２，１３，１４，１５は、データ線を介して、データマルチプレクサ１６に接続されている。予測メモリ７の出力側は、データ線１７を介して加算器５、減算器４および動き推定ユニット１に接続されている。データマルチプレクサ１６はデータチャネルに接続されている。
図１に示された装置は次のように動作する：動画像が動き推定ユニット１に供給される。動画像は画像単位に分割される。それぞれの画像単位に対して、動き推定ユニット１は、当該動画像と予測メモリ７にファイルされている予測画像との間の動きの推定を実施する。この場合、例えば、予測画像における４０×４０ピクセルの前以て決められたウィンドウ内の種々の位置において、画像領域の平均自乗誤差の基準値が最小化される。動き推定ユニット１は、結果として、画像単位当たりに１つの変位ベクトルを発生する。動き推定ユニット１は、真の物体運動の検出ではなくて、平均自乗誤差を最小とすることを判断基準として使用したので、動画像全体の拡散変位ベクトル場を発生する。動き推定ユニット１により求められたベクトル場は、動き平滑化ユニット６に供給される。空間的に隣接する画像単位の変位ベクトルの相関を使用して動き平滑化ユニット６は、一層一様な動きベクトル場を決定する。この場合、動きベクトルの一様性を検査しかつこれにより画像一様性を検査するために次の式１が使用される：
【００１１】
【数１】
【００１２】
ただしＣｉ＝ｑｉ＊｜ｖｋ−ｖｉ｜、
直接隣接個所（左、右、上および下）に対してはｑｉ＝１、
対角線上の隣接個所に対してはｑｉ＝１／√２、
｜ｖｋ−ｖｉ｜は、考察された動きベクトルｖｋと隣接する動きベクトルｖｉ間の長さの差を表しかつ次の式に従って計算される：
（ｖｋｘ−ｖｉｘ）２＋（ｖｋｙ−ｖｉｙ）２。
【００１３】
この場合、ｖｋｘおよびｖｉｘは、画像面にある特定のｘ方向における動きベクトルの成分を表し、ｖｋｙおよびｖｉｙは、画像面にありかつｘ方向に対して９０゜の角度を成しているｙ方向における動きベクトルの成分を表している。変数Ｍは、考慮した隣接動きベクトルの数を示す。変数ｑｉは、適用に依存して選択された重み定数である。式１を用いて、考察した動きベクトルｖｋと隣接する動きベクトルｖｉとの間の長さの差に比例する値Ｐ（Ｖ）が計算される。Ｐ（Ｖ）に依存して、動きベクトル場の平滑化が、ギブズの分布を使用して実施される。このために、例えば、Ｐ（Ｖ）は前以て決められた値と比較され、この値を上回っていれば、平滑化が実施される。上述の平滑化は公知のプロセスでありかつ例えば、Stiller 著、"Motion Estimation for Coding of Moving Video at 8 kbit/s with Gibbs Modeled Vectorfield smoothing"、Proc. SPIE Lausanne, １９９０年、第４６８ないし４７６頁に記載されている。
【００１４】
平滑化された動きベクトル場は、動き平滑化ユニット６から予測ベクトル符号器１０および輪郭符号器１１に供給される。予測ベクトル符号器１０は、隣接する画像単位を使用して動きベクトルの空間的な予測符号化を行う。その際、連続する画像単位から成る画像領域を求められ、この画像領域を予測画像と比較した変位が１つの動きベクトルによって表される。輪郭符号器１１は、これら画像領域の輪郭を求める。予測ベクトル符号器１０は、予測符号化された動きベクトルを第３のエントロピー符号器１４に送出する。第３のエントロピー符号器１４は、予測符号化された動きベクトルに対してエントロピー符号化を行い、引き続きこれらをデータマルチプレクサ１６に供給する。輪郭符号器１１は、求められた輪郭を、２進マスクの形で第４のエントロピー符号器１５に送出する。第４のエントロピー符号器１５は、２進マスクに対してエントロピー符号化を行い、引き続きこれをデータマルチプレクサ１６に送出する。予測メモリ７における画像は、求められた動きベクトル分だけ変位される。
【００１５】
上述の画像ソース符号器は、前向き制御の原理に従って動作し、すなわち画像の符号化の前に先行する画像の符号化に基づいて、どの画像領域を使用可能なデータレートに基づいて伝送することができるかが推定される。属性および動き情報に対するデータレートを平均データレートから減算した後、画像の予測誤差符号化に対する残留データレートが得られる。しきい値決定を用いて、それぞれの画像単位は、フレーム内符号化するか、フレーム間符号化するかまたは変化せずに繰り返すかの属性を受け取る。コンピュータユニットは、前以て決められたしきい値を上回っている平均自乗誤差を有する画像単位を求める。引き続いて離散余弦変換器２は、その分散が所定のしきい値を上回っている画像単位に対してフレーム内符号化を実施し、次いでこれらを第１のエントロピー符号器１２に送出する。第１のエントロピー符号器１２は、フレーム内符号化された画像単位に対してエントロピー符号化を行い、次いでこれらをデータマルチプレクサ１６に送出する。離散余弦変換器２は、フレーム内符号化された画像単位を逆離散余弦変換器９に送出する。逆離散余弦変換器９は、フレーム内符号化された画像単位に対して逆離散余弦変換を行い、次いでこれらを予測メモリ７に送出する。その平均自乗誤差が前以て決められたしきい値を下回っている画像単位はフレーム間符号化される。
【００１６】
フレーム間符号化される画像単位を求めるために、画像単位の画像信号が減算器４に供給される。さらに、既に動き補償された予測画像が、予測メモリ７から減算器４に供給される。供給された画像信号と予測画像との差が、適応形量子化器およびストラクチャ符号器３に送出される。差画像信号に対して、適応形量子化および次いでストラクチャ符号化が行われる。適応形量子化器およびストラクチャ符号器の後で、画像信号は第２のエントロピー符号器１３および逆ストラクチャ符号器８に供給される。第２のエントロピー符号器１３は、ストラクチャ符号化された画像信号に対してエントロピー符号化を行い、この信号を次いでデータマルチプレクサ１６に供給する。
【００１７】
逆ストラクチャ符号器８は、供給された画像信号に対して逆ストラクチャ符号化を行い、この信号を次いで加算器５に送出する。加算器５は、新しい予測画像を形成するために、予測画像と量子化された差画像信号とを加算する。
【００１８】
図２には、前景に属しかつフレーム内符号化される画像単位を求めるためのプログラムシーケンスが示されている。プログラム点２１において、すべての画像単位の平均自乗誤差が予測画像を基準にして求められ、それぞれの画像単位毎にメモリにファイルされる。次いで、プログラム点２２において、画像単位は、平均自乗誤差の大きさの関数として大きい順に分類される。これに基づいて、プログラム点２３において、プログラムループがすべての画像単位について実行される。
【００１９】
このプログラムループはプログラム点２４に、画像単位の平均自乗誤差が所定の離散余弦変換しきい値より大きいか否かについての質問を含んでいる。ノーであれば、プログラム点２６への分岐が行われ、この画像単位はフレーム間符号化すべき画像単位として２進マスクにマークされ、メモリにファイルされる。しかし、プログラム点２４における質問で平均自乗誤差が所定の離散余弦変換しきい値より大きいことが明らかになれば、図示されていないがこの画像単位はいったんフレーム内符号化すべき画像単位としてマークされる。それからプログラム点２５への分岐が行われる。
【００２０】
プログラム点２５では、この画像単位が前景に属するかどうかの質問が行われる。動き推定ユニット１によって求められた変位ベクトルが零に等しければ、この画像単位は背景に属する。この画像単位が背景に属するのであれば、プログラム点２７への分岐が行われ、この画像単位はフレーム間符号化すべき画像単位として２進マスクにマークされ、メモリにファイルされる。しかし、プログラム点２５での質問により、この画像単位が前景に属することが明らかになった場合、プログラム点２８への分岐が行われ、この画像単位はフレーム内符号化すべき画像単位として２進マスクにマークされ、メモリにファイルされる。
【００２１】
図２によるプログラムは、フレーム内符号化すべき画像単位を決定する。フレーム内符号化は、画像単位が前景に属しかつその平均自乗誤差が所定の離散余弦変換しきい値より大きい場合のみ行われる。
【００２２】
図３には、図２のプログラムによってフレーム間符号化すべき画像単位として決定された画像単位を引き続き処理するプログラムシーケンスが示されている。
【００２３】
プログラム点４１ですべての画像単位に対して実行されるプログラムループがスタートする。プログラム点４２では、当該画像ユニットが前景に属するか否かの質問が行われる。ノーであれば、プログラム点４４への分岐が行われ、この画像単位は最終的にフレーム間符号化すべき画像単位と見なされる。しかしプログラム点４２における質問により、当該画像単位が前景に属することが明らかになった場合、プログラム点４３への分岐が行われ、この画像単位は、フレーム内符号化されるべき画像単位としてマークされる。この質問は、すべての画像単位について実行される。図３によるプログラムは、図２のプログラムによりフレーム間符号化すべきと決定された画像単位を、これらが前景に属している場合、フレーム内符号化すべき画像単位として決定する。
【００２４】
図４には、データ線６１を介してコンピュータユニット１８に接続されている画像撮影ユニット５０が示されている。コンピュータユニット１８は、データ線６１を介してメモリ１９に接続されている。コンピュータユニット１８は、さらにデータ線６１を介して画像ソース符号器２０に接続されている。画像ソース符号器２０は、図１に示されているように構成されておりかつデータチャネルに接続されている。
【００２５】
次に、図５のプログラムシーケンスおよび図１ないし４を参照して、特別な実施例について説明する。図５のプログラム点３０で、画像はコンピュータユニット１８によって８×８ピクセルの大きさの画像単位に分割され、動き推定ユニット１に供給される。動き推定ユニット１は、それぞれの画像単位に対して、予測メモリ７から供給される予測画像と当該画像の比較によって動きを推定する。基準として、例えば、予測画像における４０×４０ピクセルの前以て決められたウィンドウ内の種々の位置において、画像の平均自乗誤差を最小とする。結果として、画像単位当たり１つの変位ベクトルが得られる。コンピュータユニット１８はメモリ１９に２進マスクをファイルする。この２進マスクには、零に等しくない動きベクトルを有する画像単位がマークされている。画像品質を改善するためにプログラム点３１では、動き推定ユニット１によって求められた変位ベクトルが、動き平滑化ユニット６によってギブズの分布（式１）を使用して平滑化され、図１に示されているように、予測動きベクトル符号化および輪郭符号化されて伝送される。
【００２６】
次いでプログラム点３２で、コンピュータユニット１８は、画像の伝送のために使用可能である残留データレートを求める。残留データレートは、画像当たりの全データレートから、動きベクトルおよびこれと関連した輪郭の伝送に対して使用されるデータレートを減じ、さらに属性に対して使用されるデータレートを減ずることにより得られる。この属性は、それぞれの画像単位に対する符号化の形式を示す。使用可能な残留データレートは、フレーム内符号化またはフレーム間符号化のために使用される。フレーム内符号化は、離散余弦変換を用いて実施される。フレーム間符号化、すなわち動き補償された予測画像と現在の画像の画像単位との差は、まず適応量子化されかつ次いでストラクチャ符号化される。
【００２７】
プログラム点３３では、図２のプログラムを使用して、フレーム内符号化すべきであり、かつ前景に属している画像の画像単位が求められる。このために、コンピュータユニット１８は、画像単位の平均自乗誤差が所定のしきい値より大きいかどうかについての比較を行い、メモリ１９にファイルされている２進マスクに基づいて、当該画像単位の動きベクトルが零より大きいかどうかを検査する。コンピュータユニット１８は画像単位を、係数ＰＦ−ｉｎｔｒａと乗算された平均自乗誤差の大きさに従って配列する。この係数ＰＦ−ｉｎｔｒａは、前景の画像単位に対しては１であり、背景の画像単位に対しては零である。
【００２８】
プログラム点３４では、図３のプログラムに従いフレーム間符号化すべきであり、かつ前景に属する画像単位が求められる。コンピュータユニット１８は画像単位を、係数ＰＦ−ｉｎｔｅｒと乗算されたこれらの平均自乗誤差に応じて配列する。係数ＰＦ−ｉｎｔｅｒは、前景の画像単位に対しては１であり、背景画像単位に対しては時間に依存して変化する。次いで、プログラム点３５においてコンピュータユニット１８は、すべての画像単位を、相応する係数ＰＦ−ｉｎｔｒａまたはＰＦ−ｉｎｔｅｒと乗算されたこれらの平均自乗誤差に応じて配列する。次に画像単位は、平均自乗誤差と係数ＰＦ−ｉｎｔｒａまたはＰＦ−ｉｎｔｅｒとの積が最大のものから順番に、画像の伝送に対する残留データレートのような時間が使用され終わるまで、図１に示されているように符号化されて伝送される。
【００２９】
背景の画像領域に対する係数ＰＦ−ｉｎｔｅｒは有利には時間に依存しているので、係数ＰＦ−ｉｎｔｅｒは時間の関数として段階的に低下される。
【００３０】
コンピュータユニット１８によってメモリ１９に供給される２進マスクは動画像単位の決定のためのものである。この２進マスクは最も簡単な場合、２進値によって形成することができる。このことは、変位ベクトルが零である画像単位に例えば値零が与えられ、変位ベクトルが零に等しくない画像単位Ｉに値１が与えられることを意味する。有利には画像単位には、所定の数値ＺＩを割り当てることができる。ＺＩは、画像単位Ｉに対して動きが検出されかつ当該画像単位が前景に属する場合、零にセットされる。その他の場合、ＺＩは、時間クロック当たり所定の量Ｂだけ高められる：ＺＩ（ｔ＋１）＝（ＺＩ（ｔ）＋Ｂ）、ただしｔは所定の時間クロックを表す。
【００３１】
画像単位Ｉの数値ＺIが一定の所定のしきい値Ｓを上回ると、画像単位Ｉは背景に割り当てられる。このことは、動き推定ユニット１が、画像単位Ｉに対して零に等しくない変位ベクトルを再び検出し、従ってＺIが零にセットされるまで続く。このしきい値操作によって、前景／背景移行は、長さ零の動きベクトルを有する画像単位に対して遅延される。しかし、零に等しくない動きベクトルに対しては前景／背景移行は直ちに行われる。所定の量Ｂの計算のために、例えば、次式に従った平均動きベクトル長が使用される：
【００３２】
【数２】
【００３３】
ただしｎ＝現在の画像における零ベクトルでないベクトルの数、
Ｘｉ，Ｙｉ＝Ｘ方向およびＹ方向におけるベクトルの長さ、
この場合量Ｂは、
Ｂ＝Ｌｍ＊Ｌｍ。
【００３４】
２進マスクはさらに、侵食および膨脹による公知の方法を用いて処理することができる。
【００３５】
平均自乗誤差は有利には、次式に従って計算される：
【００３６】
【数３】
【００３７】
ただしｎ＝ブロックにおけるピクセルの数、
ｉ＝ブロックのすべてのピクセルについての連続指標、
ｏｒｇｉ＝オリジナルブロックにおけるｉ番目のピクセル、
ｐｒｅｉ＝先行画像のブロックにおけるｉ番目のピクセル。
【図面の簡単な説明】
【図１】 画像ソース符号器の動作を説明するブロック図である。
【図２】 フレーム内符号化されかつ前景に属する画像領域の決定のためのプログラムシーケンスを示す図である。
【図３】 前景に属しかつフレーム間符号化すべき画像領域の決定のためのプログラムシーケンスを示す図である。
【図４】 画像ソース符号化のプログラムシーケンスを示す図である。
【図５】 画像ソース符号化のプログラムシーケンスを示す図である。
【符号の説明】
１ 動き推定ユニット、 ２ 離散余弦変換器、 ３ 適応形量子化器＋ストラクチャ符号器、 ６ 動き平滑化ユニット、 ７ 予測メモリ、 ９ 逆離散余弦変換器、 １０ 予測ベクトル符号器、 １１ 輪郭符号器、 １２，１３，１４，１５ エントロピー符号器、 １６ データマルチプレクサ、 ２０ 画像ソース符号器
【産業上の利用分野】
本発明は、画像のソース符号化方法に関する。
【０００２】
【従来の技術】
画像のソース符号化方法は既に、D.Biere "Transmission of moving and still images in highly disturbed narrow-band chanells using the radio videophoe"（Bosch Technical Reports, ５４版、１９９１年、第３５頁以降）から公知である。この方法において、画像は予測エラーパターンの符号化を用いてかつブロック向き動き推定を用いて伝送される。ブロック向き動き推定を使用して、ベクトル場が決定され、それは、モデルに基づいたアルゴリズムを使用して後処理される。決定された動きベクトルおよび動画像の相応の輪郭がまず符号化されて伝送される。
【０００３】
依然として残る残留データレートに応じて、まだ相異しているブロック内容がフレーム内符号化またはフレーム間符号化されて伝送される。フレーム内符号化される画像領域を決定するために、画像領域内の画像信号の分散が可変のしきい値と比較される。分散が可変のしきい値より小さければ、画像領域はフレーム内符号化されかつ伝送される。残りの画像領域に対して、３段階の適応量子化が行われ、かつさらなるブロックサブ分割の後に、ストラクチャ符号化されかつ伝送される。
【０００４】
【発明の利点】
本発明においてまず、複数の画像のそれぞれが予め定めた大きさを有している、フレームを分割した画像単位に分割される。請求項１の特徴を有する本発明の方法は、フレーム内符号化すべき画像単位またはフレーム間符号化すべき画像単位が前景および背景に分類される。まず第１に、離散余弦変換しきい値との比較に際してフレーム内符号化すべきであるとされしかも前景に属する画像単位を伝送し、次いで前記しきい値との比較に際してフレーム間符号化すべきであるとされたが前景に属することでフレーム内符号化されると判断された画像単位を伝送し、続いて、前記しきい値との比較に際してフレーム内符号化すべきであるとされたが背景に属することでフレーム間符号化されると判断された画像単位を伝送し、かつ最後に前記しきい値との比較に際してフレーム間符号化すべきであるとされしかも背景に属する画像単位を伝送する。すなわち、まず第１に、前景に属しかつ画像の観察者にとって、背景に属する画像領域より重要である画像領域が伝送される。したがって、観察者によって主観的に一層良好な品質の画像が知覚される。
【０００５】
その他の請求項に記載の構成の結果として、請求項１に特定された方法の有利な実施例および改良例が可能である。
【０００６】
前景として決定された画像単位を、動き推定が既に当該画像を背景として決定しているにも拘わらず、まだ前景として処理すると、画像品質は改良される。
前景に属する画像単位に所定の値を割り当てかつ当該画像単位が背景として決定されたとき、所定の時間間隔において所定の量だけ画像単位の値を高めかつ当該画像単位の値が所定のしきい値を上回ったときにだけ当該画像単位を背景として処理すると有利である。この場合、画像単位の処理は、数値の比較によって簡単な方法で可能である。
画像単位の所定の値を高める所定量が画像単位の平均動きベクトルに依存しているようにすれば、画像の品質の付加的な改良が実現される。この場合、符号化の際に、画像単位のダイナミック特性が考慮されかつ画像品質のさらなる改良が可能である。
【０００７】
さらに、動き推定において前景と認められた、背景の画像領域は直ちに前景として処理すると有利である。このようにして、動画像領域は一般に、改良された画像品質によって符号化される。
【０００８】
【実施例】
次に本発明を図示の実施例につき図面を用いて詳細に説明する。
【０００９】
図１は、画像ソース符号器２０の動作モードを説明するブロック線図である。この図において、データ線１７を介して入力信号が供給される動き推定ユニット１が示されている。入力信号は同時に、離散余弦変換器２および減算器４に供給される。離散余弦変換器２は、データ線１７を介して、第１のエントロピー符号器１２および逆離散余弦変換器９に接続されている。減算器４は、データ線１７を介して適応形量子化器およびストラクチャ符号器３に接続されている。
適応形量子化器およびストラクチャ符号器３は、データ線１７を介して、逆ストラクチャ符号器８および第２のエントロピー符号器１３に接続されている。逆ストラクチャ符号器８は、データ線１７を介して加算器５に接続されている。逆離散余弦変換器９の出力側は、予測メモリ７に接続されている。加算器５は同様に、データ線１７を介して予測メモリ７に接続されている。
【００１０】
動き推定ユニット１の１つの出力側は、データ線１７を介して、動き平滑化ユニット６に接続されている。動き平滑化ユニット６の出力側は、データ線１７を介して、予測メモリ７、予測ベクトル符号器１０および輪郭符号器１１に接続されている。予測ベクトル符号器１０の出力側は、データ線１７を介して、第３のエントロピー符号器１４に接続されている。輪郭符号器１１は、データ線１７を介して、第４のエントロピー符号器１５に接続されている。第１、第２、第３および第４のエントロピー符号器１２，１３，１４，１５は、データ線を介して、データマルチプレクサ１６に接続されている。予測メモリ７の出力側は、データ線１７を介して加算器５、減算器４および動き推定ユニット１に接続されている。データマルチプレクサ１６はデータチャネルに接続されている。
図１に示された装置は次のように動作する：動画像が動き推定ユニット１に供給される。動画像は画像単位に分割される。それぞれの画像単位に対して、動き推定ユニット１は、当該動画像と予測メモリ７にファイルされている予測画像との間の動きの推定を実施する。この場合、例えば、予測画像における４０×４０ピクセルの前以て決められたウィンドウ内の種々の位置において、画像領域の平均自乗誤差の基準値が最小化される。動き推定ユニット１は、結果として、画像単位当たりに１つの変位ベクトルを発生する。動き推定ユニット１は、真の物体運動の検出ではなくて、平均自乗誤差を最小とすることを判断基準として使用したので、動画像全体の拡散変位ベクトル場を発生する。動き推定ユニット１により求められたベクトル場は、動き平滑化ユニット６に供給される。空間的に隣接する画像単位の変位ベクトルの相関を使用して動き平滑化ユニット６は、一層一様な動きベクトル場を決定する。この場合、動きベクトルの一様性を検査しかつこれにより画像一様性を検査するために次の式１が使用される：
【００１１】
【数１】
ただしＣｉ＝ｑｉ＊｜ｖｋ−ｖｉ｜、
直接隣接個所（左、右、上および下）に対してはｑｉ＝１、
対角線上の隣接個所に対してはｑｉ＝１／√２、
｜ｖｋ−ｖｉ｜は、考察された動きベクトルｖｋと隣接する動きベクトルｖｉ間の長さの差を表しかつ次の式に従って計算される：
（ｖｋｘ−ｖｉｘ）２＋（ｖｋｙ−ｖｉｙ）２。
【００１３】
この場合、ｖｋｘおよびｖｉｘは、画像面にある特定のｘ方向における動きベクトルの成分を表し、ｖｋｙおよびｖｉｙは、画像面にありかつｘ方向に対して９０゜の角度を成しているｙ方向における動きベクトルの成分を表している。変数Ｍは、考慮した隣接動きベクトルの数を示す。変数ｑｉは、適用に依存して選択された重み定数である。式１を用いて、考察した動きベクトルｖｋと隣接する動きベクトルｖｉとの間の長さの差に比例する値Ｐ（Ｖ）が計算される。Ｐ（Ｖ）に依存して、動きベクトル場の平滑化が、ギブズの分布を使用して実施される。このために、例えば、Ｐ（Ｖ）は前以て決められた値と比較され、この値を上回っていれば、平滑化が実施される。上述の平滑化は公知のプロセスでありかつ例えば、Stiller 著、"Motion Estimation for Coding of Moving Video at 8 kbit/s with Gibbs Modeled Vectorfield smoothing"、Proc. SPIE Lausanne, １９９０年、第４６８ないし４７６頁に記載されている。
【００１４】
平滑化された動きベクトル場は、動き平滑化ユニット６から予測ベクトル符号器１０および輪郭符号器１１に供給される。予測ベクトル符号器１０は、隣接する画像単位を使用して動きベクトルの空間的な予測符号化を行う。その際、連続する画像単位から成る画像領域を求められ、この画像領域を予測画像と比較した変位が１つの動きベクトルによって表される。輪郭符号器１１は、これら画像領域の輪郭を求める。予測ベクトル符号器１０は、予測符号化された動きベクトルを第３のエントロピー符号器１４に送出する。第３のエントロピー符号器１４は、予測符号化された動きベクトルに対してエントロピー符号化を行い、引き続きこれらをデータマルチプレクサ１６に供給する。輪郭符号器１１は、求められた輪郭を、２進マスクの形で第４のエントロピー符号器１５に送出する。第４のエントロピー符号器１５は、２進マスクに対してエントロピー符号化を行い、引き続きこれをデータマルチプレクサ１６に送出する。予測メモリ７における画像は、求められた動きベクトル分だけ変位される。
【００１５】
上述の画像ソース符号器は、前向き制御の原理に従って動作し、すなわち画像の符号化の前に先行する画像の符号化に基づいて、どの画像領域を使用可能なデータレートに基づいて伝送することができるかが推定される。属性および動き情報に対するデータレートを平均データレートから減算した後、画像の予測誤差符号化に対する残留データレートが得られる。しきい値決定を用いて、それぞれの画像単位は、フレーム内符号化するか、フレーム間符号化するかまたは変化せずに繰り返すかの属性を受け取る。コンピュータユニットは、前以て決められたしきい値を上回っている平均自乗誤差を有する画像単位を求める。引き続いて離散余弦変換器２は、その分散が所定のしきい値を上回っている画像単位に対してフレーム内符号化を実施し、次いでこれらを第１のエントロピー符号器１２に送出する。第１のエントロピー符号器１２は、フレーム内符号化された画像単位に対してエントロピー符号化を行い、次いでこれらをデータマルチプレクサ１６に送出する。離散余弦変換器２は、フレーム内符号化された画像単位を逆離散余弦変換器９に送出する。逆離散余弦変換器９は、フレーム内符号化された画像単位に対して逆離散余弦変換を行い、次いでこれらを予測メモリ７に送出する。その平均自乗誤差が前以て決められたしきい値を下回っている画像単位はフレーム間符号化される。
【００１６】
フレーム間符号化される画像単位を求めるために、画像単位の画像信号が減算器４に供給される。さらに、既に動き補償された予測画像が、予測メモリ７から減算器４に供給される。供給された画像信号と予測画像との差が、適応形量子化器およびストラクチャ符号器３に送出される。差画像信号に対して、適応形量子化および次いでストラクチャ符号化が行われる。適応形量子化器およびストラクチャ符号器の後で、画像信号は第２のエントロピー符号器１３および逆ストラクチャ符号器８に供給される。第２のエントロピー符号器１３は、ストラクチャ符号化された画像信号に対してエントロピー符号化を行い、この信号を次いでデータマルチプレクサ１６に供給する。
【００１７】
逆ストラクチャ符号器８は、供給された画像信号に対して逆ストラクチャ符号化を行い、この信号を次いで加算器５に送出する。加算器５は、新しい予測画像を形成するために、予測画像と量子化された差画像信号とを加算する。
【００１８】
図２には、前景に属しかつフレーム内符号化される画像単位を求めるためのプログラムシーケンスが示されている。プログラム点２１において、すべての画像単位の平均自乗誤差が予測画像を基準にして求められ、それぞれの画像単位毎にメモリにファイルされる。次いで、プログラム点２２において、画像単位は、平均自乗誤差の大きさの関数として大きい順に分類される。これに基づいて、プログラム点２３において、プログラムループがすべての画像単位について実行される。
【００１９】
このプログラムループはプログラム点２４に、画像単位の平均自乗誤差が所定の離散余弦変換しきい値より大きいか否かについての質問を含んでいる。ノーであれば、プログラム点２６への分岐が行われ、この画像単位はフレーム間符号化すべき画像単位として２進マスクにマークされ、メモリにファイルされる。しかし、プログラム点２４における質問で平均自乗誤差が所定の離散余弦変換しきい値より大きいことが明らかになれば、図示されていないがこの画像単位はいったんフレーム内符号化すべき画像単位としてマークされる。それからプログラム点２５への分岐が行われる。
【００２０】
プログラム点２５では、この画像単位が前景に属するかどうかの質問が行われる。動き推定ユニット１によって求められた変位ベクトルが零に等しければ、この画像単位は背景に属する。この画像単位が背景に属するのであれば、プログラム点２７への分岐が行われ、この画像単位はフレーム間符号化すべき画像単位として２進マスクにマークされ、メモリにファイルされる。しかし、プログラム点２５での質問により、この画像単位が前景に属することが明らかになった場合、プログラム点２８への分岐が行われ、この画像単位はフレーム内符号化すべき画像単位として２進マスクにマークされ、メモリにファイルされる。
【００２１】
図２によるプログラムは、フレーム内符号化すべき画像単位を決定する。フレーム内符号化は、画像単位が前景に属しかつその平均自乗誤差が所定の離散余弦変換しきい値より大きい場合のみ行われる。
【００２２】
図３には、図２のプログラムによってフレーム間符号化すべき画像単位として決定された画像単位を引き続き処理するプログラムシーケンスが示されている。
【００２３】
プログラム点４１ですべての画像単位に対して実行されるプログラムループがスタートする。プログラム点４２では、当該画像ユニットが前景に属するか否かの質問が行われる。ノーであれば、プログラム点４４への分岐が行われ、この画像単位は最終的にフレーム間符号化すべき画像単位と見なされる。しかしプログラム点４２における質問により、当該画像単位が前景に属することが明らかになった場合、プログラム点４３への分岐が行われ、この画像単位は、フレーム内符号化されるべき画像単位としてマークされる。この質問は、すべての画像単位について実行される。図３によるプログラムは、図２のプログラムによりフレーム間符号化すべきと決定された画像単位を、これらが前景に属している場合、フレーム内符号化すべき画像単位として決定する。
【００２４】
図４には、データ線６１を介してコンピュータユニット１８に接続されている画像撮影ユニット５０が示されている。コンピュータユニット１８は、データ線６１を介してメモリ１９に接続されている。コンピュータユニット１８は、さらにデータ線６１を介して画像ソース符号器２０に接続されている。画像ソース符号器２０は、図１に示されているように構成されておりかつデータチャネルに接続されている。
【００２５】
次に、図５のプログラムシーケンスおよび図１ないし４を参照して、特別な実施例について説明する。図５のプログラム点３０で、画像はコンピュータユニット１８によって８×８ピクセルの大きさの画像単位に分割され、動き推定ユニット１に供給される。動き推定ユニット１は、それぞれの画像単位に対して、予測メモリ７から供給される予測画像と当該画像の比較によって動きを推定する。基準として、例えば、予測画像における４０×４０ピクセルの前以て決められたウィンドウ内の種々の位置において、画像の平均自乗誤差を最小とする。結果として、画像単位当たり１つの変位ベクトルが得られる。コンピュータユニット１８はメモリ１９に２進マスクをファイルする。この２進マスクには、零に等しくない動きベクトルを有する画像単位がマークされている。画像品質を改善するためにプログラム点３１では、動き推定ユニット１によって求められた変位ベクトルが、動き平滑化ユニット６によってギブズの分布（式１）を使用して平滑化され、図１に示されているように、予測動きベクトル符号化および輪郭符号化されて伝送される。
【００２６】
次いでプログラム点３２で、コンピュータユニット１８は、画像の伝送のために使用可能である残留データレートを求める。残留データレートは、画像当たりの全データレートから、動きベクトルおよびこれと関連した輪郭の伝送に対して使用されるデータレートを減じ、さらに属性に対して使用されるデータレートを減ずることにより得られる。この属性は、それぞれの画像単位に対する符号化の形式を示す。使用可能な残留データレートは、フレーム内符号化またはフレーム間符号化のために使用される。フレーム内符号化は、離散余弦変換を用いて実施される。フレーム間符号化、すなわち動き補償された予測画像と現在の画像の画像単位との差は、まず適応量子化されかつ次いでストラクチャ符号化される。
【００２７】
プログラム点３３では、図２のプログラムを使用して、フレーム内符号化すべきであり、かつ前景に属している画像の画像単位が求められる。このために、コンピュータユニット１８は、画像単位の平均自乗誤差が所定のしきい値より大きいかどうかについての比較を行い、メモリ１９にファイルされている２進マスクに基づいて、当該画像単位の動きベクトルが零より大きいかどうかを検査する。コンピュータユニット１８は画像単位を、係数ＰＦ−ｉｎｔｒａと乗算された平均自乗誤差の大きさに従って配列する。この係数ＰＦ−ｉｎｔｒａは、前景の画像単位に対しては１であり、背景の画像単位に対しては零である。
【００２８】
プログラム点３４では、図３のプログラムに従いフレーム間符号化すべきであり、かつ前景に属する画像単位が求められる。コンピュータユニット１８は画像単位を、係数ＰＦ−ｉｎｔｅｒと乗算されたこれらの平均自乗誤差に応じて配列する。係数ＰＦ−ｉｎｔｅｒは、前景の画像単位に対しては１であり、背景画像単位に対しては時間に依存して変化する。次いで、プログラム点３５においてコンピュータユニット１８は、すべての画像単位を、相応する係数ＰＦ−ｉｎｔｒａまたはＰＦ−ｉｎｔｅｒと乗算されたこれらの平均自乗誤差に応じて配列する。次に画像単位は、平均自乗誤差と係数ＰＦ−ｉｎｔｒａまたはＰＦ−ｉｎｔｅｒとの積が最大のものから順番に、画像の伝送に対する残留データレートのような時間が使用され終わるまで、図１に示されているように符号化されて伝送される。
【００２９】
背景の画像領域に対する係数ＰＦ−ｉｎｔｅｒは有利には時間に依存しているので、係数ＰＦ−ｉｎｔｅｒは時間の関数として段階的に低下される。
【００３０】
コンピュータユニット１８によってメモリ１９に供給される２進マスクは動画像単位の決定のためのものである。この２進マスクは最も簡単な場合、２進値によって形成することができる。このことは、変位ベクトルが零である画像単位に例えば値零が与えられ、変位ベクトルが零に等しくない画像単位Ｉに値１が与えられることを意味する。有利には画像単位には、所定の数値ＺＩを割り当てることができる。ＺＩは、画像単位Ｉに対して動きが検出されかつ当該画像単位が前景に属する場合、零にセットされる。その他の場合、ＺＩは、時間クロック当たり所定の量Ｂだけ高められる：ＺＩ（ｔ＋１）＝（ＺＩ（ｔ）＋Ｂ）、ただしｔは所定の時間クロックを表す。
【００３１】
画像単位Ｉの数値ＺIが一定の所定のしきい値Ｓを上回ると、画像単位Ｉは背景に割り当てられる。このことは、動き推定ユニット１が、画像単位Ｉに対して零に等しくない変位ベクトルを再び検出し、従ってＺIが零にセットされるまで続く。このしきい値操作によって、前景／背景移行は、長さ零の動きベクトルを有する画像単位に対して遅延される。しかし、零に等しくない動きベクトルに対しては前景／背景移行は直ちに行われる。所定の量Ｂの計算のために、例えば、次式に従った平均動きベクトル長が使用される：
【００３２】
【数２】
ただしｎ＝現在の画像における零ベクトルでないベクトルの数、
Ｘｉ，Ｙｉ＝Ｘ方向およびＹ方向におけるベクトルの長さ、
この場合量Ｂは、
Ｂ＝Ｌｍ＊Ｌｍ。
【００３４】
２進マスクはさらに、侵食および膨脹による公知の方法を用いて処理することができる。
【００３５】
平均自乗誤差は有利には、次式に従って計算される：
【００３６】
【数３】
ただしｎ＝ブロックにおけるピクセルの数、
ｉ＝ブロックのすべてのピクセルについての連続指標、
ｏｒｇｉ＝オリジナルブロックにおけるｉ番目のピクセル、
ｐｒｅｉ＝先行画像のブロックにおけるｉ番目のピクセル。
【図面の簡単な説明】
【図１】 画像ソース符号器の動作を説明するブロック図である。
【図２】 フレーム内符号化されかつ前景に属する画像領域の決定のためのプログラムシーケンスを示す図である。
【図３】 前景に属しかつフレーム間符号化すべき画像領域の決定のためのプログラムシーケンスを示す図である。
【図４】 画像ソース符号化のプログラムシーケンスを示す図である。
【図５】 画像ソース符号化のプログラムシーケンスを示す図である。
【符号の説明】
１ 動き推定ユニット、 ２ 離散余弦変換器、 ３ 適応形量子化器＋ストラクチャ符号器、 ６ 動き平滑化ユニット、 ７ 予測メモリ、 ９ 逆離散余弦変換器、 １０ 予測ベクトル符号器、 １１ 輪郭符号器、 １２，１３，１４，１５ エントロピー符号器、 １６ データマルチプレクサ、 ２０ 画像ソース符号器
Claims (5)
- 複数の画像をソース符号化するための方法であって、
複数の画像のそれぞれを予め定めた大きさを有している、フレームを分割した画像単位に分割し、
前記すべての画像単位の、予測画像に対する平均自乗誤差を求め、
画像単位を平均自乗誤差の大きさの関数として降べき順に整理し、
画像単位に対する平均自乗誤差が所定の離散余弦変換しきい値以上であれば、該画像単位をフレーム内符号化とマークし、
画像単位に対する平均自乗誤差が前記所定の離散余弦変換しきい値より小さければ、該画像単位をフレーム間符号化とマークし、
前記それぞれの画像単位を、動き推定決定の関数として前景の画像を表すものおよび背景の画像を表すものと分類し、ここで画像単位は、前記動きに従って、零とは異なっている変位ベクトルを有する画像単位は前景と定義されかつ零に等しい変位ベクトルを有する画像単位は背景と定義され、かつ
前記画像単位を符号化し、ここで
フレーム内符号化すべきである画像がフレーム間符号化すべきである画像に対して優先度を有しており、かつ前景を表していると分類された画像単位が背景を表していると分類された画像単位に対して優先度を有しており、前記しきい値との比較に際してフレーム内符号化すべきであるとマークされた画像について前景に属するものはフレーム内符号化されるようにし、背景に属するものは、フレーム間符号化されるようにし、かつ前記しきい値との比較に際してフレーム間符号化すべきであるとマークされた画像について前景に属するものはフレーム内符号化されるようにし、背景に属するものは、フレーム間符号化されるようにし、
まず第１に、前記しきい値との比較に際してフレーム内符号化すべきであるとされしかも前景に属する画像単位を伝送し、次いで前記しきい値との比較に際してフレーム間符号化すべきであるとされたが前景に属することでフレーム内符号化されると判断された画像単位を伝送し、続いて、前記しきい値との比較に際してフレーム内符号化すべきであるとされたが背景に属することでフレーム間符号化されると判断された画像単位を伝送し、かつ最後に前記しきい値との比較に際してフレーム間符号化すべきであるとされしかも背景に属する画像単位を伝送する
画像のソース符号化方法。 - 前景の画像単位を、動き推定が当該画像単位を既に背景として決定したにも拘わらずまだ所定の時間の間は前景として処理する
請求項１記載の画像のソース符号化方法。 - 前景として決定された画像単位に所定の値を割り当て、かつ該値をメモリにファイルし、かつ
当該画像単位が背景として決定された場合、当該画像単位の値を所定の時間間隔において所定の量だけ高め、かつ当該画像単位を、該画像単位の値が所定のしきい値を上回ったときにのみ、背景として処理する
請求項２記載の画像のソース符号化方法。 - 前記所定の量を、動き推定によって決定された画像単位の平均動きベクトルに依存して決定する
請求項３記載の画像のソース符号化方法。 - 背景の画像単位を、動き推定が当該画像単位を前景として決定したら直ちに前景として処理する
請求項１から４までのいずれか１項記載の画像のソース符号化方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE4405803A DE4405803C2 (de) | 1994-02-23 | 1994-02-23 | Verfahren zur Quellcodierung |
| DE4405803.9 | 1994-02-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07264595A JPH07264595A (ja) | 1995-10-13 |
| JP4298803B2 true JP4298803B2 (ja) | 2009-07-22 |
Family
ID=6510988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03382495A Expired - Fee Related JP4298803B2 (ja) | 1994-02-23 | 1995-02-22 | 画像のソース符号化方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5650822A (ja) |
| JP (1) | JP4298803B2 (ja) |
| DE (1) | DE4405803C2 (ja) |
| FR (1) | FR2716556B1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08256266A (ja) * | 1995-03-17 | 1996-10-01 | Mitsubishi Electric Corp | 画像符号化方式 |
| US6101282A (en) * | 1995-06-22 | 2000-08-08 | Canon Kabushiki Kaisha | Apparatus and method for image data encoding |
| KR100211055B1 (ko) * | 1996-10-28 | 1999-07-15 | 정선종 | 내용기반으로 분할된 영상객체들의 스케러블 전송방법 |
| US5883977A (en) * | 1996-12-30 | 1999-03-16 | Daewoo Electronics Co., Ltd. | Method and apparatus for encoding a video signal of a contour of an object |
| JPH10336682A (ja) | 1997-04-02 | 1998-12-18 | Canon Inc | 符号化装置及び方法及び方法を記憶した記憶媒体 |
| US6304295B1 (en) * | 1998-09-18 | 2001-10-16 | Sarnoff Corporation | Region-based refresh strategy for video compression |
| KR100353851B1 (ko) * | 2000-07-07 | 2002-09-28 | 한국전자통신연구원 | 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법 |
| KR100643454B1 (ko) * | 2001-11-17 | 2006-11-10 | 엘지전자 주식회사 | 영상 데이터 전송 제어방법 |
| GB0227570D0 (en) * | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for estimating global motion in video sequences |
| GB0227566D0 (en) | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for estimating global motion in video sequences |
| JP5906430B2 (ja) * | 2011-01-24 | 2016-04-20 | パナソニックＩｐマネジメント株式会社 | 動画伝送端末及び動画伝送システム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0123616B1 (en) * | 1983-04-20 | 1987-03-04 | Nippon Telegraph And Telephone Corporation | Interframe coding method and apparatus therefor |
| EP0330455A3 (en) * | 1988-02-22 | 1990-07-04 | Kabushiki Kaisha Toshiba | Image encoding apparatus |
| DE3820037A1 (de) * | 1988-06-13 | 1989-12-14 | Ant Nachrichtentech | Bildcodierverfahren und einrichtung |
| FR2675002B1 (fr) * | 1991-04-05 | 1993-06-18 | Thomson Csf | Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification. |
| JP3002019B2 (ja) * | 1991-07-04 | 2000-01-24 | 富士通株式会社 | セル廃棄補償機能を有する画像符号化伝送方式 |
| KR940011881B1 (ko) * | 1991-12-23 | 1994-12-27 | 주식회사 금성사 | 움직임 검출 및 추정장치 |
| US5347311A (en) * | 1993-05-28 | 1994-09-13 | Intel Corporation | Method and apparatus for unevenly encoding error images |
| US5440346A (en) * | 1993-06-16 | 1995-08-08 | Intel Corporation | Mode selection for method and system for encoding images |
-
1994
- 1994-02-23 DE DE4405803A patent/DE4405803C2/de not_active Expired - Fee Related
-
1995
- 1995-02-22 JP JP03382495A patent/JP4298803B2/ja not_active Expired - Fee Related
- 1995-02-23 FR FR9502120A patent/FR2716556B1/fr not_active Expired - Fee Related
- 1995-02-23 US US08/392,660 patent/US5650822A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE4405803A1 (de) | 1995-08-31 |
| JPH07264595A (ja) | 1995-10-13 |
| FR2716556A1 (fr) | 1995-08-25 |
| DE4405803C2 (de) | 1997-04-30 |
| US5650822A (en) | 1997-07-22 |
| FR2716556B1 (fr) | 1998-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3854933B2 (ja) | 固定演算量を有する動映像符号化方法及びその装置 | |
| KR100275694B1 (ko) | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 | |
| US8665960B2 (en) | Real-time video coding/decoding | |
| US5689306A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| US5598216A (en) | Method and apparatus for encoding/decoding a video signal | |
| KR100235345B1 (ko) | 분할영역에서의 움직임 추정방법 및 장치 | |
| JPH0955945A (ja) | 動きベクトル特定方法及び装置 | |
| JPH08307874A (ja) | 映像信号符号化装置 | |
| JPH08242458A (ja) | 動きベクトル検出方法 | |
| JP3659157B2 (ja) | 映像内容に重み付けをする画像圧縮方式 | |
| KR20080054400A (ko) | 모션 벡터 선택 | |
| JP4298803B2 (ja) | 画像のソース符号化方法 | |
| JP2009509403A (ja) | 統合時空間予測法 | |
| US5387938A (en) | Adaptive interframe/intraframe block coding method and apparatus | |
| EP0800677B1 (en) | Method and device for selectively compressing video codec | |
| KR20080054399A (ko) | 비디오 압축에서 적응형 모션 벡터 샘플링을 위한멀티-스테이지 링크된 프로세스 | |
| US6950465B1 (en) | Video coding by adaptively controlling the interval between successive predictive-coded frames according to magnitude of motion | |
| US6141449A (en) | Coding mode determination system | |
| JP3200518B2 (ja) | 画像信号符号化装置 | |
| JP5171658B2 (ja) | 画像符号化装置 | |
| EP1925095A2 (en) | Variable shape motion estimation in video sequence | |
| JP2574572B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JP2003061099A (ja) | 符号化装置における動き検出方法 | |
| JP2596352B2 (ja) | 小数精度動きベクトル探索装置 | |
| JPH11355781A (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050121 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050418 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050421 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060712 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20061011 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20061016 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080319 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080715 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090318 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090416 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |