JP3241653B2 - エネルギー補償/逆補償機能を改善するスケラブル符号化器およびその方法 - Google Patents

エネルギー補償/逆補償機能を改善するスケラブル符号化器およびその方法

Info

Publication number
JP3241653B2
JP3241653B2 JP36111897A JP36111897A JP3241653B2 JP 3241653 B2 JP3241653 B2 JP 3241653B2 JP 36111897 A JP36111897 A JP 36111897A JP 36111897 A JP36111897 A JP 36111897A JP 3241653 B2 JP3241653 B2 JP 3241653B2
Authority
JP
Japan
Prior art keywords
energy
block
video signal
compensation value
inverse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP36111897A
Other languages
English (en)
Other versions
JPH1155666A (ja
Inventor
鐘 男 金
泰 煥 申
泰 善 崔
一 尹
Original Assignee
三星電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電機株式会社 filed Critical 三星電機株式会社
Publication of JPH1155666A publication Critical patent/JPH1155666A/ja
Application granted granted Critical
Publication of JP3241653B2 publication Critical patent/JP3241653B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像圧縮機能を有す
る送信器から高解像図画面と低解像図画面をそれぞれ符
号化させるスケラブル符号化器(Scalable Encoder)およ
びその方法に関するものであって、特に、高解像図画面
からの低解像図画面の抽出をより正確に行うことによ
り、画面上において画質を低下させるドリフト効果を改
善しうるエネルギー補償/逆補償機能を改善するスケラ
ブル符号化器およびその方法に関するものである。
【0002】
【従来の技術】一般的に、映像のデータは他の音声や文
字データに比して、そのデータ量が極めて膨大なために
この映像データを圧縮無くそのまま貯蔵したり伝送する
となれば実施間処理が不可能となる。このように極めて
多い映像データを所定の方法で圧縮することによって、
貯蔵や伝送において、映像信号の実施間処理が可能とな
る。現在映像を圧縮するための国際標準としては停止映
像標準のJPEGがあり、同映像標準としてはMPEG1 および
MPEG2 等があり、更に、低速のビット率伝送のためのMP
EG4 が現在開発中である。
【0003】一般的に、映像データにおいては、データ
が実際に含んでいる情報量と実際このデータを表現する
ために用いた情報量が同じではないが、このデータに重
複性が存在するからである。上記重複性について考察す
るに、一番目に、空間的な重複性があるが、画素間値の
類似性に起因するものであって、例え任意の画素等を選
択すれば、選択した画素の値とその周囲の画素の値が互
いに似通った値等を有することを知ることができるが、
これを空間的な重複性と称し、この空間的な重複性を処
理するためには、離散コサイン変換を用いる。
【0004】次には、確率的重複性があるが、それはデ
ータを表現するシンボルの重複性に因るものであって、
データの分布が確率的に均等に分布せず一般的に頻繁に
生ずるシンボルが生じるようにできており、その重複性
を処理するためにはエントロピコーディングを使用し、
それは可変長さコーディングに分布されており、その可
変長さコーディングを通じて確率的重複性を処理する。
【0005】更に、時間重複性があるが、それは以前の
フレーム映像と現在のフレーム映像間の類似性に因るも
のであり、それを処理するためには移動ベクトル検出/
移動補償フレーム生成(Motion Estimation/Motion Comp
ensation) を用いて処理する。一方、情報通信事業の急
速な発展により、注文型ビデオ(VOD),遠隔講義、遠隔画
像会議、高鮮明TV,遠隔診療および遠隔ショッピング
等数多いサービス等がサービス中にあったり、準備中に
あり、そのような多様なサービスの提供を受けるために
は電送される圧縮の映像等をそれぞれ異なる別途の受像
器を利用して提供を受けるべきであれば、各サービス別
に受像器がそれぞれ必要になる筈である。そのような問
題点を解決するために各サービス信号などを一つの方式
に圧縮し、各受像器に合うようにコーディング可能に成
す方式をスケラブルコーディング(SCALABLE CODING) 方
式と称する。そのスケラブルコーディング方式によれ
ば、各使用者が一つの受像器だけを持って上記多数のサ
ービス等の提供を受けることができるようになる。
【0006】上記のスケラブルコーディング方式には大
別してサブバンドコーディング方式とピラミッドコーデ
ィング方式とがあるが、上記二つの方式の差は元来映像
において、小さい映像等に分割する方法にその差を置い
ている。図1は従来のスケラブル符号化器の全体構成図
である。図1を参照するに、入力されるフレーム別映像
信号について、従来のスケラブル符号化器は高解像図映
像と低解像図映像にそれぞれ符号化させ、上記高解像図
画面内の圧縮を行い、その次から画面間の圧縮を行う
が、以下一つのフレーム画面内の圧縮に係わる構成と画
面間の圧縮に係わる構成とに分けて説明する。
【0007】先ず、従来の符号化器において、画面内の
圧縮を行う構成は入力のフレーム別映像信号(Sin) を8
X8ブロックに分割する8X8ブロック分割器11と、
上記8X8ブロックに分割の映像信号について離散コサ
イン変換過程を行って平面領域を周波数領域に変換させ
る8X8ブロック離散コサイン変換器12と、上記周波
数領域に変換の映像信号(8X8ブロック画面)とエネ
ルギー逆補償器33の映像信号(4X4ブロックの画
面)との次信号(重複の映像が取除かれた映像信号)を
量子化させる8X8ブロック量子化器13と、上記量子
化の映像信号を符号化させたその符号化の信号(S1
4)をマルチプレクサー60へ出力する8X8ブロック
可変長さコーディング部14と、上記8X8ブロックコ
サイン変換器12から出力の8X8ブロックの映像信号
から所定の4X4ブロックの映像信号を抽出する4X4
ブロック抽出器21と、上記4X4ブロックへ抽出の映
像信号に加重値(W)の0.25(1/4)を乗じてエネル
ギー補償過程を行うエネルギー補償器22と、上記エネ
ルギー補償の映像信号を量子化させる4X4ブロック量
子化器23と、上記映像信号を符号化後この符号化の信
号(S24)を上記マルチプレクサー60へ出力する4
X4ブロック可変長さコーディング部24と、上記4X
4ブロック量子化器23からの映像信号を逆量子化させ
る4X4ブロック逆量子化器31と、上記逆量子化の4
X4ブロックの映像信号と“0(ZERO)”値を利用
して8X8ブロックの映像信号に補間させる8X8ブロ
ック補間器32と、上記補間の映像信号についてのエネ
ルギーを逆補償するエネルギー逆補償器33と、上記8
X8ブロック量子化器13からの映像信号を逆量子化さ
せる8X8ブロック逆量子化器41と、上記8X8ブロ
ック逆量子化器41の映像信号とエネルギー逆補償器3
3の映像信号との合信号(それは8X8ブロック離散コ
サイン変換器12の映像信号と近似信号である)につい
て逆離散コサイン変換過程を行う8X8ブロック逆離散
コサイン変換器42と、上記8X8ブロック逆離散コサ
イン変換器42の映像信号と移動補償フレーム生成器5
3の映像信号(“0(ZERO)”)を加算する加算器
43と、上記加算器43を通じたフレーム信号を次の画
面間圧縮のため貯蔵するフレームメモリ44から成され
る。
【0008】上記移動補償フレーム生成器53の映像信
号は画面間圧縮(Intraframe Coding) を行う場合だけに
係わる信号であるため、上記画面間の圧縮過程において
は“0(ZERO)”あり、下記画面間圧縮には値を有
する8X8ブロックの映像信号である。そして、従来の
符号化器において画面間圧縮の構成は上記の画面内の圧
縮を行う構成に追加される構成で、それは上記入力の映
像信号を16X16ブロックに分割する16X16ブロ
ック分割器51と、上記16X16ブロックに分割の映
像信号(現在のフレーム映像)とフレームメモリ44か
らの映像信号(以前のフレーム映像)から移動ベクトル
(Motion Vector:MV)を検出する移動ベクトル検出器52
と、上記移動ベクトル検出器52の移動ベクトル(M
V)と上記フレームメモリ44からのフレーム映像を利
用して新しいフレーム映像を生成させる移動補償フレー
ム生成器53からなる。
【0009】一方、上記8X8ブロック可変長さコーデ
ィング部14からの映像信号(S14)(8X8ブロッ
クの映像信号)と4X4ブロック可変長さコーディング
部24からの映像信号(S24)(4X4ブロックの映
像信号)および移動ベクトル検出器52からの移動ベク
トル(MV)を一定順序に選択出力するマルチプレクサ
ー60からなる。
【0010】図2は従来の高解像図復号化器の構成図で
あり、図3は従来の低解像図復号化器の構成図である。
図2,図3を参照して、一つの画面内において上記復号
化器から符号化の信号を復号化する復号化器の構成を説
明する。先ず、図2を参照するに、高解像図(8X8ブ
ロックの映像に係わる)復号化器についての入力する圧
縮の映像信号(Sin)を8X8ブロックと4X4ブロ
ックとの信号(S14,S24)および移動ベクトル
(MV)にそれぞれ分離して出力するデマルチプレクサ
ー111と、上記8X8ブロックの映像信号(S14)
を逆量子化させる8X8ブロック逆量子化器112と、
上記4X4ブロックの映像信号(S24)を逆量子化さ
せる4X4ブロック逆量子化器113と、上記4X4ブ
ロック逆量子化器113から逆量子化された4X4ブロ
ックの映像信号を8X8ブロックの映像信号に補間させ
る8X8ブロック補間器114と、上記8X8ブロック
逆量子化器112の映像信号と上記8X8ブロック補間
器114の映像信号との合信号を逆離散コサイン変換過
程を通じて周波数領域から平面領域に変換させる8X8
ブロック逆離散コサイン変換器115と、上記平面領域
に変換の映像信号と移動補償フレーム生成器118の映
像信号を加えて復号化器の映像信号(Sout)を出力する加
算器116と、上記加算器116を通じた信号を画面間
映像圧縮のデータ復元のため貯蔵するフレームメモリ1
17と、上記フレームメモリ117に貯蔵の映像信号を
上記デマルチプレクサー111からの移動ベクトルによ
り映像を補償し上記加算器116へ提供する移動補償フ
レーム生成器118からなる。
【0011】次に、図3を参照するに、低解像図復号化
器についての構成は入力される映像信号(Sin) を4X4
ブロックの映像信号(S24)と移動ベクトル(MV)
にそれぞれ分離して、出力するデマルチプレクサー12
1と、上記4X4ブロックの映像信号(S24)を逆量
子化させる4X4ブロック逆量子化器122と、上記4
X4ブロック逆量子化器122の映像信号について逆離
散コサイン変換過程を通じて周波数領域から平面領域へ
変換させる4X4ブロック逆離散コサイン変換器123
と、上記デマルチプレクサー121からの移動ベクトル
(MV)をスケーリングする移動ベクトルスケーリング
部124と、上記4X4ブロック逆離散コサイン変換器
123の映像移動補償フレーム生成器126の映像信号
を加えて復号化器の映像信号(Sout)を出力する加算器1
27と、上記加算器127を通じて映像信号を貯蔵する
フレームメモリ125と、上記移動ベクトルスケーリン
グ部124の出力信号により上記フレームメモリ125
からの映像信号を補償して上記加算器127に提供の移
動補償フレーム生成器126からなる。
【0012】上記スケラブル符号化器においては、ピラ
ミッド圧縮方式を採択しているが、上記8X8ブロック
の映像から上記8X8ブロックの映像内左側上端の4X
4ブロックを抽出する過程において、上記8X8ブロッ
クからのエネルギーが抽出した4X4ブロックに適合し
ないため、その4X4ブロックに抽出した映像について
エネルギー補償を行うべきである。
【0013】以上において、従来のスケラブル符号化器
についての構成を説明しており、更に、従来の復号化器
についての構成も参考的に説明したが、上記説明の従来
のスケラブル符号化器においては次のような問題点があ
る。従来のスケラブル符号化器においてエネルギー補償
を図4に示すように上記8X8ブロックの映像から出力
される画素のエネルギー値に加重値の0.25(1/4)を
乗じて行うが、その8X8ブロックの映像ついてのエネ
ルギー分布に係わる4X4ブロックの映像についての最
適のエネルギーを考慮せず常に一定の加重値(W)の0.
25を適用するのに映像内のエネルギー値は映像の大きさ
の比率のみに依存するものでないため、画面間の圧縮を
繰り返す過程において不正確なエネルギー補償に基づく
不適切に抽出の(Decimated) 映像が得られるようになっ
て画質が悪くなる問題点があった。
【0014】上記問題点により、画面間の圧縮が進むほ
ど誤謬などが累積し、そのことにより映像画質が波打つ
ように劣化を招き映像の画質を低下させるドリフト効果
を招く問題点があった。
【0015】
【発明が解決しようとする課題】本発明は上記の問題点
を解決するため案出したものであって、本発明の目的は
高解像図の画面から低解像図の画面を抽出および補間す
る過程においてエネルギー補償およびエネルギー逆補償
を高解像図画面のエネルギー分布に基づいて行うように
成すことによってより正確な画面抽出および補間を実現
することのできるエネルギー補償/逆補償機能を改善し
たスケラブル符号化器およびその方法を提供するにあ
る。
【0016】
【課題を解決するための手段】上記の本発明の目的を達
成するための技術的な手段としての、本発明の装置は、
高解像図のフレーム別映像において抽出の低解像図の映
像についてエネルギーを補償し上記解像図の映像を更に
高解像図の映像に補間する過程においてその補間の映像
信号においてエネルギーを逆補償するスケラブル符号化
器において、フレーム別に入力する映像信号が8X8ブ
ロックに分割され、この分割の映像信号について離散コ
サイン変換を行う8X8ブロック離散コサイン変換器
と;上記離散コサイン変換の映像信号と補間の映像信号
の次信号を量子化する8X8ブロック量子化器と;上記
離散コサイン変換の映像信号から4X4ブロックを抽出
する4X4ブロック抽出器と;上記抽出の映像信号を量
子化する4X4ブロック量子化器と、上記エネルギー補
償の映像信号を8X8ブロックで補間する8X8ブロッ
ク補間器と;上記8X8ブロック離散コサイン変換器か
らの映像信号についての全体エネルギー(TE)と上記
8X8ブロック内の左側上端の4X4ブロックの映像信
号についての部分エネルギー(PE)を計算し、上記部
分エネルギー(PE)についての全体エネルギー(T
E)の比(TE/PE)を計算し、エネルギー比(TE
/PE)の自乗根を計算し、上記エネルギー比の自乗根
の加重値(W)を乗じて最終エネルギー補償値(EC
V)を求め上記エネルギー補償値(ECV)を上記4X
4ブロック抽出器からの信号(DCT係数)に乗じてエ
ネルギーを補償するエネルギー補償器と;上記エネルギ
ー補償器からのエネルギー補償値(ECV)により上記
8X8ブロック補間器からの映像についてのエネルギー
逆補償を行うエネルギー逆補償器と;を具備することを
特徴とする。
【0017】
【発明の実施の形態】以下、本発明によるスケラブル符
号化器の望ましい実施例を添付の図面を参照しながら詳
細に説明する。図面中、実質的に同一な構成と機能を有
する構成要素には同一の符号を用いる。本発明によるス
ケラブル符号化器についての全体構成を簡略に説明すれ
ば、本発明のスケラブル符号化器は従来のスケラブル符
号化器の構成にドリフト効果を改善するためエネルギー
補償器とエネルギー逆補償器との機能を改善した。
【0018】図5は本発明によるスケラブル符号化器の
全体構成図である。図5を参照するに、本発明によるス
ケラブル符号化器の構成中、先ず、画面内の圧縮を行う
構成は入力されるフレーム別映像信号(Sin) を8X8ブ
ロックに分割する8X8ブロック分割器11と、上記8
X8ブロックに分割の映像信号について離散コサイン変
換過程を行う8X8ブロック離散コサイン変換器12
と、上記離散コサイン映像信号(8X8ブロックの画
面)と下記逆エネルギー補償器33’の映像信号4X4
ブロックの画面)との次信号(重複の映像信号が取除か
れた映像信号)を量子化される8X8ブロック量子化器
13と、上記量子化の映像信号を符号化した後、この符
号化された信号(S14)をマルチプレクサー60に出
力する8X8ブロック可変長さコーディング部14と、
上記8X8ブロック離散コサイン変換器12から出力さ
れる8X8ブロックの映像信号から8X8ブロックの左
側上端の4X4ブロックの映像信号を抽出する4X4ブ
ロック抽出器21を構成する。
【0019】それに付け加えて、上記8X8ブロック離
散コサイン変換器12の映像信号についてのエネルギー
に基づいてエネルギー補償値(ECV)を求め、このエ
ネルギー補償値(ECV)により上記4X4ブロック抽
出器21からの4X4ブロックの映像信号についてのエ
ネルギーを補償するエネルギー補償器22’と、上記エ
ネルギーが補償された映像信号を量子化させる4X4ブ
ロック量子化器23と、上記量子化された映像信号を符
号化した後、その符号化した信号(S24)を上記マル
チプレクサー60へ出力する4X4ブロック可変長さコ
ーディング部24と、上記4X4ブロック量子化器23
からの映像信号を逆量子化させる4X4ブロック逆量子
化器31と、上記逆量子化された4X4ブロックの映像
信号と“0(ZERO)”値を利用して8X8ブロック
の映像信号に補間させる8X8ブロック補間器32と、
上記エネルギー補償器22’におけるエネルギー補償値
(ECV)により上記8X8ブロック補間器32からの
映像信号についてエネルギー逆補償を行うエネルギー逆
補償器33’を構成する。
【0020】更に、上記8X8ブロック量子化器13か
らの映像信号を逆量子化させる8X8ブロック逆量子化
器41と、上記8X8ブロック逆量子化器41の映像信
号と上記エネルギー逆補償器33’の映像信号との合信
号(これは8X8ブロック離散コサイン変換器12の映
像信号と近似信号)について、逆離散コサイン変換過程
を行なう8X8ブロック逆離散コサイン変換器42と、
上記8X8ブロック逆離散コサイン変換器42の映像信
号と第1移動補償フレーム生成器53の信号(“0(Z
ERO)”)を加える第1加算器43と、上記第1加算
器43を通じるフレーム信号を次の画面間の圧縮のため
貯蔵する第1フレームメモリ44を更に構成する。
【0021】上記第1移動補償フレーム生成器53の映
像信号は画面間圧縮を行なう場合だけ係わる信号である
ため、上記画面内の圧縮過程においては“0(ZER
O)”となり、下記画面間の圧縮過程には所定の値を有
する8X8ブロックの映像信号である。そして、本発明
のスケラブル符号化器において、画面間の圧縮を行なう
構成は上記の画面内の圧縮を行なう構成は上記の画面内
の圧縮を行なう構成に追加される構成で、それは上記入
力の映像信号(Sin) を16X16ブロックに分割する映
像信号とフレームメモリからの映像信号から移動ベクト
ル(MV)を検出する移動ベクトル検出器52と、上記
移動ベクトル検出器52との移動ベクトル(MV)と上
記第1フレームメモリ44からのフレーム映像を利用し
て新しいフレーム映像を生成させる第1移動補償フレー
ム生成器53と、上記移動ベクトル検出器52からの移
動ベクトル(MV)を所定範囲内で複数個の加重値
(W)により複数個の移動ベクトル(MV’=MVX
W)にそれぞれスケーリングし、そのスケーリングした
移動ベクトル(MV’)により生成の複数個の4X4ブ
ロックの映像とサンプリングされた映像に基づく信号対
雑音比中最高の信号対雑音比を有するように成す最適加
重値を生成する最適加重値生成部70からなる。
【0022】一方、上記8X8ブロック可変長さコーデ
ィング部14からの高解像図映像信号(S14)(8X
8ブロックの映像信号)と、上記4X4ブロック可変長
さコーディング部24からの低解像図映像信号(S2
4)(4X4ブロックの映像信号)と、上記移動ベクト
ル検出器52からの移動ベクトル(MV)および上記最
適加重値生成部70からの最適加重値(W)を一定順序
に選択出力するマルチプレクサー60からなる。
【0023】図6は図5のエネルギー補償器22’につ
いての内部ブロック図である。図6を参照するに、従来
の符号化器の構成中エネルギー補償器22が符号22’
に参照のエネルギー逆補償器に変更されたが、本発明に
よるエネルギー補償器22’は上記8X8ブロック離散
コサイン変換器12からの映像信号(S12)について
の全体エネルギー(TE)と上記8X8ブロック内左側
上端の4X4ブロックの映像信号についての部分エネル
ギー(PE)を計算するエネルギー計算部22’aと、
上記エネルギー計算部22’aにおいて、求められた部
分エネルギー(PE)についての全体エネルギー(T
E)の比(TE/PE)を計算するエネルギー比計算部
22’bと、上記エネルギー比計算部22’bからエネ
ルギー比(TE/PE)に自乗根を取る自乗根計算部2
2’cと、上記エネルギー比の自乗根に加重値(W)を
乗じ最終エネルギー補償値(ECV)を求めた後、その
エネルギー補償値を上記エネルギー逆補償器33’へ提
供し、上記エネルギー補償値(ECV)を上記4X4ブ
ロック抽出器21からの信号(S21)(DCT係数)
に乗じてエネルギーを補償後、そのエネルギー映像信号
S22’を上記4X4ブロック量子化器23へ提供する
乗算器22’dから構成する。一方、上記(DCT)係
数は離散コサイン変換(DCT)が行われることにより
得られる信号である。
【0024】図8は図5のエネルギー逆補償器33’に
ついての内部ブロック図である。図8を参照するに、従
来の符号化器の構成中エネルギー逆補償器33は符号3
3’に参照されるエネルギー逆補償器に変更されたが、
本発明によるエネルギー逆補償器33’は上記エネルギ
ー補償器22’からのエネルギー補償値(ECV)を逆
数に取りエネルギー逆補償値(IECV=1/ECV)
を計算するエネルギー逆補償器計算部33’と、上記エ
ネルギー逆補償値(IECV)を上記8X8ブロック補
間器32からの信号(S32)(DCT変換)に乗じて
エネルギーの逆補償を行なった後、そのエネルギー逆補
償の映像信号を上記8X8ブロック量子化器13へ提供
する乗算部33’bとから構成する。
【0025】図10は図5の最適加重値生成部70につ
いての内部ブロック図である。図10を参照するに、本
発明による最適加重値生成部70は上記4X4ブロック
逆量子化器31からの映像信号(S31)についての逆
離散コサイン変換を行なう4X4ブロック逆離散コサイ
ン変換器74と、上記4X4ブロック逆離散コサイン変
換器74の映像信号と第3フレームメモリ79の映像信
号を加えて貯蔵する第2フレームメモリ76と、上記移
動ベクトル検出器52からの移動ベクトル(MV)を所
定範囲内の複数個の加重値(W)により複数個の移動ベ
クトル(MV’)にそれぞれスケーリングするベクトリ
ング部78と、上記ベクトリング部78と、上記ベクト
リング部78からスケーリングされた複数個の移動ベク
トル(MV’)のそれぞれにより上記第2フレームメモ
リ76の映像信号を補償し複数個の予測映像を生成させ
第3フレームメモリ79およびS/N比計算器72へ提
供する第2移動補償フレーム生成器77と、上記16X
16ブロック分割器51からの16X16ブロックの映
像信号(S51)を8X8ブロックの映像信号にサンプ
リングするサンプリング部71と、上記サンプリングさ
れた映像信号と上記生成の映像信号を利用してS/N比
を計算するS/N比計算器72と、上記計算のS/N比
中最も大きい値に該当する最適加重値を生成させるS/
N比比較器73と、上記第2移動補償フレーム生成器7
7からの映像信号を貯蔵し、上記S/N比比較器73か
らの最適加重値(W)に該当するフレーム映像を上記加
算器75へ提供する第3フレームメモリ79から構成す
る。
【0026】図7は図6のエネルギー補償器22’から
のエネルギー補償方法を示すフローチャートであり、図
9は図8のエネルギー逆補償器33’のエネルギー逆補
償方法を示すフローチャートであり、図11は図10の
最適加重値生成部70における最適加重値生成方法を示
すフローチャートである。図12は本発明によるエネル
ギー補償を説明するための概念図である。図12におい
ては、8X8ブロックの高解像図映像から4X4ブロッ
クの低解像図映像を抽出する過程において、上記8X8
ブロックからのエネルギーが抽出の4X4ブロックに適
合しないため、必ずエネルギーの補償が伴わなければな
らないが、本発明によるエネルギー補償についての概念
を説明するための図である。
【0027】図13は本発明によるエネルギー補償と従
来のエネルギー補償間の差を説明するためのグラフであ
って、図13においては本発明によるエネルギー補償と
従来のエネルギー補償との差異点を示す周波数ベクトラ
ムである。このように構成の本発明の符号化器による動
作を添付図面に基づいて以下説明する。
【0028】先ず、図5を参照するに、本発明のスケラ
ブル符号化器は入力の映像信号(Sin) フレーム単位で処
理するが、そのフレーム映像信号は8X8ブロック分割
器11において、フレームが8X8ブロックに分割の
後、8X8ブロック離散コサイン変換器12における離
散コサイン変換過程を通じて上記平面領域の映像信号が
周波数領域に変換され8X8ブロック量子化器13と4
X4ブロック抽出器21へそれぞれ提供され、上記8X
8ブロック量子化器13においては、上記提供を受けた
周波数領域の映像信号が量子化され、その量子化された
映像信号は8X8ブロック可変長さコーディング部14
において符号化され、その符号化された信号(S14)
はマルチプレクサー60へ出力する。
【0029】そして、上記4X4ブロック抽出器21は
高解像図フレーム映像から低解像図フレーム映像生成さ
せるため、上記8X8ブロック離散コサイン変換器12
から出力される8X8ブロック映像信号から4X4ブロ
ックの映像信号を抽出(decimation)する。上記8X8ブ
ロックから任意の4X4ブロックを抽出すれば足りる
が、本発明の実施例においては図12に示すように、上
記8X8ブロック内の左側上端部の4X4ブロックを抽
出した。
【0030】上記抽出の4X4ブロックの映像信号につ
いてエネルギー補償器22’において、エネルギー補償
を行うものの、それは8X8ブロックの高解像図の映像
から4X4ブロックの低解像図の映像を過程において、
上記8X8ブロックからのエネルギーが抽出の4X4ブ
ロックに適合しないため必ずエネルギーの補償が伴うべ
きであるが、そのようなエネルギー補償過程を本発明に
より行えば高解像図の映像から抽出の映像信号のエネル
ギーが低解像図の適合なエネルギーを有するようにエネ
ルギー補償が行われる。
【0031】図6を参照し、本発明によるエネルギー補
償器22’においてエネルギー補償過程を具体的に説明
する。上記エネルギー補償器22’のエネルギー比計算
部22’bにおいては上記8X8ブロック離散コサイン
変換器12からの映像信号についての全体エネルギー
(TE)と上記8X8ブロック内の左側上端の4X4ブ
ロックの映像信号についての部分エネルギー(PE)を
計算するのに、上記全体エネルギー(TE)は式1によ
り、上記部分エネルギー(PE)は式2によって求めら
れる。
【0032】
【数5】
【0033】ここにおいて、Ciは8X8ブロックと4
X4ブロックのフレーム映像を離散コサイン変換を行っ
た以後に生成されるDCT係数(CDVT)である。次
に、エネルギー比計算部22’bにおいては上記エネル
ギー計算部22’aにおいて、求められた部分エネルギ
ー(PE)についての全体エネルギー(TE)の比(T
E/PE)を計算して自乗根計算部22’cに提供する
に、上記自乗根計算部22’cにおいては上記エネルギ
ー比計算部22’bにおいて止められたエネルギー比
(TE/PE)に自乗根を取入れ乗算部22’dに提供
し、上記乗算部22’dにおいては上記エネルギー比の
自乗根に加重値(W),即ち、0.25を乗じて最終エネル
ギー補償値(ECV)を求めた後、そのエネルギー補償
値を上記エネルギー逆補償器33’に提供するが、その
最終エネルギー補償値(ECV)は下記式3の通りであ
る。そして、上記乗算部22’dは上記エネルギー補償
値(ECV)を上記4X4ブロック抽出器21からの信
号(DCT係数)に乗じてエネルギーを補償後そのエネ
ルギー補償の映像信号を上記4X4ブロック量子化器2
3を提供する。
【0034】
【数6】
【0035】上記図6を参照しての説明は上記エネルギ
ー補償器22’をハードウェアから構成する場合につい
ての説明であり、反面、上記エネルギー補償器22’を
ソフトウェアからでも構成可能であり、ソフトウェアか
ら構成のエネルギー補償器22’についての説明は図7
に示す221段階から227段階までに該当し、その説
明は上記ハードウェアから構成のエネルギー補償器2
2’についての説明と同一である。
【0036】一方、上記本発明によるエネルギー補償器
22’において行われる8X8ブロックの画面につい
て、エネルギーを考慮したエネルギー補償は周波数領域
における交流(AC)成分についてだけ行われるもので
あり、反面、直流(DC)成分は4X4ブロックの画面
についての平均輝度を表わすものであって、その平均輝
度は8X8ブロックから4X4ブロックへの抽出以後に
も変化しないようになるが、上記直流成分についてのエ
ネルギー補償は何等のスケーリング処理なしに4X4ブ
ロックのDCT係数に加重値の0.25倍することにより行
われる。
【0037】上記過程の説明は一番目に入力されるフレ
ーム映像について、高解像図の映像を符号化する過程
と、上記高解像図の映像からの低解像図の映像を抽出
後、それを符号化する過程との説明であった。次に画面
内の圧縮過程と画面間の圧縮過程について説明する。先
ず、画面内の圧縮過程を説明するに、上記4X4ブロッ
ク量子化器23の映像信号を4X4ブロック逆量子化器
31において、逆量子化させた後、8X8ブロック補間
器32において、上記4X4ブロックを含みながら上記
4X4ブロックを取除いた残りのブロックに“0(ZE
RO)”値を補間して8X8ブロックの映像信号を生成
させる。このように生成の8X8ブロックの映像信号に
ついてのエネルギーは上記エネルギー補償器22’にお
いて低解像図に適合するように補償されたために、それ
を更に高解像図の映像(8X8ブロックの映像)に適合
するようにエネルギー逆補償器33’から逆補償する。
上記エネルギー補償器22’におけるエネルギー逆補償
過程を以下説明する。
【0038】図8を参照するに、上記エネルギー逆補償
器33’のエネルギー逆補償値計算部33’aにおいて
は、上記エネルギー補償器22’からのエネルギー補償
値(ECV)を逆数に取りエネルギー逆補償値(IEC
V=1/ECV)を計算して乗算部33’bに提供す
る。上記乗算部33’bにおいては上記エネルギー補償
値(IECV)を上記8X8ブロック補間器32からの
信号(DCT変換)に乗じてエネルギーの逆補償を行っ
た後、そのエネルギー逆補償の映像信号を上記8X8ブ
ロック量子化器13および8X8ブロック逆離散コサイ
ン変換器42にそれぞれ提供する。
【0039】上記図8を参照しての説明は、上記エネル
ギー逆補償器33’をハードウェアに構成する場合につ
いての説明であり、反面に上記エネルギー逆補償器3
3’をソフトウェアにも構成可能であり、ソフトウェア
に構成したエネルギー逆補償器33’についての説明は
図9の331段階から334段階までに該当し、その説
明は上記ハードウェアに構成のエネルギー逆補償器3
3’についての説明と同一である。
【0040】そして、上記8X8ブロック量子化器13
は二番目に入力の映像信号において、上記エネルギー逆
補償器33’からの映像信号を減算した次信号を量子化
させて出力するが、そのとき、上記二番目に入力のフレ
ーム映像信号において、上記エネルギー逆補償器33’
からの映像信号を引けば、8X8ブロックからなるフレ
ームにおいて、上記4X4ブロック抽出器において抽出
した4X4ブロックに該当する重複の映像信号が取除か
れ、画面内の映像圧縮が行われる。
【0041】一方、画面間の映像圧縮過程を説明する以
前に準備過程を説明する。上記8X8ブロック量子化器
13において量子化の8X8ブロックの映像信号(4X
4ブロックの信号値が取除かれた映像信号)を逆量子化
させ上記8X8ブロック逆離散コサイン変換器42に出
力する。上記8X8ブロック逆離散コサイン変換器42
は上記8X8ブロック量子化器13からの8X8ブロッ
クの映像信号と上記エネルギー逆補償器33’からの8
X8ブロックの映像信号(4X4ブロックだけに信号値
が存在する映像信号)を加えた後それを逆離散コサイン
変換過程を行なう。周波数領域において、平面領域に変
換された8X8ブロックの映像信号は加算器43を通
り、フレームメモリ44に画面間の圧縮のための準備過
程が完了する。
【0042】次に、画面間映像圧縮過程を説明する。本
発明のスケラブル符号化器に入力される映像信号は16
X16ブロック分割器51において、16X16ブロッ
クに分割された後移動ベクトル検出器52と最適加重値
生成部70にそれぞれ提供される。上記移動ベクトル検
出器52は上記16X16ブロックに分割の映像信号と
第1フレームメモリ44からの映像信号から移動ベクト
ル(MV)を検出後その移動ベクトル(MV)を第1移
動補償フレーム生成器53とマルチプレクサー60およ
び上記最適加重値生成部70に提供し、上記第1移動補
償フレーム生成器53は上記移動ベクトルを利用して上
記第1フレームメモリ44の映像信号を補償し新しいフ
レーム映像信号を上記8X8ブロック離散コサイン変換
器12および第1加算器43へ提供し、上記8X8ブロ
ック離散コサイン変換器12においては、上記8X8ブ
ロック分割器11からの映像信号から上記の新しいフレ
ームの映像信号を引いて、映像信号から輪郭に該当する
信号成分だけ残るようになる次信号を離散コサイン変換
過程を通じて周波数領域に変換させて出力する。以後の
過程は上記高解像図の映像を符号化させる動作過程と同
一であるためその説明を省略する。
【0043】上記では、映像信号中高解像図に該当する
映像信号の符号化過程、低解像図に該当する映像信号の
符号化過程、画面内の圧縮過程および画面間の圧縮過程
について順次に説明した。以下に移動ベクトルをスケー
リングして最適の移動ベクトル(MV)のための最適の
加重値を生成させる最適加重値生成部70についての具
体的な動作を説明する。
【0044】図10を参照するに、上記最適加重値生成
部70の4X4ブロック逆離散コサイン変換器74にお
いては上記4X4ブロック逆量子化器31からの4X4
ブロックの映像信号を逆離散コサイン変換過程を通じて
平面領域に変換させて第2加算器75を通じて第2フレ
ームメモリ76に出力することにより、上記映像信号が
上記第2フレームメモリ76に貯蔵される。
【0045】一方、上記最適加重値生成部70のベクト
リング部78においては、上記移動ベクトル検出器52
からの移動ベクトル(MV)を所定範囲内の複数個の加
重値によりスケーリングするが、例を挙げれば、加重値
の範囲を“0.1 ”から“0.8”までに設定し、その加重
値間の間隔を0.1 に設定すれば、複数個の加重値(W)
は0.1 ,0.2 ,0.3 ,0.4 ,0.5 ,0.6 ,0.7 ,0.8 ,
となり、上記複数個の加重値により移動ベクトルをスケ
ーリングすればスケーリングされた移動ベクトル(M
V’)は0.1 XMV,0.2 XMV,0.3 XMV……0.8
XMVとなり、それは第2移動補償フレーム生成器77
へ提供される。
【0046】本発明の実施例においては、説明と理解と
を容易にするため、加重値の範囲を“0.3 ”から“0.6
”までに設定し、その加重値間の間隔を0.1 に設定す
ることによる複数個の移動ベクトル(MV’)を0.3 X
MV,0.4 XMV,0.5 XMV,0.6 XMVにスケーリ
ングした後、そのスケーリングの移動ベクトル(M
V’)を第2移動補償フレーム生成器77へ提供してい
る。
【0047】このとき、上記第2移動補償フレーム生成
器77においては、上記ベクトリング部78から提供さ
れるスケーリングされた移動ベクトル(MV’=0.3 X
MV,0.4 XMV,0.5 XMV,0.6 XMV)を上記第
2フレームメモリ76に貯蔵の映像信号にそれぞれ適用
して複数個の新しいフレーム映像を予測して生成させた
後第3フレームメモリ79にそれぞれ貯蔵させる。
【0048】上記予測のフレーム映像は復号器における
復号化過程において獲得される映像を予め生成させた
後、その予測以前の映像とサンプリングされた現在の映
像に基づく信号対雑音比中最高の信号対雑音比を有する
ように成す最適加重値を生成させその最適加重値を復号
器に提供し復号器が最適の映像復号化過程を行うのに適
用可能に成すためである。
【0049】そして、上記最適加重値生成部70のサン
プリング部71においては上記16X16ブロック分割
器51からの16X16ブロックの映像信号から8X8
ブロックへサンプリングしS/N比計算器72に提供さ
れるが、上記S/N比計算器72においては、上記サン
プリング部71からの8X8ブロックの映像信号と上記
第2移動補償フレーム生成器77からの映像信号による
S/N比をそれぞれ計算しその結果をS/N比比較器7
3に提供すれば、上記S/N比比較器73においては、
上記提供を受けたS/N比値等を相互比較して最も大き
い値に該当する最適加重値を上記マルチプレクサー60
と第3フレームメモリ79から出力し、上記第3フレー
ムメモリ79は上記S/N比比較器73からの最適加重
値に該当するフレーム映像信号を上記加算器75から出
力すれば、上記加算器75においては、上記第3フレー
ムメモリ79からの映像信号と上記4X4ブロック逆離
散コサイン変換器74を通じた映像信号を加えて上記第
2フレームメモリ76に提供する。
【0050】上記図10を参照しての説明は上記最適加
重値生成部70をハードウェアの場合についてであり、
或いは、上記最適加重値生成部70をソフトウェアにも
構成することも可能であり、ソフトウェアに構成の最適
加重値生成部70についての説明は図11に示す710
段階から740段階までに該当し、その説明は上記ハー
ドウェアに構成の最適加重値生成部70についての説明
と同一である。
【0051】最終的に、上記マルチプレクサー60にお
いては、上記8X8ブロック可変長さコーディング部1
4からの符号化信号(S14)と、上記4X4ブロック
可変長さコーディング部24からの符号化信号(S2
4)と、上記移動ベクトル検出部52からの移動ベクト
ル(MV)および上記最適加重値生成部70からの最適
加重値(W)を一定順に順次出力する。
【0052】上記のように、本発明によりスケラブル符
号化器においては、高解像図映像において低解像図映像
を抽出する過程におけるエネルギー補償を、従来は加重
値(W)の0.25をDCT係数に乗じてエネルギーを単純
補償する方法であるに対して、本発明においては高解像
図の全体エネルギー(TE)と抽出すべき該当ブロック
の部分エネルギー(PE)との比率を考慮し低解像図の
映像に最適のエネルギーとなるようにエネルギーを補償
するのであり、更に移動ベクトルのスケーリング過程に
おいても、従来には0.5 と言う固定の値で移動ベクトル
をスケーリングしたが、本発明においては復号化すべき
映像が最高のS/N比を有するように成す最適加重値を
生成させた後その最適加重値を移動ベクトルスケーリン
グに適用させることにより、本発明によるエネルギー補
償技術と移動ベクトルのスケーリング技術によって画質
を劣らせる原因中ドリフト効果を改善させ復号化過程に
おける良好な映像復元が可能となる。
【0053】上記スケラブル符号化器に係わる復号化器
について簡潔に説明するに、先ず、高解像図復号化動作
は図2を参照した上記説明の動作と同一であり、低解像
図復号化動作も図3を参照した上記説明の動作と殆ど同
一であり、只、移動ベクトルスケーリングのためにも従
来に適用する固定加重値である0.5 の代わりに、本発明
においては最適の画質を補償する最適加重値を適用する
ように成すことが従来と異なる。
【0054】
【発明の効果】上述のような本発明によれば、高解像図
の画面から低解像図の画面を抽出する機能を改善したエ
ネルギー補償の技術により正確に行うように成すことに
より、画面上からドリフト効果を取り除くことが良好な
映像復元を可能にする特別な効果がある。
【図面の簡単な説明】
【図1】従来のスケラブル符号化器の全体構成図であ
る。
【図2】従来の高解像図復号化器の構成図である。
【図3】従来の低解像図復号化器の構成図である。
【図4】従来のエネルギー補償を説明するための概念図
である。
【図5】本発明によるスケラブル符号化器の全体構成図
である。
【図6】図5のエネルギー補償器22’についての内部
ブロック図である。
【図7】図6のエネルギー補償器22’からのエネルギ
ー補償方法を示すフローチャートである。
【図8】図5のエネルギー逆補償器33’についての内
部ブロック図である。
【図9】図8のエネルギー逆補償器33’からのエネル
ギー補償方法を示すフローチャートである。
【図10】図5の最適の加重値生成部70についての内
部ブロック図である。
【図11】図10の最適の加重値生成部70からの最適
加重値生成方法を示すフローチャートである。
【図12】本発明によるエネルギー補償を説明するため
の概念図である。
【図13】本発明によるエネルギー補償と従来のエネル
ギー補償間の量を説明するためのグラフである。
【符号の説明】
11 8X8ブロック分割器 12 8X8ブロック離散コサイン変換器 13 8X8ブロック量子化器 14 4X4ブロック可変長さコーディング部 21 4X4ブロック抽出器 22,22’ エネルギー補償器 23 4X4ブロック量子化器 24 4X4ブロック可変長さコーディング部 31 4X4ブロック逆量子化器 32 8X8ブロック補間器 33,33’ エネルギー逆補償器 41 8X8ブロック逆量子化器 42 8X8ブロック逆離散コサイン変換器 43 第1加算器 44 第1フレームメモリ 51 16X16ブロック分割器 52 移動ベクトル検出器 53 第1移動補償フレーム生成器 60 マルチプレクサー 70 最適加重値生成部 71 サンプリング部 72 S/N比計算器 73 S/N比比較器 74 4X4ブロック逆離散コサイン変換器 75 第2加算器 76 第2フレームメモリ 77 第2移動補償フレーム生成器 78 ベクトリング部 79 第3フレームメモリ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 尹 一 大韓民国京畿道軍浦市山本洞木蓮アパー トメント1207−101 (56)参考文献 特開 平7−222151(JP,A) 特開 平6−98308(JP,A) 特開 昭62−105577(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04N 1/41 - 1/419 JICSTファイル(JOIS)

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 高解像図のフレーム別映像から抽出され
    る低解像図の映像についてエネルギーを補償し、上記低
    解像図の映像を更に高解像図の映像に補間する過程にお
    いてその補間の映像信号についてエネルギーを逆補償す
    るスケラブル符号化器であって、 フレーム別に入力される映像信号が8X8ブロックに分
    割され、その分割された映像信号について離散コサイン
    変換を行う8X8ブロック離散コサイン変換器(12)
    と; 上記離散コサイン変換の映像信号と補間の映像信号の次
    信号の量子化する8X8ブロック量子化器(13)と; 上記離散コサイン変換の映像信号から4X4ブロックを
    抽出する4X4ブロック抽出器(21)と; 上記抽出の映像信号を量子化する4X4ブロック量子化
    器(23)と上記エネルギー補償の映像信号を8X8ブ
    ロックに補間する8X8ブロック補間器(32)と;上記8X8ブロック離散コサイン変換器(12)からの
    映像信号についての全体エネルギー(TE)と上記8X
    8ブロック内の左側上端の4X4ブロックの映像信号に
    ついての部分エネルギー(PE)を計算し、上記部分エ
    ネルギー(PE)についての全体エネルギー(TE)の
    比(TE/PE)を計算し、エネルギー比(TE/P
    E)の自乗根を計算し、上記エネルギー比の自乗根の加
    重値(W)を乗じて最終エネルギー補償値(ECV)を
    求め上記エネルギー補償値(ECV)を上記4X4ブロ
    ック抽出器(21)からの信号(DCT係数)に乗じて
    エネルギーを補償する エネルギー補償器(22’)と; 上記エネルギー補償器(22’)からのエネルギー補償
    値(ECV)により上記8X8ブロック補間器(32)
    からの映像についてエネルギー逆補償を行うエネルギー
    逆補償器(33’)と;を具備することを特徴とするス
    ケラブル符号化器。
  2. 【請求項2】 上記エネルギー補償器(22’)は、 上記8X8ブロック離散コサイン変換器(12)からの
    映像信号についての全体エネルギー(TE)と上記8X
    8ブロック内の左側上端の4X4ブロックの映像信号に
    ついての部分エネルギー(PE)を計算するエネルギー
    計算部(22’a)と; 上記エネルギー計算部(22’a)において求められた
    部分エネルギー(PE)についての全体エネルギー(T
    E)の比(TE/PE)を計算するエネルギー比計算部
    (22’b)と; 上記エネルギー比計算部(22’b)おいて求められた
    エネルギー比(TE/PE)の自乗根を計算する自乗根
    計算部(22’c)と; 上記エネルギーの自乗根の加重値(W)を乗じて最終
    エネルギー補償値(ECV)を求めた後そのエネルギー
    補償値を上記エネルギー逆補償器(33’)に提供し、
    上記エネルギー補償値(ECV)を上記4X4ブロック
    抽出器(21)からの信号(DCT係数)に乗じてエネ
    ルギーを補償後そのエネルギー補償の映像信号を上記4
    X4ブロック量子化器(23)へ提供する乗算部(2
    2’d)と;を具備することを特徴とする請求項1記載
    のスケラブル符号化器。
  3. 【請求項3】 上記エネルギー逆補償器(33’)は、 上記エネルギー補償器(22’)からのエネルギー補償
    値(ECV)を逆数に取りエネルギー逆補償値(IEC
    V=1/ECV)を計算するエネルギー逆補償値計算部
    (33’a)と; 上記エネルギー逆補償値(IECV)を上記8X8ブロ
    ック補間器(32)からの信号(DCT係数)に乗じて
    エネルギーの逆補償を行った後、そのエネルギー逆補償
    の映像信号を上記8X8ブロック量子化器(13)へ提
    供する乗算部(33’b)と; を具備することを特徴とする請求項1記載のスケラブル
    符号化器。
  4. 【請求項4】 上記エネルギー計算部(22’a)は、 全体エネルギー(TE)を、8X8ブロックと4X4ブ
    ロックのフレーム映像を離散コサイン変換を行った以後
    に生成されるDCT係数であるCiを用いて 【数1】 式により求め、部分エネルギー(PE)は 【数2】 式により求めることを特徴とする請求項2記載のスケラ
    ブル符号化器。
  5. 【請求項5】 フレーム別に入力される映像信号が8X
    8ブロックに分割され、その分割の映像信号について、
    離散コサイン変換を行う8X8ブロック離散コサイン変
    換器(12)と、上記離散コサイン変換の映像信号と補
    間の映像信号の次信号を量子化する8X8ブロック量子
    化器(13)と上記離散コサイン変換の映像信号から4
    X4ブロックを抽出する4X4ブロック抽出器(21)
    と上記抽出の映像信号を量子化する4X4ブロック量子
    化器(23)と、上記エネルギー補償の映像信号を8X
    8ブロックに補間する8X8ブロック補間器(32)を
    利用して、上記抽出の4X4ブロックの映像信号につい
    てエネルギーを補償し、上記補間の映像信号についてエ
    ネルギーを逆補償するスケラブル符号化する方法であっ
    て、上記8X8ブロック離散コサイン変換器(12)からの
    映像信号についての全体エネルギー(TE)と上記8X
    8ブロック内の左側上端の4X4ブロックの映像信号に
    ついての部分エネルギー(PE)を計算し、上記部分エ
    ネルギー(PE)についての全体エネルギー(TE)の
    比(TE/PE)を計算し、エネルギー比(TE/P
    E)の自乗根を計算し、上記エネルギー比の自乗根の加
    重値(W)を乗じて最終エネルギー補償値(ECV)を
    求め上記エネルギー補償値(ECV)を上記4X4ブロ
    ック抽出器(21)からの信号(DCT係数)に乗じて
    エネ ルギーを補償する エネルギー補償段階と; 上記エネルギー補償器(22’)からのエネルギー補償
    値(ECV)により上記8X8ブロック補間器(32)
    からの映像信号についてエネルギー逆補償を行うエネル
    ギー逆補償段階と; からなることを特徴とするスケラブル符号化方法。
  6. 【請求項6】 上記エネルギー補償段階は、上記8X8
    ブロック離散コサイン変換器(12)からの映像信号が
    入力されればその映像信号から8X8ブロックに該当す
    る全体エネルギー(TE)を計算し、上記8X8ブロッ
    クの左側の上端の4X4ブロックに該当する部分エネル
    ギー(PE)を計算するエネルギー計算段階(221〜
    223)と; 上記エネルギー計算段階(222〜223)からの部分
    エネルギー(PE)についての全体エネルギー(TE)
    の比(TE/PE)を計算するエネルギー比計算段階
    (224)と; 上記エネルギー比計算段階(224)からのエネルギー
    比(TE/PE)に自乗根を取る自乗根計算段階(22
    5)と; 上記自乗根に加重値(W)を乗じてエネルギー補償値
    (ECV)を求めた後、そのエネルギー補償値を上記エ
    ネルギー逆補償器(33’)へ提供し、上記エネルギー
    補償値を上記4X4ブロック抽出器(21)からの信号
    (DCT変換)に乗じてエネルギーを補償後そのエネル
    ギー補償の後、そのエネルギー補償の映像信号を上記4
    X4ブロック量子化器(23)へ提供する乗算段階(2
    26,227)と; を具備することを特徴とする請求項5記載のスケラブル
    符号化方法。
  7. 【請求項7】 上記エネルギー逆補償段階は、上記エネ
    ルギー補償器(22’)からエネルギー補償値(EC
    V)が入力すれば、そのエネルギー補償値(ECV)を
    逆数に取りエネルギー逆補償値(IECV=1/EC
    V)を計算するエネルギー逆補償値計算段階(331,
    332)と; 上記8X8ブロック補間器(32)から映像信号が入力
    すれば上記エネルギー逆補償値(IECV)を8X8ブ
    ロック補間器(32)からの信号(DCT変換)に乗じ
    てエネルギーの逆補償を行うを乗算段階(333,33
    4)と; を具備することを特徴とする請求項5記載のスケラブル
    符号化方法。
  8. 【請求項8】 上記エネルギー計算段階(221〜22
    3)は全体エネルギー(TE)を、8X8ブロックと4
    X4ブロックのフレーム映像を離散コサイン変換を行っ
    た以後に生成されるDCT係数であるCiを用いて 【数3】 式により求め、部分エネルギー(PE)は 【数4】 式により求めることを特徴とする請求項6記載のスケラ
    ブル符号化方法。
JP36111897A 1997-07-11 1997-12-26 エネルギー補償/逆補償機能を改善するスケラブル符号化器およびその方法 Expired - Fee Related JP3241653B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019970032254A KR100240770B1 (ko) 1997-07-11 1997-07-11 에너지보상/역보상기능을개선한스케러블부호화기및그방법
KR32254/1997 1997-07-11

Publications (2)

Publication Number Publication Date
JPH1155666A JPH1155666A (ja) 1999-02-26
JP3241653B2 true JP3241653B2 (ja) 2001-12-25

Family

ID=19514179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36111897A Expired - Fee Related JP3241653B2 (ja) 1997-07-11 1997-12-26 エネルギー補償/逆補償機能を改善するスケラブル符号化器およびその方法

Country Status (5)

Country Link
US (1) US6072834A (ja)
JP (1) JP3241653B2 (ja)
KR (2) KR100240770B1 (ja)
DE (1) DE19758252A1 (ja)
GB (1) GB2327311A (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6510178B1 (en) * 1999-12-15 2003-01-21 Zenith Electronics Corporation Compensating for drift in the down conversion of high definition sequences to lower resolution sequences
US7088780B2 (en) * 2001-05-11 2006-08-08 Mitsubishi Electric Research Labs, Inc. Video transcoder with drift compensation
JP2003006643A (ja) * 2001-06-25 2003-01-10 Canon Inc 画像処理装置及びその方法、プログラム
US9894379B2 (en) * 2001-07-10 2018-02-13 The Directv Group, Inc. System and methodology for video compression
DE10200901B4 (de) * 2001-09-14 2004-09-16 Siemens Ag Effiziente Codierung von Videosignalen für skalierbare Simul-cast-Speicherung und -Übertragung sowie zugehöriger Codec
KR100450939B1 (ko) * 2001-10-23 2004-10-02 삼성전자주식회사 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법
US7088776B2 (en) * 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
AU2008201106C1 (en) * 2002-07-15 2011-06-09 Apple Inc. Method and bitstream for variable accuracy inter-picture timing specification for digital video encoding
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8254461B2 (en) * 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
KR100930436B1 (ko) * 2002-10-17 2009-12-08 (주)휴맥스 홀딩스 이산 여현 역변환을 이용한 이미지 크기 재설정 방법
US20040101042A1 (en) * 2002-11-25 2004-05-27 Yi-Kai Chen Method for shot change detection for a video clip
KR20040046892A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 움직임 벡터 예측 부호화 및 복호화 방법
US7660487B2 (en) * 2003-12-10 2010-02-09 Sony Corporation Image processing method and apparatus with image resolution conversion related to relative movement detection
JP4687252B2 (ja) * 2005-06-02 2011-05-25 ソニー株式会社 画像処理装置、その方法、そのプログラムおよび記録媒体
KR100712531B1 (ko) * 2005-09-10 2007-04-27 삼성전자주식회사 Mpeg-2 데이터를 h.264 데이터로변환부호화하는 장치 및 방법
US7660486B2 (en) * 2006-07-10 2010-02-09 Aten International Co., Ltd. Method and apparatus of removing opaque area as rescaling an image
CN101472179A (zh) * 2007-12-29 2009-07-01 辉达公司 多个视频标准下的运动补偿的二维内插结构
US20140098880A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
EP3272083A4 (en) * 2015-05-27 2018-12-05 Hewlett-Packard Development Company, L.P. Recovering independent waveforms from input bitstream data
GB2618479B (en) * 2019-03-20 2024-03-13 V Nova Int Ltd Low complexity enhancement video coding
JPWO2020250599A1 (ja) * 2019-06-12 2020-12-17
CN114710662A (zh) * 2019-09-20 2022-07-05 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
CN114731409A (zh) * 2019-09-20 2022-07-08 韩国电子通信研究院 图像编码/解码方法和装置、以及存储比特流的记录介质
WO2021062624A1 (zh) * 2019-09-30 2021-04-08 深圳市大疆创新科技有限公司 可移动平台的图像处理方法、装置、可移动平台及介质
MX2022005905A (es) * 2019-11-15 2022-06-24 Hfi Innovation Inc Metodo y aparato para se?alizacion de compensacion de movimiento envolvente horizontal en la codificacion de video vr360.
US20220408114A1 (en) * 2019-11-22 2022-12-22 Sharp Kabushiki Kaisha Systems and methods for signaling tiles and slices in video coding
US20230104270A1 (en) * 2020-05-19 2023-04-06 Google Llc Dynamic Parameter Selection for Quality-Normalized Video Transcoding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001559A (en) * 1989-10-12 1991-03-19 International Business Machines Corporation Transform coding using coefficient prediction techniques
DE69132268T2 (de) * 1990-09-29 2000-10-26 Victor Company Of Japan Bildsignalkodierer/Dekodierer mit adaptiver Quantisierung
FR2677836B1 (fr) * 1991-06-11 1997-08-29 Thomson Csf Codeur-decodeur sous bandes de signaux de television a niveaux compatibilite differents.
US5414469A (en) * 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US5331414A (en) * 1991-12-23 1994-07-19 Intel Corporation Method and apparatus for encoding a digital motion video signal using pyramid specific filtering
US5371544A (en) * 1992-02-07 1994-12-06 At&T Corp. Geometric vector quantization
KR0176474B1 (ko) * 1992-12-01 1999-04-15 김광호 고속화상 재생에 적합한 디지탈 비디오 테이프레코더용 데이타 코딩기술
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5608652A (en) * 1995-05-12 1997-03-04 Intel Corporation Reducing blocking effects in block transfer encoders
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置

Also Published As

Publication number Publication date
DE19758252A1 (de) 1999-01-14
JPH1155666A (ja) 1999-02-26
US6072834A (en) 2000-06-06
KR19990013261A (ko) 1999-02-25
KR100240771B1 (ko) 2000-01-15
GB9727388D0 (en) 1998-02-25
KR100240770B1 (ko) 2000-01-15
KR19990009757A (ko) 1999-02-05
GB2327311A (en) 1999-01-20

Similar Documents

Publication Publication Date Title
JP3241653B2 (ja) エネルギー補償/逆補償機能を改善するスケラブル符号化器およびその方法
EP1701552B1 (en) Image conversion apparatus
KR101359490B1 (ko) 컬러 영상 부호화/복호화 방법 및 장치
KR100563756B1 (ko) 디지탈 신호 변환 방법 및 디지탈 신호 변환 장치
CN108924553B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
JP4226172B2 (ja) 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法
US6018368A (en) Scalable encoding apparatus and method with improved function of scaling motion vector
JP2004343774A (ja) 映像のレジデュー予測を利用した映像符号化/復号化方法および装置
JP4847076B2 (ja) トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
EP3831068A1 (en) Transformations for signal enhancement coding
JP2007143176A (ja) 動きベクトルの圧縮方法
KR20110045912A (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
JPH0974569A (ja) 最適動きベクトル決定方法及び装置
KR101359500B1 (ko) 양자화/역 양자화 장치 및 방법과 그를 이용한 영상부호화/복호화 장치
US6025880A (en) Moving picture encoding system and method
JP2006511164A (ja) 弾性記憶
JP3131181B2 (ja) 移動ベクトルスケーリング機能を改善するスケラブル符号化器およびその方法
US20100002767A1 (en) Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
JPH05503403A (ja) テレビジョン映像に対応するディジタル信号を符号化するデバイスとそれに対応する復号デバイス
JP3759537B2 (ja) 画像信号伝送装置及び画像信号伝送方法
US20030194008A1 (en) Computationally fast and efficient DV to DVD transcoding
KR20070051294A (ko) 움직임 추정을 위한 방법 및 장치
JP4363615B2 (ja) 符号化動画像変換装置
WO2005062623A1 (ja) 動画像再生方法及び装置並びにプログラム
KR0169653B1 (ko) 동영상 부호화기

Legal Events

Date Code Title Description
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071019

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081019

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091019

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091019

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees