JPH04341084A - Hdtv符号化装置 - Google Patents

Hdtv符号化装置

Info

Publication number
JPH04341084A
JPH04341084A JP3348611A JP34861191A JPH04341084A JP H04341084 A JPH04341084 A JP H04341084A JP 3348611 A JP3348611 A JP 3348611A JP 34861191 A JP34861191 A JP 34861191A JP H04341084 A JPH04341084 A JP H04341084A
Authority
JP
Japan
Prior art keywords
signal
generating
block
frame
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3348611A
Other languages
English (en)
Inventor
Scott C Knauer
スコット シー ナウアー
Kim N Matthews
キム エヌ マシューズ
Arun N Netravali
アルン ナラヤン ネトラヴァリ
Eric D Petajan
エリック ディー ペタジャン
Robert J Safranek
ロバート ジェイ サフラネック
Peter H Westerink
ピーター エッチ ウエステリンク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
American Telephone and Telegraph Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc filed Critical American Telephone and Telegraph Co Inc
Publication of JPH04341084A publication Critical patent/JPH04341084A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Color Television Systems (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、信号符号化に関する。 特に、本発明は、移動補償予測を利用したテレビ像信号
の符号化に関する。
【0002】
【従来の技術】テレビ信号の場合、連続する像フレーム
がほぼ同一であることがしばしばである。場面がフレー
ム間で変化しないため、2フレームの信号の間に大きな
相関が存在することもしばしばである。このため、多く
のシステムは、像を記述するのに要する前ビット数を縮
小するために、像を適切に符号化することによって、こ
の相関を利用することを考案している。一般的に、これ
らの符号化方法は、受信したフレームに基づいて像の予
測を行い、フレームと、そのフレームの予測値の差を符
号化する。
【0003】テレビの場面が運動する対象を含み、その
移動の推定が可能な場合、適切に空間的に変位した前フ
レーム内の要素を使用して、かなり良好な予測がテレビ
・フレーム信号に対して実行可能である。このような予
測は移動補償予測と呼ばれる。実際の場面では、移動は
平行移動と回転の複雑な組合せである。フレームの相異
なる部分が相異なる方向に移動される。このような移動
は推定が非常に困難であり、大量の処理を必要とする。 それにもかかわらず、平行移動は容易に推定され、移動
補償符号化での使用が成功している。その成功は、場面
内の平行移動の量と、良好な予測に必要な正確さで平行
移動を推定するアルゴリズムの能力に依存する。重大な
問題は、移動推定に使用されるアルゴリズムである。フ
レーム間符号化における移動補償のためのほとんどの従
来のアルゴリズムは、以下の仮定をしている:(i)対
象は、カメラ面に平行な平面内を平行移動する;(ii
)照度は空間的および時間的に一様である;(iii)
ある対象と別の対象の重なり合いは無視される。換言す
れば、この仮定は、あるフレームが単に前フレームの、
x方向にある距離およびy方向に他のある距離だけの平
行移動であるということである。移動補償アルゴリズム
は単に予測誤りを最小化するxおよびy方向の値を選択
することに集中している。
【0004】予測を改善するため、いくつかのブロック
一致法が存在する。これらの方法によれば、像は一定セ
ットのブロック(一般的には、正方ブロックの行列)に
分割される。平行移動ベクトルが、各ブロックに対して
独立に決定される。各ブロックは小さいため、各ブロッ
クに対してより良い平行移動ベクトル(より小さい適当
な予測誤り)を発見することが可能であり、全予測誤り
もまた小さくなることが可能である。移動推定について
のかなり詳細な説明が、A.N.ネトラヴァリ(Net
ravali)、B.G.ハスケル(Haskell)
共著「ディジタル画像」(プレナム・プレス、1988
年、334ページ以降)に発見される。
【0005】
【発明が解決しようとする課題】従来のブロック一致法
の1つの問題点は、固定サイズのブロックが使用される
ことである。これが問題となるのは、符号化される像の
ある領域が大きな変化を示し(例えば、隠れていた像が
突然現れる場合)、符号化される像の他の領域はほとん
ど変化を示さないかまたは非常に規則的な運動をするよ
うな状況である。換言すれば、あるブロックに関しては
非常に良好な移動の予測がなされるが、他のブロックに
関しては良好な移動の予測が不可能である。
【0006】もちろん、すべての像の状況下で受容可能
な性能レベルを保証するブロック・サイズを選択するこ
とも可能である。しかし、HDTV伝送は、特に地上波
通信では、制限されたバンド幅しか提供しない。これは
、「十分良好な」予測誤りを生じるブロック・サイズを
選択することは、移動ベクトルに割り当てられたビット
・バジェットを超過することになりやすいことを意味す
る。本発明の目的は、予測誤りの測度に基づいて大ブロ
ックまたは小ブロックを移動する移動ベクトルの集合を
生成することである。本発明のもう1つの目的は、移動
ベクトルに割り当てられたビット・バジェットの範囲内
で予測誤りを最小化するように、小さい移動ブロックま
たは大きい移動ブロックが使用されるような領域を選択
することである。
【0007】
【課題を解決するための手段】以上の目的は、符号化さ
れる像の局所的領域で生成される予測誤りに基づいて移
動ベクトルを選択する移動補償符号器によって実現され
る。移動ベクトルは、与えられたビット・バジェット内
に適合するように選択される。本発明の移動補償符号器
のこれらの特性は、2種のサイズの移動ブロックおよび
それらの対応する移動ベクトルを考慮することによって
達成される。すなわち、従来の方法と対照的に、像は、
一定数の1サイズのブロックではなく、同時に2種のサ
イズのブロック(大ブロックおよび小ブロック)に分割
される。便宜上、像分割は、与えられた数の小サイズの
ブロックが1個の大サイズのブロックを形成する(例え
ば、16:1)ように配置される。ブロックのサイズは
、大サイズのブロックのみの使用では与えられたビット
・バジェットを超過しないが、小サイズのブロックのみ
の使用では与えられたビット・バジェットを超過するよ
うに調整される。
【0008】本発明の原理によれば、移動ベクトルは大
ブロックおよび小ブロックに対する移動ベクトルの混合
を形成するように選択される。選択プロセスは、大ブロ
ックに対する移動ベクトルを、それらが生成する予測誤
りの大きさの順に配列することによって開始する。順序
リストを下降しながら、大ブロックに対する各移動ベク
トルが、その大ブロックに対応する小ブロックの移動ベ
クトルのセットと置換される。置換は、ビット・バジェ
ットを超過しない限り継続される。大小のブロックに対
する最良の平行移動ベクトルを生成するのに必要な計算
には時間がかかるため、HDTVアプリケーションでは
こうしたプロセスは符号器の前進推定セクションに移さ
れる。
【0009】
【実施例】本発明の移動推定(予測)原理は、所与のビ
ット数においては、より良い全体推定エラーレベルは、
可変サイズのブロックを採用することにより、達成され
るという前提から出発する。まず、良い変換ベクトルが
見いだされる大きな像セクションを取り扱う大きなサイ
ズから始め、その後、本発明の移動ベクトル選択で置き
換え、即ち、小さなブロックに対する移動ベクトルを、
大きな移動ベクトルに対する移動ベクトルに付加する。 この本発明の原理は、他のタイプの推定にも良く使用さ
れるが、HDTV信号の符号化と併用すると有効である
。しかし、HDTVへの応用では、最適な移動ベクトル
の計算と、その後の移動ベクトルの最適な合成の選択に
は、符号化ループ内で十分な時間がない。従って、前進
推定部は、符号化器内に組み込まれ、この前進推定部は
、符号化器内で使用されるできるだけ多くの信号を生成
する。入力像信号は、適当に遅延し、前進推定部内で計
算される信号に対する必要性は、その生成以下である。 本発明の移動ベクトル選択の動作と符号化プロセスの改
良を理解する為に、以下では、HDTV伝送器の全体の
符号化部分に付いて技術する。本発明の原理を図1の移
動ベクトル推定し選択回路で主に説明する。
【0010】図1では、入力信号がライン10に送られ
る。これは、像フレームの列として到着するディジタル
化映像信号である。この入力信号が、フレーム平均プロ
セッサ11、バッファ12、および移動ベクトル生成器
13に送られる。フレーム平均プロセッサ11は、各入
力フレームの平均値を生成する。この値はバッファ24
および25で遅延され、以下で説明されるように図1の
いくつかの要素に送られる。この値はまた、バッファ5
2を通して図2の符号化ループにも送られる。
【0011】移動ベクトル生成器13は、移動ベクトル
・セレクタ/符号器14に送られた移動ベクトルを生成
し、その後そこから、バッファ15および32を通って
、符号化された移動ベクトルは図2の符号化ループへ送
られる。移動ベクトルセレクタ/符号器14の非符号化
出力は、移動補償器16と、バッファ17およびそれに
続くバッファ50にも送られ、バッファ50から、非符
号化移動ベクトルが図2の符号化ループに送られる。
【0012】バッファ12の出力は、バッファ18に送
られたあと、バッファ19および51に送られ、バッフ
ァ51からその出力は図2の符号化ループに送られる。 バッファ18の出力はバッファ22およびリーク因子プ
ロセッサ20に送られ、バッファ19の出力は移動補償
器回路16に送られる。移動補償器16の出力はバッフ
ァ21およびリーク因子プロセッサ20に送られる。
【0013】バッファ25のフレーム平均信号は、減算
器26でバッファ21の出力から、また、減算器27で
バッファ22の出力からそれぞれ減算される。減算器2
6およびリーク・プロセッサ20の出力は乗算器23に
送られ、乗算器23の出力は減算器28に送られる。リ
ーク・プロセッサ20の出力はバッファ31を通って図
2の符号化ループにも送られる。要素28は、減算器2
7の出力から乗算器23の出力を減算し、その結果をD
CT変換回路30に送る。変換回路30の出力はプロセ
ッサ53に送られる。プロセッサ53は、スケール因子
Sijおよび信号標準偏差σを計算し、その結果を図2
に送る。減算器27の出力はDCT変換回路29に送ら
れ、DCT回路29の出力は図2に符号化ループに送ら
れる。
【0014】図1のさまざまな要素間のタイミング関係
を理解するためには、例えばライン10の入力がフレー
ムtの像信号に対応する(すなわち、ライン10の入力
信号がフレームI(t)である)と決めることによって
、ある基準点を設定することが有用である。図1の全バ
ッファは1フレーム分のデータを格納し遅延する。従っ
て、バッファ12の出力はI(t−1)、バッファ18
の出力はI(t−2)、バッファ19の出力はI(t−
3)、バッファ51の出力はI(t−4)である。
【0015】移動ベクトル生成器13は、(符号器回路
および復号器回路内のどこか他の場所で)フレームI(
t−1)の情報に基づいてフレームI(t)の近似を生
成するのを補助する移動ベクトルM(t)を生成する。 移動ベクトルが生成されるには少し時間がかかる(生成
器13内の遅延が1フレームの遅延に等しくなるように
内部遅延が含められる)。従って、生成器13の出力(
遅延処理後)は、移動ベクトルMV(t−1)のセット
に対応する。
【0016】移動ベクトル生成器13で生成された移動
ベクトルのすべてが実際に使用されるわけではないため
、生成器13の出力は移動ベクトルセレクタ/符号器1
4に送られ、そこで選択処理がなされる。選択処理もま
た時間がかかるため、セレクタ/符号器14の出力はM
V(t−2)およびCODED  MV(t−2)信号
となり、これらは、フレームI(t−3)の情報に基づ
いてフレームI(t−2)の近似を生成するのを補助す
る移動ベクトルおよびその符号化表現である。
【0017】このようなI(t−2)信号は実際に移動
補償器16で生成される。移動補償器16は、バッファ
19のI(t−3)信号およびセレクタ/符号器14の
移動ベクトルから、信号I(t−2)を近似する変位フ
レーム信号DF(t−2)を生成する。バッファ17お
よび50はMV(t−4)信号を生成し、バッファ15
および32はCODED  MV(t−4)信号を生成
する。
【0018】上記のように、プロセッサ11はフレーム
平均信号を生成する。平均信号はフレームが終了するま
で知ることができないため、プロセッサ11の出力はフ
レームt−1に関するものである。換言すれば、プロセ
ッサ11の出力はM(t−1)であり、バッファ25の
出力はM(t−3)である。
【0019】リーク因子プロセッサ20は信号I(t−
2)およびDF(t−2)を受信する。このプロセッサ
の機能を実行する(そして、正確に1フレームの遅延を
有することを保証するように内部遅延が含められる)の
にも時間がかかるため、プロセッサ20の出力信号はフ
レーム(t−3)のリーク因子に対応する。従って、プ
ロセッサ20の出力はL(t−3)と表される。その出
力はバッファ31で遅延され、それによってL(t−4
)が符号化ループに送られる。
【0020】最後に、要素26〜30内の処理は比較的
速いため、要素29および30の変換された像(バーI
T)および変位フレーム差(DFDT)出力はそれぞれ
フレームIT(t−3)およびDFDT(t−3)に対
応し、プロセッサ53の出力はSij(t−4)および
σ(t−4)に対応する。
【0021】図2は、図1の前進推定セクションで生成
された信号を利用する符号化ループの図である。ループ
自体は、要素36,37,38,39,40,41,5
4,42,43,44および45からなる。減算器35
でフレーム平均信号M(t−4)が像信号I(t−4)
から減算された後、像信号I(t−4)は減算器36に
送られる。減算器36によって生成される信号は、像I
(t−4)と、(減算器44によって除外された前フレ
ームのフレーム平均と、乗算器45で導入されるリーク
因子とともに)符号化ループに含まれる前フレームのデ
ータから得られる像I(t−4)の最良推定値の差であ
る。
【0022】このフレーム差はDCT変換回路37に送
られ、この回路は減算器36のフレーム差信号に関する
2次元変換領域情報を生成する。この情報は、量子化器
およびベクトル・セレクタ(QVS)38内でベクトル
に符号化され、符号器46および47へ送られる。QV
S38および符号器47に送られて実行される符号化は
、逆量子化器39内で可能な限り反転され、逆DCT回
路40に送られる。
【0023】逆DCT回路40の出力は減算器36の出
力を近似する。しかし、符号化信号の一部のみが要素3
9に送られ、かつそれは要素38の符号化処理における
情報損失によって破損しているため、逆DCT回路40
の出力は減算器36の信号と完全には一致しない。要素
37、38、39、40を通過する際にも遅延が存在す
る。この遅延がバッファ48による遅延と整合された後
、バッファ48と逆DCT変換回路40の出力が加算器
41で結合されて加算器54に送られる。加算器54は
フレーム平均信号M(t−4)を加算し、その結果をバ
ッファ42に送る。バッファ42は、要素43、44、
45における遅延のうちバッファ48による遅延よりも
少ない分を補い(完全な1フレームの遅延を形成し)、
出力を移動補償器43に送る。
【0024】移動補償器43は、移動ベクトルMV(t
−4)に応答する。移動補償器43は、バッファ42に
よって提供されるI(t−5)の近似に基づいて、像信
号I(t−4)の推定値を生成する。上記のように、こ
の近似は、減算器44の作用によって、前フレームのフ
レーム平均M(t−5)を減じられる。前フレームのフ
レーム平均は、M(t−4)を与えられたバッファ55
から導出される。減算器44の結果は乗算器45に送ら
れる。乗算器45は、減算器44の出力にリーク因子L
(t−4)を乗算する。この乗算結果は、減算器36の
負入力への信号を形成する。
【0025】ちなみに、移動補償器43の作用は線形で
ある。従って、バッファ42の作用もまた線形である(
これは、入力信号の切り捨てがないことを意味する)場
合、加算器54および減算器44(およびバッファ55
)はまったく余分である。これらは、バッファ42が必
要な記憶装置にセーブするために入力信号を切り捨てる
場合にのみ使用される。
【0026】バッファ42に関して、もう1つの改善が
可能である。要素36、37、38、39、40内の処
理と、バッファ48の対応する遅延が、垂直フレーム・
リトレース時間よりも小さい場合、バッファ42の出力
はその入力と同期することが可能である。すなわち、あ
るフレームのピクセルがバッファを出るのと同時に、前
フレームの対応するピクセルがバッファを出ることが可
能である。
【0027】この場合、バッファ42を、図17のバッ
ファ回路42に置き換えることによって一時フィルタリ
ングが実現される。バッファ回路42では、入力ピクセ
ルが出力ピクセルと比較される。それらの差があるしき
い値よりも大きい場合、回路42内の記憶要素にそれら
2個の比較されたピクセルの平均がロードされ、それ以
外の場合は、バッファ42内の記憶要素には入力ピクセ
ルのみがロードされる。
【0028】また、QVS38は知覚符号器49および
Sij(t−4)に応答する。この符号器は信号バーI
T(t−4)およびσ(t−4)に応答する。信号Si
j(t−4)は、逆量子化回路39およびバッファ・フ
ルネスおよびフォーマッタ(BFF)56にも送られる
。 BFFブロック56は、符号器46ならびに47からの
情報、リーク信号L(t−4)および図1のバッファ3
2からのCODED  MV(t−4)情報も受信する
。 BFFブロック56は、知覚符号器49にフルネス情報
を送り、受信した全情報を後段の回路に送る。後段の回
路では、信号は増幅され、適切に変調されて、地上波伝
送の場合、送信アンテナに送られる。
【0029】BFFブロック56は2つの密接に関連し
た機能を果たす。BFFブロック56は、適切な誤り訂
正符号を加えることによって、符号器で生成された情報
をパックし、また、知覚符号器49に情報を送って、出
力バッファ・フルネスのレベルについて知らせる。後者
の情報は知覚符号器49でQVS38および逆量子化器
39を制御するため、従って、次フレームのビット速度
を制御するために使用される。
【0030】上記の一般的な説明は、HDTV送信機内
の符号器のかなり詳細な説明である。以下で、図1およ
び図2に含まれるさまざまな回路のそれぞれについて詳
細に説明する。
【0031】フレーム平均回路11。フレーム内の平均
信号は、フレーム内の全ピクセルの値を単に加算し、そ
の和を一定数で除算する単純な累算器によって得られる
。2の累乗個のピクセルの加算によって最も容易な除算
が実現されるが、他の個数による除算もまた非常に単純
な従来のハードウェア(例えば、参照テーブル)によっ
て可能である。この単純さのため、回路11に関しては
これ以上ここでは説明しない。
【0032】移動ベクトル生成器13。移動ベクトル生
成器は、2個の連続する像I(t)およびI(t−1)
を比較する。この比較は、先行する像フレームI(t−
1)内の領域すなわちブロックと良く一致する領域すな
わちブロックを現在の像フレームI(t)内で検出する
ことを目的とする。目標は、変位情報および先行する像
フレームの組合せから、現在の像フレームの近似の生成
を可能にする相対変位情報の生成である。
【0033】特に、現フレームはn×nのピクセル・ブ
ロックに分割され、現フレーム・ブロックにできるだけ
良く一致するn×nブロックを前フレーム内で発見する
ように、現フレームの各ブロックに対して探索が行われ
る。
【0034】K×Kピクセル配列の近傍でn×nピクセ
ル・ブロックの最良変位の完全な探索を実行したい場合
、(K−n)×(K−n)個の可能な変位すべてをテス
トしなければならない。これらの各変位に対して、現フ
レームのn×nピクセル配列と、選択された変位に対応
する前フレームのK×Kピクセル配列のn×n部分との
差(例えば、絶対値、RMS、または平方の意味で)の
大きさを決定しなければならない。最小の差に対応する
変位が所望される変位であり、これは移動ベクトルと呼
ばれる。
【0035】上記の探索プロセスのハードウェア実現に
関する1つの重要な点は、絶対的に最適な移動ベクトル
を発見するために実行される必要がある計算量である。 例えば、像が8×8ピクセルのブロックにサブ分割され
、像が1024×1024ピクセルからなる場合、照合
の必要なブロックの総数は214個になる。最良の一致
を決定するために像全体にわたる完全な探索が実行され
るとすれば、各ブロックに対する探索回数は約220で
ある。従って(全ブロックに対する)総探索回数は約2
34となる。この「天文学的な」回数はあまりに多すぎ
る探索回数である。
【0036】必要な探索回数を制限する1つの方法は、
移動ベクトルが探索されるブロックの近傍を制限するこ
とである。行われなければならない探索回数の直接の減
少に加えて、この方法は次のような付加的利点を有する
。すなわち、近傍がより制限されると、移動ベクトルを
表現するのに必要なビット数が限定され(小さい範囲に
なる)、これは伝送負担を軽減する。これらの理由を考
慮して、探索近傍を水平および垂直方向でともに±32
地点に制限する。これは、例えば、32×16ピクセル
・ブロックを考えた場合、探索近傍は80×80ピクセ
ルで、各ブロックに対する探索回数は(220と比較し
て)212であることを意味する。
【0037】上記のように、予測誤りは差の平方の和に
基づくことが可能であるが、差の絶対値を扱うほうがず
っと簡単である。従って、ここでの移動ベクトル生成器
は、ブロックにわたるピクセル間の差の絶対値の和に対
応する予測誤り信号を形成することによって、現フレー
ム内のピクセルのブロックを前フレームのものと比較す
る。
【0038】探索の複雑さおよび量をさらに縮小するた
め、2段階の階層的移動推定方法が使用される。第1段
階では、移動は粗く推定され、第2段階では粗推定が精
細化される。第1段階の粗い方法での照合は、像の解像
度を水平および垂直の両方向で2分の1にすることによ
って実現される。これによって、探索領域は4分の1に
なり、1024×1024の像配列では212ブロック
だけになる。第1段階で生成された移動ベクトルは第2
段階に送られ、第1段階で発見された粗変位の近傍で探
索が実行される。
【0039】図3は、移動ベクトル生成器の第1(粗)
段階の構造を図示している。図3では、入力信号は2次
元8ピクセル×8ピクセルの低域フィルタ61に送られ
る。フィルタ61は、入力データのサンプリング速度の
半分よりも高い周波数を除去する。サブサンプラ62が
フィルタ61の次に続く。これは、入力信号を2:1の
比率でサブサンプリングする。フィルタ61は、サブサ
ンプラに対するナイキスト比率よりも大きい信号を除去
するため、フィルタ61の作用は、要素62のサブサン
プリング作用からの副作用がないことを保証する。サブ
サンプラ62の出力は、像の各ラインの半数のピクセル
と、像の半数のラインからなる像信号である。これは、
上記のような解像度の4分の1縮小に対応する。
【0040】図1では、移動ベクトル生成器13は、入
力ライン10のI(t)信号およびバッファ12の出力
のI(t−1)信号に応答するように図示されている。 これは説明のためにこうしただけであって、図1の説明
の文脈で移動ベクトル13の動作を明確に理解可能にす
るためのものである。実際には、図1の接続に関する限
り、移動ベクトル生成器13はI(t)のみに応答し、
バッファ12の遅延は移動ベクトル生成器13の回路内
に集積されるほうが都合が良い。
【0041】この考えに従って、図3は、サブサンプラ
62の出力に応答するフレーム・メモリ63を含む。フ
レーム・メモリ63の入力でサブサンプリングされたI
(t)信号およびフレーム・メモリ63の出力でサブサ
ンプリングされたI(t−1)信号は移動推定器64に
送られる。
【0042】メモリ63の制御はかなり単純である。デ
ータは、1回に1ラインずつ、順に移動推定器ブロック
64に入る。16ラインの前方オフセットを除いて、サ
ブサンプリングされたI(t)の全16ラインとともに
、メモリ63は移動推定器ブロック64にサブサンプリ
ングされたI(t−1)の16ラインを供給しなければ
ならない。ブロック64によって必要とされるサブサン
プリングされたI(t−1)の32本の他の(先行する
)ラインは、移動推定器ブロック64に送られた、サブ
サンプリングされたI(t)の先行する2セットの16
ラインからすでにブロック64内にある。
【0043】移動推定器64は、像の各ブロックに対し
て複数の予測誤り信号を生成する。この複数の予測誤り
信号は、最小の予測誤り信号を識別する最良一致計算器
65に送られる。この予測誤り信号に対応する変位がそ
のブロックの移動ベクトルとして選択される。
【0044】より数学的な言葉で表現すれば、現フレー
ム・ブロック内の幅wおよび高さhのブロックをb(x
,y,t)と表す場合(ただしtは現フレーム、xおよ
びyはブロックの左上隅の座標)、予測誤りはピクセル
値の差の絶対値の和として定義される。
【数1】 ただし、rおよびsはそれぞれxおよびy方向の変位で
ある。
【0045】最良一致を与える移動ベクトルは、最小予
測誤りを与える変位(r,s)である。
【0046】移動ベクトルの選択は計算器65で実行さ
れる。等しい最小誤りを有するいくつかのベクトルが存
在する場合、計算器65は最小の大きさをもつ移動ベク
トル(変位)を選択する。この選択のために、大きさは
計算器65では水平および垂直変位の大きさの和(すな
わち、|r|+|s|)として定義される。
【0047】移動ベクトル生成器13の第2段階では、
第1段階で選択された変位の近傍で選択される最良の変
位値について、精細な決定がなされる。第2段階は3つ
の点で第1段階と相違する。第1に、第2段階は個々の
近傍に向けられた探索を実行する。第2に、第2段階は
8×8ブロックおよび、8×8ブロックの4×2配列(
結果として32×16ブロック)に対する予測誤り値を
評価する。第3に、第2段階は最終結果を1/2ピクセ
ルの精度で補間する。
【0048】図4は、生成器13の第2段階の一般的な
ブロック図である。図3と同様に、入力信号はフレーム
・メモリ66に送られる。メモリ66の入力および出力
は移動推定器67に送られ、移動推定器67の出力は最
良一致計算器68に送られる。推定器67は、生成器1
3の第1段階で生成された粗移動ベクトル推定値にも応
答することによって、推定器は、生成器13の第1段階
で選択された移動ベクトルの近傍での移動を推定する。
【0049】計算器68は、セットあたり10個の信号
を有する出力セットを生成する。計算器68は、8個の
8×8ブロック移動ベクトルと、この8個の8×8ブロ
ックによって覆われる像領域を包含する1個の32×1
6移動ベクトルと、32×16移動ベクトルの代わりに
それに対応する8個の8×8移動ベクトルを使用するこ
とによって得られる、移動仕様における改善(すなわち
、低い予測誤り)の測度を生成する。改善の測度はいろ
いろな方法で生成可能であるが、1つの単純な方法は、
8×8ブロックの予測誤りを保持し、それらの予測誤り
の和を生成し、生成された和を32×16移動ベクトル
の予測誤りから減算することである。
【0050】図4で、計算器68の移動ベクトル出力は
半ピクセル推定器69に送られる。半ピクセル移動は、
最小誤りの領域の周りの予測誤りの変化から導出される
。推定器69で使用される単純な方法は、最小値の周り
の3点に放物線を当てはめ、放物線の方程式を解き、放
物線の最小値の位置を見つけることによって、xおよび
y方向で独立に半ピクセル移動を導出するというもので
ある。
【0051】必要なのは1/2ピクセルの精度であるた
め、このプロセスは次の比較を実行することに単純化さ
れる。
【数2】 および
【数3】 ただし、pxはxでの予測誤り、x’は導出された半ピ
クセル移動ベクトルである。
【0052】移動ベクトル生成器13の両段階における
探索は、フレームに入ってくる対象の予測を改善するた
め、像の縁に拡張することが可能である。像の外側のピ
クセルの値は、最近接の知られているピクセルの値に等
しく設定されるべきである。
【0053】ここまで、移動ベクトル生成器13の構造
を説明した。すべての計算プロセスは従来のプロセッサ
で実行可能である。専用プロセッサから最も利益を受け
るプロセスは、要素64および67の移動推定プロセス
である(単に要求される演算回数のため)。しかし、こ
れらのプロセスは、映像移動推定プロセッサ(L647
20)を提供しているLSIロジック社(LSI Lo
gic Corporation)の専用チップで実現
可能である。これらのうちのいくつかは結合されて、任
意の大きさの領域にわたる任意の大きさのブロックに対
する移動推定値を生成することが可能である。L647
20チップのこの結合法は、「LG720(MEP)映
像移動推定プロセッサ」と題するLSIロジック社のア
プリケーション・ノートに説明されている。
【0054】移動ベクトル・セレクタ/符号器。32×
16ブロックを生成する理由は、8×8ブロックに対す
る移動ベクトルの全セットが、移動ベクトルに割り当て
られたビット・バジェットで符号化できないであろうと
いう予想に基づく。他方、32×16ブロック移動ベク
トルだけを送ることは、28,672ビットを要する。 これは、移動ベクトルあたり14ビット(水平変位に7
ビット、垂直変位に7ビット)に、水平方向に32ブロ
ックおよび垂直方向に64ブロックを乗じた結果である
。換言すれば、移動ベクトルの最終セットは、8×8ブ
ロック移動ベクトルと、32×16ブロック移動ベクト
ルの混合であると考えられる。
【0055】従って、最終的にHDTV送信機によって
送信される移動ベクトルの最後の混合に関して選択が行
われる必要があり、この選択は事前割当のビット・バジ
ェット内に適合しなければならない。移動ベクトルを定
義するビット数は、その移動ベクトルに適用される圧縮
符号化法の効力に依存するため、移動ベクトルの選択お
よび選択された移動ベクトルの圧縮は密接に関連するこ
とになる。
【0056】セレクタ/符号器14で実行される符号化
プロセスにおける基本的原理は、できるだけ詳細な情報
でビット・バジェットを満たすことである。すなわち、
目標は、できるだけ多くの8×8移動ベクトルを使用す
ることである。我々の方法は、32×16ブロック移動
ベクトルのセットから開始し、この移動ベクトルの列を
圧縮し、事前割当のビット・バジェットで残されたビッ
ト数の測度を生成し、この残余ビットを割り当てる反復
プロセスに入ることである。プロセスを単純化するため
、32×16移動ベクトルはセットにグループ化され、
各セットが1単位として符号化される。ここで使用する
このセットすなわちスライスは図5に示すような2×3
配列(全部で6個の32×16移動ベクトル)である。
【0057】符号化プロセスは符号器14(図1)から
開始される。符号器14は、第1の上記の6個の32×
16移動ベクトルに対する符号を生成し、それらの符号
を可変長符号(例えば、ハフマン符号)で圧縮する。グ
ループの第1符号はスライス内の第1の32×16移動
ベクトルを絶対的な意味で指定する。その後、残りの5
個の移動ベクトルが、それらのベクトルと第1ベクトル
の差によって指定される。スライスの32×16移動ベ
クトルの後に、スライス内のいずれかの32×16ブロ
ックが8×8移動ベクトルの精細情報によっても指定さ
れているかどうかを示すための1ビットが含められる。 実際にその場合には、どのブロックが精細に指定されて
いるかを指定する符号が与えられ、その後、6×8すな
わち48個までの符号が、包含されている8×8移動ベ
クトルを指定する。
【0058】従って、スライスの符号化フォーマット(
図5参照)は表1のパケットを形成する。
【0059】図6はセレクタ/符号器14のブロック図
である。セレクタ/符号器14は、半ピクセル推定器6
9から受信する各32×16移動ベクトルとともに、付
随する8×8移動ベクトルおよび改善情報も受信する。 入力32×16移動ベクトルはハフマン符号器70に送
られ、8×8移動ベクトルはメモリ71に送られ、改善
情報はソータ72に送られる。ソータ72には、改善の
大きさによってソートされた順序に改善信号に関連する
情報を格納するメモリ73が付随する。この関連情報は
、改善値に付随した32×16ブロックの識別子である
【0060】ハフマン符号器70は、スライス・パケッ
トの第1の6フィールドに対する符号を生成し、その情
報をメモリ74に格納する。同時にハフマン符号器70
は、累算器75で、符号化プロセスで生成されたビット
を累算する。累算器75で生成されるビット数は、しき
い値検出器76で事前割当のビット・バジェット(固定
数)と比較される。このバジェットを超過しない限り、
しきい値検出器76は、ソートされたキューのトップの
識別子にアクセス(し、それをキューから削除)するよ
うにメモリ73に要求する信号を送る。
【0061】
【0062】メモリ73によって与えられた識別子はメ
モリ71に送られ、この識別子はメモリ71に、32×
16ブロックに付随する8個の8×8移動ベクトルを出
力させる。メモリ71によって出力された移動ベクトル
はハフマン符号器70に送られ、ハフマン符号器70は
その情報を圧縮し、その圧縮された情報を(メモリ73
の出力信号の制御下で)メモリ74に加え、圧縮された
ビットを累算器75で累算する。これで1回の反復が完
了する。
【0063】しきい値回路76の動作および全反復ステ
ップは、ビット・バジェットが超過するまで繰り返され
る。その時点で、メモリ74は、図1のバッファ15に
送られる符号化移動ベクトルの適切な混合を含む。図6
のように、ハフマン回路70に送られた非符号化移動ベ
クトルはメモリ77にも送られる。これらのベクトルは
図1の移動補償回路16およびバッファ17に送られる
【0064】移動補償回路。出力信号を生成するために
は、移動補償回路16(図1)は単に、移動ベクトル・
セレクタ/符号器14によって選択された移動ベクトル
の制御下でバッファ19内のデータにアクセスする必要
があるだけである。これは、バッファ19を、多重化制
御されたランダム・アクセス・メモリに置くことによっ
て容易に実現される。移動補償器16に向かう出力信号
は移動ベクトルの制御下にあり、バッファ51に向かう
出力信号は逐次カウンタの制御下にある。
【0065】移動補償回路43(図2)は移動補償回路
16と同一である。
【0066】リーク回路。リーク回路は、リーク・プロ
セッサ20および乗算器23からなる。乗算器23は、
移動補償回路16の信号を、減算器28に送る前に修正
する。減算器26は、DCT変換回路29および30で
考慮される信号のダイナミック・レンジを縮小するため
に、平均信号を考慮から除外する。
【0067】もちろん要素20内の処理には時間がかか
るため、図1はバッファ21および22を含む。バッフ
ァ22は減算器28に送られた像信号を遅延し、バッフ
ァ21は移動補償回路16によって送られた移動ベクト
ル信号を遅延する。
【0068】リーク・プロセッサ20について説明する
。リーク回路のとらえ方の1つは、減算器28の出力で
生成されたDFD(変位フレーム差)を縮小するための
機構としてである。従って、良好な移動ベクトルを生成
するためのすべての労力は、減算器28からのDFDを
縮小することである。リーク回路がDFDをよりよく縮
小できるほど、その使用は有利である。
【0069】DFDを縮小する1方法は、リーク変数α
の関数としてDFDを最小化することである。すなわち
、必要なことは、次式を満たすαを決定することである
【数4】 ただし、Iはバッファ18の像フレーム信号、DFは移
動補償回路16の変位フレーム信号、αは乗法的リーク
値、およびE{X}はXの期待値である。この方程式の
解は次式で与えられる。
【数5】
【0070】従って、プロセッサ20の1実施例は、信
号I(t−2)およびDF(t−2)に応じて数5に従
って単にαを計算する。プロセッサ20で実行される計
算は、この場合、単純な乗算および平均(加算および除
算)であるため、ここでこれ以上詳細に説明しない。プ
ロセッサ20は従来の算術プロセッサ(例えば、DSP
集積回路)が可能であることを述べておけば十分である
【0071】プロセッサ20で実行される計算は直接的
なものであるが、(移動ベクトルの選択に要する計算ほ
どは多くはないにせよ)まだかなり多量である。次の観
察によって、やや単純な計算作業をプロセッサ20に割
り当てることが可能である。
【0072】リーク因子が従うべき制限を考慮すると、
例えば、リーク因子が1.0に達してそこにとどまるこ
とは許容されないことは明らかである。実際の像には何
らかのリークが常に存在しなければならない。そうでな
い場合、新たに送信機に同調した受信機は像信号を構成
することができない。その理由は、この受信機はまった
く履歴情報を欠いている、すなわち、移動ベクトルが首
尾よく適用される正しい「前フレーム」情報をまったく
有しないためである。また、受信機によって受信される
ノイズも決して消失することはない。従って、リーク因
子の長期値には最大レベル(例えば、15/16)が設
定されなければならない。
【0073】同じく明らかなことだが、場面変化があっ
た場合、リーク因子は0が最良である。その理由は、こ
れによって旧場面は完全に捨て去られ、新場面の構成を
開始するためである。場面変化は、民間放送のTV番組
では比較的頻繁である。αを0に設定することは、新た
に同調した受信機やノイズのために破損した履歴情報を
もつ受信機が必要な履歴情報を獲得する際にも有用であ
る。もちろん、重い伝送負担を生じるため、αの値は長
く0に保持されるべきではない。
【0074】以上を考慮して、単純な形式では、プロセ
ッサ20によって実行されるプロセスは、場面変化の発
生を判断し、この発生のたびにαを0に設定することだ
けを必要とする。その後αは、mフレーム後にαの値が
αmax(例えば15/16)に達するように、事前選
択された割合でフレームごとに増加される。もちろん、
このmフレーム内に再び場面変化があった場合は、αは
再び0にリセットされ、増加が再開される。
【0075】αを生成するこの単純な方法は、場面変化
判断回路および累算器で簡単に実現可能である。場面変
化判断回路は、単に変位フレーム差信号の大きさを加算
(すなわち、Σ|It−2−DFt−2|)する回路で
ある。 これによって、しきい値と比較して場面変化が起きたか
どうかを判断する測度が与えられる。これは図7に図示
されている。要素34は差信号Σ|It−2−DFt−
2|を生成し、この信号をしきい値回路58に送る。回
路58の出力は加算器59の無効リード線に送られ、加
算器59はしきい値レジスタ60内の値をレジスタ57
内の値に加算する。レジスタ57の出力がリーク因子α
である。
【0076】さらにもう1つの方法は、乗算器23への
入力で固定リークを使用し、その後で2レベルのリーク
因子を生成することである。(DCT変換器30の出力
にあるプロセッサ53に加えて)DCT変換器29の出
力にプロセッサ53を配置することによって、2個のσ
(t−4)信号が生成される。
【0077】図2の符号化ループに送られるリーク因子
は、生成された2個のσ(t−4)信号に基づいて選択
される。場面変化があった場合、2個のσ信号はあまり
相違しない。その理由は、フレームの予測が悪く、DF
D標準偏差が高い値になるためである。実際、DFDの
偏差はもとのフレームの標準偏差よりもずっと高いこと
がある。このような場合(すなわち、2個のσ信号が、
選択されているしきい値よりも大きく異なる場合)、リ
ーク値1(予測無し)が選択され、従ってリーク因子α
=0が図2に送られるべきであることは明らかである。 2個のσ信号が、選択されているしきい値よりも実際に
大きく異なる場合は、固定リーク因子(例えばα=15
/16)が図2に送られる。
【0078】符号器の前進推定セクションのブロック図
(図1)は、このリーク方法を採用することによってや
や単純化される。これは図16に図示されている。プロ
セッサ20が、いくつかのバッファとともに除去されて
いる。他方、もう1つのプロセッサ53、減算器、しき
い値デバイス、および、スケール因子ならびに標準偏差
測度の2つのセットのうちの1つと、0または15/1
6のいずれかのリーク因子を選択するセレクタが加えら
れなければならない。
【0079】DCT変換回路。変換回路29ならびに3
0(図1)および37ならびに40(図2)は2次元変
換を生成する。回路29、30および37は、時間領域
情報を周波数領域情報に変換し、回路40はその逆を実
行する。2次元変換を生成するハードウェアは、米国特
許第4,829,465号「高速コサイン変換」(19
89年5月9日発行)の説明に従うことが可能である。
【0080】プロセッサ53。プロセッサ53は、フレ
ームに対するスケール因子信号Sijおよび標準偏差信
号σを計算する。8×8DCT変換では、64個のスケ
ール因子信号が存在する。スケール因子信号は次式を評
価することによって生成される。
【数6】 ただし、sijはDCT要素30によって生成される周
波数ij成分であり、K1はフレーム内の8×8ブロッ
クの数である。
【0081】標準偏差σはフレームに対して1個の値で
あり、次式で表される。
【数7】 ただしK2はフレーム内のピクセル数である。もちろん
、これらの計算は、平方、加算および平方根しか必要と
しないため、従来のプロセッサで非常に容易に実行可能
である。なお、フレーム全体が処理される前には答は確
かめられないため、プロセッサ53の出力はSij(t
−4)およびσ(t−4)と表されている。
【0082】量子化器およびベクトル・セレクタ(QV
S)38。DCT変換回路37は8×8の周波数領域成
分のセットを生成する。回路37に続くQVS38での
符号化を単純化するためには、これらのセットをグルー
プ化することが最良である。そのような可能なグループ
化の1つは2×2配列である。これは図8に例示されて
おり、8×8セットの成分の2×2配列(図の左側)が
、64セルのスーパーブロック・ベクトル(図の右側)
を形成するように組み合わされる。この各セルは4要素
を含む。
【0083】第1レベルの単純化は、各セル内の成分は
1つの量子化器でのみ量子化されるという制限を課すこ
とによって導入される。高度化の程度は、相異なる量子
化器が相異なるセルを量子化するために使用されること
を可能にすることによって導入される。ハードウェアを
縮小し符号化を簡単にするため、相異なる量子化器の数
は事前選択の数(例えば4)に制限される。選択を識別
する情報であるこの(面)情報は受信機に送信されなけ
ればならない。可能な選択(パターンすなわちベクトル
)の数は644である。2進形式でこの選択範囲を定義
するには128ビットの情報を要し、これは使用に望ま
しいものよりずっと多いビット数である。
【0084】従って、第2レベルの単純化は、スーパー
ブロック・ベクトルを表現する制限された数のパターン
を使用することだけを任意に決定することである。この
数は、例えば2048であり、これは符号化に11ビッ
トしか必要としない。可変長符号化によってさらにこの
量は縮小されることがある。2048個の選択されたパ
ターンがベクトル・コードブックに格納される。
【0085】コードブック・ベクトル(すなわち、量子
化パターン)を選択する作業を少し数学的な言葉で言え
ば、量子化される各変換成分に対し、量子化誤りは次式
で定義される。 q=|x−Q(x)|               
                         
    (8)ただし、Q(x)はセル要素xの量子化
値(まずxを符号化した後xを復号することによって得
られる値)である。像にわたっての誤りの等しい可視性
のために、この量子化誤りは、知覚符号器49から得ら
れるある目標歪みレベルdに等しいことが望ましい。
【0086】もちろん、コードブック・ベクトルの使用
によって、常にこの目標歪みレベルになるわけではない
ことが予想される。このため、選択歪み誤りを次式で定
義する。 e=|q−d|                  
                         
       (9)あるセルに対する合計選択誤りは
、セル要素の2×2配列にわたる上式の個々の選択誤り
の和である。スーパーブロック・ベクトルに対する全選
択誤りは、64個のセルの合計選択誤りの和である。
【0087】適切なコードブック・ベクトルを選択する
プロセスは、各コードブック・ベクトルを考慮し、最低
の全選択誤りを与えるコードブック・ベクトルを選択す
る。2個の相異なるコードブック・ベクトルが等しいま
たはほとんど等しい全選択誤りを与える場合、選択され
るベクトルは、スーパーブロックが量子化される際によ
り少ないビット数を生じるほうのベクトルである。
【0088】QVS38のブロック図の詳細な説明に進
む前に、QVS38内で選択誤りを評価する要素につい
てまず説明するのが都合がよい。この要素は図9に図示
されている。
【0089】図9は、システムに対して選択された3個
の自明でない量子化器(「セル削除」は第4の「量子化
器」であるが、これは自明な量子化方式を表す)のそれ
ぞれに対応する3本の並列のパスを含む。これらのパス
は同一である。
【0090】図1の前進推定セクションで導出されたス
ケール因子が、標準的な量子化器のセットを効率的にデ
ータと整合させるために使用される。これは、除算器9
0において入力信号をスケール因子でまず除算すること
によって実行される。スケールされた信号は次に(量子
化器)81および減算器83への各パスに送られる。符
号器81の量子化された出力データは量子化復号器82
で復号され、乗算器78でスケール因子を乗じられる。 その結果は信号プラス量子化ノイズである。量子化ノイ
ズは、除算器90に送られたもとの信号から乗算器78
の出力を減算することによって分離される。減算は減算
器83で実行される。もちろん、図9の各符号器および
復号器の対は、相異なる量子化器を使用する。
【0091】各減算器83の出力は、使用された量子化
レベルに対する量子化誤り信号|q|である。大域的目
標歪みレベルdが減算器84で|q|から減算され、そ
の結果は累算器85で加算される。式8および9によれ
ば、減算器83および84は差の大きさを生成する符号
絶対値減算器である。各累算器85の出力は、量子化器
81の入力で受信されたセルに対する選択誤りを、対応
する量子化器81の量子化レベルに基づいて与える。
【0092】量子化器81の量子化信号は、パスのもう
1つの出力を形成し、量子化器81が使用する最良量子
化器として選択された場合に入力セルの信号を記述する
のに必要なビット数の測度を生成する比率計算器86に
も送られる。要約すれば、図9の各要素80はセル情報
を受信し、システムの可能な量子化レベルのそれぞれに
対する量子化信号、選択誤り信号および比率情報を生成
する。
【0093】第4のパス(図9には図示せず)は「0量
子化器」を使用したものである。このパスは量子化信号
を出力せず、この量子化信号の比率は0であり、入力信
号に等しい誤り信号を出力する。目標歪みはこの出力か
ら減算され、絶対値は他の量子化器と同様に累算される
【0094】図10はQVS38の実施例である。DC
T変換要素37(図2)からの入力は最初にバッファ1
78に送られ、スーパーブロック・ベクトル(図8の右
側に図示されたセルの配置)を生成する。スーパーブロ
ック・ベクトルの64個のセルはそれぞれ、64個のブ
ロック80のうちの相異なる1つに送られる。図9に関
して説明されたように、各ブロック80はいくつかの出
力3要素を生成し、各3要素は、量子化信号、与えられ
た量子化レベルに応じたセルの選択誤りの測度、および
その与えられた量子化レベルのセルを符号化するための
結果のビット数からなる。64個のブロック80の出力
はそれぞれ64個のセレクタ・ブロック79に送られる
【0095】64個のセレクタ・ブロック79は、ブロ
ック80、およびコードブック・ベクトル・ブロック8
7にも応答する。ブロック87はコードブック・ベクト
ルのセットを含み、これは上記の量子化選択パターンで
ある。動作中は、ブロック87はコードブック・ベクト
ルを巡回し、それらをそれぞれ並列に64個のセレクタ
・ブロックに送る。特に、ベクトル・コードブックの6
4個の要素はそれぞれ64個のブロック79の相異なる
ものに送られる。
【0096】送られたコードブック・ベクトル信号の制
御下で、各選択ブロック79は、対応するブロック80
によって生成された出力3要素のうちの適当な1つを選
択し、選択された3要素を結合器回路88に送る。結合
器回路88の出力は、コードブック・ブロック87で順
に生成された相異なるコードブック・ベクトルに対する
、量子化スーパーブロック信号と付随する全誤りおよび
比率信号の列である。これらの全3要素信号はしきい値
回路89に送られる。
【0097】しきい値回路89はコードブック・ブロッ
ク87にも応答する。しきい値回路89は、最低の全選
択誤りレベルを生成したコードブック・ベクトルの識別
子、このコードブック・ベクトルがスーパーブロック・
ベクトルを量子化するのに要するビット数、および、も
ちろん、量子化スーパーブロック・ベクトル自体に関す
る情報を保持する。上記のように、2個のコードブック
・ベクトルが非常に近い全選択誤りレベルを生じた場合
、選択されるベクトルは、スーパーブロック・ベクトル
を量子化するためにより少ないビット数を要するほうの
ベクトルである。
【0098】しきい値回路89のプロセスは2個のハー
ドウェア・セクション内で容易に実行可能である。第1
セクションでは、現在の最低全選択誤りと、しきい値回
路89に送られた全選択誤りの間で比較が行われる。高
いほうの全選択誤りには、ある最大比率が任意に仮定さ
れる。送られた全選択誤りが現在の最低全選択誤りと等
しいかまたはほとんど等しい場合、最大比率への設定が
無効とされる。
【0099】第2セクションでは、比率の間で比較が行
われ、低いほうの比率をもつ全選択誤りが新たに現在の
最低全選択誤りとして選択される。コードブック・ベク
トルのすべてが考慮された後、しきい値回路89はある
(最適)コードブック・ベクトルの識別子およびバッフ
ァ178によって送られたスーパーブロック・ベクトル
に対するその値を出力する。続いてプロセスは、次のス
ーパーブロックに対して繰り返される。
【0100】しきい値回路89から、コードブック・ベ
クトル識別子およびスーパーブロック・ベクトル・セル
の量子化値が劣化判定回路115に送られる。上記のよ
うに、地上波伝送で通信することを目標とするディジタ
ルHDTVでは、少ない劣化を実現することが重要であ
る。特に、現在のアナログTV伝送は実際にこのような
少ない劣化を実現している。
【0101】少ない劣化は、生成された情報をソートし
、異なる情報に異なる処理を指定することによって達成
される。所望される相異なる処理の数は設計者が選択で
きる。図2のシステムでは、この数は2(符号器46お
よび47)である。区別の判断基準は、空間解像度、時
間解像度、または、例えばダイナミック・レンジに関係
する。
【0102】例えば、厳密に時間的な解像度の方法では
、ブロック115の作業は非常に単純である。考え方は
、単に、すべての奇数フレームが、良いほうの処理に指
定された情報の全部または大部分を有し、すべての偶数
フレームが、悪いほうの処理に指定された情報の大部分
または全部を有するようにすることである。この方法に
よれば、劣化判定回路115は、フレームが偶数または
奇数のいずれであるかのみを知ることのみを要し、割合
を割り当てることができる必要がある。奇数フレームの
間は、ほとんどの信号が良いほうの処理のための可変長
符号器47に転送され、偶数フレームの間は、ほとんど
の信号が悪いほうの処理のための可変長符号器46に転
送される。
【0103】異なる処理に対する空間解像度の方法では
、所望されることは、像内の低周波成分に対して像内の
高周波成分よりも良い処理を与えることである。これは
、図2のシステムでは2つの方法のうちの1つによって
容易に実現可能である。実験的に、ブロック87のコー
ドブック・ベクトルは、ベクトルに含まれる高周波成分
の数によって順序づけられるベクトルの集合を形成する
と判定されている。これに基づいて、劣化判定回路11
5は、どのコードブック・ベクトルが現在送られている
か(その情報はしきい値回路89から利用可能)を知り
、それに従ってその入力情報を符号器47または46に
送ることだけが必要である。または、全ベクトルの低周
波セルが良いほうの処理に指定され、符号器47に送ら
れる。
【0104】ちなみに、どの情報が符号器47に送られ
どの情報が符号器46に送られるかに関する上記の説明
は、スーパーブロック・ベクトルの量子化信号に関係し
、コードブック・ベクトル自体の識別子には関係しない
。少なくとも全スーパーブロック・ベクトルの低周波成
分が符号器47に送られる場合は、コードブック・ベク
トルの識別子はすべて符号器47に送られなければなら
ない。
【0105】可変長符号器46および47。可変長符号
器46および47は、ハフマン符号器のような従来の符
号器でよい。2個使用される理由は、符号器47に送ら
れた情報が、符号化信号の誤り無し受信の機会が多いこ
とを保証するような方法で符号化される必要があるため
である。従って、符号器47の符号化法は符号器46の
符号化法とは異なることがある。
【0106】もちろん、符号器47で符号化された信号
の誤り無し受信の機会を多くするのに、この符号化法だ
けで本質的に十分であるとは考えられない。従って、付
加的な符号化がBFFブロック56、またはブロック5
6の外でも実行されることがある。
【0107】逆量子化器39。逆量子化器39はスケー
ル因子Sjiに応答するが、量子化スーパーブロック信
号に関しては、逆量子化器39は、可変長符号器47に
送られたQVS38の出力のみに応答する。換言すれば
、逆量子化器39は、符号器46からの信号が到達しな
いような非常に悪い受信状態であるかのように動作する
。図11を参照すると、逆量子化器39は、コードブッ
ク87と同一のベクトル・コードブック102および量
子化復号器103からなる。コードブック102を直接
利用して、復号器103はQVS38の量子化結果を元
に戻す。
【0108】もちろん、QVS38の量子化符号器によ
って導入された量子化ノイズは元に戻らないが、初期信
号の少なくとも一般的なレベルは回復される。例えば、
QVS38内の量子化ステップが、0〜8の全レベルを
「0」に、8〜16の全レベルを「1」に、16〜24
の全レベルを「2」に、および24〜32までの全レベ
ルを「3」に変換したとする。このような配置に対し、
逆量子化器39は例えば「0」を4に、「1」を12に
、「2」を20に、および「3」を28に変換する。 22という入力はQVS38によって「3」に量子化さ
れ、量子化された「3」は回路39で20へと逆量子化
される。この場合の量子化誤りレベルは2となる。
【0109】ブロック39内の逆量子化ステップの後に
は補正ステップがなければならない。量子化前にQVS
38内で入力信号がスケールされていたことを想起する
と、反対の操作がブロック39で実行されなければなら
ないため、復号器103の出力がスケール因子Sijに
応答する乗算器104に送られる。乗算器104の出力
が逆量子化器39の出力を形成する。
【0110】知覚符号器49。知覚符号器49の詳細な
説明に進む前に指摘されるべきことだが、図1の前進推
定ブロックやBFFブロック56には何の機能が含まれ
、知覚符号器には何の機能が含まれるかの選択には多少
任意性がある。以下の説明から明らかになるように、い
くつかの機能は前進推定ブロックやBFFブロック56
に容易に含められることが可能である。
【0111】知覚符号器49の主な仕事は、QVS38
が、入力像フレームを取得し、フレームごとに割り当て
られたビット数を使用してできるだけ良くその入力像フ
レームを表現するのを補助することである。要素37(
図2)の出力での変換された変位フレーム差を生成する
プロセスは、より少ない変換領域統計冗長度を有する表
現を生成するように設計される。その点では、もとの入
力像を再構成するのに必要な全情報がまだ存在する。 この情報は、原物よりも表現に要するビット数が少ない
表現へと変換されただけである。使用可能なビット数が
十分存在する場合、ビットごとに原物と等価な「符号化
」像を生成することも可能である。
【0112】最も自明な入力を除いては、その信号をそ
の忠実度で表現するのに使用可能なビットは十分には存
在しない。従って、解決されなければならない問題は、
使用可能なビットを使用して、出力が人間の観察者によ
って見られるという制約に従って、できる限り原物に近
い符号化像を生成することである。この制約は、知覚符
号器49がQVS38に送る目標歪み信号によって導入
するものである。すなわち、2つの制約が課される:1
)結果はBFF56の出力で本質的に一定ビット速度で
なければならず、2)誤りは、人間によって知覚されて
最小化されなければならない。
【0113】ビット割当を実行する1方法は、線形シス
テムを仮定し、原像と符号化像の間の平均2乗誤りを最
小化することである。これは多くの像符号器で取られて
いる方法である。この方法の問題点は、人間の視覚シス
テム(HVS)が、線形システムではなく、平均2乗誤
り計量を使用していないことである。従って、知覚符号
器49の目的は、人間の視覚システムの性質に基づいて
ビット割り当てを実行するための知覚しきい値を与える
ことである。また、これらのしきい値は図9および図1
0の目標歪みレベルを形成する。
【0114】知覚しきい値は、符号化像に存在する歪み
が、人間の観察者にとって、一様に分布して現れるよう
にビット割当を実行する手段を提供する。すなわち、知
覚しきい値の使用によって、存在する符号化産物はすべ
ておよそ等しい可視性を有する。システムのビット速度
が減少すると、明白な(すなわち、局所化された)符号
化誤りの生成がなければ符号化像の知覚品質は一般的に
低下する。
【0115】図12は、図1の前進推定ブロックからの
バーIT(t−4)信号に応答する知覚しきい値生成器
93、BFFブロック56内の出力バッファからのバッ
ファ・フルネス信号に応答する速度プロセッサ91、お
よび、生成器93とプロセッサ91の出力信号に応答す
る目標歪み信号を生成する乗算器92からなる。
【0116】知覚しきい値生成器93の出力は、要素3
8(図2)によって受信される各周波数領域要素に対す
るしきい値のセットであり、これが、その空間的地点で
のその周波数バンドに対する符号化歪みの相対的可視性
の推定値を与える。以下で詳細に説明するように、これ
らのしきい値は原像の場面内容に依存するため、ビット
割当は入力の変化に適応する。
【0117】生成器93で考慮される像特性の1つは周
波数感度である。(この説明の文脈では、通常「周波数
」と考えられているものではなく、像の変化の速さに関
係する変換領域成分を扱う。しかし、以下の数段落では
、「周波数」に関して起きることを説明するのが有用で
あろう。)周波数感度は、視覚システム変調変換関数(
MTF)が平坦でないという事実を利用する。相対的可
視性は、周波数の関数として、適度に良好なレベルでス
タートし、周波数とともにある周波数におけるピークま
で増大し、その後に、低周波での相対的可視性以下まで
周波数とともに減少する。
【0118】MTF関数は、低周波よりも高周波でのほ
うが多くの量子化誤りが挿入される可能性があることを
意味する。従って、高周波サブバンドに対する知覚しき
い値は、低周波サブバンドのものよりも高くなる。ピー
ク可視性が起こる絶対周波数はスクリーンの大きさおよ
び視距離に依存する。しかし、およそ、ピーク可視性は
、QVS38に送られる周波数要素のうち2番目に低い
ものの上端付近で起こる。また、HVSは低周波のちら
つきに敏感なため、DCしきい値が、MTFによって厳
密に要求されるものよりもかなり低い値に設定される。
【0119】知覚しきい値を色調入力に拡張するには、
色調の定義が必要となる。「色調」は与えられた地点で
のACエネルギーに、そのエネルギーの可視性で重みづ
けられた量としてとらえられる。しかし、実際には、H
VSは、縁に沿った歪みには非常に敏感であるが、縁を
横切る歪みにはそれほど敏感ではない。これは、方向性
の概念を導入することによって考慮される。全周波数に
わたって単一の色調推定値を計算する代わりに、水平、
対角線、および垂直成分(RawHoriz,RawD
iagおよびRawVert成分)水平色調(Hori
zTex)、対角線色調(DiagTex)および垂直
色調(VertTex)信号が次の3つの式に従って生
成される。
【0120】 HorizTex=RawHoriz+0.50×Ra
wDiag  (10)DiagTex=0.25×R
awHoriz+RawDiag          
      +0.25×RawVert      
              (11)VertTex
=0.5×RawDiag+RawVert     
   (12)ただし、
【数8】 これは8×8ウィンドウの最上行のみにわたる和である
【数9】 これは8×8ウィンドウの一番左の列のみにわたる和で
ある;
【数10】 これはウィンドウの残りの周波数要素にわたる和である
。実際には、和は最低周波数象限に制限される。その理
由は、それらの成分が一般的な8×8ウィンドウ内のエ
ネルギーの90パーセント以上を含むためである。
【0121】生成器93の最終要素は、時間マスキング
を考慮する。場面内の決まった地点で、2個のフレーム
の間で像内容に大きな変化があった場合、HVSは現フ
レームのその地点での高周波の詳細にはあまり敏感では
ない。大きな時間的な差の発生を検出することによって
、こうした地点での知覚しきい値は現フレームに対して
増加されることが可能である。これによって、これらの
地点における高周波の詳細に割り当てられることになっ
ていたビットが像の他の部分の利用されることが可能と
なる。
【0122】図13で、変換された像情報(平均を除去
したもの)バーIT(t−4)が、加算器101、バッ
ファ94、減算器95、現色調プロセッサ96、および
基本しきい値参照テーブル111に送られる。加算器1
01は、バーIT(t−4)の(0,0)成分をその平
均信号M(t−4)と加算して局所明度推定値を生成し
、その結果を明度補正切り捨て回路97に送る。続いて
回路97は、その(0,0)変換成分を、明度補正参照
テーブル110に送られる局所明度補正制御信号に変換
する。
【0123】他の63個のサブバンドは2つのデータ流
に分割される。一方はフレーム・バッファ94および減
算器95へ行き、そこで時間フレーム差が生成される。 この差は、この時間フレーム差を色調プロセッサ98に
送ることによって時間マスキング補正を計算するために
使用される。他方のパスは直接色調プロセッサ96に送
られる。色調プロセッサ96および98はそれぞれ式1
0および数10を実行する。
【0124】図14に図示されるように、色調プロセッ
サは、フレームt−4の像信号バーIT(x,y)を受
信する参照テーブル(LUT)114からなり、数8、
数9、および数10のためにフレームの因子MTF(X
,Y)・バーIT2(i,j)を生成する。セレクタ1
05は、各因子をRawHoriz累算器106、Ra
wVert累算器107またはRawDiag累算器1
08のいずれかに転送する。生成された生の色調推定値
は、式10、11および12に従って結合器109で適
切に加算され、射影された方向の色調推定値を生成する
【0125】図13の説明を続けると、プロセッサ96
および98で生成された射影方向色調推定値の2つのセ
ットは結合器99を通り、結合器99は次式に従ってC
ombinedTexture(結合された色調)信号
を生成する。CombinedTexture=T0・
(96の出力)+T1・(98の出力)ただし、T0お
よびT1は一定の重み定数であり、一般的には0.5で
ある。
【0126】結合された色調推定値はマッピングLUT
100に送られ、マッピングLUT100は次式に従っ
て色調補正(texture correction)
因子を生成する。 TextureCorrection=  1+K1l
og(1+K2CombinedTexture)ただ
し、K1は一般的に0.5と2の間の定数、K2は一般
的に1/1000と1/10000の間の定数である。 このLUTは方向パワー領域色調推定値を振幅領域しき
い値補正に変換する。
【0127】LUT100の出力は明度補正参照テーブ
ル110に送られる。これはブロック97の明度補正信
号にも応答する。このテーブルは、振幅領域色調しきい
値補正に適切な明度補正因子を乗ずる。参照テーブル1
10の出力は最後に基本しきい値参照テーブル111に
送られる。これは像信号をテーブル110の出力で変調
し、それによってフレーム信号バーIT(t−4)の各
ブロックの各周波数要素に対する知覚しきい値を生成す
る。基本しきい値LUTは適切な方向色調や明度補正因
子を取り、周波数依存の基本しきい値を生成する。すな
わち、このLUTは信号PTij(t−4)を生成し、
この信号は、各フレームに対する64個の信号であって
、DCT回路37によってQVS38に供給された各周
波数成分ごとに1つ存在する。
【0128】上記のように、知覚符号器49の目標の1
つは、QVS38によって(BFF56を通して)後段
の回路に送られるビットの速度が本質的に一定であるこ
とを保証することである。これは、BFF56内のバッ
ファのフルネスが適切に制御されることを確実にするこ
とによって実現される。
【0129】図2の符号器内のバッファ制御は、QVS
38内のフレーム幅目標歪みを修正することに基づく。 バッファがある基準レベルよりも高い点まで満たされた
場合、バッファがその占有レベルを低下させることがで
きるように、より高い目標歪みが設定される。他方、バ
ッファ・フルネスがその基準レベルよりも低い場合、よ
り低い目標歪みが設定される。
【0130】あるバッファ・フルネスBtが与えられる
と、次フレームに対して所望されるバッファ・フルネス
は次式で定式化される。 Bp+1=Bref+(Bp−Bref)×k0ただし
、Brefはバッファ・フルネスの所望されるレベル、
Bpはフレームpのバッファ・フルネス、およびk0は
一定のバッファ制御パラメータで、0<k0<1である
。しかし、 Bp+1=Bp+Rp+1−RCH である。ただし、Rp+1はフレームp+1でバッファ
に入るビット数であり、RCHは各フレームでバッファ
を出るビット数(チャネル容量)である。
【0131】我々は、選択された歪みレベルDに対する
1つの良い目標速度RT(D)(Tは「目標」を表す)
は、数11に従って(図2のt−4フレームを参照して
)計算される。
【数11】 ただし、標準偏差σはプロセッサ53(図1)で計算さ
れ、パラメータaおよびbは2個の先行するフレームか
ら次式で計算される。
【数12】
【数13】 数12の最小化演算は、単に分母の小さい値に対する不
安定性を避けるために含められている。
【0132】数11、数12および数13を使用して、
目標歪みは次式で与えられる。
【数14】 数14中の速度RTにバッファ・フルネス測度を代入す
ると(数10を援用して)次式が得られる。
【数15】
【0133】数15の計算はプロセッサ91で実行され
る。これは、定数k0、定数Bref、現フレームのσ
値(σt−4)、前フレームのD値、σ値およびB値(
D(t−5)、σ(t−5)、およびB(t−5))、
およびそれ以前のB値(すなわち、B(t−6))を必
要とする。σ値はプロセッサ53(図1)から与えられ
、B値はBFFブロック56から与えられる。もちろん
、Bおよびσのさまざまな遅延された像はプロセッサ9
1内の適当なレジスタで取得される。数15によって要
求される指数およびその他の計算は、計算可能または参
照テーブルから導出可能である。
【0134】プロセッサ91によって生成されるD値は
、ブロック93で生成される知覚しきい値を変更するた
めに、乗算器92に送られる。変更された知覚しきい値
信号は、上記のように、図10のセレクタ79に送られ
る。
【0135】バッファ・フルネスおよびフォーマッタ5
6。上記のように、バッファ・フルネス回路56は、知
覚符号器49に、バッファ・フルネスに関する情報を提
供する必要がある。もちろんこれは、ブロック56が、
満たされるバッファを含むことを意味する。いまの場合
、実際にそうである。BFFブロック56は、送信され
なければならないデータのさまざまなセグメントを累算
し、そのデータを、変調回路、パワー増幅回路、および
送信アンテナに送る。
【0136】要約すれば、ブロック56は以下の信号を
受信する。 1.符号化移動ベクトルCODED  MV(t−4)
。 これは、ハフマン符号化パケットの集合であり、各パケ
ットは、図5および図6に関して詳細に説明されたよう
に、スライスの移動ベクトルを記述する。 2.リーク因子信号L(t−4)。 3.スケール因子Sij。 4.符号器47からの符号化情報。これは、コードブッ
ク87から選択されたコードブック・ベクトルの識別子
と、量子化されたスーパーブロック・ベクトルである。 5.符号器46からの符号化情報(符号器47からの情
報とほとんど同様)。
【0137】上記のように、符号器47の符号化情報は
符号器46の符号化情報よりも重要であると見なされる
ため、符号器47の符号化情報が受信され、ブロック5
6のバッファに空きが残っている場合にのみ、符号器4
6の情報の流入が考慮される。しかし、符号器47の情
報に関しても、ブロック56のバッファはより重要な情
報でまず満たされる。BFF56におけるバッファ・ア
ンダーフローは、チャネルへの一定ビット速度を維持す
るために、後段の回路にダミー・データを送ることによ
って処理される。このほとんど起こり得ない事象は、単
にバッファの0アドレスのデータを再送信することによ
って容易に処理される。
【0138】バッファ・オーバーフローは、バッファに
入らないデータを単に送信しないことによって処理され
る。この場合、最も重要でないデータをまず落とすのが
望ましい。「落とす」という言葉は、バッファ内のいく
つかのデータを送信せずに次フレームのデータのために
バッファを空にし、重要度の低い新データをバッファに
ロードしないという意味である。もちろん、バッファ・
フルネス測度は知覚しきい値と知覚ブロック49で結合
され、大域的目標歪みレベルを形成する。これは、ブロ
ック56の出力バッファが、生成された全データ(符号
器46のデータを含む)で満たされることを可能にする
。符号器46内の符号化の主な結果は、符号器47のデ
ータにおける符号化を精密化し、それらの信号の受信可
能性を高めることである。
【0139】符号器46以外のソースから受信された情
報は、正確に受信されるような方法で送信される必要が
ある。すなわち、ブロック56のフォーマッタ・セクシ
ョンはそのことを保証するような方法で情報を符号化し
なければならない。これは、誤り訂正符号を実現する従
来の符号器手段によって実現可能である。符号器46以
外から導出された信号は強力な誤り訂正符号で符号化さ
れ、符号器46から受信された信号はそれほど強力でな
い誤り訂正符号で(あるいは誤り訂正符号無しで)符号
化される。
【0140】同時出願第07/611,225号では、
符号配置の概念を使用して信号を符号化するシステムが
開示されている。符号配置は、配置内のある符号の他の
全符号からのハミング距離が大きく、配置内のその他の
符号の他の符号からのハミング距離が小さいように形成
されることが可能である。この符号化の原理は、少ない
劣化の目標を達成するために、ブロック56のフォーマ
ッタ・セクション内で、またはブロック56以外の回路
で都合良く実現可能である。
【0141】HDTV受信機の復号器。図15は、上記
のHDTV送信機の符号器に適合するHDTV受信機の
ブロック図である。これは信号を、例えばアンテナから
受信し、ブロック211でそれを復号して、送信機内の
BFFブロック56にロードされた信号を生成する。こ
の信号は、コードブック・ベクトル識別子、量子化スー
パーブロック・ベクトル信号、リーク因子、スケール因
子、フレーム平均、および移動ベクトルである。これら
の信号の受信、結合された受信信号からの分離、誤り符
号確認、および可変長符号の復号はすべてブロック21
1で実行される。
【0142】復号器での処理は、コードブック・ベクト
ル識別子をコードブック・ベクトル201に送り、量子
化ベクトル信号およびスケール因子を量子化復号器20
2に送ることから始まる。ブロック201および202
はそれぞれ図11のブロック102および103に対応
し、合わせて図2の要素39に類似した逆量子化要素を
形成する。図2と同様に、逆量子化要素の出力は逆DC
T変換回路(図15では回路203)に送られる。さら
にその出力は、加算器204で、すでに復号器に格納さ
れている信号と加算される。
【0143】フレームの量子化ベクトル信号は、フレー
ム平均が削除された像信号から生成されているため、加
算器204の出力にはフレーム平均が欠如している。こ
れは、フレーム平均を加算する加算器205で補正され
る。加算器205の出力信号は、HDTV受信機の復号
器のフレーム出力を形成する。この出力は増幅器および
表示回路212と、フレーム・バッファ回路206に送
られ、フレーム・バッファ回路206には1フレーム分
の情報が格納される。バッファ回路206に格納された
各フレームに対し、バッファ回路206は前フレームを
出力する。
【0144】前フレーム信号は移動補償ブロック207
に送られ、送られてきた移動信号に応答して、現フレー
ムの推定値を形成する。移動補償ブロック207は図2
の移動補償ブロック43と同一である。フレーム平均は
、減算器209で、移動補償ブロック207の出力から
、前フレームの平均を減算することによって減算される
。前フレームの平均はバッファ208から得られ、そこ
に現フレームの平均が挿入される。最後に、減算器20
9の出力は乗算器210に送られ、乗算器210はその
信号にリーク因子信号を乗ずる。乗算器210の出力は
、上記の加算器204で使用される信号である。
【0145】
【発明の効果】以上述べたごとく、本発明によれば、線
形ではない人間の知覚に適合した像の符号化を行うHD
TV符号化装置が実現される。本発明の符号化装置によ
れば、予測誤りの測度に基づいて大ブロックまたは小ブ
ロックを移動する移動ベクトルの集合が生成され、移動
ベクトルに割り当てられたビット・バジェットの範囲内
で予測誤りを最小化することができる。
【図面の簡単な説明】
【図1】HDTVディジタル符号器の前進推定セクショ
ンのブロック図である。
【図2】図1の前進推定セクションと相互作用するHD
TV符号器の符号化ループ・セクションのブロック図で
ある。
【図3】粗移動ベクトル検出器のハードウェア構成図で
ある。
【図4】粗移動ベクトル検出器の出力を考慮する精細移
動ベクトル検出器のハードウェア構成図である。
【図5】像データの「スライス」と考えられるものの空
間関係の説明図である。
【図6】与えられたビット・バジェット以内に適合する
移動ベクトルの混合を選択する1方法の図である。
【図7】リーク因子αを評価する1実施例の図である。
【図8】図2のQVS38ブロックで量子化されたスー
パーブロックの配置図である。
【図9】選択誤り信号のセットがコードブック・ベクト
ル選択のために計算される方法を示す図である。
【図10】QVSブロック38のブロック図である。
【図11】逆量子化ブロック39のブロック図である。
【図12】知覚符号器49の構造を示す図である。
【図13】知覚プロセッサ93の構造を示す図である。
【図14】色調プロセッサ96および98のブロック図
である。
【図15】ディジタルHDTV受信機のブロック図であ
る。
【図16】2個の固定リーク因子のセットから1個のリ
ーク因子を選択する、修正された前進推定ブロックの図
である。
【図17】一時フィルタリングの測度を含むフレーム・
バッファ回路の図である。
【符号の説明】
11  フレーム平均プロセッサ 12  バッファ 13  移動ベクトル生成器 14  移動ベクトル・セレクタ/符号器15  バッ
ファ 16  移動補償器 17  バッファ 18  バッファ 19  バッファ 20  リーク因子プロセッサ 21  バッファ 22  バッファ 23  乗算器 24  バッファ 25  バッファ 26  減算器 27  減算器 28  減算器 29  DCT変換回路 30  DCT変換回路 31  バッファ 32  バッファ 35  減算器 36  減算器 37  DCT変換回路 38  量子化器およびベクトル・セレクタ39  逆
量子化器 40  逆DCT回路 41  加算器 42  フレーム・バッファ 43  移動補償器 44  減算器 45  乗算器 46  可変長符号器 47  可変長符号器 48  バッファ 49  知覚符号器 50  バッファ 51  バッファ 52  バッファ 53  プロセッサ 54  加算器 56  バッファ・フルネスおよびフォーマッタ57 
 レジスタ 58  しきい値回路 59  加算器 60  しきい値レジスタ 61  8×8低域フィルタ 62  サブサンプラ 63  フレーム・メモリ 64  移動推定器 65  最良一致計算器 66  フレーム・メモリ 67  移動推定器 68  最良一致計算器 69  半ピクセル推定器 70  ハフマン符号器 71  メモリ 72  ソータ 73  メモリ 74  メモリ 75  累算器 76  しきい値検出器 77  メモリ 78  乗算器 79  セレクタ 80  差誤り計算器 81  量子化器 82  量子化復号器 83  減算器 84  減算器 85  累算器 86  比率計算器 87  ベクトル・コードブック 88  結合器回路 89  しきい値回路 90  除算器 91  速度プロセッサ 92  乗算器 93  知覚しきい値生成器 94  バッファ 95  減算器 96  現色調プロセッサ 97  明度補正切り捨て回路 98  色調プロセッサ 99  結合器 100  マッピングLUT 101  加算器 102  ベクトル・コードブック 103  量子化復号器 104  乗算器 105  セレクタ 106  RawHoriz累算器 107  RawVert累算器 108  RawDiag累算器 109  結合器 110  明度補正参照テーブル 111  基本しきい値参照テーブル 114  参照テーブル 115  劣化判定回路 178  バッファ 201  ベクトル・コードブック 202  量子化復号器 203  逆DCT変換回路 204  加算器 205  加算器 206  フレーム・バッファ回路 207  移動補償器 208  バッファ 209  減算器 210  乗算器 212  増幅器および表示回路

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】  送られた像フレーム・ピクセル信号I
    (t)に応答する前進推定ブロックと、このブロックは
    、選択された処理時間T以内に制御信号を生成する手段
    と、遅延信号I(t−T)を生成するために、前記選択
    された処理時間だけ前記送られた像フレーム信号を遅延
    する手段とからなる前記制御信号および前記遅延信号I
    (t−T)に応答して、前記送られた像フレーム・ピク
    セル信号に対する量子化符号信号を生成する符号化ルー
    プとからなることを特徴とするHDTV符号化装置。
  2. 【請求項2】  制御信号を生成する前記手段が、信号
    I(t)の変化の測度に対応するフレーム標準偏差制御
    信号を生成する手段からなることを特徴とする請求項1
    の装置。
  3. 【請求項3】  制御信号を生成する前記手段が、信号
    I(t)の平均信号レベルに対応するフレーム平均制御
    信号を生成する手段からなることを特徴とする請求項1
    の装置。
  4. 【請求項4】  制御信号を生成する前記手段が、信号
    I(t−T)と比較して信号I(t)の変化性に関係す
    るリーク因子制御信号を生成する手段からなることを特
    徴とする請求項1の装置。
  5. 【請求項5】  制御信号を生成する前記手段が、移動
    ベクトル信号を生成する手段からなり、前記移動ベクト
    ル信号が、信号I(t)を推定するためにI(t−T)
    の異なるサイズのブロックに分与されるように移動を指
    定することを特徴とする請求項1の装置。
  6. 【請求項6】  前記符号化ループが移動補償手段から
    なり、該移動補償手段は該手段によって生成された前記
    移動ベクトルに応答して制御信号を生成し、該制御信号
    が、信号I(t)を推定するためにI(t−T)の異な
    るサイズのブロックに分与される移動を指定することを
    特徴とする請求項5の装置。
  7. 【請求項7】  前記送られた像フレーム信号を前記選
    択された処理時間だけ遅延する前記手段が、前記I(t
    −T)および前記移動ベクトルに応答して、前記信号I
    (t)を推定する、変位されたフレームI’(t)信号
    を生成する手段からなることを特徴とする請求項5の装
    置。
  8. 【請求項8】  制御信号を生成する前記手段が、信号
    I(t)を予測するための移動ベクトル信号を生成する
    手段からなり、前記移動ベクトル信号がI(t−T)の
    ブロックに分与される移動を指定し、該ブロックは2種
    のサイズからなり、一方は小サイズを有し、他方は大サ
    イズを有することを特徴とする請求項1の装置。
  9. 【請求項9】  移動ベクトル信号を生成する前記手段
    が、指定するのに与えられたビット・バジェット以下の
    ビット数を要する小サイズのブロックと大サイズのブロ
    ックの混合を選択することを特徴とする請求項8の装置
  10. 【請求項10】  移動ベクトル信号を生成する前記手
    段が、指定するのに与えられたビット・バジェットを、
    与えられた値より大きく超過しないビット数を要する移
    動ベクトルの混合において、小サイズのブロックと大サ
    イズのブロックを選択することを特徴とする請求項8の
    装置。
  11. 【請求項11】  移動ベクトルを生成する前記手段が
    、信号I(t−T)から信号I(t)の推定における誤
    り測度を最小化する前記混合を選択することを特徴とす
    る請求項10の装置。
  12. 【請求項12】  移動ベクトルを生成する前記手段が
    、I(t)およびI(t−T)に応答して、移動ベクト
    ルの粗推定値を生成し、信号I(t)を推定するために
    I(t−T)の与えられたサイズのブロックに分与され
    た移動を指定する第1手段と、I(t)、I(t−T)
    および前記第1手段の前記粗推定値に応答して、I(t
    −T)の前記与えられたサイズのブロックおよびI(t
    −T)の小サイズのブロックの集合に分与された移動を
    指定し(ただし、小サイズ・ブロックの各集合は前記与
    えられたサイズのブロックを形成する)、移動ベクトル
    の精細な推定値を生成し、前記信号I(t)を推定する
    ために、与えられたサイズのブロックまたは小サイズ・
    ブロックに分与された移動を指定する第2手段とからな
    ることを特徴とする請求項8の装置。
  13. 【請求項13】  前記精細推定値をサブピクセルの正
    確さまで補間する第3手段からなることを特徴とする請
    求項12の装置。
  14. 【請求項14】  移動ベクトルの選択された混合を可
    変長符号化する手段からなることを特徴とする請求項1
    1の装置。
JP3348611A 1990-12-11 1991-12-06 Hdtv符号化装置 Pending JPH04341084A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/626,356 US5144423A (en) 1990-12-11 1990-12-11 Hdtv encoder with forward estimation and constant rate motion vectors
US626356 1990-12-11

Publications (1)

Publication Number Publication Date
JPH04341084A true JPH04341084A (ja) 1992-11-27

Family

ID=24510059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3348611A Pending JPH04341084A (ja) 1990-12-11 1991-12-06 Hdtv符号化装置

Country Status (5)

Country Link
US (1) US5144423A (ja)
EP (1) EP0490540A3 (ja)
JP (1) JPH04341084A (ja)
CA (1) CA2055047A1 (ja)
MX (1) MX9102420A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008206047A (ja) * 2007-02-22 2008-09-04 Nippon Hoso Kyokai <Nhk> 符号化装置及びプログラム

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2143137T3 (es) * 1990-12-28 2000-05-01 Canon Kk Codificacion de imagenes con optimizacion de la cantidad de codigo generada.
US5285276A (en) * 1991-03-12 1994-02-08 Zenith Electronics Corp. Bi-rate high definition television signal transmission system
US6091884A (en) * 1991-08-19 2000-07-18 Index Systems, Inc. Enhancing operations of video tape cassette players
US6487362B1 (en) 1991-08-19 2002-11-26 Index Systems, Inc. Enhancing operations of video tape cassette players
FR2684258B1 (fr) * 1991-11-27 1998-06-05 Thomson Consumer Electronics Procede d'estimation et de codage hierarchise du mouvement de sequences d'images.
DE69332848T2 (de) * 1992-01-29 2004-01-29 Mitsubishi Electric Corp Vorrichtung und Verfahren zum Aufzeichnen/Wiedergeben von Videoinformation
US6870884B1 (en) * 1992-01-29 2005-03-22 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
KR960015396B1 (ko) * 1992-02-28 1996-11-11 삼성전자 주식회사 고정비트율 압축부호화방법
US6181826B1 (en) * 1992-07-22 2001-01-30 Eastman Kodak Company Method and associated apparatus for achieving additional signal level resolution from a quantized digital representation of an image
KR950005621B1 (ko) * 1992-09-30 1995-05-27 주식회사금성사 영상 디코더
KR0166727B1 (ko) * 1992-11-27 1999-03-20 김광호 영상움직임관련정보를 양자화제어에 이용하는 부호화방법 및 장치
US5444489A (en) * 1993-02-11 1995-08-22 Georgia Tech Research Corporation Vector quantization video encoder using hierarchical cache memory scheme
US5398069A (en) * 1993-03-26 1995-03-14 Scientific Atlanta Adaptive multi-stage vector quantization
US5497338A (en) * 1993-04-09 1996-03-05 Sharp Kabushiki Kaisha Motion vector detecting circuit
GB9325073D0 (en) * 1993-12-07 1994-02-02 Eidos Plc Improvements in or relating to video processing systems
US5452009A (en) * 1993-12-29 1995-09-19 Zenith Electronics Corp. Digital transmission system with data rate optimized for noise in transmission medium
US5654760A (en) * 1994-03-30 1997-08-05 Sony Corporation Selection of quantization step size in accordance with predicted quantization noise
CA2144253C (en) * 1994-04-01 1999-09-21 Bruce F. Naylor System and method of generating compressed video graphics images
US5554181A (en) * 1994-05-04 1996-09-10 Regents Of The University Of Minnesota Stent
EP1701552B1 (en) * 1994-06-08 2008-07-30 Matsushita Electric Industrial Co., Ltd. Image conversion apparatus
US5734432A (en) * 1994-07-15 1998-03-31 Lucent Technologies, Inc. Method of incorporating a variable rate auxiliary data stream with a variable rate primary data stream
WO1996008114A1 (en) * 1994-09-02 1996-03-14 David Sarnoff Research Center, Inc. Method and apparatus for global-to-local block motion estimation
CA2157066C (en) 1994-10-21 1999-09-21 Nelson Botsford Iii Method for controlling a compressed data buffer
US5734419A (en) * 1994-10-21 1998-03-31 Lucent Technologies Inc. Method of encoder control
US5473376A (en) * 1994-12-01 1995-12-05 Motorola, Inc. Method and apparatus for adaptive entropy encoding/decoding of quantized transform coefficients in a video compression system
US5646687A (en) * 1994-12-29 1997-07-08 Lucent Technologies Inc. Temporally-pipelined predictive encoder/decoder circuit and method
US5778097A (en) * 1996-03-07 1998-07-07 Intel Corporation Table-driven bi-directional motion estimation using scratch area and offset valves
WO1998035500A1 (en) * 1997-02-11 1998-08-13 Sharp Kabushiki Kaisha Method and apparatus for optimizing quantizer values in an image encoder
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6948794B2 (en) 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
FI107496B (fi) * 1997-07-18 2001-08-15 Nokia Mobile Phones Ltd Kuvan kompressointi
US6252994B1 (en) 1998-01-26 2001-06-26 Xerox Corporation Adaptive quantization compatible with the JPEG baseline sequential mode
US6175650B1 (en) 1998-01-26 2001-01-16 Xerox Corporation Adaptive quantization compatible with the JPEG baseline sequential mode
US6459822B1 (en) * 1998-08-26 2002-10-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Video image stabilization and registration
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
JP4113044B2 (ja) * 2003-05-23 2008-07-02 松下電器産業株式会社 画像符号化装置
US8358693B2 (en) 2006-07-14 2013-01-22 Microsoft Corporation Encoding visual data with computation scheduling and allocation
US8311102B2 (en) * 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
US8340193B2 (en) * 2006-08-04 2012-12-25 Microsoft Corporation Wyner-Ziv and wavelet video coding
US7388521B2 (en) * 2006-10-02 2008-06-17 Microsoft Corporation Request bits estimation for a Wyner-Ziv codec
US8340192B2 (en) * 2007-05-25 2012-12-25 Microsoft Corporation Wyner-Ziv coding with multiple side information
CN103947206B (zh) 2011-10-14 2018-01-23 超威半导体公司 基于区域的图像压缩的方法和装置
US9420295B2 (en) 2014-01-10 2016-08-16 Sony Corporation Joint mode decision with shared bit-budget condition

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63269882A (ja) * 1987-04-28 1988-11-08 Mitsubishi Electric Corp 画像符号化伝送装置
JPH01183286A (ja) * 1988-01-18 1989-07-21 Fujitsu Ltd 動画像の予測符号化方式

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4727422A (en) * 1985-06-03 1988-02-23 Picturetel Corporation Method and apparatus for efficiently communicating image sequence having improved motion compensation
CA1252569A (en) * 1985-09-13 1989-04-11 Akihiro Furukawa Method and device of coding a digital video signal for reproduction of pictures with a high quality even upon occurrence of a drastical change between the pictures
US4851906A (en) * 1986-11-04 1989-07-25 Nec Corporation Data compression using orthogonal transform and vector quantization
JP2830111B2 (ja) * 1989-07-21 1998-12-02 ソニー株式会社 高能率符号化装置
US5040062A (en) * 1990-03-19 1991-08-13 At&T Bell Laboratories Television signal arrangement where selected signals are encoded digitally
US5043808A (en) * 1990-03-19 1991-08-27 At&T Bell Laboratories High definition television arrangement employing motion compensated prediction error signals
US5063444A (en) * 1990-03-19 1991-11-05 At&T Bell Laboratories High definition television arrangement with signal selections adapted to the available transmission capacity

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63269882A (ja) * 1987-04-28 1988-11-08 Mitsubishi Electric Corp 画像符号化伝送装置
JPH01183286A (ja) * 1988-01-18 1989-07-21 Fujitsu Ltd 動画像の予測符号化方式

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008206047A (ja) * 2007-02-22 2008-09-04 Nippon Hoso Kyokai <Nhk> 符号化装置及びプログラム

Also Published As

Publication number Publication date
EP0490540A3 (en) 1993-05-26
US5144423A (en) 1992-09-01
EP0490540A2 (en) 1992-06-17
MX9102420A (es) 1992-06-01
CA2055047A1 (en) 1992-06-12

Similar Documents

Publication Publication Date Title
JP3088166B2 (ja) 適応リークhdtv符号化装置
JP3145160B2 (ja) 符号化装置
JPH04341084A (ja) Hdtv符号化装置
JP2633429B2 (ja) Hdtv受信機
JPH04323989A (ja) 高品位テレビ用符号化装置
EP0630157B1 (en) Systems and methods for coding alternate fields of interlaced video sequences
Zafar et al. Multiscale video representation using multiresolution motion compensation and wavelet decomposition
US8086052B2 (en) Hybrid video compression method
US5347309A (en) Image coding method and apparatus
US5093720A (en) Motion compensation for interlaced digital television signals
US6721359B1 (en) Method and apparatus for motion compensated video coding
US5821986A (en) Method and apparatus for visual communications in a scalable network environment
US7072397B2 (en) Optimal encoding of motion compensated video
US5337085A (en) Coding technique for high definition television signals
NO179890B (no) Adaptiv bevegelseskompensering for digitalt fjernsyn
JPH06189281A (ja) 適応的フレーム/フィールドフォーマット圧縮を用いた映像信号符号化装置
KR20000053028A (ko) 움직임 보상을 이용한 예측 코딩 방법 및 장치
US6040875A (en) Method to compensate for a fade in a digital video input sequence
US10873745B1 (en) Early intra coding decision (PPH)
JPH08130744A (ja) テレビジヨン受像装置
JP2776425B2 (ja) セル廃棄補償画像復号化方式
KR100203675B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
Netravali et al. A codec for HDTV
CN116800967A (zh) 一种图像编码方法、装置及设备