JPH08265779A - 映像信号符号化／復号化装置及びその方法 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、エラー信号の選択的符号化によっ
て、計算量を減らし得る低伝送レートの映像信号符号化
／復号化装置及びその方法を提供する。 【構成】 本発明の映像信号符号化方法は、映像信号の
現フレームとその前のフレームとの間の動き補償された
差分画素値を表すエラー信号を、各Ｍ×Ｎ個の動き補償
された差分画素値を備える複数のブロックに変換し、各
ブロックの動き補償された画素値の平均値を計算し、各
平均値を比較して、平均値の高い順に複数のブロックを
互いに重複無く選択し、それらのブロックの位置データ
を得て、選択された各ブロックに含まれるＭ×Ｎ個の動
き補償された差分画素値を１組の変換係数に変換し、そ
れを１組の量子化された変換係数に変換し、前記量子化
された変換係数と前記位置データとを組合わせることに
よって、符号化された信号を提供するものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像信号を処理する装置
及びその方法に関するものであって、とくに、映像信号
を選択的に符号化する低伝送レートの符号化器及びその
符号化方法とそれに対応する復号化器及びその復号化方
法に関する。

【０００２】

【従来の技術】周知のように、ディジタル化された映像
信号の伝送はアナログ信号の伝送より良い画質を維持す
ることができる。一連の映像「フレーム」からなる映像
信号がディジタル信号として表現される場合、とくに、
高精細度テレビの場合、大量のデータが伝送されなけれ
ばならない。しかし、従来の伝送チャンネルの使用可能
な周波数帯域は制限されているため、大量のディジタル
データを伝送するためには伝送すべきデータを圧縮する
か、その量を減らす必要がある。多様な圧縮技法の中で
確率的符号化技法と時間的／空間的圧縮技法とを組合わ
せた、いわゆるハイブリッド符号化（hybrid coding）
技法が最も効率的な圧縮技法として知られている。

【０００３】殆どのハイブリッド符号化技法は動き補償
ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離散
的コサイン変換）、ＤＣＴ係数の量子化及びＶＬＣ（可
変長符号化）などの手法を用いている。

【０００４】動き補償ＤＰＣＭは現フレームとその前フ
レームとの間の物体の動きを推定して、推定された物体
の動きから現フレームを予測するとともに、現フレーム
とその予測との間の差を表す差分信号またはエラー信号
を生成する方法である。この方法は、例えば、Staffan
Ericssonの「Fixed and Adaptive Predictors for Hybr
id Predictive/Transform Coding」、IEEE Transaction
s on Communications,COM-33,NO.12,1291〜1302頁(1985
年12月)、またはNinomiyaとOhtsukaとの「A Motion Com
pensated Interframe Coding Scheme for Television P
ictures」、IEEE Transactions on Communications,COM
-30,NO.1,201〜211頁(1982年1月)に記載されている。

【０００５】詳述すると、動き補償ＤＰＣＭでは、現フ
レームと前フレームとの間で推定された物体の動きに基
づいて、現フレームを前フレームから予測する。このよ
うな推定された動きは前フレームと現フレームとの間の
画素の変位を表す２次元動きベクトルによって表され
る。

【０００６】ある物体の画素変位を推定する方法は２つ
の基本的なタイプに分類される。１つはブロック単位の
推定で、他方は画素単位の推定である。ブロック単位の
推定に於いて、現フレームの各ブロックは最も良くマッ
チするブロックが得られるように前フレームのブロック
と比較される。それによって、現フレームの全ブロック
に対するフレーム間変位ベクトル（ブロックがフレーム
間でどの位移動したかを表す）が推定される。

【０００７】映像信号データ間の空間的な冗長度を除
去、または減少させる２次元ＤＣＴは、ディジタル映像
データブロック、例えば、８×８ブロックを１セットの
変換係数データに変換する。このような技術は、Chenと
Prattとによる「Scene Adaptive Coder,IEEE Transacti
ons on Communications,COM-31,NO.3(1984年3月)に記載
されている。このような変換係数を量子化器、ジグザク
走査及び可変長符号化で処理することによって、伝送さ
れるべき大量のデータを効果的に圧縮することができ
る。

【０００８】しかし、例えば、６４Ｋｂ／ｓの低伝送レ
ートの映像信号符号化システムにハイブリッド符号化技
法を適用しても、チャネル帯域が限られているために全
ての符号化された映像信号データを伝送するのは不可能
である。

【０００９】

【発明が解決しようとする課題】従って、本発明の目的
は、映像信号に含まれる複数のブロックを選択的に扱う
ことによって、符号化された映像信号の伝送レートを下
げる、映像信号の符号化／復号化器及びその方法を提供
することである。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の映像信号符号化方法は、映像信号符号化
器に適用して、入力される映像信号の現フレームとその
前フレームとの間の動き補償された差分画素値を表すエ
ラー信号を、符号化された信号に変換する。この映像信
号符号化方法は、前記エラー信号から各々Ｍ×Ｎ個の動
き補償された差分画素値（Ｍ及びＮは正の整数）を備え
る複数のブロックを生成する過程と、前記各ブロック毎
の平均値を、そのブロックに含まれた動き補償された画
素値を平均することによって計算する過程と、前記各ブ
ロックのなかで平均値が最高のものから順に複数のブロ
ックを選択するために、前記各ブロックの平均値を比較
するとともに、互いに重複しないように選択された各ブ
ロックの位置データを提供する過程と、前記選択された
各ブロックに含まれるＭ×Ｎ個の動き補償された差分画
素値を１組の変換係数に変換する過程と、前記１組の変
換係数を１組の量子化された変換係数に変換する過程
と、複数の前記量子化された変換係数の組と選択された
各ブロックの位置データとを組合わせることによって、
符号化された信号を提供する過程とを有する。

【００１１】

【実施例】以下、本発明の映像信号符号化及び復号化装
置について、図面を参照しながらより詳しく説明する。

【００１２】図１には、本発明による映像信号符号化器
のブロック図が示されている。

【００１３】現フレームの入力ディジタル映像信号は、
減算器１０１及びラインＬ１０を通して動き推定ブロッ
ク１２６へ与えられる。この動き推定ブロック１２６で
は、ラインＬ１０上の現フレーム信号とフレームメモリ
１２４からのラインＬ１２上の再構成された前フレーム
信号とを、通常のブロック単位の推定方法を用いて処理
することにより、１組の動きベクトルを推定する。該各
動きベクトルは現フレームの探索ブロックと前フレーム
の対応する探索領域内にある最適整合ブロックとの間の
変位を表すものである。

【００１４】動き推定ブロック１２６からのラインＬ２
０上の動きベクトルは、動き予測ブロック１２２及びエ
ントロピ符号化器１０７へ各々送られる。

【００１５】動き予測ブロック１２２は、動きベクトル
に応答して、フレームメモリ１２４から動きベクトルに
対応する画素データを取り出すことにより、予測された
現フレーム信号をブロック単位で生成し、ラインＬ３０
を介して減算器１０１と加算器１１５とへ提供する。

【００１６】動き予測ブロック１２２からの予測された
現フレーム信号は、減算器１０１に於いて現フレーム信
号から減算され、その結果のデータ、即ち、現フレーム
と予測された現フレームとの間の差分画素値を表すエラ
ー信号は、ラインＬ４０を介して本発明の映像信号符号
化器１０５へ与えられる。映像信号符号化器１０５に於
いては、本発明に従ってエラー信号が処理され、その中
に含まれた画素のエラー値に基づいて、複数の処理ブロ
ックを検出する。

【００１７】その後、各処理ブロックは、ＤＣＴ及び量
子化処理されて、複数の量子化された変換係数の組とし
て提供される。映像信号符号化器１０５は、ラインＬ７
０上の処理ブロックの位置データと、ラインＬ５０上の
量子化された変換係数とを各々出力する。映像信号符号
化器１０５の詳細については、以下図２乃至図４を参照
しながら述べる。

【００１８】これら量子化された変換係数及び処理ブロ
ックの位置データは、２つの信号経路を介して伝送され
る。その一方は、エントロピ符号化器１０７へ接続され
ており、そこで該係数及び位置データは、例えば、ラン
長と可変長符号化技法との組み合わせを用いて、ライン
Ｌ２０を加えられた動きベクトルとともに符号化され、
伝送機（図示せず）へ提供される。もう一方は、映像信
号復号化器１１３へ接続されており、ここで、量子化さ
れた変換係数の組は再構成されたエラー信号に再変換さ
れる。この映像信号復号化器１１３の詳細については、
図５を参照しながら述べる。

【００１９】復号化器１１３からのラインＬ８０上の再
構成されたエラー信号と動き予測ブロック１２２からの
予測された現フレーム信号とは加算器１１５に於いて組
み合わせられて、フレームメモリ１２４上に書き込まれ
るべき再構成された現フレーム信号として提供される。

【００２０】このエラー信号の再構成は、符号化器が受
信機に於ける復号化器の動作状態をモニターするために
必要であり、これによって、符号化器の再構成された現
フレーム信号が復号化器の信号からのずれるのを防止す
る。

【００２１】図２には、図１に示された映像信号符号化
器１０５の詳細なブロック図が示されている。減算器１
０１から入力されたエラー信号は、エラー信号メモリ２
１０に格納される。このエラー信号メモリ２１０内に格
納されたエラー信号はラインＬ６０を介して位置判定ブ
ロック２２０へ送られる。この位置判定器２２０では、
処理ブロック内の画素のエラー値に基づいて、エラー信
号から複数の処理ブロックを決定するとともに、処理ブ
ロックの位置データをエラー信号メモリ２１０へ提供す
る。この位置決定ブロック２２０の詳細は以下、図３を
参照しつつ述べる。

【００２２】位置決定ブロック２２０からの処理ブロッ
クの位置データは、ラインＬ７０を通して、図１に示し
たエントロピ符号化器１０７と映像信号復号化器１１３
とへ提供される。処理ブロックの位置データに応答し
て、エラー信号メモリ２１０は各処理ブロックに対して
１組のエラー値をＤＣＴブロック２３０へ提供する。各
処理ブロックはＤＣＴブロック２３０で処理されて、１
組の変換係数として量子化ブロック２４０へ与えられ
る。その後、変換係数は量子化ブロック２４０で量子化
され、１組の量子化された変換係数として、ライン５０
を通して図１に示したエントロピ符号化器１０７と映像
信号復号化器１１３とへ与えられる。

【００２３】図３には、図２に示される位置判定ブロッ
ク２２０の詳細なブロック図が示されている。同図に示
されるように、エラー信号はラインＬ６０を介して絶対
値回路３１０へ送られる。この絶対値回路３１０はエラ
ー信号内の各エラー値をその絶対値に変換する。絶対値
回路３１０から出力されたエラー値の絶対値は、メジア
ンフィルタ３２０に於いて、画素単位で、通常のメジア
ンフィルタリング法を用いてフィルタリングされる。

【００２４】詳述すると、このメジアンフィルタ３２０
で、入力画素値は、その画素周りのウィンドウ内に含ま
れた画素値のメジアンによって置き換えられる。メジア
ンフィルタ３２０によってフィルタリングされたエラー
信号は、Ｎ個の（ｉ，ｊ）ブロック形成ユニット３３
２、３３４、３３６及び３３８へ提供される。

【００２５】図４には、１つのフレームのフィルタリン
グされたエラー値、例えば、Ｐ×Ｑ個の画素が示されて
おり、かっこ内の数字はフレーム上の４隅の画素のＸ，
Ｙ座標を表すものである。各々の（ｉ，ｊ）ブロック形
成ユニットはＭ×Ｍ個の、例えば８×８画素（ｉ，ｊ）
エラーブロックを生成し、ここでｉとｊは各エラーブロ
ックの左側の上部コーナーのＸ及びＹ座標を表す。

【００２６】また、図３を再び参照すると、（Ｐ−Ｍ＋
１）×（Ｑ−Ｍ＋１）個のブロック形成ユニットのなか
で、図面の説明の便宜をはかるため４つだけ示されたブ
ロック形成ユニットが見られる。第１のブロック形成ユ
ニット、例えば（０，０）ブロック形成段３３２は、
（０，０）に位置したエラーブロックに対してフィルタ
リングされた１組のエラー値を提供する。同様に第２の
ブロック形成ユニット、例えば（０，１）ブロック形成
ユニット３３４と、Ｎ番目のブロック形成ユニット、例
えば（Ｐ−Ｍ，Ｑ−Ｍ）ブロック形成ユニット３３８と
は、各々（０，１）と（Ｐ−Ｍ，Ｑ−Ｍ）に位置したエ
ラーブロックに対してフィルタリングされたエラー値の
組を提供する。

【００２７】ブロック形成ユニット３３２、３３４、３
３６及び３３８は、各位置に該当するエラーブロックの
位置データ及びフィルタリングされた１組のエラー値
を、各々選択器３６０及びそれに対応する平均値計算器
３４２、３４４、３４６及び３４８へ提供する。各平均
値計算器は、提供されたデータに含まれたフィルタリン
グされたエラー値を平均処理することによって、各エラ
ーブロック毎の平均値を処理ブロック決定ユニット３５
０へ提供する。処理ブロック決定ユニット３５０に於い
ては、エラーブロックの全ての平均値を比較して重複し
ないように予め定められた数だけ、例えば、４つを平均
値が最大のものから順に選択する。例えば、図４で見ら
れるエラーブロックＢ３が、全てのエラーブロックのな
かで最大の平均エラー値を有するとすれば、エラーブロ
ックＢ３が最初に選択される。次に、エラーブロックＢ
１がエラーブロックＢ３及びＢ３と重複するブロックを
除外した残りのブロックなかで、最大のエラー値を有す
るとすれば、エラーブロックＢ１が選択される。このよ
うな過程は、予め定められた数の重複しないエラーブロ
ック、例えば、Ｂ１、Ｂ２、Ｂ３及びＢ４を選択するま
で続けて繰り返される。これらのエラーブロックは、処
理ブロックとして、図２に示した離散的コサイン変換ブ
ロック２３０で処理されるべく選択される。処理ブロッ
ク決定ユニット３５０の出力は処理ブロックを表わす選
択信号である。本発明の好的な実施例に従って、処理ブ
ロックの数が予め定められていたとしても、これはバッ
ファ（図示せず）の容量に基づいて、言い換えれば、出
力バッファ内のデータ量によって調整され得るものであ
る。

【００２８】選択器３６０は、処理ブロック決定ユニッ
ト３５０からの選択信号に応答して、ブロック形成ユニ
ットから伝送されたエラーブロックの位置データに基づ
いて処理ブロックの位置を画定する。また、選択器３６
０は、これを処理ブロックの位置データとして図２に示
したエラー信号メモリ２１０と図１に示したエントロピ
符号化器１０７及び映像信号復号化器１１３とに、ライ
ンＬ７１とラインＬ７０とを介して各々提供する。

【００２９】例えば、図４に示したブロックＢ１乃至Ｂ
４が処理ブロックとして選択された場合は、その左側上
部の画素位置Ｐ１乃至Ｐ４が処理ブロックの位置データ
となる。

【００３０】図５には、図１に示された映像信号復号化
器１１３の詳細なブロック図が示されている。図１に示
した映像信号符号化器１０５の出力の量子化された変換
係数は、ライン５０を通して逆量子化ブロック５１０へ
入力されて、ここで量子化変換係数に再構成される。変
換係数は、ＩＤＣＴ（逆離散的コサイン変換）ブロック
５２０に与えられ、処理ブロックにある再構成されたエ
ラー値が提供される。この再構成されたエラー値は再構
成エラー信号メモリ５３０に入力され、ここで複数のエ
ラー値の組は、ラインＬ７０上の処理ブロックの位置デ
ータに基づいて該当位置に格納される。再構成エラー信
号メモリ５３０の残りの部分は「０」にセットされて、
図１に示した加算器１１５へ、ラインＬ８０を介して再
構成されたエラー信号が提供される。

【００３１】図６には、映像信号復号化器７２０、加算
器７３０、予測ブロック７４０及びフレームメモリ７５
０より成る映像信号復号化器のブロック図が示されてお
り、これは図１に示した映像信号符号化器内の映像信号
復号化器１１３、加算器１１５、予測ブロック１２２及
びフレームメモリ１２４と各々実質的に同一である。

【００３２】図１に示した映像信号符号化器から伝送さ
れる符号化された映像信号は、エントロピ復号化器７１
０へ入力される。その後、このエントロピ復号化器７１
０は符号化された映像信号を復号して、予測ブロック７
４０に動きベクトルを与え、映像信号復号化器７２０に
処理ブロックの位置データ及び量子化された変換係数を
提供する。映像信号復号化器７２０に於いて、処理ブロ
ックの位置データと量子化された変換係数とは、映像信
号符号化器の映像信号復号化器１１３での方法と同様の
方法で処理されることによって、再構成されたエラー信
号が加算器７３０へ提供される。一方、予測ブロック７
４０は、動きベクトルに基づいてフレームメモリ７５０
から画素データを取り出すことにより、予測された現フ
レーム信号を加算器７３０に提供する。予測された現フ
レーム信号及び再構成されたエラー信号は、加算器７３
０に於いて組み合わせられて、再構成された現フレーム
信号がディスプレーユニットとフレームメモリ７５０へ
提供される。

【００３３】以上、本発明の特定の実施例について説明
したが、請求項に記載の本発明の範囲を逸脱することな
く当業者は種々の改変をなし得るであろう。

【００３４】

【発明の効果】従って、本発明によれば、複数の処理ブ
ロックが選択されかつ処理されることによって低伝送レ
ートの符号化された映像信号を提供することができ、ま
たその伝送レートを、フレーム内の処理ブロックの数を
変化させることによって容易に変更することができる。

【図面の簡単な説明】

【図１】本発明による映像信号符号化器のブロック図で
ある。

【図２】図１に示された映像信号符号化器の詳細なブロ
ック図である。

【図３】図２に示された位置判定ブロックの詳細なブロ
ック図である。

【図４】位置判定ブロックで処理ブロックを選択する方
法を図解した図である。

【図５】図１に示された映像信号復号化器の詳細なブロ
ック図である。

【図６】本発明による映像信号復号化器のブロック図で
ある。

【符号の説明】

１０１ 減算器 １０５ 映像信号符号化器 １０７ エントロピ符号化器 １１３ 映像信号復号化器 １１５ 加算器 １２２ 動き予測ブロック １２４ フレームメモリ １２６ 動き推定ブロック ２１０ エラー信号メモリ ２２０ 位置判定ブロック ２３０ ＤＣＴ（離散的コサイン変換）ブロック ２４０ 量子化ブロック ３１０ 絶対値回路 ３２０ メジアンフィルタ ３３２ （０，０）ブロック形成ユニット ３３４ （０，１）ブロック形成ユニット ３３６ （０，２）ブロック形成ユニット ３３８ （Ｐ−Ｍ，Ｑ−Ｍ）ブロック形成ユニット ３４２ 平均値計算器 ３４４ 平均値計算器 ３４６ 平均値計算器 ３４８ 平均値計算器 ３５０ 処理ブロック決定ユニット ３６０ 選択器 ５１０ 逆量子化ブロック ５２０ ＩＤＣＴ（逆離散的コサイン変換）ブロック ５３０ 再構成エラー信号メモリ ７１０ エントロピ復号化器 ７２０ 映像信号復号化器 ７３０ 加算器 ７４０ 予測ブロック ７５０ フレームメモリ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 映像信号符号化器に適用して、入力さ
   れる映像信号の現フレームとその前フレームとの間の動
   き補償された差分画素値を表すエラー信号を、符号化さ
   れた信号に変換する映像信号符号化方法であって、 前記エラー信号から各々Ｍ×Ｎ個の動き補償された差分
   画素値（Ｍ及びＮは正の整数）を備える複数のブロック
   を生成する過程と、 前記各ブロック毎の平均値を、そのブロックに含まれた
   動き補償された画素値を平均することによって計算する
   過程と、 前記各ブロックのなかで平均値が最高のものから順に複
   数のブロックを選択するために、前記各ブロックの平均
   値を比較するとともに、互いに重複しないように選択さ
   れた各ブロックの位置データを提供する過程と、 前記選択された各ブロックに含まれるＭ×Ｎ個の動き補
   償された差分画素値を１組の変換係数に変換する過程
   と、 前記１組の変換係数を１組の量子化された変換係数に変
   換する過程と、 複数の前記量子化された変換係数の組と選択された各ブ
   ロックの位置データとを組合わせることによって、符号
   化された信号を提供する過程とを含むことを特徴とする
   映像信号符号化方法。
2. 【請求項２】 映像信号符号化器に用いて、映像信号
   の現フレームとその前フレームとの間の動き補償された
   差分画素値を表すエラー信号を、符号化された信号に変
   換する映像信号符号化装置であって、 前記エラー信号から各々Ｍ×Ｎ個の動き補償された差分
   画素値を備える複数のブロックを生成する手段と、 前記各ブロック毎の平均値を、そのブロックに含まれた
   動き補償された画素値を平均することによって計算する
   手段と、 前記各ブロックのなかで平均値が最高のものから順に複
   数のブロックを選択するために、前記各ブロックの平均
   値を比較するとともに、互いに重複しないように選択さ
   れた各ブロックの位置データを提供する手段と、 前記選択された各ブロックに含まれるＭ×Ｎ個の動き補
   償された差分画素値を１組の変換係数に変換する手段
   と、 前記１組の変換係数を１組の量子化された変換係数に変
   換する手段と、 複数の前記量子化された変換係数の組と選択された各ブ
   ロックの位置データとを組合わせることによって、符号
   化された信号を提供する手段とを含むことを特徴とする
   映像信号符号化装置。
3. 【請求項３】 映像信号符号化器あるいは映像信号復
   号化器に用いて、映像信号の現フレームとその前フレー
   ムとの間の動き補償された差分画素値を表すエラー信号
   を、再構成する復号化装置であって、 前記エラー信号から各々Ｍ×Ｎ個の動き補償された差分
   画素値を備える複数のブロックを生成する手段と、前記
   各ブロック毎の平均値を、そのブロックに含まれた動き
   補償された画素値を平均することによって計算する手段
   と、前記各ブロックのなかで平均値が最高のものから順
   に複数のブロックを選択するために、前記各ブロックの
   平均値を比較するとともに、互いに重複しないように選
   択された各ブロックの位置データを提供する手段と、前
   記選択された各ブロックに含まれるＭ×Ｎ個の動き補償
   された差分画素値を１組の変換係数に変換する手段と、
   前記１組の変換係数を１組の量子化された変換係数に変
   換する手段と、複数の前記量子化された変換係数の組と
   選択された各ブロックの位置データとを組合わせること
   によって、符号化された信号を提供する手段とを含む、
   映像信号符号化器から提供された符号化された信号を復
   号化する映像信号復号化装置において、 前記符号化された信号に含まれる量子化された変換係数
   の各組を１組の再構成された変換係数に変換する手段
   と、 前記１組の再構成された変換係数をＭ×Ｎ個の動き補償
   された差分画素値の１組に逆変換する手段と、 前記選択されたブロックの位置データに応じて再構成さ
   れたエラー信号を提供する手段であって、該再構成され
   たエラー信号が、対応する選択されたブロック位置に於
   ける再構成されたＭ×Ｎ個の動き補償された差分画素値
   の１組と、選択されないブロック位置に於いては「０」
   の値とを有する、該再構成されたエラー信号を提供する
   手段とを備えることを特徴とする映像信号復号化装置。