JPH0530496A

JPH0530496A - 符号化方法及び符号化装置

Info

Publication number: JPH0530496A
Application number: JP3140323A
Authority: JP
Inventors: Takeshi Onishi; 健大西; Yoshiko Hatano; 喜子幡野; Yoshinori Asamura; 吉範浅村; Takashi Ito; 俊伊藤; Manabu Tsukamoto; 学塚本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1990-06-13
Filing date: 1991-06-12
Publication date: 1993-02-05
Anticipated expiration: 2014-07-05
Also published as: JP2916719B2

Abstract

(57)【要約】【目的】飛び越し走査方式のビデオ信号に対して顕著
に情報圧縮を行う。静止画の画質劣化を招くことなく、
動画時の情報量を大幅に削減する。【構成】飛び越し走査方式のディジタルビデオ信号を
垂直補間フィルタ10に通して、奇数，偶数フィールドに
おける画素の空間的位置を合わせた後、フィールドメモ
リ４にて複数の画素毎に３次元ブロックを構成し、３次
元直交変換回路５にて直交変換を施し、得られる変換係
数を符号器６にて符号化する。疑似動画成分を含まない
ような変換係数に対しては、重み付け量子化を行った後
に符号化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタルビデオ信号
を圧縮して符号化する符号化方法及び符号化装置に関す
るものである。

【０００２】

【従来の技術】従来、ディジタルビデオ信号を符号化す
る方法として特開平１−253382号公報及び米国特許第4,
394,774 号に示すものがあった。以下、これらの公報を
例にとり説明する。

【０００３】ディジタル形式のビデオ信号の伝送あるい
は記録は、表示された映像の品質に対するチャネル雑音
あるいは読み取り雑音の影響をかなり低減する可能性、
及び、電話タイプのディジタル回路網によりこれらのデ
ィジタル信号を容易に伝送する可能性を与えている。そ
れにもかかわらず、テレビジョン画像のシーケンスのデ
ィジタル化は非常に速い速度により行われるので、ディ
ジタル化されたカラーテレビジョン信号を一般に既存の
キャリアで直接的に伝送あるいは記録することはできな
い。CCIRの通告 601によると、カラーテレビジョン信号
のディジタル化速度は216 Ｍビット／ｓである。従っ
て、ディジタル化されたカラーテレビジョン信号を実際
の伝送、記録速度に適応するにはこの速度を低減するこ
とが重要である。

【０００４】米国特許第4,394,774 号には、この速度を
ファクタ10ないし20、即ち１／10〜１／20に低減できる
方法が記載されている。直交変換の利用に基づくこの方
法は、映像内の近傍画素間の冗長性を用いてその冗長性
を圧縮する利益を得る可能性を与えている。この方法
は、同一のサイズを有するブロックに映像を分割し、か
つ小さい数の画素にエネルギーを集中することによって
ブロックの画素を非相関にする性質を有する直交変換を
各ブロックに施すことを特徴としている。

【０００５】映像の静止部分に存在する映像対映像冗長
度から同等の情報圧縮の利益を得るために、この方法は
しばしばフレーム間予測技術と組み合わされている。こ
の技術によると、ブロック自身が伝送される（フレーム
内モード）か、あるいはこのブロックと、符号化、復号
化の後で先行映像と同じ空間位置を有するブロックとの
間の差とが伝送され（フレーム間モード）、従って最小
エネルギーを有するブロックが伝送されるかのいずれか
である。

【０００６】この映像対映像予測動作がこのように符号
化動作の時間−再帰性を導入する、換言すれば、もし復
号された先行映像が利用可能であるならば、その予測動
作によれば、映像信号を通常再生モードで復号すること
のみが可能である。この特徴は受信において、あるいは
バンドの読み取り間に現われるエラーが種々の映像に存
在することとなり、事実このエラーの現われるブロック
がフレーム間モードによって符号化される限り様々なエ
ラーが映像に現われる危険性が存在するという結果とな
っている。

【０００７】さらに、この再帰性は消費者ビデオ記録、
すなわち家庭用ビデオレコーダでの記録と両立しない。
というのは、映像へのランダムアクセスを除外するから
であり、このランダムアクセスは「迅速探索モード」を
実現するために必要なものである。ある場合にはこの欠
点の救済法はフレーム内モードでＮ個の映像から１つの
映像を符号化することであるが、しかしこれは表示映像
の品質を劣化するので、Ｎはこの劣化を制限するように
大きく選ばなければならず、このことは改善の範囲を制
限している。

【０００８】特開平１−253382号公報では、その映像対
映像再帰性を導入することなしに映像対映像相関から利
益を得ることができるビデオ信号の符号化方法を提供し
ている。すなわちこの公報では消費者ビデオ記録と両立
でき、かつチャネルエラーに敏感でない方法を提供して
いる。

【０００９】このための符号化方法を実現するために以
下の予備ステップ、すなわち、（ａ）先行映像に対して
変位ベクトルと各映像を関係づけるための、映像から映
像にわたる主要運動の評価であって、主要ベクトルは映
像対映像差が最小であるベクトルである予備ステップ、
（ｂ）映像に対応するビデオ信号のシーケンスを各々が
Ｎ個の連続映像に対応するグループに分割することによ
り、かつこれらの各グループ内で、一方ではグループの
映像平面の、他方ではグループのＮ個の映像に対応する
Ｎ個の連続平面のＭ個のライン及びライン毎にＰ個の画
素を含む３次元ブロックを規定することによる３次元ブ
ロックの形式を規定するための走査変換であって、同一
のグループの各３次元ブロックを構成するＭ個のライン
とＰ個の画素とによるＮ個の２次元ブロックが各映像に
ついて評価された変位ベクトルにより１つの映像から次
の映像にわたって空間的にシフトされている予備ステッ
プ、を具えることを特徴としている。

【００１０】提供されたこの方法は、実質的な変位なし
に映像の静止部分の直交変換により実現された逆相関の
おかげで、信号の一時的冗長度を用いる可能性を与えて
おり、それは情景あるいはカメラの一般的移動の場合
に、そして移動が情景の大部分に影響する場合において
さえも当てはまる。最後の２つの場合、提供された方法
はフレーム間モードとフレーム内モードとを使用する方
法より優れている。と言うのは、それがフレーム間相関
を用い、同時にフレーム間／フレーム内プロセスがこれ
らの変位を考慮しないからである。さらに、その効果が
Ｎ個の映像に限定されているので、このプロセスは符号
化の間になんらの映像対映像再帰性を導入せず、そして
雑音に対する満足すべき免疫性とビデオレコーダに備え
られた「迅速探索モード」との両立性を保証している。

【００１１】もし、飛び越し走査されない映像形式を有
するビデオ信号の速度の低減が利用されるなら、このプ
ロセスは特に効果的である。もし利用可能な信号が飛び
越し走査されるなら、その形式は符号化前に変換され、
飛び越し走査されないビデオ信号を生成することにな
る。従って図18に示すように、フレーム単位で一枚の映
像を構成し、水平方向に第１次元の方向を、垂直方向
に第２次元の方向を、時間方向に第３次元の方向を
とって３次元ブロックを構成し、直交変換を施すことに
より映像信号の冗長成分を減らすようにしたものであ
る。

【００１２】しかし、実際のテレビ画面は、図19に示す
ように飛び越し走査（インターレース）が採用されてい
る。これは、動画情報を送るのに伝送情報量を増加させ
ることなく、ちらつき（フリッカ）を防止するのに有利
な方式である。従って、図19の半分の走査線数で１画面
の走査が終了する。次の画面では、直前の画面で走査さ
れなかったライン上を走査することにより、画像の垂直
解像度の低下を抑制する。この飛び越し走査により、同
じ時間内に伝送される画面数は順次走査のときの倍にな
るのでフリッカの発生が抑圧される。この荒く走査され
た画面のことをフィールドと呼び、図20に示すように連
続した二つのフィールドで１フレームが構成されてお
り、NTSC（National Television System Committee）方
式においては毎秒約６０フィールドになる。

【００１３】

【発明が解決しようとする課題】従来の符号化方法で
は、飛び越し走査されない映像信号から３次元ブロック
を構成しているので、飛び越し走査された映像信号につ
いては必ずしも効果的に映像信号の冗長度を減らすこと
ができなかった。特に動きが大きい飛び越し走査された
映像信号に対しては、これを飛び越し走査されない形式
にすると、空間的変位と時間的変位が混合された２次元
を構成するため、映像信号の冗長度低減には効果的でな
い。

【００１４】ところで、飛び越し走査方式のディジタル
ビデオ信号を符号化する場合には、完全な静止画であっ
ても、飛び越し走査の影響により隣合うフィールド間に
おける空間的変位が時間的変位に転換して疑似動画成分
が現れる。従って、動画時の情報量を削減することを目
的として、時間方向に行った直交変換後の高次の変換係
数に対して重み付け量子化を行うと、この疑似動画成分
にも重み付け量子化が行われて、復号側において静止画
の画質が劣化するという問題点がある。このような問題
点を解消するためには、３次元ブロック単位にて動画で
あるか静止画であるかを判別し、動画，静止画に応じて
異なるレベルの重み付け量子化を行う必要がある。

【００１５】本発明はかかる事情に鑑みてなされたもの
であり、本発明の１つの目的は、飛び越し走査方式のビ
デオ信号の冗長度を効果的に削減できる符号化方法及び
符号化装置を提供することにある。

【００１６】本発明の別の目的は、動画，静止画の判別
を行なうことなく、動画時の情報量を削減できる符号化
方法及び符号化装置を提供することにある。

【００１７】本発明の更に別の目的は、復号側において
静止画の画質劣化を招くことなく、動画時の情報量を削
減できる符号化方法及び符号化装置を提供することにあ
る。

【００１８】本発明の更に別の目的は、奇数フィールド
と偶数フィールドとにおける画素の空間的な位置を一致
させて、飛び越し走査方式のビデオ信号の冗長度を更に
効果的に削減できる符号化方法及び符号化装置を提供す
ることにある。

【００１９】

【課題を解決するための手段】本発明の１つの符号化方
法は、飛び越し走査方式のビデオ信号に対し、各フィー
ルド内で２次元方向を構成し、時間方向に奇数，偶数フ
ィールドを束ねて空間的に近傍の画素により３次元ブロ
ックを構成し、構成した３次元ブロックを単位として直
交変換を施して符号化するようにしたことを特徴とす
る。

【００２０】本発明の他の符号化方法は、飛び越し走査
の影響による疑似動画成分が現れない変換係数では重み
付けした後量子化を行い、疑似動画成分が現れる変換係
数ではそのまま量子化を行うことを特徴とする。

【００２１】本発明の更に他の符号化方法では、飛び越
し走査の影響による疑似動画成分が現れる変換係数に比
べて、疑似動画成分が現れない変換係数には、低レート
の重み付けを施し更に粗い量子化を行うことを特徴とす
る。

【００２２】本発明の更に他の符号化方法では、飛び越
し走査方式のディジタルビデオ信号に対し、フィールド
内画素間演算を行なって奇数，偶数フィールドにおける
垂直方向の画素の位置を合わせた後、複数のフィールド
の画素を対象として直交変換，フィルタリングなどの演
算を行うことを特徴とする。

【００２３】

【作用】第１，２，４，６，９，10, 11発明では、飛び
越し走査方式のビデオ信号に対し、各フィールド内で２
次元方向を構成し、時間方向に奇数，偶数フィールドを
束ねて空間的に近傍の画素により３次元ブロックを構成
し、構成した３次元ブロックを単位として直交変換を施
して符号化するようにしたので、飛び越し走査方式のビ
デオ信号において時間方向のより正確な信号構成とする
ことができ、よりビデオ信号を圧縮することができる。

【００２４】また、第３，４発明では、静止画の場合に
はもともと値がゼロである変換係数に対して重み付けが
行なわれるので、情報は全く失われず、復号側において
静止画の画質劣化はない。一方、動画の場合には重み付
けにより変換係数がゼロまたは小さな数に変換されるの
で、その情報量が削減される。

【００２５】また、第５，６発明では、静止画の場合に
はもともと値がゼロである変換係数に対してこの低レー
トの重み付けが行われるので、全体として静止画の情報
の圧縮度は小さい。一方、動画の場合にはこの低レート
の重み付けによりゼロまたは小さな数に変換されるの
で、情報量は大幅に削減される。

【００２６】更に、第７，８，10, 11発明では、飛び越
し走査方式のビデオ信号の奇数，偶数フィールドにおけ
る画素の２次元空間位置が同一となる。従って、時間方
向に対し正確な信号構成となり、フィールド間における
画素演算により大きな情報圧縮が達成される。

【００２７】

【実施例】以下、本発明をその実施例を示す図面に基づ
いて具体的に説明する。

【００２８】（第１実施例）第１実施例による符号化・
復号化装置の構成を示す図１において、１はNTSC方式の
カラーテレビジョン信号をNTSCデコーダ２に入力するた
めの入力端子を示す。NTSCデコーダ２は、入力されたカ
ラーテレビジョン信号を輝度信号（Ｙ信号）と色差信号
（Ｒ−Ｙ信号，Ｂ−Ｙ信号）とに分離してアナログ・デ
ィジタル（以下Ａ／Ｄと記す）変換器３へ出力する。Ａ
／Ｄ変換器３は入力信号をディジタル信号に変換して、
これらのディジタル信号をフィールドメモリ４へ出力す
る。フィールドメモリ４は、時間方向に近接する複数の
フィールド内の２次元ブロックを束ねて３次元ブロック
を構成し、構成した３次元ブロックを単位とするデータ
を３次元直交変換回路５へ出力する。３次元直交変換回
路５は入力された各３次元ブロックに、例えば３次元DC
T （Discrete Cosine Transform ：離散的コサイン変
換）を施して変換係数を得、得られた変換係数を符号器
６へ出力する。符号器６は、変換係数を量子化して符号
化する。符号化されたデータは、出力端子７を介して出
力される。以上の１〜７の部材により符号系が構成され
ている。

【００２９】また、11〜17は復号系の構成部材を示して
おり、11は符号化されたデータを復号器12へ入力するた
めの入力端子を示す。復号器12は符号化されたデータを
元の３次元データの形式に復元し、このデータを３次元
逆直交変換回路13へ出力する。３次元逆直交変換回路13
は、３次元逆DCT を施して元の３次元ブロックを得、こ
れをフィールドメモリ14へ出力する。フィールドメモリ
14は、３次元ブロックを元のフィールド画面に戻し、デ
ィジタルの輝度信号（Ｙ信号）と色差信号（Ｒ−Ｙ信
号，Ｂ−Ｙ信号）とをディジタル・アナログ（以下Ｄ／
Ａと記す）変換器15へ出力する。Ｄ／Ａ変換器15は、入
力信号をアナログ信号に変換してNTSCエンコーダ16へ出
力する。NTSCエンコーダ16は、輝度信号と色差信号とか
らNTSCカラーテレビジョン信号を再生する。再生された
カラーテレビジョン信号は、出力端子17を介して出力さ
れる。

【００３０】次に、動作について説明する。一般に画像
情報を圧縮するには、輝度信号と色信号とを独立に扱う
ことが便利である。従って、入力端子１から入力された
NTSCカラーテレビジョン信号がNTSCデコーダ２にて輝度
信号（Ｙ信号）と色差信号（Ｒ−Ｙ信号，Ｂ−Ｙ信号）
とに分離された後、Ａ／Ｄ変換器３にてディジタル信号
に変換される。このときの標本化周波数は、Ｙ信号が1
3.5MHz 、Ｒ−Ｙ信号，Ｂ−Ｙ信号が6.75MHz である。
従って、NTSCカラーテレビジョン信号の場合、１水平ラ
インの有効サンプル数は、Ｙ信号が 720、Ｒ−Ｙ信号，
Ｂ−Ｙ信号が夫々360となり、262.5 水平ラインで１フ
ィールドを構成している。このうち、有効ラインである
例えば250 水平ラインを１フィールド単位として、フィ
ールドメモリ４に８フィールド分が取り込まれる。そし
て、次の８フィールド分のデータが取り込まれている間
に、図２に示すような３次元ブロックのデータがフィー
ルドメモリ４から３次元直交変換回路５へ出力される。

【００３１】図２では、水平方向を第１次方向、垂直
方向を第２次方向、フィールド方向（時間方向）を
第３次方向として、３次元ブロックを構成する。具体的
には、２×２×８のブロックを示している。なお、図２
に示すように、奇数フィールドと偶数フィールド、例え
ば第（２ｉ−１）フィールドと第２ｉフィールドとで
は、画素の空間的な位置は垂直方向において一致せず、
第２ｉフィールドの左上の画素は第（２ｉ−１）フィー
ルドの左上の画素から１／２ライン分下方の位置にあ
る。このような３次元ブロック単位で送られてきたデー
タは、３次元直交変換回路５にて３次元DCT が施された
後、符号器６にて量子化され、ハフマン符号などを用い
て符号化され、出力端子７から出力される。

【００３２】一方、入力端子11から出力端子17までの復
号系では、上述した入力端子１から出力端子７までの符
号系と全く逆のプロセスが施され、元のNTSCカラーテレ
ビジョン信号が得られて、出力端子17から出力される。

【００３３】ここで、上述したような方法により情報圧
縮を行なえることを示す。ある自然動画像の１コマの一
部のデータに対して８×８×８画素の３次元DCT を行な
った例について説明する。この自然動画像のフィールド
ｔ＝０からｔ＝７までの輝度信号を８ビットに一様に量
子化したデータは第１表に示すようなものであった。

【００３４】

【表１】

【００３５】次に、このデータに対して３次元DCT を行
なって、小数点以下を四捨五入すると、第２表（ａ），
（ｂ）に示すような変換係数が得られた。

【００３６】

【表２】

【００３７】

【表３】

【００３８】得られた変換係数を、図３のような符号化
ビットマップ及び図４のような２次元スキャンニングを
用いて符号化すると、この３次元データの符号長は1902
ビットとなった。図３で、横軸は変換係数のレベル、縦
軸はゼロが続く数を表しており、図中の数字が符号長を
表す。図４は、２次元DCT の際によく使われるスキャン
図であり、本実施例では、このような２次元スキャンニ
ングを８回繰り返すことになる。

【００３９】一方、同じデータを従来のように飛び越し
走査されない形式に変換して符号化した。第３表は飛び
越し走査されない形式の元のデータである。

【００４０】

【表４】

【００４１】この場合、８×８×４画素の３次元ブロッ
クが２つとなる。この２つのブロックに３次元DCT を行
なって得られる変換係数を第４表（ａ），（ｂ）に示
す。

【００４２】

【表５】

【００４３】

【表６】

【００４４】これらを図３のような符号化ビットマップ
及び図４のような２次元スキャンニングを用いて符号化
すると、各ブロックにおける符号長は夫々1188ビット,
1137ビットとなり、合計2325ビットであった。

【００４５】以上のように、従来例に比べて本実施例で
は、約16％の情報圧縮を達成できた。前記自然動画像の
４フレームの画像に対して、本実施例にて符号化を行っ
て秒当たりのレートに換算すると約25.3Mbpsとなる。同
様に従来例にて秒当たりのレートに換算すると約30.2Mb
psとなる。このようなことからも、画像の一部分だけで
なく画像全体においても情報圧縮を達成できることがわ
かる。

【００４６】（第２実施例）次に、本発明の第２実施例
について説明する。この例は、情報量を削減するため
に、得られた変換係数に重み付けを施した後に符号化す
る例である。第２実施例による符号化・復号化装置の構
成を示す図５において、図１と同番号を付した部分は同
一部材を示す。符号系における８は、３次元直交変換回
路５にて得られる得られる変換係数に重み付けした後量
子化する重み付け量子化器である。重み付け量子化器８
は、量子化したデータを可変長符号器９へ出力する。可
変長符号器９は、頻度が高い出力には短い符号を割り当
てるように例えばハフマン符号を用いて、入力されたデ
ータを可変長符号化する。また、復号系における18は、
可変長符号化されたデータを元の量子化データに戻す可
変長復号器である。可変長復号器18は、量子化データを
重み付け逆量子化器19へ出力する。重み付け逆量子化器
19は、量子化データを元の変換係数のデータに戻す。

【００４７】次に、動作について説明する。ここでは、
第１実施例とは異なる重み付けの動作について重点的に
説明する。第１実施例と同様に、図２に示すような３次
元ブロック単位のデータが、フィールドメモリ４から３
次元直交変換回路５へ出力され、３次元DCT が施され
る。図６は、第３次方向（時間方向）のDCT による変換
係数のパワー分布を示す。図６（ａ）は動画の場合を示
しており、各変換係数は何れもパワーを有しており情報
量が多いことがわかる。図６（ｂ）は静止画の場合を示
している。本来、静止画では時間方向に情報変化はない
はずであるが、飛び越し走査により空間的変位が時間的
変位に変換されるので、直流成分をゼロ番目とした場合
に奇数番目の変換係数にパワーが現れる。これはDCT の
基底ベクトルの次数Ｎと関係がある。図７に、Ｎ＝16の
ときのDCT の基底ベクトルを示す。

【００４８】ここで、奇数番目の変換係数にのみパワー
が現れる理由を、DCT の定義式に基づいて説明する。Ｎ
点DCT は、以下の式にて定義される。

【００４９】

【数１】

【００５０】ここで、奇数・偶数フィールドについて分
けて考えると、ｙ（ｉ）は次式で表される。

【００５１】

【数２】

【００５２】静止画である場合には、奇数フィールド同
士、偶数フィールド同士ではその画像信号は同じである
ので、ｘ（０）＝ｘ（２）＝，…，＝ｘ（Ｎ−２）であ
り、ｘ（１）＝ｘ（３）＝，…，＝ｘ（Ｎ−１）とな
る。このことを利用すると、ｙ（ｉ）は更に次式で表さ
れる。

【００５３】

【数３】

【００５４】また余弦関数では、 cosα＝− cos（π−
α）＝− cos（π＋α）＝ cos（２π−α）であるの
で、ｉ＝２，４，６，…，Ｎ−２の場合には、次の各式
が成立する。

【００５５】

【数４】

【００５６】このようにＤＣ成分を除く偶数番目の変換
係数はゼロとなり、奇数番目の変換係数にはパワーが現
れる。重み付け量子化器８では、静止画の情報を持たな
い偶数番目の変換係数に対してのみ重み付けを行って、
等価的に粗く量子化する。図８（ａ）にこの重み付けの
際の重み付け係数の一例を示す。この重み付けは、静止
画の場合はもともと値がゼロである変換係数に対して行
われるので全く影響がない。

【００５７】また、動画の場合には、この重み付けによ
って変換係数がゼロまたは小さな数に変換されるので、
ハフマン符号などを用いた後段の可変長符号器９の動作
により情報量が削減される。可変長符号器９で可変長符
号化されたデータは、出力端子７から出力される。

【００５８】一方、入力端子11から出力端子17までの復
号系では、上述した符号系と全く逆のプロセスを施すこ
とにより、NTSCカラーテレビジョン信号が得られて出力
端子17から出力される。図８（ｂ）には復号時に使用さ
れる重み付け係数の一例を示す。

【００５９】図９，図10に符号時，復号時に用いる重み
付け係数の他の例を示す。この例では、奇数番目の変換
係数に比べて偶数番目の変換係数にはより粗く量子化す
るような重み付けが行われる。従って、静止画の画質劣
化を微小に抑えた状態で、動画時における情報量の大幅
な削減を達成できる。なお、第２実施例では、３次元直
交変換を用いた例について説明したが、時間方向に直交
変換を施すこととすれば、２次元空間の処理の方法は任
意であることは勿論である。

【００６０】以上のように第２実施例では、疑似動画成
分が現れない偶数番目の変換係数についてのみ重み付け
量子化を行うか、または疑似動画成分が現れない変換係
数に対して、疑似動画成分が現れる奇数番目の変換係数
に比べ、低レートの重み付けをしてより粗く量子化する
ことにしたので、動画，静止画の判別を行うことなく、
また静止画の画質劣化を招くことなく、動画時の情報量
を大幅に削減できる。

【００６１】（第３実施例）ところで、上述した第１，
第２実施例において、飛び越し走査方式の信号形式から
３次元ブロックを構成した場合には、奇数フィールドと
偶数フィールドとで画素の垂直方向における空間的な位
置が一致しないので、更に冗長度を削減できる可能性が
残っている。本発明の第３実施例は、飛び越し走査方式
のディジタルビデオ信号に対し、各フィールド内で垂直
方向に画素間演算を行なって奇数，偶数フィールドにお
ける画素の空間的位置を合わせた後、３次元直交変換を
行なうようにしている。

【００６２】第３実施例による符号化・復号化装置の構
成を示す図11において、図１と同番号を付した部分は同
一部材を示す。符号系における10は、Ａ／Ｄ変換器３か
ら出力されるディジタルの輝度信号及び色差信号の各フ
ィールド内において垂直方向の画素間演算を行なって、
奇数，偶数フィールドにおける画素の空間的位置を合わ
せる垂直補間フィルタである。垂直補間フィルタ10は、
位置合わせ後のデータをフィールドメモリ４へ出力す
る。また、復号系における20は、フィールドメモリ14か
ら出力される画素が位置合わせされたデータから元のデ
ィジタルの画素データを復元する垂直補間フィルタであ
る。垂直補間フィルタ20は、復元した画素データをＤ／
Ａ変換器15へ出力する。

【００６３】次に、動作について説明する。垂直補間フ
ィルタ10における画素の位置合わせと垂直補間フィルタ
20における元の画素データの復元とを除いて、本実施例
の動作は前述の第１実施例と同じであるので、ここでは
異なる点を重点的に説明する。図12は、第３実施例にお
ける動作を説明するための画素を示す概念図である。

【００６４】Ａ／Ｄ変換器３でディジタル信号に変換さ
れた輝度信号及び色差信号は、図12（ａ）に示すように
奇数フィールドと偶数フィールド、例えば第（２ｉ−
１）フィールドと第２ｉフィールドとでは、画素（○印
にて示す）の空間的な位置は一致せず、偶数フィールド
の画素は奇数フィールドの画素より１／２ライン下に位
置している。

【００６５】垂直補間フィルタ10において画素の位置合
わせを行うために、オーバーサンプリングの手法を用い
る。いま画素数を２倍にするため垂直方向へ一つ置きに
零データを挿入する。図12（ｂ）の□印が挿入した零デ
ータを示す。このデータを補間用の低域通過形フィルタ
に通すと、挿入した零データに補間データが得られて画
素数が２倍になる。補間フィルタとしては、例えば図13
に示すインパルス応答の奇数タップフィルタを使用でき
る。図12（ｃ）のように同一の空間的位置を持つ画素を
残すように、得られた補間データを間引き、間引き後の
データはフィールドメモリ４へ出力される。フィールド
メモリ４にて、水平方向を第１次方向とし、垂直方向を
第２次方向とし、時間方向を第３次方向として、複数の
画素毎の３次元ブロックが構成される。３次元直交変換
回路５にて、構成された３次元ブロックを単位として３
次元DCT が施される。

【００６６】復号系では、３次元逆直交変換された３次
元ブロックデータが、フィールドメモリ14で画素の空間
的位置が一致しているフィールドデータ（図12（ｄ））
となる。ここで元の画素データを再現するために、符号
系の場合と同様に零データを挿入し補間フィルタに通す
と、図12（ｅ）のようなデータが得られる。更に、□の
データを間引けば図16（ａ）と同じ飛び越し走査方式の
ディジタル信号（図12（ｆ））が得られる。

【００６７】図15, 16, 17は以上の様子を周波数軸上で
概念的に示している。各図において、縦軸は垂直方向の
周波数、横軸は時間方向の周波数を表わしている。図15
は図12（ａ）に対応した飛び越し走査時の図であり、情
報はオフセットサブサンプリングの効果で斜め方向に織
り込まれている。図16は２倍オーバーサンプリングで画
素数が２倍になった状態（図12（ｂ））に対応してお
り、垂直低域通過フィルタによって垂直の低域成分が抽
出される。

【００６８】さらに図17は１／２間引きにより画素数が
元に戻った状態（図12（ｃ））に対応しており、垂直方
向の折り返された高域成分がうまく時間方向に分離され
ているので、情報圧縮に有利に働く。一方、復号系では
符号系とは逆の経路をたどるので、図12（ｄ），
（ｅ），（ｆ）は夫々図17，16，15に対応し、元の飛び
越し走査方式のディジタル信号が復元される。

【００６９】上記例では、画素の位置合わせにオーバー
サンプリングと１／２間引きの手法とを使用したが、オ
ールパスフィルタを用いて即座に位置合わせを行なうこ
ともできる。例えば、図13の●印のレスポンスを持つフ
ィルタを奇数フィールドに適用し、○印のレスポンスを
持つフィルタを偶数フィールドに適用すればよい。

【００７０】次に、タップ数が偶数のフィルタでも同様
の処理が行えることを示す。偶数タップの補間フィルタ
の例として図14のようなインパルス応答を示すものがあ
る。飛び越し走査方式の信号（図12（ａ））に対し奇数
タップのフィルタのときと同じように垂直方向へ一つ置
きに零データを挿入し（図12（ｂ））補間フィルタに通
すと、２倍オーバーサンプリングの補間データが得られ
る。但し、偶数タップのフィルタの重心が画素上ではな
く、隣合う画素の中間に位置するので、フィルタリング
後の画素の位置は１／４ライン移動することになる。１
／２間引きにより、図12（ｃ′）に示すように、同一の
空間位置を持つ画素が得られる。このときの周波数スペ
クトルは奇数タップのフィルタのときと何ら変わらな
い。

【００７１】復号時に補間フィルタへ入力される信号は
図12（ｄ′）であり、零データを挿入しフィルタリング
すると符号時と同じように１／４ラインずれるので、図
12（ｅ）の信号が得られる。奇数タップのフィルタのと
きと同じようにオフセットサブサンプリングすれば、元
の飛び越し走査方式のディジタル信号（図12（ｆ））が
得られる。

【００７２】また、奇数タップのフィルタを使用する場
合と同じように、偶数タップのフィルタを用いる場合に
も、図14の●印のレスポンスを奇数フィールドに○印の
レスポンスを偶数フィールドに夫々適用すれば、即座に
奇数，偶数フィールドにおける画素の位置合わせを行な
える。

【００７３】以上のように、第３実施例では、飛び越し
走査方式のビデオ信号に対し、フィールド内で垂直の補
間フィルタにより奇数，偶数フィールドの画素の２次元
空間上の位置を合わせた後、時間方向に奇数，偶数フィ
ールドを束ねて３次元ブロックを構成し、これを直交変
換して符号化するようにしたので、飛び越し走査方式の
ビデオ信号に対して第１実施例より更に顕著に情報圧縮
を行える。なお、この第３実施例と第２実施例とを組み
合わせてもよいことは勿論である。

【００７４】なお、上記実施例では、Ｙ信号を13.5MHz,
Ｒ−Ｙ信号，Ｂ−Ｙ信号を6.75MHzで標本化する、いわ
ゆる４：２：２コンポーネント信号を例にとり説明した
が、標本化の際の周波数はこれに限らないことは言うま
でもない。

【００７５】

【発明の効果】以上のように、本発明の符号化方法及び
符号化装置では、飛び越し走査方式のビデオ信号に対
し、フィールド内で２次元方向を構成し、時間方向に奇
数，偶数フィールドを束ねてかつ空間的に近傍の画素に
より３次元ブロックを構成し、これを直交変換して符号
化するので、飛び越し走査方式のビデオ信号に対して顕
著に情報圧縮を行えるという効果がある。

【００７６】また、本発明の符号化方法では、疑似動画
成分が現れない変換係数についてのみ重み付け量子化を
行うか、または疑似動画成分が現れない変換係数に対し
て、疑似動画成分が現れる変換係数に比べ、低レートの
重み付けをしてより粗く量子化することにしたので、動
画，静止画の判別を行うことなく、また静止画の画質劣
化を招くことなく、動画時の情報量を大幅に削減するこ
とができる。

【００７７】更に、本発明の符号化方法及び符号化装置
では、飛び越し走査方式のビデオ信号に対し、フィール
ド内で垂直の補間フィルタにより奇数，偶数フィールド
の画素の２次元空間上の位置を合わせた後、時間方向に
奇数，偶数フィールドを束ねて３次元ブロックを構成
し、これを直交変換して符号化するようにしたので、飛
び越し走査方式のビデオ信号に対して顕著に情報圧縮を
行えるという効果がある。

【図面の簡単な説明】

【図１】本発明の第１実施例に応じた装置構成を示すブ
ロック図である。

【図２】本発明の第１実施例による３次元ブロックを示
す概念図である。

【図３】変換係数を符号化する際に使用する２次元ビッ
トマップ図である。

【図４】２次元変換係数の走査図である。

【図５】本発明の第２実施例に応じた装置構成を示すブ
ロック図である。

【図６】直交変換後の変換係数のパワー分布図である。

【図７】DCT の基底ベクトルを示す図である。

【図８】重み付け係数の一実施例を示す図である。

【図９】重み付け係数の他の実施例を示す図である。

【図１０】重み付け係数の更に他の実施例を示す図であ
る。

【図１１】本発明の第３実施例に応じた装置構成を示す
ブロック図である。

【図１２】第３実施例の動作を説明するための画素を示
す概念図である。

【図１３】奇数タップ補間フィルタのインパルス応答の
一例を示す図である。

【図１４】偶数タップ補間フィルタのインパルス応答の
一例を示す図である。

【図１５】飛び越し走査時のスペクトル分布を示す概念
図である。

【図１６】オーバーサンプリング時のスペクトル分布を
示す概念図である。

【図１７】画素の位置合わせ時のスペクトル分布を示す
概念図である。

【図１８】飛び越し走査されない方式の従来の３次元ブ
ロックを示す概念図である。

【図１９】テレビ画面の飛び越し走査の原理を説明する
ための図である。

【図２０】標準テレビジョン方式におけるフィールドと
フレームの関係を示す概念図である。

【符号の説明】２ NTSCデコーダ３Ａ／Ｄ変換器４フィールドメモリ５３次元直交変換回路６符号器８重み付け量子化器９可変長符号器 10 垂直補間フィルタ 12 復号器 13 ３次元逆直交変換回路 14 フィールドメモリ 15 Ｄ／Ａ変換器 16 NTSCエンコーダ 18 可変長復号器 19 重み付け逆量子化器 20 垂直補間フィルタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者伊藤俊京都府長岡京市馬場図所１番地三菱電機株式会社電子商品開発研究所内 (72)発明者塚本学京都府長岡京市馬場図所１番地三菱電機株式会社電子商品開発研究所内

Claims

【特許請求の範囲】

【請求項１】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、各フィールドの水
平方向の画素を第１次成分とし、各フィールドの垂直方
向の画素を第２次成分とし、２次元空間でほぼ同一位置
となる複数フィールドの画素を第３次成分として、複数
の画素毎に３次元ブロックを構成するステップと、構成
された３次元ブロックを単位として直交変換を行なって
変換係数を得るステップと、得られた変換係数を符号化
するステップとを有することを特徴とする符号化方法。
【請求項２】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号に対して、各フィールド内で複数の画素毎に２
次元ブロックを構成するステップと、２次元空間でほぼ
同一位置となる複数フィールドの２次元ブロックを束ね
て３次元ブロックを構成するステップと、構成された３
次元ブロックを単位として直交変換を行なって変換係数
を得るステップと、得られた変換係数を符号化するステ
ップとを有することを特徴とする符号化方法。
【請求項３】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号を少なくとも時間方向にブロック化してブロッ
クを構成するステップと、構成されたブロックに直交変
換を施して変換係数を得るステップと、得られた変換係
数を量子化して符号化するステップとを有し、ブロック
化された信号が静止画を示す場合にその値がゼロとなる
変換係数に対しては重み付けした後量子化を行うことを
特徴とする符号化方法。
【請求項４】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、各フィールドの水
平方向の画素を第１次成分とし、各フィールドの垂直方
向の画素を第２次成分とし、２次元空間でほぼ同一位置
となる複数フィールドの画素を第３次成分として、複数
の画素毎に３次元ブロックを構成するステップと、構成
された３次元ブロックを単位として直交変換を行なって
変換係数を得るステップと、得られた変換係数を量子化
して符号化するステップとを有し、３次元ブロック化さ
れた信号が静止画を示す場合にその値がゼロとなる変換
係数に対しては重み付けした後量子化を行うことを特徴
とする符号化方法。
【請求項５】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号を少なくとも時間方向にブロック化してブロッ
クを構成するステップと、構成されたブロックに直交変
換を施して変換係数を得るステップと、得られた変換係
数を重み付け量子化して符号化するステップとを有し、
ブロック化された信号が静止画を示す場合にその値がゼ
ロとなる変換係数に対して、ゼロにならない変換係数に
比べて、低いレートの重み付けを行うことを特徴とする
符号化方法。
【請求項６】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、各フィールドの水
平方向の画素を第１次成分とし、各フィールドの垂直方
向の画素を第２次成分とし、２次元空間でほぼ同一位置
となる複数フィールドの画素を第３次成分として、複数
の画素毎に３次元ブロックを構成するステップと、構成
された３次元ブロックを単位として直交変換を行なって
変換係数を得るステップと、得られた変換係数を重み付
け量子化して符号化するステップとを有し、３次元ブロ
ック化された信号が静止画を示す場合にその値がゼロと
なる変換係数に対して、ゼロにならない変換係数に比べ
て、低いレートの重み付けを行うことを特徴とする符号
化方法。
【請求項７】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号に対して各フィールド内で垂直方向における画
素を用いて演算を行い、奇数フィールド，偶数フィール
ドにおける画素の空間的位置を合わせるステップと、画
素の空間的位置が合った複数のフィールドの画素を対象
として演算を行うステップとを有することを特徴とする
符号化方法。
【請求項８】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号に対して各フィールド内で垂直方向における画
素を用いて演算を行い、奇数フィールド，偶数フィール
ドにおける画素の空間的位置を合わせるステップと、各
フィールドの水平方向の画素を第１次成分とし、各フィ
ールドの垂直方向の画素を第２次成分とし、２次元空間
でほぼ同一位置となる複数フィールドの画素を第３次成
分として、複数の画素毎に３次元ブロックを構成するス
テップと、構成された３次元ブロックを単位として直交
変換を行なって変換係数を得るステップと、得られた変
換係数を符号化するステップとを有することを特徴とす
る符号化方法。
【請求項９】飛び越し走査方式のディジタルビデオ信
号を符号化する符号化装置において、各フィールドの水
平方向の画素を第１次成分とし、各フィールドの垂直方
向の画素を第２次成分とし、２次元空間でほぼ同一位置
となる複数フィールドの画素を第３次成分として、複数
の画素毎に３次元ブロックを構成する手段と、構成され
た３次元ブロックに直交変換を施して変換係数を得る手
段と、得られた変換係数を符号化する手段とを備えるこ
とを特徴とする符号化装置。
【請求項１０】飛び越し走査方式のディジタルビデオ
信号を符号化する符号化装置において、前記ディジタル
ビデオ信号に対して各フィールド内で垂直方向における
画素を用いて演算を行い、奇数フィールド，偶数フィー
ルドにおける画素の空間的位置を合わせる手段と、各フ
ィールドの水平方向の画素を第１次成分とし、各フィー
ルドの垂直方向の画素を第２次成分とし、２次元空間で
ほぼ同一位置となる複数フィールドの画素を第３次成分
として、複数の画素毎に３次元ブロックを構成する手段
と、構成された３次元ブロックに直交変換を施して変換
係数を得る手段と、得られた変換係数を符号化する手段
とを備えることを特徴とする符号化装置。
【請求項１１】入力される飛び越し走査方式のディジ
タルビデオ信号を符号化し、符号化されたデータを復号
化してディジタルビデオ信号を得る符号化・復号化装置
において、各フィールドの水平方向の画素を第１次成分
とし、各フィールドの垂直方向の画素を第２次成分と
し、２次元空間でほぼ同一位置となる複数フィールドの
画素を第３次成分として、複数の画素毎に３次元ブロッ
クを構成する手段と、構成された３次元ブロックに直交
変換を施して変換係数を得る手段と、得られた変換係数
を符号化する手段と、符号化されたデータを復号化して
変換係数を得る手段と、得られた変換係数に逆直交変換
を施して３次元ブロックを得る手段と、得られた３次元
ブロックを合成して元のディジタルビデオ信号を得る手
段とを備えることを特徴とする符号化・復号化装置。