JPH0530496A - 符号化方法及び符号化装置 - Google Patents
符号化方法及び符号化装置Info
- Publication number
- JPH0530496A JPH0530496A JP3140323A JP14032391A JPH0530496A JP H0530496 A JPH0530496 A JP H0530496A JP 3140323 A JP3140323 A JP 3140323A JP 14032391 A JP14032391 A JP 14032391A JP H0530496 A JPH0530496 A JP H0530496A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- encoding
- video signal
- field
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 飛び越し走査方式のビデオ信号に対して顕著
に情報圧縮を行う。静止画の画質劣化を招くことなく、
動画時の情報量を大幅に削減する。 【構成】 飛び越し走査方式のディジタルビデオ信号を
垂直補間フィルタ10に通して、奇数,偶数フィールドに
おける画素の空間的位置を合わせた後、フィールドメモ
リ4にて複数の画素毎に3次元ブロックを構成し、3次
元直交変換回路5にて直交変換を施し、得られる変換係
数を符号器6にて符号化する。疑似動画成分を含まない
ような変換係数に対しては、重み付け量子化を行った後
に符号化する。
に情報圧縮を行う。静止画の画質劣化を招くことなく、
動画時の情報量を大幅に削減する。 【構成】 飛び越し走査方式のディジタルビデオ信号を
垂直補間フィルタ10に通して、奇数,偶数フィールドに
おける画素の空間的位置を合わせた後、フィールドメモ
リ4にて複数の画素毎に3次元ブロックを構成し、3次
元直交変換回路5にて直交変換を施し、得られる変換係
数を符号器6にて符号化する。疑似動画成分を含まない
ような変換係数に対しては、重み付け量子化を行った後
に符号化する。
Description
【0001】
【産業上の利用分野】本発明は、ディジタルビデオ信号
を圧縮して符号化する符号化方法及び符号化装置に関す
るものである。
を圧縮して符号化する符号化方法及び符号化装置に関す
るものである。
【0002】
【従来の技術】従来、ディジタルビデオ信号を符号化す
る方法として特開平1−253382号公報及び米国特許第4,
394,774 号に示すものがあった。以下、これらの公報を
例にとり説明する。
る方法として特開平1−253382号公報及び米国特許第4,
394,774 号に示すものがあった。以下、これらの公報を
例にとり説明する。
【0003】ディジタル形式のビデオ信号の伝送あるい
は記録は、表示された映像の品質に対するチャネル雑音
あるいは読み取り雑音の影響をかなり低減する可能性、
及び、電話タイプのディジタル回路網によりこれらのデ
ィジタル信号を容易に伝送する可能性を与えている。そ
れにもかかわらず、テレビジョン画像のシーケンスのデ
ィジタル化は非常に速い速度により行われるので、ディ
ジタル化されたカラーテレビジョン信号を一般に既存の
キャリアで直接的に伝送あるいは記録することはできな
い。CCIRの通告 601によると、カラーテレビジョン信号
のディジタル化速度は216 Mビット/sである。従っ
て、ディジタル化されたカラーテレビジョン信号を実際
の伝送、記録速度に適応するにはこの速度を低減するこ
とが重要である。
は記録は、表示された映像の品質に対するチャネル雑音
あるいは読み取り雑音の影響をかなり低減する可能性、
及び、電話タイプのディジタル回路網によりこれらのデ
ィジタル信号を容易に伝送する可能性を与えている。そ
れにもかかわらず、テレビジョン画像のシーケンスのデ
ィジタル化は非常に速い速度により行われるので、ディ
ジタル化されたカラーテレビジョン信号を一般に既存の
キャリアで直接的に伝送あるいは記録することはできな
い。CCIRの通告 601によると、カラーテレビジョン信号
のディジタル化速度は216 Mビット/sである。従っ
て、ディジタル化されたカラーテレビジョン信号を実際
の伝送、記録速度に適応するにはこの速度を低減するこ
とが重要である。
【0004】米国特許第4,394,774 号には、この速度を
ファクタ10ないし20、即ち1/10〜1/20に低減できる
方法が記載されている。直交変換の利用に基づくこの方
法は、映像内の近傍画素間の冗長性を用いてその冗長性
を圧縮する利益を得る可能性を与えている。この方法
は、同一のサイズを有するブロックに映像を分割し、か
つ小さい数の画素にエネルギーを集中することによって
ブロックの画素を非相関にする性質を有する直交変換を
各ブロックに施すことを特徴としている。
ファクタ10ないし20、即ち1/10〜1/20に低減できる
方法が記載されている。直交変換の利用に基づくこの方
法は、映像内の近傍画素間の冗長性を用いてその冗長性
を圧縮する利益を得る可能性を与えている。この方法
は、同一のサイズを有するブロックに映像を分割し、か
つ小さい数の画素にエネルギーを集中することによって
ブロックの画素を非相関にする性質を有する直交変換を
各ブロックに施すことを特徴としている。
【0005】映像の静止部分に存在する映像対映像冗長
度から同等の情報圧縮の利益を得るために、この方法は
しばしばフレーム間予測技術と組み合わされている。こ
の技術によると、ブロック自身が伝送される(フレーム
内モード)か、あるいはこのブロックと、符号化、復号
化の後で先行映像と同じ空間位置を有するブロックとの
間の差とが伝送され(フレーム間モード)、従って最小
エネルギーを有するブロックが伝送されるかのいずれか
である。
度から同等の情報圧縮の利益を得るために、この方法は
しばしばフレーム間予測技術と組み合わされている。こ
の技術によると、ブロック自身が伝送される(フレーム
内モード)か、あるいはこのブロックと、符号化、復号
化の後で先行映像と同じ空間位置を有するブロックとの
間の差とが伝送され(フレーム間モード)、従って最小
エネルギーを有するブロックが伝送されるかのいずれか
である。
【0006】この映像対映像予測動作がこのように符号
化動作の時間−再帰性を導入する、換言すれば、もし復
号された先行映像が利用可能であるならば、その予測動
作によれば、映像信号を通常再生モードで復号すること
のみが可能である。この特徴は受信において、あるいは
バンドの読み取り間に現われるエラーが種々の映像に存
在することとなり、事実このエラーの現われるブロック
がフレーム間モードによって符号化される限り様々なエ
ラーが映像に現われる危険性が存在するという結果とな
っている。
化動作の時間−再帰性を導入する、換言すれば、もし復
号された先行映像が利用可能であるならば、その予測動
作によれば、映像信号を通常再生モードで復号すること
のみが可能である。この特徴は受信において、あるいは
バンドの読み取り間に現われるエラーが種々の映像に存
在することとなり、事実このエラーの現われるブロック
がフレーム間モードによって符号化される限り様々なエ
ラーが映像に現われる危険性が存在するという結果とな
っている。
【0007】さらに、この再帰性は消費者ビデオ記録、
すなわち家庭用ビデオレコーダでの記録と両立しない。
というのは、映像へのランダムアクセスを除外するから
であり、このランダムアクセスは「迅速探索モード」を
実現するために必要なものである。ある場合にはこの欠
点の救済法はフレーム内モードでN個の映像から1つの
映像を符号化することであるが、しかしこれは表示映像
の品質を劣化するので、Nはこの劣化を制限するように
大きく選ばなければならず、このことは改善の範囲を制
限している。
すなわち家庭用ビデオレコーダでの記録と両立しない。
というのは、映像へのランダムアクセスを除外するから
であり、このランダムアクセスは「迅速探索モード」を
実現するために必要なものである。ある場合にはこの欠
点の救済法はフレーム内モードでN個の映像から1つの
映像を符号化することであるが、しかしこれは表示映像
の品質を劣化するので、Nはこの劣化を制限するように
大きく選ばなければならず、このことは改善の範囲を制
限している。
【0008】特開平1−253382号公報では、その映像対
映像再帰性を導入することなしに映像対映像相関から利
益を得ることができるビデオ信号の符号化方法を提供し
ている。すなわちこの公報では消費者ビデオ記録と両立
でき、かつチャネルエラーに敏感でない方法を提供して
いる。
映像再帰性を導入することなしに映像対映像相関から利
益を得ることができるビデオ信号の符号化方法を提供し
ている。すなわちこの公報では消費者ビデオ記録と両立
でき、かつチャネルエラーに敏感でない方法を提供して
いる。
【0009】このための符号化方法を実現するために以
下の予備ステップ、すなわち、(a)先行映像に対して
変位ベクトルと各映像を関係づけるための、映像から映
像にわたる主要運動の評価であって、主要ベクトルは映
像対映像差が最小であるベクトルである予備ステップ、
(b)映像に対応するビデオ信号のシーケンスを各々が
N個の連続映像に対応するグループに分割することによ
り、かつこれらの各グループ内で、一方ではグループの
映像平面の、他方ではグループのN個の映像に対応する
N個の連続平面のM個のライン及びライン毎にP個の画
素を含む3次元ブロックを規定することによる3次元ブ
ロックの形式を規定するための走査変換であって、同一
のグループの各3次元ブロックを構成するM個のライン
とP個の画素とによるN個の2次元ブロックが各映像に
ついて評価された変位ベクトルにより1つの映像から次
の映像にわたって空間的にシフトされている予備ステッ
プ、を具えることを特徴としている。
下の予備ステップ、すなわち、(a)先行映像に対して
変位ベクトルと各映像を関係づけるための、映像から映
像にわたる主要運動の評価であって、主要ベクトルは映
像対映像差が最小であるベクトルである予備ステップ、
(b)映像に対応するビデオ信号のシーケンスを各々が
N個の連続映像に対応するグループに分割することによ
り、かつこれらの各グループ内で、一方ではグループの
映像平面の、他方ではグループのN個の映像に対応する
N個の連続平面のM個のライン及びライン毎にP個の画
素を含む3次元ブロックを規定することによる3次元ブ
ロックの形式を規定するための走査変換であって、同一
のグループの各3次元ブロックを構成するM個のライン
とP個の画素とによるN個の2次元ブロックが各映像に
ついて評価された変位ベクトルにより1つの映像から次
の映像にわたって空間的にシフトされている予備ステッ
プ、を具えることを特徴としている。
【0010】提供されたこの方法は、実質的な変位なし
に映像の静止部分の直交変換により実現された逆相関の
おかげで、信号の一時的冗長度を用いる可能性を与えて
おり、それは情景あるいはカメラの一般的移動の場合
に、そして移動が情景の大部分に影響する場合において
さえも当てはまる。最後の2つの場合、提供された方法
はフレーム間モードとフレーム内モードとを使用する方
法より優れている。と言うのは、それがフレーム間相関
を用い、同時にフレーム間/フレーム内プロセスがこれ
らの変位を考慮しないからである。さらに、その効果が
N個の映像に限定されているので、このプロセスは符号
化の間になんらの映像対映像再帰性を導入せず、そして
雑音に対する満足すべき免疫性とビデオレコーダに備え
られた「迅速探索モード」との両立性を保証している。
に映像の静止部分の直交変換により実現された逆相関の
おかげで、信号の一時的冗長度を用いる可能性を与えて
おり、それは情景あるいはカメラの一般的移動の場合
に、そして移動が情景の大部分に影響する場合において
さえも当てはまる。最後の2つの場合、提供された方法
はフレーム間モードとフレーム内モードとを使用する方
法より優れている。と言うのは、それがフレーム間相関
を用い、同時にフレーム間/フレーム内プロセスがこれ
らの変位を考慮しないからである。さらに、その効果が
N個の映像に限定されているので、このプロセスは符号
化の間になんらの映像対映像再帰性を導入せず、そして
雑音に対する満足すべき免疫性とビデオレコーダに備え
られた「迅速探索モード」との両立性を保証している。
【0011】もし、飛び越し走査されない映像形式を有
するビデオ信号の速度の低減が利用されるなら、このプ
ロセスは特に効果的である。もし利用可能な信号が飛び
越し走査されるなら、その形式は符号化前に変換され、
飛び越し走査されないビデオ信号を生成することにな
る。従って図18に示すように、フレーム単位で一枚の映
像を構成し、水平方向に第1次元の方向を、垂直方向
に第2次元の方向を、時間方向に第3次元の方向を
とって3次元ブロックを構成し、直交変換を施すことに
より映像信号の冗長成分を減らすようにしたものであ
る。
するビデオ信号の速度の低減が利用されるなら、このプ
ロセスは特に効果的である。もし利用可能な信号が飛び
越し走査されるなら、その形式は符号化前に変換され、
飛び越し走査されないビデオ信号を生成することにな
る。従って図18に示すように、フレーム単位で一枚の映
像を構成し、水平方向に第1次元の方向を、垂直方向
に第2次元の方向を、時間方向に第3次元の方向を
とって3次元ブロックを構成し、直交変換を施すことに
より映像信号の冗長成分を減らすようにしたものであ
る。
【0012】しかし、実際のテレビ画面は、図19に示す
ように飛び越し走査(インターレース)が採用されてい
る。これは、動画情報を送るのに伝送情報量を増加させ
ることなく、ちらつき(フリッカ)を防止するのに有利
な方式である。従って、図19の半分の走査線数で1画面
の走査が終了する。次の画面では、直前の画面で走査さ
れなかったライン上を走査することにより、画像の垂直
解像度の低下を抑制する。この飛び越し走査により、同
じ時間内に伝送される画面数は順次走査のときの倍にな
るのでフリッカの発生が抑圧される。この荒く走査され
た画面のことをフィールドと呼び、図20に示すように連
続した二つのフィールドで1フレームが構成されてお
り、NTSC(National Television System Committee)方
式においては毎秒約60フィールドになる。
ように飛び越し走査(インターレース)が採用されてい
る。これは、動画情報を送るのに伝送情報量を増加させ
ることなく、ちらつき(フリッカ)を防止するのに有利
な方式である。従って、図19の半分の走査線数で1画面
の走査が終了する。次の画面では、直前の画面で走査さ
れなかったライン上を走査することにより、画像の垂直
解像度の低下を抑制する。この飛び越し走査により、同
じ時間内に伝送される画面数は順次走査のときの倍にな
るのでフリッカの発生が抑圧される。この荒く走査され
た画面のことをフィールドと呼び、図20に示すように連
続した二つのフィールドで1フレームが構成されてお
り、NTSC(National Television System Committee)方
式においては毎秒約60フィールドになる。
【0013】
【発明が解決しようとする課題】従来の符号化方法で
は、飛び越し走査されない映像信号から3次元ブロック
を構成しているので、飛び越し走査された映像信号につ
いては必ずしも効果的に映像信号の冗長度を減らすこと
ができなかった。特に動きが大きい飛び越し走査された
映像信号に対しては、これを飛び越し走査されない形式
にすると、空間的変位と時間的変位が混合された2次元
を構成するため、映像信号の冗長度低減には効果的でな
い。
は、飛び越し走査されない映像信号から3次元ブロック
を構成しているので、飛び越し走査された映像信号につ
いては必ずしも効果的に映像信号の冗長度を減らすこと
ができなかった。特に動きが大きい飛び越し走査された
映像信号に対しては、これを飛び越し走査されない形式
にすると、空間的変位と時間的変位が混合された2次元
を構成するため、映像信号の冗長度低減には効果的でな
い。
【0014】ところで、飛び越し走査方式のディジタル
ビデオ信号を符号化する場合には、完全な静止画であっ
ても、飛び越し走査の影響により隣合うフィールド間に
おける空間的変位が時間的変位に転換して疑似動画成分
が現れる。従って、動画時の情報量を削減することを目
的として、時間方向に行った直交変換後の高次の変換係
数に対して重み付け量子化を行うと、この疑似動画成分
にも重み付け量子化が行われて、復号側において静止画
の画質が劣化するという問題点がある。このような問題
点を解消するためには、3次元ブロック単位にて動画で
あるか静止画であるかを判別し、動画,静止画に応じて
異なるレベルの重み付け量子化を行う必要がある。
ビデオ信号を符号化する場合には、完全な静止画であっ
ても、飛び越し走査の影響により隣合うフィールド間に
おける空間的変位が時間的変位に転換して疑似動画成分
が現れる。従って、動画時の情報量を削減することを目
的として、時間方向に行った直交変換後の高次の変換係
数に対して重み付け量子化を行うと、この疑似動画成分
にも重み付け量子化が行われて、復号側において静止画
の画質が劣化するという問題点がある。このような問題
点を解消するためには、3次元ブロック単位にて動画で
あるか静止画であるかを判別し、動画,静止画に応じて
異なるレベルの重み付け量子化を行う必要がある。
【0015】本発明はかかる事情に鑑みてなされたもの
であり、本発明の1つの目的は、飛び越し走査方式のビ
デオ信号の冗長度を効果的に削減できる符号化方法及び
符号化装置を提供することにある。
であり、本発明の1つの目的は、飛び越し走査方式のビ
デオ信号の冗長度を効果的に削減できる符号化方法及び
符号化装置を提供することにある。
【0016】本発明の別の目的は、動画,静止画の判別
を行なうことなく、動画時の情報量を削減できる符号化
方法及び符号化装置を提供することにある。
を行なうことなく、動画時の情報量を削減できる符号化
方法及び符号化装置を提供することにある。
【0017】本発明の更に別の目的は、復号側において
静止画の画質劣化を招くことなく、動画時の情報量を削
減できる符号化方法及び符号化装置を提供することにあ
る。
静止画の画質劣化を招くことなく、動画時の情報量を削
減できる符号化方法及び符号化装置を提供することにあ
る。
【0018】本発明の更に別の目的は、奇数フィールド
と偶数フィールドとにおける画素の空間的な位置を一致
させて、飛び越し走査方式のビデオ信号の冗長度を更に
効果的に削減できる符号化方法及び符号化装置を提供す
ることにある。
と偶数フィールドとにおける画素の空間的な位置を一致
させて、飛び越し走査方式のビデオ信号の冗長度を更に
効果的に削減できる符号化方法及び符号化装置を提供す
ることにある。
【0019】
【課題を解決するための手段】本発明の1つの符号化方
法は、飛び越し走査方式のビデオ信号に対し、各フィー
ルド内で2次元方向を構成し、時間方向に奇数,偶数フ
ィールドを束ねて空間的に近傍の画素により3次元ブロ
ックを構成し、構成した3次元ブロックを単位として直
交変換を施して符号化するようにしたことを特徴とす
る。
法は、飛び越し走査方式のビデオ信号に対し、各フィー
ルド内で2次元方向を構成し、時間方向に奇数,偶数フ
ィールドを束ねて空間的に近傍の画素により3次元ブロ
ックを構成し、構成した3次元ブロックを単位として直
交変換を施して符号化するようにしたことを特徴とす
る。
【0020】本発明の他の符号化方法は、飛び越し走査
の影響による疑似動画成分が現れない変換係数では重み
付けした後量子化を行い、疑似動画成分が現れる変換係
数ではそのまま量子化を行うことを特徴とする。
の影響による疑似動画成分が現れない変換係数では重み
付けした後量子化を行い、疑似動画成分が現れる変換係
数ではそのまま量子化を行うことを特徴とする。
【0021】本発明の更に他の符号化方法では、飛び越
し走査の影響による疑似動画成分が現れる変換係数に比
べて、疑似動画成分が現れない変換係数には、低レート
の重み付けを施し更に粗い量子化を行うことを特徴とす
る。
し走査の影響による疑似動画成分が現れる変換係数に比
べて、疑似動画成分が現れない変換係数には、低レート
の重み付けを施し更に粗い量子化を行うことを特徴とす
る。
【0022】本発明の更に他の符号化方法では、飛び越
し走査方式のディジタルビデオ信号に対し、フィールド
内画素間演算を行なって奇数,偶数フィールドにおける
垂直方向の画素の位置を合わせた後、複数のフィールド
の画素を対象として直交変換,フィルタリングなどの演
算を行うことを特徴とする。
し走査方式のディジタルビデオ信号に対し、フィールド
内画素間演算を行なって奇数,偶数フィールドにおける
垂直方向の画素の位置を合わせた後、複数のフィールド
の画素を対象として直交変換,フィルタリングなどの演
算を行うことを特徴とする。
【0023】
【作用】第1,2,4,6,9,10, 11発明では、飛び
越し走査方式のビデオ信号に対し、各フィールド内で2
次元方向を構成し、時間方向に奇数,偶数フィールドを
束ねて空間的に近傍の画素により3次元ブロックを構成
し、構成した3次元ブロックを単位として直交変換を施
して符号化するようにしたので、飛び越し走査方式のビ
デオ信号において時間方向のより正確な信号構成とする
ことができ、よりビデオ信号を圧縮することができる。
越し走査方式のビデオ信号に対し、各フィールド内で2
次元方向を構成し、時間方向に奇数,偶数フィールドを
束ねて空間的に近傍の画素により3次元ブロックを構成
し、構成した3次元ブロックを単位として直交変換を施
して符号化するようにしたので、飛び越し走査方式のビ
デオ信号において時間方向のより正確な信号構成とする
ことができ、よりビデオ信号を圧縮することができる。
【0024】また、第3,4発明では、静止画の場合に
はもともと値がゼロである変換係数に対して重み付けが
行なわれるので、情報は全く失われず、復号側において
静止画の画質劣化はない。一方、動画の場合には重み付
けにより変換係数がゼロまたは小さな数に変換されるの
で、その情報量が削減される。
はもともと値がゼロである変換係数に対して重み付けが
行なわれるので、情報は全く失われず、復号側において
静止画の画質劣化はない。一方、動画の場合には重み付
けにより変換係数がゼロまたは小さな数に変換されるの
で、その情報量が削減される。
【0025】また、第5,6発明では、静止画の場合に
はもともと値がゼロである変換係数に対してこの低レー
トの重み付けが行われるので、全体として静止画の情報
の圧縮度は小さい。一方、動画の場合にはこの低レート
の重み付けによりゼロまたは小さな数に変換されるの
で、情報量は大幅に削減される。
はもともと値がゼロである変換係数に対してこの低レー
トの重み付けが行われるので、全体として静止画の情報
の圧縮度は小さい。一方、動画の場合にはこの低レート
の重み付けによりゼロまたは小さな数に変換されるの
で、情報量は大幅に削減される。
【0026】更に、第7,8,10, 11発明では、飛び越
し走査方式のビデオ信号の奇数,偶数フィールドにおけ
る画素の2次元空間位置が同一となる。従って、時間方
向に対し正確な信号構成となり、フィールド間における
画素演算により大きな情報圧縮が達成される。
し走査方式のビデオ信号の奇数,偶数フィールドにおけ
る画素の2次元空間位置が同一となる。従って、時間方
向に対し正確な信号構成となり、フィールド間における
画素演算により大きな情報圧縮が達成される。
【0027】
【実施例】以下、本発明をその実施例を示す図面に基づ
いて具体的に説明する。
いて具体的に説明する。
【0028】(第1実施例)第1実施例による符号化・
復号化装置の構成を示す図1において、1はNTSC方式の
カラーテレビジョン信号をNTSCデコーダ2に入力するた
めの入力端子を示す。NTSCデコーダ2は、入力されたカ
ラーテレビジョン信号を輝度信号(Y信号)と色差信号
(R−Y信号,B−Y信号)とに分離してアナログ・デ
ィジタル(以下A/Dと記す)変換器3へ出力する。A
/D変換器3は入力信号をディジタル信号に変換して、
これらのディジタル信号をフィールドメモリ4へ出力す
る。フィールドメモリ4は、時間方向に近接する複数の
フィールド内の2次元ブロックを束ねて3次元ブロック
を構成し、構成した3次元ブロックを単位とするデータ
を3次元直交変換回路5へ出力する。3次元直交変換回
路5は入力された各3次元ブロックに、例えば3次元DC
T (Discrete Cosine Transform :離散的コサイン変
換)を施して変換係数を得、得られた変換係数を符号器
6へ出力する。符号器6は、変換係数を量子化して符号
化する。符号化されたデータは、出力端子7を介して出
力される。以上の1〜7の部材により符号系が構成され
ている。
復号化装置の構成を示す図1において、1はNTSC方式の
カラーテレビジョン信号をNTSCデコーダ2に入力するた
めの入力端子を示す。NTSCデコーダ2は、入力されたカ
ラーテレビジョン信号を輝度信号(Y信号)と色差信号
(R−Y信号,B−Y信号)とに分離してアナログ・デ
ィジタル(以下A/Dと記す)変換器3へ出力する。A
/D変換器3は入力信号をディジタル信号に変換して、
これらのディジタル信号をフィールドメモリ4へ出力す
る。フィールドメモリ4は、時間方向に近接する複数の
フィールド内の2次元ブロックを束ねて3次元ブロック
を構成し、構成した3次元ブロックを単位とするデータ
を3次元直交変換回路5へ出力する。3次元直交変換回
路5は入力された各3次元ブロックに、例えば3次元DC
T (Discrete Cosine Transform :離散的コサイン変
換)を施して変換係数を得、得られた変換係数を符号器
6へ出力する。符号器6は、変換係数を量子化して符号
化する。符号化されたデータは、出力端子7を介して出
力される。以上の1〜7の部材により符号系が構成され
ている。
【0029】また、11〜17は復号系の構成部材を示して
おり、11は符号化されたデータを復号器12へ入力するた
めの入力端子を示す。復号器12は符号化されたデータを
元の3次元データの形式に復元し、このデータを3次元
逆直交変換回路13へ出力する。3次元逆直交変換回路13
は、3次元逆DCT を施して元の3次元ブロックを得、こ
れをフィールドメモリ14へ出力する。フィールドメモリ
14は、3次元ブロックを元のフィールド画面に戻し、デ
ィジタルの輝度信号(Y信号)と色差信号(R−Y信
号,B−Y信号)とをディジタル・アナログ(以下D/
Aと記す)変換器15へ出力する。D/A変換器15は、入
力信号をアナログ信号に変換してNTSCエンコーダ16へ出
力する。NTSCエンコーダ16は、輝度信号と色差信号とか
らNTSCカラーテレビジョン信号を再生する。再生された
カラーテレビジョン信号は、出力端子17を介して出力さ
れる。
おり、11は符号化されたデータを復号器12へ入力するた
めの入力端子を示す。復号器12は符号化されたデータを
元の3次元データの形式に復元し、このデータを3次元
逆直交変換回路13へ出力する。3次元逆直交変換回路13
は、3次元逆DCT を施して元の3次元ブロックを得、こ
れをフィールドメモリ14へ出力する。フィールドメモリ
14は、3次元ブロックを元のフィールド画面に戻し、デ
ィジタルの輝度信号(Y信号)と色差信号(R−Y信
号,B−Y信号)とをディジタル・アナログ(以下D/
Aと記す)変換器15へ出力する。D/A変換器15は、入
力信号をアナログ信号に変換してNTSCエンコーダ16へ出
力する。NTSCエンコーダ16は、輝度信号と色差信号とか
らNTSCカラーテレビジョン信号を再生する。再生された
カラーテレビジョン信号は、出力端子17を介して出力さ
れる。
【0030】次に、動作について説明する。一般に画像
情報を圧縮するには、輝度信号と色信号とを独立に扱う
ことが便利である。従って、入力端子1から入力された
NTSCカラーテレビジョン信号がNTSCデコーダ2にて輝度
信号(Y信号)と色差信号(R−Y信号,B−Y信号)
とに分離された後、A/D変換器3にてディジタル信号
に変換される。このときの標本化周波数は、Y信号が1
3.5MHz 、R−Y信号,B−Y信号が6.75MHz である。
従って、NTSCカラーテレビジョン信号の場合、1水平ラ
インの有効サンプル数は、Y信号が 720、R−Y信号,
B−Y信号が夫々360となり、262.5 水平ラインで1フ
ィールドを構成している。このうち、有効ラインである
例えば250 水平ラインを1フィールド単位として、フィ
ールドメモリ4に8フィールド分が取り込まれる。そし
て、次の8フィールド分のデータが取り込まれている間
に、図2に示すような3次元ブロックのデータがフィー
ルドメモリ4から3次元直交変換回路5へ出力される。
情報を圧縮するには、輝度信号と色信号とを独立に扱う
ことが便利である。従って、入力端子1から入力された
NTSCカラーテレビジョン信号がNTSCデコーダ2にて輝度
信号(Y信号)と色差信号(R−Y信号,B−Y信号)
とに分離された後、A/D変換器3にてディジタル信号
に変換される。このときの標本化周波数は、Y信号が1
3.5MHz 、R−Y信号,B−Y信号が6.75MHz である。
従って、NTSCカラーテレビジョン信号の場合、1水平ラ
インの有効サンプル数は、Y信号が 720、R−Y信号,
B−Y信号が夫々360となり、262.5 水平ラインで1フ
ィールドを構成している。このうち、有効ラインである
例えば250 水平ラインを1フィールド単位として、フィ
ールドメモリ4に8フィールド分が取り込まれる。そし
て、次の8フィールド分のデータが取り込まれている間
に、図2に示すような3次元ブロックのデータがフィー
ルドメモリ4から3次元直交変換回路5へ出力される。
【0031】図2では、水平方向を第1次方向、垂直
方向を第2次方向、フィールド方向(時間方向)を
第3次方向として、3次元ブロックを構成する。具体的
には、2×2×8のブロックを示している。なお、図2
に示すように、奇数フィールドと偶数フィールド、例え
ば第(2i−1)フィールドと第2iフィールドとで
は、画素の空間的な位置は垂直方向において一致せず、
第2iフィールドの左上の画素は第(2i−1)フィー
ルドの左上の画素から1/2ライン分下方の位置にあ
る。このような3次元ブロック単位で送られてきたデー
タは、3次元直交変換回路5にて3次元DCT が施された
後、符号器6にて量子化され、ハフマン符号などを用い
て符号化され、出力端子7から出力される。
方向を第2次方向、フィールド方向(時間方向)を
第3次方向として、3次元ブロックを構成する。具体的
には、2×2×8のブロックを示している。なお、図2
に示すように、奇数フィールドと偶数フィールド、例え
ば第(2i−1)フィールドと第2iフィールドとで
は、画素の空間的な位置は垂直方向において一致せず、
第2iフィールドの左上の画素は第(2i−1)フィー
ルドの左上の画素から1/2ライン分下方の位置にあ
る。このような3次元ブロック単位で送られてきたデー
タは、3次元直交変換回路5にて3次元DCT が施された
後、符号器6にて量子化され、ハフマン符号などを用い
て符号化され、出力端子7から出力される。
【0032】一方、入力端子11から出力端子17までの復
号系では、上述した入力端子1から出力端子7までの符
号系と全く逆のプロセスが施され、元のNTSCカラーテレ
ビジョン信号が得られて、出力端子17から出力される。
号系では、上述した入力端子1から出力端子7までの符
号系と全く逆のプロセスが施され、元のNTSCカラーテレ
ビジョン信号が得られて、出力端子17から出力される。
【0033】ここで、上述したような方法により情報圧
縮を行なえることを示す。ある自然動画像の1コマの一
部のデータに対して8×8×8画素の3次元DCT を行な
った例について説明する。この自然動画像のフィールド
t=0からt=7までの輝度信号を8ビットに一様に量
子化したデータは第1表に示すようなものであった。
縮を行なえることを示す。ある自然動画像の1コマの一
部のデータに対して8×8×8画素の3次元DCT を行な
った例について説明する。この自然動画像のフィールド
t=0からt=7までの輝度信号を8ビットに一様に量
子化したデータは第1表に示すようなものであった。
【0034】
【表1】
【0035】次に、このデータに対して3次元DCT を行
なって、小数点以下を四捨五入すると、第2表(a),
(b)に示すような変換係数が得られた。
なって、小数点以下を四捨五入すると、第2表(a),
(b)に示すような変換係数が得られた。
【0036】
【表2】
【0037】
【表3】
【0038】得られた変換係数を、図3のような符号化
ビットマップ及び図4のような2次元スキャンニングを
用いて符号化すると、この3次元データの符号長は1902
ビットとなった。図3で、横軸は変換係数のレベル、縦
軸はゼロが続く数を表しており、図中の数字が符号長を
表す。図4は、2次元DCT の際によく使われるスキャン
図であり、本実施例では、このような2次元スキャンニ
ングを8回繰り返すことになる。
ビットマップ及び図4のような2次元スキャンニングを
用いて符号化すると、この3次元データの符号長は1902
ビットとなった。図3で、横軸は変換係数のレベル、縦
軸はゼロが続く数を表しており、図中の数字が符号長を
表す。図4は、2次元DCT の際によく使われるスキャン
図であり、本実施例では、このような2次元スキャンニ
ングを8回繰り返すことになる。
【0039】一方、同じデータを従来のように飛び越し
走査されない形式に変換して符号化した。第3表は飛び
越し走査されない形式の元のデータである。
走査されない形式に変換して符号化した。第3表は飛び
越し走査されない形式の元のデータである。
【0040】
【表4】
【0041】この場合、8×8×4画素の3次元ブロッ
クが2つとなる。この2つのブロックに3次元DCT を行
なって得られる変換係数を第4表(a),(b)に示
す。
クが2つとなる。この2つのブロックに3次元DCT を行
なって得られる変換係数を第4表(a),(b)に示
す。
【0042】
【表5】
【0043】
【表6】
【0044】これらを図3のような符号化ビットマップ
及び図4のような2次元スキャンニングを用いて符号化
すると、各ブロックにおける符号長は夫々1188ビット,
1137ビットとなり、合計2325ビットであった。
及び図4のような2次元スキャンニングを用いて符号化
すると、各ブロックにおける符号長は夫々1188ビット,
1137ビットとなり、合計2325ビットであった。
【0045】以上のように、従来例に比べて本実施例で
は、約16%の情報圧縮を達成できた。前記自然動画像の
4フレームの画像に対して、本実施例にて符号化を行っ
て秒当たりのレートに換算すると約25.3Mbpsとなる。同
様に従来例にて秒当たりのレートに換算すると約30.2Mb
psとなる。このようなことからも、画像の一部分だけで
なく画像全体においても情報圧縮を達成できることがわ
かる。
は、約16%の情報圧縮を達成できた。前記自然動画像の
4フレームの画像に対して、本実施例にて符号化を行っ
て秒当たりのレートに換算すると約25.3Mbpsとなる。同
様に従来例にて秒当たりのレートに換算すると約30.2Mb
psとなる。このようなことからも、画像の一部分だけで
なく画像全体においても情報圧縮を達成できることがわ
かる。
【0046】(第2実施例)次に、本発明の第2実施例
について説明する。この例は、情報量を削減するため
に、得られた変換係数に重み付けを施した後に符号化す
る例である。第2実施例による符号化・復号化装置の構
成を示す図5において、図1と同番号を付した部分は同
一部材を示す。符号系における8は、3次元直交変換回
路5にて得られる得られる変換係数に重み付けした後量
子化する重み付け量子化器である。重み付け量子化器8
は、量子化したデータを可変長符号器9へ出力する。可
変長符号器9は、頻度が高い出力には短い符号を割り当
てるように例えばハフマン符号を用いて、入力されたデ
ータを可変長符号化する。また、復号系における18は、
可変長符号化されたデータを元の量子化データに戻す可
変長復号器である。可変長復号器18は、量子化データを
重み付け逆量子化器19へ出力する。重み付け逆量子化器
19は、量子化データを元の変換係数のデータに戻す。
について説明する。この例は、情報量を削減するため
に、得られた変換係数に重み付けを施した後に符号化す
る例である。第2実施例による符号化・復号化装置の構
成を示す図5において、図1と同番号を付した部分は同
一部材を示す。符号系における8は、3次元直交変換回
路5にて得られる得られる変換係数に重み付けした後量
子化する重み付け量子化器である。重み付け量子化器8
は、量子化したデータを可変長符号器9へ出力する。可
変長符号器9は、頻度が高い出力には短い符号を割り当
てるように例えばハフマン符号を用いて、入力されたデ
ータを可変長符号化する。また、復号系における18は、
可変長符号化されたデータを元の量子化データに戻す可
変長復号器である。可変長復号器18は、量子化データを
重み付け逆量子化器19へ出力する。重み付け逆量子化器
19は、量子化データを元の変換係数のデータに戻す。
【0047】次に、動作について説明する。ここでは、
第1実施例とは異なる重み付けの動作について重点的に
説明する。第1実施例と同様に、図2に示すような3次
元ブロック単位のデータが、フィールドメモリ4から3
次元直交変換回路5へ出力され、3次元DCT が施され
る。図6は、第3次方向(時間方向)のDCT による変換
係数のパワー分布を示す。図6(a)は動画の場合を示
しており、各変換係数は何れもパワーを有しており情報
量が多いことがわかる。図6(b)は静止画の場合を示
している。本来、静止画では時間方向に情報変化はない
はずであるが、飛び越し走査により空間的変位が時間的
変位に変換されるので、直流成分をゼロ番目とした場合
に奇数番目の変換係数にパワーが現れる。これはDCT の
基底ベクトルの次数Nと関係がある。図7に、N=16の
ときのDCT の基底ベクトルを示す。
第1実施例とは異なる重み付けの動作について重点的に
説明する。第1実施例と同様に、図2に示すような3次
元ブロック単位のデータが、フィールドメモリ4から3
次元直交変換回路5へ出力され、3次元DCT が施され
る。図6は、第3次方向(時間方向)のDCT による変換
係数のパワー分布を示す。図6(a)は動画の場合を示
しており、各変換係数は何れもパワーを有しており情報
量が多いことがわかる。図6(b)は静止画の場合を示
している。本来、静止画では時間方向に情報変化はない
はずであるが、飛び越し走査により空間的変位が時間的
変位に変換されるので、直流成分をゼロ番目とした場合
に奇数番目の変換係数にパワーが現れる。これはDCT の
基底ベクトルの次数Nと関係がある。図7に、N=16の
ときのDCT の基底ベクトルを示す。
【0048】ここで、奇数番目の変換係数にのみパワー
が現れる理由を、DCT の定義式に基づいて説明する。N
点DCT は、以下の式にて定義される。
が現れる理由を、DCT の定義式に基づいて説明する。N
点DCT は、以下の式にて定義される。
【0049】
【数1】
【0050】ここで、奇数・偶数フィールドについて分
けて考えると、y(i)は次式で表される。
けて考えると、y(i)は次式で表される。
【0051】
【数2】
【0052】静止画である場合には、奇数フィールド同
士、偶数フィールド同士ではその画像信号は同じである
ので、x(0)=x(2)=,…,=x(N−2)であ
り、x(1)=x(3)=,…,=x(N−1)とな
る。このことを利用すると、y(i)は更に次式で表さ
れる。
士、偶数フィールド同士ではその画像信号は同じである
ので、x(0)=x(2)=,…,=x(N−2)であ
り、x(1)=x(3)=,…,=x(N−1)とな
る。このことを利用すると、y(i)は更に次式で表さ
れる。
【0053】
【数3】
【0054】また余弦関数では、 cosα=− cos(π−
α)=− cos(π+α)= cos(2π−α)であるの
で、i=2,4,6,…,N−2の場合には、次の各式
が成立する。
α)=− cos(π+α)= cos(2π−α)であるの
で、i=2,4,6,…,N−2の場合には、次の各式
が成立する。
【0055】
【数4】
【0056】このようにDC成分を除く偶数番目の変換
係数はゼロとなり、奇数番目の変換係数にはパワーが現
れる。重み付け量子化器8では、静止画の情報を持たな
い偶数番目の変換係数に対してのみ重み付けを行って、
等価的に粗く量子化する。図8(a)にこの重み付けの
際の重み付け係数の一例を示す。この重み付けは、静止
画の場合はもともと値がゼロである変換係数に対して行
われるので全く影響がない。
係数はゼロとなり、奇数番目の変換係数にはパワーが現
れる。重み付け量子化器8では、静止画の情報を持たな
い偶数番目の変換係数に対してのみ重み付けを行って、
等価的に粗く量子化する。図8(a)にこの重み付けの
際の重み付け係数の一例を示す。この重み付けは、静止
画の場合はもともと値がゼロである変換係数に対して行
われるので全く影響がない。
【0057】また、動画の場合には、この重み付けによ
って変換係数がゼロまたは小さな数に変換されるので、
ハフマン符号などを用いた後段の可変長符号器9の動作
により情報量が削減される。可変長符号器9で可変長符
号化されたデータは、出力端子7から出力される。
って変換係数がゼロまたは小さな数に変換されるので、
ハフマン符号などを用いた後段の可変長符号器9の動作
により情報量が削減される。可変長符号器9で可変長符
号化されたデータは、出力端子7から出力される。
【0058】一方、入力端子11から出力端子17までの復
号系では、上述した符号系と全く逆のプロセスを施すこ
とにより、NTSCカラーテレビジョン信号が得られて出力
端子17から出力される。図8(b)には復号時に使用さ
れる重み付け係数の一例を示す。
号系では、上述した符号系と全く逆のプロセスを施すこ
とにより、NTSCカラーテレビジョン信号が得られて出力
端子17から出力される。図8(b)には復号時に使用さ
れる重み付け係数の一例を示す。
【0059】図9,図10に符号時,復号時に用いる重み
付け係数の他の例を示す。この例では、奇数番目の変換
係数に比べて偶数番目の変換係数にはより粗く量子化す
るような重み付けが行われる。従って、静止画の画質劣
化を微小に抑えた状態で、動画時における情報量の大幅
な削減を達成できる。なお、第2実施例では、3次元直
交変換を用いた例について説明したが、時間方向に直交
変換を施すこととすれば、2次元空間の処理の方法は任
意であることは勿論である。
付け係数の他の例を示す。この例では、奇数番目の変換
係数に比べて偶数番目の変換係数にはより粗く量子化す
るような重み付けが行われる。従って、静止画の画質劣
化を微小に抑えた状態で、動画時における情報量の大幅
な削減を達成できる。なお、第2実施例では、3次元直
交変換を用いた例について説明したが、時間方向に直交
変換を施すこととすれば、2次元空間の処理の方法は任
意であることは勿論である。
【0060】以上のように第2実施例では、疑似動画成
分が現れない偶数番目の変換係数についてのみ重み付け
量子化を行うか、または疑似動画成分が現れない変換係
数に対して、疑似動画成分が現れる奇数番目の変換係数
に比べ、低レートの重み付けをしてより粗く量子化する
ことにしたので、動画,静止画の判別を行うことなく、
また静止画の画質劣化を招くことなく、動画時の情報量
を大幅に削減できる。
分が現れない偶数番目の変換係数についてのみ重み付け
量子化を行うか、または疑似動画成分が現れない変換係
数に対して、疑似動画成分が現れる奇数番目の変換係数
に比べ、低レートの重み付けをしてより粗く量子化する
ことにしたので、動画,静止画の判別を行うことなく、
また静止画の画質劣化を招くことなく、動画時の情報量
を大幅に削減できる。
【0061】(第3実施例)ところで、上述した第1,
第2実施例において、飛び越し走査方式の信号形式から
3次元ブロックを構成した場合には、奇数フィールドと
偶数フィールドとで画素の垂直方向における空間的な位
置が一致しないので、更に冗長度を削減できる可能性が
残っている。本発明の第3実施例は、飛び越し走査方式
のディジタルビデオ信号に対し、各フィールド内で垂直
方向に画素間演算を行なって奇数,偶数フィールドにお
ける画素の空間的位置を合わせた後、3次元直交変換を
行なうようにしている。
第2実施例において、飛び越し走査方式の信号形式から
3次元ブロックを構成した場合には、奇数フィールドと
偶数フィールドとで画素の垂直方向における空間的な位
置が一致しないので、更に冗長度を削減できる可能性が
残っている。本発明の第3実施例は、飛び越し走査方式
のディジタルビデオ信号に対し、各フィールド内で垂直
方向に画素間演算を行なって奇数,偶数フィールドにお
ける画素の空間的位置を合わせた後、3次元直交変換を
行なうようにしている。
【0062】第3実施例による符号化・復号化装置の構
成を示す図11において、図1と同番号を付した部分は同
一部材を示す。符号系における10は、A/D変換器3か
ら出力されるディジタルの輝度信号及び色差信号の各フ
ィールド内において垂直方向の画素間演算を行なって、
奇数,偶数フィールドにおける画素の空間的位置を合わ
せる垂直補間フィルタである。垂直補間フィルタ10は、
位置合わせ後のデータをフィールドメモリ4へ出力す
る。また、復号系における20は、フィールドメモリ14か
ら出力される画素が位置合わせされたデータから元のデ
ィジタルの画素データを復元する垂直補間フィルタであ
る。垂直補間フィルタ20は、復元した画素データをD/
A変換器15へ出力する。
成を示す図11において、図1と同番号を付した部分は同
一部材を示す。符号系における10は、A/D変換器3か
ら出力されるディジタルの輝度信号及び色差信号の各フ
ィールド内において垂直方向の画素間演算を行なって、
奇数,偶数フィールドにおける画素の空間的位置を合わ
せる垂直補間フィルタである。垂直補間フィルタ10は、
位置合わせ後のデータをフィールドメモリ4へ出力す
る。また、復号系における20は、フィールドメモリ14か
ら出力される画素が位置合わせされたデータから元のデ
ィジタルの画素データを復元する垂直補間フィルタであ
る。垂直補間フィルタ20は、復元した画素データをD/
A変換器15へ出力する。
【0063】次に、動作について説明する。垂直補間フ
ィルタ10における画素の位置合わせと垂直補間フィルタ
20における元の画素データの復元とを除いて、本実施例
の動作は前述の第1実施例と同じであるので、ここでは
異なる点を重点的に説明する。図12は、第3実施例にお
ける動作を説明するための画素を示す概念図である。
ィルタ10における画素の位置合わせと垂直補間フィルタ
20における元の画素データの復元とを除いて、本実施例
の動作は前述の第1実施例と同じであるので、ここでは
異なる点を重点的に説明する。図12は、第3実施例にお
ける動作を説明するための画素を示す概念図である。
【0064】A/D変換器3でディジタル信号に変換さ
れた輝度信号及び色差信号は、図12(a)に示すように
奇数フィールドと偶数フィールド、例えば第(2i−
1)フィールドと第2iフィールドとでは、画素(○印
にて示す)の空間的な位置は一致せず、偶数フィールド
の画素は奇数フィールドの画素より1/2ライン下に位
置している。
れた輝度信号及び色差信号は、図12(a)に示すように
奇数フィールドと偶数フィールド、例えば第(2i−
1)フィールドと第2iフィールドとでは、画素(○印
にて示す)の空間的な位置は一致せず、偶数フィールド
の画素は奇数フィールドの画素より1/2ライン下に位
置している。
【0065】垂直補間フィルタ10において画素の位置合
わせを行うために、オーバーサンプリングの手法を用い
る。いま画素数を2倍にするため垂直方向へ一つ置きに
零データを挿入する。図12(b)の□印が挿入した零デ
ータを示す。このデータを補間用の低域通過形フィルタ
に通すと、挿入した零データに補間データが得られて画
素数が2倍になる。補間フィルタとしては、例えば図13
に示すインパルス応答の奇数タップフィルタを使用でき
る。図12(c)のように同一の空間的位置を持つ画素を
残すように、得られた補間データを間引き、間引き後の
データはフィールドメモリ4へ出力される。フィールド
メモリ4にて、水平方向を第1次方向とし、垂直方向を
第2次方向とし、時間方向を第3次方向として、複数の
画素毎の3次元ブロックが構成される。3次元直交変換
回路5にて、構成された3次元ブロックを単位として3
次元DCT が施される。
わせを行うために、オーバーサンプリングの手法を用い
る。いま画素数を2倍にするため垂直方向へ一つ置きに
零データを挿入する。図12(b)の□印が挿入した零デ
ータを示す。このデータを補間用の低域通過形フィルタ
に通すと、挿入した零データに補間データが得られて画
素数が2倍になる。補間フィルタとしては、例えば図13
に示すインパルス応答の奇数タップフィルタを使用でき
る。図12(c)のように同一の空間的位置を持つ画素を
残すように、得られた補間データを間引き、間引き後の
データはフィールドメモリ4へ出力される。フィールド
メモリ4にて、水平方向を第1次方向とし、垂直方向を
第2次方向とし、時間方向を第3次方向として、複数の
画素毎の3次元ブロックが構成される。3次元直交変換
回路5にて、構成された3次元ブロックを単位として3
次元DCT が施される。
【0066】復号系では、3次元逆直交変換された3次
元ブロックデータが、フィールドメモリ14で画素の空間
的位置が一致しているフィールドデータ(図12(d))
となる。ここで元の画素データを再現するために、符号
系の場合と同様に零データを挿入し補間フィルタに通す
と、図12(e)のようなデータが得られる。更に、□の
データを間引けば図16(a)と同じ飛び越し走査方式の
ディジタル信号(図12(f))が得られる。
元ブロックデータが、フィールドメモリ14で画素の空間
的位置が一致しているフィールドデータ(図12(d))
となる。ここで元の画素データを再現するために、符号
系の場合と同様に零データを挿入し補間フィルタに通す
と、図12(e)のようなデータが得られる。更に、□の
データを間引けば図16(a)と同じ飛び越し走査方式の
ディジタル信号(図12(f))が得られる。
【0067】図15, 16, 17は以上の様子を周波数軸上で
概念的に示している。各図において、縦軸は垂直方向の
周波数、横軸は時間方向の周波数を表わしている。図15
は図12(a)に対応した飛び越し走査時の図であり、情
報はオフセットサブサンプリングの効果で斜め方向に織
り込まれている。図16は2倍オーバーサンプリングで画
素数が2倍になった状態(図12(b))に対応してお
り、垂直低域通過フィルタによって垂直の低域成分が抽
出される。
概念的に示している。各図において、縦軸は垂直方向の
周波数、横軸は時間方向の周波数を表わしている。図15
は図12(a)に対応した飛び越し走査時の図であり、情
報はオフセットサブサンプリングの効果で斜め方向に織
り込まれている。図16は2倍オーバーサンプリングで画
素数が2倍になった状態(図12(b))に対応してお
り、垂直低域通過フィルタによって垂直の低域成分が抽
出される。
【0068】さらに図17は1/2間引きにより画素数が
元に戻った状態(図12(c))に対応しており、垂直方
向の折り返された高域成分がうまく時間方向に分離され
ているので、情報圧縮に有利に働く。一方、復号系では
符号系とは逆の経路をたどるので、図12(d),
(e),(f)は夫々図17,16,15に対応し、元の飛び
越し走査方式のディジタル信号が復元される。
元に戻った状態(図12(c))に対応しており、垂直方
向の折り返された高域成分がうまく時間方向に分離され
ているので、情報圧縮に有利に働く。一方、復号系では
符号系とは逆の経路をたどるので、図12(d),
(e),(f)は夫々図17,16,15に対応し、元の飛び
越し走査方式のディジタル信号が復元される。
【0069】上記例では、画素の位置合わせにオーバー
サンプリングと1/2間引きの手法とを使用したが、オ
ールパスフィルタを用いて即座に位置合わせを行なうこ
ともできる。例えば、図13の●印のレスポンスを持つフ
ィルタを奇数フィールドに適用し、○印のレスポンスを
持つフィルタを偶数フィールドに適用すればよい。
サンプリングと1/2間引きの手法とを使用したが、オ
ールパスフィルタを用いて即座に位置合わせを行なうこ
ともできる。例えば、図13の●印のレスポンスを持つフ
ィルタを奇数フィールドに適用し、○印のレスポンスを
持つフィルタを偶数フィールドに適用すればよい。
【0070】次に、タップ数が偶数のフィルタでも同様
の処理が行えることを示す。偶数タップの補間フィルタ
の例として図14のようなインパルス応答を示すものがあ
る。飛び越し走査方式の信号(図12(a))に対し奇数
タップのフィルタのときと同じように垂直方向へ一つ置
きに零データを挿入し(図12(b))補間フィルタに通
すと、2倍オーバーサンプリングの補間データが得られ
る。但し、偶数タップのフィルタの重心が画素上ではな
く、隣合う画素の中間に位置するので、フィルタリング
後の画素の位置は1/4ライン移動することになる。1
/2間引きにより、図12(c′)に示すように、同一の
空間位置を持つ画素が得られる。このときの周波数スペ
クトルは奇数タップのフィルタのときと何ら変わらな
い。
の処理が行えることを示す。偶数タップの補間フィルタ
の例として図14のようなインパルス応答を示すものがあ
る。飛び越し走査方式の信号(図12(a))に対し奇数
タップのフィルタのときと同じように垂直方向へ一つ置
きに零データを挿入し(図12(b))補間フィルタに通
すと、2倍オーバーサンプリングの補間データが得られ
る。但し、偶数タップのフィルタの重心が画素上ではな
く、隣合う画素の中間に位置するので、フィルタリング
後の画素の位置は1/4ライン移動することになる。1
/2間引きにより、図12(c′)に示すように、同一の
空間位置を持つ画素が得られる。このときの周波数スペ
クトルは奇数タップのフィルタのときと何ら変わらな
い。
【0071】復号時に補間フィルタへ入力される信号は
図12(d′)であり、零データを挿入しフィルタリング
すると符号時と同じように1/4ラインずれるので、図
12(e)の信号が得られる。奇数タップのフィルタのと
きと同じようにオフセットサブサンプリングすれば、元
の飛び越し走査方式のディジタル信号(図12(f))が
得られる。
図12(d′)であり、零データを挿入しフィルタリング
すると符号時と同じように1/4ラインずれるので、図
12(e)の信号が得られる。奇数タップのフィルタのと
きと同じようにオフセットサブサンプリングすれば、元
の飛び越し走査方式のディジタル信号(図12(f))が
得られる。
【0072】また、奇数タップのフィルタを使用する場
合と同じように、偶数タップのフィルタを用いる場合に
も、図14の●印のレスポンスを奇数フィールドに○印の
レスポンスを偶数フィールドに夫々適用すれば、即座に
奇数,偶数フィールドにおける画素の位置合わせを行な
える。
合と同じように、偶数タップのフィルタを用いる場合に
も、図14の●印のレスポンスを奇数フィールドに○印の
レスポンスを偶数フィールドに夫々適用すれば、即座に
奇数,偶数フィールドにおける画素の位置合わせを行な
える。
【0073】以上のように、第3実施例では、飛び越し
走査方式のビデオ信号に対し、フィールド内で垂直の補
間フィルタにより奇数,偶数フィールドの画素の2次元
空間上の位置を合わせた後、時間方向に奇数,偶数フィ
ールドを束ねて3次元ブロックを構成し、これを直交変
換して符号化するようにしたので、飛び越し走査方式の
ビデオ信号に対して第1実施例より更に顕著に情報圧縮
を行える。なお、この第3実施例と第2実施例とを組み
合わせてもよいことは勿論である。
走査方式のビデオ信号に対し、フィールド内で垂直の補
間フィルタにより奇数,偶数フィールドの画素の2次元
空間上の位置を合わせた後、時間方向に奇数,偶数フィ
ールドを束ねて3次元ブロックを構成し、これを直交変
換して符号化するようにしたので、飛び越し走査方式の
ビデオ信号に対して第1実施例より更に顕著に情報圧縮
を行える。なお、この第3実施例と第2実施例とを組み
合わせてもよいことは勿論である。
【0074】なお、上記実施例では、Y信号を13.5MHz,
R−Y信号,B−Y信号を6.75MHzで標本化する、いわ
ゆる4:2:2コンポーネント信号を例にとり説明した
が、標本化の際の周波数はこれに限らないことは言うま
でもない。
R−Y信号,B−Y信号を6.75MHzで標本化する、いわ
ゆる4:2:2コンポーネント信号を例にとり説明した
が、標本化の際の周波数はこれに限らないことは言うま
でもない。
【0075】
【発明の効果】以上のように、本発明の符号化方法及び
符号化装置では、飛び越し走査方式のビデオ信号に対
し、フィールド内で2次元方向を構成し、時間方向に奇
数,偶数フィールドを束ねてかつ空間的に近傍の画素に
より3次元ブロックを構成し、これを直交変換して符号
化するので、飛び越し走査方式のビデオ信号に対して顕
著に情報圧縮を行えるという効果がある。
符号化装置では、飛び越し走査方式のビデオ信号に対
し、フィールド内で2次元方向を構成し、時間方向に奇
数,偶数フィールドを束ねてかつ空間的に近傍の画素に
より3次元ブロックを構成し、これを直交変換して符号
化するので、飛び越し走査方式のビデオ信号に対して顕
著に情報圧縮を行えるという効果がある。
【0076】また、本発明の符号化方法では、疑似動画
成分が現れない変換係数についてのみ重み付け量子化を
行うか、または疑似動画成分が現れない変換係数に対し
て、疑似動画成分が現れる変換係数に比べ、低レートの
重み付けをしてより粗く量子化することにしたので、動
画,静止画の判別を行うことなく、また静止画の画質劣
化を招くことなく、動画時の情報量を大幅に削減するこ
とができる。
成分が現れない変換係数についてのみ重み付け量子化を
行うか、または疑似動画成分が現れない変換係数に対し
て、疑似動画成分が現れる変換係数に比べ、低レートの
重み付けをしてより粗く量子化することにしたので、動
画,静止画の判別を行うことなく、また静止画の画質劣
化を招くことなく、動画時の情報量を大幅に削減するこ
とができる。
【0077】更に、本発明の符号化方法及び符号化装置
では、飛び越し走査方式のビデオ信号に対し、フィール
ド内で垂直の補間フィルタにより奇数,偶数フィールド
の画素の2次元空間上の位置を合わせた後、時間方向に
奇数,偶数フィールドを束ねて3次元ブロックを構成
し、これを直交変換して符号化するようにしたので、飛
び越し走査方式のビデオ信号に対して顕著に情報圧縮を
行えるという効果がある。
では、飛び越し走査方式のビデオ信号に対し、フィール
ド内で垂直の補間フィルタにより奇数,偶数フィールド
の画素の2次元空間上の位置を合わせた後、時間方向に
奇数,偶数フィールドを束ねて3次元ブロックを構成
し、これを直交変換して符号化するようにしたので、飛
び越し走査方式のビデオ信号に対して顕著に情報圧縮を
行えるという効果がある。
【図1】本発明の第1実施例に応じた装置構成を示すブ
ロック図である。
ロック図である。
【図2】本発明の第1実施例による3次元ブロックを示
す概念図である。
す概念図である。
【図3】変換係数を符号化する際に使用する2次元ビッ
トマップ図である。
トマップ図である。
【図4】2次元変換係数の走査図である。
【図5】本発明の第2実施例に応じた装置構成を示すブ
ロック図である。
ロック図である。
【図6】直交変換後の変換係数のパワー分布図である。
【図7】DCT の基底ベクトルを示す図である。
【図8】重み付け係数の一実施例を示す図である。
【図9】重み付け係数の他の実施例を示す図である。
【図10】重み付け係数の更に他の実施例を示す図であ
る。
る。
【図11】本発明の第3実施例に応じた装置構成を示す
ブロック図である。
ブロック図である。
【図12】第3実施例の動作を説明するための画素を示
す概念図である。
す概念図である。
【図13】奇数タップ補間フィルタのインパルス応答の
一例を示す図である。
一例を示す図である。
【図14】偶数タップ補間フィルタのインパルス応答の
一例を示す図である。
一例を示す図である。
【図15】飛び越し走査時のスペクトル分布を示す概念
図である。
図である。
【図16】オーバーサンプリング時のスペクトル分布を
示す概念図である。
示す概念図である。
【図17】画素の位置合わせ時のスペクトル分布を示す
概念図である。
概念図である。
【図18】飛び越し走査されない方式の従来の3次元ブ
ロックを示す概念図である。
ロックを示す概念図である。
【図19】テレビ画面の飛び越し走査の原理を説明する
ための図である。
ための図である。
【図20】標準テレビジョン方式におけるフィールドと
フレームの関係を示す概念図である。
フレームの関係を示す概念図である。
【符号の説明】
2 NTSCデコーダ
3 A/D変換器
4 フィールドメモリ
5 3次元直交変換回路
6 符号器
8 重み付け量子化器
9 可変長符号器
10 垂直補間フィルタ
12 復号器
13 3次元逆直交変換回路
14 フィールドメモリ
15 D/A変換器
16 NTSCエンコーダ
18 可変長復号器
19 重み付け逆量子化器
20 垂直補間フィルタ
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 伊藤 俊
京都府長岡京市馬場図所1番地 三菱電機
株式会社電子商品開発研究所内
(72)発明者 塚本 学
京都府長岡京市馬場図所1番地 三菱電機
株式会社電子商品開発研究所内
Claims (11)
- 【請求項1】 飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、各フィールドの水
平方向の画素を第1次成分とし、各フィールドの垂直方
向の画素を第2次成分とし、2次元空間でほぼ同一位置
となる複数フィールドの画素を第3次成分として、複数
の画素毎に3次元ブロックを構成するステップと、構成
された3次元ブロックを単位として直交変換を行なって
変換係数を得るステップと、得られた変換係数を符号化
するステップとを有することを特徴とする符号化方法。 - 【請求項2】 飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号に対して、各フィールド内で複数の画素毎に2
次元ブロックを構成するステップと、2次元空間でほぼ
同一位置となる複数フィールドの2次元ブロックを束ね
て3次元ブロックを構成するステップと、構成された3
次元ブロックを単位として直交変換を行なって変換係数
を得るステップと、得られた変換係数を符号化するステ
ップとを有することを特徴とする符号化方法。 - 【請求項3】 飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号を少なくとも時間方向にブロック化してブロッ
クを構成するステップと、構成されたブロックに直交変
換を施して変換係数を得るステップと、得られた変換係
数を量子化して符号化するステップとを有し、ブロック
化された信号が静止画を示す場合にその値がゼロとなる
変換係数に対しては重み付けした後量子化を行うことを
特徴とする符号化方法。 - 【請求項4】 飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、各フィールドの水
平方向の画素を第1次成分とし、各フィールドの垂直方
向の画素を第2次成分とし、2次元空間でほぼ同一位置
となる複数フィールドの画素を第3次成分として、複数
の画素毎に3次元ブロックを構成するステップと、構成
された3次元ブロックを単位として直交変換を行なって
変換係数を得るステップと、得られた変換係数を量子化
して符号化するステップとを有し、3次元ブロック化さ
れた信号が静止画を示す場合にその値がゼロとなる変換
係数に対しては重み付けした後量子化を行うことを特徴
とする符号化方法。 - 【請求項5】 飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号を少なくとも時間方向にブロック化してブロッ
クを構成するステップと、構成されたブロックに直交変
換を施して変換係数を得るステップと、得られた変換係
数を重み付け量子化して符号化するステップとを有し、
ブロック化された信号が静止画を示す場合にその値がゼ
ロとなる変換係数に対して、ゼロにならない変換係数に
比べて、低いレートの重み付けを行うことを特徴とする
符号化方法。 - 【請求項6】 飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、各フィールドの水
平方向の画素を第1次成分とし、各フィールドの垂直方
向の画素を第2次成分とし、2次元空間でほぼ同一位置
となる複数フィールドの画素を第3次成分として、複数
の画素毎に3次元ブロックを構成するステップと、構成
された3次元ブロックを単位として直交変換を行なって
変換係数を得るステップと、得られた変換係数を重み付
け量子化して符号化するステップとを有し、3次元ブロ
ック化された信号が静止画を示す場合にその値がゼロと
なる変換係数に対して、ゼロにならない変換係数に比べ
て、低いレートの重み付けを行うことを特徴とする符号
化方法。 - 【請求項7】 飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号に対して各フィールド内で垂直方向における画
素を用いて演算を行い、奇数フィールド,偶数フィール
ドにおける画素の空間的位置を合わせるステップと、画
素の空間的位置が合った複数のフィールドの画素を対象
として演算を行うステップとを有することを特徴とする
符号化方法。 - 【請求項8】 飛び越し走査方式のディジタルビデオ信
号を符号化する符号化方法において、前記ディジタルビ
デオ信号に対して各フィールド内で垂直方向における画
素を用いて演算を行い、奇数フィールド,偶数フィール
ドにおける画素の空間的位置を合わせるステップと、各
フィールドの水平方向の画素を第1次成分とし、各フィ
ールドの垂直方向の画素を第2次成分とし、2次元空間
でほぼ同一位置となる複数フィールドの画素を第3次成
分として、複数の画素毎に3次元ブロックを構成するス
テップと、構成された3次元ブロックを単位として直交
変換を行なって変換係数を得るステップと、得られた変
換係数を符号化するステップとを有することを特徴とす
る符号化方法。 - 【請求項9】 飛び越し走査方式のディジタルビデオ信
号を符号化する符号化装置において、各フィールドの水
平方向の画素を第1次成分とし、各フィールドの垂直方
向の画素を第2次成分とし、2次元空間でほぼ同一位置
となる複数フィールドの画素を第3次成分として、複数
の画素毎に3次元ブロックを構成する手段と、構成され
た3次元ブロックに直交変換を施して変換係数を得る手
段と、得られた変換係数を符号化する手段とを備えるこ
とを特徴とする符号化装置。 - 【請求項10】 飛び越し走査方式のディジタルビデオ
信号を符号化する符号化装置において、前記ディジタル
ビデオ信号に対して各フィールド内で垂直方向における
画素を用いて演算を行い、奇数フィールド,偶数フィー
ルドにおける画素の空間的位置を合わせる手段と、各フ
ィールドの水平方向の画素を第1次成分とし、各フィー
ルドの垂直方向の画素を第2次成分とし、2次元空間で
ほぼ同一位置となる複数フィールドの画素を第3次成分
として、複数の画素毎に3次元ブロックを構成する手段
と、構成された3次元ブロックに直交変換を施して変換
係数を得る手段と、得られた変換係数を符号化する手段
とを備えることを特徴とする符号化装置。 - 【請求項11】 入力される飛び越し走査方式のディジ
タルビデオ信号を符号化し、符号化されたデータを復号
化してディジタルビデオ信号を得る符号化・復号化装置
において、各フィールドの水平方向の画素を第1次成分
とし、各フィールドの垂直方向の画素を第2次成分と
し、2次元空間でほぼ同一位置となる複数フィールドの
画素を第3次成分として、複数の画素毎に3次元ブロッ
クを構成する手段と、構成された3次元ブロックに直交
変換を施して変換係数を得る手段と、得られた変換係数
を符号化する手段と、符号化されたデータを復号化して
変換係数を得る手段と、得られた変換係数に逆直交変換
を施して3次元ブロックを得る手段と、得られた3次元
ブロックを合成して元のディジタルビデオ信号を得る手
段とを備えることを特徴とする符号化・復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14032391A JP2916719B2 (ja) | 1990-06-13 | 1991-06-12 | 符号化方法、符号化装置及び符号化・復号化装置 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15645390 | 1990-06-13 | ||
JP4687291 | 1991-03-12 | ||
JP11002891 | 1991-05-15 | ||
JP2-156453 | 1991-05-15 | ||
JP3-46872 | 1991-05-15 | ||
JP3-110028 | 1991-05-15 | ||
JP14032391A JP2916719B2 (ja) | 1990-06-13 | 1991-06-12 | 符号化方法、符号化装置及び符号化・復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0530496A true JPH0530496A (ja) | 1993-02-05 |
JP2916719B2 JP2916719B2 (ja) | 1999-07-05 |
Family
ID=27461956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14032391A Expired - Fee Related JP2916719B2 (ja) | 1990-06-13 | 1991-06-12 | 符号化方法、符号化装置及び符号化・復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2916719B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001017230A1 (fr) * | 1999-08-27 | 2001-03-08 | Sharp Kabushiki Kaisha | Dispositif de codage d'image et procede correspondant, dispositif de decodage d'image et procede correspondant, et support enregistre lisible par l'ordinateur pour enregistrer un programme de codage et de decodage d'image |
US6266081B1 (en) | 1996-03-14 | 2001-07-24 | Matsushita Electric Industrial Co., Ltd. | Digital image data storage, data transfer and data broadcast apparatus and method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63224568A (ja) * | 1987-03-13 | 1988-09-19 | Sony Corp | ビデオ信号の順序変換回路 |
JPH01226287A (ja) * | 1988-03-07 | 1989-09-08 | Victor Co Of Japan Ltd | ディジタル画像信号の3次元符号化方法及びその装置 |
-
1991
- 1991-06-12 JP JP14032391A patent/JP2916719B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63224568A (ja) * | 1987-03-13 | 1988-09-19 | Sony Corp | ビデオ信号の順序変換回路 |
JPH01226287A (ja) * | 1988-03-07 | 1989-09-08 | Victor Co Of Japan Ltd | ディジタル画像信号の3次元符号化方法及びその装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6266081B1 (en) | 1996-03-14 | 2001-07-24 | Matsushita Electric Industrial Co., Ltd. | Digital image data storage, data transfer and data broadcast apparatus and method |
WO2001017230A1 (fr) * | 1999-08-27 | 2001-03-08 | Sharp Kabushiki Kaisha | Dispositif de codage d'image et procede correspondant, dispositif de decodage d'image et procede correspondant, et support enregistre lisible par l'ordinateur pour enregistrer un programme de codage et de decodage d'image |
US7031531B1 (en) | 1999-08-27 | 2006-04-18 | Sharp Kabushiki Kaisha | Image encoding device and method therefor, image decoding apparatus and method therefor, and computer-readable recorded medium on which image encoding program and image decoding program are recorded |
Also Published As
Publication number | Publication date |
---|---|
JP2916719B2 (ja) | 1999-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5049993A (en) | Format conversion preprocessing method and circuit | |
JP2795420B2 (ja) | デジタル化映像信号の圧縮方法とその装置及びシステム | |
JP3901287B2 (ja) | 映像信号変換装置、映像信号変換方法及び映像提供システム | |
KR950000830B1 (ko) | 디지탈 비디오 신호의 부호화 방법 및 이를 이용한 고능률 부호화장치 | |
CN100415000C (zh) | 运动图象解码方法和运动图象解码装置 | |
US5237413A (en) | Motion filter for digital television system | |
EP0642725B1 (en) | Digital video signal processor apparatus with preprocessor for generating non-interlace-scan video signals from interlace-scan video signals and corresponding decompression and post processing apparatus | |
EP0461659B1 (en) | Coding method and coding apparatus | |
US7215708B2 (en) | Resolution downscaling of video images | |
EP1613097A1 (en) | Digital video signal compression and decompression method and apparatus | |
US5905846A (en) | Image decoding apparatus and process thereof and image reproduction apparatus | |
JPH0937243A (ja) | 動画像符号化装置及び復号装置 | |
Beuker et al. | Analysis of interlaced video signals and its applications | |
US6754433B2 (en) | Image data recording and transmission | |
JP2916719B2 (ja) | 符号化方法、符号化装置及び符号化・復号化装置 | |
JPH0795563A (ja) | ディジタル画像信号の高能率符号化装置 | |
JP3111028B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
US6628718B1 (en) | Color solid-state image-pickup camera system | |
JPH09149415A (ja) | 画像符号化装置および画像復号化装置 | |
JP4526529B2 (ja) | 階層画像を用いる映像信号変換装置 | |
KR940008582B1 (ko) | 영상신호 처리 시스템의 엔코딩 및 디코딩회로 | |
JP2846206B2 (ja) | サブバンド符号化装置 | |
JPH05219490A (ja) | ディジタルビデオ信号符号化・復号化装置 | |
JPH03187694A (ja) | 符号化装置 | |
JP3087563B2 (ja) | ディジタル画像データの伝送装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |