JPH06284400A

JPH06284400A - 動画符号化装置

Info

Publication number: JPH06284400A
Application number: JP6632193A
Authority: JP
Inventors: Takumi Hasebe; 巧長谷部; Tatsuro Shigesato; 達郎重里; Toyohiko Matsuda; 豊彦松田; Shigeru Awamoto; 繁粟本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-03-25
Filing date: 1993-03-25
Publication date: 1994-10-07

Abstract

(57)【要約】【目的】変換係数と動きベクトルの符号化データの処
理において、ハード効率及び処理効率の向上を図る。【構成】変換係数の符号化処理の間に動き補償部１１
１で検出された連続する動きベクトルについては、一時
格納メモリ１１４にその動きベクトルの差分値が一時的
に格納されており、その連続した差分動きベクトルに対
して、前記変換係数の符号化処理の空白処理期間におい
て、可変長符号化部１０７でその符号化処理を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像信号を記録及び伝送
するための映像信号符号化装置に関する。

【０００２】

【従来の技術】一般的に、画像信号は情報量が非常に大
きいために記録あるいは伝送を行うにあたって、高能率
符号化によって画質劣化が視覚的に目だたないように情
報量を削減する方法が用いられている。その高能率符号
化技術の１つに、国際標準化方式であるＭＰＥＧに代表
されるフレーム間動き補償付き直交変換符号化方式があ
る。その装置について図２を参照して説明する。

【０００３】図２において、２０１は入力画像データ、
２０２は動き検出単位であるマクロブロック分割するマ
クロブロック化部、２０３は直交変換を行う単位のＤＣ
Ｔブロックに分割するブロック化部、２０４は縦ｎ×横
ｎ（本実施例ではｎ＝８とする。）の直交変換（本実施
例では離散コサイン変換、以下ＤＣＴとして説明する）
する直交変換部、２０５は直交変換後の変換係数を所定
のステップ幅で量子化する量子化部、２０６は量子化さ
れた変換係数を符号化するために一次元の配列に変換す
る並び換え部、２０７は一次元の配列の変換係数データ
を可変長符号化する変換係数符号化部、２０８は局部復
号のための量子化データを逆量子化する逆量子化部であ
る。

【０００４】２０９は逆直交変換部、２１０は局部復号
された予測フレームを一時格納するフレームメモリ、２
１１はフレームメモリ２１０に格納された予測フレーム
と入力画像データ２０１とのマクロブロック毎の動きベ
クトルを検出し、予測フレームから動き補償した予測信
号ブロックを生成する動き補償部、２１２は入力画像デ
ータブロックと予測信号ブロックとの差を演算する差分
演算部、２１３は入力画像データブロックと予測信号と
の差分データのどちらかを選択するスイッチ部、２１４
は動き補償部２１１で検出された動きベクトルを符号化
する動きベクトル符号化部、２１５は変換係数符号化部
２０７の変換係数符号化データと動きベクトル符号化部
２１４の動きベクトル符号化データを記憶媒体に記録す
るためにフォーマッティングするフォーマッタ部、２１
６は記録及び伝送するための出力データである。

【０００５】動き補償部２１１では１つ以上のブロック
を含むマクロブロックを検出単位として、動きベクトル
を検出する。本実施例では縦16×横16画素を検出単位
（以下ＭＢ（マクロブロック）という）とする。その検
出単位には８×８の輝度信号ブロック（以下、Ｙブロッ
クという。）が４つと、輝度信号とは縦横のサンプル比
を２：１でサンプルしている２種類の色差信号ブロック
（以下、ＣｒブロックとＣｂブロックという。）から構
成されるが、動きベクトルの検出には、Ｙブロック16×
16の画素のみを使用し、Cr、Cbブロックに対しては、C
r、Cb画面はＹ画面の縦横1/2の大きさになっているの
で、その検出した動きベクトルを２で割って動き補償に
用いる。

【０００６】並び換え部２０６での並び換え順を図３に
示す。図３はＤＣＴブロックを示している。図３におい
て、直流成分係数（以下、ＤＣ係数という）である番号
０の係数が最も低い周波数成分であり、縦方向、横方向
に行くほど、高周波数成分となる。並び替え順は図３で
示している番号０から63の順に従って、一次元に配列さ
れていく。即ち、変換係数の低周波数成分から高周波数
成分へと、走査して並び換えるのである。一次元配列に
並び換えられた変換係数は、０の連続数（以下、ゼロラ
ンという）と０でない係数（以下、非ゼロの係数とい
う）との組合せの２次元の可変長符号化に符号化され
る。

【０００７】変換係数符号化部２０７では、符号化対象
ブロックが入力画像データブロック（以下イントラブロ
ックという）の場合と予測フレームとの差分データブロ
ック（以下非イントラブロックという）の場合では符号
化が若干異なる。その事を図４に示す。図４において、
(a)はイントラブロックの場合、(b)は非イントラブロッ
クの場合を示す。(a)では、走査順０に位置するＤＣ係
数（ＡＣ０係数）と、その他の係数（交流成分係数、以
下ＡＣ係数という。）とは別に符号化する。

【０００８】図３の走査１から走査63に対応するAC成分
係数は一次元配列に変換されたAC1からAC63までの係数
に対して、０ランと非ゼロの係数との２次元の可変長符
号を割り当てる。そして、終了符号（以下、ＥＯＢとい
う）を付加し、ブロックの符号化処理を終了する。ま
た、非イントラブロック(b)の場合は、図３の走査順０
の係数は、AC成分係数と同等に処理する。そのため、図
４(b)に示すように、走査順０から走査順63に対応するA
C成分係数を(a)と同様に２次元の可変長符号を割り当て
て符号化するのである。AC成分符号化の後はＥＯＢを付
け加えブロックの符号化処理を終了する。

【０００９】動きベクトル符号化部２１４では、動き補
償部２１１で検出された動きベクトル値を変換符号化処
理と並列に符号化処理を行っている。その符号化処理は
直前のＭＢの動きベクトル値との差分値をとり、その差
分値毎に可変長符号化を割り当てるものである。

【００１０】フォーマッタ部２１５では、ＭＢ毎の動き
ベクトル符号化データとＭＢ内の変換係数符号化データ
をフォーマットして記録データとしている。図５におい
て、ＭＢ毎に動きベクトル符号化データを配置した後、
ＭＢ内の変換係数符号化データを配置している。変換係
数符号化データはＹブロックが４つ、色差ブロックが２
種類で各１ブロックずつであるので、ＤＣＴブロックは
ＭＢ内で６個連続する事になる（参考文献：「マルチメ
ディア符号化の国際標準」安田浩編著）。

【００１１】

【発明が解決しようとする課題】以上のような従来の動
き補償フレーム間予測直交変換符号化装置では、以下の
ような課題を有している。

【００１２】（１）変換係数の符号化処理と動きベクト
ルの符号化処理は全く別の処理として存在し、また可変
長符号化という同様な処理にも関わらず、共用する事す
ら、できないため、ハードウェア規模が大きくなる。

【００１３】（２）非イントラブロックの変換係数の符
号化処理において、ＥＯＢの符号を可変長符号として処
理するため、可変長符号化の処理はブロックのサイズよ
り、１個多い、65個になってしまう。そのため、処理サ
イクルは直交変換や量子化とは異なる処理サイクルとな
り、処理の連続性を保つにはハードウェアが複雑にな
る。

【００１４】（３）情報の重要度において、動きベクト
ルと変換係数とを比較すると、動きベクトルの方が重要
度は高い。なぜならば、動きベクトルのデータがあれ
ば、そのデータを基に参照フレームのデータでそれを置
き換えても、動き情報が加えられているので、視覚上の
画質はよい。しかし、差分の変換係数データのみであれ
ば、差分データがどの部分からの差であるかわからない
ため、画像を再生する事ができないのである。

【００１５】しかしながら、従来例において動きベクト
ルと差分の変換係数との重要度は差がなく配置されてお
り、変換係数より重要な情報である動きベクトルが十分
保護されていないという欠点を有していた。

【００１６】本発明はかかる点に鑑み、変換係数と動き
ベクトルの符号化データの処理において、ハード効率及
び処理効率の向上を図ることができる動画符号化装置を
提供することを目的とする。

【００１７】

【課題を解決するための手段】上記目的を達するため、
第１の発明は、空白処理期間を有する直交変換された変
換係数を符号化する変換係数符号化手段と前記空白処理
期間にブロック分割された画像データの動きベクトルを
符号化する動きベクトル符号化手段とを備えた構成であ
る。

【００１８】また、第２の発明は、ブロックに分割され
た画像データの動き補償後の差分ブロックの直交変換さ
れた変換係数を符号化するための係数並びに並び換える
並び換え手段と、前記並び換え手段での並び換え順の最
後の変換係数を符号化せずに終了符号を符号化する変換
係数符号化手段とを備えた構成である。

【００１９】また、第３の発明は、予め設定された複数
のブロック分割された画像データの動き補償後の符号化
データを記録する記録単位において、前記記録単位に含
まれる動きベクトルを符号化した符号化データを前記記
録単位に含まれるブロック分割された画像データの直交
変換の変換係数の符号化データの読みだし前方位置に記
録する記録手段を備えた構成である。

【００２０】

【作用】第１の発明は上記した構成により、変換係数符
号化手段において、変換係数の符号化処理に空白処理期
間を設け、前記動きベクトル符号化手段が前記空白処理
期間に動きベクトルを符号化することとなる。

【００２１】また、第２の発明の変換符号化手段は、符
号化処理の終了を示す終了符号を用いて差分データブロ
ックの変換係数ブロックを符号化する場合において、並
び換え手段での変換係数ブロックの並び換え順の最後の
変換係数を符号化しない。

【００２２】また、第３の発明の符号化データ記録手段
は、複数の動き検出単位の変換係数符号化データの先頭
に、前記複数の動き検出単位に対応する複数の動きベク
トル符号化データを記録することとなる。

【００２３】

【実施例】本発明の第１の実施例を図１を参照して説明
する。図１は本発明の第１の実施例における動画符号化
装置を示すブロック図である。

【００２４】図１において、１０１は入力画像データ、
１０２は、動き検出単位のＭＢに分割するマクロブロッ
ク化部、１０３はＤＣＴ処理単位のＤＣＴブロックに分
割するブロック化部、１０４は縦ｎ×横ｎ（本実施例で
はｎ＝８とする。）の直交変換、例えば離散コサイン変
換（以下ＤＣＴという）を行う直交変換部、１０５は直
交変換後の変換係数を所定のステップ幅で量子化する量
子化部、１０６は量子化された変換係数を符号化するた
めに一次元の配列に変換する並び換え部、１０７は一次
元の配列の変換係数データまたは動きベクトルを可変長
符号化する可変長符号化部である。

【００２５】１０８は局部復号のための量子化データを
逆量子化する逆量子化部、１０９は逆直交変換部、１１
０は局部復号された予測フレームを一時格納するフレー
ムメモリ、１１１はフレームメモリ１１０に格納された
予測フレームと入力画像データ１０１とのＭＢ毎の動き
ベクトルを検出し、その検出された動きベクトルに基づ
き、フレームメモリ１１０に格納された予測フレームよ
り、予測信号ブロックを生成する動き補償部、１１２は
入力画像データブロックと予測信号ブロックとの差を演
算する差分演算部である。

【００２６】１１３は入力画像データブロック（以下イ
ントラブロックという）と予測信号との差分データブロ
ック（以下非イントラブロックという）のどちらかを選
択するスイッチ部、１１４は動き補償部１１１で検出さ
れ、出力された動きベクトルデータを符号化処理のため
に、直前のＭＢの動きベクトルとの差分をとり、その差
分動きベクトルデータを一時格納する一時格納メモリ、
１１６は可変長符号化部２０７に入力するデータを変換
係数データにするか動きベクトルデータにするかを切り
換えるスイッチ部、１１５は符号化された変換係数デー
タと動きベクトルデータを記憶媒体に記録するためにフ
ォーマッティングするフォーマッタ部、１１７は記録す
るための出力データである。

【００２７】本実施例では、５個のＭＢを１つの記録単
位として処理するものとする。まず、５個の連続するＭ
Ｂについて動きベクトルを検出し、その差分データを符
号化する場合について説明する。本実施例においては、
予測するフレームデータは符号化、さらに局部復号さ
れ、すでにフレームメモリ１１０に格納されているもの
として、説明する。

【００２８】符号化対象のＭＢ毎にフレームメモリ１１
０に格納されている予測フレーム内の画像データとの間
の動きベクトルを検出し、その動きベクトルを基にフレ
ームメモリ１１０内のデータで動き補償を行い、ブロッ
クデータに対応する予測信号データを動き補償部１１１
より生成する。差分演算部１１２により予測信号データ
と入力画像データブロックとの差をとり、直交変換部１
０４で直交変換され、量子化部１０５で量子化される。
さらに、量子化されたデータは並び換え部１０６で従来
例と同様に図３に示すような変換係数の並び換えが行わ
れ、その変換係数データはスイッチ部１１６を経由し
て、可変長符号化される。

【００２９】可変長符号は従来例と同様に、ゼロランと
非ゼロの係数との２次元の可変長符号化データを割り当
てる。このような符号化処理された変換係数の符号化デ
ータはフォーマッタ部１１５に送られる。その後、スイ
ッチ部１１３は切り換わり、変換係数符号化処理につい
ては、空白処理期間となる。非イントラブロックの符号
化は図３の操作順０に位置する変換係数からAC成分係数
として符号化するが、符号化処理の対象となる変換係数
を減らして符号化処理を行う。その処理を図６に示す。

【００３０】図６（ａ）はイントラブロックの符号化デ
ータであり、図６（ｂ）は非イントラブロックを符号化
した符号化データである。図６に示すように、非イント
ラブロックの符号化データには並び換え走差順最後の63
番目のAC63の係数を含む符号化処理は行わず、それを含
む符号化データはない。画像データは低周波数成分に電
力が集中するために、AC63の変換係数はほとんどの場
合、０値をとる。そのため、この係数の符号化を省略し
ても画質的に影響はほとんどないのである。この係数符
号化の省略により、符号化処理の前の直交変換処理及び
量子化処理は64個のデータに合わせる事ができる。この
ようにする事で、処理対象のデータ個数を64個に統一す
る事ができるために処理ハードウェアの簡略化を図る事
ができる。

【００３１】以上のような変換係数の符号化処理の間に
動き補償部で検出されてきた連続する５ＭＢ分の動きベ
クトルについては、一時格納メモリ１１４に前記５ＭＢ
分の動きベクトルの差分値が一時的に格納されており、
その連続した５ＭＢ分の差分動きベクトルに対して、前
記変換係数処理の空白処理期間において、可変長符号化
部１０７で符号化処理を行う。例えば、５ＭＢ分に含ま
れる30ＤＣＴ分の変換係数に対して連続して変換係数符
号化処理を行い、その後２ＤＣＴ分の処理時間を空白処
理期間として設け、その期間に動きベクトルの符号化処
理を行うのである。

【００３２】動きベクトルは５ＭＢ分であるので本実施
例では最大５個のベクトルであり、例えばＤＣＴブロッ
ク毎に動きベクトルを検出したとしても、最大20個であ
り、その符号化処理を行う期間としては十分な期間であ
る。本実施例の場合、変換処理期間とその空白処理期
間、即ち動きベクトル符号化処理期間を合わせると、32
ＤＣＴ分となり、ハードウェア化しやすい処理単位にな
っている。このように、変換係数処理の空白処理期間に
動きベクトルの符号化処理を行う事で、可変長符号化部
１０７を時間分割して使用する事ができるようになるの
である。

【００３３】動きベクトルの符号化処理において、可変
長符号化部１０７では、変換係数と同様に、動きベクト
ルの連続する差分値を０ランと非ゼロ値の２次元の可変
長符号化とする事ができる。このように変換係数の符号
化処理と同様な符号化処理を行う事で、その符号化回路
をも共用する事ができるのである。

【００３４】また、フォーマッタ部１１５では、５個の
連続したＭＢ毎に動きベクトルの符号化データとそれに
対応する５ＭＢ分に含まれる30ＤＣＴ分の変換符号化デ
ータの記録フォーマットにおいて、５ＭＢの動きベクト
ル符号化を変換符号化データの先頭に記録し、次に変換
符号化データを記録する。そのフォーマットを図７に示
す。

【００３５】図７において、５ＭＢ分の動きベクトルを
符号化した符号化データ、例えば直前のＭＢの動きベク
トル値との差分値を可変長符号化したデータとして、変
換係数の符号化データより先んじて記録されている。そ
の後に続く５ＭＢ分、即ち30個のＤＣＴブロックの変換
係数の符号化データが続いている。このような、フォー
マットにする事で、情報として重要な動きベクトルを記
録データとしての信頼性の高い最初の記録位置に置くこ
とで、エラー発生時における再生画像を従来より比較的
高画質にする事ができる。

【００３６】なお、本実施例での動きベクトル検出単位
はＤＣＴブロックより大きい単位として説明している
が、ＤＣＴブロック単位の動きベクトル検出についても
本発明を同様に適用できる。

【００３７】

【発明の効果】本発明により、以下のような効果があ
る。（１）変換係数の符号化処理において、変換係数の符号
化処理期間に空白処理期間を設け、その空白処理期間で
動きベクトルの符号化処理を行う事で、符号化回路の共
用化を図る事ができる。（２）非イントラブロックの変換係数の符号化におい
て、並び換え順最後の変換係数の符号化処理を行わない
事により、処理サイクル数を他の変換処理や量子化処理
と同様とする事ができるため、回路の簡略化を図る事が
できる。（３）符号化記録単位において、動きベクトルの符号化
データを変換係数符号化データの前方に記録する事によ
り、動きベクトルデータの信頼性を向上する事ができ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施例における動画符号化装置
を示すブロック図

【図２】従来例のブロック図

【図３】変換係数ブロックの並び換え順を示す線図

【図４】従来例のＤＣＴブロックの符号化フォーマット
図

【図５】従来例の動きベクトルと変換係数の符号化フォ
ーマット図

【図６】本発明のＤＣＴブロックの符号化フォーマット
図

【図７】本発明の動きベクトルと変換係数の符号化フォ
ーマット図

【符号の説明】

１０１入力データ１０２マクロブロック化部１０３ブロック化部１０４直交変換部１０５量子化部１０６並び換え部１０７可変長符号化部１０８逆量子化部１０９逆直交変換部１１０フレームメモリ１１１動き補償部１１２差分演算部１１３スイッチ部１１４一時格納メモリ１１５フォーマッタ部１１６スイッチ部１１７出力データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者粟本繁大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】画像データをフィールドまたはフレーム間
の動き補償及び直交変換を行い符号化する装置であっ
て、空白処理期間を有する直交変換された変換係数を符
号化する変換係数符号化手段と、前記空白処理期間にブ
ロック分割された画像データの動きベクトルを符号化す
る動きベクトル符号化手段とを備えた事を特徴とする動
画符号化装置。
【請求項２】動きベクトル符号化手段と変換係数符号化
手段の一部または全部を共用する事を特徴とする請求項
１記載の動画符号化装置。
【請求項３】画像データをフィールドまたはフレーム間
の動き補償及び直交変換を行い符号化する装置であっ
て、ブロックに分割された画像データの動き補償後の差
分ブロックの直交変換された変換係数を符号化するため
の係数並びに並び換える並び換え手段と、前記並び換え
手段での並び換え順の最後の変換係数を符号化せずに終
了符号を符号化する変換係数符号化手段とを備えた事を
特徴とする動画符号化装置。
【請求項４】画像データをフィールドまたはフレーム間
の動き補償及び直交変換を行い符号化、蓄積する装置で
あって、予め設定された複数のブロック分割された画像
データの動き補償後の符号化データを記録する記録単位
において、前記記録単位に含まれる動きベクトルを符号
化した符号化データを前記記録単位に含まれるブロック
分割された画像データの直交変換の変換係数の符号化デ
ータの読みだし前方位置に記録する記録手段を備えた事
を特徴とする動画符号化装置。