JPH0879741A - 画像処理装置及び方法 - Google Patents

Abstract

(57)【要約】 【目的】 ＪＰＥＧデータをＭＰＥＧデータに変換する
際に、画像データに復号化するＪＰＥＧデータを低減す
る。 【構成】 MotionＪＰＥＧデータからＩフレームのＭＰ
ＥＧデータへの変換を行う場合は、量子化係数とブロッ
ク単位のＪＰＥＧデータをデータ変換器１１１に入力
し、量子化係数とＪＰＥＧデータとの演算結果からＭＰ
ＥＧデータを得た後、コードバッファ１１５に出力す
る。また、MotionＪＰＥＧデータからＰフレームのＭＰ
ＥＧデータへの変換を行う場合は、符号化器１１０でMo
tionＪＰＥＧデータの復号化を行い、各ブロックのＤＣ
Ｔ係数を逆ＤＣＴ変換して画素値を再生し、各画素値の
差分を求めた後、求めた差分値にＤＣＴ変換を施し、量
子化係数で量子化して量子化結果を得る。そして、差分
比較器１０９の出力結果に応じて、データ変換器１１１
の出力または符号化器１１０の出力または符号化器１１
２の出力を選択してコードバッファ１１５に出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の処理を行う画
像処理装置及び方法に関するものである。

【０００２】

【従来の技術】近年、画像データの符号化技術の国際標
準化が盛んに行われている。カラー多値画像の符号化方
式として、ＪＰＥＧ（カラー静止画符号化）方式が国際
標準となった。この方式は入力されたカラー多値画像を
ブロックに分割し、ＤＣＴ変換を施した後、係数を量子
化し、量子化結果にハフマン符号を割り当て、符号化す
る方式である。なお、詳細は「カラー静止画像符号化国
際標準方式（ＪＰＥＧ）の概説（その１）（技術解
説）」［画像電子学会誌第２０巻第１号］に掲載されて
いる。

【０００３】また、動画像に関しても国際標準化が進め
られている。ＴＶ会議を用途としたＨ．２６１（通信用
動画符号化）方式や、蓄積メディアを用途としたＭＰＥ
Ｇ（蓄積用動画像符号化）方式が標準となった。これら
の符号化方式は基本となるフレームをフレーム内符号化
し、その他のフレームを動き補償によって符号化する方
式である。フレーム内符号化の基本はＪＰＥＧ方式と同
様にブロック分割とＤＣＴ変換である。また、動き補償
においてもブロック単位に動きベクトルを算出し、その
対象ブロックとの差分を求め、差分ブロックをＤＣＴ変
換し、係数を量子化し、量子化結果にハフマン符号を割
り当て、符号化する方式である。なお、詳細は「マルチ
メディア符号化の国際標準」［丸善（株）］に掲載され
ている。

【０００４】これらの標準化が進む一方で、これらの技
術のＬＳＩ化が急速に実現しつつある。標準化の進めら
れた順に、最初にＪＰＥＧ方式のＬＳＩが発表された。
その後、ＪＰＥＧ方式の符号化を行うＬＳＩが安価かつ
大量に供給された。これにより、動画像の符号化方式で
あるＭＰＥＧ方式が標準化される前に、動画像の各フレ
ームをＪＰＥＧ方式で符号化して磁気ディスク等に格納
するアプリケーションが普及した。以下、動画像をＪＰ
ＥＧ方式により符号化したデータをMotionＪＰＥＧデー
タと称する。

【０００５】これらのアプリケーションでは、ＭＰＥＧ
方式と比較してフレーム単位での編集が容易であり、取
扱いが容易であるという特徴がある。一方、ＭＰＥＧ方
式は、フレーム間符号化を採用しているために符号化効
率が高いという特徴がある。

【０００６】また、これらのデータを処理するに際し
て、MotionＪＰＥＧデータをＭＰＥＧデータに変換する
技術も必要となる。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
た例では、MotionＪＰＥＧデータをＭＰＥＧデータに変
換する際に、MotionＪＰＥＧデータを復号化して画像デ
ータに一旦戻し、その復号化された画像データをＭＰＥ
Ｇデータに再符号化するため、次のような欠点があっ
た。

【０００８】すなわち、ＪＰＥＧ方式の復号化とＭＰＥ
Ｇ方式の符号化とを同時に実施するために装置の制御が
複雑であり、処理量も大きくなる。例えば、ＪＰＥＧ復
号器やＭＰＥＧ符号化部をソフトウェアで実現すると、
処理を行うのに非常に多くの時間がかかってしまう。ま
た、ＭＰＥＧ方式で符号化する際に参照フレームを格納
しておく作業用のフレームメモリが必要であり、装置全
体のコストを下げる際の障害となる等の問題があった。

【０００９】そこで、本発明の目的は、ＪＰＥＧデータ
のようなフレーム内符号化データをＭＰＥＧデータのよ
うなフレーム間相関による符号化データに変換する際
に、画像データに復号化するフレーム内符号化データを
減らして効率よくデータの変換を行うことのできる画像
処理装置及び方法を提供することにある。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、本発明の画像処理方法は、動画像データのフレーム
内符号化による符号化データをフレーム間相関による符
号化データに変換する画像処理方法であって、、前記フ
レーム間相関による符号化データのうちの少なくとも一
部のフレームの符号化データを復号化することなく変換
処理して用いる。

【００１１】また、本発明の画像処理方法において、前
記フレーム内符号化による符号化データは、画素データ
の直交変換符号化によって得られる。

【００１２】また、本発明の画像処理方法において、前
記フレーム間相関による符号化データは、画素データの
直交変換符号化によって得られる。

【００１３】また、本発明の画像処理方法において、前
記少なくとも一部のフレームはフレーム内符号化フレー
ムである。

【００１４】また、本発明の画像処理装置において、入
力されたフレーム内符号化による符号化データにおける
過去の符号化データと現在の符号化データとを比較する
データ比較手段と、前記フレーム内符号化による符号化
データを一次変換によってフレーム間相関による符号化
データに変換する第１のデータ変換手段と、フレーム内
符号化による符号化データを復号化してその復号された
データをフレーム間相関による符号化データに変換する
第２のデータ変換手段と、前記データ比較手段の出力に
よって前記第１のデータ変換手段と前記第２のデータ変
換手段とを選択する選択手段とを具備する。

【００１５】また、本発明の画像処理装置において、前
記フレーム内符号化による符号化データは、画素データ
の直交変換符号化によって得られる。

【００１６】また、本発明の画像処理装置において、前
記フレーム間相関による符号化データは、画素データの
直交変換符号化によって得られる。

【００１７】また、本発明の画像処理装置において、前
記データ比較手段は、画素データの直交変換によって得
られた係数を比較する。

【００１８】また、本発明の画像処理装置において、前
記第１のデータ変換手段は、フレーム内符号化による符
号化データの量子化係数とフレーム間相関による符号化
データの量子化係数とを比較する比較手段と、前記比較
手段からの比較結果に基づいてフレーム間相関による符
号化データに一次変換する変換手段とを具備する。

【００１９】また、本発明の画像処理装置において、前
記一次変換は、上記比較手段の比較結果とフレーム内符
号化による符号化データとによって決まるアドレスを入
力とし、フレーム間相関による符号化データを出力とす
るルックアップテーブルによって行われる。

【００２０】

【作用】本発明は、ＪＰＥＧデータのようなフレーム内
符号化データをＭＰＥＧデータのようなフレーム間相関
による符号化データに変換する際に、特定のフレームの
符号化データを符号化データのまま変換している。その
ため、ＪＰＥＧデータをＭＰＥＧデータに変換する際
に、画像データに復号化するＪＰＥＧデータを減らすこ
とができ、変換時間を短縮できる。

【００２１】すなわち、データ比較手段は、フレーム間
相関による符号化方式の符号化単位分のデータ量の各ブ
ロックのフレーム内符号化による符号化データの直交変
換係数を前フレームの同一位置の各ブロックのフレーム
内符号化による符号化データの直交変換係数と比較する
ように動作する。第１のデータ変換手段は、フレーム内
符号化による符号化データをフレーム間相関による符号
化データにフレーム内符号化による符号化データのまま
変換するように動作する。第２のデータ変換手段は、フ
レーム内符号化による符号化データを復号し、同一位置
で時間が異なるフレーム内符号化による符号化データを
参照してフレーム間相関による符号化データに変換する
ように動作する。選択手段は、前記比較手段の結果に基
づいて前記第１のデータ変換手段または第２のデータ変
換手段の出力を選択するように動作する。

【００２２】

【実施例】以下、本発明の第１の実施例による画像符号
化データ変換装置を図面を参照しながら説明する。図１
は、本発明の一実施例による画像符号化データ変換装置
の構成を示すブロック図である。

【００２３】以下の説明では、フレーム内符号化データ
を、ＪＰＥＧ方式で符号化されたMotionＪＰＥＧデータ
とし、フレーム間相関を用いた符号化データを、ＭＰＥ
Ｇ方式で符号化したデータとする。

【００２４】図１において、１は、MotionＪＰＥＧデー
タを格納する記憶装置であり、２は、ＪＰＥＧ方式の復
号化を行うＪＰＥＧ復号器である。３は、動画像のフレ
ーム画像を格納するフレームメモリである。４は、フレ
ームメモリ３に格納された画像データを表示するディス
プレイである。５は、MotionＪＰＥＧデータをＭＰＥＧ
方式で符号化したデータに変換するデータ変換部であ
る。６は、装置外部との通信を制御する通信インターフ
ェースである。７は、コンピュータネットワークや公衆
回線（例えばＩＳＤＮ回線）で構成される通信回線であ
る。８は、ＭＰＥＧ方式で符号化されたＭＰＥＧデータ
を格納する記憶装置である。９は、装置全体を制御統括
するＣＰＵである。１０は、ユーザが動画像表示の要求
や指定をする入力装置である。

【００２５】ＪＰＥＧデータのＭＰＥＧデータへの変換
は以下の手順で行われる。すなわち、MotionＪＰＥＧデ
ータは、記憶装置１からデータ変換部５に入力される。
データ変換部５は、入力されたMotionＪＰＥＧデータを
ＭＰＥＧデータに変換する。

【００２６】図２にデータ変換部５のブロック図を示
す。同図において、１０１は、ＭＰＥＧ方式の符号化単
位分のMotionＪＰＥＧデータを格納するコードバッファ
である。ここで、ＭＰＥＧ方式の符号化単位をＭＰＥＧ
方式のマクロブロックとする。なお、マクロブロック
は、左右及び上下に隣合った４つの輝度ブロックＹ₀ 、
Ｙ ₁ 、Ｙ₂ 、Ｙ₃ と画像上では同じ位置にあたる２つの
色差ブロックＣｂ、Ｃｒとの全部で６つのブロックで構
成される。１０２は、１フレーム分のMotionＪＰＥＧデ
ータを格納するコードメモリである。１０３は、Motion
ＪＰＥＧデータを入力してＤＣＴ係数を復号する復号器
である。１０４、１０５、１０６は、量子化係数を格納
するラッチである。１０７、１０８は、ＭＰＥＧ方式の
１マクロブロック分の復号化されたＤＣＴ係数を格納す
るラッチである。

【００２７】１０９は、ブロック単位でＤＣＴ係数の絶
対値差分を求め、各差分値をあらかじめ設定した閾値と
比較して判定結果を出力する差分比較器である。１１０
は、復号データからＭＰＥＧデータを生成する符号化器
である。１１１は、MotionＪＰＥＧデータの符号化デー
タをＭＰＥＧデータに変換するデータ変換器である。１
１２は、差分比較器１０９の出力を元にＭＰＥＧデータ
を生成する符号化器ある。１１３は、ＭＰＥＧヘッダデ
ータを生成する符号化器である。１１４は、差分比較器
１０９の出力結果に基づき入力を選択して出力するセレ
クタである。１１５は、セレクタ１１４の出力を格納し
ておくコードバッファである。１１６は、MotionＪＰＥ
Ｇデータの各ヘッダデータを解析するヘッダ解析器であ
る。１１７は、差分出力器１０９の出力を１マクロブロ
ック分格納するラッチである。

【００２８】ここで、説明を容易にするために入力され
るMotionＪＰＥＧデータは４：１：１のサブサンプリン
グ比であるとする。また、ＭＰＥＧ方式のＧＯＰ（Grou
p ofPicture）の構成をフレーム内符号化（Intra ）フ
レーム（以下Ｉフレームと略す）と時間的に前のフレー
ムを参照する動き補償符号化（Predictive）フレーム
（以下Ｐフレームと略す）とで構成されるものとする。

【００２９】ＭＰＥＧ方式のＧＯＰの構成は、Ｉフレー
ムとＰフレームとで構成されるものとし、１ＧＯＰの構
成を１５フレームとし、各フレームの符号化モードを、 Ｉ、Ｐ、Ｐ、Ｐ、Ｐ、Ｐ、Ｐ、Ｐ、Ｐ、Ｐ、Ｐ、Ｐ、
Ｐ、Ｐ、Ｐ とする。

【００３０】以下、図２における各構成部の動作につい
て詳細に述べる。まず、MotionＪＰＥＧデータからＭＰ
ＥＧデータへの変換に先立ち、図１のＣＰＵ９によって
図２に示す各構成部の初期化が実施される。

【００３１】次に、MotionＪＰＥＧデータの最初のフレ
ームのヘッダデータが、コードバッファ１０１を経由し
てヘッダ解析器１１６に入力される。ヘッダ解析器１１
６は、MotionＪＰＥＧデータのヘッダデータを解析し、
画像サイズ等の画像の属性を得る。この結果は、符号化
器１１３に入力される。符号化器１１３は、これらの属
性と併せてＣＰＵ９から動画像としての属性、フレーム
レートや符号化レート等が入力され、これらに基づいて
ＭＰＥＧヘッダデータを生成する。生成されたＭＰＥＧ
ヘッダデータは、セレクタ１１４を介してコードバッフ
ァ１１５に出力する。ここで生成されるＭＰＥＧヘッダ
データは、シーケンススタートコード（ＳＳＣ）で始ま
るシーケンスヘッダデータやＧＯＰスタートコード（Ｇ
ＳＣ）で始まるＧＯＰヘッダデータなどから成る。ま
た、ヘッダ解析器１１６はＪＰＥＧ方式で用いた量子化
テーブルから予め決められたデフォルト量子化テーブル
を用いて量子化係数Ｑ１を求める。求められた量子化係
数Ｑ１はラッチ１０５に入力される。デフォルト量子化
テーブルは符号化して上記シーケンスヘッダデータに入
れる。

【００３２】以下に、MotionＪＰＥＧデータからＩフレ
ームのＭＰＥＧデータへの変換について述べる。フレー
ム内符号化に先立ち、ＣＰＵ９は、ＭＰＥＧ方式におけ
る符号化制御のために量子化係数Ｑ２をラッチ１０６に
格納する。また、符号化器１１３でフレームのヘッダデ
ータ（ピクチャヘッダ）を生成する。ここで、符号化し
たフレームがＩフレームであることが示されている。

【００３３】ＭＰＥＧ方式の符号化単位分のMotionＪＰ
ＥＧデータが順に図１の記憶装置１から読み出され、コ
ードバッファ１０１に入力される。フレーム内の位置関
係は、ＪＰＥＧ符号化方式のマクロブロックとＭＰＥＧ
符号化方式のマクロブロックとは一致する。従って、１
マクロブロックには輝度ブロックが４ブロックと色差ブ
ロックが２ブロック含まれる。コードバッファ１０１に
格納されたMotionＪＰＥＧデータは、コードメモリ１０
２とデータ変換器１１１に入力される。コードメモリ１
０２は、ＦＩＦＯメモリ等で構成される。

【００３４】続いて、マクロブロックデータの処理を行
う。もし、入力されたマクロブロックのデータがフレー
ムの左端であれば、符号化器１１３は、スライスヘッダ
を生成し、セレクタ１１４を介してコードバッファ１１
５に出力し格納する。スライスヘッダを生成する時に量
子化係数Ｑ２をラッチ１０６から読み出し、符号化して
スライスヘッダに入れる。

【００３５】データ変換器１１１のブロック図を図３に
示す。１５０は、量子化係数Ｑ１、Ｑ２を入力し、量子
化倍数Ｐ１を求める演算器である。１５１は、入力され
た符号化データを選択信号に従って出力先を変えるセレ
クタである。１５２は、ＲＯＭ等で構成されるマクロブ
ロックヘッダ生成器である。１５３は、符号化データ等
をアドレスとするＲＯＭ等で構成される、ＤＣＴ係数の
直流成分の符号化データを変換するＤＣ変換器である。
１５４は、符号化データ等をアドレスとするＲＯＭ等で
構成される、ＤＣＴ係数の交流成分の符号化データを変
換するＡＣ変換器である。１５５は、選択信号に従っ
て、入力先を変えるセレクタである。

【００３６】最初に、データ変換器１１１は、マクロブ
ロックのヘッダデータを出力する。このヘッダデータ
は、符号化するマクロブロックがフレーム内符号化すな
わち Intraモードで符号化されることを表すヘッダデー
タである。ＣＰＵ９は、セレクタ１５５の入力にマクロ
ブロックヘッダ生成器１５２の出力を選択させ、マクロ
ブロックヘッダデータをマクロブロックヘッダ生成器１
５２から読み出し、出力する。

【００３７】続いて、データ変換器１１１は、ブロック
単位でＪＰＥＧデータを入力する他にラッチ１０５とラ
ッチ１０６から量子化係数Ｑ１、Ｑ２を入力する。最初
に、ラッチ１０５から入力された量子化係数Ｑ１とラッ
チ１０６から入力された量子化係数Ｑ２とから量子化倍
数Ｐ１を演算器１５０で、次式に従って求める。 Ｐ１＝Ｑ２／Ｑ１ …… （１）

【００３８】続いて、各ブロックの処理を行う。ＪＰＥ
Ｇデータにおけるブロック単位の符号化データはＤＣＴ
直流成分のＤＰＣＭ結果と交流成分の量子化された結果
と０ラン長のハフマン符号とで構成される。

【００３９】まず、直流成分の符号の変換について述べ
る。サブサンプリング比が４：１：１のＪＰＥＧ方式と
ＭＰＥＧ方式では同じ順でＺ字でＤＰＣＭがかかる。従
って、量子化倍数Ｐ１を用いて直流成分の変換を行う。
例えば、入力された輝度成分の差分値Ｄ１が３３であっ
た場合、そのハフマン符号は“１１１０１００００１”
である。ここで量子化倍数Ｐ１が３であれば、出力する
差分値Ｄ２は、 Ｄ２＝Ｄ１／Ｐ１ …… （２） で求められる。

【００４０】この場合の差分値Ｄ２は１１であり、従っ
て、このハフマン符号は“１０１１０１１”と変換され
る。実際には、予めＤＣ変換器１５３に量子化倍数Ｐ１
の値とハフマン符号をアドレスとして変換結果を格納し
ておき、ＤＣ変換器１５３のＲＯＭから読み出して変換
を行う。

【００４１】次に、交流成分の符号の変換について述べ
る。例えば、輝度成分のハフマン符号“１１１１１１１
１１０００１００１１０００”は、０ラン長が２で量子
化結果Ｒ１が１６であることを示す。量子化倍数Ｐ１が
３であれば出力する量子化結果Ｒ２は、 Ｒ２＝Ｒ１／Ｐ１ …… （３） から５となり、０ラン長が２で量子化結果が５を表すハ
フマン符号“１１１１１１０１１１１０１”に変換され
る。

【００４２】実際には、予めＡＣ変換器１５４に量子化
倍数Ｐ１の値とハフマン符号をアドレスとして変換結果
を格納しておき、ＡＣ変換器１５４のＬＵＴとしてのＲ
ＯＭから読み出して変換を行う。このように変換して得
られたＭＰＥＧデータは、コードバッファ１１５に格納
される。

【００４３】以下、マクロブロック単位の処理を行い、
１フレームの処理が終了したら、コードバッファ１１５
の内容を送出し、図１の記憶装置８に格納したり、通信
インターフェース６を介して通信回線７に出力したりす
る。また、送出した符号長をＣＰＵ９に通報する。その
後、コードバッファ１１５をクリアする。

【００４４】以上述べたように、本実施例によれば、Mo
tionＪＰＥＧデータをＩフレームのＭＰＥＧデータへ変
換する場合に、従来のようにMotionＪＰＥＧデータを復
号化して画像データに戻すことなく、MotionＪＰＥＧデ
ータと量子化係数とから一次変換によって直接ＭＰＥＧ
データへ変換を行っているので、変換時間の短縮化が可
能になる。

【００４５】次に、MotionＪＰＥＧデータからＰフレー
ムのＭＰＥＧデータへの変換について述べる。動き補償
符号化に先立ち、ＣＰＵ９は、前フレームにかかった符
号長から符号化制御のための量子化係数Ｑ２を求め、ラ
ッチ１０６に格納する。また、ラッチ１０５の量子化係
数Ｑ１′をラッチ１０４に移動させる。そして、ＪＰＥ
Ｇ方式で用いた量子化テーブルから予め決められたデフ
ォルト量子化テーブルを用いて量子化係数Ｑ１を求め
る。求められた量子化係数Ｑ１はラッチ１０５に入力さ
れる。符号化器１１３でフレームのピクチャヘッダを生
成する。ここで、符号化したフレームがＰフレームであ
ることが示されている。

【００４６】１マクロブロック分のMotionＪＰＥＧデー
タが順に記憶装置１から読み出され、コードバッファ１
０１に入力される。コードバッファ１０１に格納された
ＪＰＥＧデータは、コードメモリ１０２、復号器１０
３、データ変換器１１１に入力される。そして、復号器
１０３に入力されたＪＰＥＧデータを復号し、ラッチ１
０５の量子化係数Ｑ１を用いて各ブロック毎にＤＣＴ係
数の直流成分と交流成分を生成し、ラッチ１０７に格納
する。続いて、コードメモリ１０２から前フレームの同
一位置のマクロブロックのＪＰＥＧデータを読み出し、
復号器１０３でＪＰＥＧデータを復号してラッチ１０４
の量子化係数Ｑ１′を用いて各ブロック毎にＤＣＴ係数
の直流成分と交流成分を生成し、ラッチ１０８に格納す
る。

【００４７】その後、差分比較器１０９は、ラッチ１０
７とラッチ１０８とから各ブロック毎にＤＣＴ係数を読
み出し、各ＤＣＴ係数毎に差分を求めて絶対値を加算す
る。各ブロックの加算値Ａ１からＡ６を求めた後、も
し、全ての加算値が０であり、ラッチ１１７の内容が
“１０”または“００”であれば、比較差分器１０９は
コード“１０”を生成する。

【００４８】それ以外の場合、加算値Ａ１からＡ６と予
め決定された閾値Ｔ１とを比較し、全ての加算値で、 Ｔ１＞Ａｉ≧０ （ｉ＝１〜６）… （４） であれば、差分比較器１０９はコード“００”を生成す
る。また、１つでも（４）式の条件を満たさない場合は
コード“０１”を生成する。生成したコードは、セレク
タ１１４に出力される。

【００４９】同時に、符号化器１１０は、マクロブロッ
クのヘッダデータを生成する。すなわち、動きベクトル
を（０、０）として動きベクトルの符号を生成する。ま
た、符号化器１１０は、符号化するマクロブロックが動
き補償符号化、すなわちPredictiveモードで符号化され
ることを表すヘッダデータを生成し、動きベクトル符号
を挿入しておく。

【００５０】符号化器１１０は、ラッチ１０７から符号
化するマクロブロックのＤＣＴ係数を読み込むととも
に、ラッチ１０８から符号化するマクロブロックと前フ
レームの同一位置のマクロブロックのＤＣＴ係数を読み
込み、ラッチ１０６から量子化係数Ｑ２を読み込む。そ
して、符号化器１１０は、ラッチ１０７のマクロブロッ
クの各ブロックのＤＣＴ係数を逆ＤＣＴ変換して画素値
を再生する。続いて、ラッチ１０８のマクロブロックの
各ブロックのＤＣＴ係数を逆ＤＣＴ変換して画素値を再
生する。その後、各画素値の差分を求める。求めた差分
値にＤＣＴ変換を施し、量子化係数Ｑ２で量子化し、量
子化結果を得る。直流成分に関しては、直前のマクロブ
ロックの差分比較器１０９の出力コードが“００”であ
れば続いてＤＰＣＭし、そうでなければ新たにＤＰＣＭ
を初期化して始める。交流成分の量子化結果はＭＰＥＧ
方式に従って符号を割り当てておく。

【００５１】データ変換器１１１に入力されたＪＰＥＧ
データは、Intra フレームのマクロブロックと同様にＪ
ＰＥＧデータからＭＰＥＧデータへと変換される。

【００５２】差分比較器１０９の出力コードが“００”
であった場合、ラッチ１１７の内容が“１０”であれ
ば、セレクタ１１４は符号化器１１２の内容を出力した
後、符号化器１１０の出力を入力してコードバッファ１
１５に出力し、格納する。

【００５３】差分比較器１０９の出力コードが“０１”
であった場合、ラッチ１１７の内容が“１０”であれ
ば、セレクタ１１４は符号化器１１２の内容を出力した
後、セレクタ１１４はデータ変換器１１１の出力を入力
してコードバッファ１１５に出力し、格納する。

【００５４】差分比較器１０９の出力コードが“１０”
であった場合、その結果は符号化器１１２に入力され
る。このコードが発生したときは、ＭＰＥＧ符号化デー
タは生成されず、符号化器１１２では連続して発生した
コード“１０”の回数をカウントし、その数を表現する
符号（マクロブロックアドレスインクリメント符号）を
生成する。

【００５５】マクロブロックの処理が終了したら、ラッ
チ１０７の内容を差分比較器１０９の出力に置き換え
る。

【００５６】以下、マクロブロック単位の処理を行い、
１フレームの処理が終了したら、コードバッファ１１５
の内容を送出し、図１の記憶装置８に格納したり、通信
インターフェース６を介して通信回線７に出力したりす
る。また、送出した符号長をＣＰＵ９に通報する。その
後、コードバッファ１１５をクリアする。

【００５７】以下、各フレームを予め決められた順にＩ
フレームまたはＰフレームとして符号化し、所望のフレ
ーム数のＭＰＥＧデータを得る。その後、ＭＰＥＧ方式
で決められたシーケンスエンドコード等の終了符号を符
号化器１１３で生成し、セレクタ１１４を介してコード
バッファ１１５を経て送出し、全ての動作を終了する。

【００５８】以上説明したように、本実施例によれば、
フレーム内符号化のみで符号化された動画から動き補償
符号化を用いる符号化データへの変換に際して、回路規
模が大きく、処理に時間がかかる動きベクトル探索をす
ることなく、符号化データの変換が瞬時に行える効果が
ある。

【００５９】また、ＭＰＥＧ方式で符号化する際に参照
フレームを格納しておく作業用のフレームメモリが不要
であり、装置全体のコストを下げる効果がある。

【００６０】さらに、処理に時間がかかる直交変換を省
略できるので処理時間を短縮できる効果がある。また、
符号化データの変換をＬＵＴで行うことにより、高速な
変換が可能となる。

【００６１】なお、本実施例ではＭＰＥＧ符号化方式を
例にとって説明したが、Ｈ．２６１符号化方式であって
も本実施例の構成をＨ．２６１の符号に適したものに置
き換えることによって本発明を適用できる。

【００６２】次に、本発明の第２の実施例による画像符
号化データ変換装置を図面を参照しながら説明する。図
４は、MotionＪＰＥＧデータを両方向動き補償符号化
（Bidirectionaj Predictive）フレーム（以下、Ｂフレ
ームと略す）を導入したＭＰＥＧデータに変換する場合
の図１に示すデータ変換部５のブロック図である。

【００６３】データ変換部５は、入力されたMotionＪＰ
ＥＧデータをＭＰＥＧデータに変換する。すなわち、図
４において、２０１は、ＭＰＥＧ方式の１マクロブロッ
ク分のMotionＪＰＥＧデータを格納するコードバッファ
である。２０２、２０３は、１フレーム分のMotionＪＰ
ＥＧデータを格納するコードメモリである。２０４、２
０５、２０６は、MotionＪＰＥＧデータを入力してＤＣ
Ｔ係数に復号する復号器である。２０７は、MotionＪＰ
ＥＧデータの各ヘッダデータを解析するヘッダ解析器で
ある。２０８、２０９、２１０、２１１は、量子化係数
を格納するラッチである。２１２、２１３、２１４は、
マクロブロック分の復号化されたＤＣＴ係数を格納する
ラッチである。

【００６４】２１５は、ブロック単位でＤＣＴ係数の絶
対値差分を求め、各差分値をあらかじめ設定した閾値と
比較して判定結果を出力する差分比較器である。２１６
は、差分比較器２１５の出力を１マクロブロック分格納
するラッチである。２１７、２１８、２１９は、復号デ
ータからＭＰＥＧデータを生成する符号化器である。２
２０は、ＪＰＥＧデータの符号化データをＭＰＥＧデー
タに変換するデータ変換器である。２２１は、ＭＰＥＧ
ヘッダデータを生成する符号化器である。２２２は、差
分比較器２１５の出力を元にＭＰＥＧデータを生成する
符号化器である。２２３は、差分比較器２１５の出力結
果に基づき入力を選択して出力するセレクタである。２
２４は、セレクタ２２３の出力を格納しておくコードバ
ッファである。

【００６５】ここで、説明を容易にするために入力され
るMotionＪＰＥＧデータは４：１：１のサブサンプリン
グ比であるとする。また、ＭＰＥＧ方式のＧＯＰの構成
は、１フレームとＰフレームとＢフレームで構成される
ものとし、１ＧＯＰの構成を１５フレームとし、各フレ
ームの符号化モードを、 Ｉ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、
Ｐ、Ｂ、Ｂ とする。

【００６６】以下、図４の各構成部の動作について詳細
に述べる。まず、MotionＪＰＥＧデータからＭＰＥＧデ
ータへの変換に先立ち、ＣＰＵ９によって図４の各構成
部の初期化が実施される。

【００６７】次に、MotionＪＰＥＧデータの最初のフレ
ームのヘッダデータが、コードバッファ２０１を経由し
てヘッダ解析器２０７に入力される。ヘッダ解析器２０
７は、MotionＪＰＥＧデータのヘッダデータを解析し、
画像サイズ等の画像の属性を得る。この結果は符号化器
２２１に入力される。符号化器２２１は、これらの属性
と併せてＣＰＵ９から動画像としての属性、フレームレ
ートや符号化レート等が入力され、ＭＰＥＧヘッダデー
タを生成し、セレクタ２２３を介してコードバッファ２
２４に出力する。ここで生成されるヘッダデータは、シ
ーケンススタートコードで始まるシーケンスヘッダとＧ
ＯＰスタートコードで始まるＧＯＰヘッダデータであ
る。また、ＪＰＥＧ方式で用いた量子化テーブルから予
め決められたデフォルト量子化テーブルを用いて量子化
係数Ｑ３を求める。求められた量子化係数Ｑ３はラッチ
２０８に入力される。デフォルト量子化テーブルは、符
号化してシーケンスヘッダデータに入れる。

【００６８】以下に、MotionＪＰＥＧデータからＩフレ
ームのＭＰＥＧデータへの変換について述べる。フレー
ム内符号化に先立ち、ＣＰＵ９は、符号制御のために量
子化係数Ｑ４をラッチ２１１に格納する。また、符号化
器２２１でピクチャヘッダを生成する。ここで、符号化
したフレームがＩフレームであることが示されている。

【００６９】まず、１マクロブロック分のMotionＪＰＥ
Ｇデータが順に記憶装置１から読み出され、コードバッ
ファ２０１に入力される。コードバッファ２０１に格納
されたＪＰＥＧデータは、コードメモリ２０２とデータ
変換器２２０に入力される。入力されたＪＰＥＧデータ
は、コードメモリ２０２に格納される。同様に、コード
メモリ２０２から入力されたのと同一位置のマクロブロ
ックのMotionＪＰＥＧデータがコードメモリ２０３に格
納される。コードメモリ２０２、２０３は、ＦＩＦＯメ
モリで構成される。データ変換器２２０の構成は、第１
の実施例のデータ変換器１１１と同様にＬＵＴで構成さ
れている。

【００７０】続いて、マクロブロックデータの処理を行
う。もし、入力されたマクロブロックのデータがフレー
ムの左端であれば、符号化器２２１はスライスヘッダを
生成し、セレクタ２２３を介してコードバッファ２２４
に出力し、格納する。また、スライスヘッダを生成する
時に量子化係数Ｑ４をラッチ２１１から読み出し、符号
化してスライスヘッダに入れる。

【００７１】データ変換器２２０は、マクロブロックの
ヘッダデータを生成する。すなわち、データ変換器２２
０は、Intra モードで符号化されたマクロブロックであ
ることを表すヘッダデータを生成する。

【００７２】また、データ変換器２２０は、ブロック単
位でＪＰＥＧデータを入力する他にラッチ２０８とラッ
チ２１１とから量子化係数Ｑ３、Ｑ４を入力する。最初
にラッチ２０８から入力された量子化係数Ｑ３とラッチ
２１１から入力された量子化係数Ｑ４とから量子化倍数
Ｐ２を次式に従って求める。 Ｐ２＝Ｑ４／Ｑ３ ……（５）

【００７３】続いて、各ブロックの処理を行う。まず、
直流成分の符号の変換について述べる。この場合、量子
化倍数Ｐ２を用いて直流成分の変換を行う。例えば、入
力された輝度成分の差分値Ｄ３が３３であった場合、量
子化倍数Ｐが１．５であれば、出力する差分値Ｄ４は、

【００７４】Ｄ４＝Ｄ３／Ｐ２ ……（６） で求められ、この場合の差分値Ｄ４は２２である。従っ
て、このハフマン符号は“１１０１０１１０”と変換さ
れる。

【００７５】次に、交流成分の符号の変換について述べ
る。例えば、輝度成分のハフマン符号“１１１１１１１
１１０００１００１１０００”は０ラン長が２で量子化
結果Ｒ３が１６であることを示す。量子化倍数Ｐ２が
１．５であれば出力する量子化結果Ｒ４は、 Ｒ４＝Ｒ３／Ｐ２ ……（７） から１０．６となり、四捨五入して０ラン長が２で量子
化結果が１１を表すハフマン符号“１１１１１１１１０
１００１０１１”に変換される。

【００７６】これらの変換は、ＲＯＭ等で構成されるＬ
ＵＴ（Look Up Table ）を参照することによって行う。
このように変換して得られたＭＰＥＧデータは、コード
バッファ２２４に格納される。

【００７７】以下、マクロブロック単位の処理を行い、
１フレームの処理が終了したら、コードバッファ２２４
の内容を送出し、図１の記憶装置８に格納したり、通信
インターフェース６を介して通信回線７に出力したりす
る。また、送出した符号長をＣＰＵ９に通報する。その
後、コードバッファ２２４をクリアする。

【００７８】次に、MotionＪＰＥＧデータからＰフレー
ムのＭＰＥＧデータへの変換について述べる。Ｐフレー
ムの符号化に先立ち、ＣＰＵ９は、前フレームにかかっ
た符号長から符号化制御のための量子化係数Ｑ４を求
め、ラッチ２１１に格納する。また、ラッチ２０９の量
子化係数Ｑ３′′をラッチ２１０に移動させるとともに
ラッチ２０８の量子化係数Ｑ３′をラッチ２０９に移動
させる。そして、ＪＰＥＧ方式で用いた量子化テーブル
から予め決められたデフォルト量子化テーブルを用いて
量子化係数Ｑ３を求める。求められた量子化係数Ｑ３は
ラッチ２０８に入力される。符号化器２２１でフレーム
のピクチャヘッダを生成する。ここで、符号化したフレ
ームがＰフレームであることが示されている。

【００７９】１マクロブロック分の Motion ＪＰＥＧデ
ータが順に記憶装置１から読み出され、コードバッファ
２０１に入力される。コードバッファ２０１に格納され
たＪＰＥＧデータはコードメモリ２０２、復号器２０
４、データ変換器２２０に入力される。復号器２０４
は、入力されたＪＰＥＧデータを復号し、ラッチ２０８
の量子化係数Ｑ３を用いて各ブロック毎にＤＣＴ係数の
直流成分と交流成分を生成し、ラッチ２１２に格納す
る。同時に、コードメモリ２０２から前のＩフレームま
たはＰフレームの同一位置のマクロブロックのＪＰＥＧ
データを読み出し、復号器２０５で復号してラッチ２０
９の量子化係数Ｑ３′を用いて各ブロック毎にＤＣＴ係
数の直流成分と交流成分を生成し、ラッチ２１３に格納
する。また、読み出したＪＰＥＧデータはコードメモリ
２０３にも入力される。

【００８０】その後、差分比較器２１５は、ラッチ２１
２とラッチ２１３から各ブロック毎にＤＣＴ係数を読み
出し、各ＤＣＴ係数毎に差分を求めて絶対値を加算す
る。各ブロックの加算値Ａ１からＡ６を求めた後、も
し、全ての加算値が０であり、ラッチ２１６の内容が
“１１０”または“０００”であれば、比較差分器２１
５はコード“１１０”を生成する。

【００８１】それ以外の場合、加算値Ａ１からＡ６と予
め決定された閾値Ｔ２と比較し、全ての加算値で、 Ｔ２＞Ａｉ≧０ （ｉ＝１〜６）……（８） であれば、差分比較器２１５は、コード“０００”を生
成する。

【００８２】また、１つでも（８）式の条件を満たさな
い場合は、コード“１００”を生成する。生成したコー
ドは、セレクタ２２３に出力される。

【００８３】これと並行して、符号化器２１７とデータ
変換器２２０が以下の動作を実行する。符号化器２２１
は、マクロブロックのヘッダデータを生成する。すなわ
ち、動きベクトルを（０、０）として動きベクトルの符
号を生成する。また、符号化器２２１は、符号化するマ
クロブロックが Predictive モードで符号化されること
を表すヘッダデータを生成し、動きベクトル符号を挿入
しておく。

【００８４】符号化器２１７はまず、ラッチ２１２から
符号化するマクロブロックのＤＣＴ係数を読み込むとと
もに、ラッチ２１４から符号化するマクロブロックと前
のＩフレームまたはＰフレームの同一位置のマクロブロ
ックのＤＣＴ係数を読み込み、ラッチ２１１から量子化
係数Ｑ４を読み込む。そして、ラッチ２１２のマクロブ
ロックの各ブロックＤＣＴ係数を逆ＤＣＴ変換して画素
値を再生する。続いて、ラッチ２１４のマクロブロック
の各ブロックのＤＣＴ係数を逆ＤＣＴ変換して画素値を
再生する。その後、各画素値の差分を求め、求めた差分
値にＤＣＴ変換を施し、量子化係数Ｑ４で量子化し、量
子化結果を得る。直流成分に関しては、直前のマクロブ
ロックの差分比較器２１５の出力コードが“０００”で
あれば続いてＤＰＣＭし、そうでなければ新たにＤＰＣ
Ｍを初期化して始める。交流成分の量子化結果は、ＭＰ
ＥＧ方式に従って符号を割り当てておく。

【００８５】データ変化器２２０に入力されたＪＰＥＧ
データはIntra フレームのマクロブロックと同様にＪＰ
ＥＧデータからＭＰＥＧデータへと変換される。

【００８６】差分比較器２１５の出力コードが“００
０”であった場合、ラッチ２１６の内容が“１１０”で
あれば、セレクタ２２３は符号化器２２２の内容を出力
した後、符号化器２１８の出力を入力してコードバッフ
ァ２２４に出力し、格納する。

【００８７】差分比較器２１５の出力コードが“１０
０”であった場合、ラッチ２１６の内容が“１１０”で
あれば、セレクタ２２３は符号化器２２２の内容を出力
した後、セレクタ２２３はデータ変換器２２０の出力を
入力してコードバッファ２２４に出力し、格納する。

【００８８】差分比較器２１５の出力コードが“１１
０”であった場合、その結果は符号化器２２２に入力さ
れる。このコードが発生したときは、ＭＰＥＧ符号化デ
ータは生成されず、符号化器２２２では連続して発生し
たコード“１１０”の回数をカウントし、マクロブロッ
クアドレスインクリメント符号を生成する。

【００８９】マクロブロックの処理が終了したら、ラッ
チ２１６の内容を差分比較器２１５の出力に置き換え
る。

【００９０】以下、マクロブロック単位の処理を行い、
１フレームの処理が終了したら、コードバッファ２２４
の内容を送出し、図１の記憶装置８に格納したり、通信
インターフェース６を介して通信回線７に出力したりす
る。また、送出した符号長をＣＰＵ９に通報する。その
後、コードバッファ２２４をクリアする。

【００９１】最後に、MotionＪＰＥＧデータからＢフレ
ームのＭＰＥＧデータへの変換について述べる。Ｂフレ
ームの符号化に先立ち、ＣＰＵ９は、前フレームにかか
った符号長から符号化制御のための量子化係数Ｑ４を求
め、ラッチ２１１に格納する。また、ラッチ２０９の量
子化係数Ｑ３′′をラッチ２１０に移動させるとともに
ラッチ２０８の量子化係数Ｑ３′をラッチ２０９に移動
させる。そして、ＪＰＥＧ方式で用いた量子化テーブル
から予め決められたデフォルト量子化テーブルを用いて
量子化係数Ｑ３を求める。求められた量子化係数Ｑ３は
ラッチ２０８に入力される。また、符号化器２２１でフ
レームのピクチャヘッダを生成する。ここで、符号化し
たフレームがＢフレームであることが示されている。

【００９２】１マクロブロック分のMotionＪＰＥＧデー
タが順に記憶装置１から読み出され、コードバッファ２
０１に入力される。コードバッファ２０１に格納された
ＪＰＥＧデータは、復号器２０４、データ変換器２２０
に入力される。復号器２０４は、入力されたＪＰＥＧデ
ータを復号し、ラッチ２０８の量子化係数Ｑ３を用いて
各ブロック毎にＤＣＴ係数の直流成分と交流成分を生成
し、ラッチ２１２に格納する。同時に、コードメモリ２
０２から後のＩフレームまたはＰフレームの同一位置の
マクロブロックのＪＰＥＧデータを読み出し、コードメ
モリ２０３から前のＩフレームまたはＰフレームの同一
位置のマクロブロックのＪＰＥＧデータを読み出す。コ
ードメモリ２０２から読み出されたＪＰＥＧデータは、
復号器２０５で復号してラッチ２０９の量子化係数Ｑ
３′を用いて各ブロック毎にＤＣＴの直流成分と交流成
分を生成し、ラッチ２１３に格納する。コードメモリ２
０３から読み出されたＪＰＥＧデータは、復号器２０６
で復号してラッチ２１０の量子化係数Ｑ３′′を用いて
各ブロック毎にＤＣＴの直流成分と交流成分を生成し、
ラッチ２１４に格納する。

【００９３】その後、差分比較器２１５は、ラッチ２１
２、２１３、２１４から各ブロック毎にＤＣＴ係数を読
み出し、各ＤＣＴ係数毎に差分を求めて絶対値を加算す
る。すなわち、差分比較器２１５は、ラッチ２１２とラ
ッチ２１３の各ブロックのＤＣＴ係数毎の差分の絶対値
の加算値ＢＡ１からＢＡ６を求める。また、ラッチ２１
２とラッチ２１４の各ブロックのＤＣＴ係数毎の差分の
絶対値の加算値ＦＡ１からＦＡ６を求める。さらに、ラ
ッチ２１３と２１４の各ブロックのＤＣＴ係数毎の平均
値を求め、ラッチ２１２の各係数との差分の絶対値の加
算値ＭＡ１からＭＡ６を求める。

【００９４】もし、加算値ＦＡ１〜６の全ての加算値が
０であった場合、ラッチ２１６の内容が“１０１”また
は“０００”であれば、比較差分器２１５はコード“１
０１”を生成する。また、加算値ＢＡ１〜６の全ての加
算値が０であった場合、ラッチ２１６の内容が“１１
０”または“００１”であれば、比較差分器２１５はコ
ード“１１０”を生成する。また、加算値ＭＡ１〜６の
全ての加算値が０であった場合、ラッチ２１６の内容が
“１１１”または“０１０”であれば、比較差分器２１
５はコード“１１１”を生成する。

【００９５】それ以外の場合、加算値ＦＡ１〜６を全て
加えた加算値ＦＡ、加算値ＢＡ１〜６を全て加えた加算
値ＢＡ、加算値ＭＡ１〜６を全て加えた加算値ＭＡの
内、最小値ＳＡを選択する。すなわち、最小値ＳＡは、 ＳＡ＝ｍｉｎ（ＦＡ、ＢＡ、ＭＡ） …… （９） と表される。

【００９６】その後、最小値ＳＡと予め決定された閾値
Ｔ５と比較し、最小値ＳＡが、 Ｔ５＞ＳＡ …… （１０） であって、加算値ＦＡが最小であれば、差分比較器２１
５はコード“０００”を生成する。加算値ＢＡが最小で
あれば、差分比較器２１５はコード“００１”を生成す
る。加算値ＭＡが最小であれば、差分比較器２１５はコ
ード“０１０”を生成する。

【００９７】また、１つも（１０）式の条件を満たさな
い場合は、差分比較器２１５はコード“０１１”を生成
する。生成したコードは、セレクタ２２３に出力され
る。

【００９８】同時に、符号化器２１７、符号化器２１
８、符号化器２１９、データ変換器２２０、符号化器２
２１が、以下の動作を実行する。

【００９９】まず、符号化器２２１は、マクロブロック
のヘッダデータを生成する。すなわち、時間的に前のフ
レームからの動きベクトルを（０、０）として動きベク
トルの符号を生成する。この時、符号化器２２１は、符
号化するマクロブロックがForward Predictiveモードで
符号化されることを表すヘッダデータを生成し、動きベ
クトル符号を挿入しておく。

【０１００】そして、符号化器２１７はまず、ラッチ２
１２から符号化するマクロブロックのＤＣＴ係数を、ラ
ッチ２１４から符号化するマクロブロックと時間的に前
のＩフレームまたはＰフレームの同一位置のマクロブロ
ックのＤＣＴ係数を、ラッチ２１１から量子化係数Ｑ４
を読み込む。符号化器２１７はさらに、ラッチ２１２の
マクロブロックの各ブロックのＤＣＴ係数を逆ＤＣＴ変
換して画素値を再生する。続いて、ラッチ２１４のマク
ロブロックの各ブロックのＤＣＴ係数を逆ＤＣＴ変換し
て画素値を再生する。その後、各画素値の差分を求め、
求めた差分値にＤＣＴ変換を施し、量子化係数Ｑ４で量
子化し、量子化結果を得る。直流成分に関しては、直前
のマクロブロックの差分比較器２１５の出力コードが
“０００”であれば、続いてＤＰＣＭし、そうでなけれ
ば新たにＤＰＣＭを初期化して始める。交流成分の量子
化結果は、ＭＰＥＧ方式に従って符号を割り当ててお
く。

【０１０１】また、符号化器２２１は、マクロブロック
のヘッダデータを生成する。すなわち、時間的に後のフ
レームからの動きベクトルを（０、０）として動きブク
トルの符号を生成する。この時、符号化器２２１は、符
号化するマクロブロックがBackword Predictive モード
で符号化されることを表すヘッダデータを生成し、動き
ベクトル符号を挿入しておく。

【０１０２】そして、符号化器２１８はまず、ラッチ２
１２から符号化するマクロブロックのＤＣＴ係数を読み
込むとともに、ラッチ２１３から符号化するマクロブロ
ックと時間的に後のＩフレームまたはＰフレームの同一
位置のマクロブロックのＤＣＴ係数を読み込み、ラッチ
２１１から量子化係数Ｑ４を読み込む。符号化器２１８
はさらに、ラッチ２１２のマクロブロックの各ブロック
のＤＣＴ係数を逆ＤＣＴ変換して画素値を再生する。続
いて、ラッチ２１３のマクロブロックの各ブロックのＤ
ＣＴ係数を逆ＤＣＴ変換して画素値を再生する。その
後、各画素値の差分を求め、求めた差分値にＤＣＴ変換
を施し、量子化係数Ｑ４で量子化し、量子化結果を得
る。直流成分に関しては、直前のマクロブロックの差分
比較器２１５の出力コードが“００１”であれば、続い
てＤＰＣＭし、そうでなければ新たにＤＰＣＭを初期化
して始める。交流成分の量子化結果は、ＭＰＥＧ方式に
従って符号を割り当てておく。

【０１０３】さらに、符号化器２２１は、マクロブロッ
クのヘッダデータを生成する。すなわち、時間的に前後
のフレームからの各動きベクトルを（０、０）として動
きベクトルの符号を生成する。この時、符号化器２２１
は、符号化するマクロブロックがBidirectional Predic
tiveモードで符号化されることを表すヘッダデータを生
成し、両動きベクトル符号を挿入しておく。

【０１０４】そして、符号化器２１９はまず、ラッチ２
１２から符号化するマクロブロックのＤＣＴ係数を読み
込むとともに、ラッチ２１３から符号化するマクロブロ
ックと時間的に後のＩフレームまたはＰフレームの同一
位置のマクロブロックのＤＣＴ係数を読み込み、ラッチ
２１４から符号化するマクロブロックと時間的に前のＩ
フレームまたはＰフレームの同一位置のマクロブロック
のＤＣＴ係数を読み込み、ラッチ２１１から量子化係数
Ｑ４を読み込む。符号化器２１９はさらに、ラッチ２１
３のマクロブロックの各ブロックのＤＣＴ係数を逆ＤＣ
Ｔ変換して画素値を再生し、ラッチ２１４のマクロブロ
ックの各ブロックのＤＣＴ係数を逆ＤＣＴ変換して画素
値を再生する。各画素値で平均を求めておく。続いて、
ラッチ２１２のマクロブロックの各ブロックのＤＣＴ係
数を逆ＤＣＴ変換して画素値を再生する。その後、画素
毎に画素値と平均値の差分を求め、求めた差分値にＤＣ
Ｔ変換を施し、量子化係数Ｑ４で量子化し、量子化結果
を得る。直流成分に関しては、直前のマクロブロックの
差分比較器２１５の出力コードが“０１０”であれば続
いてＤＰＣＭし、そうでなければ新たにＤＰＣＭを初期
化して始める。交流成分の量子化結果は、ＭＰＥＧ方式
に従って符号を割り当てておく。

【０１０５】データ変換器２２０に入力されたＪＰＥＧ
データは、Intra フレームのマクロブロックと同様にＪ
ＰＥＧデータからＭＰＥＧデータへと変換される。

【０１０６】差分比較器２１５の出力コードが“００
０”であった場合、ラッチ２１６の内容が“１０１”ま
たは“１１０”または“１１１”であれば、セレクタ２
２３は符号化器２２２の内容を出力した後、符号化器２
１７の出力を入力してコードバッファ２２４に出力し、
格納する。

【０１０７】差分比較器２１５の出力コードが“００
１”であった場合、ラッチ２１６の内容が“１０１”ま
たは“１１０”または“１１１”であれば、セレクタ２
２３は符号化器２２２の内容を出力した後、符号化器２
１８の出力を入力してコードバッファ２２４に出力し、
格納する。

【０１０８】差分比較器２１５の出力コードが“０１
０”であった場合、ラッチ２１６の内容が“１０１”ま
たは“１１０”または“１１１”であれば、セレクタ２
２３は符号化器２２２の内容を出力した後、符号化器２
１９の出力を入力してコードバッファ２２４に出力し、
格納する。

【０１０９】差分比較器２１５の出力コードが“０１
１”であった場合、ラッチ２１６の内容が“１０１”ま
たは“１１０”または“１１１”であれば、セレクタ２
２３は符号化器２２２の内容を出力した後、セレクタ２
２３はデータ変換器２２０の出力を入力してコードバッ
ファ２２４に出力し、格納する。

【０１１０】差分比較器２１５の出力コードが“１０
１”であった場合、その結果は符号化器２２２に入力さ
れる。このコードが発生したときは、ＭＰＥＧ符号化デ
ータは生成されず、符号化器２２２では連続して発生し
たコード“１０１”の回数をカウントし、マクロブロッ
クアドレスインクリメント符号を生成する。

【０１１１】差分比較器２１５の出力コードが“１１
０”であった場合、その結果は符号化器２２２に入力さ
れる。このコードが発生したときは、ＭＰＥＧ符号化デ
ータは生成されず、符号化器２２２では連続して発生し
たコード“１１０”の回数をカウントし、マクロブロッ
クアドレスインクリメント符号を生成する。

【０１１２】差分比較器２１５の出力コードが“１１
１”であった場合、その結果は符号化器２２２に入力さ
れる。このコードが発生したときは、ＭＰＥＧ符号化デ
ータは生成されず、符号化器２２２では連続して発生し
たコード“１１１”の回数をカウントし、マクロブロッ
クアドレスインクリメント符号を生成する。

【０１１３】マクロブロックの処理が終了したら、ラッ
チ２１６の内容を差分比較器２１５の出力に置き換え
る。

【０１１４】以下、マクロブロック単位の処理を行い、
１フレームの処理が終了したら、コードバッファ２２４
の内容を送出し、図１の記憶装置８に格納したり、通信
インターフェス６を介して通信回線７に出力したりす
る。また、送出した符号長をＣＰＵ９に通報する。その
後、コードバッファ２２４をクリアする。

【０１１５】以下、各フレームを予め決められた順にＩ
フレームまたはＰフレームとして符号化し、所望のフレ
ーム数のＭＰＥＧデータを得る。その後、ＭＰＥＧ方式
で決められたシーケンスエンドコード等の終了符号を符
号化器２２１で生成し、セレクタ２２３を介してコード
バッファ２２４を経て送出し、全ての動作を終了する。

【０１１６】次に、本発明の第３の実施例による画像符
号化データ変換装置について図５を参照しながら説明す
る。本発明の第３の実施例は、演算装置でソフトウェア
を用いてデータ処理する場合を示したもので、図５は、
本発明の第３の実施例による画像符号化データ変換装置
の構成を示すブロック図であり、図６〜図１４は、本発
明の第３実施例による画像符号化データ変換の手順を表
すフローチャートである。なお、図５において、図１と
同一の構成のものには同一の符号を付して説明を省略し
た。

【０１１７】図５で、３０１は、装置全体を制御統括
し、MotionＪＰＥＧデータをＭＰＥＧデータに変換する
ＣＰＵである。３０２は、データ処理をするためのソフ
トウェアを格納しておくプログラムメモリであり、３０
３は、処理をするための作業領域を確保するための作業
メモリである。

【０１１８】説明を容易にするため、入力されるMotion
ＪＰＥＧデータは４：１：１のサブサンプリング比であ
るとする。また、ＭＰＥＧ方式のＧＯＰは、Ｉフレーム
とＰフレームとで構成されるものとする。

【０１１９】まず、図６のステップＳ０１に示すよう
に、ＣＰＵ３０１は、プログラムメモリ３０２からMoti
onＪＰＥＧデータ／ＭＰＥＧデータ変換のためのプログ
ラムを読み込み、実行を開始する。

【０１２０】次に、ステップＳ０２に示すように、量子
化倍数Ｐ３の値と直流成分のハフマン符号とをアドレス
とする変換結果のＬＵＴ（直流成分変換ＬＵＴ）を作業
メモリ３０３に格納する。

【０１２１】次に、ステップＳ０３に示すように、量子
化倍数Ｐ３の値と交流成分のハフマン符号とをアドレス
とする変換結果のＬＵＴ（交流成分変換ＬＵＴ）を作業
メモリ３０３に格納する。

【０１２２】次に、ステップＳ０４に示すように、Moti
onＪＰＥＧデータのフレームのヘッダデータを読み込
み、ＪＰＥＧデータのヘッダデータを解析し、画像サイ
ズ等の画像の属性を得る。

【０１２３】次に、ステップＳ０５に示すように、各属
性、デフォルト量子化テーブルと併せて動画像としての
属性を加え、ＭＰＥＧデータのシーケンスヘッダとＧＯ
Ｐヘッダデータを生成し、出力する。

【０１２４】以下に、Ｉフレームの変換について述べ
る。まず、ステップＳ０９に示すように、生成するフレ
ームがＩフレームかＰフレームかを判定し、Ｉフレーム
を生成する場合はステップＳ１０に移る。

【０１２５】次に、ステップＳ１０に示すように、ＪＰ
ＥＧ符号化データの量子化テーブルから、ＪＰＥＧ方式
デフォルト量子化テーブルを用いて量子化係数Ｑ８を求
める。

【０１２６】次に、ステップＳ１１に示すように、ＭＰ
ＥＧ方式における符号化制御のために量子化係数Ｑ９を
決定する。

【０１２７】次に、図７のステップＳ１２に示すよう
に、Ｉフレームであることを示すピクチャヘッダを生成
する。

【０１２８】次に、ステップＳ１４に示すように、１マ
クロブロック分のMotionＪＰＥＧデータが順に記憶装置
１から読み出される。読み出されたMotionＪＰＥＧデー
タは、マクロブロック単位で作業メモリ３０３に格納さ
れる。

【０１２９】もし、ステップＳ１５に示すように、入力
されたマクロブロックのデータがフレームの左端であれ
ば、ステップＳ１６に示すように、量子化係数Ｑ９を読
み出し、スライスヘッダを生成し、出力する。

【０１３０】次に、ステップＳ１７に示すように、マク
ロブロックの処理に先立ち、Intraモードで符号化する
ことを表すマクロブロックのヘッダデータを生成し、出
力する。

【０１３１】次に、ステップＳ１８に示すように、ブロ
ック単位でＪＰＥＧデータを処理する。量子化係数Ｑ８
と量子化係数Ｑ９とから量子化倍数Ｐ３を次式に従って
求める。 Ｐ３＝Ｑ８／Ｑ９…（１１）

【０１３２】次に、図８のステップＳ２０に示すよう
に、量子化倍数Ｐ３とハフマン符号から作業メモリ３０
３の直流成分変換ＬＵＴを参照して、直流成分における
ＪＰＥＧデータからＭＰＥＧデータへの変換を行う。変
換して得られた符号化データは出力される。

【０１３３】例えば、輝度成分の直流成分のＪＰＥＧデ
ータの差分値Ｄ５が２０であった場合、そのハフマン符
号は“１１０１０１００”である。ここで量子化倍数Ｐ
３が２．５であれば、出力するＭＰＥＧデータの差分値
Ｄ６は、 Ｄ６＝Ｄ５／Ｐ３…（１２） で求められる。

【０１３４】この場合は、差分値Ｄ６は４であり、従っ
て、このハフマン符号は“１００１００”と変換され
る。変換して得られた符号化データは、作業メモリ３０
３に一時格納する。

【０１３５】次に、ステップＳ２２に示すように、交流
成分におけるＪＰＥＧデータからＭＰＥＧデータへの変
換を、同様に量子化倍数Ｐ３とハフマン符号から作業メ
モリ３０３の交流成分変換ＬＵＴを参照して行う。変換
して得られた符号化データは出力される。

【０１３６】入力されたＪＰＥＧデータの量子化結果Ｒ
５と量子化倍数Ｐ３とから変換後のＭＰＥＧデータの量
子化結果Ｒ６は、 Ｒ６＝Ｒ５／Ｐ３…（１３） で求められる。

【０１３７】例えば、量子化倍数Ｐ３が７であって、０
ラン長が５で量子化結果Ｒ５が３であることを示すハフ
マン符号“１１１１１１１０１１１１１”が入力された
とする。このときの量子化結果Ｒ６は、１以下になって
しまうが、切り上げて１とする。従って、０ラン長が５
で量子化結果が１を表すハフマン符号“１１１１０１０
１”に変換される。

【０１３８】以上のような交流成分の変換を、ステップ
Ｓ２１に示すように、全ての交流成分が終了するまで続
け、終了したらステップＳ１９に戻る。

【０１３９】以下、ステップＳ１９に示すように、マク
ロブロック単位の処理を行い、１フレームの処理が終了
したら、図７のステップＳ１３に示すように、次のフレ
ームの処理に移る。

【０１４０】図５において、もし、ステップＳ０６に示
すように、次のフレームがない場合には、動画像が終了
したので、ステップＳ０７に示すように、シーケンスの
終了コードを生成して出力し、ステップＳ０８に示すよ
うに、処理を終了する。

【０１４１】次に、Ｐフレームのデータへの変換につい
て述べる。まず、ステップＳ０９に示すように、生成す
るフレームがＩフレームかＰフレームかを判定し、Ｐフ
レームを生成する場合はステップＳ２３に移る。

【０１４２】次に、ステップＳ２３に示すように、ＪＰ
ＥＧ符号化データの量子化テーブルから、ＪＰＥＧ方式
デフォルト量子化デーブルを用いて量子化係数Ｑ１０を
求める。

【０１４３】次に、ステップＳ２４に示すように、前フ
レームのＪＰＥＧデータの量子化係数（前フレームがＩ
フレームであれば前述の量子化係数Ｑ８、Ｐフレームで
あれば前フレームの量子化係数Ｑ１０）を量子化係数Ｑ
１１として保持しておく。

【０１４４】次に、図９のステップＳ２５に示すよう
に、符号化制御のために量子化係数Ｑ１２を決定する。

【０１４５】次に、ステップＳ２６に示すように、Ｐフ
レームであることを示すピクチャヘッダを生成する。

【０１４６】次に、ステップＳ２８に示すように、１マ
クロブロック分のMotionＪＰＥＧデータが、順に記憶装
置１から読み出される。読み出されたMotionＪＰＥＧデ
ータは、マクロブロック単位で作業メモリ３０３に格納
される。

【０１４７】もし、ステップＳ２９に示すように、入力
されたマクロブロックのデータがフレームの左端であれ
ば、ステップＳ３０に示すように、量子化係数Ｑ１２を
読み出し、スライスヘッダを生成し、出力する。

【０１４８】続いて、マクロブロック単位でＪＰＥＧデ
ータを処理する。すなわち、図１０のステップＳ３２に
示すように、ＪＰＥＧデータを復号し、量子化係数Ｑ１
０とＪＰＥＧ方式デフォルト量子化テーブルを用いて各
ブロックのＤＣＴの直流成分と交流成分を生成する。

【０１４９】次に、ステップＳ３３に示すように、前フ
レームの同一位置のマクロブロックのＪＰＥＧデータを
作業メモリ３０３から読み出して復号し、量子化係数Ｑ
１１とＪＰＥＧ方式デフォルト量子化テーブルを用いて
各ブロックのＤＣＴ係数の直流成分と交流成分を生成す
る。

【０１５０】次に、ステップＳ３４に示すように、各ブ
ロック毎にＤＣＴ係数毎の差分を求めて絶対値を加算す
る。これらの処理を６つのブロック全てについて行い、
終了したらステップＳ３５に移る。なお、加算の結果を
ブロックの順にＡＡ１からＡＡ６とする。

【０１５１】もし、ステップＳ３５に示すように、全て
の加算値ＡＡ１〜６が０、すなわち、 ＡＡｉ＝０（ｉ＝１〜６） …（１４） であれば、動きベクトル（０，０）で符号が発生しない
マクロブロックであることを示している。

【０１５２】この場合は、もし、ステップＳ３６に示す
ように、直前のマクロブロックの符号化モードがPredic
tiveモードであれば、スキップの処理を実施する。

【０１５３】すなわち、ステップＳ３７に示すように、
スキップのマクロブロックを計数しておく。

【０１５４】もし、ステップＳ３６に示すように、直前
のマクロブロックの符号化モードがPredictiveモードで
なければ、図１３のステップＳ５３に示すように、動き
ベクトル（０，０）のPredictiveモードで符号化される
ことを表すマクロブロックヘッダを出力する。

【０１５５】さらに、ステップＳ５４に示すように、ス
キップするマクロブロックの計数値を０とする。

【０１５６】もし、図１０のステップＳ３５に示すよう
に、ブロックの加算値ＡＡ１〜６が全て０でなければ、
図１１のステップＳ３８に示すように、加算値ＡＡ１か
らＡＡ６と予め決定された閾値Ｔ３と比較し、全ての加
算値で、 Ｔ３＞ＡＡｉ＞０ （ｉ＝１〜６）… （１５） であれば、Predictiveモードの符号を生成する。

【０１５７】次に、ステップＳ３９に示すように、Pred
ictiveモードで符号化されることを表すマクロブロック
のヘッダデータを生成する。このヘッダデータには、動
きベクトル（０，０）の符号と、加算値ＡＡ１〜６が０
でないブロックの位置を表す符号を生成し、マクロブロ
ックヘッダに入れて出力する。

【０１５８】次に、ステップＳ４１に示すように、符号
化するフレームの加算値ＡＡｉ（ｉ＝１〜６）が０でな
いブロックのＤＣＴ係数を逆ＤＣＴ変換して画素値を再
生する。

【０１５９】次に、ステップＳ４２に示すように、符号
化する直前のフレームの同一位置のブロックの、加算値
ＡＡｉ（ｉ＝１〜６）が０でないブロックのＤＣＴ係数
を逆ＤＣＴ変換して画素値を再生する。

【０１６０】その後、ステップＳ４３に示すように、各
画素値の差分を求める。

【０１６１】次に、ステップＳ４４に示すように、求め
た差分値にＤＣＴ変換を施し、量子化係数Ｑ１２で量子
化し、量子化結果を得る。以上の処理をステップＳ４０
に示すように、全てのブロックについて行い、終了した
らステップＳ４５に移る。

【０１６２】もし、図１２のステップＳ４５に示すよう
に、直流成分に関しては、直前のマクロブロックがPred
ictiveモードで符号化されていれば、ステップＳ４６に
示すように、ＤＰＣＭを行い、ＭＰＥＧ方式の符号で符
号化し、出力する。また、直前のマクロブロックのモー
ドIntra モードであったり、左端のマクロブロックであ
れば、ステップＳ４７に示すように、新たにＤＰＣＭを
初期化して、ステップＳ４８に示すように、直流成分の
符号化を行う。

【０１６３】次に、ステップＳ４９に示すように、交流
成分の量子化結果は、ＭＰＥＧ方式に従って符号を割り
当て、出力する。

【０１６４】次に、ステップＳ５０に示すように、全て
のブロックについてステップＳ５１の直流成分の符号化
及びステップＳ５２の交流成分の符号化を行い、終了し
たらステップＳ２７に戻る。

【０１６５】また、図１１のステップＳ３８に示すよう
に、１つでも（１５）式の条件を満たさない場合は、In
tra モードの符号に変換して出力する。

【０１６６】変換に先立ち、直前のマクロブロックがス
キップ処理がされていれば、ステップＳ５５に示すよう
に、計数値に見合ったマクロブロックアドレスインクリ
メント符号として出力する。

【０１６７】変換の詳細は、図１４のステップＳ５６〜
６１のＩフレームのマクロブロックの変換処理と同様の
処理を実施する。

【０１６８】以下、マクロブロック単位の処理を行い、
図６のステップＳ０６に示すように、１フレームの処理
が終了したら、次のフレームの処理に移る。

【０１６９】もし、次のフレームがない場合には動画像
が終了したので、ステップＳ０７に示すように、シーケ
ンスの終了コードを生成して出力し、ステップＳ０８に
示すように、処理を終了する。

【０１７０】なお、本実施例ではＭＰＥＧ符号化方式を
例にとって説明したが、Ｈ．２６１符号化方式であって
も本実施例の構成をＨ．２６１の符号に適したものに置
き換えることによって本発明を適用できる。また、ＭＰ
ＥＧ方式のＧＯＰがＩフレームとＰフレームとで構成さ
れる場合について説明したが、Ｂフレームを導入したＭ
ＰＥＧ方式への変換に本発明を適用してもよい。また、
本実施例においては、Ｉフレームのマクロブロックの変
換処理を行うに際しては、図１４のステップＳ５６〜６
１を用いたが、これに限らず他の処理としてもよい。

【０１７１】また、動画像の符号化の例としてＭＰＥＧ
方式やＨ．２６１方式を例にとったが、動画像の符号化
方式はこれに限定されず、動き補償をする符号化であれ
ば良い。さらに、画像のサンプリングで４：１：１を例
にとって説明したが、４：４：４や４：２：２を入力と
した場合でも色度成分のみを再生してサブサンプリング
した後符号化すれば良い。

【０１７２】

【発明の効果】以上説明したように、本発明によれば、
フレーム内符号化による符号化データをフレーム間相関
による符号化データに変換する際に、特定のフレームの
符号化データを符号化データのまま変換しているので、
画像データに復号化するＪＰＥＧデータを減らすことが
でき、変換時間を短縮できる。

【図面の簡単な説明】

【図１】本発明の一実施例による画像符号化データ変換
装置の構成を示すブロック図である。

【図２】本発明の第１実施例によるデータ変換部の構成
を示すブロック図である。

【図３】本発明の一実施例によるデータ変換器の構成を
示すブロック図である。

【図４】本発明の第２実施例によるデータ変換部の構成
を示すブロック図である。

【図５】本発明の第３実施例による画像符号化データ変
換装置の構成を示すブロック図である。

【図６】本発明の第３実施例による画像符号化データ変
換の手順を表すフローチャートである。

【図７】本発明の第３実施例による画像符号化データ変
換の手順を表すフローチャートである。

【図８】本発明の第３実施例による画像符号化データ変
換の手順を表すフローチャートである。

【図９】本発明の第３実施例による画像符号化データ変
換の手順を表すフローチャートである。

【図１０】本発明の第３実施例による画像符号化データ
変換の手順を表すフローチャートである。

【図１１】本発明の第３実施例による画像符号化データ
変換の手順を表すフローチャートである。

【図１２】本発明の第３実施例による画像符号化データ
変換の手順を表すフローチャートである。

【図１３】本発明の第３実施例による画像符号化データ
変換の手順を表すフローチャートである。

【図１４】本発明の第３実施例による画像符号化データ
変換の手順を表すフローチャートである。

【符号の説明】

１、８ 記憶装置 ２ ＪＰＥＧ復号器 ３ フレームメモリ ４ ディスプレイ ５ データ変換部 ６ 通信インターフェイス ７ 通信回線 ９、３０１ ＣＰＵ １０ 入力装置 １０１、１１５、２０１、２２４ コードバッファ １０２、２０２、２０３ コードメモリ １０３、２０４、２０５、２０６ 復号器 １０４、１０５、１０６、１０７、１０８、１１７、２
０８、２０９、２１０、２１１、２１２、２１３、２１
４、２１６ ラッチ １０９、２１５ 差分比較器 １１０、１１２、１１３、２１７、２１８、２１９、２
２１、２２２ 符号化器 １１１、２２０ データ変換器 １１４、１５１、１５５、２２３ セレクタ １１６、２０７ ヘッダ解析器 １５０ 演算器 １５２ マクロブロックヘッダ生成器 １５３ ＤＣ変換器 １５４ ＡＣ変換器 ３０２ プログラムメモリ ３０３ 作業メモリ

Claims (10)

【特許請求の範囲】
1. 【請求項１】 動画像データのフレーム内符号化による
   符号化データをフレーム間相関による符号化データに変
   換する画像処理方法であって、、前記フレーム間相関に
   よる符号化データのうちの少なくとも一部のフレームの
   符号化データを復号化することなく変換処理して用いる
   ことを特徴とする画像処理方法。
2. 【請求項２】 前記フレーム内符号化による符号化デー
   タは、画素データの直交変換符号化によって得られるこ
   とを特徴とする請求項１に記載の画像処理方法。
3. 【請求項３】 前記フレーム間相関による符号化データ
   は、画素データの直交変換符号化によって得られること
   を特徴とする請求項１に記載の画像処理方法。
4. 【請求項４】 前記少なくとも一部のフレームはフレー
   ム内符号化フレームであることを特徴とする請求項１に
   記載の画像処理方法。
5. 【請求項５】 入力されたフレーム内符号化による符号
   化データにおける過去の符号化データと現在の符号化デ
   ータとを比較するデータ比較手段と、 前記フレーム内符号化による符号化データを一次変換に
   よってフレーム間相関による符号化データに変換する第
   １のデータ変換手段と、 フレーム内符号化による符号化データを復号化してその
   復号されたデータをフレーム間相関による符号化データ
   に変換する第２のデータ変換手段と、 前記データ比較手段の出力によって前記第１のデータ変
   換手段と前記第２のデータ変換手段とを選択する選択手
   段とを具備することを特徴とする画像処理装置。
6. 【請求項６】 前記フレーム内符号化による符号化デー
   タは、画素データの直交変換符号化によって得られるこ
   とを特徴とする請求項５に記載の画像処理装置。
7. 【請求項７】 前記フレーム間相関による符号化データ
   は、画素データの直交変換符号化によって得られること
   を特徴とする請求項５に記載の画像処理装置。
8. 【請求項８】 前記データ比較手段は、画素データの直
   交変換によって得られた係数を比較することを特徴とす
   る請求項５〜７のいずれか１項に記載の画像処理装置。
9. 【請求項９】 前記第１のデータ変換手段は、フレーム
   内符号化による符号化データの量子化係数とフレーム間
   相関による符号化データの量子化係数とを比較する比較
   手段と、前記比較手段からの比較結果に基づいてフレー
   ム間相関による符号化データに一次変換する変換手段と
   を具備することを特徴とする請求項５〜７のいずれか１
   項に記載の画像処理装置。
10. 【請求項１０】 前記一次変換は、上記比較手段の比較
    結果とフレーム内符号化による符号化データとによって
    決まるアドレスを入力とし、フレーム間相関による符号
    化データを出力とするルックアップテーブルによって行
    われることを特徴とする請求項９に記載の画像処理装
    置。