JPH08242446A

JPH08242446A - 画像処理方法及び画像処理装置

Info

Publication number: JPH08242446A
Application number: JP6893095A
Authority: JP
Inventors: Shinichi Hirata; 晋一平田; Masakazu Oyamada; 応一小山田; Akifumi Arayashiki; 明文荒屋敷
Original assignee: Kokusai Electric Corp
Current assignee: Kokusai Electric Corp
Priority date: 1995-03-03
Filing date: 1995-03-03
Publication date: 1996-09-17

Abstract

(57)【要約】【目的】隣接画素間の相関性を利用して圧縮効率を向
上させることができる画像処理方法及び画像処理装置を
提供する。【構成】静止画像の１フレームを垂直方向又は水平方
向又は両方向に画素毎にサブサンプリングし、サブサン
プリング画像をＭＰＥＧ等の動画像符号化で用いられる
フレーム間予測符号化（フレーム内部分画像予測符号
化）又は動きベクトル零とした動き補償付きフレーム予
測符号化（零ベクトル予測符号化）の手法を用い、入力
画素ブロック（入力ＭＣＵ）と前画像の画素ブロック
（前ＭＣＵ）との差分が特定値以上であればフレーム内
部分画像予測符号化を採用し、特定値未満であれば零ベ
クトル予測符号化を採用して符号化を行うものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像を圧縮のために符
号化し、伸長のために復号化する画像処理方法に係り、
特に静止画像において圧縮効率を向上させることができ
る画像処理方法及び画像処理装置に関する。

【０００２】

【従来の技術】静止画像の符号化方式として、ＪＰＥＧ
（Joint Photographic coding Experts Group ）方式が
知られている。このＪＰＥＧ方式の概略を図１１を使っ
て説明する。図１１は、ＪＰＥＧ方式の符号化／復号化
を説明するための概略構成ブロック図である。

【０００３】まず、ＪＰＥＧ方式の符号化は、原画像
を、例えば、８×８画素のブロックに分割し、ブロック
毎にブロックデータを離散コサイン変換（ＤＣＴ）を行
い、変換後の係数を量子化（Ｑ）し、量子化後の係数を
可変長符号化（ＶＬＣ）して符号化データを作成するも
のである。この符号化データは、記憶媒体に格納された
り、伝送路に送出されたりするものである。

【０００４】また、ＪＰＥＧ方式の復号化は、上記符号
化された符号化データを可変長復号化（ＶＬＤ）し、逆
量子化（ＩＱ）し、逆離散コサイン変換（ＩＤＣＴ）し
てブロックのデータを得るようになっている。

【０００５】尚、ＪＰＥＧ方式については、インターフ
ェース「カラー静止画像の国際標準符号化方式」遠藤俊
明著１９９１年１２月号ｐ１６０〜ｐ１８２に具
体的に記載されている。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の静止画像の処理方法では、ある画素が隣接する他の
画素との間に相関関係が高いという特性を充分利用して
いるとは言えず、その相関関係を利用して圧縮効率を高
めていないという問題点があった。

【０００７】具体的には、図１２に示すように、一般
に、任意の１画素（pixel ）に対して、隣接する上下左
右の４近傍画素、若しくは周囲の８近傍画素で画素同士
に相関関係（相関性）が高い（よく似ている）ことが知
られており、この相関性を利用できれば圧縮率向上が期
待できるものである。

【０００８】本発明は上記実情に鑑みて為されたもの
で、隣接画素間の相関性を利用して圧縮効率を向上させ
ることができる画像処理方法及び画像処理装置を提供す
ることを目的とする。

【０００９】

【課題を解決するための手段】上記従来例の問題点を解
決するための請求項１記載の発明は、静止画像を符号化
し、符号化されたデータを復号化して静止画像を再生す
る画像処理方法において、前記静止画像の画素の画素番
号を整数で割った余りと商でグループ分けするサブサン
プリングを行い、前記グループに分けられた部分画像を
１フレームのサブサンプリング画像としてフレーム間予
測符号化方法で符号化し、復号化したサブサンプリング
画像を合成して画素順に並び替えて静止画像を再生する
ことを特徴としている。

【００１０】上記従来例の問題点を解決するための請求
項２記載の発明は、静止画像を符号化し、符号化された
データを復号化して静止画像を再生する画像処理方法に
おいて、前記静止画像の画素の画素番号を整数で割った
余りと商でグループ分けするサブサンプリングを行い、
前記グループに分けられた部分画像を１フレームのサブ
サンプリング画像として動き補償付きフレーム予測符号
化方法で符号化し、復号化したサブサンプリング画像を
合成して画素順に並び替えて静止画像を再生することを
特徴としている。

【００１１】上記従来例の問題点を解決するための請求
項３記載の発明は、静止画像を符号化する画像処理方法
において、前記静止画像の画素の画素番号を整数で割っ
た余りと商でグループ分けするサブサンプリングを行
い、前記グループに分けられた部分画像を１フレームの
サブサンプリング画像とし、当該フレームのサブサンプ
リング画像の画素ブロックが１つ前のフレームのサブサ
ンプリング画像の画素ブロックとの差分を算出し、算出
された差分値が特定値より大きい場合にフレーム間予測
符号化方法で符号化し、特定値より小さい場合に動きベ
クトル零とした動き補償付きフレーム予測符号化方法で
符号化し、前記画素ブロックが採用した符号化方法を示
す符号化モードを出力することを特徴としている。

【００１２】上記従来例の問題点を解決するための請求
項４記載の発明は、画像処理方法において、請求項３の
画像処理方法で出力される符号化モードを判別し、前記
符号化モードが示す符号化方法に従って画素ブロックを
復号化することを特徴としている。

【００１３】上記従来例の問題点を解決するための請求
項５記載の発明は、画像データを離散コサイン変換する
変換手段と、前記離散コサイン変換されたデータを量子
化する量子化手段と、前記量子化されたデータを可変長
符号化する符号化手段と、前記量子化されたデータを逆
量子化する逆量子化手段と、前記逆量子化されたデータ
を逆離散コサイン変換する逆変換手段と、１つ前のフレ
ームの画像を記憶するメモリを有し、入力画素ブロック
に対応して１つ前のサブサンプリング画像の対応画素ブ
ロックを出力する前画像制御手段と、入力画素ブロック
の画像データと前記前画像制御手段から出力される１つ
前の画像の対応画素ブロックの画像データとの差分を取
る差分手段と、前記逆変換手段からの出力に前記メモリ
内の対応画素データを加算する加算手段とを具備する符
号化装置を有する画像処理装置であって、静止画像の画
素の画素番号を整数で割った余りと商でグループ分けす
るサブサンプリングを行って前記グループに分けられた
部分画像を１フレームのサブサンプリング画像として画
素ブロック毎に画像データが入力されると共に当該画素
ブロックのフレーム番号と画素ブロック番号の情報が与
えられ、前記情報が第１番目のフレームを示す時には入
力画素ブロックの画像データを差分手段を介して前記変
換手段に出力し、前記情報が第２番目以降のフレームを
示す時には対応画素ブロックを前記前画像制御手段から
受け取って差分を算出し、その差分値が特定値以上の場
合にフレーム間予測符号化方法を示す符号化モードを出
力し、特定値未満の場合に動きベクトル零とした動き補
償付きフレーム予測符号化方法を示す符号化モードを出
力し、更に前記符号化モードがフレーム間予測符号化方
法を示す時のみ入力画像データを前記差分手段に出力す
るモード判定手段と、前記符号化モードがフレーム間予
測符号化方法を示す時にその符号化モードと符号化され
たデータとを出力し、前記符号化モードが動きベクトル
零とした動き補償付きフレーム予測符号化方法を示す時
にその符号化モードを出力するマルチプレクサとを備
え、前記前画像制御手段が、前記情報が第１番目のフレ
ームを示す時に対応画素ブロックを前記モード判定手段
と前記差分手段とに出力せず、前記情報が第２番目以降
のフレームを示す時に対応画素ブロックを前記モード判
定手段に出力し、前記モード判定手段から出力される符
号化モードがフレーム間予測符号化方法を示す場合のみ
対応画素ブロックを前記差分手段に出力する前画像制御
手段であることを特徴としている。

【００１４】上記従来例の問題点を解決するための請求
項６記載の発明は、入力される符号化データを可変長復
号化する復号化手段と、前記復号化手段から出力される
データを逆量子化する逆量子化手段と、前記逆量子化手
段から出力されるデータを逆離散コサイン変換する逆変
換手段と、１つ前のフレームの画像データを記憶するメ
モリを備え、前記逆変換手段で逆変換された画素ブロッ
クに対応して１つ前の画像の対応画素ブロックを出力す
る前画像制御手段と、前記逆変換された画素ブロックの
画像データと前記前画像制御手段から出力される１つ前
の画像の対応画素ブロックの画像データとの和を取る加
算手段とを具備する復号化装置を有する画像処理装置で
あって、請求項５記載の画像処理装置から出力される符
号化モードと符号化データを分離して出力し、更に符号
化された画素ブロックのフレーム番号と画素ブロック番
号の情報を出力するデマルチプレクサを備え、前記前画
像制御手段が、前記デマルチプレクサから出力される前
記情報を読み取り、前記情報が第２番目以降のフレーム
を示す時には対応画素ブロックを前記加算手段に出力
し、更に前記加算手段からの出力を前記メモリに記憶す
る前画像制御手段であることを特徴としている。

【００１５】

【作用】請求項１，２，３，４記載の発明によれば、静
止画像の画素の画素番号を整数で割った余りと商でグル
ープ分けするサブサンプリングを行い、前記グループに
分けられた部分画像を１フレームのサブサンプリング画
像とし、フレーム間予測符号化方法又は動き補償付きフ
レーム予測符号化方法で符号化し、また、当該フレーム
のサブサンプリング画像の画素ブロックが１つ前のフレ
ームのサブサンプリング画像の画素ブロックとの差分を
算出し、その差分値が特定値より大きい場合にフレーム
間予測符号化方法で符号化し、特定値より小さい場合に
動きベクトル零とした動き補償付きフレーム予測符号化
方法で符号化して画素ブロックが採用した符号化方法を
示す符号化モードを出力し、その符号化モードで復号化
する画像処理方法としているので、サブサンプリング画
像が隣接する画素を複数フレームに分けて形成されたも
のであるから、サブサンプリング画像を上記方法で符号
化することで隣接画素間の相関性を利用して圧縮効率を
向上させることができる。

【００１６】請求項５，６記載の発明によれば、符号化
装置のモード判定手段で、入力画素ブロックと前画像の
対応画素ブロックとの差分値が特定値以上の場合は、フ
レーム間予測符号化モードとし、入力画素ブロックと前
画像の対応画素ブロックとの差分値が特定値未満の場合
は、動きベクトル零とした動き補償付きフレーム予測符
号化モードとし、符号化装置の前画像制御手段で、フレ
ーム間予測符号化モードの時に対応画素ブロックが差分
手段に出力され、マルチプレクサで、上記いずれかのモ
ードと符号化データが出力され、復号化装置のデマルチ
プレクサで符号化された画素ブロックのフレーム番号と
画素ブロック番号の情報が復号化装置の前画像制御手段
に出力され、前画像制御手段で、情報が第２番目以降の
フレームを示す時には対応画素ブロックを加算手段に出
力し、加算結果をメモリに記憶する画像処理装置として
いるので、サブサンプリング画像が隣接する画素を複数
フレームに分けて形成されたものであるから、サブサン
プリング画像を上記方法で符号化することで隣接画素間
の相関性を利用して圧縮効率を向上させることができ
る。

【００１７】

【実施例】本発明の一実施例について図面を参照しなが
ら説明する。本発明の一実施例に係る画像処理方法は、
静止画像の１フレームを垂直方向又は水平方向若しくは
垂直及び水平方向に画素毎に画像を分割（サブサンプリ
ング）し、複数に分割された画像（サブサンプリング画
像）をＭＰＥＧ（Moving Picture coding Experts Grou
p ）等の動画像符号化で用いられるフレーム間予測符号
化又は動き補償付きフレーム予測符号化と同様な手法を
用いて符号化を行うもので、隣接する画素間の空間的相
関性を利用して符号化による圧縮効率を向上させるもの
である。

【００１８】まず、上記サブサンプリング画像の作成方
法について３つの例を用いて説明する。第１の例とし
て、１フレームの静止画像（原画像）が垂直方向にｋ本
の画素ラインから構成されている場合に、ｋ本の画素ラ
インのライン番号を整数ｎで割った時の余りでｎ個にグ
ループ分けし、更に各グループ内でライン毎の画素デー
タを除算結果の商の小さい順で配列してｎ個の部分画像
（サブサンプリング画像）を作成するものである。

【００１９】第２の例として、原画像が水平方向にｓ個
の画素数で構成されている場合に、ｓ個の画素の画素番
号を整数ｍで割った時の余りでｍ個にグループ分けし、
更に各グループ内で画素毎の画素データを除算結果の商
の小さい順で配列してｍ個の部分画像（サブサンプリン
グ画像）を作成するものである。

【００２０】第３の例として、原画像が水平方向にｓ個
の画素数で構成され、水平方向の画素ラインが垂直方向
にｔ本で構成されている場合に、ｓ個の画素の画素番号
を整数ｍで割った時の余りとｔ本の画素ラインのライン
番号をｎで割った時の余りでｍ×ｎ個にグループ分け
し、更に各グループ内で画素毎の画素データを除算結果
の商の小さい順で配列してｍ×ｎ個の部分画像（サブサ
ンプリング画像）を作成するものである。

【００２１】このように、作成されたサブサンプリング
画像は、符号化装置で、部分画像毎にデータ圧縮のため
に符号化され、伝送路又は記憶媒体に出力され、そし
て、復号化装置で、部分画像毎にデータ伸長のために復
号化され、サブサンプリング画像が復元されることにな
る。

【００２２】そして、サブサンプリング画像は、サブサ
ンプリングした手順と同様の手順で本来の画素ライン番
号順又は画素番号順となるよう並び替えられて原画像が
復元（再生）されるものである。

【００２３】尚、上記第１〜３の例のサブサンプリング
画像を作成するための構成は、例えば、原画像を格納す
る第１のメモリと、サブサンプリング画像を格納する第
２のメモリと、原画像の画像データを画素ライン単位又
は画素単位に読み込んで画素ライン毎に又は画素毎に上
記演算処理を行って第２のメモリの該当個所に出力する
処理装置が必要となる。また、第３の例で、ｍ×ｎ個の
サブサンプリング画像を作成するのに、最初にｍ個のサ
ブサンプリング画像を作成し、その後に更に各ｍ個をｎ
個のサブサンプリング画像とする場合には、原画像を格
納する第１のメモリと、ｍ個のサブサンプリング画像を
格納する第２のメモリと、ｍ×ｎ個のサブサンプリング
画像を格納する第３のメモリとが必要になる。

【００２４】そして、本実施例においては、上記のサブ
サンプリング画像をＭＰＥＧ等の動画像符号化で用いら
れているフレーム間予測符号化又は動き補償付きフレー
ム予測符号化の手法によって符号化を行うものである。
また、本実施例においては、フレーム間予測符号化又は
動き補償付きフレーム予測符号化を選択的に用いて圧縮
効率を更に向上させることもできるものである。

【００２５】つまり、本来、１フレームの静止画像（原
画像）をサブサンプリングして複数のサブサンプリング
画像を作成し、その複数のサブサンプリング画像を動画
における複数のフレームと考えてフレーム間予測符号化
又は動き補償付きフレーム予測符号化を用いて符号化を
行うものである。尚、動画像におけるフレーム間予測符
号化を、本実施例では静止画像に応用しているため、動
画像のフレーム間予測符号化を本実施例では「フレーム
内部分画像予測符号化」と呼ぶことにする。

【００２６】ここで、フレーム間予測符号化とは、２フ
レーム間の対応する位置の画素間の差分を取るフレーム
間ＤＰＣＭ（Differential Pulse Code Modulation）の
予測関数を用いたものであり、ＣＣＩＲの勧告７２３等
に用いられている。また、動き補償付きフレーム予測符
号化とは、前後のフレームを比較して物体の動きを検出
し、前フレームの中の物体を動かした量だけずらしてか
ら次のフレームを予測することにより、予測誤差を減ら
して圧縮効率を高めるものである。尚、フレーム間予測
符号化と動き補償付きフレーム予測符号化については、
（株）工業調査会１９９３年９月発行堀内司朗，有村
一朗監修「画像圧縮技術のはなし」ｐ２６〜ｐ２９に具
体的に記載されている。

【００２７】また、本実施例においては、フレーム内部
分画像予測符号化又は動き補償付きフレーム予測符号化
を選択的に用いることも考えられており、その概略は、
１つ前のサブサンプリング画像を用いて画素ブロック間
で差分の総和を計算し、特定値以上であれば（差が大き
い時）、当該画素ブロックについてはフレーム内部分画
像予測符号化を選択して行い、また特定値未満であれば
（差が小さい時）、動き補償付きフレーム予測符号化を
選択して行うものである。

【００２８】特に、本実施例では、１つ前のサンプリン
グ画像における画素ブロックとの差が小さい時には、動
きがないとみなして、動き検出の動作を省略し、動きベ
クトル（０，０）として、つまり、１つ前のサンプリン
グ画像における画素ブロックと同じ画素ブロックとして
符号化せずに、符号化モードのみを出力するようになっ
ている。

【００２９】すなわち、本実施例の符号化装置で、１つ
前のサンプリング画像における画素ブロックとの差が大
きい時には、フレーム内部分画像予測符号化によって符
号化したことを示す符号化モードとその符号化データと
を出力し、１つ前のサンプリング画像における画素ブロ
ックとの差が小さい時には、動きベクトル（０，０）で
あることを示す符号化モードのみを出力するものであ
る。また、本実施例の復号化装置で、符号化モードの種
類を判別して復号化を行うものである。尚、詳細は、図
５〜図１０を使って後述する。ここで、動きベクトル
（０，０）であることを示す符号化モードのことを、
「零ベクトル予測モード」と呼ぶことにする。

【００３０】次に、本実施例の画像処理方法における具
体的な手順について、図１〜図４を使って説明する。図
１は、本発明の一実施例に係る画像処理方法におけるサ
ブサンプリング部分の概要を説明する説明図であり、図
２は、一般的な動画像符号化及び復号化の概要を説明す
る説明図であり、図３は、本実施例の画像処理方法にお
ける符号化及び復号化の概要を説明する説明図であり、
図４は、本実施例の画像処理方法におけるサブサンプリ
ング画像の合成を説明する説明図である。

【００３１】本実施例の画像処理方法では、まず図１に
示すように、画像Ａを前述のようにサブサンプリングし
て画像Ｂを作成し、更に複数のサブサンプリング画像に
分割する。図１の例では、画像Ａを４つのサブサンプリ
ング画像Ｂ11，Ｂ12，Ｂ21，Ｂ22に分割している。そし
て、本実施例の符号化及び復号化においては、図２に示
すように、時間軸ｔ上に並ぶ動画像を符号化及び復号化
する場合と同様に、図３に示すように仮想の空間軸Ｓを
設け、そこにサブサンプリング画像を並べて符号化及び
復号化を行うものである。

【００３２】また、仮想の空間軸Ｓにサブサンプリング
画像を並べる際の順番は、隣接する画素値の相関性から
考えて、サブサンプリング画像が水平方向若しくは垂直
方向に隣り合えば良く、本実施例では、図３に示すよう
に、Ｂ11，Ｂ21，Ｂ22，Ｂ12の順としている。そして、
このようにして仮想の空間軸Ｓ上に並べた複数枚のサブ
サンプリング画像を動画像のフレームとみなして動画像
符号化に適応して符号化する。

【００３３】一方、サブサンプリング画像の復号化は、
動画像の復号化を適応して復号化を行って再生されたサ
ブサンプリング画像Ｂ11′，Ｂ21′，Ｂ22′，Ｂ12′が
得られ、更に図４に示すようにサブサンプリング画像Ｂ
11′，Ｂ21′，Ｂ22′，Ｂ12′を元の順番になるように
並び替えて合成し、再生画像Ａ′を生成するものであ
る。

【００３４】次に、本実施例の画像処理方法を実現する
符号化装置について図５を使って説明する。図５は、本
実施例の画像処理方法を実現する符号化装置の構成ブロ
ック図である。尚、図５において、実線矢印は画像デー
タの流れを示し、点線矢印は制御データの流れを示して
いる。本実施例の符号化装置は、図５に示すように、モ
ード判定器１と、離散コサイン変換器（Discrete Cosin
e Transform:ＤＣＴ)２と、量子化器（Quantizer：Ｑ）
３と、可変長符号化器（Variable Length Corder:ＶＬ
Ｃ）４と、マルチプレクサ（Multiplexer:ＭＰＸ）５
と、逆量子化器（Inverse Quantizer：ＩＱ）６と、逆
離散コサイン変換器（Inverse Discrete Cosine Transf
orm:ＩＤＣＴ)７と、前画像制御器８と、加算器９と、
加算器１０とから構成されている。

【００３５】次に、本実施例の符号化装置の各部につい
て具体的に説明する。離散コサイン変換器２は、入力さ
れる画像データを離散コサイン変換するものであり、量
子化器３は、量子化テーブルを用いて量子化するもので
あり、可変長符号化器４は、符号化テーブルを用いて符
号化するものであり、いずれも一般的に知られている技
術を用いて実現するものである。

【００３６】次に、本実施例の特徴部分について説明す
る。モード判定器１は、外部から符号化装置に入力され
るサブサンプリング画像を構成するＭＣＵ（Minimum Co
ded Unit）（以降、入力ＭＣＵと記述し、請求項の入力
画素ブロックに相当する）の画像データ列と、入力ＭＣ
Ｕに関するＭＣＵ情報（以降、単にＭＣＵ情報と記述す
る）とを受け取り、ＭＣＵ情報を前画像制御器８とマル
チプレクサ５に出力し、更にＭＣＵ情報に従って符号化
モードを判定する判定処理を行い、判定結果を前画像制
御器８とマルチプレクサ５に出力すると共に、判定結果
に応じて入力ＭＣＵの画像データ列を加算器９に出力す
る制御を行うものである。

【００３７】ここで、符号化装置に入力されるサブサン
プリング画像は、１つの輝度（Ｙ）成分と２つの色差
（Ｃｒ，Ｃｂ）成分に色変換され、それぞれの成分毎に
処理される（ノンインタリーブ方式）。尚、２つの色差
についてはＪＰＥＧ方式と同様に、人間の視覚特性を利
用して間引きを行うこともできる。そして、各成分に分
割されたサブサンプリング画像の画像データを、ＪＰＥ
Ｇ方式と同様に符号化処理の基本単位であるＭＣＵに分
割して、ＭＣＵ毎にその画像データ列がモード判定器１
に入力されるようになっている。また、ＭＣＵの画像デ
ータ列が入力されるのと同期して、その入力ＭＣＵに関
するＭＣＵ情報がモード判定器１に入力される。ここ
で、ＭＣＵ情報とは、サブサンプリング画像の何枚目か
を示すサブ画像番号と、サブサンプリング画像内の何番
目のＭＣＵかを示すＭＣＵ番号とから構成されている。

【００３８】そして、モード判定器１は、入力されたＭ
ＣＵ情報を前画像制御器８とマルチプレクサ５に出力
し、入力ＭＣＵが１番目のサブサンプリング画像のＭＣ
Ｕの場合（つまり、サブ画像番号＝１の場合）は、入力
された画像データ列をそのまま加算器９に出力する。一
方、入力ＭＣＵが１番目以外のサブサンプリング画像の
ＭＣＵの場合（つまり、サブ画像番号≠１の場合）は、
ＭＣＵ情報によって前画像制御器８から出力される１つ
前のサブサンプリング画像のＭＣＵ（以降、前ＭＣＵと
記述する）の画像データ列を受け取って符号化モードの
判定処理を行う。

【００３９】ここで、本実施例において符号化モード
は、フレーム内部分画像予測符号化モードと零ベクトル
予測モードとが設けられている。フレーム内部分画像予
測符号化モードは、入力ＭＣＵに対してフレーム内部分
画像予測符号化を行うモードである。フレーム内部分画
像予測符号化とは、動画像符号化で一般的に使用されて
いるフレーム間予測符号化（フレーム間の差分を求め、
その差分を符号化する）と同様の処理手順で符号化を行
うもので、本実施例ではサブサンプリング画像をフレー
ムとみなして、サブサンプリング画像間の差分を符号化
するものである。

【００４０】一方、零ベクトル予測モードは、入力ＭＣ
Ｕに対して零ベクトル予測を行うモードである。零ベク
トル予測とは、サブサンプリング画像間において動画像
における動き補償付きフレーム予測符号化の手法を用
い、但し、動きベクトルを零（ゼロ）として動き補償を
行うものである。つまり、サブサンプリング画像は、本
来、１つの静止画像をサブサンプリングして複数のサブ
サンプリング画像を形成するものであるから、サブサン
プリング画像間の差分が小さく相関性が高い（よく似て
いる）と判断でき、前のサブサンプリング画像と全く同
一であるとみなして、即ち、動きベクトル零として動き
補償付きフレーム予測符号化の手法により処理するもの
である。

【００４１】次に、モード判定器１における符号化モー
ドの判定方法について、図６を使って説明する。図６
は、本実施例のモード判定器１における符号化モード判
定方法の説明図である。本実施例のモード判定器１にお
ける符号化モード判定方法は、例えば図６に示すように
ＭＣＵのサイズを４画素×４画素とした場合に、まず同
図の式に従って前ＭＣＵを構成する画素の画素値Ｓ′ij
と入力ＭＣＵを構成する画素の画素値Ｓijとの差分の乗
数の総和εを求める。そして、求めたεがモード判別値
ε₀ 以上の場合はフレーム内部分画像予測符号化モード
とし、求めたεがモード判別値ε₀ より小さい場合は零
ベクトル予測モードとする。

【００４２】尚、モード判別値ε₀ は、予めモード判定
器１内に設定しておく値で、ε₀ を大きい値に設定する
と、零ベクトル予測モードになる確率が大きくなり、符
号化効率は向上するが、一方、再生画像の解像度は劣化
する。また、逆にε₀ を小さい値にすると、フレーム内
部分画像予測符号化モードになる確率が大きくなり、再
生画像の解像度は向上するが、一方、符号化効率は低下
する。よって、モード判別値ε₀ は、要求される符号化
効率、及び再生画像の解像度に応じて適当な値を設定す
るものである。

【００４３】そして、本実施例のモード判定器１におけ
る符号化モードの判定処理は、外部から入力された入力
ＭＣＵの画像データ（画素値）と、前画像制御器８から
受け取った前ＭＣＵの画像データ（画素値）との差分の
乗数の総和εを求め、求めたεと予め設定されているモ
ード判別値ε₀ とを比較し、求めたεがモード判別値ε
₀ 以上の場合はフレーム内部分画像予測符号化モードと
し、求めたεがモード判別値ε₀ より小さい場合は零ベ
クトル予測モードと判定するようになっている。

【００４４】そして、モード判定器１は、入力ＭＣＵに
対してフレーム内部分画像予測符号化モードと判定した
場合は、前画像制御器８とマルチプレクサ５に符号化モ
ードとしてフレーム内部分画像予測符号化モードを出力
し、入力した画像データ列をそのまま加算器９に出力す
る。一方、モード判定器１は、入力ＭＣＵに対して零ベ
クトル予測モードと判定した場合は、前画像制御器８と
マルチプレクサ５に符号化モードとして零ベクトル予測
モードを出力し、加算器９には何も出力しない。

【００４５】加算器９は、前画像制御器８から出力され
る前画像の画像データ列をマイナス値に変換し、モード
判定器１から出力される入力ＭＣＵの画像データ列に加
算する加算器である。つまり、前画像制御器８からの出
力がない状態では、モード判定器１から出力される入力
ＭＣＵの画像データ列をそのまま離散コサイン変換器２
に出力する。一方、前画像制御器８から前ＭＣＵの画像
データ列が出力されている状態では、入力ＭＣＵから前
ＭＣＵを差し引いたＭＣＵ（差分ＭＣＵ）の画像データ
列を離散コサイン変換器２に出力することになる。

【００４６】逆量子化器６は、量子化器３と同様の量子
化テーブルを用いて逆量子化を行うもであり、逆離散コ
サイン変換器７は離散コサイン変換器２で行われる離散
コサイン変換に対する逆離散コサイン変換を行うもので
あり、その内容は量子化器３及び離散コサイン変換器２
と同様に一般的な技術を実現したものである。そして、
本実施例において量子化器３からの出力を取り込んで逆
量子化器６で逆量子化し、更に逆離散コサイン変換器７
で逆離散コサイン変換することにより、加算器９から出
力された画像データ列を復元した画像データ列を加算器
１０に出力することになる。

【００４７】加算器１０は、逆離散コサイン変換器７か
ら出力される画像データ列と、前画像制御器８から出力
される画像データ列とを加算する加算器である。つま
り、前画像制御器８からの出力がない状態では、逆離散
コサイン変換器７から出力される画像データ列をそのま
ま前画像制御器８に出力する。一方、前画像制御器８か
ら前ＭＣＵの画像データ列が出力されている状態では、
逆離散コサイン変換器７から出力される差分ＭＣＵの画
像データ列に前ＭＣＵを加算したＭＣＵの画像データ列
が前画像制御器８に出力される。

【００４８】マルチプレクサ５は、可変長符号化器４か
ら出力される符号化されたＭＣＵの符号化データ（以
降、符号化ＭＣＵと記述する）を取り込み、モード判定
器１から出力されるＭＣＵ情報及び符号化モードに従っ
てヘッダを付加して符号化データ列として出力するもの
である。尚、マルチプレクサ５から出力された符号化デ
ータ列が、符号化装置の出力となる。

【００４９】マルチプレクサ５の具体的な処理につい
て、図７，図８を使って説明する。図７は、本実施例の
マルチプレクサの処理の説明図であり、図８は、マルチ
プレクサから出力される符号化データ列の構造を示すフ
ォーマット図である。マルチプレクサ５は、モード判定
器１から出力される入力ＭＣＵに関するＭＣＵ情報を受
け取り、ＭＣＵ情報のサブ画像番号（サブサンプリング
画像が何番目であるかを示す番号）から１番目のサブサ
ンプリング画像のＭＣＵであると判断された場合は、可
変長符号化器４から受け取った符号化ＭＣＵをそのまま
符号化データ列として出力する。

【００５０】一方、ＭＣＵ情報のサブ画像番号から１番
目以外のサブサンプリング画像のＭＣＵであると判断さ
れた場合は、モード判定器１から受け取った符号化モー
ドに応じた符号化データ列を作成して出力する。具体的
には、符号化モードがフレーム内部分画像予測符号化モ
ードの場合は、可変長符号化器４から受け取った符号化
ＭＣＵの前に固定長１ビットで値”０”のヘッダを付加
した符号化データ列を作成して出力する。また、零ベク
トル予測モードの場合は、固定長１ビットで値”１”の
ヘッダのみを符号化データ列として出力するようになっ
ている。

【００５１】その結果、マルチプレクサ５からは、図８
に示すような符号化データ列が出力される。つまり、ま
ず１枚目のサブサンプリング画像については、各ＭＣＵ
の画像データ列が連続して出力され、続いて２枚目以降
は、ヘッダとＭＣＵの画像データ列が対になっているフ
レーム内部分画像予測符号化モードの符号化データ列
と、ヘッダのみの零ベクトル予測モードの符号化データ
列とが混在している。

【００５２】前画像制御器８は、その内部に１つのサブ
サンプリング画像の画像データを記憶するメモリ（内部
メモリ）を有し、入力ＭＣＵが含まれるサブサンプリン
グ画像の１つ前のサブサンプリング画像（前画像）の画
像データを記憶し、ＭＣＵ単位で随時更新されていくよ
うになっている。そして、前画像制御器８は、モード判
定器１から出力される入力ＭＣＵに関するＭＣＵ情報と
符号化モードを受け取り、内部メモリに記憶している前
画像においてＭＣＵ情報に対応するＭＣＵ（以降、前Ｍ
ＣＵと記述する）の画像データ列をモード判定器１、加
算器９、加算器１０に出力する制御を行い、更に加算器
１０から出力される画像データを内部メモリに格納する
ものである。

【００５３】具体的には、前画像制御器８は、モード判
定器１から受け取るＭＣＵ情報のサブ画像番号＝１、つ
まり入力ＭＣＵが１番目のサブサンプリング画像のＭＣ
Ｕの場合は、モード判定器１及び加算器９及び加算器１
０への出力は行わず、加算器１０から出力される画像デ
ータを取り込んで、内部メモリに格納する。尚、メモリ
への格納は、モード判定器１から受け取ったＭＣＵ情報
内のＭＣＵ番号に対応する位置へ格納することにより、
画像データが更新されるようになっている。

【００５４】また、前画像制御器８は、モード判定器１
から受け取るＭＣＵ情報のサブ画像番号≠１、つまり入
力ＭＣＵが１番目以外のサブサンプリング画像のＭＣＵ
の場合は、ＭＣＵ情報のＭＣＵ番号に対応する前画面の
ＭＣＵ（前ＭＣＵ）の画像データを内部メモリから読み
出してモード判定器１に出力する。そして、その後モー
ド判定器１から受け取った符号化モードが、フレーム内
部分画像予測符号化モードの場合は、ＭＣＵ番号で指定
された前ＭＣＵの画像データを内部メモリから読み出し
て加算器９及び加算器１０に出力する。そして、加算器
１０から出力される画像データを取り込んで、内部メモ
リのＭＣＵ番号に対応する位置に格納して更新する。

【００５５】また、モード判定器１から受け取った符号
化モードが、零ベクトル予測モードの場合は、加算器９
及び加算器１０への出力は行わず、且つ加算器１０から
の出力もないので、内部メモリへの格納も行わず、内部
メモリ内の画像データは更新されない。

【００５６】次に、本実施例の符号化装置の動作につい
て、図５を使って説明する。本実施例の符号化装置は、
モード判定器１が外部から入力される入力ＭＣＵのＭＣ
Ｕ情報を受け取り、受け取ったＭＣＵ情報を前画像制御
器８とマルチプレクサ５に出力する。以降、入力ＭＣＵ
が何番目のサブサンプリング画像のＭＣＵであるかによ
って動作が異なってくるので、１番目のサブサンプリン
グ画像のＭＣＵの場合と、１番目以外のサブサンプリン
グ画像のＭＣＵの場合とに分けて説明する。

【００５７】まず第１のケースとして、１番目のサブサ
ンプリング画像のＭＣＵが外部から入力された場合の動
作について説明する。モード判定器１は、ＭＣＵ情報内
のサブ画像番号＝１（つまり、入力ＭＣＵが１番目のサ
ブサンプリング画像のＭＣＵ）の場合は、外部から入力
される入力ＭＣＵの画像データ列を加算器９に出力す
る。そして、前画像制御器８は、モード判定器１から受
け取ったＭＣＵ情報のサブ画像番号が１であるから、モ
ード判定器１及び加算器９に前画面の画像データ列の出
力は行わない。

【００５８】その結果、加算器９は、前画像制御器８か
らの出力がないので、モード判定器１から出力された入
力ＭＣＵの画像データ列をそのまま離散コサイン変換器
２に出力し、離散コサイン変換器２が離散コサイン変換
し、量子化器３が量子化し、可変長符号化器４が可変長
符号化した符号化ＭＣＵをマルチプレクサ５に出力す
る。そして、マルチプレクサ５は、モード判定器１から
受け取ったＭＣＵ情報のサブ画像番号が１であるから、
可変長符号化器４から受け取った符号化ＭＣＵをそのま
ま符号化データ列として出力し、これが符号化装置の出
力となる。

【００５９】一方、量子化器３からの出力は、逆量子化
器６にも分配され、逆量子化器６が逆量子化し、更に逆
離散コサイン変換器７が逆離散コサイン変換して画像デ
ータ列に復元し、加算器１０に出力する。そして、加算
器１０では、前画像制御器８からの出力がないので、逆
離散コサイン変換器７から受け取った画像データ列をそ
のまま前画像制御器８に出力し、前画像制御器８は受け
取った画像データ列を内部メモリのＭＣＵ番号に対応す
る位置に格納する。

【００６０】以上のような動作を繰り返して、符号化装
置からは１番目のサブサンプリング画像の全てのＭＣＵ
について符号化された符号化データ列が出力され、ま
た、全てのＭＣＵについて符号化が完了した時点で、前
画像制御器８の内部メモリ内には、１番目のサブサンプ
リング画像の画像データが記憶されていることになる。

【００６１】次に、別のケースとして、１番目以外のサ
ブサンプリング画像のＭＣＵが外部から入力された場合
の動作について説明する。前画像制御器８は、モード判
定器１から受け取ったＭＣＵ情報のサブ画像番号サブ画
像番号≠１（つまり、入力ＭＣＵが１番目以外のサブサ
ンプリング画像のＭＣＵ）であるから、モード判定器１
から受け取ったＭＣＵ番号に対応する前ＭＣＵの画像デ
ータを内部メモリから読み出して、モード判定器１に出
力する。

【００６２】そして、モード判定器１は、入力ＭＣＵの
画像データと前画像制御器８から受け取った前ＭＣＵの
画像データとから符号化モードの判定処理を行い、符号
化モードの判定結果を前画像制御器８及びマルチプレク
サ５に出力する。以降、符号化モードの判定結果によっ
て動作が異なってくるので、判定結果がフレーム内部分
画像予測符号化モードであった場合と、零ベクトル予測
モードであった場合とに分けて説明する。

【００６３】まず、符号化モードの判定結果がフレーム
内部分画像予測符号化モードであった場合の動作につい
て説明する。モード判定器１は、判定結果がフレーム内
部分画像予測符号化モードであった場合、外部から入力
した入力ＭＣＵの画像データ列を加算器９に出力する。
一方、前画像制御器８は、モード判定器１から受け取っ
た符号化モードがフレーム内部分画像予測符号化モード
であった場合は、モード判定器１から受け取ったＭＣＵ
番号に対応する前ＭＣＵの画像データを内部メモリから
読み出して、加算器９及び加算器１０に出力する。その
結果、加算器９は、モード判定器１から受け取った入力
ＭＣＵの画像データ列と、前画像制御器８から出力され
る前ＭＣＵの画像データ列のマイナス値とを加算して離
散コサイン変換器２に出力する。つまり、入力ＭＣＵか
ら前ＭＣＵを差し引いた差分ＭＣＵの画像データ列を離
散コサイン変換器２に出力することになる。

【００６４】そして、離散コサイン変換器２が差分ＭＣ
Ｕの画像データ列を離散コサイン変換し、量子化器３が
量子化し、可変長符号化器４が可変長符号化して符号化
ＭＣＵをマルチプレクサ５に出力する。そして、マルチ
プレクサ５は、モード判定器１から受け取った符号化モ
ードがフレーム内部分画像予測符号化モードであるか
ら、可変長符号化器４から受け取った差分ＭＣＵを符号
化した符号化ＭＣＵの前にフレーム内部分画像予測符号
化モードを示すヘッダ（値”０”）を付加して符号化デ
ータ列として出力する。

【００６５】一方、量子化器３からの出力は、逆量子化
器６にも分配され、逆量子化器６が逆量子化し、更に逆
離散コサイン変換器７が逆離散コサイン変換して差分Ｍ
ＣＵの画像データ列に復元し、加算器１０に出力する。
そして、加算器１０では、前画像制御器８から受け取っ
た前ＭＣＵの画像データ列と、逆離散コサイン変換器７
から受け取った差分ＭＣＵの画像データとを加算した画
像データを前画像制御器８に出力し、前画像制御器８は
受け取った画像データ列を内部メモリのＭＣＵ番号に対
応する位置に格納して更新する。

【００６６】以上のような動作によって、１番目以外の
サブサンプリング画像のＭＣＵでフレーム内部分画像予
測符号化モードと判定されたＭＣＵについては、符号化
装置からヘッダと差分ＭＣＵの符号化データからなる符
号化データ列が出力され、前画像制御器８の内部メモリ
内では、前画像データに差分が加算されて更新されるこ
とになる。

【００６７】次に、符号化モードの判定結果が零ベクト
ル予測モードであった場合の動作について説明する。モ
ード判定器１は、判定結果が零ベクトル予測モードであ
った場合、加算器９には何も出力しない。一方、前画像
制御器８も、モード判定器１から受け取った符号化モー
ドが零ベクトル予測モードであった場合は、加算器９及
び加算器１０に何も出力しない。その結果、加算器９か
らも何も出力されず、よって、離散コサイン変換器２，
量子化器３，可変長符号化器４，逆量子化器６，逆離散
コサイン変換器７は、動作しない。

【００６８】そして、マルチプレクサ５は、モード判定
器１から受け取った符号化モードが零ベクトル予測モー
ドであるから、零ベクトル予測モードを示すヘッダ
（値”１”）のみを符号化データ列として出力する。

【００６９】以上のような動作によって、１番目以外の
サブサンプリング画像のＭＣＵで零ベクトル予測モード
と判定されたＭＣＵについては、符号化装置からはヘッ
ダのみが出力され、前画像制御器８の内部メモリ内で
は、画像データが更新されないことになる。

【００７０】次に、本実施例の画像処理方法を実現する
復号化装置について図９を使って説明する。図９は、本
実施例の画像処理方法を実現する復号化装置の構成ブロ
ック図である。本実施例の復号化装置は、図９に示すよ
うに、デマルチプレクサ（Demultiplexer:ＤＭＰＸ）１
１と、可変長復号化器（Variable Length Decorder:Ｖ
ＬＤ）１２と、逆量子化器（Inverse Quantizer：Ｉ
Ｑ）１３と、逆離散コサイン変換器（Inverse Discrete
Cosine Transform:ＩＤＣＴ)１４と、前画像制御器１
５と、加算器１６とから構成されている。

【００７１】次に、本実施例の復号化装置の各部につい
て具体的に説明する。可変長復号化器１２は、符号化装
置の可変長符号化器４と同様の符号化テーブルを用いて
復号化するものであり、逆量子化器１３は、符号化装置
の量子化器３と同様の量子化テーブルを用いて逆量子化
するものであり、逆離散コサイン変換器１４は、符号化
装置の離散コサイン変換器２の逆離散コサイン変換を行
うのであり、いずれも一般的に知られている技術を用い
て実現するものである。

【００７２】次に、本実施例の特徴部分について説明す
る。デマルチプレクサ１１は、外部から入力される符号
化データ列（図８）を受け取り、符号化データ列をＭＣ
Ｕ単位に分割し、ＭＣＵ毎にＭＣＵ情報と符号化モード
を判定して、判定結果に応じて符号化ＭＣＵの符号化デ
ータを処理するものである。

【００７３】ここで、デマルチプレクサ１１の処理につ
いて、図１０を使って具体的に説明する。図１０は、本
実施例の復号化装置のデマルチプレクサ１１の処理の説
明図である。デマルチプレクサ１１は、外部から入力さ
れる符号化データ列（ヘッダ＋符号化ＭＣＵ）を受け取
り、符号化データ列をＭＣＵ単位に分割し、分割された
データからＭＣＵ情報（サブ画像番号とＭＣＵ番号）を
判定して作成し、作成したＭＣＵ情報を前画像制御器１
５に出力する。ここで、ＭＣＵ情報の判定、作成方法と
しては、ヘッダが付加されていないＭＣＵが１枚目のサ
ブサンプリング画像のＭＣＵであるので、サブ画像番号
＝１とし、以降はカウンタ等を設けてサブサンプリング
画像の番号をカウントし、サブ画像番号を作成する。
尚、サブ画像番号は、１枚目のサブサンプリング画像で
あるか否かの判断に使用されるものであるから、２枚目
以降は全て同一の値（但し１以外）でも良い。また、Ｍ
ＣＵ番号は、分割されたＭＣＵ単位のデータ内のＭＣＵ
の符号化データ内に含まれる情報から判定できるもので
ある。

【００７４】そして、１枚目のサブサンプリング画像の
符号化ＭＣＵであると判断された場合は、符号化ＭＣＵ
を可変長復号化器１２に出力する。一方、１枚目以外の
サブサンプリング画像のＭＣＵであると判断された場合
は、ヘッダの値からそのＭＣＵの符号化モードを判定
し、判定結果を前画像制御器１５に出力する。ここで、
符号化モードの判定は、符号化装置のマルチプレクサ５
における処理に対応し、図７に示したように、ヘッダの
値が”０”であればフレーム内部分画像予測符号化モー
ドであり、ヘッダの値が”１”であれば零ベクトル予測
モードであると判定される。尚、フレーム内部分画像予
測符号化モードである場合は、そのヘッダに続く符号化
ＭＣＵは、差分ＭＣＵを符号化した符号化データであ
る。

【００７５】そして、デマルチプレクサ１１は、フレー
ム内部分画像予測符号化モードと判定した場合は、符号
化ＭＣＵを可変長復号化器１２に出力し、逆に、零ベク
トル予測モードと判定された場合は、可変長復号化器１
２に何も出力しないようになっている。

【００７６】前画像制御器１５は、その内部に１つのサ
ブサンプリング画像の画像データを記憶するメモリ（内
部メモリ）を有し、デマルチプレクサ１１で分離された
ＭＣＵが含まれるサブサンプリング画像の１つ前のサブ
サンプリング画像（前画像）の画像データを記憶し、Ｍ
ＣＵ単位で随時更新されていくようになっている。そし
て、前画像制御器１５は、デマルチプレクサ１１から出
力されるＭＣＵ情報と符号化モードを受け取り、内部メ
モリに記憶している前画像においてＭＣＵ情報に対応す
るＭＣＵ（以降、前ＭＣＵと記述する）の画像データ列
を加算器１６に出力する制御を行い、更に加算器１６か
ら出力される画像データを取り込んで内部メモリに格納
するものである。

【００７７】具体的には、前画像制御器１５は、デマル
チプレクサ１１から受け取るＭＣＵ情報のサブ画像番号
＝１、つまりＭＣＵが１番目のサブサンプリング画像の
ＭＣＵの場合は、加算器１６への出力は行わず、加算器
１６から出力される画像データを取り込んで、内部メモ
リに格納する。尚、メモリへの格納は、デマルチプレク
サ１１から受け取ったＭＣＵ情報内のＭＣＵ番号に対応
する位置へ格納することにより、画像データが更新され
るようになっている。

【００７８】また、前画像制御器１５は、デマルチプレ
クサ１１から受け取るＭＣＵ情報のサブ画像番号≠１、
つまりＭＣＵが１番目以外のサブサンプリング画像のＭ
ＣＵの場合は、ＭＣＵ番号で指定された前ＭＣＵの画像
データを内部メモリから読み出して加算器１６に出力
し、加算器１６から出力される画像データを取り込ん
で、内部メモリのＭＣＵ番号に対応する位置に取り込ん
だ画像データを格納して更新する。

【００７９】尚、本実施例の前画像制御器１５では、Ｍ
ＣＵが１番目以外のサブサンプリング画像のＭＣＵの場
合は、符号化モードに関係なく加算器１６から出力され
る画像データを取り込んで内部メモリに格納するように
しているので、デマルチプレクサ１１から符号化モード
を出力しなくても構わない。但し、符号化モードが零ベ
クトル予測モードの場合は、前画像制御器１５の内部メ
モリに記憶している画像データと、加算器１６から取り
込んだ画像データとが同一であるから、取り込む意味が
ないので、符号化モードに応じて加算器１６からの出力
を取り込むか否かを制御するようにしてもよい。その場
合は、デマルチプレクサ１１から前画像制御器１５に符
号化モードを出力し、そのモードに応じた制御を行うよ
うになる。

【００８０】加算器１６は、逆離散コサイン変換器１４
から出力される画像データ列と、前画像制御器１５から
出力される画像データ列とを加算する加算器である。つ
まり、ＭＣＵが１番目のサブサンプリング画像のＭＣＵ
の場合は、前画像制御器１５からの出力がないので、逆
離散コサイン変換器１４から出力される復号化された画
像データ列をそのまま出力する。一方、ＭＣＵが１番目
以外のサブサンプリング画像のＭＣＵで、符号化モード
がフレーム内部分画像予測符号化モードの場合は、逆離
散コサイン変換器１４から出力される復号化された画像
データと、前画像制御器１５から出力される前画像の画
像データとを加算した画像データ列を出力する。また、
ＭＣＵが１番目以外のサブサンプリング画像のＭＣＵ
で、符号化モードが零ベクトル予測モードの場合は、逆
離散コサイン変換器１４からの出力がないので、前画像
制御器１５からの出力される前画像の画像データをその
まま出力することになる。

【００８１】次に、本実施例の復号化装置の動作につい
て、図９を使って説明する。本実施例の復号化装置は、
デマルチプレクサ１１が外部から入力される符号化デー
タ列（ヘッダ＋符号化ＭＣＵ）を受け取り、ＭＣＵ単位
に分割し、ＭＣＵ情報を作成し、作成したＭＣＵ情報を
前画像制御器１５に出力する。以降、ＭＣＵが何番目の
サブサンプリング画像のＭＣＵであるかによって動作が
異なってくるので、１番目のサブサンプリング画像のＭ
ＣＵの場合と、１番目以外のサブサンプリング画像のＭ
ＣＵの場合とに分けて説明する。

【００８２】まず第１のケースとして、１番目のサブサ
ンプリング画像のＭＣＵの場合の動作について説明す
る。デマルチプレクサ１１は、符号化ＭＣＵを可変長復
号化器１２に出力し、可変長復号化器１２が可変長復号
化し、逆量子化器１３が逆量子化し、更に逆離散コサイ
ン変換器１４が逆離散コサイン変換して復号化した画像
データを加算器１６に出力する。この時、前画像制御器
１５は、加算器１６への出力は行わないので、加算器１
６は、逆離散コサイン変換器１４から受け取った復号化
した画像データをそのまま出力し、これが復号化装置の
出力となる。そして、前画像制御器１５は、加算器１６
から出力された画像データを取り込み、内部メモリに格
納する。

【００８３】以上のような動作を繰り返して、符号化装
置からは１番目のサブサンプリング画像の全てのＭＣＵ
について復号化された画像データ列が出力され、また、
全てのＭＣＵについて復号化が完了した時点で、前画像
制御器１５の内部メモリ内には、１番目のサブサンプリ
ング画像の画像データが記憶されていることになる。

【００８４】次に、別のケースとして、１番目以外のサ
ブサンプリング画像のＭＣＵの場合の動作について説明
する。デマルチプレクサ１１は、ヘッダの値からそのＭ
ＣＵの符号化モードを判定し、判定結果を前画像制御器
１５に出力する。以降、符号化モードの判定結果によっ
て動作が異なってくるので、判定結果がフレーム内部分
画像予測符号化モードであった場合と、零ベクトル予測
モードであった場合とに分けて説明する。

【００８５】まず、符号化モードの判定結果がフレーム
内部分画像予測符号化モードであった場合の動作につい
て説明する。尚、この場合、符号化ＭＣＵは、符号化装
置において差分ＭＣＵを符号化した符号化データであ
る。デマルチプレクサ１１は、符号化ＭＣＵを可変長復
号化器１２に出力し、可変長復号化器１２、逆量子化器
１３、逆離散コサイン変換器１４を経由して復号化した
画像データを加算器１６に出力する。また、前画像制御
器１５は、デマルチプレクサ１１から受け取ったＭＣＵ
番号に対応する前ＭＣＵの画像データを内部メモリから
読み出して、加算器１６に出力する。その結果、加算器
１６は、前画像制御器１５から出力される前画像の画像
データに、逆離散コサイン変換器１４から出力される復
号化された画像データ（差分ＭＣＵ）を加算した画像デ
ータ列を出力し、これが復号化装置の出力となる。そし
て、前画像制御器１５は、加算器１６から出力された画
像データを取り込み、内部メモリに格納する。

【００８６】次に、符号化モードの判定結果が零ベクト
ル予測モードであった場合の動作について説明する。デ
マルチプレクサ１１は、可変長復号化器１２に何も出力
せず、よって、可変長復号化器１２、逆量子化器１３、
逆離散コサイン変換器１４は動作せず、逆離散コサイン
変換器１４からの出力はない。また、前画像制御器１５
は、デマルチプレクサ１１から受け取ったＭＣＵ番号に
対応する前ＭＣＵの画像データを内部メモリから読み出
して、加算器１６に出力し、加算器１６は、前画像制御
器１５から出力される前画像の画像データ列をそのまま
出力し、これが復号化装置の出力となる。そして、前画
像制御器１５は、加算器１６から出力された画像データ
を取り込み、内部メモリに格納する。

【００８７】本実施例の画像処理方法及び画像処理装置
によれば、原画像をサブサンプリングして分割した小さ
いサブサンプリング画像を動画像のフレームとみなし
て、動画像の符号化技術を応用して符号化し、また復号
化したサブサンプリング画像をサブサンプリングの逆の
方法で合成して画像を再生するので、空間的相関性が高
く、且つ画像データ量の少ない画像で符号化及び復号化
することになり、空間的相関性を充分利用して圧縮効率
を向上させることができる効果がある。

【００８８】また、動画像の符号化技術を応用して符号
化及び復号化するので、既存の動画像符号化用のＬＳＩ
を使用することができ、安価な構成で実現できる効果が
ある。また、サブサンプリング画像間は空間的相関性が
高いので、動画像の符号化技術における動き検出は簡略
化することができ、簡単な構成で実現することができる
効果がある。

【００８９】また、本実施例の画像処理方法及び画像処
理装置によれば、ＭＣＵ単位で前のサブサンプリング画
像との相関性を判別し、相関性が高い場合は前画像と同
一とみなして、同一であることを示すデータだけ符号化
データとし、相関性が低い場合は、前画像との差分を符
号化するものなので、圧縮効率を向上させることができ
る効果がある。

【００９０】更に、本実施例の画像処理方法及び画像処
理装置を使用すれば、符号化データ量が減少するので、
符号化データを伝送する場合に伝送時間が短縮され、伝
送誤りを低下させることができる効果がある。

【００９１】

【発明の効果】請求項１，２，３，４記載の発明によれ
ば、静止画像の画素の画素番号を整数で割った余りと商
でグループ分けするサブサンプリングを行い、前記グル
ープに分けられた部分画像を１フレームのサブサンプリ
ング画像とし、フレーム間予測符号化方法又は動き補償
付きフレーム予測符号化方法で符号化し、また、当該フ
レームのサブサンプリング画像の画素ブロックが１つ前
のフレームのサブサンプリング画像の画素ブロックとの
差分を算出し、その差分値が特定値より大きい場合にフ
レーム間予測符号化方法で符号化し、特定値より小さい
場合に動きベクトル零とした動き補償付きフレーム予測
符号化方法で符号化して画素ブロックが採用した符号化
方法を示す符号化モードを出力し、その符号化モードで
復号化する画像処理方法としているので、サブサンプリ
ング画像が隣接する画素を複数フレームに分けて形成さ
れたものであるから、サブサンプリング画像を上記方法
で符号化することで隣接画素間の相関性を利用して圧縮
効率を向上させることができる効果がある。

【００９２】請求項５，６記載の発明によれば、符号化
装置のモード判定手段で、入力画素ブロックと前画像の
対応画素ブロックとの差分値が特定値以上の場合は、フ
レーム間予測符号化モードとし、入力画素ブロックと前
画像の対応画素ブロックとの差分値が特定値未満の場合
は、動きベクトル零とした動き補償付きフレーム予測符
号化モードとし、符号化装置の前画像制御手段で、フレ
ーム間予測符号化モードの時に対応画素ブロックが差分
手段に出力され、マルチプレクサで、上記いずれかのモ
ードと符号化データが出力され、復号化装置のデマルチ
プレクサで符号化された画素ブロックのフレーム番号と
画素ブロック番号の情報が復号化装置の前画像制御手段
に出力され、前画像制御手段で、情報が第２番目以降の
フレームを示す時には対応画素ブロックを加算手段に出
力し、加算結果をメモリに記憶する画像処理装置として
いるので、サブサンプリング画像が隣接する画素を複数
フレームに分けて形成されたものであるから、サブサン
プリング画像を上記方法で符号化することで隣接画素間
の相関性を利用して圧縮効率を向上させることができる
効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例に係る画像処理方法における
サブサンプリング部分の概要を説明する説明図である。

【図２】一般的な動画像符号化及び復号化の概要を説明
する説明図である。

【図３】本実施例の画像処理方法における符号化及び復
号化の概要を説明する説明図である。

【図４】本実施例の画像処理方法におけるサブサンプリ
ング画像の合成を説明する説明図である。

【図５】本実施例の画像処理方法を実現する符号化装置
の構成ブロック図である。

【図６】本実施例のモード判定器における符号化モード
判定方法の説明図である。

【図７】本実施例のマルチプレクサの処理の説明図であ
る。

【図８】マルチプレクサから出力される符号化データ列
の構造を示すフォーマット図である。

【図９】本実施例の画像処理方法を実現する復号化装置
の構成ブロック図である。

【図１０】本実施例の復号化装置のデマルチプレクサの
処理の説明図である。

【図１１】ＪＰＥＧ方式の符号化／復号化を説明するた
めの概略構成ブロック図である。

【図１２】画素の相関性を説明する説明図である。

【符号の説明】

１…モード判定器、２…離散コサイン変換器、３…
量子化器、４…可変長符号化器、５…マルチプレク
サ、６，１３…逆量子化器、７，１４…逆離散コサ
イン変換器、８，１５…前画像制御器、９，１０，
１６…加算器、１１…デマルチプレクサ、１２…可変
長復号化器

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成７年８月３１日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図１１

【補正方法】変更

【補正内容】

【図１１】

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】図１２

【補正方法】変更

【補正内容】

【図１２】

Claims

【特許請求の範囲】

【請求項１】静止画像を符号化し、符号化されたデー
タを復号化して静止画像を再生する画像処理方法におい
て、前記静止画像の画素の画素番号を整数で割った余り
と商でグループ分けするサブサンプリングを行い、前記
グループに分けられた部分画像を１フレームのサブサン
プリング画像としてフレーム間予測符号化方法で符号化
し、復号化したサブサンプリング画像を合成して画素順
に並び替えて静止画像を再生することを特徴とする画像
処理方法。
【請求項２】静止画像を符号化し、符号化されたデー
タを復号化して静止画像を再生する画像処理方法におい
て、前記静止画像の画素の画素番号を整数で割った余り
と商でグループ分けするサブサンプリングを行い、前記
グループに分けられた部分画像を１フレームのサブサン
プリング画像として動き補償付きフレーム予測符号化方
法で符号化し、復号化したサブサンプリング画像を合成
して画素順に並び替えて静止画像を再生することを特徴
とする画像処理方法。
【請求項３】静止画像を符号化する画像処理方法にお
いて、前記静止画像の画素の画素番号を整数で割った余
りと商でグループ分けするサブサンプリングを行い、前
記グループに分けられた部分画像を１フレームのサブサ
ンプリング画像とし、当該フレームのサブサンプリング
画像の画素ブロックが１つ前のフレームのサブサンプリ
ング画像の画素ブロックとの差分を算出し、算出された
差分値が特定値より大きい場合にフレーム間予測符号化
方法で符号化し、特定値より小さい場合に動きベクトル
零とした動き補償付きフレーム予測符号化方法で符号化
し、前記画素ブロックが採用した符号化方法を示す符号
化モードを出力することを特徴とする画像処理方法。
【請求項４】請求項３の画像処理方法で出力される符
号化モードを判別し、前記符号化モードが示す符号化方
法に従って画素ブロックを復号化することを特徴とする
画像処理方法。
【請求項５】画像データを離散コサイン変換する変換
手段と、前記離散コサイン変換されたデータを量子化す
る量子化手段と、前記量子化されたデータを可変長符号
化する符号化手段と、前記量子化されたデータを逆量子
化する逆量子化手段と、前記逆量子化されたデータを逆
離散コサイン変換する逆変換手段と、１つ前のフレーム
の画像を記憶するメモリを有し、入力画素ブロックに対
応して１つ前のサブサンプリング画像の対応画素ブロッ
クを出力する前画像制御手段と、入力画素ブロックの画
像データと前記前画像制御手段から出力される１つ前の
画像の対応画素ブロックの画像データとの差分を取る差
分手段と、前記逆変換手段からの出力に前記メモリ内の
対応画素データを加算する加算手段とを具備する符号化
装置を有する画像処理装置であって、静止画像の画素の
画素番号を整数で割った余りと商でグループ分けするサ
ブサンプリングを行って前記グループに分けられた部分
画像を１フレームのサブサンプリング画像として画素ブ
ロック毎に画像データが入力されると共に当該画素ブロ
ックのフレーム番号と画素ブロック番号の情報が与えら
れ、前記情報が第１番目のフレームを示す時には入力画
素ブロックの画像データを差分手段を介して前記変換手
段に出力し、前記情報が第２番目以降のフレームを示す
時には対応画素ブロックを前記前画像制御手段から受け
取って差分を算出し、その差分値が特定値以上の場合に
フレーム間予測符号化方法を示す符号化モードを出力
し、特定値未満の場合に動きベクトル零とした動き補償
付きフレーム予測符号化方法を示す符号化モードを出力
し、更に前記符号化モードがフレーム間予測符号化方法
を示す時のみ入力画像データを前記差分手段に出力する
モード判定手段と、前記符号化モードがフレーム間予測
符号化方法を示す時にその符号化モードと符号化された
データとを出力し、前記符号化モードが動きベクトル零
とした動き補償付きフレーム予測符号化方法を示す時に
その符号化モードを出力するマルチプレクサとを備え、
前記前画像制御手段が、前記情報が第１番目のフレーム
を示す時に対応画素ブロックを前記モード判定手段と前
記差分手段とに出力せず、前記情報が第２番目以降のフ
レームを示す時に対応画素ブロックを前記モード判定手
段に出力し、前記モード判定手段から出力される符号化
モードがフレーム間予測符号化方法を示す場合のみ対応
画素ブロックを前記差分手段に出力する前画像制御手段
であることを特徴とする画像処理装置。
【請求項６】入力される符号化データを可変長復号化
する復号化手段と、前記復号化手段から出力されるデー
タを逆量子化する逆量子化手段と、前記逆量子化手段か
ら出力されるデータを逆離散コサイン変換する逆変換手
段と、１つ前のフレームの画像データを記憶するメモリ
を備え、前記逆変換手段で逆変換された画素ブロックに
対応して１つ前の画像の対応画素ブロックを出力する前
画像制御手段と、前記逆変換された画素ブロックの画像
データと前記前画像制御手段から出力される１つ前の画
像の対応画素ブロックの画像データとの和を取る加算手
段とを具備する復号化装置を有する画像処理装置であっ
て、請求項５記載の画像処理装置から出力される符号化
モードと符号化データを分離して出力し、更に符号化さ
れた画素ブロックのフレーム番号と画素ブロック番号の
情報を出力するデマルチプレクサを備え、前記前画像制
御手段が、前記デマルチプレクサから出力される前記情
報を読み取り、前記情報が第２番目以降のフレームを示
す時には対応画素ブロックを前記加算手段に出力し、更
に前記加算手段からの出力を前記メモリに記憶する前画
像制御手段であることを特徴とする画像処理装置。