JPH09331529A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来、非可逆方式の画像処理では圧縮率を上
げると再生画像が著しく劣化するとの問題点があり、本
発明は、高圧縮においても実用的な画質の画像を得るこ
とができる画像処理方法及び画像処理装置を提供する。 【解決手段】 原画像の１フレームの画像データを縮小
器３で縮小し、ブロック単位で符号化部１で圧縮符号化
し、そのデータを通信路又は蓄積メディアに出力し、復
号化部２で通信路又は蓄積メディアからデータを入力し
てブロック単位に伸長復号化し、拡大器４で画像データ
を１フレーム分に拡大して再生画像を出力する画像処理
方法及び画像処理装置である。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、画像圧縮・伸長を
行う画像処理方法及び画像処理装置に係り、特に圧縮率
を向上させ、また、高圧縮率においても実用的な画像を
得ることができる画像処理方法及び画像処理装置に関す
る。

【０００２】

【従来の技術】画像通信及び画像蓄積の際に用いられる
画像データ符号化・復号化方法には、完全な原画像を復
号できる「可逆方式」と、符号化の際に原画像の情報の
一部を削減し、復号化の際に劣化を伴う「非可逆方式」
とがある。

【０００３】本発明は、後者の「非可逆方式」に関する
ものであり、従来の「非可逆方式」の画像処理方法とし
ては、静止画を圧縮・伸長するものとしてＪＰＥＧ（Jo
intPhotographic coding Experts Group:ISO/IEC ITU-T
T.81又はISO/IEC IS 10918-1）方式、また、動画像を
圧縮・伸長するものとしてＨ．２６１（ITU-T H.26
1）、ＭＰＥＧ１（Moving Picture Experts Group１：I
SO/IEC IS 11172-1）、ＭＰＥＧ２（ISO/IEC IS 13818-
1）等がある。

【０００４】そこで、従来の画像処理方法の一例である
ＪＰＥＧ方式の画像処理装置について図２９を使って説
明する。図２９は、従来の画像処理装置の構成ブロック
図である。従来の画像処理装置は、図２９に示すよう
に、原画像を圧縮符号化する部分である符号化部１と、
伝送又は蓄積された圧縮符号化データを伸長復号化する
部分である復号化部２とから構成されている。

【０００５】そして、符号化部１は、ＤＣＴ（Discrete
Cosine Transform）演算を行う離散コサイン変換器１
１と、量子化を行う量子化器１２と、エントロピー符号
化を行うハフマン符号化器１３とから構成され、復号化
部２は、エントロピー復号化を行うハフマン復号化器２
１と、逆量子化を行う逆量子化器２２と、逆離散コサイ
ン演算（逆ＤＣＴ演算）を行う逆離散コサイン変換器２
３とから構成されている。

【０００６】次に、従来の画像処理装置における画像処
理方法について図２９を使って説明する。従来の画像処
理装置における符号化方法は、原画像を例えば８×８画
素のブロックに分割した画像データが入力されると、離
散コサイン変換器１１において離散コサイン変換し、得
られたＤＣＴ係数を量子化器１２によって量子化して有
効係数の数を削減し、更にハフマン符号化器１３によっ
てエントロピー符号化して、圧縮符号化データ（符号化
データ）を通信路または蓄積メディアに出力する。

【０００７】また、従来の画像処理装置の復号化方法
は、通信路または蓄積メディアから圧縮符号化データが
入力されると、ハフマン復号化器２１によってエントロ
ピー復号化し、逆量子化器２２によって逆量子化し、逆
離散コサイン変換器２３によって逆離散コサイン変換し
て、伸長復号した画像データを出力するようになってい
た。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来の非可逆方式による画像処理方法では、１フレームに
対する原画像データの実用圧縮率が１／４０程度であ
り、それ以上圧縮率を上げると、再生画像の劣化が著し
いという問題があった。

【０００９】本発明は上記実情に鑑みて為されたもの
で、高圧縮においても実用的な画質の画面を得ることが
できる画像処理方法及び画像処理装置及びその制御方法
を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記従来例の問題点を解
決するための請求項１記載の発明は、画像処理方法にお
いて、原画像の１フレームの画像データを縮小して縮小
画像データを作成し、前記縮小画像データをブロック単
位に分割して圧縮符号化することを特徴としており、圧
縮効率を高めることができ、高圧縮においても実用的な
画質の画像を得ることができる。

【００１１】上記従来例の問題点を解決するための請求
項２記載の発明は、画像処理方法において、請求項１記
載の画像処理方法で圧縮符号化された画像データを伸長
復号化して縮小画像データを作成し、前記縮小画像デー
タを拡大して原画像の１フレームを得ることを特徴とし
ており、圧縮効率を高めることができ、高圧縮において
も実用的な画質の画像を得ることができる。

【００１２】上記従来例の問題点を解決するための請求
項３記載の発明は、画像処理装置において、原画像の１
フレームの画像データを縮小して縮小画像データを作成
する画像縮小手段と、前記縮小画像データをブロック単
位に分割して圧縮符号化する圧縮符号化手段とを有する
ことを特徴としており、圧縮効率を高めることができ、
高圧縮においても実用的な画質の画像を得ることができ
る。

【００１３】上記従来例の問題点を解決するための請求
項４記載の発明は、画像処理装置において、請求項３記
載の画像処理装置で圧縮符号化された画像データを伸長
復号化する伸長復号化手段と、前記伸長復号化された画
像データを縮小画像データとして拡大して原画像の１フ
レームを得る画像拡大手段とを有することを特徴として
おり、圧縮効率を高めることができ、高圧縮においても
実用的な画質の画像を得ることができる。

【００１４】上記従来例の問題点を解決するための請求
項５記載の発明は、画像処理装置において、圧縮符号化
された画像データを通信路に出力する請求項３記載の画
像処理装置と、前記通信路から前記画像データを入力す
る請求項４記載の画像処理装置とを有することを特徴と
しており、圧縮効率を高めて伝送することができ、高圧
縮においても実用的な画質の画像を得ることができる。

【００１５】上記従来例の問題点を解決するための請求
項６記載の発明は、画像処理装置において、圧縮符号化
された画像データを蓄積メディアに出力する請求項３記
載の画像処理装置と、前記蓄積メディアから前記画像デ
ータを入力する請求項４記載の画像処理装置とを有する
ことを特徴としており、圧縮効率を高めて蓄積すること
ができ、高圧縮においても実用的な画質の画像を得るこ
とができる。

【００１６】上記従来例の問題点を解決するための請求
項７記載の発明は、請求項１記載の画像処理方法におい
て、画像データを縮小するのに離散コサイン変換法、最
近接内挿法、共一次内挿法、３次畳み込み内挿法又はア
ダマール変換法を用いたことを特徴としており、圧縮効
率を高めることができ、高圧縮においても実用的な画質
の画像を得ることができる。

【００１７】上記従来例の問題点を解決するための請求
項８記載の発明は、請求項２記載の画像処理方法におい
て、縮小画像データを拡大するのに逆離散コサイン変換
法、最近接内挿法、共一次内挿法、３次畳み込み内挿法
又はアダマール変換法を用いたことを特徴としており、
圧縮効率を高めることができ、高圧縮においても実用的
な画質の画像を得ることができる。

【００１８】上記従来例の問題点を解決するための請求
項９記載の発明は、請求項３記載の画像処理装置におい
て、画像縮小手段で画像データを縮小するのに離散コサ
イン変換法、最近接内挿法、共一次内挿法、３次畳み込
み内挿法又はアダマール変換法を用いたことを特徴とし
ており、圧縮効率を高めることができ、高圧縮において
も実用的な画質の画像を得ることができる。

【００１９】上記従来例の問題点を解決するための請求
項１０記載の発明は、請求項４記載の画像処理装置にお
いて、画像拡大手段で縮小画像データを拡大するのに逆
離散コサイン変換法、最近接内挿法、共一次内挿法、３
次畳み込み内挿法又はアダマール変換法を用いたことを
特徴としており、圧縮効率を高めることができ、高圧縮
においても実用的な画質の画像を得ることができる。

【００２０】上記従来例の問題点を解決するための請求
項１１記載の発明は、請求項１記載の画像処理方法にお
いて、縮小画像データを圧縮符号化するのにＪＰＥＧ方
式、Ｈ．２６１方式、ＭＰＥＧ１方式、ＭＰＥＧ２方式
又はベクトル量子化方式を用いたことを特徴としてお
り、圧縮効率を高めることができ、高圧縮においても実
用的な画質の画像を得ることができる。

【００２１】上記従来例の問題点を解決するための請求
項１２記載の発明は、請求項２記載の画像処理方法にお
いて、画像データを伸長復号化するのにＪＰＥＧ方式、
Ｈ．２６１方式、ＭＰＥＧ１方式、ＭＰＥＧ２方式又は
ベクトル量子化方式を用いたことを特徴としており、圧
縮効率を高めることができ、高圧縮においても実用的な
画質の画像を得ることができる。

【００２２】上記従来例の問題点を解決するための請求
項１３記載の発明は、請求項３記載の画像処理装置にお
いて、圧縮符号化手段で縮小画像データを圧縮符号化す
るのにＪＰＥＧ方式、Ｈ．２６１方式、ＭＰＥＧ１方
式、ＭＰＥＧ２方式又はベクトル量子化方式を用いたこ
とを特徴としており、圧縮効率を高めることができ、高
圧縮においても実用的な画質の画像を得ることができ
る。

【００２３】上記従来例の問題点を解決するための請求
項１４記載の発明は、請求項４記載の画像処理装置にお
いて、伸長復号化手段で画像データを伸長復号化するの
にＪＰＥＧ方式、Ｈ．２６１方式、ＭＰＥＧ１方式、Ｍ
ＰＥＧ２方式又はベクトル量子化方式を用いたことを特
徴としており、圧縮効率を高めることができ、高圧縮に
おいても実用的な画質の画像を得ることができる。

【００２４】

【発明の実施の形態】本発明の実施の形態を図面を参照
しながら説明する。本発明の実施の形態に係る画像処理
方法は、原画像を縮小して縮小画像データを作成し、そ
の縮小画像データを圧縮符号化して伝送又は蓄積し、そ
して、伝送又は蓄積された圧縮符号化データを伸長復号
化して縮小画像データを作成し、その縮小画像データを
拡大して原画像を再生するものであり、縮小・拡大方法
として、ＤＣＴ／ＩＤＣＴ方式、最近接内挿法、共一次
内挿法、３次畳み込み内挿法、アダマール変換法を用
い、符号化・復号化方法として、ＪＰＥＧ、Ｈ．２６
１、ＭＰＥＧ１、ＭＰＥＧ２、ベクトル量子化を用い
て、原画像を高品質で効率的に圧縮・伸長できるもので
ある。尚、本発明の実施の形態に係る画像処理装置は、
上記画像処理方法を実現するための装置である。

【００２５】まず、本発明の実施の形態に係る画像処理
方法を実現する画像処理装置について図１を使って説明
する。図１は、本発明の実施の形態に係る画像処理装置
の基本構成ブロック図である。尚、図２９と同様の構成
をとる部分については同一の符号を付して説明する。

【００２６】本発明の実施の形態に係る画像処理装置
（本装置）は、図１に示すように、従来と同様の画像デ
ータを圧縮符号化する符号化部１と、伝送又は蓄積され
た圧縮符号化データを伸長復号化する復号化部２とから
構成され、更に本発明の特徴部分として、原画像の画像
データ（原画像データ）を縮小する縮小器３と、復号化
された画像データを拡大する拡大器４とが設けられてい
る。

【００２７】本装置の縮小器３は、原画像の画像データ
を入力し、入力した画像データを縮小して縮小画像を作
成し、縮小画像の画像データをブロック単位で符号化部
１に出力するものである。本装置の縮小器３における縮
小方法としては、離散コサイン変換（ＤＣＴ）を用いる
方法と、各種内挿法を用いる方法と、アダマール変換を
用いる方法とがあり、各方法の詳細については後述す
る。

【００２８】符号化部１は、縮小器３からブロック単位
で出力される縮小画像の画像データについて、従来と同
様の圧縮符号化を行い、符号化データを出力するもので
ある。また、復号化部２は、伝送又は蓄積された縮小画
像の符号化データについて、従来と同様に符号化部１に
おける符号化に対応して伸長復号化し、縮小画像の画像
データを出力するものである。

【００２９】本装置の符号化部１及び復号化部２におけ
る符号化・復号化方法としては、ＪＰＥＧ，Ｈ．２６
１，ＭＰＥＧ１，ＭＰＥＧ２等の方法があり、各方法の
詳細については後述する。

【００３０】拡大器４は、復号化部２によって伸長復号
化された縮小画像を拡大して、原画像と同じサイズの再
生画像をの画像データを出力するものである。尚、具体
的な拡大方法については後述する。

【００３１】本発明の画像処理装置の動作は、原画像の
画像データが入力されると、縮小器３で縮小されて縮小
画像が作成され、縮小画像の画像データがブロック単位
で符号化部１に入力され、符号化部１で圧縮符号化され
た符号化データが通信路又は蓄積メディアに出力され
る。

【００３２】そして、伝送又は蓄積された縮小画像の符
号化データが、復号化部２で伸長復号化されて、ブロッ
ク単位の画像データが拡大器４に出力され、拡大器４で
縮小画像の画像データが拡大されて、原画像と同じ大き
さの画像が再生され、再生画像の画像データが出力され
るようになっている。

【００３３】次に、本装置における縮小・拡大方法及び
その方法の実現手段について、具体的に説明する。ま
ず、縮小・拡大方法の１つである離散コサイン変換を用
いた方法について、図２を用いて説明する。図２は、本
発明における離散コサイン変換を用いた画像縮小・拡大
方法の概略を示す説明図である。本実施例の画像処理装
置では、画像縮小及び拡大を離散コサイン変換（Discre
te Cosine Transform ：ＤＣＴ）を用いて行う。

【００３４】まず、画像をＰ／Ｎ（Ｐ＜Ｎ）倍に縮小す
る場合は、原画像をＮ×Ｎ画素のブロックに分割し、離
散コサイン変換して得られたＤＣＴ係数（Ｎ×Ｎ）につ
いて、高周波成分を捨てて、Ｐ×ＰのＤＣ成分及び低周
波のＡＣ成分だけで逆離散コサイン変換（Inverse Disc
rete Cosine Transform ：ＩＤＣＴ）を行ってＰ×Ｐ画
素の画像を得、最後に各画素値をＰ／Ｎ倍して輝度調整
を行うことにより、Ｐ／Ｎ倍の縮小画像を得るようにな
っている。

【００３５】例えば、図２に示すように、Ｐ＝５，Ｎ＝
８で画像を５／８倍に縮小する場合は、８×８画素のブ
ロックをＤＣＴ変換して得られた８×８のＤＣＴ係数に
ついて、図２（ａ）に示す点線で囲んだ部分（係数を記
号ｘで示す）の高周波成分を捨てて、５×５のＤＣ成分
及び低周波のＡＣ成分だけでＩＤＣＴ変換（図中では単
に「逆変換」としている）を行って５×５画素の画像を
得、更に各画素値を５／８倍して輝度調整を行うことに
よって、５／８倍の縮小画像を得ることができる。

【００３６】また、画像をＰ／Ｎ（Ｐ＞Ｎ）倍に拡大す
る場合は、原画像をＮ×Ｎ画素のブロックに分割し、離
散コサイン変換して得られたＤＣＴ係数（Ｎ×Ｎ）につ
いて、高周波成分部分に０（ゼロ）値を挿入してＰ×Ｐ
のＤＣＴ係数を作成し、そのＰ×ＰのＤＣＴ係数で逆離
散コサイン変換を行ってＰ×Ｐ画素の画像を得、最後に
各画素値をＰ／Ｎ倍して輝度を上げる輝度調整を行うこ
とにより、Ｐ／Ｎ倍の拡大画像を得るようになってい
る。

【００３７】例えば、図２に示すように、Ｐ＝１０，Ｎ
＝８で画像を１０／８倍に拡大する場合は、８×８画素
をＤＣＴ変換して得られた８×８のＤＣＴ係数につい
て、図２（ｂ）に示す点線で囲んだ高周波成分部分（係
数を記号ｏで示す）に０（ゼロ）値を挿入して１０×１
０のＤＣＴ係数で逆離散コサイン変換（図中では単に
「逆変換」としている）を行って１０×１０画素の画像
を得、更に各画素値を１０／８倍して輝度調整を行うこ
とによって、１０／８倍の拡大画像を得ることができ
る。

【００３８】また、より大きな拡大・縮小は、上記の操
作を何回か繰り返すことによって実現することができる
ものである。

【００３９】次に、離散コサイン変換を用いた縮小・拡
大方法を実現する装置の構成について、図３、図４を用
いて説明する。図３は、本発明における離散コサイン変
換を用いた縮小器３の構成を示すブロック図であり、Ｐ
／Ｎ倍に画像を縮小する場合を示している。また図４
は、本発明における離散コサイン変換を用いた拡大器４
の構成を示すブロック図であり、Ｐ／Ｎ倍に画像を拡大
する場合を示している。

【００４０】本発明における離散コサイン変換を用いた
縮小器３は、図３に示すように、Ｎ×Ｎ画素単位で画像
データを入力し、離散コサイン変換してＮ×ＮのＤＣＴ
係数を出力するＮ×Ｎ点ＤＣＴ器３１と、Ｎ×ＮのＤＣ
Ｔ係数から、Ｐ×ＰのＤＣ成分及び低周波のＡＣ成分だ
けを通過させるＰ×Ｐ点通過フィルタ３２と、Ｐ×Ｐの
ＤＣＴ係数を逆離散コサイン変換して、Ｐ×Ｐ画素の画
像データを出力するＰ×Ｐ点ＩＤＣＴ器３３と、各画素
値をＰ／Ｎ倍して輝度調整を行ってＰ×Ｐ画素の画像デ
ータを出力するＰ／Ｎ輝度調整器３４と、各処理の過程
で一時的に使用するワークメモリ３５とから構成されて
いる。

【００４１】また、本発明における離散コサイン変換を
用いた拡大器４は、図４に示すように、Ｎ×Ｎ画素単位
で画像データを入力し、離散コサイン変換してＮ×Ｎの
ＤＣＴ係数を出力するＮ×Ｎ点ＤＣＴ器４１と、Ｎ×Ｎ
のＤＣＴ係数の高周波成分に０値を挿入してＰ×ＰのＤ
ＣＴ係数を出力する（Ｐ×Ｐ−Ｎ×Ｎ）点０値挿入フィ
ルタ４２と、Ｐ×ＰのＤＣＴ係数を逆離散コサイン変換
して、Ｐ×Ｐ画素の画像データを出力するＰ×Ｐ点ＩＤ
ＣＴ器４３と、各画素値をＰ／Ｎ倍して輝度調整を行っ
てＰ×Ｐ画素の画像データを出力するＰ／Ｎ輝度調整器
４４と、各処理の過程で一時的に使用するワークメモリ
４５とから構成されている。

【００４２】次に、離散コサイン変換を用いた縮小器３
と拡大器４における動作について、図５、図６を用いて
説明する。図５は、本発明における離散コサイン変換を
用いた縮小器３の動作を示すフローチャート図であり、
Ｐ／Ｎ倍に画像を縮小する場合を示している。また図６
は、本発明における離散コサイン変換を用いた拡大器４
の動作を示すフローチャート図であり、Ｐ／Ｎ倍に画像
を拡大する場合を示している。

【００４３】本発明における離散コサイン変換を用いた
縮小器３の動作は、図５に示すように、原画像の画像デ
ータをブロック単位で走査し（Ｓ１０１）、Ｎ×Ｎ画素
の画像データを入力し（Ｓ１０２）、Ｎ×Ｎ点ＤＣＴ器
３１の動作としてＮ×Ｎ点のＤＣＴ変換が行われ（Ｓ１
０３）、Ｐ×Ｐ点通過フィルタ３２の動作としてＰ×Ｐ
のＤＣ成分及び低周波のＡＣ成分だけが取り出され（Ｓ
１０４）、Ｐ×Ｐ点ＩＤＣＴ器３３の動作としてＰ×Ｐ
点のＩＤＣＴ変換が為され（Ｓ１０５）、Ｐ／Ｎ輝度調
整器３４の動作として輝度調整される（Ｓ１０６）。

【００４４】そして、全てのブロックについて縮小処理
が終了したか判断し（Ｓ１０７）、終了していない場合
（Ｎｏ）は、次のブロックに切り替えて（Ｓ１０９）、
処理Ｓ１０１から処理Ｓ１０７を繰り返し、全てのブロ
ックについて縮小の処理が終了した場合（Ｙｅｓ）は、
Ｐ／Ｎ倍の縮小画像が得られる（Ｓ１０８）ことにな
る。

【００４５】一方、本発明における離散コサイン変換を
用いた拡大器４の動作は、図６に示すように、縮小画像
の画像データがブロック単位で走査されて（Ｓ２０
１）、Ｎ×Ｎ画素の画像データが入力され（Ｓ２０
２）、Ｎ×Ｎ点ＤＣＴ器４１の動作としてＮ×Ｎ点のＤ
ＣＴ変換が行われ（Ｓ２０３）、（Ｐ×Ｐ−Ｎ×Ｎ）点
０値挿入フィルタ４２の動作として高周波成分に０値を
挿入してＰ×ＰのＤＣＴ係数が作成され（Ｓ２０４）、
Ｐ×Ｐ点ＩＤＣＴ器４３の動作としてＰ×Ｐ点のＩＤＣ
Ｔ変換が為され（Ｓ２０５）、Ｐ／Ｎ輝度調整器４４の
動作として輝度調整される（Ｓ２０６）。

【００４６】そして、全てのブロックについて拡大処理
が終了したか判断し（Ｓ２０７）、終了していない場合
（Ｎｏ）は、次のブロックに切り替えて（Ｓ２０９）、
処理Ｓ２０１から処理Ｓ２０７を繰り返し、全てのブロ
ックについて処理が終了した場合（Ｙｅｓ）は、Ｐ／Ｎ
倍の拡大画像が得られる（Ｓ２０８）ことになる。

【００４７】次に、内挿法を用いた拡大・縮小方法につ
いて説明する。内挿法を用いて拡大・縮小を行うには、
縮小を行うときには、内挿法によってピクセルを間引き
し、拡大を行う際には、縮小時に間引いたピクセルの値
を内挿によって求めて拡大を行うようにすればよいもの
である。

【００４８】ここで内挿法としては、最近接内挿法と、
共一次内挿法と、３次畳み込み内挿法とが考えられる。
以下、それぞれを順に図７〜図１１を用いて説明する。
図７は、最近接内挿法における内挿の方法を表す説明図
であり、図８は、共一次内挿法における内挿の方法を表
す説明図であり、図９は、３次畳み込み内挿法の内挿の
方法を表す説明図であり、図１０は、内挿法を用いる縮
小器３及び拡大器４の構成ブロック図であり、図１１
は、内挿法を用いた拡大・縮小方法を表すフローチャー
ト図である。

【００４９】まず、最近接内挿法について図７を用いて
説明する。最近接内挿法は、内挿すべき座標(u,v) のピ
クセルの値P(u,v)として最も近接した参照点（図面では
「観測点」と称している）におけるピクセルの値とする
ことで、内挿を行うものである。すなわち、次の［数
１］によって、P(u,v)を決定することとしている。

【００５０】

【数１】

【００５１】ここで、「[]」は、ガウス記号であり、そ
れに囲まれた値を超えない最大の整数を計算することを
表している。

【００５２】また、共一次内挿法について図８を用いて
説明する。共一次内挿法は、内挿すべき座標(u,v) のピ
クセルの値P(u,v)として次の［数２］によって計算され
る値とし、内挿を行うものである。

【００５３】

【数２】

【００５４】さらに、３次畳み込み内挿法について図９
を用いて説明する。３次畳み込み内挿法は、内挿すべき
座標(u,v) のピクセルの値P(u,v)として次の［数２］に
よって計算される値とし、内挿を行うものである。

【００５５】

【数３】

【００５６】ここで、これらの内挿法を用いた縮小器３
及び拡大器４を実現する装置について図１０を用いて説
明する。図１０に示す縮小器３及び拡大器４は、画素数
計算器５１と、水平方向カウンタ５２と、第１の計算器
（式（２）の計算器）５３と、垂直方向カウンタ５４
と、第２の計算器（式（３）の計算器）５５と、第３の
計算器（式（１）の計算器）５６とから構成されてい
る。

【００５７】画素数計算器５１は、縮小器３では、縮小
率（Ｍ／Ｎ）の入力を受けて、当該縮小率にて縮小した
後の画素数（例えば、Ｍ）を計算して出力し、拡大器４
では、拡大率（Ｎ／Ｍ）の入力を受けて、当該拡大率に
て拡大した後の画素数（Ｎ）を計算して出力するもので
ある。すなわち画素数計算器５１は、水平方向の画素数
と垂直方向の画素数とを水平方向カウンタ５２と垂直方
向カウンタ５４とにそれぞれ出力するようになってい
る。

【００５８】水平方向カウンタ５２は、画素数計算器５
１から水平方向の画素数の入力を受けて、水平方向（u
方向）の値を「１」から当該画素数（ここでは「Ｍ」と
している）までカウントして出力するものである。すな
わち水平方向カウンタ５２は、一定の時間おきに出力す
る値をインクリメントしている。

【００５９】また、水平方向カウンタ５２は、「Ｍ」ま
でのカウントを終了すると、次にインクリメントすべき
タイミングで、出力する値を「１」としてリセットし、
さらにそこからインクリメントを再開するようにしてい
る。

【００６０】第１の計算器５３は、水平方向カウンタ５
２から、内挿すべきピクセルのu 座標の値の入力を受け
て、［数１］〜［数３］に示すそれぞれの内挿法におけ
る（２）式を用いて参照点となるべきピクセルのu 座標
である、i を算出し、その値を第３の計算器５６に出力
するものである。

【００６１】垂直方向カウンタ５４は、画素数計算器５
１から垂直方向の画素数の入力を受けて、垂直方向（v
方向）の値を「１」から当該画素数（ここでは「Ｍ」と
している）までカウントして出力するものである。すな
わち垂直方向カウンタ５４は、一定の時間おきに出力す
る値をインクリメントしている。

【００６２】また、垂直方向カウンタ５４は、カウント
を終了すると、次にインクリメントするタイミングで、
出力する垂直方向の値を「１」としてリセットし、さら
にそこからインクリメントを再開するようになってい
る。

【００６３】第２の計算器５５は、垂直方向カウンタ５
４から、内挿すべきピクセルのv 座標の値の入力を受け
て、［数１］〜［数３］に示すそれぞれの内挿法におけ
る（３）式を用いて参照点となるべきピクセルのv 座標
である、j を算出し、その値を第３の計算器５６に出力
するものである。

【００６４】第３の計算器５６は、第１の計算器５３と
第２の計算器５５とから参照点のピクセルの座標の入力
を受け、また原画像データの入力を受けて、［数１］〜
［数３］に示すそれぞれの内挿法における（１）式を用
いて内挿を行って、水平方向カウンタ５２と、垂直方向
カウンタ５４とが出力する座標(u,v) におけるピクセル
の内挿された値を縮小器３にあっては、縮小された画像
データとして、また、拡大器４にあっては、拡大された
画像データとして出力するものである。

【００６５】尚、縮小・拡大後のすべてのピクセルにお
ける値を算出するために、水平方向カウンタ５２が出力
する値をインクリメントするタイミングと、垂直方向カ
ウンタ５４が出力する値をインクリメントするタイミン
グとは、例えば、垂直方向カウンタ５４が「１」から
「Ｍ」（画素数計算器５１から入力される垂直方向の画
素数）までカウントを終了し、次に、インクリメントす
べきタイミングで「１」にリセットするとき、初めて水
平方向カウンタ５２がインクリメントを行うというよう
になっていなくてはならない。

【００６６】このタイミングを実現するために、縮小器
３及び拡大器４は、制御部（図示せず）を備えることと
してもよい。かかる制御部は、水平方向カウンタ５２
と、垂直方向カウンタ５４と、第１の計算器５３と、第
２の計算器５５と、第３の計算器５６との出力を監視し
て、水平方向カウンタ５２と、垂直方向カウンタ５４と
のインクリメントのタイミングを制御するものである。

【００６７】次に、図１０に示す縮小器３及び拡大器４
の動作について図１１を用いて説明する。特に、ここで
は、縮小器３における動作について、縮小前の画素数を
Ｎ×Ｎと、縮小後の画素数をＭ×Ｍとして説明すること
とする。画素数計算器５１が縮小率の入力を受けて、画
素数を計算し（Ｓ３０１）、水平方向カウンタ５２と、
垂直方向カウンタ５４とに出力する。

【００６８】すると、水平方向カウンタ５２が自己のカ
ウントする値（ｋ）をリセットして「１」とし（Ｓ３０
２）、第１の計算器５３に出力する。そして、第１の計
算器５３が［数１］〜［数３］に示すそれぞれの内挿法
における（２）式を用いて参照点の座標の一成分i を求
める（Ｓ３０３）。

【００６９】一方、垂直方向カウンタ５４もまた、自己
のカウントする値（ｌ）をリセットして「１」とし（Ｓ
３０４）、第２の計算器５５にその値を出力する。そし
て、第２の計算器５５が［数１］〜［数３］に示すそれ
ぞれの内挿法における（３）式を用いて参照点の座標の
一成分j を求める（Ｓ３０５）。尚、図１１では、水平
方向カウンタ５２がカウントする値をk と、垂直方向カ
ウンタ５４がカウントする値をl と表しているので、以
下これらの記号を用いて説明する。

【００７０】そして、第３の計算器５６が処理Ｓ３０３
及び処理Ｓ３０５にて求められた参照点の座標(i,j) を
［数１］〜［数３］に示すそれぞれの内挿法における
（１）式に代入し、さらに原画像データから必要な参照
点におけるピクセルの値を抽出し（Ｓ３０６）、それら
から、内挿した値P(k,l) を求め（Ｓ３０７）、縮小さ
れた画像データとして出力する。

【００７１】そして、垂直方向カウンタ５４がl をイン
クリメントし（Ｓ３０８）、l が縮小後の垂直方向のピ
クセル数「Ｍ」より大であるか否かを判断する（Ｓ３０
９）。ここで、l がＭよりも大でなければ（Ｎｏであれ
ば）、処理Ｓ３０５に戻って、次のピクセルにおける値
P(k,l)を求める。

【００７２】また、処理Ｓ３０９において、l がＭより
も大であれば（Ｙｅｓであれば）、水平方向カウンタ５
２がk をインクリメントし（Ｓ３１０）、k が縮小後の
水平方向のピクセル数「Ｍ」より大であるか否かを判断
する（Ｓ３１１）。ここで、k がＭよりも大でなければ
（Ｎｏであれば）、処理Ｓ３０３に戻る。また、処理Ｓ
３１１において、k がＭよりも大であれば（Ｙｅｓであ
れば）、処理を終了する。

【００７３】次に、アダマール変換を用いて画像を拡大
・縮小する方法について図１２及び図１３を用いて説明
する。図１２は、アダマール変換を利用した画像を縮小
する方法を表す説明図であり、図１３は、アダマール変
換を利用した画像を拡大する方法を表す説明図である。

【００７４】まず、アダマール変換の原理について説明
する。アダマール変換は、ＤＣＴにおける余弦関数に代
えてウオルシュ（walsh ）関数と称される矩形波関数の
組を基底として用いて画像の成分分解を行うものであ
る。ウオルシュ関数は、「１」と「−１」とのどちらか
の値の状態をとる関数であり、それらの状態が入れ替わ
る数（つまり「０」の点を交差する数、以下「シーケン
シー」と称する）によって順序が付けられている。

【００７５】すなわち、シーケンシーの低い（「０」の
点を交差する数が小さい）ものが低周波成分に相当し、
シーケンシーの高いものが高周波成分に相当するように
なる。具体的に数式を用いて説明すると、２次のウオル
シュ関数では、シーケンシーの最も低いものから順に
（１，１）、つまり「０」の点を交差する数が０のもの
と、（１，−１）、つまり「０」の点を交差する数が１
のものの２つが存在する。

【００７６】ここで、これらを（−１，−１）と、（−
１，１）としても一般性は失われないが、以下の説明で
は、最初の成分が正であるものを採用することにしてい
る。

【００７７】さらに、４次のウオルシュ関数では、シー
ケンシーの最も低いものから順に、（１，１，１，
１）、（１，１，−１，−１）、（１，−１−１，
１）、（１，−１，１，−１）となる。これらを列に並
べた行列を「アダマール行列」と称する。すなわち、２
次のアダマール行列は、次の［数４］のようになる。

【００７８】

【数４】

【００７９】また、４次のアダマール行列は、２次のア
ダマール行列を用いて次の［数５］のように記述できる
ことが知られている。

【００８０】

【数５】

【００８１】さらに高次のアダマール行列も同様にして
再帰的に定義することができる。以下でＮ次のアダマー
ル行列をＨ_N と称することとする。最小次のアダマール
行列は、２次である。このようにして構成されたアダマ
ール行列は、その逆行列が自己の転置行列に一致する、
すなわちＨ_N ^-1 ＝Ｈ_N ^tが成立する直交行列であることが
知られており、さらに、アダマール行列Ｈ_N は、Ｈ_N ＝
Ｈ_N ^tとなることが知られているので、次の［数６］が成
立する。

【００８２】

【数６】

【００８３】従って、アダマール行列によって変換され
た信号を逆変換により元の信号とするには、再度、同じ
アダマール行列によって変換を行えばよい。尚、ここで
説明したアダマール変換は、各種あるもののうち、ナチ
ュラル型と称されるものであるが、その他の種類のアダ
マール変換を用いても、ここでの説明は一般性を失うも
のではない。

【００８４】次に、アダマール変換によって画像を縮小
する方法について、図１２を用いて説明する。まず、Ｎ
×Ｎ画素の画素ブロックにＮ次のアダマール行列を積算
してアダマール変換を行う。図１２では、この画素ブロ
ックは、８×８としているので、積算されるアダマール
行列はＨ₈ である。以下、変換された信号をアダマール
係数と称する。

【００８５】アダマール係数が求められると、その係数
のうち、低周波成分に相当するものを取り出し、高周波
数成分に相当する係数を捨てて、新たな画素ブロックを
生成する。例えば２×２の画素ブロックへ縮小する場合
には、８次のアダマール変換に係るアダマール行列Ｈ₈
の各列ベクトルをなすウオルシュ関数のうち、シーケン
シーの最も低いものは、第１列目であり、次に低いもの
は第５列目に相当し、第５列目において、「０」の点を
交差するのは、第４行目と第５行目との間であるので、
アダマール係数の第１行第１列目と、第５行第１列目
と、第１行第５列目と、第５行第５列目とを低周波成分
に相当するものとして取り出す。

【００８６】こうして、２×２の画素ブロックが新たに
生成される。そして、この２×２の画素ブロックについ
て、さらに２次のアダマール変換を行い（すなわち逆変
換して）、縮小された原画像を得る。ここで、縮小され
た原画像は、輝度が高くなることが知られているので、
縮小後の画素数である「２」を縮小前の画素数である
「８」で割算した１／４を各画素の値に掛けて輝度調整
を行っている。

【００８７】また、アダマール変換を用いて画像を拡大
する方法について、例えば２×２の画素ブロックを８×
８の画素ブロックに拡大する方法について、図１３を用
いて説明する。入力された画素ブロックに対して、その
大きさに対応する２次のアダマール行列を掛け、２×２
のアダマール変換係数を得る。

【００８８】この係数の第１行第１列目を拡大後の画素
ブロックである８×８の行列の低周波成分に相当する第
１行第１列目に、第２行第１列目を第５行第１列目に、
第１行第２列目を第１行第５列目に、第２行第２列目を
第５行第５列目に代入し、その他の高周波成分に相当す
る要素について、「０」を代入する。

【００８９】このようにして８×８のアダマール変換係
数を得た後、８次のアダマール変換を行い、さらに各画
素を８／２＝４倍して輝度を調整すれば、８×８画素の
拡大された画像が得られることになる。

【００９０】次に、本装置の符号化部１及び復号化部２
における符号化・復号化方法及びその方法の実現手段に
ついて、具体的に説明する。まず、符号化・復号化方法
の１つであるＪＰＥＧを用いたＪＰＥＧ方式について、
図１４，図１５を用いて説明する。図１４は、本発明の
画像処理装置におけるＪＰＥＧ方式の符号化部１内の構
成を示すブロック図であり、図１５は、本発明の画像処
理装置におけるＪＰＥＧ方式の復号化部２内の構成を示
すブロック図である。

【００９１】カラー静止画像の圧縮で知られるＪＰＥＧ
（Joint Photographic coding Experts Group ）方式で
符号化を実現する符号化部１は、図１４に示すように、
画像データを符号化ブロック（例えば、８×８画素）単
位で離散コサイン変換（Discrete Cosine Transform:Ｄ
ＣＴ）してＤＣＴ係数を求めるＤＣＴ器６１と、ＤＣＴ
係数についてＤＣ成分、ＡＣ成分の量子化を行う量子化
器６３と、量子化に用いる量子化テーブル６２と、量子
化したＤＣＴ係数のうち、ＤＣ成分を直前のブロックの
ＤＣ成分を予測値として差分を求める差分器６４と、Ａ
Ｃ係数をブロック内で並び変えを行うジグザクスキャン
器６５と、ＤＣ成分、ＡＣ成分についてエントロピー符
号化を行い８×８画素の符号化データを出力するハフマ
ン符号化器６６と、ＤＣ成分の符号化に用いるＤＣハフ
マンテーブル６７と、ＡＣ成分の符号化に用いるＡＣハ
フマンテーブル６８とから構成されている。

【００９２】一方、ＪＰＥＧ方式で復号化を実現する復
号化部２は、図１５に示すように、８×８画素の符号化
データを入力してエントロピー復号化を行うハフマン復
号化器７１と、ＤＣ成分の復号化に用いるＤＣハフマン
テーブル７２と、ＡＣ成分の復号化に用いるハフマンテ
ーブル７３と、復号されたＤＣ成分を加算する加算器７
４と、復号されたＡＣ成分を逆ジグザグスキャンする逆
ジグザグスキャン器７５と、逆量子化を行う逆量子化器
７７と、逆量子化に用いる量子化テーブル７６と、逆離
散コサイン演算（逆ＤＣＴ演算）を行って８×８画素の
画像データを出力する逆離散コサイン変換器７８とから
構成されている。

【００９３】次に、ＪＰＥＧ方式を用いた場合の本装置
の動作について、図１、図１６、図１７を用いて説明す
る。図１６は、ＪＰＥＧ方式を用いた場合の本装置の符
号化部分の動作の流れを示すフローチャート図であり、
図１７は、ＪＰＥＧ方式を用いた場合の本装置の復号化
部分の動作の流れを示すフローチャート図である。

【００９４】ＪＰＥＧ方式の符号化部分の処理動作は、
図１６に示すように、原画像の画像データを入力し（Ｓ
４０１）、縮小器３の動作で縮小画像を作成し（Ｓ４０
２）、縮小画像について例えば８×８画素のブロック単
位で走査して画像データを入力し（Ｓ４０３）、ＤＣＴ
器６１の動作としてＤＣＴ変換し（Ｓ４０４）、得られ
たＤＣＴ係数を量子化器６３によって量子化して有効係
数の数を削減し（Ｓ４０５）、更にハフマン符号化器６
６によってハフマン符号化して、圧縮符号化データ（符
号化データ）を通信路または蓄積メディアに出力し（Ｓ
４０７）、全てのブロックについて符号化処理が終了し
たか判断し（Ｓ４０８）、終了した場合（Ｙｅｓ）は符
号化処理を終了し、全てのブロックについて処理が終了
していない場合（Ｎｏ）は、次にブロックに切り替えて
（Ｓ４０９）、処理Ｓ４０３から処理Ｓ４０８を繰り返
す。

【００９５】また、ＪＰＥＧ方式の復号化部分の処理動
作は、図１７に示すように、通信路または蓄積メディア
から１画面分の符号化データを入力し（Ｓ５０１）、ブ
ロック単位で符号化データを入力し（Ｓ５０２）、ハフ
マン復号化器７１によってハフマン復号化し（Ｓ５０
３）、逆量子化器７７によって逆量子化し（Ｓ５０
４）、ＩＤＣＴ器７８によって逆ＤＣＴ変換して（Ｓ５
０５）、伸長復号した画像データを出力し（Ｓ５０
６）、全てのブロックについて復号化処理が終了したか
判断し（Ｓ５０７）、全てのブロックについて処理が終
了していない場合（Ｎｏ）は、次にブロックに切り替え
て（Ｓ５０９）、処理Ｓ５０３から処理Ｓ５０７を繰り
返す。

【００９６】一方、処理Ｓ５０７において、全てのブロ
ックについて処理が終了した場合（Ｙｅｓ）は、拡大器
４の動作として拡大画像を作成し（Ｓ５０８）、復号化
処理を終了するようになっている。

【００９７】尚、ＪＰＥＧ方式については、「最新ＭＰ
ＥＧ教科書」マルチメディア通信研究会編 （株）アス
キー発行 ｐ５３〜ｐ６７に詳細に記述されている。

【００９８】次に、符号化・復号化方法の別の方法であ
るＨ．２６１を用いたＨ．２６１方式について、図１
８，図１９を用いて説明する。図１８は、本発明の画像
処理装置におけるＨ．２６１方式の符号化部１内の構成
を示すブロック図であり、図１９は、本発明の画像処理
装置におけるＨ．２６１方式の復号化部２内の構成を示
すブロック図である。

【００９９】動画像の圧縮についてＩＴＵ−Ｔ(Interna
tional Telecommunication Union-Telecommunication S
tandardization Sector,国際電気通信連合−電気通信標
準化部門）で標準化した技術として知られるＨ．２６１
方式は、１画面の原画像を１２個のＧＯＢ（Group Of B
lock）という単位に分割し、更に１つのＧＯＢは複数
（具体的には３３個）の基本単位（ＭＣＵ：Minimun Co
de Unit:１６画素×１６画素）で構成され、このＭＣＵ
はマクロブロック（ＭＢ：MacroBlock）とも呼ばれる。
そして、ＭＢは４つのブロック（１つのブロックは８×
８画素）の輝度情報及び色差情報で構成され、画像を階
層構造で考える。

【０１００】そして、ブロック単位でＤＣＴ変換及び量
子化を行い、ＭＢ単位で動き補償フレーム間予測を行っ
て可変長符号化し、ＧＯＢ単位で情報源符号化の同期が
とれるようにＧＯＢの通し番号や量子化特性等を盛り込
むようになっている。また、マクロブロック単位の予測
符号化では、フレーム間予測符号化又はフレーム内符号
化が選択して制御できるようになっており、多くの場合
フレーム間予測符号化が用いられるが、動画像における
最初のフレーム及び急に場面が変わった場合等、フレー
ム間の相関が低い場合には、フレーム内符号化が選択さ
れるようになっている。

【０１０１】Ｈ．２６１方式の符号化を用いた符号化部
１の構成は、図１８に示すように、入力される画像の画
像データと、予測メモリ８８内の予測信号の差分を求め
る差分器８２と、入力された画像データ或いは差分器８
２からの差分データをマクロブロック或いは８×８画素
のブロック毎にＤＣＴ演算を行うＤＣＴ器８３と、量子
化を行う量子化器８４と、量子化器８４から出力される
変換係数の逆量子化を行う逆量子化器８５と、ＩＤＣＴ
変換を行うＩＤＣＴ器８６と、予測メモリ８８内の予測
信号と加算する加算器８７と、予測メモリ８８と、高周
波成分を除去するループ内フィルタ８９と、符号化にフ
レーム間予測符号化あるいはフレーム内符号化を用いる
か等の切替を行うスイッチ８０ａ，８０ｂと、スイッチ
の切替制御やＤＣＴ器８３、量子化器８４の特性等を制
御する符号化制御部８１とから構成される。

【０１０２】そして、Ｈ．２６１方式の符号化を用いた
符号化部１における一般的な動作は、動画像における最
初のフレーム及び急に場面が変わった場合等、フレーム
間の相関が低い場合には、フレーム内符号化が選択され
て、スイッチ８０ａ及びスイッチ８０ｂが１に切り替え
られ、入力された画像データがそのままＤＣＴ器８３で
ＤＣＴ変換され、量子化器８４で量子化されて変換係数
が出力される。この時、量子化器８４から出力された変
換係数が、逆量子化器８５で逆量子化され、ＩＤＣＴ器
８６でＩＤＣＴ変換されて予測メモリ８８に記憶され
る。

【０１０３】そして、以降のフレームについては、フレ
ーム間予測符号化が選択され、スイッチ８０ａ及びスイ
ッチ８０ｂが２に切り替えられ、入力された画像データ
と、予測メモリ８８に記憶されていて、ループ内フィル
タ８９を通過した画像データとから差分器８２で差分を
取って、その差分データがＤＣＴ器８３でＤＣＴ変換さ
れ、量子化器８４で量子化されて変換係数が出力され
る。

【０１０４】この時、量子化器８４から出力された差分
データの変換係数が、逆量子化器８５で逆量子化され、
ＩＤＣＴ器８６でＩＤＣＴ変換された差分の画像データ
と、予測メモリ８８に記憶されていた画像データとを加
算器８７で加算して予測メモリ８８に記憶するようにな
っている。

【０１０５】次に、Ｈ．２６１方式の符号化を用いた復
号化部２の構成は、図１９に示すように、逆量子化を行
う逆量子化器９１と、ＩＤＣＴ変換を行うＩＤＣＴ器９
２と、加算器９３と、予測メモリ９５と、ループ内フィ
ルタ９６と、フレーム間予測復号あるいはフレーム内復
号とを切り換えるスイッチ９４とから構成されている。

【０１０６】そして、Ｈ．２６１方式の符号化を用いた
復号化部２における一般的な動作は、フレーム内符号化
の場合は、スイッチ９４が１に切り替えられ、入力され
た符号化データが逆量子化器９１で逆量子化され、ＩＤ
ＣＴ器９２でＩＤＣＴ変換されて画像データが出力さ
れ、同時にその画像データが予測メモリ９５に記憶され
る。

【０１０７】そして、フレーム間予測符号化の場合は、
スイッチ９４が２に切り替えられ、入力された差分の符
号化データが、逆量子化器９１で逆量子化され、ＩＤＣ
Ｔ器９２でＩＤＣＴ変換されて、予測メモリ９５に記憶
されていてループ内フィルタ９６を通過した画像データ
と加算器９３で加算されて、画像データとして出力され
る。

【０１０８】尚、Ｈ．２６１方式については、「最新Ｍ
ＰＥＧ教科書」マルチメディア通信研究会編 （株）ア
スキー発行 ｐ６９〜ｐ８８に詳細に記述されている。

【０１０９】次にＭＰＥＧ１を利用した画像の圧縮・伸
長方法について図２０と図２１とを用いて説明する。図
２０は、ＭＰＥＧ１を用いた画像の符号化器の構成ブロ
ック図であり、図２１は、ＭＰＥＧ１を用いた画像の復
号化器の構成ブロック図である。

【０１１０】ＭＰＥＧ１は、動画像を一連の静止画像の
集合として扱い、それら静止画像の一を符号化したもの
（この符号化された静止画像は、ＭＰＥＧにおいては、
イントラ符号化画像又はＩピクチャと称される）を間引
き、それらＩピクチャの間をすでに表示された画像から
動き予測して符号化した外挿的予測符号化画像（Ｐピク
チャ）と、すでに表示された画像とこれから表示される
画像とから双方向に動き予測して符号化した内挿的予測
符号化画像（Ｂピクチャ）とを間引きされたＩピクチャ
の代わりに挿入することで、全体の情報量を低減するも
のである。

【０１１１】ここで、Ｐピクチャの予測の基礎となる画
像は、すでに表示されたＩピクチャ又はＰピクチャであ
り、従って、順方向に予測するようになる。また、Ｂピ
クチャでは、順方向の予測と、これから表示されるべき
画像から予測する逆方向の予測と、これら両方を組み合
わせた双方向の予測とが行われる。

【０１１２】尚、高速再生を目的としてＤＣＴの直流成
分を符号化したＤＣ符号化画像（Ｄピクチャ）を混在さ
せることもあり、かかるＤピクチャの取り扱いは、上記
Ｉ、Ｂ、Ｐの各ピクチャとは異なっている。ただし、こ
の差異は本発明の特徴部分に何らの関係を有しないの
で、ここではその説明を省略する。

【０１１３】ＭＰＥＧ１を用いた画像の符号化器は、現
在出力しているビットストリームがＩ、Ｂ、Ｐのどのピ
クチャであるかを表すマクロブロックタイプと、量子化
特性情報と、量子化変換係数と、動きベクトルとを出力
するものである。

【０１１４】ＭＰＥＧ１を用いた画像の符号化器は、図
２０に示すように、ビットストリームのビットレートを
調節する量子化特性情報を出力するとともに、Ｉ、Ｂ、
Ｐの各ピクチャの算出及び出力を制御する符号化制御部
１００と、画像間の差分を算出して予測の基礎となる差
分の画像を生成する減算器１０１と、ＤＣＴ器１０２
と、量子化器１０３と、逆量子化器１０４と、ＩＤＣＴ
器１０５と、予測画像を基礎とした予測を行うための加
算器１０６と、予測画像を格納する第１の予測メモリ１
０７及び第２の予測メモリ１０８と、双方向予測を行う
ための平均器１０９と、加算器１０６から出力される動
きベクトルを第１の予測メモリ１０７と第２の予測メモ
リ１０８とのどちらに出力するかを切り替えるスイッチ
１１０ａと、ＩピクチャとＰピクチャとＢピクチャとを
切り替えるスイッチ１１０ｂとから構成されている。

【０１１５】ＤＣＴ器１０２と、量子化器１０３と、逆
量子化器１０４と、ＩＤＣＴ器１０５とは、ＪＰＥＧを
用いた場合におけるそれらと同様であるので、説明を省
略する。また、具体的な動作の説明については、「最新
ＭＰＥＧ教科書」、藤原洋監修、アスキー出版局、１９
９４年に詳しいので、ここでは省略する。

【０１１６】さらに、上記のＭＰＥＧ１を用いた画像の
符号化器によって符号化されたＭＰＥＧ１の画像を復号
化する復号化器は、量子化特性情報と、量子化変換係数
と、マクロブロックタイプとの入力を受けて、原画像を
再生するものである。

【０１１７】具体的には、ＭＰＥＧ１の復号化器は、図
２１に示すように、逆量子化器１１１と、ＩＤＣＴ器１
１２と、差分の画像と原画像とを加算する加算器１１３
と、予測画像を格納する第１の予測メモリ１１４及び第
２の予測メモリ１１５と、それら第１の予測メモリ１１
４と第２の予測メモリ１１５とに格納された画像の平均
を算出して双方向予測を行う平均器１１６と、入力され
るマクロブロックタイプに応じて、加算器１１３の出力
を上記第１の予測メモリ１１４と第２の予測メモリ１１
５とのどちらに出力するかを切り替えるスイッチ１１７
ａと、原画像の画像データの出力を切り替えるスイッチ
１１７ｂと、予測の基礎となる画像を選択するスイッチ
１１７ｃとから構成されている。

【０１１８】尚、逆量子化器１１１と、ＩＤＣＴ器１１
２とは、既に説明されたそれらと同様のものであるの
で、その説明を省略する。また、具体的な動作の説明に
ついては、上述の「最新ＭＰＥＧ教科書」に詳しいので
説明を省略する。

【０１１９】次にＭＰＥＧ２を利用した画像の圧縮・伸
長方法について図２２と図２３とを用いて説明する。図
２２は、ＭＰＥＧ２を用いた画像の符号化器の構成ブロ
ック図であり、図２３は、ＭＰＥＧ２を用いた画像の復
号化器の構成ブロック図である。

【０１２０】ＭＰＥＧ２における符号化器と復号化器と
は、ＭＰＥＧ１におけるそれらとほぼ同様のものである
が、ＤＣＴ器１０２′と、ＩＤＣＴ器１０３′，１１
２′と、第１の予測メモリ１０７′，１１４′と、第２
の予測メモリ１０８′，１１５′とがフィールド構造を
有しているところが異なっている。これらについても詳
細は上述の「最新ＭＰＥＧ教科書」に詳しいので説明を
省略する。

【０１２１】次に、ベクトル量子化を行って、画像を圧
縮・伸長する方法について、図２４〜図２７を用いて説
明する。図２４は、ベクトル量子化を用いた画像の符号
化器の構成ブロック図であり、図２５は、ベクトル量子
化を用いた画像の符号化方法を説明するフローチャート
図であり、図２６は、ベクトル量子化を用いた画像の復
号化器の構成ブロック図であり、図２７は、ベクトル量
子化を用いた画像の復号化方法を説明するフローチャー
ト図である。

【０１２２】ベクトル量子化（ＶＱ）は、ＪＰＥＧと
Ｈ．２６１とＭＰＥＧ１とＭＰＥＧ２とが画素の値、予
測画像、変換係数等を独立に量子化するスカラー量子化
（ＳＱ）とは対照的に、複数の画素の値等を一括してベ
クトルとして扱って、各符号に写像するものである。

【０１２３】すなわち、ベクトル量子化とは、原画像は
複数のベクトルとして表現されている。そして、それら
各ベクトルと同じ次元のベクトル空間に予め通し番号を
付与され、設定された複数のベクトル（「代表ベクト
ル」と称する）のうち、各ベクトルに最も近接したもの
を近似値として選択し、当該ベクトルに付与された通し
番号を符号として出力するものである。尚、これら出力
される当該ベクトルの番号の列をさらにエントロピー符
号化して出力してもよい。

【０１２４】このようなベクトル量子化を実現する符号
化器は、図２４に示すように、第１のカウンタ１２１
と、第２のカウンタ１２２と、コードブック１２３と、
歪み計算器１２４と、メモリ１２５と、検索器１２６
と、エントロピー符号化器１２７とから構成されてい
る。

【０１２５】以下、各部を具体的に説明する。第１のカ
ウンタ１２１は、原画像データとブロック数との入力を
受けて、原画像を複数のベクトルに分割して歪み計算器
１２４に出力するものである。第２のカウンタ１２２
は、予め設定されている代表ベクトルの数の入力をうけ
て、コードブック１２３に格納されている各ベクトルを
順に出力するものである。

【０１２６】コードブック１２３は、代表ベクトルを格
納するメモリである。歪み計算器１２４は、第１のカウ
ンタ１２１から原画像を表現するベクトルと各代表ベク
トルとの歪みを算出し、当該代表ベクトルの通し番号と
ともにメモリ１２５に格納するものである。ここで、歪
みは、これらのベクトル間の距離（二乗誤差）で表され
るのが普通である。

【０１２７】検索器１２６は、メモリ１２５に格納され
た歪みのうち、最小の歪みとなっている代表ベクトルの
通し番号をエントロピー符号化器１２７に出力するもの
である。エントロピー符号化器１２７は、原画像を表す
複数のベクトルに亘って、それらの近似値として出力さ
れる代表ベクトルの通し番号をエントロピー符号化する
ものである。エントロピー符号化については、広く知ら
れた方法であるので、その説明を省略する。

【０１２８】ここで、ベクトル量子化を行う符号化器の
動作について図２５を参照しながら説明する。尚、図２
５に示すフローチャートでは、一の画面を符号化する処
理を表している。まず、第１のカウンタ１２１が原画像
データとブロック数（Ｍ）との入力を受けて（Ｓ６０
１）、原画像を複数のベクトルに分割し、それら分割さ
れたベクトルをカウントする。例えば、カウンタｋに
「１」を代入してリセットする（Ｓ６０２）。

【０１２９】一方、第２のカウンタ１２２が予め設定さ
れている代表ベクトルの数（Ｎ）の入力を受けて（Ｓ６
０３）、コードブック１２３に格納されている代表ベク
トルを順に出力する。例えば、カウンタｌに「１」を代
入してリセットする（Ｓ６０４）。

【０１３０】そして、歪み計算器１２４が、第１のカウ
ンタ１２１からｋ番目（１番目）のベクトルの入力を受
け、さらに第２のカウンタ１２２からｌ番目（１番目）
の代表ベクトルの入力を受けて、これらのベクトルの間
の歪みを算出し（Ｓ６０５）、メモリ１２５に格納す
る。

【０１３１】すると、検索器１２６がメモリ１２５に格
納された歪みのうち最小のものを検索して、その代表ベ
クトルの番号をバッファに格納する。尚、ここで、検索
器１２６は、現在バッファに格納されている値と、処理
Ｓ６０５にて算出された歪みとを比較して、算出された
歪みが小さいならば、その値を新たにバッファに格納す
るようにして、最小の歪みを検索するようにしていても
構わない。

【０１３２】そして、第２のカウンタがｌをインクリメ
ントして（Ｓ６０７）、それが代表ベクトルの総数であ
るＮよりも大きいか否かを判定し（Ｓ６０８）、大きく
ないならば（Ｎｏであるならば）、歪みを算出されてい
ない代表ベクトルが残っているので、処理Ｓ６０５に戻
る。

【０１３３】また、各代表ベクトルについての歪みが算
出され、処理Ｓ６０８において、代表ベクトルの総数で
あるＮよりも大きくなると（Ｙｅｓであると）、検索器
１２６がバッファに格納した最小の歪みに対応する代表
ベクトルの番号をエントロピー符号化器１２７に出力す
る（Ｓ６０９）。第１のカウンタ１２１がｋをインクリ
メントして（Ｓ６１０）、それがブロックの数であるＭ
よりも大であるか否かを判定し（Ｓ６１１）、そうでな
いならば（Ｎｏならば）、処理Ｓ６０３に戻る。

【０１３４】また、処理Ｓ６１１において、Ｍよりもｋ
が大ならば（Ｙｅｓならば）、エントロピー符号化器１
２７が代表ベクトルの番号の系列をエントロピー符号化
して出力して（Ｓ６１２）、処理終了する。

【０１３５】一方、ベクトル量子化における復号化器
は、図２６に示すように、カウンタ１３０と、エントロ
ピー復号化器１３１と、置換器１３２と、コードブック
１２３とから構成されている。

【０１３６】以下、各部を具体的に説明する。カウンタ
１３０は、一の画面を再生するために必要なブロック数
（Ｍ）の入力を受けて出力する代表ベクトルをカウント
し、それがＭに達すると、置換器１３２に信号を出力す
るものである。エントロピー復号化器１３１は、符号化
データの入力を受けて、それをエントロピー復号化する
ものである。

【０１３７】置換器１３２は、エントロピー復号化器１
３１から代表ベクトルの通し番号の系列の入力を受け、
さらにカウンタ１３０から信号の入力を受けるまで、当
該系列の各代表ベクトルの番号に対応する代表ベクトル
をコードブック１２３から検索して、当該代表ベクトル
を再生された画像データとして複数出力するものであ
る。尚、コードブック１２３は、符号化器におけるそれ
と同じものである。

【０１３８】次に、ベクトル量子化器における復号化器
の動作について、図２７を参照しながら説明する。カウ
ンタ１３０がブロック数（Ｍ）の入力を受け（Ｓ７０
１）、さらにエントロピー復号化器１３１が符号化デー
タの入力を受けて、それをエントロピー復号化する（Ｓ
７０２）。

【０１３９】そして、カウンタ１３０が、入力された代
表ベクトルの通し番号の系列をカウントするカウンタ
（例えばｋ）を「１」にリセットする（Ｓ７０３）。そ
して、置換器１３２が代表ベクトルの通し番号の一つに
対応する代表ベクトルをコードブック１２３から検索し
て、当該ベクトルを出力する（Ｓ７０４）。

【０１４０】そして、カウンタ１３０が、ｋをインクリ
メントし（Ｓ７０５）、ｋがＭより大であるか否かを判
定し（Ｓ７０６）、そうでなければ（Ｎｏであれば）、
処理Ｓ７０４に戻る。また、処理Ｓ７０６において、ｋ
がＭより大であれば（Ｙｅｓであれば）、一の画面を再
生する代表ベクトルの出力が終了したので、処理終了す
る。

【０１４１】本発明の実施の形態の画像処理方法及び画
像処理装置によれば、原画像の圧縮符号化の前に画像デ
ータを縮小し、その縮小画像データを圧縮符号化して伝
送又は蓄積し、伝送又は蓄積されたデータを伸長復号化
して縮小画像データを作成し、その縮小画像データを拡
大して原画像を得るようにしているので、縮小画像デー
タの圧縮符号化により圧縮効率を向上させることがで
き、伸長復号化させた縮小画像データを拡大することに
より実用的な品質の画質で再生できる効果がある。

【０１４２】例えば、２５６×２５６の自然画像（モノ
クロ、８bit/pel ）の場合、図２８の説明図に示すよう
に、ＪＰＥＧ（図中上段の方法）では１／４０程度の圧
縮が限界となるが、本発明の実施の形態の画像処理方法
（図中中段の方法）では、１／６０程度の圧縮でも、十
分実用になる画質を再生することができる効果がある。

【０１４３】

【発明の効果】請求項１〜４記載の発明によれば、原画
像の圧縮符号化前に原画像の画像データを縮小し、伸長
復号化後の縮小画像データを拡大する画像処理方法及び
画像処理装置としているので、圧縮効率を高めることが
でき、高圧縮においても実用的な画質の画像を得ること
ができる効果がある。

【０１４４】請求項５記載の発明によれば、請求項３記
載の画像処理装置で縮小画像データを圧縮符号化した画
像データを通信路に出力し、請求項４記載の画像処理装
置で通信路から入力した画像データを伸長復号化し、そ
れを縮小画像データとして拡大する画像処理装置として
いるので、圧縮効率を高めて伝送することができ、高圧
縮においても実用的な画質の画像を得ることができる効
果がある。

【０１４５】請求項６記載の発明によれば、請求項３記
載の画像処理装置で縮小画像データを圧縮符号化した画
像データを蓄積メディアに出力し、請求項４記載の画像
処理装置で蓄積メディアから入力した画像データを伸長
復号化し、それを縮小画像データとして拡大する画像処
理装置としているので、圧縮効率を高めて蓄積すること
ができ、高圧縮においても実用的な画質の画像を得るこ
とができる効果がある。

【０１４６】請求項７，８記載の発明によれば、画像デ
ータを縮小するのに離散コサイン変換法、最近接内挿
法、共一次内挿法、３次畳み込み内挿法又はアダマール
変換法を用い、また、縮小画像データを拡大するのに逆
離散コサイン変換法、最近接内挿法、共一次内挿法、３
次畳み込み内挿法又はアダマール変換法を用いた請求項
１又は請求項２記載の画像処理方法としているので、圧
縮効率を高めることができ、高圧縮においても実用的な
画質の画像を得ることができる効果がある。

【０１４７】請求項９，１０記載の発明によれば、画像
縮小手段で画像データを縮小するのに離散コサイン変換
法、最近接内挿法、共一次内挿法、３次畳み込み内挿法
又はアダマール変換法を用い、また、画像拡大手段で縮
小画像データを拡大するのに逆離散コサイン変換法、最
近接内挿法、共一次内挿法、３次畳み込み内挿法又はア
ダマール変換法を用いた請求項３又は請求項４記載の画
像処理装置としているので、圧縮効率を高めることがで
き、高圧縮においても実用的な画質の画像を得ることが
できる効果がある。

【０１４８】請求項１１，１２記載の発明によれば、縮
小画像データを圧縮符号化するのに又は画像データを伸
長復号化するのにＪＰＥＧ方式、Ｈ．２６１方式、ＭＰ
ＥＧ１方式、ＭＰＥＧ２方式又はベクトル量子化方式を
用いた請求項１又は請求項２記載の画像処理方法として
いるので、圧縮効率を高めることができ、高圧縮におい
ても実用的な画質の画像を得ることができる効果があ
る。

【０１４９】請求項１３，１４記載の発明によれば、圧
縮符号化手段で縮小画像データを圧縮符号化するのに又
は伸長復号化手段で画像データを伸長復号化するのにＪ
ＰＥＧ方式、Ｈ．２６１方式、ＭＰＥＧ１方式、ＭＰＥ
Ｇ２方式又はベクトル量子化方式を用いた請求項３又は
請求項４記載の画像処理装置としているので、圧縮効率
を高めることができ、高圧縮においても実用的な画質の
画像を得ることができる効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る画像処理装置の基本
構成ブロック図である。

【図２】本発明における離散コサイン変換を用いた画像
縮小・拡大方法の概略を示す説明図である。

【図３】本発明における離散コサイン変換を用いた縮小
器３の構成を示すブロック図である。

【図４】本発明における離散コサイン変換を用いた拡大
器４の構成を示すブロック図である。

【図５】本発明における離散コサイン変換を用いた縮小
器３の動作を示すフローチャート図である。

【図６】本発明における離散コサイン変換を用いた拡大
器４の動作を示すフローチャート図である。

【図７】最近接内挿法における内挿の方法を表す説明図
である。

【図８】共一次内挿法における内挿の方法を表す説明図
である。

【図９】３次畳み込み内挿法の内挿の方法を表す説明図
である。

【図１０】内挿法を用いる縮小器３及び拡大器４の構成
ブロック図である。

【図１１】内挿法を用いた拡大・縮小方法を表すフロー
チャート図である。

【図１２】アダマール変換を利用した画像を縮小する方
法を表す説明図である。

【図１３】アダマール変換を利用した画像を拡大する方
法を表す説明図である。

【図１４】本発明の画像処理装置におけるＪＰＥＧ方式
を用いた符号化部１内の構成を示すブロック図である。

【図１５】本発明の画像処理装置におけるＪＰＥＧ方式
を用いた復号化部２内の構成を示すブロック図である。

【図１６】ＪＰＥＧ方式を用いた場合の本装置の符号化
部分の動作の流れを示すフローチャート図である。

【図１７】ＪＰＥＧ方式を用いた場合の本装置の復号化
部分の動作の流れを示すフローチャート図である。

【図１８】本発明の画像処理装置におけるＨ．２６１方
式を用いた符号化部１内の構成を示すブロック図であ
る。

【図１９】本発明の画像処理装置におけるＨ．２６１方
式を用いた復号化部２内の構成を示すブロック図であ
る。

【図２０】ＭＰＥＧ１を用いた画像の符号化器の構成ブ
ロック図である。

【図２１】ＭＰＥＧ１を用いた画像の復号化器の構成ブ
ロック図である。

【図２２】ＭＰＥＧ２を用いた画像の符号化器の構成ブ
ロック図である。

【図２３】ＭＰＥＧ２を用いた画像の復号化器の構成ブ
ロック図である。

【図２４】ベクトル量子化を用いた画像の符号化器の構
成ブロック図である。

【図２５】ベクトル量子化を用いた画像の符号化方法を
説明するフローチャート図である。

【図２６】ベクトル量子化を用いた画像の復号化器の構
成ブロック図である。

【図２７】ベクトル量子化を用いた画像の復号化方法を
説明するフローチャート図である。

【図２８】本実施の形態の画像処理方法の効果を説明す
るための説明図である。

【図２９】従来の画像処理装置の構成ブロック図であ
る。

【符号の説明】

１…符号化部、 ２…復号化部、 ３…縮小器、 ４…
拡大器、 １１…離散コサイン変換器、 １２…量子化
器、 １３…ハフマン符号化器、 ２１…ハフマン復号
化器、 ２２…逆量子化器、 ２３…逆離散コサイン変
換器 ３１，４１…Ｎ×Ｎ点ＤＣＴ器、 ３２…Ｐ×Ｐ
点通過フィルタ、 ３３，４３…Ｐ×Ｐ点ＩＤＣＴ器、
３４，４４…Ｐ／Ｎ輝度調整器、 ４２…（Ｐ×Ｐ−
Ｎ×Ｎ）点０値挿入フィルタ、 ５１…画素数計算器、
５２…水平方向カウンタ、 ５３…第１の計算器、
５４…垂直方向カウンタ、 ５５…第２の計算器、 ５
６…第３の計算器、 ６１…ＤＣＴ器、 ６２，７６…
量子化テーブル、 ６３，８４…量子化器、 ６４，８
２…差分器、 ６５…ジグザグスキャン器、 ６６…ハ
フマン符号化器、 ６７，７２…ＤＣハフマンテーブ
ル、 ６８，７３…ＡＣハフマンテーブル、 ７１…ハ
フマン復号化器、 ７４，８７，９３…加算器、 ７５
…逆ジグザグスキャン器、 ７７，８５，９１…逆量子
化器、 ７８，８６，９２…ＩＤＣＴ器、 ８０ａ、８
０ｂ，９４…スイッチ、 ８１…符号化制御部、 ８
８，９５…予測メモリ、 ８９，９６…ループ内フィル
タ、 １００…符号化制御部、 １０１…減算器、 １
０２…ＤＣＴ器、 １０３…量子化器、 １０４…逆量
子化器、 １０５…ＩＤＣＴ器、 １０６…加算器、
１０７，１０７′…第１の予測メモリ、 １０８，１０
８′…第２の予測メモリ、１０９…平均器、 １１０…
スイッチ、 １１１…逆量子化器、 １１２…ＩＤＣＴ
器、 １１３…加算器、 １１４，１１４′…第１の予
測メモリ、 １１５，１１５′…第２の予測メモリ、
１１６…平均器、 １１７…スイッチ、 １２１…第１
のカウンタ、 １２２…第２のカウンタ、 １２３…コ
ードブック、１２４…歪み計算器、 １２５…メモリ、
１２６…検索器、 １２７…エントロピー符号化器、
１３０…カウンタ、 １３１…エントロピー復号化
器、１３２…置換器

Claims (14)

【特許請求の範囲】
1. 【請求項１】 原画像の１フレームの画像データを縮小
   して縮小画像データを作成し、前記縮小画像データをブ
   ロック単位に分割して圧縮符号化することを特徴とする
   画像処理方法。
2. 【請求項２】 請求項１記載の画像処理方法で圧縮符号
   化された画像データを伸長復号化して縮小画像データを
   作成し、前記縮小画像データを拡大して原画像の１フレ
   ームを得ることを特徴とする画像処理方法。
3. 【請求項３】 原画像の１フレームの画像データを縮小
   して縮小画像データを作成する画像縮小手段と、前記縮
   小画像データをブロック単位に分割して圧縮符号化する
   圧縮符号化手段とを有することを特徴とする画像処理装
   置。
4. 【請求項４】 請求項３記載の画像処理装置で圧縮符号
   化された画像データを伸長復号化する伸長復号化手段
   と、前記伸長復号化された画像データを縮小画像データ
   として拡大して原画像の１フレームを得る画像拡大手段
   とを有することを特徴とする画像処理装置。
5. 【請求項５】 圧縮符号化された画像データを通信路に
   出力する請求項３記載の画像処理装置と、前記通信路か
   ら前記画像データを入力する請求項４記載の画像処理装
   置とを有することを特徴とする画像処理装置。
6. 【請求項６】 圧縮符号化された画像データを蓄積メデ
   ィアに出力する請求項３記載の画像処理装置と、前記蓄
   積メディアから前記画像データを入力する請求項４記載
   の画像処理装置とを有することを特徴とする画像処理装
   置。
7. 【請求項７】 画像データを縮小するのに離散コサイン
   変換法、最近接内挿法、共一次内挿法、３次畳み込み内
   挿法又はアダマール変換法を用いたことを特徴とする請
   求項１記載の画像処理方法。
8. 【請求項８】 縮小画像データを拡大するのに逆離散コ
   サイン変換法、最近接内挿法、共一次内挿法、３次畳み
   込み内挿法又はアダマール変換法を用いたことを特徴と
   する請求項２記載の画像処理方法。
9. 【請求項９】 画像縮小手段で画像データを縮小するの
   に離散コサイン変換法、最近接内挿法、共一次内挿法、
   ３次畳み込み内挿法又はアダマール変換法を用いたこと
   を特徴とする請求項３記載の画像処理装置。
10. 【請求項１０】 画像拡大手段で縮小画像データを拡大
    するのに逆離散コサイン変換法、最近接内挿法、共一次
    内挿法、３次畳み込み内挿法又はアダマール変換法を用
    いたことを特徴とする請求項４記載の画像処理装置。
11. 【請求項１１】 縮小画像データを圧縮符号化するのに
    ＪＰＥＧ方式、Ｈ．２６１方式、ＭＰＥＧ１方式、ＭＰ
    ＥＧ２方式又はベクトル量子化方式を用いたことを特徴
    とする請求項１記載の画像処理方法。
12. 【請求項１２】 画像データを伸長復号化するのにＪＰ
    ＥＧ方式、Ｈ．２６１方式、ＭＰＥＧ１方式、ＭＰＥＧ
    ２方式又はベクトル量子化方式を用いたことを特徴とす
    る請求項２記載の画像処理方法。
13. 【請求項１３】 圧縮符号化手段で縮小画像データを圧
    縮符号化するのにＪＰＥＧ方式、Ｈ．２６１方式、ＭＰ
    ＥＧ１方式、ＭＰＥＧ２方式又はベクトル量子化方式を
    用いたことを特徴とする請求項３記載の画像処理装置。
14. 【請求項１４】 伸長復号化手段で画像データを伸長復
    号化するのにＪＰＥＧ方式、Ｈ．２６１方式、ＭＰＥＧ
    １方式、ＭＰＥＧ２方式又はベクトル量子化方式を用い
    たことを特徴とする請求項４記載の画像処理装置。