JPH10111792A

JPH10111792A - 画像処理装置

Info

Publication number: JPH10111792A
Application number: JP26322596A
Authority: JP
Inventors: Hiroyuki Ishikawa; 裕之石川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1996-10-03
Filing date: 1996-10-03
Publication date: 1998-04-28
Also published as: EP0834834A3; DE69718588T2; EP0834834B1; DE69718588D1; EP0834834A2; US6021225A

Abstract

(57)【要約】【課題】多数のＣＰＵ・ＤＳＰに対応して現在のＣＰ
Ｕ・ＤＳＰの処理能力に最適なプログラムを実行できる
画像圧縮・再生装置を提供する。【解決手段】画像圧縮装置は画像を読み込んで画像圧
縮手段４４でフレーム内符号であるＩピクチャと、前方
向のみのフレーム間符号であるＰピクチャと、前後の双
方向のフレーム間符号であるＢピクチャの３種類の圧縮
を行う。この時に装置制御手段４１は現在のＣＰＵ４２
を調べて、モジュールテーブル５６を参照してＣＰＵの
処理能力に最適なモジュールをプログラム５５より選択
する。これらの最適なモジュールを組み合わせて、最適
なプログラムを作成する。また、画像再生装置は画像圧
縮装置と同様な処理を行って、最適なプログラムを作成
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はＣＰＵやＤＳＰ等に
より画像符号を圧縮符号化する装置、及び圧縮された画
像符号を再生する装置に関する。

【０００２】

【従来の技術】画像をデジタル化してＣＤ−ＲＯＭやハ
ードディスクなどの記録媒体に記録する場合、そのデー
タ量は巨大なものとなるため通常は圧縮符号化して記録
される。各種の圧縮符号化方式の中で画像の空間周波数
が低周波に集中する性質を利用して圧縮を行うＤＣＴを
ベースとした符号化方式が比較的多く使用されている。
これはＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉ
ｃＥｘｐｅｒｔＧｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉ
ｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ）
などの国際標準である符号化方式で採用されている。

【０００３】図１にＭＰＥＧに準拠した符号フォーマッ
トの階層図を示す。ＭＰＥＧの符号は図１に示すように
いくつかの階層構造となっている。一番上の階層がビデ
オ・シーケンスであり、複数のＧＯＰ（Ｇｒｏｕｐｏ
ｆＰｉｃｔｕｒｅ）から構成される。

【０００４】ＧＯＰは複数のピクチャから構成され、１
つのピクチャが１枚の画像を示している。ピクチャには
フレーム内符号であるＩピクチャと、前方向のみのフレ
ーム間符号であるＰピクチャと、前後の双方向のフレー
ム間符号であるＢピクチャの３種類がある。ピクチャは
任意の領域に分割された複数のスライスから構成され
る。スライスは左から右へ、または上から下への順序で
並んだ複数のマクロブロックから構成される。

【０００５】マクロブロックは１６×１６ドットのブロ
ックを更に８×８ドットのブロックに分割した輝度成分
（Ｙ１，Ｙ２，Ｙ３，Ｙ４）と輝度成分に一致する領域
の８×８ドットのブロックの色差成分（Ｃｂ，Ｃｒ）の
６個のブロックから構成される。８×８ドットのブロッ
クが符号化の最小単位となる。

【０００６】従来のＤＣＴをベースとした符号化方式に
よる画像符号の圧縮についてＭＰＥＧを例として図面を
参照して説明する。図２はＭＰＥＧに準拠した画像符号
の圧縮を行う画像圧縮装置のブロック図である。図２の
画像圧縮装置は画像を読み込んでＹＵＶ変換手段５でＹ
ＵＶデータに変換して、動き検索手段６で前／後フレー
ムと現フレームの画像の動きを８×８ブロックの領域毎
に検索する。次にＭＰＥＧではフレーム内符号であるＩ
ピクチャと、前方向のみのフレーム間符号であるＰピク
チャと、前後の双方向のフレーム間符号であるＢピクチ
ャの３種類に分かれているので、３種類の圧縮が行われ
る。

【０００７】Ｉピクチャの場合はＤＣＴ手段８により現
フレームの８×８ブロックの領域の画素の値を離散コサ
イン変換して、量子化手段９により量子化して、可変長
符号化手段１０により可変長のハフマン符号に高能率圧
縮する。次に圧縮した画像を参照フレームとして復号す
るために、量子化されたデータを逆量子化手段１４によ
り逆量子化して、ＩＤＣＴ手段１３により逆離散コサイ
ン変換して画素値を算出して、参照フレーム部１１に格
納する。

【０００８】また、Ｐピクチャの場合は動き予測手段７
により現フレームの８×８ブロックの領域の画素の値と
動き検索手段６で検索された動きにより参照される参照
フレーム部１１に格納された前フレームの８×８ブロッ
クの領域の画素の値で差分を算出して、ＤＣＴ手段８に
より差分値を離散コサイン変換して、量子化手段９によ
り量子化して、可変長符号化手段１０により可変長のハ
フマン符号に高能率圧縮する。次に圧縮した画像を参照
フレームとして復号するために、量子化されたデータを
逆量子化手段１４により逆量子化して、ＩＤＣＴ手段１
３により逆離散コサイン変換して差分値を算出して、動
き補償手段１２により動き予測手段７で参照された参照
フレーム部１１に格納された前フレームの８×８ブロッ
クの領域の画素の値に差分値を加算して、参照フレーム
部１１に格納する。

【０００９】また、Ｂピクチャの場合は動き予測手段７
により現フレームの８×８ブロックの領域の画素の値と
動き検索手段６で検索された動きにより参照される参照
フレーム部１１に格納された前／後フレームの８×８ブ
ロックの領域の画素の値で差分を算出して、ＤＣＴ手段
８により差分値を離散コサイン変換して、量子化手段９
により量子化して、可変長符号化手段１０により可変長
のハフマン符号に高能率圧縮する。Ｂピクチャの場合は
参照フレームとして使用されないので、画像の伸張は行
わない。

【００１０】また、従来のＤＣＴをベースとした符号化
方式による画像符号の再生についてＭＰＥＧを例として
図面を参照して説明する。図３はＭＰＥＧに準拠した画
像符号の再生を行う画像再生装置のブロック図である。
図３の画像再生装置は符号を読み込んでフレーム内符号
であるＩピクチャと、前方向のみのフレーム間符号であ
るＰピクチャと、前後の双方向のフレーム間符号である
Ｂピクチャの３種類の符号を伸張する。

【００１１】Ｉピクチャの場合は可変長復号化手段２５
で復号して、逆量子化手段２６で逆量子化して、ＩＤＣ
Ｔ２７で逆離散コサイン変換によりブロックの画素の値
を算出して、ＲＧＢ変換手段２８により画像を出力す
る。

【００１２】また、Ｐピクチャの場合は可変長復号化手
段２５で復号して、逆量子化手段２６で逆量子化して、
ＩＤＣＴ２７で逆離散コサイン変換によりブロックの差
分を算出して、動き補償手段３０により参照フレーム部
２９に格納された前フレームの動き補償したブロックに
差分を加算して、ＲＧＢ変換手段２８により画像を出力
する。

【００１３】また、Ｂピクチャの場合は可変長復号化手
段２５で復号して、逆量子化手段２６で逆量子化して、
ＩＤＣＴ手段２７で逆離散コサイン変換によりブロック
の差分を算出して、動き補償手段３０により参照フレー
ム部２９に格納された前フレームの動き補償したブロッ
クと参照フレーム部２９に格納された前／後フレームの
動き補償したブロックに差分を加算して、ＲＧＢ変換手
段２８により画像を出力する。

【００１４】このように国際標準であるＭＰＥＧに基づ
いて圧縮・再生を行えば、高能率に画像を圧縮・再生す
ることができる。しかし、動き検索／動き補償やＤＣＴ
／ＩＤＣＴなどの処理には多くの演算が必要なので、ソ
フトウェアによる画像の圧縮・再生にはＣＰＵの特性を
考慮して最も高速に動作するように最適化されたプログ
ラムで処理する必要がある。そのために多数の種類のＣ
ＰＵに対応するにはそれぞれ別のプログラムを用意して
切り替える必要がある。

【００１５】最適なプログラムを使用する従来例として
特開平６−２８２４４４号公報ではＣＰＵに最適になる
ようにコンパイルを行う方法が示されている。また、特
開平４−３２２３２９号公報では計算機にインストール
時に最適なプログラムを作成する方法が示されている。
また、プログラムに合わせて最適なＣＰＵを選択する例
が特開平３−２４４０６７号公報に示されている。

【００１６】

【発明が解決しようとする課題】しかし、上述した従来
の最適化プログラム作成方式では、使用する計算機ごと
に専用のプログラムを作成し、使用する計算機にインス
トールする必要があり、ネットワークなどで複数の計算
機とプログラムを共有することができない。また、使用
できるメモリ量を考慮してプログラムを作成していない
ため、プログラムサイズが大きくてメモリにロードでき
ない場合も生じる。さらに、プログラムに最適なＣＰＵ
を選択する方式では単一ＣＰＵで動作する計算機には適
用できないという欠点があった。

【００１７】本発明の目的はプログラム実行時に現在の
ＣＰＵおよびメモリに最適なプログラムを動作させる画
像圧縮・再生装置を提供することにある。

【００１８】

【課題を解決するための手段】本発明によれば、入力さ
れた画像を符号化する画像処理装置であって、各ＣＰＵ
ごとにロードするモジュールを記載したモジュールテー
ブルと、前記モジュールテーブルによって指定される複
数のモジュールを管理するプログラムと、モジュールの
メモリへのロードを制御する装置制御手段と、ロードさ
れたモジュールから構成される画像圧縮手段とを有する
ことを特徴とする画像処理装置が得られる。

【００１９】また、本発明によれば、入力された符号を
伸張する画像処理装置であって、各ＣＰＵごとにロード
するモジュールを記載したモジュールテーブルと、前記
モジュールテーブルによって指定される複数のモジュー
ルを管理するプログラムと、モジュールのメモリへのロ
ードを制御する装置制御手段と、ロードされたモジュー
ルから構成される画像再生手段とを有することを特徴と
する画像処理装置が得られる。

【００２０】

【発明の実施の形態】本発明の発明の実施の形態につい
て、図面を参照して説明する。

【００２１】図４は本発明の画像圧縮装置の構成図であ
る。図４では装置全体を制御する装置制御手段４１とプ
ログラムを動作させるＣＰＵ４２とユーザからの入力を
伝えるキーボード４３と画像圧縮を行う画像圧縮手段４
４と各モジュールのＣＰＵ毎の最適モジュールを格納し
ているプログラム５５と各ＣＰＵとそれに対応する最適
モジュールを示したモジュールテーブル５６から構成さ
れている。また、画像圧縮手段４４は画像をＹＵＶデー
タに変換するＹＵＶ変換手段と画像の動きを検索する動
き検索手段４６と画像の動きからブロックの差分を算出
する動き予測手段４７とブロックの値を離散コサイン変
換するＤＣＴ手段４８と離散コサイン変換後の値を量子
化する量子化手段４９とハフマン符号に符号化する可変
長符号化手段５０と量子化後の値を逆量子化する逆量子
化手段５４と逆量子化後の値を逆離散コサイン変換する
ＩＤＣＴ手段５３と動き補償された参照フレームのブロ
ックに差分値を加算する動き補償手段５２と前後の参照
フレームを格納する参照フレーム部５１で構成されてい
る。

【００２２】図４の画像圧縮装置は画像を読み込んでＹ
ＵＶ変換手段４５でＹＵＶデータに変換して、動き検索
手段４６で前／後フレームと現フレームの画像の動きを
８×８ブロックの領域毎に検索する。次にＭＰＥＧでは
フレーム内符号であるＩピクチャと、前方向のみのフレ
ーム間符号であるＰピクチャと、前後の双方向のフレー
ム間符号であるＢピクチャの３種類に分かれているの
で、３種類の圧縮が行われる。

【００２３】Ｉピクチャの場合はＤＣＴ手段４８により
現フレームの８×８ブロックの領域の画素の値を離散コ
サイン変換して、量子化手段４９により量子化して、可
変長符号化手段５０により可変長のハフマン符号に高能
率圧縮する。次に圧縮した画像を参照フレームとして復
号するために、量子化されたデータを逆量子化手段５４
により逆量子化して、ＩＤＣＴ手段５３により逆離散コ
サイン変換して画素値を算出して、参照フレーム部５１
に格納する。

【００２４】また、Ｐピクチャの場合は動き予測手段４
７により現フレームの８×８ブロックの領域の画素の値
と動き検索手段４６で検索された動きにより参照される
参照フレーム部５１に格納された前フレームの８×８ブ
ロックの領域の画素の値で差分を算出して、ＤＣＴ手段
４８により差分値を離散コサイン変換して、量子化手段
４９により量子化して、可変長符号化手段５０により可
変長のハフマン符号に高能率圧縮する。次に圧縮した画
像を参照フレームとして復号するために、量子化された
データを逆量子化手段５４により逆量子化して、ＩＤＣ
Ｔ手段５３により逆離散コサイン変換して差分値を算出
して、動き補償手段５２により動き予測手段４７で参照
された参照フレーム部５１に格納された前フレームの８
×８ブロックの領域の画素の値に差分値を加算して、参
照フレーム部５１に格納する。

【００２５】また、Ｂピクチャの場合は動き予測手段４
７により現フレームの８×８ブロックの領域の画素の値
と動き検索手段４６で検索された動きにより参照される
参照フレーム部５１に格納された前／後フレームの８×
８ブロックの領域の画素の値で差分を算出して、ＤＣＴ
手段４８により差分値を離散コサイン変換して、量子化
手段４９により量子化して、可変長符号化手段５０によ
り可変長のハフマン符号に高能率圧縮する。Ｂピクチャ
の場合は参照フレームとして使用されないので、逆量子
化５４以降の参照フレーム部５１を作成する処理は行わ
ない。

【００２６】また、装置制御手段４１は現在のＣＰＵ４
２を調べて、ＣＰＵ４２に最適なプログラムを構成する
ために必要なモジュールをモジュールテーブル５６から
求めて、最適なモジュールを組み合わせて、最適なプロ
グラムを作成する。

【００２７】また、図５は本発明の画像再生装置の構成
図である。図５では装置全体を制御する装置制御手段６
１とプログラムを動作させるＣＰＵ６２とユーザからの
入力を伝えるキーボード６３と画像再生を行う画像再生
手段６４と各モジュールのＣＰＵ毎の最適モジュールを
格納しているプログラム７１と各ＣＰＵとそれに対応す
る最適モジュールを示したモジュールテーブル７２から
構成されている。また、画像再生手段６４は圧縮符号を
復号する可変長復号化手段６５と復号後の値を逆量子化
する逆量子化手段６６と逆量子化後の値を逆離散コサイ
ン変換するＩＤＣＴ手段６７とＹＵＶデータをＲＧＢデ
ータに変換するＲＧＢ変換手段６８と前後の参照フレー
ムを格納する参照フレーム部６９と画像の動きからブロ
ックの差分を算出する動き補償手段７０で構成されてい
る。

【００２８】図５の画像再生装置は符号を読み込んでフ
レーム内符号であるＩピクチャと、前方向のみのフレー
ム間符号であるＰピクチャと、前後の双方向のフレーム
間符号であるＢピクチャの３種類の符号を伸張する。

【００２９】Ｉピクチャの場合は可変長復号化手段６５
で復号して、逆量子化手段６６で逆量子化して、ＩＤＣ
Ｔ６７で逆離散コサイン変換によりブロックの画素の値
を算出して、ＲＧＢ変換手段６８により画像を出力す
る。

【００３０】また、Ｐピクチャの場合は可変長復号化手
段６５で復号して、逆量子化手段６６で逆量子化して、
ＩＤＣＴ６７で逆離散コサイン変換によりブロックの差
分を算出して、動き補償手段７０により参照フレーム部
６９に格納された前フレームの動き補償したブロックに
差分を加算して、ＲＧＢ変換手段６８により画像を出力
する。

【００３１】また、Ｂピクチャの場合は可変長復号化手
段６５で復号して、逆量子化手段６６で逆量子化して、
ＩＤＣＴ手段６７で逆離散コサイン変換によりブロック
の差分を算出して、動き補償手段７０により参照フレー
ム部６９に格納された前フレームの動き補償したブロッ
クと参照フレーム部６９に格納された前／後フレームの
動き補償したブロックに差分を加算して、ＲＧＢ変換手
段６８により画像を出力する。

【００３２】また、装置制御手段６１は現在のＣＰＵ６
２を調べて、ＣＰＵ６２に最適なプログラムを構成する
ために必要なモジュールをモジュールテーブル７２から
求めて、最適なモジュールを組み合わせて、最適なプロ
グラムを作成する。

【００３３】次に最適なプログラムの作成について、画
像再生を例にして説明する。

【００３４】図６は最適なプログラムの作成時のデータ
の流れを示す図である。図６ではＣＰＵの処理能力がＺ
の場合の画像再生のプログラム８１を最適化している。
まず、モジュールテーブル８３からＣＰＵＺに最適な可
変長復号化モジュールを求める。ＣＰＵＺに最適な可変
長復号化モジュールは可変長復号化Ｃであるので、プロ
グラム８２から可変長復号化Ｃを画像再生プログラム８
１にロードする。以降、同様にして逆量子化Ｄ、ＩＤＣ
ＴＧ、動き補償Ｋ、ＲＧＢ変換Ｉのモジュールをロード
して、ＣＰＵＺに最適な画像再生プログラムを作成す
る。

【００３５】プログラム８２はプログラムの中でＣＰＵ
に大きな負荷を要するモジュールで構成されている。画
像再生では可変長復号化、逆量子化、ＩＤＣＴ、動き予
測、ＲＧＢ変換のモジュールとなる。

【００３６】画像圧縮の場合は同様にしてＹＵＶ変換、
動き検索、動き予測、ＤＣＴ、量子化、可変長符号化、
逆量子化、ＩＤＣＴ、動き補償についてそれぞれのモジ
ュールを格納する。

【００３７】次に本発明の発明の実施の形態の動作につ
いて、図面を参照して説明する。

【００３８】図７は図４のブロック図の装置制御手段の
フローチャートである。図７では現在のＣＰＵ４２のＣ
ＰＵＩＤおよび使用可能なメモリ量をチェックして（ス
テップ９１）、現在の処理能力で画像再生を行うのに最
適なモジュールを判定する。ここで、メモリ量が不足し
ていると判定された場合は（ステップ９２）、メモリ不
足用の処理が動作する（ステップ９６）。メモリが充分
なら、判定の結果得られた最適なモジュールをロード
し、圧縮プログラムを作成する（ステップ９３）。次に
画像圧縮を実行して（ステップ９４）、全フレームが終
了したかどうかを判断して（ステップ９５）、そうでな
い場合はステップ９４へ戻る。

【００３９】また、図８、図９は画像圧縮のフローチャ
ートである。これらの図ではＹＵＶ変換手段４５で画像
をＹＵＶデータに変換して（ステップ１０１）、動き検
索手段４６で画像のマクロブロック毎の動きを検索して
（ステップ１０２）、ピクチャの種別を判断して（ステ
ップ１０３）、各ピクチャ種別毎に処理する。

【００４０】Ｉピクチャの場合はＤＣＴ手段４８で離散
コサイン変換して（ステップ１０４）、量子化手段４９
により量子化して（ステップ１０５）、可変長符号化手
段５０により可変長のハフマン符号に高能率圧縮して
（ステップ１０６）、量子化されたデータを逆量子化手
段５４により逆量子化して（ステップ１０７）、ＩＤＣ
Ｔ手段５３により逆離散コサイン変換して参照フレーム
部５１に格納する（ステップ１０８）。

【００４１】Ｐピクチャの場合は動き予測手段４７によ
り現フレームのブロックと参照フレーム部１１の前フレ
ームのブロックで差分を算出して（ステップ１０９）、
ＤＣＴ手段４８で離散コサイン変換して（ステップ１１
０）、量子化手段４９により量子化して（ステップ１１
１）、可変長符号化手段５０により可変長のハフマン符
号に高能率圧縮して（ステップ１１２）、量子化された
データを逆量子化手段５４により逆量子化して（ステッ
プ１１３）、ＩＤＣＴ手段５３により逆離散コサイン変
換して（ステップ１１４）、動き補償手段５２により参
照フレーム部５１の前フレームのブロックに差分値を加
算して参照フレーム部５１に格納する（ステップ１１
５）。

【００４２】Ｂピクチャの場合は動き予測手段４７によ
り現フレームのブロックと参照フレーム部１１の前／後
フレームのブロックで差分を算出して（ステップ１１
６）、ＤＣＴ手段４８で離散コサイン変換して（ステッ
プ１１７）、量子化手段４９により量子化して（ステッ
プ１１８）、可変長符号化手段５０により可変長のハフ
マン符号に高能率圧縮して（ステップ１１９）、量子化
されたデータを逆量子化手段５４により逆量子化して
（ステップ１２０）、ＩＤＣＴ手段５３により逆離散コ
サイン変換して（ステップ１２１）、動き補償手段５２
により参照フレーム部５１の前／後フレームのブロック
に差分値を加算して参照フレーム部５１に格納する（ス
テップ１２２）。

【００４３】図１０は圧縮プログラム作成のフローチャ
ートである。図９では現在のＣＰＵＩＤとＹＵＶ変換を
引数としてモジュールをロードして（ステップ１３
１）、現在のＣＰＵＩＤと動き検索を引数としてモジュ
ールをロードして（ステップ１３２）、現在のＣＰＵＩ
Ｄと動き予測を引数としてモジュールをロードして（ス
テップ１３３）、現在のＣＰＵＩＤとＤＣＴを引数とし
てモジュールをロードして（ステップ１３４）、現在の
ＣＰＵＩＤと量子化を引数としてモジュールをロードし
て（ステップ１３５）、現在のＣＰＵＩＤと可変長符号
化を引数としてモジュールをロードして（ステップ１３
６）、現在のＣＰＵＩＤと逆量子化を引数としてモジュ
ールをロードして（ステップ１３７）、現在のＣＰＵＩ
ＤとＩＤＣＴを引数としてモジュールをロードして（ス
テップ１３８）、現在のＣＰＵＩＤと動き補償を引数と
してモジュールをロードする（ステップ１３９）。

【００４４】また、図１１，１２はメモリ不足時の処理
のフローチャートである。これらの図では現在のＣＰＵ
ＩＤとＹＵＶ変換を引数としてモジュールをロードして
（ステップ１４１）、ＹＵＶ変換を実行する（ステップ
１４２）。実行後はＹＵＶ変換で使用したデータやプロ
グラムのメモリを解放し（ステップ１４３）、現在のＣ
ＰＵＩＤと動き検索を引数としてモジュールをロードし
て（ステップ１４４）、動き検索を実行する（ステップ
１４５）。実行後は動き検索で使用したデータやプログ
ラムのメモリを解放し（ステップ１４６）、現在のＣＰ
ＵＩＤと動き予測を引数としてモジュールをロードして
（ステップ１４７）、動き予測を実行する（ステップ１
４８）。実行後は動き予測で使用したデータやプログラ
ムのメモリを解放し（ステップ１４９）、現在のＣＰＵ
ＩＤとＤＣＴを引数としてモジュールをロードして（ス
テップ１５０）、ＤＣＴを実行する（ステップ１５
１）。実行後はＤＣＴで使用したデータやプログラムの
メモリを解放し（ステップ１５２）、現在のＣＰＵＩＤ
と量子化を引数としてモジュールをロードして（ステッ
プ１５３）、量子化を実行する（ステップ１５４）。実
行後は量子化で使用したデータやプログラムのメモリを
解放し（ステップ１５５）、現在のＣＰＵＩＤと可変長
符号化を引数としてモジュールをロードして（ステップ
１５６）、可変長符号化を実行する（ステップ１５
７）。実行後は可変長符号化で使用したデータやプログ
ラムのメモリを解放し（ステップ１５８）、現在のＣＰ
ＵＩＤと逆量子化を引数としてモジュールをロードして
（ステップ１５９）、逆量子化を実行する（ステップ１
６０）。実行後は逆量子化で使用したデータやプログラ
ムのメモリを解放し（ステップ１６１）、現在のＣＰＵ
ＩＤとＩＤＣＴを引数としてモジュールをロードして
（ステップ１６２）、ＩＤＣＴを実行する（ステップ１
６３）。実行後はＩＤＣＴで使用したデータやプログラ
ムのメモリを解放し（ステップ１６４）、現在のＣＰＵ
ＩＤと動き補償を引数としてモジュールをロードして
（ステップ１６５）、動き補償を実行する（ステップ１
６６）。実行後は動き補償で使用したデータやプログラ
ムのメモリを解放し（ステップ１６７）、全フレームが
終了したかどうかを判断して（ステップ１６８）、そう
でない場合はステップ１４１へ戻る。

【００４５】図１３は図５のブロック図の装置制御手段
のフローチャートである。図１３では現在のＣＰＵ６２
のＣＰＵＩＤおよび使用可能メモリ量をチェックして
（ステップ１７１）、現在の処理能力で画像再生を行う
のに最適なモジュールを判定する。ここで、メモリ量が
不足していると判定された場合は（ステップ１７２）、
メモリ不足用の処理が動作する（ステップ１７６）。メ
モリが充分なら、判定の結果得られた最適なモジュール
をロードし、再生プログラムを作成する（ステップ１７
３）。次に画像再生を実行して（ステップ１７４）、全
フレームが終了したかどうかを判断して（ステップ１７
５）、そうでない場合はステップ１７４へ戻る。

【００４６】また、図１４は再生プログラム作成のフロ
ーチャートである。図１４では現在のＣＰＵＩＤと可変
長復号化を引数としてモジュールをロードして（ステッ
プ１８１）、現在のＣＰＵＩＤと逆量子化を引数として
モジュールをロードして（ステップ１８２）、現在のＣ
ＰＵＩＤとＩＤＣＴを引数としてモジュールをロードし
て（ステップ１８３）、現在のＣＰＵＩＤとＲＧＢ変換
を引数としてモジュールをロードして（ステップ１８
４）、現在のＣＰＵＩＤと動き補償を引数としてモジュ
ールをロードする（ステップ１８５）。

【００４７】また、図１５はメモリ不足時の処理のフロ
ーチャートである。図１５では現在のＣＰＵＩＤと可変
長復号化を引数としてモジュールをロードして（ステッ
プ１９１）、可変長復号化を実行する（ステップ１９
２）。実行後は可変長復号化で使用したデータやプログ
ラムのメモリを解放し（ステップ１９３）、現在のＣＰ
ＵＩＤと逆量子化を引数としてモジュールをロードして
（ステップ１９４）、逆量子化を実行する（ステップ１
９５）。実行後は逆量子化で使用したデータやプログラ
ムのメモリを解放し（ステップ１９６）、現在のＣＰＵ
ＩＤとＩＤＣＴを引数としてモジュールをロードして
（ステップ１９７）、ＩＤＣＴを実行する（ステップ１
９８）。実行後はＩＤＣＴで使用したデータやプログラ
ムのメモリを解放し（ステップ１９９）、現在のＣＰＵ
ＩＤとＲＧＢ変換を引数としてモジュールをロードして
（ステップ２００）、ＲＧＢ変換を実行する（ステップ
２０１）。実行後はＲＧＢ変換で使用したデータやプロ
グラムのメモリを解放し（ステップ２０２）、現在のＣ
ＰＵＩＤと動き補償を引数としてモジュールをロードし
て（ステップ２０３）、動き補償を実行する（ステップ
２０４）。実行後は動き補償で使用したデータやプログ
ラムのメモリを解放し（ステップ２０５）、全フレーム
が終了したかどうかを判断して（ステップ２０６）、そ
うでない場合はステップ１９１へ戻る。

【００４８】また、図１６は画像再生のフローチャート
である。図１６では可変長復号化手段６５で圧縮符号を
復号して（ステップ２１１）、ピクチャの種別を判断し
て（ステップ２１２）、各ピクチャ種別毎に処理する。

【００４９】Ｉピクチャの場合は逆量子化手段６６で逆
量子化して（ステップ２１３）、ＩＤＣＴ手段６７によ
り逆離散コサイン変換して参照フレーム部６９に格納し
て（ステップ２１４）、ＲＧＢ変換手段６８によりＹＵ
ＶからＲＧＢに変換する（ステップ２１５）。

【００５０】Ｐピクチャの場合は逆量子化手段６６で逆
量子化して（ステップ２１６）、ＩＤＣＴ手段６７によ
り逆離散コサイン変換して（ステップ２１７）、動き補
償手段７０により参照フレーム部６９の前フレームのブ
ロックに差分値を加算して参照フレーム部６９に格納し
て（ステップ２１８）、ＲＧＢ変換手段６８によりＹＵ
ＶからＲＧＢに変換する（ステップ２１９）。

【００５１】Ｂピクチャの場合は逆量子化手段６６で逆
量子化して（ステップ２２０）、ＩＤＣＴ手段６７によ
り逆離散コサイン変換して（ステップ２２１）、動き補
償手段７０により参照フレーム部６９の前／後フレーム
のブロックに差分値を加算して参照フレーム部６９に格
納して（ステップ２２２）、ＲＧＢ変換手段６８により
ＹＵＶからＲＧＢに変換する（ステップ２２３）。

【００５２】ＴＶ会議の画像を圧縮するときのように、
圧縮プログラムに一定の処理速度が要求されるような場
合、処理速度が異なる複数のＣＰＵでも要求される速度
の基準が満たされるように、使用するＣＰＵに最適なモ
ジュールをロードして、最適な圧縮プログラムを作成す
る必要がある。図１７はロードする最適モジュールのモ
ジュールテーブルの一例を示す図である。図１７では、
圧縮プログラムを構成するモジュールの中からＤＣＴモ
ジュール、量子化モジュール、可変長符号化モジュール
を例として示してある。特に、ＣＰＵの処理速度のみに
着目してロードするモジュールを分けた場合について示
した。

【００５３】まず、ＣＰＵが１６ビットＣＰＵか３２ビ
ットＣＰＵかで大きく二つに分けてあり、それぞれにつ
いて処理速度が本圧縮プログラムで設定した基準値の範
囲内にあるか、基準値より低速であるか、高速であるか
によって「標準」「低速」「高速」の三種類に分けてあ
る。

【００５４】ＣＰＵが１６ビットの場合の量子化モジュ
ールについて説明すると、ＣＰＵの処理速度が低速の場
合は打ち切り処理を行う量子化モジュールがロードさ
れ、高速の場合は高画質の処理を行う量子化モジュール
がロードされる。処理速度が基準値の範囲内にある場合
は、特別な処理を行わない基準のモジュールがロードさ
れる。

【００５５】同様にＤＣＴ、可変長符号化のモジュール
がＣＰＵの処理速度により選択され、それぞれロードさ
れる。ＣＰＵが３２ビットの場合も１６ビットの時と同
様に、３２ビット用に作成されたモジュールが選択さ
れ、ロードされる。例えば、ＣＰＵが３２ビットで処理
速度が高速である場合は、ＤＣＴは「高画質」モジュー
ルがロードされ、量子化は「高画質」モジュールがロー
ドされ、可変長符号化は「標準」モジュールがロードさ
れる。

【００５６】図１８に１６ビット用と３２ビット用の量
子化モジュールの一部を示した。ＣＰＵが３２ビットの
時、１６ビット用のプログラムを動作させると一般的に
は３２ビット用のプログラムに比べて動作速度が遅くな
る上に、図１８（Ａ）と図１８（Ｂ）とを比較すれば分
かるように、同じ演算を行う時の命令数も１６ビット用
のプログラムの方が多くなっている。また、１６ビット
のＣＰＵでは３２ビット用のプログラムは動作しないた
め、１６ビット用のプログラム以外は選択できない。こ
のようにＣＰＵの種類別にロードするモジュールを切り
替えるために各ＣＰＵに個別な値であるＣＰＵＩＤをチ
ェックして、現在使用しているＣＰＵに最適なモジュー
ルをロードする。

【００５７】また、ＣＰＵの処理速度が遅い場合の量子
化モジュールで行われる処理の打ち切りについて説明す
る。図１９は８×８のブロックを示している。ＤＣＴ処
理後のブロックは周波数成分に変換されており、図１８
に示すような順序に低周波成分から高周波成分へと並べ
られている。標準の量子化処理では６４個の成分全てに
対し乗除算を行う必要がある。しかし、高周波になれば
なるほど量子化後には値が０になる確率が高くなり、ま
た、高周波成分を省略しても人間の目には違いが確認し
にくいといった特徴があるため、低周波成分から高周波
成分へ量子化を行うときに、演算を６４ポイント全て行
わずに途中のポイントで演算を中止することによって処
理時間を短縮することができる。演算を中止した場合、
中止ポイント以降の部分は全て０で埋めて対応する。打
ち切るポイントはＣＰＵの処理速度に応じて任意に変化
させることも可能である。３２ポイントで量子化を打ち
切れば６４ポイント量子化を行う処理時間に比べて半分
の時間で処理が終了することになる。

【００５８】次に、ＣＰＵの処理速度が速い場合の量子
化モジュールの高画質処理について説明する。画像の質
を向上させるには計算精度を向上させる必要がある。こ
の一例を図２０に示した。例では（１８÷５）＋（８÷
３）の演算を行うプログラムが示されている。小数第一
位まで求めると６．３になる。図２０（Ａ）の例では、
００２２行目の除算で１８÷５＝３となり、００２６行
目の除算で８÷３＝２となり、これらを加算すると結果
は５となる。一方、高精度演算の例として図２０（Ｂ）
では、除算時に切り捨てられる影響を少なくするため、
００２２行目と００２７行目で割られる数を１６倍し
て、全ての演算が終わった後の結果を１６で除算してい
る。００２３行目の除算で１８×１６÷５＝５７とな
り、００２８行目の除算で８×１６÷３＝４２となる。
００３０行目で１６で割るため（５７＋４２）÷１６＝
６となる。結果を比較すると高精度演算を行った方が、
小数点以下を切り捨てる割合が少ないため誤差が少ない
ことが分かる。しかし除算を行う際に一度割られる数を
底上げして、演算後に戻す処理が入る分、演算量は増え
ている。このように、計算精度を上げて画質を向上させ
ると処理時間が増加するため、処理速度が速いＣＰＵ用
のモジュールとしてロードされる。

【００５９】また、メモリの使用可能量が少ない状態で
プログラムを動作させるためには、一度にロードするプ
ログラムやデータを少なくする必要がある。図２１に量
子化後に可変長符号化を行う例を示す。例えば、量子化
のためのデータテーブルが１ポイントあたり４バイト必
要で、全部で６４ポイントのテーブルを２つ使用すると
すると、９９２バイト必要になる。このテーブルをメモ
リ上にロードしたまま可変長符号化を行おうとして、符
号化テーブルをロードしようとしたがメモリ不足でロー
ドできない場合が起こる可能性がある場合、図２２に示
すように可変長符号化モジュールをメモリにロードする
前に量子化モジュールで使用した領域を解放して使用可
能メモリを増やす必要がある。これをモジュールロード
ごとに繰り返すことにより、少ないメモリでも圧縮プロ
グラムが動作するようになる。

【００６０】同様に、ＹＵＶ変換、動き補償、動き予
測、ＤＣＴ、可変長符号化、逆量子化、ＩＤＣＴを処理
することでＣＰＵの処理能力、メモリ量に応じた最適な
モジュールを選択し、動作させることができる。

【００６１】

【発明の効果】以上説明したように圧縮／再生プログラ
ムを構成するモジュールを複数作成しておくことで、使
用するＣＰＵの処理能力に最適なプログラムが動作する
ことになる。

【００６２】また、メモリ不足でプログラム全体をロー
ドできないようなプログラムであっても、モジュール単
位に順次メモリにロードし、使用後に廃棄を行うこと
で、動作させることができる。

【図面の簡単な説明】

【図１】ＭＰＥＧ方式に準拠した符号フォーマットの階
層図である。

【図２】従来の画像圧縮装置のブロック図である。

【図３】従来の画像再生装置のブロック図である。

【図４】本発明を適用した画像圧縮装置のブロック図で
ある。

【図５】本発明を適用した画像再生装置のブロック図で
ある。

【図６】最適プログラム作成時のデータの流れを示す図
である。

【図７】図４の装置制御手段の動作を説明するためのフ
ローチャートである。

【図８】画像圧縮処理を説明するためのフローチャート
である。

【図９】画像圧縮処理を説明するためのフローチャート
である。

【図１０】圧縮プログラム作成処理を説明するためのフ
ローチャートである。

【図１１】メモリ不足時の処理を説明するためのフロー
チャートである。

【図１２】メモリ不足時の処理を説明するためのフロー
チャートである。

【図１３】図５の装置制御手段の動作を説明するための
フローチャートである。

【図１４】再生プログラム作成処理を説明するためのフ
ローチャートである。

【図１５】メモリ不足時の処理を説明するためのフロー
チャートである。

【図１６】画像再生処理を説明するためのフローチャー
トである。

【図１７】モジュールテーブルの一例を示す図である。

【図１８】量子化プログラムモジュールの例を示す図で
ある。

【図１９】８×８ブロック内の画素の走査順序を示す図
である。

【図２０】量子化プログラムモジュール内の打ち切り処
理の例を示す図である。

【図２１】メモリ上にロードしたプログラムのマップの
例を示す図である。

【図２２】メモリ上にロードしたプログラムのマップの
例を示す図である。

【符号の説明】

４１装置制御手段４２ＣＰＵ４３キーボード４４画像圧縮手段４５ＹＵＶ変換手段４６動き検索手段４７動き予測手段４８ＤＣＴ手段４９量子化手段５０可変長符号化手段５１参照フレーム部５２動き補償手段５３ＩＤＣＴ手段５４逆量子化手段５５プログラム５６モジュールテーブル６１装置制御手段６２ＣＰＵ６３キーボード６４画像再生手段６５可変長復号化手段６６逆量子化手段６７ＩＤＣＴ手段６８ＲＧＢ変換手段６９参照フレーム部７０動き補償手段７１プログラム７２モジュールテーブル８１画像再生プログラム８２プログラム８３モジュールテーブル

Claims

【特許請求の範囲】

【請求項１】画像を小ブロックに分割して、各ブロッ
ク毎に直交変換を行い、その変換結果を量子化して、高
能率符号化されたフレーム内符号と、画像を小ブロック
に分割して、各ブロック毎に現フレームとその前後のフ
レームで最も差分が小さくなるようなブロックを検索し
て（動き検索）を行い、現フレームのブロックと動き検
索されたフレームのブロックで差分を取り、その差分ブ
ロックに直交変換を行い、その変換結果を量子化して、
高能率符号化されたフレーム間符号で画像を圧縮符号化
する画像処理装置において、多種類のＣＰＵ、またはＤ
ＳＰ毎の最適な画像圧縮プログラムのモジュールから現
在のＣＰＵ、またはＤＳＰに最適な画像圧縮プログラム
を作成する手段を備えたことを特徴とする画像処理装
置。
【請求項２】請求項１において、各処理単位ごとにメ
モリにロードし、実行し、メモリから廃棄を行い、これ
を繰り返すことで画像を圧縮することを特徴とする画像
処理装置。
【請求項３】画像を小ブロックに分割して、各ブロッ
ク毎に直交変換を行い、その変換結果を量子化して、高
能率符号化されたフレーム内符号と、画像を小ブロック
に分割して、各ブロック毎に現フレームとその前後のフ
レームで最も差分が小さくなるようなブロックを検索し
て（動き検索）を行い、現フレームのブロックと動き検
索されたフレームのブロックで差分を取り、その差分ブ
ロックにＤＣＴを行い、その変換結果を量子化して、高
能率符号化されたフレーム間符号で画像を圧縮符号化さ
れた画像を再生する画像処理装置において、多種類のＣ
ＰＵ、またはＤＳＰ毎の最適な画像再生プログラムのモ
ジュールから現在のＣＰＵ、またはＤＳＰに最適な画像
再生プログラムを作成する手段を備えたことを特徴とす
る画像処理装置。
【請求項４】請求項３において、各処理単位ごとにメ
モリにロードし、実行し、メモリから廃棄を行い、これ
を繰り返すことで画像を再生することを特徴とする画像
処理装置。