JPH08289290A

JPH08289290A - 画像再生装置

Info

Publication number: JPH08289290A
Application number: JP11374195A
Authority: JP
Inventors: Koji Numata; 考司沼田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1995-04-14
Filing date: 1995-04-14
Publication date: 1996-11-01
Anticipated expiration: 2014-03-08
Also published as: JP2865016B2

Abstract

(57)【要約】【目的】圧縮画像データを再生する画像再生装置に於
いて、使用しているCPUの性能にかかわらず、一定の再
生速度を保証でき、且つ使用しているCPU が高性能の場
合には高い画質を得られるようにする。【構成】 CPU 性能測定手段３は、復号化手段４，逆量
子化手段５，IDCT手段６等を実現しているCPU の性能を
測定する。CPU 性能測定手段３の測定結果が、CPU の性
能が十分高いことを示している場合は、付加情報読み取
り手段２は、圧縮縮小画像データに付加されている、画
像データの間引かれた部分を復元するための圧縮符号化
された付加情報を読み取り、CPU の性能が低いことを示
している場合は付加情報の読み取りは行わない。拡大手
段12は付加情報読み取り手段２が付加情報を読み取った
場合は、付加情報の伸張結果と縮小画像データとに基づ
いて画像データを復元し、付加情報を読み取らなかった
場合は、縮小画像データを拡大することにより画像デー
タを復元する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は圧縮符号化された圧縮画
像データをＣＰＵを用いて伸張する画像再生装置に関す
る。

【０００２】

【従来の技術】画像をディジタル化してＣＤ−ＲＯＭや
ハードディスク等の記憶媒体に格納したり、転送したり
する場合、単にディジタル化するだけではデータ量が膨
大なものとなるため、通常圧縮符号化した後、記憶した
り、転送したりする。

【０００３】ところで、圧縮符号化方式には種々のもの
があるが、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈ
ｉｃＥｘｐｅｒｔＧｒｏｕｐ）やＭＰＥＧ（Ｍｏｖ
ｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕ
ｐ）等の国際標準で採用されている離散コサイン変換
（ＤＣＴ）をベースにしたものが多く使用されている。
また、これに伴って圧縮符号化された圧縮画像データを
伸張する画像再生装置としては逆離散コサイン変換（Ｉ
ＤＣＴ）をベースにしたものが多く使用されている。

【０００４】図１０はＭＰＥＧに準拠した従来の画像再
生装置の構成例を示したブロック図であり、ヘッダ解析
手段１０１と、復号化手段１０２と、逆量子化手段１０
３と、ＩＤＣＴ手段１０４と、前フレーム部１０５と、
後フレーム部１０６と、前予測手段１０７と、両予測手
段１０８と、後予測手段１０９と、ビデオメモリ１１０
と、表示手段１１１とから構成されている。

【０００５】ヘッダ解析手段１０１は、階層構造を有す
る画像データを読み込んで、符号の種類等を解析する。
ＭＰＥＧには、フレーム内符号であるＩピクチャと、前
方向のみのフレーム間符号であるＰピクチャと、前後の
双方向のフレーム間符号であるＢピクチャの３種類が存
在する。

【０００６】ヘッダ解析手段１０１の解析結果がＩピク
チャである場合は、高能率圧縮された可変長のハフマン
符号を復号化手段１０２で復号し、その復号結果を逆量
子化手段１０３で逆量子化し、更に、逆量子化結果に対
してＩＤＣＴ手段１０４で逆離散コサイン変換を行うこ
とにより各画素の値を算出し、算出した各画素の値をビ
デオメモリ１１０に書き込むことにより、表示手段１１
１に伸張した画像を表示する。

【０００７】また、解析結果がＰピクチャである場合
は、高能率圧縮された可変長のハフマン符号を復号化手
段１０２で復号し、その復号結果を逆量子化手段１０３
で逆量子化し、更に、逆量子化結果に対してＩＤＣＴ手
段１０４で逆離散コサイン変換を行うことによりブロッ
クの差分を算出し、この差分と前予測手段１０７が前フ
レーム部１０５から取り出した前フレーム中の動き補償
したブロックとを加算し、加算結果をビデオメモリ１１
０に書き込むことにより、表示手段１１１に伸張した画
像を表示する。

【０００８】また、解析結果がＢピクチャである場合
は、高能率圧縮された可変長のハフマン符号を復号化手
段１０２で復号し、その復号結果を逆量子化手段１０３
で逆量子化し、更に、逆量子化結果に対してＩＤＣＴ手
段１０４で逆離散コサイン変換を行うことによりブロッ
クの差分を算出し、この差分と両予測手段１０８が前フ
レーム部１０５，後フレーム部１０６から取り出した前
フレーム，後フレーム中の動き補償したブロックの平均
値または後予測手段１０９が後フレーム部１０６から取
り出した後フレーム中の動き補償したブロックとを加算
し、加算結果をビデオメモリ１１０に書き込むことよ
り、表示手段１１１に伸張した画像を表示する。

【０００９】ところで、上述したような画像再生装置に
於いては、符号化手段１０２，逆量子化手段１０３，Ｉ
ＤＣＴ手段１０４等は、ＣＰＵを用いて構成するのが一
般的である。しかし、上記した各手段に於ける処理量は
非常に多いため、高速なＣＰＵでなければ、所定の速度
で画像を再生することはできない。

【００１０】そこで、低速のＣＰＵでも所定速度の再生
を可能にするため、画像データ中の一部の画素を間引く
ことにより生成した縮小画像データを圧縮符号化した圧
縮縮小画像データを画像再生装置への入力とするように
し、画像再生装置では、入力された圧縮縮小画像データ
に対して伸張処理を行い、伸張後の縮小画像データを元
の大きさに拡大するということが従来から行われている
（例えば、「ディジタル通信技術」，田中公男著，１９
８６年３月２５日第１刷，発行所東海大学出版会，
Ｐ６１）。

【００１１】

【発明が解決しようとする課題】上述した従来の技術に
よれば、復号化手段，逆量子化手段，ＩＤＣＴ手段等の
各手段の処理量が少なくなるため、低速なＣＰＵでも所
定速度の再生が可能になるが、画素の間引きが行われた
縮小画像データに基づいて画像データを再生するように
しているため、画質が劣化するという問題がある。

【００１２】このような問題は、性能の低い低速のＣＰ
Ｕを使用している画像再生装置の再生速度を一定の再生
速度にするためには仕方がないが、上述した従来の技術
では、性能の高い高速のＣＰＵを使用している画像再生
装置に於いても画質が劣化してしまう。

【００１３】そこで、本発明の目的は、使用しているＣ
ＰＵの性能にかかわらず、一定の再生速度を保証でき、
且つ使用しているＣＰＵが高性能の場合には高い画質を
得ることができる画像再生装置を提供することにある。

【００１４】

【課題を解決するための手段】

【００１５】本発明は上記目的を達成するため、圧縮符
号化された圧縮画像データをＣＰＵを用いて伸張する画
像再生装置に於いて、前記ＣＰＵの性能を測定するＣＰ
Ｕ性能測定手段と、画像データから一部の画素を間引く
ことにより構成した縮小画像データを圧縮符号化した圧
縮縮小画像データに付加されている、前記画像データ中
の間引きの対象となった部分を復元するための圧縮符号
化された付加情報を読み取るか否かを前記ＣＰＵ性能測
定手段の測定結果によって決定する付加情報読み取り手
段と、拡大手段とを備え、前記ＣＰＵは、前記圧縮縮小
画像データを伸張すると共に、前記付加情報読み取り手
段が読み取った付加情報を伸張し、前記拡大手段は、前
記付加情報読み取り手段が付加情報を読み取らなかった
場合は、前記ＣＰＵが前記圧縮縮小画像データを伸張す
ることにより生成した縮小画像データを前記画像データ
を同じ大きさに拡大することにより前記画像データを復
元し、前記付加情報読み取り手段が付加情報を読み取っ
た場合は、前記ＣＰＵが前記圧縮縮小画像データを伸張
することにより生成した縮小画像データと前記ＣＰＵが
前記付加情報に対して行った伸張結果とに基づいて前記
画像データを復元するようにしたものである。

【００１６】

【作用】圧縮符号化された圧縮画像データを伸張するＣ
ＰＵの性能がＣＰＵ性能測定手段によって測定される。
付加情報読み取り手段では、ＣＰＵ測定手段で測定した
ＣＰＵの性能が予め定められている性能よりも高い場合
は、付加情報を読み取り、低い場合は付加情報の読み取
りを行わない。ＣＰＵでは、圧縮縮小画像データを伸張
すると共に、付加情報読み取り手段が読み取った付加情
報を伸張する。拡大手段では、付加情報読み取り手段が
付加情報を読み取らなかった場合は、ＣＰＵが伸張した
縮小画像データを画像データと同じ大きさに拡大するこ
とにより画像データを復元し、付加情報読み取り手段が
付加情報を読み取った場合はＣＰＵが伸張した縮小画像
データとＣＰＵが付加情報に対して行った伸張結果とに
基づいて画像データを復元する。

【００１７】

【実施例】次に本発明の実施例について図面を参照して
詳細に説明する。

【００１８】図１は本発明の画像再生装置の実施例を示
すブロック図であり、ＭＰＥＧに準拠した場合について
のものである。

【００１９】本実施例の画像再生装置は、ヘッダ解析手
段１と、付加情報読み取り手段２と、ＣＰＵ性能測定手
段３と、復号化手段４と、逆量子化手段５と、ＩＤＣＴ
手段６と、前予測手段７と、両予測手段８と、後予測手
段９と、前フレーム部１０と、後フレーム部１１と、拡
大手段１２と、ビデオメモリ１３と、表示手段１４とか
ら構成される。

【００２０】ＣＰＵ性能測定手段３は、画像再生装置の
電源投入時（イニシャル時）、符号化手段４，逆量子化
手段５，ＩＤＣＴ手段６等を実現するＣＰＵの性能を測
定する。図２はＣＰＵ性能測定手段３の処理例を示す流
れ図であり、ＣＰＵ性能測定手段３は電源投入時、先ず
ステップＳ２０１でカウンタＣに「０」をセットし、次
のステップＳ２０２でタイマをセットする。その後、ス
テップＳ２０３〜Ｓ２０５のループで一定時間以内に何
回ステップＳ２０３の加減剰余の処理を行えるかをカウ
ンタＣを用いてカウントし、そのカウント値ＣｔをＣＰ
Ｕの性能とする。当然のことであるが、カウント値Ｃｔ
が大きい程、ＣＰＵの性能は高いことになる。

【００２１】ヘッダ解析手段１，付加情報読み取り手段
２には、ＭＰＥＧに準拠した階層構造の画像データが入
力される。

【００２２】図３はＭＰＥＧに準拠した画像データの階
層構造を示す図である。一番上の階層がビデオ・シーケ
ンスであり、１個以上のＧＯＰ（ＧｒｏｕｐＯｆＰ
ｉｃｔｕｒｅ）から構成される。ＧＯＰは、１個以上の
ピクチャから構成され、１つのピクチャが１枚の画像を
示している。ピクチャは、任意の領域に分割された一個
以上のスライスから構成される。スライスは、左から右
へ及び上から下への順序で並んだ複数のマクロブロック
から構成される。マクロブロックは、それぞれが８×８
画素の輝度成分（Ｙ１，Ｙ２，Ｙ３，Ｙ４）のブロック
とそれぞれが８×８画素の色差成分（Ｃｂ，Ｃｒ）のブ
ロックとの計６個のブロックから構成される。８×８画
素のブロックが符号化の最小単位となる。

【００２３】図４はＭＰＥＧに準拠した画像データのフ
ォーマットを示す図である。ＭＰＥＧの画像データは、
シーケンスヘッダＳｅｑと、ＧｏｐヘッダＧと、ピクチ
ャヘッダＰｉｃｔｕｒｅと、スライスヘッダＳｌｉｃｅ
と、マクロブロックヘッダＭａｃｒｏと、ブロックの符
号Ｂｌｏｃｋとから構成される。

【００２４】ピクチャヘッダＰｉｃｔｕｒｅは、そのス
タートコードＰｉｃＳｔａｒｔと、表示順を示すコード
ＴｅｍｐＲｅｆと、ピクチャの種類を示すコードＰｉｃ
Ｃｏｄｅと、ユーザデータの存在を示すコードＵｓｒＳ
ｔａｒｔと、ユーザデータＵｓｅｒＤａｔａとから構成
される。

【００２５】ユーザデータＵｓｅｒＤａｔａは、ユーザ
が自由に定義できるものであり、本実施例では付加情報
が追加されていることを示す識別子“Ｃｕｓｔｏｍ”
と、付加情報の種類を示すフラグｃｆｌｇと、縮小画像
データが画像データを何分割したものであるのかを示す
分割数ｃｎｕｍと、複数の付加情報Ｃｏｄｅ１〜Ｃｏｄ
ｅＮが設定される。

【００２６】付加情報の種類を示すフラグｃｆｌｇは、
最下位ビットＢ０のみが“１”の場合は付加情報の種類
がＩピクチャであることを示し、次のビットＢ１のみが
“１”の場合は付加情報の種類がＰピクチャであること
を示し、ビットＢ２のみが“１”の場合は付加情報の種
類がＢピクチャであることを示し、ビットＢ３のみが
“１”の場合は付加情報の種類がピクチャデータと縮小
画像データとの差分を圧縮符号化したものであることを
示す。

【００２７】図５は分割数ｃｎｕｍ＝４の場合の付加情
報及びピクチャデータを説明するための図である。画像
データを２×２画素のブロックＢ１１，Ｂ１２，…に分
割し、各ブロックＢ１１，Ｂ１２…中の左上の画素を集
めることにより構成した縮小画像データＡを圧縮符号化
した圧縮縮小画像データがピクチャデータである。ま
た、各ブロックＢ１１，Ｂ１２…中の右上の画素を集め
ることにより構成した縮小画像データＢを圧縮符号化し
たものが付加情報Ｃｏｄｅ１、左下の画素を集めること
により構成した縮小画像データＣを圧縮符号化したもの
が付加情報Ｃｏｄｅ２、右下の画素を集めることにより
構成した縮小画像データＤを圧縮符号化したものが付加
情報Ｃｏｄｅ３である。尚、以下の説明に於いては、分
割数ｃｎｕｍ＝４であるとする。

【００２８】ヘッダ解析手段１は、画像データの入力
時、ピクチャデータの種類や付加情報の種類等を解析す
る。

【００２９】付加情報読み取り手段２は、画像データの
入力時、ＣＰＵ性能測定手段３の測定結果がＣＰＵの性
能が十分高いことを示している場合、即ちＣｔ≧４αで
ある場合は、付加情報Ｃｏｄｅ１，Ｃｏｄｅ２，Ｃｏｄ
ｅ３を読み取ってそれらを順次復号化手段４に出力し、
その後、ヘッダ解析手段１にピクチャデータの出力を指
示する。ここで、αは分割数ｃｎｕｍによって決まる値
であり、上記分割数で分割された１つの縮小画像データ
を伸張するために必要とされるＣＰＵ性能の値を示す。
また、ＣＰＵ性能測定手段３の測定結果がＣＰＵの性能
が低いことを示している場合、即ち２α＞Ｃｔの場合
は、付加情報の読み取りは行わずに、ヘッダ解析手段１
に対してピクチャデータの出力を指示する。また、ＣＰ
Ｕ性能測定手段３の測定結果がＣＰＵの性能が上記した
２つの場合の中間であることを示している場合、即ち４
α＞Ｃｔ≧２αの場合は、付加情報Ｃｏｄｅ１，Ｃｏｄ
ｅ２，Ｃｏｄｅ３の内の付加情報Ｃｏｄｅ１のみを読み
取ってそれを復号化手段４に出力し、その後、ヘッダ解
析手段１にピクチャデータの出力を指示する。

【００３０】今、例えば、ＣＰＵ性能測定手段３の測定
結果がＣｔ≧４αであり、付加情報読み取り手段２から
付加情報Ｃｏｄｅ１，Ｃｏｄｅ２，Ｃｏｄｅ３が出力さ
れた場合は、ヘッダ解析手段１で解析された付加情報の
種類に応じて以下の処理が行われる。

【００３１】Ｉピクチャであると解析された場合：

【００３２】付加情報読み取り手段２から出力された付
加情報Ｃｏｄｅ１，Ｃｏｄｅ２，Ｃｏｄｅ３が復号化手
段４で復号され、復号結果が逆量子化手段５で逆量子化
され、逆量子化結果がＩＤＣＴ手段６で逆離散コサイン
変換され、ＩＤＣＴ手段６の処理結果（付加情報Ｃｏｄ
ｅ１，Ｃｏｄｅ２，Ｃｏｄｅ３を伸張した縮小画像デー
タＢ，Ｃ，Ｄ）が拡大手段１２に渡される。

【００３３】その後、ピクチャデータの出力指示を受け
たヘッダ解析手段１から縮小画像データＡに対応するピ
クチャデータが出力される。このピクチャデータに対し
ても上記したと同様の処理が行われ、ピクチャデータを
伸張した縮小画像データＡが拡大手段１２に渡される。

【００３４】拡大手段１２は、付加情報Ｃｏｄｅ１に対
応する縮小画像データＢが渡されると、図６に示すよう
に、縮小画像データＢ中の各画素の画素値ｂ０，ｂ１，
…を、ビデオメモリ１３を２×２画素のブロックに分割
した際の各ブロックの右上の画素位置に書き込む。次い
で、付加情報Ｃｏｄｅ２に対応する縮小画像データＣが
渡されると、縮小画像データＣ中の各画素の画素値ｃ
０，ｃ１，…をビデオメモリ１３中の各ブロックの左下
の画素位置に書き込む。その後、付加情報Ｃｏｄｅ３に
対応する縮小画像データＤが渡されると、縮小画像デー
タＤ中の各画素の画素値ｄ０，ｄ１…をビデオメモリ１
３中の各ブロックの右下の画素位置に書き込む。更に、
ピクチャデータに対応する縮小画像データＡが渡される
と、縮小画像データＡ中の各画素の画素値ａ０，ａ１，
…をビデオメモリ１３中の各ブロックの左上の画素位置
に書き込む。これにより、１フレーム分の伸張が完了
し、再生画像が表示手段１４に表示される。

【００３５】Ｐピクチャであると解析された場合：

【００３６】付加情報読み取り手段２から出力された付
加情報Ｃｏｄｅ１，Ｃｏｄｅ２，Ｃｏｄｅ３が復号化手
段４で復号され、復号結果が逆量子化手段５で逆量子化
され、逆量子化結果がＩＤＣＴ手段６で逆離散コサイン
変換され、ブロックの差分が算出される。更に、この差
分と前予測手段７が前フレーム部１０から取り出した各
縮小画像データＢ，Ｃ，Ｄに対応する前フレーム中の動
き補償したブロックとを加算し、付加情報Ｃｏｄｅ１，
Ｃｏｄｅ２，Ｃｏｄｅ３と対応する縮小画像データＢ，
Ｃ，Ｄを復元する。この復元された縮小画像データＢ，
Ｃ，Ｄは、拡大手段１２に渡される。尚、前フレーム部
１０には縮小画像データＡに対応する前フレームも格納
されている。

【００３７】その後、ピクチャデータの出力指示を受け
たヘッダ解析手段１から縮小画像データＡに対応するピ
クチャデータが出力される。このピクチャデータに対し
ても上記したと同様の処理が行われ、ピクチャデータを
伸張した縮小画像データＡが拡大手段１２に渡される。

【００３８】拡大手段１２は、渡された縮小画像データ
Ａ，Ｂ，Ｃ，Ｄに対して前述した図６に示す処理を行
う。

【００３９】Ｂピクチャと解析された場合：

【００４０】付加情報読み取り手段２から出力された付
加情報Ｃｏｄｅ１，Ｃｏｄｅ２，Ｃｏｄｅ３が復号化手
段４で復号され、復号結果が逆量子化手段５で逆量子化
され、逆量子化結果がＩＤＣＴ手段６で逆離散コサイン
変換され、ブロックの差分が算出される。更に、この差
分と両予測手段８が前フレーム部１０，後フレーム部１
１から取り出した縮小画像データＢ，Ｃ，Ｄの前，後フ
レーム中の動き補償したブロックの平均値または後予測
手段９が後フレーム部１１から取り出した縮小画像デー
タＢ，Ｃ，Ｄの後フレーム中の動き補償したブロックと
を加算し、付加情報Ｃｏｄｅ１，Ｃｏｄｅ２，Ｃｏｄｅ
３に対応する縮小画像データＢ，Ｃ，Ｄを復元する。こ
の復元された縮小画像データは、拡大手段１２に渡され
る。

【００４１】その後、ピクチャデータの出力指示を受け
たヘッダ解析手段１から縮小画像データＡに対応するピ
クチャデータが出力される。このピクチャデータに対し
ても上記したと同様の処理が行われ、ピクチャデータを
伸張した縮小画像データＡが拡大手段１２に渡される。

【００４２】拡大手段１２は、渡された縮小画像データ
Ａ，Ｂ，Ｃ，Ｄに対して前述した図６に示す処理を行
う。

【００４３】ピクチャデータとの差分を圧縮符号化した
ものであると解析された場合：

【００４４】付加情報読み取り手段２から出力された付
加情報Ｃｏｄｅ１，Ｃｏｄｅ２，Ｃｏｄｅ３が復号化手
段４で復号され、復号結果が逆量子化手段５で逆量子化
され、逆量子化結果がＩＤＣＴ手段６で逆離散コサイン
変換され、ＩＤＣＴ手段６の処理結果（縮小画像データ
Ａと縮小画像データＢとの差分，縮小画像データＡと縮
小画像データＣとの差分，縮小画像データＡと縮小画像
データＤとの差分）が拡大手段１２に渡される。

【００４５】その後、ピクチャデータの出力指示を受け
たヘッダ解析手段１から縮小画像データＡに対応するピ
クチャデータが出力される。このピクチャデータに対し
ても上記したと同様の処理が行われ、ピクチャデータを
伸張した縮小画像データＡが拡大手段１２に渡される。

【００４６】拡大手段１２は、ピクチャデータに対応す
る縮小画像データＡが渡されると、図６に示すように、
縮小画像データＡ中の各画素の画素値ａ０，ａ１，…を
ビデオメモリ１３中の各ブロックの左上の画素位置に書
き込む。

【００４７】次いで、拡大手段１２は、縮小画像データ
Ａに付加情報Ｃｏｄｅ１（縮小画像データＡと縮小画像
データＢとの差分）を加算することにより縮小画像デー
タＢを復元し、縮小画像データＢ中の各画素の画素値ｂ
０，ｂ１，…をビデオメモリ１３中の各ブロックの右上
の画素位置に書き込む。

【００４８】その後、拡大手段１２は、縮小画像データ
Ａに付加情報Ｃｏｄｅ２（縮小画像データＡと縮小画像
データＣとの差分）を加算することにより縮小画像デー
タＣを復元し、縮小画像データＣ中の各画素の画素値ｃ
0 ，ｃ１，…をビデオメモリ１３中の各ブロックの左下
の画素位置に書き込む。

【００４９】更に、拡大手段１２は、縮小画像データＡ
に付加情報Ｃｏｄｅ３（縮小画像データＡと縮小画像デ
ータＤとの差分）を加算することにより縮小画像データ
Ｄを復元し、縮小画像データＤ中の各画素の画素値ｄ
１，ｄ２，…をビデオメモリ１３中の各ブロックの右下
の画素位置に書き込む。これにより、１フレーム分の伸
張が完了し、再生画像が表示手段１４に表示される。

【００５０】また、例えば、ＣＰＵ性能測定手段３の測
定結果が４α＞Ｃｔ≧２αであり、付加情報読み取り手
段２から付加情報Ｃｏｄｅ１のみが出力された場合は、
ヘッダ解析手段１で解析された付加情報の種類に応じて
以下の処理が行われる。

【００５１】Ｉピクチャであると解析された場合：

【００５２】付加情報読み取り手段２から出力された付
加情報Ｃｏｄｅ１が復号化手段４で復号され、復号結果
が逆量子化手段５で逆量子化され、逆量子化結果がＩＤ
ＣＴ手段６で逆離散コサイン変換され、ＩＤＣＴ手段６
の処理結果（付加情報Ｃｏｄｅ１を伸張した縮小画像デ
ータＢ）が拡大手段１２に渡される。

【００５３】その後、ピクチャデータの出力指示を受け
たヘッダ解析手段１から縮小画像データＡに対応するピ
クチャデータが出力される。このピクチャデータに対し
ても上記したと同様の処理が行われ、ピクチャデータを
伸張した縮小画像データＡが拡大手段１２に渡される。

【００５４】拡大手段１２は、付加情報Ｃｏｄｅ１に対
応する縮小画像データＢが渡されると、図７（Ａ）また
は（Ｂ）に示すように、縮小画像データＢ中の各画素の
画素値ｂ０，ｂ１，…をビデオメモリ１３を２×２画素
のブロックに分割した際の各ブロックの右上の画素位置
に書き込む。

【００５５】次いで、ピクチャデータに対応する縮小画
像データＡが渡されると、縮小画像データＡ中の各画素
の画素ａ０，ａ１，…をビデオメモリ１３中の各ブロッ
クの左上の画素位置に書き込む。

【００５６】以上の処理では、まだ、ビデオメモリ１３
中の各ブロックの左下，右下の画素位置に画素値が書き
込まれていないので、拡大手段１２は、例えば、図７
（Ａ）に示すように、上下の画素値の平均値ｃ０’，ｃ
１’，…、ｄ０’，ｄ１’，…を求め、それを各ブロッ
クの左下，右下の画素位置に書き込むか、または、図７
（Ｂ）に示すように、各ブロックの左上，右上の画素位
置の画素値ａ０，ａ１，…、ｂ０，ｂ１，…を各ブロッ
クの左下，右下の画素位置に書き込む。これにより、１
フレーム分の伸張が完了し、再生画像が表示手段１４に
表示される。

【００５７】Ｐピクチャであると解析された場合：

【００５８】付加情報読み取り手段２から出力された付
加情報Ｃｏｄｅ１が復号化手段４で復号され、復号結果
が逆量子化手段５で逆量子化され、逆量子化結果がＩＤ
ＣＴ手段６で逆離散コサイン変換され、ブロックの差分
が算出される。更に、この差分と前予測手段７が前フレ
ーム部１０から取り出した各縮小画像データＢに対応す
る前フレーム中の動き補償したブロックとを加算し、付
加情報Ｃｏｄｅ１と対応する縮小画像データＢを復元す
る。この復元された縮小画像データＢは、拡大手段１２
に渡される。

【００５９】その後、ピクチャデータの出力指示を受け
たヘッダ解析手段１から縮小画像データＡに対応するピ
クチャデータが出力される。このピクチャデータに対し
ても上記したと同様の処理が行われ、ピクチャデータを
伸張した縮小画像データＡが拡大手段１２に渡される。

【００６０】拡大手段１２は、渡された縮小画像データ
Ａ，Ｂに対して前述した図７に示す処理を行う。

【００６１】Ｂピクチャと解析された場合：

【００６２】付加情報読み取り手段２から出力された付
加情報Ｃｏｄｅ１が復号化手段４で復号され、復号結果
が逆量子化手段５で逆量子化され、逆量子化結果がＩＤ
ＣＴ手段６で逆離散コサイン変換され、ブロックの差分
が算出される。更に、この差分と両予測手段８が前フレ
ーム部１０，後フレーム部１１から取り出した縮小画像
データＢの前，後フレーム中の動き補償したブロックの
平均値または後予測手段９が後フレーム部１１から取り
出した縮小画像データＢの後フレーム中の動き補償した
ブロックとを加算し、付加情報Ｃｏｄｅ１に対応する縮
小画像データＢを復元する。この復元された縮小画像デ
ータＢは、拡大手段１２に渡される。

【００６３】その後、ピクチャデータの出力指示を受け
たヘッダ解析手段１から縮小画像データＡに対応するピ
クチャデータが出力される。このピクチャデータに対し
ても上記したと同様の処理が行われ、ピクチャデータを
伸張した縮小画像データＡが拡大手段１２に渡される。

【００６４】拡大手段１２は、渡された縮小画像データ
Ａ，Ｂに対して前述した図７に示す処理を行う。

【００６５】ピクチャデータとの差分を圧縮符号化した
ものであると解析された場合：

【００６６】付加情報読み取り手段２から出力された付
加情報Ｃｏｄｅ１が復号化手段４で復号され、復号結果
が逆量子化手段５で逆量子化され、逆量子化結果がＩＤ
ＣＴ手段６で逆離散コサイン変換され、ＩＤＣＴ手段６
の処理結果（縮小画像データＡと縮小画像データＢとの
差分）が拡大手段１２に渡される。

【００６７】その後、ピクチャデータの出力指示を受け
たヘッダ解析手段１から縮小画像データＡに対応するピ
クチャデータが出力される。このピクチャデータに対し
ても上記したと同様の処理が行われ、ピクチャデータを
伸張した縮小画像データＡが拡大手段１２に渡される。

【００６８】拡大手段１２は、ピクチャデータに対応す
る縮小画像データＡが渡されると、図７（Ａ）または図
７（Ｂ）に示すように、縮小画像データＡ中の各画素の
画素値ａ０，ａ１，…をビデオメモリ１３中の各ブロッ
クの左上の画素位置に書き込む。

【００６９】次いで、拡大手段１２は、縮小画像データ
Ａに付加情報Ｃｏｄｅ１（縮小画像データＡと縮小画像
データＢとの差分）を加算することにより縮小画像デー
タＢを復元し、縮小画像データＢ中の各画素の画素値ｂ
０，ｂ１，…をビデオメモリ１３中の各ブロックの右上
の画素位置に書き込む。

【００７０】その後、拡大手段１２は、図７（Ａ）また
は（Ｂ）に示すように、ビデオメモリ１３の各ブロック
の左下，右下の画素位置に、上下の画素の画素値の平均
値または上側の画素の画素値を書き込む。これにより、
１フレーム分の伸張が完了し、再生画像が表示手段１４
に表示される。

【００７１】また、例えば、ＣＰＵ性能測定手段３の測
定結果が２α＞Ｃｔであり、付加情報読み取り手段２か
ら付加情報が出力されなかった場合は、ヘッダ解析手段
１で解析された付加情報の種類に応じて以下の動作が行
われる。

【００７２】Ｉピクチャであると解析された場合：

【００７３】ヘッダ解析手段１から出力された縮小画像
データＡに対応するピクチャデータが復号化手段４で復
号され、復号結果が逆量子化手段５で逆量子化され、逆
量子化結果がＩＤＣＴ手段６で逆離散コサイン変換さ
れ、ＩＤＣＴ手段６の処理結果（ピクチャデータを伸張
した縮小画像データＡ）が拡大手段１２に渡される。

【００７４】拡大手段１２は、ピクチャデータに対応す
る縮小画像データＡが渡されると、図８（Ａ）または図
８（Ｂ）に示すように、縮小画像データＡ中の各画素の
画素値ａ０，ａ１，…をビデオメモリ１３を２×２画素
のブロックに分割した際の各ブロックの左上の画素位置
に書き込む。

【００７５】以上の処理では、まだ、ビデオメモリ１３
中の各ブロックの右上，左下，右下の画素位置に画素値
が書き込まれていないので、拡大手段１２は、例えば、
図８（Ａ）に示すように、各ブロックの右上の画素位置
については左右の画素の画素値の平均値ｂ０’，ｂ１’
…を、各ブロックの左下，右下の画素位置については上
下の画素の画素値の平均値ｃ０’，ｃ１’，…、ｄ
０’，ｄ１’，…を求め、それらを各ブロックの右上，
左下，右下の画素位置に書き込むか、または、図８
（Ｂ）に示すように、各ブロックの左上の画素位置の画
素値ａ０，ａ１，…を右上，左下，右下の画素位置に書
き込む。これにより、１フレーム分の伸張が完了し、再
生画像が表示手段１４に表示される。

【００７６】Ｐピクチャであると解析された場合：

【００７７】ヘッダ解析手段１から出力された縮小画像
データＡに対応するピクチャデータが復号化手段４で復
号され、復号結果が逆量子化手段５で逆量子化され、逆
量子化結果がＩＤＣＴ手段６で逆離散コサイン変換さ
れ、ブロックの差分が算出される。更に、この差分と前
予測手段７が前フレーム部１０から取り出した縮小画像
データＡに対応する前フレーム中の動き補償したブロッ
クとを加算し、縮小画像データＡを復元する。この復元
された縮小画像データＡは、拡大手段１２に渡される。

【００７８】拡大手段１２は、渡された縮小画像データ
Ａに対して前述した図７（Ａ）または（Ｂ）に示した処
理を行う。

【００７９】Ｂピクチャと解析された場合：

【００８０】ヘッダ解析手段１から出力された縮小画像
データＡに対応するピクチャデータが復号化手段４で復
号され、復号結果が逆量子化手段５で逆量子化され、逆
量子化結果がＩＤＣＴ手段６で逆離散コサイン変換さ
れ、ブロックの差分が算出される。更に、この差分と両
予測手段８が前フレーム部１０，後フレーム部１１から
取り出した縮小画像データＡの前，後フレーム中の動き
補償したブロックの平均値または後予測手段９が後フレ
ーム部１１から取り出した縮小画像データＡのフレーム
中の動き補償したブロックとを加算し、縮小画像データ
Ａを復元する。この復元された縮小画像データＡは、拡
大手段１２に渡される。

【００８１】拡大手段１２は、渡された縮小画像データ
Ａに対して前述した図８（Ａ）または（Ｂ）に示す処理
を行う。

【００８２】ピクチャデータとの差分を圧縮符号化した
ものであると解析された場合：

【００８３】ヘッダ解析手段１から出力された縮小画像
データＡに対応するピクチャデータが復号化手段４で復
号され、復号結果が逆量子化手段５で逆量子化され、逆
量子化結果がＩＤＣＴ手段６で逆離散コサイン変換さ
れ、ＩＤＣＴ手段６の処理結果（縮小画像データＡ）が
拡大手段１２に渡される。

【００８４】拡大手段１２は、渡された縮小画像データ
Ａに対して前述した図８（Ａ）または（Ｂ）に示す処理
を行う。

【００８５】尚、上述した実施例に於いては、ＣＰＵ性
能測定手段３の測定結果がＣｔ≧４αの場合は全ての付
加情報Ｃｏｄｅ１，Ｃｏｄｅ２，Ｃｏｄｅ３を付加情報
読み取り手段２が読み取り、４α＞Ｃｔ≧２αの場合は
一部の付加情報Ｃｏｄｅ１のみを付加情報読み取り手段
２が読み取り、２α＞Ｃｔの場合は付加情報の読み取り
を行わないようにしたが、Ｃｔ≧４αの場合は全ての付
加情報Ｃｏｄｅ１，Ｃｏｄｅ２，Ｃｏｄｅ３を読み取
り、それ以外の場合、即ちＣｔ＜４αの場合は付加情報
の読み取りを行わないようにすることもできる。また、
実施例では、付加情報をピクチャヘッダのユーザデータ
に追加するようにしたが、シーケンスヘッダ，ＧＯＰヘ
ッダ，ピクチャヘッダ，スライスヘッダの何れかのヘッ
ダの拡張領域として定義されている拡張データやユーザ
データに追加するようにしても良い。また、上述した実
施例では、拡大手段１２で拡大した画像データを表示用
のビデオメモリ１３に書き込むようにしたが、ハードデ
ィスクやメモリ等に蓄積するようにしても良い。

【００８６】図９は図４に示すようなＭＰＥＧに準拠し
たフォーマットの画像データを生成する画像圧縮装置の
構成例を示すブロック図であり、画像データが格納され
る画像ファイル２１と、縮小画像データ生成手段２２
と、差分算出手段２３と、ＭＰＥＧに準拠した符号化手
段２４と、ヘッダ情報付加手段２５と、図４に示すよう
なフォーマットの画像データが格納される圧縮符号ファ
イル２６と、キーボード等の入力手段２７とから構成さ
れている。

【００８７】ユーザは、図４に示すようなＭＰＥＧに準
拠したフォーマットの画像データを生成する場合、ユー
ザデータを、ピクチャデータとの差分を圧縮符号化した
ものにするのか否かの指示を入力手段２７から入力する
と共に、画像データを何個の縮小画像データに分割する
のかを示す分割数（この例では４とする）を入力手段２
７から入力する。

【００８８】先ず、ユーザによってピクチャデータとの
差分を圧縮符号化したものをユーザデータにすることが
指示されていない場合の動作を説明する。

【００８９】縮小画像データ生成手段２２は、画像ファ
イル２１から画像データを１フレームずつ取り出し、取
り出した画像データに対して以下の処理を行う。

【００９０】先ず、図５に示すように、画像ファイル２
１から取り出した１フレーム分の画像データを２×２画
素のブロックＢ１１，Ｂ１２，…に分割し、各ブロック
Ｂ１１，Ｂ１２，…中の左上の画素を集めることによ
り、画像データを１／４に縮小した縮小画像データＡを
生成し、生成した縮小画像データＡを符号化手段２４に
出力する。縮小画像データＡを出力する際、縮小画像デ
ータ生成手段２２は、ヘッダ情報付加手段２５に対して
符号化手段２４から出力される縮小画像データＡに対応
する圧縮符号をピクチャデータとすることを指示する。

【００９１】その後、縮小画像データ生成手段２２は、
ブロックＢ１１，Ｂ１２，…中の右上の画素，左下の画
素，右下の画素をそれぞれ集めることにより画像データ
を１／４に縮小した縮小画像データＢ，Ｃ，Ｄを順次生
成し、生成した縮小画像データＢ，Ｃ，Ｄを順次符号化
手段２４に出力する。縮小画像データＢ，Ｃ，Ｄを出力
する際、縮小画像データ生成手段２２は、ヘッダ情報付
加手段２５に対して符号化手段２４から出力される圧縮
符号をユーザデータとすることを指示する。

【００９２】符号化手段２４は、縮小画像データ生成手
段２２から縮小画像データＡが出力されると、縮小画像
データＡを圧縮符号化してヘッダ情報付加手段２５に出
力する。また、符号化手段２４は、動き補償を行うため
に必要となる動きベクトル，マクロブロックのタイプ，
量子化特性指定情報，量子化変換係数等も出力する。

【００９３】ヘッダ情報付加手段２５は、符号化手段２
４から縮小画像データＡの圧縮符号が出力されると、そ
れをピクチャデータとすると共に、付加情報のフラグＣ
ｕｓｔｏｍや符号化手段２４から出力される各種情報や
入力手段２７から入力される分割数等をピクチャデータ
に付加する。

【００９４】また、符号化手段２４は、縮小画像データ
生成手段２２から縮小画像データＢ，Ｃ，Ｄが出力され
た場合も同様の処理を行う。

【００９５】ヘッダ情報付加手段２５は、符号化手段２
４から縮小画像データＢ，Ｃ，Ｄに対応する圧縮符号が
出力されると、それらを図５に示すように付加情報Ｃｏ
ｄｅ１，Ｃｏｄｅ２，Ｃｏｄｅ３とする。

【００９６】そして、図４に示すようなフォーマットを
有する画像データを生成すると、それを圧縮符号ファイ
ル２６に格納する。

【００９７】次に、ユーザによってピクチャデータとの
差分を圧縮符号化したものをユーザデータにすることが
指示されている場合の動作を説明する。

【００９８】先ず、図５に示すように、画像ファイル２
１から取り出した１フレーム分の画像データを２×２画
素のブロックＢ１１，Ｂ１２，…に分割し、各ブロック
Ｂ１１，Ｂ１２，…中の左上の画素を集めることによ
り、画像データを１／４に縮小した縮小画像データＡを
生成し、生成した縮小画像データＡを符号化手段２４及
び差分算出手段２３に出力する。縮小画像データＡを出
力する際、縮小画像データ生成手段２２は、ヘッダ情報
付加手段２５に対して符号化手段２４から出力される縮
小画像データＡに対応する圧縮符号をピクチャデータと
することを指示する。

【００９９】その後、縮小画像データ生成手段２２は、
ブロックＢ１１，Ｂ１２，…中の右上の画素，左下の画
素，右下の画素をそれぞれ集めることにより画像データ
を１／４に縮小した縮小画像データＢ，Ｃ，Ｄを順次生
成し、生成した縮小画像データＢ，Ｃ，Ｄを順次差分算
出手段２３に出力する。

【０１００】符号化手段２４は、縮小画像データ生成手
段２２から縮小画像データＡが出力されると、縮小画像
データＡを圧縮符号化してヘッダ情報付加手段２５に出
力する。また、符号化手段２４は、動き補償を行うため
に必要となる動きベクトル，マクロブロックのタイプ，
量子化特性指定情報，量子化変換係数等も出力する。

【０１０１】ヘッダ情報付加手段２５は、符号化手段２
４から縮小画像データＡの圧縮符号が出力されると、そ
れをピクチャデータとすると共に、符号化手段２４から
出力される各種情報や入力手段２７から入力される分割
数等をピクチャデータに付加する。

【０１０２】また、差分算出手段２３は、縮小画像デー
タ生成手段２２から縮小画像データＡ，Ｂ，Ｃ，Ｄが出
力されると、縮小画像データＡと縮小画像データＢとの
差分，縮小画像データＡと縮小画像データＣとの差分，
縮小画像データＡと縮小画像データＤとの差分を算出
し、算出した差分を順次符号化手段２４に出力する。上
記差分を出力する際、差分算出手段２３は、ヘッダ情報
付加手段２５に対して符号化手段２４から出力される圧
縮符号をユーザデータとすることを指示する。尚、上記
差分を算出する際は、各縮小画像データに対し、一旦、
ＤＣＴ，量子化を行い圧縮したあと逆量子化，ＩＤＣＴ
を施して伸張した縮小画像データ同士で差分をとると良
い。

【０１０３】符号化手段２４は、差分算出手段２３から
縮小画像データＡと縮小画像データＢ，Ｃ，Ｄとの差分
が出力された場合も同様の処理を行う。

【０１０４】ヘッダ情報付加手段２５は、符号化手段２
４から縮小画像データＡと縮小画像データＢ，Ｃ，Ｄと
の差分に対応する圧縮符号が出力されると、それらを付
加情報Ｃｏｄｅ１，Ｃｏｄｅ２，Ｃｏｄｅ３とする。

【０１０５】そして、図４に示すようなフォーマットを
有する画像データを生成すると、それを圧縮符号ファイ
ル２６に格納する。

【０１０６】

【発明の効果】以上説明したように本発明は、圧縮画像
データを伸張するＣＰＵの性能をＣＰＵ性能測定手段に
よって測定し、ＣＰＵの性能が低い場合には圧縮縮小画
像データのみを利用して画像を復元し、ＣＰＵの性能が
高い場合は圧縮縮小画像データと付加情報とを利用して
画像を復元するようにしたものであるので、使用してい
るＣＰＵの性能にかかわらず、一定の再生速度を保証で
き、且つ使用しているＣＰＵが高性能の場合には高い画
質を得ることができる。

【０１０７】また、本発明は、ＣＰＵ性能測定手段の測
定結果に基づいて、圧縮縮小画像データのみを用いて画
像を復元するのか、圧縮縮小画像データと付加情報の一
部を用いて画像を復元するのか、圧縮縮小画像データと
全ての付加情報とを用いて画像を復元するのかを切りわ
けているので、使用しているＣＰＵの性能にかかわら
ず、一定の再生速度を補償でき、且つ使用しているＣＰ
Ｕの性能に応じた最も良い画質を得ることができる効果
がある。

【図面の簡単な説明】

【図１】本発明の実施例のブロック図である。

【図２】ＣＰＵ性能測定手段３の処理例を示す流れ図で
ある。

【図３】ＭＰＥＧに準拠した画像データの階層構造を示
す図である。

【図４】ＭＰＥＧに準拠した画像データのフォーマット
を示す図である。

【図５】ピクチャデータ及び付加情報を説明するための
図である。

【図６】拡大手段１２の処理例を説明するための図であ
る。

【図７】拡大手段１２の処理例を説明するための図であ
る。

【図８】拡大手段１２の処理例を説明するための図であ
る。

【図９】画像圧縮装置の構成例を示すブロック図であ
る。

【図１０】従来例のブロック図である。

【符号の説明】

１…ヘッダ解析手段２…付加情報読み取り手段３…ＣＰＵ性能測定手段４…復号化手段５…逆量子化手段６…ＩＤＣＴ手段７…前予測手段８…両予測手段９…後予測手段１０…前フレーム部１１…後フレーム部１２…拡大手段１３…ビデオメモリ１４…表示手段

Claims

【特許請求の範囲】

【請求項１】圧縮符号化された圧縮画像データをＣＰ
Ｕを用いて伸張する画像再生装置に於いて、前記ＣＰＵの性能を測定するＣＰＵ性能測定手段と、画像データから一部の画素を間引くことにより構成した
縮小画像データを圧縮符号化した圧縮縮小画像データに
付加されている、前記画像データ中の間引きの対象とな
った部分を復元するための圧縮符号化された付加情報を
読み取るか否かを前記ＣＰＵ性能測定手段の測定結果に
よって決定する付加情報読み取り手段と、拡大手段とを備え、前記ＣＰＵは、前記圧縮縮小画像データを伸張すると共
に、前記付加情報読み取り手段が読み取った付加情報を
伸張し、前記拡大手段は、前記付加情報読み取り手段が付加情報
を読み取らなかった場合は、前記ＣＰＵが前記圧縮縮小
画像データを伸張することにより生成した縮小画像デー
タを前記画像データと同じ大きさに拡大することにより
前記画像データを復元し、前記付加情報読み取り手段が
付加情報を読み取った場合は、前記ＣＰＵが前記圧縮縮
小画像データを伸張することにより生成した縮小画像デ
ータと前記ＣＰＵが前記付加情報に対して行った伸張結
果とに基づいて前記画像データを復元することを特徴と
する画像再生装置。
【請求項２】前記画像データを複数のブロックに分割
した際の各ブロックに於ける配置位置が同一の画素を集
めることにより構成した複数の縮小画像データの内の１
つを圧縮符号化したものを前記圧縮縮小画像データと
し、前記複数の縮小画像データの内の残りの縮小画像デ
ータを圧縮符号化したものを前記付加情報とすることを
特徴とする請求項１記載の画像再生装置。
【請求項３】前記付加情報読み取り手段は、前記ＣＰ
Ｕ性能測定手段によって測定されたＣＰＵの性能が予め
定められている性能より高い場合は、前記付加情報を読
み取り、予め定められている性能より低い場合は前記付
加情報を読み取らないことを特徴とする請求項１記載の
画像再生装置。
【請求項４】圧縮符号化された画像データをＣＰＵを
用いて伸張する画像再生装置に於いて、前記ＣＰＵの性能を測定するＣＰＵ性能測定手段と、画像データを複数のブロックに分割した際の各ブロック
に於ける配置位置が同じ画素を集めることにより構成し
た複数の縮小画像データの内の１つを圧縮符号化した圧
縮縮小画像データに付加されている、前記複数の縮小画
像データの内の残りの縮小画像データを圧縮符号化した
付加情報を、全て読み取るのか、一部のみを読み取るの
か、或いは全く読み取らないのかを前記ＣＰＵ性能測定
手段の測定結果によって決定する付加情報読み取り手段
と、拡大手段とを備え、前記ＣＰＵは、前記圧縮縮小画像データを伸張すると共
に、前記付加情報読み取り手段が読み取った付加情報を
伸張し、前記拡大手段は、前記付加情報読み取り手段が付加情報
を読み取らなかった場合は、前記ＣＰＵが前記圧縮縮小
画像データを伸張することにより生成した縮小画像デー
タを前記画像データを同じ大きさに拡大することにより
前記画像データを復元し、前記付加情報読み取り手段が
前記付加情報の内の一部を読み取った場合は、前記ＣＰ
Ｕが前記圧縮縮小画像データを伸張することにより生成
した縮小画像データと前記ＣＰＵが前記付加情報読み取
り手段が読み取った一部の付加情報に対して行った伸張
結果とに基づいて前記画像データを復元し、前記付加情
報読み取り手段が前記付加情報を全て読み取った場合
は、前記ＣＰＵが前記圧縮縮小画像データを伸張するこ
とにより生成した縮小画像データと前記ＣＰＵが前記付
加情報読み取り手段が読み取った全ての付加情報に対し
て行った伸張結果とに基づいて前記画像データを復元す
ることを特徴とする画像再生装置。