JPH0879703A

JPH0879703A - 画像情報処理方法及び装置

Info

Publication number: JPH0879703A
Application number: JP7130912A
Authority: JP
Inventors: Yoshimasa Hosono; 義雅細野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-07-05
Filing date: 1995-05-30
Publication date: 1996-03-22

Abstract

(57)【要約】【構成】ＭＰＥＧ１フォーマットの動画シーケンスの
画像情報に対して、当該動画シーケンスに応じた処理を
施すデコーダ部であるビットストリームバッファ２０１
以降の構成と、動画シーケンスを構成する静止画を平均
化するための平均化ビットストリームを格納するＲＯＭ
３０４の平均化ビットストリーム格納領域３０５と、Ｒ
ＯＭ３０４からの平均化ビットストリームの読み出しを
制御するＣＰＵ３０３とを有し、デコーダ部では、平均
化ビットストリームをＭＰＥＧ１フォーマットの動画シ
ーケンスの一部として処理することで、平均化補間した
表示用画像情報を生成する。【効果】テレビジョン画面に高解像度の画像情報を表
示したり、通常解像度の画像情報を縮小表示するときで
も、フリッカが発生しない画像情報を生成することがで
きる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビジョン画面に表
示される例えば高解像度の静止画情報を処理する画像情
報処理装置に関する。

【０００２】

【従来の技術】近年は、いわゆるマルチメディア用の記
録媒体として、例えば、ディスク状記録媒体の一種であ
るコンパクトディスク（いわゆるＣＤ）に、写真から得
られた高解像度の画像情報を記録したようなディスク
（いわゆるフォトＣＤと呼ばれているもの）が存在す
る。

【０００３】ここで、当該ディスクに記録された写真の
画像を例えば一般家庭において鑑賞する場合には、当該
ディスクから再生した写真の画像を、通常のテレビジョ
ン放送受信用のテレビジョン受信機に表示して鑑賞する
ことになる。

【０００４】

【発明が解決しようとする課題】ところで、上記ディス
クから再生された写真の画像情報に限らず、高解像度の
画像情報を通常のテレビジョン受信機の画面に表示する
場合、絵柄（画像の内容）によっては、フリッカ等が発
生することがあり、このようにフリッカ等が発生すると
非常に見苦しい画像となる。

【０００５】また、例えば、高解像度の画像情報でなく
通常の解像度の画像情報であっても、例えば、テレビジ
ョン画面の一部に、１枚分の画像を単純な間引きによっ
て縮小して表示したりすると、絵柄によってはフリッカ
等が発生する。

【０００６】そこで、本発明は、上述のような実情に鑑
みて提案されたものであり、テレビジョン画面に高解像
度の画像情報を表示したり、通常解像度の画像情報を縮
小表示するときでも、フリッカが発生しない画像情報を
生成することができる画像情報処理方法及び装置を提供
することを目的とする。

【０００７】

【課題を解決するための手段】本発明の画像情報処理方
法は、所定の符号化方法によって符号化されている画像
情報を受信する受信ステップと、前記受信した画像情報
に対してどのような補間処理を行うかを示す平均化情報
を発生させる平均化情報発生ステップと、前記符号化方
法に対応した復号方法によって前記画像情報を復号する
復号ステップと、前記復号された画像情報をメモリに格
納する格納ステップと、前記格納された復号画像情報を
読み出し、前記平均化情報に応じて前記復号画像情報に
前記補間処理を施す補間処理ステップと、前記補間処理
が施された画像情報を表示用の画像として出力する出力
ステップとからなることにより、上述の課題を解決す
る。

【０００８】また、本発明の画像情報処理装置は、所定
の符号化方法によって符号化されている画像情報を受信
する受信手段と、前記受信した画像情報に対してどのよ
うな補間処理を行うかを示す平均化情報を発生させる平
均化情報発生手段と、前記符号化方法に対応した復号方
法によって前記画像情報を復号する復号手段と、前記復
号された画像情報を格納するためのメモリ手段と、前記
メモリ手段に格納された復号画像情報を読み出し、前記
平均化情報に応じて前記復号画像情報に前記補間処理を
施す補間処理手段と、前記補間処理が施された画像情報
を表示用の画像として出力する出力手段とを有すること
により、上述の課題を解決する。

【０００９】ここで、本発明の画像情報処理方法及び装
置において、前記平均化情報は、１フレーム分の画像情
報を垂直方向及び水平方向にどれだけずらして平均化補
間処理を行うかに関するベクトル情報を含む。

【００１０】また、前記画像情報及び平均化情報は、動
画像の圧縮伸長のための国際標準規格であるＭＰＥＧ規
格に従ったビットストリームからなる。

【００１１】

【作用】本発明によれば、所定の符号化方法によって符
号化されている画像情報を、この所定の符号化方法に対
応した復号方法で復号してメモリに格納するようにして
おり、また、１フレーム分の画像情報を垂直方向及び水
平方向にどれだけずらして平均化補間処理を行うかに関
するベクトル情報を含む平均化情報も発生するようにし
ている。したがって、メモリに格納している復号画像情
報を読み出し、この復号画像情報を平均化情報に応じて
垂直方向及び水平方向にずらした画像情報を生成し、こ
の画像情報と復号画像情報とを用いて平均化補間処理を
行うことによって、補間処理が施された表示用の画像情
報を生成することができる。

【００１２】

【実施例】以下、本発明の好ましい実施例について、図
面を参照にしながら説明する。

【００１３】本発明の画像情報処理方法を採用する本実
施例の画像情報処理装置は、所定の動画シーケンスとし
て、動画像の圧縮伸長のための国際標準規格である後述
するＭＰＥＧ（Moving Picture Expert Group)フォーマ
ットの動画シーケンスが記録されてなる情報記録媒体を
再生し、当該ＭＰＥＧフォーマットの動画ビットストリ
ームを復号して動画を復元するものである。なお、ＭＰ
ＥＧ方式についての詳細は後述する。

【００１４】この図１において、ＭＰＥＧフォーマット
の動画シーケンスが記録されたいわゆるＣＤ−ＲＯＭで
あるディスク（すなわちいわゆるビデオＣＤ）３０１か
らは、ＣＰＵ３０３が動作を制御するＣＤ−ＲＯＭコン
トローラ３０２によって、上記記録された動画シーケン
スが読み出され、誤り訂正されたＭＰＥＧ１のビデオビ
ットストリームが取り出される（受信される）。また、
上記ＣＰＵ３０３は、ＲＯＭ（リード・オンリ・メモ
リ）３０４に格納されているプログラム情報を用いて各
種制御を行う。さらに、ＲＯＭ３０４の平均化ビットス
トリーム格納領域（すなわち平均化情報格納領域）３０
５には、後述するＭＰＥＧ方式に従った平均化ビットス
トリーム（すなわち平均化情報）が格納されており、制
御手段であるＣＰＵ３０３によって当該格納されている
平均化ビットストリームが読み出される。何フレーム分
の平均化ビットストリームが読み出されるかは予め決め
られており、それに従ってＣＰＵ３０３が平均化ビット
ストリームを読み出す。

【００１５】上記ＣＤ−ＲＯＭコントローラ３０２から
出力されたＭＰＥＧ１のビデオビットストリームは、当
該ＭＰＥＧ１のビットストリームをデコードする次段の
ビットストリームバッファ２０１以降の構成（すなわち
動画シーケンス処理手段）に送られる。当該ビットスト
リームバッファ２０１は例えばフレームメモリからな
り、上記供給されたＭＰＥＧ１のビデオビットストリー
ムを一旦蓄えた後に読み出し、可変長符号を復号する復
号回路２０２に送る。

【００１６】当該可変長符号の復号回路２０２は、上記
ビットストリームバッファ２０１より供給されたデータ
を復号し、その復号された画像のＤＣＴ係数や量子化ス
テップ情報等を逆量子化回路２０３に送る。逆量子化回
路２０３では符号化の際の量子化に対応する逆量子化処
理を行い、さらに次の逆ＤＣＴ回路２０４では符号化の
際のＤＣＴに対応する逆ＤＣＴ処理を行う。これら処理
は全て後述するマクロブロック単位で行われる。

【００１７】また、制御用シーケンサ３００は、可変長
符号の復号回路２０２から動きベクトル，ピクチャタイ
プ情報，マクロブロックタイプ情報等を受けて、後述す
る各切換スイッチ２０５，２０７〜２０８，２１４，２
２０，２２１の切換制御を行と共に、可変長符号の復号
回路２０２からのエラーリカバリビットを受けてエラー
リカバリ処理を行う。

【００１８】上記逆ＤＣＴ回路２０４からの出力は、切
換スイッチ２０５の一方の被切換端子に供給されると共
に加算器２０６にも送られる。切換スイッチ２０５は、
制御用シーケンサ３００から送られてくるマクロブロッ
クタイプ情報によって制御されている。即ち、当該切換
スイッチ２０５は供給されたデータがイントラマクロブ
ロックのデータの場合には、そのまま出力し、ノンイン
トラマクロブロックのデータである場合には、加算器２
０６から供給されたデータを出力する。

【００１９】上記切換スイッチ２０５の出力データは、
切換スイッチ２１４を介して、フレームメモリ２１０〜
２１３に順次送られて記憶され、画像の再現（動き補償
による予測画像の生成）や表示に使用されるようにな
る。この切換スイッチ２１４は、制御用シーケンサ３０
０から送られてくるピクチャタイプに応じた切換制御信
号によって順次切り換えられる。例えば、フレームメモ
リ２１０はＩピクチャ用、フレームメモリ２１１はＰピ
クチャ用、フレームメモリ２１２，２１３はＢピクチャ
用として用いられる。すなわち、このフレームメモリ２
１０〜２１３に記憶されたデータのうち、Ｉピクチャの
データはそのまま画像再現及び表示に使用される。Ｐ又
はＢピクチャのデータは、参照画像を動き補償して得ら
れた予測画像データと上記加算器２０６において加算さ
れ、フレームメモリ２１０〜２１３の何れかに記憶さ
れ、その後、画像再現及び表示に使用される。ＭＰＥＧ
では、通常、Ｂピクチャは動き予測には用いられない
が、本実施例の場合は切換スイッチ２０８，２０９によ
ってフレームメモリを自由に選択することができるので
Ｂピクチャのデータも動き予測に用いることができる。

【００２０】フレームメモリ２１０〜２１３に蓄積され
ているデータは、切換スイッチ２０７を介して復元され
た画像としてディスプレイ制御回路２２２に送られる。
ディスプレイ制御回路２２２からの出力は、端子２２３
から出力ビデオ信号として後段の構成（例えばモニタ装
置）に送られる。この切換スイッチ２０７は、制御用シ
ーケンサから送られてくる、画像の表示順を示すテンポ
ラルリファレンスに応じた切換制御信号によって切り換
えられる。

【００２１】各フレームメモリ２１０〜２１３は、メモ
リ読み出し回路２１７，２１５によって読み出しが制御
される。各フレームメモリ２１０〜２１３から読み出さ
れたデータは、切換スイッチ２０７〜２０９のそれぞれ
対応する被切換端子に送られる。この切換スイッチ２０
８，２０９は、制御用シーケンサ３００から送られるピ
クチャタイプに応じた切換制御信号によって切り換えら
れる。

【００２２】例えば、現在復号中の画像がＢピクチャの
場合、即ち、ピクチャタイプがＢピクチヤの場合、フレ
ームメモリ２１０及び２１１に蓄えられているＩピクチ
ャ及びＰピクチャ、又はＰピクチャ及びＰピクチャがメ
モリ読み出し回路から読み出されるように切換スイッチ
２０８，２０９が制御される。

【００２３】なお、本発明の場合、全てのフレームメモ
リに蓄えられている画像を用いて予測画像を生成するこ
とができるので、フレームメモリ２１２或いは２１３に
蓄えられているＢピクチャを用いて動き予測できるよう
に切換スイッチ２０８，２０９を切り換えてもよい。

【００２４】ここで、切換スイッチ２０８，２０９の出
力は、メモリ読み出し回路２１５，２１７を介してハー
フピクセル処理回路２１６，２１８に送られる。ハーフ
ピクセル処理回路２１６，２１８では、制御用シーケン
サ３００から送られてくる平均化ビットストリーム中の
動きベクトルＭＶに基づいて、後述する平均化補間処理
が行われる。

【００２５】平均化補間処理が行われた画像データは、
加算器２１９に送られ、切換スイッチ２２０の対応する
被切換端子に送られる。加算器２１９の出力は１／２倍
されて切換スイッチ２２０の対応する被切換端子に送ら
れる。切換スイッチ２２０において被切換端子ａ〜ｃの
何れが選択されるかは、制御用シーケンサ３００から送
られてくるマクロブロックタイプ情報に基づいて決めら
れる。例えば、ハーフピクセル処理回路２１６がフォワ
ード画像に対してハーフピクセル処理を行い、ハーフピ
クセル処理回路２１８がバックワード画像に対してハー
フピクセル処理を行うものとする。マクロブロック毎に
ハーフピクセル処理されたデータは、マクロブロックタ
イプ情報に含まれる、参照すべき画像の情報（即ち、フ
ォワード、バックワード、或いはフォワード及びバック
ワードの何れを参照して動き補償されるかを示す情報）
に従って、切換スイッチ２２０の被切換端子ａ〜ｃのい
づれかが選択される。

【００２６】上記切換スイッチ２２０からの出力は、切
換スイッチ２２１の被切換端子ａに送られる。切換スイ
ッチ２２１のもう一方の被切換端子ｂには、”０”が供
給される。

【００２７】この切換スイッチ２２１はマクロブロック
タイプに応じてた切換制御信号によってマクロブロック
毎に切り換えられるものである。即ち、現在復号中のピ
クチャにおけるマクロブロックがイントラマクロブロッ
クのときには上記被切換端子ｂに、ノンイントラマクロ
ブロックのときには上記被切換端子ａに切り換えられる
ものである。この切換スイッチ２２１の出力が上記加算
器２０６に送られる。

【００２８】ここで、本実施例の画像情報処理装置は、
図１で説明したように、メモリ読み出し回路２１７，２
１５による読み出し制御及び切換スイッチ２０８，２０
９の切換制御によって、各フレームメモリ２１０〜２１
３の組み合わせを自由に設定できる機能を有している。
このため、後述するフォワード(forward) ，バックワー
ド(backward)，Ｂピクチャ面を全て同じフレームメモリ
に割り当てることができる（図１では、４つのフレーム
メモリが設けられているが、静止画モードの時は１つの
フレームメモリだけで済ませることができる）。

【００２９】本実施例の画像情報処理装置では、これら
のことを考慮し、以下に説明するＭＰＥＧ方式のビット
ストリームを利用した平均化補間方法を用いることによ
って、テレビジョン画面に表示したい高解像度の静止画
（本実施例では動画を構成する１枚の静止画）から、フ
リッカが発生しない平均化した静止画像を高速かつ簡単
に生成できるようにしている。

【００３０】すなわち、本実施例装置は、静止画をフレ
ームメモリに書き込んだ後、ＲＯＭ３０４の平均化ビッ
トストリーム格納領域３０５から上記平均化ビットスト
リームを読み出して、上記ビットストリームバッファ２
０１以降のＭＰＥＧ１のビットストリームのデコーダの
構成に送ることで、ＭＰＥＧ方式のビットストリームを
利用した平均化補間方法を用いたフリッカが発生しない
平均化した静止画を生成するようにしている。

【００３１】上記平均化補間方法について説明する。

【００３２】当該平均化補間方法では、１枚分の静止画
に対してライン間，ピクセル間の平均化補間を行う。こ
こで、上記平均化補間としては、例えば単純な平均化補
間と、重み付けを行った平均化補間と、水平及び垂直方
向の平均化補間と、重み付け及び３ラインでの平均化補
間とが考えられる。

【００３３】上記単純な平均化補間とは、例えば画素
Ａ，Ｂ，Ｃ，・・・があるとき、（Ａ＋Ｂ）／２，（Ｂ
＋Ｃ）／２，（Ｃ＋Ｄ）／２，・・・のように、水平或
いは垂直方向で単純に平均化して補間を行うことであ
る。例えば、垂直方向の平均化補間を例に挙げて説明す
ると、図２の（ａ）に示すように、ライン１，ライン
２，ライン３，・・・の垂直方向に隣合う画素Ａ，Ｂ，
Ｃ，Ｄ，・・・があるとき、垂直方向に平均化補間され
た値は、図２の（ｂ）に示すように（Ａ＋Ｂ）／２，
（Ｂ＋Ｃ）／２，（Ｃ＋Ｄ）／２，・・・となる。

【００３４】ここで、ＭＰＥＧ１のビットストリームを
利用して例えば上記単純な平均化補間を行うには、ハー
フペル(halfpel) を利用する。すなわち、ＭＰＥＧでは
動き補償（ＭＣ）にハーフペル（半画素位置）を許して
いるので、これを利用する。

【００３５】図２の例で説明すると、ＭＰＥＧの上記デ
コーダ部（ビットストリームバッファ２０１以降の構
成）に、先ず図２の（ａ）の元画像データ（参照画像デ
ータ）を送り、これを復元してフレームメモリ等に蓄え
た後、前記ＲＯＭ３０４の平均化ビットストリーム格納
領域３０５に予め形成して格納しておいた、垂直方向に
のみ画素位置を０．５ずらす動きベクトルを持つ平均化
ビットストリームを当該デコーダ部に送る。当該デコー
ダ部では、先にフレームメモリに蓄えた復元された元画
像データと、上記垂直方向にベクトルを０．５ずらす平
均化ビットストリームとによって、ＭＰＥＧの法則に則
ったデコード処理が行われるようになる。したがって、
当該デコーダ部からは、図２の（ｂ）に示すような垂直
方向に平均化補間された画像データが得られるようにな
る。

【００３６】尚、平均化ビットストリームの例を図３及
び図４に示す。なお、紙面の都合上、平均化ビットスト
リームを２つに分けて図３と図４に示しているが、図３
及び図４は一つの図であり、図３にはピクチャレイヤと
スライスレイヤの一部を示し、図４には図３のスライス
レイヤに続く残りの部分を示している。この例では、動
きベクトルは水平方向に０．５、垂直方向に０．５の成
分を持っている。

【００３７】この平均化ビットストリームは、可変長符
号の復号回路２０２において、マクロブロックタイプ，
ピクチャタイプ，テンポラルリファレンス，動きベクト
ル，量子化スケール等の制御データと画像データ（平均
化ビットストリームでは、０）とに分離される。制御デ
ータは、制御用シーケンサ３００に送られ、各切換スイ
ッチの制御や動き補償の際の制御に用いられる。画像デ
ータは、逆量子化回路２０３以降の回路に供給される。

【００３８】また、この単純な平均化補間に使用する平
均化ビットストリームとしては、例えば、垂直方向のベ
クトルが１（ハーフペルで１であるから実際は、０．５
のベクトルである）のマクロブロック（すなわち所定単
位）を作り、２番目のマクロブロック以降（次のマクロ
ブロック以降）をスキップマクロブロック（前のマクロ
ブロックをそのまま使用する）としたものを用いること
もできる。このようにすることで、平均化ビットストリ
ームの情報量を低減することができる。ただし、この場
合、ベクトルをスキップマクロブロックでも保存するた
めに、ピクチャタイプとしては必ずＢピクチャを使用す
る。Ｐピクチャのスキップマクロブロックの場合、動き
ベクトルは”０”でなければならないとＭＰＥＧ規格で
規定されているので、Ｂピクチャのスキップマクロブロ
ックを用いることとしているのである。Ｐピクチャを使
うと同じ（最初の）マクロブロックヘッダを繰り返し用
いなければならないので、データ量が多くなるのである
（Ｂピクチャを用いた時の約４０倍）。

【００３９】また、スキップマクロブロックとしては、
（全マクロブロック数−２）のスキップマクロブロック
を指定する。ＭＰＥＧでは、最初と最後のマクロブロッ
クのデータはビットストリーム中に含めなければならな
いからである。また、最後にベクトルの差分が０のマク
ロブロックを置くようにする。ＭＰＥＧでは、動きベク
トルは前のマクロブロックの動きベクトルとの差分を送
るようにしているからである。

【００４０】このような平均化ビットストリームを使用
する場合も、上述同様にＭＰＥＧの上記デコーダ部に、
先ず元画像データ（参照データ）を送り、これを復元し
てフレームメモリ等に蓄えた後、当該平均化ビットスト
リームを当該デコーダ部に送る。デコーダ部では、平均
化ビットストリームから各種制御データと画像データ
（平均化ビットストリームでは、０）とに分離される。
制御データは、制御用シーケンサ３００に送られ、各切
換スイッチの制御や動き補償の際の制御に用いられる。
画像データは、逆量子化回路２０３以降の回路に供給さ
れる。

【００４１】当該デコーダ部では、先にフレームメモリ
に蓄えた復元された元画像データと、当該平均化ビット
ストリームとで、ＭＰＥＧの法則に則ったデコード処理
が行われるようになる。

【００４２】なお、上記単純な平均化補間によって処理
された画像のビットストリームは１０６バイト程度とな
る。マクロブロック，スキップマクロブロック、ベクト
ル，ピクチャについては、後述する。

【００４３】次に、上記重み付けを行った平均化補間と
は、例えば画素Ａ，Ｂ，Ｃ，・・・があるとき、（３Ａ
＋Ｂ）／４，（３Ｂ＋Ｃ）／４，（３Ｃ＋Ｄ）／４，・
・・のように、水平或いは垂直方向に重み付けを行うと
共に平均化して補間を行うことである。例えば、垂直方
向について当該重み付けを行う平均化補間を例に挙げて
説明すると、図５の（ａ）に示すように、ライン１，ラ
イン２，ライン３，・・・の垂直方向に隣合う画素Ａ，
Ｂ，Ｃ，Ｄ，・・・があるとき、垂直方向に平均化補間
された値は、図５の（ｂ）に示すように（３Ａ＋Ｂ）／
４，（３Ｂ＋Ｃ）／４，（３Ｃ＋Ｄ）／４，・・・とな
る。

【００４４】ここで、ＭＰＥＧ１のビットストリームを
利用して例えば上記重み付けを行った平均化補間を行う
には、フォワード(forward) 側では上記単純な平均化補
間と同じ方法を用いて、（Ａ＋Ｂ）／２，（Ｂ＋Ｃ）／
２，（Ｃ＋Ｄ）／２，・・・の各値を生成する。また、
バックワード(backward)側では、ベクトルを０とした平
均化ビットストリームを用いて、Ａ，Ｂ，Ｃ，・・・の
各値を生成する。その後、このフォワード(forward) 側
とバックワード(backward)側で生成した各値は、上記デ
コーダ部によってそれぞれ足し合わされて２で割られる
ことになるため、当該デコーダ部からは図５の（ｂ）に
示すような垂直方向に重み付けして平均化補間された画
像データが得られるようになる。

【００４５】なお、この重み付けを行った平均化補間の
場合の画像のビットストリームは１０６バイト程度とな
る。

【００４６】また、水平及び垂直方向に平均化補間した
場合を図６に示す。

【００４７】図６の（ａ）に示される様に、ライン１，
ライン２，ライン３，・・・の垂直方向に隣合う画素
Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，がある時、垂直及び
水平方向に平均化補間された値は、図６の（ｂ）に示さ
れる様に、（Ａ＋Ｂ＋Ｅ＋Ｆ）／４，（Ｂ＋Ｃ＋Ｆ＋
Ｇ）／４，（Ｃ＋Ｄ＋Ｇ＋Ｈ）／４，・・・となる。

【００４８】尚、本発明では、重み付けを行わない単純
な平均化補間の場合の補間値は、１枚の画像（例えば、
バックワード側の画像）から生成される。

【００４９】さらに、上記重み付け及び３ラインでの平
均化補間とは、例えば画素Ａ，Ｂ，Ｃ，・・・があると
き、（Ａ＋２Ｂ＋Ｃ）／４，（Ｂ＋２Ｃ＋Ｄ）／４，
（Ｃ＋２Ｄ＋Ｅ）／４，・・・のように、平均化して補
間を行うことである。例えば、図７の（ａ）に示すよう
に、ライン１，ライン２，ライン３，・・・の垂直方向
に隣合う画素Ａ，Ｂ，Ｃ，Ｄ，・・・があるとき、当該
重み付け及び３ラインで平均化補間された値は、図７の
（ｂ）に示すように（Ａ＋２Ｂ＋Ｃ）／４，（Ｂ＋２Ｃ
＋Ｄ）／４，（Ｃ＋２Ｄ＋Ｅ）／４，・・・となる。

【００５０】ここで、ＭＰＥＧ１のビットストリームを
利用して例えば上記重み付け及び３ラインでの平均化補
間を行うには、フォワード(forward) 側では上記単純な
平均化補間と同じ方法を用いて（Ａ＋Ｂ）／２，（Ｂ＋
Ｃ）／２，（Ｃ＋Ｄ）／２，・・・の各値を生成する。
また、バックワード(backward)側では、ベクトルを３
（ベクトル３とは、３×０．５＝１．５を示す）とした
平均化ビットストリームを用いて、（Ｂ＋Ｃ）／２，
（Ｃ＋Ｄ）／２，（Ｄ＋Ｅ）／２，・・・の各値を生成
する。その後、このフォワード(forward) 側とバックワ
ード(backward)側で生成した各値は、デコーダ部によっ
てそれぞれ足し合わされて２で割られることになるた
め、当該デコーダ部からは図７の（ｂ）に示すような重
み付け及び３ラインで平均化補間された画像データが得
られるようになる。

【００５１】なお、この重み付け及び３ラインでの平均
化補間の場合の画像のビットストリームは、１０６バイ
ト程度となる。

【００５２】さらに、上述した各平均化補間の処理を組
み合わせることで各種の補間が可能となる。ただし、例
えばＭＰＥＧの規格上ではピクセルデータを足し合わせ
ることは出来ても、引くことができないので、足し合わ
せる方向の組み合わせを使用することになる。また、実
際にフリッカを有効に防止できるのは、上記単純な平均
化補間と、重み付け及び３ラインの平均化補間である。
さらに、重み付けのみの平均化補間では、３回程度同じ
処理を繰り返すことで強力なフリッカを消すことができ
る。

【００５３】ところで、上述した説明では、テレビジョ
ン画面に高解像度の画像を表示する際にフリッカの発生
を防止する例について説明しているが、例えば、図８に
示すようにテレビジョン画面を複数の領域に分割し、こ
れら分割画面に通常解像度の画像を表示する場合にも、
上記ＭＰＥＧ方式を利用した平均化補間方法はフリッカ
の発生防止に有効である。

【００５４】なお、図８の各分割画面には、例えば、デ
ィスク３０１に記録されている複数のトラック（映像又
は曲の区切り）のうち、例えば９トラック分の各トラッ
クの初めの場面を表示（ディスクダイジェスト表示）し
たり、１トラックを９分割した場面を１つの画面に表示
（トラックダイジェスト表示）したりすることができ
る。これら機能によれば、１つの画面上に表示された複
数の静止画を見ながら、再生したいトラックや場面を探
すことができる。

【００５５】以下、このダイジェスト表示について説明
する。

【００５６】（ａ）ディスクダイジェストとは、ビデオ
ＣＤの各動画トラックの頭の部分のイントラピクチャを
縮小して例えば図８のように９分割した画面に１枚ずつ
貼り、ディスク中にどのような動画があるかを視覚的に
認識できるようにするための機能である。

【００５７】（ｂ）トラックダイジェストとは、再生中
のトラックのトータル再生時間を例えば８等分し、その
時間の最初のイントラピクチャを縮小して貼る機能であ
る。この機能により、トラック内にどのようなシーンが
あるか見る場合や、トラックの途中から再生を始める場
合に、時間で選ぶのではなく、シーンで見始めたい場所
が選べるので便利である。

【００５８】このダイジェスト表示をする場合にも、平
均化補間処理を各表示画面に施し、その後、縮小するこ
とによりフリッカの発生を抑えることができる。

【００５９】図９は、ダイジェスト表示する際に用いら
れるデコーダを示している。但し、図９のデコーダは図
１のフレームメモリの部分の動作を簡単に説明するため
のものである。

【００６０】ここで、フレームメモリ４００は、例えば
４フレーム分の容量を持ち、イントラピクチャデコード
領域と９面表示領域と未使用領域とからなっている。通
常の動画再生の場合には、このフレームメモリを分割使
用することにより、図１と同様の機能を持たせることが
できる。

【００６１】ユーザがＣＰＵ３０３に対してダイジェス
ト表示のコマンドを送ると、対象となるＩピクチャを復
号し、フレームメモリ４００のイントラピクチャデコー
ド領域に格納する。次に、平均化ビットストリーム３０
５（例えば、図３及び図４に示すストリーム）をＲＯＭ
３０４がＣＰＵ３０３により読み出される。その後、前
述の平均化補間処理がダイジェスト表示用のＩピクチャ
に施され、再度イントラピクチャデコード領域に格納さ
れる。次に、ＣＰＵ３０３によって、イントラピクチャ
デコード領域に格納された画像が間引かれ、所定の大き
さの画像に縮小される。この縮小された画像は、フレー
ムメモリ４００の９面表示領域の対応する領域に格納さ
れ、ディスプレイ上に順次表示される。そして、ダイジ
ェスト表示する次の対象のＩピクチャに対して同様の処
理を行う。

【００６２】次に、前述したＭＰＥＧ方式について以下
に詳細に説明する。

【００６３】当該ＭＰＥＧ方式とは、画像間の差分を取
ることで時間軸方向の冗長度を落とし、その後、いわゆ
る離散コサイン変換（ＤＣＴ）処理と可変長符号化とを
使用して空間軸方向の冗長度を落とすようにするカラー
動画像の圧縮符号化方式である。また、このＭＰＥＧ方
式では、フレームの画像を、図１０に示すように、Ｉピ
クチャ（イントラ符号化画像：Intra-coded picture)、
Ｐピクチャ（前方予測符号化画像：Perdictive-coded p
icture) またはＢピクチャ（両方向予測符号化画像：Bi
directionally-coded picture)の３種類のピクチャのい
ずれかのピクチャタイプに分けて、各タイプ毎に画像信
号を圧縮符号化する。なお、この図１０において、図中
Ｉ０等はＩピクチャを、図中Ｂ１，Ｂ２等はＢピクチャ
を、図中Ｐ３，Ｐ６等はＰピクチャを示している。

【００６４】このＭＰＥＧ方式において、Ｉ，Ｐ，Ｂの
各ピクチャのうち、Ｉピクチャでは、１フレーム分の画
像信号をそのまま符号化して伝送する。これに対して、
Ｐピクチャでは、基本的にはそれより時間的に先行する
Ｉピクチャ又はＰピクチャの画像信号からの差分を符号
化して伝送する。また、Ｂピクチャでは、基本的にはそ
れより時間的に先行するフレーム又は後行するフレーム
の両方の平均値からの差分を求め、その差分を符号化し
て伝送する。

【００６５】なお、上記ＰピクチャやＢピクチャのよう
に、差分を伝送（符号化された差分を伝送）するときに
は、当該差分を演算する対象となるフレームの画像（予
測画像）との間の動きベクトル（前方予測の場合のフレ
ーム間の動きベクトル、後方予測の場合のフレーム間の
動きベクトル、又は前方，後方の両方向予測の場合の両
方の動きベクトル）が、当該差分のデータと共に伝送さ
れる。

【００６６】また、上述したＭＰＥＧ方式が取り扱うデ
ータの構造は、図１１に示すようなものとなされてい
る。すなわち、この図１１に示すデータ構造は、下から
順に、ブロック層と、マクロブロック層と、スライス層
と、ピクチャ層と、グループオブピクチャ（ＧＯＰ：Gr
oup of Picture）層と、ビデオシーケンス層とからなる
階層構造になっている。以下、この図１１において下の
層から順に説明する。

【００６７】先ず、上記ブロック層において、当該ブロ
ック層の単位ブロックは、輝度又は色差の隣合った８×
８の画素（８ライン×８画素の画素）から構成される。
ＤＣＴ（離散コサイン変換）は、この単位ブロック毎に
かけられる。

【００６８】上記マクロブロック層において、当該マク
ロブロック層のマクロブロックは、左右及び上下に隣合
った４つの輝度ブロック（輝度の単位ブロック）Ｙ0 ，
Ｙ1，Ｙ2 ，Ｙ3 と、画像上では上記輝度ブロックと同
じ位置に当たる色差ブロック（色差の単位ブロック）Ｃ
r ，Ｃb との全部で６個のブロックで構成される。これ
らブロックの伝送の順は、Ｙ0 ，Ｙ1 ，Ｙ2 ，Ｙ3 ，Ｃ
r ，Ｃb の順である。予測データ（差分をとる基準の画
像データで、前方予測、後方予測、両方向予測等で作ら
れる）に何を用いるか、差分を送らなくてもよいかなど
は、この単位で判断される。符号化ブロックが全く予測
マクロブロックと同じときは、このマクロブロック層の
データを何も送らず、これをスキップするという。マク
ロブロックがいくつか連続でスキップされたとき、次に
くる非マクロブロックにその前のスキップされたマクロ
ブロックの数を持たせるようにする。

【００６９】上記スライス層は、画像の走査順に連なる
１つ又は複数のマクロブロックで構成される。スライス
の頭（ヘッダ）では画像内における動きベクトル及びＤ
Ｃ（直流）成分の差分がリセットされ、また、最初のマ
クロブロックは画像内での位置を示すデータを持ってお
り、したがってエラーが起こった場合でも復帰できるよ
うになされている。そのため、上記スライスの長さや始
まる位置は任意となり、伝送路のエラー状態によって変
えられるようになっている。なお、スライスの最初及び
最後のマクロブロックは非スキップマクロブロックでな
ければならない。

【００７０】上記ピクチャ層において、ピクチャすなわ
ち１枚１枚の画像は、少なくとも１つ又は複数の上記ス
ライスから構成される。そして、それぞれが符号化の方
式にしたがって、上記Ｉピクチャ，Ｐピクチャ，Ｂピク
チャ，ＤＣイントラ符号化画像（DC coded (D) pictur
e）の４種類の画像に分類される。

【００７１】ここで、上記Ｉピクチャでは、符号化され
る時にその画像１枚の中だけで閉じた情報のみを使用す
る。言い換えれば、復号する時にＩピクチャ自身の情報
のみで画像が再構成できることになる。実際には、差分
を取らずにそのままＤＣＴ処理して符号化を行う。この
符号化方式は、一般的に効率が悪いが、これを随所に入
れておけば、ランダムアクセスや高速再生が可能とな
る。

【００７２】上記Ｐピクチャでは、予測画像（差分をと
る基準となる画像）として、入力で時間的に前に位置し
既に復号されたＩピクチャ又はＰピクチャを使用する。
実際には、動き補償された予測画像との差を符号化する
のと、差を取らずにそのまま符号化する（イントラ符
号）のと何れか効率の良い方を上記マクロブロック単位
で選択する。

【００７３】上記Ｂピクチャでは、予測画像として時間
的に前に位置し既に復号されたＩピクチャ又はＰピクチ
ャ及び、時間的に後ろに位置し既に復号されたＩピクチ
ャ又はＰピクチャ、及びその両方から作られた補間画像
の３種類を使用する。これにより、上記３種類の動き補
償後の差分の符号化とイントラ符号との中で一番効率の
良いものをマクロブロック単位で選択できる。

【００７４】上記ＤＣイントラ符号化画像（Ｄピクチ
ャ）は、ＤＣＴのＤＣ係数のみで構成されるイントラ符
号化画像であり、他の３種の画像と同じシーケンスには
存在できないものである。

【００７５】上記グループオブピクチャ（ＧＯＰ）層
は、１又は複数枚のＩピクチャと、０又は複数枚の非Ｉ
ピクチャとから構成されている。ここで、符号器への入
力順を、例えば、１Ｉ，２Ｂ，３Ｂ，４Ｐ＊５Ｂ，６
Ｂ，７Ｉ，８Ｂ，９Ｂ，１０Ｉ，１１Ｂ，１２Ｂ，１３
Ｐ，１４Ｂ，１５Ｂ，１６Ｐ＊１７Ｂ，１８Ｂ，１９
Ｉ，２０Ｂ，２１Ｂ，２２Ｐのようにした時、当該符号
器の出力すなわち復号器の入力は、例えば、１Ｉ，４
Ｐ，２Ｂ，３Ｂ＊７Ｉ，５Ｂ，６Ｂ，１０Ｉ，８Ｂ，９
Ｂ，１３Ｐ，１１Ｂ，１２Ｂ，１６Ｐ，１４Ｂ，１５Ｂ
＊１９Ｉ，１７Ｂ，１８Ｂ，２２Ｐ，２０Ｂ，２１Ｂと
なる。このように符号器の中で順序の入れ換えがなされ
るのは、例えば、上記Ｂピクチャを符号化又は復号する
場合には、その予測画像となる時間的には後方である上
記Ｉピクチャ又はＰピクチャが先に符号化されていなく
てはならないからである。ここで、上記Ｉピクチャの間
隔及び、Ｉピクチャ又はＢピクチャの間隔は自由であ
る。また、Ｉピクチャ又はＰピクチャの間隔は、当該グ
ループオブピクチャ層の内部で変わってもよいものであ
る。なお、グループオブピクチャ層の切れ目は、上記＊
で表されており、上記ＩはＩピクチャ、上記ＰはＰピク
チャ、上記ＢはＢピクチャを示している。

【００７６】上記ビデオシーケンス層は、画像サイズ、
画像レート等が同じ１又は複数のグループオブピクチャ
層から構成される。

【００７７】さらに、図１１の構造を持つ符号化された
ビットストリームについてより詳細に説明する。

【００７８】ビデオシーケンス層は、ビデオシーケンス
層の初めを示す３２ビットの同期コード(sequence star
t code) と、画像の横の画素数を示す１２ビットの情報
(horizontal size) と、画像の縦のライン数を示す１２
ビットの情報(vertical size）と、画素間隔の縦横比を
表すインデックスである４ビットの情報（pel aspectra
tio) と、画素の表示レートのインデクスである４ビッ
トの情報(picture rate)と、発生ビット量に対する制限
のためのビットレートであって４００ビット単位で切り
上げる情報（bit rate) と、”１”の１ビットの情報
（reserved bit)と、発生ビット量に対する制限のため
の仮想バッファの大きさを決める１０ビットのパラメー
タ（buffer size)と、各パラメータが決められた制限以
内であることを示す１ビットのフラグ（constrained pe
rameter flag) と、イントラマクロブロック用量子化マ
トリクスデータの存在を示す１ビットのフラグ(load in
tarqunatize matrix)と、イントラマクロブロック用の
量子化マトリクスを示す８×６４ビットの情報（intar
qunatize matrix)と、非イントラマクロブロック用量子
化マトリクスデータの存在を示す１ビットの(load non
intar qunatize matrix)と、非イントラマクロブロック
用の量子化マトリクスを示す８×６４ビットの情報（no
n intar qunatize matrix)と、拡張データがあることを
示す３２ビットの同期コード（extension start code)
と、将来の互換のためのＩＳＯが決定する８ビット×ｎ
の情報（sequence extension byte)と、ユーザデータが
あることを示す３２ビットの同期コード（user data st
art code) と、ユーザのアプリケーション用の８ビット
×ｎの情報(user data )と、１又は複数のシーケンスの
終わりを示す３２ビットの同期コード（sequence end c
ode)とからなる。

【００７９】グループオブピクチャ層は、ＧＯＰの始ま
りを示す３２ビットの同期コード(group start code)
と、シーケンスの頭からの時間を示す２５ビットのコー
ド（time code)と、ＧＯＰ内の画像が他のＧＯＰのデー
タを使わずに再構成できることを示す１ビットのフラグ
（closed gop) と、先行するＧＯＰのデータが編集など
のために使えないことを示す１ビットのフラグ（broken
-link)と、拡張データがあることを示す３２ビットの同
期コード（extension start code) と、将来の互換のた
めのＩＳＯが決定する８ビット×ｎの情報(group exten
sion byte)と、ユーザデータがあることを示す３２ビッ
トの同期コード（user data start code)と、ユーザの
アプリケーション用の８ビット×ｎの情報(user data )
と、１以上のＩピクチャと０以上のＩピクチャ以外のピ
クチャ層のデータ(picture layer data)とからなる。

【００８０】ピクチャ層は、ピクチャ層のはじまりを示
す３２ビットの同期コード(picturestart code)と、表
示順を示す値でＧＯＰの頭でリセットされる１０２４の
１０ビットの剰余値（temporal reference )と、画像の
符号化モード（ピクチャタイプ）を示す３ビットの値(p
icture coding type) と、ランダムアクセスした時のバ
ッファの初期状態を示す１６ビットのパラメータ（buff
er fullness)と、Ｂ又はＰピクチャに存在し、動きベク
トルの精度が画素単位か半分画素かを示す１ビットの情
報（full pel forward vector)及び前方への動きベクト
ルのサーチ範囲を示す３ビットの情報（forward f)と、
Ｂピクチャに存在し、動きベクトルの精度が画素単位か
半分画素かを示す１ビットの情報（full pel backward
vector)及び後方への動きベクトルのサーチ範囲を示す
３ビットの情報（backward f) と、エクストラ情報ピク
チャがあることを示す１ビット×ｎのフラグ（extra bi
tpicture)と、将来の応用のためのＩＳＯが決定する８
ビット×ｎの情報（extrainformation picture)と、上
記フラグ（extra bit picture)がないことを示す１６ビ
ットの”０”の情報と、拡張データがあることを示す３
２ビットの同期コード（extra bit code) と、将来の互
換のためのＩＳＯが決定する８ビット×ｎの情報（extr
a information picture)と、ユーザデータがあることを
示す３２ビットの同期コード（extension start code)
と、ユーザのアプリケーション用の８ビット×ｎの情報
(picture extension data ) と、１以上のスライス層デ
ータ(slice layer data) とからなる。

【００８１】スライス層は、スライス層のはじまりを示
す３２ビットの同期コード(slice start code)と、その
スライスで使われる量子化幅を与える５ビットのデータ
（qunatize scale) と、エクストラ情報ピクチャがある
ことを示す１ビット×ｎのフラグ（extra bit scale)
と、将来の応用のためのＩＳＯが決定する８ビット×ｎ
の情報（extra information scale)と、上記情報（extr
a information picture)がないことを示す１６ビット
の”０”の情報と、１以上のマクロブロック層のデータ
である(macroblock layer data) とからなる。

【００８２】マクロブロック層は、レート制御に使う１
１ビットのダミーコード(macroblock stuffing) と、ス
キップマクロブロック３３個に相当する１１ビットのコ
ード（macroblock escape)と、そのマクロブロックの前
のスキップマクロブロックの数＋１を表す可変長符号化
画像の左端からマクロブロックの数＋１を表す１〜１１
ビットの情報(macroblock adress increment) と、その
マクロブロックの符号化モードを示す可変長符号でマク
ロブロックタイプが量子化幅を示す値を持っている時に
存在する１〜８ビットの情報(macro block type)と、そ
のマクロブロック以降の量子化幅を示す５ビットの値
（qunatize scale) と、マクロブロックタイプが前方及
び両方向予測の時存在し、そのマクロブロックの前方動
きベクトルの水平成分と前のマクロブロックのベクトル
との差分を上記情報（forward f)で表される可変長符号
化により符号化したものである１〜１４ビットの情報
（motiom horizontal forward)と、後方動きベクトルの
垂直成分である１〜１４ビットの情報（motiom vertica
l backward) と、そのマクロブロック内の６つのブロッ
クの係数を持つかどうかを示す可変長符号の情報である
可変長符号化により符号化された情報（coded block pa
ttern)と、上記情報（coded block pattern)で伝送され
たことが示されたブロック層のデータはＹ0 ，Ｙ1 ，Ｙ
2 ，Ｙ3 ，Ｃｒ，Ｃｂであることを示す１〜６ブロック
の情報（block layer data) と、Ｄピクチャの時のみ存
在しマクロブロックの終わりを示す１ビットの”１”の
情報（endof macroblock)とからなる。

【００８３】ブロック層は、イントラマクロブロックの
時存在し、次のＤＣＴ，ＤＣ差分のビット数を表す２〜
７ビットの可変長符号の情報(dct dc ltuminace),(dct
dc size chrominance)と、そのブロックのＤＣ成分の前
のブロックのＤＣ成分との成分の１〜８ビットの可変長
符号の情報(dct dc differential) と、イントラマクロ
ブロック以外の時存在し、ＤＣ成分の２〜２８ビットの
可変長符号の情報(dctcoef first)と、ＤＣＴ係数をＤ
Ｃ成分の次からジグザグの順序で送り、０でなる係数と
その直前の０係数の数を組とした２〜２８ビットの可変
長符号の情報(dct coef next) と、そのブロックでそれ
以降の係数が全て０であることを示す２ビットのコード
（end of block) とからなる。

【００８４】上述したように本発明実施例の画像情報処
理装置においては、動画シーケンスを構成する静止画を
平均化する平均化情報を格納しており、動画シーケンス
処理手段では、この格納された平均化情報を所定の動画
シーケンスの一部として、この所定の動画シーケンスに
応じた処理を施すことにより、例えばテレビジョン画面
に高解像度の画像情報を表示したり、通常解像度の画像
情報を縮小表示するときでも、高速かつ容易に、フリッ
カが発生しない画像情報を生成することが可能となって
いる。

【００８５】

【発明の効果】本発明の画像情報処理装置においては、
所定の符号化方法によって符号化されている画像情報
を、この所定の符号化方法に対応した復号方法で復号し
てメモリに格納し、また、１フレーム分の画像情報を垂
直方向及び水平方向にどれだけずらして平均化補間処理
を行うかに関するベクトル情報を含む平均化情報も発生
し、メモリに格納している復号画像情報を読み出して、
この復号画像情報を平均化情報に応じて垂直方向及び水
平方向にずらした画像情報を生成し、この画像情報と復
号画像情報とを用いて平均化補間処理を行うようにして
いるので、テレビジョン画面に高解像度の画像情報を表
示したり、通常解像度の画像情報を縮小表示するときで
も、フリッカが発生しない表示用の画像情報を生成する
ことが可能である。

【図面の簡単な説明】

【図１】本発明実施例の画像情報処理装置の概略構成を
示すブロック回路図である。

【図２】本実施例装置において採用される平均化補間方
法のうち、単純な平均化補間方法について説明するため
の図である。

【図３】平均化ビットストリームの具体例のうち一部を
示す図である。

【図４】平均化ビットストリームの具体例のうち残りの
部分を示す図である。

【図５】本実施例装置において採用される平均化補間方
法のうち、重み付けを行った平均化補間方法について説
明するための図である。

【図６】本実施例装置において採用される平均化補間方
法のうち、水平方向及び垂直方向に行った平均化補間方
法について説明するための図である。

【図７】本実施例装置において採用される平均化補間方
法のうち、重み付け及び３ラインでの平均化補間方法に
ついて説明するための図である。

【図８】テレビジョン画面を複数に分割した例を示す図
である。

【図９】本発明実施例の画像情報処理装置であって、ダ
イジェスト表示する際の概略構成を示すブロック回路図
である。

【図１０】ＭＰＥＧフォーマットにおけるフレーム間相
関とピクチャタイプの関係を説明するための図である。

【図１１】ＭＰＥＧフォーマットにおける階層構造を説
明するための図である。

【符号の説明】

２０１ビットストリームバッファ２０２可変長符号の復号回路２０３逆量子化回路２０４逆ＤＣＴ回路２０５，２０７〜２０９，２１４，２２０，２２１切
換スイッチ２０６，２１９加算器２１０〜２１３フレームメモリ２１５，２１７メモリ読み出し回路２１６，２１８ハーフピクセル処理回路２２２ディスプレイ制御回路３０１ディスク３０２ＣＤ−ＲＯＭコントローラ３０３ＣＰＵ３０４ＲＯＭ３０５ＲＯＭの平均化ビットストリーム格納領域

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 5/93 7/01 Ｇ 7/32 Ｈ０４Ｎ 7/137 Ｚ

Claims

【特許請求の範囲】

【請求項１】所定の符号化方法によって符号化されて
いる画像情報を受信する受信ステップと、前記受信した画像情報に対してどのような補間処理を行
うかを示す平均化情報を発生させる平均化情報発生ステ
ップと、前記符号化方法に対応した復号方法によって前記画像情
報を復号する復号ステップと、前記復号された画像情報をメモリに格納する格納ステッ
プと、前記格納された復号画像情報を読み出し、前記平均化情
報に応じて前記復号画像情報に前記補間処理を施す補間
処理ステップと、前記補間処理が施された画像情報を表示用の画像として
出力する出力ステップとからなることを特徴とする画像
情報処理方法。
【請求項２】前記平均化情報は、１フレーム分の画像
情報を垂直方向及び水平方向にどれだけずらして平均化
補間処理を行うかに関するベクトル情報を含むことを特
徴とする請求項１記載の画像情報処理方法。
【請求項３】前記画像情報は、動画像の圧縮伸長のた
めの国際標準規格に従ったビットストリームからなるこ
とを特徴とする請求項１記載の画像情報処理方法。
【請求項４】前記平均化情報は、動画像の圧縮伸長の
ための国際標準規格に従ったビットストリームからなる
ことを特徴とする請求項３記載の画像情報処理方法。
【請求項５】前記平均化情報は、両方向予測符号化画
像のビットストリームからなることを特徴とする請求項
４記載の画像情報処理方法。
【請求項６】前記補間処理ステップでは、前記復号画
像情報を半画素精度で処理することを特徴とする請求項
２記載の画像情報処理方法。
【請求項７】前記復号ステップは、前記画像情報及び
平均化情報から制御データと圧縮データとを分離する分
離ステップと、前記圧縮データを逆量子化し、係数デー
タを生成する係数データ生成ステップと、前記係数デー
タを逆直交変換し、残差画像データを生成する残差画像
データ生成ステップと、前記残差画像データと参照画像
データとを加算し、予測画像データを生成し、復号画像
情報として出力する復号画像情報出力ステップとからな
ることを特徴とする請求項４記載の画像情報処理方法。
【請求項８】所定の符号化方法によって符号化されて
いる画像情報を受信する受信手段と、前記受信した画像情報に対してどのような補間処理を行
うかを示す平均化情報を発生させる平均化情報発生手段
と、前記符号化方法に対応した復号方法によって前記画像情
報を復号する復号手段と、前記復号された画像情報を格納するためのメモリ手段
と、前記メモリ手段に格納された復号画像情報を読み出し、
前記平均化情報に応じて前記復号画像情報に前記補間処
理を施す補間処理手段と、前記補間処理が施された画像情報を表示用の画像として
出力する出力手段とを有すること特徴とする画像情報処
理装置。
【請求項９】前記平均化情報は、１フレーム分の画像
情報を垂直方向及び水平方向にどれだけずらして平均化
補間処理を行うかに関するベクトル情報を含むことを特
徴とする請求項８記載の画像情報処理装置。
【請求項１０】前記補間処理手段は、前記復号画像情
報を半画素精度で補間処理して予測画像を生成すること
を特徴とする請求項９記載の画像情報処理装置。
【請求項１１】前記画像情報は、動画像の圧縮伸長の
ための国際標準規格に従ったビットストリームからなる
ことを特徴とする請求項９記載の画像情報処理装置。
【請求項１２】前記平均化情報は、動画像の圧縮伸長
のための国際標準規格に従ったビットストリームからな
ることを特徴とする請求項１１記載の画像情報処理装
置。
【請求項１３】前記平均化情報は、両方向予測符号化
画像のビットストリームからなることを特徴とする請求
項１２記載の画像情報処理装置。
【請求項１４】前記復号手段は、前記画像情報及び平
均化情報から制御データと圧縮データとを分離する分離
手段と、前記圧縮データを逆量子化し、係数データを生
成する係数データ生成手段と、前記係数データを逆直交
変換し、残差画像データを生成する残差画像データ生成
手段と、前記残差画像データと参照画像データとを加算
し、予測画像データを生成し、復号画像情報として出力
する復号画像情報出力手段とからなることを特徴とする
請求項１３記載の画像情報処理装置。
【請求項１５】前記平均化情報は、画像の表示順を示
すテンポラルリファレンスと、対応するピクチャのピク
チャタイプが両方向予測符号化画像であることを示すデ
ータと、対応するマクロブロックがイントラかノンイン
トラかを示すマクロブロックタイプと、前記圧縮データ
が全て０であることを示す情報と、最初のマクロブロッ
クに続くマクロブロックはスキップマクロブロックであ
ることを示す情報とからなることを特徴とする請求項１
４記載の画像情報処理装置。
【請求項１６】前記補間処理が施された画像情報に対
して間引き処理を施して縮小画像を生成する縮小画像生
成手段を設け、前記出力手段は、前記縮小画像を表示用
の画像として出力することを特徴とする請求項８記載の
画像情報処理装置。
【請求項１７】前記メモリ手段は、所定数の縮小画像
を格納するための表示領域を持ち、前記出力手段は、前
記縮小画像が格納される度に格納されている全ての縮小
画像を表示用の画像として出力することを特徴とする請
求項１６記載の画像情報処理装置。
【請求項１８】ディスク状記録媒体から読み出された
動画像の圧縮伸長のための国際標準規格に従って符号化
されている１フレーム分の静止画情報を受信する受信手
段と、動画像の圧縮伸長のための国際標準規格によって定めら
れた両方向予測符号化画像のビットストリームからなる
情報であって、前記受信した１フレーム分の静止画情報
を垂直方向及び水平方向にどれだけずらして平均化補間
処理を行うかに関するベクトル情報を含む平均化情報を
格納しているＲＯＭと、前記平均化情報を予め決められたフレーム数だけ前記Ｒ
ＯＭから読み出す読み出し手段と、前記静止画像情報及び平均化情報から制御データと圧縮
データとを分離する分離手段と、前記圧縮データを逆量子化し、係数データを生成する係
数データ生成手段と、前記係数データを逆直交変換し、残差画像データを生成
する残差画像データ生成手段と、前記残差画像データと参照画像データとを加算し、予測
画像データを生成し、復号画像情報として出力する復号
画像情報出力手段と、前記復号画像情報を格納するためのメモリ手段と、前記メモリ手段に格納された復号画像情報を読み出し、
前記平均化情報に応じて前記復号画像情報に半画素精度
で前記補間処理を施す補間処理手段と、前記補間処理が施された画像情報を表示用の画像として
出力する出力手段とを有することを特徴とする画像情報
処理装置。