JP3037569B2 - 画像復号装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、符号化された画像信号
を復号する画像復号装置に関するものである。

【０００２】

【従来の技術】ディジタル表現された画像データを伝送
または蓄積する場合、データ量を削減するために符号化
が行われる。符号化の方法としては、画像情報（画像デ
ータ）の時間的または空間的相関を利用して冗長度を少
なくする方法がある。

【０００３】時間的相関性を利用する方法として、連続
する２画面（フレーム）の差分を符号化したり、画像の
動きを検出して動き補償を行ったりするものがある。ま
た、空間的相関性を利用する方法として、画像を所定の
大きさのブロック（例えば縦方向，横方向とも８画素ず
つ）に分けて、ブロック内のデータを直交変換し、変換
係数をスキャン変換し（例えば低周波成分から高周波成
分の順に並びかえる）、可変長符号化を行うものがあ
る。ＭＰＥＧ（Moving Picture Expert Group ）が標準
化を進めている画像符号化方式（以下、ＭＰＥＧ２と略
す）は、上記２つの方法を併用するものとなっている。
ＭＰＥＧ２の暫定勧告は“Generic Codingof Moving Pi
ctures and Associated Audio”と題するＩＳＯ／ＩＥ
Ｃ１３８１８−２に記載されている。

【０００４】図５は、符号化されたデータを復号する画
像復号装置の構成例を示すブロック図であり、復号処理
手段Ｃと表示処理手段Ｄからなる。復号処理手段Ｃには
入力ビットストリーム３００（符号化された画像を表現
するディジタルデータのビット列）が入力され、復号の
後、再生画像データ４００が出力される。Ｄは前記再生
画像データ４００を表示モニタに適する様に再生画像デ
ータ４００を処理するもので、表示処理手段Ｄからは画
像出力６００が出力される。ＭＰＥＧ２は復号処理手段
で行うべき処理の方法を定めており、表示処理について
は定めていない。

【０００５】図６は図５の復号処理手段Ｃの構成例の詳
細を示すブロック図である。バッファ制御部１、可変長
復号器２、スキャン変換器３、逆量子化器４、逆ＤＣＴ
部５、動き補償画像再生部６により復号処理が実行され
る。５０はメモリであり、バッファメモリ５１およびフ
レームメモリ（後述する３つのフレームＩ，Ｐ，Ｂのメ
モリ）５２，５３，５４からなる。

【０００６】次に、動作について説明する。入力ビット
ストリーム３００は、バッファメモリ制御部１の制御に
より、データ４０としてバッファメモリ５１に蓄積され
る。バッファメモリ５１から読み出されたデータ４１
は、可変長復号器２によって、可変長復号される。

【０００７】全データが可変長符号化されているわけで
はないが、固定長符号もこの可変長復号器２で復号され
るものとする。次に、スキャン変換器３によりデータの
順序を並び替えた後、逆量子化器４により、逆量子化さ
れる。次に、逆ＤＣＴ部５により、逆離散コサイン変換
される。動き補償画像再生部６では、画像の動きを考慮
した再生を行う。ＭＰＥＧ２では、時間的に前のフレー
ム（ここではＩフレーム）と時間的に後のフレーム（こ
こではＰフレーム）の両方のフレームから、時間的に中
間のフレーム（ここではＢフレーム）の予測を行う。そ
のためＢフレームの再生には、予め復号されているＩフ
レームとＰフレームのデータ４２，４３をフレームメモ
リ５２，５３から読み出す必要がある。（ＭＰＥＧ２で
は、時間的に後のＰフレームはＢフレームに先立って復
号される。）予測データ４２，４３と逆ＤＣＴ部５の出
力である予測誤差により、Ｂフレームが再生され、再生
画素データ４４としてフレームメモリ５４に書き込まれ
る。フレームメモリ５２〜５４中にあるＩ，Ｐ，Ｂのフ
レームは所定の順にメモリから読み出され（図６では、
Ｂフレームのデータ４５を読み出している）、再生画像
データ４００が出力される。

【０００８】また、図５の表示処理手段Ｄでは再生画像
データ４００の雑音除去，フレームレート変換がなされ
る。

【０００９】以下、フレームレートの変換について図７
を参照して述べる。例えば映画は１秒間に２４枚のフレ
ームから構成されている。これを符号化し、再び復号
し、３０フレーム／秒のＮＴＳＣ画像にする方法がＭＰ
ＥＧ２では考えられている。

【００１０】その方法は、符号化時に３０フレーム／秒
の再生画像データ４００を得ることを前提とする方法で
ある。復号時には、図７の様に３対２の比の間隔で復号
を行い、再生画像出力では、２フィールド表示するフレ
ームと３フィールド表示するフレームを交互に設けるこ
とになる。図７でｆの文字がついたものはファーストフ
ィールド、ｓの文字がついたものはセカンドフィールド
を意味する。復号開始を不等間隔にしたり、２フィール
ド表示／３フィールド表示の切り替えは符号化時に情報
として入れられる。従って、以下符号化３／２プルダウ
ンと呼ぶ。復号開始を指示する情報は、ｖｂｖ ｄｅｌ
ａｙ、３／２フィールド表示の切り替えを指示する情報
は、リピートファストフィールド（repeat first fiel
d）のパラメータとして入力ビットストリーム３００内
に挿入される。

【００１１】次に、低遅延モード（Low Delay Mode）に
ついて説明する。低遅延モードはテレビ電話，テレビ会
議等のリアルタイムの画像コミュニケーションのために
用意されている。入力ビットストリーム３００内の低遅
延フラグが“１”のとき、低遅延モードであることを示
す。低遅延モードでは、時間的に前後のフレームから中
間のフレームを予測する（先のＢフレーム）ことは禁止
されていて、また、エンコーダは１つ以上のフレームを
スキップすることができる（スキップドピクチャとよ
ぶ）機能を有する。デコーダはバッファメモリ５１がア
ンダーフローを起こしたときにスキップドピクチャがあ
ったことを知ることができる。すなわち、図８に示すよ
うに、復号開始時刻Ｔ０になってもＰ２フレームのデー
タが揃わず、復号が開始できないか、時刻Ｔ０で復号を
開始しても時刻Ｔ１で復号が終了していない場合であ
る。

【００１２】従来技術では、スキップドピクチャが生じ
た場合には、１フレーム前の画像をそのまま表示し続け
ている。

【００１３】

【発明が解決しようとする課題】インタレース画像をフ
ィールド毎に符号化処理を行ったビットストリームを復
号する際に、符号化時，符号化処理を省略された画像が
ある場合、従来の復号装置では出力する画像のインタレ
ース構造が保証されていないため、奇数フィールドが連
続したり、偶数フィールドが連続してしまうことがあ
り、復号装置の出力をディスプレイに表示すると、符号
化処理で意図した画像とは異なる画像となってしまう。

【００１４】図９の場合は、フレームＰｏ４，Ｐｅ７，
Ｐｅ９がそれぞれ、その前のフレームＰｅ３，Ｐｏ６，
Ｐｏ８のデータが長いために符号化できないでスキップ
しており、丸で囲んだＰｏ２，Ｐｅ３，Ｐｅ５，Ｐｏ６
はインタレース構造を破綻させていることを示してい
る。

【００１５】また、符号化時に３／２プルダウンを行う
場合にスキップドピクチャが存在しても、上記のような
問題が存在する。

【００１６】図１０において、ｒｆｆはリピート・ファ
ースト・フィールド（repeat firstfield ）、ｔｆｆは
トップ・フィールド・ファースト（top field first ）
を表わす。この例では、フレームＰ２のデータ量が多く
て、そのためにフレームＰ３がスキップした場合を示
す。この場合、画像出力は偶数フィールドパリティにフ
レームＰ１，Ｐ２が続き、奇数のフィールドパリティに
フレームＰ２，Ｐ４が続いてインタレース構造が破綻し
ていることを示す。

【００１７】本発明は、従来の画像復号装置における上
記問題点を解消し、スキップドピクチャが存在しても意
図した画像が得られる画像復号装置を提供することを目
的とする。

【００１８】

【課題を解決するための手段】本発明にかかる画像復号
装置は、ディスプレイに表示する画像のフィールドパリ
ティと入力ビットストリームを規定された手段で復号す
る装置において、ディスプレイに出力する再生画像と復
号画像の奇数フィールドか偶数フィールドかを監視する
監視手段と、復号画像が前記偶数フィールドまたは奇数
フィールドが連続する場合に復号画像の連続する偶数フ
ィールドまたは奇数フィールドが偶数フィールド，奇数
フィールド，偶数フィールド……または奇数フィール
ド，偶数フィールド，奇数フィールド……と交互に続く
ようにするため連続する偶数フィールドまたは奇数フィ
ールドの一部を奇数フィールドまたは偶数フィールドに
変換する変換手段とを有するものである。

【００１９】

【作用】本発明によれば、フィールドパリティの監視を
行い、インタレース構造が破綻しそうになった場合に
は、フィールドパリティを変換する手段を用いて、イン
タレース構造を保証する。

【００２０】

【実施例】

〔実施例１〕本発明の第１の実施例をまず図１，図２に
より説明する。図１は本発明にかかる画像復号装置１０
００と符号化手段Ａ，伝送路Ｂ等の関係を示している。
５００は制御信号を示し、その他は図５と同じである。

【００２１】ここでは符号化手段Ａとして、 入力画像１００はインタレース画像であり、奇数フ
ィールド（odd field）と偶数フィールド（even fiel
d）の２種類のフィールドパリティを持つ。

【００２２】 画像構造（picture structure ）がフ
レームでない。

【００２３】 低遅延モードである。 ことを想定している。

【００２４】まず、入力画像１００としてＰｏ０，Ｐｅ
１，……（図２）のフィールド順でインタレース画像が
符号化手段Ａに入力される。図中０，１，……は何枚目
のフィールドであるかを示し、Ｐｏは奇数フィールド，
Ｐｅは偶数フィールドであることを示す。

【００２５】符号化手段Ａでは前述の〜の想定で符
号化を行う。ここでは、フィールドＰｏ４，Ｐｅ７，Ｐ
ｅ９がスキップドピクチャとして処理されている例を示
している。

【００２６】符号化手段Ａの出力は伝送路Ｂを通して、
復号処理手段Ｃに入力ビットストリーム３００の形で入
力される。

【００２７】復号処理手段Ｃでは、入力ビットストリー
ム３００から再生画像データ４００をＭＰＥＧ２の規定
に則り復号する。スキップドピクチャが存在するので復
号処理手段Ｃは図２の示すような順番で復号する。Ｐｅ
３，Ｐｏ６，Ｐｏ８は再生画像データ４００を出力する
時間ｔ４，ｔ７，ｔ９がきても、入力ビットストリーム
３００の入力が終わらないので、直前に出力した再生画
像Ｐｏ２，Ｐｅ５，Ｐｏ６を出力する。

【００２８】表示処理手段Ｄでは、受け取った再生画像
データ４００か、または再生画像データ４００を位相シ
フトしたものを、制御信号５００に基づいて画像出力６
００として出力する。ここでいう位相シフトとは、ディ
スプレイ上で垂直方向の位置が異なる奇数フィールド画
像と偶数フィールド画像をフィルタリング等の手段を用
いて、奇数フィールド画像から偶数フィールド画像、偶
数フィールド画像から奇数フィールド画像を推定するこ
とをいう。

【００２９】さらに、図３を用い表示処理手段Ｄの処理
を説明する。図３において、点線で囲むＤＡは監視手
段、ＤＢは変換手段を表わしており、表示処理の他の手
段については図示を省略している。１０は奇数／偶数の
１ビットカウンタ、１１は排他論理和回路、１２は垂直
方向位相シフトフィルタ、１３はセレクタであり、１０
ａ，１１ａ，１２ａは出力を示す。図１に示す制御信号
５００には、再生画像データ４００が奇数フィールドか
偶数フィールドかを示す。奇数／偶数フラグ（ビットス
トリーム中の画像構造（picture structure ）よりつく
られる）と、１番最初に１ビットカウンタ１０をセット
するためのシーケンスヘッダであるセットフラグ（復号
を開始して、１番最初の再生画像データ４００を出力す
るときに復号処理手段が生成する。）が含まれている。
ここでは、奇数／偶数フラグが“１”のとき奇数フィー
ルド、“０”のとき偶数フィールドとし、また、セット
フラグが“１”のとき、１ビットカウンタ１０は奇数／
偶数フラグをセットするとして説明を進める。

【００３０】まず初めに、図２に示す時間ｔ１になった
とき、セットフラグ＝“１”が入力され、１ビットカウ
ンタ１０は、そのときの奇数／偶数フラグの値（Ｐｏ０
は奇数フィールドであるから“１”）にセットされる。
出力１０ａと奇数／偶数フラグが排他的論和回路１１に
入力される。ここでは両方とも“１”であるので出力１
１ａは“０”となり、セレクタ１３に入力される。一
方、再生画像データ４００は垂直方向位相シフトフィル
タ１２とセレクタ１３に入力される。垂直方向位相シフ
トフィルタ１２には奇数／偶数フラグも入力され、再生
画像データ４００が奇数フィールド画像か偶数フィール
ド画像かを知り、奇数フィールド画像であれば偶数フィ
ールド画像を、偶数フィールド画像であれば奇数フィー
ルド画像を予測して出力１２ａとして出力する。セレク
タ１３では出力１２ａと再生画像データ４００とを出力
１１ａにより、選択して出力する。ここでは、出力１１
ａが“０”のとき、再生画像データ４００を選択し、
“１”のときには出力１２ａを選択して画像出力６００
に出力することにする。いま、出力１１ａは“０”であ
るので、時間ｔ１での画像出力６００は再生画像データ
４００が出力される。次に時間ｔ２，ｔ３では１ビット
カウンタ１０が順次カウントアップされていくが、奇数
／偶数フラグがその都度反転していくので、出力１０ａ
と奇数／偶数フラグは同じとなり、排他的論理和回路１
１の出力１１ａは常に“０”となり、セレクタ１３は再
生画像データ４００を選択し、画像出力６００に出力す
る。時間ｔ４では１ビットカウンタ１０は偶数フィール
ドを示し、奇数／偶数フラグは奇数フィールドを示して
いるので、排他的論理和回路１１の出力１１ａは“１”
となり、セレクタ１３は垂直方向位相シフトフィルタ１
２を選択して画像出力６００に出力する。このとき、垂
直方向位相シフトフィルタ１２は奇数フィールド画像か
ら偶数フィールド画像を作り出している。以上のような
操作を行うことで画像出力６００は奇数フィールド画像
と偶数フィールド画像を繰り返して出力することがで
き、良好なインタレース画像を再生することができる。 〔実施例２〕 第２の実施例では、符号化手段Ａとして、 入力画像
１００はプログレッシブ画像である。

【００３１】 プログレッシブ・シーケンス（progre
ssive_sequence）＝０で、リピート・ファースト・フィ
ールド，トップ・フィールド・ファースト（repeat_fir
st_field,top_field_first）のパラメータを用いて３／
２プルダウンを行い、ほぼ６０Ｈｚのインタレース画像
をディスプレイに表示する。

【００３２】 低遅延モードである。ことを想定して
いる。図４は再生画像Ｐ３がスキップされた時のビット
ストリームの復号期間と再生画像データ４００と画像出
力６００について、一例を表している。また、図１０と
同じ符号は同じものを示す。

【００３３】再生画像Ｐ２の復号時間が長いため、Ｐ２
の再生画像出力時間Ｔ１になっても復号が終わらないた
め、復号処理手段Ｃは前の画像Ｐ２を図示せぬ方法で繰
り返し出力している。また、時刻Ｔ２ではｒｆｆが１な
のでファースト・フィールド（first field ）を繰り返
すはずであるが、再生画像Ｐ４の復号が終了したので図
示せぬ手段により、Ｐ４が再生画像データ４００として
出力される。

【００３４】表示処理手段Ｄは実施例１で説明した手段
によって再生画像Ｐ２の位相をシフトし、得られた画像
出力６００はインタレース画像として、破綻のないもの
となる。

【００３５】

【発明の効果】本発明は以上詳細に述べたように、ディ
スプレイに表示すべき再生画像と復号画像の奇数フィー
ルドが偶数フィールドかを監視する監視手段と、復号画
像が偶数フィールドまたは奇数フィールドパリティが連
続する場合に復号画像の連続する偶数フィールドまたは
奇数フィールドが偶数フィールド，奇数フィールド，偶
数フィール……または奇数フィールド，偶数フィール
ド，奇数フィールド……と交互に続くようにするため連
続する偶数フィールドまたは奇数フィールドの一部を奇
数フィールドまたは偶数フィールドに変換する変換手段
とを有するので、ビットストリームを復号する際に、符
号化時に符号化処理を省略された画像があっても画像の
インタレース構造が保証されるので、符号化処理で意図
した画像を得ることができる。

【図面の簡単な説明】

【図１】本発明にかかる画像復号装置の構成ならびに符
号化手段との関係を説明するためのブロック図である。

【図２】入力画像がインタレース画像の場合の本発明の
動作を説明するための各時間における入力画像，符号化
器出力，復号処理画像，再生画像出力，画像出力との関
係図である。

【図３】図１に示す実施例中の表示処理手段の構成例を
示すブロック図である。

【図４】入力画像がプログレッシブ画像の場合の本発明
の動作を説明するための各時間におけるビットストリー
ムの復号期間と再生画像出力，画像出力との関係図であ
る。

【図５】従来の符号化されたデータを復号する画像復号
装置の構成の一例を示すブロック図である

【図６】図５における復号処理手段の構成例の詳細を示
すブロック図である。

【図７】フレームレートの変換を説明するための図であ
る

【図８】スキップドピクチャが生じた場合の信号処理と
再生画像と出力画像の関係を示す図である。

【図９】スキップドピクチャが生じたためにインタレー
ス構造が破綻する状態を説明するための図である。

【図１０】符号化時に３／２プルダウンを行うときにス
キップドピクチャが存在するとインタレース構造が破綻
する状態を説明するための図である。

【符号の説明】

Ａ 符号化手段 Ｂ 伝送路 Ｃ 復号処理手段 Ｄ 表示処理手段 ＤＡ 監視手段 ＤＢ 変換手段 １００ 入力画像 ２００ ビットストリーム ３００ 入力ビットストリーム ４００ 再生画像データ ５００ 制御信号 ６００ 画像出力 １０００ 画像復号装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡田 豊 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 西塔 隆二 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 小松 茂 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 永井 律彦 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 川村 嘉郁 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (56)参考文献 特開 平７−184165（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 G06T 9/00 H03M 7/30 H04N 1/41

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 符号化されたインタレース画像またはプ
   ログレッシブ画像を表現する入力ビットストリームを入
   力して、インタレース画像を復号する装置において、 ディスプレイに表示すべき再生画像と復号画像の奇数フ
   ィールドか偶数フィールドかを監視する監視手段と、 前記復号画像が偶数フィールドまたは奇数フィールドが
   連続する場合に前記復号画像の連続する偶数フィールド
   または奇数フィールドが偶数フィールド，奇数フィール
   ド，偶数フィールド……または奇数フィールド，偶数フ
   ィールド，奇数フィールド，……と交互に続くようにす
   るため前記連続する偶数フィールドまたは奇数フィール
   ドの一部を奇数フィールドまたは偶数フィールドに変換
   する変換手段とを有することを特徴とする画像復号装
   置。