JPH10126749A - 順次走査変換装置 - Google Patents

Abstract

(57)【要約】 【課題】回路規模を低減する。 【解決手段】デコード部３からの復号データは参照，表
示メモリ４に記憶される。デコード部３はＭＰＥＧ２信
号のデータ構造及び動きベクトル等の情報を変換方法判
定回路７に出力する。変換方法判定回路７は、入力され
た情報に基づいて、復号マクロブロックが静止領域のデ
ータであるか又は動領域のデータであるかを判定する。
この判定結果は変換方法記憶メモリ８に書込まれ、順次
走査変換のタイミングで順次走査変換回路５に与えられ
る。順次走査変換回路５は、静止領域が示された場合に
は、参照，表示メモリ４からの画像データをフィールド
間補間して順次走査信号に変換し、動領域であることが
示された場合には、フィールド内補間して順次走査信号
に変換する。これにより、動き検出回路を設けることな
く、フィールド間／内補間の切換えを可能にして、回路
規模を低減する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＭＰＥＧデコーダ
等に好適な順次走査変換装置に関する。

【０００２】

【従来の技術】近年、画像のディジタル処理が普及して
きている。画像データを圧縮符号化する方法としては、
ＭＰＥＧ（Movig Picture Experts Group）等の高能率
符号化が採用される。高能率符号化技術は、ディジタル
伝送及び記録等の効率を向上させるために、少ないビッ
トレートで画像データを符号化するものである。

【０００３】ところで、現行ＮＴＳＣ方式のテレビジョ
ン放送においては、インターレース走査方式が採用され
ている。インターレース走査は、１画面をトップ（ｔｏ
ｐ)フィールドとボトム（ｂｏｔｔｏｍ）フィールドと
に分割して伝送することにより、帯域幅を節約して高効
率の伝送を可能にしたものである。しかし、テレビジョ
ン受像機の高輝度化及び大画面化によって、ラインフリ
ッカ及びラインクロールが目立つので、画像メモリを使
用して補間を行うことにより、インターレース信号をプ
ログレッシブ信号に変換する順次走査変換装置が採用さ
れることがある。

【０００４】１／３０秒間隔で１画面の全画像がサンプ
リングされるプログレッシブ構造の画像データがＭＰＥ
Ｇエンコーダの入力ソースであって、ＭＰＥＧエンコー
ダからの符号化データを復号化するＭＰＥＧデコーダの
出力もプログレッシブ構造を有するモードである場合に
は、走査線変換の必要はない。しかし、ＭＰＥＧ２規格
はインターレース画像に対応しており、エンコーダの入
力ソースがプログレッシブ構造である場合でもデコーダ
からインターレース信号が出力されることがあり、ま
た、ＭＰＥＧエンコーダの入力ソースが１画面の画像を
トップ，ボトムフィールドに分けて１／６０秒の間隔で
フィールド毎にサンプリングされるインターレース構造
の画像データである場合には、ＭＰＥＧデコーダの出力
もインターレース画像であり、これらの場合には走査線
変換の必要がある。

【０００５】デコーダから出力されるインターレース信
号をプログレッシブ信号に変換するために、フレームメ
モリを用いた動き検出方法がある。

【０００６】従来の順次走査変換装置例では、画像の動
きに応じて補間方法をフィールド内補間とフィールド間
補間とで切換える。フィールド内補間は同一フィールド
内の上下の走査線から補間信号を得るものであり、フィ
ールド間補間は、前フィールドの走査線から補間信号を
得るものである。

【０００７】動き検出においては、フレームメモリを用
いて連続した２フレーム相互間の差信号を動き成分とし
て検出し、更に、低域フィルタによって輝度成分を抽出
する。この輝度低域成分のフレーム間差信号を動き成分
として用いる。

【０００８】この動き検出によって、静画であると判断
された場合にはフィールド間補間によってプログレッシ
ブ信号を得る。これにより、前フィールドの走査線と現
フィールドの走査線とを用いた補間が可能であり、十分
な垂直解像度を得ることができる。また、動き検出によ
って動画であると判断された場合には、フィールド内補
間によってプログレッシブ信号を得る。動画では前後の
フィールドの画像はずれているが、同一フィールドの走
査線を用いることにより、画像劣化を生じることなくプ
ログレッシブ信号を得ることができる。

【０００９】このように、画像の動きに基づいて補間方
法を適応的に切換えるために、フレームメモリ及び動き
検出回路が必要であり、回路規模が大きいという問題が
あった。

【００１０】

【発明が解決しようとする課題】このように、上述した
従来の順次走査変換装置においては、フレームメモリ及
び動き検出回路が必要であり、回路規模が大きいという
問題点があった。

【００１１】本発明はかかる問題点に鑑みてなされたも
のであって、回路規模を低減することができる順次走査
変換装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明に係る順次走査変
換装置は、現画像と所定の参照画像とを用いた動き補償
予測符号化によって符号化された符号化信号が入力さ
れ、前記符号化信号を復号化して画像信号を復元すると
共に、前記符号化信号に関する情報を得る復号化手段
と、この復号化手段によって復元されたインターレース
構造の画像信号を記憶する記憶手段と、前記記憶手段に
記憶された前記画像信号を順次走査変換して出力する順
次走査変換手段と、前記符号化信号に関する情報に基づ
いて前記順次走査変換手段における順次走査変換方法を
決定して判定結果として出力する変換方法判定手段と、
前記判定結果を保持して前記順次走査変換手段に与える
変換方法記憶手段とを具備したことを特徴とするもので
ある。

【００１３】本発明において、符号化信号は復号化手段
によって復号化され、画像信号が復元される。記憶手段
は、復元されたインターレース構造の画像信号を記憶す
る。復号化手段からは符号化信号に関する情報も得ら
れ、変換方法判定手段に供給される。変換方法判定手段
は、符号化信号に関する情報に基づいて、順次走査変換
手段における順次走査変換方法を決定して、判定結果と
して変換方法記憶手段に記憶させる。変換方法記憶手段
に記憶された判定結果は順次走査変換手段に与えられ、
順次走査変換手段は指定された順次走査変換方法で記憶
手段に記憶された画像信号を順次走査信号に変換して出
力する。

【００１４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。図１は本発明に係る
順次走査変換装置の一実施の形態を示すブロック図であ
る。

【００１５】本実施の形態は送信側のＭＰＥＧエンコー
ダによって符号化された映像信号（以下、ＭＰＥＧ２信
号という）に含まれている画像構造及び動きベクトル等
の情報を利用して順次走査変換における補間方法を適応
的に切換えることにより、動きベクトル検出回路等の回
路を省略可能にしたものである。

【００１６】入力端子１には図示しない送信側のＭＰＥ
Ｇエンコーダによって符号化されたＭＰＥＧ２信号が入
力される。送信側のＭＰＥＧエンコーダでは、画面内で
圧縮を行うフレーム内圧縮の外に、画像間の相関を利用
して圧縮を行うフレーム間圧縮を採用している。フレー
ム内圧縮時には、映像信号は例えば８×８画素のブロッ
ク（ＤＣＴブロック）単位でＤＣＴ（離散コサイン変
換）処理されて、空間座標成分が周波数成分に変換され
る。ＤＣＴ変換係数は量子化処理されて、符号量が低減
される。更に、量子化出力は可変長符号化されることに
より、符号量が一層低減される。

【００１７】また、ＭＰＥＧエンコーダにおけるフレー
ム間圧縮では、現フレームの画像と前後のフレームの参
照画像との差分が予測誤差として求められ、この予測誤
差についてＤＣＴ処理、量子化処理及び可変長符号化処
理が行われる。これにより、符号量を著しく低減するこ
とができる。しかし、画像の動きが大きい場合には、単
に前後の画像との差分を求めただけでは予測誤差が大き
くなって符号量が増大してしまうことがある。そこで、
参照画像と現フレームの画像との動きベクトルを検出
し、動きベクトルに基づいて参照画像を動き補償して現
フレームの画像との差分を求めることにより、予測誤差
を小さくして符号量を削減するようになっている。

【００１８】このように、ＭＰＥＧエンコーダでは、Ｄ
ＣＴ処理によって１フレームの画像データを符号化した
フレーム内符号化フレーム（以下、Ｉピクチャという）
と、フレーム間符号化フレーム（以下、Ｐピクチャとい
う）又はＩピクチャを用いた予測符号化によって画像デ
ータを符号化したＰピクチャと、フレーム内、前方、後
方及び両方向予測適応切換フレーム（以下Ｂピクチャと
いう）とによって符号化フレームを構成する。

【００１９】なお、ＭＰＥＧエンコーダにおいて処理す
る輝度信号と色差信号とはサンプリングクロックが相違
する。例えば、色差信号のサンプリングクロックが輝度
信号のサンプリングクロックの１／４の周波数であるも
のとすると、輝度ブロックと色差ブロックの大きさの比
は１：４となる。この場合には、輝度４ブロックと色差
各１ブロックずつとの６ＤＣＴブロックによってマクロ
ブロックを構成して符号化の単位とする。動きベクトル
の検出もマクロブロック単位で行われる。

【００２０】ところで、ＭＰＥＧエンコーダにおいて
は、入力画像がプログレッシブ画像である場合には、フ
レーム構造による符号化が行われる。また、入力画像が
インターレース画像である場合には、インターレース画
像のトップ及びボトムフィールドの画像をそのまま符号
化するフィールド構造による符号化を行うだけでなく、
フィールド画像のトップ及びボトムフィールドからフレ
ーム画像を作成して、フレーム構造の状態で符号化を行
うことがある。ＭＰＥＧ２エンコーダは、これらのフレ
ーム構造の状態での符号化とフィールド構造の状態での
符号化とをフレーム単位で選択するようになっている。

【００２１】フィールド構造による符号化では、フィー
ルドピクチャ単位で動き補償予測及びＤＣＴ符号化が行
われる。これに対して、フレーム構造による符号化では
フレームピクチャ単位で符号化が行われるが、動き補償
予測としては、参照画像としてフレーム画像を用いるフ
レーム予測と、参照画像としてトップフィールド画像及
びボトムフィールド画像のいずれか一方を用いるフィー
ルド予測とが採用される。

【００２２】即ち、フレーム予測においては、トップ及
びボトムフィールドが合成された入力フレームの各画素
データとトップ及びボトムフィールドが合成された参照
フレームとの間で動きが検出され、１つの動きベクトル
が求められる。これに対し、フィールド予測において
は、入力フレームのトップフィールドの各画素と参照フ
レームのトップ又はボトムフィールドの各画素との間で
動きが求められて、トップフィールドについての１つの
動きベクトルが求められると共に、入力フレームのボト
ムフィールドの各画素と参照フレームのトップ又はボト
ムフィールドの各画素との間で動きが求められて、ボト
ムフィールドについての１つの動きベクトルが求められ
る。即ち、フィールド予測においては、トップ及びボト
ムフィールド用の２つの動きベクトルが求められる。

【００２３】図１において、ＭＰＥＧ２信号はＭＰＥＧ
デコード回路２のデコード部３に供給される。デコード
部３は入力された映像信号を復号化し、復元した画像デ
ータを参照，表示メモリ４に供給するようになってい
る。

【００２４】図２は図１中のＭＰＥＧデコード回路２の
具体的な構成を示すブロック図である。

【００２５】デコード部３は可変長復号化回路13、逆量
子化回路14、逆ＤＣＴ回路15、加算器16及び動き補償予
測回路17によって構成されている。可変長復号化回路13
は入力されたＭＰＥＧ２信号を可変長復号化して、可変
長符号化前のデータに戻す。この可変長復号化処理によ
って、量子化出力が得られると共に、符号化時の画像構
造、動きベクトル及び予測モード等の符号化時の情報が
得られる。なお、画像構造の情報は、ＭＰＥＧエンコー
ダの入力ソースがプログレッシブ画像であったかインタ
ーレース画像であったかの情報、フレーム構造の状態又
はフィールド構造の状態のいずれの状態で符号化が行わ
れたかの情報及びフレーム予測又はフィールド予測のい
ずれの予測方法が用いられたかの情報等を含む。可変長
復号化回路13からの情報は、変換方法判定回路７及び動
きベクトル保持メモリ６に供給される。また、動きベク
トル及び予測モードの情報は動き補償予測回路17にも供
給される。

【００２６】逆量子化回路14は可変長復号化回路13から
量子化出力が与えられ、量子化出力を逆量子化処理する
ことによって量子化前のデータに戻して逆ＤＣＴ回路15
に出力する。逆ＤＣＴ回路15は入力された逆量子化出力
を逆ＤＣＴ処理して元の空間座標成分である画素データ
に戻して加算器16に出力する。

【００２７】ＭＰＥＧ２信号がＩピクチャに基づくもの
である場合には、逆ＤＣＴ回路15の出力はＩピクチャの
復元画像データである。この場合には、加算器16は入力
された復元画像データをそのまま出力するようになって
いる。加算器16の出力は参照，表示メモリ４を介して動
き補償予測回路17に供給される。参照，表示メモリ４
は、復元画像データを保持して表示順に出力端子12に出
力するための表示用のメモリとして機能すると共に、復
元画像データを参照画像として保持する参照メモリとし
ても機能する。

【００２８】参照、表示メモリ４の出力は動き補償予測
回路17に供給される。動き補償予測回路17は、予測モー
ドに基づいて、参照，表示メモリ４に格納されている参
照画像データを動きベクトルを用いて動き補償して、動
き補償した参照画像データを加算器16に出力するように
なっている。

【００２９】ＭＰＥＧ２信号がフレーム間符号化された
ものである場合には、このＭＰＥＧ２信号に基づく逆Ｄ
ＣＴ回路15の出力は予測誤差である。加算器16は逆ＤＣ
Ｔ回路15からの予測誤差に動き補償予測回路17からの動
き補償された参照画像データを加算して元の画像データ
を復元して参照，表示メモリ４に出力するようになって
いる。参照，表示メモリ４からの画像データは出力端子
12を介して順次走査変換回路５に供給される。なお、こ
れらの復号化処理はマクロブロック単位で行われるよう
になっている。

【００３０】図１において、参照，表示メモリ４からの
復元画像データは順次走査変換回路５に供給される。順
次走査変換回路５は、同一フィールド内の上下の画素値
の平均値を用いて補間を行うフィールド内補間又は他の
フィールドの画素値を用いて補間を行うフィールド間補
間によって、インターレース構造の画像信号をプログレ
ッシブ信号に変換して出力する。順次走査変換回路５
は、後述する変換方法記憶メモリ８の出力に基づいて補
間方法を切換えるようになっている。

【００３１】即ち、順次走査変換回路５は、入力された
表示フィールドのブロックデータが変換方法記憶メモリ
８に格納されたデータによって静止領域である場合に
は、前フィールドの画素値を用いて補間を行う。また、
順次走査変換回路５は、入力された表示フィールドのブ
ロックデータが変換方法記憶メモリ８に格納されたデー
タによって動領域と判断された場合には、表示フィール
ド内の上下の画素値を用いて補間を行う。なお、順次走
査変換回路５は、垂直方向の解像度を向上させるため
に、フィールド内補間をおこなう場合でも、前フィール
ドの画素値を利用したフィルタリング処理によって補間
を行ってもよい。

【００３２】デコード部３からの画像構造、動きベクト
ル及び予測モード等の符号化時の情報は変換方法判定回
路７及び動きベクトル保持メモリ６に供給される。デコ
ードする画像がフィールド構造の状態で符号化されたも
のである場合には、上述したように、順次走査変換回路
５は、前フィールドの対応する領域が静止領域であるか
否かによって、補間方法を決定する。従って、フィール
ド構造の状態で符号化が行われている場合には、前フィ
ールドの対応する領域の情報を保持する必要がある。動
きベクトル保持メモリ６は、補間に用いる１フィールド
前の領域が静止しているか否かを判定するために、デコ
ード部３からの対応するマクロブロックの動きベクトル
を１フィールド期間保持して変換方法判定回路７に出力
するようになっている。

【００３３】また、デコード部３は、逆ＤＣＴ回路15の
出力に基づいて、動き補償予測による予測誤差の絶対値
和又は自乗和についての情報も変換方法判定回路７に供
給するようになっている。変換方法判定回路７は、画像
データをデコードする際に得られる画像構造、参照フィ
ールド及び動きベクトル等の情報等がデコード部３から
供給され、これらの情報に基づいて、補間するマクロブ
ロックが静止領域であるか動領域であるかを判定するよ
うになっている。

【００３４】図３乃至図６は変換方法判定回路７の判定
方法を説明するための説明図である。図３乃至図６にお
いて、垂直方向は画面の垂直方向に対応し、水平方向は
フィールド単位の時間を示しており、○印は各フィール
ドの垂直方向の画素を示している。なお、図３乃至図６
では、図面の簡略化のために水平方向については示して
いないが、水平方向の動きはないものとして説明する。

【００３５】変換方法判定回路７は、入力された情報に
よって、ＭＰＥＧ２信号がプログレッシブ画像をフレー
ム構造の状態で符号化したものであるか否かを検出す
る。この場合には、ＭＰＥＧデコード回路２から出力さ
れる画像信号のトップ及びボトムフィールドは元のプロ
グレッシブ画像に対応しており、トップ又はボトムフィ
ールドのうちの表示フィールドを他方のフィールドの画
素値によって補間することにより、元のプログレッシブ
画像を得ることができる。従って、この場合には、変換
方法判定回路７は、無条件に、フィールド間補間を指定
するための情報、例えば、“１”を変換方法記憶メモリ
８に記憶させるようになっている。なお、変換方法判定
回路７は、フィールド内補間を指定するための情報とし
ては、例えば“０”を変換方法記憶メモリ８に記憶させ
るようになっている。また、変換方法記憶メモリ８の初
期値は“０”であるものとする。

【００３６】また、本実施の形態においては、変換方法
判定回路７は、復号マクロブロックが静止領域のマクロ
ブロックであるか動領域のマクロブロックであるかを判
定し、静止領域であるものと判定した場合には、フィー
ルド間補間を示す“１”を出力し、動領域であるものと
判定した場合には、フィールド内補間を示す“０”を出
力するようになっている。

【００３７】例えば、変換方法判定回路７は、ＭＰＥＧ
２信号がフレーム構造の状態でフレーム予測を採用して
符号化が行われたものである場合には、復号化されるマ
クロブロックの動きベクトルが０であるか否かを判断す
ることによって、マクロブロックが静止領域であるか動
領域であるかを判定する。図３の矢印は、画素値が同一
の画素の動きを示しており、図の水平方向の矢印によっ
て画面垂直方向には動きがないことが示される。即ち、
図３はフレーム構造、フレーム予測の符号化において、
動きベクトルが０である状態を示している。

【００３８】図３に示すように、マクロブロックの動き
ベクトルが０であれば、復号したマクロブロックと参照
画像のマクロブロックについて、復号画像のトップフィ
ールドと参照画像のトップフィールドとは一致し、復号
画像のボトムフィールドと参照画像のボトムフィールド
とは一致する。即ち、復号画像のトップ及びボトムフィ
ールドは参照画像のトップ及びボトムフィールドに対し
て静止している。この場合には、変換方法判定回路７
は、各フレームのトップフィールドとボトムフィールド
との間には動きがなく復号マクロブロックは静止領域
（図３の破線で囲った領域）のマクロブロックであるも
のと判断する。変換方法判定回路７は、静止領域と判断
した場合には、“１”を変換方法記憶メモリ８に出力
し、動領域と判断した場合には“０”を変換方法記憶メ
モリ８に出力する。

【００３９】なお、動きベクトルが０であっても、実際
には絵柄が動いていることがある。そこで、変換方法判
定回路７は、上述した条件の他に、マクロブロックの予
測誤差の絶対値和又は自乗和が所定値よりも小さいとき
にのみ静止領域と判断するという条件を付加してもよ
い。

【００４０】また、変換方法判定回路７は、フレーム構
造の状態でフレーム予測を採用して符号化された状態と
同様の状態によってＭＰＥＧ２信号が作成されている場
合には、動きベクトルが０であることによって、静止領
域と判断してもよいことは明らかである。例えば、フレ
ーム構造の状態でフィールド予測を採用して符号化が行
われた場合であっても、復号画像のトップ及びボトムフ
ィールドが夫々参照画像のトップ及びボトムフィールド
を用いて予測符号化したものであり、且つ、トップ及び
ボトムフィールドの動きベクトルがいずれも０である場
合には、静止領域と判断してもよい。

【００４１】図４はこの場合の状態を示している。変換
方法判定回路７は、図４の破線で囲った領域を静止領域
と判断する。この場合においても、変換方法判定回路７
は、現フィールドのマクロブロック及び前フィールドの
対応するマクロブロックの予測誤差の絶対値和又は自乗
和が所定値よりも小さいときにのみ静止領域と判断する
という条件を付加してもよいことは明らかである。

【００４２】また、同様に、変換方法判定回路７は、Ｍ
ＰＥＧ２信号がフィールド構造の状態でフィールド予測
を採用して符号化されたものである場合において、前フ
ィールドの動きベクトルと現フィールドの動きベクトル
がいずれも０で、参照フィールドと予測フィールドとが
一致している領域を静止領域であると判定する。図５は
この場合の状態を示しており、破線で囲った部分が静止
領域である。

【００４３】ところで、輝度信号と色差信号とは別々に
処理するので、マクロブロックを４輝度ブロックと２つ
の色差ブロックの計６ＤＣＴブロックによって構成した
場合には、１マクロブロックは１６×１６画素で構成さ
れる。フィールド構造における垂直方向の１６画素分の
大きさは、フレーム構造における垂直方向の３２画素分
の大きさに対応する。そこで、フィールド構造状態での
符号化においては、動き予測を垂直方向にはマクロブロ
ックの１／２の領域で行う予測方法（以下、１６×８フ
ィールド予測という）を採用することがある。

【００４４】この場合には、垂直方向上下の２つの領域
毎に動きベクトルが求められるので、変換方法判定回路
７は、各領域毎に一方の動きベクトルのみについて判断
すればよい。図６はこの場合の例を示している。図６の
例では、上半分の領域については、破線で囲った部分に
示すように、前フィールドの動きベクトルと現フィール
ドの動きベクトルがいずれも０で、参照フィールドと予
測フィールドとが一致している領域を有する。下半分の
領域の動きベクトルは０ではないが、変換方法判定回路
７は、図６の破線で囲った領域を静止領域と判定する。

【００４５】ところで、動きベクトルを用いた判定は、
Ｐ，Ｂピクチャについては適用することができるが、Ｉ
ピクチャには適用することができない。そこで、フレー
ム内圧縮されたマクロブロックについては、このマクロ
ブロックを参照画像とする復号画像のマクロブロックが
静止領域であるか否かによって静止領域か否かの判断を
行うようになっている。図３において復号画像の静止領
域（右側の破線で囲った部分）は参照画像の対応する領
域と同一画素である。従って、復号画像のトップフィー
ルドとボトムフィールドとの間に動きがなく静止領域と
判断された場合には、この領域が参照する画像の領域も
静止領域（図３の左側の破線で囲った部分）と判断する
ことができる。

【００４６】また、同様に、フィールド構造の場合に
は、図５に示すように、静止領域と判断された領域に対
応する前フィールドの領域も静止領域と判断する。つま
り、図５において復号画像の静止領域（右側の破線で囲
った部分）は参照画像の対応する領域と同一画素であ
る。従って、現画像の静止領域と判断された領域が参照
する画像の領域も静止領域（図３の左側の破線で囲った
部分）と考えることができ、更に、参照画像と現画像と
の間の画像（１フィールド前の画像）の対応する領域も
静止領域（中央の破線で囲った部分）と考えることがで
きる。

【００４７】このように、復号画像がＩピクチャである
場合でも、このＩピクチャの領域を参照画像とする画像
の領域が静止領域であるか否かによって、Ｉピクチャの
領域が静止領域であるか動領域であるかを判断すること
ができる。

【００４８】次に、このように構成された実施の形態の
動作について図７の説明図を参照して説明する。図７は
図１中の順次走査変換回路５の動作を示している。図７
（ａ）はフレーム構造の状態で符号化した場合における
トップフィールドの補間を示し、図７（ｂ）はフレーム
構造の状態で符号化した場合におけるボトムフィールド
の補間を示し、図７（ｃ）はフィールド構造の状態で符
号化した場合における補間を示している。

【００４９】入力端子１には、放送波又は蓄積メディア
等からのＭＰＥＧ２信号が入力される。このＭＰＥＧ２
信号はＭＰＥＧデコード回路２のデコード部３に供給さ
れる。デコード部３は、可変長復号化処理、逆量子化処
理及び逆ＤＣＴ処理によって、ＭＰＥＧ２信号を復号化
する。Ｉピクチャについては、逆ＤＣＴ回路15の出力は
そのまま参照，表示メモリ４に格納されて、出力端子12
を介して出力される。

【００５０】Ｐ，Ｂピクチャについては、参照，表示メ
モリ４に格納されている画像は参照画像として用いられ
る。動き補償予測回路17は可変長復号化処理によって得
た動きベクトルに基づいて、参照画像を動き補償する。
動き補償された参照画像と逆ＤＣＴ処理後の出力とを加
算器16によって加算処理することで元の画像が復元され
る。参照，表示メモリ４に格納された画像データは出力
端子12を介して順次走査変換回路５に供給される。

【００５１】一方、デコード部３は、動き補償予測符号
化時の画像構造、動きベクトル及び予測モード等の符号
化時の情報と動き補償予測後の予測誤差の自乗和又は絶
対値和の情報を変換方法判定回路７及び動きベクトル保
持メモリ６に出力する。動きベクトル保持メモリ６は動
きベクトルを１フィールド期間遅延させて変換方法判定
回路７に出力する。

【００５２】いま、ＭＰＥＧ２信号がプログレッシブ画
像をフレーム構造のまま符号化されて得られたものであ
るものとする。この場合には、変換方法判定回路７は、
復号しているマクロブロックに対してフィールド間補間
を指定するための“１”を変換方法記憶メモリ８に書込
む。変換方法記憶メモリ８は、マクロブロック毎の領域
を有し、変換方法判定回路７の出力を復号マクロブロッ
ク毎に記憶する。変換方法記憶メモリ８は、変換方法判
定回路７で判定されたマクロブロックが参照，表示メモ
リ４から読出され順次走査変換回路５に供給されて順次
走査変換されるタイミングで、記憶している判定結果を
順次走査変換回路５に出力するようになっている。

【００５３】また、ＭＰＥＧ２信号がフレーム構造の状
態で符号化されているものとする。ＭＰＥＧ２信号がフ
レーム予測されている場合には、変換方法判定回路７
は、動きベクトルが０であるか否かによって復号マクロ
ブロックが静止領域であるか否かを判断する。図３の破
線で囲った部分については、変換方法判定回路７は静止
領域と判定して、“１”を変換方法記憶メモリ８に書込
む。

【００５４】いま、変換方法判定回路７によって、図３
の復号画像のうち破線で囲った部分が静止領域で他の部
分が動領域と判定されたものとする。この復号画像は参
照、表示メモリ４に供給されて保持される。参照，表示
メモリ４に格納されたインターレース構造の復号画像は
順次走査変換回路５に供給される。

【００５５】順次走査変換回路５は１フレーム分のメモ
リを有しており、図３の復号画像の画像データを記憶す
る。順次走査変換回路５は、図７（ａ）に示すように、
破線で囲った静止領域については、表示フィールドがト
ップフィールドである場合には、ボトムフィールドの画
像データを用いて補間を行う。また、順次走査変換回路
５は、表示フィールドがボトムフィールドである場合に
は、図７（ｂ）に示すように、破線で囲った静止領域に
ついては、トップフィールドの画素を用いて補間を行
う。図７（ａ）の斜線で示す画素ａ，ｂはボトムフィー
ルドの画素ａ，ｂが用いられて補間されたことを示し、
図７（ｂ）の斜線で示す画素ａ，ｂはトップフィールド
の画素ａ，ｂが用いられて補間されたことを示してい
る。

【００５６】また、順次走査変換回路５は、動領域につ
いては、図７（ａ）、（ｂ）の×印に示すように、上下
の画素を用いて補間を行う。例えば、図７（ａ）におい
て、動領域の画素Ａ，Ｂ間の画素については、画素Ａ，
Ｂの画素値の和を１／２にして画素値を求める。また、
図７（ｂ）において、静止領域の画素Ｄと動領域の画素
Ｅとの間の画素については、画素Ｄ，Ｅの画素値の和を
１／２にして画素値を求める。順次走査変換回路５は、
補間によって作成した順次走査信号を出力端子９を介し
て出力する。

【００５７】また、図４に示すように、フレーム構造の
状態でフィールド予測を用いて符号化を行った場合で
も、復号画像のトップ及びボトムフィールドが夫々参照
画像のトップ及びボトムフィールドを用いて予測符号化
したものであり、且つ、トップ及びボトムフィールドの
動きベクトルがいずれも０である場合には、変換方法判
定回路７は静止領域と判断し、この静止領域については
フィールド間補間が行われる。

【００５８】次に、ＭＰＥＧ２信号がフィールド構造の
状態で符号化されているものとする。この場合には、変
換方法判定回路７は、動きベクトル保持メモリ６から前
フィールドの動きベクトルの情報を読出す。変換方法判
定回路７は、フィールド予測が行われている場合には、
図５に示すように、１つ前のフィールド及び現フィール
ドの動きベクトルが０で、参照フィールドとこの参照画
像を用いて予測された現フィールドとが一致したときに
は、復号マクロブロックを静止領域であると判定する。
また、変換方法判定回路７は、１６×８フィールド予測
が行われている場合には、図６に示すように、画面を上
下に分けて対応する動きベクトルに基づいて静止領域と
動領域とを判断する。

【００５９】参照，表示メモリ４からのインターレース
構造の画像信号は順次走査変換回路５に供給される。フ
ィールド構造で符号化が行われた場合には、順次走査変
換回路５は、前フィールドの画素値を用いて補間を行
う。図７（ｃ）はこの場合の補間方法を示している。変
換方法記憶メモリ８から静止領域であることが示された
領域（破線で囲った部分）については、図７（ｃ）の斜
線の画素に示すように、表示フィールドの１つ前のフィ
ールドの画素値を用いて補間を行う。また、動領域の画
素については、図７（ｃ）に示すように、上下の画素値
の和の１／２を画素値とする。順次走査変換回路５から
は補間によって作成された順次走査信号が出力される。

【００６０】次に、ＩピクチャのＭＰＥＧ２信号が入力
されるものとする。この場合には、変換方法判定回路７
は、Ｉピクチャのマクロブロックを参照画像とする復号
マクロブロックが静止領域であるか動領域であるかの判
定を行った後に、この復号マクロブロックと同一の判定
をＩピクチャのマクロブロックについて行って、変換方
法記憶メモリ８の対応する領域に書込みを行う。また、
フィールド構造で符号化が行われた場合には、変換方法
判定回路７は、復号マクロブロックの１フィールド前の
対応するマクロブロックに対しては、復号マクロブロッ
クと同一の判定を行う。従って、Ｉピクチャのマクロブ
ロックであっても、静止領域と動領域とを判定すること
ができる。

【００６１】このように、本実施の形態においては、符
号化時の画像構造、動きベクトル及び予測モード等の符
号化時の情報に基づいて、復号マクロブロックが静止領
域であるか動領域であるかを判定しており、静止領域に
おいてはフィールド間補間を用い、動領域においてはフ
ィールド内補間を用いて、インターレース信号を順次走
査信号に変換している。符号化時の情報に基づいて静止
領域であるか動領域であるかの判定を行い、この判定結
果に基づいてフィールド間補間とフィールド内補間との
補間方法の切換えを行っており、この切換えのために動
き検出回路及びフレームメモリ等を設ける必要はない。
変換方法判定回路７は極めて簡単な回路で構成すること
ができ、また、判定に必要な動きベクトル保持メモリ６
及び変換方法記憶メモリ８の容量はフレームメモリに比
して極めて小さいので、装置規模を著しく低減すること
ができる。

【００６２】図８は本発明の他の実施の形態を示すブロ
ック図である。図８において図１と同一の構成要素には
同一符号を付して説明を省略する。

【００６３】図１の実施の形態においては、動領域では
フィールド内補間を用い、静止領域ではフィールド間補
間を用いた。しかし、上述したように、フィールド内補
間を用いた場合よりも、フィールド間補間を用いた方が
垂直解像度を向上させることができる。そこで、本実施
の形態においては、動領域と判定された場合でも、フィ
ールド間補間を行うようにしたものである。

【００６４】本実施の形態は変換方法判定回路７、変換
方法記憶メモリ８及び順次走査変換回路５に代えて、夫
々変換方法判定回路21、変換方法記憶メモリ22及び順次
走査変換回路23を採用した点が図１の実施の形態と異な
る。

【００６５】変換方法判定回路21は、図１の変換方法判
定回路７と同様の方法によって復号マクロブロックが静
止領域であるか動領域であるかを判定する。更に、変換
方法判定回路21は、復号マクロブロックが動領域である
と判定した場合においても、他フィールドの画素値を用
いたフィールド間補間が可能であるか否かについて判定
するようになっている。

【００６６】即ち、変換方法判定回路21は、垂直方向に
ついては、動きベクトルによって２×Ｌ×ｎ画素分の動
きが示された場合には、フィールド間補間が可能である
ものと判断する。ここで、Ｌは復号フィールドから参照
フィールドまでのフレーム単位の距離を示し、ｎは整数
である。

【００６７】図９乃至図１２は変換方法判定回路21の判
定方法を説明するための説明図である。図９乃至図１２
は夫々図３乃至図６に対応しており、フレーム構造の状
態でフレーム予測を用いた符号化を行った場合、フレー
ム構造の状態でフィールド予測を用いた符号化を行った
場合、フィールド構造の状態でフィールド予測を用いた
符号化を行った場合、フィールド構造の状態で１６×８
フィールド予測を用いた符号化を行った場合を示してい
る。図９乃至図１２において、実線矢印は動きベクトル
を示し、破線矢印は補間に用いる画素を示している。な
お、図９乃至図１２においては、水平方向には動きがな
いものとして説明する。

【００６８】図９はフレーム構造でのフレーム予測によ
る符号化を示している。この場合には、復号フィールド
と参照画像との距離Ｌは１である。従って、垂直方向の
動き量が、２，４，６，…画素分であれば、変換方法判
定回路21は動領域についても補間可能と判定する。図９
はｎが２の例を示している。即ち、参照画像に対して復
号画像は垂直方向に２×１×２＝４画素分だけ動いてい
る。この場合には、図９の破線矢印にて示すように、補
間に用いる他のフィールドの画素を動きベクトルに応じ
て移動させて補間に用いることにより、表示するフィー
ルドの画素を補間することができる。

【００６９】変換方法判定回路21は、復号マクロブロッ
クが静止領域であると判定した場合及び動領域であって
も動きベクトルによって示される動きが２×Ｌ×ｎ画素
分であった場合には、フィールド間補間を指示するため
の“１”を変換方法記憶メモリ22に出力し、その他の場
合にはフィールド内補間を指示するための“０”を変換
方法記憶メモリ22に出力するようになっている。また、
変換方法判定回路21は、動領域においてフィールド間補
間を指示する場合には、動きベクトルの情報も変換方法
記憶メモリ22に出力するようになっている。

【００７０】図１０乃至図１２も図９と同様に示してあ
り、いずれも参照画像と復号画像との動きが４画素分で
ある例を示している。図９乃至図１２においては、動領
域であるがフィールド補間を採用する領域は破線で囲っ
て示してある。

【００７１】変換方法記憶メモリ22はマクロブロック毎
の領域を有し、変換方法判定回路21の出力を復号マクロ
ブロック毎に記憶し、対応する復号マクロブロックが順
次走査変換されるタイミングで、記憶した情報を順次走
査変換回路23に出力するようになっている。

【００７２】順次走査変換回路23は、変換方法記憶メモ
リ22から変換方法を示す情報及び動きベクトルが与えら
れ、参照，表示メモリ４からのインターレース構造の画
像信号を指定された変換方法で補間することにより順次
走査信号に変換して出力する。順次走査変換回路23は、
動領域についてフィールド間補間を行うことが指定され
た場合には、変換方法記憶メモリ22から与えられる動き
ベクトルに基づいた画素で補間を行うようになってい
る。

【００７３】また、順次走査変換回路23は、動領域にお
いてフィールド間補間が指定された場合において、水平
方向にも動きがあるときには、動きベクトルの水平方向
成分に基づいて補間に用いる画素を決定する。更に、動
きベクトルの水平方向成分から求めた位置に対応する画
素が存在しない場合には、求めた位置に隣接する２つの
画素の平均値を用いて補間を行うようになっている。

【００７４】次に、このように構成された実施の形態の
動作について図１３の説明図を参照して説明する。図１
３は図８中の順次走査変換回路23の動作を示している。
図１３（ａ）はフレーム構造の状態で符号化した場合に
おけるトップフィールドの補間を示し、図１３（ｂ）は
フレーム構造の状態で符号化した場合におけるボトムフ
ィールドの補間を示し、図１３（ｃ）はフィールド構造
の状態で符号化した場合における補間を示し、図１３
（ｄ）は水平方向に動きがある場合の補間を示してい
る。図１３（ａ）乃至（ｃ）は夫々図７（ａ）乃至
（ｃ）に対応している。

【００７５】ＭＰＥＧデコード回路２による復号化処理
は図１と同様である。また、変換方法判定回路21は、図
１の変換方法判定回路７と同様に、静止領域と動領域と
を判定する。本実施の形態においては、変換方法判定回
路21は、動領域のマクロブロックについては、参照画像
と復号画像との動きベクトルによって垂直方向の動きが
２×Ｌ×ｎ画素分であるか否かを判定する。

【００７６】例えば、変換方法判定回路21は、図９乃至
図１２の破線で囲った部分は、垂直方向の１フレーム期
間における動きが４画素分であるので、動領域であって
も、フィールド間補間を行うものと判定する。変換方法
判定回路21は判定結果及び動領域についてフィールド間
補間を指示する場合には動きベクトルの情報を変換方法
記憶メモリ８に与えて記憶させる。

【００７７】順次走査変換回路23は、静止領域及びフィ
ールド内補間が指示された動領域については、図１の順
次走査変換回路５と同様の順次走査変換処理を行う。図
１３（ａ），（ｂ）は図９の復号画像に対応しているも
のとする。順次走査変換回路23には、図１３（ａ），
（ｂ）の破線で囲った領域については、フィールド間補
間をすべき指示と動きベクトルとが与えられる。

【００７８】表示フィールドがトップフィールドである
場合には、図１３（ａ）の実線矢印に示すように、ボト
ムフィールドの画素を用いて補間を行う。この場合に
は、順次走査変換回路23は、補間すべき画素、例えば斜
線の画素ａ、ｂについては、動きベクトル（破線矢印）
に基づいて対応するボトムフィールドの画素ａ、ｂを求
め、これらの画素を用いて補間を行う。

【００７９】また、順次走査変換回路23は、動領域であ
ってフィールド内補間が指定された領域については、図
１の実施の形態と同様に、上下の画素を用いて補間を行
う（図１３（ａ）の×印）。

【００８０】また、同様に、表示フィールドがボトムフ
ィールドである場合には、図１３（ｂ）の実線矢印に示
すように、トップフィールドの画素を用いて補間を行
う。即ち、順次走査変換回路23は、補間すべきボトムフ
ィールドの画素ａ、ｂについては、動きベクトル（破線
矢印）に基づいて対応するトップフィールドの画素ａ、
ｂを求め、これらの画素を用いて補間を行う。

【００８１】また、フィールド構造で符号化が行われた
場合には、図１３（ｃ）に示すように、前フィールドの
画素を用いて補間が行われる。この場合における補間方
法も図１３（ｂ）の場合と同様である。

【００８２】ところで、順次走査変換回路23は、動き領
域についてフィールド間補間が指定された場合におい
て、水平方向に動きがないときには、動きベクトルに基
づく垂直位置で同一水平位置の画素を用いて補間を行え
ばよい。しかし、動きベクトルが水平方向成分を有する
場合には、水平方向についても考慮する必要がある。図
１３（ｄ）はこの場合の補間方法を示している。

【００８３】即ち、順次走査変換回路23は、水平方向に
ついても、動きベクトルの水平方向成分を用いて、補間
すべき画素、例えば表示フィールドの画素ａ，ｂに対応
する他のフィールドの画素を決定する。図１３（ｄ）の
斜線○印の画素は、他のフィールドにおいて動きベクト
ルの水平方向成分に基づく位置に画素が存在する場合の
例を示している。この場合には、他のフィールドの対応
する画素ａ，ｂを用いて補間を行う。

【００８４】一方、図１３（ｄ）の×印で示す画素は、
他のフィールドの対応する位置に画素がない場合の例を
示している。この場合には、順次走査変換回路23は、図
１３（ｄ）の実線矢印に示すように、動きベクトル水平
方向成分によって求められる位置に隣接する２つの画素
の平均を用いて補間を行う。

【００８５】他の作用は図１の実施の形態と同様であ
る。

【００８６】このように、本実施の形態においては、図
１の実施の形態と同様の効果を有すると共に、動領域と
判定された場合であっても、画質劣化を伴うことなくフ
ィールド間補間を行うことができ、垂直解像度を向上さ
せることができるという効果を有する。

【００８７】

【発明の効果】以上説明したように本発明によれば、回
路規模を低減することができるという効果を有する。

【図面の簡単な説明】

【図１】本発明に係る順次走査変換装置の一実施の形態
を示すブロック図。

【図２】図１中のＭＰＥＧデコード回路２の具体的な構
成を示すブロック図。

【図３】図１中の変換方法判定回路７の判定方法を説明
するための説明図。

【図４】図１中の変換方法判定回路７の判定方法を説明
するための説明図。

【図５】図１中の変換方法判定回路７の判定方法を説明
するための説明図。

【図６】図１中の変換方法判定回路７の判定方法を説明
するための説明図。

【図７】図１中の順次走査変換回路５の動作を説明する
ための説明図。

【図８】本発明の他の実施の形態を示すブロック図。

【図９】図８中の変換方法判定回路21の判定方法を説明
するための説明図。

【図１０】図８中の変換方法判定回路21の判定方法を説
明するための説明図。

【図１１】図８中の変換方法判定回路21の判定方法を説
明するための説明図。

【図１２】図８中の変換方法判定回路21の判定方法を説
明するための説明図。

【図１３】図８中の順次走査変換回路23の動作を説明す
るための説明図。

【符号の説明】

２…ＭＰＥＧデコード回路、３…デコード部、４…参
照，表示メモリ、５…順次走査変換回路、６…動きベク
トル保持メモリ、７…変換方法判定回路、８…変換方法
記憶メモリ

Claims (7)

【特許請求の範囲】
1. 【請求項１】 現画像と所定の参照画像とを用いた動き
   補償予測符号化によって符号化された符号化信号が入力
   され、前記符号化信号を復号化して画像信号を復元する
   と共に、前記符号化信号に関する情報を得る復号化手段
   と、 この復号化手段によって復元されたインターレース構造
   の画像信号を記憶する記憶手段と、 前記記憶手段に記憶された前記画像信号を順次走査変換
   して出力する順次走査変換手段と、 前記符号化信号に関する情報に基づいて前記順次走査変
   換手段における順次走査変換方法を決定して判定結果と
   して出力する変換方法判定手段と、 前記判定結果を保持して前記順次走査変換手段に与える
   変換方法記憶手段とを具備したことを特徴とする順次走
   査変換装置。
2. 【請求項２】 前記変換方法判定手段は、前記画像信号
   が静止領域の信号である場合には前記順次走査変換方法
   としてフィールド間補間を指定し、前記画像信号が動領
   域の信号である場合には前記順次走査変換方法としてフ
   ィールド内補間を指定することを特徴とする請求項１に
   記載の順次走査変換装置。
3. 【請求項３】 前記符号化信号はフィールド構造の状態
   で符号化されたものであって、 前記変換方法判定手段は、１フィールド前の前記符号化
   信号に関する情報を保持する保持手段を有し、前フィー
   ルド及び現フィールドの動きベクトルに基づいて前記動
   き補償予測符号化においてフレーム予測と同等の予測方
   法が採用されているか否かを判断して前記順次走査変換
   方法を決定することを特徴とする請求項１に記載の順次
   走査変換装置。
4. 【請求項４】 前記変換方法判定手段は、前記符号化信
   号に関する情報に基づいて、前記符号化信号がプログレ
   ッシブ構造を有する場合又は前記動き補償予測符号化に
   おいてフレーム予測又はフレーム予測と同等な予測方法
   が採用されており且つ動きがないと判定した場合には前
   記順次走査変換手段にフィールド間補間を指示し、その
   他の場合にはフィールド内補間を指示することを特徴と
   する請求項１に記載の順次走査変換装置。
5. 【請求項５】 前記変換方法判定手段は、参照画像につ
   いてはこの参照画像を参照して復号した復号画像と同一
   の順次走査変換方法を前記順次走査変換手段に指示する
   ことを特徴とする請求項１に記載の順次走査変換装置。
6. 【請求項６】 前記符号化信号はフィールド構造の状態
   で符号化されたものであって、 前記変換方法判定手段は、復号画像の１フィールド前の
   画像については前記復号画像と同一の順次走査変換方法
   を前記順次走査変換手段に指示することを特徴とする請
   求項１に記載の順次走査変換装置。
7. 【請求項７】 前記変換方法判定手段は、現画像と動き
   補償した参照画像との差分に基づいて前記順次走査変換
   手段における順次走査変換方法を決定することを特徴と
   する請求項１に記載の順次走査変換装置。