JP3981189B2 - 符号化画像データの復号装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ＩＳＯ／ＩＥＣの国際規格やＭＰＥＧ−２などの規格に基いて高能率符号化された画像データを復号し、表示させるようにした復号装置に係り、特に、高精細画像の符号化画像データに好適な復号装置に関する。
【０００２】
【従来の技術】
近年、データ量が膨大な画像データを伝送もしくは記録するに当り、冗長性などを除去してデータ圧縮符号化する高能率符号化が用いられるようになり、伝送もしくは記録コストの低減が図られている。このような高能率符号化としては、例えば、「テレビジョン学会誌」第４９巻 第４号（１９９５年）pp.４３５−４６６などで概説されているように、ＩＳＯ／ＳＣ２９／ＷＧ１１で標準化されたＭＰＥＧ方式がよく知られており、また、特開平８−１８９５３号公報や特開平８−２３５１４号公報などで、このＭＰＥＧ方式によるＭＰＥＧストリームの復号・表示装置の例が開示されている。
【０００３】
ＭＰＥＧ方式に基づく符号化では、画像データの各フレームを、予測値として参照する参照フレームを持たずに符号化するＩフレーム（Intra Picture）や過去のフレーム（即ち、表示順で当該フレームよりも前方に配列されるフレームのみ）を参照フレームとし、この参照フレームをもとに符号化するＰフレーム（Predictive Picture）、過去のフレームと未来のフレーム（即ち、表示順で当該フレームよりも後方に配列されるフレームのみ）とを参照フレームとし、これら参照フレームをもとに符号化するＢフレーム（Bidirectional Picture）とに区分される。Ｂフレームの実際の符号化に際しては、このＢフレームの符号化時点で過去のフレームによる参照フレームと未来のフレームによる参照フレームとが存在していることが必要であり、このため、表示順に配列されているフレームの順序を巧みに入れ替えてから符号化がなされる。
【０００４】
このため、かかる符号化された画像データの復号・表示装置では、フレームの符号化順に送られてくる符号化画像データが順次復号されるが、復号された各フレームをもとの表示順に従うように並び替える必要があり、このため、復号画像データは一旦メモリに蓄えられる。
【０００５】
また、Ｉ，Ｐフレームの復号画像データは、その後のＢフレームの復号の参照データとして用いる必要があり、このため、必ず２フレーム分の画像データを上記のメモリ内に蓄えている必要がある。上記の復号画像データのフレーム順の並び替えは、この２フレーム分のメモリを利用して行なわれる。
【０００６】
さらに、画像データは１フレーム単位で符号化されているために、テレビジョン信号のように、１フレームがインタレースした２つのフィールドで構成される場合、たとえＢフレームであっても、復号して直ちに表示できるわけでなく、復号されたフレームの画像データはフィールドデータに変換される必要がある。このためにも、１フレーム分程度のメモリが必要となる。
【０００７】
図１０はＭＰＥＧ方式による画像サイズの制約と符号化画像データの復号に際しての必要なメモリ容量を示した図である。
【０００８】
同図において、ＭＰＥＧ方式に基いてデータ圧縮符号化する画像信号は幾つかのカテゴリに分類されており、特に、メインレベル（ＭＬ）とハイレベル（ＨＬ）と称する２つのカテゴリは、応用面から特に重要視されている。
【０００９】
メインレベル（ＭＬ）は、水平７２０画素×垂直４８０走査線×フレーム周波数３０ＨｚのＮＴＳＣ方式の映像信号に相当するものであり、衛星ディジタル放送に採用されている。また、ハイレベル（ＨＬ）は、水平１９２０画素×垂直１０８０走査線×フレーム周波数３０Ｈｚのような高精細画像に対応したものであり、高画質な放送サービスを行なうことを目的とした米国の地上波ディジタル放送に採用が決定している。なお、この米国の地上波ディジタル放送については、例えば、「日経マイクロデバイス」１９９７年５月号 pp.４７−５３に紹介されている。
【００１０】
図１０に示した必要なメモリ容量は、上記の３フレーム分の容量に加え、復号に際し、符号化画像データを一時蓄えるためのデータバッファ分を加えて計算される。この符号化画像データバッファ（ＶＢＶ）の容量は、メインレベル（ＭＬ）で１，８３５，００８ビットであり、ハイレベル（ＨＬ）で９，７８１，２４８ビットである。この容量値は、製造者が異なる符号化装置と復号・表示装置との組み合わせでも適切な符号化・復号化が保証されるように、必ず守らなくてはならない必要最小限の容量として、ＭＰＥＧ規格で定められている。
【００１１】
また、メモリとしては、１６Ｍビット（＝２Ｍバイト）の容量のメモリが汎用のメモリチップとして様々な分野で利用されており、復号・表示装置を構成するに際しても、コスト面での優位性から、この汎用メモリが使用される。
【００１２】
【発明が解決しようとする課題】
しかしながら、高精細画像である上記のハイレベル（ＨＬ）に対応した復号・表示装置では、メモリが１２Ｍバイトも必要であり、さらには、１フレーム当り１９２０×１０８０画素もの画像データをこのメモリに書き込んだり、読み出したりする必要があり、このため、このメモリの制御回路も大規模なものとなる。
【００１３】
また、「日経マイクロデバイス」１９９７年５月号 pp.４７−５３に紹介されているように、符号化画像データの画像フォーマットは多岐にわたっている。従って、特定の表示装置でこれら全ての画像フォーマットに対応して復号された画像データを表示させるには、この表示装置として、これら全ての画像フォーマットが表示できるものを用いるか、復号・表示装置と表示装置との間にフォーマット変換装置を用いる必要がある。
【００１４】
このように、ハイレベル（ＨＬ）に対応したディジタル放送の実用化にあたっては、装置の規模やコストなどの面で大きな問題があった。
【００１５】
本発明の目的は、かかる問題を解消し、符号化画像データがハイレベル(ＨＬ)に対応したものであっても、規模の拡大を抑えて低コストで復号・表示を可能とした符号化画像データの復号装置を提供することにある。
【００１６】
本発明の他の目的は、さらに、表示装置の画像フォーマットに応じて表示する画像サイズを任意にかつ容易に設定することができるようにした符号化画像データの復号装置を提供することにある。
【００１７】
【課題を解決するための手段】
上記夫々の目的を達成するために、本発明は、符号化画像データの復号段階で復号する画像データの水平方向の画素数を、接続された表示装置での表示画像フォーマットに合致するように、低減し、復号画像データをメモリ手段に格納するとともに、該メモリ手段から読み出された該復号画像データに対し、表示装置での表示画像フォーマットに合致するように、走査線数や画素補間を行なうものであり、走査線変換手段や画素補間手段をメモリ手段の後段に設けているので、該メモリ手段の容量を低減しながら、表示装置の表示画像フォーマットに合致した画像サイズの表示画像データを得ることができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態を図面を用いて説明する。
図１は本発明による符号化画像データの復号装置の第１の実施形態を示すブロック図であって、１は復号・表示演算制御部（以下、デコーダという）、２はメモリ、３は入力バッファメモリ、４は復号バッファメモリ、５はメモリコントローラ、６は可変長復号ユニット、７は逆量子化・逆離散コサイン変換（以下、ＩＱ・ＩＤＣＴという）ユニット、８は画素削減フィルタ、９は動き補償ユニット、１０は画素シフトフィルタ、１１は表示ユニット、１２は水平画素補間フィルタ、１３は走査線変換フィルタ、１４はタイミング発生ユニット、１５はタイミングバス、１６はメモリバスである。
【００２０】
同図において、符号化画像データは、デコーダ１の入力バッファメモリ３に供給される。このデコーダ１内には、メモリバス１６とタイミングバス１５の２つのバスが設けられており、入力バッファメモリ３は入力した符号化画像データを一時蓄え、タイミングバス１５を介して与えられるタイミング発生ユニット１４からの指示タイミングでこの符号化画像データを読み出し、メモリバス１６を介してメモリコントローラ５に供給する。メモリコントローラ５は、さらに、この符号化画像データをメモリ２の符号化画像データバッファ領域に格納する。
【００２１】
タイミング発生ユニット１４は、上記の符号化画像データのメモリ２への書込タイミングの生成に加え、復号処理や表示処理に付随する全てのメモリ２へのアクセスタイミングや表示用同期信号などを生成する。メモリ２へのアクセスタイミングは、上記の符号化画像データの書込みのほか、メモリバス１６を介した後述する符号化画像データの読出しや復号画像データの書込み，参照画像データや表示画像データの読出しを設定するのであるが、メモリ２へのこれらアクセスを復号処理及び表示処理に合わせ、かつ互いに競合することなく、行なわせる。例えば、表示同期信号に基づいて細かくタイムスロットを定義し、これらのタイムスロットを上記夫々のアクセスに割り当てることにより、復号処理及び表示処理が必要なデータを適切なタイミングで得ることができる。
【００２２】
メモリ２に格納された符号化画像データは、メモリコントローラ５によって再び読み出され、メモリバス１６を介し、復号バッファメモリ４に供給されて蓄えられる。復号バッファメモリ４は、一時的に他のメモリアクセスのためにメモリ２から符号化画像データを読み出すことができない状態でも、次段の可変長復号ユニット６の要求信号req に応じて、常に、符号化画像データを供給可能とするためのものである。
【００２３】
可変長復号ユニット６は、復号バッファメモリ４から符号化画像データの供給を受け、可変長符号化されたこの符号化画像データを可変長復号し、その復号されて離散コサイン変換係数からなる画像データをＩＱ・ＩＤＣＴユニット７に供給するとともに、この符号化画像データから量子化情報や画像サイズ情報，動きベクトル情報を抽出し、夫々ＩＱ・ＩＤＣＴユニット７や動き補償ユニット９，表示ユニット１１に供給する。
【００２４】
図２の右側部分に米国での高精細地上波ディジタル放送で定められている画像フォーマット、即ち、画像サイズ（水平画素数，垂直走査線数，走査方式，アスペクト比）の例を示している。ここでは、画像データのサイズは、１フレーム当り、例えば、水平１９２０画素（有効分）×垂直１０８０走査線（有効分）（１９２０（Ｈ）×１０８０（Ｖ）という。以下同様）を最大としており、この実施形態では、そのいずれの画像サイズの符号化画像データも復号可能とするものである。上記画像サイズ情報は入力される符号化画像データのかかる画像サイズを表わなものであって、後述するように、画素削減フィルタ８や走査線変換フィルタ１３，水平画素補間フィルタ１２による画像サイズの変換に際しての指標として用いられる。
【００２５】
ＩＱ・ＩＤＣＴユニット７では、供給された離散コサイン変換係数の画像データが量子化情報に基づいて逆量子化演算され、さらに、逆離散コサイン変換されて、動き補償前の画像データが得られる。
【００２６】
一方、メモリ２は、図１０で示した１９２０(Ｈ)×１０８０(Ｖ)のハイレベル(ＨＬ)に対応した１２Ｍバイトもの容量を備えるものではなく、例えば、１２８０(Ｈ)×１０８０(Ｖ)に対応した８Ｍバイトに削減させた容量を備えさせているに過ぎない。
【００２７】
画像削減フィルタ８は、メモリ２が備えている容量よりも大きな画像サイズの画像データを復号する場合、上記のＩＱ・ＩＤＣＴユニット７で得られた動き補償前の画像データの水平方向の画像サイズ(水平画素数)を削減するフィルタとして動作する。これにより、画像サイズが低減されてメモリ２の容量の削減を可能とするとともに、メモリ２で読み書きする画素データの総数を低減し、メモリコントローラ５の回路規模を小さくさせる。
【００２８】
動き補償ユニット９は、画素削減フィルタ８で画像サイズ(即ち、水平画素数)が削減された画像データを受け取り、これに動きベクトル情報に基いて動き補償を行なって復号された画像データを得るものであり、これをメモリ２に設けられた３つのフレームメモリに順次書き込む。これら３つのフレームメモリのうちの２つは、参照フレームメモリとして、符号化されたＩフレームやＰフレームの復号画像データを専用に格納する。これら２つのフレームメモリは、ＩフレームやＰフレームにかかわらず、時間的な順序で交互にかかるフレームの読み書きを行なう。残りの１つのフレームメモリはＢフレーム専用である(なお、このフレームメモリを、以下、Ｂフレームメモリという）。
【００２９】
動き補償を行なうに際し、動き補償ユニット９は、上記の水平画素数が削減された画像データに加算する参照画像データを、メモリコントローラ５を介して、メモリ２から読み出す。Ｐフレームに対する参照画像データは、１つ前のＩもしくはＰフレームの復号画像データであり、上記の２つの参照フレームメモリのうちのＩもしくはＰフレームの復号画像データの書込みを行なわない方の参照フレームメモリから読み出す。また、Ｂフレームに対しては、２つの参照フレームメモリからＩもしくはＰフレームの参照画像データを読み出す。
【００３０】
また、これら参照画像データの読出しに際し、参照フレームメモリ内のどの位置の画像データを読み出すかを決定するのが動きベクトル情報である。符号化画像データから抽出される動きベクトルは、符号化されている画像サイズに対応して、その整数画素の精度及び１/２画素の精度で与えられているが、メモリ２には、既に水平画素数が削減された状態で参照画像データが格納されており、動き補償ユニット９は、水平画素数の削減レシオを換算した動きベクトル値をメモリコントローラ５に供給することにより、位置関係の概ね正しい参照画像データの読出しを可能としている。
【００３１】
画素シフトフィルタ１０は、画像削減フィルタ８からの動き補償前の画像データとメモリ２から読み出す参照画像データとが動きベクトルで与えられる正確な位置関係となるように、メモリ２から読み出した参照画像データを水平方向に位置シフトさせるフィルタであり、動き補償ユニット９は、この位置シフトされた参照画像データを画像削減フィルタ８からの画像データに加算して復号画像データを得るものである。この復号画像データは一旦メモリ２に格納され、タイミング発生ユニット１４で設定されるタイミングで表示画像データとして読み出される。
【００３２】
ところで、この実施形態では、先に説明したように、図２に示すような種々の画像サイズの符号化画像データを復号可能であるが、デコーダ１に接続される表示装置は、種々のタイプのうちの１つのものである。このため、メモリ２から読み出されるこの表示画像データは、その画像サイズが接続された表示装置の表示画像フォーマットに一致しないタイプのものであるとき、その画像サイズの変換が必要となる。この実施形態では、この画像サイズの変換を、画素削減フィルタ８に加え、走査線変換フィルタ１３と水平画素補間フィルタ１２とで行なうものである。
【００３３】
図２は、また、デコーダ１に接続した表示装置を１２８０(Ｈ)×７２０(Ｖ)のプログレッシブスキャンタイプでアスペクト比１６：９の表示装置として、図示される様々な画像フォーマットをこの表示装置に対応させたときの図１における画素削減フィルタ８の画素数削減比，走査線変換フィルタ１３の走査線変換比及び水平画素補間フィルタ１２の画素補間比の具体的な数値例を示している。
【００３４】
同図において、例えば、符号化画像データが１９２０(Ｈ)×１０８０(Ｖ)のインタレーススキャンタイプの画像データを符号化したものである場合、画素削減フィルタ８により、水平方向の画像サイズ（画素数）をこのタイプの表示装置に一致させることができるが、画素削減フィルタ８は、垂直方向の走査線数の削減は行なっていないため、垂直方向の画素サイズ（走査線数）をこの表示装置に一致させることができない。画素削減フィルタ８が垂直方向の走査線数の削減を行なわないのは、符号化画像データがインタレーススキャンに対応してものである場合、フィールドタイプの動きベクトルとフレームタイプの動きベクトルが混在するためである。
【００３５】
そこで、メモリ２，表示ユニット１１間に走査線変換フィルタ１３を設けており、これにより、垂直方向１０８０走査線のインタレーススキャンタイプの画像データを７２０走査線のプログレッシブスキャンタイプに変換するために、１フィールド当り５４０走査線を４／３倍して７２０走査線に変換する。
【００３６】
また、上記表示装置の垂直方向の走査線数７２０よりも少ない走査線数の、例えば、７２０(Ｈ)×４８０(Ｖ)のインタレーススキャンタイプの画像データの場合には、その各フィールドからプログレッシブスキャンタイプの１２８０(Ｈ)×７２０(Ｖ)の１画面を形成するものであるから、走査線変換フィルタ１３でインタレーススキャンの１フィールド当り２４０走査線が、図２に示すように、３逓倍されて７２０走査線になる。
【００３７】
また、メモリ２と表示ユニット１１との間に水平画素補間フィルタ１２が設けられており、表示画像データの水平方向の画素数を表示装置のそれに合わせるようにしている。例えば、７２０(Ｈ)×４８０(Ｖ)のインタレーススキャンタイプの画像データのように、デコーダ１に接続される１２８０(Ｈ)×７２０(Ｖ)のプログレッシブスキャンタイプの表示装置よりも水平画素数が少ない画像データに対しては、この水平画素補間フィルタ１２が、水平方向の画素補間(水平７２０画素から水平１２８０画素への変換)を行ない、この表示装置のタイプとデコーダ１から出力される画像データのタイプとを一致させる。例えば、この７２０(Ｈ)×４８０(Ｖ)のインタレーススキャンタイプの画像データの場合、この画素補間処理により、水平方向の画素数が１６/９倍される。
【００３８】
なお、図２での１２８０(Ｈ)×７２０(Ｖ)，プログレッシブスキャンタイプ，アスペクト比である画像データを復号し、また、デコーダ１に接続される表示装置がこれと同じタイプの１２８０(Ｈ)×７２０(Ｖ)のプログレッシブスキャンタイプである場合には、画素削減フィルタ８や走査線変換フィルタ１３，水平画素補間フィルタ１２は、その機能を停止し、入力をそのまま出力する。
【００３９】
また、図２において、「−」で示した欄は夫々、対応する画素数削減，走査線変換，水平画素補間の処理を行なわないことを示している。また、アスペクト比４：３の画像データを表示させる上記の表示装置で表示させる場合には、１６：９のアスペクト比の画面の中心に表示させる、いわゆるサイドパネル表示を行なわせている。
【００４０】
表示ユニット１１は、上記のようにして、水平画素数や走査線数がデコーダ１に接続される図示しない表示装置のタイプに合わせられた表示画像データが供給され、これをタイミング発生ユニット１４から供給される表示用同期信号に合わせて整列し、デコーダ１の出力画像データとしてこの表示装置に出力する。
【００４１】
次に、デコーダ１に接続される表示装置を、上記のように、１２８０(Ｈ)×７２０(Ｖ)のプログレッシブタイプでアスペクト比１６：９とし、また、デコーダ１で復号される画像データが図２に示す１９２０(Ｈ)×１０８０(Ｖ)のインタレースタイプでアスペクト比１６：９の画像データであるとして、図１における各部の具体例とその動作を説明する。但し、画素シフトフィルタ１０や走査線変換フィルタ１３，水平画素補間フィルタ１２のフィルタ係数値を適宜切り替え設定することにより、他のタイプの表示装置や他のタイブの画像データにも対応可能であることはいうまでもない。
【００４２】
図３は図１における画素削減フィルタ８の具体例についての説明図であって、同図(ａ)はその動作原理を示す図、同図(ｂ)はその回路構成を示すブロック図、同図(ｃ)はその動作を示すタイミング図である。
【００４３】
ここでは、水平方向の画素数を１９２０画素から１２８０画素に変換する場合を例にとって説明しているが、後述する画素シフトフィルタ１０や走査線変換フィルタ１３，水平画素補間フィルタ１２も、同様に、フィルタ係数値を適切に選ぶことにより、例示したもの以外にも対応可能である。
【００４４】
図３（ａ）において、上段のａ₀,ａ₁,ａ₂,……は水平方向１９２０画素の場合の画素系列（１９２０画素系列という。以下同様）の順次の画素を、中段の数値はフィルタ係数値を、下段のｂ₀,ｂ₁,ｂ₂,……は１２８０画素系列の順次の画素を夫々示しており、画素削減比を２/３とする。従って、基本的には、１９２０画素系列の１.５画素毎に１個ずつ１２８０画素系列の画素を生成することになる。このために、画素削減フィルタ８は、図中矢印で示される方向に１９２０画素系列の各画素にフィルタ係数値を重みとして乗算し、１２８０画素系列の画素に集まる矢印全部の重み付けされた画素を加算する。
【００４５】
具体的には、１９２０画素系列を３画素ずつにグループ化し、これらグループ毎に夫々の画素に重み付けして加算することにより、１２８０画素系列の１つおきの画素とし、また、１９２０画素系列の隣り合う２つのグループ間で先行するグループの最後の画素とこれに続くグループの先頭の画素とを夫々重み付けして加算し、１２８０画素系列の他の１つおきの画素とするものである。
【００４６】
いま、１９２０画素系列の１つおきのｉ番目(但し、ｉ＝１，２，３，……)のグループについて、このグループでの画素を先頭からａ_3i-4,ａ_3i-3,ａ_3i-2とすると、このグループ内において、
（１/８)×ａ_3i-4＋(３/４)×ａ_3i-3＋(１/８)×ａ_3i-2
の演算を行ない、これを１２８０画素系列の１つおきに配列される(２ｉ−１)番目の画素ｂ_2i-2とする。１９２０画素系列の次の（ｉ＋１）番目のグループの画素は先頭からａ_3i-1，ａ_3i，ａ_3i+1であるから、ｉ番目のグループの最後の画素ａ_3i-2と次の(ｉ＋１)番目のグループの先頭の画素ａ_3i-1とについて、
(１/２)×ａ_3i-2＋(１/２)×ａ_3i-1
の演算を行ない、これを１２８０画素系列の他の１つおきに配列される２ｉ番目の画素ｂ_2i-1とする。例えば、１２８０画素系列の１番目の画素ｂ₀は、ｉ＝１として、
（１/８)×ａ_-1＋(３/４)×ａ₀＋(１/８)×ａ₁ ……（１）
の演算で求められ、また、次の２番目の画素ｂ₁は、同じくｉ＝１として、
(１/２)×ａ₁＋(１/２)×ａ₂ ……（２）
の演算で求められる。このようにして、１９２０画素系列の３画素毎に１２８０画素系列の２画素が生成され、従って、水平方向の画素数が２／３となる。
【００４７】
次に、図３（ｂ）により、かかる画素数削減を行なう画素削減フィルタ８の一具体例を説明し、その動作を図３（ｃ）により説明する。但し、図３（ｂ）において、８ａ，８ｂは遅延回路、８ｃ〜８ｅは乗算器、８ｄは加算器、８ｇはフリップフロップ回路、８ｈは係数メモリ部である。なお、図３（ｃ）において、図３（ｂ）に対応するデータには同一符号を付けている。
【００４８】
以下では、動き補償前の画像データが画素ａ_-1，ａ₀，ａ₁からなる最初のグループから入力されるものとして、この具体例の動作を説明する。
【００４９】
図３（ｂ）,（ｃ）において、ＩＱ・ＩＤＣＴユニット７（図１）から１９２０画素系列の動き補償前の画像データ（これは、図３（ａ）での１９２０画素系列の画像データに対応するものであって、以下、入力画像データという）Ａが復号クロックφに位相同期して入力され、遅延回路８ａでこの復号クロックφの周期（＝入力画像データａの画素周期）分遅延され、さらに、遅延回路８ｂで復号クロックφの１周期分遅延される。そして、入力画像データＡは乗算器８ｃに、遅延回路８ａからの遅延画像データＡ_D は乗算器８ｄに、遅延回路８ｂからの遅延画像データＡ_2Dは乗算器８ｅに夫々供給される。
【００５０】
一方、係数メモリ部８ｈには、上記のフィルタ係数値１/８，３/４，１/２及び０が格納されており、復号クロックφに位相同期して入力される位置情報Ｐ₁に応じたフィルタ係数値がこの復号クロックφに同期して読み出され、乗算器８ｃ，８ｄ，８ｅに供給される。この位置情報Ｐ₁は、図３(ａ)で説明したように入力画像データＡを３画素毎にグループ化した場合、各グループについて、先頭の画素ａ_-1,ａ₂,ａ₅,……を表わす位置情報Ｐ_os1と最後の画素ａ₁,ａ₄,ａ₇,……を表わす位置情報Ｐ_os0とからなり、かかる先頭の画素が入力されるときには位置情報Ｐ_os1が、最後の画素が入力されるときには位置情報Ｐ_os0が夫々入力される。
【００５１】
そこで、いま、入力画像データＡの最初のグループの最後の画素ａ₁が入力されたとすると、遅延画素データＡ_2Dでのそのグループの先頭の画素ａ_-1が乗算器８ｅに、遅延画素データＡ_D での２番目の画素ａ₀ が乗算器８ｄに、最後の画素ａ₁が乗算器８ｃに夫々同時に供給される。このときには、位置情報Ｐ_os1が係数メモリ部８ｈに供給されるが、係数メモリ部８ｈでは、この位置情報Ｐ_os1によって１/８と３/４のフィルタ係数値が読み出され、１/８のフィルタ係数値が乗算器８ｃ,８ｅに、また、フィルタ係数値３/４が乗算器８ｄに夫々供給される。これにより、乗算器８ｃからは（１/８)×ａ₁が、乗算器８ｄからは (３/４)×ａ₀が、乗算器８ｅからは(１/８)×ａ_-1が夫々得られる。これら乗算値は加算器８ｆで加算され、上記式(１)で示す１２８０画素系列の最初の画素ｂ₀が得られる。
【００５２】
次に、入力画像データＡの次のグループの最初の画素ａ₂が入力されると、乗算器８ｃにこの画素ａ₂が、乗算器８ｄに１つ前のグループの最後の画素ａ₁が、乗算器８ｅにさらにその１つ前の画素ａ₀が夫々供給される。このときには、係数メモリ部８ｈに上記の位置情報Ｐ_os0が供給され、これによって１/２と０のフィルタ係数値が読み出され、１/２のフィルタ係数値が乗算器８ｃ,８ｄに、０のフィルタ係数値が乗算器８ｅに夫々供給される。これにより、乗算器８ｃからは(１/２)×ａ₂が、乗算器８ｄからは(１/２)×ａ₁が、乗算器８ｅからは０×ａ_-1が夫々得られる。これら乗算値は加算器８ｆで加算され、上記式(２)で示す１２８０画素系列の２番目の画素ｂ₁ が得られる。
【００５３】
次いで、入力画像データＡの次の画素ａ₃が入力されると、乗算器８ｃにこの画素ａ₃ が、乗算器８ｄに１つ前の画素ａ₂ が、乗算器８ｅにさらに１つ前の画素ａ₁が夫々供給される。このときには、係数メモリ部８ｈに位置情報Ｐ₁が供給されず、これにより、０のフィルタ係数値が読み出されて乗算器８ｃ,８ｄ,８ｅに夫々供給される。このため、乗算器８ｃ,８ｄ,８ｅの乗算値は全て０となり、加算器８ｆからは画素が得られない。
【００５４】
以上の３つの動作が１９２０画素系列の画素が入力する毎に順に繰り返され、これにより、順次生成された画素からなる１２８０画素系列の画像データｂ'がフィルタ出力として得られることになる。なお、この１２８０画素系列では、上記のように、２画素毎に１画素分の空白が生ずる。この画像データｂ’は、復号クロックφに対して位相がずれており、このため、フリップフロップ回路８ｇによって復号クロックφに位相同期させる。そして、このフリップフロップ回路８ｇからの画像データｂが、図１において、画像削減フィルタ８の出力として動き補償ユニット９に供給される。
【００５５】
なお、上記の復号クロックφは１９２０画素系列の画像データａに対応したクロックであり、また、クロックの共有化による回路構成の簡素化を図るため、上記のように、画素数が削減された１２８０画素系列の画像データｂもこの復号クロックφにタイミングを合わさせている。従って、乗算器８ｃ〜８ｅなどによるフィルタ計算はこの復号クロックφの３クロックに２回行なえばよく、これに合わせて、位置情報Ｐ₁やフィルタ出力ｂ'，画素削減データｂも２クロック期間は確定したデータとなるが、残り１クロック期間は「don't care」(図中×印）でよい。
【００５６】
図４は図１における画素シフトフィルタ１０の一具体例の説明図であって、同図（ａ）はその動作原理を示す図、同図（ｂ）はその具体例を示すブロック図、同図（ｃ）はその動作を示すタイミング図である。
【００５７】
この画素シフトフィルタ１０には、動き補償ユニット９で画素削減フィルタ８からの画素数削減された画像データＢの動き補償しようとする単位領域としてのマクロブロックに動きベクトルによって対応付けられる参照画像データのマクロブロックがメモリ２の参照フレームメモリから読み出されて供給され、この参照画像データのマクロブロックが画像データＢの上記マクロブロックと精度良く合致するように、動きベクトルを目安にして、この参照画像データのマクロブロックを水平方向にシフトするものである。
【００５８】
なお、ここでは、図３で説明した画素削減フィルタ８と同様、１９２０画素系列を１２８０画素系列に画像データの画素数削減した場合を例にして説明している。この場合、メモリ２から読み出される参照画像データも１２８０画素系列の画像データである。しかし、それ以外についても、フィルタ係数値を適切に選ぶことにより対応可能である。
【００５９】
ここで、上記の動きベクトルは、１９２０画素系列の画像データに対して１/２画素の精度を有しているが、画像データを１９２０画素系列から１２８０画素系列に画素数削減したことにより、１２８０画素系列の画像データに対しては、この画素数削減率(＝２/３）に応じて換算されたものである。そこで、１９２０画素系列の画像データに対して１/２画素の精度を有しているということは、１２８０画素系列の画像データに対しては１/３画素の精度を有していることになる。
【００６０】
この場合、動き補償ユニット９で動き補償しようとするマクロブロックとメモリ２からこれに対応して読み出された参照画像データのマクロブロックとの間には、画素位置のずれ状態として３通りあり、図４（ａ）には、これらに対する画素シフト処理を夫々位置：１，位置：２，位置：３として示している。なお、ここで、黒丸は、１９２０画素系列の画像データの２つの画素ａ₀',ａ₁'とかかる画素間の中間位置にある仮想画素とを示しており、白丸は、この１９２０画素系列の画像データを図３で説明した画素数削減処理によって得られる１２８０画素系列の画像データのマクロブロックに対応するメモリ２から読み出された参照画像データのマクロブロックの２つの画素ｂ₀',ｂ₁'を示している。
【００６１】
図４（ａ）において、位置：１は、メモリ２から読み出された参照画像データのマクロブロックと画素削減フィルタ８から動き補償ユニット９に供給される画素数削減された画像データＢの動き補償すべきマクロブロックとで、それらの画素の位置が一致する場合を示すものであり、この場合には、参照画像データの画素ｂ₀',ｂ₁',……に夫々１のフィルタ係数値が乗算され、シフトされた画素ｃ₀，ｃ₁，……として動き補償ユニット９に供給される。
【００６２】
位置：２は、動きベクトルが、１９２０画素系列の画像データでみたとき、メモリ２から読み出される参照画像データのマクロブロックが動き補償されるマクロブロックに対して１/２画素分ずれていることを示す場合である。この場合には、動き補償ユニット９での画素数削減された画像データの動き補償すべきマクロブロックに対し、メモリ２から読み出された参照画像データのマクロブロックが、１２８０画素系列の画像データにおいて、１/３画素分ずれていることになる。従って、参照画像データのマクロブロックの各画素ｂ₀',ｂ₁',……毎にそれから１/３画素分遅れた画素を生成するのであるが、図示する画素ｂ₀',ｂ₁'の間の画素ｃ₀を生成する場合を例にすると、先行する画素ｂ₀'に２/３のフィルタ係数値を、また、次の画素ｂ₁’にフィルタ係数値１/３を夫々乗算し、夫々の乗算値を加算して１/３画素分シフトした画素ｃ₀を得る。従って、この画素ｃ₀は、
ｃ₀＝（２/３)×ｂ₀'＋（１/３)×ｂ₁'
である。
【００６３】
位置：３は、動きベクトルが、１９２０画素系列の画像データでみたとき、メモリ２から読み出される参照画像データのマクロブロックが動き補償されるマクロブロックに対して１画素分ずれていることを示す場合である。この場合には、動き補償ユニット９での画素数削減された画像データの動き補償すべきマクロブロックに対し、メモリ２から読み出された参照画像データのマクロブロックが、１２８０画素系列の画像データにおいて、２/３画素分ずれていることになる。従って、参照画像データのマクロブロックの各画素ｂ₀',ｂ₁',……毎にそれから２/３画素分遅れた画素を生成するのであるが、図示する画素ｂ₀',ｂ₁'の間の画素ｃ₀を生成する場合を例にすると、先行する画素ｂ₀'に１/３のフィルタ係数値を、また、画素ｂ₁'にフィルタ係数値２/３を夫々乗算し、夫々の乗算値を加算して２/３画素分シフトした画素ｃ₀を得る。従って、この画素ｃ₀は、
ｃ₀＝（１/３)×ｂ₀'＋（２/３)×ｂ₁'
である。
【００６４】
このようにして、画素シフトフィルタ１０では、動き補償ユニット９での動き補償前の１２８０画素系列の画像データの動き補償すべきマクロブロックに、これに対してメモリ２から読み出される１２８０画素系列の参照画像データのマクロブロックを、画素毎のタイミングで、一致させることができる。
【００６５】
なお、図３に示した画像削減フィルタ８では、復号クロックφ毎にフィルタ係数値が異なるものであったが、この画素シフトフィルタ１０では、同じマクロブロックでは動きベクトルが同じであるから、同じマクロブロック内では、使用するフィルタ係数値は同じである。勿論、位置：１，２，３に応じてフィルタ係数値が異なることはいうまでもない。
【００６６】
次に、図４(ｂ)により、かかる画素シフト処理を行なう画素シフトフィルタ８の一具体例を説明し、かつその動作を図４(ｃ)により説明する。但し、図４(ｂ)において、１０ａは遅延回路、１０ｂ，１０ｃは乗算器、１０ｄは加算器、１０ｅはフリップフロップ回路、１０ｆは係数メモリ部である。なお、図４(ｃ)において、図４(ｂ)に対応するデータには同一符号を付けている。
【００６７】
以下では、参照画像データＢ”が画素ｂ₀’，ｂ₁’，ｂ₂’，……の順に入力されるものとするが、図３（ｂ）,（ｃ）で説明したように、画素数削減された１２８０画素系列の画像データは、２画素おきに１画素分の空白期間がある。ここでは、この空白期間にその直後の同じ画素が繰り返されるようにしている。従って、ここでは、ｂ₀’，ｂ₁’，ｂ₂’，ｂ₂’，ｂ₃’，ｂ₄’，ｂ₄’，……の順にメモリ２から読み出された参照画像データＢ”のマクロブロックの画素が画素シフトフィルタ１０に入力されるものとする。
【００６８】
図４（ｂ）,（ｃ）において、参照画像データＢ”のマクロブロックの画素が復号クロックφに同期して順次入力され、乗算器１０ｂに供給されるとともに、遅延回路１０ａで復号クロックφの１周期分遅延されて乗算器１０ｃに供給される。また、この参照画像データＢ"の画素の入力毎に、換算された動きベクトルに応じた位置情報Ｐ₂が係数メモリ部１０ｆに供給される。
【００６９】
ここで、係数メモリ部１０ｆには、図４（ａ）に示したようなフィルタ係数値１，１／３，２／３及び０が格納されており、図４（ａ）に示した位置：１，２，３に応じて位置情報Ｐ₂の値Ｐ_osが異なることにより、この値Ｐ_osに応じたフィルタ係数値が読み出される。
【００７０】
いま、図４（ａ）での位置：１の場合には、このときの位置情報Ｐ₂の値Ｐ_osにより、係数メモリ部１０ｆから０と１のフィルタ係数値が読み出され、この０のフィルタ係数値は乗算器１０ｃに、このマクロブロックの期間、常時供給される。従って、この乗算器１０ｃからは画素が出力されない。また、乗算器１０ｂには、この１のフィルタ係数値が供給されるのであるが、上記の同じ画素が再度供給されるときには、０のフィルタ係数値が供給される。このため、入力される画像データＢ”の画素列が遅延乗算器１０ｂを介して出力されるが、この画像データＢ”での繰り返される画素ｂ₂’，ｂ₄’，……の１つずつが取り除かれる。この乗算器１０ｂの出力画像データは加算器１０ｄを介し、フィルタ出力Ｃ’としてフリップフロップ回路１０ｅに供給され、復号クロックφに位相同期した画素シフトデータＣが得られる。
【００７１】
図４（ａ）での位置：２の場合には、位置情報Ｐ₂ の値Ｐ_os により、係数メモリ部１０ｆから２/３，１/３及び０のフィルタ係数が読み出される。そして、２/３のフィルタ係数値が乗算器１０ｃに、１/３のフィルタ係数値が乗算器１０ｂに夫々供給されるが、同じ画素が再度入力されるときには、乗算器１０ｂ，１０ｃに０のフィルタ係数値が供給され、それらの出力を０とする。これにより、乗算器１０ｃに画素ｂ₀’が、乗算器１０ｂに画素ｂ₁’が夫々供給されると、夫々から(２/３)×ｂ₀’，(１/３)×ｂ₁’の乗算値が出力され、これらが加算器１０ｄで加算される。また、次の復号クロックφの周期で乗算器１０ｃに画素ｂ₁’が、乗算器１０ｂに画素ｂ₂’が夫々供給されると、夫々から(２/３)×ｂ₁’，(１/３)×ｂ₂’の乗算値が出力され、これらが加算器１０ｄで加算される。そして、さらに次の復号クロックφの周期では、乗算器１０ｂに同じ画素ｂ₂’が繰り返し供給され、また、乗算器１０ｃにもこれと同じ画素ｂ₂’が供給される。このときには、これら乗算器１０ｂ，１０ｃに０のフィルタ係数値が供給されることになり、従って、乗算器１０ｂ，１０ｃからは出力が得られず、空白期間となる。
【００７２】
以下同様にして、２画素期間上記の乗算，加算の演算が行なわれて次の１画素期間が空白期間となる動作が繰り返され、加算器１０ｄからは、このように２画素期間おきに１画素分の空白期間となるフィルタ出力Ｃ’が得られる。このフィルタ出力Ｃ’がフリップフロップ回路１０ｅで復号クロックφと位相同期化され、画素シフトデータＣとして動き補償ユニット９に供給される。
【００７３】
図４(ａ)での位置：３の場合では、図４(ａ)での位置：２の場合とは逆に、乗算器１０ｂに２/３のフィルタ係数値が供給され、乗算器１０ｃに１/３のフィルタ係数値が供給されるが、この点を除いて、この位置：２の場合と同様である。
【００７４】
このようにして、この画素シフトフィルタ１０では、動き補償ユニット９での動き補償前の１２８０画素系列の画像データの動き補償すべきマクロブロックに画素毎のタイミングで一致した１２８０画素系列の参照画像データのマクロブロックが得られる。
【００７５】
図５は図１における走査線変換フィルタ１３の一具体例の説明図であって、同図(ａ)はその原理図、同図(ｂ)はその回路構成を示すブロック図である。
【００７６】
この具体例は、１０８０走査線でインタレーススキャンタイプに対応したものを、７２０走査線でノンインタレーススキャンであるのプログレッシブスキャンタイプに対応したものに変換するものとし、インタレーススキャンの各フィールドを夫々プログレッシブスキャンでの１画面とするものであるから、走査線数を７２０/(１０８０÷２)＝４/３倍にすることになる。従って、インタレーススキャンの各フィールド毎に、３走査線からプログレッシブスキャンでの４走査線を形成することになる。
【００７７】
図５（ａ）には、インタレーススキャンでの第１，第２フィールド毎に走査線変換を示しており、夫々において、Ｈ₁，Ｈ₂，Ｈ₃，……は夫々インタレーススキャンの第１のフィールドでの走査線を、Ｈ₁’，Ｈ₂’，Ｈ₃’，……は夫々インタレーススキャンの第１のフィールドでの走査線を、ｈ₁，ｈ₂，ｈ₃，……はインタレーススキャンでの第１フィールドの走査線から生成されるプログレッシブスキャンの走査線を、ｈ₁’，ｈ₂’，ｈ₃’，……はインタレーススキャンでの第２フィールドの走査線から生成されるプログレッシブスキャンの走査線を夫々示している。
【００７８】
また、インタレーススキャンでの１フィールドの５４０走査線がプログレッシブスキャンでの１画面の７２０走査線に変換されるものであるから、プログレッシブスキャンの画面での走査線間隔はインタレーススキャンの１フィールド画面での走査線間隔の２/３倍となる。また、インタレーススキャンでは、第２フィールドの走査線は、第１フィールドの走査線の間に位置している。従って、図５（ａ）においては、破線で示すように、インタレーススキャンでの走査線の間を４等分して示している。
【００７９】
まず、図５（ａ）での第１フィールドについて、図５（ｂ）に示す具体例の動作を説明する。但し、図５（ｂ）において、１３ａ，１３ｂは乗算器、１３ｃは加算器、１３ｄはフリップフロップ回路、１３ｅは係数メモリ部である。
【００８０】
乗算器１３ａにインタレーススキャンタイプの画像データＤ₁が、乗算器１３ｂにこれを１走査線期間遅延した同じ画像データＤ₂が夫々供給される。また、係数メモリ部１３ｅには、３/４，１/２，１/４の４種類のフィルタ係数値が格納されており、画像データＤ₁の１走査線期間のデータが入力される毎に供給される位置情報Ｐ₃の値Ｐ_os0，Ｐ_os1，Ｐ_os2，Ｐ_os3に応じたフィルタ係数値が読み出され、乗算器１３ａ，１３ｂに供給される。
【００８１】
ここで、インタレーススキャンの第１のフィールドの場合、位置情報Ｐ₃が値Ｐ_os0であるときには、係数メモリ部１３ｅから１/２のフィルタ係数値が読み出され、乗算器１３ａ，１３ｂに供給される。位置情報Ｐ₃が値Ｐ_os1のときには、係数メモリ部１３ｅから１/４，３/４のフィルタ係数値が読み出され、１/４のフィルタ係数値が乗算器１３ｂに、３/４のフィルタ係数値が乗算器１３ａに夫々供給される。位置情報Ｐ₃が値Ｐ_os2のときには、係数メモリ部１３ｅから１/２のフィルタ係数値が読み出され、乗算器１３ａ，１３ｂに供給される。位置情報Ｐ₃が値Ｐ_os3のときには、係数メモリ部１３ｅから３/４，１/４のフィルタ係数値が読み出され、３/４ のフィルタ係数値が乗算器１３ａに、１/４のフィルタ係数値が乗算器１３ｂに夫々供給される。
【００８２】
また、図３及び図４で説明したように、１９２０画素系列から１２８０画素系列に画像データが画素数削減処理されたときには、３画素期間中（復号クロックφの３周期中）２つの画素期間に夫々画素が存在し、残りの１画素期間は空白期間となっていた。この場合、１走査線の時間長は１９２０画素系列での１走査線の時間長と等しく、そこでの画素数が２/３倍となっている。このようにして動き補償ユニット９から得られる１２８０（Ｈ）×１０８０（Ｖ）の復号画像データはメモリ２に書き込まれ、また、表示のために読み出されるが、このとき、上記の３画素期間中１画素期間の余白期間は書き込まれないようにする。そして、これを読み出すときには、各走査線毎に画素が、上記の空白期間を生じさせることなく、連続して読み出すようにする。このため、メモリ２から読み出される表示用の画像データでは、１走査線の時間幅が１９２０画素系列の場合の２／３倍となる。従って、このように読み出される１２８０画素系列の画像データの４走査線期間の時間幅が１９２０画素系列の画像データの３走査線期間の時間幅に等しくなり、走査線変換回路１３で走査線数を１フィールド５４０本から１画面７２０本と４／３倍に変換するために、メモリ２から１２８０画素系列の画像データを上記のように読み出すときに、３走査線分読み出す毎に最後の走査線をさらに１回繰り返し読み出すようにする。
【００８３】
そこで、図５（ａ）の第１フィールドにおいて、走査線Ｈ₁の画像データが２回繰り返し読み出され、次に走査線Ｈ₂，Ｈ₃の画像データを読み出されると、走査線Ｈ₄の画像データが２回繰り返し読み出され、さらに、図示しないが、走査線Ｈ₅，Ｈ₆の画像データが読み出されると、その次の走査線Ｈ₇の画像データが２回繰り返し読み出される。以下同様に読み出しが行なわれる。
【００８４】
図５（ｂ）において、このようにメモリ２から読み出された１２８０画素系列の画像データＤ₁が乗算器１３ａに供給され、これより１走査線期間遅延された遅延画像データＤ₂が乗算器１３ｂに供給される。メモリ２から走査線Ｈ₁の画像データが２回続けて読み出されたときには、乗算器１３ａ，１３ｂに同じ走査線Ｈ₁の画像データＤ₁，遅延画像データＤ₂が供給されることになり、このときには、供給される位置情報Ｐ₃の値はＰ_os0であり、係数メモリ部１３ｅから１/２のフィルタ係数値が読み出されて乗算器１３ａ，１３ｂに供給される。従って、乗算器１３ａ，１３ｂから夫々(１/２)×Ｈ₁が出力され、加算器１３ｃで加算されて２×(１/２)×Ｈ₁＝１×Ｈ₁が得られる。これがフリップフロップ回路１３ｄで復号クロックφと同期化され、走査線変換画素データＥの走査線ｈ₁として出力される。この場合には、走査線Ｈ₁の入力画像データが１のフィルタ係数値で変換されたことになる。
【００８５】
次に、走査線Ｈ₂の画像データがメモリ２から読み出され、画像データＤ₁として乗算器１３ａに供給されると、乗算器１３ｂには、走査線Ｈ₁の画像データが遅延画像データＤ₂として供給されることになる。このとき、位置情報Ｐ₃の値はＰ_os1であって、これによって係数メモリ部１３ｅから１/４，３/４のフィルタ係数値が読み出され、１/４の係数値は乗算器１３ｂに、３/４のフィルタ係数値は乗算器１３ａに夫々供給される。そこで、乗算器１３ａからは(３/４)×Ｈ₂が、乗算器１３ｂからは(１/４)×Ｈ₁が夫々出力され、これらが加算器１３ｃで加算されて(３/４)×Ｈ₂＋(１/４)×Ｈ₁が得られる。この加算器１３ｃの出力はフリップフロップ回路１３ｄで復号クロックφと位相同期化され、走査線変換画素データＥの走査線ｈ₂ として出力される。
【００８６】
このようにして得られた走査線ｈ₂ は、もとの走査線Ｈ₁ ,Ｈ₂間でその間隔の３/４だけ走査線Ｈ₁から離れた位置での情報をもつ画素列からなるものとなる。
【００８７】
次に、走査線Ｈ₃の画像データがメモリ２から読み出され、画像データＤ₁として乗算器１３ａに供給されると、乗算器１３ｂには、走査線Ｈ₃の画像データが遅延画像データＤ₂として供給されることになる。このとき、位置情報Ｐ₃の値はＰ_os2であり、これによって係数メモリ部１３ｅから１/２のフィルタ係数値が読み出され、乗算器１３ａ，１３ｂに夫々供給される。そこで、乗算器１３ａからは(１/２)×Ｈ₃が、乗算器１３ｂからは(１/２)×Ｈ₂が夫々出力され、これらが加算器１３ｃで加算されて(１/２)×Ｈ₃＋(１/２)×Ｈ₂が得られる。この加算器１３ｃの出力はフリップフロップ回路１３ｄで復号クロックφと位相同期化され、走査線変換画素データＥの走査線ｈ₃ として出力される。
【００８８】
このようにして得られた走査線ｈ₃ は、もとの走査線Ｈ₂と走査線Ｈ₃との中間位置での情報をもつ画素列からなるものとなる。
【００８９】
次に、走査線Ｈ₄の画像データがメモリ２から読み出され、画像データＤ₁として乗算器１３ａに供給されると、乗算器１３ｂには、走査線Ｈ₃の画像データが遅延画像データＤ₂として供給されることになる。このとき、位置情報Ｐ₃の値はＰ_os3であり、これによって係数メモリ部１３ｅから１/４，３/４のフィルタ係数値が読み出され、１/４の係数値は乗算器１３ａに、３/４のフィルタ係数値は乗算器１３ｂに夫々供給される。そこで、乗算器１３ａからは(１/４)×Ｈ₄が、乗算器１３ｂからは(３/４)×Ｈ₃が夫々出力され、これらが加算器１３ｃで加算されて(３/４)×Ｈ₃＋(１/４)×Ｈ₄が得られる。この加算器１３ｃの出力はフリップフロップ回路１３ｄで復号クロックφと位相同期化され、走査線変換画素データＥの走査線ｈ₄ として出力される。
【００９０】
このようにして得られた走査線ｈ₄ は、もとの走査線Ｈ₃ ,Ｈ₄間でその間隔の１/４だけ走査線Ｈ₃から離れた位置での情報をもつ画素列からなるものとなる。
【００９１】
次に、走査線Ｈ₁と同様に、同じ走査線Ｈ₄の画像データがメモリ２から再度読み出され、画像データＤ₁として乗算器１３ａに供給される。このとき、乗算器１３ｂには、同じ走査線Ｈ₄の画像データが遅延画像データＤ₂として供給されることになる。このときの位置情報Ｐ₃の値はＰ_os0であり、これによって係数メモリ部１３ｅから１/２のフィルタ係数値が読み出されて乗算器１３ａ，１３ｂに供給される。そこで、乗算器１３ａ,１３ｂからは夫々(１/２)×Ｈ₄が出力され、これらが加算器１３ｃで加算されて２×(１/２)×Ｈ₄＝１×Ｈ₄が得られる。即ち、走査線Ｈ₄の画像データに１の変換係数が乗算された画像データが得られる。この加算器１３ｃの出力はフリップフロップ回路１３ｄで復号クロックφと位相同期化され、走査線変換画素データＥの走査線ｈ₅ として出力される。
【００９２】
このようにして得られた走査線ｈ₅は、もとの走査線Ｈ₄と同じ情報をもつ画素列からなるものとなる。
【００９３】
以下同様の変換処理が繰り返され、これにより、入力される画像データＤ₁の３走査線毎に走査線変換画素データＥの４走査線が形成され（図５（ａ）の第１フィールドの図示した部分について示すと、走査線Ｈ₁〜Ｈ₃に対し、走査線ｈ₁〜ｈ₄ が生成される）、従って、走査線数５４０本の第１フィールドが走査線数７２０本のフレームに変換されることになる。
【００９４】
以上は図５(ａ)に示す第１フィールドについてであったが、次に、図５(ｂ)に示す第２フィールドの走査数変換について説明する。
【００９５】
インタレーススキャンの場合、第２フイールドの走査線Ｈ₁',Ｈ₂',Ｈ₃',……は、図示するように、第１フィールドの走査線Ｈ₁，Ｈ₂，Ｈ₃，……夫々の間の中間に位置する。プログレッシブスキャンでは、各フィールド毎に画面上での走査線の位置が一致しなければならないから、第２フィールドの走査線Ｈ₁',Ｈ₂',Ｈ₃'，……からも、上記のようにして第１フィールドの走査線Ｈ₁，Ｈ₂，Ｈ₃，……から得られた走査線ｈ₁ ,ｈ₂ ,ｈ₃ ,……と画面上での位置が一致する走査線 ｈ₁',ｈ₂',ｈ₃',…… が得なければならない。
【００９６】
まず、メモリ２から最初の走査線Ｈ₁'の画像データが読み出され、画像データＤ₁として乗算器１３ａに供給されると、このときの位置情報Ｐ₃の値がＰ_os2であることから、係数メモリ部１３ｅから１/２の変換係数が読み出され、乗算器１３ａ，１３ｂに供給される。これにより、乗算器１３ａから(１/２)×Ｈ₁’が出力され、加算器１３ｃに供給される。このとき、走査線Ｈ₁’の前に仮想的な走査線があるものとし、この仮想走査線の画像データが遅延画像データＤ₂として乗算器１３ｂに供給され、１/２のフィルタ係数値が乗算されて加算器１３ｃに供給される。加算器１３ｃの出力はフリップフロップ回路１３ｄで復号クロックφと同期化され、これにより、走査線変換画素データＥの最初の走査線ｈ₁’が得られる。
【００９７】
この走査線ｈ₁’は上記の仮想走査線と走査線Ｈ₁’との中間の情報をもつ画素列からなり、従って、第１フィールドで得られる走査線ｈ₁と画面上で位置が一致する。なお、この仮想走査線とは、走査線Ｈ₁’がメモリ２から読み出されて乗算器１３ａに供給されるときに乗算器１３ｂに供給されるものであり、実際には、この走査線Ｈ₁’よりも前にある走査線ではないため、得られる走査線ｈ₁’は正しい情報をもつものではないが、この走査線ｈ₁’は画面上での上端部に位置されるので、その表示情報が目立つことがない。
【００９８】
次に、走査線Ｈ₂'の画像データがメモリ２から読み出され、画像データＤ₁として乗算器１３ａに供給されると、乗算器１３ｂには、走査線Ｈ₁'の画像データが遅延画像データＤ₂として供給されることになる。このとき、位置情報Ｐ₃の値はＰ_os3であり、これによって係数メモリ部１３ｅから１/４，３/４のフィルタ係数値が読み出され、１/４の係数値は乗算器１３ａに、３/４のフィルタ係数値は乗算器１３ｂに夫々供給される。そこで、乗算器１３ａからは(１/４)×Ｈ₂’が、乗算器１３ｂからは(３/４)×Ｈ₁’が夫々出力され、これらが加算器１３ｃで加算されて(３/４)×Ｈ₁'＋(１/４)×Ｈ₂'が得られる。この加算器１３ｃの出力はフリップフロップ回路１３ｄで復号クロックφと位相同期化され、走査線変換画素データＥの走査線ｈ₂'として出力される。
【００９９】
このようにして得られた走査線ｈ₂’は、もとの走査線Ｈ₁’，Ｈ₂’間でその間隔の１/４だけ走査線Ｈ₁'から離れた位置での情報をもつ画素列からなるが、走査線Ｈ₁’は第１フィールドの走査線Ｈ₁,Ｈ₂間の中間に位置し、また、これらから得られた走査線ｈ₂は走査線Ｈ₁,Ｈ₂間でその間隔の１/４だけ走査線Ｈ₂から離れた位置にあるから、走査線ｈ₂’は走査線ｈ₂と画面上での位置が一致することになる。
【０１００】
次に、同じ走査線Ｈ₂'の画像データがメモリ２から再度読み出され、画像データＤ₁として乗算器１３ａに供給される。このとき、乗算器１３ｂには、同じ走査線Ｈ₂'の画像データが遅延画像データＤ₂として供給されることになる。このとき、位置情報Ｐ₃の値はＰ_os0であり、これによって係数メモリ部１３ｅから１/２のフィルタ係数値が読み出され、乗算器１３ａ，１３ｂに供給される。そこで、乗算器１３ａ，１３ｂからは夫々(１/２)×Ｈ₂'が出力され、これらが加算器１３ｃで加算されて２×(１/２)×Ｈ₂'＝１×Ｈ₂'が得られる。即ち、走査線Ｈ₂'の画像データに１の変換係数が乗算された画像データが得られる。この加算器１３ｃの出力はフリップフロップ回路１３ｄで復号クロックφと位相同期化され、走査線変換画素データＥの走査線ｈ₃'として出力される。
【０１０１】
このようにして得られた走査線ｈ₃'は、もとの走査線Ｈ₂'と同じ情報をもつ画素列からなるものであり、この走査線Ｈ₂'は第１フィールドの走査線Ｈ₂，Ｈ₃間の中間位置にあって、これらから形成される走査線ｈ₃と画面上で同じ位置にあるから、走査線ｈ₃'，ｈ₃は画面上で同じ位置にあることになる。
【０１０２】
次に、走査線Ｈ₃'の画像データがメモリ２から読み出され、画像データＤ₁として乗算器１３ａに供給されると、乗算器１３ｂには、走査線Ｈ₂'の画像データが遅延画像データＤ₂として供給されることになる。このとき、位置情報Ｐ₃の値はＰ_os1であり、これによって係数メモリ部１３ｅから１/４,３/４のフィルタ係数値が読み出され、１/４の係数値は乗算器１３ｂに、３/４のフィルタ係数値は乗算器１３ａに夫々供給される。そこで、乗算器１３ａからは(３/４)×Ｈ₃'が、乗算器１３ｂからは(１/４)×Ｈ₂'が夫々出力され、これらが加算器１３ｃで加算されて(３/４)×Ｈ₃'＋(１/４)×Ｈ₂'が得られる。この加算器１３ｃの出力はフリップフロップ回路１３ｄで復号クロックφと位相同期化され、走査線変換画素データＥの走査線ｈ₄'として出力される。
【０１０３】
このようにして得られた走査線ｈ₄'は、もとの走査線Ｈ₂'，Ｈ₃'間でその間隔の１/４だけ走査線Ｈ₃'から離れた位置での情報をもつ画素列からなるが、走査線Ｈ₂'は第１フィールドの走査線Ｈ₂ ,Ｈ₃間の中間に、走査線Ｈ₃'は第１フィールドの走査線Ｈ₃ ,Ｈ₄間の中間に夫々位置し、また、走査線Ｈ₃ ,Ｈ₄から得られた走査線ｈ₄は走査線Ｈ₃ ,Ｈ₄間でその間隔の１/４だけ走査線Ｈ₃から離れた位置にあるから、走査線ｈ₄'は走査線ｈ₄と画面上で位置が一致することになる。
【０１０４】
次に、走査線Ｈ₄'の画像データがメモリ２から読み出され、画像データＤ₁として乗算器１３ａに供給されると、乗算器１３ｂには、走査線Ｈ₃'の画像データが遅延画像データＤ₂として供給されることになる。このとき、位置情報Ｐ₃の値はＰ_os2であり、これによって係数メモリ部１３ｅから１/２のフィルタ係数値が読み出され、乗算器１３ａ，１３ｂに夫々供給される。そこで、乗算器１３ａからは(１/２)×Ｈ₄'が、乗算器１３ｂからは(１/２)×Ｈ₃'が夫々出力され、これらが加算器１３ｃで加算されて(１/２)×Ｈ₄'＋(１/２)×Ｈ₃'が得られる。この加算器１３ｃの出力はフリップフロップ回路１３ｄで復号クロックφと位相同期化され、走査線変換画素データＥの走査線ｈ₅'として出力される。
【０１０５】
このようにして得られた走査線ｈ₅'は、もとの走査線Ｈ₃'，Ｈ₄'間の中間位置での情報をもつ画素列からなるが、走査線Ｈ₃'，Ｈ₄’の中間位置に第１フィールドの走査線Ｈ₄が位置し、また、この走査線Ｈ₄と同じ位置にこれから得られた走査線ｈ₅があるから、走査線ｈ₅'は走査線ｈ₅と画面上で位置が一致することになる。
【０１０６】
この走査線ｈ₅'の生成処理は最初の走査線Ｈ₁'がメモリ２から読み出されて乗算器１３ａに供給されたときと同様の処理であり、以下、以上の変換処理が繰り返される。このようにして、第２フィールドにおいても、メモリ２から読み出される画像データの３走査線毎に４走査線が形成され、しかも、形成される走査線は第１フィールドで得られる走査線と画面上で位置が一致する。従って、７２０走査線でプログレッシブスキャンタイプの画像データが得られることになる。
【０１０７】
図６は図１における水平画素補間フィルタ１２の一具体例の説明図であり、同図（ａ）はその原理図、同図（ｂ）はその構成を示すブロック図、同図（ｃ）はその動作を示すタイミング図である。
【０１０８】
上記のような１９２０(Ｈ)×１０８０(Ｖ)でインタレーススキャンタイプの画像データを画素削減フィルタ８と走査線変換フィルタ１３とで画像サイズの変換を行なった場合、デコーダ１に接続される上記の１２８０(Ｈ)×７２０(Ｖ)でプログレッシブスキャンタイプの表示装置に対しては、水平画素の補間処理は必要ではなく、水平画素補間フィルタ１２は走査線変換フィルタ１３からの表示画像データをそのまま表示ユニット１１に供給する。そこで、この具体例では、走査線変換フィルタ１３から供給される画像データが７２０画素系列であるとし、これを１２８０画素系列の画像データに変換する場合を例にとって説明する。
【０１０９】
例えば、復号画像データが図２に示す７２０(Ｈ)×４８０(Ｖ)でインタレーススキャンタイプの画像データである場合、画素削減フィルタ８では水平方向の画素数の削減は行なわれず（この場合には、図３(ｂ)において、例えば、乗算器８ｃに１のフィルタ係数が、また、乗算器８ｄ，８ｅに夫々０のフィルタ係数値が供給される）、また、走査線変換フィルタ１３では、各フィールド毎に、２４０走査線が３逓倍されて７２０走査線となる（この場合、隣接する走査線間に２つの走査線が形成されるのであるが、これら２つの走査線は、これらを挟む２つの走査線から、１/３，２/３のフィルタ係数値をもって形成される）。このように画像サイズが変換された表示画像データが水平画素補間フィルタ１２に供給される。この場合、この水平画素補間フィルタ１２では、水平方向の画素数を７２０画素から１２８０画素に変換するので、図２に示すように、水平補間比は１６/９である。
【０１１０】
このように、水平補間比が１６/９の場合、７２０画素系列の９画素当り１２８０画素系列の１６画素を形成することになるが、
１６/６＝（１８−２）/９＝２−（２/９）
であることから、７２０画素系列で９画素を単位として、その単位において、１画素当り１２８０画素系列の画素を２個ずつ形成すると２画素多く形成されてしまうことになる。従って、７２０画素系列での９画素の単位において、そのうちの７画素については、１画素当り１２８０画素系列の画素を２個ずつ形成し、残りの２画素については、１画素当り１２８０画素系列の画素を１個ずつ形成するようにする。
【０１１１】
図６（ａ）はこのように７２０画素系列を１２８０画素系列に変換する場合の原理を示しており、ａ₀，ａ₁，ａ₂，……は入力される７２０画素系列の順次の画素を、ｂ₀，ｂ₁，ｂ₂，……はこの具体例で生成される１２８０画素系列の順次の画素を表わしている。ここで、水平補間比が１６/９ということは、また、７２０画素系列の画素間隔をΔＴとすると、１２８０画素系列の画素間隔がこの画素間隔ΔＴの９/１６倍であるということである。なお、図面の都合上、７２０画素系列では、画素ａ₀〜ａ₅ しか示していない。
【０１１２】
そこで、破線で図示するように、７２０画素系列の画素ａ₀，ａ₁，ａ₂，……の夫々の画素間ΔＴを１６個の区間に等分し、その９区間毎に１２８０画素系列の画素ｂ₀，ｂ₁，ｂ₂，……が存在するように画素補間すればよい。その補間方法としては、図５で説明した走査線数変換と同様に、隣接画素に補間する画素に対する位置関係に応じたフィルタ係数値を用いて演算処理する方法を用いることができる。
【０１１３】
そこで、図６(ａ)において、７２０画素系列の画素ａ₀を１２８０画素系列の画素ｂ₀としたとき、画素ａ₀,ａ₁間の画素ｂ₀から間隔(９/１６)×ΔＴ離れた時点で次の画素ｂ₁が形成されることになるから、７/１６，９/１６のフィルタ係数値を用い、(７/１６)×ａ₀＋(９/１６)×ａ₁としてこの画素ｂ₁を得る。次の画素ｂ₂は、この画素ｂ₁から間隔(９/１６)×ΔＴ離れた時点で形成されなければならないから、画素ａ₁，ａ₂間でこの画素ａ₁から(２/１６)×ΔＴ離れた位置にある。従って、２/１６，１４/１６のフィルタ係数値を用い、(１４/１６)×ａ₁＋(２/１６)×ａ₂としてこの画素ｂ₂を得ることができる。
【０１１４】
以下同様にして、７２０画素系列の画素に対し、形成する１２８０画素系列の画素の位置関係に応じたフィルタ係数値を用いることにより、７２０画素系列の順次の画素が得られる。この場合、フィルタ係数値としては、１/１６,２/１６,３/１６,……,１６/１６（＝１）の１６通りが必要となる。
【０１１５】
また、画素ａ₀〜ａ₇の８個の画素は、７２０画素系列での隣り合う２つの画素間に２個ずつ形成されるものであり、これは、上記の７２０画素系列での画素１個当り２個ずつ１２８０画素系列の画素が形成されることに相当する。これに対し、７２０画素系列での画素ａ₄ ,ａ₅ 間には、１２８０画素系列の画素が画素ｂ₈と１個しか形成されない。これは、上記の７２０画素系列での画素１個当り１２８０画素系列の画素が１個形成されることに相当する。図６(ａ)の場合、図示しないが、７２０画素系列での画素ａ₈,ａ₉間でも、１２８０画素系列の画素が画素ｂ₁₅と１個だけ形成される。
【０１１６】
次に、かかる補間動作を行なう水平画素補間フィルタ１２の一具体例を図６（ｂ），（ｃ）により説明する。但し、１２ａは遅延回路、１２ｂ，１２ｃは乗算器、１２ｄは加算器、１２ｅはフリップフロップ回路、１２ｆは係数メモリ部である。
【０１１７】
走査線変換フィルタ１３の出力が画像データＦとして入力し、乗算器１２ｂに供給されるとともに、遅延回路１２ａでクロックφ₁の１周期分遅延され、遅延画像データＦ_D として乗算器１２ｃに供給される。
【０１１８】
ここで、この入力画像データＦについて説明する。
【０１１９】
いま、図６(ａ)に示すように画素補間処理を行なうものとすると、７２０画素系列での隣り合う２つの画素から１２８０画素系列の２つの画素を形成するのであるから、乗算器１２ｂ，１２ｃに同時に供給される２つの画素の同じ組み合わせが少なくとも２回続けて現われなければならない。例えば、乗算器１２ｂに画素ａ₂が供給され、これと同時に乗算器１２ｃに画素ａ₁が供給されたとすると、次のクロックφ₁のタイミングで、乗算器１２ｃの画素ａ₂が供給されるが、これと同時に、乗算器１２ｂに画素ａ₁が供給されなければならない。つまり、このように画素データＦが供給されるものとすると、その画素配列はａ₁,ａ₂,ａ₁となり、このように、メモリ２から読み出されることになる。これが、画素ａ₁，ａ₂間の画素ｂ₂,ｂ₃を形成するのに用いるものである。
【０１２０】
また、この続きをみると、さらに次のクロックφ₁のタイミングでは、乗算器１２ｃに画素ａ₁が供給されるが、次の画素ａ₂，ａ₃間の画素を形成するために画素ａ₂が必要であり、このため、この画素ａ₂がメモリ２から読み出されて乗算器１２ｂに供給されることになる。但し、このときには、１２８０画素系列の画素を形成する必要がない。そして、さらに次のクロックφ₁のタイミングで、乗算器１２ｃに画素ａ₂が供給され、これと同時に次の画素ａ₃が乗算器１２ｂに供給されるようにする。これによって次の画素ａ₂，ａ₃間での１２８０画素系列の画素の形成処理に移るようにする。
【０１２１】
以上のことからして、入力される画素データＦとしては、２つの画素を組としてこの組が２回ずつ画素配列となっており、従って、１２８０画素系列での１６個の画素を形成する上記単位となる７２０画素系列の９個の画素ａ₀〜ａ₉の入力順を示すと、次の表１に示すようになる。
【０１２２】
【表１】

【０１２３】
読出しが２度繰り返される組となる２つの画素を下線，上線で示しており、このような画素配列の画像データが図６(ｂ),(ｃ)での画像データＦである。図６(ｃ)では、この表１で示す画素列のうちの画素ａ₃までを示している。また、遅延回路１２ａはかかる画像データＦをクロックφ₁の１周期分遅延し、図６(ｃ)で一部示す遅延画像データＦ_Dが得られて乗算器１２ｃに供給される。
【０１２４】
ここで、メモリ２から７２０画素系列の画素ａ₀〜ａ₉を読み出すのに、上記表１に示すように、７２０画素系列の画素ａ₀〜ａ₉の９画素期間に２４個の画素を読み出すことになる。従って、この場合の読出しクロックの周波数は、書込みクロック（この場合、７２０画素系列の画素に同期したその復号クロックφ）の周波数の２４／９＝８／３倍である。従って、このクロックは、７２０×８／３＝１９２０画素系列での復号クロックφに等しい周波数であり、これが図６(ｂ) ，(ｃ)におけるクロックφ₁ である。
【０１２５】
図６(ｂ),(ｃ)において、係数メモリ部１２ｆには、０のフィルタ係数と上記の１６通りのフィルタ係数値が格納されている。いま、上記表１の順に７２０画素系列の画素がクロックφ₁に同期して入力されるものとすると、まず、入力画素データＦが画素ａ₀であるとき、この画素ａ₀は乗算器１２ｂに供給される。これと同時に、乗算器１２ｃには、１つ前の画素ａ_-1が供給される。このときには、位置情報Ｐ₄は供給されず、係数メモリ部１２ｆからは０のフィルタ係数が出力されて乗算器１２ｂ,１２ｃに供給される。従って、これら乗算器１２ｂ,１２ｃの出力は０である。
【０１２６】
次のクロックφ₁のタイミングで入力画素データＦとして画素ａ₁が入力され、乗算器１２ｂに供給されると、乗算器１２ｃに画素ａ₀が供給される。このときの位置情報Ｐ₄の値Ｐ_os0により、係数メモリ部１２ｆから１(＝１６/１６)と０のフィルタ係数値が読み出され、１のフィルタ係数値が乗算器１２ｃに、０のフィルタ係数値が乗算器１２ｂに夫々供給される。従って、乗算器１２ｃから画素ａ₀が出力され、加算器１２ｄを介し、さらに、フリップフロップ回路１２ｅでクロックφ₁と同期化されて、水平補間画素データＧとして、この場合、１２８０画素系列の画素ｂ₀として出力される。
【０１２７】
次のクロックφ₁のタイミングで入力画素データＦとして画素ａ₀が再び入力され、乗算器１２ｂに供給されると、乗算器１２ｃに画素ａ₁が供給される。このときの位置情報Ｐ₄の値Ｐ_os1により、係数メモリ部１２ｆから７/１６，９/１６のフィルタ係数値が読み出され、７/１６のフィルタ係数値が乗算器１２ｂに、９/１６のフィルタ係数値が乗算器１２ｃに夫々供給される。従って、乗算器１２ｂから(７/１６)×ａ₀が、乗算器１２ｃから(９/１６)×ａ₁が夫々出力され、これらが加算器１２ｄで加算されてフィルタ出力Ｇ’となる。このフィルタ出力Ｇ'は、さらに、フリップフロップ回路１２ｅでクロックφ₁と同期化されて、水平補間画素データＧとして、この場合、１２８０画素系列の画素ｂ₁として出力される。
【０１２８】
次のクロックφ₁のタイミングで入力画素データＦとして画素ａ₁が再び入力され、乗算器１２ｂに供給されると、乗算器１２ｃに画素ａ₀が供給される。このとき、位置情報Ｐ₄は供給されず、係数メモリ部１２ｆからは０のフィルタ係数値が読み出されて乗算器１２ｂ，１２ｃに夫々供給される。従って、乗算器１２ｂ，１２ｃの出力は０であり、水平補間画素データＧは出力されない。
【０１２９】
以上は図６（ａ）における画素ａ₀，ａ₁が繰り返し入力されることによる画素ｂ₀，ｂ₁の形成処理であり、画素ａ₁，ａ₂、画素ａ₂，ａ₃、画素ａ₃，ａ₄についても、フィルタ係数値が図６（ａ）に示すように異なるだけで、夫々毎に１２８０画素系列の画素が２つずつ形成される。
【０１３０】
入力画素データＦとして、画素ａ₄の次に画素ａ₅が乗算器１２ｂに供給されると、乗算器１２ｃに画素ａ₄が供給される。このときの位置情報Ｐ₄の値Ｐ_os8(図示せず）により、係数メモリ部１２ｆから１/２(＝８/１６)のフィルタ係数値が読み出され、乗算器１２ｂ，１２ｃに夫々供給される。このため、乗算器１２ｂからは(１/２)×ａ₅が、乗算器１２ｃからは(１/２)×ａ₄が夫々出力され、乗算器１２ｄで加算されてフィルタ出力Ｇ'となる。このフィルタ出力Ｇ'は、さらに、フリップフロップ回路１２ｅでクロックφ₁と同期化されて、水平補間画素データＧとして、この場合、１２８０画素系列の画素ｂ₈として出力される。
【０１３１】
次のクロックφ₁では、入力画素データＦとして画素ａ₆(図示せず)が乗算器１２ｂに供給され、これと同時に、乗算器１２ｃに画素ａ₅が供給される。このときの位置情報Ｐ₄の値Ｐ_os9により、１５/１６,１/１６のフィルタ係数値( 図示せず）が読み出され、この１５/１６のフィルタ係数値が乗算器１２ｃに、１/１６のフィルタ係数値が乗算器１２ｂに夫々供給される。これにより、乗算器１２ｂからは(１/１６)×ａ₆が、乗算器１２ｃからは(１５/１６)×ａ₅が夫々出力され、乗算器１２ｄで加算されてフィルタ出力Ｇ’となる。このフィルタ出力Ｇ’は、さらに、フリップフロップ回路１２ｅでクロックφ₁と同期化されて、水平補間画素データＧとして、この場合、１２８０画素系列の画素ｂ₉として出力される。
【０１３２】
次のクロックφ₁では、入力画素データＦとして画素ａ₅（図示せず）が再び乗算器１２ｂに供給され、これと同時に、乗算器１２ｃに画素ａ₆が供給される。このときの位置情報Ｐ₄の値Ｐ_os10により、１０/１６，６/１６のフィルタ係数値（図示せず）が読み出され、この１０/１６のフィルタ係数値が乗算器１２ｃに、６/１６のフィルタ係数値が乗算器１２ｂに夫々供給される。これにより、乗算器１２ｂからは(６/１６)×ａ₅が、乗算器１２ｃからは(１０/１６)×ａ₆が夫々出力され、乗算器１２ｄで加算されてフィルタ出力Ｇ’となる。このフィルタ出力Ｇ'は、さらに、フリップフロップ回路１２ｅでクロックφ₁と同期化されて、水平補間画素データＧとして、この場合、１２８０画素系列の画素ｂ₁₀として出力される。
【０１３３】
次のクロックφ₁では、入力画素データＦとして画素ａ₆(図示せず)が再び乗算器１２ｂに供給され、これと同時に、乗算器１２ｃに画素ａ₅が供給されるが、このときには、係数メモリ部１２ｆから乗算器１２ｂ，１２ｃに０のフィルタ係数値が供給され、従って、水平補間画素データＧは出力されない。
【０１３４】
以上のことから、画素ｂ₈，ｂ₉，ｂ₁₀はクロックφ１毎に続けて得られることになる。これは、画素ｂ₈が画素ａ₄，ａ₅間で形成された唯１つの画素であることにより、上記表１に示したように、これら画素ａ₄，ａ₅が繰り返されないことによるものである。
【０１３５】
これ以降は、上記の７２０画素系列の２つの画素間に２個ずつ１２８０画素系列の画素が形成されるのと同様であり、その後、画素ａ₉が画素データＦとして乗算器１２ｂに供給されると、画素ａ₉と画素ａ₈とから１/２のフィルタ係数値を用いて１つの画素ｂ₁₅が形成される。
【０１３６】
このようにして、１２８０画素系列の画素データが得られるが、この得られた画素データの１６個の画素ｂ₀〜ｂ₁₅ の配列をクロックφ₁ のタイミングで示すと、次の表２で示すようになる。
【０１３７】
【表２】

【０１３８】
ここで、□はクロックφ₁ の１周期の空白期間であり、図６（ｃ）の水平補間画素データＧでの×で示す期間に相当するものである。
【０１３９】
以上のようにして、１２８０(Ｈ)×７２０(Ｖ)の表示装置よりも水平画素数が少ない７２０画素系列の画像データを、１２８０画素系列の画像データに変換することができる。
【０１４０】
なお、図２に示した６４０画素系列の復号画像データを１２８０画素系列の表示装置で表示させる場合には、水平補間比が１２８０／６４０＝２である。この場合には、６４０画素系列の画素１個当り１２８０画素系列の画素２個を形成することになる。従って、この場合の水平画素補間を図６（ｂ）で示す具体例で行なう場合には、例えば、この６４０画素系列の各画素に同期した復号クロックφの２倍の周波数のものを上記クロックφ₁とし、このクロックφ₁でメモリ２から６４０画素系列の各画素を２回ずつ繰り返し読み出し、これを乗算器１２ｂ，１２ｃに供給するとともに、これら乗算器１２ｂ，１２ｃに１/２のフィルタ係数値を供給するようにすればよい。
【０１４１】
以上は、図２に示した各画像サイズの符号化データを復号し、１２８０(Ｈ)×７２０(Ｖ)でプログレッシブスキャンタイプの、かつアスペクト比１６：９の表示装置で表示させる場合の画像サイズの変換についてのものであったが、図７は図２に示したのと同じ符号化データを復号し、７２０(Ｈ)×４８０(Ｖ)でプログレッシブスキャンタイプの、かつアスペクト比１６：９の表示装置で表示させる場合の画像サイズの変換について示したものである。
【０１４２】
この場合には、表示装置よりも水平画素数が多い１９２０画素系列，１２８０画素系列の符号化データについては、画素削減フィルタ８により、図７に示す画素削減率で水平画素数の削減を行ない、表示装置よりも水平画素数が少ない６４０画素系列の符号化データについては、水平画素補間フィルタ１２により、図７に示す水平補間比に応じて水平画素数の補間を行なう。また、表示装置よりとは異なる走査線数の符号化データについては、走査線変換フィルタ１３により、図７に示す走査線変換比に応じて走査線数の変換を行なう。
【０１４３】
このように、いずれの画像サイズの符号化データについても、これが復号してメモリ２に格納するときには、このメモリ２に格納する前に画素削減フィルタ８で処理されるので、水平方向の画素数は７２０以下であり、従って、メモリ２に格納させる画像サイズは１フレーム当り最大７２０（Ｈ）×１０８０（Ｖ）であり、そのメモリ容量としては、６Ｍバイトとさらに低減されることになる。
【０１４４】
なお、この場合、表示装置のアスペクト比は１６：９であるから、アスペクト比４：３の符号化データについては、この表示装置で画面の両側で非表示部が生ずるようなサイドパネル表示を行なう。
【０１４５】
また、図８は図２に示したのと同じ符号化データを復号し、７２０(Ｈ)×４８０(Ｖ)でインタレーススキャンタイプの、かつアスペクト比４：３の表示装置で表示させる場合の画像サイズの変換について示したものである。
【０１４６】
この場合でも、符号化データの水平画素数，走査線数に応じて表示装置に合うように画素数削減や水平画素補間，走査線数変換を行なうが、さらに、プログレッシブタイプの符号化データは、復号後、走査線変換フィルタ１３により、インタレーススキャンタイプへの変換も行なう。
【０１４７】
このインタレーススキャンタイプへの変換は、プログレッシブスキャンタイプの画像データの順次のフレームをインタレーススキャンタイプの第１のフィールド，第２のフィールドと交互に変換するものであるが、その変換は、要するに、図５（ａ）とは逆の変換になる。
【０１４８】
この場合も、図７の場合と同様、メモリ２での１フレーム当りのメモリ容量を低減することができる。
【０１４９】
また、この場合、表示装置のアスペクト比は４：３であるから、アスペクト比１６：９の符号化データについては、この表示装置で画面の上下で非表示部が生ずるようなレターボックス表示を行なう。
【０１５０】
なお、以上の説明において、上記の画素削減フィルタ８や画素シフトフィルタ１０，走査線変換フィルタ１３，水平画素補間フィルタ１２の具体例は、いずれも回路構成の簡単なものである。しかし、回路構成が簡単なフィルタは、フィルタの遮断特性が緩やかであり、このため、折り返し歪みの残余による画質劣化が一部発生する可能性がある。これを避けるためには、回路構成が複雑になるが、トレードオフとして、より高次のフィルタ構成とすることも可能である。
【０１５１】
また、逆に、上記各フィルタの回路構成をより簡単にすることも可能である。具体的には、図６に示した水平画素補間フィルタ１２の具体例において、上記のように、水平補間比を１６／９としたとき、フィルタ計算の種類としては、１２８０画素系列の画素データの位置が７２０画素系列の画素間を１６等分したいずれかの位置に相当する分を準備するのではなく、例えば、８等分の位置に近似したり、４等分の位置に近似させるようにしてもよく、これにより、フィルタの計算の種類は夫々８種類，４種類に限定できて回路規模を縮小することができる。このようなことは、変換比が複雑になりやすい６４０(Ｈ)×４８０(Ｖ)の画像サイズの画像データに対する水平画素補間フィルタ１２の簡易化にも適用できる。
【０１５２】
図９は本発明による符号化画像データの復号装置の第２の実施形態を示すブロック図であって、１７はフィルタ係数値設定バスであり、図１に対応する部分には同位置符号を付けて重複する説明を省略する。
【０１５３】
図１に示した第１の実施形態は、各フィルタ８,１０,１２,１３のフィルタ係数値は、これに接続される表示装置のタイプによって決められたものであり、従って、接続される表示装置は決まったタイプのものだけであった。これに対し、この第２の実施形態は、異なるタイプの表示装置を接続することができ、この接続される表示装置のタイプに応じて、各フィルタ８,１０,１２,１３のフィルタ係数値を適宜選択できるようにしたものである。
【０１５４】
同図において、図示しないが、ＭＰＵ(マイクロプロセッサユニット)が設けられており、このＭＰＵは、接続された図示しない表示装置のタイプを表わすディスプレイ情報を取り込むとともに、可変長復号ユニット６で符号化データから分離されたこの符号化データの画像サイズ情報も取り込んで、これらから画素削減フィルタ８や画素シフトフィルタ１０，走査線変換フィルタ１３，水平画素補間フィルタ１２のフィルタ係数値を決定し、フィルタ係数設定バス１７を介して夫々画素削減フィルタ８の係数メモリ部８ｈ(図３(ｂ))や画素シフトフィルタ１０の係数メモリ部１０ｆ(図４(ｂ))，走査線変換フィルタ１３の係数メモリ部１３ｅ(図５(ｂ))，水平画素補間フィルタ１２の係数メモリ部１２ｆ(図６(ｂ)）に格納する。
【０１５５】
また、この変形例として、画像サイズ情報の出力線とフィルタ係数設定バス１７とを統合したＭＰＵバスを用い、これを直接ＭＰＵに接続する構成としてもよい。
【０１５６】
【発明の効果】
以上説明したように、本発明によれば、使用する表示装置の解像度が低い場合には、それに応じてメモリの容量やメモリコントロール回路の規模を低減して高精細画像の符号化データの復号及び表示が可能となる。
【０１５７】
また、本発明によると、使用する表示装置に応じてメモリの容量を決定させるハードウェアスケーラブルな高精細画像の符号化データの復号及び表示も可能となる。
【図面の簡単な説明】
【図１】 本発明による符号化画像データの復号装置の第１の実施形態を示すブロック図である。
【図２】図１に示した実施形態で１２８０(Ｈ)×７２０(Ｖ)のプログレッシブスキャンタイプの表示装置を用いた場合の各画像サイズの復号画像データに対する画素削減比，走査線変換比及び水平画素補間比の一具体例を示す図である。
【図３】図１における画素削減フィルタの一具体例の説明図である。
【図４】図１における画素シフトフィルタの一具体例の説明図である。
【図５】図１における走査線変換フィルタの一具体例の説明図である。
【図６】図１における水平画素補間フィルタの一具体例の説明図である。
【図７】図１に示した実施形態で７２０(Ｈ)×４８０(Ｖ)のプログレッシブスキャンタイプの表示装置を用いた場合の各画像サイズの復号画像データに対する画素削減比，走査線変換比及び水平画素補間比の一具体例を示す図である。
【図８】図１に示した実施形態で７２０(Ｈ)×４８０(Ｖ)のインタレーススキャンタイプの表示装置を用いた場合の各画像サイズの復号画像データに対する画素削減比，走査線変換比及び水平画素補間比の一具体例を示す図である。
【図９】 本発明による符号化画像データの復号装置の第２の実施形態を示すブロック図である。
【図１０】ＭＰＥＧ−２画像符号化規格におけるカテゴリ制約の説明図である。
【符号の説明】
１ 復号・表示演算制御部(デコーダ)
２ メモリ
５ メモリコントローラ
６ 可変長復号ユニット
７ ＩＱ・ＩＤＣＴユニット
８ 画素削減フィルタ
８ａ，８ｂ 遅延回路
８ｃ，８ｄ，８ｅ 乗算器
８ｆ 加算器
８ｇ フリップフロップ回路
８ｈ 係数メモリ部
９ 動き補償ユニット
１０ 画素シフトフィルタ
１０ａ 遅延回路
１０ｂ，１０ｃ 乗算器
１０ｄ 加算器
１０ｅ フリップフロップ回路
１０ｆ 係数メモリ部
１１ 表示ユニット
１２ 水平画素補間フィルタ
１２ａ 遅延回路
１２ｂ，１２ｃ 乗算器
１２ｄ 加算器
１２ｅ フリップフロップ回路
１２ｆ 係数メモリ部
１３ 走査線変換フィルタ
１３ａ，１３ｂ 乗算器
１３ｃ 加算器
１３ｄ フリップフロップ回路
１３ｅ 係数メモリ部
１４ タイミング発生ユニット

Claims (1)

1. 表示画像フォーマットが異なる表示装置が接続可能であって、高能率符号化手段によって符号化して得られた符号化画像データを復号する復号処理手段と、該復号処理手段で得られた復号画像データを参照画像データや表示画像データとして格納するメモリ手段と、該メモリ手段から該表示画像データを読み出し、表示のための処理を行なって該表示装置に供給する表示処理手段とを備えた符号化画像データの復号装置において、
   該復号処理手段は、
   該符号化画像データを可変長復号するとともに、該符号化画像データから画像サイズ情報を抽出する可変長復号手段と、
   該可変長復号手段の出力画像データを逆量子化・逆離散コサイン変換処理する逆量子化・逆離散コサイン変換手段と、
   該表示装置での水平方向の画素数よりも大きい水平方向の画素数を有する該符号化画像データに対する該逆量子化・逆離散コサイン変換手段の出力画像データを水平方向に画素数削減処理し、該表示装置での水平方向の画素数に合致する画素数の画像データに変換する画素削減手段と、
   該メモリ手段から読み出される参照画像データを位置シフトする位置シフト手段と、
   該位置シフト手段からの該参照画像データを用いて、該画素削減手段の出力画像データを動き補償し、該復号画像データとして該メモリ手段に供給する動き補償手段と
   を有し、
   該表示処理手段は、
   該表示装置での走査線数と異なる走査線数を有する該メモリ手段から読み出された該表示画像データを該表示装置での走査線数に合致する走査線数の画像データに変換する走査線変換手段と、
   該表示装置での水平方向の画素数よりも小さい水平方向の画素数を有する該走査線変換手段の出力画像データを画素補間処理し、該表示装置での水平方向の画素数に合致する画素数の画像データに変換する画素補間手段と
   を有し、かつ
   接続された該表示装置の表示画像フォーマットを表わすディスプレイ情報と該可変長復号手段で抽出された該画像サイズ情報を取り込み、該画素削減手段と該走査線変換手段と該画素補間手段との動作パラメータを該ディスプレイ情報と該画像サイズ情報とに応じた値に設定する手段を設けたことを特徴とする符号化画像データの復号装置。

Images