WO1997004593A1

WO1997004593A1 - Letter box converter

Info

Publication number: WO1997004593A1
Application number: PCT/JP1996/002003
Authority: WO
Inventors: Kouichi Kurihara; Shuji Abe; Takeshi Inagaki; Shinji Yoda
Original assignee: Kabushiki Kaisha Toshiba
Priority date: 1995-07-19
Filing date: 1996-07-18
Publication date: 1997-02-06
Also published as: KR970705240A; EP0785682A4; US5754243A; EP0785682A1

Description

明細書

レターボックス変換装置

技術分野

本発明は、 M P E G等の圧縮方式で符号化された符号化データを復号して記憶する復号画像メモリからの復号画像データに対してライン数変換処理を行うレターボックス変換装置に関する。

背景技術

近年、画像のディジタル処理が検討されている。一般的に、映像信号をディジタル化すると、その情報量は膨大となり、情報を圧縮することなく伝送又は記録等を行うことは、通信速度及び費用の点で困難である。このため、ディジタル映像信号の伝送又は記録においては、画像圧縮技術が必須であり、近年各種標準化案が検討されている。動画用としては、 M P E G (Moving Picture Experts Group) 方式が規格化されている。 M P E Gにおいては、 D C T (Discrete Cosine Transform ) 変換、フレーム間予測符号化、ランレングス符号化及びエントロピー符号化を複合的に用いて映像信号を符号化する。即ち、 M P E G方式においては、 1 フレーム内で D C Tによる圧縮（フレーム内圧縮）を行うだけでなく、フレーム間の相関を利用して時間軸方向の冗長度を削減するフレーム間圧縮を採用する。フレーム間圧縮は、一般の動画像が前後のフレームでよく似ているという性質を利用して、前後のフレーム差分を求め差分値を符号化することによって、ビットレートを一層低減させるものである。特に、画像の動きを予測してフレーム間差を求めることにより、予測誤差を低減する動き補償フレーム間予測符号化が有効である。ところで、近年、上述した M P E G等の高能率圧縮符号化方式を採用して圧縮符号化した放送信号を放送する放送形態が注目されている。通常、このような放送形態では、圧縮符号化された放送信号を受信し放送信号に基づく画像を表示するために受信側にて圧縮符号化された放送信号を復号しなくてはならない。即ち、一度復号処理を施すことにより符号化以前の元の放送信号（画像データ）に戻して、画面に表示するための処理を施すようにしている。

上記放送信号には、周知のようにァスぺクト比 1 6 ： 9の画面（以下、ワイド画面と称す）用の画像データと、現行 N T S C方式であるァスぺクト比 4 ： 3の画面用の画像データとがある。これらの画像データに基づく画像をァスぺクト比が異なる画面に表示すると、表示画像が必ずしも真円率 1ではなかったり、あるいは真円率を 1にしようと画像を拡大する場合には、左右の表示画像が欠落してしまうこともある。

例えば、第 2 2図に示すように、ワイド画面用の画像データを同じァスぺクト比 1 6 ： 9の画面に表示すると、真円率 1となる正常な画像を表示することができるが、第 2 3図に示すようにワイド画面用の画像デ一タをァスぺクト比 4 ： 3の画面に表示すると、横から潰されたような真円率 1でない画像が表示されてしまう。

ワイド用の画像データをァスぺクト比が 4 ： 3の画面に真円率 1で表示させるためには、水平方向の画素数変換を行うか又は垂直方向にライン数変換を行って、画面上の画像の縦横比を一致させることが必要である。

このような表示方法を第 2 4図及び第 2 5図を参照して説明する。第 2 4図は水平画素数変換によるァスぺクト比 4 ： 3画面への表示方法の説明図であり、第 2 5図は垂直ライン数変換（レターボックス変換 ) 処理によるァスぺクト比 4 ： 3画面への表示方法の説明図である。尚、ワイド用の画像データの画素数を 7 2 0画素とし、ライン数を 4 8 0 ラインとした場合について説明する。

第 2 4図に示すように、水平画素数変換による方法では、水平方向に 7 2 0画素を有するワイド用の画像データの例えば水平方向特定位置の 5 4 0画素を水平方向に 4 3倍して 7 2 0画素に画素数変換し、ァスぺクト比が 4 ： 3の画面全域に表示する。つまり、ワイド用画像の水平方向特定位置の 4 ： 3の部分を表示に用いることにより、結果として真円率 1となる画像をァスぺクト比 4 ： 3の画面に表示することができる。この場合、垂直ライン数はそのまま 4 8 0ラインで表示させている。一方、第 2 5図に示すように、レターボックス変換処理による方法では、ワイド画面用の 4 8 0ラインを垂直方向に 3 4倍の 3 6 0ラインにライン数変換してレターボックス方式の画像（以下、レターボックス画像と称す）として表示する。この方式では、垂直方向の中央の 3 6 0 ラインの表示領域には主画像が表示され、画像表示領域の上下各 6 0ラインは画像が表示されない無画部となる。これにより、真円率 1となるレターボックス方式を用いた表示画像を得ることができる。

第 2 6図は入力画像をレターボックス変換処理する場合の処理方法の一例を示す説明図である。尚、本例では、入力画像の 2つのラインを用いてフィルタ処理（補間）し、出力ラインを作成するものについて説明する。

上述のように、レターボックス変換においては、走査線数を 4 8 0本から 3 6 0本に走査線数変換する。第 2 6図においては、入力画像のライン数を 3 4倍にライン数変換（走査線数変換）してレターボックス画像を得るために、所定の演算によって入力画像の 4ラインから 3ラインの画像データを得る。

即ち、第 2 6図に示すように、入力画像の開始有効ラインを Y 0とすると、 Y O、 Υ 1の 2ラインから y 0ラインデータを演算して作成する。同様に Y l、 Υ 2から y lラインを、 Y 2、 Υ 3ラインから y 2ラインを、 Y 4、 Υ 5ラインから y 3ラインを作成する。このように入力画像における 4ラインのデータから出力画像（レターボックス画像）における 3ラインのデータを作成するようにしている。

ライン数変換処理では、所定係数を用いて乗算及び加算処理を行う演算処理によって前記 4つのラインの内、 1つのラインを間引く。これにより、 4ラインを 3ラインとするライン数変換処理を順次行うことで、 3 Z 4倍されたレターボックス画像の有効走査線を得ることができる。このように、入力画像の垂直方向のライン数を 3 4倍して、ァスぺクト比 1 6 ： 9の画像部分を真円率 1で画面中央に表示するレターボックス表示が可能となる。

ところで、このようなレターボックス変換処理を行うレターボックス変換装置の関連技術として、日本特開平 5— 2 0 7 5 1 9号公報による提案がある。この提案では、垂直フィルタ処理用の 1ラインメモリとラィン数変換によって生じる表示時間差を吸収するための 1フィールドメモリとを使用してレターボックス処理を行うことにより、レターボックス画像を得るようにしている。

第 2 7図はこの関連技術を説明するためのブロック図である。また、第 2 8図は第 2 7図の装置の動作を説明するための説明図である。尚、説明を簡略化するために画像データ（映像データ）のみについて説明する。

第 2 7図において、入力端子 1には、例えば圧縮符号化画像データを δ 復号して得たワイド用の画像データ（スクイーズ画像データ）が入力される。また、この装置の出力端子 9からはレターボックス変換処理後の画像データが出力される。この場合、入力端子 1に入力される画像データのデータ速度は、出力端子 9より出力されるデータの出力データ速度と同一である。

入力された画像データはラインメモリ 2及び乗算器 5に与えられる。ラインメモリ 2は入力された画像データを順次 1ライン分ずつ書き込み、また読み出し時には、後述する制御回路 3による読み出し制御によつて順次 1ライン遅延させて出力する。ラインメモリ 2の出力信号は乗算器 4に与えられる。乗算器 4、 5はそれぞれ入力される信号と所定の係数 Κ、（1一 Κ) との乗算を行い、各乗算結果を加算器 7に与える。即ち、加算器 7には 1ライン前後の画像データに基づく 2つの信号が入力される。尚、各乗算器 4、 5に与えられる係数 Κ、（1一 Κ) は係数発生回路 6によって生成され、例えば通常の画像信号の有効走査線数を 3 Ζ 4倍するために必要な値になっている。

加算器 7は入力されたデータの加算を行い、加算したデータをフィールドメモリ 8に与える。フィールドメモリ 8は制御回路 3による書き込み制御によって、入力された加算信号を書き込んで記憶する。このとき、制御回路 3は、入力されるラインの加算データに対し、順次 3ライン書き込み 1ライン書き込まないようにしてフィールドメモリ 8に対する書き込みを制御する。即ち、この書き込み制御によって、間引きが行われてライン数が 3 Ζ 4倍となる。

一方、フィールドメモリ 8の読み出しにおいても、制御回路 3による読み出し制御によって加算信号の読み出しが行われる。この場合、制御回路 3は、記憶されたそのままの状態（そのままの順序）で順次読み出すように制御する。これによつて、フィールドメモリ 8から読み出された加算データは、ライン数が入力画像データのライン数に比べて 3 4 倍したものとなり、レターボックス画像に基づくライン数に変換された画像データを得られる。この画像データは出力端子 9を介して、例えばァスぺクト比 4 ： 3の画面に表示するための処理を行う処理回路へと出力される。

次に、第 2 7図に示す装置の動作を第 2 8図を参照しながら説明するいま、入力端子 1にワイド用の画像データが入力されるものとする。この場合、入力画像データにおける 1フィールドまたは 1フレームの画像を構成するための有効走査線（有効ラインともいう）の内、開始ラインをライン 0、後続ラインをライン 1、ライン 2…とすると、ラインメモリ 2の出力データは、第 2 8図に示すように 1ライン遅延されたものとなる。即ち、一方の乗算器 4には通常の入力画像信号より 1ライン遅延したデータを与える。また、他方の乗算器 5には、通常の遅延されていない画像データを与える。そして、係数発生回路 6によりレターボックス変換処理を行うための係数 K、 ( 1 - Κ) を生成して、これら係数 Κ、 ( 1 - Κ) をそれぞれの乗算器 4、 5に与える。すると、乗算器 5 は入力時の同一ラインの信号と係数（1一 Κ) との乗算を行って乗算結果を加算器 7に与える。一方、乗算器 4はラインメモリ 2からの入力時より 1ライン遅延したデータと係数（1— Κ) との乗算を行って乗算結果を加算器 7に与える。

加算器 7は各乗算器 4、 5の出力データを加算する。即ち、演算結果として第 2 8図に示すように、出力に使用する画像データのみを得ることができる。この演算結果である画像データはフィールドメモリ 8に与 9 /02003

7 えられる。このとき、制御回路 3による書き込み制御によって、加算器 7からの加算データ（演算結果）を第 2 8図に示すように 3ライン書き込み 1ライン書き込まないように順次フィールドメモリ 8に書き込む。そして、読み出し時には、制御回路 3による読み出し制御によって、そのままの状態（そのままの記録順序）で読み出す。

即ち、ラインメモリ 2を通ったデータとラインメモリ 2を通らないデ一タとを用いて垂直方向の補間を行ってレターボックス画像のラインを作成し、レターボックス画像の構成に必要な 3ラインを書き込み、不要な 1ラインを書き込まないという制御を繰り返していくことで、 4ライン中 1ラインを間引く。こうして、フィールドメモリ 8の出力データは、有効走査線数が入力画像の 3 4倍となり、ァスぺクト比 1 6 ： 9のレターボックス画像が得られる。

ところで、レターボックス画像を表示させるためには、出力端子 9を介して出力するラインは時間的に連続したものでなければならない。つまり、レターボックス画像処理における入力ライン数の間引き処理を行うためには、演算処理結果の時間と表示する時間との時間差を調整することが必要である。この時間差を調整するために、 1フィールドメモリ 8が必須の構成要素となってしまう。また、大容量のため高価となる 1 フィールドメモリ 8を用いてレターボックス変換装置を構成していることから、 M P E G等の符号化データを復号する装置において、このレタ一ボックス変換装置を使用すると、装置全体のコストが高価となる問題点もめった。

そこで、本発明は、高価な 1フィールドメモリを用いることなくレタ一ボックス変換処理を行うことができ、装置全体のコストを低減することのできるレターボックス変換装置を提供することを目的とする。また、本発明は、符号化データの復号化装置に用いる復号メモリを利用することにより、比較的容量が小さい複数のラインメモリによってレターボックス変換処理を可能にして、装置規模を低減することができるレターボック.ス変換装置を提供することを目的とする。

また、本発明は、符号化データの復号化装置に用いる復号メモリの容量を増大させることなく、比較的容量が小さ、複数のラインメモリによつてレターポックス変換処理を可能にすることにより、装置規模を低減することができるレターボックス変換装置を提供することを目的とする

発明の開示

本発明の請求項 1に係るレターボックス変換装置は、符号化データに対する復号化処理を行う復号化手段からの画像データを記憶する記憶手段と、前記記憶手段に記憶されている画像データを読み出し、読み出した画像データに基づいてレターボックス画像用の出力画像データを作成して所定の画像表示時間に出力する出力手段と、前記記憶手段からの前記画像データの読出しを前記記憶手段への書き込みレートよりも高いレートで行う読み出し制御手段とを具備したものであり、

本発明の請求項 1においては、記憶手段に記憶された画像データは読み出し制御手段によって、書き込みレートよりも高いレ一トで読み出される。記憶手段から読み出された画像データは出力手段に与えられて、レターボックス画像用の出力画像データが作成される。

本発明の請求項 4に係るレターボックス変換装置は、符号化データに対する複号化処理によって得られた画像データを記憶する画像メモリと、前記画像メモリから mライン分のデータを n ( n < m) ラインの画像表示時間内に読み出して出力させる第 1の読み出し制御手段と、前記第 1の読み出し制御手段によって前記画像メモリから読み出された画像デ —タを記憶する少なくとも 2つのラインメモリと、前記少なくとも 2つのラインメモリから読み出された画像データに所定の走査線数変換演算処理を施して mラインから nラインへの走査線数変換を行う演算処理手段と、前記演算処理に使用する演算係数を出力する係数発生手段と、前記第 1の読み出し制御手段によって読み出された画像データを前記走査線数変換演算処理に用いるライン毎に前記少なくとも 2つのラインメモリに夫々書き込む書き込み制御手段と、前記少なくとも 2つのラインメモリから前記走査線数変換演算処理に用いるラインの画像データを 1ラィンの画像表示時間で読み出して前記演算処理手段に出力させる第 2の読み出し制御手段とを具備したものであり、

本発明の請求項 4においては、画像メモリは復号された画像データを記憶する。第 1の読み出し制御手段は、画像メモリから mライン分のデータを n ( n < m) ラインの画像表示時間内に読み出して出力させる。書き込み制御手段は、第 1の読み出し制御手段によって読み出された画像データを mラインから nラインへの走査線数変換演算処理に用いるライン毎に少なくとも 2つのラインメモリに夫々書き込む。第 2の読み出し制御手段は、少なくとも 2つのラインメモリから走査線数変換演算処理に用いるラインの画像データを 1ラインの画像表示時間で読み出して出力させ、演算処理手段は読み出された画像データに走査線数変換演算処理を施してライン数変換を行う。これにより、ライン数は mラインから nラインに変換される。

本発明の請求項 6に係るレターボックス変換装置は、符号化データに対する復号化処理によって得られた画像データを記憶する画像メモリと、 mラインから nラインへの走査線数変換演算処理に必要なライン数の n倍のライン数分の画像データを、 nラインの画像表示時間内に、 1ライン分の画像データ量よりも少ない所定量の画像データ単位に分割して前記画像メモリから読み出して出力させる第 1の読み出し制御手段と、前記第 1の読み出し制御手段によつて前記画像メモリから読み出された前記所定量の画像データを記憶する容量を備えた少なくとも 2つのメモリと、前記少なくとも 2つのメモリから読み出された前記所定量の画像データに所定の走査線数変換演算処理を施して mラインから nラインへの走査線数変換を行う演算処理手段と、前記演算処理に使用する演算係数を出力する係数発生手段と、前記第 1の読み出し制御手段によって読み出された前記所定量の画像データを前記走査線数変換演算処理に用いるライン毎に前記少なくとも 2つのメモリに夫々書き込む書き込み制御手段と、前記少なくとも 2つのメモリから前記走査線数変換演算処理に用いるラインのうちの前記所定量の画像データを前記所定量の画像データの画像表示時間で読み出して前記演算処理手段に出力させる第 2の読み出し制御手段とを具備したものであり、

本発明の請求項 6においては、画像メモリは復号された画像データを記憶する。第 1の読み出し制御手段は、画像メモリから mライン分のデータを n ( n < m) ラインの画像表示時間内に読み出して出力させる。書き込み制御手段は、第 1の読み出し制御手段によって読み出された画像データを mラインから nラインへの走査線数変換演算処理に用いるライン毎に所定量の画像データ単位で少なくとも 2つのメモリに夫々書き込む。第 2の読み出し制御手段は、少なくとも 2つのメモリから走査線数変換演算処理に用いるラインの所定量の画像データ単位で、所定の画像データの画像表示時間に読み出して出力させ、演算処理手段は読み出された画像データに走査線数変換演算処理を施してライン数変換を行う

。これにより、ライン数は mラインから nラインに変換される。

本発明の請求項 9に係るレターボックス変換装置は、画像メモリに記憶されている mライン分の画像データを n ( nく m) ラインの画像表示時間内に読み出して出力させる第 1の読み出し手順と、前記画像メモリから読み出された画像データを走査線数変換演算処理に用レ、るライン毎に所定のデータ単位で複数のメモリに記憶させる第 1の書き込み手順と、前記複数のメモリから画像表示時間に対応した速度で前記走査線数変換演算処理に用いる画像データを読み出す第 2の読み出し手順と、前記複数のメモリから読み出された画像データに所定の演算処理を施してレターボックス画像の出力画像データを得る演算手順とを具備したものであり、

本発明の請求項 9においては、第 1の読み出し手順によって、 nラインの表示時間で mライン画像データが読み出され、第 1の書き込み手順によって、ライン毎に所定のデータ単位で複数のメモリに書き込まれる。第 2の読み出し手順によって、画像表示時間に対応した速度で走査線数変換演算処理に用レ、る画像データが読み出されて、演算手順によって走査線数変換演算処理される。第 1の読み出し手順の読出て速度が表示速度よりも早くすることにより、走査線数変換演算処理に用いる画像データを記憶する比較的小容量のメモリを用いた走査線数変換演算処理を可能にしている。

本発明の請求項 1 0に係るレターボックス変換方法は、符号化データを復号化して得た画像データを所定の同期タイミングで記憶手段に書き込む書き込み手順と、前記所定の同期タイミングとは異なる同期タイミングで前記書き込み手順における書き込みレートよりも高い読み出しレートで前記記憶手段に記憶された画像データを読み出す読み出し手順とを具備したものであり、

本発明の請求項 1 0においては、読み出し手順によって、書き込み手順の書き込みレートよりも高い読み出しレートで記憶手段に記憶された画像データが読み出される。これにより、レターボックス変換に必要な走査線数変換演算処理を可能にする。

本発明の請求項 1 1に係るレターボックス変換方法は、前方及び後方の参照画像を用いた両方向予測符号化データを含む符号化データが入力され、入力された符号化データを所定のプロック単位で復号化して復号化データを出力する復号化手段と、前記両方向予測符号化データに対する復号化処理によつて前記復号化手段から出力されたフレーム構成の復号化データを記憶してィンターレース順に出力してィンターレース構成の映像信号を得る記憶手段と、前記映像信号に同期した同期信号を発生すると共に、前記同期信号を所定位相だけ進相又は遅相させて表示に用いる補正同期信号を発生する同期信号発生手段と、前記同期信号を時間基準として前記記憶手段に対する書込みを行うと共に、前記補正同期信号を時間基準として前記記憶手段に対する読出しを行って前記インターレース構成の映像信号を得る書込み読出し制御手段とを具備したものであり、

本発明の請求項 1 1において、複号化手段からの復号化データは記憶手段に与えられ、書込み読出し制御手段によって同期信号を時間基準として書込まれる。同期信号発生手段は、同期信号から所定位相だけ進相又は遅相した補正同期信号を発生しており、書込み読出し制御手段は、補正同期信号を時間基準として記憶手段の復号化データをインターレース順に読出す。補正同期信号の進相量又は遅相量を適宜設定して、読出しレートが書込みレー卜よりも高い場合でも、読出しが書込みに先行することを防止する。こうして、所定の表示オフセットを有するインターレース構成の映像信号を得る。

本発明の請求項 1 2に係るレターボックス変換装置は、前方及び後方の参照画像を用いた両方向予測符号化データを含む符号化データが入力され、入力された符号化データを所定のプロック単位で復号化して復号化データを出力する複号化手段と、前記両方向予測符号化データに対する復号化処理によつて前記復号化手段から出力されたフレーム構成の復号化データを記憶してィンタ一レース順に出力してィンターレース構成の映像信号を得る記憶手段と、前記映像信号に同期し表示に用いる同期信号を所定位相だけ進相又は遅相させた補正同期信号を発生する同期信号発生手段と、前記補正同期信号を時間基準として前記復号化手段の復号化を制御する複号化制御手段と、前記補正同期信号を時間基準として前記記憶手段に対する書込みを行うと共に、前記同期信号を時間基準として前記記憶手段に対する読出しを行って前記ィンターレース構成の映像信号を得る書込み読出し制御手段とを具備したものであり、

本発明の請求項 2において、同期信号発生手段は、同期信号より所定位相だけ進相又は遅相した補正同期信号を発生する。復号化手段は補正同期信号を時間基準として復号化を行う。復号化手段からの複号化データは記憶手段に与えられる。記憶手段は、記憶したデータをインタ一レース順に出力する。復号化の時間基準としては同期信号よりも所定位相だけ進相又は遅相した補正同期信号を用いるので、記憶手段における読出しレートが書込みレートよりも高い場合でも、読出しが書込みに先行することはない。こうして、記憶手段の出力から所定の表示オフセットを有するインターレース構成の映像信号を得る。図面の簡単な説明

第 1図は、本発明に係るレターボックス変換装置の第 1実施例を示すブロック図、第 2図は書き込み制御動作を説明するための説明図、第 3 図は第 1図に示す装置の動作を説明するための説明図、第 4図は本発明に係るレターボックス変換装置の第 2実施例の説明図、第 5図は本発明に係るレターポックス変換装置の第 3実施例の説明図、第 6図はラインメモリを使用してレターポックス変換処理を行う場合の説明図、第 7図は本発明に係るレターボックス変換装置の第 4実施例を示すプロック図、第 8図は書き込み制御動作を説明するための説明図、第 9図は本発明に係るレターボックス変換装置の第 5実施例を示すブロック図、第 1 0 図は読み出し制御を説明するための説明図、第 1 1図は第 9図に示す動作を説明するための説明図、第 1 2 A図乃至第 1 2 C図は予測符号化を説明するための説明図、第 1 3図及び第 1 4図は復号画像メモリ 1 2からの高速読み出しを説明するための説明図、第 1 5図は本発明に係るレターボックス変換装置の第 6実施例を示すブロック図、第 1 6図乃至第 2 1図は第 6実施例の動作を説明するための説明図、第 2 2図及び第 2 3図はァスぺクト比 1 6 ： 9のデータを 4 ： 3の画面に表示したときの説明図、第 2 4図は水平画素変換による 4 ： 3画面への表示方法の説明図、第 2 5図はレターボックス処理による 4 ： 3画面への表示方法の説明図、第 2 6図はレターボックス変換処理の説明図、第 2 7図はレターボックス変換装置の関連技術を示すブロック図、第 2 8図は第 2 7図のレターボックス変換装置の動作を説明するための説明図である。発明を実施するための最良の形態

発明の実施の形態について図面を参照して詳細に説明する。

第 1図ないし第 3図は本発明に係るレターボックス変換装置の一実施例を示し、第 1図は装置のブロック図、第 2図はラインメモリの書き込み制御を説明するための説明図、第 3図は第 1図に示す動作を説明するための説明図である。尚、第 1図に示すラインメモリの個数を p個で示し、本実施例においては、ラインメモリを p = 2として設けてレターボックス変換処理を行う場合について説明する。

第 1図に示すように、レターボックス変換装置の入力端子 1 1には、例えば M P E G等の圧縮方式で符号化された圧縮符号化データの復号データが入力される。入力された復号データは復号画像メモリ 1 2に与えられる。なお、 M P E G等の圧縮方式で符号化された符号化データを復号化するデコーダにおいては、一般に、復号データを記憶する画像メモリを有しており、復号画像メモリ 1 2としては、この画像メモリを利用することができる。

復号画像メモリ 1 2は復号データ（画像データ）を記憶する。復号画像メモリ 1 2に記憶されている画像データの読み出しは、読み出し制御回路 1 3によって制御される。例えば、読み出し制御回路 1 3は復号画像メモリ 1 2からライン単位の画像データ（以下、ラインデータともいう）を表示速度よりも高速に読出させて出力させる。即ち、読み出し制御回路 1 3は、 m (mは 1以上の整数）ライン分のラインデータを n ( nく m) ラインのデータ出力時間（表示時間）内に復号画像メモリ 1 2 から高速に読み出させて、 2つのラインメモリ 1 4、 1 5に夫々与える 2つのラインメモリ 1 4、 1 5は、書き込み制御回路 1 6による書き込み制御によって夫々入力されたラインデータを書き込む。このとき、書き込み制御回路 1 6は各ラインメモリ 1 4、 1 5に入力されたラインデータが必要があるときのみどちらか一方のラインメモリに対して書き込みを行うように制御する。ラインメモリ 1 4， 1 5には復号画像メモリ 1 2から読出された所定の 2ラインのラインデータがライン単位で書込まれる。例えば、ラインメモリ 1 4， 1 5には隣接するラインのラインデータが夫々書込まれる。

ラインメモリ 1 4、 1 5は、書き込み制御回路 1 6からの制御信号に基づいて、ラインメモリのデータを更新する。即ち、ラインメモリ 1 4 、 1 5は順次 1ライン分の画像データを書き込み、そして読み出す際には読み出しァドレス制御回路 1 7の制御によって読み出す。

読み出しアドレス制御回路 1 7は、出力する表示速度に対応した読み出しレートでラインメモリ 1 4、 1 5から画像データを読み出すための読み出し制御を行う。これにより、ラインメモリ 1 4， 1 5からはいずれも nラインの表示時間に nライン分のラインデータが出力される。ラインメモリ 1 4， 1 5から読み出される 2ラインのラインデータ同士の演算によって、表示用のラインデータを作成するようになっている。即ち、ラインメモリ 1 4， 1 5に書込まれる mライン分のラインデータが nライン分のラインデータにライン数変換されることになる。

このライン数変換演算のために、ラインメモリ 1 4、 1 5の出力画像データは夫々乗算器 1 8、 1 9に与えられる。乗算器 1 8、 1 9は入力される画像データと所定の係数 K、（1一 Κ) とで夫々乗算を行い、各乗算結果を加算器 2 1に与える。即ち、加算器 2 1に与えられる各画像データは、例えば隣接した 2ラインのラインデータに乗算器 1 8， 1 9 による演算が施されたものとなる。尚、各乗算器 1 8、 1 9に与えられる係数 K、（1一 Κ ) は係数発生回路 2 0によって生成される。係数発生回路 2 0は、通常の画像信号の有効走査線数を n Zm倍するために必要な係数 K、（1一 Κ ) を生成して夫々各乗算器 1 8、 1 9に与えるようになっている。

なお、復号画像メモリ 1 2に入力される復号データがワイド用の映像信号のスクイーズ画像であり、このスクイーズ画像をァスぺクト比が 4 ： 3のディスプレイにレターボックス表示する場合には、 η = 3で m = 4であり、係数発生回路 2 0は有効走査線数を 3 4倍するために必要な係数を発生する。この場合の係数 Kは、例えば、第 2 6図で示した X / \ 2の値である。

加算器 2 1は入力されたデータの加算を行う。加算器 2 1の加算結果はライン数が入力画像データのライン数に比べて n /m倍された画像データとなる。こうして、スクイーズ画像をレターボックス画像に基づくライン数に変換することもできる。加算器 2 1からの画像データは出力端子 2 2を介して、例えばァスぺクト比 4 ： 3の画面に出力画像データを表示させるための処理を行う処理回路へと出力される。

このように、本実施例では、 1フィールドメモリ（第 1 6図参照）を用いずにレターボックス変換装置が構成されている。レターボックス変換処理では間引きのための時間調整が必要であり、第 2 7図に示す関連技術においては、 1フィールドメモリが必要であった。

これに対し、本例ではこの時間調整を解決するための方法として、読み出し制御回路 1 3による復号画像メモリ 1 2からのラインデータの読み出し、書き込み制御回路 1 6によるラインメモリ 1 4、 1 5に対するラインデータの書き込み及び読み出し、了ドレス制御回路 1 7による 2 つのラインメモリ 1 4、 1 5の読み出しを制御する方法を採用して、時間調整を解消することにより、 1フィールドメモリを用いることなく、レターボックス変換処理を行うことを可能にしている。

次に、有効走査線数が 4 8 0ラインのスクイーズ画像を有効走査線数 3 6 0本のレターボックス画像に変換する場合の例について第 2図及び第 3図を参照して説明する。第 2図は 2つのラインメモリの書き込み及び読み出し制御を示している。尚、第 2図は横軸に表示時間（レターポックス画像表示時間）を示し、縦軸に 1ラインの表示時間毎に応じた各ラインメモリ 1 4、 1 5に対する書き込み及び読み出し動作状態を示している。

第 2図及ぴ第 3図に示すレターボックス変換においては、 n = 3で m = 4である。復号画像メモリ 1 2は入力端子 1 1を介して入力された復号データを記憶する。読み出し制御回路 1 3は復号画像メモリ 1 2から 4ライン分のラインデータを 3ラインのデータ出力時間（表示時間）（ラインメモリからの読み出し速度）内に高速に読み出す。復号画像メモリ 1 2からの読み出し速度は平均的に表示速度の 4 Z 3倍以上であればよく、第 2図では 2倍である例を示している。読み出されたラインデータは 2つのラインメモリ 1 4、 1 5に夫々与えられる。 2つのラインメモリ 1 4、 1 5は、書き込み制御回路 1 6による書き込み制御によって夫々入力されたラインデータを記憶する。

通常、各ラインメモリ 1 4、 1 5からの読み出し速度は出力端子 2 1 を介して出力するデータ速度と一致したものであり、また各ラインメモリ 1 4、 1 5への書き込み速度は復号画像メモリ 1 2からの読み出し速度と一致したものであるが、本実施例においては、各ラインメモリ 1 4 、 1 5への書き込み速度を各ラインメモリ 1 4、 1 5の読み出し速度の 2倍にしている。

第 2図に示すように、ラインメモリ 1 4、 1 5への書き込み及び読み出し期間は図中における矢印の長さに対応している。即ち、読み出し及ぴ書き込み期間を示す矢印期間は夫々のラインメモリの 1ライン分のデータの書き込み期間、読み出し期間を示している。本実施例においては、上述したように、書き込み制御回路 1 6による各ラインメモリ 1 4、 1 5へのラインデータの書き込み期間が読み出し期間の半分の期間となるように、即ち、書き込み速度が読み出し速度の 2倍となるように設定されている。尚、読み出し及び書き込み期間の矢印の上に示されている Y O、 Y l、 Υ 2、 Υ 3…は読み出しまたは書き込むラインデータのラィン番号である。

例えば、読み出し制御回路 1 3はラインメモリ 1 4の読み出し速度の 2倍の速度で復号画像メモリ 1 2から有効走査線数の開始ライン Υ Οより順次 Y l、 Υ 2、 Υ 3…のラインデータを読み出して、ラインメモリ 1 4とラインメモリ 1 5とに交互に与える。同時に、書き込み制御回路 1 6は読み出された開始ライン Υ Οから始まるラインデータを、読み出された速度と同じ速度でラインメモリ 1 4とラインメモリ 1 5とに交互に書き込む。例えば、ラインメモリ 1 4については、第 2図に示すように、 1ラインの表示時間間隔で各ライン Υ Ο、 Υ 2、 Υ 4、 Υ 6…のラインデータが書き込まれることになる。

一方、ラインメモリ 1 4の書き込みが完了すると、書き込み制御回路 1 6によって、ラインメモリ 1 5に次のラインのラインデータが書き込まれる。即ち、ラインメモリ 1 5についても、図に示すように順次ライン Y l、 Υ 3、 Υ 5、 Υ 7、 …のラインデータが 1ラインの表示時間間隔で書き込まれることになる。つまり、第.2図に示すように、ラインメモリ 1 4， 1 5には隣接する 2ラインのラインデータが記憶されることになる。

読み出しァドレス制御回路 1 7は、これら 2つのラインメモリ 1 4、 1 5に記憶された 2ラインのラインデータを 1ラインの表示時間で出力する。読み出しアドレス制御回路 1 7は、書き込み制御回路 1 6によるラインデータの書き込みに先行させて同一ラインのラインデータを読み出すことはなく、また、書き込み制御回路 1 6は読み出しアドレス制御回路 1 7によるラインデータの読み出しに先行させて次のラインのラインデータを書き込むことはない。即ち、書き込み制御回路 1 6及び読み出しァドレス制御回路 1 7は、夫々書き込みァドレス及び読み出しァドレスを適宜設定することにより、例えば、ラインメモリ 1 5に対するライン Y 1のデータ書き込みよりもライン Y 1のデータの読み出しを先行させない。また、例えば、ラインメモリ 1 5に対するライン Y 1のデータ読み出しよりもライン Y 3のデータ書き込みが先行することはない。こうして、ラインメモリ 1 4においては、ライン Y 2、ライン Υ 6、ライン Υ 1 0…の夫々のラインデータの読み出し完了後に連続して読み出すラインデータが書き込まれていないことから、同じラインのラインデータを繰り返して読み出すように読み出しを制御する。なお、ライン Υ 4 , Υ 8 , …のラインデータについては 1回のみ出力する。すると、第 2図に示すように所定のラインデータを連続して乗算器 1 8に出力することができる。一方、ラインメモリ 1 5については、ライン Υ 1、 Υ 5、 Υ 9…の夫々のラインデータの読み出し完了後に連続して読み出すラインデータが書き込まれていないことから、同じラインのラインデータを繰り返して読み出すように読み出しを制御する。なお、ライン Υ 3 ， Υ 7 , …のラインデータについては 1回のみ出力する。すると、第 2 図に示すように乗算器 1 9に所定のラインデータを連続して出力することができる。

このように、読み出しァドレス制御回路 1 7による読み出し制御を行うことにより、ラインメモリ 1 4及びラインメモリ 1 5からは第 3図に示す出力ラインデータが出力される。各ラインメモリ 1 4、 1 5の出力ラインデータは乗算器 1 8、 1 9に与えられて、係数発生回 2 0により発生する係数 K、（1一 Κ) と乗算される。乗算器 1 8， 1 9の出力は加算器 2 1によって加算されて、第 3図に示す演算処理結果が得られる第 3図に示すように、ライン Υ Ο， Υ 1のラインデータから演算結果 y Oが生成され、ライン Y 2， Y 1のラインデータから演算結果 y 1が生成され、ライン Y 2， Υ 3のラインデータから演算結果 y 3が生成される。上述したように、ライン Y 3， Υ 4 , Υ 7 , Υ 8 , …のラインデータはラインメモリ 1 4， 1 5から 1回ずつしか出力されていないので、ライン Υ 3， Υ 4のラインデータ、ライン Υ 7， Υ 8のラインデータを用いた演算は行われない。つまり、演算結果 y 4はライン Υ 4， Y 5 のラインデータに基づいて生成される。

こうして、第 3図に示すように、演算結果 y O， y 1 , …を得ることができる。これらの演算結果はレターボックス画像の有効ラインの y 0 , y 1 , …として出力端子 2 2を介して出力される。入力された復号デ —タの有効ライン数が 4 8 0本であるのに対し、出力される有効ライン数は 3 6 0本である。これらのラインデータをレターボックス画像表示時間内（第 2図参照）に連続して出力することにより、レターボックス画像に基づく有効ラインを形成することができる。

尚、ラインメモリ 1 4、 1 5への書き込みを行っていない場合もあるので、復号画像メモリ 1 2からのラインデータの読み出し速度は出力デ —タ速度に対して平均的には 4 Z 3倍となっている。従って、出力端子 2 2を介して出力される 3 6 0ラインの表示時間内に 4 8 0ラインのデータを、前記読み出し制御回路 1 3による制御によって読み出すことになる。

このように、本実施例によれば、復号画像メモリ 1 2から mライン分のデータを n ( n < m) ラインのデータ表示時間内に高速に読み出すと共に、 p ( p≥ 2 ) 個のラインメモリに書き込み、これらのラインメモリへの書き込みを制御することによって、 1フィールドメモリを用いることなく pライン分のメモリ容量でレターボックス変換処理を行うことができるという効果を得る。これにより、レターボックス変換装置全体のコストを低減することができるという効果も得られる。

ところで、本発明のレターボックス変換装置では、前記実施例における復号画像メモリ 1 2からのラインデータの読み出し、各ラインメモリ 1 4、 1 5への書き込み速度を出力データ速度の 4 Z 3倍に設定して行つた場合でもレタ一ボックス変換処理を行うことが可能である。このような実施例を第 4図に示す。

第 4図は本発明に係るレターボックス変換装置の第 2実施例を示し、書き込み及び読み出し制御動作を説明するための説明図である。尚、第 4図に示す符号及び記号は第 2図と同様の記載方法で示している。

本実施例では、第 1図に示す実施例と同様の回路構成で構成し、読み出し制御回路 1 3によるラインデータの読み出し速度と、書き込み制御回路 1 6によるラインメモリ 1 4、 1 5への書き込み速度とを出力データ速度の mZ n倍（例えば 4 Z 3倍）で動作させることにより、レターボックス処理を行うようにしたことが前記実施例と異なる点である。第 4図に示すように、読み出し制御回路 1 3は復号画像メモリ 1 2から、 mライン分のデータを n ( nく m) ラインデータの出力時間で高速に読み出すように制御して、各ラインメモリ 1 4、 1 5に与える,:. 次いで、書き込み制御回路 1 6は、例えば各ラインメモリ 1 4、 1 5の書き込み速度が各ラインメモリ 1 4、 1 5の読み出し速度の mZ n倍（例えば 4 Z 3倍）となるように書き込み制御する。

例えば、読み出し制御回路 1 3はラインメモリ 1 4の読み出し速度の 4 Z 3倍の速度で復号画像メモリ 1 2から有効走査線数の開始ライン Y 0より順次 Y l、 Υ 2、 Υ 3…のラインデータを読み出して、ラインメモリ 1 4とラインメモリ 1 5とに交互に与える。同時に、書き込み制御回路 1 6は読み出された開始ライン Υ Οから始まるラインデータを、読み出された速度と同じ速度でラインメモリ 1 4とラインメモリ 1 5とに交互に書き込む。すると、ラインメモリ 1 4については、第 4図に示すように、書き込み期間間隔で開始ライン Υ 0、 Υ 2、 Υ 4、 Υ 6…におけるラインデータが書き込まれることになる。一方、ラインメモリ 1 5 については、前記ラインメモリ 1 4の読み出しが完了すると同時に読み出し制御回路 1 5によって、読み出されたラインデータが順次書き込まれるようになってい。即ち、ラインメモリ 1 4による書き込みが完了すると同時に、図に示すように順次ライン Υ 1、 Υ 3、 Υ 5、 Υ 7、 …におけるラインデータが書き込み期間間隔で書き込まれることになる。

これら 2つのラインメモリ 1 4、 1 5からのラインデータの読み出しについては、読み出しアドレス制御回路 1 7によって、書き込まれているラインデータを 1ラインの表示時間に 1ライン分のラインデータを同時に読み出す。このように、読み出しアドレス制御回路 1 7による読み出し制御を行うことにより、ラインメモリ 1 4及びラインメモリ 1 5の出力ラインデータは、第 1実施例と同様の出力ラインを得ることができる。その後、各ラインメモリ 1 4、 1 5の出力ラインデータは第 1実施例と同様に乗算器 1 8、 1 9に与えられて、係数発生回 2 0により発生する係数 K、（1— Κ) と乗算される。これらの乗算結果は加算器 2 1 によつて加算されて、第 3図に示す演算処理結果が得られる。

これにより、出力端子 2 2を介して出力されるラインをレターボックス画像表示時間内（第 2図参照）に連続して出力することにより、第 1 実施例と同様にレターボックス画像に基づく有効ライン y 0、 y l、 y 2、 y 3…となるレターボックス画像データを得ることができる。

このように、本実施例によれば、ラインメモリ 1 4、 1 5のラインデータの書き込み速度を読み出し速度の 4 Z 3倍にして動作させた場合でも、第 1実施例と同様の効果を得ることができる。

また、本発明のレターボックス変換装置では、第 1及ぴ第 2実施例における復号画像メモリ 1 2からのラインデータの読み出し、各ラインメモリ 1 4、 1 5への書き込み速度を出力データ速度の mZ n倍以上の複数の速度を適宜設定して行った場合でもレターボックス変換処理を行うことが可能である。このような実施例を第 5図に示す

第 5図は本発明に係るレターボックス変換装置の第 3実施例を示し、書き込み及び読み出し制御動作を説明するための説明図である。尚、第 5図に示す符号及び記号は第 2図と同様の記載方法で示している

本実施例では、第 1図に示す実施例と同様の回路構成で構成し、読み出し制御回路 1 3によるラインデータの読み出し速度と、書き込み制御回路 1 6によるラインメモリ 1 4、 1 5への書き込み速度とを、夫々ラインに応じて出力データ速度の mZ n倍以上の複数の速度（例えば、 2 倍または 4ノ 3倍）で適宜動作させることにより、レターボックス処理を行うようにしたことが第 1及び第 2実施例と異なる。

第 5図に示すように、読み出し制御回路 1 3は復号画像メモリ 1 2から、 mライン分のデータを n ( n < m) ラインデータの出力時間内に高速に読み出すように制御して、各ラインメモリ 1 4、 1 5に与える。この場合、例えば読み出し制御回路 1 3は各ラインメモリ 1 4、 1 5の書き込み速度が各ラインメモリ 1 4、 1 5の読み出し速度の例えば、ラインに応じて 2倍または 4ノ3倍となるように適宜読み出すと同時に、書き込み制御回路 1 6によって各ラインメモリ 1 4、 1 5へと交互に書き込む。

例えば、読み出し制御回路 1 3はラインメモリ 1 4の読み出し速度の 2倍の速度で復号画像メモリ 1 2から有効走査線数の開始ライン Y Oのラインデータを読み出し、同時に書き込み制御回路 1 6によって書き込みを行う、その任意時間後には、ライン Y 2のラインデータを 4 / 3倍の速度で読み出すと同時に、書き込みを行う。このように、任意時間毎にラインに応じて適宜 2倍または 4 3倍の速度でラインデータをラインメモリ 1 4に書き込むように制御する。一方、ラインメモリ 1 5についても同様に、読み出し制御回路 1 3及び書き込み制御によって、任意時間毎にラインに応じて適宜 2倍または 4 3倍の速度でラインデータをラインメモリ 1 5に書き込むように制御する。 4ノ3倍の速度での書き込みは、読み出しのァドレスを追い越さないように制御する。

これら 2つのラインメモリ 1 4、 1 5からのラインデータの読み出しについては、読み出しアドレス制御回路 1 7によって、書き込まれているラインデータを 1ラインの表示時間に 1ライン分のラインデータを同時に読み出す。このように、読み出しアドレス制御回路 1 7による読み出し制御を行うことにより、ラインメモリ 1 4及びラインメモリ 1 5の出力ラインデータは、第 1，第 2実施例と同様の出力ラインを得ることができる。即ち、前記実施例と同様の演算処理結果（第 3図参照）を得ることができ、レターボックス画像データとして出力することができるしたがって、本実施例によれば、復号画像メモリ 1 2から mライン分のデータを n ( n < m) ラインのデータ出力時間内に読み出していることから、レターボックス変換処理を行うことが可能となる。これにより、前記実施例と同様の効果を得ることができる。

尚、本発明に係る第 1ないし第 3実施例においては、復号画像メモリ 1 2からのラインデータの読み出し速度及びラインメモリ 1 4、 1 5への書き込み速度を、ラインメモリの読み出し速度の 2倍または 4 Z 3倍、あるいはこれらの速度をラインに応じて適宜切り替えてラインメモリに書き込むように制御する制御方法について説明したが、例えば、これらの制御方法以外でも mライン分のデータを n ( n < m) ラインのデータ出力時間内に高速に読み出すように制御する、即ち、平均的にデータ出力速度の mZ n倍の速度で復号画像メモリ 1 2から読み出すように制御すれば、レターボックス変換処理を行うことが可能となる。

次に、前記第 1ないし第 3実施例では、ラインメモリを 2個（p = 2 ) 使用して第 1図に示すレターボックス変換装置を構成したが、更に、最適な輝度（フィルタ特性を良好にする）ために第 6図に示すような演算処理を行う場合も考えられる。このような演算処理を行うために、ラインメモリを 4個（p = 4 ) としてレターボックス変換装置を構成した場合の実施例を第 7図に示す。

第 6図ないし第 8図は本発明に係るレターボックス変換装置の第 4実施例を示し、第 6図はレターボックス変換処理におけるフィルタ処理を 003

27 説明する説明図、第 7図は 4個のラインメモリで構成したレターボックス変換装置のプロック図、第 8図は各ラインメモリへの書き込み制御を説明するための説明図である。尚、第 7図に示す装置は第 1図に示す装置と同様の構成要素については同一符号を付して説明を省略する。また、第 8図に示す符号及び記号は第 2図に示すものと同様の記載方法で示している。

本実施例は、上記各実施例よりもフィルタ特性を良好にして高画質を得るために、ラインメモリを 4つ設けてレターボックス変換装置を構成したことが上記各実施例と異なる。

レターボックス変換処理に伴うフィルタ処理特性を良好にするためには、第 6図に示すように、少なくとも 4つの入力画像のラインから、レターボックス画像の 1つのライン y 0を作成する。即ち、入力画像の 4 つのライン、例えばライン Y 0， Y l， Y l， Υ 2のラインデータに対して夫々レターボックス画像のライン数を得るための係数 Κ Ι 、 Κ 2 ' 、 K 3 ' 及び K 4 ' を用いて乗算する。このようにしてレターボックス変換処理に基づく演算処理を行う。

したがって、このような処理を行うためには、第 7図に示すように、 4つのラインメモリ 1 4、 1 5、 2 4、 2 5を設ける。即ち、第 1図に示す装置の回路構成の他に更に 2つラインメモリ 2 4、 2 5を設ける。そして、これらラインメモリ 2 4、 2 5の出力ラインデータに所定係数を用いて乗算する乗算器 2 6， 2 7を付加し、これら乗算器 2 6， 2 7 の出力データを加算する加算器 2 1 bを付加する。更に、第 7図に示す加算器 2 1 aと加算器 2 1 bとの出力データを加算する加算器 2 2を設ける。このように、第 6図に示すような演算処理を行うために必要な回路群を付加する。尚、各乗算器に用いられる係数は第 6図に示す係数値に相当するものであり、 Kl' 、 K2^r 、 Κ3' 及び Κ4' として示されている。

一方、読み出し制御回路 1 3は前記実施例と同様に復号画像メモリ 1 2から mライン分のデータを n (n<m) ラインデータの出力時間内に高速に読み出すように制御して、各ラインメモリ 14、 1 5、 24、 2 5に与える。その後、書き込み制御回路 1 6は、例えば各ラインメモリ 14、 1 5の書き込み速度が各ラインメモリ 14、 1 5の読み出し速度の例えば 2倍となるように書き込み制御する。

例えば、読み出し制御回路 1 3はラインメモリの読み出し速度の 2倍の速度で復号画像メモリ 1 2から有効走査線数のライン YOのラインデータを同時に読み出して、ラインメモリ 14、 1 5に夫々与える。同時に、書き込み制御回路 1 6は読み出された開始ライン YOのラインデータを、読み出された速度と同じ速度でラインメモリ 14、 1 5とに夫々同時に書き込む。その後、読み出し制御回路 1 3は次のライン Y 1のラインデータを 2倍の速度で読み出すと同時に、書き込み制御回路 1 6によってラインメモリ 14に書き込む。そして、任意期間後に次のライン Y 2のラインデータを 2倍の速度で読み出し、ラインメモリ 25に書き込む。このように、第 8図に示すタイミングで各ラインメモリに順次書き込むように制御する。

これら 4つのラインメモリ 14、 1 5、 24及び 25からのラインデ —タの読み出しについては、読み出しアドレス制御回路 1 7によって、書き込まれているラインデータを 1ラインの表示時間に夫々 1ライン分のラインデータを同時に読み出す。そして、各ラインメモリ 14、 15 、 24及び 25の出力ラインデータは、対応する乗算器 18， 1 9, 2 6， 27に与えられ、係数発生回 20により発生する係数 Kl 、 K2 W 3

29

' 、 K 3 ^r 及び Κ 4 ' と乗算される。乗算器 1 8， 1 9の乗算結果及び乗算器 2 6， 2 7の乗算結果は、夫々加算器 2 1 a、 2 l bによって加算され、加算器 2 1 a , 2 1 bの加算結果は加算器 2 2によって加算されて、レタ一ボックス画像として出力端子 2 2を介して出力される。

出力端子 2 2からのラインデータをレターボックス画像表示時間内に連続して出力することにより、前記実施例と同様にレターボックス画像に基づく有効ライン y 0、 y l、 y 2、 y 3…となるレターボックス画像データを得ることができる。

したがって、本実施例によれば、復号画像メモリ 1 2から mライン分のデータを n ( n < m) ラインのデータ出力時間内に読み出していることから、レターボックス変換処理を行うことが可能となる。これにより、前記実施例と同様の効果を得ると共に、高画質のレターボックス画像を得ることができるという効果もある。

尚、本発明に係る実施例においては、 4個（p = 4 ) のラインメモリを用いて構成したことについて説明したが、例えば（p≥3 ) 個のラインメモリを用いて構成した場合でも、同様の効果を得ることができる。この場合には、復号画像メモリ 1 2からの読み出し制御及び書き込み制御を変更し、且つ演算処理部の乗算器及び加算器を追加して構成すると共に、復号画像メモリ 1 2からの読み出し速度を平均的に mZ n倍の速度で行うことにより、レターボックス変換処理を実現することができるところで、本発明に係るレターボックス変換装置では、ラインメモリの代わりに 1ライン分のデータ量よりも少ないメモリを用いて装置を構成した場合でも、レターボックス変換処理を行うことが可能である。このような実施例を第 9図ないし第 1 1図に示す。第 9図ないし第 1 1図は本発明に係るレターボックス変換装置の第 5 実施例を示し、第 9図は装置のプロック図、第 1 0図はメモリに対する書き込み制御を説明するための説明図、第 1 1図は装置の動作を説明するための説明図である。尚、第 9図において第 1図と同一の構成要素については同一符号を付して異なる部分のみを説明する。

本実施例においては、第 1図に示すレターボックス変換装置に使用されている 2つのラインメモリの代わりに、例えば 1ライン分のデータ量よりも少ない容量を備えた q個（qはメモリの個数を示す）のメモリを設けて構成し、読み出し制御回路 3 3及ぴ書き込み制御回路 3 6による制御により、 1ライン分のデータを夫々分割して夫々書き込むように制御することにより、レターポックス変換処理を行うように構成したことが前記実施例とは異なる。なお、第 9図は q = 2の例を示している。第 9図に示すように、メモリ 3 4、 3 5は 1ライン分のデータ量よりも少ない容量のメモリであり、書き込み制御回路 3 6による書き込み制御によって、復号画像メモリ 1 2から読み出された画像データを記憶する。即ち、読み出し制御回路 3 3は復号画像メモリ 1 2から、 1ライン分のデータを複数に分割し、分割した所定量の画素データを高速に読み出すように制御して、各メモリ 3 4、 3 5に与える。書き込み制御回路 1 6は、例えば各メモリ 3 4、 3 5の書き込み速度が各メモリ 3 4、 3 5の読み出し速度の例えば 2倍となるように書き込み制御する。

例えば、第 1 0図に示すように、復号画像メモリ 1 2から読み出される所定の 1ラインをライン Sとすると、読み出し制御回路 3 3はこのライン Sの 1ライン分のラインデータを複数のデータ単位であるデータ S ， 0、データ S， 1、データ S， 2、データ S， 3、データ S， 4 · ··データ S， T毎に読み出す。このように 1ライン分の画素データはデータ単位毎に読み出し制御回路 3 3によって高速に読み出され、読み出されたデータは書き込み制御回路 3 6によって 1ライン毎にメモリ 3 4、 3 5に交互に書き込まれるようなっている。

読み出しアドレス制御回路 1 7は各メモリ 3 4， 3 5に書き込まれた 1ライン分のラインデータを表示速度で同時に読み出して、演算処理を行うための乗算器 1 8、 1 9に与える。以後、第 1図に示す実施例と同様に加算器 2 1を用いて各乗算器 1 8、 1 9の出力データを加算することにより、演算処理結果を得、レターボックス画像として出力端子 2 2 より出力する。

次に、読み出し制御回路 2 2及び書き込み制御回路の制御動作を第 1 1図を参照しながら詳細に説明する。

第 1 1図には、レターボックス画像として出力する開始ライン（第 1 ライン） y 0を作成する場合の復号画像メモリからの読み出し、各メモリへの書き込み制御及び読み出し制御における動作状態を示している。読み出し制御回路 3 3は復号画像メモリ 1 2から 1ライン分データをデータ単位毎に分割し（第 1 0図参照）、分割して得たデータ単位の画素データを、例えば読み出し速度（出力データ速度）の 2倍の速度で読み出す。同時に書き込み制御回路 3 6は読み出されたデータ単位の画素データを、所定の時間間隔でメモリ 3 4に書き込む。即ち、 1単位データの表示期間の半分の期間でデータ単位を夫々読み出し、書き込むことになる。ライン Y Oの各データ単位を 0， 0、 0， 1、 0， 2、 0， 3 、 0， 4 0， Tとすると、第 1 1図に示すように、各データ単位の画素データを書き込み期間（1単位データの表示期間の半分の期間）間隔でメモリ 3 4に書き込むことができる。

同様に、メモリ 3 5についても、読み出し制御回路 3 3によって、次のラインの各デ一タ単位の画素データが表示速度の 2倍の速度で読み出されて、同時に書き込み制御回路 3 6によってメモリ 3 5に書き込まれる。ライン Y 1の各データ単位を 1， 0、 1， 1、 1， 2、 1， 3、 1 ， 4ー1， Tとすると、第 1 1図に示すように、表示時間の 1 Z 2の期間間隔で各データ単位の画素データをメモリ 3 5に書き込むことができる。このように、読み出し制御回路 3 3はライン毎の単位データを交互に読み出し、同時に書き込み制御回路 3 6は各メモリ 3 4、 3 5に対して夫々のデータ単位毎のデータを交互に順次書き込むように制御する。各メモリ 3 4、 3 5の読み出しついては、読み出しアドレス制御回路 1 7によって、 1単位データの表示期間に同時に夫々の単位データを読み出し、対応する乗算器 1 8、 1 9に与える。次いで、乗算器 1 8、 1 9及び加算器 2 1を用いて演算処理を行うことにより、レターボックス画像におけるライン y 0のラインデータを作成することができる。また、次のライン y 1以降の出力ラインデータに関しても、読み出すデータ単位のライン位置を変えて同様にデータ単位毎に読み出すことによって作成することができる。これにより、復号画像メモリ 1 2から読み出すデータ単位のデータ量程度の 2つのメモリを用いた場合でも、レターボックス処理処理を行うことが可能となる。

このように、本実施例によれば、ラインメモリに代えて 1ラインのデータ量よりも十分に小さいデータ量の単位データを記憶する容量を備えた 2つのメモリを用いてレターボックス変換装置を構成した場合でも、レターボックス変換処理を行うことが可能となる。ラインメモリよりも十分に少ない容量のメモリで構成されていることから、前記第 1ないし第 4実施例よりも装置規模を削減してコストを低減することができるという効果を有する。尚、本発明に係る第 5実施例においては、レターボックス処理に関して説明したが、復号画像メモリ 1 2からの mラインを nラインのライン数に変換するものとすると、 nく mの関係となるレターボックス変換処理だけでなく、垂直方向に拡大する場合に関しても 1つのラインメモリを不要にして処理を行うことが可能となる。

また、本実施例においては、 q = 2とする 2つのメモリを使用した場合について説明したが、メモリを（q≥ 3 ) である場合にも、読み出し速度を出力データ速度の q倍とすることによって同様の処理を行うことが可能であり、本実施例と同様の効果を得ることができる。

ところで、復号画像メモリ 1 2としては、 M P E G等のデコーダに備えられている画像メモリを共用化することが考えられる。。 M P E Gにおいては、上述したように、フレーム内圧縮の外にフレーム間圧縮も採用する。フレーム内符号化においては、所定フレームの画像データをそのまま D C T処理して符号化する。また、フレーム間符号化では、所定フレームの画像データとこのフレーム前後のフレームの参照画像データとの差分データのみを D C T処理して符号化する予測符号化を採用する予測符号化方法としては、時間的に前方向の参照画像データを動き補償して予測誤差を求める前方予測符号化と、時間的に後方向の参照画像データを動き補償して予測誤差を求める後方予測符号化と、符号化効率を考慮して、前方若しくは後方のいずれか一方又は両方向の平均を用いた両方向予測符号化とがある。

フレーム内符号化によって符号化されたフレーム（以下、 Iピクチャという）はフレーム内情報のみによって符号化されているので、単独の符号化データのみによって復号可能である。従って、 M P E G規格においては、 Iピクチャを固定周期（例えば 1 2フレーム）に 1枚挿入するようになつている。 M P E G規格では、この Iピクチャを用い.た前方予測符号化によってフレーム間符号化フレーム（以下、 Pピクチャという ) を得る。なお、 Pピクチャは前方の Pピクチャを前方予測符号化することによつても得られる。また、前方若しくは後方のいずれか一方又は両方向の I， Pピクチャを用いた両方向予測符号化によって両方向予測適応切換フレーム（以下、 Bピクチャという）を得る。

第 1 2 A図乃至第 1 2 C図は M P E G方式の圧縮法を説明するための説明図である。第 1 2 A図は入力されるフレーム画像を示し、第 1 2 B 図は符号化データを示し、第 1 2 C図は復号データを示している。

フレーム番号 0のフレーム画像はフレーム内符号化される。このフレーム画像を参照画像として用いてフレーム番号 3のフレーム画像を前方予測符号化する。第 1 2 A図の矢印はこのような符号化の予測方向を示しており、フレーム番号 6のフレーム画像も前方のフレーム番号 3のフレーム画像を参照画像として前方予測符号化する。また、フレーム番号 1， 2のフレーム画像はフレーム番号 0 , 3のフレーム画像を参照画像として両方向予測符号化される。また、フレーム番号 4， 5のフレーム画像はフレーム番号 3， 6のフレーム画像を参照画像として両方向予測符号化する。

即ち、第 1 2 B図に示すように、先ず、フレーム番号 0の画像データをフレーム内符号化して I ピクチャを得る。この場合には、フレーム番号 0の画像データをメモリ等によってフレーム化すると共に、 8画素 X 8ライン毎にブロック化し、ブロック単位で D C T処理を施す。 D C T 処理によつて得た D C T変換係数は所定の量子化係数を用いて量子化した後、可変長符号化を施して符号化データを得る。次に入力されるフレーム番号 1のフレーム画像については、フレーム番号 0， 3のフレーム画像を用いた両方向予測符号化を行うので、フレーム番号 3のフレーム画像を符号化するまではメモリに保持する。同様に、フレーム番号 2のフレーム画像についてもフレーム番号 3のフレーム画像の符号化の後に符号化する。フレーム番号 3のフレーム画像については、フレーム番号 0のフレーム画像を参照画像として用いた前方予測符号化を行って Pピクチャを得る（第 1 2 B図）。即ち、フレーム番号 0の画像データを動きべクトルを用いて動き補償し、動き補償した参照画像データと現フレーム（フレーム番号 3のフレーム）の画像データとの差分（予測誤差）を D C T処理する。 D C T変換係数を量子化した後可変長符号化することはフレーム内符号化時と同様である。

次に、既に符号化したフレーム番号 0， 3の Iピクチャ， Pピクチャを用いてフレーム番号 1， 2のフレーム画像を順次両方向予測符号化する。こうして、第 1 2 B図に示すように、 2つの Bピクチャを得る。以後同様にして、第 1 2 B図に示すように、フレーム番号 6， 4， 5， … のフレーム画像の順に符号化を行って、 Pピクチャ， Bピクチャ， Bピクチャ， …を得る。

このように、符号化時においては、実際に入力されるフレーム順と異なるフレーム順で符号化を行う。複号化時には、符号化データの復号化順を元に戻してフレーム番号 0， 1， 2， …の順に復号データを出力する必要力 Sある。

また、 Pピクチャは前方フレームの参照画像を用いて複号化を行っており、復号化には参照画像を保持するための 1フレーム分のメモリが必要である。また、 Bピクチャは前方及び後方フレームの参照画像を用いて'復号化しており、これらの参照画像を保持するための 2フレーム分のメモリが必要である。更に、符号化処理は D C Tブロック単位で行っていることから、復号データをフレーム化してィンタレース表示又はノンインターレース表示を可能にする 1 フレーム分のメモリが必要である。この場合、 I， Pピクチャの復号データは Bピクチヤの参照画像として用いるために 2つのフレームメモリに記憶させており、これらの 2っフレームメモリからの読み出しを制御して出力することにより、参照画像用のフレームメモリをフレーム化用に兼用することができる。しかし、 Bピクチャの復号データは参照画像用として用いられることはなく参照画像用のフレームメモリに記憶されないので、フレーム化のための専用のフレームメモリを設ける必要がある。

上述した復号画像メモリ 1 2としては、これらの参照画像用又はフレーム化用のフレームメモリを用いるのである。第 1 3図はこの復号画像メモリ 1 2に対する復号データの書き込み及ぴ読み出しを説明するための説明図である。なお、第 1 3図はインターレース出力を得る場合の動作を示している。

復号画像メモリ 1 2は Ml 乃至 M4 の 4つの領域を有している。 1フレーム分のメモリを用いて 1フレームの画像データをィンターレース化して出力するためには、書込み及び読み出しを同時に行う必要がある。そこで、 1 フレームの画像データを 4つに分割すると共に 4つの領域 M 1 乃至 M4 を設けて、領域毎に書込みと読み出しとを制御するようになつている。

いま、復号画像メモリ 1 2から表示速度と同一の読み出し速度で読み出すものとする。第 1 4図に示すように、第 1フィールドの復号データを画面の上下で分けて夫々データ 1上， 1下とする。また、第 2フィールドの復号データも画面の上下で分けて夫々データ 2上， 2下とする。先ず、データ 1上， 1下は夫々領域 Ml ， M2 に記憶させ、データ 2上， 2下は夫々領域 M3 ， M に記憶させる。

フレーム構成で符号化された符号化データを復号化した場合には、復号データは、画面の上端に対応する第 1プロックラインから画面下端に対応するブロックラインまでブロック単位で順次出力される。即ち、 1 フィールド時間にデータ 1上， 2上が復号化され、次の 1フィールド期間にデータ 1下， 2下が復号化されることになる。第 1 3図の横軸は復号時間及び出力時間をフィールド単位で示しており、縦軸は復号画像メモリ 1 2の領域 Ml 乃至 M4 のメモリアドレスを示している。各領域 M 1 乃至 M4 の容量は復号画像メモリ 1 2の全容量の 1 4である。

最初の 1 フィールド期間には、入力端子 1 1を介して入力される復号データ 1上， 2上が夫々メモリ Ml ， M3 に順次書込まれる。第 1 3図の斜線 K 1 ， K3 は領域 Ml ， M3 への書込みを示している。データ 1 上， 2上のデータ量は 1フレームの 1 4であり、領域 Ml ， M3 の全域に 1 フィールド期間で書込まれる。

次の 1 フィールド期間には、入力端子 1 1を介して入力される復号データ 1下， 2下が夫々メモリ M2 ， M4 に順次書込まれる。第 1 3図の斜線 K2 ， K は領域 M2 ， M4 への書込みを示している。データ 1下， 2下のデータ量は 1フレームの 1ノ 4であり、領域 M2 ， M4 の全域に 1フィールド期間で書込まれる。

また、このフィールド期間には、領域 Ml から読み出しが行われる。第 1 3図の斜線 R 1 は領域 Ml からの読み出しを示しており、領域 Ml からは書込み順にデータが読出されて、半フィールド期間で領域 Ml に格納されたデータ 1上の全てが読出されている。なお、第 1 3図の斜線領域及び網線領域はデータが復号画像メモリ 1 2の所定のァドレスに蓄積中であることを示している。更に、第 1 3図の斜線 R2 によって、このフィールド期間の後半では、領域 M2 に格納されたデータ 1下も読出されることが示されている。このフィールド期間において読み出したデータ 1上， 1下は第 1フィールドのデータとして出力される。

次のフィールド期間の前半には、斜線 K3 の期間に領域 M3 に書込まれたデータ 2上が読出され（斜線 R3 ) 、後半には、斜線 K4の期間に領域 M4 に書込まれたデータ 2下が読出される（斜線 R4 ) 。こうして、データ 2上， 2下は第 2フィールドのデータとして出力される。

以後同様にして、メモリの使用領域が重ならないように、例えばデータ 2上及ぴデータ 1下については、書込む領域を領域 M2 ， M3 間で切換えながら、書込み及び読み出しを繰返して、フレーム毎の復号化出力をフィールド毎のインターレース出力に変換して出力する。

上述したように、上記各実施例においては、復号画像メモリ 1 2から例えば表示速度の 2倍の読み出し速度でデータを読み出している。第 1 3図の矢印斜線 L 1 ， L 2 ， …はこのようなレターボックス処理における読み出しを示している。なお、第 1 3図の縦軸にて示すメモリアドレスとラインとが対応しており、書き込み及び読み出しを示す斜線によつて順次ラインデータが書き込み又は読み出されている状態が示されている。

例えば、斜線 K3 , K4のタイミングで書込まれたデータ 2上， 2下は、垂直同期信号から表示垂直オフセット期間だけ遅延して読み出しが開始され、 1フィールド期間の 3 4の期間、即ち、 1 8 0ライン走査時間で読み出しが終了する。この読み出しは矢印斜線 L 3 ， L4 にて示してある。

同様に、例えば、斜線 K 1 ， K2のタイミングで書込まれたデータ 1 上， 1下については、矢印斜線 L 1 ， L 2 に示す読み出しを行う必要がある。しかしながら、斜線 K2 に示す書込みに対して、矢印斜線 L 2 に示す読み出しが先行している。即ち、第 1 3図の書込み及び読み出しを行うと、データ 1下については書込よりも読み出しが先行してしまい、正確な画像信号を得ることができない。つまり、第 1乃至第 5実施例のように表示速度の mZ n倍で復号画像メモリ 1 2からデータを読み出す場合には、各フィ一ルドの画面下側のラインデータについては、読み出しが書き込みに先行してしまい、読み出しを行うことができなくなってしまう。

従って、 M P E Gデコーダに採用されているフレーム化用のフレームメモリを復号画像メモリ 1 2として用いて、レターボックス処理等のライン数変換処理を行う場合には、復号画像メモリ 1 2のメモリ容量を増やして、読み出しが書込みに先行することを防止する必要が生じてくる。なお、 M P E Gデコーダのデコード速度が高速で、 1フィールドの画像データを 1フィールド期間よりも短期間に復号画像メモリ 1 2に書き込むことができる場合には、メモリ容量を増やす必要がないことは明ら力である。

第 1 5図は本発明の第 6実施例に係り、復号画像メモリ 1 2への書き込み速度が表示速度と同じである場合でも、復号画像メモリ 1 2のメモリ容量を増やすことなく、復号画像メモリ 1 2からの高速読み出しを可能にするものである。第 1 5図は M P E Gデコーダに適用した例である o

入力端子 1 0 0には M P E G規格の符号化データが入力される。この符号化データは符号バッファメモリ回路 1 0 1に供給される。この符号化データは、 D C T処理、量子化処理及び可変長符号化処理によって作成されたものであり、フレーム内の処理による I ピクチャ、前方又は後方フレームの参照画像を用いた Pピクチャ及び両方向フレームの参照画像を用いた Bピクチャを有している。また、符号化データは P， Bピクチヤ作成時に用いた動きベクトルの情報も含んでいる。なお、 D C T処理はフレーム化後にプロック化して得たブロック単位で行われている。符号バッファメモリ回路 1 0 1は入力された符号化データを保持し、復号化処理時間と出力処理時間との時間あわせを行って出力する。符号バッファメモリ回路 1 0 1の出力は可変長復号回路 1 0 2に与えられる。可変長復号回路 1 0 2は入力された符号化データを可変長復号化処理によつて符号化側の可変長符号化処理前のデータに戻して、バッファ制御回路 1 0 7、逆量子化回路 1 0 3及び動きべクトル抽出回路 1 0 8に出力する。バッファ制御回路 1 0 7は可変長復号回路 1 0 2の出力に基づいて符号バッファメモリ回路 1 0 1を制御するようになっている。動きベクトル抽出回路 1 0 8は P， Bピクチャについては、可変長復号出力に含まれる動きべクトルを抽出して動き補償回路 1 0 9， 1 1 0 に出力する。逆量子化回路 1 0 3は入力されたデータを逆量子化処理して逆 D C T回路 1 0 4に与え、逆 D C T回路 1 0 4は逆量子化出力を逆 D C T処理して加算器 1 0 5に出力する。

加算器 1 0 5にはスィツチ 1 1 5の出力も与えられる。スィッチ 1 1 5は、逆 D C T回路 1 0 4の出力が Iピクチャに基づくものである場合には 0を加算器 1 0 5に与え、 Pピクチャに基づくものである場合には後述する動き補償回路 1 0 9， 1 1 0の一方の出力を加算器 1 0 5に与え、 Bピクチャに基づくものである場合には動き補償回路 1 0 9， 1 1 0又は後述する加算器 1 1 3の出力を加算器 1 0 5に与える。加算器 1 0 5は逆 D C T回路 1 0 4の出力とスィッチ 1 1 5の出力とを加算することにより画像を復元して、参照画像メモリ 1 2及びフレームメモリ 1 1 1， 1 1 2に出力する。

フレームメモリ 1 1 1， 1 1 2は、メモリライト制御回路 1 1 7及びメモリリード制御回路 1 2 1に書込み及び読み出しが制御されて、参照画像となる I， Pピクチャの復元画像データを保持する。フレームメモリ 1 1 1， 1 1 2は対応する， Bピクチャの復号タイミングで保持している参照画像データを動き補償回路 1 0 9， 1 1 0に出力するようになっている。動き補償回路 1 0 9， 1 1 0は夫々フレームメモリ 1 1 1 ， 1 1 2からの参照画像データを動きべクトル抽出回路 1 0 8からの動きベクトルに基づいて動き補償して出力する。動き補償回路 1 0 9， 1 1 0の出力はスィッチ 1 1 5に供給されると共に、加算器 1 1 3にも供給される。加算器 1 1 3は、予測モードに応じて動き補償回路 1 0 9， 1 1 0の出力を加算してスィツチ 1 1 5に出力するようになつている。復号画像メモリ 1 2は 4つの記憶領域 Ml 乃至 M4 に分割されており、領域 Ml 乃至 M4 は、 1 フレーム分の画像データを記憶する容量（以下、フレーム容量という）の 4分の 1の容量を有している。復号画像メモリ 1 2は、メモリライト制御回路 1 1 7及びメモリリード制御回路 1 2 1に書込み及び読み出しが制御されて、順次入力される Bピクチヤの復号化データを記憶し、インターレース順に読み出してスィッチ 1 1 6 に出力するようになつている。

一方、 I， Pピクチャについては、フレームメモリ 1 1 1， 1 1 2に格納されている復元画像データをインターレース出力として用いるようになっている。フレームメモリ 1 1 1， 1 1 2はメモリライト制御回路 1 1 7及びメモリリード制御回路 1 2 1に書込み及び読み出しが制御されて、格納されている復元画像データをィンターレース順に読み出してスィツチ 1 1 4に出力する。スィツチ 1 1 4は、画像の出力フレーム順に応じて切換り、フレームメモリ 1 1 1， 1 1 2からの画像デ一タをスイッチ 1 1 6に出力する。スィッチ 1 1 6は画像の出力フレーム順に応じて切換って、一連のフレームの復元画像データを復号化データとして出力するようになつている。

同期信号発生回路 1 2 2は入力符号化データを複号化して得た映像信号に同期した水平及び垂直同期信号を発生する。本実施例においては、同期信号発生回路 1 2 2には表示垂直オフセット値も入力されており、同期信号発生回路 1 2 2は表示垂直オフセット値に基づく遅延時間で垂直同期信号を遅延させて補正垂直同期信号として出力することができるようになっている。

メモリライト制御回路 1 1 7及びメモリリード制御回路 1 2 1は同期信号発生回路 1 2 2からの同期信号又は補正同期信号を時間基準として、復号画像メモリ 1 2及びフレームメモリ 1 1 1， 1 1 2の書込み及び読み出しを制御するようになっている。

次に、このように構成された実施例の動作について第 1 6図乃至第 2 0図の説明図を参照して説明する。第 1 6図は復号画像メモリ 1 2の書込み及ぴ読み出しを垂直同期信号及び補正垂直同期信号と共に示している。第 1 7図及び第 1 8図は 1画面の画像データの分割方法を示している。なお、第 1 6図乃至第 1 8図では、奇数フィールドのデータを斜線にて示し、偶数フィールドのデータを網線にて示している。

復号化処理は一般的な M P E Gデコーダと同様である。即ち、符号化データは符号バッファメモリ回路 1 0 1に入力される。符号化データは I， P , Bピクチャを有しており、例えば、第 1 2 B図のフレーム順で入力されるものとする。符号バッファメモリ回路 1 0 1は符号化処理時間及び出力時間を考慮して、入力された符号化データを保持して可変長復号回路 1 0 2に出力する。

可変長復号回路 1 0 2によって符号化データは可変長復号化され、逆量子化回路 1 0 3によって逆量子化され、逆 D C T回路 1 0 4によって逆 D C T処理されて、符号化側の D C T処理前のデータに戻されて加算器 1 0 5に供給される。なお、これらの処理はブロック単位で行われる入力された符号化データが Iピクチャを符号化したものである場合には、スィッチ 1 1 5は 0を加算器 1 0 5に与える。これにより、加算器 1 0 5は逆 D C T回路 1 0 4の出力をそのままフレームメモリ 1 1 2に出力する。フレームメモリ 1 1 2によって、各ブロックの復号化データは 1フレーム分蓄積され、所定の出力タイミングにおいて、表示順に読出されてスィッチ 1 1 4， 1 1 6を介して出力される。

入力された符号化データが Pピクチャを符号化したものである場合には、可変長復号回路 1 0 2の出力は動きべクトル抽出回路 1 0 8にも与えられる。動きベクトル抽出回路 1 0 8によって、 Pピクチャの符号化データに含まれる動きべクトルが抽出されて動き補償回路 1 1 0に与えられる。

フレームメモリ 1 1 2は I ピクチャの復号化データを参照画像として保持しており、動き補償回路 1 1 0はフレームメモリ 1 1 2のデータを読み出して、動きベクトルを用いて動き補償する。この動き補償された参照画像のデータはスィッチ 1 1 5を介して加算器 1 0 5に与えられる。逆 D C T回路 1 0 4の出力は復号された予測誤差であり、加算器 1 0 5はこの予測誤差にスィッチ 1 1 5からの参照画像のデータを加算することにより画像データを復元する。この画像データはフレームメモリ 1 1 1に格納される。

次に、 Bピクチャに基く符号化データが入力されるものとする。この場合にも、可変長復号回路 1 02の出力は、逆量子化回路 1 03及び逆 DCT回路 1 04に与えられると共に、動きべクトル抽出回路 1 08にも与えられる。逆 DCT回路 1 04からは DCT処理前の予測誤差が加算器 1 05に出力される。一方、動きべクトル抽出回路 1 08は可変長復号出力から参照画像に対応する動きべクトルを抽出して夫々動き補償回路 1 1 0， 1 09に出力する。なお、予測モードによっては、いずれか一方の動きべクトルのみが抽出されることもある。

フレームメモリ 1 1 2， 1 1 1は夫々 I ピクチャ， Pピクチャの復元画像データを参照画像データとして保持しており、動き補償回路 1 09 ， 1 1 0はこれらの復元画像データを読み出して、動きべクトルに基づいて動き補償してスィッチ 1 1 5及ぴ加算器 1 1 3に出力する。即ち、動き補償回路 1 09， 1 1 0は、逆 DCT回路 1 04から出力された所定ブロックの復号化データに対応するブロック化位置を動きべクトルによって補正して、補正したプロック化位置のプロックデータを動き補償した参照画像データとして出力する。加算器 1 1 3は動き補償回路 1 0 9, 1 1 0の出力を加算してスィツチ 1 1 5に出力する。スィッチ 1 1 5は、予測方向が前方である場合には動き補償回路 1 1 0の出力を選択し、後方である場合には動き補償回路 1 09の出力を選択し、両方向である場合には加算器 1 1 3の出力を選択して、動き補償した参照画像デ —タとして加算器 1 05に出力する。

こうして、加算器 1 05は、逆 DCT回路 1 04からのブロックデータとスィツチ 1 1 5からのブロック単位の参照画像データとを加算して、各ブロック単位で Bピクチャの画像データを復元してフレームメモリ 6に出力する。

加算器 1 0 5からのブロックデータはプロック単位で出力される。即ち、加算器 1 0 5からは画面上端のブロックラインから画面下端のプロックラインまで順次ブロック単位で Bピクチャのデータが出力される。加算器 1 0 5からは、先ず、所定の 1 フィールド期間に第 1 7図及び第 1 8図の画像データ 1上， 2上が出力され、次の 1 フィールド期間に画像データ 1下， 2下が出力される。

第 1 6図は横軸にフィールド単位の時間をとり、縦軸に各領域 Ml 乃至 M4 に対応するメモリアドレスを示している。この第 1 6図に示すように、加算器 1 0 5から画像データ 1上， 2上が出力されるタイミング、即ち、 TO期間において、メモリライト制御回路 1 1 7は復号画像メモリ 1 2の領域 Ml ， M3 に対応するアドレスを順次発生する。こうして、第 1 6図の斜線 K 1 ， K3 に示すように、 TO 期間の 1フィールド期間で領域 Ml ， M3 に対して画像データ 1上， 2上の書込みが行われる。

次の T 1 期間には、加算器 1 0 5から画像データ 1下， 2下が出力される。メモリライト制御回路 1 1 7はこのタイミングで領域 M2 ， M4 に対応するアドレスを順次指定する。これにより、第 1 6図の斜線 K2 ， K4 に示すように、領域 M2 ， M4 に対して画像データ 1下， 2下の書込みが行われる。

第 1 6図の斜線部は画像データ 1上， 1下が復号画像メモリ 1 2に蓄積されている期間を示しており、網線部は画像データ 2上， 2下が復号画像メモリ 1 2に蓄積されている期間を示している。メモリリード制御回路 1 2 1は、第 1 6図の斜線 R 1 に示すように、 T 1 期間の開始タイミングから領域 Ml に対して読み出しアドレスを順次指定する。これにより、画像データ 1上は T l 期間の最初の 1 2の期間で領域 Ml から読出されてスィッチ 1 1 6を介して出力される。 T 1 期間の後半の 1 Z 2の期間には、メモリリ一ド制御回路 1 2 1によって領域 M2 の読み出しァドレスが指定されて、画像データ 1下が読出されて出力される。即ち、 T 1 期間においては、メモリライト制御回路 1 1 7によって斜線 K2 ， K4に示す書込みが行われると共に、メモリリード制御回路 1 2 1によって斜線 R 1 ， R2 に示す読み出しが行われる。

同様にして、 T2 期間には、領域 M3 ， M4 に対して読み出しァドレスが指定されて、画像データ 2上， 2下が 1 フィールド期間で読出されながら（斜線 R3 ， R4 ) 、領域 Ml ， M2 に対して書込みアドレスが指定されて、画像データ 1上， 2上が 1 フィールド期間で書込まれる（斜線 K5， Κ6) 。こうして、 T 1 ， Τ2 期間において画像データ 1上， 1下， 2上， 2下が順次読出されることになつて、第 1，第 2フィールドの画像が形成される。

更に、 Τ3 期間には領域 Ml ， M3 に対して読み出しアドレスが指定されて、画像データ 1上， 1下が 1フィールド期間で読出されながら（斜線 R5 ， R6 ) 、領域 M3 ， M4 に対して書込みアドレスが指定されて、画像データ 1下， 2下が 1フィールド期間で書込まれる（斜線 K7 ， K8 ) 。以後同様の動作が繰返されて、復号画像メモリ 1 2に対する書込み及び読み出しが行われる。第 1 6図に示すように、復号画像メモリ 1 2に対する読み出しは垂直同期信号に同期しており、復号画像メモリ 1 2から読み出した画像データに基づく画像は第 1 7図に示すものとなる。なお、復元画像が N T S C画像であるものとすると、第 1 7図に示すように、 1フィールド画面は 2 4 0ラインで構成される。

ここで、復元画像をライン数変換して、第 1 8図に示すように、表示画面の中央の 1 8 0ライン分の領域に画像を表示させるものとする。この場合には、 3 0ライン分に相当する表示垂直オフセット値が同期信号発生回路 1 2 2に供給される。同期信号発生回路 1 2 2は、表示垂直ォフセット値及びライン数変換処理に基づく時間だけ垂直同期信号を遅延させた補正垂直同期信号を発生する。第 1 6図及び第 1 8図の例では、補正垂直同期信号は、データ 1下又は 2下の書込み終了タイミングから 1 8 0ライン走査時間及び表示垂直オフセット（3 0ライン走査時間）の和の時間だけ前の時間、即ち、垂直同期信号から 3 0ライン走査時間だけ遅延して発生する。

同期信号発生回路 1 2 2は垂直同期信号をメモリライト制御回路 1 1

7に与え、補正垂直同期信号をメモリリード制御回路 1 2 1に与える。メモリライト制御回路 1 1 7は、垂直同期信号を時間基準として復号画像メモリ 1 2に対する書込みを行う。これにより、第 1 6図の斜線 K 1 ， K2 ， …に示す書込みが行われる。

一方、メモリリード制御回路 1 2 1は、補正垂直同期信号を時間基準として復号画像メモリ 1 2からの読み出しを行う。即ち、 T 1 期間におけるデータ 1下の書込み（斜線 K2 ) 開始から 3 0ライン走査時間だけ遅延して補正垂直同期信号（第 1 6図参照）が発生すると、メモリリード制御回路 1 2 1は、表示垂直オフセットに相当する 3 0ライン走査時間後に領域 Ml からの読み出しを開始する（斜線 L 1 ) 。この場合には、 2 4 0ライン分を 1 8 0ライン走査時間に読出すので、読み出しレートは書込みレート（表示レート）の 4 3倍となる。領域 Ml に対する読み出し開始から 9 0ライン走査時間が経過すると、領域 Ml からのデータ 1上の読み出しが終了し、次いで、領域 M2 からデータ 1下の読み出しが行われる（斜線 L 2 ) 。データ 1下は T l 期間の開始タイミングから書込みが開始されており、データ 1下の読み出しと同時に書込みも行われている。データ 1下の書込みには 2 4 0ライン走査時間を要し、読み出しには 1 8 0ライン走査時間を要するが、書込みが読み出しよりも 6 0ライン走査時間だけ先行して開始されているので、データ 1下に対する読み出しが書込みに先行することはない（斜線 K2 ， L 2 参照）。

こうして、 T 1 期間の最後の 9 0ライン走査時間でデータ 1下の読み出しは正常に終了する。この読み出しの終了から 3 0ライン走査時間後に補正垂直同期信号が発生する。従って、復号画像メモリ 1 2から読み出した画像データ 1上， 1下に基づく画像を補正垂直同期信号を用いて表示すると、第 1 8図に示すように、画面上下に 3 0ライン分の無画部を有し、垂直方向中央の 1 8 0ライン分に主画部を有するレターボックス表示が行われる。

同様にして、 T2 期間の開始から 6 0ライン走査時間後に、書込みの 4 / 3倍のレートで画像データ 2上に対する読み出しが開始され、斜線 K4, L 4 に示すように、読み出しが書込みに先行することなく、画像データ 2下の読み出しまで終了する。以後同様の動作が繰返されて、第 1 8図に示すレターボックス表示用の画像データが復元される。

このように、本実施例においては、表示垂直オフセット及びライン数変換処理に基づいて読み出し開始タイミングを遅延させることにより読み出しが書込みに先行することを防止すると共に、この遅延時間に対応させて垂直同期信号を遅延させた補正垂直同期信号を発生して表示に用いることにより、レターボックス表示を可能にしている。即ち、第 1乃至第 5実施例における読み出し制御回路 1 3が補正垂直同期信号を時間基準として読み出しを行うことにより、書き込み速度よりも高速な読み出しが可能となる。こうして、復号画像メモリ 1 2のメモリ容量を増加させることなく、ライン数変換処理を含む表示オフセット処理が可能である。

なお、本実施例は、レターボックス処理に適用するだけでなく、表示オフセットを付加して表示位置を単にずらす場合にも適用可能である。第 1 9図及び第 2 0図はこの場合の動作を説明するための説明図である。第 1 9図は第 1 6図に対応している。第 2 0図は 1画面の画像データの分割方法を示している。

垂直表示の開始位置に基づく表示垂直オフセット値が同期信号発生回路 1 2 2に与えられる。同期信号発生回路 1 2 2は、第 1 9図に示す垂直同期信号から表示垂直オフセットに対応する時間だけ先行させた補正垂直同期信号（第 1 9図）を発生する。メモリライト制御回路 1 1 7は、垂直同期信号を時間基準として復号画像メモリ 1 2に対する書込みを行う。これにより、第 1 9図の斜線 K 1 ， K2 ， …に示す書込みが行われる。

一方、メモリリード制御回路 1 2 1は、復号画像メモリ 1 2からの画像データの読み出しを補正垂直同期信号から表示垂直オフセットに基づく時間だけ遅延させたタイミング（垂直同期信号のタイミング）で開始し、補正垂直同期信号のタイミングで終了させる。即ち、第 1 9図に示すように、 T 1 期間の開始タイミングより領域 Ml のアドレスを順次指定してデータ 1上の読み出しを行う（斜線 O l ) 。 T 1 期間の後半には、領域 M2 のアドレスを指定してデータ 1下の読み出しを行う。データ 1下の読み出しは、第 1 9図の斜線 02 に示すように、補正垂直同期信号のタイミングで終了させる。

補正垂直同期信号は垂直同期信号よりも表示垂直オフセット分だけ先行して発生しているので、復号画像メモリ 1 2から読み出した画像データ 1上， 1下に基づく画像を補正垂直同期信号を用いて表示すると、第 2 0図の第 1フィールドに示すように、画面の上端から表示垂直オフセット分だけ下方の位置でデータ 1上に基づく表示が開始される画像が得られる。なお、画像の下端は表示垂直オフセット分だけ欠落する。以後同様の書込み及び読み出しが行われて、第 2 0図に示す表示が行われる逆に、補正垂直同期信号を垂直同期信号よりも表示垂直オフセット分だけ遅らせて発生させれば、画像データの上から垂直表示オフセットの量だけ下の部分を画面の上端に表示することもできる。

上記実施例においては、映像信号から再生した同期信号のタイミングを変化させた例であるが、同期信号が外部から供給される場合には、供給された同期信号のタイミングに対して復号化開始タイミングを変化させることにより、同様の効果を得ることができることは明らかである。第 2 1図はこの場合の動作を説明するための説明図である。第 2 1図は第 1 6図に対応している。

この場合には、第 1 5図の復号化部は補正垂直同期信号を時間基準としてデコードを行うと共に、復号画像メモリ 1 2への書き込みを行う。一方、復号画像メモリ 1 2からの読出しは垂直同期信号を時間基準として行う。即ち、同期信号が外部から供給される場合にも、同様のレターボックス処理や表示オフセットの効果を得ることができる。

産業上の利用可能性

以上のように、本発明に係るレターボックス変換装置は、 M P E G等の符号化データをデコードするデコーダに有用であり、例えば、 DVD プレーヤ一等に搭載される MP EG 2デコーダ L S Iに用いるのに適している。

Claims

請求の範囲

1 . 符号化データに対する復号化処理を行う復号化手段からの画像データを記憶する.記憶手段と、

前記記憶手段に記憶されている画像データを読み出し、読み出した画像データに基づいてレターボックス画像用の出力画像データを作成して所定の画像表示時間に出力する出力手段と、

前記記憶手段からの前記画像データの読出しを前記記憶手段への書き込みレートよりも高いレートで行う読み出し制御手段とを具備したことを特徴とするレターボックス変換装置。

2 . 前記出力手段は、前記レターボックス画像用の出力画像データを得るために前記記憶手段から読み出した画像データにライン間の所定の演算を施す演算手段と、

前記演算手段が行う演算に必要な複数ラインの画素データを記憶するメモリを有することを特徴とする請求項 1に記載のレターボックス変換

3 . 前記読み出し制御手段は、前記記憶手段に対する書き込みの時間基準と異なる時間基準であって、前記画像表示時間に対応した時間基準で前記記憶手段からの前記画像データの読出しを行わせることを特徴とする請求項 1に記載のレターボックス変換装置。

4 . 符号化データに対する複号化処理によって得られた画像データを記憶する画像メモリと、

前記画像メモリから mライン分のデータを n ( n < m) ラインの画像表示時間内に読み出して出力させる第 1の読み出し制御手段と、

前記第 1の読み出し制御手段によって前記画像メモリから読み出された画像データを記憶する少なくとも 2つのラインメモリと、

前記少なくとも 2つのラインメモリから読み出された画像データに所定の走査線数変換演算処理を施して mラインから nラインへの走査線数変換を行う演算処理手段と、

前記演算処理に使用する演算係数を出力する係数発生手段と、前記第 1の読み出し制御手段によって読み出された画像データを前記走査線数変換演算処理に用いるライン毎に前記少なくとも 2つのラインメモリに夫々書き込む書き込み制御手段と、

前記少なくとも 2つのラインメモリから前記走査線数変換演算処理に用いるラインの画像データを 1ラインの画像表示時間で読み出して前記演算処理手段に出力させる第 2の読み出し制御手段とを具備したことを特徴とするレターボックス変換装置。

5 . 前記第 1の読み出し制御手段は、前記画像メモリからの 1ライン分の画像データを 1ラインの表示時間の n Zm倍以下の時間で読み出すことを特徴とする請求項 4記載のレターボックス変換装置。

6 . 符号化データに対する複号化処理によって得られた画像データを記憶する画像メモリと、

mラインから nラインへの走査線数変換演算処理に必要なライン数の n倍のライン数分の画像データを、 nラインの画像表示時間内に、 1ライン分の画像データ量よりも少ない所定量の画像データ単位に分割して前記画像メモリから読み出して出力させる第 1の読み出し制御手段と、前記第 1の読み出し制御手段によって前記画像メモリから読み出された前記所定量の画像データを記憶する容量を備えた少なくとも 2つのメモリと、

前記少なくとも 2つのメモリから読み出された前記所定量の画像データに所定の走査線数変換演算処理を施して mラインから nラインへの走査線数変換を行う演算処理手段と、

前記演算処理に使用する演算係数を出力する係数発生手段と、前記第 1の読み出し制御手段によって読み出された前記所定量の画像データを前記走査線数変換演算処理に用いるライン毎に前記少なくとも 2つのメモリに夫々書き込む書き込み制御手段と、

前記少なくとも 2つのメモリから前記走査線数変換演算処理に用いるラインのうちの前記所定量の画像データを前記所定量の画像データの画像表示時間で読み出して前記演算処理手段に出力させる第 2の読み出し制御手段とを具備したことを特徴とするレターボックス変換装置。

7 . 前記走査線数変換演算処理に必要なライン数に対応する数のメモリを設け、

前記第 1の読み出し制御手段は、前記所定量の画像データを前記所定量の画像データの画像表示時間の（1 メモリの個数）倍以下の時間で前記画像メモリから読み出すことを特徴とする請求項 6記載のレターポックス変換装置。

8 . 前記 mと nとの比は、 4 ： 3であることを特徴とする請求項 2ないし請求項 5のいずれか一つに記載のレターボックス変換装置。

9 . 画像メモリに記憶されている mライン分の画像データを n ( n < m ) ラインの画像表示時間内に読み出して出力させる第 1の読み出し手順と、

前記画像メモリから読み出された画像データを走査線数変換演算処理に用いるライン毎に所定のデータ単位で複数のメモリに記憶させる第 1 の書き込み手順と、

前記複数のメモリから画像表示時間に対応した速度で前記走査線数変 5δ 換演算処理に用いる画像データを読み出す第 2の読み出し手順と、前記複数のメモリから読み出された画像データに所定の演算処理を施してレターボックス画像の出力画像データを得る演算手順とを具備したことを特徴とするレターボックス変換方法。

1 0 . 符号化データを複号化して得た画像データを所定の同期タイミングで記憶手段に書き込む書き込み手順と、

前記所定の同期タイミングとは異なる同期タイミングで前記書き込み手順における書き込みレートよりも高い読み出しレートで前記記憶手段に記憶された画像データを読み出す読み出し手順とを具備したことを特徴とするレターボックス変換方法。

1 1 . 前方及ぴ後方の参照画像を用いた両方向予測符号化データを含む符号化データが入力され、入力された符号化データを所定のブロック単位で複号化して復号化データを出力する復号化手段と、

前記两方向予測符号化データに対する復号化処理によつて前記復号化手段から出力されたフレーム構成の復号化データを記憶してインターレース順に出力してインターレース構成の映像信号を得る記憶手段と、前記映像信号に同期した同期信号を発生すると共に、前記同期信号を所定位相だけ進相又は遅相させて表示に用いる補正同期信号を発生する同期信号発生手段と、

前記同期信号を時間基準として前記記憶手段に対する書込みを行うと共に、前記補正同期信号を時間基準として前記記憶手段に対する読出しを行って前記ィンターレース構成の映像信号を得る書込み読出し制御手段とを具備したことを特徴とするレターボックス変換装置。

1 2 . 前方及び後方の参照画像を用いた両方向予測符号化データを含む符号化データが入力され、入力された符号化データを所定のプロック単位で複号化して復号化データを出力する複号化手段と、前記両方向予測符号化データに対する復号化処理によつて前記復号化手段から出力されたフレーム構成の複号化データを記憶してインタ一レース順に出力してインターレース構成の映像信号を得る記憶手段と、前記映像信号に同期し表示に用いる同期信号を所定位相だけ進相又は遅相させた補正同期信号を発生する同期信号発生手段と、

前記補正同期信号を時間基準として前記復号化手段の復号化を制御する復号化制御手段と、

前記補正同期信号を時間基準として前記記憶手段に対する書込みを行うと共に、前記同期信号を時間基準として前記記憶手段に対する読出しを行って前記インターレース構成の映像信号を得る書込み読出し制御手段とを具備したことを特徴とするレターボックス変換装置。

1 3 . 前記同期信号発生手段は、表示垂直オフセット処理及び走査線数変換処理の少なくとも一方に基づく所定位相だけ同期信号を進相また遅相させることを特徴とする請求項 1 1又は 1 2のいずれか一方に記載のレターボックス変換装置。