JP3575179B2 - 画像の２次元空間変換装置 - Google Patents
画像の２次元空間変換装置 Download PDFInfo
- Publication number
- JP3575179B2 JP3575179B2 JP23061896A JP23061896A JP3575179B2 JP 3575179 B2 JP3575179 B2 JP 3575179B2 JP 23061896 A JP23061896 A JP 23061896A JP 23061896 A JP23061896 A JP 23061896A JP 3575179 B2 JP3575179 B2 JP 3575179B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- storage unit
- vertical
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、原画像を２次元変換して特殊効果画像等を得るための画像の２次元空間変換装置に関し、特に２次元空間上の第１軸方向への変換処理とこれと直交する第２軸方向への変換処理とを分割して実行する２パス方式の画像の２次元空間変換方法及び装置に関する。
【０００２】
【従来の技術】
コンピュータグラフィックスや映像編集システム等では、原画像を２次元空間において座標変換して遠近効果（Ｐｅｒｓｐｅｃｔｉｖｅ）やその他の特殊効果を得ることが頻繁に行われる。このような空間変換は、基本的には下記数１で示す座標変換処理である。
【０００３】
【数１】
【０００４】
ここで、ｕ，ｖは変換前の原画像の２次元座標値、ｘ，ｙは変換後の画像の２次元座標値、Ｍは変換マトリクスである。実際の映像変換では、出力画素（ｘ，ｙ）に対する入力画素位置（ｕ，ｖ）を求めるという処理が実行されるので、
【０００５】
【数２】
【０００６】
で与えられた変換マトリクスを解いて、各出力画素に対する入力画素位置（ｘ，ｙ）を順次求めていけばよい。しかし、この方法は計算が複雑であるために実時間処理が困難であるという問題がある。また、この方法は、縮小変換時のサブサンプリングにより生じる折り返し歪みを除去するためのフィルタとして２次元フィルタを必要とするため、構成が複雑化するという問題もある。
そこで、上述した２次元変換を直交した２つの変換に分離して処理時間を短縮するようにした、いわゆる２パス方式が提案されている（例えばＵＳＰ４４６３３７２等）。この方式を以下に説明する。
いま、［ｘ，ｙ］が下記数３のように定義できるものとする。
【０００７】
【数３】
【０００８】
これを以下のようにｘ，ｙ方向にそれぞれ独立に変換するための２つのパスに分解し、順次計算する。
【０００９】
【数４】
【００１０】
これを数１に当てはめると、各パスでｘ，ｙは下記数５のように求められる。
【００１１】
【数５】
【００１２】
このような２パス方式の画像の２次元空間変換装置の構成例を図１６に示す。原画像の映像信号がＶｉｄｅｏ Ｉｎ端子から入力されると、この映像信号は、同期アドレス発生器５４からの書き込みアドレスＷＡ０に従ってダブルバッファ構成の画像メモリ５１の一方のバンクに通常の走査順序でリアルタイムで書き込まれる。このとき画像メモリ５１の他方のバンクには、前フィールド（又はフレーム）の画像が記憶されている。この原画像は、第１パス用のアドレス発生器５５の読み出しアドレスＲＡ１に従って読み出され、シーケンシャルスキャン発生器５６からの書き込みアドレスＷＡ１に従って同じくダブルバッファ構成の画像メモリ５２の一方のバンクに通常の走査順序でシーケンシャルに書き込まれる。同時に画像メモリ５２の他方のバンクに格納されている前フィールド（又はフレーム）の第１パス終了後の中間画像が、第２パス用のアドレス発生器５７の読み出しアドレスＲＡ２に従って読み出され、シーケンシャルスキャン発生器５８からの書き込みアドレスＷＡ２に従って出力バッファ５３に書き込まれる。出力バッファ５３もダブルバッファ構成となっており、出力側バンクから変換画像がリアルタイムで連続的に読み出され、Ｖｉｄｅｏ Ｏｕｔ端子から出力される。画像メモリ５１，５２及び出力バッファ５３の各バンクは、このようにフィールド又はフレーム毎に切り換えられ、リアルタイムで同様の処理が繰り返される。アドレス発生器５５，５７は、数５に示したような演算処理によって読出アドレスＲＡ１，ＲＡ２を順次生成する。
【００１３】
【発明が解決しようとする課題】
しかし、上述した従来の２パス方式の２次元画像変換方式では、次のような問題がある。
即ち、画像メモリとしては、通常、ＤＲＡＭが使用されるが、ＤＲＡＭを使用した場合、垂直変換時は１ピクセル毎にロウアドレスを切り換える必要があるため、１ピクセル毎にＲＡＳ（Ｒｏｗ Ａｄｄｒｅｓｓ Ｓｔｒｏｂｅ）サイクルが必要になる。このため、垂直方向変換のためのアクセスに多大な時間がかかり、大画素数の高精細な画像処理が不可能であるという問題がある。
【００１４】
そこで、画像メモリにＳＲＡＭを使用することも考えられるが、ＳＲＡＭはＤＲＡＭに比べて高価であるため、上述した装置のように、画像メモリを４フレーム分記憶するような装置では、装置全体がコストアップになってしまうという問題がある。
【００１５】
この発明は、このような問題点に鑑みなされたもので、装置のコストアップを抑え、且つ高速処理が可能な画像の２次元空間変換装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
この発明による画像の２次元空間変換装置は、原画像の２次元空間上への変換処理を前記２次元空間上の水平方向及び垂直方向のうちのいずれか一方の方向の変換処理と他方の方向の変換処理とに分割しこれらを順次実行する画像の２次元空間変換装置において、原画像を記憶すると共に水平方向にアクセスされる第１の画像記憶手段と、この第１の画像記憶手段から転送されたデータを記憶すると共に前記垂直方向の変換処理のためにアクセスされる第２の画像記憶手段とを備え、前記第１の画像記憶手段が、水平方向に高速ページモードでアクセスされるＤＲＡＭからなり、前記第２の画像記憶手段が、少なくとも垂直方向の変換処理の前後の画像情報を記憶するＳＲＡＭからなるものであることを特徴とする。
【００１７】
この発明によれば、水平方向の変換処理と垂直方向の変換処理の過程で、水平方向にアクセスされる部分、即ち原画像を記憶すると共に、場合によっては水平変換の読み出しアドレスが与えられる第１の画像記憶手段にＤＲＡＭを使用しているので、ＤＲＡＭの水平方向の高速ページモードにより、高速なアクセスが実現される。そして、垂直変換のためにアクセスされる第２の画像記憶手段には、ＳＲＡＭが使用されているので、垂直パスの変換処理も高速に行うことができる。そして、この発明によれば、全使用メモリの一部にのみＳＲＡＭが使用されているのだけであるため、装置全体のコストアップを防止することができる。
【００１８】
なお、第２の画像記憶手段（ＳＲＡＭ）を使用して垂直方向の変換処理を実行する際、垂直方向の変換処理前の各画像情報のアドレスを変換処理後の各画像情報のアドレスよりも所定値だけ大きくしてオフセットを設けることにより、変換処理後の画像情報の書き込み時に未変換の画像情報に上書きされるのを防止することができ、同時にＳＲＡＭを変換前後で共用することができるので、更にコストアップを防止することができる。
【００１９】
第１の画像記憶手段（ＤＲＡＭ）として３つの記憶部を備えるようにすると共に、これら３つの記憶部のうち、順次供給される原画像が入力される第１の記憶部と、前記第１の記憶部に格納された原画像の変換処理により得られた変換画像を格納する第２の記憶部と、前記変換画像を外部に出力するための第３の記憶部とをフレーム又はフィールド毎に切換手段によって切り換えるように構成すれば、より少ないメモリ数でリアルタイムの処理が可能になる。
【００２０】
その際、前記第１の記憶部への原画像の格納処理と、前記第２の記憶部に変換結果が格納される変換処理と、前記第３の記憶部からの変換画像の出力とは、同一のフレーム又はフィールドサイクル内で並列実行することができ、前記変換処理を、前記第２の記憶部からの画像情報の水平方向の読出動作と前記第２の画像記憶手段への画像データの水平方向の書込動作とにより実行される水平方向の変換処理と、前記第２の画像記憶手段からの画像情報の垂直方向の読出動作と前記第２の画像記憶手段への画像データの垂直方向の書込動作とにより実行される垂直方向の変換処理と、前記第２の画像記憶手段へ格納された変換画像を水平方向に読み出して前記第２の記憶部に書き込む書込処理とから構成することにより、効果的な処理が実現できる。
【００２１】
【発明の実施の形態】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。
まず、この発明の実施例に係る画像の２次元空間変換装置を説明するに先立ち、好ましい２パス方式の変換処理の一例を説明する。
図１は、原画像のコーナ位置を２次元空間上の任意の位置に移動させることにより、原画像を変形するバイリニア変換（Ｂｉｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）処理の例である。いま、図１（ａ）に示すようなＡＢＣＤをコーナとする原画像１を、同図（ｂ）に示すように、Ａ′Ｂ′Ｃ′Ｄ′をコーナとするように変形させて変換画像２を得る場合、変換に際して与えられる情報は、変換後の各コーナＡ′Ｂ′Ｃ′Ｄ′の座標値（ｘａ，ｙａ），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ）である。これら座標値に基づいて、図１（ｃ）から（ｄ）のように、第１軸（水平ｈ軸）方向への変換処理（第１パス）と、図１（ｄ）から（ｅ）のように、第２軸（垂直ｖ軸）方向への変換処理（第２パス）とが分割されて順次実行される。
【００２２】
（１）第１パス
第１パスでは、まずＡＢＣＤをコーナとする原画像１をｈ軸方向にのみ変形させる。いま、原画像１の水平方向長さをｌＨ、垂直方向長さをｌＶとすると、水平方向の各ラインにおいて、原画像１に対応する画素の描画が開始される位置を示すオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）と原画像１の水平方向の幅と中間画像３の水平方向の幅との比である縮小率ｒ＿ｈ（ｖ）とは、下記数６のように表すことができる。
【００２３】
【数６】
【００２４】
なお、数６においてｌｈ（ｖ），ｌｔ，ｌｂは、それぞれｖ、上端、下端における中間画像３の幅である。
このようなオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）及び縮小率ｒ＿ｈ（ｖ）を各ｖについて求め、表１のようにテーブル化しておく。
【００２５】
【表１】
【００２６】
画像の変換時には、読み出しアドレスＲＡと書き込みアドレスＷＡとを図２のような処理によってシーケンシャルに発生させることにより、第１パスの変換が実行される。即ち、垂直アドレスｖを０からｌＶ−１まで増加させながら（Ｓ１，Ｓ１０，Ｓ１１）、各垂直アドレスｖについて、水平アドレスｈを０からｌＨ−１まで増加させ（Ｓ２，Ｓ４，Ｓ８，Ｓ９）、ｈがオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）に達するまで（Ｓ５）、原画像を記憶した第１のメモリの読み出しアドレス［ｈ−ｏｆｆｓｅｔ＿ｈ（ｖ），ｖ］の画素データ（原画像１の範囲から横にはみ出した部分の画像データ）を読み出し、中間画像が格納される第２のメモリの書き込みアドレス［ｈ，ｖ］に読み出したデータを書き込む（Ｓ３）。この様子を示したのが図３である。水平アドレスｈがオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）に達したら（Ｓ５）、水平アドレスｈが１増加する毎に縮小率ｒ＿ｈ（ｖ）をｈｘに累積加算し（Ｓ６，Ｓ８）、読み出しアドレスを［ｈｘ，ｖ］とする（Ｓ７）。これにより、図３（ａ）に示すように、縮小率ｒ＿ｈ（ｖ）に応じた間隔で原画像が読み出され、同図（ｂ）に示すように、水平方向に縮小された中間画像が第２のメモリに格納されることになる。このように、第１パスでは、減算処理と累積加算処理のみで変換処理が実行される。
【００２７】
（２）第２パス
第２パスは、基本的には第１パスの水平・垂直方向を入れ替えたもので、第１パスで得られた中間画像３をｖ軸方向にのみ変形させる。但し、第２パスでは、第１パスの変換の補正をして変換パラメータを算出する必要がある。図１（ｅ）に示すように、変換後の２次元空間の水平方向の両端の辺に変換後の画像のＡ′Ｂ′線の交点のｙ座標ｙａ′，ｙｂ′と、Ｃ′Ｄ′線の交点のｙ座標ｙｃ′，ｙｄ′とを下記数７のように求める。
【００２８】
【数７】
【００２９】
ここで、ｌｌ′＝ｙｄ′−ｙａ′，ｌｒ′＝ｙｃ′−ｙｂ′とすると、垂直方向の各ラインのオフセット値ｏｆｆｓｅｔ＿ｖ（ｈ）と縮小率ｒ＿ｖ（ｈ）は、下記数８のように求められる。
【００３０】
【数８】
【００３１】
このようにしてオフセット値ｏｆｆｓｅｔ＿ｖ（ｈ）及び縮小率ｒ＿ｖ（ｈ）を各ｈについて求め、これについても、下記表２のようにテーブル化しておく。
また、変換処理についても、図４（ａ），（ｂ）に示すように、水平方向と垂直方向とを入れ替え、上記と同様に読み出しアドレス及び書き込みアドレスをシーケンシャルに発生させるだけでよい。
【００３２】
【表２】
【００３３】
図５は、以上の２パス変換方式を適用してこの発明を実現するための２次元空間変換装置の具体例を示すブロック図である。
この変換装置には、ＤＲＡＭからなる第１の画像メモリ１１と高速ＳＲＡＭからなる第２の画像メモリ１２とが設けられている。第１の画像メモリ１１は、３つの画像メモリ１１ａ，１１ｂ，１１ｃからなるトリプルバッファ構成となっている。これら画像メモリ１１ａ〜１１ｃの各データ端子は、スイッチ１３により、画像入力端子１４，画像出力端子１５及び変換バス１６にそれぞれフレーム又はフィールド毎に切り換えられて接続されるようになっている。画像メモリ１１には、同期アドレス発生器１７からの同期アドレスＷＡ０，ＲＡ３が供給されると共に、スイッチ１８を介して第１パス用のアドレス発生器１９からの読み出しアドレスＲＡ１が供給される。
【００３４】
一方、ＳＲＡＭからなる画像メモリ１２には、画像メモリ１１からスイッチ１３、変換バス１６及びスイッチ２０を介して画像データがリード／ライトされる。画像メモリ１２には、第１パス用のシーケンシャルスキャン発生器２１からの書込アドレスＷＡ１がスイッチ２２を介して与えられる。また、第２パス用のアドレス発生器２３からの読み出しアドレスＲＡ２及びシーケンシャルスキャン発生器２４からの書込アドレスＷＡ２は、スイッチ２５で画素毎に交互に選択され、スイッチ２６を介して画像メモリ１２に与えられる。データレジスタ２７は、画像メモリ１２を使用した第２パスの変換時に画像メモリ１２から読み出した画素データを一時的に記憶するものである。ＣＰＵ２８は、アドレス発生器１９，２３のアドレス生成時に使用される変換パラメータを演算し、映像信号の垂直同期パルスによりインタラプトされて変換パラメータをバス２９を介してＲＡＭに変換テーブル３０として格納する。但し、この実施例では、読み出しアドレスＲＡ１，ＲＡ２の生成を容易にするため、前述したオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ），ｏｆｆｓｅｔ＿ｖ（ｈ）にそれぞれ縮小率ｒ＿ｈ（ｖ），ｒ＿ｖ（ｈ）を掛けた値をオフセット値ｏｆｆｓｅｔ’＿ｈ（ｖ），ｏｆｆｓｅｔ’＿ｖ（ｈ）として用いている。従って、表１及び表２の変換パラメータに対して、変換テーブル３０に格納される変換パラメータは、表３のようになる。
【００３５】
【表３】
【００３６】
図６は、第１パス用のアドレス発生器１９及びシーケンシャルスキャン発生器２１の構成例を示す図である。
シーケンシャルスキャン発生器２１は、基準クロック信号Ｃｌｏｃｋをカウントして水平書き込みアドレスＷＡ１＿ｈを発生させる水平カウンタ３１と、水平同期パルスＨ−ｐｕｌｓｅをカウントして垂直書き込みアドレスＷＡ１＿ｖを発生させる垂直カウンタ３２とを備えて構成されている。水平カウンタ３１及び垂直カウンタ３２は、それぞれ水平同期パルスＨ−ｐｕｌｓｅ及び垂直同期パルスＶ−ｐｕｌｓｅによってリセットされる。また、シーケンシャルスキャン発生器２１は、垂直書き込みアドレスＷＡ１＿ｖを変換テーブル３０のアドレスｖとして出力する。変換テーブル３０からは、アドレスｖに対応したオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）と縮小率ｒ＿ｈ（ｖ）とがアドレス発生器１９に供給される。
【００３７】
アドレス発生器１９では、変換テーブル３０から読み出されたオフセット値ｏｆｆｓｅｔ’＿ｈ（ｖ）が減算器３３の負入力に供給される。また、ラッチ回路３４と加算器３５とは累積加算器を構成し、水平同期パルスＨ−ｐｕｌｓｅによってリセットされたのち、変換テーブル３０から読み出された縮小率ｒ＿ｈ（ｖ）を基準クロックに従って累積加算する。その累積加算値が減算器３３の正入力に供給される。減算器３３は、縮小率ｒ＿ｈ（ｖ）の累積加算値からオフセット値ｏｆｆｓｅｔ’＿ｈ（ｖ）を減算した値を水平読み出しアドレスＲＡ１＿ｈとして出力する。但し、減算器３３の出力は、図３に示したように、負の値から原画像１を超えるアドレスまでを出力するので、何らかのリミット処理を行う必要がある。
【００３８】
一方、図７に示すように、上記の変換処理により原画像が縮小された場合、出力画像に原画像１の範囲以外の領域を示すボーダエリアが現れる。映像編集装置等で映像ミキシングを行う場合、ボーダエリアに特定のエリア色を埋め込み、このエリア色を合成のためのキー信号として利用することが頻繁に行われる。このキー信号としては、通常、クロマキーが用いられる。そこで、本装置の変換においても、ボーダエリアを検出してクロマキーをボーダに埋め込むことができれば、映像ミキシングを行う上で極めて便利である。この装置では、減算器３３の出力が、例えば“０”未満及び“ｌＨ”以上であることでボーダエリアを容易に検出することができる。そこで、図８に示すように、画像メモリ１１の特定のアドレスＡＭＡで特定される記憶領域に予めエリア色データ（クロマ色データ）を記録しておき、ボーダエリアを検出したときの書き込みアドレスＷＡ１をエリア色データが記憶されている画像メモリ１１のアドレスに切り換えることで、図７に示すようにボーダエリアにエリア色データを埋め込むことができる。
【００３９】
図６のアドレス発生器１９では、減算器３３の出力がボーダエリア検出器３６に入力され、ここで０〜ｌＨ−１の範囲内であるかどうかが判定される。上記の範囲内と判定された場合には、スイッチ３７，３８をそれぞれ減算器３３の出力及び垂直カウンタ３２の出力に接続し、これらをそれぞれ水平読み出しアドレスＲＡ１＿ｈ及び垂直読み出しアドレスＲＡ１＿ｖとして出力する。減算器３３の出力が０〜ｌＨ−１の範囲外である場合には、スイッチ３７，３８をエリア色メモリアドレス記憶部３９の出力に接続し、予めボーダエリアに埋め込むエリア色が記憶されている画像メモリ１１のアドレスＡＭＡを読み出しアドレスＲＡ１＿ｈ，ＲＡ１＿ｖとして出力する。
このように、画像メモリ１１のアドレスを切り換える方式とすれば、画像データのパスに直接クロマキーの切換回路を付加する方式に比べ、本装置をＬＳＩ化した場合の画像データの入出力ピン数の増加を防止することができ、ＬＳＩパッケージのコストを低減することができる。
【００４０】
以上のアドレス変換処理により、図３（ａ）に示すように、画像メモリ１１の原画像１の記憶領域に読み出しアドレスが達するまでは、エリア色データが埋め込まれ、原画像１の記憶領域に読み出しアドレスが達した後は、縮小率ｒ＿ｈ（ｖ）の間隔で画像データが読み出され、画像メモリ１２に書き込まれる際は、標準間隔で書き込まれるので、図３（ｂ）に示すように、原画像１をオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）だけずれた位置から水平方向に縮小率ｒ＿ｈ（ｖ）で規定される割合だけ縮小した中間画像３が得られる。
【００４１】
第２パス用のアドレス発生器２３及びシーケンシャルスキャン発生器２４も、基本的にはこれと同様の構成となっているが、第２パスでは垂直方向のスキャンを行うため、図９に示すように、シーケンシャルスキャン発生器２４は、基準クロックＣｌｏｃｋを垂直カウンタ４１に入力して垂直書き込みアドレスＷＡ２＿ｖを発生させ、垂直カウンタ４１のキャリー信号Ｃａｒｒｙを水平カウンタ４２に入力して水平書き込みアドレスＷＡ２＿ｈを発生させるようにしている。そして、アドレス発生器２３は、加算器４４及びラッチ回路４５からなる累積加算器で縮小率ｒ＿ｖ（ｈ）を累積加算した値から、オフセット値ｏｆｆｓｅｔ’＿ｖ（ｈ）を減算器４３によって減算し、その出力に基づいてボーダエリア検出器４６でボーダエリアを検出する。その検出結果に応じてスイッチ４７，４８を切り換え、ボーダエリアではエリア色メモリアドレス記憶部４９の出力を読み出しアドレスＲＡ２＿ｈ，ＲＡ２＿ｖとして出力し、ボーダエリア外では減算器４３の出力を読み出しアドレスＲＡ２＿ｈ，ＲＡ２＿ｖとして出力する。
これにより、図４に示すように、中間画像３から垂直方向にオフセット及び縮小された変換画像２を得ることができる。
【００４２】
なお、上記実施例では、オフセット値ｏｆｆｓｅｔ＿ｈ（ｖ），ｏｆｆｓｅｔ＿ｖ（ｈ）にそれぞれｒ＿ｈ（ｖ），ｒ＿ｖ（ｈ）を掛けた値をオフセット値ｏｆｆｓｅｔ’＿ｈ（ｖ），ｏｆｆｓｅｔ’＿ｖ（ｈ）として用い、スキャンの最初から縮小率の累積加算値を求め、この累積加算値からオフセット値を減算するようにしたが、表１又は表２のオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ），ｏｆｆｓｅｔ＿ｖ（ｈ）をそのまま使用し、書き込みアドレスＷＡ１＿ｈ，ＷＡ２＿ｖがオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ），ｏｆｆｓｅｔ＿ｖ（ｈ）にそれぞれ達するまで縮小率ｒ＿ｈ（ｖ），ｒ＿ｖ（ｈ）の累積加算及びその出力を行わず、オフセット値に達したらスイッチを切り換えて縮小率ｒ＿ｈ（ｖ），ｒ＿ｖ（ｈ）の累積加算を開始するように構成することもできる。この場合のアドレス発生器１９の構成例を図１０に示す。
【００４３】
アドレス発生器１９は、表１のような変換パラメータが格納された変換テーブル３０から読み出されたオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）を減算器３３に供給し、水平書き込みアドレスＷＡ１＿ｈから減算して水平読み出しアドレスＲＡ１＿ｈを生成する。また、垂直読み出しアドレスＲＡ１＿ｖとして垂直書き込みアドレスＷＡ１＿ｖをそのまま出力する。これにより、図３（ａ）に示すように、画像メモリ１１に格納された原画像１の左側にはみ出した部分から画像データの読み出しが実行される。このとき、エリア色メモリアドレスが読み出しアドレスＲＡ１＿ｈ，ＲＡ１＿ｖとして出力されるのは上記と同様である。水平読み出しアドレスＲＡ１＿ｈが原画像１の部分に差し掛かると、減算器３３の出力は負の値から正の値に切り替わる。アドレス発生器１９は、減算器３３の出力のサインビットＳｉｇｎによりスイッチ５０を切り換える。同時にＡＮＤゲート４０がアクティブになり、基準クロックＣｌｏｃｋがラッチ回路３５に入力される。以後、累積加算値が水平読み出しアドレスＲＡ１＿ｈとして出力されることになる。
【００４４】
次に、このように構成された画像の２次元空間変換装置の動作について説明する。
図１１は各フレームサイクルでのスイッチ１３の状態を示す図、図１２はこれに対応したタイミングチャートである。
サイクルＴ１では、図１１（ａ）に示すように、画像入力端子１４と画像メモリ１１ａ、画像出力端子１５と画像メモリ１１ｃ、変換バス１６と画像メモリ１１ｂとがそれぞれ接続される。これにより、画像メモリ１１ａには原画像が入力され（画像入力サイクル）、画像メモリ１１ｂは画像メモリ１２との間で変換処理のため１フレーム前に格納された画像データのリード／ライトを行い（画像変換サイクル）、画像メモリ１１ｃは１フレーム前に格納された変換画像を外部に出力する（画像出力サイクル）。
【００４５】
サイクルＴ２では、図１１（ｂ）に示すように、画像入力端子１４と画像メモリ１１ｃ、画像出力端子１５と画像メモリ１１ｂ、変換バス１６と画像メモリ１１ａとがそれぞれ接続される。これにより、画像メモリ１１ａは変換サイクル、画像メモリ１１ｂは画像出力サイクル、画像メモリ１１ｃは画像入力サイクルとなる。
サイクルＴ３では、図１１（ｃ）に示すように、画像入力端子１４と画像メモリ１１ｂ、画像出力端子１５と画像メモリ１１ａ、変換バス１６と画像メモリ１１ｃとがそれぞれ接続される。これにより、画像メモリ１１ａは画像出力サイクル、画像メモリ１１ｂは画像入力サイクル、画像メモリ１１ｃは変換サイクルとなる。
このように、この装置では、入出力はリアルタイムＴＶスキャンタイミングで映像データを入出力するのに対し、画像変換は別のフレームタイミングで処理されるため、入出力部にバッファを設けているが、入出力用のバッファを従来のようにそれぞれダブルバッファ構成とするのではなく、入出力バッファ用と変換用とでトリプルバッファを構成し、同一のサイクルで画像入力、画像出力、変換処理を並列に実行しているので、画像メモリを削減することができる。
【００４６】
ここでフレームサイクルＴ１〜Ｔ３における画像メモリ１１ａに着目すると、その処理は、次のようになる。
まず、サイクルＴ１で画像メモリ１１ａに原画像が入力される。次にスイッチ１３が切り換えられ、変換サイクルＴ２に入る。
図１３は変換サイクルの各部の画像データの流れを示す図、図１４はこれに対応した変換処理のタイミングチャートである。
変換サイクルは、図１３に示すように、ＳＲＡＭへの書き込みによる第１パスの変換処理（水平変換）ｔ１、第２パスの変換処理（垂直変換）ｔ２、及び変換画像のＤＲＡＭへの書込処理ｔ３の３つの処理により構成される。
まず、第１パスの変換処理ｔ１では、画像メモリ１１ａから画像メモリ１２へ第１パスの変換（水平変換）に従って画像データが転送される。即ち図１３（ａ）に示すように、スイッチ２０，２６が共にａ側に接続され、画像メモリ１１ａには第１パス用のアドレス発生器１９から読み出しアドレスＲＡ１が与えられ、画像メモリ１２にはシーケンシャルスキャン発生器２１から書込アドレスＷＡ１が与えられる。これにより、画像メモリ１１ａからは変換アドレスの画像データが読み出され、画像メモリ１２にスキャン順に格納される。この処理は、水平方向の処理であるため、ＤＲＡＭからなる画像メモリ１１ａからは、高速ページモードで画像データが読み出される。ＥＤＯ（Ｅｘｔｅｎｄ Ｄａｔａ Ｏｕｔｐｕｔ）タイプのＤＲＡＭでは、２０ｎｓｅｃ程度のサイクルでデータの読み出しが可能であるため、この処理は、実時間の１／４程度で終了することができる。
【００４７】
第２パスの変換処理ｔ２では、図１３（ｂ）に示すように、スイッチ２０，２６が共にｂ側に接続される。第２パスでは、画像メモリ１２に格納された画像データのデータレジスタ２７への読み出しと、データレジスタ２７から画像メモリ１２へのデータ書込とにより、垂直変換処理を実行する。第２パス用のアドレス発生器２３からの読み出しアドレスＲＡ２と、シーケンシャルスキャン発生器２４からの書込アドレスＷＡ２とは、スイッチ２５によって交互に選択され、スイッチ２６を介して画像メモリ１２に与えられる。画像メモリ１２は、図１５に示すように、先頭の第１Ｒｏｗの記憶領域を空き領域にしておき、読み出しアドレスＲＡ２を書込アドレスＷＡ２に対して１アドレスだけ大きくする。これにより、テンポラルのロウバッファ等を使用しなくても、未処理データを破壊せずに画像メモリ１２に変換データをシーケンシャルに書き込むことができる。高速ＳＲＡＭは、２０ｎｓｅｃ程度のアクセスタイムを持ち、しかもＤＲＡＭのようにＲＡＳサイクルを必要としないので、垂直変換を伴う第２パスの処理も実時間の１／２程度で終了することができる。
【００４８】
変換画像のＤＲＡＭへの書込処理ｔ３では、図１３（ｃ）に示すように、スイッチ２０，２６が共にａ側に接続される。画像メモリ１２から画像メモリ１１ａへの変換画像の転送は、ｔ１と同様、高速ページモードによるＤＲＡＭへの書き込みにより、実時間の１／４程度の時間で終了する。
そして、フレーム（フィールド）タイミングでスイッチ１３が切り換えられ、画像メモリ１１ａに転送された変換画像が画像出力端子１５を介して外部に出力される。以下、同様の処理が他の画像メモリ１１ｂ，１１ｃについても繰り返される。
【００４９】
この実施例によれば、トリプルバッファ構成のＤＲＡＭ画像メモリと高速ＳＲＡＭ画像メモリ１個を用いるだけで、２パス方式の高精細の画像変換装置を実現することができる。
なお、以上の説明では、第１パスを水平方向の変換、第２パスを垂直方向の変換としたが、第１パスを垂直方向の変換、第２パスを水平方向の変換としても良い。この場合には、画像メモリ１１から画像メモリ１２へは変換処理をせずにそのまま高速ページモードでデータ転送を行い、画像メモリ１２で垂直変換を行った後、画像メモリ１２から画像メモリ１１へのデータ転送時に水平変換を行うようにすればよい。
また、上記実施例では、変換テーブルを使用して読み出しアドレスＲＡ１，ＲＡ２を発生させる例について説明したが、この発明は、２パス方式の変換装置でうあれば、個々の読み出しアドレスをマトリクス演算によって算出する方式においても適用可能であることはいうまでもない。
【００５０】
【発明の効果】
以上述べたように、この発明によれば、水平方向の変換処理と垂直方向の変換処理の過程で、水平方向にアクセスされる第１の画像記憶手段にＤＲＡＭを使用し、垂直方向にアクセスされる第２の画像記憶手段にＳＲＡＭを使用しているので、ＤＲＡＭの水平方向の高速ページモードのアクセスと、ＳＲＡＭの高速アクセスとにより、変換処理の高速化を図ることができ、同時に全使用メモリの一部にのみＳＲＡＭを使用しているので、装置全体のコストアップを防止することができるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施例の原理を説明するための図である。
【図２】同実施例の変換手順を示すフローチャートである。
【図３】同実施例の第１パスの変換処理を説明するための図である。
【図４】同実施例の第２パスの変換処理を説明するための図である。
【図５】この発明の一実施例に係る２次元空間変換装置の構成を示すブロック図である。
【図６】同装置における第１パス用アドレス発生器及びシーケンシャルスキャン発生器の詳細ブロック図である。
【図７】同アドレス発生器のボーダエリア処理を説明するための図である。
【図８】同ボーダエリア処理のためのエリア色データの記憶状態を説明するための図である。
【図９】同装置における第２パス用アドレス発生器及びシーケンシャルスキャン発生器の詳細ブロック図である。
【図１０】アドレス発生器及びシーケンシャルスキャン発生器の他の構成例を示すブロック図である。
【図１１】同装置におけるトリプルバッファの切換動作を説明するための図である。
【図１２】同装置の動作を示すタイミングチャートである。
【図１３】同装置の変換処理時の動作を説明するための図である。
【図１４】同変換処理時のタイミングチャートである。
【図１５】同装置における第２の画像メモリの上書き防止アクセスを説明するための図である。
【図１６】従来の２パス方式の２次元空間変換装置のブロック図である。
【符号の説明】
１…原画像、２…変換画像、３…中間画像、１１，１２，５１，５２…画像メモリ、１３，２０，２５，２６…スイッチ、１９，２３，５，５７…アドレス発生器、２１，２４，５６，５８…シーケンシャルスキャン発生器、２７…データレジスタ、２８…ＣＰＵ、３０…変換テーブル。
【発明の属する技術分野】
この発明は、原画像を２次元変換して特殊効果画像等を得るための画像の２次元空間変換装置に関し、特に２次元空間上の第１軸方向への変換処理とこれと直交する第２軸方向への変換処理とを分割して実行する２パス方式の画像の２次元空間変換方法及び装置に関する。
【０００２】
【従来の技術】
コンピュータグラフィックスや映像編集システム等では、原画像を２次元空間において座標変換して遠近効果（Ｐｅｒｓｐｅｃｔｉｖｅ）やその他の特殊効果を得ることが頻繁に行われる。このような空間変換は、基本的には下記数１で示す座標変換処理である。
【０００３】
【数１】
ここで、ｕ，ｖは変換前の原画像の２次元座標値、ｘ，ｙは変換後の画像の２次元座標値、Ｍは変換マトリクスである。実際の映像変換では、出力画素（ｘ，ｙ）に対する入力画素位置（ｕ，ｖ）を求めるという処理が実行されるので、
【０００５】
【数２】
で与えられた変換マトリクスを解いて、各出力画素に対する入力画素位置（ｘ，ｙ）を順次求めていけばよい。しかし、この方法は計算が複雑であるために実時間処理が困難であるという問題がある。また、この方法は、縮小変換時のサブサンプリングにより生じる折り返し歪みを除去するためのフィルタとして２次元フィルタを必要とするため、構成が複雑化するという問題もある。
そこで、上述した２次元変換を直交した２つの変換に分離して処理時間を短縮するようにした、いわゆる２パス方式が提案されている（例えばＵＳＰ４４６３３７２等）。この方式を以下に説明する。
いま、［ｘ，ｙ］が下記数３のように定義できるものとする。
【０００７】
【数３】
これを以下のようにｘ，ｙ方向にそれぞれ独立に変換するための２つのパスに分解し、順次計算する。
【０００９】
【数４】
これを数１に当てはめると、各パスでｘ，ｙは下記数５のように求められる。
【００１１】
【数５】
このような２パス方式の画像の２次元空間変換装置の構成例を図１６に示す。原画像の映像信号がＶｉｄｅｏ Ｉｎ端子から入力されると、この映像信号は、同期アドレス発生器５４からの書き込みアドレスＷＡ０に従ってダブルバッファ構成の画像メモリ５１の一方のバンクに通常の走査順序でリアルタイムで書き込まれる。このとき画像メモリ５１の他方のバンクには、前フィールド（又はフレーム）の画像が記憶されている。この原画像は、第１パス用のアドレス発生器５５の読み出しアドレスＲＡ１に従って読み出され、シーケンシャルスキャン発生器５６からの書き込みアドレスＷＡ１に従って同じくダブルバッファ構成の画像メモリ５２の一方のバンクに通常の走査順序でシーケンシャルに書き込まれる。同時に画像メモリ５２の他方のバンクに格納されている前フィールド（又はフレーム）の第１パス終了後の中間画像が、第２パス用のアドレス発生器５７の読み出しアドレスＲＡ２に従って読み出され、シーケンシャルスキャン発生器５８からの書き込みアドレスＷＡ２に従って出力バッファ５３に書き込まれる。出力バッファ５３もダブルバッファ構成となっており、出力側バンクから変換画像がリアルタイムで連続的に読み出され、Ｖｉｄｅｏ Ｏｕｔ端子から出力される。画像メモリ５１，５２及び出力バッファ５３の各バンクは、このようにフィールド又はフレーム毎に切り換えられ、リアルタイムで同様の処理が繰り返される。アドレス発生器５５，５７は、数５に示したような演算処理によって読出アドレスＲＡ１，ＲＡ２を順次生成する。
【００１３】
【発明が解決しようとする課題】
しかし、上述した従来の２パス方式の２次元画像変換方式では、次のような問題がある。
即ち、画像メモリとしては、通常、ＤＲＡＭが使用されるが、ＤＲＡＭを使用した場合、垂直変換時は１ピクセル毎にロウアドレスを切り換える必要があるため、１ピクセル毎にＲＡＳ（Ｒｏｗ Ａｄｄｒｅｓｓ Ｓｔｒｏｂｅ）サイクルが必要になる。このため、垂直方向変換のためのアクセスに多大な時間がかかり、大画素数の高精細な画像処理が不可能であるという問題がある。
【００１４】
そこで、画像メモリにＳＲＡＭを使用することも考えられるが、ＳＲＡＭはＤＲＡＭに比べて高価であるため、上述した装置のように、画像メモリを４フレーム分記憶するような装置では、装置全体がコストアップになってしまうという問題がある。
【００１５】
この発明は、このような問題点に鑑みなされたもので、装置のコストアップを抑え、且つ高速処理が可能な画像の２次元空間変換装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
この発明による画像の２次元空間変換装置は、原画像の２次元空間上への変換処理を前記２次元空間上の水平方向及び垂直方向のうちのいずれか一方の方向の変換処理と他方の方向の変換処理とに分割しこれらを順次実行する画像の２次元空間変換装置において、原画像を記憶すると共に水平方向にアクセスされる第１の画像記憶手段と、この第１の画像記憶手段から転送されたデータを記憶すると共に前記垂直方向の変換処理のためにアクセスされる第２の画像記憶手段とを備え、前記第１の画像記憶手段が、水平方向に高速ページモードでアクセスされるＤＲＡＭからなり、前記第２の画像記憶手段が、少なくとも垂直方向の変換処理の前後の画像情報を記憶するＳＲＡＭからなるものであることを特徴とする。
【００１７】
この発明によれば、水平方向の変換処理と垂直方向の変換処理の過程で、水平方向にアクセスされる部分、即ち原画像を記憶すると共に、場合によっては水平変換の読み出しアドレスが与えられる第１の画像記憶手段にＤＲＡＭを使用しているので、ＤＲＡＭの水平方向の高速ページモードにより、高速なアクセスが実現される。そして、垂直変換のためにアクセスされる第２の画像記憶手段には、ＳＲＡＭが使用されているので、垂直パスの変換処理も高速に行うことができる。そして、この発明によれば、全使用メモリの一部にのみＳＲＡＭが使用されているのだけであるため、装置全体のコストアップを防止することができる。
【００１８】
なお、第２の画像記憶手段（ＳＲＡＭ）を使用して垂直方向の変換処理を実行する際、垂直方向の変換処理前の各画像情報のアドレスを変換処理後の各画像情報のアドレスよりも所定値だけ大きくしてオフセットを設けることにより、変換処理後の画像情報の書き込み時に未変換の画像情報に上書きされるのを防止することができ、同時にＳＲＡＭを変換前後で共用することができるので、更にコストアップを防止することができる。
【００１９】
第１の画像記憶手段（ＤＲＡＭ）として３つの記憶部を備えるようにすると共に、これら３つの記憶部のうち、順次供給される原画像が入力される第１の記憶部と、前記第１の記憶部に格納された原画像の変換処理により得られた変換画像を格納する第２の記憶部と、前記変換画像を外部に出力するための第３の記憶部とをフレーム又はフィールド毎に切換手段によって切り換えるように構成すれば、より少ないメモリ数でリアルタイムの処理が可能になる。
【００２０】
その際、前記第１の記憶部への原画像の格納処理と、前記第２の記憶部に変換結果が格納される変換処理と、前記第３の記憶部からの変換画像の出力とは、同一のフレーム又はフィールドサイクル内で並列実行することができ、前記変換処理を、前記第２の記憶部からの画像情報の水平方向の読出動作と前記第２の画像記憶手段への画像データの水平方向の書込動作とにより実行される水平方向の変換処理と、前記第２の画像記憶手段からの画像情報の垂直方向の読出動作と前記第２の画像記憶手段への画像データの垂直方向の書込動作とにより実行される垂直方向の変換処理と、前記第２の画像記憶手段へ格納された変換画像を水平方向に読み出して前記第２の記憶部に書き込む書込処理とから構成することにより、効果的な処理が実現できる。
【００２１】
【発明の実施の形態】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。
まず、この発明の実施例に係る画像の２次元空間変換装置を説明するに先立ち、好ましい２パス方式の変換処理の一例を説明する。
図１は、原画像のコーナ位置を２次元空間上の任意の位置に移動させることにより、原画像を変形するバイリニア変換（Ｂｉｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）処理の例である。いま、図１（ａ）に示すようなＡＢＣＤをコーナとする原画像１を、同図（ｂ）に示すように、Ａ′Ｂ′Ｃ′Ｄ′をコーナとするように変形させて変換画像２を得る場合、変換に際して与えられる情報は、変換後の各コーナＡ′Ｂ′Ｃ′Ｄ′の座標値（ｘａ，ｙａ），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ）である。これら座標値に基づいて、図１（ｃ）から（ｄ）のように、第１軸（水平ｈ軸）方向への変換処理（第１パス）と、図１（ｄ）から（ｅ）のように、第２軸（垂直ｖ軸）方向への変換処理（第２パス）とが分割されて順次実行される。
【００２２】
（１）第１パス
第１パスでは、まずＡＢＣＤをコーナとする原画像１をｈ軸方向にのみ変形させる。いま、原画像１の水平方向長さをｌＨ、垂直方向長さをｌＶとすると、水平方向の各ラインにおいて、原画像１に対応する画素の描画が開始される位置を示すオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）と原画像１の水平方向の幅と中間画像３の水平方向の幅との比である縮小率ｒ＿ｈ（ｖ）とは、下記数６のように表すことができる。
【００２３】
【数６】
なお、数６においてｌｈ（ｖ），ｌｔ，ｌｂは、それぞれｖ、上端、下端における中間画像３の幅である。
このようなオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）及び縮小率ｒ＿ｈ（ｖ）を各ｖについて求め、表１のようにテーブル化しておく。
【００２５】
【表１】
画像の変換時には、読み出しアドレスＲＡと書き込みアドレスＷＡとを図２のような処理によってシーケンシャルに発生させることにより、第１パスの変換が実行される。即ち、垂直アドレスｖを０からｌＶ−１まで増加させながら（Ｓ１，Ｓ１０，Ｓ１１）、各垂直アドレスｖについて、水平アドレスｈを０からｌＨ−１まで増加させ（Ｓ２，Ｓ４，Ｓ８，Ｓ９）、ｈがオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）に達するまで（Ｓ５）、原画像を記憶した第１のメモリの読み出しアドレス［ｈ−ｏｆｆｓｅｔ＿ｈ（ｖ），ｖ］の画素データ（原画像１の範囲から横にはみ出した部分の画像データ）を読み出し、中間画像が格納される第２のメモリの書き込みアドレス［ｈ，ｖ］に読み出したデータを書き込む（Ｓ３）。この様子を示したのが図３である。水平アドレスｈがオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）に達したら（Ｓ５）、水平アドレスｈが１増加する毎に縮小率ｒ＿ｈ（ｖ）をｈｘに累積加算し（Ｓ６，Ｓ８）、読み出しアドレスを［ｈｘ，ｖ］とする（Ｓ７）。これにより、図３（ａ）に示すように、縮小率ｒ＿ｈ（ｖ）に応じた間隔で原画像が読み出され、同図（ｂ）に示すように、水平方向に縮小された中間画像が第２のメモリに格納されることになる。このように、第１パスでは、減算処理と累積加算処理のみで変換処理が実行される。
【００２７】
（２）第２パス
第２パスは、基本的には第１パスの水平・垂直方向を入れ替えたもので、第１パスで得られた中間画像３をｖ軸方向にのみ変形させる。但し、第２パスでは、第１パスの変換の補正をして変換パラメータを算出する必要がある。図１（ｅ）に示すように、変換後の２次元空間の水平方向の両端の辺に変換後の画像のＡ′Ｂ′線の交点のｙ座標ｙａ′，ｙｂ′と、Ｃ′Ｄ′線の交点のｙ座標ｙｃ′，ｙｄ′とを下記数７のように求める。
【００２８】
【数７】
ここで、ｌｌ′＝ｙｄ′−ｙａ′，ｌｒ′＝ｙｃ′−ｙｂ′とすると、垂直方向の各ラインのオフセット値ｏｆｆｓｅｔ＿ｖ（ｈ）と縮小率ｒ＿ｖ（ｈ）は、下記数８のように求められる。
【００３０】
【数８】
このようにしてオフセット値ｏｆｆｓｅｔ＿ｖ（ｈ）及び縮小率ｒ＿ｖ（ｈ）を各ｈについて求め、これについても、下記表２のようにテーブル化しておく。
また、変換処理についても、図４（ａ），（ｂ）に示すように、水平方向と垂直方向とを入れ替え、上記と同様に読み出しアドレス及び書き込みアドレスをシーケンシャルに発生させるだけでよい。
【００３２】
【表２】
図５は、以上の２パス変換方式を適用してこの発明を実現するための２次元空間変換装置の具体例を示すブロック図である。
この変換装置には、ＤＲＡＭからなる第１の画像メモリ１１と高速ＳＲＡＭからなる第２の画像メモリ１２とが設けられている。第１の画像メモリ１１は、３つの画像メモリ１１ａ，１１ｂ，１１ｃからなるトリプルバッファ構成となっている。これら画像メモリ１１ａ〜１１ｃの各データ端子は、スイッチ１３により、画像入力端子１４，画像出力端子１５及び変換バス１６にそれぞれフレーム又はフィールド毎に切り換えられて接続されるようになっている。画像メモリ１１には、同期アドレス発生器１７からの同期アドレスＷＡ０，ＲＡ３が供給されると共に、スイッチ１８を介して第１パス用のアドレス発生器１９からの読み出しアドレスＲＡ１が供給される。
【００３４】
一方、ＳＲＡＭからなる画像メモリ１２には、画像メモリ１１からスイッチ１３、変換バス１６及びスイッチ２０を介して画像データがリード／ライトされる。画像メモリ１２には、第１パス用のシーケンシャルスキャン発生器２１からの書込アドレスＷＡ１がスイッチ２２を介して与えられる。また、第２パス用のアドレス発生器２３からの読み出しアドレスＲＡ２及びシーケンシャルスキャン発生器２４からの書込アドレスＷＡ２は、スイッチ２５で画素毎に交互に選択され、スイッチ２６を介して画像メモリ１２に与えられる。データレジスタ２７は、画像メモリ１２を使用した第２パスの変換時に画像メモリ１２から読み出した画素データを一時的に記憶するものである。ＣＰＵ２８は、アドレス発生器１９，２３のアドレス生成時に使用される変換パラメータを演算し、映像信号の垂直同期パルスによりインタラプトされて変換パラメータをバス２９を介してＲＡＭに変換テーブル３０として格納する。但し、この実施例では、読み出しアドレスＲＡ１，ＲＡ２の生成を容易にするため、前述したオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ），ｏｆｆｓｅｔ＿ｖ（ｈ）にそれぞれ縮小率ｒ＿ｈ（ｖ），ｒ＿ｖ（ｈ）を掛けた値をオフセット値ｏｆｆｓｅｔ’＿ｈ（ｖ），ｏｆｆｓｅｔ’＿ｖ（ｈ）として用いている。従って、表１及び表２の変換パラメータに対して、変換テーブル３０に格納される変換パラメータは、表３のようになる。
【００３５】
【表３】
図６は、第１パス用のアドレス発生器１９及びシーケンシャルスキャン発生器２１の構成例を示す図である。
シーケンシャルスキャン発生器２１は、基準クロック信号Ｃｌｏｃｋをカウントして水平書き込みアドレスＷＡ１＿ｈを発生させる水平カウンタ３１と、水平同期パルスＨ−ｐｕｌｓｅをカウントして垂直書き込みアドレスＷＡ１＿ｖを発生させる垂直カウンタ３２とを備えて構成されている。水平カウンタ３１及び垂直カウンタ３２は、それぞれ水平同期パルスＨ−ｐｕｌｓｅ及び垂直同期パルスＶ−ｐｕｌｓｅによってリセットされる。また、シーケンシャルスキャン発生器２１は、垂直書き込みアドレスＷＡ１＿ｖを変換テーブル３０のアドレスｖとして出力する。変換テーブル３０からは、アドレスｖに対応したオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）と縮小率ｒ＿ｈ（ｖ）とがアドレス発生器１９に供給される。
【００３７】
アドレス発生器１９では、変換テーブル３０から読み出されたオフセット値ｏｆｆｓｅｔ’＿ｈ（ｖ）が減算器３３の負入力に供給される。また、ラッチ回路３４と加算器３５とは累積加算器を構成し、水平同期パルスＨ−ｐｕｌｓｅによってリセットされたのち、変換テーブル３０から読み出された縮小率ｒ＿ｈ（ｖ）を基準クロックに従って累積加算する。その累積加算値が減算器３３の正入力に供給される。減算器３３は、縮小率ｒ＿ｈ（ｖ）の累積加算値からオフセット値ｏｆｆｓｅｔ’＿ｈ（ｖ）を減算した値を水平読み出しアドレスＲＡ１＿ｈとして出力する。但し、減算器３３の出力は、図３に示したように、負の値から原画像１を超えるアドレスまでを出力するので、何らかのリミット処理を行う必要がある。
【００３８】
一方、図７に示すように、上記の変換処理により原画像が縮小された場合、出力画像に原画像１の範囲以外の領域を示すボーダエリアが現れる。映像編集装置等で映像ミキシングを行う場合、ボーダエリアに特定のエリア色を埋め込み、このエリア色を合成のためのキー信号として利用することが頻繁に行われる。このキー信号としては、通常、クロマキーが用いられる。そこで、本装置の変換においても、ボーダエリアを検出してクロマキーをボーダに埋め込むことができれば、映像ミキシングを行う上で極めて便利である。この装置では、減算器３３の出力が、例えば“０”未満及び“ｌＨ”以上であることでボーダエリアを容易に検出することができる。そこで、図８に示すように、画像メモリ１１の特定のアドレスＡＭＡで特定される記憶領域に予めエリア色データ（クロマ色データ）を記録しておき、ボーダエリアを検出したときの書き込みアドレスＷＡ１をエリア色データが記憶されている画像メモリ１１のアドレスに切り換えることで、図７に示すようにボーダエリアにエリア色データを埋め込むことができる。
【００３９】
図６のアドレス発生器１９では、減算器３３の出力がボーダエリア検出器３６に入力され、ここで０〜ｌＨ−１の範囲内であるかどうかが判定される。上記の範囲内と判定された場合には、スイッチ３７，３８をそれぞれ減算器３３の出力及び垂直カウンタ３２の出力に接続し、これらをそれぞれ水平読み出しアドレスＲＡ１＿ｈ及び垂直読み出しアドレスＲＡ１＿ｖとして出力する。減算器３３の出力が０〜ｌＨ−１の範囲外である場合には、スイッチ３７，３８をエリア色メモリアドレス記憶部３９の出力に接続し、予めボーダエリアに埋め込むエリア色が記憶されている画像メモリ１１のアドレスＡＭＡを読み出しアドレスＲＡ１＿ｈ，ＲＡ１＿ｖとして出力する。
このように、画像メモリ１１のアドレスを切り換える方式とすれば、画像データのパスに直接クロマキーの切換回路を付加する方式に比べ、本装置をＬＳＩ化した場合の画像データの入出力ピン数の増加を防止することができ、ＬＳＩパッケージのコストを低減することができる。
【００４０】
以上のアドレス変換処理により、図３（ａ）に示すように、画像メモリ１１の原画像１の記憶領域に読み出しアドレスが達するまでは、エリア色データが埋め込まれ、原画像１の記憶領域に読み出しアドレスが達した後は、縮小率ｒ＿ｈ（ｖ）の間隔で画像データが読み出され、画像メモリ１２に書き込まれる際は、標準間隔で書き込まれるので、図３（ｂ）に示すように、原画像１をオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）だけずれた位置から水平方向に縮小率ｒ＿ｈ（ｖ）で規定される割合だけ縮小した中間画像３が得られる。
【００４１】
第２パス用のアドレス発生器２３及びシーケンシャルスキャン発生器２４も、基本的にはこれと同様の構成となっているが、第２パスでは垂直方向のスキャンを行うため、図９に示すように、シーケンシャルスキャン発生器２４は、基準クロックＣｌｏｃｋを垂直カウンタ４１に入力して垂直書き込みアドレスＷＡ２＿ｖを発生させ、垂直カウンタ４１のキャリー信号Ｃａｒｒｙを水平カウンタ４２に入力して水平書き込みアドレスＷＡ２＿ｈを発生させるようにしている。そして、アドレス発生器２３は、加算器４４及びラッチ回路４５からなる累積加算器で縮小率ｒ＿ｖ（ｈ）を累積加算した値から、オフセット値ｏｆｆｓｅｔ’＿ｖ（ｈ）を減算器４３によって減算し、その出力に基づいてボーダエリア検出器４６でボーダエリアを検出する。その検出結果に応じてスイッチ４７，４８を切り換え、ボーダエリアではエリア色メモリアドレス記憶部４９の出力を読み出しアドレスＲＡ２＿ｈ，ＲＡ２＿ｖとして出力し、ボーダエリア外では減算器４３の出力を読み出しアドレスＲＡ２＿ｈ，ＲＡ２＿ｖとして出力する。
これにより、図４に示すように、中間画像３から垂直方向にオフセット及び縮小された変換画像２を得ることができる。
【００４２】
なお、上記実施例では、オフセット値ｏｆｆｓｅｔ＿ｈ（ｖ），ｏｆｆｓｅｔ＿ｖ（ｈ）にそれぞれｒ＿ｈ（ｖ），ｒ＿ｖ（ｈ）を掛けた値をオフセット値ｏｆｆｓｅｔ’＿ｈ（ｖ），ｏｆｆｓｅｔ’＿ｖ（ｈ）として用い、スキャンの最初から縮小率の累積加算値を求め、この累積加算値からオフセット値を減算するようにしたが、表１又は表２のオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ），ｏｆｆｓｅｔ＿ｖ（ｈ）をそのまま使用し、書き込みアドレスＷＡ１＿ｈ，ＷＡ２＿ｖがオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ），ｏｆｆｓｅｔ＿ｖ（ｈ）にそれぞれ達するまで縮小率ｒ＿ｈ（ｖ），ｒ＿ｖ（ｈ）の累積加算及びその出力を行わず、オフセット値に達したらスイッチを切り換えて縮小率ｒ＿ｈ（ｖ），ｒ＿ｖ（ｈ）の累積加算を開始するように構成することもできる。この場合のアドレス発生器１９の構成例を図１０に示す。
【００４３】
アドレス発生器１９は、表１のような変換パラメータが格納された変換テーブル３０から読み出されたオフセット値ｏｆｆｓｅｔ＿ｈ（ｖ）を減算器３３に供給し、水平書き込みアドレスＷＡ１＿ｈから減算して水平読み出しアドレスＲＡ１＿ｈを生成する。また、垂直読み出しアドレスＲＡ１＿ｖとして垂直書き込みアドレスＷＡ１＿ｖをそのまま出力する。これにより、図３（ａ）に示すように、画像メモリ１１に格納された原画像１の左側にはみ出した部分から画像データの読み出しが実行される。このとき、エリア色メモリアドレスが読み出しアドレスＲＡ１＿ｈ，ＲＡ１＿ｖとして出力されるのは上記と同様である。水平読み出しアドレスＲＡ１＿ｈが原画像１の部分に差し掛かると、減算器３３の出力は負の値から正の値に切り替わる。アドレス発生器１９は、減算器３３の出力のサインビットＳｉｇｎによりスイッチ５０を切り換える。同時にＡＮＤゲート４０がアクティブになり、基準クロックＣｌｏｃｋがラッチ回路３５に入力される。以後、累積加算値が水平読み出しアドレスＲＡ１＿ｈとして出力されることになる。
【００４４】
次に、このように構成された画像の２次元空間変換装置の動作について説明する。
図１１は各フレームサイクルでのスイッチ１３の状態を示す図、図１２はこれに対応したタイミングチャートである。
サイクルＴ１では、図１１（ａ）に示すように、画像入力端子１４と画像メモリ１１ａ、画像出力端子１５と画像メモリ１１ｃ、変換バス１６と画像メモリ１１ｂとがそれぞれ接続される。これにより、画像メモリ１１ａには原画像が入力され（画像入力サイクル）、画像メモリ１１ｂは画像メモリ１２との間で変換処理のため１フレーム前に格納された画像データのリード／ライトを行い（画像変換サイクル）、画像メモリ１１ｃは１フレーム前に格納された変換画像を外部に出力する（画像出力サイクル）。
【００４５】
サイクルＴ２では、図１１（ｂ）に示すように、画像入力端子１４と画像メモリ１１ｃ、画像出力端子１５と画像メモリ１１ｂ、変換バス１６と画像メモリ１１ａとがそれぞれ接続される。これにより、画像メモリ１１ａは変換サイクル、画像メモリ１１ｂは画像出力サイクル、画像メモリ１１ｃは画像入力サイクルとなる。
サイクルＴ３では、図１１（ｃ）に示すように、画像入力端子１４と画像メモリ１１ｂ、画像出力端子１５と画像メモリ１１ａ、変換バス１６と画像メモリ１１ｃとがそれぞれ接続される。これにより、画像メモリ１１ａは画像出力サイクル、画像メモリ１１ｂは画像入力サイクル、画像メモリ１１ｃは変換サイクルとなる。
このように、この装置では、入出力はリアルタイムＴＶスキャンタイミングで映像データを入出力するのに対し、画像変換は別のフレームタイミングで処理されるため、入出力部にバッファを設けているが、入出力用のバッファを従来のようにそれぞれダブルバッファ構成とするのではなく、入出力バッファ用と変換用とでトリプルバッファを構成し、同一のサイクルで画像入力、画像出力、変換処理を並列に実行しているので、画像メモリを削減することができる。
【００４６】
ここでフレームサイクルＴ１〜Ｔ３における画像メモリ１１ａに着目すると、その処理は、次のようになる。
まず、サイクルＴ１で画像メモリ１１ａに原画像が入力される。次にスイッチ１３が切り換えられ、変換サイクルＴ２に入る。
図１３は変換サイクルの各部の画像データの流れを示す図、図１４はこれに対応した変換処理のタイミングチャートである。
変換サイクルは、図１３に示すように、ＳＲＡＭへの書き込みによる第１パスの変換処理（水平変換）ｔ１、第２パスの変換処理（垂直変換）ｔ２、及び変換画像のＤＲＡＭへの書込処理ｔ３の３つの処理により構成される。
まず、第１パスの変換処理ｔ１では、画像メモリ１１ａから画像メモリ１２へ第１パスの変換（水平変換）に従って画像データが転送される。即ち図１３（ａ）に示すように、スイッチ２０，２６が共にａ側に接続され、画像メモリ１１ａには第１パス用のアドレス発生器１９から読み出しアドレスＲＡ１が与えられ、画像メモリ１２にはシーケンシャルスキャン発生器２１から書込アドレスＷＡ１が与えられる。これにより、画像メモリ１１ａからは変換アドレスの画像データが読み出され、画像メモリ１２にスキャン順に格納される。この処理は、水平方向の処理であるため、ＤＲＡＭからなる画像メモリ１１ａからは、高速ページモードで画像データが読み出される。ＥＤＯ（Ｅｘｔｅｎｄ Ｄａｔａ Ｏｕｔｐｕｔ）タイプのＤＲＡＭでは、２０ｎｓｅｃ程度のサイクルでデータの読み出しが可能であるため、この処理は、実時間の１／４程度で終了することができる。
【００４７】
第２パスの変換処理ｔ２では、図１３（ｂ）に示すように、スイッチ２０，２６が共にｂ側に接続される。第２パスでは、画像メモリ１２に格納された画像データのデータレジスタ２７への読み出しと、データレジスタ２７から画像メモリ１２へのデータ書込とにより、垂直変換処理を実行する。第２パス用のアドレス発生器２３からの読み出しアドレスＲＡ２と、シーケンシャルスキャン発生器２４からの書込アドレスＷＡ２とは、スイッチ２５によって交互に選択され、スイッチ２６を介して画像メモリ１２に与えられる。画像メモリ１２は、図１５に示すように、先頭の第１Ｒｏｗの記憶領域を空き領域にしておき、読み出しアドレスＲＡ２を書込アドレスＷＡ２に対して１アドレスだけ大きくする。これにより、テンポラルのロウバッファ等を使用しなくても、未処理データを破壊せずに画像メモリ１２に変換データをシーケンシャルに書き込むことができる。高速ＳＲＡＭは、２０ｎｓｅｃ程度のアクセスタイムを持ち、しかもＤＲＡＭのようにＲＡＳサイクルを必要としないので、垂直変換を伴う第２パスの処理も実時間の１／２程度で終了することができる。
【００４８】
変換画像のＤＲＡＭへの書込処理ｔ３では、図１３（ｃ）に示すように、スイッチ２０，２６が共にａ側に接続される。画像メモリ１２から画像メモリ１１ａへの変換画像の転送は、ｔ１と同様、高速ページモードによるＤＲＡＭへの書き込みにより、実時間の１／４程度の時間で終了する。
そして、フレーム（フィールド）タイミングでスイッチ１３が切り換えられ、画像メモリ１１ａに転送された変換画像が画像出力端子１５を介して外部に出力される。以下、同様の処理が他の画像メモリ１１ｂ，１１ｃについても繰り返される。
【００４９】
この実施例によれば、トリプルバッファ構成のＤＲＡＭ画像メモリと高速ＳＲＡＭ画像メモリ１個を用いるだけで、２パス方式の高精細の画像変換装置を実現することができる。
なお、以上の説明では、第１パスを水平方向の変換、第２パスを垂直方向の変換としたが、第１パスを垂直方向の変換、第２パスを水平方向の変換としても良い。この場合には、画像メモリ１１から画像メモリ１２へは変換処理をせずにそのまま高速ページモードでデータ転送を行い、画像メモリ１２で垂直変換を行った後、画像メモリ１２から画像メモリ１１へのデータ転送時に水平変換を行うようにすればよい。
また、上記実施例では、変換テーブルを使用して読み出しアドレスＲＡ１，ＲＡ２を発生させる例について説明したが、この発明は、２パス方式の変換装置でうあれば、個々の読み出しアドレスをマトリクス演算によって算出する方式においても適用可能であることはいうまでもない。
【００５０】
【発明の効果】
以上述べたように、この発明によれば、水平方向の変換処理と垂直方向の変換処理の過程で、水平方向にアクセスされる第１の画像記憶手段にＤＲＡＭを使用し、垂直方向にアクセスされる第２の画像記憶手段にＳＲＡＭを使用しているので、ＤＲＡＭの水平方向の高速ページモードのアクセスと、ＳＲＡＭの高速アクセスとにより、変換処理の高速化を図ることができ、同時に全使用メモリの一部にのみＳＲＡＭを使用しているので、装置全体のコストアップを防止することができるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施例の原理を説明するための図である。
【図２】同実施例の変換手順を示すフローチャートである。
【図３】同実施例の第１パスの変換処理を説明するための図である。
【図４】同実施例の第２パスの変換処理を説明するための図である。
【図５】この発明の一実施例に係る２次元空間変換装置の構成を示すブロック図である。
【図６】同装置における第１パス用アドレス発生器及びシーケンシャルスキャン発生器の詳細ブロック図である。
【図７】同アドレス発生器のボーダエリア処理を説明するための図である。
【図８】同ボーダエリア処理のためのエリア色データの記憶状態を説明するための図である。
【図９】同装置における第２パス用アドレス発生器及びシーケンシャルスキャン発生器の詳細ブロック図である。
【図１０】アドレス発生器及びシーケンシャルスキャン発生器の他の構成例を示すブロック図である。
【図１１】同装置におけるトリプルバッファの切換動作を説明するための図である。
【図１２】同装置の動作を示すタイミングチャートである。
【図１３】同装置の変換処理時の動作を説明するための図である。
【図１４】同変換処理時のタイミングチャートである。
【図１５】同装置における第２の画像メモリの上書き防止アクセスを説明するための図である。
【図１６】従来の２パス方式の２次元空間変換装置のブロック図である。
【符号の説明】
１…原画像、２…変換画像、３…中間画像、１１，１２，５１，５２…画像メモリ、１３，２０，２５，２６…スイッチ、１９，２３，５，５７…アドレス発生器、２１，２４，５６，５８…シーケンシャルスキャン発生器、２７…データレジスタ、２８…ＣＰＵ、３０…変換テーブル。
Claims (4)
- 原画像の２次元空間上への変換処理を前記２次元空間上の水平方向及び垂直方向のうちのいずれか一方の方向の変換処理と他方の方向の変換処理とに分割しこれらを順次実行する画像の２次元空間変換装置において、
原画像を記憶すると共に水平方向にアクセスされる第１の画像記憶手段と、
この第１の画像記憶手段から転送されたデータを記憶すると共に前記垂直方向の変換処理のためにアクセスされる第２の画像記憶手段とを備え、
前記第１の画像記憶手段は、水平方向に高速ページモードでアクセスされるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）からなり、
前記第２の画像記憶手段は、少なくとも垂直方向の変換処理の前後の画像情報を記憶するＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ ）からなるものである
ことを特徴とする画像の２次元空間変換装置。 - 前記第２の画像記憶手段は、前記垂直方向の変換処理前の各画像情報のアドレスを変換処理後の各画像情報のアドレスよりも所定値だけ大きくすることにより、変換処理後の画像情報の書き込み時に未変換の画像情報に上書きされるのを防止するようにした
ことを特徴とする請求項１記載の画像の２次元空間変換装置。 - 前記第１の画像記憶手段は、３つの記憶部を備え、
これら３つの記憶部のうち、順次供給される原画像が入力される第１の記憶部と、前記第１の記憶部に格納された原画像の変換処理により得られた変換画像を格納する第２の記憶部と、前記変換画像を外部に出力するための第３の記憶部とをフレーム又はフィールド毎に切り換える切換手段を更に備えた
ことを特徴とする請求項１又は２記載の画像の２次元空間変換装置。 - 前記第１の記憶部への原画像の格納処理と、前記第２の記憶部に変換結果が格納される変換処理と、前記第３の記憶部からの変換画像の出力とは、同一のフレーム又はフィールドサイクル内で並列実行され、
前記変換処理は、前記第２の記憶部からの画像情報の水平方向の読出動作と前記第２の画像記憶手段への画像データの水平方向の書込動作とにより実行される水平方向の変換処理と、前記第２の画像記憶手段からの画像情報の垂直方向の読出動作と前記第２の画像記憶手段への画像データの垂直方向の書込動作とにより実行される垂直方向の変換処理と、前記第２の画像記憶手段へ格納された変換画像を水平方向に読み出して前記第２の記憶部に書き込む書込処理とからなるものであることを特徴とする請求項３記載の画像の２次元空間変換装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23061896A JP3575179B2 (ja) | 1996-08-30 | 1996-08-30 | 画像の２次元空間変換装置 |
| US08/922,727 US6188800B1 (en) | 1996-08-30 | 1997-08-27 | Two-dimensional spatial transformation system for video processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23061896A JP3575179B2 (ja) | 1996-08-30 | 1996-08-30 | 画像の２次元空間変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1074078A JPH1074078A (ja) | 1998-03-17 |
| JP3575179B2 true JP3575179B2 (ja) | 2004-10-13 |
Family
ID=16910599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23061896A Expired - Lifetime JP3575179B2 (ja) | 1996-08-30 | 1996-08-30 | 画像の２次元空間変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3575179B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2819402A4 (en) | 2012-02-22 | 2016-02-24 | Sony Corp | DISPLAY DEVICE, IMAGE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND COMPUTER PROGRAM |
-
1996
- 1996-08-30 JP JP23061896A patent/JP3575179B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1074078A (ja) | 1998-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI430655B (zh) | 一種顯示原圖扭曲版本之裝置及方法 | |
| EP0433373B1 (en) | Efficient method for updating pipelined, single port z-buffer | |
| EP0613098B1 (en) | Image processing apparatus and method of controlling the same | |
| US5043921A (en) | High speed Z-buffer control | |
| US6188800B1 (en) | Two-dimensional spatial transformation system for video processing | |
| JPH06214549A (ja) | 二重緩衝方式出力表示システムにおける表示装置及び表示方法 | |
| JP3575179B2 (ja) | 画像の２次元空間変換装置 | |
| US20050088539A1 (en) | Image processing apparatus and image processing method | |
| JP2000311241A (ja) | 画像処理装置 | |
| JP3644146B2 (ja) | 画像の２次元空間変換方法及び装置 | |
| EP0959428A2 (en) | Image processing apparatus, special effect apparatus and image processing method | |
| KR20050072070A (ko) | 데이터 저장 장치, 데이터 저장 제어 장치, 데이터 저장제어 방법 및 데이터 저장 제어 프로그램 | |
| JPS6150318B2 (ja) | ||
| JP3132771B2 (ja) | 画像蓄積装置及びこれを具える画像処理装置 | |
| JPH04354068A (ja) | 画像データ補間方法及び装置 | |
| JP2519821B2 (ja) | 画像処理装置 | |
| JP2537851B2 (ja) | 画像変倍処理装置 | |
| JP3426484B2 (ja) | 画像データ処理装置及び画像データ処理方法 | |
| CN116189588A (zh) | 一种图像数据处理方法、装置、设备及可读存储介质 | |
| JPH06324935A (ja) | アドレス発生器およびアドレス発生システム | |
| JP2558248B2 (ja) | 画像処理装置及び方法 | |
| JP4735008B2 (ja) | データ格納装置、データ格納制御装置、データ格納制御方法及びデータ格納制御プログラム | |
| JPH0582555B2 (ja) | ||
| JPH0546773A (ja) | 相関計算装置 | |
| JPH06243242A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040628 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |