JP3661156B2 - ビデオ画像のサイズを再調整するのに好適な再サンプリング装置 - Google Patents
ビデオ画像のサイズを再調整するのに好適な再サンプリング装置 Download PDFInfo
- Publication number
- JP3661156B2 JP3661156B2 JP52307694A JP52307694A JP3661156B2 JP 3661156 B2 JP3661156 B2 JP 3661156B2 JP 52307694 A JP52307694 A JP 52307694A JP 52307694 A JP52307694 A JP 52307694A JP 3661156 B2 JP3661156 B2 JP 3661156B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- input
- value
- filter
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Description
本出願は、1991年９月27日に提出した先行出願シリアル番号第07/766,128号の部分継続出願である。
発明の背景
1.発明の分野
本発明は、元々第１の一連の入力サンプルによって定義されたものである所与の情報を再サンプリングして該所与の情報を定義する第２の一連の出力サンプルを得るための装置において、前記第１の一連の入力サンプル数の前記第２の一連の出力サンプル数に対する比が１より小さいかあるいは大きいかのどちらかであるようにした装置に関するものであり、特に、ビデオ画像のサイズを再調整するのに使って好適な上記装置に関する。
2.従来技術の説明
ワークステーションのビデオ処理、走査変換、画像スキャナを用いたスキャナ文書作成などのためには、信号縮小の場合には所定の仮分数量によって、信号拡大の場合には所定の真分数量によってデジタル信号サンプル値の入力ストリームを再サンプリングすることがしばしば求められる。この点に関して、米国特許4,282,546、4,602,285及び4,682,301の各々の教示が参照される。
当業において知られているように、デジタル信号のサンプル値の入力ストリームのサンプリングは、分数値M/Lによって変更可能であって、その場合、まず因子Ｌによって前記デジタル信号サンプル値を上向きサンプリングして、因子Ｍによって前記上向きサンプリングされたデジタル信号サンプル値を下向きサンプリングする。このことを達成するために、上向きサンプリングに続いてデジタル補間フイルタリング処理をし、下向きサンプリングに先行してデジタル・ローパス・前置フイルタリング処理をする比較的複雑なフイルタ装置が必要になる。
ＭがＬより小さい信号拡大の場合は、好ましくないエイリアシング周波数が上向きサンプリング・下向きサンプリングの処理で発生するという問題は無い。しかしながら、ＭがＬより大きい信号縮小の場合は、好ましくないエイリアシング周波数が発生するという問題がある。この問題に対処するには、補間され上向きサンプリングされた信号を前記前置フイルタリング処理によって十分に帯域制限して、Ｌより大きいＭによる下向きサンプリングがエイリアシングを起こさないようにしなければならない。さらに、下向きサンプリングの量が大きいほど（すなわち、Ｍが大きいほど）、前記デジタル・ローパス・前置フイルタリングに必要なカーネル関数のタップ数が増え（すなわち、前記前置フイルタリング処理を多くのサンプル上に広げねばならず）、したがって、長いフイルタ応答を使用する必要がある。長いフイルタ応答のコストは、フイルタの複雑さに加算され、最終的には、フイルタがVLSIチップ上に実施されるときには、シリコンの実際の価格に加算される。
過去において、サンプル濃度を増やす上向きサンプリングか、サンプル濃度を減らす下向きサンプリングのどちらかの再サンプリングに先行して画像信号を適当に帯域制限するために採られた方法としては、画像の水平（Ｘ）次元及び垂直（Ｙ）次元のどちらにおいても、任意の画像サイズ縮小・拡大の量に応じて帯域幅が変化する適応２次元フイルタを用いて画像を前置フイルタリング処理するようになっていた。これには、２つのタイプのデジタル・フイルタを用いることができる。すなわち、１）有限インパルス応答（FIR）、あるいは、２）無限インパルス応答（IIR）である。
FIRフイルタは、安定が保証されており、画像処理における重要な特性である線形位相を持つことができるので、望ましい。しかしながら、FIRフイルタは、低周波フイルタリング処理において極端に長いインパルス応答（多数の近隣サンプル）を示してしまう。長いインパルス応答ということは、フイルタのテール（中心フイルタ点から最も離れた重み係数）が非常に小さな係数値を持っており、高い演算精度を用いなければならないということになる。また、長いフイルタ応答は、もし垂直方向つまりＹ方向フイルタリング処理に用いるならば、何行ものデータを記憶することになる。高い演算精度と多くの記憶素子という両条件は、多量のハードウェアを必要とし、したがって、集積回路上に集積した場合は多量のシリコンを必要とすることになる。
その一方で、IIRフイルタの方は、相対的に短い応答で、等価な帯域排除能力を得ることができる。しかし残念なことには、IIRフイルタは不安定で、計算において非常に高い演算精度を必要とする。また、IIRフイルタは殆ど線形位相を持たない。既知の画像サイズ再調整機構の１つは、IIRフイルタによる方法を用いている。フイルタ係数を特定のサイズ再調整パラメータの関数として更新する。この構成において、全ての場合に好適なフイルタを保証するには、その構成自身の演算が広いダイナミック・レンジを持つ必要がある。また、この構成は、大きな再サンプリング因子には良好な帯域幅制限を示さない。それゆえ、この構成は、シリコン集積には経済的ではない。
フイルタ応答が長いことを除けば、FIRフイルタの方が、良好に動作し、安定しており、しかも線形位相を持つので、望ましい。従来技術においては、より低い空間周波数におけるFIRフイルタのより長いフイルタ応答の具現に問題があった。しかしながら、本発明はこの問題を克服する。
発明の概要
本発明は、Ｄを１以上の数であるとしたときの、Ｄ次元情報を定義するデジタル信号サンプル値の入力ストリームのサンプリング期間を変更する装置の改良に向けられたものであって、前記装置において、前記情報の所与の次元の情報を定義する、それら入力ストリームのデジタル信号サンプル値が所与のサンプリング期間Ｐに発生するものである。前記装置は、M/Lに等しい因子によって前記所与のサンプリング期間Ｐを変更する。ただし、Ｌは１より大きな値の第１の正の整数であり、Ｍは第２の正の整数である。
この改良には、第１の手段と第２の手段の組み合わせも含まれている。
第１の手段は、補間フイルタ手段を有している。この第１の手段は、前記入力サンプル・ストリームのデジタル信号サンプル値に応答して、前記入力ストリームの所与のサンプリング期間ＰにM'/CLに等しい因子を直接乗算したものである、第１の導出サンプル・ストリームであるデジタルサンプル値を生じる。ただし、Ｃを所与の正の整数、M'をCLより小さい数とし、2n（M'/CL）か2-n（M'/CL）のうちの一方がM/Lに等しく、ｎの絶対値は０以上とし、その結果、前記第１の導出サンプル・ストリームのサンプリング期間は、（M'/CL）Ｐとなる。
第２の手段は、オクターブ・前置フイルタリング及びサンプル手段を有しており、前記第１の導出サンプル・ストリームのデジタル信号サンプル値に応答して、デジタル信号サンプル値の第２の導出サンプル・ストリームを出力として発生し、そこでは、前記第１の導出サンプル・ストリームの第１のサンプリング期間（M'/CL）Ｐに2n（M'/CL）か2-n（M'/CL）のどちらか一方に等しい因子を乗算し、第２の導出サンプル・ストリームのサンプリング期間が（M/L）Ｐとなる。
【図面の簡単な説明】
図１は、２次元再サンプリング回路による２次元入力画像のサイズの再調整を図示した機能ブロック図、
図２は、ビデオ画像の水平あるいは垂直、どちらかの次元である、情報の所与の次元を定義するデジタル信号サンプル値の入力ストリームのサンプリング期間Ｐを再サンプリングするための従来方法を図示した機能ブロック図、
図３は、ビデオ画像の水平あるいは垂直、どちらかの次元である、情報の所与の次元を定義するデジタル信号サンプル値の入力ストリームのサンプリング期間Ｐを再サンプリングするための本発明の手法の第１の実施例を図示した機能ブロック図、
図3aは、ビデオ画像の水平あるいは垂直、どちらかの次元である、情報の所与の次元を定義するデジタル信号サンプル値の入力ストリームのサンプリング期間Ｐを再サンプリングするための本発明の手法の第２の実施例を図示した機能ブロック図、
図４は、５タップ・デジタルフイルタを用いて、ビデオ画像の水平あるいは垂直、どちらかの次元を、２である因子によってデジタル的に前置フイルタリング処理し下向きサンプリングする様子を図式的に示した図、
図4aは、５タップ・デジタルフイルタを用いて、ビデオ画像の水平あるいは垂直、どちらかの次元を、２である因子によってデジタル的に前置フイルタリング処理し上向きサンプリングする様子を図式的に示した図、
図5aは、VLSIチップ上で実現するのに好適な、ビデオ画像の垂直次元に、２である因子を乗算する働きをもつ５タップ・オクターブ・デジタルフィルタの第１の具体例を示すブロック図、
図5bは、VLSIチップ上で実現するのに好適な、ビデオ画像の垂直次元に、４である因子を乗算する働きをもつ５タップ・オクターブ・デジタルフイルタの第２の具体例を示すブロック図、
図5cは、VLSIチップ上で実現するのに好適な、ビデオ画像の垂直次元に、８である因子を乗算する働きをもつ５タップ・オクターブ・デジタルフイルタの第３の具体例を示すブロック図、
図6aは、VLSIチップ上で実現するのに好適な、ビデオ画像の水平次元に、２である因子を乗算する働きをもつ図5aの５タップ・オクターブ・デジタルフイルタの第１の具体例の第１の時分割多重変更例を示すブロック図、および
図6bは、VLSIチップ上で実現するのに好適な、ビデオ画像の水平次元に、２である因子を乗算する働きをもつ図5aの５タップ・オクターブ・デジタルフイルタの第１の具体例の第２の時分割多重変更例を示すブロック図である。
好適な実施例の記述
デジタル画像処理では、原寸のビデオ画像のサイズを再調整することがしばしば求められる。例えば、複数の別々の入力ビデオ画像を１つの出力ビデオ画像に組み合わせるときには、入力ビデオ画像のうちの少なくとも１つのサイズを縮小させる必要がある。一方、１つの入力ビデオ画像のうちの小さな部分のサイズは、出力ビデオ画像中において、その入力ビデオ画像の全サイズにまで拡大することができる。普通、サイズの再調整は縦横比の変更を伴わない。しかし、サイズの再調整は特定の効果目的のために縦横比を変更するのに用いることができる。図１は、入力ビデオ画像のサイズを再調整するためのデジタル画像処理装置を示している。
図１を参照すると、テレビジョン・フレームなどの２次元入力ビデオ画像を定義する、デジタル信号サンプル値の入力ストリームを書き込んで記憶するための入力サンプル・フレーム（またはフィールド）メモリ100が図示されている。公知のように、一時ビデオ信号は、垂直方向即ちＹ方向に配置した複数の走査線からなるビデオ画像を形成しており、各走査線は水平方向即ちＸ方向に配置した複数の画素からなっている。このビデオ信号が、所定のサンプリング期間にサンプリングされて、アナログ形式からデジタル形式に変換されて、入力サンプル・フレームメモリ100に記憶される前記デジタル信号サンプル値の入力ストリームを提供するものとする。入力サンプル・フレームメモリ100に与えられる入力ビデオ画像を定義するビデオ信号からなるデジタル信号サンプル値の入力ストリームと、そこから読み出されるデジタル信号サンプル値のストリームとは、両方とも、飛越し走査形式（例えば、NTSCビデオ信号）でも順次走査形式でもよい。さらに、入力サンプル・フレームメモリ100は、もし必要ならば、入力サンプル・フレームメモリ100から継続的にサンプルを読みとってXY再サンプリング回路102でそれらのサンプルを変換する前に飛越し走査入力を順次走査に変換するための装置を有しても良い。
原則としては、入力サンプル・フレームメモリ100から継続的にサンプルを読みとるのと、XY再サンプリング回路102でそれらのサンプルを変換するのとは、同期あるいは非同期どちらで行われても良い。しかしながら、図示例では、所定のクロック期間で同期動作することが想定されている。この場合には、入力サンプル・フレームメモリ100から読み出されるサンプルの、ビデオ画像のＸ方向の画素サンプリング期間は前述の所定のクロック期間であるのに対して、ビデオ画像のＹ方向のサンプリング期間は全走査線期間となる（各走査線は大量の画素サンプル値を有する）。
第１の所与のサイズを元来持っていたビデオ画像のサイズを第２の所与のサイズに変更するには、Ｘ方向のサンプリング期間（すなわち、画素サンプリング期間）および／または、Ｙ方向のサンプリング期間（すなわち、走査線サンプリング期間）を独立に変更する必要がある。これは、図示のように、XY再サンプリング回路102に入力されるＸおよびＹの再サンプル比制御信号に応じて該XY再サンプリング回路102によって実行される。こうして、XY再サンプリング回路102からのデジタル信号サンプル値の出力ストリームのＸ方向の画素サンプリング期間およびＹ方向の走査線サンプリング期間は、出力サンプル・フレームメモリ104への入力とされるのであるが、それぞれの期間は、XY再サンプリング回路102への入力である、入力サンプル・フレームメモリ100からのデジタル信号サンプル値のストリームの画素サンプリング期間および走査線サンプリング期間とは異なるものである。しかしながら、タイミングの観点からは、図示例では、入力サンプル・フレームメモリ100からサンプルの読み出しをコントロールするタイミングと、XY再サンプリング回路102が再サンプリングするタイミングと、出力サンプル・フレームメモリ104にサンプルを書き込むタイミングとには、同一の所定のクロックを用いるものとする。換言すると、図示例では、XY再サンプリング回路102はサンプルのストリームを処理して変換するパイプライン構成を持つものとする。入力サンプル・フレームメモリ100に書き込まれる入力画像のサンプルの入力ストリームのクロック期間と、出力サンプル・フレームメモリ104から読み出される出力画像のサンプルの出力ストリームのクロック期間とは、前記所定のクロック期間と同一でも良いし、異なっても良く、また、別のクロック期間と同一でも異なっても良い。
画像をＸ方向に縮小すると、再サンプリングで縮小した画像の各走査線の画素サンプル数は、入力サンプル・フレームメモリ100に記憶された元の画像の各走査線の画素サンプル数より少なくなる。同様に、画像をＹ方向に縮小すると、再サンプリングで縮小した画像の画素サンプルの走査線数は、入力サンプル・フレームメモリ100に記憶された元の画像の画素サンプルの走査線数より少なくなる。こうして、画像サイズを縮小する場合には、XY再サンプリング回路102は、その入力と出力の間で、サンプル減少機能を果たすことになる。
これに対して、画像をＸ方向に拡大すると、再サンプリングで拡大した画像の各走査線の画素サンプル数は、入力サンプル・フレームメモリ100に記憶された元の画像の各走査線の画素サンプル数より多くなり、画像をＹ方向に拡大すると、再サンプリングで拡大した画像の画素サンプルの走査線数は、入力サンプル・フレームメモリ100に記憶された元の画像の画素サンプルの走査線数より多くなる。こうして、XY再サンプリング回路102は、その入力と出力の間で、画像サイズを縮小する場合にはサンプル減少機能を果たし、画像サイズを拡大する場合にはサンプル増加機能を果たす。
XY再サンプリング回路102は、入力サンプル・フレームメモリ100に記憶された全ての画素サンプル値を、サンプリング処理と計算に利用可能とする。さらに、XY再サンプリング回路102自身は、処理中に計算されるサンプル値を一時的に保持するために適当なレジスタを有している。図示例では、図２、３及び3aでは、以下に述べるように、XY再サンプリング回路102によるすべての処理は、単一のクロックレートでパイプライン方式でシリアルに行うものとしている。しかしながら、実際には、XY再サンプリング回路102による画素サンプルの処理は、パラレルおよび／または１より大のクロックレートで行っても良いことが分かるはずである。
図２は、Ｘ再サンプル比に応じてＸ方向の画素サンプリング期間を変更、あるいは、そうでなく、Ｙ再サンプル比に応じてＹ方向の走査線サンプリング期間を変更するための従来技術の再サンプリング回路によって行う手法を図解した機能ブロック図である。具体的には、入力サンプリング期間Ｐが、M/Lに等しい値の因子Ｋによって変更されることとしている。ただし、M/Lは、真分数（Ｍが正の整数Ｌより小さい正の整数）でも仮分数（ＭがＬより大）でも良い。より小さなサイズの画像をより大きなサイズの画像に拡大してビデオ画像のサイズを再調整するときには、M/Lは真分数であり、より大きなサイズの画像をより小さなサイズの画像に縮小してビデオ画像のサイズを再調整するときには、M/Lは仮分数である。
ブロック200で示されているように、まず因子Ｌによって入力を上向きサンプリングする。例えば、これは、連続した入力サンプル値の各対の間に（Ｌ−１）個のゼロ値サンプルを挿入することによって行う。フイルタＬ（202）は、前記（Ｌ−１）個のゼロ値サンプルのそれぞれを、連続した入力サンプル値の対の適当な補間値に置き換えるのに効果的な、適応デジタルフイルタである。サンプル値の入力ストリームには、情報のうち利用可能なソースだけが含まれているので、この上向きサンプリング処理によって追加される情報は何もないことを理解すべきである。上向きのサンプリングはオーバサンプリングをもたらすだけである。
フイルタＭ（204）は、出力サンプリング期間（M/L）Ｐの半分より小さな周波数区間を持つ全てのベースバンド周波数成分を実質的に拒絶するカットオフを持つ、適応デジタル帯域制限用前置フイルタでる。フイルタＭ（204）からの出力は、こうして、ブロック206で示すように、因子Ｍで下向きサンプリングされて、出力サンプリング期間（M/L）Ｐを持つサンプルの出力ストリームを生じる。実際には、フイルタＬとフイルタＭで果たされる別々の機能を、図２に示すように、単一の複合フイルタ構造に組み込んでも良い。
もし再サンプリング回路がＭ＜Ｌの場合に限定されるのであるならば、フイルタＭ（204）を必要としないで、上向きサンプリングしたストリームを直接下向きサンプリングできる。この場合、出力となる下向きサンプリングされたサンプル・ストリームの濃度は、入力である上向きサンプリングされたストリームのそれよりもはるかに大きいからである。したがって、入力である上向きサンプリングされたサンプル値によって定義される情報で失われるものは何も無く、エイリアシングは生じ得ない。しかしながら、再サンプリング回路はＭ＞Ｌの場合にも対応できねばならず、この場合、出力となる下向きサンプリングされたサンプル・ストリームの濃度は、入力である上向きサンプリングされたストリームのそれよりも小さくなり、その結果、出力である下向きサンプリングされたストリームは、サンプリング不足となる。この後者の場合、１つ以上の入力サンプル値によって定義される情報が失われてエイリアシングが生じ得る。それゆえ、フイルタＭは、再サンプリング回路102が扱い得るM/Lの最大比でのエイリアシングを最小にするように構成されなければならない。このため相対的に複雑で高価なＭ個のフイルタが必要になるのであるが、それは、出力サンプリング期間（M/L）Ｐの半分より小さな周波数区間を持つすべてのベースバンド周波数成分が、Ｍによる下向きサンプリングの前に、どんな場合にも実質的に排除されることを確かにするためのものである。また、Ｍフイルタの転送特性は、そこを通過させる信号に位相や他の種類の歪みを実質的に招かないようになっているべきである。
図３は、Ｘ再サンプル比に応じてＸ方向の画素サンプリング期間を変更、あるいは、そうでなく、Ｙ再サンプル比に応じてＹ方向の走査線サンプリング期間を変更するための本発明の再サンプリング回路の第１の実施例によって行う手法を図解した機能ブロック図である。図２の場合のように、図３で示された第１の実施例では、入力サンプリング期間Ｐが、M/Lに等しい値の因子Ｋによって変更されることとしている。ただし、M/Lは、画像のＸあるいはＹ方向のサイズを拡大する真分数（Ｍが正の整数Ｌより小さい正の整数）でも、画像のＸあるいはＹ方向のサイズを縮小する仮分数（ＭがＬより大）でも良い。
ブロック300、補間回路Ｉ（ｆ）302およびブロック304（図３に示すように、実際には、複合した形で実施して良い）で示されているように、因子2Lによって補間デジタルサンプル値で入力を効果的に上向きサンプリングした後、因子M'によって直接下向きサンプリングして、（M'/2L）Ｐに等しい期間を持つ第１の導出サンプルのストリームを発生させる。M'は2Lより小さな値を持つ整数であり（したがって、M'/2Lは常に真分数である）、M'の値は2n（M'/CL）か2-n（M'/CL）のうちの一方の値がM/Lの値に等しくなるように選択される。
図３の場合のように、まず、（ブロック300で示すように）連続した入力サンプル値の各対の間に（2L−１）個のゼロ値サンプルを挿入することによって、入力を因子2Lで上向きサンプリングして良い。その後、（ブロック302で示すように）前記（2L−１）個のゼロ値サンプルのそれぞれを、連続した入力サンプル値の対の適当な補間値に置き換え、それから（ブロック304で示すように）因子M'で下向きサンプリングすることが出来る。しかしながら、真分数M'/2Lの値がたまたま非常に小さな分数にでもならない限り、このままでは、因子M'/2Lを得るのに効果的な方法とは言えない。具体的に言うと、図３の下向きサンプリングは直接なので（つまり、図３に示す本発明の再サンプリング回路の方法では、因子Ｍによる下向きサンプリングに先行して前置フイルタリング処理を必要としないので）、入力期間ＰのＭ倍の長さの長期区間を、それぞれがこの長期区間の1/2Lに等しい長さの一連の超過サンプリング期間に分割可能とし、この一連の各超過期間に適当な補間値を挿入させている。
例えば、Ｍ＝５、Ｌ＝４、したがってM/L＝5/4としてみる。そうすると、この場合、M'/2L＝5/8である。さらに、サンプル期間Ｐで生じた入力サンプル・ストリームの６つの連続サンプルがそれぞれサンプル値V1、V2、V3、V4、V5、およびV6を持つとする。この場合、サンプル期間5P/8で生じる（線形補間とする）上向きサンプリングの補間サンプル値は、それぞれV1、V1＋5/8（V2−V1）、V2＋1/4（V3−V2）、V2＋7/8（V3−V2）、V3＋1/2（V4−V3）、V4＋1/8（V5−V4）、V4＋3/4（V5−V4）、V5＋3/8（V6−V5）、およびV6となる。こうして、この処理によって入力ストリームサンプルの６個の連続サンプルの各グループは９個の連続した補間値サンプルのグループに変換される。これらの補間値サンプルは、上述の具体的な仮定に応じて、６つの連続サンプルのグループと同じ単一のクロックレートでシリアルに生じたものである。しかしながら、実際には、この補間機能が線形である必要の無いことは分かるはずである。
図２に関して上記のように、従来の再サンプリング回路の方法では、Ｍによる下向きサンプリングを可能にする前には、前置フイルタリングを行う必要があった。それゆえ、上向きサンプリングしたサンプルを直接下向きサンプリングすることは不可能であった。これは、従来の再サンプリング回路の方法における上向きサンプリングが、入力サンプル・ストリームの連続サンプル値の各対の間に（Ｌ−１）個の補間サンプル値を挿入していたということが必要である。上記で仮定したように、Ｌ＝４ならば、サンプル期間P/4で生じる（線形補間とする）従来の再サンプリング回路の方法における上向きサンプリングした補間サンプル値はそれぞれ、V1、V1＋1/4（V2−V1）、V1＋1/2（V2−V1）、V1＋3/4（V2−V1）、およびV2である。
上記の検討から分かるのは、Ｍの値が、2Lの値よりあまり小さくない限りは、実際には普通そうなのであるが、直接下向きサンプリングする能力があるので、連続した補間サンプルの各サンプル値の間の差を増やすことが出来るようになることである。これが本発明の望ましい特徴である。
図３に戻って、（M'/2L）Ｐに等しいサンプル期間を持つサンプル値の第１の導出ストリームは、デジタル・オクターブ・フィルタＨ（ｆ）306によって前置フィルタリング処理され、手段308で2nが乗算される。ただし、ｎは１以上の正の整数である。こうして、出力として、（M/L）Ｐに等しい期間を持つサンプル値の第２の導出ストリームを生じる。図３に示すように、デジタル・オクターブ・フイルタＨ（ｆ）306と2n手段308のなす別個の機能は、実際には単一の複合構造に組み込まれても良い。さらに、2n手段308の真上に位置した矢印で示すように、2n手段308は、ｎが正の値である画像のサイズ縮小の場合には前記サンプル値の第２の導出ストリームのサンプル数を減少（下向きサンプリング）させてサンプル期間を増やす機能（１）と、ｎが負の値である画像のサイズ拡大の場合には前記サンプル値の第２の導出ストリームのサンプル数を増加（上向きサンプリング）させてサンプル期間を減らす機能（２）とを果たす。
上述のように、図３に示す第１の実施例では、再サンプリング比M/Lは、真分数（画像サイズの拡大時）でも良いし、仮分数（画像サイズの縮小時）でも良い。さらに、画像拡大（Ｍ＜Ｌ）の場合には、補間係数の挿入が過剰サンプリングを含むのであるが、エイリアシングの問題は存在しない。それゆえ、図３に関して上述したように、因子M'によって直接下向きサンプリングする前に、補間デジタルサンプル値を用いて因子2Lで上向きサンプリングする必要はない。
実は、因子2Lで上向きサンプリングすると、各走査線期間中のデータ・ストリーム中に計算して挿入する必要のある補間画素値の数は２倍にされるのである。各連続走査線の小部分によって定義される画像サイズをそれぞれの連続走査線全体のサイズに拡大させる時には、この数は相当大きいものであっても良い。リアルタイム処理の場合には、このことは実行に実際的な問題を生じる。一つの明確な解決策は、２倍の周波数でシステム・クロックを働かせて各連続走査線期間の時間範囲内に必要な計算を全て行えるようにすることである。しかしながら、このことは、回路部品に追加的な熱を付与してしまって、VLSI構成には特に不都合である。もう１つの明確な解決策は、並列に作動する付加的な計算機素子を用いることである。しかしながら、これは実行のコストを上昇させてしまう。
因子2Lによる上向きサンプリングは画像サイズ拡大にとっては必要なことではないので（画像サイズ縮小にとってだけ必要）、2Lという因子によるのではなくて、Ｌという因子によって上向きサンプリングするだけで拡大する場合の方が、各走査線期間中のデータストリーム中に計算して挿入する必要のある補間画素値の数を２倍にしてしまうことや、それによって生じるリアルタイム処理の実行における問題を避けられる。図3aは、Ｍ＜Ｌの拡大時に限定した本発明の再サンプリング装置の第２の実施例による手法を示す機能ブロック図である。
図3aにおいて、ブロック300'、補間回路Ｉ（ｆ）302'およびブロック304'（図3aに示すように、実際には、複合した形で実施して良い）で示されているように、因子Ｌによって補間デジタルサンプル値で入力を効果的に上向きサンプリングした後、因子M'によって直接下向きサンプリングして、（M'/L）Ｐに等しい期間を持つ第１の導出サンプル・ストリームを発生させる。M'はＬより小さな値を持つ整数（したがって、M'/Lは常に真分数）であり、M'の値は2-n（M'/L）の値がM/Lの値に等しくなるように選択される。
さらに具体的には、図3aでは、（M'/L）Ｐに等しいサンプル期間を持つ前記サンプル値の第１の導出ストリームは、デジタル・オクターブ・フイルタＨ（ｆ）306'によって前置フイルタリング処理され、2n手段308'によって多重される。ただし、ｎは０以上の整数である。こうして、出力として、（M/L）Ｐに等しい期間を持つサンプル値の第２の導出ストリームを生じる。図3aに示すように、デジタル・オクターブ・フイルタＨ（ｆ）306と2n手段308'がなす別個の機能は、実際には単一の複合構造に組み込まれても良い。さらに、2n手段308'の真上に位置した矢印で示すように、2n手段308'は画像のサイズ拡大の場合にだけ用いられるので、前記サンプル値の第２の導出ストリームのサンプル数を増加（上向きサンプリング）する機能だけを持つ。この場合、常に−ｎ（ｎは正の整数）である。
公知のように、デジタル・オクターブ・フイルタは、その乗算器係数値それぞれによって定義されるローパス・カーネル重み付け関数特性を持つ対称マルチタップ・フイルタである。原理上は、対称マルチタップ・フイルタのタップ数は奇数でも偶数でも良い。しかしながら、実際には、対称マルチタップ・フイルタは奇数タップを有して、各乗算器係数値を、カーネル重み付け関数特性の中心乗算器係数値の周りに対称に配置できるようにするのが望ましい。通常は、ローパス・カーネル重み付け関数特性の各乗算器係数の値が、該乗算器係数の中心乗算器係数からの距離に応じて小さくなっている。
図解目的として、まず図３及び図3aの対称マルチタップ・フイルタは、５つの乗算器係数値ｃ、ｂ、ａ、ｂ、およびｃによって定義されるローパス・カーネル重み付け関数特性を持つ５タップ・デジタル・フイルタであると仮定する。一般的には、図３、図3aの両図では、これらの乗算器係数値は、上記の２つの制約に応じる。最初の制約に応じるには、ａ＋2b＋2c＝１とされる。第２の制約に応じるには、ａ＋2c＝2bとされる。この結果、ｂ＝1/4、ａ＝1/2−2cとなる。例えば、ｃ＝1/16の時には、ｂ＝1/4、ａ＝3/8である。ただし、１より大で２より小な拡大（すなわち、1/2＜M/L＜１）を提供するために図3aの第２の実施例が働くような特別な場合には、2n手段308'のｎの値がゼロになり、（すなわち、上向きサンプリングの必要がなく）前記５つの乗算器係数値ｃ、ｂ、ａ、ｂ、ｃはそれぞれ０、０、１、０、０の値を持つ。
例えば1.5の拡大（即ち（M/L）Ｐ＝20（M'/L）Ｐ＝（１＊2/3）Ｐ＝2P/3）を提供しようとする特殊な場合を考えてみよう。この例では、サンプル期間2P/3で生じる（線型補間とする）導出のためのサンプル値の第１の導出ストリームのM'/Lの各補間サンプル値は、V1、V1＋2/3（V2−V1）、V2＋1/3（V3−V2）、V3である。このサンプル値の第１の導出ストリームはフイルタ306'の入力として与えられ、フイルタ306'の５つの乗算器係数値はそれぞれ０、０、１、０、０の値を持つように設定され、2n手段308'のｎの値はゼロに設定されて、2n＝20＝１になる。それゆえ、この特殊な場合には手段308'の出力であるサンプル値の第２の導出ストリーム（M/L）Ｐは、2n手段308'の入力であるサンプル値の第１の導出ストリーム（M'/L）Ｐと同じままである。それゆえ、この特殊な場合には、乗算は起こらない。こうして、（M/L）Ｐ＝（M'/L）Ｐ＝2P/3である上記例では、1.5の画像拡大が生じる。
しかしながら、２より大（例えば、3.6）の因子Ｍによる画像拡大の機能を果たすようなもっと一般的な場合にはM'/LはM/2nL（上記例では、3.6/21＝3.6/2＝1.8）に等しくされ、図3aの2n手段308'は2n（上記例では、21＝２）の因子によってサンプル値の第１の導出ストリームを上向きサンプリングする。同様に、画像拡大の機能を果たす場合は、サンプル値の第１の導出ストリームM'/2Lは2nの因子で図３の2n手段308によって上向きサンプリングされる。しかしながら、画像縮小の機能を行う時には、図３の2n手段308は、2nの因子でサンプル値の第１の導出ストリームM'/2Lを下向きサンプリングする。
上述のように、入力サンプルは、図３に示す第１の実施例では2Lの因子で上向きサンプリングされ、図3aに示す第２の実施例ではＬの因子で上向きサンプリングされる。しかしながら、原則としては、図３での上向きサンプリングは、いかなる因子CLによっても可能である。ただし、Ｃは２以上の整数である。この場合、2n（M'/CL）はM/Lに等しく、ｎは１以上とする。同様に、図3aの上向きサンプリングもいかなる因子CLによっても可能である。ただし、Ｃは１以上の整数である。この場合、2n（M'/CL）はM/Lに等しく、ｎはゼロ以上とする。図３の場合のＣの２という値と図3aの場合のＣの１という値というのは、計算に必要のある補間値の数を最小にして、それゆえ、Ｃにもっと高い所与の正の整数を使用した場合よりも効果的なものであるということが分かるであろう。
デジタルサンプル値のストリームを５タップ・デジタル・フイルタでフイルタリング処理すると、従来は、合計４つのサンプリング期間を遅延させる手段を必要とした。これは、フィルタが、ストリームのうちの連続して生じる５つのサンプルのうちの５番目に生じるサンプルしかリアルタイムに処理できないからであって、これら５つのサンプル全部を同時に加算可能とするには、連続して生じる５つのサンプルのうちの先行の４つをそれぞれ記憶しておく必要がある。このように、図３のフイルタ306や図3aのフイルタ306'が従来の５タップ・デジタル・フイルタであったとすると、フイルタ306あるいは306'の遅延装置は、図３の場合のサンプリング期間である（4M'/2L）Ｐすなわち（2M'/L）Ｐの総遅延、あるいは図3aの場合のサンプリング期間である（4M'/L）Ｐの総遅延を提供しなければならない。ただし、Ｐはフイルタ306あるいは306'に対する入力ストリームのサンプリング期間である。ビデオ画像のサイズを再調整するときは、Ｐは、ビデオ画像の水平（Ｘ）方向の相対的に短い画素サンプリング期間、あるいは、ビデオ画像の垂直（Ｙ）方向の相対的に長い走査線サンプリング期間を意味しても良い。
図４を参照すると、５タップ・デジタル・フイルタからの出力信号において２の因子で下向きサンプリングを通常達成するための既知の方法が示されている。図４においては、図解目的のために、ビデオ画像の垂直（Ｙ）方向の相対的に長い走査線サンプリング期間が考えられているものとする。L1、L2、……、L7、L8は、図３のフイルタ306へ入力として印加されるサンプル値の第１導出ストリームによって定義されるビデオ画像の相対的に長い８つの連続した水平走査線（各走査線は大量の画素サンプル値からなる）を示している。図3aのフイルタ306'は上向きサンプリングにだけ用いられるので、図４はフイルタ306'には適用されない。
従来技術では、５タップ・デジタル・フイルタの構成は、それぞれ１つの走査線期間に遅延をもたらし、連続入力走査線L1、L2、……、L7、L8のそれぞれが第１の遅延線への入力として順に印加されるような直列接続の遅延装置を４つ有している。４つの遅延ラインはそれぞれその出力に１つのタップを有し、加えて、第１の遅延ラインはその入力に１つのタップを有している。１つのラインの画素サンプル値はそれぞれ、第１の遅延ラインへの入力として印加される前に、あるいは、５つの遅延ラインタップそれぞれから出てきた後に、カーネル関数乗算器係数c,b,a,b,cのうちの適当な１つによって乗算される。どちらにしても、５つの遅延ラインタップから同時に出てくる、１組の５つの連続走査線の対応画素サンプル値は全て（それぞれカーネル関数乗算器係数ｃ、ｂ、ａ、ｂ、ｃのうちの適当な１つによって乗算された後に）加算されて、１つの５タップ・フイルタリング処理出力画素サンプル値になる。
具体的に言うと、図４において、フイルタの中央入力ラインL3に対応した、実線矢印400によって概略図示されたフイルタリング処理出力は、図４に示す入力ラインL1からL5の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｃ、ｂ、ａ、ｂ、ｃで乗算したものの和を示している。これらの入力ラインL1からL5の対応画素サンプル値は５タップ・フイルタの５つのタップそれぞれに現れるのであるが、L1は４走査線期間遅延され、L2は３走査線期間遅延され、L3は２走査線期間遅延され、L4は１走査線期間遅延され、そしてL5は遅延されていない（すなわち、リアルタイムに生じる）。２走査線期間後に、フイルタの中央入力ラインL5に対応した、実線矢印402で概略図示したフイルタリング処理出力は、入力ラインL3からL7の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｃ、ｂ、ａ、ｂ、ｃで乗算したものの和を示している。このとき、これらの入力ラインL3からL7の対応画素サンプル値は５タップ・フイルタの５つのタップそれぞれに現れる。同様に、各フイルタリング処理出力は、フイルタの各連続奇数中央入力ライン（例えば、L7、L9、L11、……）に対応して導出されて良い。『Ｘ』で印したフイルタの偶数中央入力ライン（例えば、L2、L4、L6、L8、……）に対応したフイルタリング処理出力は導出されず、２の因子による走査線の下向きサンプリングが達成される。
図4aを参照すると、まず初期の入力ラインそれぞれの後ろに付加入力ラインを挿入した後、それらの入力ラインをデジタルフイルタの５つのタップに順次印加することによって、５タップデジタル補間フイルタからの出力信号において２の因子によって上向きサンプリングを達成する方法が示されている。各付加入力ライン（例えば、図4aの破線で示すL2、L4、L6、L8）は、単にゼロ値サンプルからなっている。図4aにおいては、フイルタの中央入力ラインL3に対応した、実線矢印404によって概略図示されたフイルタリング処理出力は、入力ラインL1からL5の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｃ、ｂ、ａ、ｂ、ｃで乗算したものの和を示している。入力ラインL2およびL4のサンプル値は全てゼロなので、フイルタの中央入力ラインL3に対応したフイルタリング処理出力は、入力ラインL1、L3、L5の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｃ、ａ、ｃで乗算したものだけの和を示す。さらに、フイルタの中央入力ラインL4に対応した、実線矢印406で概略図示したフイルタリング処理出力は、入力ラインL2からL6の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｃ、ｂ、ａ、ｂ、ｃで乗算したものの和を示している。入力ラインL2、L4、L6のサンプル値は全てゼロなので、フイルタの中央入力ラインL4に対応したフイルタリング処理出力は、入力ラインL3とL5の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｂ、ｂで乗算したものだけの和を示す。一般化すると、L3よりも高い各奇数中央入力ラインに対応したフイルタリング処理出力値を計算するにはカーネル関数乗算器係数ｃ、ａ、ｃだけが使われ、L4よりも高い各偶数中央入力ラインに対応したフイルタリング処理出力値を計算するにはカーネル関数乗算器係数ｂ、ｂだけが使われる。
図４および図4aに関して上述の従来技術構成の持つ問題は、オクターブ・前置フイルタに２の下向きサンプリングを与え、各出力サンプル値において入力サンプル値を効果的に５タップ・フイルタに結合させるための大量の（すなわち、合計少なくとも４つの）相対的に長い走査線期間の遅延手段が必要であるということである。４あるいは８（すなわち２のより大きいべき数）の下向きサンプリングまたは上向きサンプリングを遂行するために、こうした２の下向きサンプリングまたは上向きサンプリングの構成を複数個カスケードするか、または、より大量のタップを持つオクターブ・前置フイルタを用いることができる。どちらにしても、相対的に長い走査線期間の遅延手段の必要数は急速に増加する。
本発明は、ある意味では、上述の従来技術の方法のように、各出力サンプル値において入力サンプル値を効果的に５タップ・フイルタに統合させることができる一方で、下向きサンプリングには2nの、上向きサンプリングには2-nの乗算をｎの値に拘らず提供するような走査線期間遅延装置を２つだけしか必要としないオクターブ・前置フイルタに向けられた構成である。こうして、図３におけるｎは、下向きサンプリングのために２、４、８あるいはそれ以上による乗算を提供するための１、２、３あるいはそれ以上のものであってもよく、図3aにおけるｎは、上向きサンプリングのために1/2、1/4、1/8あるいはそれ未満による乗算を提供するための−１、−２、−３あるいはそれ未満のものであって良い。本発明のオクターブ・前置フイルタは、図３あるいは図3aに示すタイプの再サンプリング回路、例えばビデオ画像のサイズ再調整回路をVLSIチップ上に構成することを可能にする。
図5aを参照すると、第１の動作モードでは２の因子による下向きサンプリングを提供し、第２の動作モードでは２の因子による上向きサンプリングを提供し、第３の動作モードでは１の因子を与えてその入力と出力の間で透過させることができる、本発明の第１の５タップ・オクターブ・前置フイルタの構成が示されている。このオクターブ・前置フイルタの構成は、サンプル値の３つの別個の入力ストリームから導出されるサンプル値の単一の出力ストリームを導出するのであるが、３つの乗算器500−１、500−２、500−３、３つの加算器502−１、502−２、502−３、２つのＮ−サンプル遅延手段504−１、504−２、および６つの２入力マルチプレクサー506a−１、506a−２、506a−３、506a−４、506a−５、506a−６からなっている。図5aは、その第１（下向きサンプリング）モードで動作している５タップ・オクターブ・前置フイルタの構成を具体的に示している。しかしながら、以下に述べるように、それへの入力とそのタイミング制御を変更することによって、図5aの同一５タップ・オクターブ・前置フイルタの構成を、第２の（上向きサンプリング）モードあるいは第３の（透過）モードで動作させることもできる。
図5aに示すように、入力ラインL1が始まると、乗算器500−１は、サンプル値の連続入力ラインL1、L2、……、L6、L7、……の全てをそれぞれ被乗数として順に受け取り、マルチプレクサー506a−１の出力に生じるマルチプレクサー506a−１入力カーネル関数係数ｃまたはｂを乗数として受け取る。入力ラインL3が始まると、乗算器500−２は、サンプル値の連続入力ラインL3、L4、……、L8、L9、……の全てをそれぞれ被乗数として順に受け取り、マルチプレクサー506a−２の出力に生じるマルチプレクサー506a−２入力カーネル関数係数ａまたはｂを乗数として受け取る。入力ラインL5が始まると、乗算器500−１は、サンプル値の連続奇数番号入力ラインL5、L7、L9、……の全てをそれぞれ被乗数として順に受け取り、カーネル関数係数ｃを乗数として受け取る。一般的には、連続入力ラインL1、……、L9、……のそれぞれはＮ個のサンプル値からなる。ただし、Ｎはどんな正の整数でも良い。しかしながら、図解目的のため、これらの連続入力ラインのそれぞれは、１走査線期間を占めるビデオ画像の１走査線であり、Ｎはこうした走査線期間における画素サンプル値の数であるとしている。
乗算器500−１の出力は加算器502−１への第１入力として印加され、加算器502−１の出力は第１のＮ−サンプル遅延手段504−１への入力として印加される。第１のＮ−サンプル遅延手段504−１の出力は、マルチプレクサー506−３への第１入力とマルチプレクサー506−４への第１入力として印加される。両マルチプレクサー506−３および506−４への第２入力としては、ゼロ値が印加される。マルチプレクサー506−３の出力は加算器502−１の第２入力として印加され、マルチプレクサー506−４の出力は加算器502−２の第１入力として印加される。乗算器500−２からの出力は加算器502−２への第２入力として印加され、加算器502−２の出力は第２のＮ−サンプル遅延手段504−２への入力として印加される。第２のＮ−サンプル遅延手段504−２からの出力は、マルチプレクサー506−５への第１入力とマルチプレクサー506−６への第１入力として印加される。両マルチプレクサー506−５および506−６への第２入力としては、ゼロ値が印加される。マルチプレクサー506−５からの出力は加算器502−２の第３入力として印加され、マルチプレクサー506−６からの出力は加算器502−３の第１入力として印加される。乗算器500−３からの出力は加算器502−３への第２入力として印加され、加算器502−３からの出力は、図5aに示す本発明の第１の５タップ・オクターブ・前置フイルタの構成によって導出される出力ラインY1、Y2、Y3、Y4、……からなっている。
図5aに示す構成に加えて、実際には、各乗算器、加算器は、その入力と出力それぞれに個々のサンプル・ラッチ（図示せず）を有し、各ラッチによってデータの流れに１サンプル分の遅延を導く。さらに、実際には、図5aに示すオクターブ・前置フイルタの構成を通るデータの流れを制御するために、適当なタイミング制御回路構成（図示せず）を設ける。この図5aに示すオクターブ・前置フイルタの構成を通るデータの流れを論じよう。
２入力マルチプレクサーはすべて、各走査線期間の最後にその２入力間において前後に切り替わる。マルチプレクサー506a−１の初期設定は、入力ラインL1から始まる各奇数入力ラインの出現中は、ｃ係数入力状態にあるようになっており、マルチプレクサー506a−２の初期設定は、入力ラインL3から始まる各奇数入力ラインの出現中は、ａ係数入力状態にあるようになっている。マルチプレクサー506−３および506−５の初期設定は、すべての偶数入力ライン走査線期間動作サイクル中にだけ第１および第２のＮ−サンプル遅延手段504−１および504−２の各出力を再循環し、奇数入力ライン走査線期間動作サイクル中にはすべてゼロ値を通常に再循環させるようになっている（しかしながら、原則としては、それら奇数入力ライン走査線期間動作サイクル中に（例えば第１サイクル中に）マルチプレクサー506−３および506−５がゼロ値状態になることは絶対的に本質的というわけではない。それらのサイクル中は、第１および第２のＮ−サンプル遅延手段504−１、504−２の各出力からはサンプル値が出現し得ないことは先験的に知られていることである）。マルチプレクサー506−４および506−６の初期設定は、奇数入力ライン走査線期間動作サイクル中にだけ第１および第２のＮ−サンプル遅延手段504−１および504−２の各出力を各加算器502−２および502−３の第１入力に送り、偶数入力ライン走査線期間動作サイクル中にはゼロ値を各加算器502−２および502−３の第１入力に送るようになっている。
次の論述のために、各入力ラインL1、L2、L3、……の対応サンプル値をvL1、vL2、vL3、……でそれぞれ示す。
フイルタの動作の第１の走査線期間サイクル中は、入力ラインL1のＮ個のサンプルのそれぞれだけがまずｃ係数で乗算されて、サンプル値cvL1を得る。これらのcvL1値のＮ個のサンプルのそれぞれは加算器502−１を通して第１のＮ−サンプル遅延手段504−１への入力として印加される。
フイルタの動作の第２の走査線期間サイクル中は、マルチプレクサー506−３は非ゼロ状態にあるので、今度は第１のＮ−サンプル遅延手段504−１からの出力として生じたcvL1値のサンプルが加算器502−１への第２入力として再循環されて、加算器502−１への第１入力として印加されている対応bvL2値のサンプルに加算される。それゆえ、動作の第２の走査線期間サイクル中は、第１のＮ−サンプル遅延手段504−１への入力として印加される各サンプルのサンプル値はcvL1＋bvL2である。しかしながら、動作の第２の走査線期間サイクル中は、マルチプレクサー506−４はゼロ状態にあるので、cvL1値化のサンプルは加算器502−２の第１入力には印加されない。
フイルタの動作の第３の走査線期間サイクル中は、両マルチプレクサー506−３、506−５はゼロ状態にあるので、第１のＮ−サンプル遅延手段504−１からの出力として生じているcvL1＋bvL2値のサンプルを加算器502−１への第２入力として再循環させない。しかしながら、今度はマルチプレクサー506−４が非ゼロ状態にあるので、これらのcvL1＋bvL2値のサンプルはマルチプレクサー506−４を通して加算器502−２の第１の入力に送られ、avL3値のサンプルが乗算器500−２から加算器502−２の第２入力に印加される。こうして、動作の第３の走査線期間サイクル中は、cvL1＋bvL2＋avL3値のサンプルが第２のＮ−サンプル遅延手段504−２への入力として印加される。
フイルタの動作の第４の走査線期間サイクル中は、両マルチプレクサー506−３および506−５は非ゼロ状態にあるので、今度は、第２のＮ−サンプル遅延手段504−２からの出力として生じた、cvL1＋bvL2＋avL3値のサンプルが加算器502−２への第３入力として再循環される。さらに、bvL4値のサンプルが乗算器500−２から加算器502−２の第２入力として印加される。それゆえ、cvL1＋bvL2＋avL3＋bvL4値のサンプルが加算器502−２の出力から第２のＮ−サンプル遅延手段504−２の入力に印加される。しかしながら、この時には両マルチプレクサー506−４および506−６はゼロ状態にあるので、第１のＮ−サンプル遅延手段504−１の出力から生じているcvL3値のサンプルは加算器502−１の第２入力に再循環される一方、これらのcvL3値のサンプルは加算器502−２の第１入力には送られず、また、第２のＮ−サンプル遅延手段504−２からの出力として生じているcvL1＋bvL2＋avL3値のサンプルは加算器502−３の第１入力には送られない。再循環したcvL3値のサンプルは加算器502−１でbvL4に加算されて、cvL3＋bvL4値のサンプルが第１のＮ−サンプル遅延手段504−１の入力に印加される。
フイルタの動作の第５の走査線期間サイクル中は、両マルチプレクサー506−３、506−５はゼロ状態にあるので、第１のＮ−サンプル遅延手段504−１からの出力として生じているcvL3＋bvL4値のサンプルを加算器502−１への第２入力として再循環させない。しかしながら、今度はマルチプレクサー506−４および506−６が非ゼロ状態にあるので、これらcvL3＋bvL4値のサンプルはマルチプレクサー506−４を通して加算器502−２の第１入力に送られ、第２のＮ−サンプル遅延手段504−２から生じているcvL1＋bvL2＋avL3＋bvL4値のサンプルがマルチプレクサー506−４を通して加算器502−３の第１入力に送られる。さらに、乗算器500−３からの出力cvL5が加算器502−３への第２入力として印加され、その結果、cvL1＋bvL2＋avL3＋bvL4＋cvL5値のサンプルからなるフイルタリング処理出力ラインY1が図5aに示す本発明の第１の５タップ・オクターブ・前置フイルタ構成から生じる。
動作の第５の走査線期間サイクル中のcvL3＋bvL4値のサンプルの状態は、動作の第３の走査線期間サイクル中のcvL1＋bvL2値のサンプルの状態に一致していることが分かる。こうして、動作の第６および第７の走査線期間サイクルは、それぞれ動作の第４および第５の走査線期間サイクルに対応することになる。それゆえ、cvL3＋bvL4＋avL5＋bvL6＋cvL7値のサンプルからなるフイルタリング処理出力ラインY2が動作の第７の走査線期間サイクルで生じることになる。同様に、cvL5＋bvL6＋avL7＋bvL8＋cvL9値のサンプルからなるフイルタリング処理出力ラインY3が動作の第９の走査線期間サイクルで生じcvL7＋bvL8＋avL9＋bvL10＋cvL11値のサンプルからなるフイルタリング処理出力ラインY4が動作の第11の走査線期間サイクルで生じ、という具合になる。
上記のことから、フイルタリング処理出力ラインは、動作の第５の走査線期間サイクルから始まる、動作の各連続奇数走査線期間サイクルにだけ生じることが分かる。それゆえ、２の因子による下向きサンプリングが、図5aに示す本発明の第１の５タップ・オクターブ・前置フイルタ構成の入力ラインと出力ラインとの間に起こる。
第２（上向きサンプリング）モードでの図5aの動作には、第１（下向きサンプリング）モードに関する上述のものとは、３点の相違を必要とするだけである。第１には、Ｎ−サンプル遅延手段504−１、504−２の各出力の再循環は、上向きサンプリングモードには必要ではない。それゆえ、マルチプレクサー506−３、506−４、506−５、506−６それぞれのタイミング制御は、全ての期間において、Ｎ−サンプル遅延手段504−１の出力を加算器502−２の第１入力に送り、Ｎ−サンプル遅延手段504−２の出力を加算器502−３の第１入力に送って、Ｎ−サンプル遅延手段504−１、504−２の各出力を再循環しないように設定される。第２には、２で上向きサンプリングするために、各偶数入力ラインL2、L4、L6、L8、……の各画素サンプル値は、それぞれの直前の入力ラインL1、L3、L5、L7、……を複製したものとする。第３には、上向きサンプリングにおいては奇数出力ラインの除外が起こらないので、乗算器500−２に印加される第１の入力ラインは（L3ではなくて）L2であり、乗算器500−３に印加される第１の入力ラインは（L5ではなくて）L3である。しかしながら、乗算器500−３への入力としては今まで通り奇数入力ライン（すなわち、L3、L5、L7、……）だけが印加される。
図5aの動作の上向きサンプリングモードでは各偶数入力ラインL2、L4、……は各奇数入力ラインL1、L3、……の複製であることを考慮すると、一つの奇数入力ライン名は次の式のそれぞれにおいて、対応した偶数入力ライン名の代わりに使えるということになる。上向きサンプリングモードにおける動作時の図5aの動作の上述の変更の結果、そこから生じるフイルタリング処理出力ラインY1はcvL1＋avL3＋cvL5値のサンプルからなり、そこから生じるフイルタリング処理出力ラインY2はbvL3＋bvL5値のサンプルからなる。一般化するとそこから生じる各奇数フイルタリング処理出力ラインYiは、cvLi＋avL(i+2)＋cvL(i+4)値のサンプルからなりそこから生じる各偶数フイルタリング処理出力ラインＹ（ｉ＋１）は、bvL(i+2)＋bvL(i+4)値のサンプルからなる。
上向きサンプリングモードではｂカーネル関数係数は各奇数フイルタリング処理出力ラインYiには寄与せず、ａおよびｃカーネル関数係数は各偶数フイルタリング処理出力ラインＹ（ｉ＋１）には寄与しないので、奇数偶数両出力ラインの画素サンプル値は半分に減少する。この問題を克服するために、カーネル関数係数ｃ、ｂ、ａ、ｂ、ｃはそれぞれ、２の因子による上向きサンプリングの場合は、通常の２倍の値を持つべきである。例えば、カーネル関数係数ｃ、ｂ、ａ、ｂ、ｃの通常値が1/16、1/4、3/8、1/4、1/16であるとすると、図5aの上向きサンプリングモードにおけるこれらの係数の値は、1/8、1/2、3/4、1/2、1/8であるべきである。
第３の（透過）モードで図5aを動作させるには、全ての期間においてマルチプレクサー506a−２のタイミング制御を、乗算器500−２が入力カーネル関数係数ａだけを受け取るように設定し、全ての期間において各マルチプレクサー506−３、506−４、506−５、506−６のタイミング制御を、Ｎ−サンプル遅延手段504−１の出力を加算器502−２の第１入力に送り、Ｎ−サンプル遅延手段504−２の出力を加算器502−３の第１入力に送って、Ｎ−サンプル遅延手段504−１、504−２の各出力を再循環しないように設定する。さらに、透過モードにおいては、入力ラインL1、L2、L3、L4、L5、……のすべてが乗算器500−２に（入力ラインL3、L4、L5、……だけではなく）印加され、カーネル関数係数ｃ、ｂ、ａの各値はｃ＝０、ｂ＝０、ａ＝１に設定される。加えて、透過モードにおける入力ラインL1、L2、L3、L4、L5、……のどれもがそれぞれ自身の元の画素サンプル値からなる（すなわち、入力ラインL1、L2、L3、L4、L5、……はどれも、直前の入力ラインの画素サンプル値の複製ではない）。その結果、図5aは、透過モードにおいては、各入力ラインL1、L2、L3、L4、L5、……をそれぞれに対応する出力ラインY1、Y2、Y3、Y4、Y5、……に１ライン分の遅延で渡す単なる単一Ｎ−サンプル遅延ラインとして動作する。
図5bを参照すると、４の因子による下向きサンプリングを行う第１動作モードで具体的に図解した本発明の第２の５タップ・オクターブ・前置フイルタの構成が示されている。図5bと上述の図5aとの物理構成の唯一の違いは、図5aの２入力マルチプレクサー506a−１、506a−２が、図5bでは４入力マルチプレクサー506b−１、506b−２に置き換えられることである。マルチプレクサー506b−１は、４つのカーネル関数係数ｅ、ｄ、ｃ、ｂのそれぞれを順に乗算器500−１の乗算器入力に送るように周期動作をする。マルチプレクサー506b−２は、４つのカーネル関数係数ａ、ｂ、ｃ、ｄのそれぞれを順に乗算器500−２の乗算器入力に送るように周期動作をする。さらに、カーネル関数係数ｅは乗算器500−３の入力に直接印加される。
この物理構成の相違の他に、図5bの動作の下向きサンプリングモードと図5aの動作の下向きサンプリングモードとでは、それらで行われる信号タイミングと制御に次のような相違がある。図5bでは、入力ラインL5から始まる各入力ラインが乗算器500−２の被乗数入力に印加され、入力ラインL9から始まる４番目毎の入力ライン（すなわち、L13、L17、……）が乗算器500−３の被乗数入力に印加される。さらに、マルチプレクサー506−３、506−５のタイミング制御は、動作の走査線期間サイクル１、５、９、13、……中にだけそれらのマルチプレクサーをゼロ状態にして、動作の他の走査線期間サイクル中にはすべて非ゼロ状態にするようになっており、一方、マルチプレクサー506−４、506−６のタイミング制御は、動作の走査線期間サイクル１、５、９、13、……中にだけそれらのマルチプレクサーを非ゼロ状態にして、動作の他の走査線期間サイクル中にはすべてゼロ状態にするようになっている。
図5bの構成の動作では、evL1値のサンプルが、動作の走査線期間サイクル１中第１のＮ−サンプル遅延手段504−１の入力に印加される。動作の走査線期間サイクル２から４のそれぞれのサイクル中には、第１のＮ−サンプル遅延手段504−１の出力として生じる一連のより古い再循環サンプル値が加算器502−１の第２入力に印加され、加算器502−１の第１入力に印加される新しいサンプル値に加えられる（図5aに関して詳細に上述した方法）。この結果evL1＋dvL2＋cvL3＋bvL4値のサンプルが動作の第４の走査線期間サイクル中に第１のＮ−サンプル遅延手段504−１の入力に印加されることになる。しかしながら、これらのevL1＋dvL2＋cvL3＋bvL4値のサンプルが動作の第５の走査線期間サイクル中に第１のＮ−サンプル遅延手段504−１からの出力として生じるときには、マルチプレクサー506−３はゼロ値状態にあり、マルチプレクサー506−４は非ゼロ値状態にある。それゆえ、これらのevL1＋dvL2＋cvL3＋bvL4値のサンプルは加算器502−２の第１入力に送られて、そこで第２のＮ−サンプル遅延手段504−２への入力として印加される前に、加算器502−２の第２入力に印加されるavL5値のサンプルに加えられる。
動作の走査線期間サイクル６から８のそれぞれのサイクル中には、第２のＮ−サンプル遅延手段504−２からの出力として生じる一連のより古い再循環サンプル値が加算器502−２の第３入力に印加されて、加算器502−２の第２入力に印加される新しいサンプル値に加えられる。その結果、evL1＋dvL2＋cvL3＋bvL4＋avL5＋bvL6＋cvL7＋dvL8値のサンプルが動作の第８走査線期間サイクル中に第２のＮ−サンプル遅延手段504−２の入力に印加されることになる。しかしながらこれらevL1＋dvL2＋cvL3＋bvL4＋avL5＋bvL6＋cvL7＋dvL8値のサンプルが動作の第９走査線期間サイクル中に第１のＮ−サンプル遅延手段504−１からの出力として生じるときには、マルチプレクサー506−５はゼロ値状態にあり、マルチプレクサー506−６は非ゼロ値状態にある。それゆえに、これらのevL1＋dvL2＋cvL3＋bvL4＋avL5＋bvL6＋cvL7＋dvL8値のサンプルは加算器502−３の第１入力に送られて、そこで、加算器502−３の第２入力に印加されるevL9値のサンプルに加えられる。この結果、フイルタリング処理出力ラインY1を構成する加算器502−３の出力からのサンプル値はevL1＋dvL2＋cvL3＋bvL4＋avL5＋bvL6＋cvL7＋dvL8＋evL9となる。
同様に、フイルタリング処理出力ラインY2を構成するサンプル値は、evL5＋dvL6＋cvL7＋bvL8＋avL9＋bvL10＋cvL11＋dvL12＋evL13となり、フイルタリング処理出力ラインY3を構成するサンプル値は、evL9＋dvL10＋cvL11＋bvL12＋avL13＋bvL14＋cvL15＋dvL16＋evL17といった具合になる。
上記のことから、図5bの下向きサンプリングモードでは、フイルタリング処理出力ラインは、動作の第９走査線期間サイクルから始まる、動作の各４番目毎の連続走査線期間にだけ生じることが分かる。それゆえ、４の因子による下向きサンプリングが、図5bに示す本発明の第２の５タップ・オクターブ・前置フイルタ構成の入力ラインと出力ラインとの間に起こる。
上向きサンプリングモード時の図5bの変更は、上述の図5aの上向きサンプリングモード時の変更と同様であるが、ただし、図5bにおける、４つ連続した入力ラインの各連続組L1からL4、L5からL8、……のそれぞれにおいて、各組の最後の３つの入力ラインのそれぞれの画素サンプル値がその組の第１の入力ラインの画素サンプル値の複製になっている。この複製関係を考慮すると、各組の第１の入力ライン（すなわち、L1、L5、L9、……）の入力ライン名は、次の式のそれぞれにおいてその組の最後の３つの入力ライン名（すなわち、L2からL4、L6からL8、L10からL12、……）それぞれの代わりに使えると言うことになる。こうして、上向きサンプリングモード動作時の図5bの動作の上述の変更の結果４つの連続出力ラインの連続組それぞれの第１のフイルタリング処理出力ラインYi（YiはY1、Y5、Y9、……に相当する）はevLi＋avL(i+4)＋cvL(i+8)値のサンプルからなり、これらの連続組それぞれの第２のフイルタリング処理出力ラインＹ（ｉ＋１）はbvL(i+4)＋dvL(i+8)値のサンプルからなり、これらの連続組それぞれの第３のフイルタリング処理出力ラインＹ（ｉ＋２）は、cvL(i+4)＋cvL(i+8)値のサンプルからなり、これらの連続組それぞれの第４のフイルタリング処理出力ラインＹ（ｉ＋３）は、dvL(i+4)＋bvL(i+8)値のサンプルからなる。
図5cを参照すると、８の因子による下向きサンプリングを提供する第１の動作モードで具体的に図解した本発明の第３の５タップ・オクターブ・前置フイルタの構成が示されている。図5cと上述の図5aとの物理構成の唯一の違いは、図5aの２入力マルチプレクサー506a−１、506a−２が、図5cでは８入力マルチプレクサー506c−１、506c−２に置き換えられることである。マルチプレクサー506c−１は、８つのカーネル関数係数ｉ、ｈ、ｇ、ｆ、ｅ、ｄ、ｃ、ｂのそれぞれを順に乗算器500−１の乗算器入力に送るように周期動作をする。マルチプレクサー506c−２は、８つのカーネル関数係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉのそれぞれを順に乗算器500−２の乗算器入力に送るように周期動作をする。さらに、カーネル関数係数ｉは乗算器500−３の入力に直接印加される。
図5cと図5aとで行われる信号タイミングと制御の相違は、上述した、図5bと図5aとで行われる信号タイミングと制御の相違に幾分類似している。図5cの場合では、入力ラインL9から始まる各入力ラインが乗算器500−２の被乗数入力に印加され、入力ラインL17から始まる８番目毎の入力ライン（すなわち、L25、L33、……）が乗算器500−３の被乗数入力に印加される。さらに、マルチプレクサー506−３、506−５のタイミング制御は、動作の走査線期間サイクル１、９、17、……中にだけそれらのマルチプレクサーをゼロ状態にして、動作の他の走査線期間サイクル中にはすべて非ゼロ状態にするようになっており、一方、マルチプレクサー506−４、506−６のタイミング制御は、動作の走査線期間サイクル１、９、17、……中にだけそれらのマルチプレクサーを非ゼロ状態にして、動作の他の走査線期間サイクル中にはすべてゼロ状態にするようになっている。
図5a、図5bに関して詳細に述べたものと同一の動作方法を用いて、フイルタリング処理出力ラインY1の図5cのサンプル値は、ivL1＋hvL2＋gvL3＋fvL4＋evL5＋dvL6＋cvL7＋bvL8＋avL9＋bvL10＋cvL11＋dvL12＋evL13＋fvL14＋gvL15＋hvL16＋ivL17となる。フイルタリング処理出力ラインY2のサンプル値は、ivL9＋hvL10＋gvL11＋fvL12＋evL13＋dvL14＋cvL15＋bvL16＋avL7＋bvL18＋cvL19＋dvL20＋evL21＋fvL22＋gvL23＋hvL24＋ivL25となる。フイルタリング処理出力ラインY3のサンプル値は、ivL9＋hvL10＋gvL11＋fvL12＋evL13＋dvL14＋cvL15＋bvL16＋avL7＋bvL18＋cvL19＋dvL20＋evL21＋fvL22＋gvL23＋hvL24＋ivL25となる。
上記のことから、フイルタリング処理出力ラインは、動作の第１の７走査線期間サイクルから始まる、動作の各一連の８番目毎の走査線期間サイクルにだけ生じることが分かる。それゆえ、８の因子による下向きサンプリングが、図5cに示す本発明の第３の５タップ・オクターブ・前置フイルタ構成の入力ラインと出力ラインとの間に起こる。
上向きサンプリングモード時の図5cの変更は、上述の図5aの上向きサンプリングモード時の変更と同様であるが、ただし、図5cにおける８つの連続入力ラインの各連続組L1からL8、L9からL16、……のそれぞれにおいて、各組の最後の７つの入力ラインのそれぞれの画素サンプル値がその組の第１の入力ラインの画素サンプル値の複製になっている。この複製関係を考慮すると、各組の第１の入力ライン（すなわち、L1、L9、L17、……）の入力ライン名は次の式のそれぞれにおいてその組の最後の７つの入力ライン名（すなわち、L2からL8、L10からL16、L18からL24、……）それぞれの代わりに使えると言う意味になる。こうして上向きサンプリングモード動作時の図5cの動作の上述の変更の結果、８つの連続出力ラインの連続組それぞれの第１のフイルタリング処理出力ラインYi（YiはY1、Y9、Y17、……に相当する）はivLi＋avL(i+8)＋ivL(i+16)値のサンプルからなり、これらの連続組それぞれの第２のフイルタリング処理出力ラインＹ（ｉ＋１）はbvL(i+8)＋hvL(i+16)値のサンプルからなり、これらの連続組それぞれの第３のフイルタリング処理出力ラインＹ（ｉ＋２）はcvL(i+8)＋gvL(i+16)値のサンプルからなり、これらの連続組それぞれの第４のフイルタリング処理出力ラインＹ（ｉ＋３）はdvL(i+8)＋fvL(i+16)値のサンプルからなり、これらの連続組それぞれの第５のフイルタリング処理出力ラインＹ（ｉ＋４）はevL(i+8)＋evL(i+16)値のサンプルからなり、これらの連続組それぞれの第６のフイルタリング処理出力ラインＹ（ｉ＋５）はfvL(i+8)＋dvL(i+16)値のサンプルからなり、これらの連続組それぞれの第７のフイルタリング処理出力ラインＹ（ｉ＋６）はgvL(i+8)＋cvL(i+16)値のサンプルからなり、これらの連続組それぞれの第８のフイルタリング処理出力ラインＹ（ｉ＋７）はhvL(i+8)＋bvL(i+16)値のサンプルからなる。
適当なタイミングと制御によって、図5cに示す物理構成は、８の因子による下向きサンプリングや上向きサンプリングを提供することに加えて、２あるいは４の因子による下向きサンプリングや上向きサンプリングを選択的に提供することに用いても良い。カーネル関数係数ｃ、ｂを４組、８タップ・マルチプレクサー506c−１に印加し、カーネル関数係数ａ、ｂを４組、８タップ・マルチプレクサー506c−２に印加し、カーネル関数係数ｃを乗数として乗算器500−３に印加し、入力ラインを被乗数として乗算器500−２、500−３の両方に印加し、図5aにおける下向きサンプリングあるいは上向きサンプリングに用いられるタイミングに従ってマルチプレクサー506−３、506−４、506−５、506−６をゼロ値状態と非ゼロ値状態との間で切り替えることによって、２の因子による下向きサンプリングや上向きサンプリングを行う。カーネル関数係数ｅ、ｄ、ｃ、ｂを２組、８タップ・マルチプレクサー506c−１に印加し、カーネル関数係数ａ、ｂ、ｃ、ｄを２組、８タップ・マルチプレクサー506c−２に印加し、カーネル関数係数ｅを乗数して乗算器500−３に印加し、入力ラインを被乗数として乗算器500−２、500−３の両方に印加し、図5bにおける下向きサンプリングあるいは上向きサンプリングに用いられるタイミングに従ってマルチプレクサー506−３、506−４、506−５、506−６をゼロ値状態と非ゼロ値状態との間で切り替えることによって、４の因子による下向きサンプリングや上向きサンプリングを行う。
一般化すると、本発明の５タップ・オクターブ・前置フイルタ構造は、（１）2n個のタップ・マルチプレクサー506−１および506−２を用いて、マルチプレクサー506−１が2n+1＋１個の係数のカーネル関数のうちの、第１の2n個の係数をそれぞれ順に乗算器500−１の乗数入力に印加し、マルチプレクサー506−２が2n+1＋１個の係数のカーネル関数のうちの２番目からの2n個の係数をそれぞれ順に乗算器500−２の乗数入力に印加し、2n+1＋１個の係数のカーネル関数のうちの最後の係数を乗算器500−３の乗数入力に直接印加し、（２）各入力ラインを被乗数入力として乗算器500−１へ印加し、下向きサンプリングには入力ラインL2n＋１から始まるか、あるいは上向きサンプリングには入力ラインL2から始まる各入力ラインを被乗数入力として乗算器500−２に印加し、下向きサンプリングには入力ラインL2n+1＋１から始まるか、あるいは上向きサンプリングには入力ラインL3から始まる2n番目毎の入力ラインを被乗数入力として乗算器500−３に印加し、（３）下向きサンプリングのためには、多くとも動作の走査線期間サイクル１、2n＋１、2n+1＋１、2n+2＋１、2n+3＋１、……の間だけは全てマルチプレクサー506−３、506−５をゼロ状態に維持し、動作の他の走査線期間サイクルの間は全てマルチプレクサー506−３、506−５を非ゼロ状態に維持する一方で、多くとも、動作の走査線期間サイクル１、2n＋１、2n+1＋１、2n+2＋１、2n+3＋１、……の間だけは全てマルチプレクサー506−４、506−６を非ゼロ状態に維持し、動作の他の走査線期間サイクルの間は全てマルチプレクサー506−４、506−６をゼロ状態に維持し、また一方で、上向きサンプリングのためには、動作のすべての走査線期間サイクルの間マルチプレクサー506−３、506−５をゼロ状態に維持し、動作のすべての走査線期間サイクルの間マルチプレクサー506−４、506−６を非ゼロ状態に維持することによって、2nの因子による走査線の下向きサンプリングや上向きサンプリングを提供することが出来る。
本発明の手法は、図解のために用いた図5a、図5b、および図5cに示す５タップ・フイルタ構造への適用に限定されるものではない。一般的には、奇数個のタップＴを有するフイルタ構造は、2n（Ｔ−１）/2＋１個の係数のカーネル関数を必要とし（したがって、５タップ・フイルタ構造には2n+1＋１個の係数のカーネル関数が必要）、一方、偶数個のタップＴを有するフイルタ構造は、2nT/2個の係数のカーネル関数を必要とする。奇数個でも偶数個でも、どんな数のタップを持つフイルタ構造にも適用可能な本発明の手法によると、必要なＮ−サンプル遅延手段の数は、T/2の整数部分に等しい。ただし、Ｔはフイルタのタップ数である。こうして、５タップまたは４タップ・フイルタは２つのＮ−サンプル遅延手段を必要とするが、３タップまたは２タップ・フイルタは１つのＮ−サンプル遅延手段だけでよく、また７タップまたは６タップ・フイルタは３つのＮ−サンプル遅延手段を必要とする。各Ｎ−サンプル遅延手段の入力に関連づけられるのは、カーネル関数係数マルチプレクサー（例えば、図5aのマルチプレクサー506a−１、506a−２）、乗算器（例えば、図5aの乗算器500−１、500−２）、および加算器（例えば、図5aの加算器502−１、502−２）である。フイルタが奇数タップ・フイルタであるならば、最終Ｎ−サンプル遅延手段（例えば、図5aのＮ−サンプル遅延手段504−２）から生じるカーネル関数重み付けサンプル値に、最終カーネル関数係数（例えば、図5aの係数ｃ）で重みをつけたサンプル値を加算するために、付加乗算器（例えば、図5aの乗算器502−３）と加算器（例えば、図5aの加算器502−３）が必要である。フイルタが偶数タップ・フイルタであるならば、こうした付加乗算器と加算器は必要ではない。各Ｎ−サンプル遅延手段の出力に関連づけるのは、（１）この出力の該Ｎ−サンプル遅延手段の入力への再循環を制御するための第１のゼロ値挿入用マルチプレクサー（例えば、図5aのマルチプレクサー506−３、506−５）、および（２）この出力の転送を制御する第２のゼロ値挿入用マルチプレクサー（例えば、図5aのマルチプレクサー506−４、506−６）である。
図解目的のために、フイルタの各Ｎ−サンプル遅延手段のＮ個のサンプルはすべて、図３の再サンプリング回路によってサイズが再調整されるビデオ画像の走査線の画素サンプルであるとしていたので、各Ｎ−サンプル遅延手段は１走査線期間の遅延を提供してビデオ画像の垂直（Ｙ）方向のフイルタリング処理を行っていた。しかしながら、Ｎ＝１として各Ｎ−サンプル遅延手段が１画素期間だけの遅延を提供するようにすれば、フイルタはビデオ画像の水平（Ｘ）方向のフイルタリング処理を行うことになる。
パイプライン構造を用いて本発明をVLSIチップ上で実現するには、単一クロック周波数を終始用いて、この単一クロック周波数が入力信号の最大帯域幅成分の最高周波数のサンプリングにおいてナイキスト判別法を満足できるようにするのが望ましい。リアルタイムに生じるNTSCビデオ信号は、約4MHzの帯域幅を持つ輝度成分と、それぞれ約2MHzの帯域幅を持つ別個のＩおよびＱクロミナンス成分とからなることが知られている。それゆえ、本発明をVLSIチップ上で効果的に実現するためには、ＩおよびＱクロミナンス成分の画素にビデオ画像の水平（Ｘ）方向のフィルタリング処理を提供するのに時分割多重技術を用いることが望ましい。図6aおよび図6bは、このことを実現するための図5aの別な変更例である。
図6aにおいて、要素600−１、600−２、600−３、602−１、602−２、602−３、604−１、604−２、606a−１、606a−２、606−３、606−４、606−５、606−６は、それぞれ図5aの要素500−１、500−２、500−３、502−１、502−２、502−３、504−１、504−２、506a−１、506a−２、506−３、506−４、506−５、506−６に相当している。しかし、要素604−１、604−２はそれぞれ、要素504−１、504−２のそれぞれによってもたらされる１ライン相当のＮ個の画素ではなくて、２個の画素分の遅延をもたらすだけである。
図6aに示すように、乗算器600−１は、全ての一連の入力のＱ画素サンプル値Pq1、Pq2、……のそれぞれによってインターリーブされたすべての一連の入力のＩ画素サンプル値Pi1、Pi2、……のそれぞれを、時分割多重化被乗数として順に受け取る。こうして、それぞれの入力のＱ画素サンプルと一連の入力のＩ画素サンプルとが、前述の単一クロック周波数のクロック時に交互に生じ、Ｉ画素それぞれのサンプル期間とＱ画素それぞれのサンプル期間は、クロック期間の２倍となる。同様に、乗算器600−２は、全ての一連の入力のＱ画素サンプル値Pq3、Pq4、……のそれぞれによってインターリーブされたすべての一連の入力のＩ画素サンプル値Pi3、Pi4、……のそれぞれを、時分割多重化被乗数として順に受け取り、乗算器600−３は、全ての一連の入力のＱ画素サンプル値Pq5、Pq7、……のそれぞれによってインターリーブされたすべての一連の入力のＩ画素サンプル値Pi5、Pi7、……のそれぞれを、時分割多重化被乗数として順に受け取る。
図6aの時分割多重化動作のために、マルチプレクサー606a−１、606a−２、606−３、606−４、606−５、606−６は、それぞれに対応するマルチプレクサー506a−１、506a−２、506−３、506−４、506−５、506−６が前後に切り替えられる割合の半分で前後に切り替えられる。さらに、第１および第２の遅延手段604−１、604−２のそれぞれが２画素分の遅延をもたらすので、遅延されたＩクロミナンス画素を、確実に、加算器602−１、602−２、602−３によって、そこへの入力として印加される他のＩクロミナンス画素にだけ加算し、また、遅延されたＱクロミナンス画素を、確実に、加算器602−１、602−２、602−３によって、そこへの入力として印加される他のＱクロミナンス画素にだけ加算する。
本発明を実現するVLSIチップに関連するタイミング回路部品には、前述の単一クロックから一対の位相置換半周波数クロックを導出する装置が含まれても良い（以下述べる図6cに示すように）。こうした位相置換半周波数クロックの利用可能性によって、本発明は、下述の図6bに示すタイプの方法で時分割多重化して実現できるようになる。事実、図６のタイプの構成は、実際に組み立て製造済みのVLSIチップに編入されているのである。
図6bの構成が図6aの構成と相違する点は、（１）加算器602−１からの出力が、第１の２画素遅延604−１に印加されるのではなくて、第１の１画素遅延604i−１と604q−１それぞれに並列に印加されることと、（２）加算器602−２からの出力が、第２の２画素遅延604−２に印加されるのではなくて、第２の１画素遅延604i−２と604q−２それぞれに並列に印加されることと、（３）３入力マルチプレクサー606'−３、606'−４、606'−５、606'−６が２入力マルチプレクサー606−３、606−４、606−５、606−６にそれぞれ取って代わることである。
図6bに示すように、第１の１画素遅延604i−１と第２の１画素遅延604i−２のそれぞれのタイミングはＩクロミナンス・クロック（Cli）によって制御され、第１の１画素遅延604q−１と第２の１画素遅延604q−２のそれぞれのタイミングはＱクロミナンス・クロック（Clq）によって制御される。Cli、Clqそれぞれの単一システムクロックClに対する関係および相互の関係は、図6cのタイミング図608、610、612で示されている。具体的には、タイミング図608は、Clクロックが所与の周波数で周期的に生じることを示し、タイミング図610は、CliクロックがClクロック周波数の半分に等しい周波数で生じ、各Cliクロックが奇数番目のClクロックと等時的であることを示し、タイミング図612は、ClqクロックがClクロック周波数の半分に等しい周波数で生じ、各Clqクロックが偶数番目のClクロックと等時的であることを示している。こうして、各Clqクロックは、Clクロックの１期間だけ各Cliクロックと位相がずれている。
Clクロックレートでの３入力マルチプレクサーのタイミング制御によって、遅延されたＩクロミナンス画素を、確実に、加算器602−１、602−２、602−３によって、そこへの入力として印加される他のＩクロミナンス画素にだけ加算し、また、遅延されたＱクロミナンス画素を、確実に、加算器602−１、602−２、602−３によって、そこへの入力として印加される他のＱクロミナンス画素にだけ加算する。
図解目的のために、上述の図6aおよび図6bの構成はともに、水平次元と垂直次元の両方において２の因子で下向きサンプリングあるいは上向きサンプリングを提供できる、図5aに示す５タップ・オクターブ・デジタル前置フイルタの第１の構成例を時分割多重に修正したものに関する。図6aおよび図6bに図解した原理は、５タップ未満あるいは以上のタップを持ち、そして／あるいは、2nの値を持ついかなる因子による下向きサンプリングあるいは上向きサンプリングをも提供する、上述の他のオクターブ・デジタル・前置フイルタの構成にも拡張できることは明白である。
図6bの構成は、ＩおよびＱクロミナンス成分を時分割多重化処理するのに用いる以外に、２つの半解像度データ・ストリーム（例えば、２つの半解像度輝度信号）を時分割多重化処理するのにも有用である。
図３や図3aの再サンプリング回路は、ビデオ画像のサイズを再調整するのに用いるのに限定されるものではない。例えば、他の利用例としては、動画フレーム（毎秒24フレームの割で生じる）のNTSCビデオフレーム（毎秒30フレームの割で生じる）への変換や、NTSC規格ビデオフレーム（毎秒60コマのインターレース・フィールドの割で生じる）のヨーロッパ規格ビデオフレーム（毎秒50コマのインターレース・フィールドの割で生じる）への変換、あるいはその逆がある。
さらに、本発明の2n下向きサンプリングおよび上向きサンプリングの能力をもつオクターブ前置フィルタ（図5a、図5bおよび図5cに示すタイプのもの）は図３や図3aの再サンプリング回路を実現するのに使用して特に適当であるが、その使用はそれに限定されるものではない。
発明の背景
1.発明の分野
本発明は、元々第１の一連の入力サンプルによって定義されたものである所与の情報を再サンプリングして該所与の情報を定義する第２の一連の出力サンプルを得るための装置において、前記第１の一連の入力サンプル数の前記第２の一連の出力サンプル数に対する比が１より小さいかあるいは大きいかのどちらかであるようにした装置に関するものであり、特に、ビデオ画像のサイズを再調整するのに使って好適な上記装置に関する。
2.従来技術の説明
ワークステーションのビデオ処理、走査変換、画像スキャナを用いたスキャナ文書作成などのためには、信号縮小の場合には所定の仮分数量によって、信号拡大の場合には所定の真分数量によってデジタル信号サンプル値の入力ストリームを再サンプリングすることがしばしば求められる。この点に関して、米国特許4,282,546、4,602,285及び4,682,301の各々の教示が参照される。
当業において知られているように、デジタル信号のサンプル値の入力ストリームのサンプリングは、分数値M/Lによって変更可能であって、その場合、まず因子Ｌによって前記デジタル信号サンプル値を上向きサンプリングして、因子Ｍによって前記上向きサンプリングされたデジタル信号サンプル値を下向きサンプリングする。このことを達成するために、上向きサンプリングに続いてデジタル補間フイルタリング処理をし、下向きサンプリングに先行してデジタル・ローパス・前置フイルタリング処理をする比較的複雑なフイルタ装置が必要になる。
ＭがＬより小さい信号拡大の場合は、好ましくないエイリアシング周波数が上向きサンプリング・下向きサンプリングの処理で発生するという問題は無い。しかしながら、ＭがＬより大きい信号縮小の場合は、好ましくないエイリアシング周波数が発生するという問題がある。この問題に対処するには、補間され上向きサンプリングされた信号を前記前置フイルタリング処理によって十分に帯域制限して、Ｌより大きいＭによる下向きサンプリングがエイリアシングを起こさないようにしなければならない。さらに、下向きサンプリングの量が大きいほど（すなわち、Ｍが大きいほど）、前記デジタル・ローパス・前置フイルタリングに必要なカーネル関数のタップ数が増え（すなわち、前記前置フイルタリング処理を多くのサンプル上に広げねばならず）、したがって、長いフイルタ応答を使用する必要がある。長いフイルタ応答のコストは、フイルタの複雑さに加算され、最終的には、フイルタがVLSIチップ上に実施されるときには、シリコンの実際の価格に加算される。
過去において、サンプル濃度を増やす上向きサンプリングか、サンプル濃度を減らす下向きサンプリングのどちらかの再サンプリングに先行して画像信号を適当に帯域制限するために採られた方法としては、画像の水平（Ｘ）次元及び垂直（Ｙ）次元のどちらにおいても、任意の画像サイズ縮小・拡大の量に応じて帯域幅が変化する適応２次元フイルタを用いて画像を前置フイルタリング処理するようになっていた。これには、２つのタイプのデジタル・フイルタを用いることができる。すなわち、１）有限インパルス応答（FIR）、あるいは、２）無限インパルス応答（IIR）である。
FIRフイルタは、安定が保証されており、画像処理における重要な特性である線形位相を持つことができるので、望ましい。しかしながら、FIRフイルタは、低周波フイルタリング処理において極端に長いインパルス応答（多数の近隣サンプル）を示してしまう。長いインパルス応答ということは、フイルタのテール（中心フイルタ点から最も離れた重み係数）が非常に小さな係数値を持っており、高い演算精度を用いなければならないということになる。また、長いフイルタ応答は、もし垂直方向つまりＹ方向フイルタリング処理に用いるならば、何行ものデータを記憶することになる。高い演算精度と多くの記憶素子という両条件は、多量のハードウェアを必要とし、したがって、集積回路上に集積した場合は多量のシリコンを必要とすることになる。
その一方で、IIRフイルタの方は、相対的に短い応答で、等価な帯域排除能力を得ることができる。しかし残念なことには、IIRフイルタは不安定で、計算において非常に高い演算精度を必要とする。また、IIRフイルタは殆ど線形位相を持たない。既知の画像サイズ再調整機構の１つは、IIRフイルタによる方法を用いている。フイルタ係数を特定のサイズ再調整パラメータの関数として更新する。この構成において、全ての場合に好適なフイルタを保証するには、その構成自身の演算が広いダイナミック・レンジを持つ必要がある。また、この構成は、大きな再サンプリング因子には良好な帯域幅制限を示さない。それゆえ、この構成は、シリコン集積には経済的ではない。
フイルタ応答が長いことを除けば、FIRフイルタの方が、良好に動作し、安定しており、しかも線形位相を持つので、望ましい。従来技術においては、より低い空間周波数におけるFIRフイルタのより長いフイルタ応答の具現に問題があった。しかしながら、本発明はこの問題を克服する。
発明の概要
本発明は、Ｄを１以上の数であるとしたときの、Ｄ次元情報を定義するデジタル信号サンプル値の入力ストリームのサンプリング期間を変更する装置の改良に向けられたものであって、前記装置において、前記情報の所与の次元の情報を定義する、それら入力ストリームのデジタル信号サンプル値が所与のサンプリング期間Ｐに発生するものである。前記装置は、M/Lに等しい因子によって前記所与のサンプリング期間Ｐを変更する。ただし、Ｌは１より大きな値の第１の正の整数であり、Ｍは第２の正の整数である。
この改良には、第１の手段と第２の手段の組み合わせも含まれている。
第１の手段は、補間フイルタ手段を有している。この第１の手段は、前記入力サンプル・ストリームのデジタル信号サンプル値に応答して、前記入力ストリームの所与のサンプリング期間ＰにM'/CLに等しい因子を直接乗算したものである、第１の導出サンプル・ストリームであるデジタルサンプル値を生じる。ただし、Ｃを所与の正の整数、M'をCLより小さい数とし、2n（M'/CL）か2-n（M'/CL）のうちの一方がM/Lに等しく、ｎの絶対値は０以上とし、その結果、前記第１の導出サンプル・ストリームのサンプリング期間は、（M'/CL）Ｐとなる。
第２の手段は、オクターブ・前置フイルタリング及びサンプル手段を有しており、前記第１の導出サンプル・ストリームのデジタル信号サンプル値に応答して、デジタル信号サンプル値の第２の導出サンプル・ストリームを出力として発生し、そこでは、前記第１の導出サンプル・ストリームの第１のサンプリング期間（M'/CL）Ｐに2n（M'/CL）か2-n（M'/CL）のどちらか一方に等しい因子を乗算し、第２の導出サンプル・ストリームのサンプリング期間が（M/L）Ｐとなる。
【図面の簡単な説明】
図１は、２次元再サンプリング回路による２次元入力画像のサイズの再調整を図示した機能ブロック図、
図２は、ビデオ画像の水平あるいは垂直、どちらかの次元である、情報の所与の次元を定義するデジタル信号サンプル値の入力ストリームのサンプリング期間Ｐを再サンプリングするための従来方法を図示した機能ブロック図、
図３は、ビデオ画像の水平あるいは垂直、どちらかの次元である、情報の所与の次元を定義するデジタル信号サンプル値の入力ストリームのサンプリング期間Ｐを再サンプリングするための本発明の手法の第１の実施例を図示した機能ブロック図、
図3aは、ビデオ画像の水平あるいは垂直、どちらかの次元である、情報の所与の次元を定義するデジタル信号サンプル値の入力ストリームのサンプリング期間Ｐを再サンプリングするための本発明の手法の第２の実施例を図示した機能ブロック図、
図４は、５タップ・デジタルフイルタを用いて、ビデオ画像の水平あるいは垂直、どちらかの次元を、２である因子によってデジタル的に前置フイルタリング処理し下向きサンプリングする様子を図式的に示した図、
図4aは、５タップ・デジタルフイルタを用いて、ビデオ画像の水平あるいは垂直、どちらかの次元を、２である因子によってデジタル的に前置フイルタリング処理し上向きサンプリングする様子を図式的に示した図、
図5aは、VLSIチップ上で実現するのに好適な、ビデオ画像の垂直次元に、２である因子を乗算する働きをもつ５タップ・オクターブ・デジタルフィルタの第１の具体例を示すブロック図、
図5bは、VLSIチップ上で実現するのに好適な、ビデオ画像の垂直次元に、４である因子を乗算する働きをもつ５タップ・オクターブ・デジタルフイルタの第２の具体例を示すブロック図、
図5cは、VLSIチップ上で実現するのに好適な、ビデオ画像の垂直次元に、８である因子を乗算する働きをもつ５タップ・オクターブ・デジタルフイルタの第３の具体例を示すブロック図、
図6aは、VLSIチップ上で実現するのに好適な、ビデオ画像の水平次元に、２である因子を乗算する働きをもつ図5aの５タップ・オクターブ・デジタルフイルタの第１の具体例の第１の時分割多重変更例を示すブロック図、および
図6bは、VLSIチップ上で実現するのに好適な、ビデオ画像の水平次元に、２である因子を乗算する働きをもつ図5aの５タップ・オクターブ・デジタルフイルタの第１の具体例の第２の時分割多重変更例を示すブロック図である。
好適な実施例の記述
デジタル画像処理では、原寸のビデオ画像のサイズを再調整することがしばしば求められる。例えば、複数の別々の入力ビデオ画像を１つの出力ビデオ画像に組み合わせるときには、入力ビデオ画像のうちの少なくとも１つのサイズを縮小させる必要がある。一方、１つの入力ビデオ画像のうちの小さな部分のサイズは、出力ビデオ画像中において、その入力ビデオ画像の全サイズにまで拡大することができる。普通、サイズの再調整は縦横比の変更を伴わない。しかし、サイズの再調整は特定の効果目的のために縦横比を変更するのに用いることができる。図１は、入力ビデオ画像のサイズを再調整するためのデジタル画像処理装置を示している。
図１を参照すると、テレビジョン・フレームなどの２次元入力ビデオ画像を定義する、デジタル信号サンプル値の入力ストリームを書き込んで記憶するための入力サンプル・フレーム（またはフィールド）メモリ100が図示されている。公知のように、一時ビデオ信号は、垂直方向即ちＹ方向に配置した複数の走査線からなるビデオ画像を形成しており、各走査線は水平方向即ちＸ方向に配置した複数の画素からなっている。このビデオ信号が、所定のサンプリング期間にサンプリングされて、アナログ形式からデジタル形式に変換されて、入力サンプル・フレームメモリ100に記憶される前記デジタル信号サンプル値の入力ストリームを提供するものとする。入力サンプル・フレームメモリ100に与えられる入力ビデオ画像を定義するビデオ信号からなるデジタル信号サンプル値の入力ストリームと、そこから読み出されるデジタル信号サンプル値のストリームとは、両方とも、飛越し走査形式（例えば、NTSCビデオ信号）でも順次走査形式でもよい。さらに、入力サンプル・フレームメモリ100は、もし必要ならば、入力サンプル・フレームメモリ100から継続的にサンプルを読みとってXY再サンプリング回路102でそれらのサンプルを変換する前に飛越し走査入力を順次走査に変換するための装置を有しても良い。
原則としては、入力サンプル・フレームメモリ100から継続的にサンプルを読みとるのと、XY再サンプリング回路102でそれらのサンプルを変換するのとは、同期あるいは非同期どちらで行われても良い。しかしながら、図示例では、所定のクロック期間で同期動作することが想定されている。この場合には、入力サンプル・フレームメモリ100から読み出されるサンプルの、ビデオ画像のＸ方向の画素サンプリング期間は前述の所定のクロック期間であるのに対して、ビデオ画像のＹ方向のサンプリング期間は全走査線期間となる（各走査線は大量の画素サンプル値を有する）。
第１の所与のサイズを元来持っていたビデオ画像のサイズを第２の所与のサイズに変更するには、Ｘ方向のサンプリング期間（すなわち、画素サンプリング期間）および／または、Ｙ方向のサンプリング期間（すなわち、走査線サンプリング期間）を独立に変更する必要がある。これは、図示のように、XY再サンプリング回路102に入力されるＸおよびＹの再サンプル比制御信号に応じて該XY再サンプリング回路102によって実行される。こうして、XY再サンプリング回路102からのデジタル信号サンプル値の出力ストリームのＸ方向の画素サンプリング期間およびＹ方向の走査線サンプリング期間は、出力サンプル・フレームメモリ104への入力とされるのであるが、それぞれの期間は、XY再サンプリング回路102への入力である、入力サンプル・フレームメモリ100からのデジタル信号サンプル値のストリームの画素サンプリング期間および走査線サンプリング期間とは異なるものである。しかしながら、タイミングの観点からは、図示例では、入力サンプル・フレームメモリ100からサンプルの読み出しをコントロールするタイミングと、XY再サンプリング回路102が再サンプリングするタイミングと、出力サンプル・フレームメモリ104にサンプルを書き込むタイミングとには、同一の所定のクロックを用いるものとする。換言すると、図示例では、XY再サンプリング回路102はサンプルのストリームを処理して変換するパイプライン構成を持つものとする。入力サンプル・フレームメモリ100に書き込まれる入力画像のサンプルの入力ストリームのクロック期間と、出力サンプル・フレームメモリ104から読み出される出力画像のサンプルの出力ストリームのクロック期間とは、前記所定のクロック期間と同一でも良いし、異なっても良く、また、別のクロック期間と同一でも異なっても良い。
画像をＸ方向に縮小すると、再サンプリングで縮小した画像の各走査線の画素サンプル数は、入力サンプル・フレームメモリ100に記憶された元の画像の各走査線の画素サンプル数より少なくなる。同様に、画像をＹ方向に縮小すると、再サンプリングで縮小した画像の画素サンプルの走査線数は、入力サンプル・フレームメモリ100に記憶された元の画像の画素サンプルの走査線数より少なくなる。こうして、画像サイズを縮小する場合には、XY再サンプリング回路102は、その入力と出力の間で、サンプル減少機能を果たすことになる。
これに対して、画像をＸ方向に拡大すると、再サンプリングで拡大した画像の各走査線の画素サンプル数は、入力サンプル・フレームメモリ100に記憶された元の画像の各走査線の画素サンプル数より多くなり、画像をＹ方向に拡大すると、再サンプリングで拡大した画像の画素サンプルの走査線数は、入力サンプル・フレームメモリ100に記憶された元の画像の画素サンプルの走査線数より多くなる。こうして、XY再サンプリング回路102は、その入力と出力の間で、画像サイズを縮小する場合にはサンプル減少機能を果たし、画像サイズを拡大する場合にはサンプル増加機能を果たす。
XY再サンプリング回路102は、入力サンプル・フレームメモリ100に記憶された全ての画素サンプル値を、サンプリング処理と計算に利用可能とする。さらに、XY再サンプリング回路102自身は、処理中に計算されるサンプル値を一時的に保持するために適当なレジスタを有している。図示例では、図２、３及び3aでは、以下に述べるように、XY再サンプリング回路102によるすべての処理は、単一のクロックレートでパイプライン方式でシリアルに行うものとしている。しかしながら、実際には、XY再サンプリング回路102による画素サンプルの処理は、パラレルおよび／または１より大のクロックレートで行っても良いことが分かるはずである。
図２は、Ｘ再サンプル比に応じてＸ方向の画素サンプリング期間を変更、あるいは、そうでなく、Ｙ再サンプル比に応じてＹ方向の走査線サンプリング期間を変更するための従来技術の再サンプリング回路によって行う手法を図解した機能ブロック図である。具体的には、入力サンプリング期間Ｐが、M/Lに等しい値の因子Ｋによって変更されることとしている。ただし、M/Lは、真分数（Ｍが正の整数Ｌより小さい正の整数）でも仮分数（ＭがＬより大）でも良い。より小さなサイズの画像をより大きなサイズの画像に拡大してビデオ画像のサイズを再調整するときには、M/Lは真分数であり、より大きなサイズの画像をより小さなサイズの画像に縮小してビデオ画像のサイズを再調整するときには、M/Lは仮分数である。
ブロック200で示されているように、まず因子Ｌによって入力を上向きサンプリングする。例えば、これは、連続した入力サンプル値の各対の間に（Ｌ−１）個のゼロ値サンプルを挿入することによって行う。フイルタＬ（202）は、前記（Ｌ−１）個のゼロ値サンプルのそれぞれを、連続した入力サンプル値の対の適当な補間値に置き換えるのに効果的な、適応デジタルフイルタである。サンプル値の入力ストリームには、情報のうち利用可能なソースだけが含まれているので、この上向きサンプリング処理によって追加される情報は何もないことを理解すべきである。上向きのサンプリングはオーバサンプリングをもたらすだけである。
フイルタＭ（204）は、出力サンプリング期間（M/L）Ｐの半分より小さな周波数区間を持つ全てのベースバンド周波数成分を実質的に拒絶するカットオフを持つ、適応デジタル帯域制限用前置フイルタでる。フイルタＭ（204）からの出力は、こうして、ブロック206で示すように、因子Ｍで下向きサンプリングされて、出力サンプリング期間（M/L）Ｐを持つサンプルの出力ストリームを生じる。実際には、フイルタＬとフイルタＭで果たされる別々の機能を、図２に示すように、単一の複合フイルタ構造に組み込んでも良い。
もし再サンプリング回路がＭ＜Ｌの場合に限定されるのであるならば、フイルタＭ（204）を必要としないで、上向きサンプリングしたストリームを直接下向きサンプリングできる。この場合、出力となる下向きサンプリングされたサンプル・ストリームの濃度は、入力である上向きサンプリングされたストリームのそれよりもはるかに大きいからである。したがって、入力である上向きサンプリングされたサンプル値によって定義される情報で失われるものは何も無く、エイリアシングは生じ得ない。しかしながら、再サンプリング回路はＭ＞Ｌの場合にも対応できねばならず、この場合、出力となる下向きサンプリングされたサンプル・ストリームの濃度は、入力である上向きサンプリングされたストリームのそれよりも小さくなり、その結果、出力である下向きサンプリングされたストリームは、サンプリング不足となる。この後者の場合、１つ以上の入力サンプル値によって定義される情報が失われてエイリアシングが生じ得る。それゆえ、フイルタＭは、再サンプリング回路102が扱い得るM/Lの最大比でのエイリアシングを最小にするように構成されなければならない。このため相対的に複雑で高価なＭ個のフイルタが必要になるのであるが、それは、出力サンプリング期間（M/L）Ｐの半分より小さな周波数区間を持つすべてのベースバンド周波数成分が、Ｍによる下向きサンプリングの前に、どんな場合にも実質的に排除されることを確かにするためのものである。また、Ｍフイルタの転送特性は、そこを通過させる信号に位相や他の種類の歪みを実質的に招かないようになっているべきである。
図３は、Ｘ再サンプル比に応じてＸ方向の画素サンプリング期間を変更、あるいは、そうでなく、Ｙ再サンプル比に応じてＹ方向の走査線サンプリング期間を変更するための本発明の再サンプリング回路の第１の実施例によって行う手法を図解した機能ブロック図である。図２の場合のように、図３で示された第１の実施例では、入力サンプリング期間Ｐが、M/Lに等しい値の因子Ｋによって変更されることとしている。ただし、M/Lは、画像のＸあるいはＹ方向のサイズを拡大する真分数（Ｍが正の整数Ｌより小さい正の整数）でも、画像のＸあるいはＹ方向のサイズを縮小する仮分数（ＭがＬより大）でも良い。
ブロック300、補間回路Ｉ（ｆ）302およびブロック304（図３に示すように、実際には、複合した形で実施して良い）で示されているように、因子2Lによって補間デジタルサンプル値で入力を効果的に上向きサンプリングした後、因子M'によって直接下向きサンプリングして、（M'/2L）Ｐに等しい期間を持つ第１の導出サンプルのストリームを発生させる。M'は2Lより小さな値を持つ整数であり（したがって、M'/2Lは常に真分数である）、M'の値は2n（M'/CL）か2-n（M'/CL）のうちの一方の値がM/Lの値に等しくなるように選択される。
図３の場合のように、まず、（ブロック300で示すように）連続した入力サンプル値の各対の間に（2L−１）個のゼロ値サンプルを挿入することによって、入力を因子2Lで上向きサンプリングして良い。その後、（ブロック302で示すように）前記（2L−１）個のゼロ値サンプルのそれぞれを、連続した入力サンプル値の対の適当な補間値に置き換え、それから（ブロック304で示すように）因子M'で下向きサンプリングすることが出来る。しかしながら、真分数M'/2Lの値がたまたま非常に小さな分数にでもならない限り、このままでは、因子M'/2Lを得るのに効果的な方法とは言えない。具体的に言うと、図３の下向きサンプリングは直接なので（つまり、図３に示す本発明の再サンプリング回路の方法では、因子Ｍによる下向きサンプリングに先行して前置フイルタリング処理を必要としないので）、入力期間ＰのＭ倍の長さの長期区間を、それぞれがこの長期区間の1/2Lに等しい長さの一連の超過サンプリング期間に分割可能とし、この一連の各超過期間に適当な補間値を挿入させている。
例えば、Ｍ＝５、Ｌ＝４、したがってM/L＝5/4としてみる。そうすると、この場合、M'/2L＝5/8である。さらに、サンプル期間Ｐで生じた入力サンプル・ストリームの６つの連続サンプルがそれぞれサンプル値V1、V2、V3、V4、V5、およびV6を持つとする。この場合、サンプル期間5P/8で生じる（線形補間とする）上向きサンプリングの補間サンプル値は、それぞれV1、V1＋5/8（V2−V1）、V2＋1/4（V3−V2）、V2＋7/8（V3−V2）、V3＋1/2（V4−V3）、V4＋1/8（V5−V4）、V4＋3/4（V5−V4）、V5＋3/8（V6−V5）、およびV6となる。こうして、この処理によって入力ストリームサンプルの６個の連続サンプルの各グループは９個の連続した補間値サンプルのグループに変換される。これらの補間値サンプルは、上述の具体的な仮定に応じて、６つの連続サンプルのグループと同じ単一のクロックレートでシリアルに生じたものである。しかしながら、実際には、この補間機能が線形である必要の無いことは分かるはずである。
図２に関して上記のように、従来の再サンプリング回路の方法では、Ｍによる下向きサンプリングを可能にする前には、前置フイルタリングを行う必要があった。それゆえ、上向きサンプリングしたサンプルを直接下向きサンプリングすることは不可能であった。これは、従来の再サンプリング回路の方法における上向きサンプリングが、入力サンプル・ストリームの連続サンプル値の各対の間に（Ｌ−１）個の補間サンプル値を挿入していたということが必要である。上記で仮定したように、Ｌ＝４ならば、サンプル期間P/4で生じる（線形補間とする）従来の再サンプリング回路の方法における上向きサンプリングした補間サンプル値はそれぞれ、V1、V1＋1/4（V2−V1）、V1＋1/2（V2−V1）、V1＋3/4（V2−V1）、およびV2である。
上記の検討から分かるのは、Ｍの値が、2Lの値よりあまり小さくない限りは、実際には普通そうなのであるが、直接下向きサンプリングする能力があるので、連続した補間サンプルの各サンプル値の間の差を増やすことが出来るようになることである。これが本発明の望ましい特徴である。
図３に戻って、（M'/2L）Ｐに等しいサンプル期間を持つサンプル値の第１の導出ストリームは、デジタル・オクターブ・フィルタＨ（ｆ）306によって前置フィルタリング処理され、手段308で2nが乗算される。ただし、ｎは１以上の正の整数である。こうして、出力として、（M/L）Ｐに等しい期間を持つサンプル値の第２の導出ストリームを生じる。図３に示すように、デジタル・オクターブ・フイルタＨ（ｆ）306と2n手段308のなす別個の機能は、実際には単一の複合構造に組み込まれても良い。さらに、2n手段308の真上に位置した矢印で示すように、2n手段308は、ｎが正の値である画像のサイズ縮小の場合には前記サンプル値の第２の導出ストリームのサンプル数を減少（下向きサンプリング）させてサンプル期間を増やす機能（１）と、ｎが負の値である画像のサイズ拡大の場合には前記サンプル値の第２の導出ストリームのサンプル数を増加（上向きサンプリング）させてサンプル期間を減らす機能（２）とを果たす。
上述のように、図３に示す第１の実施例では、再サンプリング比M/Lは、真分数（画像サイズの拡大時）でも良いし、仮分数（画像サイズの縮小時）でも良い。さらに、画像拡大（Ｍ＜Ｌ）の場合には、補間係数の挿入が過剰サンプリングを含むのであるが、エイリアシングの問題は存在しない。それゆえ、図３に関して上述したように、因子M'によって直接下向きサンプリングする前に、補間デジタルサンプル値を用いて因子2Lで上向きサンプリングする必要はない。
実は、因子2Lで上向きサンプリングすると、各走査線期間中のデータ・ストリーム中に計算して挿入する必要のある補間画素値の数は２倍にされるのである。各連続走査線の小部分によって定義される画像サイズをそれぞれの連続走査線全体のサイズに拡大させる時には、この数は相当大きいものであっても良い。リアルタイム処理の場合には、このことは実行に実際的な問題を生じる。一つの明確な解決策は、２倍の周波数でシステム・クロックを働かせて各連続走査線期間の時間範囲内に必要な計算を全て行えるようにすることである。しかしながら、このことは、回路部品に追加的な熱を付与してしまって、VLSI構成には特に不都合である。もう１つの明確な解決策は、並列に作動する付加的な計算機素子を用いることである。しかしながら、これは実行のコストを上昇させてしまう。
因子2Lによる上向きサンプリングは画像サイズ拡大にとっては必要なことではないので（画像サイズ縮小にとってだけ必要）、2Lという因子によるのではなくて、Ｌという因子によって上向きサンプリングするだけで拡大する場合の方が、各走査線期間中のデータストリーム中に計算して挿入する必要のある補間画素値の数を２倍にしてしまうことや、それによって生じるリアルタイム処理の実行における問題を避けられる。図3aは、Ｍ＜Ｌの拡大時に限定した本発明の再サンプリング装置の第２の実施例による手法を示す機能ブロック図である。
図3aにおいて、ブロック300'、補間回路Ｉ（ｆ）302'およびブロック304'（図3aに示すように、実際には、複合した形で実施して良い）で示されているように、因子Ｌによって補間デジタルサンプル値で入力を効果的に上向きサンプリングした後、因子M'によって直接下向きサンプリングして、（M'/L）Ｐに等しい期間を持つ第１の導出サンプル・ストリームを発生させる。M'はＬより小さな値を持つ整数（したがって、M'/Lは常に真分数）であり、M'の値は2-n（M'/L）の値がM/Lの値に等しくなるように選択される。
さらに具体的には、図3aでは、（M'/L）Ｐに等しいサンプル期間を持つ前記サンプル値の第１の導出ストリームは、デジタル・オクターブ・フイルタＨ（ｆ）306'によって前置フイルタリング処理され、2n手段308'によって多重される。ただし、ｎは０以上の整数である。こうして、出力として、（M/L）Ｐに等しい期間を持つサンプル値の第２の導出ストリームを生じる。図3aに示すように、デジタル・オクターブ・フイルタＨ（ｆ）306と2n手段308'がなす別個の機能は、実際には単一の複合構造に組み込まれても良い。さらに、2n手段308'の真上に位置した矢印で示すように、2n手段308'は画像のサイズ拡大の場合にだけ用いられるので、前記サンプル値の第２の導出ストリームのサンプル数を増加（上向きサンプリング）する機能だけを持つ。この場合、常に−ｎ（ｎは正の整数）である。
公知のように、デジタル・オクターブ・フイルタは、その乗算器係数値それぞれによって定義されるローパス・カーネル重み付け関数特性を持つ対称マルチタップ・フイルタである。原理上は、対称マルチタップ・フイルタのタップ数は奇数でも偶数でも良い。しかしながら、実際には、対称マルチタップ・フイルタは奇数タップを有して、各乗算器係数値を、カーネル重み付け関数特性の中心乗算器係数値の周りに対称に配置できるようにするのが望ましい。通常は、ローパス・カーネル重み付け関数特性の各乗算器係数の値が、該乗算器係数の中心乗算器係数からの距離に応じて小さくなっている。
図解目的として、まず図３及び図3aの対称マルチタップ・フイルタは、５つの乗算器係数値ｃ、ｂ、ａ、ｂ、およびｃによって定義されるローパス・カーネル重み付け関数特性を持つ５タップ・デジタル・フイルタであると仮定する。一般的には、図３、図3aの両図では、これらの乗算器係数値は、上記の２つの制約に応じる。最初の制約に応じるには、ａ＋2b＋2c＝１とされる。第２の制約に応じるには、ａ＋2c＝2bとされる。この結果、ｂ＝1/4、ａ＝1/2−2cとなる。例えば、ｃ＝1/16の時には、ｂ＝1/4、ａ＝3/8である。ただし、１より大で２より小な拡大（すなわち、1/2＜M/L＜１）を提供するために図3aの第２の実施例が働くような特別な場合には、2n手段308'のｎの値がゼロになり、（すなわち、上向きサンプリングの必要がなく）前記５つの乗算器係数値ｃ、ｂ、ａ、ｂ、ｃはそれぞれ０、０、１、０、０の値を持つ。
例えば1.5の拡大（即ち（M/L）Ｐ＝20（M'/L）Ｐ＝（１＊2/3）Ｐ＝2P/3）を提供しようとする特殊な場合を考えてみよう。この例では、サンプル期間2P/3で生じる（線型補間とする）導出のためのサンプル値の第１の導出ストリームのM'/Lの各補間サンプル値は、V1、V1＋2/3（V2−V1）、V2＋1/3（V3−V2）、V3である。このサンプル値の第１の導出ストリームはフイルタ306'の入力として与えられ、フイルタ306'の５つの乗算器係数値はそれぞれ０、０、１、０、０の値を持つように設定され、2n手段308'のｎの値はゼロに設定されて、2n＝20＝１になる。それゆえ、この特殊な場合には手段308'の出力であるサンプル値の第２の導出ストリーム（M/L）Ｐは、2n手段308'の入力であるサンプル値の第１の導出ストリーム（M'/L）Ｐと同じままである。それゆえ、この特殊な場合には、乗算は起こらない。こうして、（M/L）Ｐ＝（M'/L）Ｐ＝2P/3である上記例では、1.5の画像拡大が生じる。
しかしながら、２より大（例えば、3.6）の因子Ｍによる画像拡大の機能を果たすようなもっと一般的な場合にはM'/LはM/2nL（上記例では、3.6/21＝3.6/2＝1.8）に等しくされ、図3aの2n手段308'は2n（上記例では、21＝２）の因子によってサンプル値の第１の導出ストリームを上向きサンプリングする。同様に、画像拡大の機能を果たす場合は、サンプル値の第１の導出ストリームM'/2Lは2nの因子で図３の2n手段308によって上向きサンプリングされる。しかしながら、画像縮小の機能を行う時には、図３の2n手段308は、2nの因子でサンプル値の第１の導出ストリームM'/2Lを下向きサンプリングする。
上述のように、入力サンプルは、図３に示す第１の実施例では2Lの因子で上向きサンプリングされ、図3aに示す第２の実施例ではＬの因子で上向きサンプリングされる。しかしながら、原則としては、図３での上向きサンプリングは、いかなる因子CLによっても可能である。ただし、Ｃは２以上の整数である。この場合、2n（M'/CL）はM/Lに等しく、ｎは１以上とする。同様に、図3aの上向きサンプリングもいかなる因子CLによっても可能である。ただし、Ｃは１以上の整数である。この場合、2n（M'/CL）はM/Lに等しく、ｎはゼロ以上とする。図３の場合のＣの２という値と図3aの場合のＣの１という値というのは、計算に必要のある補間値の数を最小にして、それゆえ、Ｃにもっと高い所与の正の整数を使用した場合よりも効果的なものであるということが分かるであろう。
デジタルサンプル値のストリームを５タップ・デジタル・フイルタでフイルタリング処理すると、従来は、合計４つのサンプリング期間を遅延させる手段を必要とした。これは、フィルタが、ストリームのうちの連続して生じる５つのサンプルのうちの５番目に生じるサンプルしかリアルタイムに処理できないからであって、これら５つのサンプル全部を同時に加算可能とするには、連続して生じる５つのサンプルのうちの先行の４つをそれぞれ記憶しておく必要がある。このように、図３のフイルタ306や図3aのフイルタ306'が従来の５タップ・デジタル・フイルタであったとすると、フイルタ306あるいは306'の遅延装置は、図３の場合のサンプリング期間である（4M'/2L）Ｐすなわち（2M'/L）Ｐの総遅延、あるいは図3aの場合のサンプリング期間である（4M'/L）Ｐの総遅延を提供しなければならない。ただし、Ｐはフイルタ306あるいは306'に対する入力ストリームのサンプリング期間である。ビデオ画像のサイズを再調整するときは、Ｐは、ビデオ画像の水平（Ｘ）方向の相対的に短い画素サンプリング期間、あるいは、ビデオ画像の垂直（Ｙ）方向の相対的に長い走査線サンプリング期間を意味しても良い。
図４を参照すると、５タップ・デジタル・フイルタからの出力信号において２の因子で下向きサンプリングを通常達成するための既知の方法が示されている。図４においては、図解目的のために、ビデオ画像の垂直（Ｙ）方向の相対的に長い走査線サンプリング期間が考えられているものとする。L1、L2、……、L7、L8は、図３のフイルタ306へ入力として印加されるサンプル値の第１導出ストリームによって定義されるビデオ画像の相対的に長い８つの連続した水平走査線（各走査線は大量の画素サンプル値からなる）を示している。図3aのフイルタ306'は上向きサンプリングにだけ用いられるので、図４はフイルタ306'には適用されない。
従来技術では、５タップ・デジタル・フイルタの構成は、それぞれ１つの走査線期間に遅延をもたらし、連続入力走査線L1、L2、……、L7、L8のそれぞれが第１の遅延線への入力として順に印加されるような直列接続の遅延装置を４つ有している。４つの遅延ラインはそれぞれその出力に１つのタップを有し、加えて、第１の遅延ラインはその入力に１つのタップを有している。１つのラインの画素サンプル値はそれぞれ、第１の遅延ラインへの入力として印加される前に、あるいは、５つの遅延ラインタップそれぞれから出てきた後に、カーネル関数乗算器係数c,b,a,b,cのうちの適当な１つによって乗算される。どちらにしても、５つの遅延ラインタップから同時に出てくる、１組の５つの連続走査線の対応画素サンプル値は全て（それぞれカーネル関数乗算器係数ｃ、ｂ、ａ、ｂ、ｃのうちの適当な１つによって乗算された後に）加算されて、１つの５タップ・フイルタリング処理出力画素サンプル値になる。
具体的に言うと、図４において、フイルタの中央入力ラインL3に対応した、実線矢印400によって概略図示されたフイルタリング処理出力は、図４に示す入力ラインL1からL5の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｃ、ｂ、ａ、ｂ、ｃで乗算したものの和を示している。これらの入力ラインL1からL5の対応画素サンプル値は５タップ・フイルタの５つのタップそれぞれに現れるのであるが、L1は４走査線期間遅延され、L2は３走査線期間遅延され、L3は２走査線期間遅延され、L4は１走査線期間遅延され、そしてL5は遅延されていない（すなわち、リアルタイムに生じる）。２走査線期間後に、フイルタの中央入力ラインL5に対応した、実線矢印402で概略図示したフイルタリング処理出力は、入力ラインL3からL7の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｃ、ｂ、ａ、ｂ、ｃで乗算したものの和を示している。このとき、これらの入力ラインL3からL7の対応画素サンプル値は５タップ・フイルタの５つのタップそれぞれに現れる。同様に、各フイルタリング処理出力は、フイルタの各連続奇数中央入力ライン（例えば、L7、L9、L11、……）に対応して導出されて良い。『Ｘ』で印したフイルタの偶数中央入力ライン（例えば、L2、L4、L6、L8、……）に対応したフイルタリング処理出力は導出されず、２の因子による走査線の下向きサンプリングが達成される。
図4aを参照すると、まず初期の入力ラインそれぞれの後ろに付加入力ラインを挿入した後、それらの入力ラインをデジタルフイルタの５つのタップに順次印加することによって、５タップデジタル補間フイルタからの出力信号において２の因子によって上向きサンプリングを達成する方法が示されている。各付加入力ライン（例えば、図4aの破線で示すL2、L4、L6、L8）は、単にゼロ値サンプルからなっている。図4aにおいては、フイルタの中央入力ラインL3に対応した、実線矢印404によって概略図示されたフイルタリング処理出力は、入力ラインL1からL5の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｃ、ｂ、ａ、ｂ、ｃで乗算したものの和を示している。入力ラインL2およびL4のサンプル値は全てゼロなので、フイルタの中央入力ラインL3に対応したフイルタリング処理出力は、入力ラインL1、L3、L5の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｃ、ａ、ｃで乗算したものだけの和を示す。さらに、フイルタの中央入力ラインL4に対応した、実線矢印406で概略図示したフイルタリング処理出力は、入力ラインL2からL6の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｃ、ｂ、ａ、ｂ、ｃで乗算したものの和を示している。入力ラインL2、L4、L6のサンプル値は全てゼロなので、フイルタの中央入力ラインL4に対応したフイルタリング処理出力は、入力ラインL3とL5の対応画素サンプル値をそれぞれに特有なカーネル関数乗算器係数ｂ、ｂで乗算したものだけの和を示す。一般化すると、L3よりも高い各奇数中央入力ラインに対応したフイルタリング処理出力値を計算するにはカーネル関数乗算器係数ｃ、ａ、ｃだけが使われ、L4よりも高い各偶数中央入力ラインに対応したフイルタリング処理出力値を計算するにはカーネル関数乗算器係数ｂ、ｂだけが使われる。
図４および図4aに関して上述の従来技術構成の持つ問題は、オクターブ・前置フイルタに２の下向きサンプリングを与え、各出力サンプル値において入力サンプル値を効果的に５タップ・フイルタに結合させるための大量の（すなわち、合計少なくとも４つの）相対的に長い走査線期間の遅延手段が必要であるということである。４あるいは８（すなわち２のより大きいべき数）の下向きサンプリングまたは上向きサンプリングを遂行するために、こうした２の下向きサンプリングまたは上向きサンプリングの構成を複数個カスケードするか、または、より大量のタップを持つオクターブ・前置フイルタを用いることができる。どちらにしても、相対的に長い走査線期間の遅延手段の必要数は急速に増加する。
本発明は、ある意味では、上述の従来技術の方法のように、各出力サンプル値において入力サンプル値を効果的に５タップ・フイルタに統合させることができる一方で、下向きサンプリングには2nの、上向きサンプリングには2-nの乗算をｎの値に拘らず提供するような走査線期間遅延装置を２つだけしか必要としないオクターブ・前置フイルタに向けられた構成である。こうして、図３におけるｎは、下向きサンプリングのために２、４、８あるいはそれ以上による乗算を提供するための１、２、３あるいはそれ以上のものであってもよく、図3aにおけるｎは、上向きサンプリングのために1/2、1/4、1/8あるいはそれ未満による乗算を提供するための−１、−２、−３あるいはそれ未満のものであって良い。本発明のオクターブ・前置フイルタは、図３あるいは図3aに示すタイプの再サンプリング回路、例えばビデオ画像のサイズ再調整回路をVLSIチップ上に構成することを可能にする。
図5aを参照すると、第１の動作モードでは２の因子による下向きサンプリングを提供し、第２の動作モードでは２の因子による上向きサンプリングを提供し、第３の動作モードでは１の因子を与えてその入力と出力の間で透過させることができる、本発明の第１の５タップ・オクターブ・前置フイルタの構成が示されている。このオクターブ・前置フイルタの構成は、サンプル値の３つの別個の入力ストリームから導出されるサンプル値の単一の出力ストリームを導出するのであるが、３つの乗算器500−１、500−２、500−３、３つの加算器502−１、502−２、502−３、２つのＮ−サンプル遅延手段504−１、504−２、および６つの２入力マルチプレクサー506a−１、506a−２、506a−３、506a−４、506a−５、506a−６からなっている。図5aは、その第１（下向きサンプリング）モードで動作している５タップ・オクターブ・前置フイルタの構成を具体的に示している。しかしながら、以下に述べるように、それへの入力とそのタイミング制御を変更することによって、図5aの同一５タップ・オクターブ・前置フイルタの構成を、第２の（上向きサンプリング）モードあるいは第３の（透過）モードで動作させることもできる。
図5aに示すように、入力ラインL1が始まると、乗算器500−１は、サンプル値の連続入力ラインL1、L2、……、L6、L7、……の全てをそれぞれ被乗数として順に受け取り、マルチプレクサー506a−１の出力に生じるマルチプレクサー506a−１入力カーネル関数係数ｃまたはｂを乗数として受け取る。入力ラインL3が始まると、乗算器500−２は、サンプル値の連続入力ラインL3、L4、……、L8、L9、……の全てをそれぞれ被乗数として順に受け取り、マルチプレクサー506a−２の出力に生じるマルチプレクサー506a−２入力カーネル関数係数ａまたはｂを乗数として受け取る。入力ラインL5が始まると、乗算器500−１は、サンプル値の連続奇数番号入力ラインL5、L7、L9、……の全てをそれぞれ被乗数として順に受け取り、カーネル関数係数ｃを乗数として受け取る。一般的には、連続入力ラインL1、……、L9、……のそれぞれはＮ個のサンプル値からなる。ただし、Ｎはどんな正の整数でも良い。しかしながら、図解目的のため、これらの連続入力ラインのそれぞれは、１走査線期間を占めるビデオ画像の１走査線であり、Ｎはこうした走査線期間における画素サンプル値の数であるとしている。
乗算器500−１の出力は加算器502−１への第１入力として印加され、加算器502−１の出力は第１のＮ−サンプル遅延手段504−１への入力として印加される。第１のＮ−サンプル遅延手段504−１の出力は、マルチプレクサー506−３への第１入力とマルチプレクサー506−４への第１入力として印加される。両マルチプレクサー506−３および506−４への第２入力としては、ゼロ値が印加される。マルチプレクサー506−３の出力は加算器502−１の第２入力として印加され、マルチプレクサー506−４の出力は加算器502−２の第１入力として印加される。乗算器500−２からの出力は加算器502−２への第２入力として印加され、加算器502−２の出力は第２のＮ−サンプル遅延手段504−２への入力として印加される。第２のＮ−サンプル遅延手段504−２からの出力は、マルチプレクサー506−５への第１入力とマルチプレクサー506−６への第１入力として印加される。両マルチプレクサー506−５および506−６への第２入力としては、ゼロ値が印加される。マルチプレクサー506−５からの出力は加算器502−２の第３入力として印加され、マルチプレクサー506−６からの出力は加算器502−３の第１入力として印加される。乗算器500−３からの出力は加算器502−３への第２入力として印加され、加算器502−３からの出力は、図5aに示す本発明の第１の５タップ・オクターブ・前置フイルタの構成によって導出される出力ラインY1、Y2、Y3、Y4、……からなっている。
図5aに示す構成に加えて、実際には、各乗算器、加算器は、その入力と出力それぞれに個々のサンプル・ラッチ（図示せず）を有し、各ラッチによってデータの流れに１サンプル分の遅延を導く。さらに、実際には、図5aに示すオクターブ・前置フイルタの構成を通るデータの流れを制御するために、適当なタイミング制御回路構成（図示せず）を設ける。この図5aに示すオクターブ・前置フイルタの構成を通るデータの流れを論じよう。
２入力マルチプレクサーはすべて、各走査線期間の最後にその２入力間において前後に切り替わる。マルチプレクサー506a−１の初期設定は、入力ラインL1から始まる各奇数入力ラインの出現中は、ｃ係数入力状態にあるようになっており、マルチプレクサー506a−２の初期設定は、入力ラインL3から始まる各奇数入力ラインの出現中は、ａ係数入力状態にあるようになっている。マルチプレクサー506−３および506−５の初期設定は、すべての偶数入力ライン走査線期間動作サイクル中にだけ第１および第２のＮ−サンプル遅延手段504−１および504−２の各出力を再循環し、奇数入力ライン走査線期間動作サイクル中にはすべてゼロ値を通常に再循環させるようになっている（しかしながら、原則としては、それら奇数入力ライン走査線期間動作サイクル中に（例えば第１サイクル中に）マルチプレクサー506−３および506−５がゼロ値状態になることは絶対的に本質的というわけではない。それらのサイクル中は、第１および第２のＮ−サンプル遅延手段504−１、504−２の各出力からはサンプル値が出現し得ないことは先験的に知られていることである）。マルチプレクサー506−４および506−６の初期設定は、奇数入力ライン走査線期間動作サイクル中にだけ第１および第２のＮ−サンプル遅延手段504−１および504−２の各出力を各加算器502−２および502−３の第１入力に送り、偶数入力ライン走査線期間動作サイクル中にはゼロ値を各加算器502−２および502−３の第１入力に送るようになっている。
次の論述のために、各入力ラインL1、L2、L3、……の対応サンプル値をvL1、vL2、vL3、……でそれぞれ示す。
フイルタの動作の第１の走査線期間サイクル中は、入力ラインL1のＮ個のサンプルのそれぞれだけがまずｃ係数で乗算されて、サンプル値cvL1を得る。これらのcvL1値のＮ個のサンプルのそれぞれは加算器502−１を通して第１のＮ−サンプル遅延手段504−１への入力として印加される。
フイルタの動作の第２の走査線期間サイクル中は、マルチプレクサー506−３は非ゼロ状態にあるので、今度は第１のＮ−サンプル遅延手段504−１からの出力として生じたcvL1値のサンプルが加算器502−１への第２入力として再循環されて、加算器502−１への第１入力として印加されている対応bvL2値のサンプルに加算される。それゆえ、動作の第２の走査線期間サイクル中は、第１のＮ−サンプル遅延手段504−１への入力として印加される各サンプルのサンプル値はcvL1＋bvL2である。しかしながら、動作の第２の走査線期間サイクル中は、マルチプレクサー506−４はゼロ状態にあるので、cvL1値化のサンプルは加算器502−２の第１入力には印加されない。
フイルタの動作の第３の走査線期間サイクル中は、両マルチプレクサー506−３、506−５はゼロ状態にあるので、第１のＮ−サンプル遅延手段504−１からの出力として生じているcvL1＋bvL2値のサンプルを加算器502−１への第２入力として再循環させない。しかしながら、今度はマルチプレクサー506−４が非ゼロ状態にあるので、これらのcvL1＋bvL2値のサンプルはマルチプレクサー506−４を通して加算器502−２の第１の入力に送られ、avL3値のサンプルが乗算器500−２から加算器502−２の第２入力に印加される。こうして、動作の第３の走査線期間サイクル中は、cvL1＋bvL2＋avL3値のサンプルが第２のＮ−サンプル遅延手段504−２への入力として印加される。
フイルタの動作の第４の走査線期間サイクル中は、両マルチプレクサー506−３および506−５は非ゼロ状態にあるので、今度は、第２のＮ−サンプル遅延手段504−２からの出力として生じた、cvL1＋bvL2＋avL3値のサンプルが加算器502−２への第３入力として再循環される。さらに、bvL4値のサンプルが乗算器500−２から加算器502−２の第２入力として印加される。それゆえ、cvL1＋bvL2＋avL3＋bvL4値のサンプルが加算器502−２の出力から第２のＮ−サンプル遅延手段504−２の入力に印加される。しかしながら、この時には両マルチプレクサー506−４および506−６はゼロ状態にあるので、第１のＮ−サンプル遅延手段504−１の出力から生じているcvL3値のサンプルは加算器502−１の第２入力に再循環される一方、これらのcvL3値のサンプルは加算器502−２の第１入力には送られず、また、第２のＮ−サンプル遅延手段504−２からの出力として生じているcvL1＋bvL2＋avL3値のサンプルは加算器502−３の第１入力には送られない。再循環したcvL3値のサンプルは加算器502−１でbvL4に加算されて、cvL3＋bvL4値のサンプルが第１のＮ−サンプル遅延手段504−１の入力に印加される。
フイルタの動作の第５の走査線期間サイクル中は、両マルチプレクサー506−３、506−５はゼロ状態にあるので、第１のＮ−サンプル遅延手段504−１からの出力として生じているcvL3＋bvL4値のサンプルを加算器502−１への第２入力として再循環させない。しかしながら、今度はマルチプレクサー506−４および506−６が非ゼロ状態にあるので、これらcvL3＋bvL4値のサンプルはマルチプレクサー506−４を通して加算器502−２の第１入力に送られ、第２のＮ−サンプル遅延手段504−２から生じているcvL1＋bvL2＋avL3＋bvL4値のサンプルがマルチプレクサー506−４を通して加算器502−３の第１入力に送られる。さらに、乗算器500−３からの出力cvL5が加算器502−３への第２入力として印加され、その結果、cvL1＋bvL2＋avL3＋bvL4＋cvL5値のサンプルからなるフイルタリング処理出力ラインY1が図5aに示す本発明の第１の５タップ・オクターブ・前置フイルタ構成から生じる。
動作の第５の走査線期間サイクル中のcvL3＋bvL4値のサンプルの状態は、動作の第３の走査線期間サイクル中のcvL1＋bvL2値のサンプルの状態に一致していることが分かる。こうして、動作の第６および第７の走査線期間サイクルは、それぞれ動作の第４および第５の走査線期間サイクルに対応することになる。それゆえ、cvL3＋bvL4＋avL5＋bvL6＋cvL7値のサンプルからなるフイルタリング処理出力ラインY2が動作の第７の走査線期間サイクルで生じることになる。同様に、cvL5＋bvL6＋avL7＋bvL8＋cvL9値のサンプルからなるフイルタリング処理出力ラインY3が動作の第９の走査線期間サイクルで生じcvL7＋bvL8＋avL9＋bvL10＋cvL11値のサンプルからなるフイルタリング処理出力ラインY4が動作の第11の走査線期間サイクルで生じ、という具合になる。
上記のことから、フイルタリング処理出力ラインは、動作の第５の走査線期間サイクルから始まる、動作の各連続奇数走査線期間サイクルにだけ生じることが分かる。それゆえ、２の因子による下向きサンプリングが、図5aに示す本発明の第１の５タップ・オクターブ・前置フイルタ構成の入力ラインと出力ラインとの間に起こる。
第２（上向きサンプリング）モードでの図5aの動作には、第１（下向きサンプリング）モードに関する上述のものとは、３点の相違を必要とするだけである。第１には、Ｎ−サンプル遅延手段504−１、504−２の各出力の再循環は、上向きサンプリングモードには必要ではない。それゆえ、マルチプレクサー506−３、506−４、506−５、506−６それぞれのタイミング制御は、全ての期間において、Ｎ−サンプル遅延手段504−１の出力を加算器502−２の第１入力に送り、Ｎ−サンプル遅延手段504−２の出力を加算器502−３の第１入力に送って、Ｎ−サンプル遅延手段504−１、504−２の各出力を再循環しないように設定される。第２には、２で上向きサンプリングするために、各偶数入力ラインL2、L4、L6、L8、……の各画素サンプル値は、それぞれの直前の入力ラインL1、L3、L5、L7、……を複製したものとする。第３には、上向きサンプリングにおいては奇数出力ラインの除外が起こらないので、乗算器500−２に印加される第１の入力ラインは（L3ではなくて）L2であり、乗算器500−３に印加される第１の入力ラインは（L5ではなくて）L3である。しかしながら、乗算器500−３への入力としては今まで通り奇数入力ライン（すなわち、L3、L5、L7、……）だけが印加される。
図5aの動作の上向きサンプリングモードでは各偶数入力ラインL2、L4、……は各奇数入力ラインL1、L3、……の複製であることを考慮すると、一つの奇数入力ライン名は次の式のそれぞれにおいて、対応した偶数入力ライン名の代わりに使えるということになる。上向きサンプリングモードにおける動作時の図5aの動作の上述の変更の結果、そこから生じるフイルタリング処理出力ラインY1はcvL1＋avL3＋cvL5値のサンプルからなり、そこから生じるフイルタリング処理出力ラインY2はbvL3＋bvL5値のサンプルからなる。一般化するとそこから生じる各奇数フイルタリング処理出力ラインYiは、cvLi＋avL(i+2)＋cvL(i+4)値のサンプルからなりそこから生じる各偶数フイルタリング処理出力ラインＹ（ｉ＋１）は、bvL(i+2)＋bvL(i+4)値のサンプルからなる。
上向きサンプリングモードではｂカーネル関数係数は各奇数フイルタリング処理出力ラインYiには寄与せず、ａおよびｃカーネル関数係数は各偶数フイルタリング処理出力ラインＹ（ｉ＋１）には寄与しないので、奇数偶数両出力ラインの画素サンプル値は半分に減少する。この問題を克服するために、カーネル関数係数ｃ、ｂ、ａ、ｂ、ｃはそれぞれ、２の因子による上向きサンプリングの場合は、通常の２倍の値を持つべきである。例えば、カーネル関数係数ｃ、ｂ、ａ、ｂ、ｃの通常値が1/16、1/4、3/8、1/4、1/16であるとすると、図5aの上向きサンプリングモードにおけるこれらの係数の値は、1/8、1/2、3/4、1/2、1/8であるべきである。
第３の（透過）モードで図5aを動作させるには、全ての期間においてマルチプレクサー506a−２のタイミング制御を、乗算器500−２が入力カーネル関数係数ａだけを受け取るように設定し、全ての期間において各マルチプレクサー506−３、506−４、506−５、506−６のタイミング制御を、Ｎ−サンプル遅延手段504−１の出力を加算器502−２の第１入力に送り、Ｎ−サンプル遅延手段504−２の出力を加算器502−３の第１入力に送って、Ｎ−サンプル遅延手段504−１、504−２の各出力を再循環しないように設定する。さらに、透過モードにおいては、入力ラインL1、L2、L3、L4、L5、……のすべてが乗算器500−２に（入力ラインL3、L4、L5、……だけではなく）印加され、カーネル関数係数ｃ、ｂ、ａの各値はｃ＝０、ｂ＝０、ａ＝１に設定される。加えて、透過モードにおける入力ラインL1、L2、L3、L4、L5、……のどれもがそれぞれ自身の元の画素サンプル値からなる（すなわち、入力ラインL1、L2、L3、L4、L5、……はどれも、直前の入力ラインの画素サンプル値の複製ではない）。その結果、図5aは、透過モードにおいては、各入力ラインL1、L2、L3、L4、L5、……をそれぞれに対応する出力ラインY1、Y2、Y3、Y4、Y5、……に１ライン分の遅延で渡す単なる単一Ｎ−サンプル遅延ラインとして動作する。
図5bを参照すると、４の因子による下向きサンプリングを行う第１動作モードで具体的に図解した本発明の第２の５タップ・オクターブ・前置フイルタの構成が示されている。図5bと上述の図5aとの物理構成の唯一の違いは、図5aの２入力マルチプレクサー506a−１、506a−２が、図5bでは４入力マルチプレクサー506b−１、506b−２に置き換えられることである。マルチプレクサー506b−１は、４つのカーネル関数係数ｅ、ｄ、ｃ、ｂのそれぞれを順に乗算器500−１の乗算器入力に送るように周期動作をする。マルチプレクサー506b−２は、４つのカーネル関数係数ａ、ｂ、ｃ、ｄのそれぞれを順に乗算器500−２の乗算器入力に送るように周期動作をする。さらに、カーネル関数係数ｅは乗算器500−３の入力に直接印加される。
この物理構成の相違の他に、図5bの動作の下向きサンプリングモードと図5aの動作の下向きサンプリングモードとでは、それらで行われる信号タイミングと制御に次のような相違がある。図5bでは、入力ラインL5から始まる各入力ラインが乗算器500−２の被乗数入力に印加され、入力ラインL9から始まる４番目毎の入力ライン（すなわち、L13、L17、……）が乗算器500−３の被乗数入力に印加される。さらに、マルチプレクサー506−３、506−５のタイミング制御は、動作の走査線期間サイクル１、５、９、13、……中にだけそれらのマルチプレクサーをゼロ状態にして、動作の他の走査線期間サイクル中にはすべて非ゼロ状態にするようになっており、一方、マルチプレクサー506−４、506−６のタイミング制御は、動作の走査線期間サイクル１、５、９、13、……中にだけそれらのマルチプレクサーを非ゼロ状態にして、動作の他の走査線期間サイクル中にはすべてゼロ状態にするようになっている。
図5bの構成の動作では、evL1値のサンプルが、動作の走査線期間サイクル１中第１のＮ−サンプル遅延手段504−１の入力に印加される。動作の走査線期間サイクル２から４のそれぞれのサイクル中には、第１のＮ−サンプル遅延手段504−１の出力として生じる一連のより古い再循環サンプル値が加算器502−１の第２入力に印加され、加算器502−１の第１入力に印加される新しいサンプル値に加えられる（図5aに関して詳細に上述した方法）。この結果evL1＋dvL2＋cvL3＋bvL4値のサンプルが動作の第４の走査線期間サイクル中に第１のＮ−サンプル遅延手段504−１の入力に印加されることになる。しかしながら、これらのevL1＋dvL2＋cvL3＋bvL4値のサンプルが動作の第５の走査線期間サイクル中に第１のＮ−サンプル遅延手段504−１からの出力として生じるときには、マルチプレクサー506−３はゼロ値状態にあり、マルチプレクサー506−４は非ゼロ値状態にある。それゆえ、これらのevL1＋dvL2＋cvL3＋bvL4値のサンプルは加算器502−２の第１入力に送られて、そこで第２のＮ−サンプル遅延手段504−２への入力として印加される前に、加算器502−２の第２入力に印加されるavL5値のサンプルに加えられる。
動作の走査線期間サイクル６から８のそれぞれのサイクル中には、第２のＮ−サンプル遅延手段504−２からの出力として生じる一連のより古い再循環サンプル値が加算器502−２の第３入力に印加されて、加算器502−２の第２入力に印加される新しいサンプル値に加えられる。その結果、evL1＋dvL2＋cvL3＋bvL4＋avL5＋bvL6＋cvL7＋dvL8値のサンプルが動作の第８走査線期間サイクル中に第２のＮ−サンプル遅延手段504−２の入力に印加されることになる。しかしながらこれらevL1＋dvL2＋cvL3＋bvL4＋avL5＋bvL6＋cvL7＋dvL8値のサンプルが動作の第９走査線期間サイクル中に第１のＮ−サンプル遅延手段504−１からの出力として生じるときには、マルチプレクサー506−５はゼロ値状態にあり、マルチプレクサー506−６は非ゼロ値状態にある。それゆえに、これらのevL1＋dvL2＋cvL3＋bvL4＋avL5＋bvL6＋cvL7＋dvL8値のサンプルは加算器502−３の第１入力に送られて、そこで、加算器502−３の第２入力に印加されるevL9値のサンプルに加えられる。この結果、フイルタリング処理出力ラインY1を構成する加算器502−３の出力からのサンプル値はevL1＋dvL2＋cvL3＋bvL4＋avL5＋bvL6＋cvL7＋dvL8＋evL9となる。
同様に、フイルタリング処理出力ラインY2を構成するサンプル値は、evL5＋dvL6＋cvL7＋bvL8＋avL9＋bvL10＋cvL11＋dvL12＋evL13となり、フイルタリング処理出力ラインY3を構成するサンプル値は、evL9＋dvL10＋cvL11＋bvL12＋avL13＋bvL14＋cvL15＋dvL16＋evL17といった具合になる。
上記のことから、図5bの下向きサンプリングモードでは、フイルタリング処理出力ラインは、動作の第９走査線期間サイクルから始まる、動作の各４番目毎の連続走査線期間にだけ生じることが分かる。それゆえ、４の因子による下向きサンプリングが、図5bに示す本発明の第２の５タップ・オクターブ・前置フイルタ構成の入力ラインと出力ラインとの間に起こる。
上向きサンプリングモード時の図5bの変更は、上述の図5aの上向きサンプリングモード時の変更と同様であるが、ただし、図5bにおける、４つ連続した入力ラインの各連続組L1からL4、L5からL8、……のそれぞれにおいて、各組の最後の３つの入力ラインのそれぞれの画素サンプル値がその組の第１の入力ラインの画素サンプル値の複製になっている。この複製関係を考慮すると、各組の第１の入力ライン（すなわち、L1、L5、L9、……）の入力ライン名は、次の式のそれぞれにおいてその組の最後の３つの入力ライン名（すなわち、L2からL4、L6からL8、L10からL12、……）それぞれの代わりに使えると言うことになる。こうして、上向きサンプリングモード動作時の図5bの動作の上述の変更の結果４つの連続出力ラインの連続組それぞれの第１のフイルタリング処理出力ラインYi（YiはY1、Y5、Y9、……に相当する）はevLi＋avL(i+4)＋cvL(i+8)値のサンプルからなり、これらの連続組それぞれの第２のフイルタリング処理出力ラインＹ（ｉ＋１）はbvL(i+4)＋dvL(i+8)値のサンプルからなり、これらの連続組それぞれの第３のフイルタリング処理出力ラインＹ（ｉ＋２）は、cvL(i+4)＋cvL(i+8)値のサンプルからなり、これらの連続組それぞれの第４のフイルタリング処理出力ラインＹ（ｉ＋３）は、dvL(i+4)＋bvL(i+8)値のサンプルからなる。
図5cを参照すると、８の因子による下向きサンプリングを提供する第１の動作モードで具体的に図解した本発明の第３の５タップ・オクターブ・前置フイルタの構成が示されている。図5cと上述の図5aとの物理構成の唯一の違いは、図5aの２入力マルチプレクサー506a−１、506a−２が、図5cでは８入力マルチプレクサー506c−１、506c−２に置き換えられることである。マルチプレクサー506c−１は、８つのカーネル関数係数ｉ、ｈ、ｇ、ｆ、ｅ、ｄ、ｃ、ｂのそれぞれを順に乗算器500−１の乗算器入力に送るように周期動作をする。マルチプレクサー506c−２は、８つのカーネル関数係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉのそれぞれを順に乗算器500−２の乗算器入力に送るように周期動作をする。さらに、カーネル関数係数ｉは乗算器500−３の入力に直接印加される。
図5cと図5aとで行われる信号タイミングと制御の相違は、上述した、図5bと図5aとで行われる信号タイミングと制御の相違に幾分類似している。図5cの場合では、入力ラインL9から始まる各入力ラインが乗算器500−２の被乗数入力に印加され、入力ラインL17から始まる８番目毎の入力ライン（すなわち、L25、L33、……）が乗算器500−３の被乗数入力に印加される。さらに、マルチプレクサー506−３、506−５のタイミング制御は、動作の走査線期間サイクル１、９、17、……中にだけそれらのマルチプレクサーをゼロ状態にして、動作の他の走査線期間サイクル中にはすべて非ゼロ状態にするようになっており、一方、マルチプレクサー506−４、506−６のタイミング制御は、動作の走査線期間サイクル１、９、17、……中にだけそれらのマルチプレクサーを非ゼロ状態にして、動作の他の走査線期間サイクル中にはすべてゼロ状態にするようになっている。
図5a、図5bに関して詳細に述べたものと同一の動作方法を用いて、フイルタリング処理出力ラインY1の図5cのサンプル値は、ivL1＋hvL2＋gvL3＋fvL4＋evL5＋dvL6＋cvL7＋bvL8＋avL9＋bvL10＋cvL11＋dvL12＋evL13＋fvL14＋gvL15＋hvL16＋ivL17となる。フイルタリング処理出力ラインY2のサンプル値は、ivL9＋hvL10＋gvL11＋fvL12＋evL13＋dvL14＋cvL15＋bvL16＋avL7＋bvL18＋cvL19＋dvL20＋evL21＋fvL22＋gvL23＋hvL24＋ivL25となる。フイルタリング処理出力ラインY3のサンプル値は、ivL9＋hvL10＋gvL11＋fvL12＋evL13＋dvL14＋cvL15＋bvL16＋avL7＋bvL18＋cvL19＋dvL20＋evL21＋fvL22＋gvL23＋hvL24＋ivL25となる。
上記のことから、フイルタリング処理出力ラインは、動作の第１の７走査線期間サイクルから始まる、動作の各一連の８番目毎の走査線期間サイクルにだけ生じることが分かる。それゆえ、８の因子による下向きサンプリングが、図5cに示す本発明の第３の５タップ・オクターブ・前置フイルタ構成の入力ラインと出力ラインとの間に起こる。
上向きサンプリングモード時の図5cの変更は、上述の図5aの上向きサンプリングモード時の変更と同様であるが、ただし、図5cにおける８つの連続入力ラインの各連続組L1からL8、L9からL16、……のそれぞれにおいて、各組の最後の７つの入力ラインのそれぞれの画素サンプル値がその組の第１の入力ラインの画素サンプル値の複製になっている。この複製関係を考慮すると、各組の第１の入力ライン（すなわち、L1、L9、L17、……）の入力ライン名は次の式のそれぞれにおいてその組の最後の７つの入力ライン名（すなわち、L2からL8、L10からL16、L18からL24、……）それぞれの代わりに使えると言う意味になる。こうして上向きサンプリングモード動作時の図5cの動作の上述の変更の結果、８つの連続出力ラインの連続組それぞれの第１のフイルタリング処理出力ラインYi（YiはY1、Y9、Y17、……に相当する）はivLi＋avL(i+8)＋ivL(i+16)値のサンプルからなり、これらの連続組それぞれの第２のフイルタリング処理出力ラインＹ（ｉ＋１）はbvL(i+8)＋hvL(i+16)値のサンプルからなり、これらの連続組それぞれの第３のフイルタリング処理出力ラインＹ（ｉ＋２）はcvL(i+8)＋gvL(i+16)値のサンプルからなり、これらの連続組それぞれの第４のフイルタリング処理出力ラインＹ（ｉ＋３）はdvL(i+8)＋fvL(i+16)値のサンプルからなり、これらの連続組それぞれの第５のフイルタリング処理出力ラインＹ（ｉ＋４）はevL(i+8)＋evL(i+16)値のサンプルからなり、これらの連続組それぞれの第６のフイルタリング処理出力ラインＹ（ｉ＋５）はfvL(i+8)＋dvL(i+16)値のサンプルからなり、これらの連続組それぞれの第７のフイルタリング処理出力ラインＹ（ｉ＋６）はgvL(i+8)＋cvL(i+16)値のサンプルからなり、これらの連続組それぞれの第８のフイルタリング処理出力ラインＹ（ｉ＋７）はhvL(i+8)＋bvL(i+16)値のサンプルからなる。
適当なタイミングと制御によって、図5cに示す物理構成は、８の因子による下向きサンプリングや上向きサンプリングを提供することに加えて、２あるいは４の因子による下向きサンプリングや上向きサンプリングを選択的に提供することに用いても良い。カーネル関数係数ｃ、ｂを４組、８タップ・マルチプレクサー506c−１に印加し、カーネル関数係数ａ、ｂを４組、８タップ・マルチプレクサー506c−２に印加し、カーネル関数係数ｃを乗数として乗算器500−３に印加し、入力ラインを被乗数として乗算器500−２、500−３の両方に印加し、図5aにおける下向きサンプリングあるいは上向きサンプリングに用いられるタイミングに従ってマルチプレクサー506−３、506−４、506−５、506−６をゼロ値状態と非ゼロ値状態との間で切り替えることによって、２の因子による下向きサンプリングや上向きサンプリングを行う。カーネル関数係数ｅ、ｄ、ｃ、ｂを２組、８タップ・マルチプレクサー506c−１に印加し、カーネル関数係数ａ、ｂ、ｃ、ｄを２組、８タップ・マルチプレクサー506c−２に印加し、カーネル関数係数ｅを乗数して乗算器500−３に印加し、入力ラインを被乗数として乗算器500−２、500−３の両方に印加し、図5bにおける下向きサンプリングあるいは上向きサンプリングに用いられるタイミングに従ってマルチプレクサー506−３、506−４、506−５、506−６をゼロ値状態と非ゼロ値状態との間で切り替えることによって、４の因子による下向きサンプリングや上向きサンプリングを行う。
一般化すると、本発明の５タップ・オクターブ・前置フイルタ構造は、（１）2n個のタップ・マルチプレクサー506−１および506−２を用いて、マルチプレクサー506−１が2n+1＋１個の係数のカーネル関数のうちの、第１の2n個の係数をそれぞれ順に乗算器500−１の乗数入力に印加し、マルチプレクサー506−２が2n+1＋１個の係数のカーネル関数のうちの２番目からの2n個の係数をそれぞれ順に乗算器500−２の乗数入力に印加し、2n+1＋１個の係数のカーネル関数のうちの最後の係数を乗算器500−３の乗数入力に直接印加し、（２）各入力ラインを被乗数入力として乗算器500−１へ印加し、下向きサンプリングには入力ラインL2n＋１から始まるか、あるいは上向きサンプリングには入力ラインL2から始まる各入力ラインを被乗数入力として乗算器500−２に印加し、下向きサンプリングには入力ラインL2n+1＋１から始まるか、あるいは上向きサンプリングには入力ラインL3から始まる2n番目毎の入力ラインを被乗数入力として乗算器500−３に印加し、（３）下向きサンプリングのためには、多くとも動作の走査線期間サイクル１、2n＋１、2n+1＋１、2n+2＋１、2n+3＋１、……の間だけは全てマルチプレクサー506−３、506−５をゼロ状態に維持し、動作の他の走査線期間サイクルの間は全てマルチプレクサー506−３、506−５を非ゼロ状態に維持する一方で、多くとも、動作の走査線期間サイクル１、2n＋１、2n+1＋１、2n+2＋１、2n+3＋１、……の間だけは全てマルチプレクサー506−４、506−６を非ゼロ状態に維持し、動作の他の走査線期間サイクルの間は全てマルチプレクサー506−４、506−６をゼロ状態に維持し、また一方で、上向きサンプリングのためには、動作のすべての走査線期間サイクルの間マルチプレクサー506−３、506−５をゼロ状態に維持し、動作のすべての走査線期間サイクルの間マルチプレクサー506−４、506−６を非ゼロ状態に維持することによって、2nの因子による走査線の下向きサンプリングや上向きサンプリングを提供することが出来る。
本発明の手法は、図解のために用いた図5a、図5b、および図5cに示す５タップ・フイルタ構造への適用に限定されるものではない。一般的には、奇数個のタップＴを有するフイルタ構造は、2n（Ｔ−１）/2＋１個の係数のカーネル関数を必要とし（したがって、５タップ・フイルタ構造には2n+1＋１個の係数のカーネル関数が必要）、一方、偶数個のタップＴを有するフイルタ構造は、2nT/2個の係数のカーネル関数を必要とする。奇数個でも偶数個でも、どんな数のタップを持つフイルタ構造にも適用可能な本発明の手法によると、必要なＮ−サンプル遅延手段の数は、T/2の整数部分に等しい。ただし、Ｔはフイルタのタップ数である。こうして、５タップまたは４タップ・フイルタは２つのＮ−サンプル遅延手段を必要とするが、３タップまたは２タップ・フイルタは１つのＮ−サンプル遅延手段だけでよく、また７タップまたは６タップ・フイルタは３つのＮ−サンプル遅延手段を必要とする。各Ｎ−サンプル遅延手段の入力に関連づけられるのは、カーネル関数係数マルチプレクサー（例えば、図5aのマルチプレクサー506a−１、506a−２）、乗算器（例えば、図5aの乗算器500−１、500−２）、および加算器（例えば、図5aの加算器502−１、502−２）である。フイルタが奇数タップ・フイルタであるならば、最終Ｎ−サンプル遅延手段（例えば、図5aのＮ−サンプル遅延手段504−２）から生じるカーネル関数重み付けサンプル値に、最終カーネル関数係数（例えば、図5aの係数ｃ）で重みをつけたサンプル値を加算するために、付加乗算器（例えば、図5aの乗算器502−３）と加算器（例えば、図5aの加算器502−３）が必要である。フイルタが偶数タップ・フイルタであるならば、こうした付加乗算器と加算器は必要ではない。各Ｎ−サンプル遅延手段の出力に関連づけるのは、（１）この出力の該Ｎ−サンプル遅延手段の入力への再循環を制御するための第１のゼロ値挿入用マルチプレクサー（例えば、図5aのマルチプレクサー506−３、506−５）、および（２）この出力の転送を制御する第２のゼロ値挿入用マルチプレクサー（例えば、図5aのマルチプレクサー506−４、506−６）である。
図解目的のために、フイルタの各Ｎ−サンプル遅延手段のＮ個のサンプルはすべて、図３の再サンプリング回路によってサイズが再調整されるビデオ画像の走査線の画素サンプルであるとしていたので、各Ｎ−サンプル遅延手段は１走査線期間の遅延を提供してビデオ画像の垂直（Ｙ）方向のフイルタリング処理を行っていた。しかしながら、Ｎ＝１として各Ｎ−サンプル遅延手段が１画素期間だけの遅延を提供するようにすれば、フイルタはビデオ画像の水平（Ｘ）方向のフイルタリング処理を行うことになる。
パイプライン構造を用いて本発明をVLSIチップ上で実現するには、単一クロック周波数を終始用いて、この単一クロック周波数が入力信号の最大帯域幅成分の最高周波数のサンプリングにおいてナイキスト判別法を満足できるようにするのが望ましい。リアルタイムに生じるNTSCビデオ信号は、約4MHzの帯域幅を持つ輝度成分と、それぞれ約2MHzの帯域幅を持つ別個のＩおよびＱクロミナンス成分とからなることが知られている。それゆえ、本発明をVLSIチップ上で効果的に実現するためには、ＩおよびＱクロミナンス成分の画素にビデオ画像の水平（Ｘ）方向のフィルタリング処理を提供するのに時分割多重技術を用いることが望ましい。図6aおよび図6bは、このことを実現するための図5aの別な変更例である。
図6aにおいて、要素600−１、600−２、600−３、602−１、602−２、602−３、604−１、604−２、606a−１、606a−２、606−３、606−４、606−５、606−６は、それぞれ図5aの要素500−１、500−２、500−３、502−１、502−２、502−３、504−１、504−２、506a−１、506a−２、506−３、506−４、506−５、506−６に相当している。しかし、要素604−１、604−２はそれぞれ、要素504−１、504−２のそれぞれによってもたらされる１ライン相当のＮ個の画素ではなくて、２個の画素分の遅延をもたらすだけである。
図6aに示すように、乗算器600−１は、全ての一連の入力のＱ画素サンプル値Pq1、Pq2、……のそれぞれによってインターリーブされたすべての一連の入力のＩ画素サンプル値Pi1、Pi2、……のそれぞれを、時分割多重化被乗数として順に受け取る。こうして、それぞれの入力のＱ画素サンプルと一連の入力のＩ画素サンプルとが、前述の単一クロック周波数のクロック時に交互に生じ、Ｉ画素それぞれのサンプル期間とＱ画素それぞれのサンプル期間は、クロック期間の２倍となる。同様に、乗算器600−２は、全ての一連の入力のＱ画素サンプル値Pq3、Pq4、……のそれぞれによってインターリーブされたすべての一連の入力のＩ画素サンプル値Pi3、Pi4、……のそれぞれを、時分割多重化被乗数として順に受け取り、乗算器600−３は、全ての一連の入力のＱ画素サンプル値Pq5、Pq7、……のそれぞれによってインターリーブされたすべての一連の入力のＩ画素サンプル値Pi5、Pi7、……のそれぞれを、時分割多重化被乗数として順に受け取る。
図6aの時分割多重化動作のために、マルチプレクサー606a−１、606a−２、606−３、606−４、606−５、606−６は、それぞれに対応するマルチプレクサー506a−１、506a−２、506−３、506−４、506−５、506−６が前後に切り替えられる割合の半分で前後に切り替えられる。さらに、第１および第２の遅延手段604−１、604−２のそれぞれが２画素分の遅延をもたらすので、遅延されたＩクロミナンス画素を、確実に、加算器602−１、602−２、602−３によって、そこへの入力として印加される他のＩクロミナンス画素にだけ加算し、また、遅延されたＱクロミナンス画素を、確実に、加算器602−１、602−２、602−３によって、そこへの入力として印加される他のＱクロミナンス画素にだけ加算する。
本発明を実現するVLSIチップに関連するタイミング回路部品には、前述の単一クロックから一対の位相置換半周波数クロックを導出する装置が含まれても良い（以下述べる図6cに示すように）。こうした位相置換半周波数クロックの利用可能性によって、本発明は、下述の図6bに示すタイプの方法で時分割多重化して実現できるようになる。事実、図６のタイプの構成は、実際に組み立て製造済みのVLSIチップに編入されているのである。
図6bの構成が図6aの構成と相違する点は、（１）加算器602−１からの出力が、第１の２画素遅延604−１に印加されるのではなくて、第１の１画素遅延604i−１と604q−１それぞれに並列に印加されることと、（２）加算器602−２からの出力が、第２の２画素遅延604−２に印加されるのではなくて、第２の１画素遅延604i−２と604q−２それぞれに並列に印加されることと、（３）３入力マルチプレクサー606'−３、606'−４、606'−５、606'−６が２入力マルチプレクサー606−３、606−４、606−５、606−６にそれぞれ取って代わることである。
図6bに示すように、第１の１画素遅延604i−１と第２の１画素遅延604i−２のそれぞれのタイミングはＩクロミナンス・クロック（Cli）によって制御され、第１の１画素遅延604q−１と第２の１画素遅延604q−２のそれぞれのタイミングはＱクロミナンス・クロック（Clq）によって制御される。Cli、Clqそれぞれの単一システムクロックClに対する関係および相互の関係は、図6cのタイミング図608、610、612で示されている。具体的には、タイミング図608は、Clクロックが所与の周波数で周期的に生じることを示し、タイミング図610は、CliクロックがClクロック周波数の半分に等しい周波数で生じ、各Cliクロックが奇数番目のClクロックと等時的であることを示し、タイミング図612は、ClqクロックがClクロック周波数の半分に等しい周波数で生じ、各Clqクロックが偶数番目のClクロックと等時的であることを示している。こうして、各Clqクロックは、Clクロックの１期間だけ各Cliクロックと位相がずれている。
Clクロックレートでの３入力マルチプレクサーのタイミング制御によって、遅延されたＩクロミナンス画素を、確実に、加算器602−１、602−２、602−３によって、そこへの入力として印加される他のＩクロミナンス画素にだけ加算し、また、遅延されたＱクロミナンス画素を、確実に、加算器602−１、602−２、602−３によって、そこへの入力として印加される他のＱクロミナンス画素にだけ加算する。
図解目的のために、上述の図6aおよび図6bの構成はともに、水平次元と垂直次元の両方において２の因子で下向きサンプリングあるいは上向きサンプリングを提供できる、図5aに示す５タップ・オクターブ・デジタル前置フイルタの第１の構成例を時分割多重に修正したものに関する。図6aおよび図6bに図解した原理は、５タップ未満あるいは以上のタップを持ち、そして／あるいは、2nの値を持ついかなる因子による下向きサンプリングあるいは上向きサンプリングをも提供する、上述の他のオクターブ・デジタル・前置フイルタの構成にも拡張できることは明白である。
図6bの構成は、ＩおよびＱクロミナンス成分を時分割多重化処理するのに用いる以外に、２つの半解像度データ・ストリーム（例えば、２つの半解像度輝度信号）を時分割多重化処理するのにも有用である。
図３や図3aの再サンプリング回路は、ビデオ画像のサイズを再調整するのに用いるのに限定されるものではない。例えば、他の利用例としては、動画フレーム（毎秒24フレームの割で生じる）のNTSCビデオフレーム（毎秒30フレームの割で生じる）への変換や、NTSC規格ビデオフレーム（毎秒60コマのインターレース・フィールドの割で生じる）のヨーロッパ規格ビデオフレーム（毎秒50コマのインターレース・フィールドの割で生じる）への変換、あるいはその逆がある。
さらに、本発明の2n下向きサンプリングおよび上向きサンプリングの能力をもつオクターブ前置フィルタ（図5a、図5bおよび図5cに示すタイプのもの）は図３や図3aの再サンプリング回路を実現するのに使用して特に適当であるが、その使用はそれに限定されるものではない。
Claims (7)
- Ｄを１以上の数であるとしたときの、Ｄ次元情報を定義するデジタル信号サンプル値による入力ストリームのサンプリング期間を変更する装置において、前記情報の所与の次元を定義する、前記入力ストリームのデジタル信号サンプル値が所与のサンプリング期間Ｐに発生し、またＬを１より大きな値の第１の正の整数、Ｍを第２の正の整数としたときに前記装置はM/Lに等しい因子によって前記所与のサンプリング期間Ｐを変更するように構成した前記装置における改良が、
第１の手段と第２の手段とを含み、
前記第１の手段は、補間フイルタ手段を有し、前記入力サンプル・ストリームのデジタル信号サンプル値に応答して、デジタル信号サンプル値の第１の導出サンプル・ストリームを発生し、Ｃを所与の正の整数とし、M'をCLより小さい数とし、2n（M'/CL）と2-n（M'/CL）のうちの一方がM/Lに等しく、ｎの絶対値がゼロ以上の整数としたときに、前記入力ストリームの所与のサンプリング期間ＰにM'/CLに等しい因子を乗算し、前記第１の導出サンプル・ストリームサンプリング期間が（M'/CL）Ｐとなるよう構成し、
前記第２の手段は、オクターブ前置フイルタリング／サンプル手段を有し、デジタル信号サンプル値の第１の導出サンプル・ストリームに応答してデジタル信号サンプル値の第２の導出サンプル・ストリームを出力として発生し、前記第１の導出サンプルの第１の導出サンプリング期間（M'/CL）Ｐに、2n（M'/CL）＝M/Lの場合には2nを乗算し、2-n（M'/CL）＝M/Lの場合には2-nを乗算して前記第２の導出サンプルのサンプリング期間を（M/L）Ｐとするよう構成してなる前記装置。 - 前記Ｍが前記第１の正の整数の値よりも小さい値の第２の正の整数であり、
前記所与の正の整数Ｃの値が１であって、それにより2-n（M'/L）＝M/Lとなる、請求項１記載の装置。 - 前記Ｍが前記第１の正の整数Ｌの値よりも小さいかあるいは大きい値であってよい第２の正の整数であり、
前記所与の正の整数Ｃの値が２であり、
ｎの絶対値が１以上の整数であり、
それによって、Ｍ＜Ｌのときには2n（M'/2L）＝M/Lとなり、Ｍ＞Ｌのときには2-n（M'/2L）＝M/Lとなる、請求項１記載の装置。 - 前記補間フイルタ手段が第３の手段を有し、該第３の手段は、前記入力ストリームの所与のサンプリング期間（M'）Ｐの長さに等しい連続的サンプリング間隔の各々の間に、前記所与のサンプリング期間Ｐに発生する一連のM'＋１個のサンプルの各々に応答するようになっていて、前記一連のM'＋１個のサンプルのサンプル値が、それぞれV1、V2、V3……ＶM'−１、VM'およびＶM'＋１であり、
また前記第３の手段が、（M'/CL）Ｐに等しい補間サンプル期間に発生するCL−１個の補間サンプルを、前記一連のサンプルのうちの第１番目のサンプルと、第（M'＋１）番目のサンプルの間に挿入し、該補間サンプルの各々が前記サンプル値V1、V2、V3……ＶM'−１、VM'およびＶM'＋１により決まる関数であって前記補間サンプルの順序位置に依存する補間サンプル値を有するよう構成してなる、請求項１記載の装置。 - 前記第３の手段によって挿入される前記CL−１個の補間サンプルの各々の補間サンプル値が、前記補間サンプルの直前の前記一連の順序サンプルの前記特別のサンプル値V1、V2、V3……ＶM'−１、あるいはVM'と、前記補間サンプルの直後の前記一連の順序サンプルの前記特別のサンプル値V2、V3……ＶM'−１、VM'、あるいはＶM'＋１との間の直線的補間により求められる、請求項４記載の装置。
- Ｔが３以上の整数であり、またはｎが２以上であり、あるいはその両方であるときに、前記第２の手段が、Ｔカーネル関数重み付け係数の各々の値によって定義されるベースバンド周波数における対称ローパスフイルタ特性を有するＴ−タップ・デジタル・フイルタを有し、該Ｔ−タップ・デジタル・フイルタが、
Ｎが１以上の数としたときに、全個数がT/2の整数部分のみに等しい数のＮ−サンプル遅延手段を含み、それによって、前記整数が３であるときには前記フイルタが単一のＮ−サンプル遅延手段を有し、また前記整数が３より大であるときには前記フイルタが複数個のＮ−サンプル遅延手段を有し、前記整数が３より大きい時には、該複数個のＮ−サンプル遅延手段は順次直列に接続可能である、請求項１記載の装置。 - 前記入力ストリームの前記サンプル値が２次元（X,Y）ビデオ画像情報の水平（Ｘ）次元において画素サンプル値を有するとともに、垂直（Ｙ）次元において走査線期間サンプル値を有し、前記ビデオ画像情報を定義する前記所与の次元は前記垂直（Ｙ）次元であり、それによって、前記所与のサンプリング期間Ｐが前記走査線期間であって一連のＮ個の連続する画素サンプル値が各走査線期間Ｐに発生する、請求項６記載の装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US1993/003490 WO1994024632A1 (en) | 1993-04-14 | 1993-04-14 | Resampling apparatus suitable for resizing a video image |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004277428A Division JP2005102229A (ja) | 2004-09-24 | 2004-09-24 | ビデオ画像のサイズを再調整するのに好適な再サンプリング装置のオクターブ前置フィルタリング／サンプル乗算構造 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP3661156B2 true JP3661156B2 (ja) | 2005-06-15 |
Family
ID=22236507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP52307694A Expired - Lifetime JP3661156B2 (ja) | 1993-04-14 | 1993-04-14 | ビデオ画像のサイズを再調整するのに好適な再サンプリング装置 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP3661156B2 (ja) |
| KR (1) | KR100282115B1 (ja) |
| DE (1) | DE69329298T2 (ja) |
| HK (1) | HK1016420A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5835160A (en) * | 1995-09-13 | 1998-11-10 | Oak Technology, Inc. | Sampling rate conversion using digital differential analyzers |
-
1993
- 1993-04-14 KR KR1019950704493A patent/KR100282115B1/ko not_active IP Right Cessation
- 1993-04-14 DE DE69329298T patent/DE69329298T2/de not_active Expired - Lifetime
- 1993-04-14 JP JP52307694A patent/JP3661156B2/ja not_active Expired - Lifetime
-
1999
- 1999-01-15 HK HK98115914A patent/HK1016420A1/xx not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| DE69329298T2 (de) | 2000-12-28 |
| HK1016420A1 (en) | 1999-10-29 |
| KR100282115B1 (ko) | 2001-02-15 |
| KR960702133A (ko) | 1996-03-28 |
| DE69329298D1 (de) | 2000-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5355328A (en) | Resampling apparatus suitable for resizing a video image | |
| JP2652402B2 (ja) | 拡大ビデオ画像発生回路 | |
| EP0453558B1 (en) | A high speed interpolation filter for television standards conversion | |
| JP2913797B2 (ja) | 画像拡縮処理方法 | |
| JPS60121813A (ja) | ビデオ画像を変換しかつ濾波するための方式 | |
| US6993207B1 (en) | Method and apparatus for electronic image processing | |
| US5089893A (en) | Picture element number converter | |
| KR20010102553A (ko) | 연속 가변 지연 필터를 이용하며 다상 필터와 조합된이미지 보간 및 데시메이션 방법 | |
| WO1993014592A1 (en) | Digital image interpolation system for zoom and pan effects | |
| JPH0480424B2 (ja) | ||
| EP0641508A1 (en) | Method and apparatus for enhancing sharpness of a sequence of images subject to continuous zoom | |
| JPH0191576A (ja) | 時間伸長されたビデオ信号発生回路 | |
| JP2880168B2 (ja) | 拡大表示可能な映像信号処理回路 | |
| US5559905A (en) | Digital image resizing apparatus | |
| US5289292A (en) | Picture element data density conversion apparatus | |
| JPH04314228A (ja) | ディジタル信号の周波数変換用回路網 | |
| US5821884A (en) | Sampling rate conversion method and apparatus utilizing an area effect correlation method | |
| EP0694188B1 (en) | Resampling apparatus suitable for resizing a video image | |
| JP3661156B2 (ja) | ビデオ画像のサイズを再調整するのに好適な再サンプリング装置 | |
| JPH07212652A (ja) | ビデオ特殊効果装置 | |
| CA2158143C (en) | Resampling apparatus suitable for resizing a video image | |
| US20050147315A1 (en) | Mean filter device and filtering method | |
| JP2005102229A (ja) | ビデオ画像のサイズを再調整するのに好適な再サンプリング装置のオクターブ前置フィルタリング／サンプル乗算構造 | |
| JP4249425B2 (ja) | インターポーレータ | |
| JPH08511875A (ja) | ビデオ画像のサイズを再調整するのに好適な再サンプリング装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040119 |
|
| A313 | Final decision of rejection without a dissenting response from the applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A313 Effective date: 20040426 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040924 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050311 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120401 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120401 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130401 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140401 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |