JPH08223479A - Sampling frequency conversion circuit - Google Patents
Sampling frequency conversion circuitInfo
- Publication number
- JPH08223479A JPH08223479A JP7028162A JP2816295A JPH08223479A JP H08223479 A JPH08223479 A JP H08223479A JP 7028162 A JP7028162 A JP 7028162A JP 2816295 A JP2816295 A JP 2816295A JP H08223479 A JPH08223479 A JP H08223479A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- reduction
- frequency conversion
- processing
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 111
- 238000005070 sampling Methods 0.000 title claims abstract description 47
- 230000015654 memory Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims description 15
- 238000011946 reduction process Methods 0.000 claims description 3
- 230000006866 deterioration Effects 0.000 abstract description 9
- 230000004044 response Effects 0.000 abstract description 6
- 230000015572 biosynthetic process Effects 0.000 abstract description 4
- 238000003786 synthesis reaction Methods 0.000 abstract description 4
- 239000002131 composite material Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000003672 processing method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Details Of Television Scanning (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明はディジタル信号処理によ
り映像信号のサンプリング周波数変換を行う回路に関
し、特に入力映像信号を水平方向に拡大もしくは縮小す
る水平拡大縮小処理とサンプリング周波数変換の両方を
行う映像信号処理回路におけるサンプリング周波数変換
回路に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a circuit for converting a sampling frequency of a video signal by digital signal processing, and more particularly to a video for performing both horizontal scaling processing for scaling up or down an input video signal and sampling frequency conversion. The present invention relates to a sampling frequency conversion circuit in a signal processing circuit.
【0002】[0002]
【従来の技術】従来技術では、ディジタル映像信号処理
においてサンプリング周波数変換が必要となるシステム
で画像の拡大処理または縮小処理を行う場合、サンプリ
ング周波数変換と画像の拡大縮小処理は独立に行われて
いた。2. Description of the Related Art In the prior art, when an image is enlarged or reduced in a system that requires sampling frequency conversion in digital video signal processing, the sampling frequency conversion and the image enlargement / reduction processing are performed independently. .
【0003】画像の拡大縮小処理については、例えば、
特開平6−46306号公報に示されているようにフィ
ールドメモリを使用して水平方向垂直方向の画像拡大を
行っていた。水平方向の拡大縮小処理は、フィールドメ
モリから抜き出されて複数のラインメモリに入力され、
垂直方向の拡大処理を行ったデータに対して、水平方向
に直線補間で内挿処理を行うというものである。Regarding the image enlargement / reduction processing, for example,
As shown in Japanese Patent Application Laid-Open No. 6-46306, a field memory is used to perform image enlargement in the horizontal and vertical directions. Horizontal scaling processing is extracted from the field memory and input to multiple line memories.
The interpolation processing is performed by linear interpolation in the horizontal direction on the data that has been subjected to the enlargement processing in the vertical direction.
【0004】また、水平方向に対してのみ画像拡大もし
くは縮小処理を行う場合には、ラインメモリと書き込み
制御回路,読み出し制御回路を設け、拡大処理であれば
ラインメモリに蓄えられたデータを、拡大倍率に応じた
間隔で二度読みしながら読み出して、順次読み出された
データにより内挿処理する方法で行われている。逆に縮
小処理であれば、入力データに対して先に内挿処理を行
ってからラインメモリに書き込み、縮小倍率に応じた間
隔で間引きながら読み出すという方法で行われる。In the case of performing image enlargement or reduction processing only in the horizontal direction, a line memory, a write control circuit, and a read control circuit are provided, and in the case of enlargement processing, the data stored in the line memory is enlarged. This is performed by a method in which reading is performed twice while reading at intervals according to the magnification, and interpolation processing is performed using sequentially read data. On the other hand, the reduction processing is performed by a method in which the input data is first interpolated, then written in the line memory, and read while thinning out at intervals according to the reduction ratio.
【0005】一方、サンプリング周波数変換については
いくつかの方法があるが、変換比がある程度複雑になれ
ば、例えばRAMを用いて行うといった方法がある。補
間は変換比等にもよるが、簡易的には直線補間演算によ
り行われている。例えば周波数を上げる変換の場合を説
明すると、入力データをメモリに変換前クロックで書き
込み、変換後クロックで変換比に応じた間隔で二度読み
しながら読み出しを行って、これを直線近似により補間
をするという方法によって行われている。逆に周波数を
下げる変換の場合では、入力データに先に直線補間を行
い、メモリに変換前クロックで書き込み、変換後クロッ
クで間引きながら読み出しを行うという方法によって行
われている。On the other hand, there are some methods for converting the sampling frequency, but if the conversion ratio becomes complicated to some extent, there is a method of using a RAM, for example. Although the interpolation depends on the conversion ratio and the like, it is simply performed by linear interpolation calculation. For example, in the case of conversion that raises the frequency, the input data is written in the memory at the clock before conversion, and is read while being read twice at the interval after the conversion clock according to the conversion ratio, and this is interpolated by linear approximation. It is done by the method of doing. On the other hand, in the case of conversion for lowering the frequency, linear interpolation is first performed on the input data, writing is performed in the memory at the clock before conversion, and reading is performed while thinning out at the clock after conversion.
【0006】このような従来のシステムにおいての水平
方向縮小処理とサンプリング周波数変換処理の構成の一
例を、クロックを下げる変換の場合を図4に、クロック
を上げる変換の場合を図5にそれぞれ示す。An example of the configuration of the horizontal direction reduction processing and the sampling frequency conversion processing in such a conventional system is shown in FIG. 4 in the case of the clock lowering conversion and in FIG. 5 in the case of the clock increasing conversion.
【0007】以上の説明の水平縮小処理方式とサンプリ
ング周波数変換方式について、図7に4/5倍時の水平
縮小処理を、図8に変換比4:5の周波数変換処理の模
式図を示す。Regarding the horizontal reduction processing method and the sampling frequency conversion method described above, FIG. 7 shows a horizontal reduction processing at 4/5 times, and FIG. 8 shows a schematic view of the frequency conversion processing with a conversion ratio of 4: 5.
【0008】[0008]
(課題1)しかしながら、図4もしくは図5に示すよう
な従来の構成では水平縮小処理のため一度直線補間演算
により画質劣化した画像信号に対し、さらに周波数変換
のための帯域制限や再度の補間演算処理となるため、画
質劣化が大きいという問題点を有していた。(Problem 1) However, in the conventional configuration as shown in FIG. 4 or FIG. 5, for the image signal whose image quality is once degraded by the linear interpolation calculation due to the horizontal reduction processing, band limitation for frequency conversion and re-interpolation calculation are further performed. Since this is a process, there is a problem that image quality is greatly deteriorated.
【0009】これをベースバンドの周波数特性で示した
図11を参照して以下に説明する。まず、入力信号
(a)に対し図7に示すような水平方向縮小処理を行
う。This will be described below with reference to FIG. 11 showing the frequency characteristics of the base band. First, horizontal reduction processing as shown in FIG. 7 is performed on the input signal (a).
【0010】ここで内挿比は図7に示すように1:0、
3/4:1/4、1/2:1/2、1/4:3/4、
1:0、0:1と順に変化していくが、この内の例えば
1/2:1/2の内挿比のポイントであれば、(b)に
示す様な出力周波数特性になる。さらにこれに図8に示
すようなサンプリング周波数変換処理が行われる。この
サンプリング周波数変換処理による出力周波数特性は、
(c)の様になる。Here, the interpolation ratio is 1: 0 as shown in FIG.
3/4: 1/4, 1/2: 1/2, 1/4: 3/4,
Although it changes in the order of 1: 0 and 0: 1, the output frequency characteristic is as shown in (b) at the point of the interpolation ratio of, for example, 1/2: 1/2. Further, sampling frequency conversion processing as shown in FIG. 8 is performed on this. The output frequency characteristic by this sampling frequency conversion processing is
It becomes like (c).
【0011】なお(b)に図示しているのは内挿演算に
ついてのみの周波数特性図であるが、水平縮小処理を行
うと折り返し歪みが生じるので、入力信号に対して帯域
制限を行う必要がある。また(c)に図示しているのは
(a)に対してサンプリング周波数変換のみを行った様
子を簡略化した図である。It should be noted that the frequency characteristic diagram only for the interpolation calculation is shown in (b), but since the aliasing distortion occurs when the horizontal reduction processing is performed, it is necessary to limit the band of the input signal. is there. Further, FIG. 7C is a simplified view of the state in which only the sampling frequency conversion is performed on FIG.
【0012】実際には、帯域制限をして水平縮小と周波
数変換を行ったとすれば(b)に(c)のようなフィル
タがかけられ、結果としてトータルの周波数特性は
(d)のようになり、二重にフィルタリングされる効果
となって信号の高周波成分のレスポンスが二重に劣化す
る。In practice, if horizontal reduction and frequency conversion are performed with band limitation, a filter like (c) is applied to (b), and as a result, the total frequency characteristic is as shown in (d). Therefore, the effect of double filtering is obtained, and the response of the high frequency component of the signal is double deteriorated.
【0013】尚、これは周波数変換を先に行い、その後
水平縮小処理を行っても同様に劣化する。Incidentally, this is similarly deteriorated even if frequency conversion is performed first and then horizontal reduction processing is performed.
【0014】また、従来の回路構成では周波数変換の為
にメモリ16と書き込みおよび読み出し制御回路(1
7,18)、補間演算回路14および補間係数算出回路
15とが別途必要であり、水平方向拡大処理回路につい
てもほぼ同様の回路構成が必要であるため、冗長で大き
な規模の回路構成となっていた。In the conventional circuit configuration, the memory 16 and the write / read control circuit (1
7 and 18), the interpolation calculation circuit 14 and the interpolation coefficient calculation circuit 15 are required separately, and the horizontal enlargement processing circuit needs to have substantially the same circuit configuration, so that the circuit configuration is redundant and has a large scale. It was
【0015】尚、周波数変換用メモリ16の容量につい
ては変換比によって必要容量が決まり、簡単な変換比で
は小さくて良いが、複雑な変換比では大きなメモリ容量
を必要とする。Regarding the capacity of the frequency conversion memory 16, the required capacity is determined by the conversion ratio, and a simple conversion ratio may be small, but a complicated conversion ratio requires a large memory capacity.
【0016】さらに、実際の回路では高周波信号で振幅
の小さい信号の場合、補間演算を重ねて行うことにより
内挿演算のビット精度劣化となるため、ビット精度を保
持するには補間演算回路やラインメモリ等の回路規模が
大きくなってしまう。Further, in an actual circuit, in the case of a signal having a high frequency and a small amplitude, the bit precision of the interpolation operation is deteriorated by repeating the interpolation computation. Therefore, in order to maintain the bit precision, the interpolation computation circuit or line is required. The circuit scale of memory and the like becomes large.
【0017】本発明は、このような従来の問題点を解決
するものであり、簡単な構成で水平方向縮小処理とサン
プリング周波数変換処理を同時に、かつ画質の劣化を小
さく抑えながら行うことのできるサンプリング周波数変
換回路を提供するものである。The present invention solves the above-mentioned conventional problems, and the sampling which can perform the horizontal reduction processing and the sampling frequency conversion processing at the same time with a simple structure and while suppressing the deterioration of the image quality to be small. A frequency conversion circuit is provided.
【0018】(課題2)しかしながら、従来の構成では
周波数変換において、図4に示すように周波数を下げる
変換では直線補間演算を周波数変換用メモリの書き込み
前に行う必要があり、図5に示すように周波数を上げる
変換では、直線補間演算を周波数変換用メモリの書き込
み後に行う必要があった。(Problem 2) However, in the conventional configuration, in the frequency conversion, in the conversion for lowering the frequency as shown in FIG. 4, it is necessary to perform the linear interpolation calculation before writing in the frequency conversion memory, and as shown in FIG. In the conversion for increasing the frequency, it is necessary to perform the linear interpolation calculation after writing the frequency conversion memory.
【0019】また、画像の拡大縮小についても同様に、
縮小処理では補間演算をラインメモリの書き込み前に行
う必要があり、拡大処理では補間演算を周波数変換用メ
モリの書き込み後に行う必要があった。Similarly, with respect to image scaling,
In the reduction processing, the interpolation calculation needs to be performed before writing in the line memory, and in the enlargement processing, the interpolation calculation needs to be performed after writing in the frequency conversion memory.
【0020】このように、従来の構成ではそれぞれの映
像信号処理システムに応じて、画像の拡大縮小処理とサ
ンプリング周波数変換処理の構成をとる必要があった。As described above, in the conventional configuration, it is necessary to adopt the configuration of the image enlargement / reduction processing and the sampling frequency conversion processing according to each video signal processing system.
【0021】本発明は、このような従来の問題点を解決
するものであり、簡単な構成で水平方向拡大縮小処理と
任意比のサンプリング周波数変換処理を同時に、かつ画
質の劣化を小さく抑えながら行うことのできるサンプリ
ング周波数変換回路を提供するものである。The present invention solves the above-mentioned conventional problems, and performs horizontal enlargement / reduction processing and sampling frequency conversion processing of an arbitrary ratio at the same time with a simple structure while suppressing deterioration of image quality. The present invention provides a sampling frequency conversion circuit capable of performing the above.
【0022】[0022]
(課題1を解決するための手段1)本発明の第1の発明
のサンプリング周波数変換回路は、書き込みおよび読み
出しを異なる動作クロックで動作することのできるライ
ンメモリを使用し、入力信号から直接に水平縮小処理と
サンプリング周波数変換処理を同時に行うものである。(Means 1 for Solving Problem 1) The sampling frequency conversion circuit of the first invention of the present invention uses a line memory capable of operating write and read with different operation clocks, and the horizontal frequency is directly obtained from an input signal. The reduction processing and the sampling frequency conversion processing are simultaneously performed.
【0023】(課題2を解決するための手段2)本発明
の第2の発明のサンプリング周波数変換装置は、書き込
みおよび読み出しを異なる動作クロックで動作すること
のできるラインメモリを使用し、縮小処理回路と拡大処
理回路を設け、倍率に応じていずれかに切り替えて入力
信号から直接に水平拡大縮小処理とサンプリング周波数
変換を同時に行うものである。(Means 2 for Solving Problem 2) The sampling frequency conversion apparatus of the second invention of the present invention uses a line memory capable of operating write and read with different operation clocks, and uses a reduction processing circuit. And an enlarging processing circuit are provided, and the enlarging / reducing circuit and the sampling frequency conversion are simultaneously performed directly from the input signal by switching to either one according to the magnification.
【0024】(課題2を解決するための手段3)本発明
の第3の発明のサンプリング周波数変換装置は、書き込
みおよび読み出しを異なる動作クロックで動作すること
のできるラインメモリを使用し、拡大縮小補間演算回路
と拡大縮小補間係数算出回路を設け、これらの回路に対
して動作クロックを倍率に応じて切り替えて動作させ
て、縮小処理回路と拡大処理回路を共用化して入力信号
から直接に水平拡大縮小処理とサンプリング周波数変換
を同時に行うものである。(Means 3 for Solving Problem 2) The sampling frequency conversion apparatus of the third invention of the present invention uses a line memory capable of operating write and read with different operation clocks, and performs scaling interpolation. An arithmetic circuit and a scaling interpolation coefficient calculation circuit are provided, and the operation clocks for these circuits are switched according to the magnification to operate, and the scaling processing circuit and the scaling processing circuit are shared and horizontal scaling is performed directly from the input signal. The processing and the sampling frequency conversion are performed at the same time.
【0025】[0025]
(手段1による作用)本発明の第1の発明の構成によれ
ば、水平縮小処理の縮小倍率と周波数変換の逆変換比を
掛け合わせた合成倍率比で縮小補間演算を行い、そのデ
ータをラインメモリに対し周波数変換前のクロックによ
り書き込んだ後、合成倍率比に対応したアドレス制御を
行いながら、周波数変換後のクロックにより読み出しを
行うことにより、水平方向縮小処理とサンプリング周波
数変換を同時に行う様に作用する。(Operation by Means 1) According to the configuration of the first aspect of the present invention, the reduction interpolation operation is performed with the combined magnification ratio obtained by multiplying the reduction ratio of the horizontal reduction process and the inverse conversion ratio of the frequency conversion, and the data is line-processed. After writing to the memory with the clock before frequency conversion, while performing address control corresponding to the synthesis ratio, while reading with the clock after frequency conversion, horizontal reduction processing and sampling frequency conversion can be performed at the same time. To work.
【0026】ここでサンプリング周波数変換は、クロッ
クを下げる変換を前提として説明しているが、合成倍率
比が1以下となる範囲においてクロックを上げる変換に
も対応することができる。Here, the sampling frequency conversion is explained on the premise of the conversion for lowering the clock, but it can also correspond to the conversion for increasing the clock in the range in which the composite magnification ratio is 1 or less.
【0027】(手段2による作用)本発明の第2の発明
の構成によれば、水平方向拡大縮小処理の拡大/縮小倍
率と周波数変換の逆変換比を掛け合わせた合成倍率が、
トータルとして1未満なら縮小処理を行ってからライン
メモリに書き込んで、変換後クロックで読み出す。逆に
1以上なら、変換前クロックでラインメモリに書き込ん
で、変換後クロックで読み出してから拡大処理を行うこ
とにより、入力信号から直接に水平方向拡大もしくは縮
小処理と任意比のサンプリング周波数変換を同時に行う
様に作用する。(Operation by Means 2) According to the configuration of the second aspect of the present invention, the composite magnification obtained by multiplying the enlargement / reduction ratio of the horizontal enlargement / reduction processing by the inverse conversion ratio of the frequency conversion is:
If the total is less than 1, the data is written to the line memory after the reduction processing, and is read at the converted clock. On the other hand, if it is 1 or more, by writing to the line memory at the clock before conversion, reading at the clock after conversion, and then performing the enlargement process, the horizontal enlargement or reduction process and the sampling frequency conversion of an arbitrary ratio are performed simultaneously from the input signal. It acts like it does.
【0028】(手段3による作用)本発明の第3の発明
の構成によれば、拡大縮小補間演算回路および拡大縮小
補間係数算出回路とに、縮小時は変換前クロックを、拡
大時には変換後クロックを動作クロックとして選択入力
してやることにより、縮小処理と拡大処理を同一の回路
で共用化し、ラインメモリの入出力および出力部を信号
を切り替えることにより、簡単な構成で入力信号から直
接に水平方向拡大もしくは縮小処理と任意比のサンプリ
ング周波数変換を同時に行う様に作用する。(Operation by Means 3) According to the configuration of the third aspect of the present invention, the scale-down interpolation calculation circuit and the scale-down interpolation coefficient calculation circuit are provided with a pre-conversion clock during reduction and a post-conversion clock during expansion. By selectively inputting as the operation clock, the reduction processing and the enlargement processing can be shared by the same circuit, and the input / output and output sections of the line memory can be switched between signals, allowing horizontal expansion directly from the input signal with a simple configuration. Alternatively, the reduction processing and the sampling frequency conversion with an arbitrary ratio are performed at the same time.
【0029】[0029]
【実施例】本発明の第1の発明の実施例について図面を
参照して説明する。本発明の第1の発明の実施例のブロ
ック図を図1に示す。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A first embodiment of the present invention will be described with reference to the drawings. A block diagram of a first embodiment of the present invention is shown in FIG.
【0030】まず、システムコントローラ等により設定
された画像縮小倍率と周波数変換の逆変換比を掛け合わ
せた合成倍率を補間係数算出回路20で算出する。First, the interpolation coefficient calculation circuit 20 calculates the composite magnification obtained by multiplying the image reduction magnification set by the system controller or the like by the inverse conversion ratio of the frequency conversion.
【0031】入力信号は、補間演算回路10で合成倍率
により直線補間演算が行われる。補間演算された入力信
号は、書き込み制御回路5によりアドレス制御され水平
方向の任意の範囲を変換前クロックレートでラインメモ
リ4に書き込まれる。そして、読み出し制御回路6で
は、該当する水平方向範囲で補間演算に対応したデータ
の得られるように読み飛ばしアドレス制御を行いなが
ら、変換後クロックレートでラインメモリ4より読み出
されて、クロックレートの変換された水平方向縮小画像
信号として出力される。The input signal is subjected to linear interpolation calculation by the interpolation calculation circuit 10 according to the synthesis magnification. The input signal subjected to the interpolation calculation is address-controlled by the write control circuit 5 and written in the line memory 4 in an arbitrary range in the horizontal direction at the clock rate before conversion. Then, the read control circuit 6 is read from the line memory 4 at the converted clock rate while performing the read skip address control so that the data corresponding to the interpolation operation is obtained in the corresponding horizontal range, and the read rate is changed. The converted horizontal reduced image signal is output.
【0032】以下に、前述の処理を信号処理の流れを模
式化した図9を用いて説明する。図9では、水平縮小倍
率3/5倍の縮小と変換前:変換後=3:4の比でサン
プリング周波数を変換する場合の例を示している。The above-mentioned processing will be described below with reference to FIG. 9 which is a schematic flow chart of signal processing. FIG. 9 shows an example in which the sampling frequency is converted at a ratio of 3/5 horizontal reduction ratio and before conversion: after conversion = 3: 4.
【0033】まず、図1の補間係数算出回路20では、
合成倍率をr、合成補間比をkとすれば r=縮小倍率×1/クロック変換比 =3/5×4/3=0.8 k=1/合成倍率=1/0.8=1.25 を算出する。First, in the interpolation coefficient calculation circuit 20 of FIG.
If the composite ratio is r and the composite interpolation ratio is k, then r = reduction ratio × 1 / clock conversion ratio = 3/5 × 4/3 = 0.8 k = 1 / composite ratio = 1 / 0.8 = 1. 25 is calculated.
【0034】補間演算回路10では合成補間比k=1.
25あれば順に0,0.25,0.5,0.75,0と合
成補間比に応じて、補間係数が順次入力され、入力信号
aの前後のデータから内挿されてbを得る。このデータ
は、変換前クロックで指定された水平方向書き込み範囲
枠内をラインメモリにcの様に書き込む。In the interpolation calculation circuit 10, the synthetic interpolation ratio k = 1.
If there are 25, then 0, 0.25, 0.5, 0.75, 0 and interpolation coefficients are sequentially input according to the synthetic interpolation ratio, and interpolated from the data before and after the input signal a to obtain b. This data is written in the line memory within the horizontal writing range frame designated by the pre-conversion clock as shown by c.
【0035】これに対し、読み出し制御回路6では変換
後クロックで指定された水平方向読み出し枠内で合成倍
率0.8に対応するようにデータを5個おきに読み飛ば
してdのごとく読み出す。On the other hand, the read control circuit 6 skips every fifth data so as to correspond to the composite magnification of 0.8 within the horizontal read frame designated by the converted clock, and reads the data like d.
【0036】このようにして、入力信号aを縮小処理と
サンプリング周波数変換を同時に行い出力信号dを得る
ものである。In this way, the input signal a is reduced and the sampling frequency is converted simultaneously to obtain the output signal d.
【0037】実際には、入力信号aに対して、1H遅れ
て出力信号dが得られる。図6に上記補間演算回路の一
例を示す。Actually, the output signal d is obtained with a delay of 1H with respect to the input signal a. FIG. 6 shows an example of the interpolation calculation circuit.
【0038】図6では、時刻nの入力信号をXn、出力
信号をYn、順次入力される補間係数をKnとすれば、 Yn=(1−Kn)Xn-1+KnXn の直線補間演算が行われる。In FIG. 6, assuming that the input signal at time n is X n , the output signal is Y n , and the sequentially input interpolation coefficient is K n , Y n = (1−K n ) X n−1 + K n A linear interpolation calculation of X n is performed.
【0039】次に画質劣化抑制効果について図12を参
照して説明する。ここでは、図11と比較するため、縮
小倍率=4/5倍、周波数変換比4:5の場合を示す。Next, the effect of suppressing image quality deterioration will be described with reference to FIG. Here, in order to compare with FIG. 11, the case where the reduction ratio is 4/5 times and the frequency conversion ratio is 4: 5 is shown.
【0040】縮小処理に伴う折り返し歪みに対する帯域
制限は図11の説明同様入力信号に対してかけられるも
のとすると、入力信号(a)に対し合成倍率=1で4:
5のサンプリング周波数変換が同時に行われるので、
(b)に示す様なフィルタを通すこととなり、これを帯
域制限すると、結果として(c)に示すようになる。こ
こに示した例は多少特異な例であるが、合成倍率が1と
ならない通常の場合も同様に表現できる。Assuming that the band limitation with respect to the aliasing distortion due to the reduction processing is applied to the input signal as in the description of FIG. 11, the composite ratio of the input signal (a) is 1: 4:
Since the sampling frequency conversion of 5 is performed at the same time,
A filter as shown in (b) is passed through, and when the band is limited, the result is as shown in (c). Although the example shown here is a somewhat peculiar example, it can be expressed in the same manner in a normal case where the composite magnification is not 1.
【0041】このように、本方式ではフィルタリングは
一度だけの効果なので、信号の高周波成分のレスポンス
劣化は、図11に示す場合に比べ低く抑えられる。As described above, in this method, since the filtering is effective only once, the deterioration of the response of the high frequency component of the signal can be suppressed lower than that shown in FIG.
【0042】以上の実施例については、周波数変換を変
換前クロックより早いクロックに変換する場合を説明し
ているが、これらの例のように合成倍率が1以下となる
範囲においては、クロックを上げる周波数変換も行うこ
とができる。In the above embodiments, the case where the frequency conversion is converted into the clock faster than the pre-conversion clock is explained. However, the clock is raised in the range where the synthesis magnification is 1 or less as in these examples. Frequency conversion can also be performed.
【0043】クロックを下げる変換については、いかな
る縮小倍率でも可能である。本発明の第2の発明の実施
例について図面を参照して説明する。本発明の第2の発
明の実施例のブロック図を図2に示す。For the conversion to lower the clock, any reduction ratio is possible. A second embodiment of the present invention will be described with reference to the drawings. A block diagram of a second embodiment of the present invention is shown in FIG.
【0044】まず、画像の拡大もしくは縮小の倍率と周
波数変換の逆変換比を掛け合わせた合成倍率が1未満の
場合を説明すれば、この場合は全体として縮小処理とな
り、切り替えスイッチ3,9を縮小側に切り替えて、縮
小補間演算回路1、縮小補間係数算出回路21、ライン
メモリ4、書き込み制御回路5、読み出し制御回路60
を使用して第1の発明の実施例に説明した縮小処理が行
われる。First, a case where the composite magnification obtained by multiplying the magnification of image enlargement or reduction and the inverse conversion ratio of frequency conversion is less than 1 will be described. In this case, reduction processing is performed as a whole, and the changeover switches 3 and 9 are operated. Switching to the reduction side, the reduction interpolation calculation circuit 1, the reduction interpolation coefficient calculation circuit 21, the line memory 4, the write control circuit 5, the read control circuit 60.
Is used to perform the reduction processing described in the embodiment of the first invention.
【0045】逆に、合成倍率が1以上であれば全体とし
て拡大処理であり、切り替えスイッチ3,9を拡大側に
切り替えて、次に説明する拡大処理がなされる。On the contrary, if the composite magnification is 1 or more, the enlargement process is performed as a whole, and the changeover switches 3 and 9 are switched to the enlargement side to perform the enlargement process described below.
【0046】拡大処理では入力信号は、書き込み制御回
路5によりアドレス制御され入力信号の水平方向の任意
の範囲が変換前クロックレートでラインメモリ4に書き
込まれる。また、システムコントローラ等により設定さ
れた合成倍率により、拡大補間係数が拡大補間係数算出
回路8で算出される。この係数により読み出し制御回路
60では、該当する範囲で合成倍率の拡大補間演算を行
うに必要なデータを読み出せる様アドレス制御を行い、
変換後クロックレートでラインメモリ4より読み出され
る。こうして読み出されたデータは拡大補間演算回路7
で拡大補間係数により直線補間演算が行われ、サンプリ
ング周波数の変換された水平方向拡大画像信号として出
力される。In the enlargement processing, the input signal is address-controlled by the write control circuit 5 and an arbitrary range in the horizontal direction of the input signal is written in the line memory 4 at the clock rate before conversion. In addition, the expansion interpolation coefficient is calculated by the expansion interpolation coefficient calculation circuit 8 based on the combination magnification set by the system controller or the like. With this coefficient, the read control circuit 60 performs address control so that the data necessary for performing the expansion interpolation calculation of the composite magnification in the corresponding range can be read,
The data is read from the line memory 4 at the converted clock rate. The data read out in this manner is used for the expanded interpolation calculation circuit 7
Then, linear interpolation calculation is performed by the enlargement interpolation coefficient, and the result is output as a horizontally enlarged image signal with a converted sampling frequency.
【0047】以下に、前述の拡大処理の場合の信号処理
の流れを模式化した図10を用いて説明する。The signal processing flow in the case of the above-described enlargement processing will be described below with reference to FIG.
【0048】図10では、水平拡大倍率1.5倍の拡大
と変換前:変換後=6:5の比でサンプリング周波数を
変換する場合の例を示している。FIG. 10 shows an example in which the sampling frequency is converted at a horizontal expansion ratio of 1.5 times and a ratio of before conversion: after conversion = 6: 5.
【0049】入力信号aは変換前クロックで指定された
水平方向書き込み範囲枠内をラインメモリにbの様にそ
のまま書き込む。The input signal a is directly written in the line memory within the horizontal writing range frame designated by the pre-conversion clock as shown by b.
【0050】また、図2の拡大補間係数算出回路8で
は、合成倍率をr、合成補間比をkとすれば r=拡大倍率×1/周波数変換比 =1.5×1/1.2=1.25 k=1/合成倍率比=1/1.25=0.8 を算出する。Further, in the expansion interpolation coefficient calculation circuit 8 of FIG. 2, if the composite magnification is r and the composite interpolation ratio is k, r = enlargement magnification × 1 / frequency conversion ratio = 1.5 × 1 / 1.2 = Calculate 1.25 k = 1 / combining magnification ratio = 1 / 1.25 = 0.8.
【0051】これに対し、読み出し制御回路60では変
換後クロックで指定された水平方向読み出し枠内で合成
倍率1.25に対応するようにデータを4個おきに二度
読みでcのごとく読み出す。On the other hand, in the read control circuit 60, every four data are read twice like c in the horizontal read frame designated by the converted clock so as to correspond to the composite magnification of 1.25.
【0052】そして、拡大補間演算回路7では合成補間
比k=0.8であれば順に0,0.8,0.6,0.4,
0.2と合成補間比に応じて、補間係数が順次入力され
前後のデータから内挿され、変換後クロックで直線補間
演算がdのように行われる。こうして、入力信号aを拡
大処理とサンプリング周波数変換を同時に行い出力信号
dを得るものである。Then, in the enlarged interpolation calculation circuit 7, if the synthetic interpolation ratio k = 0.8, then 0, 0.8, 0.6, 0.4, in that order.
In accordance with 0.2 and the synthetic interpolation ratio, interpolation coefficients are sequentially input and interpolated from the data before and after, and linear interpolation calculation is performed with the converted clock as shown by d. In this way, the input signal a is enlarged and the sampling frequency is converted at the same time to obtain the output signal d.
【0053】このように、水平方向拡大縮小処理と任意
比のサンプリング周波数変換処理を同時に、かつ画質の
劣化を小さく抑えながら行うことができる。As described above, the horizontal enlargement / reduction processing and the sampling frequency conversion processing with an arbitrary ratio can be performed at the same time while suppressing the deterioration of the image quality.
【0054】本発明の第3の発明の実施例について図面
を参照して説明する。本発明の第3の発明の実施例のブ
ロック図を図3に示す。A third embodiment of the present invention will be described with reference to the drawings. A block diagram of a third embodiment of the present invention is shown in FIG.
【0055】まず、画像の拡大もしくは縮小の倍率と周
波数変換の逆変換比を掛け合わせた合成倍率が1未満の
場合を説明すれば、この場合は全体として縮小処理とな
り次の動作を行う。切り替えスイッチ3,9,11は縮
小側に切り替えて、拡大縮小補間演算回路12と拡大縮
小補間係数算出回路13に動作クロックとして変換前ク
ロック(図3でWclkと図示)を入力して、合成倍率
(1未満)が設定されて縮小補間処理を行うよう動作す
る。そして、ラインメモリ4、書き込み制御回路5、読
み出し制御回路61を使用して第2の発明の実施例に説
明した縮小処理が行われる。First, a case where the composite magnification obtained by multiplying the magnification of image enlargement or reduction and the inverse conversion ratio of frequency conversion is less than 1 will be described. In this case, the overall reduction processing is performed and the following operation is performed. The changeover switches 3, 9 and 11 are switched to the reduction side, and the pre-conversion clock (shown as Wclk in FIG. 3) is input to the enlargement / reduction interpolation calculation circuit 12 and the enlargement / reduction interpolation coefficient calculation circuit 13 as an operation clock to synthesize the composite magnification. (Less than 1) is set and the reduction interpolation processing is performed. Then, the reduction processing described in the embodiment of the second invention is performed using the line memory 4, the write control circuit 5, and the read control circuit 61.
【0056】逆に、合成倍率が1以上であれば全体とし
て拡大処理であり、切り替えスイッチ3,9,11を拡
大側に切り替えて、拡大縮小補間演算回路12と拡大縮
小補間係数算出回路13に動作クロックとして変換後ク
ロック(図3でRclkと図示)を入力して、合成倍率
(1以上)が設定されて拡大補間処理を行うよう動作す
る。On the contrary, if the composite magnification is 1 or more, the enlargement processing is performed as a whole, and the changeover switches 3, 9 and 11 are switched to the enlargement side, and the enlargement / reduction interpolation calculation circuit 12 and the enlargement / reduction interpolation coefficient calculation circuit 13 The converted clock (shown as Rclk in FIG. 3) is input as the operation clock, the composite magnification (1 or more) is set, and the enlargement interpolation processing is performed.
【0057】こうして、同様に第2の発明の実施例に説
明した拡大処理が行われる。In this way, the enlargement processing described in the embodiment of the second invention is similarly performed.
【0058】[0058]
【発明の効果】以上の説明より明らかなように、本発明
の第1の発明によれば、水平方向の高周波レスポンス劣
化を小さく抑えた良好な画像を得ることができ、かつ、
回路規模の面からも、水平方向縮小処理とサンプリング
周波数変換を独立に行う場合に比べ、大幅に回路規模を
削減することができる。As is apparent from the above description, according to the first aspect of the present invention, it is possible to obtain a good image in which the deterioration of the high frequency response in the horizontal direction is suppressed to a small level, and
Also in terms of the circuit scale, the circuit scale can be significantly reduced as compared with the case where the horizontal reduction processing and the sampling frequency conversion are performed independently.
【0059】以上の説明より明らかなように、本発明の
第2の発明によれば、簡単な構成で水平拡大もしくは縮
小処理と同時にクロックを上げる変換もしくは下げる変
換をいずれの組み合わせも任意に行うことができる。ま
た、回路規模の面からも、水平方向拡大および縮小処理
とサンプリング周波数変換を独立に行う場合に比べ、大
幅に回路規模を削減できる。さらに、水平方向高周波レ
スポンスの劣化を小さく抑えた良好な画像を得ることが
できる。As is clear from the above description, according to the second aspect of the present invention, any combination of horizontal enlarging or reducing processing and clock raising or lowering conversion can be arbitrarily performed with a simple configuration. You can Also, in terms of the circuit scale, the circuit scale can be significantly reduced as compared with the case where the horizontal enlargement / reduction processing and the sampling frequency conversion are performed independently. Further, it is possible to obtain a good image in which the deterioration of the horizontal high frequency response is suppressed to a small level.
【0060】以上の説明より明らかなように、本発明の
第3の発明によれば、簡単な構成で水平拡大もしくは縮
小処理と同時にクロックを上げる変換もしくは下げる変
換をいずれの組み合わせも任意に行うことができる。ま
た、回路規模の面では、第2の発明の実施例の場合より
もさらに大きく回路規模を削減することができる。さら
に、水平方向高周波レスポンスの劣化を小さく抑えた良
好な画像を得ることができる。As is clear from the above description, according to the third aspect of the present invention, any combination of horizontal enlargement or reduction processing and simultaneous clock increase or decrease conversion can be performed with a simple configuration. You can Further, in terms of circuit scale, it is possible to further reduce the circuit scale as compared with the case of the embodiment of the second invention. Further, it is possible to obtain a good image in which the deterioration of the horizontal high frequency response is suppressed to a small level.
【図1】本発明の第1の発明の実施例の水平縮小および
周波数変換回路の構成を示すブロック図FIG. 1 is a block diagram showing a configuration of a horizontal reduction and frequency conversion circuit according to a first embodiment of the present invention.
【図2】本発明の第2の発明の実施例の水平縮小拡大お
よび周波数変換回路の構成を示すブロック図FIG. 2 is a block diagram showing a configuration of a horizontal reduction / enlargement and frequency conversion circuit according to a second embodiment of the present invention.
【図3】本発明の第3の発明の実施例の水平縮小拡大お
よび周波数変換回路の構成を示すブロック図FIG. 3 is a block diagram showing a configuration of a horizontal reduction / enlargement and frequency conversion circuit according to a third embodiment of the present invention.
【図4】従来例の水平縮小回路部および周波数変換回路
部(クロックを下げる)の構成ブロック図FIG. 4 is a configuration block diagram of a horizontal reduction circuit unit and a frequency conversion circuit unit (lowering a clock) of a conventional example.
【図5】従来例の水平縮小回路部および周波数変換回路
部(クロックを上げる)の構成ブロック図FIG. 5 is a configuration block diagram of a horizontal reduction circuit unit and a frequency conversion circuit unit (increasing a clock) in a conventional example.
【図6】本発明の第1〜第3の発明の実施例の補間演算
回路の構成を示すブロック図FIG. 6 is a block diagram showing a configuration of an interpolation operation circuit according to the first to third embodiments of the present invention.
【図7】水平縮小のみの方式説明図FIG. 7 is an explanatory diagram of a method of only horizontal reduction.
【図8】サンプリング周波数変換のみの方式説明図FIG. 8 is an explanatory diagram of a method only for sampling frequency conversion.
【図9】本発明の第1〜第3の発明の実施例における縮
小補間の信号処理方式説明図FIG. 9 is an explanatory diagram of a signal processing method of reduction interpolation in the first to third embodiments of the present invention.
【図10】本発明の第2,第3の発明の実施例における
拡大補間の信号処理方式説明図FIG. 10 is an explanatory diagram of a signal processing method of enlarged interpolation in the second and third embodiments of the present invention.
【図11】従来の縮小処理後周波数変換を行う方式の場
合の周波数特性図FIG. 11 is a frequency characteristic diagram in the case of the conventional method of performing frequency conversion after reduction processing.
【図12】本発明の第1の発明の実施例における縮小処
理および周波数変換方式の場合の周波数特性図FIG. 12 is a frequency characteristic diagram in the case of the reduction processing and the frequency conversion method according to the first embodiment of the present invention.
【符号の説明】 1 縮小補間演算回路 3,9,11 切り替えスイッチ 4 ラインメモリ 5 書き込み制御回路 6,60,61 読み出し制御回路 7 拡大補間演算回路 8 拡大補間係数算出回路 10 補間演算回路 12 拡大縮小補間演算回路 13 拡大縮小補間係数算出回路 20 補間係数算出回路 21 縮小補間係数算出回路[Explanation of symbols] 1 reduction interpolation calculation circuit 3, 9, 11 changeover switch 4 line memory 5 write control circuit 6, 60, 61 read control circuit 7 enlargement interpolation calculation circuit 8 enlargement interpolation coefficient calculation circuit 10 interpolation calculation circuit 12 enlargement / reduction Interpolation calculation circuit 13 Enlargement / reduction interpolation coefficient calculation circuit 20 Interpolation coefficient calculation circuit 21 Reduction interpolation coefficient calculation circuit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/01 H04N 5/93 C ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical indication H04N 7/01 H04N 5/93 C
Claims (3)
理する補間演算回路と、書き込みおよび読み出しを異な
る動作クロックで動作することのできるラインメモリ
と、前記補間演算回路により演算されたデータを前記ラ
インメモリに対して書き込む書き込み制御回路と、前記
ラインメモリの読み出しを制御する読み出し制御回路
と、前記補間演算回路と前記読み出し制御回路に対して
制御を行う補間係数算出回路とを備え、映像信号の水平
方向の縮小処理とサンプリング周波数変換を同時に行う
ことを特徴とするサンプリング周波数変換回路。1. An interpolation calculation circuit for horizontally reducing a digital video signal, a line memory capable of operating writing and reading at different operation clocks, and data calculated by the interpolation calculation circuit for the line memory. A write control circuit for writing to, a read control circuit for controlling the reading of the line memory, an interpolation calculation circuit and an interpolation coefficient calculation circuit for controlling the read control circuit, and a horizontal direction of a video signal. Sampling frequency conversion circuit characterized by simultaneously performing the above-mentioned reduction processing and sampling frequency conversion.
理する縮小補間演算回路と、書き込みおよび読み出しを
異なる動作クロックで動作することのできるラインメモ
リと、前記ラインメモリに対して書き込み制御を行う書
き込み制御回路と、前記ラインメモリの読み出し制御を
行う読み出し制御回路と、前記縮小補間演算回路と前記
読み出し制御回路に対して制御を行う縮小補間係数算出
回路と、前記ラインメモリより読み出したディジタル映
像信号を水平方向に拡大処理する拡大補間演算回路と、
前記拡大補間演算回路と前記読み出し制御回路に対して
制御を行う拡大補間係数算出回路と、縮小処理であるか
拡大処理であるかを切り替える切り替え回路とを備え、
映像信号の水平方向の縮小処理もしくは拡大処理とサン
プリング周波数変換を同時に行うことを特徴とするサン
プリング周波数変換回路。2. A reduction interpolation calculation circuit for reducing a digital video signal in a horizontal direction, a line memory capable of operating write and read with different operation clocks, and write control for performing write control on the line memory. A circuit, a read control circuit for performing read control of the line memory, a reduction interpolation coefficient calculation circuit for controlling the reduction interpolation calculation circuit and the read control circuit, and a digital video signal read from the line memory horizontally. An expansion interpolation calculation circuit that expands in the direction
An enlargement interpolation coefficient calculation circuit that controls the enlargement interpolation calculation circuit and the read control circuit, and a switching circuit that switches between reduction processing and enlargement processing,
A sampling frequency conversion circuit characterized by simultaneously performing horizontal direction reduction processing or enlargement processing of a video signal and sampling frequency conversion.
理もしくは拡大処理する補間演算回路と、書き込みおよ
び読み出しを異なる動作クロックで動作することのでき
るラインメモリと、前記ラインメモリに対して書き込み
制御を行う書き込み制御回路と、前記ラインメモリの読
み出し制御を行う読み出し制御回路と、前記補間演算回
路と前記読み出し制御回路に対して制御を行う補間係数
算出回路と、縮小処理であるか拡大処理であるかを切り
替える切り替え回路とを備え、前記補間演算回路および
前記補間係数算出回路に対して動作クロックとして、縮
小処理時にはサンプリング周波数変換前クロックを、拡
大処理時にはサンプリング周波数変換後クロックを選択
入力することにより、映像信号の水平方向の縮小処理も
しくは拡大処理とサンプリング周波数変換を同時に行う
ことを特徴とするサンプリング周波数変換回路。3. An interpolation calculation circuit for reducing or enlarging a digital video signal in the horizontal direction, a line memory capable of operating writing and reading with different operation clocks, and writing control for the line memory. A write control circuit, a read control circuit that performs read control of the line memory, an interpolation coefficient calculation circuit that controls the interpolation calculation circuit and the read control circuit, and a reduction process or an enlargement process. A switching circuit for switching, and as the operation clock for the interpolation calculation circuit and the interpolation coefficient calculation circuit, a clock before sampling frequency conversion is selected and input during expansion processing, and a clock after sampling frequency conversion is selected and input during expansion processing. Horizontal signal reduction or enlargement processing and support A sampling frequency conversion circuit characterized by simultaneously performing sampling frequency conversion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02816295A JP3577766B2 (en) | 1995-02-16 | 1995-02-16 | Sampling frequency conversion circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02816295A JP3577766B2 (en) | 1995-02-16 | 1995-02-16 | Sampling frequency conversion circuit |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08223479A true JPH08223479A (en) | 1996-08-30 |
JP3577766B2 JP3577766B2 (en) | 2004-10-13 |
Family
ID=12241066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP02816295A Expired - Fee Related JP3577766B2 (en) | 1995-02-16 | 1995-02-16 | Sampling frequency conversion circuit |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3577766B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6157414A (en) * | 1997-08-25 | 2000-12-05 | Nec Corporation | Image display apparatus for enlargement or reduction of an image using an interpolation process |
CN1319372C (en) * | 2002-08-14 | 2007-05-30 | 瑞昱半导体股份有限公司 | Method and device for sampling digital image |
-
1995
- 1995-02-16 JP JP02816295A patent/JP3577766B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6157414A (en) * | 1997-08-25 | 2000-12-05 | Nec Corporation | Image display apparatus for enlargement or reduction of an image using an interpolation process |
CN1319372C (en) * | 2002-08-14 | 2007-05-30 | 瑞昱半导体股份有限公司 | Method and device for sampling digital image |
Also Published As
Publication number | Publication date |
---|---|
JP3577766B2 (en) | 2004-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3747523B2 (en) | Image processing apparatus and processing method | |
JPH1165551A (en) | Video display device | |
JP3577766B2 (en) | Sampling frequency conversion circuit | |
JPH08223408A (en) | Sampling frequency conversion circuit | |
JP3912305B2 (en) | Pixel density converter | |
US7428346B2 (en) | Image processing method and image processing device | |
JP3543657B2 (en) | Electronic zoom circuit | |
JPH07123335A (en) | Double screen display television receiver | |
JP3412454B2 (en) | Video signal horizontal scaling circuit | |
JPS6343950B2 (en) | ||
JP3237556B2 (en) | Video processing device | |
JP3392624B2 (en) | Vertical zoom circuit | |
JPS62179438A (en) | Digital scanning converter | |
JPH03136480A (en) | Video directing device for still picture | |
JP2601138B2 (en) | Video display | |
JP3684588B2 (en) | Video signal processing device | |
JP2949587B2 (en) | Pixel density converter | |
JP2599045B2 (en) | Vertical expansion circuit | |
JPH02226972A (en) | Video signal processing circuit | |
JPH02109474A (en) | Picture memory device | |
JPH1131222A (en) | Electronic zoom device | |
JPH01272381A (en) | Display picture converting device | |
JPH0465982A (en) | Picture expansion processor | |
JPH08205025A (en) | Video signal processor | |
JPH09181970A (en) | Image signal processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040705 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |