JPH0823510A - Interpolation circuit for television signal - Google Patents

Interpolation circuit for television signal

Info

Publication number
JPH0823510A
JPH0823510A JP6153976A JP15397694A JPH0823510A JP H0823510 A JPH0823510 A JP H0823510A JP 6153976 A JP6153976 A JP 6153976A JP 15397694 A JP15397694 A JP 15397694A JP H0823510 A JPH0823510 A JP H0823510A
Authority
JP
Japan
Prior art keywords
interpolation
data
line
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6153976A
Other languages
Japanese (ja)
Other versions
JP3413968B2 (en
Inventor
Kaoru Ogawa
薫 小川
Nobuhiko Sakai
順彦 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP15397694A priority Critical patent/JP3413968B2/en
Publication of JPH0823510A publication Critical patent/JPH0823510A/en
Application granted granted Critical
Publication of JP3413968B2 publication Critical patent/JP3413968B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

PURPOSE:To eliminate the need of providing a memory for interpolation data and to miniaturize a circuit scale. CONSTITUTION:This circuit is provided with two line buffer memories 10a and 10b for respectively storing the line data of the source signals of one field, an input control circuit 6 for outputting the same line data twice and supplying them to the memories 10a and 10b and a shift register 13, an arithmetic interpolation circuit 14 and an interpolation value register 15 for performing arithmetic interpolation by using 7X2 or 3X2 pieces of pixel data taken out from the memories 10a and 10b. The obtained interpolation data are subscribed in the part where the data required for the arithmetic interpolation are stored of the memories 10a and 10b.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、1フィールドのテレビ
ジョン信号から1フレームのテレビジョン信号を生成す
るテレビジョン信号の補間回路に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a television signal interpolation circuit for generating a one-frame television signal from a one-field television signal.

【0002】[0002]

【従来の技術】従来より、例えばテレビジョン画像のハ
ードコピーを得るようなビデオプリンタにおいて、1フ
レームの画像をプリントした場合、インターレース走査
のために、得られる画像がブレる問題が生ずる。
2. Description of the Related Art Conventionally, in a video printer for obtaining a hard copy of a television image, for example, when an image of one frame is printed, there is a problem that the obtained image is blurred due to interlaced scanning.

【0003】したがって、テレビジョン信号の1フィー
ルドから疑似的にフレーム画像を生成し、このフレーム
画像をプリントすることが行われる。このように、フィ
ールド信号から疑似的なフレーム信号を形成するために
は、不足している情報を補間で生成することが必要であ
る。
Therefore, a frame image is artificially generated from one field of a television signal and the frame image is printed. As described above, in order to form the pseudo frame signal from the field signal, it is necessary to generate the missing information by interpolation.

【0004】このようなフィールド信号から疑似的なフ
レーム信号を形成するための補間の方法としては、例え
ば、1ライン前のデータをそのまま補間値として使用す
る方法や、上下の画素の平均値を補間値として扱う方
法、補間されることになる画素位置の上下3画素のパタ
ーン認識により補間値を演算する方法がある。
As a method of interpolation for forming a pseudo frame signal from such a field signal, for example, the data of one line before is used as it is as an interpolation value, or the average value of upper and lower pixels is interpolated. There are a method of treating as an value and a method of calculating an interpolated value by recognizing patterns of three pixels above and below the pixel position to be interpolated.

【0005】[0005]

【発明が解決しようとする課題】ここで、上記1ライン
前のデータをそのまま補間値として使用する方法では、
当該補間値を求める方法を実現するための回路は非常に
簡単に構成できるものの、階調性や解像度、ジャーキネ
ス等の点で3つの補間方法の中で最も悪く、画質も良く
ない。
Here, in the method of directly using the data one line before as the interpolation value,
Although a circuit for realizing the method for obtaining the interpolation value can be configured very easily, it is the worst of the three interpolation methods in terms of gradation, resolution, jerkiness, etc., and the image quality is not good.

【0006】また、上記上下の画素の平均値を補間値と
して扱う方法では、回路的には比較的簡単に実現でき、
階調性にも改善がみられるが、解像度やジャーキネスの
点では依然問題が残る。
The method of treating the average value of the upper and lower pixels as the interpolated value can be realized relatively easily in terms of circuit,
Gradation is also improved, but problems still remain in terms of resolution and jerkiness.

【0007】最後の補間画素の上下3画素のパターン認
識による補間値を演算する方法では、回路規模が中規模
程度で実現でき、階調性やジャーキネスの点でも他の2
つの方法よりも改善が見られる。しかし、この方法で
も、例えば斜めの解像度やジャーキネスの点で充分とは
言えない。また、この方法では、パターン認識する領域
が小さいため、パターンの認識ミスが発生するおそれが
あり、当該パターン認識ミスが発生すると、補間後の画
像にノイズのような箇所が見受けられるようになること
がある。さらに、この方法を発展させて、上下3画素以
上からパターン認識することも考えられるが、パターン
認識のための画素数を増やすと、それに応じて回路規模
は指数関数的に大きくなり、実用性に欠けてくる。
In the method of calculating the interpolated value by pattern recognition of the upper and lower three pixels of the last interpolated pixel, the circuit scale can be realized in a medium scale, and in terms of gradation and jerkiness, there are two other factors.
There are improvements over the two methods. However, even this method is not sufficient in terms of diagonal resolution and jerkiness, for example. Further, in this method, since the pattern recognition area is small, a pattern recognition error may occur. When the pattern recognition error occurs, a noise-like portion may be found in the interpolated image. There is. Further, it is possible to develop this method to recognize a pattern from three or more pixels above and below. However, if the number of pixels for pattern recognition is increased, the circuit scale increases exponentially, which is not practical. I'm missing.

【0008】さらに、従来の補間回路においては、補間
演算を行うためのラインバッファメモリと、得られた補
間データを格納するためのメモリとが必要となり、この
ことも回路規模の大型化の原因の一つとなっている。
Further, the conventional interpolating circuit requires a line buffer memory for performing an interpolating operation and a memory for storing the obtained interpolating data, which also causes a large circuit scale. It is one.

【0009】そこで、本発明は、このような実情を鑑み
てなされたものであり、回路規模が大型化することな
く、さらに、例えば斜めの画像であっても階調性、解像
度、ジャーキネスの点で充分な補間画像を得ることもで
きるテレビジョン信号の補間回路を提供することを目的
とするものである。
Therefore, the present invention has been made in view of the above-mentioned circumstances, and it is not necessary to increase the circuit scale, and further, for example, even in the case of an oblique image, the gradation, resolution, and jerkiness are taken into consideration. It is an object of the present invention to provide a television signal interpolation circuit capable of obtaining a sufficient interpolation image.

【0010】[0010]

【課題を解決するための手段】本発明はこのような実情
を鑑みてなされたものであり、本発明のテレビジョン信
号の補間回路は、テレビジョン信号の1フィールドの原
信号から1フレームの信号を生成するものであり、1フ
ィールドの原信号のラインデータをそれぞれ格納するw
個(wは2以上)のラインバッファと、同一ラインデー
タをv回出力して上記w個のラインバッファに供給する
ラインデータ供給手段と、上記w個のラインバッファに
それぞれ格納された所定領域のデータを用いて補間演算
を行う補間演算手段とを有し、上記補間演算手段による
補間データを、上記w個のラインバッファの補間演算の
終了したデータが格納されている部分に上書きすること
を特徴とするものである。
The present invention has been made in view of the above circumstances, and an interpolating circuit for a television signal of the present invention is a signal of one frame from an original signal of one field of the television signal. W that stores the line data of the original signal of one field, respectively.
Number of line buffers (w is 2 or more), line data supply means for outputting the same line data v times to the w number of line buffers, and a predetermined area stored in each of the w number of line buffers. Interpolation calculation means for performing interpolation calculation using data, and the interpolation data by the interpolation calculation means is overwritten on the portion of the w line buffers in which the data after the interpolation calculation is stored. It is what

【0011】[0011]

【作用】本発明によれば、補間演算手段による補間デー
タを、w個のラインバッファの補間演算の終了したデー
タが格納されている部分に上書きするようにしているた
め、補間データ用に別にメモリを設ける必要がない。
According to the present invention, the interpolation data by the interpolation calculation means is overwritten on the portion of the w line buffers in which the data for which the interpolation calculation is completed is stored. Therefore, a separate memory for the interpolation data is used. Need not be provided.

【0012】[0012]

【実施例】以下、本発明の好ましい実施例について、図
面を参照しながら説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT A preferred embodiment of the present invention will be described below with reference to the drawings.

【0013】本発明実施例のテレビジョン信号の補間回
路は、図1に示すように、テレビジョン信号の1フィー
ルドの原信号から1フレームの信号を生成するものであ
り、1フィールドの原信号のラインデータをそれぞれ格
納するw個(wは2以上で、図1の例では2個)のライ
ンバッファメモリ10a,10bと、同一ラインデータ
をv回(本実施例では2回)出力して上記ラインバッフ
ァメモリ10a,10bに供給するラインデータ供給手
段としての入力制御回路6と、上記ラインバッファメモ
リ10a,10bにそれぞれ格納された所定領域(本実
施例では後述するように7×2画素領域又は3×2画素
領域)の画素データを用いて補間演算を行う補間演算手
段としてのシフトレジスタ13及び補間演算回路14,
補間値レジスタ15とを有し、当該補間演算手段による
補間データを、上記ラインバッファメモリ10a,10
bの補間演算の終了したデータ(すなわち補間演算に必
要なくなったデータ)が格納されている部分に上書きす
るようにしたものである。
As shown in FIG. 1, the television signal interpolating circuit of the embodiment of the present invention generates one frame signal from an original signal of one field of the television signal. The line buffer memories 10a and 10b, which store w line data respectively (w is 2 or more and are two in the example of FIG. 1), and the same line data are output v times (twice in this embodiment), are output as described above. The input control circuit 6 as the line data supply means for supplying the line buffer memories 10a and 10b, and the predetermined areas stored in the line buffer memories 10a and 10b (in this embodiment, a 7 × 2 pixel area or A shift register 13 and an interpolation calculation circuit 14 as interpolation calculation means for performing an interpolation calculation using pixel data of (3 × 2 pixel area),
An interpolation value register 15 is provided, and the interpolation data obtained by the interpolation calculation means is stored in the line buffer memories 10a and 10a.
This is to overwrite the portion in which the data for which the interpolation calculation of b is completed (that is, the data that is no longer necessary for the interpolation calculation) is stored.

【0014】この図1において、本実施例の補間回路
は、例えばテレビジョン画像のハードコピーを得るよう
なビデオプリンタに適用されるものであり、したがっ
て、端子1にはプリントデータ書き込みクロックが供給
され、端子3にはフレームメモリからの8ビットの画像
データすなわちプリントデータが、端子4には各色印画
状態を示す信号であるヘッドアクティブ信号が、端子5
には印画タイミングパルスが供給される。また、端子2
からはフレームメモリに対するプリントデータ要求信号
が出力される。これら端子1〜5のうち、端子1,2,
3は図示を省略しているフレームメモリとインタフェー
ス回路を介して、また、端子4,5は図示を省略してい
るCPU(中央処理ユニット)とインタフェース回路を
介して、入力制御回路6と接続される。なお、フレーム
メモリの代わりにフィールドメモリを使用することもで
きる。
In FIG. 1, the interpolation circuit of this embodiment is applied to a video printer for obtaining a hard copy of a television image, for example, and therefore a print data write clock is supplied to the terminal 1. , 8 bits of image data, that is, print data from the frame memory, is input to the terminal 3, and a head active signal which is a signal indicating each color printing state is input to the terminal 4.
Is supplied with a print timing pulse. Also, terminal 2
Outputs a print data request signal for the frame memory. Of these terminals 1-5, terminals 1, 2,
Reference numeral 3 is connected to an input control circuit 6 via a frame memory (not shown) and an interface circuit, and terminals 4 and 5 are connected to a CPU (central processing unit) and an interface circuit (not shown). It A field memory may be used instead of the frame memory.

【0015】上記入力制御回路6は、上記フレームメモ
リから次段のラインバッファメモリ10a及び10bへ
のデータの取り込みをコントロールする。
The input control circuit 6 controls the fetching of data from the frame memory to the line buffer memories 10a and 10b of the next stage.

【0016】メモリ10aと10bは、それぞれ上記端
子3に供給されて入力制御回路6を介したプリントデー
タである画像データを保持するための1ラインバッファ
メモリであり、例えば、スタティックRAM(SRA
M)からなるものである。
Each of the memories 10a and 10b is a one-line buffer memory for holding image data, which is print data supplied to the terminal 3 via the input control circuit 6, and is, for example, a static RAM (SRA).
M).

【0017】当該メモリ10aと10bからのデータの
取り出しは、ワークテーブル転送制御回路9によりなさ
れる。すなわち、当該ワークテーブル転送制御回路9
は、後述する補間演算に必要な画像データを上記メモリ
10aと10bから取り出すためのアドレス制御を行う
回路である。当該ワークテーブル転送制御回路9によっ
て上記メモリ10a,10bから必要なデータ(本実施
例の場合は7×2画素のデータ)が取り出され、例えば
シフトレジスタ13からなるワークテーブルに転送され
る。
The work table transfer control circuit 9 fetches data from the memories 10a and 10b. That is, the work table transfer control circuit 9
Is a circuit for performing address control for fetching image data required for interpolation calculation described later from the memories 10a and 10b. The work table transfer control circuit 9 takes out necessary data (7 × 2 pixel data in the case of the present embodiment) from the memories 10a and 10b and transfers it to a work table composed of a shift register 13, for example.

【0018】当該ワークテーブルのシフトレジスタ13
に転送された画像データのうち、後述する補間演算に必
要な画素データは、補間演算回路14に送られ、ここで
当該画像データを用いたパターン認識を行うと共に、補
間値を計算する補間演算を行う。
Shift register 13 of the work table
Of the image data transferred to, the pixel data necessary for the interpolation calculation described later are sent to the interpolation calculation circuit 14, where the pattern recognition using the image data is performed and the interpolation calculation for calculating the interpolation value is performed. To do.

【0019】当該補間演算回路14により求められた補
間値は、補間値レジスタ15に一時保持される。すなわ
ち、当該補間値レジスタ15は、次の画素の補間演算を
行うときに過去の補間画素をデータとして使用するの
で、当該過去の補間画素のデータを一時的に保持するた
めのデータレジスタである。
The interpolation value obtained by the interpolation calculation circuit 14 is temporarily held in the interpolation value register 15. That is, since the interpolation value register 15 uses the past interpolation pixel as data when performing the interpolation calculation of the next pixel, it is a data register for temporarily holding the data of the past interpolation pixel.

【0020】補間値レジスタ15に保持された補間画素
のデータは、メモリ10a又は10bの記憶領域のう
ち、補間演算が終了した画素データが記憶されていた領
域に、後述するような理由から上書きされる。
The interpolated pixel data held in the interpolated value register 15 is overwritten in the storage area of the memory 10a or 10b where the interpolated pixel data is stored for the reason described below. It

【0021】その後、当該メモリ10a,10bから
は、上記補間演算に使用した画素データと上記上書きさ
れた補間画素のデータが順次読み出され、転送制御回路
7に送られる。当該転送制御回路7は、端子8を介して
次段のプリントのための構成にデータを転送するときの
タイミングをコントロールする。
After that, the pixel data used for the interpolation calculation and the data of the overwritten interpolation pixel are sequentially read from the memories 10a and 10b and sent to the transfer control circuit 7. The transfer control circuit 7 controls the timing at which data is transferred to the structure for printing of the next stage via the terminal 8.

【0022】ここで、入力制御回路6によって上記フレ
ームメモリから読み出されてメモリ10a,10bに送
られる入力ラインのデータの並びは、以下のようにな
る。なお、以下に示すiはフィールド画像の第iライン
を示す。また、 Aj ,Bj ,Cj ,D j ,・・・,Xj ,Yj ,Zj
はフィールド画像のいずれか1つのライン中の各画素値
を示す。
Here, the above-mentioned frame is controlled by the input control circuit 6.
Read from the memory and sent to the memories 10a and 10b.
The arrangement of the data on the input line is as follows.
It Note that i shown below is the i-th line of the field image.
Is shown. Also, Aj, Bj, Cj, D j・ ・ ・ ・ ・ ・, Xj, Yj, Zj
Is each pixel value in any one line of the field image
Is shown.

【0023】 入力ライン フィールド信号の画像ラインデータ ・ ・ ・ ・ ・ ・ 第n−2ライン Ai-1 Bi-1 Ci-1 Di-1 ・・・ Xi-1 Yi-1 Zi-1 第n−1ライン Ai-1 Bi-1 Ci-1 Di-1 ・・・ Xi-1 Yi-1 Zi-1 第nライン Ai Bi Ci Di ・・・ Xi Yi Zi 第n+1ライン Ai Bi Ci Di ・・・ Xi Yi Zi 第n+2ライン Ai+1 Bi+1 Ci+1 Di+1 ・・・ Xi+1 Yi+1 Zi+1 第n+3ライン Ai+1 Bi+1 Ci+1 Di+1 ・・・ Xi+1 Yi+1 Zi+1 ・ ・ ・ ・ ・ ・Image line data of input line field signal ······· nth line A i-1 B i-1 C i-1 D i-1 ... X i-1 Y i-1 Z i-1 nth line A i-1 B i-1 C i-1 D i-1 ... X i-1 Y i-1 Z i-1 nth line A i B i C i D i・ ・ ・ X i Y i Z i nth line A i B i C i D i・ ・ ・ X i Y i Z i n + 2 line A i + 1 B i + 1 C i + 1 D i + 1 ...・ X i + 1 Y i + 1 Z i + 1th n + 3 line A i + 1 B i + 1 C i + 1 D i + 1 ... X i + 1 Y i + 1 Z i + 1 ...・ ・ ・

【0024】すなわち、例えば上記メモリ10a,10
bのうちの一方のメモリに入力ラインとして第n−2ラ
インが入力されると、続いてそれと同じデータである第
n−1ラインが他方のメモリに入力される。以下同様
に、一方のメモリに第nラインのデータが入力されると
他方のメモリには同じデータである第n+1ラインのデ
ータが、一方のメモリに第n+2のデータが入力される
と他方のメモリには同じデータである第n+3ラインの
データが入力されるような具合に、順次メモリ10a,
10bには同じ画像データが入力される。
That is, for example, the above memories 10a, 10
When the (n-2) th line is input as an input line to one of the memories b, the n-1th line, which is the same data, is subsequently input to the other memory. Similarly, when the data of the nth line is input to one memory, the same data of the (n + 1) th line is input to the other memory, and when the n + 2th data is input to one memory, the other memory is input. In order that the data of the (n + 3) th line which is the same data is input to the memory 10a,
The same image data is input to 10b.

【0025】ここで、本実施例回路では、上記メモリ1
0a或いは10bに対して、保持された2ライン同一の
入力画像データの一方を、補間を行ったデータに書き換
え、当該補間を行ったデータと、書き換えられていない
方の画像データとを順次出力するようにしている。
In the circuit of this embodiment, the memory 1
For 0a or 10b, one of the held input image data of the same two lines is rewritten to the interpolated data, and the interpolated data and the unrewritten image data are sequentially output. I am trying.

【0026】例えば、メモリ10aに対して既に例えば
第n−1ラインのデータが保持されており、メモリ10
bに対して第nラインのデータが転送されて来るとす
る。
For example, the data of the (n-1) th line is already held in the memory 10a,
It is assumed that the data of the nth line is transferred to b.

【0027】第nラインの画像データがメモリ10bに
入力され、補間演算を行えるデータ数以上のデータが当
該メモリ10bに揃い始めると、ワークテーブル転送制
御回路9によって演算に必要なデータがメモリ10aと
10bからワークテーブルのシフトレジスタ13に転送
される。
When the image data of the n-th line is input to the memory 10b, and the number of data equal to or more than the number of data for which interpolation calculation can be performed begins to be stored in the memory 10b, the work table transfer control circuit 9 supplies the data required for the calculation to the memory 10a. 10b to the work table shift register 13.

【0028】すなわち、シフトレジスタ13は2つのシ
フトレジスタ13aと13bとからなり、一方のシフト
レジスタ13aにはメモリ10aからの第n−1ライン
の各画素データが各レジスタam ,am+1 ,am+2 ,a
m+3 ,am+4 ,am+5 ,am+ 6 に順にシフトされて格納
され、他方のシフトレジスタ13bにはメモリ10bか
らの第nラインの各画素データが各レジスタbm ,b
m+1 ,bm+2 ,bm+3 ,bm+4 ,bm+5 ,bm+6 に順に
シフトされて格納される。
[0028] That is, the shift register 13 consists of two shift registers 13a and 13b, the n-1 pixel data registers a m line from the memory 10a on one of the shift register 13a, a m + 1 , A m + 2 , a
m + 3, a m + 4 , a m + 5, a m + 6 are stored are shifted sequentially to the other shift register 13b the n-th pixel data registers b m of the line from the memory 10b to, b
The data are sequentially shifted and stored in m + 1 , b m + 2 , b m + 3 , b m + 4 , b m + 5 , b m + 6 .

【0029】当該シフトレジスタ13に第n−1ライン
と第nラインの所定数の画素データが揃うと、当該シフ
トレジスタ13からは各画素データが出力されて補間演
算回路14に送られる。
When a predetermined number of pixel data of the (n-1) th line and the nth line are prepared in the shift register 13, each pixel data is output from the shift register 13 and sent to the interpolation calculation circuit 14.

【0030】当該補間演算回路14では、供給された第
n−1ラインと第nラインの画素データを用いて後述す
るパターン認識を行い、当該第n−1ラインと第nライ
ンとの間のラインの補間値を算出する。
The interpolation calculation circuit 14 performs pattern recognition, which will be described later, by using the supplied pixel data of the (n-1) th line and the nth line, and the line between the (n-1) th line and the nth line. The interpolated value of is calculated.

【0031】この補間値のデータは、メモリ10bに転
送され、補間演算に必要なくなった部分に上書きされて
いく。
The data of this interpolation value is transferred to the memory 10b and overwritten on the portion which is no longer necessary for the interpolation calculation.

【0032】ここで、上記メモリ10bに補間値のデー
タを上書きしていくことが可能なのは、次の理由によ
る。
The reason why the interpolation value data can be overwritten in the memory 10b is as follows.

【0033】例えば、入力ラインと、入力されるフィー
ルド信号のラインデータと、出力ラインデータとの関係
は、表1のようになっている。
For example, Table 1 shows the relationship between the input line, the line data of the input field signal, and the output line data.

【0034】[0034]

【表1】 [Table 1]

【0035】すなわち、この表1の入出力データの関係
に示すように、次段に引き渡すデータの順番としては、
例えば第n−1ラインの画像データ(メモリ10aから
の出力)、次に第n−1ラインと第nラインのデータか
ら算出される補間ラインの画像データ、その次に第nラ
インと同一データの第n+1ライン(又は第nライン自
身)の画像データと言う順に、次段に引き渡していくこ
ととなる。
That is, as shown in the relationship of input / output data in Table 1, the order of data to be passed to the next stage is as follows.
For example, the image data of the (n-1) th line (output from the memory 10a), the image data of the interpolation line calculated next from the data of the (n-1) th line and the nth line, and then the same data as the nth line. The image data of the (n + 1) th line (or the nth line itself) will be delivered to the next stage.

【0036】このような順番で画像データを次段に引き
渡していく場合、先ず必要なデータは、第n−1ライ
ン、補間ライン、第n又は第n+1ラインの順となる。
すなわち、第nラインのデータを出力する前に2ライン
出力しなければならないデータがある。
When the image data is delivered to the next stage in such an order, the first necessary data is the (n-1) th line, the interpolation line, and the (n) th or (n + 1) th line.
That is, there is data that must be output for two lines before outputting the data for the nth line.

【0037】さらに、次に入力される第n+1ライン
は、第nラインと同じものであることを考えると、上述
のように補間ラインのデータを、第nラインを保持して
いるメモリ10bに上書きすることが可能になる。すな
わち、第nラインのデータが当該上書きにより消去され
てしまっても、当該第nラインのデータと同じデータで
ある第n+1ラインのデータが入力されれば、同じデー
タを得ることができるからである。
Further, considering that the n + 1-th line to be input next is the same as the n-th line, the data of the interpolation line is overwritten in the memory 10b holding the n-th line as described above. It becomes possible to do. That is, even if the data of the nth line is erased by the overwriting, if the data of the (n + 1) th line, which is the same data as the data of the nth line, is input, the same data can be obtained. .

【0038】なお、上記メモリ10bに第n+1ライン
のデータを上書きしているとき、補間データレジスタ1
5には補間演算回路14での補間結果の過去1画素のデ
ータが書き込まれて保持され、次の補間演算のデータと
して使われる。
When the memory 10b is overwritten with the data of the (n + 1) th line, the interpolation data register 1
Data of one pixel in the past, which is the result of the interpolation by the interpolation calculation circuit 14, is written and stored in 5 and used as data for the next interpolation calculation.

【0039】これにより、通常では補間演算に必要なラ
インバッファは、入力されたフィールドの2ライン分の
データを保持する2個のラインバッファと、補間結果の
ラインデータを保持する1個のラインバッファとが必要
となるのに対して、本実施例の補間回路では、ラインバ
ッファ2個のみで補間演算が可能となっている。すなわ
ち、本実施例回路では、入力されたフィールドの2ライ
ン分のデータを保持するラインバッファのいずれか一方
に補間結果のラインデータを上書きすることによって、
当該補間ライン用のラインバッファを1個削減できるよ
うになっている。これは、補間演算に用いるデータを2
ライン以上としたとしても同様のことが言える。
As a result, normally, the line buffers required for the interpolation calculation are two line buffers for holding the data of two lines of the input field and one line buffer for holding the line data of the interpolation result. In contrast to this, the interpolation circuit of the present embodiment can perform the interpolation calculation with only two line buffers. That is, in the circuit of the present embodiment, by overwriting the line data of the interpolation result in either one of the line buffers holding the data of two lines of the input field,
One line buffer for the interpolation line can be reduced. This is the data used for interpolation calculation
The same thing can be said even if it is above the line.

【0040】次に、本実施例の補間回路において採用し
ている補間方法について以下に説明する。
Next, the interpolation method used in the interpolation circuit of this embodiment will be described below.

【0041】ここで、上記ラインバッファメモリ10a
と10bから出力されてシフトレジスタ13aのレジス
タam ,am+1 ,am+2 ,am+3 ,am+4 ,am+5 ,a
m+6と、シフトレジスタ13bの各レジスタbm ,b
m+1 ,bm+2 ,bm+3 ,bm+4,bm+5 ,bm+6 に格納
されたデータ(既存ラインのデータ)が、例えば図2に
示すように、シフトレジスタ13aにおいてはAi ,B
i ,Ci ,Di ,Ei ,Fi ,Gi で示すデータとな
り、シフトレジスタ13bにおいてはAi+1 ,Bi+ 1
i+1 ,Di+1 ,Ei+1 ,Fi+1 ,Gi+1 で示すデータ
となっているとする。また、これらシフトレジスタ13
a及び13bに格納されたデータを用いて算出される補
間画素のデータをXとすると、図2の図中Xk は今現在
補間する画素を表し、Xk-2 はXk の2画素前の補間画
素を、Xk-1 はXk の1画素前の補間画素を、Xk+1
k の次に補間する画素を表している。
Here, the line buffer memory 10a
And 10b to output the registers a m , a m + 1 , a m + 2 , a m + 3 , a m + 4 , a m + 5 , a of the shift register 13 a.
m + 6 and each register b m , b of the shift register 13b
The data (data of the existing line) stored in m + 1 , b m + 2 , b m + 3 , b m + 4 , b m + 5 , b m + 6 is shifted, for example, as shown in FIG. In the register 13a, A i , B
i , C i , D i , E i , F i , and G i are data, and in the shift register 13b, A i + 1 , B i + 1 ,
It is assumed that the data are C i + 1 , D i + 1 , E i + 1 , F i + 1 , and G i + 1 . In addition, these shift registers 13
Letting X be the data of the interpolated pixel calculated using the data stored in a and 13b, X k in the drawing of FIG. 2 represents the pixel currently interpolated, and X k-2 is two pixels before X k. the interpolation pixel, X k-1 is the interpolation pixel one pixel before the X k, X k + 1 represents the pixel to be interpolated in the following X k.

【0042】ここで、本実施例補間回路の補間演算回路
14では、上記画素xk を補間演算によって求める場
合、上記2つのシフトレジスタ13a及び13bに格納
されている図2のような各7画素(すなわち7×2画
素)のデータの内、先ず最初に図2の図中破線で囲った
2つの既存ラインの各3つの画素(すなわち3×2画
素)のデータを用いてパターン認識を行う。
Here, in the interpolation calculation circuit 14 of the interpolation circuit of this embodiment, when the pixel x k is obtained by the interpolation calculation, each of the 7 pixels as shown in FIG. 2 stored in the two shift registers 13a and 13b. Of the (7 × 2 pixels) data, first, pattern recognition is performed using the data of each three pixels (that is, 3 × 2 pixels) of two existing lines surrounded by broken lines in FIG.

【0043】このパターン認識の際には、先ず、上下左
右方向において隣合う画素との大小関係を求める。すな
わち、画素Xk を補間演算によって求める場合、シフト
レジスタ13aに格納されている画素データのうち
i ,Di ,Ei とシフトレジスタ13bに格納されて
いる画素データのうちCi+1 ,Di+1 ,Ei+1 を用い
て、上下左右方向に隣合う画素の大小関係を求める。た
だし、Di とDi+1 との間の大小関係は除外する。
At the time of this pattern recognition, first, the magnitude relationship between adjacent pixels in the vertical and horizontal directions is obtained. That is, when the pixel X k is obtained by interpolation calculation, C i , D i , E i of the pixel data stored in the shift register 13a and C i + 1 , of the pixel data stored in the shift register 13b, Using D i + 1 and E i + 1 , the size relation of the pixels adjacent in the vertical and horizontal directions is obtained. However, the magnitude relation between D i and D i + 1 is excluded.

【0044】この時の隣合う画素の組み合わせは6通り
あり、そのそれぞれに対し、等号、不等号の向きの3通
りを考えると、図2の図中破線で囲う上記3×2画素領
域の大小関係による組み合わせ(すなわちパターン)
は、36 通り(=729通り)存在する。補間演算回路
14では、この729通りのパターンの認識を行い、こ
の認識領域をさらに広げるかどうかを決定する。
At this time, there are 6 combinations of adjacent pixels. Considering 3 combinations of equal sign and inequality sign for each of them, the size of the 3 × 2 pixel area surrounded by the broken line in FIG. 2 is considered. Combination by relationship (ie pattern)
There are 3 6 types (= 729 types). The interpolation calculation circuit 14 recognizes the 729 patterns and determines whether or not to further expand the recognition area.

【0045】この時点で、認識されたパターンが、これ
以上認識領域を広げてもあまり情報量の変わらないパタ
ーンや、最大7×2画素の認識領域では認識しきれない
パターンであることがわかれば、上記3×2画素の認識
領域から補間値xk を求める。
At this point, if it is known that the recognized pattern is a pattern in which the amount of information does not change much even if the recognition area is further expanded, or a pattern that cannot be recognized in the recognition area of maximum 7 × 2 pixels. , The interpolation value x k is obtained from the 3 × 2 pixel recognition area.

【0046】一方、上記3×2画素の認識領域をさらに
広げることによって、より正確なパターン認識ができる
と判定されるパターンであれば、当該3×2画素の認識
領域よりもさらに広げた認識領域(この場合は最大7×
2画素の認識領域まで広げることができる)でパターン
認識を行う。
On the other hand, if the pattern is judged to be capable of more accurate pattern recognition by further expanding the recognition area of 3 × 2 pixels, the recognition area further expanded than the recognition area of 3 × 2 pixels. (In this case, the maximum is 7 ×
Pattern recognition is performed by (it can be expanded to a recognition area of 2 pixels).

【0047】図3を用いて上記補間演算のアルゴリズム
を概略的に説明する。この図3において、ステップS1
では先ず3×2画素領域でパターン認識を行う。次のス
テップS2では、認識領域をさらに広げるかどうかの判
断を行い、広げる(イエス)と判断した場合にはステッ
プS3へ、広げない(ノー)と判断した場合にはステッ
プS4に進む。
The algorithm of the above interpolation calculation will be schematically described with reference to FIG. In FIG. 3, step S1
First, pattern recognition is performed in the 3 × 2 pixel area. In the next step S2, it is judged whether or not the recognition area should be further expanded. If it is judged that the recognition area should be further expanded (Yes), the processing advances to step S3, and if it is judged not to be expanded (no), the processing advances to step S4.

【0048】ステップS4では、後述する表2〜表10
に示すテーブルを参照して3×2画素領域でパターン認
識を行い、次のステップS6では、以下の3つの式から
最適なものを選択して、補間演算決定を行う。 Xk =(Ci +Ei+1 )/2 Xk =(Di +Di+1 )/2 Xk =(Ei +Ci+1 )/2
In step S4, Tables 2 to 10 described later are used.
Pattern recognition is performed in the 3 × 2 pixel area by referring to the table shown in FIG. 3, and in the next step S6, the optimum one is selected from the following three formulas to determine the interpolation calculation. X k = (C i + E i + 1 ) / 2 X k = (D i + D i + 1 ) / 2 X k = (E i + C i + 1 ) / 2

【0049】また、ステップS3では、後述する表2〜
表10に示すテーブルを参照して7×2画素領域でパタ
ーン認識を行い、次のステップS5では、以下の8つの
式から最適なものを選択して補間演算決定を行う。 Xk =(Ai +Gi+1 )/2 Xk =(Bi +Fi+1 )/2 Xk =(Ci +Ei+1 )/2 Xk =(Di +Di+1 )/2 Xk =(Di +Di+1 +2Xk-1 )/4 Xk =(Ei +Ci+1 )/2 Xk =(Fi +Bi+1 )/2 Xk =(Gi +Ai+1 )/2
Further, in step S3, Tables 2 to 2 described later are
Pattern recognition is performed in the 7 × 2 pixel area with reference to the table shown in Table 10, and in the next step S5, the optimum one is selected from the following eight expressions to determine the interpolation calculation. X k = (A i + G i + 1 ) / 2 X k = (B i + F i + 1 ) / 2 X k = (C i + E i + 1 ) / 2 X k = (D i + D i + 1 ). / 2 X k = (D i + D i + 1 + 2X k-1 ) / 4 X k = (E i + C i + 1 ) / 2 X k = (F i + B i + 1 ) / 2 X k = (G i + A i + 1 ) / 2

【0050】すなわち、本実施例では、上述のように、
パターン認識する領域を広げてもあまり情報量の変わら
ないパターンであるときには、後述する表2〜表10に
示すテーブルを参照して上記3×2画素の認識領域から
補間値を求めるようにし、一方、パターン認識する領域
を広げることによってより正確なパターン認識ができる
と判定されるパターンであるときには、後述する表2〜
表10に示すテーブルを参照して7×2画素の領域から
補間値を求めることによって、補間後の画質を高画質に
保ったままパターン認識する回路の規模の拡大を抑える
ようにしている。
That is, in this embodiment, as described above,
When the pattern recognition area is a pattern in which the amount of information does not change much even if the area is widened, an interpolation value is obtained from the 3 × 2 pixel recognition area by referring to tables shown in Tables 2 to 10 described later. If the pattern is judged to be more accurate pattern recognition by expanding the pattern recognition area, Table 2 to be described later
By obtaining the interpolation value from the area of 7 × 2 pixels by referring to the table shown in Table 10, the scale of the pattern recognition circuit is suppressed from increasing while keeping the image quality after interpolation high.

【0051】これは、例えば、上記7×2画素の全領域
を最初からパターン認識領域とすると、その隣接画素間
の大小関係の組み合わせ(すなわちパターン)は、318
(=387420489)通りとなり、この全パターン
に対してパターン認識を行い、それぞれ補間演算方法を
決定するのは、非常に難しく、回路規模的にも大きくな
り過ぎると思われるためであり、したがって、本実施例
では、上述のように、先ず3×2画素の領域で認識し、
その後適応的に最大7×2画素の領域まで広げることに
より、考慮する組み合わせを減らし、さらに7×2画素
まで広げたときにも補間演算の式を前記8つの式のみと
しているため、回路規模が大きくなるのが抑制されてい
る。なお、本実施例の回路では、その組み合わせ(パタ
ーン)は、約920通りにまで削減されている。
For example, assuming that the entire area of 7 × 2 pixels is a pattern recognition area from the beginning, the combination (that is, pattern) of the magnitude relation between the adjacent pixels is 3 18
(= 387420489), and it is very difficult to determine the interpolation calculation method for each pattern by performing pattern recognition, and it seems that the circuit scale becomes too large. In the embodiment, as described above, first, the recognition is performed in the area of 3 × 2 pixels,
After that, by adaptively expanding the area to a maximum of 7 × 2 pixels, the number of combinations to be considered is reduced. Even when the area is further expanded to 7 × 2 pixels, the equations for the interpolation calculation are only the above eight equations. It is suppressed from growing. In the circuit of this embodiment, the number of combinations (patterns) is reduced to about 920.

【0052】以下、上述した補間演算についてより具体
的な例を挙げて説明する。図2の例において、補間画素
i を求める際には、図2の図中破線内部の画素Ci
i ,Ei とCi+1 ,Di+1 ,Ei+1 の6個のデータの
大小関係から、補間方向が斜めであるか上下であるかを
決定する。この大小関係によって決定される補間方向を
表したテーブルを、表2〜表10に示す。これらのテー
ブルは、上記6個の画素の組み合わせの数である36
729と対応している。
The above-described interpolation calculation will be described below with reference to more specific examples. In the example of FIG. 2, when obtaining the interpolated pixel X i , the pixel C i inside the broken line in FIG.
It is determined whether the interpolation direction is diagonal or vertical based on the magnitude relation between the six data D i , E i and the six data C i + 1 , D i + 1 , E i + 1 . Tables 2 to 10 show tables showing the interpolation directions determined by the magnitude relationship. These tables show the number of combinations of the above 6 pixels, 3 6 =
It corresponds to 729.

【0053】[0053]

【表2】 [Table 2]

【0054】[0054]

【表3】 [Table 3]

【0055】[0055]

【表4】 [Table 4]

【0056】[0056]

【表5】 [Table 5]

【0057】[0057]

【表6】 [Table 6]

【0058】[0058]

【表7】 [Table 7]

【0059】[0059]

【表8】 [Table 8]

【0060】[0060]

【表9】 [Table 9]

【0061】[0061]

【表10】 [Table 10]

【0062】これらのテーブルに従い、3×2画素の領
域のパターン認識により、補間画素Xは、各表中の無印
と/印と\印とに応じて、次のように決定される。 無印 X=(Di +Di+1 )/2 /印 X=(Ei +Ci+1 )/2 \印 X=(Ci +Ei+1 )/2
According to these tables, the interpolated pixel X is determined as follows according to the blank mark, the / mark, and the \ mark in each table by the pattern recognition of the 3 × 2 pixel area. No mark X = (D i + D i + 1 ) / 2 / mark X = (E i + C i + 1 ) / 2 \ mark X = (C i + E i + 1 ) / 2

【0063】ただし、表中の/印,\印の横又は上にD
i >Ci+1 ,Di+1 >Ci ,Di ≦Ei+1 ,・・・等と
ある場合は、その条件が満たされるときのみ当該斜めの
補間を行うことを表している。また、テーブル上の〜
の部分は後述する7×2画素の領域のパターン認識に
よって補間画像を得る部分を示している。
However, D is placed beside or above the / and \ marks in the table.
When i > C i + 1 , D i + 1 > C i , D i ≦ E i + 1 , ..., It means that the diagonal interpolation is performed only when the condition is satisfied. . Also on the table ~
The portion of indicates a portion where an interpolated image is obtained by pattern recognition of a 7 × 2 pixel area described later.

【0064】また、表2〜表10のテーブルの行と列に
は、それぞれ0〜26までの番号を付けており、ここで
行番号をqとし、列番号をrとしてテーブルの各マトリ
クスを座標(r,q)と表現したとき、以下のから
で示すテーブル上の座標部分については、7×2画素の
データから補間を行う。
The rows and columns of the tables in Tables 2 to 10 are numbered from 0 to 26, respectively, where the row number is q and the column number is r, and each matrix in the table is coordinated. When expressed as (r, q), interpolation is performed from the data of 7 × 2 pixels for the coordinate portion on the table indicated by the following.

【0065】 (0,12),(9,12) (14,2),(14,11) (14,23),(14,26) (21,12),(24,12)(0,12), (9,12) (14,2), (14,11) (14,23), (14,26) (21,12), (24,12)

【0066】 (17,14),(26,14) (12,15),(12,24) (12,0),(12,3) (2,14),(5,14)(17,14), (26,14) (12,15), (12,24) (12,0), (12,3) (2,14), (5,14)

【0067】 (26,0),(0,26)(26,0), (0,26)

【0068】 (7,13),(8,14),(12,6),(13,
7) (12,19),(13,20),(18,12),
(19,13)
(7, 13), (8, 14), (12, 6), (13,
7) (12,19), (13,20), (18,12),
(19,13)

【0069】 (0,23),(9,26),(17,0),(26,
3) (0,17),(3,26),(23,0),(26,
9)
(0,23), (9,26), (17,0), (26,
3) (0,17), (3,26), (23,0), (26,
9)

【0070】以下、これらテーブル中の〜の座標部
分で示す7×2画素でパターン認識を行う領域での補間
アルゴリズムについて説明する。
The interpolation algorithm in the area where the pattern recognition is performed by 7 × 2 pixels shown in the coordinate parts of these tables will be described below.

【0071】先ず、テーブル中のの座標部分の補間の
一例として、例えばCi <Di <E i >Ei+1 =Di+1
=Ci+1 <Ci の時は、図4のフローチャートの大小判
別を行って補間する。すなわち、データの小さい方に探
す処理を行って補間する。なお、上記Ci <Di <Ei
>Ei+1 =Di+1 =Ci+1 <Ci は、表7の(r,q)
=(24,12)の座標に対応する例である。
First, the interpolation of the coordinate portion in the table
As an example, for example, Ci<Di<E i> Ei + 1= Di + 1
= Ci + 1<CiIn case of, the large and small size of the flowchart of FIG. 4
Do another and interpolate. In other words, search for smaller data.
Interpolation is performed. The above Ci<Di<Ei
> Ei + 1= Di + 1= Ci + 1<CiIs (r, q) in Table 7.
This is an example corresponding to the coordinates = (24,12).

【0072】すなわち、この図4において、ステップS
10ではBi <Ci 及びEi+1 =F i+1 であるか否かの
判断を行い、ノーと判断した場合にはステップS11
に、イエスと判断した場合にはステップS12に進む。
That is, in FIG. 4, step S
B in 10i<CiAnd Ei + 1= F i + 1Whether or not
The judgment is made, and if the judgment is NO, step S11.
If the answer is yes, then go to step S12.

【0073】ステップS11では、Xk =(Ci +E
i+1 )/2の演算を行って補間値を求める。ステップS
12では、Ai <Bi の判断を行い、ノーと判断した場
合にはステップS13に、イエスと判断した場合にはス
テップS14に進む。
In step S11, X k = (C i + E
i + 1 ) / 2 is calculated to obtain the interpolated value. Step S
In step 12, if it is determined that A i <B i , the process proceeds to step S13 if the result is NO, and to step S14 if the result is YES.

【0074】ステップS13では、Xk =(Bi +F
i+1 )/2の演算を行って補間値を求め、ステップS1
4では、Xk =(Ai +Gi+1 )/2の演算を行って補
間値を求める。
In step S13, X k = (B i + F
i + 1 ) / 2 is calculated to obtain the interpolated value, and step S1
In step 4, X k = (A i + G i + 1 ) / 2 is calculated to obtain an interpolated value.

【0075】次に、の部分の補間では、例えばCi
i >Ei <Ei+1 =Di+1 =Ci+ 1 >Ci の時、図5
のフローチャートの大小判別を行って補間する。すなわ
ち、データの大きい方に探す処理を行って補間する。な
お、このCi >Di >Ei <Ei+1 =Di+1 =Ci+1
i は、表5の(r,q)=(2,14)の座標に対応
する例である。
Next, in the interpolation of the part, for example, C i >
When D i > E i <E i + 1 = D i + 1 = C i + 1 > C i , FIG.
Interpolation is performed by determining the size of the flow chart. That is, interpolation is performed by performing the process of searching for the larger data. Note that this C i > D i > E i <E i + 1 = D i + 1 = C i + 1 >
C i is an example corresponding to the coordinates (r, q) = (2, 14) in Table 5.

【0076】すなわち、この図5において、ステップS
20ではBi >Ci 及びEi+1 =F i+1 であるか否かの
判断を行い、ノーと判断した場合にはステップS21
に、イエスと判断した場合にはステップS22に進む。
That is, in FIG. 5, step S
B at 20i> CiAnd Ei + 1= F i + 1Whether or not
If the judgment is made and the judgment is NO, step S21.
If the answer is yes, then go to step S22.

【0077】ステップS21では、Xk =(Ci +E
i+1 )/2の演算を行って補間値を求める。ステップS
22では、Ai >Bi の判断を行い、ノーと判断した場
合にはステップS23に、イエスと判断した場合にはス
テップS24に進む。
In step S21, X k = (C i + E
i + 1 ) / 2 is calculated to obtain the interpolated value. Step S
At 22, it is judged whether A i > B i . If it is judged as no, the process proceeds to step S23, and if it is judged as yes, the process proceeds to step S24.

【0078】ステップS23では、Xk =(Bi +F
i+1 )/2の演算を行って補間値を求め、ステップS2
4では、Xk =(Ai +Gi+1 )/2の演算を行って補
間値を求める。
In step S23, X k = (B i + F
i + 1 ) / 2 is calculated to obtain the interpolated value, and step S2
In step 4, X k = (A i + G i + 1 ) / 2 is calculated to obtain an interpolated value.

【0079】ここで、,の部分の補間演算において
は、これら両方とも補間値Xk の上限と下限を設定す
る。すなわち、Di <Xk <Di+1 又はDi >Xk >D
i+1 のように上限と下限を設定し、補間結果Xk がこの
関係を満たすときは、そのまま補間値Xk を採用する。
この関係を満たさないときは、最内斜め補間値をXk
する。すなわち、の部分の補間演算の時はXk =(E
i +Ci+1 )/2を補間結果とし、の部分の補間演算
の時はXk =(Ci +Ei+1 )/2を補間結果とする。
Here, in the interpolation calculation of the portions of and, both upper and lower limits of the interpolation value X k are set. That is, D i <X k <D i + 1 or D i > X k > D
When the upper and lower limits are set like i + 1 and the interpolation result X k satisfies this relationship, the interpolation value X k is adopted as it is.
When this relationship is not satisfied, the innermost diagonal interpolation value is set to X k . That is, X k = (E
Let i + C i + 1 ) / 2 be the interpolation result, and X k = (C i + E i + 1 ) / 2 be the interpolation result at the time of the interpolation calculation of the portion.

【0080】次に、の部分の補間演算では、例えばC
i <Di <Ei >Ei+1 <Di+1 <Ci+1 >Ci の時、
i とEi+1 との間に大小関係の谷があるか、また、E
i とCi+1 との間に大小関係の尾根があるか判らない。
そこで、次の条件で補間する。なお、当該の補間演算
における上記Ci <Di <Ei >Ei+1 <Di+1 <C
i+1 >Ci の符号が全て入れ代わったパターンの場合に
は、Ci とEi+1 の間で尾根、Ei とCi+1 の間で谷の
ようになる。また、Ci <Di <Ei >Ei+1 <Di+1
<Ci+1 >Ci は、表4の(r,q)=(26,0)の
座標に対応する例である。
Next, in the interpolation calculation of the portion, for example, C
i<Di<Ei> Ei + 1<Di + 1<Ci + 1> Citime,
CiAnd Ei + 1Is there a valley of magnitude relation with
iAnd Ci + 1I don't know if there is a ridge of magnitude relation with.
Therefore, interpolation is performed under the following conditions. The interpolation calculation
C above ini<Di<Ei> Ei + 1<Di + 1<C
i + 1> CiIn the case of a pattern in which all signs of
Is CiAnd Ei + 1Ridge between, EiAnd Ci + 1Between the valley
Like Also, Ci<Di<Ei> Ei + 1<Di + 1
<Ci + 1> CiOf (r, q) = (26,0) in Table 4
It is an example corresponding to coordinates.

【0081】このとき、上記大小関係の尾根か谷かの判
断は、次の基準で行う。例えば、Ai 〜Ei の大小関係
が、以下のような場合に、Bi 又はCi に谷があるとす
る。
At this time, the judgment of the ridge or the valley of the above-mentioned magnitude relation is made according to the following criteria. For example, if the magnitude relationship of A i to E i is as follows, it is assumed that there is a valley in B i or C i .

【0082】Ai >Bi <Ci <Di <Ei 、又は、A
i >Bi =Ci <Di <Ei 、又は、Ai >Bi >Ci
<Di <Ei
A i > B i <C i <D i <E i , or A
i > B i = C i <D i <E i , or A i > B i > C i
<D i <E i

【0083】したがって、Bi とCi との間の大小関係
はなく、Ai とBi との間の大小関係がAi >Bi とな
っていれば、谷があると判断する。
Therefore, if there is no magnitude relation between B i and C i, and if the magnitude relation between A i and B i is A i > B i , it is judged that there is a valley.

【0084】ここで、第1の条件として、Ai >Bi
及びFi+1 <Gi+1 のとき、Bi 又はCi に谷がある
か、及び、Ei+1 又はFi+1 に谷があるか否かの判断を
行い、共に谷があるときはQ1 =1とし、いずれか一方
又はいずれにも谷がないときはQ1 =0とする。
Here, as the first condition, A i > B i ,
And F i + 1 <G i + 1 , it is determined whether or not there is a valley in B i or C i and whether or not there is a valley in E i + 1 or F i + 1. When there is one, Q 1 = 1 and when there is no valley in either one or both, Q 1 = 0.

【0085】また、第2の条件として、Ai+1
i+1 、及びFi >Gi のとき、Bi+1 又はCi+1 に尾
根があるか、及び、Ei 又はFi に尾根があるか否かの
判断を行い、共に尾根があるときはQ2 =1、いずれか
一方又はいずれにも尾根がないときはQ2 =0とする。
As the second condition, A i + 1 <
When B i + 1 and F i > G i , it is determined whether or not there is a ridge at B i + 1 or C i + 1 and whether or not there is a ridge at E i or F i. If there is a ridge, Q 2 = 1; if there is no ridge on either or both, then Q 2 = 0.

【0086】この時点で、先ず次のように補間方法を決
定する。 Q1 =1,Q2 =1であればXk =(Di +Di+1 )/
2 Q1 =1,Q2 =0であればXk =(Ci +Ei+1 )/
2 Q1 =0,Q2 =1であればXk =(Ei +Ci+1 )/
2 Q1 =0,Q2 =0であれば次の判定を行う。
At this point, the interpolation method is first determined as follows. If Q 1 = 1 and Q 2 = 1 then X k = (D i + D i + 1 ) /
If 2 Q 1 = 1 and Q 2 = 0, then X k = (C i + E i + 1 ) /
If 2 Q 1 = 0 and Q 2 = 1 then X k = (E i + C i + 1 ) /
2 If Q 1 = 0 and Q 2 = 0, the next judgment is made.

【0087】次に、第3の条件として、Ai >Bi 、又
はFi+1 <Gi+1 のとき、Bi 又はCi 又はEi+1 又は
i+1 に谷があるか否かの判断を行い、いずれかに谷が
あるときはQ3 =1とし、いずれにも谷がないときはQ
3 =0とする。
Next, as the third condition, when A i > B i or F i + 1 <G i + 1 , there is a valley in B i or C i or E i + 1 or F i + 1. If there is a valley on either side, set Q 3 = 1. If there is no valley on either side, Q
3 = 0.

【0088】また、第4の上限として、Ai+1
i+1 、又はFi >Gi のとき、Bi+1 又はCi+1 又は
i 又はFi に尾根があるか否かの判断を行い、いずれ
かに尾根があるときはQ4 =1、いずれにも尾根がない
ときはQ4 =0とする。
As the fourth upper limit, A i + 1 <
When B i + 1 or F i > G i , it is determined whether or not there is a ridge in B i + 1 or C i + 1 or E i or F i. 4 = 1 and when none have ridges, set Q 4 = 0.

【0089】第5の条件として、Ci =Ei+1 、又はC
i =Fi+1 、又はBi =Ei+1 、又はBi =Fi+1 の判
断において、イエスのときはQ5 =1、ノーのときはQ
5 =0とする。
As the fifth condition, C i = E i + 1 , or C
In the judgment of i = F i + 1 , or B i = E i + 1 , or B i = F i + 1 , when yes, Q 5 = 1 and when no, Q 5
Set 5 = 0.

【0090】第6の条件として、Ei =Ci+1 、又はE
i =Bi+1 、又はFi =Ci+1 、又はFi =Bi+1 の判
断において、イエスのときはQ6 =1、ノーのときはQ
6 =0とする。
As a sixth condition, E i = C i + 1 , or E
In the judgment of i = B i + 1 , or F i = C i + 1 , or F i = B i + 1 , when yes, Q 6 = 1 and when no, Q
6 = 0.

【0091】以上の各条件から、最終的に次のように補
間方法を決定する。すなわち、Q3 =1,Q4 =1,Q
5 =XK ,Q6 =XK ならばXK =(Di +Di+1 )/
2とし、Q3 =1,Q4 =0,Q5 =XK ,Q6 =1な
らばXK =(Ei +Ci+1 )/2とし、Q3 =0,Q4
=1,Q5 =1,Q6 =XK ならばXK =(Ci +E
i+1 )/2とし、Q3 =0,Q4 =0,Q5 =XK ,Q
6 =XK ならばXK =(Di +Di+1 )/2とする。た
だし、Q1 =Q2 =0である。
From the above conditions, the interpolation method is finally determined as follows. That is, Q 3 = 1 and Q 4 = 1 and Q
If 5 = X K and Q 6 = X K, then X K = (D i + D i + 1 ) /
2. If Q 3 = 1, Q 4 = 0, Q 5 = X K , Q 6 = 1 then X K = (E i + C i + 1 ) / 2, and Q 3 = 0, Q 4
= 1 and Q 5 = 1 and Q 6 = X K , X K = (C i + E
i + 1 ) / 2, Q 3 = 0, Q 4 = 0, Q 5 = X K , Q
If 6 = X K, then X K = (D i + D i + 1 ) / 2. However, Q 1 = Q 2 = 0.

【0092】次に、の部分の補間演算では、補間画素
k の一つ左の画素がXk-1 で、例えばCi <Di >E
i >Ei+1 =Di+1 =Ci+1 <Ci の時は、次の条件で
補間を行う。なお、Ci <Di >Ei >Ei+1 =Di+1
=Ci+1 <Ci は、表7の(r,q)=(18,12)
の座標に対応する例である。
Next, in the interpolation calculation of the portion, the pixel to the left of the interpolated pixel X k is X k-1 , for example, C i <D i > E
When i > E i + 1 = D i + 1 = C i + 1 <C i , interpolation is performed under the following conditions. Note that C i <D i > E i > E i + 1 = D i + 1
= C i + 1 <C i is (r, q) = (18,12) in Table 7.
It is an example corresponding to the coordinates of.

【0093】例えば、当該条件として、Ci+1 =Xk-1
の判断を行い、イエスのときはQ7=1、ノーのときは
7 =0とする。このときの補間方法は、Q7 =0なら
ばXk =(Di +Di+1 )/2とし、Q7 =1ならばX
k =(Di +Ci+1 +2Xk-1 )/4とする。
For example, as the condition, C i + 1 = X k-1
If yes, Q 7 = 1 and if no, Q 7 = 0. The interpolation method at this time is X k = (D i + D i + 1 ) / 2 if Q 7 = 0 and X if Q 7 = 1.
Let k = (D i + C i + 1 + 2X k−1 ) / 4.

【0094】次に、の部分の補間では、Di とDi+1
の間の補間画素はXk であり、例えばCi =Di <Ei
>Ei+1 <Di+1 <Ci+1 >Ci の時は次の条件で補間
を行う。なお、Ci =Di <Ei >Ei+1 <Di+1 <C
i+1 >Ci は、表3の(r,q)=(17,0)の座標
に対応する例である。
Next, in the interpolation of the part, D i and D i + 1
The interpolation pixel between an X k, for example, C i = D i <E i
When> E i + 1 <D i + 1 <C i + 1 > C i , interpolation is performed under the following conditions. Note that C i = D i <E i > E i + 1 <D i + 1 <C
i + 1 > C i is an example corresponding to the coordinates (r, q) = (17,0) in Table 3.

【0095】例えば、当該条件として、Ci =Ei+1
又はCi =Fi+1 、又はBi =Ei+ 1 、又はBi =F
i+1 の判断において、イエスのときはQ8 =1、ノーの
ときはQ8 =0とする。このときの補間方法は、Q8
1ならばXk =(Ci +Ei+1 )/2とし、Q8 =0な
らばXk =(Di +Di+1 )/2とする。
For example, as the condition, C i = E i + 1 ,
Or C i = F i + 1 , or B i = E i + 1 , or B i = F
In the judgment of i + 1 , if yes, Q 8 = 1 and if no, Q 8 = 0. The interpolation method at this time is Q 8 =
If 1, then X k = (C i + E i + 1 ) / 2, and if Q 8 = 0, then X k = (D i + D i + 1 ) / 2.

【0096】さらに、上述した各大小判別時の条件とし
て、2つのデータの大小判別は、次の条件で行う。すな
わち、一方のデータをYとし、他方のデータをWとする
と、INT((Y−W)/L)=0であればY=Wと
し、INT((Y−W)/L)>0であればY>Wと
し、INT((Y−W)/L)<0であればY<Wとす
る。なお、INTは組み込み関数である。
Further, as a condition at the time of each of the above-mentioned size discrimination, the size discrimination of two data is performed under the following conditions. That is, if one data is Y and the other data is W, then Y = W if INT ((Y-W) / L) = 0 and INT ((Y-W) / L)> 0. If there is Y> W, if INT ((Y−W) / L) <0, then Y <W. Note that INT is a built-in function.

【0097】ここで、Lによって±(L−1)の範囲を
等号とみる。Lについては、1又は4又は8又は16を
使用する。このLの値は、画像の必要とするSN比によ
って変更し、小さくすると敏感になり、大きくすると7
×2画素の領域まで参照することが少なくなる。
Here, the range of ± (L-1) depending on L is regarded as an equal sign. For L, use 1 or 4 or 8 or 16. The value of L is changed according to the SN ratio required by the image, and the smaller the value becomes, the more sensitive the value becomes.
The reference to the area of × 2 pixels is reduced.

【0098】上述したような〜の部分の補間演算の
アルゴリズムを用いることで、以下のような効果が得ら
れる。
The following effects can be obtained by using the algorithm of the interpolation calculation of the above-mentioned parts (1) to (3).

【0099】先ず、及びの部分の補間演算のアルゴ
リズムを用いることで、2つの領域が斜めの境界を持っ
ているとき、その境界が滑らかになるように補間するこ
とができる。
First, by using the interpolation calculation algorithm of the portions and, when two regions have diagonal boundaries, interpolation can be performed so that the boundaries become smooth.

【0100】例えば、図6に補間前後の画像の第1の具
体例として、上述したの部分の補間演算の効果につい
て説明する。また、図6の各枡目は、図2の各画素デー
タと対応し、当該図6の各枡目の画素データは図1のシ
フトレジスタ13の各レジスタに格納される画素データ
の一例でもある。なお、上記の部分の補間演算におい
ても、前記表2〜表10のテーブルに従って補間演算を
行うことで、同様の効果を得ることができる。
For example, as a first specific example of the image before and after the interpolation in FIG. 6, the effect of the above-described interpolation calculation will be described. Further, each cell in FIG. 6 corresponds to each pixel data in FIG. 2, and the pixel data in each cell in FIG. 6 is also an example of pixel data stored in each register of the shift register 13 in FIG. . Even in the interpolation calculation of the above part, the same effect can be obtained by performing the interpolation calculation according to the tables of Tables 2 to 10.

【0101】この第1の具体例として、図6の(a)に
示すような既存ラインの画像(補間前の画像)が存在し
たとする。このとき、図6の(a)の既存ラインの各画
素の色濃度を16進数表現で表し、例えば上側の既存ラ
インの各画素Ai ,Bi ,C i ,Di ,Ei ,Fi ,G
i の色濃度の実際のデータが(10)(50)(70)
(90)(F0)(F0)(F0)であり、下側の既存
ラインの各画素Ai+1,Bi+1 ,Ci+1 ,Di+1 ,E
i+1 ,Fi+1 ,Gi+1 の色濃度の実際のデータが(1
0)(10)(10)(10)(10)(10)(1
0)であるとする。なお、(10)は濃い色を表し、
(F0)に行くにしたがって薄い色を表している。
As a first specific example of this, as shown in FIG.
There is an image of the existing line (image before interpolation) as shown
Suppose At this time, each image of the existing line in FIG.
The color density of the element is expressed in hexadecimal notation.
In each pixel Ai, Bi, C i, Di, Ei, Fi, G
iThe actual data of color density is (10) (50) (70)
(90) (F0) (F0) (F0), which is the existing lower side
Each pixel A in the linei + 1, Bi + 1, Ci + 1, Di + 1, E
i + 1, Fi + 1, Gi + 1The actual data of the color density of (1
0) (10) (10) (10) (10) (10) (1
0). In addition, (10) represents a dark color,
The color becomes lighter as it goes to (F0).

【0102】すなわち、図2に対応させて表した補間画
素Xk と各既存ラインの画素との位置関係が、 既存ライン (10) (50) (70) (90) (F0) (F0) (F0) 補間ライン Xk 既存ライン (10) (10) (10) (10) (10) (10) (10) となっているとすると、この補間画素Xk に対する上下
既存ラインの3×2画素Ci ,Di ,Ei 及びCi+1
i+1 ,Ei+1 の大小関係は、上側の既存ラインの3画
素が左から順に(70)(90)(F0)となり、下側
の既存ラインの3画素が(10)(10)(10)とな
っていることから、(70)<(90)<(F0)>
(10)=(10)=(10)<(70)となる。
That is, the positional relationship between the interpolated pixel X k shown in FIG. 2 and the pixels of each existing line is as follows: existing line (10) (50) (70) (90) (F0) (F0) ( F0) Interpolation line X k Existing line (10) (10) (10) (10) (10) (10) (10) If the interpolation line X k is 3 × 2 pixels above and below the existing line C i , D i , E i and C i + 1 ,
Regarding the magnitude relationship between D i + 1 and E i + 1 , the three pixels in the upper existing line are (70) (90) (F0) in order from the left, and the three pixels in the lower existing line are (10) (10). ) Since it is (10), (70) <(90) <(F0)>
(10) = (10) = (10) <(70).

【0103】この場合は、パターン認識領域を拡大し、
残りの画素の大小関係を認識する。すなわち、この図6
の(a)の場合は、Ai ,Bi ,Ci とEi ,Fi ,G
i 、及びAi+1 ,Bi+1 ,Ci+1 とEi+1 ,Fi+1 ,G
i+1 の大小関係は、Ai <B i <Ci とEi =Fi =G
i 、及びAi+1 =Bi+1 =Ci+1 とEi+1 =Fi+1 =G
i+1 となり、7×2画素のマトリクスから、Xk =(A
i +Gi+1 )/2の補間式を決定する。
In this case, the pattern recognition area is enlarged,
Recognize the size relationship of the remaining pixels. That is, this FIG.
In case of (a), Ai, Bi, CiAnd Ei, Fi, G
i, And Ai + 1, Bi + 1, Ci + 1And Ei + 1, Fi + 1, G
i + 1The size relationship ofi<B i<CiAnd Ei= Fi= G
i, And Ai + 1= Bi + 1= Ci + 1And Ei + 1= Fi + 1= G
i + 1Then, from the matrix of 7 × 2 pixels, Xk= (A
i+ Gi + 1) / 2 interpolation formula is determined.

【0104】すなわち、この図6の(a)の例は、前述
したの部分の補間演算の一例として前記表7の(r,
q)=(24,12)の座標に対応する例であり、Ci
<D i <Ei >Ei+1 =Di+1 =Ci+1 <Ci となって
いる。したがって、前述の図4のフローチャートの大小
判別を行って補間する。
That is, the example shown in FIG.
As an example of the interpolation calculation of the above part, (r,
q) = (24,12) is an example corresponding to the coordinates, and Ci
<D i<Ei> Ei + 1= Di + 1= Ci + 1<CiBecome
There is. Therefore, the size of the flowchart of FIG.
It discriminates and interpolates.

【0105】具体的には、データの小さい方に向かって
パターンを探し、Bi <Ci 及びE i+1 =Fi+1 である
か否かの判断(図4のステップS10)を行い、この図
6の(a)の例では、Bi が(50)で、Ci が(7
0)でEi+1 及びFi+1 が共に(10)となっているた
め、(50)<(70)及び(10)=(10)となっ
てイエスと判断されるので、さらにAi <Bi の判断を
行う(図4のステップS12)。この判断において、図
6の(a)の例では、Ai が(10)でBi が(50)
となっているので、図4のステップS12ではイエスと
判断され、したがって、図4のステップS14のXk
(Ai +Gi+1 )/2の補間演算を行う。これにより、
k =(10+10)/2の演算を行って補間値(この
場合は(10))を求める。
Specifically, toward the smaller data
Find the pattern, Bi<CiAnd E i + 1= Fi + 1Is
It is determined whether or not (step S10 in FIG. 4)
In the example of (a) of 6, BiIs (50) and CiBut (7
E in 0)i + 1And Fi + 1Were both (10)
Therefore, (50) <(70) and (10) = (10)
Because it is judged as yes, further Ai<BiThe judgment of
Perform (step S12 of FIG. 4). In this judgment, the figure
In the example of 6 (a), AiBut in (10) BiIs (50)
Therefore, in step S12 of FIG.
Determined, and therefore X in step S14 of FIG.k=
(Ai+ Gi + 1) / 2 interpolation calculation is performed. This allows
Xk= (10 + 10) / 2 and the interpolation value (this
If it is (10)).

【0106】図6の上記補間画素Xk 以外の補間画素X
k-3 ,Xk-2 ,Xk-1 ,Xk+1 ,X k+2 ,Xk-3 に対し
ては、前記表2〜表10のテーブルに従って補間演算を
行うことで、図6の(a)の補間前の画像から図6の
(b)に示すような補間後の画像を得ることができるよ
うになる。
The above interpolated pixel X in FIG.kInterpolation pixel other than X
k-3, Xk-2, Xk-1, Xk + 1, X k + 2, Xk-3Against
The interpolation calculation according to the tables in Tables 2 to 10 above.
By performing the above, from the image before interpolation in FIG.
You can get the interpolated image as shown in (b).
Swell.

【0107】すなわち本実施例の補間演算を行えば、補
間前の画像の斜めの線の画像をより滑らかに補間するこ
とができる。また、本実施例の補間演算によれば、補間
値が上下の既存ラインの画素値の間にあるのが妥当であ
るだろうから、補間値のとれる値をその上下の画素値の
範囲に抑えるようにしているため、ノイズを低減できる
ことになる。例えば、カラー画像の場合、画像のエッジ
の部分などで、シアン、マゼンダ等のノイズが減少す
る。
That is, if the interpolation calculation of this embodiment is performed, the image of the diagonal line of the image before the interpolation can be smoothly interpolated. Further, according to the interpolation calculation of the present embodiment, it seems appropriate that the interpolated value is between the pixel values of the upper and lower existing lines, so that the value of the interpolated value is limited to the range of the upper and lower pixel values. Therefore, the noise can be reduced. For example, in the case of a color image, noise such as cyan and magenta is reduced at the edge of the image.

【0108】次に、及びの部分の補間演算のアルゴ
リズムを用いることで、補間前の画像の斜めの線の画像
をより滑らかに補間することができる。
Next, by using the interpolation calculation algorithm of the portions and, it is possible to more smoothly interpolate the image of the diagonal line of the image before the interpolation.

【0109】例えば、図7に補間前後の画像の第2の具
体例として、上述したの部分の補間演算の効果につい
て説明する。また、この図7も前述の図6と同様に表し
ている。なお、上記の部分の補間演算においても、前
記表2〜表10のテーブルに従って補間演算を行うこと
で、同様の効果を得ることができる。
For example, as a second specific example of the image before and after the interpolation in FIG. 7, the effect of the interpolation calculation of the above portion will be described. Further, FIG. 7 also shows the same as FIG. 6 described above. Even in the interpolation calculation of the above part, the same effect can be obtained by performing the interpolation calculation according to the tables of Tables 2 to 10.

【0110】この第2の具体例として、図7の(a)に
示すような既存ラインの画像(補間前の画像)が存在し
たとする。このとき、図7の(a)の既存ラインの各画
素の色濃度を16進数表現で表し、例えば上側の既存ラ
インの各画素Ai ,Bi ,C i ,Di ,Ei ,Fi ,G
i の色濃度の実際のデータが(10)(10)(10)
(70)(F0)(70)(10)であり、下側の既存
ラインの各画素Ai+1,Bi+1 ,Ci+1 ,Di+1 ,E
i+1 ,Fi+1 ,Gi+1 の色濃度の実際のデータが(1
0)(70)(F0)(70)(10)(10)(1
0)であるとする。
As a second specific example, as shown in FIG.
There is an image of the existing line (image before interpolation) as shown
Suppose At this time, each image of the existing line in FIG.
The color density of the element is expressed in hexadecimal notation.
In each pixel Ai, Bi, C i, Di, Ei, Fi, G
iActual data of color density is (10) (10) (10)
(70) (F0) (70) (10), existing below
Each pixel A in the linei + 1, Bi + 1, Ci + 1, Di + 1, E
i + 1, Fi + 1, Gi + 1The actual data of the color density of (1
0) (70) (F0) (70) (10) (10) (1
0).

【0111】すなわち、図2に対応させて表した補間画
素Xk と各既存ラインの画素との位置関係が、 既存ライン (10) (10) (10) (70) (F0) (70) (10) 補間ライン Xk 既存ライン (10) (70) (F0) (70) (10) (10) (10) となっているとすると、この補間画素Xk に対する上下
既存ラインの3×2画素Ci ,Di ,Ei 及びCi+1
i+1 ,Ei+1 の大小関係は、上側の既存ラインの3画
素が左から順に(10)(70)(F0)となり、下側
の既存ラインの3画素が(F0)(70)(10)とな
っていることから、(10)<(70)<(F0)>
(10)<(70)<(F0)>(10)となる。
That is, the positional relationship between the interpolated pixel X k represented in correspondence with FIG. 2 and the pixels of each existing line is as follows: existing line (10) (10) (10) (70) (F0) (70) ( 10) Interpolation line X k existing line (10) (70) (F0) (70) (10) (10) (10) If the interpolation pixel X k is 3 × 2 pixels above and below the existing line C i , D i , E i and C i + 1 ,
The magnitude relationship between D i + 1 and E i + 1 is (10) (70) (F0) from the left in the upper three existing lines, and (F0) (70) from the lower three existing lines. ) (10), so (10) <(70) <(F0)>
(10) <(70) <(F0)> (10).

【0112】この場合、当該図7の(a)の例は、前述
したの部分の補間演算の一例として前記表4の(r,
q)=(26,0)の座標に対応する例であり、Ci
i<Ei >Ei+1 <Di+1 <Ci+1 >Ci となってい
る。したがって、前述したの部分の補間で述べたよう
に各条件に従って補間演算を行う。
In this case, the example of (a) of FIG. 7 corresponds to (r,
q) = (26,0), where C i <
D i <E i > E i + 1 <D i + 1 <C i + 1 > C i . Therefore, the interpolation calculation is performed according to each condition as described in the above-mentioned interpolation of the portion.

【0113】具体的には、各既存ラインの画素の大小関
係によって尾根か谷かの判断を行う。この図7の(a)
の例では、上側の既存ラインの各画素値が(10)(1
0)(10)(70)(F0)(70)(10)であ
り、したがって、Ai =Bi =Ci <Di <Ei >Fi
>Gi となり、Ei が尾根である。また、下側の既存ラ
インの各画素値は(10)(70)(F0)(70)
(10)(10)(10)であり、したがって、Ai+1
<Bi+1 <Ci+1 >Di+1 >Ei+1 =Fi+1 =Gi+ 1
なり、Ci+1 が尾根である。
Specifically, it is determined whether a ridge or a valley is based on the size relation of the pixels of each existing line. This (a) of FIG.
In the above example, the pixel values of the upper existing line are (10) (1
0) (10) (70) (F0) (70) (10) and therefore A i = B i = C i <D i <E i > F i.
> G i , and E i is a ridge. The pixel values of the lower existing line are (10) (70) (F0) (70).
(10) (10) (10), so A i + 1
<B i + 1 <C i + 1 > D i + 1 > E i + 1 = F i + 1 = G i + 1 , and C i + 1 is a ridge.

【0114】すなわち、前述した第1の条件において上
側の既存ラインのBi 又はCi 、及び下側の既存ライン
のEi+1 又はFi+1 に谷がないのでQ1 =0となり、ま
た、前述した図2の条件において上側及び下側の既存ラ
インのBi+1 又はCi+1 、及びEi 又はFi に共に尾根
があることを示すQ2 =1となり、したがって、この時
点での補間方法は、前述したように、 Q1 =0,Q2 =1なのでXk =(Ei +Ci+1 )/2 の補間演算を行う。
That is, since there is no valley in the upper existing line B i or C i and the lower existing line E i + 1 or F i + 1 under the above-mentioned first condition, Q 1 = 0, Further, under the conditions of FIG. 2 described above, Q 2 = 1 indicating that both the upper and lower existing lines B i + 1 or C i + 1 and E i or F i have a ridge, and therefore, As described above, as the interpolation method at the time point, since Q 1 = 0 and Q 2 = 1 are used, the interpolation calculation of X k = (E i + C i + 1 ) / 2 is performed.

【0115】これにより、Xk =(F0+F0)/2の
演算を行って補間値(この場合は(F0))を求める。
As a result, X k = (F0 + F0) / 2 is calculated to obtain the interpolated value ((F0) in this case).

【0116】なお、この図7の例では、前記第2の条件
までで補間演算式を求めることができたので、前記第3
の条件〜第6の条件の判断は行わない。
In the example of FIG. 7, since the interpolation calculation expression can be obtained up to the second condition, the third condition can be obtained.
The conditions # 6 to # 6 are not determined.

【0117】上記図7の上記補間画素Xk 以外の補間画
素Xk-3 ,Xk-2 ,Xk-1 ,Xk+1,Xk+2 ,Xk-3
対しては、前記表2〜表10のテーブルに従って補間演
算を行うことで、図7の(a)の補間前の画像から図7
の(b)に示すような補間後の画像を得ることができる
ようになる。
[0117] with respect to FIG. 7 of the interpolation pixel X k other than the interpolation pixel X k-3, X k- 2, X k-1, X k + 1, X k + 2, X k-3 is By performing the interpolation calculation according to the tables in Tables 2 to 10, the image before the interpolation in FIG.
It is possible to obtain an image after interpolation as shown in (b) of FIG.

【0118】次に、の部分の補間演算のアルゴリズム
の効果について、第3の具体例として図8を用いて説明
する。この図8の(b)及び(c)も前述の図6の
(a)及び(b)と同様に表している。また、この図8
の(a)は、全体の画像100を示し、その中の一例の
画像102と、シフトレジスタ13に格納される画像領
域101を示している。すなわち、当該図9では、例え
ば三角形の画像100の頂点部分について補間を行う例
について説明する。
Next, the effect of the algorithm of the interpolation calculation of the above portion will be described with reference to FIG. 8 as a third concrete example. 8B and 8C are also shown in the same manner as FIGS. 6A and 6B described above. In addition, this FIG.
(A) shows an entire image 100, an example image 102 therein, and an image area 101 stored in the shift register 13. That is, in FIG. 9, an example in which interpolation is performed on the apex portion of the triangular image 100 will be described.

【0119】この第3の具体例では、図8の(b)に示
すような既存ラインの画像(補間前の画像)が存在する
ことになる。このとき、図8の(b)の既存ラインの各
画素の色濃度を16進数表現で表し、上側の既存ライン
の各画素Ai ,Bi ,Ci ,Di ,Ei ,Fi ,Gi
色濃度の実際のデータが(F0)(F0)(F0)(F
0)(F0)(F0)(F0)であり、下側の既存ライ
ンの各画素Ai+1 ,B i+1 ,Ci+1 ,Di+1 ,Ei+1
i+1 ,Gi+1 の色濃度の実際のデータが(F0)(F
0)(70)(10)(70)(F0)(F0)である
とする。
The third specific example is shown in FIG.
There is an existing line image (image before interpolation) that
Will be. At this time, each of the existing lines in FIG.
The pixel color density is expressed in hexadecimal notation and the existing line above
Each pixel Ai, Bi, Ci, Di, Ei, Fi, Giof
Actual data of color density is (F0) (F0) (F0) (F
0) (F0) (F0) (F0), and the existing lower line
Each pixel Ai + 1, B i + 1, Ci + 1, Di + 1, Ei + 1,
Fi + 1, Gi + 1The actual data of color density of (F0) (F
0) (70) (10) (70) (F0) (F0)
And

【0120】すなわち、図2に対応させて表した補間画
素Xk と各既存ラインの画素との位置関係が、 既存ライン (F0) (F0) (F0) (F0) (F0) (F0) (F0) 補間ライン Xk 既存ライン (F0) (F0) (70) (10) (70) (F0) (F0) となっているとすると、この補間画素Xk に対する上下
既存ラインの3×2画素Ci ,Di ,Ei 及びCi+1
i+1 ,Ei+1 の大小関係は、上側の既存ラインの3画
素が左から順に(F0)(F0)(F0)となり、下側
の既存ラインの3画素が(70)(10)(70)とな
っていることから、(F0)=(F0)=(F0)>
(70)>(10)<(70)<(F0)となる。
That is, the positional relationship between the interpolated pixel X k shown in FIG. 2 and the pixels of each existing line is the existing line (F0) (F0) (F0) (F0) (F0) (F0) ( F0) Interpolation line X k Existing line (F0) (F0) (70) (10) (70) (F0) (F0) If the interpolation pixel X k is 3 × 2 pixels above and below the existing line C i , D i , E i and C i + 1 ,
Regarding the magnitude relationship between D i + 1 and E i + 1 , the three pixels in the upper existing line are (F0) (F0) (F0) in order from the left, and the three pixels in the lower existing line are (70) (10). ) (70), so (F0) = (F0) = (F0)>
(70)> (10) <(70) <(F0).

【0121】すなわち、この図8の(b)の例は、前述
したの部分の補間演算の一例として、Ci =Di =E
i >Ei+1 >Di+1 <Ci+1 <Ci の場合を示したもの
であり、前記表3の(r,q)=(12,6)の座標に
対応する例であり、したがって、前述したの部分の補
間で述べたように各条件に従って補間演算を行う。
That is, in the example of FIG. 8B, C i = D i = E as an example of the interpolation calculation of the above-mentioned portion.
This shows the case where i > E i + 1 > D i + 1 <C i + 1 <C i. In the example corresponding to the coordinates (r, q) = (12, 6) in Table 3 above. Therefore, the interpolation calculation is performed according to each condition as described in the interpolation of the above-mentioned portion.

【0122】この場合、パターン認識領域を拡大し、補
間画素Xk の一つ左の先に補間演算で求められている補
間画素Xk-1 とCi との関係において、Ci =Xk-1
判断を行う。図8の(b)の例では、Ci =Xk-1 であ
るため、前記Q7 =0となり、このときの補間演算は、
前述したようにXk =(Di +Di+1 +2Xk-1 )/4
となる。
[0122] In this case, pattern recognition region to expand, and the interpolating pixel X k-1 and C i for one place to the left of the previous is a need in the interpolation operation of the interpolation pixel X k, C i = X k -1 judgment is made. In the example of FIG. 8B, since C i = X k−1 , Q 7 = 0, and the interpolation calculation at this time is
As described above, X k = (D i + D i + 1 + 2X k-1 ) / 4
Becomes

【0123】上記図8の上記補間画素Xk 以外の補間画
素Xk-3 ,Xk-2 ,Xk-1 ,Xk+1,Xk+2 ,Xk-3
対しては、前記表2〜表10のテーブルに従って補間演
算を行うことで、図8の(b)の補間前の画像から図8
の(c)に示すような補間後の画像を得ることができる
ようになる。すなわち、従来の補間方法のように単純補
間のみを行った場合には図8の(a)の頂点の分が延び
てしまい、さらには強調されることでいわゆるヒゲ状に
見えてしまうのに対し、本実施例の補間演算によれば、
当該頂点の延びるところの濃度が、ぼかされて薄くなり
ヒゲ状の画像が目立たなくなる。
[0123] with respect to the interpolation pixel X k-3, X k- 2, X k-1, X k + 1, X k + 2, X k-3 other than the interpolation pixel X k of FIG. 8, By performing the interpolation calculation according to the tables in Tables 2 to 10, the image before the interpolation in FIG.
It becomes possible to obtain an image after interpolation as shown in (c) of FIG. That is, when only simple interpolation is performed as in the conventional interpolation method, the apex of FIG. 8A is extended and further emphasized so that it looks like a so-called mustache. According to the interpolation calculation of this embodiment,
The density at the extension of the apex is blurred and lightened, and the whisker-like image becomes inconspicuous.

【0124】次に、前記表2〜表10のテーブルに従っ
て前記3×2画素の補間演算を行う具体例について説明
する。
Next, a concrete example of performing the interpolation calculation of 3 × 2 pixels according to the tables of Tables 2 to 10 will be described.

【0125】すなわち第4の具体例として、図9の
(a)に示すような既存ラインの画像(補間前の画像)
が存在したとする。なお、この図9も前記図6と同様に
表している。このとき、図9の(a)の既存ラインの各
画素の色濃度を16進数表現で表し、例えば上側の既存
ラインの各画素Ai ,Bi ,Ci ,Di ,Ei ,Fi
i の色濃度の実際のデータが(F0)(90)(6
0)(10)(60)(90)(F0)であり、下側の
既存ラインの各画素Ai+1 ,Bi+1 ,Ci+1 ,Di+1
i+1 ,Fi+1 ,Gi+1 の色濃度の実際のデータが(F
0)(90)(60)(10)(60)(90)(F
0)であるとする。
That is, as a fourth specific example, FIG.
Image of existing line as shown in (a) (image before interpolation)
Is present. Note that this FIG. 9 is similar to FIG. 6 described above.
It represents. At this time, each of the existing lines in FIG.
The color density of the pixel is expressed in hexadecimal notation.
Each pixel A in the linei, Bi, Ci, Di, Ei, Fi,
G iThe actual data of the color density of (F0) (90) (6
0) (10) (60) (90) (F0),
Each pixel A on the existing linei + 1, Bi + 1, Ci + 1, Di + 1,
Ei + 1, Fi + 1, Gi + 1The actual data of color density of (F
0) (90) (60) (10) (60) (90) (F
0).

【0126】すなわち、図2に対応させて表した補間画
素Xk と各既存ラインの画素との位置関係が、 既存ライン (F0) (90) (60) (10) (60) (90) (F0) 補間ライン Xk 既存ライン (F0) (90) (60) (10) (60) (90) (F0) となっているとすると、この補間画素Xk に対する上下
既存ラインの3×2画素Ci ,Di ,Ei 及びCi+1
i+1 ,Ei+1 の大小関係は、上側の既存ラインの3画
素が左から順に(60)(10)(60)となり、下側
の既存ラインの3画素が(60)(10)(60)とな
っていることから、Ci >Di <Ei =E i+1 >Di+1
<Ci+1 =Ci となっている。
That is, the interpolated image represented in correspondence with FIG.
Element XkAnd the pixel relationship between each existing line and the existing line (F0) (90) (60) (10) (60) (90) (F0) Interpolation line Xk If the existing line is (F0) (90) (60) (10) (60) (90) (F0), this interpolation pixel XkUp and down against
3 x 2 pixels C of existing linei, Di, EiAnd Ci + 1,
Di + 1, Ei + 1The size relationship is the 3 lines of the existing line above
Element is (60) (10) (60) from left to right
3 pixels of the existing line of (60) (10) (60)
From that, Ci> Di<Ei= E i + 1> Di + 1
<Ci + 1= CiIt has become.

【0127】この場合は、パターン認識領域は拡大せ
ず、表2〜表10の3×2画素のマトリクステーブルか
ら補間式を決定する。したがって、表2〜表10のテー
ブルから、上記Ci >Di <Ei =Ei+1 >Di+1 <C
i+1 =Ci の場合の補間演算式は、Xk =(Di +D
i+1 )/2が決定され、これにより、Xk =(10+1
0)/2=10を求める。
In this case, the pattern recognition area is not expanded, and the interpolation formula is determined from the matrix table of 3 × 2 pixels in Tables 2 to 10. Therefore, from the tables of Tables 2 to 10, the above C i > D i <E i = E i + 1 > D i + 1 <C
The interpolation calculation formula in the case of i + 1 = C i is X k = (D i + D
i + 1 ) / 2 is determined, whereby Xk = (10 + 1
0) / 2 = 10 is calculated.

【0128】図9の上記補間画素Xk 以外の補間画素X
k-3 ,Xk-2 ,Xk-1 ,Xk+1 ,X k+2 ,Xk-3 に対し
ても、前記表2〜表10のテーブルに従って補間演算を
行うことで、図9の(a)の補間前の画像から図9の
(b)に示すような補間後の画像を得ることができるよ
うになる。
The interpolation pixel X in FIG.kInterpolation pixel other than X
k-3, Xk-2, Xk-1, Xk + 1, X k + 2, Xk-3Against
However, the interpolation calculation is performed according to the tables in Tables 2 to 10 above.
By performing this, the image before interpolation in FIG.
You can get the interpolated image as shown in (b).
Swell.

【0129】また、本実施例の補間回路における上述し
た補間アルゴリズムによる補間は、ビデオプリンタにお
ける副走査方向について行っており、主走査方向につい
ては前後の画素の単純平均による補間を行うようにして
いる。また、補間を行う際の順序は、副走査方向、主走
査方向の順としている。さらに、4倍補間が必要なとき
は、2度補間を行うようにする。
The interpolation by the above-described interpolation algorithm in the interpolation circuit of this embodiment is performed in the sub-scanning direction of the video printer, and in the main scanning direction, the interpolation is performed by the simple average of the pixels before and after. . The order of interpolation is the sub-scanning direction and the main scanning direction. Further, when quadruple interpolation is necessary, the interpolation is performed twice.

【0130】ここで、主走査方向には、単純平均とした
のは、以下の理由による。すなわち、副走査方向と同じ
アルゴリズムにすると7ラインメモリが必要となってコ
ストが大幅に上がること、また、補間を行ってドット数
を増やすことは、サンプリング数を増やすことと同等で
あり、信号の立ち上がりはある程度線型とみなすことが
できるので、この場合には前後の画素の平均を補間値と
しても誤りではないはずであるという観点からである。
なお、信号の立ち上がりは、約200nsで5fscの
サンプリング信号であるとすると、約4ドットがその立
ち上がりに使用されることになる。
Here, the simple average in the main scanning direction is used for the following reason. That is, if the same algorithm as in the sub-scanning direction is used, a 7-line memory is required, which significantly increases the cost. Also, increasing the number of dots by performing interpolation is equivalent to increasing the number of samplings. This is because the rising can be regarded as linear to some extent, and in this case, it should not be erroneous even if the average of the pixels before and after is used as the interpolation value.
If the rising edge of the signal is a sampling signal of 5 fsc at about 200 ns, then about 4 dots are used for the rising edge.

【0131】さらに、主走査方向には上述のような理由
から単純平均を採用し、副走査方向の補間は、主走査方
向の補間を行う前に行う方が実質的なパターン認識領域
が広く取れるので、補間方向の順序は、上記のように副
走査方向、主走査方向の順としている。
Further, a simple average is adopted in the main scanning direction for the above-mentioned reason, and the sub-scanning direction interpolation is performed before interpolation in the main scanning direction so that a substantial pattern recognition area can be taken. Therefore, the order of the interpolation direction is the order of the sub scanning direction and the main scanning direction as described above.

【0132】なお、パターン認識を行う領域を拡大した
場合の認識領域の大きさは、前記7×2画素領域よりも
更に大きくすることも可能である。例えば、ライン数を
増やす方向での領域の拡大では、例えば7×4画素や、
7×6画素を例に挙げることができ、この場合にはより
よい補間を行えることになる。例えばL字の領域などで
ある。
The size of the recognition area when the pattern recognition area is enlarged can be made larger than the 7 × 2 pixel area. For example, when expanding the area in the direction of increasing the number of lines, for example, 7 × 4 pixels,
7 × 6 pixels can be taken as an example, and in this case, better interpolation can be performed. For example, it is an L-shaped area.

【0133】上述したように、本発明実施例の補間回路
においては、適応的な補間を行っているので、画質がよ
り向上し、特に、斜めの解像度、ジャーキネスの点で画
質の向上を図ることができる。また、回路規模はそれほ
ど大きくなっていないので実用的である。さらに静止画
出力における画質も格段な向上が期待できる。
As described above, in the interpolation circuit of the embodiment of the present invention, since the adaptive interpolation is performed, the image quality is further improved, and particularly the image quality is improved in terms of diagonal resolution and jerkiness. You can Moreover, the circuit scale is not so large, which is practical. Furthermore, the image quality in still image output can be expected to be significantly improved.

【0134】[0134]

【発明の効果】以上の説明からも明らかなように、本発
明のテレビジョン信号の補間回路においては、1フィー
ルドの原信号の同一ラインデータをv回供給してw個の
ラインバッファに格納し、これらラインバッファにそれ
ぞれ格納された所定領域のデータを用いて補間演算を行
い、その補間データを、w個のラインバッファの補間演
算の終了したデータが格納されている部分に上書きする
ことにより、補間データ用のメモリを新たに設ける必要
がなくなり、回路規模を小型化することが可能となって
いる。また、本発明の補間回路では、斜めの画像であっ
ても階調性、解像度、ジャーキネスの点で充分な補間画
像を得ることが可能となっている。
As is apparent from the above description, in the television signal interpolation circuit of the present invention, the same line data of the original signal of one field is supplied v times and stored in w line buffers. , An interpolation calculation is performed using data of a predetermined area stored in each of these line buffers, and the interpolation data is overwritten on a portion of the w line buffers in which the data after the interpolation calculation is stored, It is not necessary to newly provide a memory for interpolation data, and it is possible to reduce the circuit scale. Further, with the interpolation circuit of the present invention, it is possible to obtain a sufficient interpolated image in terms of gradation, resolution, and jerkiness, even for an oblique image.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明実施例のテレビジョン信号の補間回路の
概略構成を示すブロック回路図である。
FIG. 1 is a block circuit diagram showing a schematic configuration of a television signal interpolation circuit according to an embodiment of the present invention.

【図2】ワークテーブルのデータについて説明するため
の図である。
FIG. 2 is a diagram for explaining data of a work table.

【図3】補間アルゴリズムのフローチャートである。FIG. 3 is a flowchart of an interpolation algorithm.

【図4】7×2画素のパターン認識により補間演算を行
う際の補間アルゴリズムの一例を示すフローチャートで
ある。
FIG. 4 is a flowchart showing an example of an interpolation algorithm when performing interpolation calculation by pattern recognition of 7 × 2 pixels.

【図5】7×2画素のパターン認識により補間演算を行
う際の補間アルゴリズムの他の例を示すフローチャート
である。
FIG. 5 is a flowchart showing another example of an interpolation algorithm when performing interpolation calculation by pattern recognition of 7 × 2 pixels.

【図6】7×2画素のパターン認識により補間演算を説
明するための第1の具体例の画像を示す図である。
FIG. 6 is a diagram showing an image of a first specific example for explaining an interpolation calculation by pattern recognition of 7 × 2 pixels.

【図7】7×2画素のパターン認識により補間演算を説
明するための第2の具体例の画像を示す図である。
FIG. 7 is a diagram showing an image of a second specific example for explaining an interpolation calculation by pattern recognition of 7 × 2 pixels.

【図8】7×2画素のパターン認識により補間演算を説
明するための第3の具体例の画像を示す図である。
FIG. 8 is a diagram showing an image of a third specific example for explaining an interpolation calculation by pattern recognition of 7 × 2 pixels.

【図9】3×2画素のパターン認識により補間演算を説
明するための第4の具体例の画像を示す図である。
FIG. 9 is a diagram showing an image of a fourth specific example for explaining an interpolation calculation by pattern recognition of 3 × 2 pixels.

【符号の説明】 1 入力制御回路 7 転送制御回路 9 ワークテーブル転送制御回路 10a,10b ラインバッファメモリ 13 シフトレジスタ 14 補間演算回路 15 補間レジスタ[Explanation of Codes] 1 Input control circuit 7 Transfer control circuit 9 Work table transfer control circuit 10a, 10b Line buffer memory 13 Shift register 14 Interpolation calculation circuit 15 Interpolation register

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】 テレビジョン信号の1フィールドの原信
号から1フレームの信号を生成するテレビジョン信号の
補間回路において、 1フィールドの原信号のラインデータをそれぞれ格納す
るw個(wは2以上)のラインバッファと、 同一ラインデータをv回出力して上記w個のラインバッ
ファに供給するラインデータ供給手段と、 上記w個のラインバッファにそれぞれ格納された所定領
域のデータを用いて補間演算を行う補間演算手段とを有
し、 上記補間演算手段による補間データを、上記w個のライ
ンバッファの補間演算の終了したデータが格納されてい
る部分に上書きすることを特徴とするテレビジョン信号
の補間回路。
1. An interpolating circuit for a television signal for generating a signal of one frame from an original signal of one field of a television signal, w pieces of which store line data of the original signal of one field (w is 2 or more). Line buffer, line data supply means for outputting the same line data v times to supply the w line buffers, and interpolation data using predetermined area data stored in the w line buffers. Interpolating means for performing interpolation of the television signal, characterized in that the interpolation data by the above-mentioned interpolation calculating means is overwritten on the portion of the w line buffers where the data for which the interpolation operation has been completed is stored. circuit.
JP15397694A 1994-07-05 1994-07-05 Television signal interpolation circuit Expired - Fee Related JP3413968B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15397694A JP3413968B2 (en) 1994-07-05 1994-07-05 Television signal interpolation circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15397694A JP3413968B2 (en) 1994-07-05 1994-07-05 Television signal interpolation circuit

Publications (2)

Publication Number Publication Date
JPH0823510A true JPH0823510A (en) 1996-01-23
JP3413968B2 JP3413968B2 (en) 2003-06-09

Family

ID=15574199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15397694A Expired - Fee Related JP3413968B2 (en) 1994-07-05 1994-07-05 Television signal interpolation circuit

Country Status (1)

Country Link
JP (1) JP3413968B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008059704A1 (en) * 2006-11-14 2008-05-22 Panasonic Corporation Scanning line interpolating device and scanning line interpolating method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008059704A1 (en) * 2006-11-14 2008-05-22 Panasonic Corporation Scanning line interpolating device and scanning line interpolating method
JP2008124909A (en) * 2006-11-14 2008-05-29 Matsushita Electric Ind Co Ltd Scanning line interpolation device and scanning line interpolation method
US8237858B2 (en) 2006-11-14 2012-08-07 Panasonic Corporation Scanning line interpolating device and scanning line interpolation method

Also Published As

Publication number Publication date
JP3413968B2 (en) 2003-06-09

Similar Documents

Publication Publication Date Title
EP0232081B1 (en) Image processing system with capability of enlarging and reducing operations
US5111194A (en) Artificial halftone processing apparatus
JP2007109231A (en) Processor-readable storage medium
JPH0522648A (en) Image processor
JPH0824361B2 (en) Video signal processor
JPH0823510A (en) Interpolation circuit for television signal
US5606656A (en) Image data processing unit for forming a plurality of identical images in a single output image area
JPH0823481A (en) Interpolation method/circuit for television signal
JP3617075B2 (en) Image signal processing method and apparatus
JP4156194B2 (en) Method for converting first resolution raster digital data to second resolution digital data
JP2705580B2 (en) Printer image data resolution doubling circuit
JP2624427B2 (en) Image discriminating device
JP3007521B2 (en) Halftone data generator
JPH0530487A (en) Picture interpolating method
JPH04354068A (en) Method and device for interpolating picture data
JP3877054B2 (en) Image reduction scaling device
JPH0730755A (en) Image processor
JP3225591B2 (en) Image processing device reduction / enlargement processing circuit
JP2006135825A (en) Image interpolation processing apparatus
JPS6260358A (en) Recording correction circuit
JPH05219360A (en) Picture processor
JPH0276367A (en) Density data processing unit
JP2799075B2 (en) Pixel density conversion method
JPH0382268A (en) Line density conversion method for binary picture signal
JPH08102850A (en) Picture processor

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030304

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080404

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090404

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090404

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100404

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees