JP3582426B2 - Coordinate generation method and coordinate generation circuit - Google Patents

Coordinate generation method and coordinate generation circuit Download PDF

Info

Publication number
JP3582426B2
JP3582426B2 JP31494199A JP31494199A JP3582426B2 JP 3582426 B2 JP3582426 B2 JP 3582426B2 JP 31494199 A JP31494199 A JP 31494199A JP 31494199 A JP31494199 A JP 31494199A JP 3582426 B2 JP3582426 B2 JP 3582426B2
Authority
JP
Japan
Prior art keywords
value
input
coordinate
initial value
scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31494199A
Other languages
Japanese (ja)
Other versions
JP2001134227A (en
Inventor
宏 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP31494199A priority Critical patent/JP3582426B2/en
Publication of JP2001134227A publication Critical patent/JP2001134227A/en
Application granted granted Critical
Publication of JP3582426B2 publication Critical patent/JP3582426B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、出力画素数を入力画素数より増やす拡大処理または出力画素数を入力画素数より減らす縮小処理を行うスケーリング回路において、拡大縮小処理後の画素の座標値を生成する座標生成方法及び座標生成回路に関するものである。
【0002】
【従来の技術】
従来より、液晶ディスプレイやプラズマディスプレイ(以下、PDPとする)などの固定画素表示デバイスが知られている。このような固定画素表示デバイスに対して映像信号を入力するコンピュータ等の装置の解像度はまちまちである。したがって、様々な入力映像信号に対応するため、入力映像信号の拡大縮小処理(解像度変換処理あるいはスケーリング処理)を行うスケーリング回路が必要となる。
【0003】
【発明が解決しようとする課題】
映像信号の拡大縮小を行うスケーリング回路は、一般的になってきているが、近年その画質を向上させることが要求されている。また、液晶ディスプレイやPDPは、駅や空港などの案内表示や株価の表示に使われたり、コンピュータ画面の表示に使われたりすることが多い。これらの映像では、細かい文字や罫線をスクロールして表示することが多い。また、ホームページ等の、1画面では表示できない映像を自動的にスクロールする機能をもって表示するものが増えてくると考えられる。
しかしながら、従来のスケーリング回路では、スケーリング処理前の入力画像とスケーリング処理後の出力画像の位相関係がスクロールと無関係に決定されるので、入力画像がスクロールすると、前記位相関係が時間的に変化することにより画質が劣化するという問題点があった。
本発明は、上記課題を解決するためになされたもので、入力画像がスクロールする場合でも、高画質な出力画像を得ることができる座標生成方法及び座標生成回路を提供することを目的とする。
【0004】
【課題を解決するための手段】
本発明の座標生成方法は、水平方向の拡大縮小処理の場合には水平同期信号が入力される度に座標値を初期値にリセットし、垂直方向の拡大縮小処理の場合には垂直同期信号が入力される度に座標値を初期値にリセットする手順と、入力画素の画素間距離に拡大率または縮小率の逆数を掛けた値を、直前の生成タイミングで生成された座標値に加算して、加算後の値を現生成タイミングにおける座標値とすることを生成タイミング毎に繰り返す手順と、一定数の垂直同期信号が入力される度に前記初期値を直前の初期値に対して所定量だけ変化させる手順とを有するものである。
また、本発明の座標生成方法の1構成例として、現生成タイミングにおける前記座標値に入力画像の動きベクトルに応じたオフセット値を加算する手順を有するものである。
【0005】
また、本発明の座標生成回路は、水平方向の拡大縮小処理の場合には水平同期信号が入力される度に座標値を初期値にリセットし、垂直方向の拡大縮小処理の場合には垂直同期信号が入力される度に座標値を初期値にリセットするリセット手段(5)と、入力画素の画素間距離に拡大率または縮小率の逆数を掛けた値を、直前の生成タイミングで生成された座標値に加算して、加算後の値を現生成タイミングにおける座標値とすることを生成タイミング毎に繰り返す座標値生成手段(1,3,4)と、一定数の垂直同期信号が入力される度に前記初期値を直前の初期値に対して所定量だけ変化させる初期値生成手段(2)とを有するものである。
そして、本発明の座標生成回路の1構成例として、入力画像の動きベクトルに応じたオフセット値を生成するオフセット生成手段(10)と、前記座標値生成手段で生成された現生成タイミングにおける前記座標値に前記オフセット値を加算する加算手段(11)とを有するものである。
【0006】
【発明の実施の形態】
[実施の形態の1]
次に、本発明の実施の形態について図面を参照して詳細に説明する。図1は本発明の第1の実施の形態となる座標生成回路の構成を示すブロック図である。
図1に示す座標生成回路は、水平方向の拡大縮小処理用あるいは垂直方向の拡大縮小処理用である。したがって、水平、垂直の両方向の拡大縮小処理を行う場合には、図1に示す座標生成回路が2つ必要となる。
【0007】
なお、本発明の拡大縮小処理は、解像度変換処理と言い換えることができる。すなわち、拡大処理は解像度を上げる処理であり、縮小処理は解像度を下げる処理である。したがって、本発明の拡大縮小処理は、必ずしも画像領域の拡大や縮小を意味しない。
【0008】
本実施の形態の座標生成回路は、入力画素の画素間距離にスケーリング処理の拡大率若しくは縮小率の逆数を掛けた設定値を出力する拡大縮小率設定部1を有している。この拡大縮小率設定部1から出力された設定値は、加算器3の一方の入力に供給される。加算器3の出力は、Dフリップフロップ4を通ってスイッチ5の一方の入力端子に供給される。
【0009】
リセット手段となるスイッチ5の他方の入力端子には、初期値生成部2から出力された初期値が入力される。スイッチ5は、リセット入力端子7から入力される、出力座標値を初期値にリセットするためのリセット信号に従って選択動作を行う。リセット入力端子7には、本座標生成回路が水平方向のスケーリング処理用の回路である場合には水平同期信号がリセット信号として入力され、垂直方向のスケーリング処理用の回路である場合には垂直同期信号がリセット信号として入力される。
【0010】
また、Dフリップフロップ4には、出力座標値の生成タイミングを示すクロック信号がクロック入力端子6から入力される。クロック入力端子6には、本座標生成回路が水平方向のスケーリング処理用の回路である場合にはクロック信号が入力され、垂直方向のスケーリング処理用の回路である場合には水平同期信号がクロック信号として入力される。
【0011】
スイッチ5の出力は、図示しないスケーリング回路への出力座標値として使用される。この座標値は、スケーリング処理によって補間される画素の空間的位置を示す。この座標値の整数部は、水平方向のスケーリング処理の場合には、スケーリング前の入力信号における水平方向の画素のアドレスを示し、垂直方向のスケーリング処理の場合には、ライン数のアドレスを示すことになる。また、座標値の小数部はこれらのアドレスにおける補間される画素の空間的位置を示す。
【0012】
スイッチ5の出力は、スケーリング回路への出力座標値として使用される一方、加算器3の他方の入力に供給される。
こうして、拡大縮小率設定部1、加算器3及びDフリップフロップ4は、座標値生成手段を構成している。座標値生成手段は、直前の生成タイミングで生成された出力座標値に拡大縮小率設定部1からの設定値を加算して、加算後の値を現生成タイミングにおける出力座標値とすることを生成タイミング毎、すなわち本座標生成回路が水平方向のスケーリング処理用の回路である場合には1クロック毎、垂直方向のスケーリング処理用の回路である場合には1水平同期信号毎に繰り返す。
【0013】
初期値生成部2は、0以上入力画素の画素間距離未満(例えば、画素間距離が1であれば、0以上1未満)の初期値を出力する。この初期値生成部2には、水平同期信号HSと垂直同期信号VS、および一定時間間隔で初期値を増減させるための初期値制御信号FCが入力される。初期値生成部2の内部には、水平同期信号HSあるいは垂直同期信号VSの数をカウントする図示しないカウンタが設けられている。初期値制御信号FCには、一定数の垂直同期信号VSがカウントされたときに初期値をどれだけ変化させるかという情報が含まれており、初期値生成部2は、この情報を基に初期値を変更する。
【0014】
ここで、スケーリング回路が映像信号を水平方向に5/3倍に拡大処理する場合について、図2を用いて簡単に説明する。
図2(b)の●印は、スケーリング処理前の入力画素の空間的位置を示している。●印の上の数値は、入力画素のアドレス(水平方向の座標値)を示している。水平同期信号HSが入力された時点のアドレスを0とし、各画素は、0,1,2,3,4,・・・・というアドレスを持つ。
【0015】
図2(c)の△印は、スケーリング処理後の出力画素の空間的位置を示している。●印の上の数値は、出力画素のアドレス(出力座標値)を示している。初期値生成部2から出力された初期値が0の場合、水平同期信号HSがスイッチ5に入力された時点で出力座標値が0にリセットされ、以後1クロック毎に拡大縮小率設定部1から出力される設定値3/5=0.6が出力座標値に加算される。こうして、出力画素のアドレスは、0,0.6,1.2,1.8,2.4,・・・・という値となる。
【0016】
次に、スケーリング回路で行われるスケーリング処理について説明する。ここでは、水平方向のスケーリング処理を例にとって説明する。例えば、線形補間と呼ばれるスケーリング処理において、図3に示す出力座標値Xsの位置に出力画素を生成する場合、座標値xの入力画素のレベルをf(x)、座標値x+1の入力画素のレベルをf(x+1)とすると、求める出力画素のレベルF(Xs)は、次式のように得られる。
F(Xs)=a×f(x+1)+(1−a)×f(x) ・・・(1)
【0017】
aは拡大縮小率に基づいて決定される補間演算の係数である。例えば、図2のように入力画像を5/3倍に拡大処理する場合、出力画素のレベルは式(1)により以下のように決定される。
F(0)=1.0×f(0)
F(0.6)=0.6×f(1)+0.4×f(0)
F(1.2)=0.2×f(2)+0.8×f(1)
F(1.8)=0.8×f(2)+0.2×f(1)
F(2.4)=0.4×f(3)+0.6×f(2)
F(3.0)=1.0×f(3) ・・・(2)
【0018】
以上のようなスケーリング処理において、出力座標値の初期値を常に一定にした場合、細い縦線が横方向にスクロールするような画像や横線が縦方向にスクロールするような画像では、線形補間によって得られる出力画素の位置が入力画素に対して変化するために、線幅が変化して見えるなどの画質の劣化を生じる。
本発明では、スクロール画像に合わせて初期値を変更するため、スケーリング処理によって得られる出力画素の位置及び出力画素のレベルが入力画素に近くなるようにすることが可能となり、スクロールによる画質の劣化を生じることなくスケーリング処理を行うことができる。
【0019】
以下、本実施の形態の座標生成回路の動作について説明する。まず、拡大縮小率設定部1ついて説明する。拡大縮小率設定部1には、拡大処理の場合は入力画素の画素間距離に拡大率の逆数を掛けた値が設定値として設定され、縮小処理の場合は入力画素の画素間距離に縮小率の逆数を掛けた値が設定値として設定される。
【0020】
例えば、入力画素の画素間距離が1で、1.6倍に拡大する場合は、拡大縮小率設定部1に1×1/1.6=0.625が設定値として設定され、入力画素の画素間距離が1で、0.8倍に縮小する場合は、1×1/0.8=1.25が設定値として設定される。この設定値は、スケーリング処理後の出力画素間の空間的距離を表す。
【0021】
拡大縮小率設定部1から出力された設定値は、加算器3の一方の入力に供給される。加算器3の出力は、Dフリップフロップ4を通ってスイッチ5の一方の入力端子に供給される。スイッチ5の出力は、スケーリング回路への出力座標値として使用される一方、加算器3の他方の入力に供給される。
加算器3では、拡大縮小率設定部1から出力された設定値を随時加算していくことにより、スケーリング回路への出力座標値を生成していく。
【0022】
Dフリップフロップ4には、本座標生成回路が水平方向のスケーリング処理用の回路である場合にはクロック信号が入力され、垂直方向のスケーリング処理用の回路である場合には水平同期信号がクロック信号として入力される。
したがって、Dフリップフロップ4は、水平方向のスケーリング処理の場合はクロック信号が入力される度に加算器3の出力を取り込んで、これを出力座標値(水平方向のアドレス)として出力し、垂直方向のスケーリング処理の場合は水平同期信号が入力される度に加算器3の出力を取り込んで、これを出力座標値(垂直方向のアドレス)として出力する。
【0023】
スイッチ5の他方の入力端子には、初期値生成部2から出力された初期値が入力される。スイッチ5は、通常、Dフリップフロップ4の出力を選択しているが、リセット入力端子7からリセット信号が入力された場合には、この初期値を選択して出力する。リセット入力端子7には、本座標生成回路が水平方向のスケーリング処理用の回路である場合には水平同期信号がリセット信号として入力され、垂直方向のスケーリング処理用の回路である場合には垂直同期信号がリセット信号として入力される。したがって、水平方向のスケーリング処理の場合には水平同期信号が入力される度に出力座標値が初期値にリセットされ、垂直方向のスケーリング処理の場合には垂直同期信号が入力される度に出力座標値が初期値にリセットされる。
【0024】
初期値生成部2は、0以上入力画素の画素間距離未満の初期値を出力する。この初期値生成部2には、水平同期信号HSと垂直同期信号VS、および一定時間間隔で初期値を増減させるための初期値制御信号FCが入力される。初期値制御信号FCには、一定数の垂直同期信号VSがカウントされたときに初期値をどれだけ変化させるかという情報が含まれており、初期値生成部2は、この情報を基に初期値を変更する。
【0025】
次に、本実施の形態の座標生成回路の動作を図4〜図7を用いて具体的に説明する。図4において、○印で示す入力画素は、8ビットにA/D変換した場合255の値を持ち、●印で示す入力画素は、同様に8ビットにA/D変換した場合0の値を持つとする。また、○、●印の上の数値は、入力画素のアドレスを示している。図5〜図7において、△印はスケーリング処理後の出力画素を示している。△印の上の数値は出力画素のアドレス(出力座標値)を示している。また、△印の下の数値は、線形補間を行ったときに得られる各出力画素のレベルを示している。なお、△印の下に数値がない出力画素については、255の値を持つ。
【0026】
まず、1フレーム分の入力画像中のある1ラインが図4(a)のようになっているとする。そして、図4(a)に示すラインは、30フレームごとに図4(b)、図4(c)、図4(d)のように画素のレベルが順次変化するものとする。初期値生成部2から出力される初期値の値を0に固定して、図4に示す入力画像に対し5/3倍の拡大処理を行なった場合、図4(a)、図4(b)、図4(c)、図4(d)のラインは、それぞれ図5(a)、図5(b)、図5(c)、図5(d)のように拡大処理される。
【0027】
図4に示したスケーリング処理前の入力画像では、画素レベル0の画像が水平に移動しているだけであるのに対し、図5に示すスケーリング処理後の出力画像では、画素レベルが時間的に変化している。このような映像は、うねりを生じているような映像に見えるため画質の劣化となる。
【0028】
ここで、垂直同期信号が30回入力される度に初期値を所定量(ここでは0.2)だけ増加させるという情報を含む初期値制御信号FCが初期値生成部2に入力されると、出力座標値の初期値は30フレーム毎に0,0.2,0.4,0.6,・・・・というように変化するので、図4(a)、図4(b)、図4(c)、図4(d)のラインは、それぞれ図6(a)、図6(b)、図6(c)、図6(d)のように5/3倍に拡大処理される。図6のようにスケーリング処理された出力画像は、水平方向にスクロールしたように見えるため、図4のように入力画像がスクロールしても画質の劣化は生じない。
【0029】
また、最初の初期値を0.2とし、垂直同期信号が30回入力される度に初期値を0.2だけ増加させるという情報を含む初期値制御信号FCが初期値生成部2に入力されると、出力座標値の初期値は30フレーム毎に0.2,0.4,0.6,0.8,・・・・というように変化するので、図4(a)、図4(b)、図4(c)、図4(d)のラインは、それぞれ図7(a)、図7(b)、図7(c)、図7(d)のように5/3倍に拡大処理される。図7の例では、図4の入力画像により近い高画質な出力画像が得られる。
【0030】
なお、初期値生成部2から出力される初期値は、0以上入力画素の画素間距離未満の値であるから、初期値制御信号FCに従って初期値を増加させた結果、初期値が前記画素間距離以上の値となった場合は、この値から画素間距離を引いた値を新たな初期値とする。
【0031】
[実施の形態の2]
次に、本発明の第2の実施の形態について説明する。本実施の形態においても、その基本的構成は実施の形態の1で説明したとおりであるが、スケーリング回路はリアルタイム処理である必要がない場合もある。すなわち、座標生成回路で予め出力座標値を求めておき、その値をスケーリング回路のレジスタ値として格納することにより、スケーリング処理を行う方法もある。
【0032】
拡大処理の場合は、最大でスケーリング処理後のアドレスの個数分のレジスタを準備しておき、スケーリング処理を行うごとにレジスタの値を更新していけばよい。図5の例では、リセット時のアドレス0に対し、小数部は3.0までで一巡するようなアドレスであり、3.0以降はこの小数部の値を繰り返しているため、5個のレジスタを準備しておけばよいことになる。
このようにあらかじめ計算により出力座標値を決定する場合においても水平同期信号や垂直同期信号をカウントし、一定時間ごとに出力座標値の初期値を変更することにより、実施の形態の1と同様の結果を得ることができる。
【0033】
[実施の形態の3]
図8は本発明の第3の実施の形態となる座標生成回路の構成を示すブロック図であり、図1と同一の構成には同一の符号を付してある。実施の形態の1では、1フレーム分の画像全体がスクロールするような画像に対してのみ効果があったが、本実施の形態では、入力画像の動きベクトルを検出して、この動きベクトルに応じたオフセット値を生成することにより、入力画像の部分的なスクロールに対応可能な座標生成回路を実現している。
【0034】
動きベクトル入力端子9には、図示しない動きベクトル検出回路から入力画像の動きベクトルが入力される。
オフセット生成部10は、動きベクトル入力端子9から動きベクトルが入力されると、この動きベクトルを基に、出力画素の位置及び出力画素のレベルが入力画素に近くなるようにオフセット値を生成する。
【0035】
例えば、30フレームごとに1画素左に移動するような動きベクトルが検出された場合には、この動きベクトルの発生に同期して0.2ずつ増加するオフセット値を生成すればよい。また、30フレームごとに2画素左に移動するような動きベクトルが検出された場合には、この動きベクトルの発生に同期して0.4ずつ増加するオフセット値を生成すればよい。
【0036】
加算器11は、スイッチ5の出力にオフセット値を加算する。こうして、オフセット値が出力座標値に加算され、入力画像の部分的なスクロールに対応することができる。
なお、画像の一部分だけ停止しているようなスクロール画像に対応することもできる。この場合には、全体のスクロールに応じた初期値変更を初期値生成部2で行い、入力画像の停止部分についてのみ初期値変更を相殺するようなオフセット値をオフセット生成部10によって生成すればよい。
【0037】
また、初期値生成部2による初期値変更機能を用いずに、オフセット生成部10と加算器11だけで入力画像のスクロールに対応することも可能である。この場合には、スクロール方向とその動き量に応じたオフセット値をオフセット生成部10で自動的に生成することができる。
【0038】
【発明の効果】
本発明によれば、一定数の垂直同期信号が入力される度に初期値を直前の初期値に対して所定量だけ変化させる手順を有することにより、スクロール映像に合わせてスケーリング処理後の出力画素の座標値の初期値を変化させることが可能であるため、スケーリング処理前の入力画素とスケーリング処理後の出力画素の位相関係を一致させることができ、入力画像がスクロールすることによる画質の劣化を軽減することができる。
【0039】
また、現生成タイミングにおける座標値に入力画像の動きベクトルに応じたオフセット値を加算する手順を有することにより、入力画像の部分的なスクロールに対応することができ、画像の一部分だけ停止しているようなスクロール画像に対応することもできる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態となる座標生成回路の構成を示すブロック図である。
【図2】スケーリング回路によるスケーリング処理の1例を示す図である。
【図3】スケーリング処理について説明するための図である。
【図4】入力画像の1例を示す図である。
【図5】図4の入力画像に対して出力座標値の初期値を固定して拡大処理を行なった場合の出力画像を示す図である。
【図6】図4の入力画像に対して図1の座標生成回路を用いて拡大処理を行なった場合の出力画像の1例を示す図である。
【図7】図4の入力画像に対して図1の座標生成回路を用いて拡大処理を行なった場合の出力画像の他の例を示す図である。
【図8】本発明の第3の実施の形態となる座標生成回路の構成を示すブロック図である。
【符号の説明】
1…拡大縮小率設定部、2…初期値生成部、3…加算器、4…Dフリップフロップ、5…スイッチ、6…クロック入力端子、7…リセット入力端子、8…座標出力端子、9…動きベクトル入力端子、10…オフセット生成部、11…加算器
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a coordinate generating method and a coordinate generating method for generating a coordinate value of a pixel after a scaling process in a scaling circuit for performing a scaling process for increasing the number of output pixels greater than the number of input pixels or a scaling process for reducing the number of output pixels less than the number of input pixels. It relates to a generation circuit.
[0002]
[Prior art]
Conventionally, fixed pixel display devices such as a liquid crystal display and a plasma display (hereinafter, referred to as PDP) have been known. The resolution of a device such as a computer for inputting a video signal to such a fixed pixel display device varies. Therefore, in order to support various input video signals, a scaling circuit for performing a scaling process (resolution conversion process or scaling process) of the input video signal is required.
[0003]
[Problems to be solved by the invention]
2. Description of the Related Art Scaling circuits for enlarging and reducing video signals have become popular, but in recent years it has been required to improve the image quality. In addition, liquid crystal displays and PDPs are often used for displaying guidance at stations and airports, for displaying stock prices, and for displaying computer screens. In these images, fine characters and ruled lines are often scrolled and displayed. In addition, it is considered that the number of images that cannot be displayed on one screen, such as homepages, are displayed with a function of automatically scrolling.
However, in the conventional scaling circuit, since the phase relationship between the input image before the scaling process and the output image after the scaling process is determined independently of scrolling, when the input image scrolls, the phase relationship changes with time. As a result, there is a problem that the image quality is deteriorated.
SUMMARY An advantage of some aspects of the invention is to provide a coordinate generation method and a coordinate generation circuit that can obtain a high-quality output image even when an input image scrolls.
[0004]
[Means for Solving the Problems]
According to the coordinate generation method of the present invention, the coordinate value is reset to an initial value each time the horizontal synchronization signal is input in the case of the horizontal scaling process, and the vertical synchronization signal is reset in the case of the vertical scaling process. The procedure of resetting the coordinate value to the initial value each time it is input, and adding the value obtained by multiplying the inter-pixel distance of the input pixel by the reciprocal of the enlargement ratio or reduction ratio to the coordinate value generated at the immediately preceding generation timing A procedure of repeating the addition value as a coordinate value at the current generation timing at each generation timing, and each time a certain number of vertical synchronization signals are input, the initial value is changed by a predetermined amount with respect to the immediately preceding initial value. And a changing procedure.
Further, as one configuration example of the coordinate generation method of the present invention, the method has a procedure of adding an offset value according to a motion vector of an input image to the coordinate value at the current generation timing.
[0005]
Further, the coordinate generation circuit of the present invention resets the coordinate value to an initial value each time a horizontal synchronization signal is input in the case of horizontal scaling processing, and resets the vertical synchronization in the case of vertical scaling processing. Reset means (5) for resetting coordinate values to initial values each time a signal is input, and a value obtained by multiplying the distance between input pixels by the reciprocal of the enlargement ratio or reduction ratio at the immediately preceding generation timing. Coordinate value generating means (1, 3, 4) that repeats adding to the coordinate value and using the value after the addition as the coordinate value at the current generation timing for each generation timing, and a certain number of vertical synchronization signals are input. An initial value generating means (2) for changing the initial value each time by a predetermined amount from the immediately preceding initial value.
As one configuration example of the coordinate generation circuit of the present invention, an offset generation means (10) for generating an offset value according to a motion vector of the input image, and the coordinates at the current generation timing generated by the coordinate value generation means. Adding means (11) for adding the offset value to the value.
[0006]
BEST MODE FOR CARRYING OUT THE INVENTION
[First Embodiment]
Next, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a coordinate generation circuit according to a first embodiment of the present invention.
The coordinate generation circuit shown in FIG. 1 is for horizontal scaling or vertical scaling. Therefore, when performing the scaling process in both the horizontal and vertical directions, two coordinate generating circuits shown in FIG. 1 are required.
[0007]
Note that the scaling process of the present invention can be rephrased as a resolution conversion process. That is, the enlargement process is a process for increasing the resolution, and the reduction process is a process for decreasing the resolution. Therefore, the enlargement / reduction processing of the present invention does not necessarily mean enlargement or reduction of the image area.
[0008]
The coordinate generation circuit according to the present embodiment includes an enlargement / reduction ratio setting unit 1 that outputs a set value obtained by multiplying the distance between input pixels by the reciprocal of the enlargement ratio or reduction ratio of the scaling process. The set value output from the enlargement / reduction ratio setting unit 1 is supplied to one input of an adder 3. The output of the adder 3 is supplied to one input terminal of a switch 5 through a D flip-flop 4.
[0009]
The initial value output from the initial value generation unit 2 is input to the other input terminal of the switch 5 serving as reset means. The switch 5 performs a selecting operation according to a reset signal input from the reset input terminal 7 for resetting the output coordinate value to an initial value. The reset input terminal 7 receives a horizontal synchronization signal as a reset signal when the present coordinate generation circuit is a circuit for horizontal scaling processing, and a vertical synchronization signal when the present coordinate generation circuit is a circuit for vertical scaling processing. The signal is input as a reset signal.
[0010]
Further, a clock signal indicating the generation timing of the output coordinate value is input to the D flip-flop 4 from the clock input terminal 6. A clock signal is input to the clock input terminal 6 when the coordinate generation circuit is a circuit for horizontal scaling processing, and a horizontal synchronizing signal is supplied to the clock input terminal 6 when the coordinate generation circuit is a circuit for vertical scaling processing. Is entered as
[0011]
The output of the switch 5 is used as an output coordinate value to a scaling circuit (not shown). This coordinate value indicates the spatial position of the pixel to be interpolated by the scaling process. The integer part of this coordinate value indicates the address of the pixel in the horizontal direction in the input signal before scaling in the case of horizontal scaling processing, and indicates the address of the number of lines in the case of vertical scaling processing. become. The decimal part of the coordinate value indicates the spatial position of the pixel to be interpolated at these addresses.
[0012]
The output of the switch 5 is used as an output coordinate value to the scaling circuit, while being supplied to the other input of the adder 3.
Thus, the enlargement / reduction ratio setting unit 1, the adder 3, and the D flip-flop 4 constitute coordinate value generation means. The coordinate value generating means adds the set value from the enlargement / reduction ratio setting unit 1 to the output coordinate value generated at the immediately preceding generation timing, and sets the value after the addition as the output coordinate value at the current generation timing. It repeats every timing, that is, every clock if the present coordinate generation circuit is a circuit for horizontal scaling processing, and every one horizontal synchronization signal if it is a circuit for vertical scaling processing.
[0013]
The initial value generation unit 2 outputs an initial value that is equal to or greater than 0 and less than the pixel-to-pixel distance of the input pixels (for example, 0 to less than 1 when the pixel-to-pixel distance is 1). The initial value generator 2 receives the horizontal synchronizing signal HS, the vertical synchronizing signal VS, and the initial value control signal FC for increasing or decreasing the initial value at regular time intervals. A counter (not shown) for counting the number of the horizontal synchronizing signal HS or the vertical synchronizing signal VS is provided inside the initial value generating unit 2. The initial value control signal FC includes information indicating how much the initial value is changed when a certain number of vertical synchronization signals VS are counted, and the initial value generation unit 2 initializes the initial value based on this information. Change the value.
[0014]
Here, the case where the scaling circuit enlarges the video signal by a factor of 5/3 in the horizontal direction will be briefly described with reference to FIG.
2B in FIG. 2B indicates a spatial position of the input pixel before the scaling processing. The numerical value above the mark indicates the address (horizontal coordinate value) of the input pixel. The address at the time when the horizontal synchronization signal HS is input is set to 0, and each pixel has an address of 0, 1, 2, 3, 4,....
[0015]
2C indicate the spatial position of the output pixel after the scaling process. The numerical value above the mark indicates the address (output coordinate value) of the output pixel. When the initial value output from the initial value generation unit 2 is 0, the output coordinate value is reset to 0 when the horizontal synchronizing signal HS is input to the switch 5, and thereafter, from the enlargement / reduction ratio setting unit 1 every clock. The output set value 3/5 = 0.6 is added to the output coordinate value. Thus, the addresses of the output pixels have values of 0, 0.6, 1.2, 1.8, 2.4,....
[0016]
Next, a scaling process performed by the scaling circuit will be described. Here, the scaling process in the horizontal direction will be described as an example. For example, in a scaling process called linear interpolation, when an output pixel is generated at the position of the output coordinate value Xs shown in FIG. 3, the level of the input pixel of the coordinate value x is f (x), and the level of the input pixel of the coordinate value x + 1 is Is f (x + 1), the level F (Xs) of the output pixel to be obtained is obtained by the following equation.
F (Xs) = a × f (x + 1) + (1−a) × f (x) (1)
[0017]
“a” is a coefficient of the interpolation calculation determined based on the scaling ratio. For example, when the input image is enlarged by a factor of 5/3 as shown in FIG. 2, the level of the output pixel is determined by Expression (1) as follows.
F (0) = 1.0 × f (0)
F (0.6) = 0.6 × f (1) + 0.4 × f (0)
F (1.2) = 0.2 × f (2) + 0.8 × f (1)
F (1.8) = 0.8 × f (2) + 0.2 × f (1)
F (2.4) = 0.4 × f (3) + 0.6 × f (2)
F (3.0) = 1.0 × f (3) (2)
[0018]
In the scaling process described above, if the initial value of the output coordinate value is always constant, an image in which a thin vertical line scrolls horizontally or an image in which a horizontal line scrolls vertically can be obtained by linear interpolation. Since the position of the output pixel changes with respect to the input pixel, the image quality deteriorates such that the line width appears to change.
In the present invention, since the initial value is changed in accordance with the scroll image, it is possible to make the position of the output pixel and the level of the output pixel obtained by the scaling process close to the input pixel. The scaling process can be performed without occurrence.
[0019]
Hereinafter, the operation of the coordinate generation circuit according to the present embodiment will be described. First, the enlargement / reduction ratio setting unit 1 will be described. In the enlargement / reduction ratio setting unit 1, a value obtained by multiplying the reciprocal of the enlargement ratio by the reciprocal of the enlargement ratio is set as the set value in the case of the enlargement process. Is set as a set value.
[0020]
For example, when the distance between the input pixels is 1 and the input pixel is enlarged 1.6 times, 1 × 1 / 1.6 = 0.625 is set as the set value in the enlargement / reduction ratio setting unit 1 and the input pixel When the pixel-to-pixel distance is 1 and is reduced to 0.8 times, 1 × 1 / 0.8 = 1.25 is set as the set value. This set value indicates a spatial distance between output pixels after the scaling processing.
[0021]
The set value output from the enlargement / reduction ratio setting unit 1 is supplied to one input of an adder 3. The output of the adder 3 is supplied to one input terminal of a switch 5 through a D flip-flop 4. The output of the switch 5 is used as an output coordinate value to the scaling circuit, while being supplied to the other input of the adder 3.
The adder 3 generates output coordinate values to the scaling circuit by adding the set values output from the enlargement / reduction ratio setting unit 1 as needed.
[0022]
A clock signal is input to the D flip-flop 4 when the present coordinate generation circuit is a circuit for horizontal scaling processing, and when the coordinate generation circuit is a circuit for vertical scaling processing, the horizontal synchronizing signal is a clock signal. Is entered as
Therefore, in the case of horizontal scaling processing, the D flip-flop 4 takes in the output of the adder 3 every time a clock signal is input, outputs this as an output coordinate value (horizontal address), and outputs the vertical coordinate. In the case of the scaling process, the output of the adder 3 is fetched every time the horizontal synchronizing signal is input, and is output as an output coordinate value (vertical address).
[0023]
The other input terminal of the switch 5 receives the initial value output from the initial value generator 2. The switch 5 normally selects the output of the D flip-flop 4, but when a reset signal is input from the reset input terminal 7, selects and outputs this initial value. The reset input terminal 7 receives a horizontal synchronization signal as a reset signal when the present coordinate generation circuit is a circuit for horizontal scaling processing, and a vertical synchronization signal when the present coordinate generation circuit is a circuit for vertical scaling processing. The signal is input as a reset signal. Therefore, in the case of horizontal scaling processing, the output coordinate value is reset to the initial value each time a horizontal synchronization signal is input, and in the case of vertical scaling processing, the output coordinate value is reset each time a vertical synchronization signal is input. The value is reset to the initial value.
[0024]
The initial value generator 2 outputs an initial value that is equal to or greater than 0 and less than the distance between input pixels. The initial value generator 2 receives the horizontal synchronizing signal HS, the vertical synchronizing signal VS, and the initial value control signal FC for increasing or decreasing the initial value at regular time intervals. The initial value control signal FC includes information indicating how much the initial value is changed when a certain number of vertical synchronization signals VS are counted, and the initial value generation unit 2 initializes the initial value based on this information. Change the value.
[0025]
Next, the operation of the coordinate generation circuit according to the present embodiment will be specifically described with reference to FIGS. In FIG. 4, an input pixel indicated by a circle has a value of 255 when A / D converted to 8 bits, and an input pixel indicated by a circle has a value of 0 when A / D converted to 8 bits. You have. The numerical values above the circles and ● indicate the addresses of the input pixels. In FIG. 5 to FIG. 7, a mark “出力” indicates an output pixel after the scaling process. Numerical values above the crosses indicate the addresses (output coordinate values) of the output pixels. Numerical values below the triangles indicate the level of each output pixel obtained when linear interpolation is performed. Note that an output pixel having no numerical value below the triangle has a value of 255.
[0026]
First, it is assumed that one line in an input image for one frame is as shown in FIG. In the line shown in FIG. 4A, it is assumed that the pixel level sequentially changes as shown in FIGS. 4B, 4C, and 4D every 30 frames. When the value of the initial value output from the initial value generation unit 2 is fixed to 0 and the input image shown in FIG. , FIG. 4 (c), and FIG. 4 (d) are enlarged as shown in FIGS. 5 (a), 5 (b), 5 (c), and 5 (d), respectively.
[0027]
In the input image before the scaling processing shown in FIG. 4, the image at the pixel level 0 only moves horizontally, whereas in the output image after the scaling processing shown in FIG. Is changing. Such an image looks like an image having undulation, so that the image quality is deteriorated.
[0028]
Here, when the initial value control signal FC including information indicating that the initial value is increased by a predetermined amount (here, 0.2) every time the vertical synchronization signal is input 30 times is input to the initial value generation unit 2, Since the initial value of the output coordinate value changes as 0, 0.2, 0.4, 0.6,... Every 30 frames, FIG. 4 (a), FIG. 4 (b), FIG. The lines in (c) and FIG. 4 (d) are enlarged 5/3 times as shown in FIGS. 6 (a), 6 (b), 6 (c) and 6 (d), respectively. Since the output image that has been scaled as shown in FIG. 6 appears to be scrolled in the horizontal direction, the image quality does not deteriorate even if the input image is scrolled as shown in FIG.
[0029]
Further, the initial value is set to 0.2, and the initial value control signal FC including information indicating that the initial value is increased by 0.2 every time the vertical synchronization signal is input 30 times is input to the initial value generation unit 2. Then, the initial value of the output coordinate value changes as 0.2, 0.4, 0.6, 0.8,... Every 30 frames, so that FIG. 4B, 5C, and 4D are 5/3 times as shown in FIGS. 7A, 7B, 7C, and 7D, respectively. It is enlarged. In the example of FIG. 7, a high-quality output image closer to the input image of FIG. 4 is obtained.
[0030]
Since the initial value output from the initial value generation unit 2 is a value that is equal to or greater than 0 and less than the distance between pixels of the input pixel, the initial value is increased according to the initial value control signal FC. If the value is equal to or greater than the distance, a value obtained by subtracting the distance between pixels from this value is set as a new initial value.
[0031]
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In this embodiment, the basic configuration is the same as that described in the first embodiment, but the scaling circuit may not need to perform real-time processing in some cases. That is, there is a method in which an output coordinate value is obtained in advance by a coordinate generation circuit, and the value is stored as a register value of a scaling circuit to perform a scaling process.
[0032]
In the case of the enlarging process, it is sufficient to prepare up to the number of registers corresponding to the number of addresses after the scaling process, and to update the value of the register each time the scaling process is performed. In the example of FIG. 5, with respect to the address 0 at the time of reset, the decimal part is an address that makes a round up to 3.0, and after 3.0, the value of this decimal part is repeated. It is only necessary to prepare
As described above, even when the output coordinate value is determined in advance by calculation, the horizontal synchronization signal and the vertical synchronization signal are counted, and the initial value of the output coordinate value is changed at regular time intervals. The result can be obtained.
[0033]
[Third Embodiment]
FIG. 8 is a block diagram showing a configuration of a coordinate generation circuit according to a third embodiment of the present invention. The same components as those in FIG. 1 are denoted by the same reference numerals. In the first embodiment, the effect is obtained only for an image in which the entire image of one frame is scrolled. However, in the present embodiment, the motion vector of the input image is detected, and the motion vector is detected according to the motion vector. By generating the offset value, a coordinate generation circuit capable of supporting partial scrolling of the input image is realized.
[0034]
The motion vector of the input image is input to the motion vector input terminal 9 from a motion vector detection circuit (not shown).
When a motion vector is input from the motion vector input terminal 9, the offset generation unit 10 generates an offset value based on the motion vector such that the position of the output pixel and the level of the output pixel are close to the input pixel.
[0035]
For example, when a motion vector that moves one pixel to the left every 30 frames is detected, an offset value that increases by 0.2 in synchronization with the generation of this motion vector may be generated. If a motion vector that moves two pixels to the left every 30 frames is detected, an offset value that increases by 0.4 in synchronization with the generation of the motion vector may be generated.
[0036]
The adder 11 adds an offset value to the output of the switch 5. In this way, the offset value is added to the output coordinate value, and it is possible to cope with partial scrolling of the input image.
Note that a scroll image in which only a part of the image is stopped can be used. In this case, the initial value change according to the entire scroll is performed by the initial value generation unit 2, and the offset generation unit 10 only needs to generate an offset value that cancels the change in the initial value only for the stop portion of the input image. .
[0037]
Further, it is also possible to cope with the scroll of the input image only with the offset generating unit 10 and the adder 11 without using the initial value changing function of the initial value generating unit 2. In this case, the offset value according to the scroll direction and the amount of movement can be automatically generated by the offset generation unit 10.
[0038]
【The invention's effect】
According to the present invention, every time a certain number of vertical synchronizing signals are input, by having a procedure of changing the initial value by a predetermined amount with respect to the immediately preceding initial value, the output pixel after the scaling process in accordance with the scroll image It is possible to change the initial value of the coordinate values of, so that the phase relationship between the input pixel before the scaling process and the output pixel after the scaling process can be matched, and the deterioration of the image quality due to the scrolling of the input image can be reduced. Can be reduced.
[0039]
Further, by having a procedure of adding an offset value according to the motion vector of the input image to the coordinate value at the current generation timing, it is possible to cope with partial scrolling of the input image, and only a part of the image is stopped. Such a scroll image can be supported.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a coordinate generation circuit according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a scaling process performed by a scaling circuit.
FIG. 3 is a diagram illustrating a scaling process.
FIG. 4 is a diagram illustrating an example of an input image.
5 is a diagram showing an output image when an enlargement process is performed on the input image of FIG. 4 while fixing an initial value of an output coordinate value.
6 is a diagram illustrating an example of an output image when an enlargement process is performed on the input image of FIG. 4 using the coordinate generation circuit of FIG. 1;
7 is a diagram illustrating another example of an output image in a case where an enlargement process is performed on the input image of FIG. 4 using the coordinate generation circuit of FIG. 1;
FIG. 8 is a block diagram illustrating a configuration of a coordinate generation circuit according to a third embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Enlargement / reduction rate setting part, 2 ... Initial value generation part, 3 ... Adder, 4 ... D flip-flop, 5 ... Switch, 6 ... Clock input terminal, 7 ... Reset input terminal, 8 ... Coordinate output terminal, 9 ... Motion vector input terminal, 10 ... offset generator, 11 ... adder

Claims (4)

出力画素数を入力画素数より増やす拡大処理または出力画素数を入力画素数より減らす縮小処理を行うスケーリング回路において、拡大縮小処理後の画素の座標値を生成する座標生成方法であって、
水平方向の拡大縮小処理の場合には水平同期信号が入力される度に前記座標値を初期値にリセットし、垂直方向の拡大縮小処理の場合には垂直同期信号が入力される度に前記座標値を初期値にリセットする手順と、
前記入力画素の画素間距離に拡大率または縮小率の逆数を掛けた値を、直前の生成タイミングで生成された前記座標値に加算して、加算後の値を現生成タイミングにおける前記座標値とすることを生成タイミング毎に繰り返す手順と、
一定数の垂直同期信号が入力される度に前記初期値を直前の初期値に対して所定量だけ変化させる手順とを有することを特徴とする座標生成方法。
In a scaling circuit for performing an enlargement process for increasing the number of output pixels from the number of input pixels or a reduction process for reducing the number of output pixels from the number of input pixels, a coordinate generation method for generating a coordinate value of a pixel after the enlargement / reduction process
In the case of horizontal scaling, the coordinate value is reset to an initial value each time a horizontal synchronization signal is input. In the case of vertical scaling, the coordinate value is reset each time a vertical synchronization signal is input. Steps to reset the values to their initial values,
A value obtained by multiplying the inter-pixel distance of the input pixel by the reciprocal of the enlargement ratio or the reduction ratio is added to the coordinate value generated at the immediately preceding generation timing, and the value after the addition is the coordinate value at the current generation timing. Steps to be repeated at each generation timing,
Changing the initial value by a predetermined amount from the immediately preceding initial value each time a certain number of vertical synchronization signals are input.
請求項1記載の座標生成方法において、
現生成タイミングにおける前記座標値に入力画像の動きベクトルに応じたオフセット値を加算する手順を有することを特徴とする座標生成方法。
The coordinate generation method according to claim 1,
A coordinate generation method comprising a step of adding an offset value according to a motion vector of an input image to the coordinate value at the current generation timing.
出力画素数を入力画素数より増やす拡大処理または出力画素数を入力画素数より減らす縮小処理を行うスケーリング回路において、拡大縮小処理後の画素の座標値を生成する座標生成回路であって、
水平方向の拡大縮小処理の場合には水平同期信号が入力される度に前記座標値を初期値にリセットし、垂直方向の拡大縮小処理の場合には垂直同期信号が入力される度に前記座標値を初期値にリセットするリセット手段と、
前記入力画素の画素間距離に拡大率または縮小率の逆数を掛けた値を、直前の生成タイミングで生成された前記座標値に加算して、加算後の値を現生成タイミングにおける前記座標値とすることを生成タイミング毎に繰り返す座標値生成手段と、
一定数の垂直同期信号が入力される度に前記初期値を直前の初期値に対して所定量だけ変化させる初期値生成手段とを有することを特徴とする座標生成回路。
In a scaling circuit that performs an enlargement process of increasing the number of output pixels from the number of input pixels or a reduction process of reducing the number of output pixels from the number of input pixels, a coordinate generation circuit that generates a coordinate value of the pixel after the enlargement / reduction process,
In the case of horizontal scaling, the coordinate value is reset to an initial value each time a horizontal synchronization signal is input. In the case of vertical scaling, the coordinate value is reset each time a vertical synchronization signal is input. Reset means for resetting the value to an initial value;
A value obtained by multiplying the inter-pixel distance of the input pixel by the reciprocal of the enlargement ratio or the reduction ratio is added to the coordinate value generated at the immediately preceding generation timing, and the value after the addition is the coordinate value at the current generation timing. Value generation means for repeating the operation for each generation timing,
An initial value generating means for changing the initial value by a predetermined amount from the immediately preceding initial value every time a certain number of vertical synchronizing signals are input.
請求項3記載の座標生成回路において、
入力画像の動きベクトルに応じたオフセット値を生成するオフセット生成手段と、
前記座標値生成手段で生成された現生成タイミングにおける前記座標値に前記オフセット値を加算する加算手段とを有することを特徴とする座標生成回路。
4. The coordinate generating circuit according to claim 3,
Offset generating means for generating an offset value according to the motion vector of the input image,
A coordinate generating circuit comprising: an adding unit that adds the offset value to the coordinate value at the current generation timing generated by the coordinate value generating unit.
JP31494199A 1999-11-05 1999-11-05 Coordinate generation method and coordinate generation circuit Expired - Fee Related JP3582426B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31494199A JP3582426B2 (en) 1999-11-05 1999-11-05 Coordinate generation method and coordinate generation circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31494199A JP3582426B2 (en) 1999-11-05 1999-11-05 Coordinate generation method and coordinate generation circuit

Publications (2)

Publication Number Publication Date
JP2001134227A JP2001134227A (en) 2001-05-18
JP3582426B2 true JP3582426B2 (en) 2004-10-27

Family

ID=18059506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31494199A Expired - Fee Related JP3582426B2 (en) 1999-11-05 1999-11-05 Coordinate generation method and coordinate generation circuit

Country Status (1)

Country Link
JP (1) JP3582426B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3685179B2 (en) 2003-02-20 2005-08-17 ソニー株式会社 Image signal processing apparatus and processing method, and image display apparatus using the same

Also Published As

Publication number Publication date
JP2001134227A (en) 2001-05-18

Similar Documents

Publication Publication Date Title
KR100320483B1 (en) Display circuit
JP2000075854A (en) Image processor and display device using the same
JP2008107753A (en) Image display device and method, and image processing device and method
JP2002091408A (en) Device and method for scanning image within narrow horizontal frequency range irrespective of frequency at which image is received
US7050077B2 (en) Resolution conversion device and method, and information processing apparatus
JPH1011009A (en) Processor for video signal and display device using the same
JP2001175218A (en) Picture display device
JP2000338947A (en) Image display control device and burn-in prevention method used therefor and storage medium storing its control program
KR20060099376A (en) Display controller enabling superposed display
JP3582426B2 (en) Coordinate generation method and coordinate generation circuit
JP2008109625A (en) Image display apparatus and method, image processor, and method
JP5140942B2 (en) Image processing apparatus and image processing method
JP2008116812A (en) Display apparatus, projector, and display method
JP3765279B2 (en) Image display method and image display apparatus
JP3354725B2 (en) Display device
JPH10161806A (en) Mouse cursor control unit
JP2004129212A (en) Image projection device and image transformation method
JPH11231854A (en) Method and device for image display
JP3056112B2 (en) LCD display control method
JPH0689336A (en) Image data enlarging and displaying method
JP2010178321A (en) Motion vector interpolating method and motion vector interpolating apparatus
JP2594906B2 (en) Line type generation circuit in graphic processing equipment
JP3629981B2 (en) Filter arithmetic unit
JPH07134576A (en) Image enlarging device
JP2004120594A (en) Geometric transformation apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040719

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100806

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees