JP3546942B2 - Tvモニタ上の文字画像の補助表示方法とその装置 - Google Patents

Tvモニタ上の文字画像の補助表示方法とその装置 Download PDF

Info

Publication number
JP3546942B2
JP3546942B2 JP15184499A JP15184499A JP3546942B2 JP 3546942 B2 JP3546942 B2 JP 3546942B2 JP 15184499 A JP15184499 A JP 15184499A JP 15184499 A JP15184499 A JP 15184499A JP 3546942 B2 JP3546942 B2 JP 3546942B2
Authority
JP
Japan
Prior art keywords
character image
window frame
character
auxiliary display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15184499A
Other languages
English (en)
Other versions
JP2000341623A (ja
Inventor
再魁 徐
健司 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP15184499A priority Critical patent/JP3546942B2/ja
Publication of JP2000341623A publication Critical patent/JP2000341623A/ja
Application granted granted Critical
Publication of JP3546942B2 publication Critical patent/JP3546942B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、VTR再生映像などの鑑賞中におけるTV放送映像などの他の映像情報を表示する補助表示システムに関し、特にTVモニタ上の文字画面の補助表示方法と装置に関する。
【0002】
【従来の技術】
従来、VTR再生映像などの鑑賞中に、TV受信映像などの他の映像に重畳されている文字画像を知るためには、主画面上に他の映像を小さく重ねて表示するピクチャーインピクチャーなどの技術が用いられていた。
【0003】
例えば特開平03−132693号公報には、第1映像画面(主画面)の一部に第2映像画面(副画面)が重畳されている画面に対し、マウス点などを移動させて第2映像画面の拡大縮小をなどの調整を行う技術が記載されている。
【0004】
また、特開平6−6771号公報によると入力した文字放送画像をカーソル指定して当該文字部分の文字データを記憶し、他の表示装置の表示データに変換し、該他の表示装置に転送する文字放送受信装置を開示している。
【0005】
【発明が解決しようとする課題】
第1の問題点は、主画面上に副画面を重畳させたり、さらには副画面を拡大することにより、主画面の観賞が妨げられる。
【0006】
第2の問題点は、主画面としても、副画面としても、画面全体に対して文字画像が小さかったり、画面上の文字画像と背景との色の差が少ない場合に、文字の内容が読みとりにくい場合がある。
【0007】
また、特開平6−6771号公報では一々文字画像をカーソル指定して文字放送データを抽出して蓄積し、他の表示装置の表示データに変換しなければならないという問題がある。
【0008】
【課題を解決するための手段】
本発明のTVモニタ上の文字画像補助表示方法は、TV映像上に重畳される文字画像をVTR装置本体に備えられる表示器に表示するもので、受信した放送映像に含まれる文字画像を読み出して画像データ化する文字画像データ化ステップと、前記画像データを前記TVモニタとは異なる表示装置に転送して文字画像を表示するステップを有する。
【0009】
また、前記文字画像の画像データ化ステップが、文字画像の補助表示の範囲を限定する窓枠をTVモニタ画面内に設定する窓枠設定ステップと、窓枠内の文字画像をA/D変換して、その各データを二値化する二値化ステップとを含み、前記窓枠設定ステップがTVモニタ画面上に予め決められた位置を選択的に設定可能であり、さらに、前記二値化ステップが窓枠毎に選択的に指定した閾値を基準とした画素毎に三原色RGB値をそれぞれの閾値と比較して三値が全て満たされたとき「1」とする二値化を行い、前記二値化ステップにおいて、前記窓枠を所定の位置毎に移動し、かつ随時任意の位置において閾値を変換し、画素毎に三原色のRG値によって二値化が行われることが好ましい実施態様である。
【0010】
また、本発明のTVモニタ上の文字画像の補助表示装置は、受信した放送映像に含まれる文字画像を読み出して画像データ化する文字画像データ化手段と前記画像データを前記TVモニタとは異なる表示装置に転送して文字画像を表示する手段を有する。
【0011】
また、前記文字画像の画像データ化が、文字画像処理の範囲を限定する窓枠をTVモニタ画面内に設定する窓枠設定手段と、該窓枠内の文字画像をA/D変換して、その各データを二値化する二値化手段とを含み、前記窓枠設定手段がTVモニタ画面上に予め決められた位置を選択的に設定可能で、前記二値化手段が窓枠毎に選択的に指定した閾値を基準として画素毎に三原色RGB別に二値化し、前記二値化手段において、前記窓枠を所定の位置毎に一定の時間間隔で移動し、かつ随時任意の位置において閾値を変換し、画素毎に三原色のRG別に二値化が行われるものが好ましい実施態様である。
【0012】
【発明の実施の形態】
次に、本発明の実施の形態に付いて図面を参照して説明する。
【0013】
一般に、TV番組、あるいはVTR映像画面上に、文字画像の位置は殆ど固定されている。生放送中の野球スコア、ニュースの見出し、または映画のオンスクリーンに表示された字幕などはそれらの例である。それにより、本発明において、文字画像の引き出し操作が容易になる。
【0014】
以下、上記の状態に基づいて、本発明の実施例について図1〜図6を参照して説明する。図1は本発明のTVモニタ上の文字画面の補助表示方法が適用された装置の第1の実施の形態のブロック図である。
【0015】
本第1の実施の形態では、文字画像の補助常時装置1はアンテナ2を通じて放送映像を受信し、スイッチ12と、AD変換器16へ出力する選局部11を有している。選局部11は、制御部15からの選局信号によって受信チャンネルの選択を行う。
【0016】
スイッチ12は、選局部11とVTR再生装置10のどちらかに接続され、選択範囲表示部13へ出力する。通常、VTR再生時には、スイッチ12はVTR再生装置10に接続される。VTR再生動作中止の際には、または、操作手段14の位置ボタンが押される時には、制御部15からの切替信号を受けて、スイッチ12は選局部11に接続される。それによって、TV放送映像がディスプレー3に表示される。
【0017】
選択範囲表示部13は、スイッチ12とディスプレー3との間に設けられ、通常、スイッチ12からの映像信号をディスプレー3へそのまま通過させる。制御部15から窓枠データを作成する要求信号を受け付けると、画像選択用の窓枠データを生成し、映像信号と合成してディスプレー3に送る。
【0018】
操作部14は、位置ボタン、決定ボタン、閾値ボタンとチャンネル選択ボタンを有し、各ボタンを使用者が操作することによって制御部15にそれぞれの指令信号を送る。これにより、画像表示位置の選択、データを二値変換するための閾値の設定、受信チャンネルの変更などを行う。本発明では、ボタンに限らず、ジョイスティックを用いても同様に実施できる。
【0019】
制御部15はマイクロコンピュータ(以下マイコンと称す)であり、操作部14を通じて使用者からの操作を受け付けると共に、各部に対する制御処理を行う。また、制御部15には、二値化変換処理27が含まれている。
【0020】
AD変換器16は、選局部11からのアナログ映像信号をリアルタイムでデジタルYUV信号、あるいはデジタルRGB信号に変換し、記憶装置17へ供給する。
【0021】
記憶装置17は、AD変換器16からの1画面分のディジタル映像データを連続的に記憶する。さらに、選択した画像の位置および範囲の情報に応じて、制御手段15の二値化変換処理27によって、画像範囲内のデータのみが引き出される。
【0022】
二値化変換処理27は、制御部15で設定した閾値により、画像の画素データを二値“1”、“0”に変換して、VTR本体表示器18へ転送する。
【0023】
VTR本体表示器18は、VTRの状態や、カウンタや受信チャンネル番号を表示し、また二値化変換処理27から入力された画像二値化データを表示するドットマトリックス方式の蛍光表示管または液晶表示管である。
【0024】
次に、第1の実施の形態の動作について図2、3,4を追加して説明する。図2は、本実施例の制御部15における処理のフローチャートである。
【0025】
VTR機能における再生動作中(ステップA01)、制御部15は使用者によって操作部14の位置ボタンが一回目に押されたことを検出すると(ステップA02)、スイッチ12に切り替え信号を送ってスイッチ12を切替させ(ステップA03)、選局部11と選択範囲表示部13とを接続する。
【0026】
次に、選択範囲表示部13に窓枠生成信号を発して画像選択用の初期位置に窓枠データを作成し(ステップA04)、それを映像信号と合成させる。これによりディスプレー3には、受信したTV映像の上に窓枠の画像を重ねて映し出すことができる。具体的な合成方法としては、例えばテレビ受像機などのオンスクリーンディスプレー機能で用いられている技術を応用すれば良い。
【0027】
本実施の形態では、窓枠のサイズ(窓枠内画素数)をVTR本体表示器18の表示可能範囲(表示ドット数)と同一に設定し、位置ボタンを押す毎に窓枠の表示位置を変更する機能により、選択して窓枠の位置を設定する(ステップA05、A06)。
【0028】
図3を参照すると、画面上に窓枠の初期位置はT1の所である。制御部15は二回目または二回以上位置ボタンが押されたことを検出すると、ディスプレー3に表示している窓枠の位置をT1、T2、…、T9と順に移動させる。
【0029】
続いて、閾値ボタンが押される(ステップA07)ことにより、制御部15は二値化変換処理27で用いる閾値を選択する(ステップA08)。
【0030】
本第1の実施の形態では、AD変換器16で変換されるディジタル映像データがRGB形式の場合における、閾値の設定方法について説明する。
【0031】
RGB形式のディジタル映像データは、一般に一画素あたり、R(赤)、G(緑)、B(青)の3原色がそれぞれ8ビット(00h〜FFh)の組み合わせで示され、TV映像などの自然画像を表現することができる。
【0032】
例えば、赤の明度が一番大きい色である場合、RGB形式では、R=FFh、G=00h、B=00h、と表される。但し実際には、選局手段11でのアナログノイズ混入やAD変換手段16におけるディジタル変換誤差により、必ずしも上記の値に一定とはならず、ある範囲内での幅を有する。
【0033】
従って、本発明において、上記の赤色を二値化変換処理27により、赤色を“1”、その他の色を“0”と変換しようとするならば、その閾値は、R=C0h、G=20h、B=20hなどと設定するのが望ましい。
【0034】
すなわち、R≧C0h、G≦20h、B≦20hの条件を満足する色成分を持った画素と、上記条件から外れている画素とを判別することにより、RGB形式のディジタル映像データから二値データへの変換処理を実現することができる。
【0035】
本第1の実施の形態では、上記の赤色の他に、TV映像上に重ねられている代表的な文字色に対してそれぞれ固定の閾値を予め用意してあり、閾値ボタンが押される毎に固定閾値を順に切り替えるようになっている(ステップA07、A08)。図4に、本実施例における固定閾値表を示す。
【0036】
一方、記憶装置17には、ディスプレー3に表示されている選局部11からのTV映像信号を同一の映像データ1画面分が、AD変換手段16を通じて連続的に入力され、保存されている。制御手段15は、窓枠画像の範囲と、位置ボタンにより決定された窓枠画像の位置の情報を元に、記憶装置17に保存されている1画面分の映像データから、窓枠の範囲内の画像データを引き出して、二値化変換処理27に渡す(ステップA09)。二値化変換処理27では、渡された窓枠内画像データに対して、選択された閾値に基づき、一画素毎に二値データへの変換処理を行う(ステップA10)。
【0037】
二値データへの変換処理は、前述の通り、選択されている閾値により定める条件を満たしていればビットを“1”に、満たさなければビットを“0”に指定することで実現できる。より具体的には、図5に示すように、選択された閾値がR=C0h、G=20h、B=20hであった場合、画素aはGとBの要素で条件を満たしていないのでビット“0”、画素bもR要素において満たされないためにビット“0”、画素c、画素dにおいては、すべての要素に対して条件を満たしているためにビット“1”と変換される。
【0038】
すべての画素の変換処理が完了すると、二値データをVTR本体表示器18に転送する(ステップA11)。VTR本体表示器18では、転送される二値データの各ビットに対して、ビット“1”ならば表示ドットは点灯、ビット“0”ならば表示、ドットは消灯といった表示処理(ステップA12)を行う。
【0039】
本第1の実施の形態では、窓枠内画素数=表示ドット数としているため、二値データに変換した全ビットの転送および表示処理が完了すると、VTR本体表示18には、ディスプレー3上に表示されている窓枠内の画像に対する二値化画像が表示される。
【0040】
使用者はVTR本体表示器18の表示状態を見ながら、窓枠内の文字画像が鮮明に表示されるように(図6に参照)、閾値ボタンによって最適な閾値を選択することができる。
【0041】
最適な閾値が選択され、使用者によって決定ボタンが押されたことを検出すると(ステップA13)、制御部15は選択範囲表示部13への窓枠生成信号を解除し、ディスプレー3上の窓枠表示を消去し(ステップA14)、同時にスイッチ12をVTR再生装置10側に戻す(ステップA15)。
【0042】
続いて制御部15は、閾値選択時に行った、記憶装置17から窓枠内のRGBデータの取得(ステップA16)、二値化変換処理(ステップA17)、VTR本体表示器18への二値データ転送(ステップA18)、VTR本体表示器18で表示ドットの点灯処理(ステップA19)という画素毎に窓枠内全体に亙った一連の処理を、ある一定間隔で繰り返す。
【0043】
繰り返しの間隔は、制御部15における他の処理の妨げにならない程度の短い間隔から、TV放送における文字画像の更新間隔までの間で、適当に設定するとよい。本第1の実施の形態では、この間隔を1秒と設定している(ステップA20)。この繰り返し処理により、VTR本体表示器18には、TV映像上で更新される文字画像を連続的に表示することができる。
【0044】
次に、本発明の第2実施の形態について図7を参照して詳細に説明する。
図7に示す第2の実施の形態の文字画像の補助表示装置101は、制御部15に閾値取得処理28が設けられている。
【0045】
制御手段15は、閾値ボタンが押されたことを検出すると、選択範囲表示部13に閾値取得点生成信号を発して、窓枠範囲内の初期位置に閾値取得点を表示する。この閾値取得点は、図8に示すように、閾値ボタンを押す毎に窓枠内の定められた位置を一定間隔で移動する。これにより使用者は、閾値取得点の表示位置を確認しながら、目的の文字画像上に移動させることができる。移動の間隔は、より短いことが望ましいが、表示窓枠の大きさや閾値ボタンを含む操作手段14の構造などに基づいて適当な値に決定すればよい。
【0046】
第1の実施の形態で説明したように、このとき窓枠内の映像信号は、AD変換器16によってRGB形式のディジタルデータに変換され、記憶装置17に保存される。制御部15は、窓枠画像の範囲、窓枠画像の位置、さらには閾値取得点の位置の情報を元に、記憶装置17から閾値取得点と同一位置の一画素の色データを取り出し、閾値取得処理28に渡す。前述したように、使用者によって閾値取得点が文字画像上に移動しているならば、取得した画素の色データは文字画像の色に一致する。
【0047】
閾値取得処理28は、取得した閾値取得点の色データに対して、二値化変換処理27で使用する閾値条件を設定する。すなわち、選択部11でのアナログノイズ混入やAD変換器16におけるディジタル変換誤差を吸収するため、閾値取得点の色データ(=文字色)の値を中心に、適当な幅を設ける。閾値取得点の色データが、R=Roh、G=Goh、B=Bohである場合、閾値条件は、例えば(Ro−10)h≦R≦(Ro+10)h
(Go−10)h≦G≦(Go+10)h
(Bo−10)h≦B≦(Bo+10)h
と設定する。
【0048】
二値化変換処理27では、この閾値条件に基づいて、窓枠内の画素データの二値化変換処理を行う。これにより、固定閾値では設定しにくい中間色などの文字画像に対しても、容易に二値化変換処理を行うことができる。また、文字色と背景色との差が少ない場合においても、より正確に二値化判定できる点で有効である。
【0049】
本発明の第2実施の形態は、第1の実施の形態の効果に加えて、第1の実施の形態で用いた固定閾値にあてはまらない文字色や、背景色との色の差が少なく識別しにくい文字画像に対しても、より正確な二値化変換処理を行うことができるという効果も有する。
【0050】
【発明の効果】
第1の効果は、VTR再生映像などの鑑賞を一切妨害することなく、TV受信映像に重畳されている文字画像を読みとることができる。
【0051】
その理由は、TV受信映像に重畳されている文字画像のみを、VTR装置の本体に備えられている表示器に転送表示するためである。
【0052】
第2の効果は、文字画像の色と背景色との差が少ない場合においても、本体表示器上で明確にされて容易に識別できるということである。
【0053】
その理由は、二値化処理で用いる閾値に、文字画像の色情報をそのまま取得して適用するためである。
【図面の簡単な説明】
【図1】本発明の文字画像補助表示装置の第1の実施の形態を示すブロック構成図である。
【図2】図1に示す第1実施の形態のマイコン制御における処理のフローチャートである。
【図3】第1の実施の形態のTV受信映像画面上における文字画像の選択窓枠の位置と表示順序を示す直視図である。
【図4】本発明の第1の実施の形態において、3原色と、白黒色のRGB値と固定閾値一覧を示す図である。
【図5】本発明の第1の実施の形態において、赤色閾値を用いて、4画素の二値化変換結果の例を示す図である。
【図6】本発明の第1の実施の形態において、TV画面上の窓枠内の文字画像をVTR本体表示器で表示することを示すイメージ図である。
【図7】本発明の文字画像補助表示装置の第2の実施の形態を示すブロック構成図である。
【図8】本発明の第2の実施の形態において、TV画面上の窓枠内に閾値取得点の位置を示す直視図である。
【符号の説明】
1、101 文字画像補助表示装置
2 アンテナ
3 ディスプレー
10 VTR再生装置
11 選局部
12 スイッチ
13 選択範囲表示部
14 操作部
15、15 制御部
16 AD変換器
17 記憶装置
18 VTR本体表示器
20 選択範囲処理
21 操作処理
22 VTR再生処理
23 VTR表示処理
24 スイッチ切替処理
25 選局処理
26 データの引出処理
27 二値化変換処理
28 閾値の取得処理

Claims (10)

  1. TVモニタ上の文字画像の補助表示方法において、
    受信した放送映像に含まれる文字画像を読み出して画像データ化する文字画像データ化ステップと、
    前記画像データを前記TVモニタとは異なる表示装置に転送して文字画像を表示するステップを有することを特徴とする文字画像の補助表示方法。
  2. 前記文字画像の画像データ化ステップが、
    文字画像読み出しの範囲を限定する窓枠をTVモニタ画面内に設定する窓枠設定ステップと、
    該窓枠内の文字画像をA/D変換して、その各画素データを二値化する二値化ステップとを含む請求項1記載の、文字画像の補助表示方法。
  3. 前記窓枠設定ステップがTVモニタ画面上に予め決められた位置を選択的に設定可能な請求項2記載の文字画像の補助表示方法。
  4. 前記二値化ステップが窓枠毎に選択的に指定した閾値を基準とした画素毎に三原色RGB値によって二値化する請求項2記載の文字画像の補助表示方法。
  5. 前記二値化ステップにおいて、前記窓枠を所定の位置毎に移動し、かつ随時任意の位置において閾値を変換し、画素毎に三原色のRGB値によって二値化が行なわれる請求項2記載の文字画像の補助表示方法。
  6. TVモニタ上の文字画像の補助表示装置において、
    受信した放送映像に含まれる文字画像を読み出して画像データ化する文字画像データ化手段と、
    前記画像データを前記TVモニタとは異なる表示装置に転送して文字画像を表示する手段を有することを特徴とする文字画像の補助表示装置。
  7. 前記文字画像の画像データ化が、文字画像読み出しの範囲を限定する窓枠をTVモニタ画面内に設定する窓枠設定手段と、該窓枠内の文字画像をA/D変換して、その各データを二値化する二値化手段とを含む請求項6記載の文字画像の補助表示装置。
  8. 前記窓枠設定手段がTVモニタ画面上に予め決められた位置を選択的に設定可能な請求項7記載のTVモニタ上の文字画面の補助表示装置。
  9. 前記二値化手段が窓枠毎に選択的に指定した閾値を基準として画素毎に三原色RGB値によって二値化する請求項7記載の文字画像の補助表示装置。
  10. 前記二値化手段において、前記窓枠を所定の位置毎に移動し、かつ随時任意の位置において閾値を変換し、画素毎に三原色のRGBに値二値化が行なわれる請求項7記載の文字画像の補助表示装置。
JP15184499A 1999-05-31 1999-05-31 Tvモニタ上の文字画像の補助表示方法とその装置 Expired - Fee Related JP3546942B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15184499A JP3546942B2 (ja) 1999-05-31 1999-05-31 Tvモニタ上の文字画像の補助表示方法とその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15184499A JP3546942B2 (ja) 1999-05-31 1999-05-31 Tvモニタ上の文字画像の補助表示方法とその装置

Publications (2)

Publication Number Publication Date
JP2000341623A JP2000341623A (ja) 2000-12-08
JP3546942B2 true JP3546942B2 (ja) 2004-07-28

Family

ID=15527525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15184499A Expired - Fee Related JP3546942B2 (ja) 1999-05-31 1999-05-31 Tvモニタ上の文字画像の補助表示方法とその装置

Country Status (1)

Country Link
JP (1) JP3546942B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040008329A (ko) * 2002-07-18 2004-01-31 엘지전자 주식회사 사용자의 요청에 따라 특정 데이터를 표시할 수 있는텔레비젼 수신기 및 그 방법
GB2491634A (en) * 2011-06-10 2012-12-12 Ant Software Ltd Displaying Interactive Content from a Received Video Stream on a Second Screen
JP5254411B2 (ja) * 2011-08-31 2013-08-07 株式会社東芝 受信装置、受信方法及び外部装置連携システム

Also Published As

Publication number Publication date
JP2000341623A (ja) 2000-12-08

Similar Documents

Publication Publication Date Title
EP0656727B1 (en) Teletext receiver
JP3962482B2 (ja) 混合ビデオ映像信号発生装置
US6335763B1 (en) Television receiver and additional information transmitting method
KR100567852B1 (ko) 애스팩트비판별장치및동장치를포함하는영상표시장치
US7428018B2 (en) Apparatus and method for adjusting screen
US6563546B2 (en) High definition display unit and high definition display method
US7522218B2 (en) Display device and method for controlling the same
US20030126602A1 (en) Method for selecting channel in digital television
AU2005201485A1 (en) Apparatus for generating on-screen display in digital TV
US5680176A (en) Apparatus for controlling caption display on a wide aspect ratio
JP3546942B2 (ja) Tvモニタ上の文字画像の補助表示方法とその装置
KR100329273B1 (ko) 티브이 화면 출력 방법 및 그 장치
JPH07322164A (ja) テレビジョン受信装置
KR100247086B1 (ko) 다중화면분할방식에 의한 영상신호의 콘트라스트제어장치
KR20000028048A (ko) 티 브이의 화면 조정장치 및 그 방법
JPH08140065A (ja) 文字放送受信装置
KR970009458B1 (ko) 단일 튜너를 가지는 영상신호 처리장치의 자 화면 표시방법 및 장치
KR100499505B1 (ko) 디지털 tv에서의 포맷 변환 장치
KR100404218B1 (ko) 디지털 티브이의 영상 출력 장치
KR100697467B1 (ko) 모자이크 처리를 위한 텔레비젼 수상기 및 방법
KR100274212B1 (ko) 가상채널의 적응적 동화상 디스플레이가 가능한 atv시스템 및 그 채널선택방법
KR100595259B1 (ko) 색채 학습 가능한 영상 기기 및 그를 이용한 색채 학습 방법
KR100519342B1 (ko) 텔레비전 시스템의 다중 지점 변환 장치 및 방법
US8472780B2 (en) Television and method for controlling the same
JP2000175116A (ja) テレビジョン受像機

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040406

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080423

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees