JP4241912B2 - テレビジョンカメラ装置 - Google Patents

テレビジョンカメラ装置 Download PDF

Info

Publication number
JP4241912B2
JP4241912B2 JP2003055448A JP2003055448A JP4241912B2 JP 4241912 B2 JP4241912 B2 JP 4241912B2 JP 2003055448 A JP2003055448 A JP 2003055448A JP 2003055448 A JP2003055448 A JP 2003055448A JP 4241912 B2 JP4241912 B2 JP 4241912B2
Authority
JP
Japan
Prior art keywords
time
television camera
sunrise
sunset
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003055448A
Other languages
English (en)
Other versions
JP2004266605A (ja
Inventor
和広 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2003055448A priority Critical patent/JP4241912B2/ja
Publication of JP2004266605A publication Critical patent/JP2004266605A/ja
Application granted granted Critical
Publication of JP4241912B2 publication Critical patent/JP4241912B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、テレビジョンカメラ装置に関し、特に、屋外に設置するカメラのカラー映像と近赤外白黒映像とを切り替えて撮像するテレビジョンカメラ装置に関するものである。
【0002】
【従来の技術】
カラーテレビジョンカメラに用いるCCD等の撮像素子の感度特性は、通常400nm〜900nm位の波長領域であるが、撮像した画像の色再現性を人が見て、自然な画面となるように赤外カットフィルタを撮像素子の受光面の前面に配置し、近赤外領域の約700nm以上の波長成分を除去している。
【0003】
そのため、例えば、日中の明るく、可視光領域の400nm〜700nmの波長成分が多い時には良好なカラー画像が得られるし、また、このようなカラーテレビジョンカメラを監視用カメラに用いた場合、監視し易いカラー映像が得られる。しかし、雨の日や夕方の薄暗くなった時及び夜間等は、可視光成分が減少し、カラー画像が見づらくなるし、また、監視のための侵入者等の監視がしづらくなるという問題が発生する。
【0004】
また、自動利得制御(以下、AGCと略称する)による感度向上や、フレームメモリを用いた画像蓄積による感度向上を行なう場合もある。しかし、AGCによる感度向上の場合には、S/N比の低下という短所がある。また画像蓄積動作による感度向上をするためには、画像蓄積期間を長くする必要がある。しかし、画像蓄積期間を長くすると動きの速い被写体を撮像したときにブレが生じてしまうという短所がある。従って、画像の品質を保つためには、むやみにAGCゲインを上げたり、画像蓄積期間を長くすることはできない。
【0005】
これらを改善する方法の一つとして、近赤外領域光まで感度がある撮像素子を用いて明るいときは、色再現性を重視するため、赤外カットフィルタを撮像素子の全面に付けてカラー映像を撮像し、暗くなると自動または手動で赤外カットフィルタを外して、近赤外領域の波長成分をも利用した白黒映像を得るテレビジョンカメラ装置がある(例えば、特許文献1および2参照)。また感度を上げるため近赤外領域用の照明を照射するカメラもある。さらに、上述のAGCや画像蓄積動作を補助的に組み合わせた場合でも、AGCゲインや画像蓄積を低く抑えることで、前述のS/N比の低下等を極力少なくする方法も取られている。
【0006】
而して、上述のように赤外カットフィルタを自動または手動で切替える場合、その切替タイミングが問題になる。特に赤外カットフィルタを取り外して近赤外照明を照射した場合、赤外カットフィルタを挿入してカラー映像を撮像した時よりも輝度レベルが高くなることもある。従って、輝度レベルを検出してフィルタを切り替える方式の場合は、赤外カットフィルタを取り付けカラー映像に戻してしまうことがあるが、カラー映像に戻ると、また輝度レベルが低いため再び白黒映像に切り替えられる。この動作を繰り返してしまうこととなる。すなわち、カラー映像と白黒映像が交互に入れ替わる、所謂、ハンチングが起こることとなる。このハンチングを防ぐために、従来の輝度レベルの変化を検出する方式では一度白黒映像に切り替わったら、しばらくカラー映像に切り替わらないようにヒステリシスを多く持たせて白黒映像からカラー映像に切り替わりにくくする方法や所定の明るさを判断するために撮像素子の受光面の一部に赤外線カットフイルタを取付け、赤外線カットフイルタを通して得られる白黒信号と、赤外線カットフイルタ以外の部分から得られる白黒信号をマイコンで演算し、ハンチングが起こらないように制御する方法(例えば、特許文献3参照)がある。
【0007】
また、監視用カメラ(例えば、特許文献4参照)として、太陽光や室内照明で撮影する第1の撮影モードと被写体に赤外光を照射して撮像する第2の撮像モードを具え、時刻設定したタイマーで第1と第2の撮像モードを切替える技術が記載されている。
【0008】
更に、本発明者が先に出願したテレビジョンカメラ装置(特願2002−280725:出願日平成14年9月26日)には、赤外カットフイルタの出し入れによるハンチングを防止するために日の出か、日没かの情報を含むタイマーにより切替える技術が提案されている。
【0009】
【特許文献1】
特開平11−239356号公報(第4頁、図1)
【特許文献2】
特開2001−75140号公報(第3−4頁、図1−3)
【特許文献3】
特開2002−135788号公報(第4頁、図1、4)
【特許文献4】
特開2000−235212号公報(第3頁)
【0010】
【発明が解決しようとする課題】
上述した日の出や日没の時刻は、一年中変化するし、また、経度と緯度によっても異なる。更に、平地か高地かによっても異なるため、テレビジョンカメラ装置の設置する場所によって、これらを個々に設定する必要があるが、これは極めて煩雑であり、また、保守や点検においても容易ではない。また、上記特許文献3で説明した赤外カットフイルタの出し入れによるハンチングを防止するためには、特殊な構造の赤外カットフイルタが必要になり、また、その制御回路も複雑になる。また、ヒステリシスを大きくすると暗くなってもカラー映像の状態を保持し続けたり、明るくなっても白黒映像の状態を保持し続けたりすることがある。
【0011】
本発明の目的は、上記欠点を除去し、白黒映像とカラー映像が交互に出力されないようにするテレビジョンカメラ装置を提供することである。
【0012】
本発明の他の目的は、一年を通じ、かつ、場所に応じて自動的に日の出や日没の時刻を検出し、白黒映像とカラー映像を切れかえるテレビジョンカメラ装置を提供することである。
【0013】
【課題を解決するための手段】
本発明のテレビジョンカメラ装置は、被写体を撮像する撮像素子と、近赤外領域の波長成分を除去する赤外カットフィルタと、上記赤外カットフィルタを上記撮像素子の前面に出し入れする駆動機構と、上記撮像素子からの映像信号を処理する映像信号処理手段と、位置情報に基いた日の出および日没のデータテーブルを備えたメモリ装置および時刻情報を有する制御回路とからなり、上記制御回路は、上記位置情報に基いた日の出および日没のデータテーブルと時刻情報に基づいて上記赤外カットフィルタの駆動機構を制御するように構成される。
【0014】
また、本発明のテレビジョンカメラ装置において、上記制御回路は、上記位置情報と時刻情報に基き日の出から日没までの間、上記赤外カットフィルタを上記撮像素子の前面に装着するよう上記駆動機構を制御するように構成される。
【0015】
また、本発明のテレビジョンカメラ装置は、更に、上記位置情報と時刻情報を得るためのGPS装置を備え、少なくとも上記GPS装置から得られる位置情報に基いて上記日の出および日没のデータテーブルから日の出および日没の時刻を得るように構成される。
【0016】
更にまた、本発明のテレビジョンカメラ装置において、上記駆動機構は、上記赤外カットフィルタを上記撮像素子の前面に装着する時刻を上記日の出および日没の時刻から所定時間ずらせる手段を具えている。
【0017】
【発明の実施の形態】
以下、本発明のテレビジョンカメラ装置の一実施例を図1のブロック構成図に基づき説明する。図1において、1は、被写体からの光が入射する撮像レンズ、2は、撮像レンズ1から入射する光を光電変換し、電荷として画素内に蓄積し、露光終了後映像信号として出力する、例えば、CCDのような撮像素子、3は、撮像素子2から出力された映像信号の雑音を除去する雑音除去回路、例えば、相関二重サンプリング(CDS)回路である。4は、映像信号を所定レベルになるように調整する自動利得制御(AGC)回路、5は、アナログ/ディジタル(A/D)変換回路、6は、ディジタル映像信号の各種処理を行うディジタル信号処理回路(DSP)、7は、ディジタル/アナログ(D/A)変換回路、8は、映像信号を所要レベルに増幅し出力する増幅回路である。
【0018】
9は、マイクロコンピュータ等の制御回路であって、自動利得制御回路4のゲイン制御や映像信号等のデジタル信号を処理するディジタル信号処理回路6の制御、撮像素子2の駆動回路10を制御する。また、この制御回路は、内蔵するマイクロコンピュータで、日の出、日没等の時刻も算出する。駆動回路10は、撮像素子2から電荷を読み出すためのパルスを出力する回路であって、制御回路9の制御により撮像素子2の蓄積時間、例えば、通常の露光方式の場合の蓄積時間あるいは周知の長時間露光方式の場合の蓄積時間のように必要により適宜指定された蓄積時間で撮像素子2を制御できるように構成されている。11は、信号切り替え回路であって、ディジタル信号処理回路6で処理されたディジタル映像信号を通常の明るい被写体の時には、D/A変換回路7へ出力し、例えば、夕方のような低照度時の画像蓄積による感度向上を行うときには、フレームメモリ12に映像信号を出力する。フレームメモリ12は、前記蓄積動作時にディジタル信号処理回路6で処理されたディジタル映像信号を蓄積加算して保持する。
【0019】
13は、制御回路9により制御されるフイルタ切替機構であって、日の出の時刻と日没の時刻に基づいて、赤外カットフイルタ14aと透明ガラス(またはダミーガラス)14bとを切替えるための駆動機構である。15は、GPS装置で、本発明の例えば、監視カメラが設置される場所の緯度、経度、高度および時間情報を得るための装置である。16は、EEPROMのようなメモリ装置であって、GPS装置15で得られる緯度、経度、高度および時間情報を蓄積する装置であり、また、同時に地域,高度毎の日の出および日没のデータがテーブルとして蓄積されている。この日の出および日没のデータテーブルの一部の一例を表1に示す。
【0020】
【表1】
Figure 0004241912
表1は、年月日、場所、日の出時刻、日の入り時刻、シフト時間等がメモリ装置16に記録されているデータテーブルである。これらのデータは、例えば、インターネットで公開している「世界の時刻と温度」から得られるデータによって作成することが可能である。例えば2002年7月1日の東京の日の出時刻は、AM4:26、日の入り時刻は、PM7:02である。また、2003年2月1日の東京の日の出時刻は、AM6:38、日の入り時刻は、PM5:07である。従って、GPS装置15から得られる情報を基に日時と場所を演算し、この日時と場所の情報に基いてメモリ装置16に記録されているデータテーブル(表1)から日の出時刻と日の入り時刻を読出し、メモリ装置16の別の場所に登録する。これにより制御回路9は、内蔵するタイマーが日の出時刻と日の入り時刻になると、自動的に駆動機構13を制御する。なお、毎日の日の出時刻と日の入り時刻が異なるので、表1には、毎日の日の出時刻と日の入り時刻をテーブルとして持つ必要があるが、真冬ではそれらの違いは、1分程度、真夏では、数日で1分程度であるので、1週間とか10日単位で、場所毎の日の出時刻と日の入り時刻をテーブル化すれば本発明の目的は十分達成される。また、表1に示すシフト時間については後述する。また、表1には、高さ情報のデータは、例示されていないが、演算等の手段で容易に追加できることは言うまでもない。
【0021】
本発明のテレビジョンカメラ装置において、その動作について以下説明する。まず、制御回路9では、上述したようにテレビジョン装置が設置された場所の位置座標と現在の日付と時刻をGPS装置15から得られたデータを基に算出し、日時と位置座標のデータからメモリ装置16に蓄積されている日の出および日没のデータテーブル表1を基に日の出と日没の時刻を読出し、メモリ装置16に記録する。現在時刻がその算出した時刻、例えば、日没の時刻に達すると、撮像素子2の前面に、赤外カットフィルタ14aが挿入されている状態であればフィルタ切り替え機構13に制御信号を送り、赤外カットフィルタ14aを透明ガラス14bに切り替える動作をする。同様に制御回路9で算出した日の出時刻に達したら、透明ガラス14bを赤外カットフィルタ14aに切り替える。
【0022】
而して、日の出の時刻になると、制御回路9に内蔵しているタイマーの時刻データとメモリ装置16が有する日の出および日没のデータテーブルから日の出の時刻を検出し、赤外カットフイルタ14aが撮像装置2の前面にセットされる。従って、被写体からの光は、撮像レンズ1を介して赤外カットフィルタ14aにより赤外領域の波長成分が除去され、撮像素子2に入射される。この入射光は、撮像素子2により光電変換され、電荷として画素内に蓄積され、制御回路9により制御される駆動回路10から出力される電荷読みだしパルスにより所定の露光時間まで蓄積され、1画面分の映像信号が雑音除去回路3へ出力される。上記映像信号は、雑音除去回路3により雑音を除去されサンプルホールド後、自動利得制御回路4へ出力される。
【0023】
自動利得制御回路4は、雑音除去回路3から出力された上記映像信号を制御回路9により指定されるレベルになるまで利得の制御を行い、所定の信号レベルの映像信号がA/D変換回路5へ出力される。
【0024】
A/D変換回路5により自動利得制御回路4から出力された前記所定の信号レベルの映像信号は、ディジタル映像信号に変換されディジタル信号処理回路6へ出力される。
【0025】
ディジタル映像信号処理回路6では、制御回路9の制御により、A/D変換回路5から出力された前記ディジタル映像信号に輝度処理、色処理、ガンマ補正、輪郭補償等の画質制御とホワイトバランスの調整等の信号処理が行われる。信号処理が行われた上記ディジタル映像信号は、信号切り替え回路11に印加される。この信号切り替え回路11に印加される信号は、日の出の時刻情報に基づいているので、通常の明るい被写体の撮影時の赤外カットフイルタ14aを通過した映像信号であるので、D/A変換回路7へ直接出力され、上記増幅回路8を経由して出力信号17として出力される。
【0026】
一方、日没の時刻になると、制御回路9に内蔵しているタイマーの時刻データとメモリ装置16が有する日没の時刻を検出し、透明ガラス14bが撮像装置2の前面にセットされる。従って、被写体からの光は、撮像レンズ1、透明ガラス14bを介して撮像素子2に入射される。撮像素子2から出力される映像信号は、上述と同様に信号処理され、信号切替回路11に印加される。この印可された信号は、日没の時刻情報に基づいて、フレームメモリ12へ出力される。
【0027】
フレームメモリ12では、ディジタル映像信号処理回路6から出力された上記ディジタル映像信号が所定の蓄積期間、例えば2フレーム加算され、保持される。
【0028】
D/A変換回路7では、フレームメモリ12で保持された映像信号が、アナログ映像信号に変換され、増幅回路8へ出力される。
【0029】
増幅回路8では、D/A変換回路7から出力された前記アナログ映像信号が所定の信号レベルに増幅され、その出力15が他の機器、例えばビデオモニタ、VTR等の装置に出力される。
【0030】
なお、前述の自動利得制御回路4のゲインと電荷蓄積時間は所定の限度値に達したときには増減を停止させる。前述のような日没時に撮影する長時間露光方式のテレビジョンカメラ装置の動作は、通常の長時間露光方式テレビジョンカメラの動作と同様であるので、撮像素子2および駆動回路10の詳細な説明は、省略する。
【0031】
以上説明したように、制御回路9では、テレビジョンカメラ装置が設置されている場所と、現在の時刻とメモリ装置16が有する日の出および日没のデータテーブルから演算され、日没の時刻に達すると、フィルタ切り替え機構13に制御信号を送り、撮像素子2の前面の赤外カットフィルタ14aを透明ガラス14bに切り替え、ディジタル映像信号処理回路6でクロマ信号成分を除去し、白黒映像にする。
【0032】
一方、現在の時刻が、日の出時刻に達すると、透明ガラス14bを赤外カットフィルタ14aに切り替え、ディジタル映像信号処理回路6のクロマ信号成分のデータを元に戻し、カラー映像を出力する。
【0033】
なお、カメラの設置場所によっては、カメラの前方に山や高いビル等の障害物があり、撮像したい場所の日当たりが悪かったり、日の出時刻になってもなかなか明るくならない等の場合、あるいはカメラの最低被写体照度性能により、日没前や、日の出直後でも感度が不足する場合もある。従って、このような場合には、日没、日の出時刻からフィルタを切り換える時間を適宜ずらすことも必要であり、そのような場合には、メモリ装置16が有する日の出および日没のデータテーブルから得られる日の出および日没のデータを数分あるいは数十分遅らせる機能を備え、フィルタを切り換える時間を遅らせることもできる。例えば、表1のシフト時間の欄にも示してあるように−0.5H、即ち、30分日の出時刻と日の入り時刻を早めたり、あるいは+1.0H、即ち、1時間、日の出時刻と日の入り時刻を遅らせたりすることが可能である。勿論、日の出時間を30分遅らせ、日の入り時刻を1時間早めることも可能である。
【0034】
また、メモリ装置16が例えば、予め日本全国の場所毎の日の出および日没のデータテーブルを蓄積している場合には、工場を出荷する時点で、日本のどの場所に設置されるかが分かるので、工場出荷時点で、日の出および日没のデータを読出し、設定しておくことも可能である。このような場合には、GPS装置15は、不要になる。
【0035】
また、カメラを設置場所から移動させない場合には、GPS装置から得られた座標データをメモリ装置16に記録し、GPS装置を取り外すこともできる。そしてカメラの設置場所を変えた場合には、GPS装置を取り付け、位置座標を再度算出する必要が有る。
【0036】
以上、本発明について詳細に説明したが、本発明は、ここに記載された監視カメラや、動き検出の実施例に限定されるものではなく、上記以外に、撮像装置の視野内の変化を検出する装置や検出方法に広く適応することが出来ることは、言うまでも無い。
【0037】
【発明の効果】
本発明によれば、輝度の変化を検出する方式ではないので夜間の屋外等低照度時の監視において、赤外照明を照射してもカラー映像と白黒映像が交互に入れ替わるハンチングが起こらず、監視者の負担を軽減し侵入者等を識別しやすくなるという極めて優れた効果を有する。
【図面の簡単な説明】
【図1】本発明の回路構成の一実施例を示す図である。
【符号の説明】
1:撮像レンズ、2:撮像素子、3:雑音除去回路、4:自動利得制御回路、5:A/D変換回路器、6:ディジタル映像信号処理回路、7:D/A変換回路、8:出力増幅回路、9:制御回路、10:駆動回路、11:信号切り替え回路、12:フレームメモリ、13:フィルタ切り替え駆動機構、14a:赤外カットフィルタ、14b:透明ガラス、15:GPS装置、16:メモリ装置、17:出力信号。

Claims (2)

  1. 被写体を撮像する撮像素子と、近赤外領域の波長成分を除去する赤外カットフィルタと、上記赤外カットフィルタを上記撮像素子の前面に出し入れする駆動機構と、上記撮像素子からの映像信号を処理する映像信号処理手段と、テレビジョンカメラ装置設置場所の位置情報および時間情報を取得するGPS装置と、当該GPS装置で取得した前記テレビジョンカメラ装置設置場所の前記位置情報および時間情報を蓄積するとともに、地域、高度毎の日の出および日没のデータをデータテーブルとして蓄積するメモリ装置と、当該メモリ装置に蓄積された前記設置位置情報および時間情報と、前記データテーブルから、前記テレビジョンカメラ装置設置場所での日の出および日没の時刻を算出し、当該算出された時刻に基づいて上記赤外カットフィルタの駆動機構を制御する制御回路と、を有することを特徴とするテレビジョンカメラ装置。
  2. 請求項1記載のテレビジョンカメラ装置において、前記データテーブルの前記地域、高度毎の日の出および日没のデータには、前記テレビジョンカメラ装置設置場所によって日の出時間若しくは日没時間を適宜ずらすためのシフト時間が記憶されていることを特徴とするテレビジョンカメラ装置。
JP2003055448A 2003-03-03 2003-03-03 テレビジョンカメラ装置 Expired - Fee Related JP4241912B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003055448A JP4241912B2 (ja) 2003-03-03 2003-03-03 テレビジョンカメラ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003055448A JP4241912B2 (ja) 2003-03-03 2003-03-03 テレビジョンカメラ装置

Publications (2)

Publication Number Publication Date
JP2004266605A JP2004266605A (ja) 2004-09-24
JP4241912B2 true JP4241912B2 (ja) 2009-03-18

Family

ID=33119457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003055448A Expired - Fee Related JP4241912B2 (ja) 2003-03-03 2003-03-03 テレビジョンカメラ装置

Country Status (1)

Country Link
JP (1) JP4241912B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4331245B1 (ja) 2008-03-27 2009-09-16 株式会社東芝 映像画質制御装置とその制御方法
JP7317495B2 (ja) * 2018-12-04 2023-07-31 株式会社東芝 監視システム及び監視カメラ装置

Also Published As

Publication number Publication date
JP2004266605A (ja) 2004-09-24

Similar Documents

Publication Publication Date Title
JP4823743B2 (ja) 撮像装置,及び撮像方法
JP4600684B2 (ja) 撮影装置及び撮影方法
US20060103742A1 (en) Image capture apparatus and image capture method
JP2004023605A (ja) 画像処理装置、カメラ装置、及びその自動露光制御方法
JP2008109369A (ja) 撮像装置及び画像処理方法
KR20080095084A (ko) 영상 잡음 제거 장치 및 방법
JP2007214892A (ja) 撮像装置
US7876366B2 (en) Electronic camera
JP2000224487A (ja) 撮像装置および撮像方法
JP2003158680A (ja) 撮像装置
JP2001352491A (ja) 撮像制御装置および撮像制御方法
JP4241912B2 (ja) テレビジョンカメラ装置
JP2004120202A (ja) 撮像装置,撮像モード切替方法
JP4190346B2 (ja) 撮像装置
JP2003324748A (ja) テレビジョンカメラ
JP2000224472A (ja) 撮像制御装置および撮像制御方法
JP2004120331A (ja) テレビジョンカメラ装置
JP2006121165A (ja) 撮像装置、画像形成方法
JP2002044495A (ja) 電子カメラ
JP2000236478A (ja) 電子カメラ装置
JP2008085915A (ja) 撮像装置および撮像方法
JP2002271688A (ja) テレビジョンカメラ
JPH11215431A (ja) テレビジョンカメラ
JP2008219803A (ja) 画像信号の補正方法及び撮像装置
JP2011049737A (ja) 撮像装置及びその露出制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060221

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081223

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4241912

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140109

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees