JP4306676B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4306676B2
JP4306676B2 JP2005364575A JP2005364575A JP4306676B2 JP 4306676 B2 JP4306676 B2 JP 4306676B2 JP 2005364575 A JP2005364575 A JP 2005364575A JP 2005364575 A JP2005364575 A JP 2005364575A JP 4306676 B2 JP4306676 B2 JP 4306676B2
Authority
JP
Japan
Prior art keywords
image
pixel
imaging
unit
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005364575A
Other languages
English (en)
Other versions
JP2007173914A (ja
Inventor
良純 中尾
孝 豊田
康生 政木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2005364575A priority Critical patent/JP4306676B2/ja
Priority to US11/640,210 priority patent/US20070153116A1/en
Priority to US11/644,973 priority patent/US7705910B2/en
Publication of JP2007173914A publication Critical patent/JP2007173914A/ja
Application granted granted Critical
Publication of JP4306676B2 publication Critical patent/JP4306676B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像センサを用いて撮像領域の画像を撮像する撮像装置に関する。
従来から、ＣＭＯＳイメージセンサなどの画素センサを備えた撮像装置において動体検出を行う技術が知られている。特許文献１に開示されている撮像装置では、同じ撮像領域の画像を所定の時間差で撮像し、予め取得した画像と、最新の画像との２枚の時間差のある画像の差分から動体検出を行う。
特開平０８−１０６５３４号公報
上記撮像装置で、同一の撮像領域を所定の時間差で撮像するためには、全画素から蓄積電荷を読み込む撮像フレーム処理を複数回行う必要があった。複数回の撮像フレーム処理を行う撮像装置としては、所定のフレームレートで動画処理を行うものが一般的であるが、このような撮像装置は複雑な構成や複雑な信号処理が必要であった。また、複数の撮像フレーム処理の間には、所定の処理時間（垂直帰線期間など）が必要なこともあり、動体検出に要する処理時間の短縮化には限界があった。
そこで本発明の目的は、一度の撮像フレーム処理のみで、同じ撮像領域の複数の画像を所定の時間差で取得できる撮像装置を提供することにある。また、簡易な構成や簡易な信号処理、短い処理時間で動体検出が可能な撮像装置を提供することにある。
（１）複数の画素がマトリクス状に配列された画像センサを備える撮像装置において、前記画像センサは、垂直方向に区分された複数の画素領域を有し、前記画素領域毎に同一の撮像領域の画像を結像させる結像部と、前記画像センサの水平行を前記垂直方向に順番に選択する行選択部と、前記行選択部により選択された前記水平行の各画素から電荷を読み出す読出部と、を備える。また、前記読出部が読み出した電荷から得た前記画素領域毎の複数の画像を用いて動体検出を行う動体検出部を備える。
この構成では、画像センサが水平行に垂直な方向（垂直走査方向）に並んだ画素領域に区分され、画素領域毎に同じ撮像領域の画像が結像する。したがって、水平行を順に切り換えながら電荷を読み出すローリングシャッタ方式を用いることにより、各画素領域からの電荷の読み出しタイミングに所定の時間差が生じる。これにより、一度の撮像フレーム処理のみで、同じ撮像領域を所定の時間差で撮像した複数の画像を取得できる。また、従来よりも処理を簡易にできる。また、一度の撮像フレーム処理で、撮像領域の動体検出ができる。
また、上記の時間差は、水平行の各画素から電荷を読み出す水平走査時間と、各画素領域の水平行の数に従って定まる。したがって、撮像装置のフレームレートや水平帰線期間などによらずに、所定の時間差の複数の画像を取得し、処理時間を抑制することが可能になる。
（２）前記結像部は、前記画素領域毎に設けたレンズにより前記画像を結像させる。この構成では、光学設計が容易で、光学系部材を簡易に構成できる。
この発明の撮像装置は、一度の撮像フレーム処理のみで、同じ撮像領域を所定の時間差で撮像した複数の画像を取得できる。また、簡易な構成や信号処理の撮像装置で、処理時間を削減して動体検出できる。
以下、本発明の実施形態について説明する。図１は、本実施形態の撮像装置の構成の一部を示すブロック図である。図２は、光学系部材の焦点位置を説明する概念図である。図３は、動体検出処理を説明する概念図である。
図１に示す撮像装置１００は、被写体に対面して配置される光学系部材（不図示）と、複数の画素Ｐ１１〜Ｐｍｎ（ここで、ｍ，ｎは正の自然数である。）をマトリクス状に行列配置した画像センサ１と、垂直走査回路２と、水平走査回路３と、画像処理部５と、動体検出部６と、を備えている。
なお、ここでは図示の都合により、画像センサ１は画素数を少なくして説明するが、実際には数万以上の画素数であっても好適である。また、各画素Ｐ１１〜Ｐｍｎには、図示する以外の各種信号線（リセット信号の信号線など）を接続するが、本発明の本質とは直接は関係が無いため、ここでは説明を除いている。一般的なＣＭＯＳイメージセンサなどの画像センサの構成を用いればよい。
画像センサ１の水平行（図１横方向）に並んだ複数の画素は、同一の水平駆動線に接続し、水平駆動線の一端を垂直走査回路２に接続する。垂直走査回路２は本発明の行選択部であり、タイミングをずらしながら画像センサ１の水平行を順次選択する回路である。
ここでは図１に示すように水平行に並んだ画素Ｐ１１，Ｐ２１，Ｐｍ１に水平駆動線Ｙ１を接続している。同様に画素Ｐ１２，Ｐ２２，Ｐｍ２に水平駆動線Ｙ２を、画素Ｐ１３，Ｐ２３，Ｐｍ３に水平駆動線Ｙ３を、画素Ｐ１４，Ｐ２４，Ｐｍ４に水平駆動線Ｙ４を、画素Ｐ１５，Ｐ２５，Ｐｍ５に水平駆動線Ｙ５を、画素Ｐ１ｎ，Ｐ２ｎ，Ｐｍｎに水平駆動線Ｙｎを接続している。各水平駆動線Ｙ１〜Ｙｎの一端は垂直走査回路２に接続している。
また、画像センサ１の垂直列に並んだ複数の画素は、同一の垂直駆動線に接続し、垂直駆動線の一端をトランジスタなどのスイッチ回路を介して画像処理部５に接続し、各スイッチ回路に水平走査回路３を接続する。水平走査回路３とスイッチ回路とが本発明の読出部であり、選択されている水平行の各画素から電荷を読み出す回路である。
ここでは垂直列に並んだ各画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５，Ｐ１ｎに垂直駆動線Ｘ１を接続している。同様に各画素Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４，Ｐ２５，Ｐ２ｎに垂直駆動線Ｘ２を、各画素Ｐｍ１，Ｐｍ２，Ｐｍ３，Ｐｍ４，Ｐｍ５，Ｐｍｎに垂直駆動線Ｘｍを接続している。各垂直駆動線Ｘ１〜Ｘｍの一端はそれぞれスイッチ回路であるトランジスタＴｒ１，Ｔｒ２，Ｔｒｍを介して、画像処理部５に接続している。各トランジスタＴｒ１，Ｔｒ２，Ｔｒｍのベースは水平走査回路３に接続し、水平走査回路３によりスイッチングを行うようにしている。
また、画像センサ１は、水平行に垂直な方向、すなわち垂直走査方向に並ぶように複数の画素領域Ｑ１，Ｑ２に区分している。ここでは図２に示すように、光学レンズＬ１，Ｌ２を画素領域Ｑ１，Ｑ２にそれぞれ設け、画素領域Ｑ１を画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，Ｐ２３，Ｐｍ１，Ｐｍ２，Ｐｍ３により構成し、同様に画素領域Ｑ２を画素Ｐ１４，Ｐ１５，Ｐ１ｎ，Ｐ２４，Ｐ２５，Ｐ２ｎ，Ｐｍ４，Ｐｍ５，Ｐｍｎにより構成している。ここで、光学レンズＬ１，Ｌ２が本発明の結像部である。なお、結像部としてはここで示した光学レンズＬ１，Ｌ２に限らず、画素領域ごとに同一の画像を結像するものであればよく、どのような光学系部材を用いてもよい。なお、各光学レンズＬ１，Ｌ２から入射する光が隣接する画素領域の迷光となることを防ぐために、各画素領域の境界部分に光を遮蔽する障壁を設けてもよい。
また、光学レンズＬ１，Ｌ２は複数の画素領域Ｑ１，Ｑ２それぞれに同じ撮像領域からの画像が結像するように、それぞれ焦点位置を設定する。ここでは画素領域Ｑ１の画素Ｐ１１と画素領域Ｑ２の画素Ｐ１４とに、同じ焦点位置からの入射光を受光するようにしている。また画素Ｐ１２と画素Ｐ１５とにも同じ焦点位置からの入射光を受光するようにしている。また画素Ｐ１３と画素Ｐ１６とにも同じ焦点位置からの入射光を受光するようにしている。
また、図１に示す垂直走査回路２と水平走査回路３とは、ローリングシャッタ方式で画像センサ１の全画素から順に蓄積電荷電圧を読み出す撮像フレーム処理を行う。ここでは、垂直走査回路２は垂直走査パルスを生成し、該垂直走査パルスを水平駆動線Ｙ１〜Ｙｎに順次出力し、画像センサ１の水平行を順次選択するようにしている。選択された水平行の各画素は、接続されている水平駆動線Ｙ１〜Ｙｎに垂直走査パルスが印加されると、該水平行の各画素のフォトダイオードに蓄積されている蓄積電荷電圧を、それぞれが接続されている垂直駆動線Ｘ１〜Ｘｍに出力するようにしている。
垂直走査回路２により水平行が選択されている間に、水平走査回路３は水平走査パルスを生成し、該水平走査パルスをトランジスタＴｒ１〜Ｔｒｍのベースに順次出力し、選択されている水平行の各画素を走査するようにしている。各トランジスタＴｒ１〜Ｔｒｍは水平走査パルスが与えられると、それぞれが接続された垂直駆動線から画像処理部５に、蓄積電荷電圧を出力するようにしている。
上記したように、ローリングシャッタ方式で撮像フレーム処理し、垂直走査方向に並ぶ画素領域Ｑ１と画素領域Ｑ２とに同じ撮像領域からの画像を結像させるので、図３に示すように、画像センサ１の図上側の水平行から図下側の水平行の順に、また各行では図左側の画素から図右側の画素にかけて、順に蓄積電荷電圧が読み出される。したがって各画素領域Ｑ１，Ｑ２からの蓄積電荷電圧の読み出しタイミングがそれぞれ異なり、各画素領域Ｑ１，Ｑ２先頭の画素からの蓄積電荷電圧の読出しには、各水平行の水平走査時間と各画素領域の水平行の数に従った所定の時間差が生じる。
したがって１度の撮像フレーム処理の間に、仮に被写体が手を画角の下から上に向かって動かした場合には、図３で示すように画素領域Ｑ１により得られる像Ｂ１の手Ｃ１は図下側に存在しているように撮像され、画素領域Ｑ２により得られる像Ｂ２の手Ｃ２は図上側に存在しているように撮像される。
図１に示す画像処理部５では、読み出した蓄積電荷電圧から、所定の時間差で撮像した複数の画像を取得する。そして取得した画像ごとにガンマ補正やホワイトバランス処理などの一般的な画像処理を行う。このようにして、一度の撮像フレーム処理で、同じ撮像領域を所定の時間差で撮像した複数の画像を取得できる。
画像処理部５での画像処理後の画像は、後段の動体検出部６に出力する。動体検出部６では、画像処理後の画像が入力されると、図３に示す像Ｂ１の手Ｃ１と、像Ｂ２の手Ｃ２とをそれぞれ抽出する。動体検出部６は、さらに、抽出した部分同士の特徴量を比較する。このようにして、画像中の動作部分を識別し、画像内での動作物体を検出する。
以上のようにして、一度の撮像フレーム処理のみで、同じ撮像領域を所定の時間差で撮像した複数の画像を取得し、動体検出できる。また、簡易な構成や信号処理であっても、処理時間を削減して動体検出することが可能になる。また、撮像装置の駆動周波数が小さくとも動体検出ができ、その場合には消費電力を抑制できる。
なお、上記した画像処理部５および動体検出部６での処理は、画像処理ＩＣやＣＰＵなどを用いたソフトウェア処理により実現してもよい。また、上記以外にも、光学系部材として光学レンズに加えて光学絞りや光学フィルタなどを設けるようにしても好適である。また、画像センサの撮像領域を２つよりも多くの領域に分割するようにしてもよい。また、撮像装置をテレビ装置に併設し、例えば人間のジェスチャ認識用途の装置として利用できる。他にも、監視カメラシステム、車載カメラシステム等に用いることができる。
このように本発明は、本発明の要旨を逸脱しない限り、この実施例で示した以外の多様な実施例で実施できる。
実施例の撮像装置の構成を示すブロック図である。 実施例の光学系部材を説明する概念図である。 実施例の動体検出処理を説明する概念図である。
符号の説明
１−画像センサ
２−垂直走査回路
３−水平走査回路
５−画像処理部
６−動体検出部
１００−撮像装置
Ｌ１，Ｌ２−光学レンズ
Ｐ１１〜Ｐｍｎ−画素
Ｑ１，Ｑ２−画素領域
Ｔｒ１，Ｔｒ２，Ｔｒｍ−トランジスタ
Ｘ１〜Ｘｍ−垂直駆動線
Ｙ１〜Ｙｎ−水平駆動線

Claims (2)

  1. 複数の画素がマトリクス状に配列された画像センサを備える撮像装置において、
    前記画像センサは、垂直方向に区分された複数の画素領域を有し、
    前記画素領域毎に同一の撮像領域の画像を結像させる結像部と、前記画像センサの水平行を前記垂直方向に順番に選択する行選択部と、前記行選択部により選択された前記水平行の各画素から電荷を読み出す読出部と、前記読出部が読み出した電荷から得た前記画素領域毎の複数の画像を用いて動体検出を行う動体検出部と、を備え、前記結像部は、前記画素領域毎に設けたレンズにより前記画像を結像させる撮像装置。
  2. 複数の画素がマトリクス状に配列された画像センサを備える撮像装置において、
    前記画像センサは、垂直方向に区分された複数の画素領域を有し、
    前記画素領域毎に同一の撮像領域の画像を結像させる結像部と、前記画像センサの水平行を前記垂直方向に順番に選択する行選択部と、前記行選択部により選択された前記水平行の各画素から電荷を読み出す読出部と、前記読出部が読み出した電荷から得た前記画素領域毎の複数の画像を用いて動体検出を行う動体検出部と、を備える撮像装置。
JP2005364575A 2005-12-19 2005-12-19 撮像装置 Expired - Fee Related JP4306676B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005364575A JP4306676B2 (ja) 2005-12-19 2005-12-19 撮像装置
US11/640,210 US20070153116A1 (en) 2005-12-19 2006-12-18 Photographic device
US11/644,973 US7705910B2 (en) 2005-12-19 2006-12-26 Photographic device for obtaining a plurality of images at a time by rolling shutter method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005364575A JP4306676B2 (ja) 2005-12-19 2005-12-19 撮像装置

Publications (2)

Publication Number Publication Date
JP2007173914A JP2007173914A (ja) 2007-07-05
JP4306676B2 true JP4306676B2 (ja) 2009-08-05

Family

ID=38223933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005364575A Expired - Fee Related JP4306676B2 (ja) 2005-12-19 2005-12-19 撮像装置

Country Status (2)

Country Link
US (1) US20070153116A1 (ja)
JP (1) JP4306676B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300108B2 (en) * 2009-02-02 2012-10-30 L-3 Communications Cincinnati Electronics Corporation Multi-channel imaging devices comprising unit cells
EP3955560A1 (en) 2020-08-13 2022-02-16 Koninklijke Philips N.V. An image sensing system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5142357A (en) * 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US6137535A (en) * 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
JPH11164206A (ja) * 1997-12-01 1999-06-18 Fuji Film Microdevices Co Ltd 固体撮像素子及び電荷転送方法
EP1198127A1 (en) * 2000-10-12 2002-04-17 Canon Kabushiki Kaisha Signal difference correction of picture signals read from multiple readout type image sensing device
JP3956353B2 (ja) * 2002-04-04 2007-08-08 日本放送協会 スローモーションの撮影装置
DE10250954B4 (de) * 2002-10-26 2007-10-18 Carl Zeiss Verfahren und Vorrichtung zum Durchführen einer Televisite sowie Televisiteempfangsgerät
US7236199B2 (en) * 2003-07-07 2007-06-26 Toshikazu Hori Multi-tap camera
US7535498B2 (en) * 2005-01-03 2009-05-19 Cnoga Medical Ltd. Electronic viewing device

Also Published As

Publication number Publication date
JP2007173914A (ja) 2007-07-05
US20070153116A1 (en) 2007-07-05

Similar Documents

Publication Publication Date Title
US10070078B2 (en) Solid-state image sensor with pixels having in-pixel memories, motion information acquisition apparatus, and imaging apparatus
JP6929403B2 (ja) 撮像素子及び撮像装置
JP5958740B2 (ja) 固体撮像素子および駆動方法、並びに、電子機器
US8692913B2 (en) Solid-state electronic image sensing apparatus and method of controlling operation of same
JP2007150643A (ja) 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP2003244712A (ja) 撮像装置及びシステム
JP2005106994A (ja) 焦点検出装置、撮像装置、それらの制御方法
JP2006005520A (ja) 撮像装置
JP2019134202A (ja) 撮像装置および撮像素子の制御方法
JP4271378B2 (ja) 撮像装置
JP2008244649A (ja) 動き検出撮像装置
JP4306676B2 (ja) 撮像装置
US11495005B2 (en) Image sensor and control method thereof, and image capturing apparatus and control method thereof
WO2021014921A1 (ja) 撮像装置およびその制御方法
JP2008172606A (ja) 固体撮像装置及びカメラシステム
JP5398610B2 (ja) 固体電子撮像装置およびその動作制御方法
CN114128252A (zh) 摄像设备及其控制方法
US7839433B2 (en) Imaging apparatus
JP2008078794A (ja) 撮像素子駆動装置
WO2015115067A1 (en) Solid-state image sensor, motion information acquisition apparatus, and imaging apparatus
WO2024084930A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
JP5306106B2 (ja) 画像認識装置及び画像認識方法
JP6929066B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
WO2020039909A1 (ja) 固体撮像素子および電子機器
JP2009177344A (ja) 撮像素子駆動装置および撮像素子

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090316

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140515

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees