JP4468052B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

撮像装置及び撮像装置の制御方法 Download PDF

Info

Publication number
JP4468052B2
JP4468052B2 JP2004114648A JP2004114648A JP4468052B2 JP 4468052 B2 JP4468052 B2 JP 4468052B2 JP 2004114648 A JP2004114648 A JP 2004114648A JP 2004114648 A JP2004114648 A JP 2004114648A JP 4468052 B2 JP4468052 B2 JP 4468052B2
Authority
JP
Japan
Prior art keywords
field
image
pixel signals
pixels
transfer unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004114648A
Other languages
English (en)
Other versions
JP2005303546A (ja
Inventor
太郎 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004114648A priority Critical patent/JP4468052B2/ja
Priority to US11/092,115 priority patent/US7616354B2/en
Publication of JP2005303546A publication Critical patent/JP2005303546A/ja
Application granted granted Critical
Publication of JP4468052B2 publication Critical patent/JP4468052B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、インターライン型のCCD等の撮像素子を用いて静止画像や動画像を得る撮像装置及び撮像装置制御方法に関する。
近年、CCD等の撮像素子を用いて静止画像や動画像を得るデジタルカメラが数多く開発されている。しかしながら、CCDを始めとする固体撮像素子のダイナミックレンジは銀塩等と比較して狭く、撮影条件によっては画質が著しく劣化してしまうことがある。
そのため、固体撮像素子単体のもつダイナミックレンジを超える広ダイナミックレンジの画像を得るために、複数の輝度差のある画像を用い、明るい部分と暗い部分のどちらもつぶれることなく階調を持てるように合成する方法が一般的となっている。
この方法の一つとしては、異なる露光時間にて順次撮影した複数の画面を合成する方法がある(例えば、特許文献1参照)。
また、感度特性の異なる複数のイメージセンサを用いて輝度差のある複数の画像を得て、これらを合成してダイナミックレンジ拡大画像を生成する方法がある(例えば、特許文献2参照)。
特開平5−007336号公報 特開平7−203320号公報
しかしながら、例えば特許文献1に開示された撮像装置では、露光量を変えて撮影した複数画像に時間差ができてしまい正確な合成画像が得られず、また、複数回の撮影に時間がかかってしまうという問題点がある。
また、特許文献2に開示された撮像装置では、複数のイメージセンサを使用するため、撮像素子のサイズやコストにかかる負担が大きくなってしまうという問題点がある。
本発明は上記の点に鑑みてなされたものであり、その目的は、安価で、かつ、同一露光にも関わらず輝度レベルの異なる複数画像を得ることで、容易にダイナミックレンジ拡大画像を生成できるようにすることにある。
本発明の撮像装置は、垂直方向及び水平方向に2次元的に配列された複数の画素を備える撮像素子と、前記複数の画素から出力される画素信号をインターレース走査で複数フィールドに分けて読み出す読み出し手段、第1フィールドでは前記複数の画素信号を加算せずに読み出し第2フィールドでは前記複数の画素信号を加算して読み出すように前記読み出し手段を制御する制御手段と、前記第1フィールドの画像と前記第2フィールドの画像を合成する画像合成手段と、有することを特徴とする。
また、本発明の撮像置の制御方法は、垂直方向及び水平方向に2次元的に配列された複数の画素を備える撮像素子、前記複数の画素から出力される画素信号をインターレース走査で複数フィールドに分けて読み出す読み出し手段を有する撮像装置制御方法であって、第1フィールドでは前記複数の画素信号を加算せずに読み出し第2フィールドでは前記複数の画素信号を加算して読み出すように制御するとともに、前記第1フィールドの画像と前記第2フィールドの画像を合成することを特徴とする。
本発明によれば、任意のnフィールドのうち少なくとも1つのフィールドで画素加算を行う読み出しモードを実行することによって、画素加算を行うフィールドと画素加算を行わないフィールドで、同一露光における輝度レベルの異なる複数のフィールド画像を容易に得ることができる。したがって、露光量を変えたり、複数のイメージセンサを用いたりすることなく、容易にダイナミックレンジ拡大画像を生成できるようになる。
以下、添付図面を参照して、本発明の好適な実施形態について説明する。図1は、本発明の第1の実施形態に係るデジタルカメラの概略構成を示すブロック図である。レンズ等からなる光学系11は、被写体像をCCD12の受光面に結像する。CCD12は、その受光面に結像された被写体の光信号を光電変換して電気信号を発生する撮像素子である。光学系11とCCD12との間にはメカシャッタ13が配置され、このメカシャッタ13を閉じることでCCD12へ入射する光を遮断することができる。
CCD駆動装置14は、CCD駆動のタイミングパルスを発生する。CCD駆動装置14によって駆動されたCCD12の出力は、サンプルホールド(S/H)、ゲインアンプ、及びアナログデジタル変換(A/D)を含むプリプロセス回路15によってデジタル化され、デジタルプロセス回路16に取り込まれる。デジタルプロセス回路16では、ガンマ処理、色信号処理やダイナミックレンジ拡大画像生成処理等の各種デジタル信号処理を行う。また、デジタルプロセス回路16の出力はLCDディスプレイ17にて出力することも可能となっている。
デジタルプロセス回路16で画像処理が施された画像データは、画像変換回路18を介して圧縮され、メモリカード19に書き込まれて記録される。画像変換回路18は、デジタルプロセス回路16からの画像データを圧縮してメモリカード19へ出力する機能と、メモリカード19より読み出した画像データを伸長してデジタルプロセス回路16へ出力する機能とを有する。
また、光学系11、メカシャッタ13、CCD駆動装置14、プリプロセス回路15、デジタルプロセス回路16、画像変換回路18、及びメモリカード19のそれぞれは、カメラ制御部20によって制御される。カメラ制御部20には、レリーズや出力画像サイズ切り替え、読み出しモード切り替え等の機能を有する操作部21が接続されている。この読み出しモード切り替え機能により、画素加算を行わない通常の読み出しモードと、画素加算を行う読み出しモードとを選択することができる。このように読み出しモード切り替え機能を持たせることにより、1つの撮像装置において画素加算を行わない通常の読み出しモードと、画素加算を行う読み出しモードの両方を選択的に実行することが可能になる。
次に、図2を参照して、本実施形態のデジタルカメラに用いられるインターライン型CCDの構成について説明する。図2に示すCCD12はインターライン型の固体撮像素子であり、マトリクス状に配列されて入射した光を電荷に変換する複数の光電変換要素(画素)1と、画素1のそれぞれに蓄積された信号電荷を読み出して垂直方向に転送する垂直転送部(VCCD)2と、垂直転送部2から転送されてきた1ライン分の信号電荷を水平方向に転送する水平転送部(HCCD)3と、水平転送部3から転送されてきた信号電荷を電気信号に変換する出力アンプ部4とを備えている。
本実施形態のデジタルカメラにおいて静止画像を撮影する際、レリーズ後、所定の露光時間を経てメカシャッタ13が閉じられ、各画素1にその被写体の光量に応じた量の電荷が蓄積される。その後、画素1の電荷をm(m:3以上の自然数)フィールドに分割して垂直転送部2に読み出し、垂直転送部2及び水平転送部3を経由して転送する。インターレース読み出しでは通常1ラインおきに2フィールドかけて全画素を読み出すが、近年では3フィールド、或いはそれ以上のフィールドで読み出すものが現れている。
図3は画素配列の一部を表わしており、この例では3200(H)列×2400(V)行の画素数、5フィールド読み出し(m=5)とする。また、色フィルタの配列は、R及びGが水平方向に交互に並んでいるRGラインと、G及びBが水平方向に交互に並んでいるGBラインとがある、いわゆるベイヤ配列として説明する。
ここで、図3〜6を参照して、5フィールドのうち任意のnフィールド(n:n≦mを満たす自然数)を読み出し、そのうちの少なくとも1つのフィールドで画素加算を行う読み出しモードについて、2フィールドの読み出し(n=2)を例にして説明する。
はじめに、第1フィールドの読み出しについて説明する。この読み出し方法は全画素を読み出す場合と同じであり、画素加算を行わない通常の読み出し方法である。図4は、水平ブランキング期間(HBLK)中及びその後に垂直転送部(VCCD)2及び水平転送部(HCCD)3の転送ゲート電極に印加する電荷転送のための駆動電圧のタイミングパルスを模式的に示している。このタイミングパルスはCCD12を駆動するためにCCD駆動装置14から供給される。
メカシャッタ13が閉じられ、高速掃き捨て期間が終了すると、はじめにCフィールドの画素の信号電荷が垂直転送部2に読み出される(I)。
その後、水平ブランキング期間に入ると、最初に垂直転送部2の転送ゲート電極にパルス電圧を印加することにより垂直転送部2を1段或いは複数段駆動し、もっとも水平転送部3に近い部分に存在した1ラインの画素からの読み出し電荷を水平転送部3に転送する(II)。
そして、水平ブランキング期間が終了し、有効期間に入ってから有効期間の終了までに、水平転送部3のゲート電極に多数のパルス電圧を印加することにより、水平転送部3の電荷を3200段分転送して(III)、出力アンプ4から出力する。
これと同じ動作を1フィールド期間の480回の水平ブランキング期間ごとに繰り返すことにより、3200×480個の蓄積電荷の読み出しが完了し、第1フィールドの画素の信号電荷が全て読み出されたことになる。
次に、第2フィールドの読み出しについて説明する。図5、6は、それぞれ図3、4と同様に画素配列の一部及びタイミングパルス模式図である。また、垂直転送部2は、2列おきに蓄積領域51を含む列と含まない列が交互に並んでいる。
メカシャッタ13が閉じられ、高速掃き捨て期間が終了すると、はじめにBフィールド及びDフィールドの画素の信号電荷が垂直転送部2に読み出される(I)。
その後、水平ブランキング期間に入ると、最初に垂直転送部2の転送ゲート電極にパルス電圧を印加することにより垂直転送部2を1段或いは複数段駆動し、もっとも水平転送部3に近い部分に存在した1ラインの画素からの読み出し電荷のうち、蓄積領域51を含まない列では水平転送部3に、含む列では蓄積領域51に転送する(II)。
次に、水平転送部3はそのままにした状態で、さらに垂直転送部2の転送ゲート電極にパルス電圧を印加することにより、(II)で転送したラインに隣接する1ラインの読み出し電荷を蓄積領域51及び水平転送部3にて混合させる(垂直加算)(III)。
次に、水平転送部3の転送ゲート電極にパルス電圧を2つ印加することにより、水平転送部3にある画素を水平方向に2段転送する(IV)。
続いて、垂直転送部2の転送ゲート電極にパルス電圧を印加することにより垂直転送部2を1段駆動し、蓄積領域51の電荷を水平転送部3の電荷と混合させる(水平加算)(V)。
次に、水平転送部3に近い部分に存在する1ラインの画素からの読み出し電荷のうち、蓄積領域51を含まない列では水平転送部3に、含む列では蓄積領域51に転送する(
VI)。
次に、水平転送部3はそのままにした状態で、さらに垂直転送部2の転送ゲート電極にパルス電圧を印加することにより、(VI)で転送したラインに隣接する1ラインの読み出し電荷を蓄積領域51及び水平転送部3にて混合させる(垂直加算)(VII)。
次に、水平転送部3の転送ゲート電極にパルス電圧を2つ印加することにより、水平方向に2段転送する(VIII)。
続いて、垂直転送部2の転送ゲート電極にパルス電圧を印加することにより垂直転送部2を1段駆動し、蓄積領域51の電荷を水平転送部3の電荷と混合させる(水平加算)(IX)。
ここまでの処理で、都合2ライン分の信号電荷がそれぞれ水平加算された状態で1ラインに収まっていることとなる。
そして、水平ブランキング期間が終了し、有効期間に入ってから有効期間の終了までに、水平転送部3のゲート電極に多数のパルス電圧を印加することにより、水平転送部3の電荷を3200段分転送して(X)、出力アンプ4から出力する。これにより、1水平期間内にそれぞれ垂直加算及び水平加算された2ライン分の信号電荷が読み出せる。
これと同じ動作を1フィールド期間の半分にあたる240回の水平ブランキング期間ごとに繰り返すことにより、1600×2×240個の蓄積電荷の読み出しが完了し、Bフィールド+Dフィールドの画素の信号電荷が水平加算により水平方向の数が半分となり、2倍の速度で読み出されたことになる。しかも、水平/垂直合わせて4画素を加算しているため、第1フィールドと比較して感度は約4倍となっている。
なお、水平加算と垂直加算のいずれかのみでもよいが、両者を併用することにより、より輝度レベルの差のある画像を得ることができる。
以上のようにして読み出された画素は、それぞれプリプロセス回路15を経てデジタルプロセス回路16で処理される。その際、同一露光にも関わらず輝度レベルの異なる2つのフィールドの画像は合成され、ダイナミックレンジの広い画像が得られることとなる。
このように、輝度レベルの異なる複数のフィールド画像を読み出すモードを利用することにより、得られる画素数は減少するものの、イメージセンサ単体のもつダイナミックレンジよりも広いダイナミックレンジの画像を得ることが可能となる。
図7に示すように、本実施形態の5フィールド撮像素子では、読み出し方法が10種類考えられる。ただし、ここではベイヤ配列撮像素子の同色画素を垂直加算した場合のみを考慮している。このうち、例えば(g)と(i)の読み出しを比較すると、両者の重心位置*は一致する。このように各フィールドの重心位置*が一致する場合、画像合成の際に重心をあわせるための補間処理を必要とせず、容易に静止画を生成することが可能となる。
なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
デジタルカメラの概略構成を示すブロック図である。 インターライン型CCDの概略構成を示す図である。 画素配列の一部を表わす図である。 第1フィールドの読み出し動作のためのタイミングパルスを模式的に示す図である。 画素配列の一部を表わす図である。 第2フィールドの読み出し動作のためのタイミングパルスを模式的に示す図である。 本実施形態における読み出しの種類を示す概略図である。
符号の説明
1 光電変換要素(画素)
2 垂直転送部(VCCD)
3 水平転送部(HCCD)
4 出力アンプ部
11 光学系
12 CCD
13 メカシャッタ
14 CCD駆動装置
15 プリプロセス回路
16 デジタルプロセス回路
17 LCDディスプレイ
18 画像変換回路
19 メモリカード
20 カメラ制御部
21 操作部

Claims (4)

  1. 垂直方向及び水平方向に2次元的に配列された複数の画素を備える撮像素子と、
    前記複数の画素から出力される画素信号をインターレース走査で複数フィールドに分けて読み出す読み出し手段
    第1フィールドでは前記複数の画素信号を加算せずに読み出し第2フィールドでは前記複数の画素信号を加算して読み出すように前記読み出し手段を制御する制御手段と、
    前記第1フィールドの画像と前記第2フィールドの画像を合成する画像合成手段と、
    を有することを特徴とする撮像装置。
  2. 前記撮像素子は、前記複数の画素から出力される画素信号を垂直方向に転送する垂直転送部前記垂直転送部により前記垂直方向に転送された画素信号を前記垂直方向と交差する水平方向に転送する水平転送部とを備え
    前記複数の画素から出力される画素信号を前記垂直方向において加算する垂直加算手段と前記垂直加算手段により垂直加算された画素信号を前記水平方向において加算する水平加算手段のうち少なくともいずれか一方を有することを特徴とする請求項1に記載の撮像装置。
  3. 前記第2フィールドの画素加算による前記垂直方向における重心位置が、前記第1フィールドの前記垂直方向における重心位置と一致することを特徴とする請求項1又は2に記載の撮像装置。
  4. 垂直方向及び水平方向に2次元的に配列された複数の画素を備える撮像素子、前記複数の画素から出力される画素信号をインターレース走査で複数フィールドに分けて読み出す読み出し手段を有する撮像装置制御方法であって、
    第1フィールドでは前記複数の画素信号を加算せずに読み出し第2フィールドでは前記複数の画素信号を加算して読み出すように制御するとともに、前記第1フィールドの画像と前記第2フィールドの画像を合成することを特徴とする撮像装置制御方法。
JP2004114648A 2004-04-08 2004-04-08 撮像装置及び撮像装置の制御方法 Expired - Fee Related JP4468052B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004114648A JP4468052B2 (ja) 2004-04-08 2004-04-08 撮像装置及び撮像装置の制御方法
US11/092,115 US7616354B2 (en) 2004-04-08 2005-03-29 Image capture apparatus configured to divisionally read out accumulated charges with a plurality of fields using interlaced scanning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004114648A JP4468052B2 (ja) 2004-04-08 2004-04-08 撮像装置及び撮像装置の制御方法

Publications (2)

Publication Number Publication Date
JP2005303546A JP2005303546A (ja) 2005-10-27
JP4468052B2 true JP4468052B2 (ja) 2010-05-26

Family

ID=35060149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004114648A Expired - Fee Related JP4468052B2 (ja) 2004-04-08 2004-04-08 撮像装置及び撮像装置の制御方法

Country Status (2)

Country Link
US (1) US7616354B2 (ja)
JP (1) JP4468052B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4457961B2 (ja) * 2005-04-28 2010-04-28 ソニー株式会社 固体撮像素子
KR100809345B1 (ko) 2006-06-16 2008-03-05 삼성전자주식회사 영상 생성 장치 및 방법
US9077910B2 (en) 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2504317B2 (de) * 1974-09-05 1977-09-29 The General Corp, Kawasaki, Kanagawa (Japan) Farbfernsehkamera
US4151553A (en) * 1975-06-20 1979-04-24 The General Corporation Color television camera
EP0026904A3 (en) * 1979-10-04 1981-12-30 Kabushiki Kaisha Toshiba Solid-state image pick-up device
US4658287A (en) * 1984-02-29 1987-04-14 Fairchild Camera And Instrument Corp. MOS imaging device with monochrome-color compatibility and signal readout versatility
JP3110797B2 (ja) 1991-06-21 2000-11-20 キヤノン株式会社 撮像方法及び撮像画面合成装置
JPH07203320A (ja) 1993-12-29 1995-08-04 Olympus Optical Co Ltd 電子的撮像装置
JP3932006B2 (ja) * 1998-12-02 2007-06-20 株式会社日立製作所 撮像装置
JP2005109994A (ja) * 2003-09-30 2005-04-21 Matsushita Electric Ind Co Ltd 撮像装置
JP4458864B2 (ja) * 2004-01-30 2010-04-28 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4183635B2 (ja) * 2004-02-16 2008-11-19 富士フイルム株式会社 固体撮像装置
US7548261B2 (en) * 2004-11-30 2009-06-16 Digital Imaging Systems Gmbh Column averaging/row averaging circuit for image sensor resolution adjustment in high intensity light environment

Also Published As

Publication number Publication date
JP2005303546A (ja) 2005-10-27
US7616354B2 (en) 2009-11-10
US20050225657A1 (en) 2005-10-13

Similar Documents

Publication Publication Date Title
US10554917B2 (en) Electric camera
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
US6903770B1 (en) Digital camera which produces a single image based on two exposures
JP5342969B2 (ja) 撮像装置及び撮像方法
JP4448888B2 (ja) 撮像装置及び撮像装置の信号処理方法
JP4951440B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP3492029B2 (ja) 撮像装置
JP3970185B2 (ja) 固体撮像素子及びデジタルカメラ
JP2004064165A (ja) 撮像装置および撮像方法
US7760257B2 (en) Image capturing apparatus, control method and program thereof, and storage medium
JP2005072966A (ja) 固体撮像素子及び撮像装置
JP4678849B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
US7236194B2 (en) Image signal processing apparatus
JP2006129418A (ja) 電荷転送型固体撮像素子の駆動方法及び撮像方法並びに撮像装置
JP4538337B2 (ja) 固体撮像素子
JP4393242B2 (ja) 固体撮像素子及び固体撮像素子の駆動方法
US7616354B2 (en) Image capture apparatus configured to divisionally read out accumulated charges with a plurality of fields using interlaced scanning
JP2008270832A (ja) 固体撮像素子及び撮像装置
JP3738654B2 (ja) デジタルカメラ
JP2006238205A (ja) 撮像装置及び撮像方法
JP2005303653A (ja) 撮像装置
JP4745676B2 (ja) 撮像装置
JP4230128B2 (ja) 撮像装置およびその制御方法
JP2001145025A (ja) 固体撮像装置およびその駆動方法
JP2000261817A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100224

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140305

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees