JP4661225B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4661225B2
JP4661225B2 JP2005004673A JP2005004673A JP4661225B2 JP 4661225 B2 JP4661225 B2 JP 4661225B2 JP 2005004673 A JP2005004673 A JP 2005004673A JP 2005004673 A JP2005004673 A JP 2005004673A JP 4661225 B2 JP4661225 B2 JP 4661225B2
Authority
JP
Japan
Prior art keywords
image
image signal
frequency component
reading
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005004673A
Other languages
English (en)
Other versions
JP2006195023A (ja
Inventor
聡 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005004673A priority Critical patent/JP4661225B2/ja
Publication of JP2006195023A publication Critical patent/JP2006195023A/ja
Application granted granted Critical
Publication of JP4661225B2 publication Critical patent/JP4661225B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、レンズにより被写体の画像を固体撮像素子に結像して画像信号を得る撮像装置に係り、特に前記レンズによる結像画像の焦点を自動的に合わせるオートフォーカス(AF)制御に関する。
従来から、スチルビデオカメラなどの撮像装置では、被写体の画像をレンズにより固体撮像素子に結像し、これにより固体撮像素子を構成する画素に結像画像に対応する画像信号が蓄積される。そこで、従来のAF制御では、1フレームの画面中の測距部に対応する固体撮像素子の画素から画像信号を読み出し、得られた画像信号からハイパスフィルターを用いて高周波成分を検出すると共に、上記レンズを動かしてこの高周波成分値(またはその積分値)のピーク値を図6に示すように求めることによって、レンズの合焦位置を求めることが行われている。
ところが上記した従来のAF制御では、通常、撮像素子からの画像信号の読み出し走査を水平方向に行っているため、被写体画像の水平方向の高周波成分は高精度に検出できるのに対し、垂直方向の高周波成分を高精度に検出することが困難となっている。それ故、例えば横縞模様の被写体などは焦点が合いづらいという問題があった。これを解決するための手段の一つとして、固体撮像素子からの出力画像を一旦画像メモリに記憶し、この画像メモリから画像信号を水平・垂直の双方向の走査で読み出して、水平・垂直双方向の高周波成分を高精度に検出する方法が提案されている(特許文献1参照)。
特開平5−137046号公報 (第4−5頁、第1図)
しかしながら、上記の画像メモリを用いた方法では、垂直方向の高周波成分の検出を精度良くできるようになる反面、画像メモリが必要になるので回路規模の増加及びコストアップとなる問題がある。また、撮像素子から読み出した画像信号を画像メモリに水平方向走査で書き込みを行った後で、当該画像メモリから水平・垂直双方向の走査で画像信号を読み出してAF制御を行うため、処理に時間がかかるという懸念事項があり、この懸念は測距範囲が広がるほど顕著化するという問題がある。
本発明は前記事情に鑑み案出されたものであって、本発明の目的は、回路規模を増加させることなく且つ安価に、被写体画像の水平・垂直方向の高周波成分を高精度に検出してどのようなパターンの被写体に対しても、高速で且つ精度の高い合焦を得ることができる撮像装置を提供することにある。
本発明は上記目的を達成するため、レンズにより結像された被写体の画像を光電変換して画像信号として蓄積する撮像素子と、前記レンズを移動させるレンズ駆動手段と、前記撮像素子に蓄積された画像信号を読み出す走査方向とタイミングを制御するタイミング制御手段と、前記タイミング制御手段に制御されて、前記撮像素子の全画素に蓄積された画像信号を水平方向及び垂直方向に切り換えて走査して読み出す読出手段と、前記読出手段により読み出された前記撮像素子の全画素の画像信号から高周波成分を抽出する高周波成分抽出手段と、前記水平方向に走査して読み出された画像信号から抽出された高周波成分と前記垂直方向に走査して読み出された画像信号から抽出された高周波成分を混合する混合手段と、前記混合された高周波成分値またはその積分値がピークとなる位置に前記レンズ駆動手段を制御して移動させる合焦点制御手段と、を具備することを特徴とする。
また、本発明は、レンズにより結像された被写体の画像を光電変換して画像信号として蓄積する撮像素子と、前記レンズを移動させるレンズ駆動手段と、前記撮像素子に蓄積された画像信号を読み出す走査方向とタイミングを制御するタイミング制御手段と、前記タイミング制御手段に制御されて、前記撮像素子の全画素に蓄積された画像信号を水平方向及び垂直方向に切り換えて走査して読み出す読出手段と、前記読出手段により読み出された前記撮像素子の全画素の画像信号から高周波成分を抽出する高周波成分抽出手段と、前記水平方向に読み出された画像信号から抽出された高周波成分と前記垂直方向に読み出された画像信号から抽出された高周波成分を比較する比較手段と、前記比較手段により得られた比較結果により前記撮像素子から画像信号を読み出す走査方向を水平方向にするか垂直方向にするかを決定する走査方向決定手段と、前記撮像素子から前記決定された走査方向で読み出された画像信号の高周波成分値またはその積分値がピークとなる位置に前記レンズ駆動手段を制御して移動させる合焦点制御手段と、を具備することを特徴とする。
このように本発明では、撮像素子より水平方向及び垂直方向に走査して読み出された画像信号から高周波成分を抽出し、これら高周波成分を混合した高周波成分値またはその積分値がピークとなる位置にレンズを移動させてAF制御を行うことにより、或いは、当初、撮像素子より水平方向及び垂直方向に走査して読み出された画像信号の高周波成分を比較し、以降、例えばレベルが高い高周波成分が得られる走査方向で撮像素子より画像信号を読み出してAF制御を行うことによって画像メモリを用いる必要をなくし、それ故、装置の回路規模を大きくすることなく且つ安価に、被写体画像の水平・垂直双方向の高周波成分を高精度に検出でき、どのようなパターンの被写体に対しても精度の良い合焦を得ることができる。また、撮像素子を水平方向に走査して読み出した画像信号を画像メモリに書き込み、次にこの画像メモリから水平及び垂直方向に走査して画像信号を読み出す必要がないため、AF制御のための信号処理時間を短くでき、どのような被写体に対しても高速で且つ精度の高い合焦を得ることができる。
本発明によれば、撮像素子より水平方向及び垂直方向に走査して読み出した画像信号から高周波成分を抽出し、これら高周波成分を混合した高周波成分値またはその積分値がピーク値を得るようにレンズを移動させてAF制御を行うことにより、或いは、当初、撮像素子より水平方向及び垂直方向に走査して読み出した画像信号の高周波成分を比較し、以降、例えばレベルが高い高周波成分が得られる走査方向で撮像素子より画像信号を読み出してAF制御を行うことにより、画像メモリを用いる必要を無くすことができ、それ故、装置の回路規模を増やすこと無く、どのようなパターンの被写体に対しても高速で且つ精度の高い合焦を安価に得ることができる。
回路規模を増加させることなく且つ安価に、被写体画像の水平・垂直方向の高周波成分は高精度に検出してどのようなパターンの被写体に対しても高速で且つ精度の高い合焦を得る目的を、撮像素子より水平方向及び垂直方向に走査して読み出された画像信号から高周波成分を抽出し、これら高周波成分を混合した高周波成分値またはその積分値がピーク値を得るようにレンズを移動させてAF制御を行うことによって、或いは、当初、撮像素子より水平方向及び垂直方向に走査して読み出した画像信号の高周波成分を比較し、以降、例えばレベルが高い高周波成分が得られる走査方向で撮像素子より画像信号を読み出してAF制御を行うことによって実現した。
図1は、本発明の第1の実施形態に係る撮像装置の構成を示したブロック図である。撮像装置は、被写体を固体撮像素子3に結像させるレンズ1、レンズ1を移動させるレンズ駆動回路2、被写体の画像を光電変換して画像信号として蓄積する固体撮像素子3、アナログ画像信号をデジタル画像信号に変換するA/D変換回路4、画像信号に各種処理を施す信号処理回路5、画像信号から高周波成分を検波する高周波成分検波回路6、固体撮像素子3の画像読み出し走査方向及び読み出しタイミング等を制御するタイミング制御回路7、撮像動作やAF制御等の個別制御及び装置全体の制御を行うCPU8を有して構成される。
次に本実施形態のAF制御動作について説明する。レンズ1により被写体の画像が固体撮像素子3に結像され、結像された画像に対応する画像信号が撮像素子3の画素に蓄積される。固体撮像素子3の画素から結像画像に対応する画像信号がタイミング制御回路7により読み出されてA/D変換回路4に出力される。その際、タイミング制御回路7はCPU8の制御により、まず、図2(A)に示すように固体撮像素子3の各画素から画像信号を水平方向に走査して読み出し、次に図2(B)に示すように垂直方向に走査して読み出すように、画像信号の読み出し走査方向の切り換えを行う。
図3はタイミング制御回路7により固体撮像素子3から画像信号が読み出される動作を説明するタイミングチャートである。画像信号は固体撮像素子3から垂直同期信号100で区切られる1フレーム毎に交互に切り換わる水平走査読み出しと垂直走査読み出しにより読み出される。
A/D変換回路4は上記のように読み出された画像信号をデジタル化して信号処理回路5と高周波成分検波回路6に出力する。高周波成分検波回路6は水平走査で読み出しされた画像信号及び垂直走査で読み出された画像信号のそれぞれの高周波成分を検波して抽出し、得られ高周波成分をCPU8に出力する。CPU8は内蔵のRAM等のメモリに水平走査読み出しされた画像信号の高周波成分と、垂直走査読み出しされた画像信号の高周波成分を保持し、これら両高周波成分を加算するなどして混合する。この時、CPU8はレンズ駆動回路2を制御して図3に示すタイミングでレンズ1を移動すると共に、この混合した高周波成分のレベル変化を監視し、この高周波成分値(またはその積分値)のピークレベルが出る位置にレンズ1を移動することによりレンズ1を合焦点位置に持ってくる。
ところで、上記したAF制御を行うために、固体撮像素子3から画像信号を読み出す画素の範囲は、図4(A)に示すように固体撮像素子3の全画素から読み出すか、或いは、図4(B)に示すような測距枠内の画素からのみ画像信号を読み出すかの2方法がある。
本実施形態によれば、固体撮像素子3から画像信号を水平走査方向及び垂直走査方向の双方向で読み出し、それにより得られた画像信号の高周波成分値(またはその積分値)のピークが得られる位置にレンズ1を移動してAF制御を行うため、被写体画像の水平方向の高周波成分は勿論、垂直方向の高周波成分をも高精度に検出することができ、例えば横縞模様の被写体等を撮影する際にも精度良くフォーカスを合わせることができ、被写体のパターンによって焦点が合わせにくいということがなくなり、常に円滑なAF制御を行うことができる。
また、本実施形態では水平・垂直双方向の走査により得られた画像信号の高周波成分をCPU8のRAMなどのメモリに保持してAF制御を行うため、従来のように回路規模が大きく且つ高価な画像メモリを用いる必要がないため、上記効果を装置の回路規模を大きくすることなく且つ安価に実現することができる。
さらに、本実施形態では、高周波成分をRAMなどのメモリに保存するだけであるため、処理に時間がかからず、応答度の良い高速なAF制御を行うことができる。特に、図4(B)に示すように測距枠内の画素からのみ画像信号を読み出す方法では、画素の読み出し範囲が限られるため、より高速な処理ができ、AF制御をより高速に行うことができる。尚、図4(A)に示すように全画素から画像信号を読み出す方法では、AF制御の対象画像信号が多いため処理速度は落ちるが、対象画像信号が多い分、AF制御の精度を向上させることができる。
図5は、本発明の第2の実施形態に係る撮像装置における画像信号読出し走査方向切換タイミングを示したタイミングチャートである。但し、本例の構成は上記した第1の実施形態と同様であるため、以下同一の構成を持つ各部についてはその構成動作を省略し、以下、その動作の特徴部分を説明する。
次に本実施形態のAF制御について説明する。当初、固体撮像素子3から1フレームについて画像信号の水平走査読み出しを行い、次のフレームについて垂直走査読み出しを行う。その時、CPU8は水平走査読み出しした画像信号の高周波成分と、垂直走査読み出しした画像信号の高周波成分のレベルを比較し、以降の読み出し走査方向をレベルの高い方向に決定する。例えば垂直走査読み出しした画像信号の高周波成分レベルの方が高い場合は、以降、固体撮像素子3から垂直走査して画像信号を読み出し、それにより得られた高周波成分値(またはその積分値)がピークとなる位置にレンズ1を移動して、AF制御を行う。
尚、本実施形態でも、第1の実施形態と同様にAF制御を行うために、固体撮像素子3から画像信号を読み出す画素の範囲は、固体撮像素子3の全画素から読み出すか、或いは、測距枠内の画素からのみ画像信号を読み出すかの2方法がある。
本実施形態によれば、画像信号の高周波成分のレベルが高い方の走査方向で固体撮像素子3から画像信号を読み出すため、被写体のパターンによって高周波成分が得やすい走査方向で画像信号を固体撮像素子3から読み出すため、例えば被写体が横縞模様であった場合には、垂直走査方向で画像信号を固体撮像素子3から読み出し、それにより得られた高周波成分のピークが得られる位置にレンズ1を移動するので、第1に示した実施の形態と同様の効果がある。特に本実施形態では、双方向走査による読み出しで得られた高周波成分の混合などを行わないでAF制御を行うことができるため、CPU8の負担を減らすことができる。
尚、本発明は上記実施の形態に限定されることなく、その要旨を逸脱しない範囲において、具体的な構成、機能、作用、効果において、他の種々の形態によっても実施することができる。
本発明の第1の実施形態に係る撮像装置の構成を示したブロック図である。 図1に示した固体撮像装置から画像信号を読み出す際の走査方向を示した図である。 図1に示した固体撮像装置から画像信号を読み出す際の走査方向切換タイミングを示したタイミングチャートである。 図1に示した固体撮像装置から画像信号を読み出す範囲を示したタイミングチャートである。 本発明の第2の実施形態に係る撮像装置における画像信号読出し走査方向切換タイミングを示したタイミングチャートである。 固体撮像素子から読み出した画像信号より抽出した高周波成分を用いた従来のAF制御方法を説明する特性図である。
符号の説明
1……レンズ、2……レンズ駆動回路、3……固体撮像素子、4……A/D変換回路、6……高周波成分検波回路、7……タイミング制御回路、8……CPU。

Claims (8)

  1. レンズにより結像された被写体の画像を光電変換して画像信号として蓄積する撮像素子と、
    前記レンズを移動させるレンズ駆動手段と、
    前記撮像素子に蓄積された画像信号を読み出す走査方向とタイミングを制御するタイミング制御手段と、
    前記タイミング制御手段に制御されて、前記撮像素子の全画素に蓄積された画像信号を水平方向及び垂直方向に切り換えて走査して読み出す読出手段と、
    前記読出手段により読み出された前記撮像素子の全画素の画像信号から高周波成分を抽出する高周波成分抽出手段と、
    前記水平方向に走査して読み出された画像信号から抽出された高周波成分と前記垂直方向に走査して読み出された画像信号から抽出された高周波成分を混合する混合手段と、
    前記混合された高周波成分値またはその積分値がピークとなる位置に前記レンズ駆動手段を制御して移動させる合焦点制御手段と、
    を具備する
    撮像装置。
  2. 前記読出手段は、前記撮像素子から画像信号を読み出す際に、その読み出し走査方向を水平方向と垂直方向のいずれかに1フレーム毎に交互に切り換える
    請求項1記載の撮像装置。
  3. 前記読出手段は、前記撮像素子の全画素より前記画像信号を読み出す
    請求項1記載の撮像装置。
  4. 前記読出手段は、前記撮像素子の所定範囲の画素より前記画像信号を読み出す
    請求項1記載の撮像装置。
  5. レンズにより結像された被写体の画像を光電変換して画像信号として蓄積する撮像素子と、
    前記レンズを移動させるレンズ駆動手段と、
    前記撮像素子に蓄積された画像信号を読み出す走査方向とタイミングを制御するタイミング制御手段と、
    前記タイミング制御手段に制御されて、前記撮像素子の全画素に蓄積された画像信号を水平方向及び垂直方向に切り換えて走査して読み出す読出手段と、
    前記読出手段により読み出された前記撮像素子の全画素の画像信号から高周波成分を抽出する高周波成分抽出手段と、
    前記水平方向に読み出された画像信号から抽出された高周波成分と前記垂直方向に読み出された画像信号から抽出された高周波成分を比較する比較手段と、
    前記比較手段により得られた比較結果により前記撮像素子から画像信号を読み出す走査方向を水平方向にするか垂直方向にするかを決定する走査方向決定手段と、
    前記撮像素子から前記決定された走査方向で読み出された画像信号の高周波成分値またはその積分値がピークとなる位置に前記レンズ駆動手段を制御して移動させる合焦点制御手段と、
    を具備する
    撮像装置。
  6. 前記読出手段は、当初、前記撮像素子から1フレーム毎に、画像信号の水平方向読み出しと垂直方向読み出しを交互に行った後、前記決定された走査方向で前記撮像素子から画像信号を読み出す
    請求項5記載の撮像装置。
  7. 前記読出手段は、前記撮像素子の全画素より前記画像信号を読み出す
    請求項5記載の撮像装置。
  8. 前記読出手段は、前記撮像素子の所定範囲の画素より前記画像信号を読み出す
    請求項5記載の撮像装置。
JP2005004673A 2005-01-12 2005-01-12 撮像装置 Expired - Fee Related JP4661225B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005004673A JP4661225B2 (ja) 2005-01-12 2005-01-12 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005004673A JP4661225B2 (ja) 2005-01-12 2005-01-12 撮像装置

Publications (2)

Publication Number Publication Date
JP2006195023A JP2006195023A (ja) 2006-07-27
JP4661225B2 true JP4661225B2 (ja) 2011-03-30

Family

ID=36801170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005004673A Expired - Fee Related JP4661225B2 (ja) 2005-01-12 2005-01-12 撮像装置

Country Status (1)

Country Link
JP (1) JP4661225B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081422A (ja) * 2008-09-26 2010-04-08 Sanyo Electric Co Ltd 撮影装置
JP5035702B2 (ja) * 2009-02-27 2012-09-26 カシオ計算機株式会社 撮像装置、オートフォーカス方法及びプログラム
CN101882310A (zh) * 2010-06-10 2010-11-10 上海电力学院 数码照片的数字变焦倍数检测方法
KR101710625B1 (ko) 2010-08-11 2017-02-27 삼성전자주식회사 초점 조절 장치, 초점 조절 방법 및 상기 방법을 기록한 기록 매체

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6097784A (ja) * 1983-11-01 1985-05-31 Sanyo Electric Co Ltd オ−トフオ−カス制御回路
JPS6238083A (ja) * 1985-08-13 1987-02-19 Canon Inc 焦点調節装置
JPS62186214A (ja) * 1986-02-10 1987-08-14 Olympus Optical Co Ltd 自動焦点調節装置
JPS62199174A (ja) * 1986-02-27 1987-09-02 Canon Inc 焦点検出装置
JPS63179665A (ja) * 1987-01-20 1988-07-23 Matsushita Electric Ind Co Ltd 自動焦点調節装置
JPS63215172A (ja) * 1987-03-03 1988-09-07 Victor Co Of Japan Ltd オ−トフオ−カス装置
JPH022791A (ja) * 1988-06-16 1990-01-08 Matsushita Electric Ind Co Ltd 自動焦点調節装置
JPH05344405A (ja) * 1992-06-10 1993-12-24 Fuji Photo Film Co Ltd 自動焦点調節装置
JPH06205269A (ja) * 1993-01-06 1994-07-22 Matsushita Electric Ind Co Ltd 自動焦点調節装置およびビデオカメラ
JP2000209509A (ja) * 1999-01-19 2000-07-28 Canon Inc 固体撮像装置と撮像システム
JP2004151608A (ja) * 2002-11-01 2004-05-27 Fuji Photo Optical Co Ltd オートフォーカスシステム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6097784A (ja) * 1983-11-01 1985-05-31 Sanyo Electric Co Ltd オ−トフオ−カス制御回路
JPS6238083A (ja) * 1985-08-13 1987-02-19 Canon Inc 焦点調節装置
JPS62186214A (ja) * 1986-02-10 1987-08-14 Olympus Optical Co Ltd 自動焦点調節装置
JPS62199174A (ja) * 1986-02-27 1987-09-02 Canon Inc 焦点検出装置
JPS63179665A (ja) * 1987-01-20 1988-07-23 Matsushita Electric Ind Co Ltd 自動焦点調節装置
JPS63215172A (ja) * 1987-03-03 1988-09-07 Victor Co Of Japan Ltd オ−トフオ−カス装置
JPH022791A (ja) * 1988-06-16 1990-01-08 Matsushita Electric Ind Co Ltd 自動焦点調節装置
JPH05344405A (ja) * 1992-06-10 1993-12-24 Fuji Photo Film Co Ltd 自動焦点調節装置
JPH06205269A (ja) * 1993-01-06 1994-07-22 Matsushita Electric Ind Co Ltd 自動焦点調節装置およびビデオカメラ
JP2000209509A (ja) * 1999-01-19 2000-07-28 Canon Inc 固体撮像装置と撮像システム
JP2004151608A (ja) * 2002-11-01 2004-05-27 Fuji Photo Optical Co Ltd オートフォーカスシステム

Also Published As

Publication number Publication date
JP2006195023A (ja) 2006-07-27

Similar Documents

Publication Publication Date Title
US7945151B2 (en) Focus control method and unit determining in-focus lens position based on read times of the autofocus areas and focus lens position and time
USRE45900E1 (en) Imaging apparatus and control method
JP4862312B2 (ja) 撮像装置およびフォーカス制御装置
EP2401860A1 (en) Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame
JP7271188B2 (ja) 制御装置、撮像装置、制御方法、および、プログラム
JP4661225B2 (ja) 撮像装置
JP2004140479A (ja) 固体撮像装置、カメラ装置、及びその制御方法
JP2006235719A (ja) 撮像方法及び撮像装置
WO2017138200A1 (ja) 撮像装置、および、撮像装置の制御方法
JP4548045B2 (ja) 自動焦点調節装置
US9282234B2 (en) Focus adjustment apparatus and method, and image capturing apparatus
JP5263023B2 (ja) 撮像装置
JP2008016961A (ja) 撮像装置および読出制御方法
JP2012220890A (ja) 焦点調節装置
US8379137B2 (en) Imaging apparatus
JP4574559B2 (ja) 撮像装置、合焦位置検出装置、及び合焦位置検出方法
JP4930134B2 (ja) 撮像装置
JP5159295B2 (ja) 自動焦点調節装置および撮像装置
JP4681899B2 (ja) 撮像装置及び撮像方法
JPH09326954A (ja) 画像入力装置
US20180020150A1 (en) Control apparatus, image capturing apparatus, control method, and storage medium
EP2091233A2 (en) Imaging apparatus
JP2006011035A (ja) 自動合焦装置、撮像装置及び合焦位置検出方法
JP5541671B2 (ja) 撮像装置及びフォーカス制御方法
JP6579755B2 (ja) 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070904

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090817

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees