JP3869689B2 - オートフォーカスカメラ - Google Patents

オートフォーカスカメラ Download PDF

Info

Publication number
JP3869689B2
JP3869689B2 JP2001216709A JP2001216709A JP3869689B2 JP 3869689 B2 JP3869689 B2 JP 3869689B2 JP 2001216709 A JP2001216709 A JP 2001216709A JP 2001216709 A JP2001216709 A JP 2001216709A JP 3869689 B2 JP3869689 B2 JP 3869689B2
Authority
JP
Japan
Prior art keywords
focus
evaluation value
lens
focus evaluation
search means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001216709A
Other languages
English (en)
Other versions
JP2003029134A (ja
Inventor
和彦 有井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2001216709A priority Critical patent/JP3869689B2/ja
Publication of JP2003029134A publication Critical patent/JP2003029134A/ja
Application granted granted Critical
Publication of JP3869689B2 publication Critical patent/JP3869689B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、オートフォーカス機能を備えた電子スチルカメラなどのオートフォーカスカメラに関する。
【0002】
【従来の技術】
従来、たとえばビデオカメラ、電子スチルカメラなどのオートフォーカスカメラにおいては、被写体に焦点が合うほど被写体の映像はハイコントラストとなり、映像信号の高域成分が増大することに鑑み、撮像素子から得られる撮像映像信号自体を焦点制御状態の評価に用いる方法が開発されている。
【0003】
このような方法では、本質的にパララックスが存在せず、また被写界深度の浅い場合や被写体が遠方に位置する場合においても正確にピントが合わせられるなどの多くの優れた特徴を有している。しかもこの方法によれば、オートフォーカス用の特別なセンサを別途設ける必要がなく、機械的にも極めて簡単である。
【0004】
このような撮像映像信号を用いたオートフォーカスカメラの一例が特開平3−68280号公報(H04N5/232)に開示されている。この従来技術では、被写体の画像を静止画として取り込む電子スチルカメラに好適であるとして、フォーカスレンズを被写体距離の無限遠から至近点に亘って所定のステップで移動せしめることによって、各ステップ毎のフォーカスレンズの位置と撮像映像信号の高域成分レベル(焦点評価値)を得ることにより合焦動作を行っている。
【0005】
【発明が解決しようとする課題】
しかしながら、従来のオートフォーカスカメラでは、フォーカスレンズを被写体距離の無限遠から至近点に亘って移動せしめるため、ズームレンズのテレ側ではフォーカスレンズの移動量が大きくなる傾向があり、オートフォーカス処理に時間を要してしまうという課題があった。
【0006】
本発明は、オートフォーカスカメラにおいて、オートフォーカス処理を高速化することを目的とする。
【0007】
【課題を解決するための手段】
本発明は、上記課題を解決するために、撮像素子から得られる撮像映像信号の高域成分レベルを焦点評価値として検出することによりオートフォーカス動作を行うオートフォーカスカメラにおいて、第1フォーカスエリアと前記第1フォーカスエリアを含み且つ前記第1フォーカスエリアよりも大きい第2フォーカスエリアを撮像画面上に設定するフォーカスエリア設定手段と、前記第1フォーカスエリアから得られる撮像映像信号の高域成分レベルを第1焦点評価値として検出し、前記第2フォーカスエリアから得られる撮像映像信号の高域成分レベルを第2焦点評価値として検出する焦点評価値検出手段と、フォーカスレンズを遠点側から近点側に所定ステップで移動せしめ、各ステップ毎の前記フォーカスレンズの位置と前記第1焦点評価値および前記第2焦点評価値との関係を得るサーチ手段と、前記サーチ手段の動作中に、前記フォーカスレンズが第1所定位置よりも近点側に位置し、且つ前記サーチ手段によって前記第2焦点評価値のピークが既に検出された状態で、少なくとも第1閾値よりも小さい前記第1焦点評価値が得られ、且つそれまでに得られた前記第1焦点評価値の最大値が第2閾値よりも小さいことを検出することにより前記サーチ手段の動作中断を判断する動作中断判断手段と、前記動作中断判断手段の判断結果を基に前記サーチ手段の動作を中断させた後、前記サーチ手段によって得られたフォーカスレンズの位置と前記第2焦点評価値との関係を用い、前記第2焦点評価値がピークとなった位置に前記フォーカスレンズを移動させる合焦手段と、を具備した。
【0008】
さらに、ズームレンズを具備し、前記動作中断判断手段は、前記ズームレンズが第2所定位置よりもテレ側にあることも前記サーチ手段の動作中断を判断する条件とするようにした。
【0009】
【発明の実施の形態】
以下図面に従い、本発明の実施の形態について説明する。
図1は、この発明の実施の形態による、電子スチルカメラの機能ブロック図である。図1を参照して、ズームレンズ1z、フォーカスレンズ1fを介して入射された入射光は、撮像素子2によって光電変換され、撮像映像信号が生成される。生成された撮像映像信号は、A/D変換器3によりデジタル信号に変換された後、信号処理回路4に与えられる。
【0010】
信号処理回路4は、与えられたデジタルの撮像映像信号に、周知の自動露出補正および自動ホワイトバランス補正を施し、撮像映像信号のフィールドごと(1画面ごと)に画像データを順次形成してDRAM5に与える。なお、自動露出補正として信号処理回路4における撮像映像信号のゲインを調整するだけでなく、図示しない絞り機構を用いても調整されるが、詳細な説明は割愛する。
【0011】
DRAM5は、入力されたフィールド単位の画像データを次から次へと順次記憶し、記憶した各フィールドごとの画像データを処理回路6およびゲート回路8に与える。
【0012】
処理回路6は、DRAM5から読出した1フィールド分の画像データに、色分離処理などの周知の信号処理を施した後、画像データをソフトウェア的に圧縮して、後段のフラッシュメモリ7に格納する。フラッシュメモリ7に格納された圧縮画像データは、図示しない信号処理回路によって読出されて伸張処理が施され、図示しない液晶モニタ上に表示される。
【0013】
一方、DRAM5に記憶された1フィールド単位の画像データは、ゲート回路8にも与えられる。ゲート回路8および後段の輝度信号生成回路9、HPF10、デジタル積分器11、CPU12およびステッピングモータで構成されたフォーカスモータ13は、オートフォーカス動作のために設けられた回路構成である。
【0014】
電子スチルカメラには、レリーズスイッチのオン・オフとに関係なく、常時これらの回路構成8−13を用いてオートフォーカス動作を行なっているタイプのものと、撮影時にレリーズスイッチがオンされてから始めてこれらの回路構成8−13を用いてオートフォーカス動作を行なうタイプのものとがあるが、本発明の実施の形態は、レリーズスイッチがオンされてからオートフォーカス動作を行なうタイプの電子スチルカメラである。
【0015】
ユーザによってレリーズスイッチがオン(または半押し状態)にされると、その後信号処理回路4からDRAM5に次々記憶される1フィールド単位の画像データはゲート回路8にも順次与えられる。
【0016】
ゲート回路8は、図2に示すように、撮像画面の中央部に設定されたフォーカスエリアAと該フォーカスエリアAを含むフォーカスエリアB内の画像データを夫々抽出して輝度信号生成回路9に与える。
【0017】
ゲート回路8によって設定された撮像画面上のフォーカスエリアA、B内の画像データが抽出されて輝度信号生成回路9に与えられる。輝度信号生成回路9は、与えられた画像データから夫々輝度信号を生成し、HPF10に与える。
【0018】
HPF10は、輝度信号から高周波成分を抽出してデジタル積分器11に与え、デジタル積分器11は、1画面分(1フィールド期間)の高周波成分を積分して焦点評価値A、BとしてCPU12に与える。
【0019】
CPU12は、後述するオートフォーカスプログラムに従って、撮像素子2に対するフォーカスレンズ1fの位置関係を移動させるべくフォーカスモータ13を駆動する。フォーカスモータ13はステッピングモータにて構成され、駆動ステップの数によってCPU12はフォーカスレンズ1fの位置を認識している。ズームレンズ1zにはズームエンコーダ14が設けられ、CPU12にズームレンズ1zの位置情報を伝えている。なお、ズームレンズ1zの駆動は手動又はモータにて行われるが、図示及び詳細な説明は割愛する。
【0020】
図3は、図1に示した電子スチルカメラの基本動作を説明するフローチャートである。図に示すように、レリーズスイッチが押されることにより行われる撮影処理は、信号処理回路4による自動露出補正(S101)、回路構成8−13によるオートフォーカス(S102)、信号処理回路4による自動ホワイトバランス補正(S103)を行った後、記録される画像信号の取り込み、いわゆる本露光を行い(S104)、処理回路6により画像信号処理として色分離処理などの信号処理や画像データの圧縮を行い(S105)、最後にフラッシュメモリ7への画像データの記録を行う(S106)。
【0021】
図4、図5、図6は、図3のステップS102で示したオートフォーカス処理の詳細を示すフローチャートである。オートフォーカス処理を開始するに当たり、先ず初期設定としてフォーカスレンズ1fを被写体距離の無限遠側の端に移動させ、後述するオートフォーカス処理に用いる各種変数をクリアする(S1)。初期設定終了後、撮像映像信号の先頭である垂直同期信号Vによる割込みに応じて焦点評価値を作成するのに必要な撮像映像信号を得るために露光を行う(S3、S5)。そして次の垂直同期信号Vによる割込みに応じてフォーカスレンズ1fを被写体距離の至近点の方向に微小ステップ移動させ、露光を行う(S7、S9)。そして次の垂直同期信号Vによる割込みに応じてフォーカスレンズ1fを被写体距離の至近点の方向に微小ステップ移動させ、露光を行う(S11、S13)。ステップS13終了までに、撮像画面の中央部に設定されたフォーカスエリアA内の画像データより作成された焦点評価値Aと、フォーカスエリアAを含むフォーカスエリアB内の画像データより作成された焦点評価値Bを、夫々評価値A、評価値Bとして取り込む(S15)
【0022】
なお、撮像素子2から撮像映像信号を出力させ画像データを得るのに1V期間、得られた画像データよりゲート回路8、輝度信号生成回路9、HPF10、デジタル積分器11を用いて焦点評価値とするまでに1V期間を要するため、焦点評価値を作成するには、2V期間が必要となる。よって、ステップS15にて取り込まれた評価値A、Bは2V期間前のフォーカスレンズ1fの位置にて得られた撮像映像信号によるものである。
【0023】
次に評価値Aが焦点評価値Aの最大値を記憶している最大値Aよりも大きいか否かを検出する(S17)。大きければ最大値Aをその時点での評価値Aの値とし(S19)、最大となった焦点評価値Aが得られたフォーカスレンズ1fの位置を示すように位置ポインタAを更新する(S21)。ステップS17において、評価値Aが最大値Aよりも大きくなければステップS19、S21は行わない。
【0024】
次に、評価値Aが1V期間前の焦点評価値Aを記憶している前評価値Aよりも小さいか否かを検出する(S23)。小さければカウンタiをインクリメントし(S25)、次の条件Aを満足するか否かを検出する(S27)。
【0025】
【数1】
Figure 0003869689
【0026】
条件Aを満足すればフォーカスレンズ1fの合焦位置を位置ポインタAが示す位置に設定し(S28)、フォーカスレンズ1fの微小ステップ移動と焦点評価値算出を終了し、フォーカスレンズ1fを該合焦位置に移動し(S61)、オートフォーカス処理を終了する。満足しなければステップS31の前段に移行する。一方、ステップS23において、評価値Aが前評価値Aよりも小さくなければカウンタiをリセットする(S29)。
【0027】
すなわち、ステップS23〜S29、及びS61により、撮影画面中央に設定されたフォーカスエリアA内の画像データより得られた焦点評価値Aが最大となってからKA回連続して減少し、かつ焦点評価値Aの最大値の信頼性を判定するために定められた判定値よりも該最大値が大きければ、フォーカスレンズ1fの微小ステップ移動と焦点評価値算出を終了する。そして、最大となった焦点評価値Aが得られたフォーカスレンズ1fの位置にフォーカスレンズ1fを移動しオートフォーカス動作を終了する。
【0028】
次に、ステップS31にて条件Bを満足するか否か、ステップS33にて条件Cを満足するか否かを検出する。条件Bは次のとおりである。
【0029】
【数2】
Figure 0003869689
【0030】
条件Cは次のとおりである。
【0031】
【数3】
Figure 0003869689
【0032】
なお、条件CにおけるフラグBは、フォーカスエリアB内の画像データから得られる焦点評価値Bのピークが検出されたときにセットされるフラグであり、詳細は後述する。
【0033】
条件Bと条件Cを共に満足すればフォーカスレンズ1fの合焦位置を位置ポインタBが示す位置に設定し(S34)、フォーカスレンズ1fの微小ステップ移動と焦点評価値算出を終了し、フォーカスレンズ1fを該合焦位置に移動し(S61)、オートフォーカス処理を終了する。そうでなければステップS35の前段に移行する。
【0034】
ステップS31〜S34、及びS61により、ズームレンズ1zの位置が所定位置よりもテレ側にあり、かつフォーカスレンズ1fの現在位置が被写体距離1mの位置よりも至近点側にあり、かつ最大値Aが前記判定値よりも小さく、最新の評価値Aが前記判定値の2分の1よりも小さく、かつフォーカスエリアB内の画像データから得られる焦点評価値Bのピーク検出が行われていた場合、フォーカスレンズ1fの微小ステップ移動と焦点評価値算出を終了する。そして、最大となった焦点評価値Bが得られたフォーカスレンズ1fの位置にフォーカスレンズ1fを移動しオートフォーカス動作を終了する。
【0035】
ここで、ステップS31、S34にて検出される条件B、条件Cについて詳細に説明する。図7に示すように、一般的にズームレンズを含む光学系では、ズームレンズの位置がテレ側にあるほどフォーカスレンズの可動範囲が広くなる。よって、オートフォーカス処理において、焦点評価値Aのピークが検出されなければフォーカスレンズ1fは無限遠から至近点まで全域に渡って移動するので、ズームレンズの位置がテレ側にあるほど時間を要してしまう。また、通常の撮影では被写体距離が1m未満となる可能性は小さいので、フォーカスレンズ1fがオートフォーカス処理に伴い無限遠から至近点方向に移動しフォーカスレンズ1fの位置が被写体距離1mの位置よりも至近点側となるまで焦点評価値Aのピークが検出されなければ、それ以降も検出される可能性は小さい。よって、ズームレンズ1zの位置が所定位置よりもテレ側にあり、かつフォーカスレンズ1fの現在位置が被写体距離1mの位置よりも至近点側にある場合、フォーカスレンズ1fの微小ステップ移動と焦点評価値算出を終了できないか否かを条件Cを用いて判断する。
【0036】
焦点評価値Aの最大値が、焦点評価値Aの最大値の信頼性を判定するために定められた判定値よりも小さく、かつ現時点の焦点評価値Aが前記判定値の2分の1よりも小さい場合、焦点評価値Aからは現時点以降も合焦判断に必要な情報が得られる確率は小さいと判断する。確率が小さいと判断し、更にフォーカスエリアAよりも大きいフォーカスエリアBからの画像データより得られる焦点評価値Bのピークが検出されていればフォーカスレンズ1fの微小ステップ移動と焦点評価値算出を終了し、最大となった焦点評価値Bが得られたフォーカスレンズ1fの位置にフォーカスレンズ1fを移動しオートフォーカス動作を終了する。
よって、従来であれば焦点評価値Aのピークが検出されなければフォーカスレンズ1fは無限遠から至近点まで全域に渡って移動してしまい、特にズームレンズの位置がテレ側にあるほどフォーカスレンズの可動範囲が広くなるためオートフォーカス処理に時間を要していたが、上述の条件を満たす場合には処理を終了させ、時間短縮することを実現している。
【0037】
一方、条件B、条件Cを満たさなければ、焦点評価値Bのピーク検出処理が行われる。先ず、評価値Bが焦点評価値Bの最大値を記憶している最大値Bよりも大きいか否かを検出する(S35)。大きければ最大値Bをその時点での評価値Bの値とし(S37)、最大となった焦点評価値Bが得られたフォーカスレンズ1fの位置を示すように位置ポインタBを更新する(S39)。ステップS35において、評価値Bが最大値Bよりも大きくなければステップS37、S39は行わない。
【0038】
次に、評価値Bが1V期間前の焦点評価値Bを記憶している前評価値Bよりも小さいか否かを検出する(S41)。小さければカウンタjをインクリメントし(S43)、カウンタjが所定値KBよりも大きいか否かを検出する(S45)。大きければ、焦点評価値Bが最大となってからKB回連続して減少したことになり、焦点評価値Bがピークを示すフォーカスレンズ1fの位置が検出されたことを示すフラグBをセットし(S47)、大きくなければステップS47は行わない。一方、ステップS41において、評価値Bが前評価値Bよりも小さくなければカウンタjをリセットする(S49)。
【0039】
次にフォーカスレンズ1fが被写体距離の至近点まで移動することにより移動が終了したか否かを検出する(S51)。移動が終了していなければ前評価値Aとして評価値Aを記憶し(S53)、前評価値Bとして評価値Bを記憶し(S53)、ステップS11の前段に移行することによりオートフォーカス処理を続行する。移動が終了していれば、最大値Aが所定の閾値よりも大きいか否かを検出する(S57)。大きければ、合焦判断に必要な焦点評価値が得られたとしてフォーカスレンズ1fの合焦位置を位置ポインタAが示す位置に設定し(S59)、フォーカスレンズ1fを該合焦位置に移動し(S61)、オートフォーカス処理を終了する。大きくなければ、合焦判断に必要な焦点評価値が得られなかったとしてフォーカスレンズ1fの合焦位置を強制的に被写体距離2mの位置に設定し(S63)、フォーカスレンズ1fを該合焦位置に移動し(S61)、オートフォーカス処理を終了する。
【0040】
以上、本発明の実施の形態について説明したが、ズーム光学系を具備しない電子スチルカメラでは、ステップS31に示した条件Bにおける「ズームレンズ1zの位置が所定位置よりもテレ側」という条件を外し、本発明を実施することができる。
【0041】
【発明の効果】
本発明によれば、ある一定条件を満たす場合には処理を終了させ、時間短縮することにより、オートフォーカス処理の高速化が実現でき、その効果は大である。
【図面の簡単な説明】
【図1】本発明の実施例である電子スチルカメラを示した機能ブロック図である。
【図2】本発明の実施例である電子スチルカメラの動作を示した説明図である。
【図3】本発明の実施例である電子スチルカメラの動作を示したフローチャートである。
【図4】本発明の実施例である電子スチルカメラの動作を示したフローチャートである。
【図5】本発明の実施例である電子スチルカメラの動作を示したフローチャートである。
【図6】本発明の実施例である電子スチルカメラの動作を示したフローチャートである。
【図7】本発明の実施例である電子スチルカメラの動作を示した説明図である。
【符号の説明】
1z ズームレンズ
1f フォーカスレンズ
2 撮像素子
3 A/D変換器
4 信号処理回路
5 DRAM
6 処理回路
8 ゲート回路
9 輝度信号生成回路9
10 HPF10
11 デジタル積分器11
12 CPU12
13 フォーカスモータ
14 ズームエンコーダ

Claims (2)

  1. 撮像素子から得られる撮像映像信号の高域成分レベルを焦点評価値として検出することによりオートフォーカス動作を行うオートフォーカスカメラにおいて、
    第1フォーカスエリアと前記第1フォーカスエリアを含み且つ前記第1フォーカスエリアよりも大きい第2フォーカスエリアを撮像画面上に設定するフォーカスエリア設定手段と、
    前記第1フォーカスエリアから得られる撮像映像信号の高域成分レベルを第1焦点評価値として検出し、前記第2フォーカスエリアから得られる撮像映像信号の高域成分レベルを第2焦点評価値として検出する焦点評価値検出手段と、
    フォーカスレンズを遠点側から近点側に所定ステップで移動せしめ、各ステップ毎の前記フォーカスレンズの位置と前記第1焦点評価値および前記第2焦点評価値との関係を得るサーチ手段と、
    前記サーチ手段の動作中に、前記フォーカスレンズが第1所定位置よりも近点側に位置し、且つ前記サーチ手段によって前記第2焦点評価値のピークが既に検出された状態で、少なくとも第1閾値よりも小さい前記第1焦点評価値が得られ、且つそれまでに得られた前記第1焦点評価値の最大値が第2閾値よりも小さいことを検出することにより前記サーチ手段の動作中断を判断する動作中断判断手段と、
    前記動作中断判断手段の判断結果を基に前記サーチ手段の動作を中断させた後、前記サーチ手段によって得られたフォーカスレンズの位置と前記第2焦点評価値との関係を用い、前記第2焦点評価値がピークとなった位置に前記フォーカスレンズを移動させる合焦手段と、
    を具備することを特徴とするオートフォーカスカメラ。
  2. ズームレンズをさらに具備し、前記動作中断判断手段は、前記ズームレンズが第2所定位置よりもテレ側にあることも前記サーチ手段の動作中断を判断する条件とすることを特徴とする請求項1に記載のオートフォーカスカメラ。
JP2001216709A 2001-07-17 2001-07-17 オートフォーカスカメラ Expired - Fee Related JP3869689B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001216709A JP3869689B2 (ja) 2001-07-17 2001-07-17 オートフォーカスカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001216709A JP3869689B2 (ja) 2001-07-17 2001-07-17 オートフォーカスカメラ

Publications (2)

Publication Number Publication Date
JP2003029134A JP2003029134A (ja) 2003-01-29
JP3869689B2 true JP3869689B2 (ja) 2007-01-17

Family

ID=19051150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001216709A Expired - Fee Related JP3869689B2 (ja) 2001-07-17 2001-07-17 オートフォーカスカメラ

Country Status (1)

Country Link
JP (1) JP3869689B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302053B (zh) * 2021-11-24 2023-12-05 影石创新科技股份有限公司 摄像设备的镜头对焦方法、装置、摄像设备及存储介质

Also Published As

Publication number Publication date
JP2003029134A (ja) 2003-01-29

Similar Documents

Publication Publication Date Title
JP3992992B2 (ja) 被写体像取得装置
JP4674471B2 (ja) デジタルカメラ
JP4525089B2 (ja) オートフォーカスシステム
US7847856B2 (en) Digital camera
JP3679693B2 (ja) オートフォーカスカメラ
EP1679546B1 (en) Focus control method and focus control apparatus
TWI245188B (en) Image pick-up device and its auto-focus control method
JP4390286B2 (ja) カメラ及びその制御方法及びプログラム及び記憶媒体
US8254773B2 (en) Image tracking apparatus and tracking evaluation method
JP2004077517A (ja) オートフォーカス機能付きカメラ
JP4596246B2 (ja) オートフォーカスシステム
JP2007225897A (ja) 合焦位置決定装置及び方法
JP4046276B2 (ja) デジタルカメラ
JP3869689B2 (ja) オートフォーカスカメラ
JP2009092961A (ja) 合焦位置制御装置、及び合焦位置制御方法、合焦位置制御プログラム
JP2006157604A (ja) カメラ装置及び自動撮影制御プログラム
JP2011013499A (ja) 撮像装置
JP2009198975A (ja) 焦点調整装置およびその焦点調整方法
JP4496051B2 (ja) 撮影装置
JP2006243609A (ja) オートフォーカス装置
JP4744253B2 (ja) オートフォーカスカメラ
JP2006145641A (ja) カメラ装置及び合焦領域制御プログラム
JP6493594B2 (ja) 撮像装置
JP4308494B2 (ja) カメラ、被写体像取得装置、自動合焦システムおよび自動合焦方法
JP2007299007A (ja) 被写体像取得装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050214

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061013

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees