JP4516035B2 - 合焦位置決定方法および装置 - Google Patents

合焦位置決定方法および装置 Download PDF

Info

Publication number
JP4516035B2
JP4516035B2 JP2006032088A JP2006032088A JP4516035B2 JP 4516035 B2 JP4516035 B2 JP 4516035B2 JP 2006032088 A JP2006032088 A JP 2006032088A JP 2006032088 A JP2006032088 A JP 2006032088A JP 4516035 B2 JP4516035 B2 JP 4516035B2
Authority
JP
Japan
Prior art keywords
evaluation value
focus
frequency
image
focus evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006032088A
Other languages
English (en)
Other versions
JP2007212724A (ja
JP2007212724A5 (ja
Inventor
晃治 古林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006032088A priority Critical patent/JP4516035B2/ja
Priority to US11/704,238 priority patent/US7609319B2/en
Publication of JP2007212724A publication Critical patent/JP2007212724A/ja
Publication of JP2007212724A5 publication Critical patent/JP2007212724A5/ja
Application granted granted Critical
Publication of JP4516035B2 publication Critical patent/JP4516035B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、自動焦点合わせ機構を備えたデジタルスチルカメラ等の撮影装置における合焦位置決定方法に関するものである。
また本発明は、上述のような合焦位置決定方法を実施するための装置に関するものである。
従来、デジタルスチルカメラやデジタルビデオカメラ等の撮影装置において、撮影レンズを、所定の被写体に合焦するように合焦動作させる自動焦点合わせ(以下、「AF」と称する)機構が広く適用されている。この種のAF機構としては、撮影装置から被写体に赤外線を照射し、被写体で反射して撮影装置に戻って来た赤外線の角度を検出することによって被写体までの距離を測定して、その測定距離位置にある物体に合焦する位置に撮影レンズを設定するようにしたいわゆるアクティブ方式のものや、撮影装置の撮像手段が出力する画像信号を処理して合焦状態を検出し、最良の合焦状態が得られる位置に撮影レンズを設定するようにしたいわゆるパッシブ方式のものが知られている。
上記パッシブ方式のAF機構としては、像の横ズレ量から合焦状態を判別するようにした位相検出方式と、像のコントラストから合焦状態を判別するようにしたコントラスト検出方式が広く知られており、例えば特許文献1には後者の方式を採用したAF機構の一例が記載されている。このコントラスト検出方式のAF機構は、撮影レンズを合焦のための動作範囲内で移動させ、そのとき撮像手段の出力信号が示す撮影画像のコントラストに対応する合焦評価値がピーク値を取った位置に撮影レンズを設定するようにしたものである。
なお特許文献1には、上記コントラスト検出方式のAFを行うとともに、撮像手段が出力する画像信号が示す被写体の特徴量(人物の顔のサイズや、両目の間の距離等)に基づいて撮影レンズから被写体までの距離を演算し、この演算された距離とAF機構が求めた合焦位置の双方に基づいて最終的な合焦位置を決定するようにした合焦位置決定方法も記載されている。
また特許文献2には、上記コントラストを検出するために撮影画像データを高周波フィルタに通して高周波成分を抽出するようにした撮影装置において、カットオフ周波数が互いに異なる2つの高周波フィルタを用意しておき、合焦評価値を求める際に粗サーチとそれに引き続く詳細サーチを行い、それら両サーチにおいて上記2つの高周波フィルタを使い分けるようにした撮影装置が記載されている。
特開2004−320286号公報 特開2004−325517号公報
ところで、上述したコントラスト検出方式のAF機構を搭載した撮影装置でスチル写真などを撮影する場合、撮影画像に人物のアップの顔が含まれるような場合は、ピントが外れた画像が撮影されてしまうことがある。
本発明は上記の問題点に鑑みてなされたものであり、コントラスト検出方式のAF機構を搭載した撮影装置等において、撮影画像に人物のアップの顔が含まれるような場合でも、被写体に正しく合焦させることができる合焦位置決定方法を提供することを目的とする。
また本発明は、そのような合焦位置決定方法を実施できる合焦位置決定装置を提供することを目的とする。
本発明による第1の合焦位置決定方法は、撮影画像に人物の顔等の特定の被写体が含まれるか否かに応じて、撮影画像のコントラストを検出するために画像データを通す高周波フィルタとして、カットオフ周波数が異なるものを使い分けるようにしたものであり、より具体的には、
撮影レンズを合焦のための動作範囲内で光軸方向に移動させ、そのとき撮像手段の出力信号が示す撮影画像のコントラストに対応する合焦評価値がピーク値を取った位置に撮影レンズを設定することによって自動焦点合わせを行う機構を備えた撮影装置において、
前記撮像手段の出力が示す撮像画像に低コントラストの特定の被写体が含まれるか否かを判別し、
前記撮像画像に前記特定の被写体が含まれない場合は、その撮影画像を示す画像データを、第1のカットオフ周波数以上の高周波成分のみを通過させる第1の高周波フィルタに通し、そこを通過した高周波成分に基づいて前記合焦評価値を求め、
撮像画像に前記特定の被写体が含まれる場合は、その撮影画像を示す画像データを、前記第1のカットオフ周波数よりも低い第2のカットオフ周波数以上の高周波成分のみを通過させる第2の高周波フィルタに通し、そこを通過した高周波成分に基づいて前記合焦評価値を求めることを特徴とするものである。
また、本発明による第2の合焦位置決定方法は、上述のように特定の被写体が含まれる場合に第2の高周波フィルタを通過した高周波成分に基づいて求められた合焦評価値が信頼し得るものであるか判別し、所定の信頼限界以上である場合だけ、そのまま前記ピーク値の検出のために供するようにしたものであり、より詳しくは、
撮影レンズを合焦のための動作範囲内で光軸方向に移動させ、そのとき撮像手段の出力信号が示す撮影画像のコントラストに対応する合焦評価値がピーク値を取った位置に撮影レンズを設定することによって自動焦点合わせを行う機構を備えた撮影装置において、
前記撮像手段の出力が示す撮像画像に低コントラストの特定の被写体が含まれるか否かを判別し、
前記撮像画像に前記特定の被写体が含まれない場合は、その撮影画像を示す画像データを、第1のカットオフ周波数以上の高周波成分のみを通過させる第1の高周波フィルタに通し、そこを通過した高周波成分に基づいて前記合焦評価値を求め、
撮像画像に前記特定の被写体が含まれる場合は、その撮影画像を示す画像データを、前記第1のカットオフ周波数よりも低い第2のカットオフ周波数以上の高周波成分のみを通過させる第2の高周波フィルタに通し、そこを通過した高周波成分に基づいて未確定合焦評価値を求め、
この未確定合焦評価値が所定の信頼限界以上であるときは、該未確定合焦評価値をそのまま、特定の被写体が含まれる場合の前記合焦評価値とし、
前記未確定合焦評価値が所定の信頼限界を下回るときは、前記画像データを前記第1の高周波フィルタに通し、該第1の高周波フィルタを通過した高周波成分に基づいて前記合焦評価値を求めて、それを特定の被写体が含まれる場合の前記合焦評価値とすることを特徴とするものである。
なお、これらの本発明による合焦位置決定方法においては、撮像手段の出力信号から前記特定の被写体のサイズを求め、この被写体のサイズが大であるほど前記第2のカットオフ周波数を低下させることが望ましい。
また前記特定の被写体は、人物の顔、またはその一部を構成する部位であることが望ましい。
他方、本発明による第1の合焦位置決定装置は、前記第1の合焦位置決定方法を実施するためのものであり、
撮影レンズを合焦のための動作範囲内で光軸方向に移動させ、そのとき撮像手段の出力信号が示す撮影画像のコントラストに対応する合焦評価値がピーク値を取った位置に撮影レンズを設定することによって自動焦点合わせを行う機構を備えた撮影装置において、
前記撮影画像を示す画像データを受けて、第1のカットオフ周波数以上の高周波成分のみを通過させる第1の高周波フィルタと、
前記撮影画像を示す画像データを受けて、前記第1のカットオフ周波数よりも低い第2のカットオフ周波数以上の高周波成分のみを通過させる第2の高周波フィルタと、
前記撮像手段の出力が示す撮像画像に、低コントラストの特定の被写体が含まれるか否かを判別する判別手段と、
この判別手段が、撮像画像に前記特定の被写体が含まれないと判別した場合は、前記画像データを前記第1の高周波フィルタに入力させる一方、含まれると判別した場合は、前記画像データを前記第2の高周波フィルタに入力させる制御手段と、
前記第1または第2の高周波フィルタが出力する高周波成分に基づいて前記合焦評価値を求める手段とが設けられてなるものである。
また、本発明による第2の合焦位置決定装置は、前記第2の合焦位置決定方法を実施するためのものであり、
第1の合焦位置決定装置が有するものとそれぞれ同様の第1の高周波フィルタ、第2の高周波フィルタ、判別手段、制御手段、および合焦評価値を求める手段に加えて、
前記第2の高周波フィルタが出力する高周波成分に基づいて求められた合焦評価値が所定の信頼限界以上であるか否かを判別し、信頼限界以上であるときは、該合焦評価値をそのまま前記ピーク検出のために出力させる一方、該合焦評価値が所定の信頼限界を下回るときは、前記画像データを前記第1の高周波フィルタに入力させ、そのとき該第1の高周波フィルタが出力する高周波成分に基づいて前記合焦評価値を求める手段が求めた合焦評価値を前記ピーク検出のために出力させる合焦評価値選択手段が設けられてなるものである。
なお、これらの本発明による合焦位置決定装置においては、撮像手段の出力信号から前記特定の被写体のサイズを求め、この被写体のサイズが大であるほど前記第2のカットオフ周波数を低下させるフィルタ制御手段が設けられていることが望ましい。
また前記判別手段は、前記特定の被写体として、人物の顔またはその一部を構成する部位が前記撮像画像に含まれるか否かを判別するものであることが望ましい。
本発明者の研究によると、先に述べたピント外れの問題は、撮影画像に人物の顔等のコントラストが低い被写体が含まれていると、撮影画像のコントラストに基づいて合焦評価値のピークを求めるとき、そのピーク検出精度が低下することに起因していることが判明した。そして本発明者は、より低コントラストの被写体を撮影する場合は、前述の高周波フィルタとして、カットオフ周波数がより低いものを使いれば合焦評価値のピークをより正確に検出可能となることを見出した。
この新しい知見に鑑みて、本発明による第1の合焦位置決定方法は、前述した通り、撮像手段の出力が示す撮像画像に低コントラストの特定の被写体が含まれるか否かを判別し、撮像画像に該特定の被写体が含まれない場合は、その撮影画像を示す画像データを、第1のカットオフ周波数以上の高周波成分のみを通過させる第1の高周波フィルタに通し、そこを通過した高周波成分に基づいて前記合焦評価値を求め、その一方、撮像画像に前記特定の被写体が含まれる場合は、その撮影画像を示す画像データを、前記第1のカットオフ周波数よりも低い第2のカットオフ周波数以上の高周波成分のみを通過させる第2の高周波フィルタに通し、そこを通過した高周波成分に基づいて合焦評価値を求めるようにしたので、上記特定の被写体を比較的コントラストが低い人間の顔等としておけば、合焦評価値のピークをより正確に検出して、被写体に高精度で合焦させることが可能になる。
本発明による第2の合焦位置決定方法も、基本的には上記と同様に、撮像画像に特定の被写体が含まれない場合は第1の高周波フィルタを通過した高周波成分に基づいて、撮像画像に特定の被写体が含まれる場合は第2の高周波フィルタを通過した高周波成分に基づいて合焦評価値を求めるようにしているので、上記と同様の効果を奏することができる。その上でさらに、撮像画像に特定の被写体が含まれる場合に求められた合焦評価値が信頼できるものであるかどうかを判別し、信頼できない場合は、第1の高周波フィルタを通過した高周波成分に基づいて求められた合焦評価値をピーク検出つまり撮影レンズの位置設定に利用するようにしているので、カットオフ周波数が比較的低い第2の高周波フィルタを用いたことにより合焦評価値のピーク検出が不正になって合焦が不適切になることを防止可能となる。
なお、上記合焦評価値のピークを検出する精度は、一般に、人間の顔等の比較的低コントラストの被写体が撮影画像の中で大きな面積を占めているほど、より顕著に低下する傾向にある。そこで、本発明の合焦位置決定方法において特に、撮像手段の出力信号から前記特定の被写体のサイズを求め、この被写体のサイズが大であるほど第2のカットオフ周波数を低下させるようにした場合は、コントラストが低い被写体がより大きく写っているために合焦精度が低下しやすいことを、第2のカットオフ周波数をより低くすることで補償して、この場合も高い合焦精度を実現できるようになる。
他方、本発明による第1の合焦位置決定装置は前述した通り、
撮影画像を示す画像データを受けて、第1のカットオフ周波数以上の高周波成分のみを通過させる第1の高周波フィルタと、
前記撮影画像を示す画像データを受けて、前記第1のカットオフ周波数よりも低い第2のカットオフ周波数以上の高周波成分のみを通過させる第2の高周波フィルタと、
前記撮像手段の出力が示す撮像画像に、低コントラストの特定の被写体が含まれるか否かを判別する判別手段と、
この判別手段が、撮像画像に前記特定の被写体が含まれないと判別した場合は、前記画像データを前記第1の高周波フィルタに入力させる一方、含まれると判別した場合は、前記画像データを前記第2の高周波フィルタに入力させる制御手段と、
前記第1または第2の高周波フィルタが出力する高周波成分に基づいて前記合焦評価値を求める手段とを有しているので、前述した本発明の第1の合焦位置決定方法を実施できるものとなる。
また、本発明による第2の合焦位置決定装置は前述した通り、第1の合焦位置決定装置が有するものとそれぞれ同様の第1の高周波フィルタ、第2の高周波フィルタ、判別手段、制御手段、および合焦評価値を求める手段に加えて、
前記第2の高周波フィルタが出力する高周波成分に基づいて求められた合焦評価値が所定の信頼限界以上であるか否かを判別し、信頼限界以上であるときは、該合焦評価値をそのまま前記ピーク検出のために出力させる一方、該合焦評価値が所定の信頼限界を下回るときは、前記画像データを前記第1の高周波フィルタに入力させ、そのとき該第1の高周波フィルタが出力する高周波成分に基づいて前記合焦評価値を求める手段が求めた合焦評価値を前記ピーク検出のために出力させる合焦評価値選択手段が設けられてなるものであるので、前述した本発明の第2の合焦位置決定方法を実施できるものとなる。
また、これらの本発明による合焦位置決定装置において特に、撮像手段の出力信号から前記特定の被写体のサイズを求め、この被写体のサイズが大であるほど前記第2のカットオフ周波数を低下させるフィルタ制御手段が設けられている場合は、前述のようにコントラストが低い被写体がより大きく写っているために合焦精度が低下しやすいことを、第2のカットオフ周波数をより低くすることで補償して、この場合も高い合焦精度を実現可能となる。
以下、図面を参照して本発明の実施形態を詳細に説明する。図1および図2は、本発明の第1の実施形態による合焦位置決定方法を実施するデジタルスチルカメラ(以下、単にデジタルカメラという)の一例を示すものであり、それぞれ背面側から、前面側から見た状態を示している。
図1に示す通りこのデジタルカメラ1のボディ本体10の背面には、撮影者による操作のためのインターフェースとして、動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下矢印レバー13、左右矢印ボタン14、Back(戻る)ボタン15、表示切替ボタン16が設けられ、さらに撮影のためのファインダ17および、撮影並びに再生のための液晶モニタ18が設けられている。またボディ本体10の上面には、シャッターボタン19が設けられている。
また図2に示すようにボディ本体10の前面には、撮影レンズ20、レンズカバー21、電源スイッチ22、ファインダ窓23、フラッシュ24、およびセルフタイマーランプ25が設けられている。
動作モードスイッチ11は、静止画撮影モード、動画撮影モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。メニュー/OKボタン12は、押下することによって、撮影モード、フラッシュ発光モード、記録画素数や感度等の設定を行うための各種メニューを液晶モニタ18に表示させたり、液晶モニタ18に表示されたメニューに基づく選択・設定を確定させたりするためのボタンである。
ズーム/上下矢印レバー13は、上下方向に倒すことによって、撮影時は望遠/広角の調整を行い、各種設定時は液晶モニタ18に表示されるメニュー画面中のカーソルを上下に移動させるためのレバーである。左右矢印ボタン14は、各種設定時に液晶モニタ18に表示されるメニュー画面中のカーソルを左右に移動させるためのボタンである。
Back(戻る)ボタン15は、押下することによって各種設定操作を中止し、1つ前の画面に戻るためのボタンである。表示切替ボタン16は、押下することによって液晶モニタ18の表示のON/OFF、各種ガイド表示、文字表示のON/OFF等を切り替えるためのボタンである。
以上説明した各ボタンおよびレバーの操作によって設定された内容は、液晶モニタ18中の表示や、ファインダ内のランプ、スライドレバーの位置等によって確認可能となっている。また液晶モニタ18は、撮影の際に被写体確認用のスルー画を表示することにより、電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。
図3は、このデジタルカメラ1の電気的構成を示すブロック図である。同図に示される通りこのデジタルカメラ1は、撮影した画像の画像データを、一例としてExif形式の画像ファイルに変換して、本体に着脱可能な外部記録メディア70へ記録する。画像ファイルには、画像データの他に付帯情報が格納される。
このデジタルカメラ1には操作系として、前述の動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下矢印レバー13、左右矢印ボタン14、Back(戻る)ボタン15、表示切替ボタン16、シャッターボタン19および電源スイッチ22に加えて、これらのスイッチ類の操作内容をCPU(中央演算装置)75に伝えるためのインターフェース部分である操作系制御部74が設けられている。
また撮影レンズ20を構成するものとして、フォーカスレンズ20aおよびズームレンズ20bが設けられている。それらのレンズは各々、モータとモータドライバからなるフォーカスレンズ駆動部51、同様のズームレンズ駆動部52によって駆動され、光軸方向に移動可能である。フォーカスレンズ駆動部51はAF処理部62から出力されるフォーカス駆動量データに基づいてフォーカスレンズ20aの移動を、そしてズームレンズ駆動部52はズーム/上下矢印レバー13の操作量データに基づいてズームレンズ20bの移動を制御する。
また絞り54は、モータとモータドライバとからなる絞り駆動部55によって駆動される。この絞り駆動部55は、AE(自動露出)/AWB(オートホワイトバランス)処理部63から出力される絞り値データに基づいて絞り径の調整を行う。
シャッター56はメカニカルシャッタであり、モータとモータドライバとからなるシャッター駆動部57によって駆動される。シャッター駆動部57は、シャッターボタン19の押下により発生する信号と、AE/AWB処理部63から出力されるシャッター速度データとに応じて、シャッター56の開閉の制御を行う。
上記光学系の後方には、撮影素子であるCCD58を有している。CCD58は、多数の受光素子が2次元的に配列されてなる光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイ(図示せず)と、R,G,B各色のフィルタが規則的に配列されてなるカラーフィルタレイ(図示せず)とが配置されている。CCD58は、CCD制御部59から供給される垂直転送クロック及び水平転送クロックに同期して、画素毎に蓄積された電荷を1ラインずつシリアルのアナログ画像信号として出力する。各画素において電荷を蓄積する時間、すなわち露出時間は、CCD制御部59から与えられる電子シャッター駆動信号によって決定される。
CCD58が出力するアナログ画像信号は、アナログ信号処理部60に入力される。このアナログ信号処理部60は、アナログ信号のノイズを除去する相関2重サンプリング回路(CDS)と、アナログ信号のゲインを調節するオートゲインコントローラ(AGC)と、アナログ信号をデジタル信号に変換するA/Dコンバータ(ADC)とからなる。このデジタル信号に変換された画像データは、画素毎にR,G,Bの濃度値を持つCCD−RAWデータである。
タイミングジェネレータ72はタイミング信号を発生させるものであり、このタイミング信号がシャッター駆動部57、CCD制御部59、アナログ信号処理部60に入力されて、シャッターボタン19の操作と、シャッター56の開閉、CCD58の電荷の取込み、アナログ信号処理部60の処理の同期が取られる。フラッシュ制御部73は、フラッシュ24の発光動作を制御する。
画像入力コントローラ61は、上記アナログ信号処理部60から入力されたCCD−RAWデータをフレームメモリ68に書き込む。このフレームメモリ68は、画像データに対して後述の各種デジタル画像処理(信号処理)を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うSDRAM(Synchronous Dynamic Random Access Memory)から構成されている。
表示制御部71は、フレームメモリ68に格納された画像データをスルー画として液晶モニタ18に表示させるためのものであり、輝度(Y)信号と色(C)信号を一緒にして1つの信号としたコンポジット信号に変換して、液晶モニタ18に出力する。スルー画は、撮影モードが選択されている間、所定間隔で撮影される。
AF処理部62及びAE/AWB処理部63は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、シャッターボタン19が半押しされることによって発生する半押し信号を検出したCPU75がCCD58にプレ撮影を実行させた結果、フレームメモリ68に格納された画像データによる画像である。
AF処理部62は、上記プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する。本実施形態においては、焦点位置の検出方式として、ピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出する前述のパッシブ方式が適用されている。なおこの点については、後にさらに詳しく説明する。
AE/AWB処理部63は、上記プレ画像に基づいて被写体輝度を測定し、絞り値やシャッター速度等を決定し、絞り値データやシャッター速度データを出力するとともに(AE)、撮影時のホワイトバランスを自動調整する(AWB)。
画像処理部64は、本画像の画像データに対してガンマ補正,シャープネス補正,コントラスト補正などの画質補正処理を施すとともに、CCD−RAWデータを、輝度信号であるYデータと、青色色差信号であるCbデータ及び赤色色差信号であるCrデータとからなるYCデータに変換するYC処理を行う。この本画像とは、シャッターボタン19が全押しされることによって実行される本撮影においてCCD58から取り込まれ、アナログ信号処理部60、画像入力コントローラ61経由でフレームメモリに格納された画像データによる画像である。本画像の画素数の上限はCCD58の画素数によって決定されるが、例えば、ファイン、ノーマルなどの設定により、記録画素数を変更することができる。一方、スルー画やプレ画像の画素数は本画像よりも少なく、例えば、本画像の1/16程度の画素数で取り込まれる。
圧縮/伸長処理部67は、画像処理部64によって補正・変換処理が行われた本画像のデータに対して、例えばJPEGなどの圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Exifフォーマット等に基づいて付帯情報が格納されたタグが付加される。またこの圧縮/伸長処理部67は、再生モードにおいては、外部記録メディア70から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは液晶モニタ18に出力される。
メディア制御部69は、外部記録メディア70にアクセスして画像ファイルの書き込みと読み込みの制御を行う。
CPU75は、動作モードスイッチ11等の操作系やAF処理部62等の各種処理部からの信号に応じて、デジタルカメラ1の本体各部を制御する。またデータバス76は、画像入力コントローラ61、各種処理部62〜67、フレームメモリ68、各種制御部69、71、およびCPU75に接続されており、このデータバス76を介してデジタル画像データ等のやり取りが行われる。
以下、上記構成のデジタルカメラ1によって撮影がなされるとき、CPU75によって制御される処理について、図4を参照して説明する。なお、この撮影がなされるときAF処理部62やAE/AWB処理部63等が行う基本的な処理は上に説明した通りであり、ここでは、特に各部の処理については必要の無い限り省略して、CPU75によって制御される処理の流れを中心に説明する。
まず図4に示すステップP1で処理がスタートすると、次にステップP2において動作モードが撮影モードであるか再生モードであるかが判別される。ここで、動作モードスイッチ11で指定されていた動作モードが再生モードであると判別された場合、次にステップP12の再生処理がなされる。この再生処理は、前述のように外部記録メディア70から画像ファイルを読み出し、それが示す画像を液晶モニタ18に出力させる処理である。この再生処理が終了すると、処理の流れは後述するステップP10に移行する。
一方、上記ステップP2において動作モードが撮影モードであると判別された場合、次にステップP3においてスルー画の表示がなされる。このスルー画の表示とは、前述のプレ画像を液晶モニタ18に表示する処理である。次にステップP4において、シャッターボタン19が半押しされたか否かが判別され、半押しされていない場合、処理はステップP3に戻る。シャッターボタンが半押しされたと判別された場合は、次にステップP5においてAE/AWB処理部63に露出決定の指示が出され、露出決定がなされる。
次にステップP6においてAF処理部62にAF処理の指示が出され、合焦処理がなされる。なおこの合焦処理については後に詳しく説明する。合焦処理がなされると、次にステップP7において、シャッターボタン19の半押しが解除されたか否かが判別され、解除された場合、処理はステップP3に戻る。シャッターボタン19の半押しが解除されていないと判別された場合は、次にステップP8において、シャッターボタン19が全押しされたか否かが判別される。シャッターボタン19が全押しされていない場合はこのステップP8の処理が引き続き繰り返され、シャッターボタン19が全押しされたと判別された場合は、次にステップP9において撮影処理がなされる。
撮影処理が終了すると、次にステップP10において、撮影画像を液晶モニタ18に表示し、またその撮影画像を外部記録メディア70に記録する処理がなされる。次にステップP11において、電源スイッチ22が操作されて電源がオフにされたか否かが判別される。電源オフになっていない場合、処理はステップP2に戻って、次の画像を撮影するための処理が開始される。電源オフになっている場合は、ステップP13において処理が終了する。
次に、上記ステップP6におけるAF処理部62による合焦処理について、該ステップP6内の各ステップを詳しく示す図5を参照して説明する。ステップP21において処理がスタートすると、次にステップP22において、プレ画像中において人間の顔を検出する処理がなされる。この顔検出処理としては、例えば前述の特許文献1や特開2005−242640号公報等に記載されている従来公知の処理を適用することができる。
次にステップP23において顔有り、無しの判別がなされ、顔有りと判別されなかった場合は、次にステップP27において合焦評価値が算出される。以下、この処理について詳しく説明する。
まず、フォーカスレンズ駆動部51が、AF処理部62から出力される駆動データに基づいてフォーカスレンズ20aを、合焦のための動作範囲全域内で光軸方向に移動させる。本実施形態においてこの合焦動作範囲(サーチ範囲)は、一例として最至近側で60cm、最遠方側で無限遠に有る物体にそれぞれ合焦させる範囲である。このようにフォーカスレンズ20aが動かされるとき、CCD58により前述のプレ撮影が実行され、それによる画像データがフレームメモリ68に格納される。このプレ撮影はフォーカスレンズ20aの所定位置毎に段階的になされ、AF処理部62は各レンズ位置毎の撮影画像のコントラストに基づく合焦評価値を求める。そのためにAF処理部62は、上記プレ画像を示す画像データをフィルタリング処理してその高周波成分を求め、該高周波成分の絶対値を積分した値を合焦評価値とする。ここで、上述のようにして求められる、フォーカスレンズ20aの合焦動作位置毎の合焦評価値の一例を図6に示す。
なおAF処理部62は、上述のようなフィルタリング処理のために、第1のカットオフ周波数f1以上の高周波成分のみを通過させる第1の高周波フィルタ(ハイパスフィルタ)と、上記第1のカットオフ周波数f1よりも低い第2のカットオフ周波数f2以上でかつ周波数f1未満の高周波成分のみを通過させる第2の高周波フィルタ(バンドパスフィルタ)とを備えており、このステップP27では、それらのうち第1の高周波フィルタを用いてフィルタリング処理がなされる。
次にステップP28において、合焦位置の決定がなされる。ここではAF処理部62が図6に示すような特性に基づいて、合焦評価値がピーク値を取る位置Lpを補間処理等によって求め、その位置Lpを合焦位置と決定する。
なお上述の補間処理等によって合焦位置Lpを決定する他、実際に求められた合焦評価値の中で最大値を取った位置(図6の例ならば位置Lo)をピーク位置としたり、そのような最大値が2つ存在した場合はそれらの中でより至近側にある位置をピーク位置とする、等の手法を採用してもよい。
また、フォーカスレンズ20aを合焦のための動作範囲全域内で移動させることは必ずしも必要ではなく、例えば特開2004−48446号公報に示されるような「山登り合焦動作」を採用すれば、フォーカスレンズ20aを合焦のための動作範囲の中の一部で移動させるだけで済む。そのようにすれば、合焦動作の高速化が実現される。
以上のようにして合焦位置が決定したならば、次にステップP29において、フォーカスレンズ20aがその合焦位置に設定される。すなわち、フォーカスレンズ駆動部51がAF処理部62から出力されるフォーカス駆動量データに基づいてフォーカスレンズ20aを上記合焦位置まで移動させ、その位置で停止させる。こうして合焦動作が終了すると、次にステップP30において処理の流れは最初に戻される。
一方、前記ステップP23においてプレ画像中に顔が有ると判別された場合は、次にステップP24においてAF処理部62により、撮影レンズから被写体までの距離が算出される。この被写体距離の算出は、フレームメモリ68に格納されているプレ画像を示す画像データを利用してなされるものであり、例えばそこに撮影されている被写体の特徴量(顔のサイズや、両目の間の距離等)がCCD58上で何画素分に相当しているかを求め、その画素数に基づいて上記距離が算出される。なおこのような距離の算出については前記特許文献1に詳しい記載があり、本実施形態でも、そこに記載されている方法を適用することができる。
被写体距離が算出されると、次にステップP25において合焦評価値が算出される。この合焦評価値の算出は、基本的に前述のステップP27でなされるものと同様にして行われるが、この場合は前記第2の高周波フィルタを用いてフィルタリング処理がなされる。このようにして求められる、フォーカスレンズ20aの合焦動作位置毎の合焦評価値の一例を図7に黒丸で示す。
プレ画像にコントラストが低い人間の顔が写されている場合、仮に上記フィルタリング処理を、先にステップP27で用いた第1の高周波フィルタを用いて行ったとすると、そのときの合焦評価値の分布は、基本的に図7に白丸で示すようなものとなる。すなわちその場合は、例えば撮影領域の中央に顔が位置するように構図が定められて、当然顔の部分で合焦評価値がピーク値を取る筈であるのに、顔位置から外れた位置で合焦評価値がピーク値を取ることが有り得る。
それに対して、プレ画像に人間の顔が写されている場合には、上記フィルタリング処理を通過帯域がより低い第2の高周波フィルタを用いて行うようにすると、そのときの合焦評価値の分布は基本的に図7に黒丸で示すように、顔の位置で合焦評価値がピーク値を取るようになる。そこで次のステップP26において、合焦評価値がピーク値を取る位置を合焦位置と決定し、次にステップP29においてフォーカスレンズ20aをその合焦位置に設定すれば、正確に顔に合焦するようになる。
なお本実施形態において、第1のカットオフ周波数f1、第2のカットオフ周波数f2は各々、例えば空間周波数18(lp/mm)、5.3(lp/mm)に対応する値とされる。カットオフ周波数f1およびf2の値は、勿論これらの値に限られるものではないが、その程度の値に設定すれば、上述した効果を良好に得ることが可能になる。
また、本実施形態においてステップP26では、上記合焦評価値がピーク値を取る位置と、ステップP24で算出された被写体距離に合焦する位置との間に大きな差異が存在しないかどうかが判別され、差異が存在しないことを確認した上で、合焦評価値がピーク値を取る位置を合焦位置と決定する。
以上の通りにして合焦動作が終了すると、次にステップP30において処理の流れは最初に戻される。
なお、被写体の状況等によっては、合焦評価値の分布が図8に示すようになることもある。つまりここでも、第1の高周波フィルタ、第2の高周波フィルタを使用した場合の合焦評価値をそれぞれ白丸、黒丸で示してあるが、後者の場合は合焦評価値の分布に明確なピークが表れない上に、全体の合焦評価値が所定の信頼限界値を下回っている。それに対して第1の高周波フィルタを使用した場合は、主被写体である顔に合焦する位置で合焦評価値がピーク値を取るべきところ、それ以外の背景に合焦する位置で合焦評価値がピーク値を示す。このような状況下においては、低輝度側での合焦性能を保つために、第2の高周波フィルタは使用せずに第1の高周波フィルタを使用して、主被写体ではない背景に合焦させるようにしてもよい。
次に図9を参照して、本発明の第2の実施形態による合焦位置決定方法について説明する。この第2の実施形態は、上に説明した第1の実施形態とは合焦処理の一部が異なるものであり、図9はその合焦処理の流れを示すものである。なおこの図9において、図5中のステップと同等のステップには同番号を付し、それらについての説明は特に必要のない限り省略する。
本実施形態においては、図5のステップP25に代わるものとして、ステップP40および41が設けられている。そして、ステップP23で顔有りと検出された場合は、続くステップP24において被写体距離が算出された後、上記ステップP40において第2高周波フィルタが作成される。この第2高周波フィルタは既に説明したものと基本的には同様のものであり、該フィルタの基本構成はAF処理部62の内部メモリに記憶されている。そしてAF処理部62は、記憶している第2高周波フィルタのカットオフ周波数f2を、ステップP24で被写体距離を算出する際に検出した顔のサイズが大であるほど低くなるように変化させて、各合焦処理毎に個別の第2高周波フィルタを作成する。
次にステップP41において、上述のようにして作成された第2高周波フィルタを利用して合焦評価値が算出される。このときの合焦評価値算出処理は、使用する第2高周波フィルタが異なるだけで、基本的には図5のステップP25における処理と同じものである。以上の通りにして合焦評価値が算出されると、次にステップP26において、合焦評価値のピーク値に基づいて合焦位置が決定される。この処理も、図5のステップP26におけるものと同様である。
以上述べた通り本実施形態においては、顔のサイズが大であるほど第2のカットオフ周波数f2を低下させるようにしているので、コントラストが低い顔がより大きく写っているために合焦精度が低下しやすいことを、第2のカットオフ周波数f2をより低くすることで補償して、この場合も高い合焦精度を実現できるようになる。
なお、以上説明した各実施形態においては第2の高周波フィルタとして、第1のカットオフ周波数f1よりも低い第2のカットオフ周波数f2以上でかつ周波数f1未満の高周波成分のみを通過させるバンドパスフィルタを用いているが、そのようなバンドパスフィルタの代わりに、第2のカットオフ周波数f2以上の高周波成分のみを通過させるハイパスフィルタを用いても、比較的低コントラストの被写体が写されている際に合焦精度が低下することを防止可能となる。
また、以上説明した各実施形態は本発明をデジタルスチルカメラに適用したものであるが、本発明はデジタルスチルカメラに限らず、写真フィルムやビデオテープ、ビデオディクス等のその他の記録媒体に静止画あるいは動画を記録するようにした撮影装置全般に適用可能である。
本発明の第1の実施形態による合焦位置決定方法を実施するデジタルスチルカメラを背面側から見た斜視図 図1のカメラを前面側から見た斜視図 図1のカメラの電気的構成を示すブロック図 図1のカメラにおける撮影処理の流れを示すフロー図 図1のカメラにおける合焦処理の流れを示すフロー図 フォーカスレンズの合焦位置毎の合焦評価値の分布例を示すグラフ フォーカスレンズの合焦位置毎の合焦評価値の分布例を、使用する高周波フィルタが異なる場合ごとに比較して示すグラフ フォーカスレンズの合焦位置毎の合焦評価値の別の分布例を、使用する高周波フィルタが異なる場合ごとに比較して示すグラフ 本発明の第2実施形態による合焦位置決定方法における合焦処理の流れを示すフロー図
符号の説明
20 撮影レンズ
20a フォーカスレンズ
24 フラッシュ
51 フォーカスレンズ駆動部
58 CCD
59 CCD制御部
60 アナログ信号処理部
61 画像入力コントローラ
62 AF処理部
75 CPU

Claims (2)

  1. 撮影レンズを合焦のための動作範囲内で光軸方向に移動させ、そのとき撮像手段の出力信号が示す撮影画像のコントラストに対応する合焦評価値がピーク値を取った位置に撮影レンズを設定することによって自動焦点合わせを行う機構を備えた撮影装置の合焦位置決定方法において、
    前記撮像手段の出力が示す撮像画像に人物の顔またはその一部を構成する部位が含まれるか否かを判別し、
    前記撮像画像に前記人物の顔またはその一部を構成する部位が含まれない場合は、その撮影画像を示す画像データを、第1のカットオフ周波数以上の高周波成分のみを通過させる第1の高周波フィルタに通し、そこを通過した高周波成分に基づいて前記合焦評価値を求め、
    撮像画像に前記人物の顔またはその一部を構成する部位が含まれる場合は、前記顔またはその一部を構成する部位の画像内のサイズに基づいて被写体距離を算出するとともに、その撮影画像を示す画像データを、前記第1のカットオフ周波数よりも低い第2のカットオフ周波数以上の高周波成分のみを通過させる第2の高周波フィルタに通し、そこを通過した高周波成分に基づいて未確定合焦評価値を求め、
    前記未確定合焦評価値に基づく合焦位置と算出した前記被写体距離に基づく合焦位置とが略一致し前記未確定合焦評価値が所定の信頼限界以上であるときは、該未確定合焦評価値をそのまま、前記人物の顔またはその一部を構成する部位が含まれる場合の前記合焦評価値とし、
    前記未確定合焦評価値に基づく合焦位置と算出した前記被写体距離に基づく合焦位置とが略一致した場合であっても前記未確定合焦評価値が所定の信頼限界を下回るときは、前記画像データを前記第1の高周波フィルタに通し、該第1の高周波フィルタを通過した高周波成分に基づいて前記合焦評価値を求めて、それを前記人物の顔またはその一部を構成する部位が含まれる場合の前記合焦評価値とする方法であって、
    前記人物の顔またはその一部を構成する部位のサイズが大であるほど前記第2のカットオフ周波数を低下させることを特徴とする合焦位置決定方法。
  2. 撮影レンズを合焦のための動作範囲内で光軸方向に移動させ、そのとき撮像手段の出力信号が示す撮影画像のコントラストに対応する合焦評価値がピーク値を取った位置に撮影レンズを設定することによって自動焦点合わせを行う機構を備えた撮影装置において、
    前記撮影画像を示す画像データを受けて、第1のカットオフ周波数以上の高周波成分のみを通過させる第1の高周波フィルタと、
    前記撮影画像を示す画像データを受けて、前記第1のカットオフ周波数よりも低い第2のカットオフ周波数以上の高周波成分のみを通過させる第2の高周波フィルタと、
    前記撮像手段の出力が示す撮像画像に、人物の顔またはその一部を構成する部位が含まれるか否かを判別する判別手段と、
    該判別手段において前記顔またはその一部を構成する部位が含まれると判断された際に、前記顔またはその一部を構成する部位の画像内のサイズに基づいて被写体距離を算出する手段と、
    前記判別手段が、前記撮像画像に前記人物の顔またはその一部を構成する部位が含まれないと判別した場合は、前記画像データを前記第1の高周波フィルタに入力させる一方、含まれると判別した場合は、前記画像データを前記第2の高周波フィルタに入力させる制御手段と、
    前記第1または第2の高周波フィルタが出力する高周波成分に基づいて合焦評価値を求める手段と、
    前記第2の高周波フィルタが出力する高周波成分に基づいて求められた合焦評価値が所定の信頼限界以上であるか否かを判別し、前記合焦評価値に基づく合焦位置と算出した前記被写体距離に基づく合焦位置とが略一致し信頼限界以上であるときは、該合焦評価値をそのまま前記ピーク検出のために出力させる一方、前記合焦評価値に基づく合焦位置と算出した前記被写体距離に基づく合焦位置とが略一致した場合であっても該合焦評価値が所定の信頼限界を下回るときは、前記画像データを前記第1の高周波フィルタに入力させ、そのとき該第1の高周波フィルタが出力する高周波成分に基づいて前記合焦評価値を求める手段が求めた合焦評価値を前記ピーク検出のために出力させる合焦評価値選択手段と
    前記人物の顔またはその一部を構成する部位のサイズが大であるほど前記第2のカットオフ周波数を低下させるフィルタ制御手段と
    を備えたことを特徴とする合焦位置決定装置。
JP2006032088A 2006-02-09 2006-02-09 合焦位置決定方法および装置 Expired - Fee Related JP4516035B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006032088A JP4516035B2 (ja) 2006-02-09 2006-02-09 合焦位置決定方法および装置
US11/704,238 US7609319B2 (en) 2006-02-09 2007-02-09 Method and apparatus for determining focusing position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006032088A JP4516035B2 (ja) 2006-02-09 2006-02-09 合焦位置決定方法および装置

Publications (3)

Publication Number Publication Date
JP2007212724A JP2007212724A (ja) 2007-08-23
JP2007212724A5 JP2007212724A5 (ja) 2009-08-27
JP4516035B2 true JP4516035B2 (ja) 2010-08-04

Family

ID=38491224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006032088A Expired - Fee Related JP4516035B2 (ja) 2006-02-09 2006-02-09 合焦位置決定方法および装置

Country Status (2)

Country Link
US (1) US7609319B2 (ja)
JP (1) JP4516035B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5374065B2 (ja) 2008-04-07 2013-12-25 キヤノン株式会社 撮像装置及びその制御方法
US8717490B2 (en) * 2009-06-19 2014-05-06 Casio Computer Co., Ltd Imaging apparatus, focusing method, and computer-readable recording medium recording program
US8760563B2 (en) 2010-10-19 2014-06-24 Hand Held Products, Inc. Autofocusing optical imaging device
US8692927B2 (en) 2011-01-19 2014-04-08 Hand Held Products, Inc. Imaging terminal having focus control
US9046414B2 (en) * 2012-09-21 2015-06-02 Google Inc. Selectable lens button for a hazard detector and method therefor
JP6482247B2 (ja) * 2014-11-14 2019-03-13 キヤノン株式会社 焦点調節装置、撮像装置、焦点調節装置の制御方法、及びプログラム
US10506316B2 (en) * 2016-02-26 2019-12-10 Cordell Eldred Ebeling Outlet receptacle cover and mode throttling system
US11082606B1 (en) * 2018-09-11 2021-08-03 Apple Inc. Method and system for robust contrast based auto focus in low light

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60143068A (ja) * 1983-12-29 1985-07-29 Matsushita Electric Ind Co Ltd 自動焦点整合装置
JPH0875997A (ja) * 1994-09-07 1996-03-22 Nikon Corp 焦点検出装置
JPH09243906A (ja) * 1996-03-05 1997-09-19 Eastman Kodak Japan Kk 自動焦点合わせ装置および自動焦点合わせ方法
JPH1039198A (ja) * 1996-07-22 1998-02-13 Canon Inc 自動焦点調節装置および方法
JP2005173396A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置及び焦点検出方法及びプログラム及び記憶媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970010205B1 (ko) * 1988-05-11 1997-06-23 상요 덴기 가부시끼가이샤 영상 신호에 기초하여 초점의 자동 정합을 행하는 오토포커스 기능을 구비한 촬상장치
US6249317B1 (en) * 1990-08-01 2001-06-19 Minolta Co., Ltd. Automatic exposure control apparatus
JP3180486B2 (ja) 1993-01-06 2001-06-25 松下電器産業株式会社 自動焦点調節装置およびビデオカメラ
US5842059A (en) 1996-07-22 1998-11-24 Canon Kabushiki Kaisha Automatic focus adjusting device
JP2002334325A (ja) 2001-05-11 2002-11-22 Matsushita Electric Ind Co Ltd 認証対象撮像方法及びその装置
JP2003107335A (ja) 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
US7391461B2 (en) * 2002-03-06 2008-06-24 Canon Kabushiki Kaisha Apparatus, method and control computer program for imaging a plurality of objects at different distances
JP2004320286A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2004325517A (ja) 2003-04-21 2004-11-18 Nikon Corp 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60143068A (ja) * 1983-12-29 1985-07-29 Matsushita Electric Ind Co Ltd 自動焦点整合装置
JPH0875997A (ja) * 1994-09-07 1996-03-22 Nikon Corp 焦点検出装置
JPH09243906A (ja) * 1996-03-05 1997-09-19 Eastman Kodak Japan Kk 自動焦点合わせ装置および自動焦点合わせ方法
JPH1039198A (ja) * 1996-07-22 1998-02-13 Canon Inc 自動焦点調節装置および方法
JP2005173396A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置及び焦点検出方法及びプログラム及び記憶媒体

Also Published As

Publication number Publication date
JP2007212724A (ja) 2007-08-23
US20080012949A1 (en) 2008-01-17
US7609319B2 (en) 2009-10-27

Similar Documents

Publication Publication Date Title
US7706674B2 (en) Device and method for controlling flash
JP4444927B2 (ja) 測距装置及び方法
JP4657960B2 (ja) 撮像方法および装置
US7668451B2 (en) System for and method of taking image
JP4727534B2 (ja) 撮像装置
JP4516035B2 (ja) 合焦位置決定方法および装置
JP2007232793A (ja) 撮像装置
JP2011075675A (ja) 複眼撮像装置
JP4796007B2 (ja) 撮像装置
JP2007233113A (ja) 測距装置及び方法
JP2007235640A (ja) 撮影装置及び方法
JP4977569B2 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
US20070195190A1 (en) Apparatus and method for determining in-focus position
JP4949717B2 (ja) 合焦位置決定装置及び方法
JP2007212723A (ja) 合焦位置決定方法および装置
JP4767904B2 (ja) 撮像装置及び撮像方法
JP4925168B2 (ja) 撮像方法および装置
JP2008263478A (ja) 撮像装置
JP2007226141A (ja) 撮影装置及び方法
JP2007266692A (ja) 撮像方法および装置
JP4823964B2 (ja) 撮像装置及び撮像方法
JP2005091456A (ja) デジタルカメラ
JP4756005B2 (ja) 撮像装置及び撮像方法
JP4905797B2 (ja) 撮像装置及び撮像方法
JP5113213B2 (ja) 撮像方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090713

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090713

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100122

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100315

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100402

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100513

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees