JP5241096B2 - 撮像装置及びその制御方法及びプログラム及び記憶媒体 - Google Patents

撮像装置及びその制御方法及びプログラム及び記憶媒体 Download PDF

Info

Publication number
JP5241096B2
JP5241096B2 JP2006341939A JP2006341939A JP5241096B2 JP 5241096 B2 JP5241096 B2 JP 5241096B2 JP 2006341939 A JP2006341939 A JP 2006341939A JP 2006341939 A JP2006341939 A JP 2006341939A JP 5241096 B2 JP5241096 B2 JP 5241096B2
Authority
JP
Japan
Prior art keywords
focus detection
focus
image
lens
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006341939A
Other languages
English (en)
Other versions
JP2008152150A (ja
Inventor
英之 浜野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006341939A priority Critical patent/JP5241096B2/ja
Publication of JP2008152150A publication Critical patent/JP2008152150A/ja
Application granted granted Critical
Publication of JP5241096B2 publication Critical patent/JP5241096B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像装置におけるオートフォーカス技術に関するものである。
従来、レンズ交換式の一眼レフ電子カメラの自動焦点調節装置としては、位相差検出方式のものが用いられている。この自動焦点調節装置は、カメラ本体に設けられたオートフォーカスのための自動焦点検出装置やレンズ内又はカメラ内のモータを用いて、撮影レンズの焦点合わせ動作を行っている。
また、その他に、撮像素子からの画像信号の高周波成分によりコントラスト検知を行うコントラスト検出方式の自動焦点検出装置もある。さらに、位相差検出方式の自動焦点検出装置に加えてコントラスト検出方式の自動焦点検出装置を併用するハイブリッド方式が提案されている。
位相差検出方式の自動焦点検出装置は、デフォーカス方向やデフォーカス量を1回の焦点検出動作で知ることができるので、自動焦点検出に要する時間が少なく、レンズ交換式の一眼レフ電子カメラとして重要なレリーズタイムラグが短いという利点がある。
コントラスト検出方式の自動焦点検出装置は、撮像素子自体の信号で焦点検出を行えるので、合焦精度が高いという利点がある。
ハイブリッド方式の自動焦点検出装置は、位相差検出方式により概略位置まで撮影レンズを駆動した後、微調整をコントラスト検出で行うため、比較的迅速かつ、高精度に焦点検出を行うことができるという利点がある(特許文献1参照)。
一方で、ハイブリッド方式は、微調整のためではあるがコントラスト検出を行うため、位相差検出方式ほどには高速ではない。
その問題を解決するため、撮影の妨げにならないタイミングで、位相差検出、コントラスト検出を共に行い、両者の結果の差から、以後の撮影では位相差検出結果の補正を行うという技術が提案されている(特許文献2参照)。
このように、焦点検出精度の高い検出方式、例えばコントラスト検出方式を用いて、高速な検出方式、例えば位相差検出方式の焦点検出結果を補正することにより、次のような効果が得られる。即ち、撮影の際の焦点検出動作の高速化を損なうことなく、位相差検出方式の焦点検出結果の誤差、例えば交換レンズを含めた製造誤差、環境変化、経時変化等を補正することができる。
特開平05−64056号公報 特開2003−279843号公報
しかしながら、特許文献2に記載の、コントラスト検出を用いて位相差検出による焦点検出結果の補正を行う技術では、以下のような問題点がある。
まず、補正動作を撮影動作以外に行う必要があるため、撮影者が適宜補正動作を行う必要があり、撮影動作を煩雑にしていた。また、補正を行う際の周囲の環境(温度、湿度、姿勢など)や前回の補正を行ってからの経過期間などが、補正の精度の悪化を招いていた。特に、高速な検出方式、例えば位相差検出による焦点検出結果の経時変化については、徐々に変化していくため、十分に補正を行うことができなかった。
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、精度の高い検出方式により、高速な検出方式、例えば位相差検出方式の焦点検出結果を精度よく補正できるようにすることである。
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮影レンズを介して被写体像を撮像する撮像手段と、被写体距離に対応する情報を検出することにより前記撮影レンズの焦点検出を行う第1の焦点検出手段と、前記撮像手段により像された画像のコントラスト情報に基づいて前記撮影レンズの焦点検出を行う第2の焦点検出手段と、前記第1の焦点検出手段による焦点検出結果に基づいて前記撮影レンズを合焦位置に駆動する間に、前記撮像手段により像された画像のコントラスト情報を複数取得し、当該取得したコントラスト情報から合焦位置が検出されたときには、当該コントラスト情報と撮影レンズ位置とに基づいて、前記第1の焦点検出手段の焦点検出結果を補正するとともに、当該取得したコントラスト情報から合焦位置が検出されなかったときには、当該コントラスト情報と撮影レンズ位置とに基づく前記第1の焦点検出手段の焦点検出結果の補正を行わない補正手段と、を具備することを特徴とする。
また、本発明に係わる撮像装置の制御方法は、撮影レンズを介して被写体像を撮像する撮像手段と、被写体距離に関する情報を検出することにより前記撮影レンズの焦点検出を行う第1の焦点検出手段と、前記撮像手段により像された画像のコントラスト情報に基づいて前記撮影レンズの焦点検出を行う第2の焦点検出手段と、を備える撮像装置を制御する方法であって、前記第1の焦点検出手段による焦点検出結果に基づいて前記撮影レンズを合焦位置に駆動する間に、前記撮像手段により像された画像のコントラスト情報を複数取得し、当該取得したコントラスト情報から合焦位置が検出されたときには、当該コントラスト情報と撮影レンズ位置とに基づいて、前記第1の焦点検出手段の焦点検出結果を補正するとともに、当該取得したコントラスト情報から合焦位置が検出されなかったときには、当該コントラスト情報と撮影レンズ位置とに基づく前記第1の焦点検出手段の焦点検出結果の補正を行わない補正工程と、を具備することを特徴とする。
また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。
また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。
本発明によれば、精度の高い検出方式により、高速な検出方式、例えば位相差検出方式の焦点検出結果を精度よく補正することが可能となる。
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる自動焦点検出装置を備える撮像装置としての電子カメラの概略構成を示すブロック図であり、電子カメラがファインダ観察状態にある場合を示す。
本実施形態の電子カメラは、撮像素子を使用し、一次結像された被写体象を撮像するレンズ交換可能な一眼レフタイプのデジタルスチルカメラである。また、本実施形態の電子カメラに使用される撮影レンズは、着脱可能なオートフォーカス一眼レフカメラ用のものである。
図1において、電子カメラ100は、カメラ本体5と、カメラ本体5に着脱(交換)可能に装着される撮影レンズ1とを備える。図1では、電子カメラ100がファインダ観察状態にあり、図2では、電子カメラ100が露光状態にある。
撮影レンズ1は、焦点調節用レンズを有する撮像光学系2と、焦点調節用レンズを駆動して撮影レンズ1の焦点を合わせるレンズ駆動部3と、レンズ駆動部3を制御するレンズ制御回路4とを備える。
カメラ本体5には、中央部にクイックリターンミラーが配置されている。クイックリターンミラーは、撮影レンズ1からの光を一部は反射すると共に残りはそのまま透過させる第1のミラー6と、第1のミラー6を透過した光を反射する第2のミラー10とを備える。第1のミラー6で反射された光は、ファインダ光学系に導かれる。
ファインダ光学系は、下面に第1のミラー6に導かれた光を結像させる拡散面が、上面に結像した被写体像を集光するフレネルレンズが夫々形成されているファインダスクリーン7を備える。また、ファインダスクリーン7の上面で集光された被写体像を反射するペンタプリズム8と、ペンタプリズム8で反射された被写体像をファインダ像として観察させるファインダ9とを備える。
また、カメラ本体5は、第2のミラー10の後方に、結像光束を遮断するフォーカルプレーンシャッタ14と、撮像光学系2により結像された被写体像を光電変換するCCD又はCMOS等の撮像素子15とを備える。さらに、図示しないレリーズスイッチを有する。このレリーズスイッチは、ストローク半ばの第1ストローク位置(スイッチSW1:オン)と、フルストロークの第2ストローク位置(スイッチSW2:オン)とを備える。電子カメラは、第1ストロークでは、合焦動作を行い、第2ストロークでは、シャッタ動作を行う。
電子カメラがファインダ観察状態にある場合は、第1のミラー6及び第2のミラー10は、図1に示すように展開されており、フォーカルプレーンシャッタ14は閉じている。電子カメラが露光状態にある場合は、第1のミラー6及び第2のミラー10は、図2に示すようにミラーアップ状態にあり、撮影光路から退避している。また、フォーカルプレーンシャッタ14は開いている。
さらに、カメラ本体5は、図1に示すように、第1のミラー6を透過して第2のミラー10で反射された被写体像を検出する位相差検出タイプのAF(オートフォーカス)センサ11を備える。また、AFセンサ11の出力信号から焦点のずれを算出する第1の焦点検出部12と、第1の焦点検出部12で算出された焦点のずれを取り込んで、レンズ制御回路4に送出するカメラ制御回路13も備える。なお、カメラ制御回路13は、電子カメラ100全体の動作を制御する機能も有する。なお、位相差検出タイプのAFとは、既によく知られているように、撮影レンズ1の射出瞳を通過する光束を分割し、分割された光束により形成される被写体像の位相差を検出することにより撮影レンズ1の焦点検出を行う方式である。
レンズ制御回路4は、第1の焦点検出部12で算出された焦点のずれに基づいてレンズ駆動部3により撮像光学系2の焦点調節用レンズを駆動して、撮影レンズ1の焦点合わせを行う。
位相差検出タイプのAFセンサ11によって、撮影レンズ1のデフォーカス方向やデフォーカス量に基づいて合焦動作がすばやく行われるが、その合焦精度には、撮影レンズ1を含めた製造誤差、環境変化、経時変化等による誤差が含まれる。
また、カメラ本体5は、図2に示すように、撮影レンズ1により結像された被写体像を光電変換する撮像素子15の出力信号を処理する画像処理部16を備える。画像処理部16は、画像のコントラスト情報を取り出すと共に、ホワイトバランス処理、γ処理、カラーマトリックス処理等を行って撮像画像を形成する。また、画像処理部16から得られる画像コントラスト情報を記憶する画像情報記憶部18と、その画像コントラスト情報に基づいて焦点のずれを算出する第2の焦点検出部17も備える。また、第1の焦点検出部12による焦点検出の結果と、第2の焦点検出部17による焦点検出の結果とを記憶する記憶部19も備える。さらに、記憶部19に記憶された第1及び第2の焦点検出結果の差を用いて、第1の焦点検出結果の補正量を算出する補正量演算部20も有する。補正量演算部20で算出された補正量は、記憶部19に記憶される。
第1の焦点検出部12の検出結果に基づいてレンズ駆動部3により撮像光学系2の焦点調節用レンズを駆動して、撮影レンズ1の焦点合わせを行う。そして、焦点調節用レンズの移動の際に、カメラ制御回路13は、レンズ制御回路4と同期をとり、画像処理部16から得られる画像コントラスト情報を逐次記憶する。この一連の動作の詳細は、後述する。
図3は、図1に示す電子カメラに設けられた自動焦点検出装置によって実行される自動焦点検出処理を示すフローチャートである。
先ず、レリーズスイッチが第1ストローク位置まで押されてスイッチSW1がオンになると(ステップS1でYES)、カメラ制御回路13は、レリーズスイッチが第1ストロークにあることを「1」で示す。
フラグ1STを「1」にセットした(ステップS2)後、第1の焦点検出部12による位相差AF(自動焦点検出)を実行する(ステップS3)。
ステップS3では、第1の焦点検出部12は、AFセンサ11の出力信号から、焦点のずれ量(デフォーカス量)を算出する。この際に、第1の焦点検出部12の検出結果の補正を行う補正量が、記憶部19に記憶されていた場合、その補正量も加味して、デフォーカス量を算出する。具体的には、記憶部19には、後述する第2の焦点検出(コントラスト検出AF)によって検出された、第1の焦点検出(位相差AF)の結果を補正するための補正量が記憶されている。そのため、この補正量を第1の焦点検出部12の検出結果に加算してデフォーカス量を算出する。なお、第1の焦点検出部12の検出結果の補正を行う補正量の算出については、後述する。
ステップS4では、カメラ制御回路13は算出されたデフォーカス量に基づいて撮影レンズ1のレンズ制御回路4を介して撮影レンズ1の焦点調節用レンズを移動して、撮影レンズ1を位相差AFによる合焦位置に合わせる。
次いで、カメラ制御回路13は、フラグ1STが「1」か否かを判別する(ステップS5)。初めは、フラグ1STは「1」にセットされているので、そのままレリーズスイッチが第1ストローク位置にあり続けているか否かを判別する(ステップS5)。
ステップS5の判別の結果、レリーズスイッチが第1ストローク位置にないときは(ステップS5でNO)、ステップS1以降の処理を繰り返す。一方、レリーズスイッチが第1ストローク位置にあり続けているときは(ステップS5でYES)、レリーズスイッチが第2ストローク位置まで押されてスイッチSW2がオンになっているか否かを判別する(ステップS6)。
ステップS6の判別の結果、レリーズスイッチが第2ストローク位置にないときは、ステップS3以降の処理を繰り返す一方、レリーズスイッチが第2ストローク位置にあるときは(ステップS6でYES)ステップS7に移行する。
ステップS7では、フラグ1STが1であるかどうかを判別し、連続撮影時の2回目以降の撮影であるか否かを判別する。1回目の撮影であった場合(ステップS7でYES)、露光直前の第1の焦点検出部12(位相差AF)の検出結果を得るために、ステップS8で、位相差AFを再度行い、デフォーカス量を算出する。
その後、ステップS9では、カメラ制御回路13は撮影動作を始めるために、第1のミラー6と第2のミラー10を撮影位置(図2の位置)に退避させるためのミラーアップを行う。また、フォーカルプレーンシャッタ14を図2のように開いた状態にする。
次いで、カメラ制御回路13はフラグ1STが「1」か否かを判別する(ステップS10)。初めは、フラグ1STは「1」にセットされているので、ステップS8で行った第1の焦点検出部12(位相差AF)の検出結果のデフォーカス量に応じて、以下の一連の動作を実行する。
デフォーカス量が、微小量A以下であった場合、すなわちステップS11aでYESの場合、デフォーカス量が十分に小さく、ほぼ合焦しており、そのまま露光を行っても撮影画像には問題が無いため、そのままステップS12に移行し、露光を開始する。
デフォーカス量が、Aより大きく、ある値B以下であった場合、すなわち、ステップS11aでNO、ステップS11b−1でYESの場合、ステップS11b−2に移行し、第2の焦点検出部17で必要な情報を取得するための露光を開始する。この露光とは、撮像素子15の露光のことである。
ステップS11b−3では、ステップS8で得られたデフォーカス量に基づいて撮影レンズ1のレンズ制御回路4を介して撮像光学系2の焦点調節用レンズを移動しながら撮像素子15の露光を行う。
ステップS11b−4では、レンズ制御回路4とカメラ制御回路13が同期を取り、画像処理部16は、撮像素子15から画角中でAFセンサ11の信号が取り出される位置に対応した部分の画像を高速で読み出す。そして、撮像光学系2の焦点調節用レンズの位置に応じた画像コントラスト情報を取得し、画像情報記憶部18に記憶する。
ステップS11b−5では、ステップS8で得られたデフォーカス量に基づき、撮像光学系2の焦点調節用レンズの駆動を停止する。
第2の焦点検出部17は、ステップS11b−4で取得した画像コントラスト情報に基づいてデフォーカス量を算出する。第2の焦点検出部17のデフォーカス量算出方法については、後述する。そして、カメラ制御回路13は算出されたデフォーカス量を記憶部19に記憶する。
本実施形態では、第2の焦点検出部17のデフォーカス量の算出を撮影中に行っているが、デフォーカス量の算出のタイミングは、撮影中に限らない。第2の焦点検出部17の検出動作は、撮影時のレンズ停止位置を決めるものではないため、撮影動作中で、第2の焦点検出に必要な情報を取得し、画像情報記憶部18に記憶しさえすればよい。
ステップS11b−1〜S11b−5で画像コントラスト情報の取得が終了して、撮影レンズ1が撮像素子15に対する合焦位置に達した時点で、ステップS12に移行し、露光を開始する。
デフォーカス量がBより大きい場合、すなわち、ステップ11b−1でNOであった場合、デフォーカス量がB以下となる位置まで撮像光学系2の焦点調節用レンズの駆動を行う(ステップS11c)。その後、ステップS11b−2に移行し、画像コントラスト情報の取得を行う。
ここで、画像コントラスト情報を取得する際に、ステップS8での第1の焦点検出部12 (位相差AF)のデフォーカス量にB以下という制限を加えた理由は、次のようなものである。ステップS6でスイッチSW2がONになってから、ステップS12の露光を開始するまでのタイムラグ、所謂レリーズタイムラグが長くなり過ぎ、撮影者の使用感を損ねないようにするためである。また、ステップS11cでデフォーカス量がBより大きい場合に、レンズ駆動を行った後に画像コントラスト情報の取得を行うのも同様の理由からである。また、コントラスト検出を行う際に、ステップS8での位相差AFのデフォーカス量にAより大きいという制限を加えた理由は、画像コントラスト情報を取得するために、最低限必要なレンズ駆動量を確保するためである。
次いで、撮影レンズ1の図示しない絞りが設定絞り値まで絞り込まれ、撮像素子15の正規の駆動を行ない、電子シャッタにより露出時間を制御して露出動作を行う(ステップS12)。この時、画像処理部16によりホワイトバランス処理、γ処理、カラーマトリックス処理等を行い、撮影画像を形成する。
さらに、フォーカルプレーンシャッタ14を閉じて、遮断状態に復帰させ、撮影レンズ1の絞りを開放位置に復帰させ、そして、第1のミラー6と第2のミラー10をファインダ観察状態(ミラーダウン状態)に復帰させる(ステップS13)。
その後、フラグ1STを「0」にリセットし(ステップS13)、ステップS12で形成された撮影画像を、不揮発性メモリ等に記憶する。
続くステップS15では、撮影画像の記録終了後、レリーズスイッチがそのまま第1ストローク位置にあり続けているか否かを判別する。レリーズスイッチが第1のストローク位置を越えて元の位置に戻ったときは、本処理を終了する。一方、レリーズスイッチが第1ストローク位置にあり続けているときは(ステップS15でYES)、連続撮影を行うためにステップS3以降の処理を繰り返す。
ステップS3以降の処理において、連続撮影の場合は(ステップS15でYES)、フラグ1STが「0」にリセットされている(ステップS14)。そのため、第1の焦点検出 (位相差AF)を実行した(ステップS3)後に、ステップS7の判別により、ステップS9へと進み、ステップS10の判別により、ステップS12へと進む。これにより、第2の焦点検出部17によるデフォーカス量の算出を行わず、迅速に連続撮影を行うことができる。
なお、本実施形態では、連続撮影時には、画像コントラスト情報を取得せず、迅速な連続撮影を優先した。しかし、連続撮影時にも、画像コントラスト情報を取得する、すなわち、1STのフラグを常に1とすることにより、第1の焦点検出 (位相差AF)をより高精度に補正することができる。
また、本実施形態では、画像のコントラスト情報の取得を、直前の第1の焦点検出 (位相差AF)から得られるデフォーカス量に応じて行ったが、画像のコントラスト情報の取得に必要な時間は、被写体の輝度に大きく左右される。デフォーカス量に加えて、被写体の輝度に応じて、画像コントラスト情報の取得可否を判別することにより、撮影時のレリーズタイムラグを短いままに保ち、操作性を損ねずに補正を行うことができる。
次に、第2の焦点検出部17のデフォーカス量算出方法、及び、第1の焦点検出部12の検出結果の補正を行う補正量の算出方法について説明する。
図4に、ファインダ9により観察可能な合焦検出の範囲を撮影者に知らせる測距枠表示301と、第1の焦点検出部12(位相差AF)による焦点検出領域302と、第2の焦点検出部17による焦点検出領域303を示す。図4では、撮影範囲中の3箇所で焦点検出を行うことが可能に構成されている。その3箇所を、それぞれの測距枠表示301、焦点検出領域302,303に添え字A,B,Cを加えて示している。上述したように、第2の焦点検出領域303−Aは、第1の焦点検出領域302−Aと撮影範囲中でほぼ同等の領域で構成されている。
図5は、撮像面上の像高と合焦位置の関係を示す図である。
撮像光学系2の合焦位置は、像面歪曲などの収差により、撮像面上の像高により変化する。図5で、設計状態における撮影レンズの結像位置が実線で示されている。撮像面上の像高が0である測距点Aに対して、測距点B,Cは、合焦位置が異なる。また、設計状態での第1の焦点検出部12(位相差AF)による焦点検出結果は、撮像面上の像高に関わらず0となる。つまり、X軸となる。この撮像光学系2の合焦位置と第1の焦点検出結果のずれは、撮像レンズ1に記憶されており、焦点検出を行う際には、このずれ量を考慮に入れてレンズ駆動を行う。
一方で、実際に製造されたカメラとレンズの組み合わせにおいては、製造誤差、経時変化、環境変化の影響を受けるため、合焦位置が設計状態とは異なる。このことを示したのが図5の破線の曲線である。また、経時変化、製造誤差により、第1の焦点検出部12(位相差AF)も検出する合焦位置にずれをもつ。それを示したのが、図5の一点鎖線である。実際のカメラにおいては、第1の焦点検出部12(位相差AF)が検出する合焦位置と撮影レンズの合焦位置の関係は設計状態とは異なり、それらの差が、焦点検出誤差となる。その結果、撮像光学系2は実際の合焦位置とは異なる位置に駆動され、ピントが合っていない写真が撮影されることとなる。
図6は、撮影レンズ1の焦点調節用レンズの位置(横軸)と、画像コントラスト情報から算出されるAF評価値(縦軸)の関係を示した図である。画像コントラストが高ければ高いほど、AF評価値の値が大きくなり、AF評価値が最大を示す点が、第2の焦点検出部17による焦点検出結果となる。第2の焦点検出部17は、撮像面でのコントラストを直に検出しているため、撮影レンズ1の焦点調節用レンズの真の合焦位置とほぼ等しい。つまり、図5における製造誤差、経時変化などによる合焦位置のずれも含んだ正しい合焦位置、すなわち図5における破線で示された合焦位置を検出することができる。
本実施形態では、測距点Aにおける第1、第2の焦点検出結果の差分から補正量を算出し、その補正量をその他の測距点B,Cに適用することで、合焦位置を正しい位置にシフトすることができる。具体的には、第2の焦点検出部17により得られた製造誤差などを含んだ撮影レンズの合焦位置(図5の破線)と、製造誤差を含んだ第1の焦点検出部により得られた合焦位置(図5の一点鎖線)の像高0(測距点A)の位置での差が補正量となる。
本実施形態では、上述したように第1の焦点検出部12(位相差AF)の検出結果に基づき撮影レンズ1の焦点調節用レンズの駆動を行っている最中に、画像コントラスト情報を取得する。即ち、焦点調節用レンズの駆動中に、レンズ制御回路4とカメラ制御回路13が同期を取り、撮影レンズ1の焦点調節用レンズ位置に応じた画像コントラスト情報を取得する。そのため、レンズの駆動開始位置と第1の焦点検出部12 (位相差AF)の検出結果に基づくレンズ駆動停止位置によって、第2の焦点検出部17は、第2の焦点検出結果を算出できる場合とできない場合が存在する。
図3のステップS11b−3のレンズ駆動開始の位置が、図6に示した現在のレンズ位置であり、位相差AF結果に基づくレンズ駆動停止(S11b−5)の位置が図6におけるレンズ停止位置1であった場合、次のようになる。即ち、レンズ駆動中に、真の合焦位置を越えて停止するため、第2の焦点検出部17は、AF評価値の頂点を算出することができ、真の合焦位置(第2の焦点検出結果)を得ることができる。記憶部19に記憶された第1、2の焦点検出結果の差、すなわち、第1の焦点検出部12 (位相差AF)の検出結果に基づくレンズ停止位置1と真の合焦位置の差より、第1の焦点検出部12である位相差AFの検出結果の補正量を得ることができる。
一方、第1の焦点検出部12 (位相差AF)の検出結果に基づくレンズ駆動停止(S11b−5)の位置が図6におけるレンズ停止位置2であった場合、第2の焦点検出部17は、AF評価値の頂点を算出することができない。この場合には、第2の焦点検出部17の検出結果から、第1の焦点検出部12の検出結果の補正量を算出しない。
本実施形態における補正量算出は、撮影を行う度に必ず行うことはできない。しかし、撮影を行う際の露光直前のレンズ位置は真の合焦位置に対して無限遠側、至近側どちらにもいる可能性がある。また、位相差AFによるレンズ停止位置は、経時変化、環境変化により真の合焦位置に対してばらつく。これらのことから、第2の焦点検出部17から補正量の算出を行う機会は十分に得られる。
また、補正量の算出に際し、第2の焦点検出結果を複数用いて、第1の焦点検出部12の検出結果の補正量を算出しても良い。一般的に、第1の焦点検出部12による位相差AFは、第2の焦点検出部17による撮像面のコントラスト検出に対して、製造誤差、経時変化、環境変化、撮影回数による変化やばらつきが大きい。そのため、1度の第1、2の焦点検出結果の差では、補正量としては精度が低いことが懸念される。本実施形態では、撮影操作以外の補正モード操作を必要とせず、通常の撮影動作中に補正に必要な情報を取得することが可能であるため、複数の第2の焦点検出結果を統計的に処理し、第1の焦点検出部12の検出結果の補正を行うことに適している。
補正量は、第1、2の焦点検出部の検出結果の差だけではなく、撮影レンズや撮影時の撮影レンズの焦点距離により異なって然るべきである。本実施形態では、撮影動作中に、補正量の算出に必要な情報を取得するため、撮影レンズやその状態毎に補正値を算出することができる。これにより、焦点検出部による誤差だけでなくその他の誤差を含めた補正を、精度良く行うことができる。
また、本実施形態では、レンズ交換式の電子カメラについて述べたが、レンズ固定式の電子カメラにおいても同様に補正を行うことができる。
以上の構成により、撮影者は、位相差AFの迅速性を享受しながら、より精度の高い焦点検出結果を得ることができる。また、その際に、特別な操作を行う必要無く、通常に撮影を行うことで補正を行うことができる。
(第2の実施形態)
次に、第2の実施形態について説明する。
図7は、本発明の第2の実施形態に係わる自動焦点検出装置を備える電子カメラの概略構成を示すブロック図である。図中では、図1及び図2中の構成と同じ機能を有するものに関しては、同じ番号を付している。
図7に示した電子カメラは、ハーフミラー21を有し、ハーフミラー21は、撮影レンズ1を透過した光束を、撮像素子15と位相差検出タイプのAFセンサ11に分割している。ハーフミラー21を透過した光を撮像素子15で逐次蓄積し、それを不図示の表示装置に表示することにより、所謂電子ビューファインダーの観察状態となる。
図7に示した電子カメラは、ハーフミラー21で反射された光により位相差AFを行いながら、電子ビューファインダーを実現することができる。撮影時には、ハーフミラー21を透過した光で露光を行っても、ハーフミラーを不図示の退避機構により、退避させた状態で露光を行っても良い。
図8は、図7の電子カメラに設けられた自動焦点検出装置によって実行される自動焦点検出処理を示すフローチャートである。
先ず、レリーズスイッチが第1ストローク位置まで押されてスイッチSW1がオンになると(ステップS101でYES)、カメラ制御回路13は、レリーズスイッチが第1ストロークにあることを「1」で示す。
フラグ1STを「1」にセットした(ステップS102)後、第1の焦点検出部12による位相差AF(自動焦点検出)を実行する(ステップS103)。
ステップS103では、第1の焦点検出部12は、AFセンサ11の出力信号から、焦点のずれ量(デフォーカス量)を算出する。この際に、第1の焦点検出部12の検出結果の補正を行う補正量が、記憶部19に記憶されていた場合、その補正量も加味して、デフォーカス量を算出する。具体的には、記憶部19には、第2の焦点検出(コントラスト検出AF)によって検出された、第1の焦点検出(位相差AF)の結果を補正するための補正量が記憶されている。そのため、この補正量を第1の焦点検出部12の検出結果に加算してデフォーカス量を算出する。なお、第1の焦点検出部の検出結果の補正を行う補正量の算出については、第1の実施形態と同様である。
ステップS104では、カメラ制御回路13は、フラグ1STが「1」か否かを判別する。初めは、フラグ1STは「1」にセットされているので、ステップS105aに移行する。
第1の焦点検出結果によるデフォーカス量が、微小量A以下であった場合、すなわちステップS105aでYESの場合、ステップS106に移行する。即ち、デフォーカス量が十分に小さく、ほぼ合焦しており、そのまま露光を行っても撮影画像には問題が無いため、そのままステップS106に移行する。
デフォーカス量が、Aより大きく、ある値B以下であった場合、すなわち、ステップS105aでNO、ステップS105b−1でYESの場合、ステップS105b−2に移行し、第2の焦点検出部17に必要な情報を取得するための露光を開始する。この露光とは、撮像素子15の露光のことである。
ステップS105b−3では、ステップS103で得られたデフォーカス量に基づいて撮影レンズ1のレンズ制御回路4を介して撮像光学系2の焦点調節用レンズを移動しながら撮像素子15の露光を行う。
ステップS105b−4では、レンズ制御回路4とカメラ制御回路13が同期を取り、画像処理部16は、撮像素子15から画角中でAFセンサ11の信号が取り出される位置に対応した部分の画像を高速で読み出す。そして、撮像光学系2の焦点調節用レンズの位置に応じた画像コントラスト情報を取得し、画像情報記憶部18に記憶する。
ステップS105b−5では、ステップS103で得られたデフォーカス量に基づき、撮影レンズ1の焦点調節用レンズの駆動を停止する。
第2の焦点検出部17は、ステップS105b−4で取得した画像コントラスト情報に基づいてデフォーカス量を算出する。第2の焦点検出部17のデフォーカス量算出方法については、第1の実施形態と同様である。そして、カメラ制御回路13は算出されたデフォーカス量を記憶部19に記憶する。
本実施形態では、第2の焦点検出部17のデフォーカス量の算出を画像コントラスト情報取得直後に行っているが、デフォーカス量の算出のタイミングは、それに限らない。第2の焦点検出部17の検出結果は、撮影時のレンズ停止位置を決めるものではないため、撮影動作中で、第2の焦点検出に必要な情報を取得し、画像情報記憶部18に記憶しさえすればよい。
ステップS105b−1〜105b−5で画像コントラスト情報の取得が終了して、撮影レンズ1が撮像素子15に対する合焦位置に達した時点で、ステップS106に移行する。
デフォーカス量がBより大きい場合、すなわち、ステップS105b−1でNOの場合、デフォーカス量がB以下となる位置まで撮像光学系2の焦点調節用レンズの駆動を行う(ステップS105c)。その後、ステップS105b−2に移行し、画像コントラスト情報の取得を行う。
ここで、画像コントラスト情報を取得する際に、ステップS103での第1の焦点検出部12(位相差AF)のデフォーカス量にB以下という制限を加えた理由は、次のようなものである。即ち、コントラスト情報取得のために、電子ビューファインダーの応答が遅くなり、撮影者の使用感を損ねないようにするためである。また、ステップS105cでデフォーカス量がBより大きい場合に、レンズ駆動を行った後に画像コントラスト情報の取得を行うのも同様の理由からである。また、コントラスト検出を行う際に、ステップS103での位相差AFのデフォーカス量にAより大きいという制限を加えた理由は、画像コントラスト情報を取得するために、最低限必要なレンズ駆動量を確保するためである。
ステップS106では、レリーズスイッチが第1ストローク位置にあり続けているか否かを判別する。
ステップS106の判別の結果、レリーズスイッチが第1ストローク位置にないときは(ステップS106でNO)、ステップS101以降の処理を繰り返す。一方、レリーズスイッチが第1ストローク位置にあり続けているときは(ステップS106でYES)、レリーズスイッチが第2ストローク位置まで押されてスイッチSW2がオンになっているか否かを判別する(ステップS107)。
ステップS107の判別の結果、レリーズスイッチが第2ストローク位置にないときは、ステップS103以降の処理を繰り返す一方、レリーズスイッチが第2ストローク位置にあるときは(ステップS107でYES)ステップS108に移行する。
ステップS108では、ハーフミラー21を撮影位置に退避させるためのミラーアップを行う。但し、上述したとおり、本実施形態のカメラは、このステップは必須ではない。
ステップS109では、撮影レンズ1の図示しない絞りが設定絞り値まで絞り込まれ、撮像素子15の正規の駆動を行ない、電子シャッタにより露出時間を制御して露出動作を行う(ステップS109)。この時、画像処理部16によりホワイトバランス処理、γ処理、カラーマトリックス処理等を行い、撮影画像を形成する。
さらに、撮影レンズ1の絞りを開放位置に復帰させ、そして、ハーフミラー21をミラーダウン位置に復帰させる(ステップS110)。ミラーアップせずに、露光していた場合には、このステップは不要である。
その後、フラグ1STを「0」にリセットし(ステップS111)、ステップS109で形成された撮影画像を、不揮発性メモリ等に記憶する。
続くステップS112では、撮影画像の記録終了後、レリーズスイッチがそのまま第1ストローク位置にあり続けているか否かを判別し、レリーズスイッチが第1ストローク位置を越えて元の位置に戻ったときは、本処理を終了する。一方、レリーズスイッチが第1ストローク位置にあり続けているときは(ステップS112でYES)、連続撮影を行うためにステップS103以降の処理を繰り返す。
ステップS103以降の処理において、連続撮影の場合は(ステップS112でYES)、フラグ1STが「0」にリセットされている(ステップS111)。そのため、第1の焦点検出(位相差AF)の実行(ステップS103)後に、ステップS104の判別により、ステップS105dへと進む。これにより、第2の焦点検出部17によるデフォーカス量の算出を行わず、迅速に連続撮影を行うことができる。
なお、本実施形態では、連続撮影時には画像コントラスト情報を取得せず、迅速な連続撮影を優先した。しかし、連続撮影時にも、画像コントラスト情報を取得する、すなわち、1STのフラグを常に1とすることにより、位相差AFをより高精度に補正することができる。
また、本実施形態では、画像のコントラスト情報の取得を、直前の第1の焦点検出部 12(位相差AF)の検出結果から得られるデフォーカス量に応じて行ったが、画像のコントラスト情報の取得に必要な時間は、被写体の輝度に大きく左右される。デフォーカス量に加えて、被写体の輝度に応じて、画像コントラスト情報の取得可否を判別することにより、電子ビューファインダーの応答性を悪化させずに補正を行うことができる。
また、本実施形態では、撮影のための露光(ステップS109)より以前に、第2の焦点検出部17に必要な情報を取得することにより、撮影を行う際(ステップS107)のレリーズタイムラグを短くすることができる。また、常に第1、2の焦点検出を行うことができるため、補正に必要な情報を取得する機会を多く得ることができる。
また、本実施形態では、撮影前の位相差AFの結果によるレンズ停止位置と、第2の焦点検出結果から補正量の算出を行ったが、第2の焦点検出結果と撮影動作終了(ステップS110)後の位相差AF結果から補正量の算出を行っても良い。
以上の構成により、撮影者は、位相差AFの迅速性を享受しながら、より精度の高い焦点検出結果を得ることができる。また、その際に、特別な操作を行う必要無く、通常に撮影を行うことで補正を行うことができる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
図9に、本実施形態における製造誤差などを含んだ撮影レンズの合焦位置と撮像面上の像高の関係を示す。第1の実施形態では、撮影レンズの合焦位置は、設計状態に対して、撮像面上の像高に関わらず一定量の誤差を持った場合を示した。しかし、実際には、撮像光学系2に用いられる複数のレンズの偏心や倒れなどにより、図9に示すように製造誤差を含む合焦位置は、光軸に対して対称にはならない。
本実施形態では、図10に示した各測距点毎に、第2の焦点検出領域303−A,303−B,303−Cを有する。それにより、測距点A,B,Cそれぞれに、補正量を算出することができる。算出方法や算出に必要な情報取得方法は、上述したとおりである。
これにより、撮像光学系2の製造誤差に対して精度良く補正を行うことができる。
なお、上記の第1乃至第3の実施形態では、位相差AFの焦点検出結果を、コントラスト検出AFの焦点検出結果を用いて補正するように説明した。しかし、位相差AFは、焦点検出までの時間が早いものの、精度が比較的に劣る性質を有するAF方式の代表として記載したものであり、これに限定されるものではない。例えば、同様の性質を有するAF方式である三角測距方式を用いたAFを用いてもよい。また、コントラスト検出AFは、焦点検出までの時間が比較的に遅いものの、精度が良い性質を有するAF方式の代表として記載したものであり、これに限定されるものではない。同様の性質を有する他のAF方式を用いてもよい。
(他の実施形態)
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
本発明の第1の実施形態に係わる自動焦点検出装置を備える電子カメラの概略構成を示すブロック図であり、電子カメラがファインダ観察状態にある場合を示す図である。 本発明の第1の実施形態に係わる自動焦点検出装置を備える電子カメラの概略構成を示すブロック図であり、電子カメラが露光状態にある場合を示すずである。 図1の電子カメラに設けられた自動焦点検出装置によって実行される自動焦点検出処理を示すフローチャートである 第1の実施形態における図1の電子カメラのファインダ観察時の表示と焦点検出領域を示す図である。 第1の実施形態における撮影レンズの撮像面上の像高と合焦位置の関係と第1の焦点検出部により得られる合焦位置を示す図である。 第2の焦点検出に用いられるAF評価値と焦点調節用レンズ停止位置の関係を示す図である。 本発明の第2の実施形態に係わる自動焦点検出装置を備える電子カメラの概略構成を示すブロック図であり、電子カメラが電子ファインダ視察状態でかつ、露光状態にある場合を示す図である。 図7の電子カメラに設けられた自動焦点検出装置によって実行される自動焦点検出処理を示すフローチャートである。 第3の実施形態における撮影レンズの撮像面上の像高と合焦位置の関係と第1の焦点検出部により得られる合焦位置を示す図である。 第3の実施形態における図1の電子カメラのファインダ観察時の表示と焦点検出領域を示す図である。
符号の説明
1 撮像レンズ
2 撮像光学系
3 レンズ駆動部
4 レンズ制御回路
5 カメラ本体
6 第1のミラー
10 第2のミラー
11 AFセンサ
12 第1の焦点検出部
13 カメラ制御回路
14 フォーカルプレーンシャッタ
15 撮像素子
16 画像処理部
17 第2の焦点検出部
18 画像情報記憶部
19 記憶部
20 補正量演算部
21 ハーフミラー

Claims (8)

  1. 撮影レンズを介して被写体像を撮像する撮像手段と、
    被写体距離に対応する情報を検出することにより前記撮影レンズの焦点検出を行う第1の焦点検出手段と、
    前記撮像手段により像された画像のコントラスト情報に基づいて前記撮影レンズの焦点検出を行う第2の焦点検出手段と、
    前記第1の焦点検出手段による焦点検出結果に基づいて前記撮影レンズを合焦位置に駆動する間に、前記撮像手段により像された画像のコントラスト情報を複数取得し、当該取得したコントラスト情報から合焦位置が検出されたときには、当該コントラスト情報と撮影レンズ位置とに基づいて、前記第1の焦点検出手段の焦点検出結果を補正するとともに、当該取得したコントラスト情報から合焦位置が検出されなかったときには、当該コントラスト情報と撮影レンズ位置とに基づく前記第1の焦点検出手段の焦点検出結果の補正を行わない補正手段と、
    を具備することを特徴とする撮像装置。
  2. 前記第1の焦点検出手段による前記撮像手段の画面内における焦点検出領域と、前記第2の焦点検出手段による前記撮像手段の画面内における焦点検出領域とが概略等しいことを特徴とする請求項1に記載の撮像装置。
  3. 前記補正手段により補正された前記第1の焦点検出手段の焦点検出結果に基づいて、前記撮影レンズを合焦位置に駆動する駆動手段をさらに具備することを特徴とする請求項1に記載の撮像装置。
  4. 前記第1の焦点検出手段は、前記撮影レンズの射出瞳を通過する光束を分割し、分割された光束により形成される被写体像の位相差を検出することにより前記撮影レンズの焦点検出を行うことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記第2の焦点検出手段は、前記撮像手段により像された画像のコントラストの情報に基づいて前記撮影レンズの焦点検出を行うことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 撮影レンズを介して被写体像を撮像する撮像手段と、被写体距離に関する情報を検出することにより前記撮影レンズの焦点検出を行う第1の焦点検出手段と、前記撮像手段により像された画像のコントラスト情報に基づいて前記撮影レンズの焦点検出を行う第2の焦点検出手段と、を備える撮像装置を制御する方法であって、
    前記第1の焦点検出手段による焦点検出結果に基づいて前記撮影レンズを合焦位置に駆動する間に、前記撮像手段により像された画像のコントラスト情報を複数取得し、当該取得したコントラスト情報から合焦位置が検出されたときには、当該コントラスト情報と撮影レンズ位置とに基づいて、前記第1の焦点検出手段の焦点検出結果を補正するとともに、当該取得したコントラスト情報から合焦位置が検出されなかったときには、当該コントラスト情報と撮影レンズ位置とに基づく前記第1の焦点検出手段の焦点検出結果の補正を行わない補正工程と、
    を具備することを特徴とする撮像装置の制御方法。
  7. 請求項6に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
  8. 請求項7に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2006341939A 2006-12-19 2006-12-19 撮像装置及びその制御方法及びプログラム及び記憶媒体 Expired - Fee Related JP5241096B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006341939A JP5241096B2 (ja) 2006-12-19 2006-12-19 撮像装置及びその制御方法及びプログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006341939A JP5241096B2 (ja) 2006-12-19 2006-12-19 撮像装置及びその制御方法及びプログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2008152150A JP2008152150A (ja) 2008-07-03
JP5241096B2 true JP5241096B2 (ja) 2013-07-17

Family

ID=39654346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006341939A Expired - Fee Related JP5241096B2 (ja) 2006-12-19 2006-12-19 撮像装置及びその制御方法及びプログラム及び記憶媒体

Country Status (1)

Country Link
JP (1) JP5241096B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011017800A (ja) 2009-07-07 2011-01-27 Canon Inc 焦点検出装置
JP5436149B2 (ja) * 2009-11-05 2014-03-05 キヤノン株式会社 撮像装置
JP2013050690A (ja) * 2011-08-04 2013-03-14 Nikon Corp 焦点調節装置および撮像装置
JP6196772B2 (ja) * 2012-12-21 2017-09-13 キヤノン株式会社 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置
JP5872122B2 (ja) * 2013-09-27 2016-03-01 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6285683B2 (ja) * 2013-10-01 2018-02-28 キヤノン株式会社 撮像装置及びその制御方法
US9681038B2 (en) * 2014-09-15 2017-06-13 Lg Electronics Inc. Mobile terminal and method for setting a focal point value
JP6615258B2 (ja) * 2018-04-13 2019-12-04 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084545A (ja) * 2004-09-14 2006-03-30 Canon Inc カメラ及び撮影レンズ及びカメラシステム
JP2006251065A (ja) * 2005-03-08 2006-09-21 Canon Inc ハイブリッドafカメラ

Also Published As

Publication number Publication date
JP2008152150A (ja) 2008-07-03

Similar Documents

Publication Publication Date Title
JP5241096B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2004109690A (ja) カメラシステムおよびカメラ
JP5161712B2 (ja) 撮像装置、及び撮像方法
US9781330B2 (en) Focus detection apparatus and control method for focus detection apparatus
JP5963552B2 (ja) 撮像装置
JP2006254413A (ja) 撮像装置およびカメラボディ
JP4560420B2 (ja) 撮像装置
JP2008203428A (ja) 撮像装置
JP2006065080A (ja) 撮像装置
JP5170266B2 (ja) 撮像装置およびカメラボディ
JP2007156304A (ja) カメラ、カメラシステムおよび交換レンズ装置
JP4847352B2 (ja) 撮像装置及びその制御方法
JP5359150B2 (ja) 撮像装置
JP2008191391A (ja) 焦点調節装置、カメラ
JPH11337814A (ja) 光学装置
JP2014197141A (ja) 撮像装置
JP2006146031A (ja) カメラ
JP2006251033A (ja) 一眼レフ電子カメラ
JP2000032323A (ja) 電子カメラ
JP5590850B2 (ja) 撮像装置および撮像装置のフォーカス制御方法
JP4862297B2 (ja) 電子カメラおよびカメラシステム
JP2002185845A (ja) 電子カメラ
JP2002328293A (ja) 撮像装置および撮像方法
US11368613B2 (en) Control apparatus, image pickup apparatus, and control method
JP2004120582A (ja) カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5241096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees