JP4646583B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP4646583B2
JP4646583B2 JP2004271718A JP2004271718A JP4646583B2 JP 4646583 B2 JP4646583 B2 JP 4646583B2 JP 2004271718 A JP2004271718 A JP 2004271718A JP 2004271718 A JP2004271718 A JP 2004271718A JP 4646583 B2 JP4646583 B2 JP 4646583B2
Authority
JP
Japan
Prior art keywords
focus
imaging
output
degree
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004271718A
Other languages
English (en)
Other versions
JP2006084995A (ja
Inventor
浩史 須田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004271718A priority Critical patent/JP4646583B2/ja
Priority to US11/227,611 priority patent/US7746403B2/en
Priority to CNB2005101039635A priority patent/CN100365462C/zh
Publication of JP2006084995A publication Critical patent/JP2006084995A/ja
Application granted granted Critical
Publication of JP4646583B2 publication Critical patent/JP4646583B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/285Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本発明は、自動焦点検出機能を有する撮像装置及びその制御方法に関するものである。
従来より、撮像信号の高周波成分を抽出して、これが最大になる場所(山の頂点)を探して合焦点と判断する、TTL方式のオートフォーカス(以下、AFと称す)方式が提案されている。以下、この方式のAFを撮像信号AFと称す。
この方式は、自動焦点検出の為のメカ部材等が必要無いので、低コストで実現でき、さらに、撮像信号そのもので焦点の判断を行うために、精度が高く、経時変化が無いなどの特徴がある。特に、高画素の撮像素子での撮影などでは、ピント精度が厳しいために、メカの部材の経時変化の影響を一切に受けない撮像信号AFが非常に有効である。
この方式は、山の頂点、すなわち合焦点を判別するためには、端から端まで全領域をスキャンして山の形を把握するか、もしくは、いわゆる山登り動作を行う。スキャンで山の形を把握すると、ピントがボケたり合ったりする動作が見えてしまうために、動画撮影やモニタにプレビューしている状態には不適切である欠点がある。また、山登り動作は、動画撮影やモニタプレビュー動作で一般的に良く用いられるが、合焦点から遠く離れたレンズ位置から開始する場合は、山の形状が平坦な部分からの開始になるために、山の頂上の方向がどちらにあるかの判別が難しく、山の頂上の方向を間違えると、山の頂上とは逆の端まで行ってから戻るなどの見苦しい動作をすると同時に、合焦までの時間が大幅にかかるという問題点を有している。
一方、赤外線三角測距方式や瞳分割位相差検出方式を用いた、TTLや直接測距方式のオートフォーカス(以下、直接測距AFと称す)は、直接距離を測定することが可能になるので、合焦点の位置を検出するのにスキャン動作や山登り動作を必要としないため、高速に合焦点が判別できる特徴があるが、自動焦点検出のためのメカ部材等が必要になり、撮像系とは異なる系で測距するため、経時変化や温度変化で合焦位置が狂いやすいとか、距離に応じて撮影画像と測距位置にパララックスが発生するなどの欠点があった。特に、高画素の撮像素子に応用した場合には、経時変化や温度変化での合焦位置の狂いが、致命的なピンぼけになることもある。
そこで、AFの性能向上の一手段として、撮像信号AFと直接測距AFを組み合わせて、お互いの良いところを組み合わせることで、高速で高精度なオートフォーカスを実現するハイブリッドAFが提案されている。この2つのAF方式の選択方法として、撮影スイッチの操作を境に外測測距AFから撮像信号AFに切り換える方式が提案されている(例えば、特許文献1参照)。
しかし、この方式は静止画撮影向きであり、撮影スイッチの操作無しに、パンニング等で撮影被写体を次々と乗り換えて撮影する動画撮影には不向きである。また、2つの方式で合焦位置を検出して、2つの合焦位置の測定結果を比較した上で、測定結果が所定以上異なる場合には、条件に応じてどちらかの方式を選択する方法が提案されている(例えば、特許文献1参照)。しかし、この方式は、合焦位置を検出するために、予めスキャンを行う方式を前提としており、動画用のAFとしてはスキャン動作が見えてしまうために、画像が見苦しくなり、不向きである。
さらに、直接測距AFにて、所定量だけ前ピン/後ピンの位置へ駆動した後に、撮像信号AFに切り換え、切り換えた後にコントラスト検出が出来ない場合は、再び直接測距AFに戻す提案がなされている(例えば、特許文献2参照)。
また、焦点が大きくはずれた場合は位相差方式で方向判別/モータ速度制御を行い、高周波成分が検出されたら撮像信号AFにてAFを行う提案がなされている(例えば、特許文献3参照)。
特開2001−264622号公報 特開2001−141984号公報 特開平3−81713号公報
一方、従来の動画を撮影するデジタルビデオカメラは、TVの方式がNTSCやPAL等に限られていたために、NTSC方式では一秒間にほぼ60フィールドのインターレース撮影(60I)や、PAL方式では、一秒間にほぼ50フレームのインターレース撮影(50I)が一般的であり、撮像素子もこの周期に合わせて駆動をしていた。ところが、近年、TVのデジタル放送化、ハイビジョン放送化、映画のデジタル撮影化などが一般化したことにより、デジタルビデオカメラもさまざまな撮像フォーマットで撮像されるようになってきた。
テレビの放送方式だけを列挙しても、480i、480p、720p、1080iの解像度で60フィールド/フレームの地域や50フィールド/フレームの地域が存在する。なお、プログレッシブの場合はフレーム数を用いて、60フレームの場合は60P、30フレームの場合は30Pと表現する。インターレースの場合はフィールド数を用いて、60フィールドの場合は60I、50フィールドの場合は50Iと表現する。またパソコンでの動画の再生を考えると、プログレッシブ撮影で30フレームよりも少ないフレーム数(20P,15P,10P等)の動画も一般的である。また、フィルム映画との互換性を考えて、一秒間に24フレームの24P撮影も一般的になりつつある。
また、暗い場所での撮影などは、高感度撮影を行うが、この場合には、撮像手段のフィールド/フレーム数を記録フィールド/フレーム数よりも減らすことで長時間露光撮影する、スローシャッタ撮影なる動画撮影技術が一般的である。この場合は、長時間露光のために、撮像手段のフィールド/フレーム数は減らすが、最終的な映像信号のフィールド/フレーム数は放送の方式やテレビのインターフェースに合わせて一定である。
従来からの撮像信号AFを動画撮影に用いる場合、表示や記録に用いる動画撮像信号を生成しつつ、その一部からAFの評価値を得ているために、得られる情報量は撮像するフィールド数/フレーム数に依存する。撮像するフィールド数/フレーム数が多い場合は、スムーズな合焦動作が可能になるが、フィールド数/フレーム数が少ない時には、合焦までの速度が遅くなり、スムーズな合焦動作が難しくなる欠点があった。また、動く被写体に対しての追従も遅くなる欠点があった。静止画向けの撮像信号AFならば、AF時のみは、AF用に撮像素子の駆動方法を変えることで一時的にフレーム数を増やすことも可能になるが、動画撮影ではAFと動画記録を同時に行うために不可能である。
そこで、本発明の目的は、撮影目的に応じて撮像フレーム数や撮像フィールド数が異なっていても、スムーズ且つ高速に焦点検出手段を切り替えることを可能とすることにある。
本発明の撮像装置は、入射光に基づき被写体像の撮像信号を出力する撮像手段と、測距結果に基づいて合焦状態を検出する第1の焦点検出手段と、前記撮像信号の高周波成分に基づいて合焦状態を検出する第2の焦点検出手段と、前記撮像手段による単位時間当たりの撮像信号の出力間隔を可変制御する出力間隔制御手段と、前記第1の焦点検出手段からの出力に応じて焦点状態を制御した後に前記第2の焦点検出手段からの出力に応じて焦点状態を制御する制御手段とを有し、前記制御手段は、前記出力間隔制御手段による撮像信号の出力間隔が第1の間隔の場合と当該第1の間隔よりも短い第2の間隔の場合とでは第1の間隔の場合の方が、合焦に近い位置で、前記第1の焦点検出手段の出力から前記第2の焦点検出手段からの出力に、焦点状態の制御に用いる焦点検出手段からの出力を切り替えることを特徴とする。
本発明によれば、えば、撮影目的に応じて撮像フレーム数や撮像フィールド数が異なっていても、スムーズ且つ高速に焦点検出手段の切り替えが可能となる。
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
図1は、本発明の一実施形態の概念構成を示す図である。
101は直接距離測距ユニットで、検出結果として距離信号Dを出力する。102は撮像信号AF検出部で、撮像信号AFの評価値FVを出力する。103は撮像信号AF評価値FVを用いた山登り動作による合焦点探索動作を行う山登り制御部である。104は、101の距離信号と102の撮像信号AF検出出力のどちらか、もしくは両方に基づいて、AF方式選択基準信号を生成する、AF選択基準信号生成部である。105は、104のAF選択基準信号と102からの撮像信号のフレーム/フィールド数に基づいてAF方式の選択を決定して、スイッチ106を切り換えることで、直接測距AFと撮像信号AF検出を選択して、107のレンズ駆動部へと伝えるAF方式選択部である。
図2は、後述する本発明の第1乃至第3の実施形態共通の、自動焦点検出装置を搭載したカメラの構成を表す図である。ここで言うカメラとは、動画や静止画を撮影してテープや固体メモリ、光ディスクや磁気ディスク等の様々なメディアに記録する、いわゆるビデオカメラやデジタルスチルカメラ等を総称してカメラと呼ぶ。カメラ内の各ユニットは、バス258を介して接続されており、各ユニットはメインCPU251によって制御される構造になっている。
レンズユニット201には、固定1群レンズ202、ズームレンズ211、絞り203、固定3郡レンズ221、フォーカスレンズ231が含まれ、これらの光学部材を通して、撮像素子241上に結像することで、被写体の撮像を行う。
ズーム制御部213は、メインCPU251の指示に従いズームモータ212を介してズームレンズ211を駆動する。
撮像素子241に結像された画像は撮像素子241にて光電変換され撮像信号処理部242で画像信号として整えられると共に、撮像信号TVSがAF信号処理回路234へと入力される。AF信号処理回路234では、山登りAF制御のためのFV信号と、合焦度を表すIFA信号を作成しフォーカス制御部233へ入力する。
一方、外部測距AF検出モジュール230は、外部測距AF用瞳分割光学系238を通して位相差検出器239へ結像された2つの被写体像を、位相差検出器239で2像の位相差量を検出することで、被写体までの距離信号Dを算出してフォーカス制御部233へ入力する。フォーカス制御部233では、外部測距AF距離信号Dと撮像信号AF評価値FV/合焦度IFAに基づいて、フォーカスモータ232を介してフォーカスレンズ231を駆動することで、オートフォーカス(AF)を実現する。
撮像信号処理部242で整えられた画像信号は、一時的にRAM254に蓄積される。RAM254に蓄積された画像信号は、画像圧縮解凍回路253にて圧縮処理され、画像記録メディア257に記録される。これと平行して、RAM254に蓄積された画像信号は、画像処理部252にて最適なサイズに縮小・拡大処理がなされ、モニタディスプレイ250に表示することで、リアルタイムで撮影画像を撮影者に対してフィードバックする。また、撮影直後には、モニタディスプレイに所定時間だけ撮影画像を表示することで、撮影画像の確認を行うことも可能になる。
操作スイッチ256には、電源スイッチやズームスイッチ、レリーズスイッチ、モニタディスプレイON/OFFスイッチ等が含まれる。電源スイッチは、カメラの電源のON/OFFを行ない、ズームスイッチは、ズームを駆動の指示を行なう。
レリーズスイッチは2段押しに構成になっており、一段目をSW1、二段目をSW2と称す。静止画撮影では、SW1では、撮影スタンバイからの復帰や撮影開始準備の指示(例えば、オートフォーカスの開始、測光の開始の指示など)を行い、SW2では、撮影を行い画像記録メディア257への画像の記録を指示を行う。また、動画撮影の場合には、SW2を一回操作することで、記録を開始して、記録状態で再度操作することで記録を停止する。モニタディスプレイON/OFFスイッチは、モニタディスプレイ250へ撮影状態の画像を表示するか否かの切り替え等を行う。
電源管理ユニット260は、これに接続されたバッテリ259の電源状態をチェックしたり、バッテリを充電したり電源管理を行う。
これらの動作に先立って、カメラがOFF状態から起動すると、フラッシュメモリ255に格納されていたプログラムがRAM254の一部にロードされてメインCPU251はこのRAM254にロードされたプログラムに従って動作を行う。以上が、自動焦点検出装置を搭載したカメラの構成の説明である。
<第1の実施形態>
次に、本発明の第1の実施形態について説明する。
図3は、図2のAF信号処理部234の一実施形態を示す図である。撮像信号処理部242からの撮像信号TVSは、一つ又は複数の測距ゲート301にて画面内の一部のみの撮像信号を抽出し、バンドパスフィルタ(BPF)302で所定の高域成分のみを抽出し、検波器303でピークホールドや積分等の検波処理を行うことで、撮像信号AF評価値FVを出力し、フォーカス制御部233へ出力する。
また、測距ゲート301を通過したTVSは、ローパスフィルタ304で高域成分が除去され、ライン最大値回路305で水平1ラインの輝度の最大値を検出し、ライン最小値回路306では、水平1ラインの輝度の最小値を検出する。水平1ラインの最大値と最小値の差分(最大値−最小値)を加算器307で算出し、ピークホールド回路308で測距ゲート内の全てのラインの最大値−最小値のピーク値MMを検出する。これは、ほぼ測距ゲート内のコントラストの最大値に相当する。測距ゲートごとにFVをMMで除することで、測距枠ごとの合焦度IFAを算出する。
測距ゲート301が複数の場合は、それに続く回路も複数になり、AF評価値FV/合焦度IFAも複数の信号になり、フォーカス制御部233において、複数の信号から条件に応じて選択したり、複数の信号に基づいてオートフォーカス動作を行う。
図4は、本実施形態の動作を説明するための図である。
撮像信号AF評価値FVは、被写体の種類や撮影条件(被写体輝度、照度、焦点距離等)により大幅に合焦点でのレベルが変わる。図4のFV(A)は、一般的な被写体Aを撮影した場合の大ボケ(非合焦)から合焦点まで、フォーカスレンズ231を動かしたときの信号の変化を表している。一方、FV(B)は高コントラスト被写体Bの場合の信号変化で、FV(C)は低コントラスト被写体や低照度被写体Cの場合の信号変化である。
これに対して、合焦度IFAは、被写体A、B、Cの何れの場合も、合焦点でのレベルはほぼ同じレベルになる。従って、A、B、Cの何れの被写体でも合焦度IFAレベルを共通の閾値で判断すれば、同程度のボケ具合になる。撮像信号が通常の撮影状態(フレームレイトやフィールドレイトが60/秒程度ある場合)では、TH1で外部測距AFから撮像信号AFに切り換えることで、いつも同程度のボケ具合の位置で、位相差検出AFから撮像信号AFへスムーズ切り替わり、撮像信号AFにて素早く合焦点に到達する。
一方、撮像信号のフレームレイト(一秒間のフレーム数)が低い場合(30P、24P、スローシャッタ撮影など)は、素早く合焦点へ到達させるためには、撮像信号AFでの制御速度が遅くなるために、より合焦点に近い位置で切り換える必要がある。従って、フレームレイトが低い場合は、TH2で外部測距AFから撮像信号AFに切り換えることで、フレームレイトが高い場合と同様にスムーズで素早く合焦点に到達させることが出来る。
次に、本実施形態のフォーカス制御部233におけるアルゴリズムについて、図5のフローチャートを用いて説明する。ステップS501から開始して、ステップS502では、まずAFの状態を表すAFMODEに1を代入する。ステップS503では、撮像信号処理回路242による撮像信号処理、AF信号処理回路234によるAF信号処理、位相差検出回路239による位相差検出処理を同期して行う。
ステップS504では、AF信号処理回路234からFV信号とIFV信号を取得し、位相差検出回路239から距離信号Dを取得する。ステップS505では、AFMODEに従って、ステップS511、ステップS521、ステップS531へ分岐する。最初はAFMODEが1なのでステップS511へ分岐する。
ステップS511では、ステップS504で取得した距離信号Dと、現在のフォーカスレンズ231の位置に基づいてレンズ駆動方向と速度を決定する。つまりは、距離信号Dの位置にレンズが近づく方向に、距離が離れている場合は高速で、距離が近い場合は低速になるように方向と速度を決定する。もし、距離信号Dと現在のレンズ位置が一致したならば、レンズ駆動速度は停止の決定をする。
ステップS512では、現在の撮像信号のフレームレイトを調査し、60Iや60Pなどのフレームレイトが高い場合にはステップS513へ進み、30Pや24P、スローシャッタ撮影などのフレームレイトが低い場合はステップS514へ進む。ステップS513では、ステップS504で取得したIFAのレベルを閾値TH1と比較する。TH1よりも小さいときはステップS541へ進み、大きいときは、合焦近傍にいるので、ステップS515でAFMODEに2を代入して、ステップS541へ進む。
ステップS541では、決定されたモータ速度と方向でレンズを駆動し、ステップS503へと進み以後、撮像素子の読み出し周期(撮像信号処理周期)に同期して繰り返す。一方、ステップS514では、ステップS504で取得したIFAのレベルを閾値TH2と比較する。TH2よりも小さいときはステップS541へ進み、大きいときは、より合焦近傍にいるので、ステップS515でAFMODEに2を代入して、ステップS541へ進む。
次に、ステップS505にて、AFMODEが2の場合は、ステップS521へ分岐する。ステップS521では、ステップS504で取得した撮像AF信号FVが増加しているか減少しているかの判断を行う(撮像素子241の前回の読み出し結果との増減比較なので、アルゴリズム中に記述していないが、前回のFV値を保持している)。
もし、ステップS521でFVが増加している場合はステップS541へ進み、増加していない場合はステップS522へ進む。ステップS522では、レンズ駆動方向を逆転してステップS523でFVのピークを通過した後の減少かどうかの判別を行う。ステップS523でピークを通過していない判断をした場合はステップS541へ進み、ピークを通過した判断をした場合はステップS524へと進む。
ステップS524では、AFMODEに3を代入する。ステップS505でAFMODEが3の判定をした場合は、ステップS531へ進む。ステップS531では、FVのピーク位置へとレンズを戻し停止する(合焦)。ステップS532では、FVのピーク位置(合焦位置)でのFVレベルから変化したかどうかの監視を行うと同時に距離信号Dが合焦位置から変化したかどうかの監視も行う。変化していない場合はステップS541へ進み、変化した場合は、ステップS533でAFMODEに1を代入してステップS541へ進む(再起動)。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
図6は、本発明の第2の実施形態の動作を説明するための図である。本実施形態では、撮像信号が通常の撮影状態(フレームレイトやフィールドレイトが60/秒程度ある場合)では、第1の実施形態で既に説明したとおり、所定の合焦度までは外測位相差検出で行い、合焦近傍は撮像信号AFにて合焦点を検出する。一方、撮像信号のフレームレイトが低い場合(30P、24P、スローシャッタ撮影など)は、まず外測位相差検出にて外測位相差で検出された合焦点まで導き、外測位相差で合焦後に撮像信号AFにて再度合焦点の検出を行う。
次に、本実施形態のアルゴリズムについて、図7を用いて説明する。なお、図7にて、図5と同じ符号のステップは同じ動作をするので、説明を省略する。ステップS701では、ステップS504で取得した距離信号Dと、現在のフォーカスレンズ231の位置に基づいてレンズ駆動方向と速度を決定する。つまりは、距離信号Dの位置にレンズが近づく方向に、距離が離れている場合は高速で、距離が近い場合は低速になるように方向と速度を決定する。もし、距離信号Dと現在のレンズ位置が一致したならば、レンズ駆動速度は停止の決定をする。
ステップS702では、現在の撮像信号のフレームレイトを調査し、60Iや60Pなどのフレームレイトが高い場合にはステップS703へ進み、30Pや24P、スローシャッタ撮影などのフレームレイトが低い場合はステップS704へ進む。
ステップS703では、ステップS504で取得したIFAのレベルを閾値TH1と比較する。TH1よりも小さいときはステップS541へ進み、大きいときは、合焦近傍にいるので、ステップS705でAFMODEに2を代入して、ステップS541へ進む。
ステップS541では、決定されたモータ速度と方向でレンズを駆動し、ステップS503へと進み以後、撮像素子の読み出し周期(撮像信号処理周期)に同期して繰り返す。一方、ステップS704では、ステップS504で取得した距離信号Dと現在のフォーカスレンズ231の位置から合焦かどうかの判別を行う。合焦の場合はステップS705へ進み、非合焦の場合はステップS541へ進み繰り返す。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。
図8は、本発明の第3の実施形態の動作を説明するための図である。本実施形態では、撮像信号が通常の撮影状態(フレームレイトやフィールドレイトが60/秒程度ある場合)では、第1の実施形態で既に説明したとおり、所定の合焦度までは外測位相差検出で行い、合焦近傍は撮像信号AFにて合焦点を検出する。一方、撮像信号のフレームレイトが極端に低い場合(スローシャッタ撮影や、30P、24P、15P、10P、5Pなど)は、外測位相差検出のみにて外測位相差で検出された合焦点まで導き合焦とする。
次に、本発明の第3の実施形態のアルゴリズムについて、図9を用いて説明する。なお、図9にて、図5と同じ符号のステップは同じ動作をするので、説明を省略する。ステップS911では、ステップS504で取得した距離信号Dと、現在のフォーカスレンズ231の位置に基づいてレンズ駆動方向と速度を決定する。つまりは、距離信号Dの位置にレンズが近づく方向に、距離が離れている場合は高速で、距離が近い場合は低速になるように方向と速度を決定する。もし、距離信号Dと現在のレンズ位置が一致したならば、合焦とみなせるので、レンズ駆動速度は停止の決定をする。
ステップS912では、現在の撮像信号のフレームレイトを調査し、60Iや60Pなどのフレームレイトが高い場合にはステップS913へ進み、30Pや24P、15P、10P、5P、スローシャッタ撮影などのフレームレイトが極端に低い場合はステップS915へ進み合焦かどうかの判断をする。ステップS915で合焦では無いと判断した場合はステップS541へ進みAFMODEが1のまま動作を継続する。一方、合焦と判断した場合はステップS916へ進み、モータを停止してからステップS541へ進み、この場合もAFMODEが1のままで動作を継続する。ステップS913では、ステップS504で取得したIFAのレベルを閾値TH1と比較する。TH1よりも小さいときはステップS541へ進み、大きいときは、合焦近傍にいるので、ステップS914でAFMODEに2を代入して、ステップS541へ進む。ステップS541では、決定されたモータ速度と方向でレンズを駆動し、ステップS503へと進み以後、撮像素子の読み出し周期(撮像信号処理周期)に同期して繰り返す。
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。
本発明の第4の実施形態は、第1乃至第3の実施形態の合焦度を判別するのに用いたIFA信号の生成方法を別な形態で実施した例である。
図10は、図2のAF信号処理部234の第4の実施形態の内容を説明する図である。撮像信号処理部242からの撮像信号TVSは、一つ又は複数の測距ゲート301にて画面内の一部のみの撮像信号を抽出し、バンドパスフィルタ(BPF)302で所定の高域成分のみを抽出し、検波器303でピークホールドや積分等の検波処理を行うことで、撮像信号AF評価値FVを出力し、フォーカス制御部233へ出力する部分は、第1の実施形態と同じである。
一方、測距ゲート301を通過したTVSは、バンドパスフィルタ1(BPF1)1002/バンドパスフィルタ2(BPF2)1002で、それぞれ所定の高域成分のみを抽出し、検波器1003、1004でピークホールドや積分等の検波処理を行い、除算器1005にてBPF1/BPF2を求めることで、測距枠ごとの合焦度IFAを算出する。
なお、BPF1の周波数は、BPF2の周波数よりも高い周波数を抽出するように特性を選定する。測距ゲート301が複数の場合は、それに続く回路も複数になり、AF評価値FV/合焦度IFAも複数の信号になり、フォーカス制御部233において、複数の信号から条件に応じて選択したり、複数の信号に基づいてオートフォーカス動作を行う。FV、IFA、Dを用いたアルゴリズムは、第1乃至第3の実施形態と同様なので、説明を省略する。
<第5の実施形態>
次に、本発明の第5の実施形態について説明する。
第5の実施形態は、第1乃至第3の実施形態の合焦度を判別するのに用いたIFA信号の生成方法をさらに別な形態で実施した例である。
第5の実施形態では、合焦度信号IFAをFVから生成する例である。図11において、被写体Aの大ボケ(非合焦)から合焦にかけての変化はFV(A)である。これの微分をとったものがFV(A)'であり、合焦点で0になるように変化する。さらに微分をとったものが、FV(A)''であり、CP2で0になり、合焦点でも0になる。このCP2で0になる特性を利用して、CP2までは外測位相差AFで、CP2から合焦点までは撮像信号AFを用いてAFを行うように切り換える。つまりFV(A)''の符号を、合焦度信号IFAとして使用する。アルゴリズムに関しては、第1乃至第3の実施形態に対して、IFAの判別方法がTH1との比較ではなくFV(A)''の符号による比較以外は違いが無いので、説明を省略する。
<第6の実施形態>
次に、本発明の第6の実施形態について説明する。
第6の実施形態は、第1の実施形態の合焦度を判別するのに用いたIFA信号の代わりに、外測位相差検出ユニット230から出力される距離信号Dを用いた場合の実施形態である。
本実施形態では、合焦度を、IFAの代わりに、距離信号Dとフォーカスレンズ位置の被写体距離との差の絶対値で求める。図12は、縦軸が合焦度で、横軸はフォーカスレンズ位置を表す。撮像信号が通常の撮影状態(フレームレイトやフィールドレイトが60/秒程度ある場合)では、TH3で外部測距AFから撮像信号AFに切り換えることで、位相差検出AFから撮像信号AFへスムーズに切り替わり、撮像信号AFにて素早く合焦点に到達する。
一方、撮像信号のフレームレイトが低い場合(30P、24P、スローシャッタ撮影など)は、素早く合焦点へ到達させるためには、撮像信号AFでの制御速度が遅くなるために、より合焦点に近い位置で切り換える必要がある。従って、フレームレイトが低い場合は、TH4で外部測距AFから撮像信号AFに切り換えることで、フレームレイトが高い場合と同様にスムーズで素早く合焦点に到達させることが出来る。
なお、本実施形態の合焦度は、第2の実施形態や第3の実施形態にも同様に、IFAの代わりに適用できることは言うまでもない。
最後に、第1乃至第6の実施形態では、直接的に距離を測定する直接測距AF方式の一例として、外測の位相差検出で説明しているが、TTLの位相差検出でも構わないし、被写体に投光した赤外線を受光することで、三角測距の原理から被写体の距離を求める赤外AFでも構わないことは言うまでもない。
また、通常撮影を60Pや60Iと表現し、フレームレイトが低い場合を30P、24P、20P、15P、10P、スローシャッタと表現しているが、これはほんの一例であり、インターレース/プログレッシブ問わずに、これ以外のフレームレイトでも構わないし、一秒間のフレーム数が整数にならない場合もある。地域によっては、60Pや60Iは、50Pや50Iになり、30Pは25Pになる。また、実施形態の説明の都合上、通常撮影とフレームレイトが低い場合の2つの切換で説明しているが、フレームレイトに応じて複数に場合分けして複数の閾値を設けても構わないし、フレームレイトに応じて連続的に閾値を設定しても構わないことも言うまでもない。
以上、上記実施形態によれば、撮像フレーム数またはフィールド数を可変できる撮像装置における、直接測距AFと撮像信号AFを適宜切り換えて、真の合焦点を特定する自動焦点検出装置において、撮像信号または直接測距AFにに基づいて合焦度を検出し、前記撮影フレーム数またはフィールド数、および合焦度に基づいて直接測距AFから撮像信号AFへと切り換えることで、撮影目的に応じて撮像フレーム数や撮像フィールド数をどのように設定しても、それらあらゆる撮像条件にて、あらゆる被写体に対して、スムーズかつ高速に直接測距AFから撮像信号AFに切り換えて合焦点へ導くことが可能になる効果がある。
また、所定の撮像フレーム数またはフィールド数の時には、直接測距AF手段で前記光学系を合焦させた後に、撮像信号AFで真の合焦点を特定することで、撮像信号AFに不利な撮像条件でも、あらゆる被写体に対して、スムーズかつ高速に直接測距AFから撮像信号AFに切り換えて合焦点へ導くことが可能になる効果がある。
さらに、所定の撮像フレーム数またはフィールド数の時には、直接測距AF手段のみで合焦点を特定することで、撮像信号AFに不利な撮像条件でも、あらゆる被写体に対して、スムーズかつ高速に直接測距AFから撮像信号AFに切り換えて合焦点へ導くことが可能になる効果がある。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明の一実施形態の概念構成を示す図である。 本発明の第1乃至第3の実施形態共通の、自動焦点検出装置を搭載したカメラの構成を示す図である。 図2のAF信号処理部の一実施形態を示す図である。 本発明の第1の実施形態の動作を説明するための図である。 本発明の第1の実施形態のフォーカス制御部におけるアルゴリズムを示すフローチャートである。 本発明の第2の実施形態の動作を説明するための図である。 本発明の第2の実施形態のフォーカス制御部におけるアルゴリズムを示すフローチャートである。 本発明の第3の実施形態の動作を説明するための図である。 本発明の第3の実施形態のフォーカス制御部におけるアルゴリズムを示すフローチャートである。 図2のAF信号処理部234の第4の実施形態の内容を説明するための図である。 本発明の第5の実施形態における合焦度信号IFAを生成する例を示す図である。 本発明の第6の実施形態における合焦検出手段を切り替えるための基準信号を説明するための図である。
符号の説明
101 直接距離測距ユニット
102 撮像信号AF検出部
103 山登り制御部
104 AF選択基準信号生成部
105 AF方式選択部
106 スイッチ
107 レンズ駆動部
201 レンズユニット
231 フォーカスレンズ
232 フォーカスモータ
233 フォーカス制御部
234 AF信号処理部
241 撮像素子
242 撮像信号処理部
243 撮像部制御部

Claims (10)

  1. 入射光に基づき被写体像の撮像信号を出力する撮像手段と、
    測距結果に基づいて合焦状態を検出する第1の焦点検出手段と、
    前記撮像信号の高周波成分に基づいて合焦状態を検出する第2の焦点検出手段と、
    前記撮像手段による単位時間当たりの撮像信号の出力間隔を可変制御する出力間隔制御手段と、
    前記第1の焦点検出手段からの出力に応じて焦点状態を制御した後に前記第2の焦点検出手段からの出力に応じて焦点状態を制御する制御手段とを有し、
    前記制御手段は、前記出力間隔制御手段による撮像信号の出力間隔が第1の間隔の場合と当該第1の間隔よりも短い第2の間隔の場合とでは第1の間隔の場合の方が、合焦に近い位置で、前記第1の焦点検出手段の出力から前記第2の焦点検出手段からの出力に、焦点状態の制御に用いる焦点検出手段からの出力を切り替えることを特徴とする撮像装置。
  2. 前記撮像手段から出力される撮像信号に基づいて合焦度を算出する合焦度算出手段を更に有し、
    前記制御手段は、前記合焦度算出手段により算出される合焦度と所定の合焦度とを比較し、当該所定の合焦度よりも前記算出される合焦度の方が高い場合に前記第1の焦点検出手段から前記第2の焦点検出手段に切り替え、かつ、前記制御手段は、前記出力間隔制御手段による撮像信号の出力間隔が前記第1の間隔の場合には前記第2の間隔の場合よりも、前記合焦度算出手段により算出される合焦度と比較する前記所定の合焦度を高くすることを特徴とする請求項1に記載の撮像装置。
  3. 前記合焦度算出手段は、前記撮像手段から出力される撮像信号における水平ラインの輝度の最大値と最小値との差分に基づいて、当該撮像信号に係る合焦度を算出することを特徴とする請求項に記載の撮像装置。
  4. 前記合焦度算出手段は、前記撮像手段から出力される撮像信号の夫々異なる高周波成分を抽出する複数のバンドパスフィルタを含み、前記複数のバンドパスフィルタにより夫々抽出された高周波成分に基づいて、当該撮像信号に係る合焦度を算出することを特徴とする請求項に記載の撮像装置。
  5. 前記合焦度算出手段は、前記複数のバンドパスフィルタにより夫々抽出された高周波成分の比に基づいて、当該撮像信号に係る合焦度を算出することを特徴とする請求項に記載の撮像装置。
  6. 前記合焦度算出手段は、前記撮像手段から出力される撮像信号の高周波成分を二階微分した値に基づいて、当該撮像信号に係る合焦度を算出することを特徴とする請求項に記載の撮像装置。
  7. 前記合焦度算出手段は、当該撮像信号の撮像時における測距結果に基づいて当該撮像信号に係る合焦度を算出することを特徴とする請求項に記載の撮像装置。
  8. 入射光に基づき被写体像の撮像信号を出力する撮像手段と、測距結果に基づいて合焦状態を検出する第1の焦点検出手段と、前記撮像信号の高周波成分に基づいて合焦状態を検出する第2の焦点検出手段と、を有する撮像装置の制御方法であって、
    前記撮像手段による単位時間当たりの撮像信号の出力間隔を可変制御する出力間隔制御ステップと、
    前記第1の焦点検出手段からの出力に応じて焦点状態を制御した後に前記第2の焦点検出手段からの出力に応じて焦点状態を制御する制御ステップとを含み、
    前記制御ステップでは、前記出力間隔制御ステップによる撮像信号の出力間隔が第1の間隔の場合と当該第1の間隔よりも短い第2の間隔の場合とでは第1の間隔の場合の方が、合焦に近い位置で、前記第1の焦点検出手段の出力から前記第2の焦点検出手段からの出力に、焦点状態の制御に用いる焦点検出手段からの出力を切り替えることを特徴とする撮像装置の制御方法。
  9. 請求項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
  10. 請求項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2004271718A 2004-09-17 2004-09-17 撮像装置及びその制御方法 Expired - Fee Related JP4646583B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004271718A JP4646583B2 (ja) 2004-09-17 2004-09-17 撮像装置及びその制御方法
US11/227,611 US7746403B2 (en) 2004-09-17 2005-09-14 Image capturing apparatus having a plurality of focus detention devices and control method therefor
CNB2005101039635A CN100365462C (zh) 2004-09-17 2005-09-16 图像摄取装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004271718A JP4646583B2 (ja) 2004-09-17 2004-09-17 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2006084995A JP2006084995A (ja) 2006-03-30
JP4646583B2 true JP4646583B2 (ja) 2011-03-09

Family

ID=36073517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004271718A Expired - Fee Related JP4646583B2 (ja) 2004-09-17 2004-09-17 撮像装置及びその制御方法

Country Status (3)

Country Link
US (1) US7746403B2 (ja)
JP (1) JP4646583B2 (ja)
CN (1) CN100365462C (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046385A (ja) * 2006-08-17 2008-02-28 Canon Inc 撮像装置及びフォーカス制御方法
US7609958B2 (en) * 2006-08-01 2009-10-27 Eastman Kodak Company Automatic focus system calibration for image capture systems
JP2008058788A (ja) * 2006-09-01 2008-03-13 Canon Inc 焦点調節装置、撮像装置、および制御方法
US7554473B2 (en) * 2007-05-02 2009-06-30 Cirrus Logic, Inc. Control system using a nonlinear delta-sigma modulator with nonlinear process modeling
US8237850B2 (en) * 2007-08-27 2012-08-07 Sanyo Electric Co., Ltd. Electronic camera that adjusts the distance from an optical lens to an imaging surface
JP2009069255A (ja) * 2007-09-11 2009-04-02 Sony Corp 撮像装置および合焦制御方法
KR20090078120A (ko) * 2008-01-14 2009-07-17 삼성디지털이미징 주식회사 디지털 영상 처리 장치 및 그 제어 방법
JP5211714B2 (ja) * 2008-01-25 2013-06-12 株式会社ニコン 撮像装置
KR101085925B1 (ko) * 2010-03-23 2011-11-23 삼성전자주식회사 복수개의 밴드패스필터를 이용하여 자동초점 조절 기능을 수행하는 촬영장치 및 이에 적용되는 자동초점 조절방법
CN102186018A (zh) * 2011-04-29 2011-09-14 信源通科技(深圳)有限公司 摄像头对焦方法及装置
CN102809877B (zh) 2011-05-31 2016-05-25 株式会社尼康 镜头镜筒及相机机身
US10250793B2 (en) 2011-06-29 2019-04-02 Nikon Corporation Focus adjustment device having a control unit that drives a focus adjustment optical system to a focused position acquired first by either a contrast detection system or a phase difference detection system
TWI510079B (zh) * 2012-06-27 2015-11-21 Vivotek Inc 攝影裝置
JP6555857B2 (ja) * 2013-10-11 2019-08-07 キヤノン株式会社 撮像装置およびその制御方法
JP2016006449A (ja) * 2014-06-20 2016-01-14 キヤノン株式会社 撮像装置およびその制御方法
JP6530609B2 (ja) * 2015-02-04 2019-06-12 キヤノン株式会社 焦点調節装置、撮像装置、焦点調節装置の制御方法、及びプログラム
CN110830726B (zh) * 2019-12-24 2022-01-28 西安易朴通讯技术有限公司 一种自动对焦方法、装置、设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61235809A (ja) * 1985-04-11 1986-10-21 Konishiroku Photo Ind Co Ltd 自動合焦装置
JPH0537844A (ja) * 1991-07-29 1993-02-12 Matsushita Electric Ind Co Ltd ビデオカメラ装置
JPH05145827A (ja) * 1991-05-02 1993-06-11 Canon Inc 自動焦点調節装置
JPH0686143A (ja) * 1992-08-31 1994-03-25 Canon Inc オートフォーカス制御装置
JPH0698236A (ja) * 1992-09-10 1994-04-08 Canon Inc カメラ
JPH06265774A (ja) * 1993-03-12 1994-09-22 Nikon Corp 自動焦点調節カメラ
JP2001255456A (ja) * 2000-03-13 2001-09-21 Olympus Optical Co Ltd 測距装置
JP2002044495A (ja) * 2000-07-31 2002-02-08 Minolta Co Ltd 電子カメラ
JP2003107338A (ja) * 2001-10-01 2003-04-09 Minolta Co Ltd オートフォーカス装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5763973A (en) * 1980-10-04 1982-04-17 Hitachi Ltd Automatic noise eliminator
JPH01208971A (ja) * 1988-02-17 1989-08-22 Canon Inc 撮像装置
JPH0381713A (ja) 1989-08-25 1991-04-08 Tamron Co Ltd 自動焦点調整装置
US6222588B1 (en) * 1993-05-28 2001-04-24 Canon Kabushiki Kaisha Automatic focus adjusting device with driving direction control
JPH0743605A (ja) * 1993-08-02 1995-02-14 Minolta Co Ltd 自動焦点装置
US5815748A (en) * 1996-02-15 1998-09-29 Minolta Co., Ltd. Camera
JPH1164722A (ja) * 1997-08-12 1999-03-05 Nikon Corp カメラの焦点検出装置
JPH1184228A (ja) * 1997-09-08 1999-03-26 Olympus Optical Co Ltd 自動焦点調節装置
JP2001141984A (ja) 1999-11-16 2001-05-25 Olympus Optical Co Ltd 電子カメラの自動焦点調節装置
US20020012063A1 (en) * 2000-03-10 2002-01-31 Olympus Optical Co., Ltd. Apparatus for automatically detecting focus and camera equipped with automatic focus detecting apparatus
JP3761383B2 (ja) 2000-03-15 2006-03-29 株式会社リコー 自動合焦装置、カメラ、携帯情報入力装置、合焦位置検出方法、およびコンピュータが読取可能な記録媒体
US6895181B2 (en) * 2002-08-27 2005-05-17 Olympus Corporation Camera and distance measuring method thereof
JP4324402B2 (ja) * 2003-04-08 2009-09-02 Hoya株式会社 カメラの自動焦点調節装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61235809A (ja) * 1985-04-11 1986-10-21 Konishiroku Photo Ind Co Ltd 自動合焦装置
JPH05145827A (ja) * 1991-05-02 1993-06-11 Canon Inc 自動焦点調節装置
JPH0537844A (ja) * 1991-07-29 1993-02-12 Matsushita Electric Ind Co Ltd ビデオカメラ装置
JPH0686143A (ja) * 1992-08-31 1994-03-25 Canon Inc オートフォーカス制御装置
JPH0698236A (ja) * 1992-09-10 1994-04-08 Canon Inc カメラ
JPH06265774A (ja) * 1993-03-12 1994-09-22 Nikon Corp 自動焦点調節カメラ
JP2001255456A (ja) * 2000-03-13 2001-09-21 Olympus Optical Co Ltd 測距装置
JP2002044495A (ja) * 2000-07-31 2002-02-08 Minolta Co Ltd 電子カメラ
JP2003107338A (ja) * 2001-10-01 2003-04-09 Minolta Co Ltd オートフォーカス装置

Also Published As

Publication number Publication date
US7746403B2 (en) 2010-06-29
CN1749795A (zh) 2006-03-22
US20060061676A1 (en) 2006-03-23
JP2006084995A (ja) 2006-03-30
CN100365462C (zh) 2008-01-30

Similar Documents

Publication Publication Date Title
US7746403B2 (en) Image capturing apparatus having a plurality of focus detention devices and control method therefor
US10244159B2 (en) Image capturing apparatus and control method thereof
US7469098B2 (en) Optical apparatus
US20080181460A1 (en) Imaging apparatus and imaging method
JP4946337B2 (ja) オートフォーカス装置およびカメラ
JP2006301378A (ja) 撮像装置
JP2007263926A (ja) 測距装置及び方法
US11435550B2 (en) Camera for limiting shifting of focus adjustment optical system
US20130169849A1 (en) Imaging apparatus capable of concurrently shooting image displayed by display and determined sub-area designated in the image
JP4645413B2 (ja) 撮像装置
US20230034220A1 (en) Focusing apparatus, image pickup apparatus, focusing method, and storage medium
US20150226934A1 (en) Focus adjustment apparatus having frame-out preventive control, and control method therefor
JP5332160B2 (ja) 撮像装置、その制御方法およびプログラム
US9357124B2 (en) Focusing control device and controlling method of the same
US9036075B2 (en) Image pickup apparatus, method for controlling the same, and storage medium
JP4898151B2 (ja) 撮像装置及び撮像方法
JP4502376B2 (ja) フォーカス制御装置及び撮影装置
JP4769667B2 (ja) 撮像装置
JP2006243609A (ja) オートフォーカス装置
JP5257496B2 (ja) 撮像装置、その制御方法およびプログラム
JP5069076B2 (ja) 撮像装置および連続撮像方法
JP2009021893A (ja) 撮像装置及び撮像方法
JP2006215471A (ja) 撮影装置
JP2007121504A (ja) 焦点検出装置及び方法、並びに、撮像装置
JP2010252078A (ja) 撮像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees