JP3979881B2 - Multi-point autofocus camera - Google Patents

Multi-point autofocus camera Download PDF

Info

Publication number
JP3979881B2
JP3979881B2 JP2002173160A JP2002173160A JP3979881B2 JP 3979881 B2 JP3979881 B2 JP 3979881B2 JP 2002173160 A JP2002173160 A JP 2002173160A JP 2002173160 A JP2002173160 A JP 2002173160A JP 3979881 B2 JP3979881 B2 JP 3979881B2
Authority
JP
Japan
Prior art keywords
subject
image
amount
camera shake
focus detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002173160A
Other languages
Japanese (ja)
Other versions
JP2004020742A (en
Inventor
寿之 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2002173160A priority Critical patent/JP3979881B2/en
Priority to US10/438,715 priority patent/US6768867B2/en
Publication of JP2004020742A publication Critical patent/JP2004020742A/en
Application granted granted Critical
Publication of JP3979881B2 publication Critical patent/JP3979881B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、測距センサの出力に基づいて手ぶれ検出機能と動体予測AFを行う多点自動焦点カメラに関する。
【0002】
【従来の技術】
一般にカメラにおいては、移動している被写体に合焦させる動体予測AFの技術や、撮影者の手ぶれを検出して防振を行う技術も公知である。
例えば、特開平6−313920号公報には、受光部で得られた光量分布の特徴量を求め、その特徴量の変化から手振れを検出する手振れ検出部を搭載し、手振れ検出と動体検出を同時に行うカメラが提示されている。
【0003】
また、特開平9−297335号公報には、焦点検出部により被写体像の焦点状態に応じて、複数の焦点検出信号を時系列的に求め、これらの焦点検出信号に対して予測演算を行い、撮影レンズの光軸方向に移動している被写体に合焦するように予測動作による焦点調節を行う動体判定部と、撮影者の手振れの影響を防止する手振れ防止部とを備え、手振れ防止部が動作する場合には、予測動作を行わないカメラが提示されている。
【0004】
【発明が解決しようとする課題】
前述した公報における技術に関して、例えば、特開平6−313920号公報に開示される技術による動体検出を行っている時は、防振動作が禁止される。一方、特開平9−297335号公報に開示される技術では、防振を実施するモードに設定されている場合には、動体予測AFを行わないように設定されている。
【0005】
これらの2つの技術は、同時に共存させない技術という考え方である。つまり、移動被写体に合焦させるという小さいタイムラグが求められる動体予測AF技術と、撮影者の手ぶれが小さくなるタイミングまで待って露光を許可するという防振技術とは相反しているという考え方があるためである。
【0006】
従って、移動する被写体を撮影している最中には防振できず、逆に、防振モードが設定されていれば移動被写体撮影できないという問題が生じる。また、写真の中では、風景写真、旅先でのスナップ写真や記念写真等の被写体が動かない若しくはあまり動かない被写体を撮影する場面が多く、撮影者によって合焦精度を多少犠牲にしても防振できた方がよいという考えもある。
【0007】
これらの技術では、動体検出も手ぶれ検出も複数のタイミングで得られたセンサデータの変化から検出するものであり、手ぶれ検出に関してはAFセンサの出力に基づいて手ぶれを検出する技術も知られている。つまり、わざわざ動体検出を行うために、複数のタイミングでAFセンサ出力を得ているにもかかわらず、それを手ぶれ検出にも使用しないのは無駄である。
【0008】
そこで本発明は、動体検出と手ぶれ検出を共存させて、移動被写体が検出された焦点検出エリアでは動体予測AFを行い、その他のエリアでは手ぶれ検出をすることによって、AFセンサ出力を利用して移動被写体と手ぶれ検出を行うカメラを提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明は上記目的を達成するために、複数の焦点検出領域に分割され、焦点検出信号を出力する焦点検出センサを持つ多点自動焦点カメラにおいて、上記焦点検出センサの出力する被写体像信号に基づいて、各焦点検出領域内における被写体像の移動に関する量を演算する像移動量演算手段と、上記像移動量演算手段の出力に基づいて、被写体が移動しているか否かを判定する動体判定手段と、上記動体判定手段において被写体が静止していると判定された焦点検出領域に関して、上記焦点検出センサの出力する被写体像信号に基づいて、撮影者の手ぶれ量に関する量を演算する手ぶれ量演算手段とを備える多点自動焦点カメラを提供する。
【0010】
また、上記手ぶれ量演算手段は、時間の異なる複数のタイミングで撮像した上記焦点検出センサの出力する被写体像信号に基づいて、第1の時間と第2の時間の間の像ずれ量を演算する像ずれ量演算手段と、上記像ずれ量演算手段において演算した像ずれ量に基づいて、撮影者の手ぶれ量を判断する手ぶれ判断手段と、を含む。上記手ぶれ量演算手段において、撮影者の手ぶれが小さい場合には撮影を許可し、撮影者の手ぶれが大きい場合には撮影を禁止するように制御する防振制御手段と、を更に具備える。
【0011】
以上のような構成の多点自動焦点カメラは、移動被写体が検出された焦点検出領域においては、その焦点検出信号に基づいて被写体移動量を演算して動体AF制御を行うが、移動被写体が検出されない焦点検出領域においては、その焦点検出信号に基づいて手ぶれ量を演算して防振制御を行う。
【0012】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
図1は、本発明に係る一実施形態として、複数の焦点検出領域を持つ多点自動焦点カメラに手ぶれ検出と動体予測の技術を適用した例の概略的な構成を示す。図示した部材以外で、通常のカメラが有する機能や構成部材は、ここでは説明しないが備えているものとする。
【0013】
このカメラは、焦点検出信号を出力する焦点検出信号出力部(焦点検出センサ)1と、得られた焦点検出信号に基づいて、被写体移動量を演算する被写体移動量演算部2と、被写体移動量出力に基づいて、被写体が移動しているか否かを判定する動体判定部3と、移動被写体が存在する焦点検出領域内でその移動被写体に合焦するように撮影レンズを駆動制御する動体AF制御部4と、移動被写体が存在しない(被写体が静止している)と判定された焦点検出領域において、その焦点検出信号出力部1の出力に基づいて、撮影者の手ぶれに関する量を演算する手ぶれ量演算部5と、得られた手ぶれに関する量に基づいて、撮影者の手ぶれが写真に影響しないように制御する防振制御部6とを有している。
この構成により、移動被写体が検出された焦点検出領域においては、その焦点検出信号に基づいて被写体移動量を演算して動体AF制御を行うが、移動被写体が検出されない焦点検出領域においては、その焦点検出信号に基づいて手ぶれ量を演算して防振制御を行うことができる。
【0014】
図2は、上記多点自動焦点カメラにおいて、一眼レフレックスカメラに適用した構成例の断面図を示す。
このカメラは、カメラボディ10の下方に焦点を検出するための焦点検出部11を備えている。通常時には、撮影レンズ12を通過した光束(被写体像)は、メインミラー13により、一部上方のファインダ14側に反射し、残りの光束は透過して直進する。このメインミラー13で反射した光束は、ペンタプリズムを介してファインダ14に導かれて、撮影画面として観察者の眼に入る。一方、メインミラー13を透過した光束は、メインミラー13に一体的に取り付けられたサブミラー15により下方に分岐して焦点検出部11に導かれる。
【0015】
この焦点検出部11は、撮影レンズ12を通過した光束を絞り込む視野マスク17と、赤外光成分をカットする赤外カットフィルタ18と、光束を集めるためのコンデンサレンズ19と、光束を全反射する全反射ミラー20と、光束の通過量を制限する瞳マスク21と、光束をエリアセンサ23上の光電変換素子群26上に再結像させる再結像レンズ22と、光電変換素子群26とその処理回路からなるエリアセンサ23とから構成される。
【0016】
このようなカメラにおいて、撮影時には、メインミラー13及びサブミラー15を点線の位置までミラーアップして退避させて、シャッタ24を所定時間だけ開き、撮影レンズ12を通過した光束(被写体像)はフィルム25に露光される。
【0017】
図3は、前述したカメラの焦点検出部11における光学系を模式的に示す図である。
この焦点検出光学系は、光路中に撮影レンズ12と、コンデンサレンズ19と、撮影レンズ12の光軸に対して略対称に配置された開口部21a,21bを有する瞳マスク21と、が設けられ、更に、これら開口部21a,21bに対応した後方に、再結像レンズ22a,22bがそれぞれ設けられている。なお、この図3では前述した全反射ミラー20は省略している。
【0018】
このような構成において、撮影レンズ12の射出瞳の領域Ha,Hbを通過して入射した被写体光束は、順に、コンデンサレンズ19、瞳マスク21の開口部21a,21b及び再結像レンズ22a,22bをそれぞれ通過していき、エリアセンサ23内の多数の光電変換素子が配列された2つの各領域23a,23bの光電変換素子群26上に第1の像と第2の像がそれぞれ再結像される。
【0019】
これら第1の像と第2の像の間隔を検出測定することにより、撮影レンズ12の合焦状態を前ピン及び後ピンを含めて検出することができる。具体的には、第1の像と第2の像の光強度分布をエリアセンサ23(開口部23a,23b)に対応する被写体像データの出力により求めて、2像の間隔を測定できるように構成されている。
【0020】
図4には、図2において説明したカメラの電気制御系を含む機能ブロックを示しており、その各部の詳細構成と動作について説明する。
この構成において、制御部30は、カメラ全体の統括的な制御を行い、この内部には、例えばCPUからなる演算・処理部31と、ROM32と、RAM33と、A/Dコンバータ34とを備えている。
【0021】
上記制御部30は、ROM32に格納されたカメラシーケンス・プログラム(詳細後述)に従ってカメラの一連の動作を制御する。またEEPROM35には、AF制御、測光等に関する補正データをそのカメラボディ毎に固有の情報として記憶保持することができる。さらに制御部30には、エリアセンサ23、レンズ駆動部36、エンコーダ37、測光部39、シャッタ駆動部40、絞り駆動部41、及びフィルム駆動部42が、この制御部30と相互通信可能に接続されている。
【0022】
このような構成において、レンズ駆動部36は、制御部30の制御に基づき、撮影レンズ12のフォーカシングレンズ12aをモータML38で駆動する。この時、エンコーダ37は、フォーカシングレンズ12aの移動量に応じたパルスを発生させて制御部30に送り、レンズ駆動が適宜制御される。
また測光部39は、撮影領域に対応したSPD(シリコンフォトダイオード)を有しており、被写体の輝度に応じた出力を発生する。制御部30は、測光部39の測光結果をA/Dコンバータ34によりデジタル信号化させて、その測光値をRAM33に格納する。
【0023】
シャッタ駆動部40及び絞り駆動部41は、制御部30からの所定の制御信号により動作し、それぞれ不図示のシャッタ機構及び絞り機構を駆動してフィルム面に露光を行なう。フィルム駆動部42は、制御部30からの所定の制御信号によりフィルムのオートローディング、巻上げ及び巻戻し動作を行なう。ファーストレリーズスイッチ(以下、1RSWと称す)とセカンドレリーズスイッチ(以下、2RSWと称す)は、レリーズボタンに連動したスイッチであり、レリーズボタンの第1段階の押下げ操作により最初に1RSWがオンし、引き続いて第2段階の押下げ操作で2RSWがオンする。制御部30は、1RSWオンで測光およびAF(自動焦点調節)処理を行い、2RSWオンで露光動作とフィルム巻上げ動作を行なうように各部位を適宜制御している。撮影モード設定部43は、各種の撮影モードを撮影者が設定するためのスイッチ群であり、動体AFモードスイッチや防振モードスイッチを含んでいる。
【0024】
図5(a)、(b)は、撮影画面内の焦点検出領域を構成する各測距エリアの配置例と移動被写体の一例を示す。ここで、図5(a)は、エリアセンサ23の全領域を15領域に分割した場合の各測距エリアの配置例を示している。図示するように、ポイントP1〜P15まで15領域の多点焦点検出領域を配置している。図5(b)は、これらのポイントP1〜P15を実際の移動被写体に当てはめた例を示している。
【0025】
図4に示したエリアセンサ23は、フォトダイオードアレイから成り、これら15領域のフォトダイオードの電荷蓄積制御は、全領域一斉に電荷蓄積(積分)を開始するが、それぞれ独立して適性な電荷蓄積量で積分停止できるように不図示の電荷積分回路が設けられている。
【0026】
図5(a)に示したA〜Hの線は、図5(b)に示した各線に対応している。図5(b)に示す各線の交点に対応した位置に、図5(a)で説明した各15領域の焦点検出領域があり、その位置に対応する被写体の焦点検出信号を出力する。
【0027】
この例では、P1、P6、P7、P11、P12の5領域は、電車の背景等の静止被写体を撮像しており、これらの領域では動体予測AFは行われない。異なるタイミングで撮像した被写体像(センサデータ)が異なる要因としては、被写体の移動による場合と、撮影者の手ぶれによる場合の2つがある。
【0028】
従って、これら5領域では、異なるタイミングで撮像した像が撮影者の手ぶれが大きいと異なることになるので、手ぶれ検出が可能である。
【0029】
その他の10領域は移動被写体である電車を撮像している。これらの領域では、動体検出が行われるので、所定のアルゴリズムに従って選択された領域の動体検出結果に基づいて動体予測AFが行われる。尚、これらの動体予測の領域における手ぶれ検出はできない。
【0030】
図6(a)、(b)は、1つの焦点検出領域に関して、これに対応するフォトダイオードアレイを直線的に配置した図である。
図6(a)に示すエリアセンサ23aを構成するフォトダイオードアレイamは、64画素であり、L(1)〜L(64)と表されている。これらの被写体信号は、順次ADコンバータ34でAD変換されて、RAM33に格納される。図6(b)に示すエリアセンサ23bを構成するフォトダイオードアレイbmは、64画素であり、R(1)〜R(64)と表されている。これらの被写体信号も順次ADコンバータ34でAD変換されて、RAM33に格納される。
つまり、1つの領域は64×2画素から成り、1つの領域毎に独立しており、適正積分量になるように積分制御される。このような領域が図5(a)に示すように15領域が設定されている。
【0031】
次に、前述したようにして得られた被写体像データに基づくAF検出演算について説明する。
例えば、この実施形態例では、2種類の相関演算を行なう方法がある。その1つの方法は、焦点検出光学系により分割された第1被写体像(図6(a)に示したエリアセンサ23aによる像)と、第2被写体像(図6(b)に示したエリアセンサ23bによる像)の間で相関演算を行い、2像のずれ量(「像ずれ量」と称す)を求める方法である。もう一方の方法は、時刻t0での被写体像と時刻t1での被写体像の間で相関演算を行い、被写体像の移動量を求めるという方法である。
【0032】
(I)像ずれ量を求めるための相関演算:
最初に第1被写体像と第2被写体像との間の像ずれ量を求める相関演算について説明すると、被写体像データは一対のエリアセンサ23a,23bに対してそれぞれ一般的に、L(i,j)、R(i,j)という形式で表わすことができる。以下の説明ではわかりやすくするために、エリアセンサ23a,23bにそれぞれ対応する一対の測距エリア、すなわち一次元の被写体像データをそれぞれL(I)、R(I)(I=1〜k)として説明する(図6(a)、(b)を参照する)。ここで、本実施形態においては、k=64として、図7に示すフローチャートを参照して、「像ずれ量検出」ルーチンに関する処理手順に基づいて説明する。
【0033】
まず、変数SL、SR及びFMINのそれぞれの初期値を設定する(ステップS1)。ここでは、SL←5、SR←37、FMIN=FMIN0を設定している。
次に、ループ変数Jの初期値として8を入力し(ステップS2)、相関値F(s)を求めるため式(1)の相関計算を行なう(ステップS3)。
【0034】
F(s)=Σ|L(SL+I)−R(SR+I)| …(1)
(但し、s=SL−SR,I=0〜26)
但し、変数SL,SRは、それぞれ被写体像データL(I),R(I)のうちの相関演算を行なうブロックの先頭位置を示す変数、Jは被写体像データR(I)上でのブロックのシフト回数を記憶する変数であり、ブロックの被写体像データ数は27個とする。
【0035】
次に、相関値F(s)とFMIN(最初は初期値FMIN0、2回目以降は初期値または更新された値)とを比較する(ステップS4)。この比較において、F(s)の方が小さい場合(YES)、FMINをF(s)に更新し、SLM、SRMをSL、SRに更新する(ステップS5)。
【0036】
一方、上記ステップS4の比較で、FMINの方が相関値F(s)より小さい場合(NO)、SR,Jからそれぞれ1を減算して次のブロックを設定する(ステップS6)。そして、J=0か否かを判定し(ステップS7)、まだ0でない場合(NO)、上記ステップS3に戻って同様な相関演算を繰り返す。このように被写体像データL(I)でのブロックを固定し被写体像R(I)でのブロックを1素子分ずつシフトして相関演算を行なう。
【0037】
一方、上記ステップS7の判定において、Jが0であった場合は(YES)、変数SL,SRにそれぞれ4,3を加算して、次のブロックを対象として設定する(ステップS8)。次に、SL=29であるか否かを判定し(ステップS9)、29でなかった場合(NO)、上記ステップS2に戻って前述の相関演算を続ける。しかし、SL=29であった場合は(YES)、その相関演算を終了する。このように被写体像データL(I),R(I)上に相関演算を行なうブロックを設定して繰り返し相関演算を行なう。これによって得られた各ブロックの相関演算の結果は、被写体像データの相関が最も高いシフト量s=xにおいて相関値F(s)が最小になる。そしてこの時、SLM、SRMにはこの最小相関値F(x)の時のSL、SRが記憶されていることになる。
【0038】
次に、後述する信頼性指数を算出する場合に使用する最小相関値F(x)の前後のシフト位置での下記相関値FM,FPを求める(ステップS10)。
【0039】
【数1】

Figure 0003979881
【0040】
そして相関演算の信頼性を判定する為の信頼性指数SKを計算する(ステップS11)。この信頼性指数SKは最小相関値F(x)と2番目に小さい相関値FP(またはFM)との和を被写体データのコントラスト相当の値(FM−F(x)又は、FP−F(x))で規格化した数値であり式(4)又は式(5)により求められる。
【0041】
【数2】
Figure 0003979881
【0042】
次に、信頼性指数SKが所定値α以上か否かを判定し(ステップS12)、SKがα以上の場合は(YES)、信頼性が低いと判断して、検出不能フラグをセットする(ステップS13)。一方、SKがαに満たない場合は(NO)、信頼性があるものと判断して、像ずれ量ΔZを計算する(ステップS14)。例えば3点補間の手法を用いて連続的な相関量に対する最小値FMIN=F(x0)を与えるシフト量x0を次式で求める。
【数3】
Figure 0003979881
なお、上記シフト量x0を用いて、像ずれ量ΔZを式(8)により求めることができる。
ΔZ=x0−ΔZ0 …(8)
(但し、ΔZ0は合焦時の像ずれ量)。
【0043】
また上式で求めた像ずれ量ΔZから、被写体像面の予定焦点面に対するデフォーカス量ΔDを式(9)で求めることができる。
【数4】
Figure 0003979881
【0044】
このようにして選択された複数の測距エリアについてそれぞれデフォーカス量を算出する。そして、例えば複数の測距エリアのうちから最も近距離を示すデフォーカス量を選択する。
【0045】
さらに、選択されたデフォーカス量ΔDからレンズ駆動量ΔLを式(10)により求める。
【数5】
Figure 0003979881
【0046】
そして上記レンズ駆動量ΔLに基づいてフォーカスレンズの駆動を行なうことにより合焦状態を得ることができる。
【0047】
図8(a)〜(d)に示された移動する被写体に対する焦点検出の原理を説明する。
【0048】
被写体66、カメラ10及びエリアセンサ23の関係をみると、例えば図8(a)に示すように、カメラ10に向かって被写体66が真っ直ぐに近づいてくる(矢印G3方向)場合、前述した焦点検出の原理により、第1(L)及び第2センサ(R)上の第1及び第2の被写体像は、時刻t0から時刻t1の間に互いに外側へ移動する。この場合、被写体像の移動量ΔXLとΔXRは等しい。
【0049】
さらに、図8(c)に示すように、カメラ10に向かって被写体66が左手前に近づく(矢印G4方向)場合、第1の被写体像(L)は近づいてくることによる外側への移動量と、左に平行移動することによる左側への移動量が相殺されて移動量は小さくなる。
【0050】
同様に、図8(d)に示すようにカメラ10に向かって被写体66が左後方に遠ざかる場合は、第1の被写体像(L)は遠ざかることによる内側への移動量と、左に平行移動することによる左側への移動量が相殺されて移動量は小さくなる。一方、第2の被写体像(R)は遠ざかることによる内側への移動量と、左に平行移動することによる左側への移動量が加算されて移動量は大きくなる。
【0051】
ここで、時刻t0から時刻t1の被写体像を基に、後述する相関演算等を行う手段により第1及び第2被写体像の移動量ΔXL、ΔXRを検出して、右方向への移動を+とする符号をつけると、光軸方向の被写体像の移動量はΔXR−ΔXL、横方向の被写体像の移動量はΔXR+ΔXLで求めることができる。よって、時刻t0から時刻t1までの被写体像の移動量ΔXR、ΔXLが求まれば、時刻t2での被写体像の位置を予測することができる。
【0052】
被写体が一定の速度で動いているとすると、横方向の被写体像の移動速度は定速度となる。尚、光軸方向への被写体像の移動速度は、厳密には定速度にはならないが、微小な時間間隔では定速度と考えてよい。
従って、時刻t0での第1被写体像の予測位置は、時刻t1の被写体像位置より式(11)に示されるΔXL′だけ移動している。すなわち、
【数6】
Figure 0003979881
【0053】
同様に、第2被写体像の予測位置は式(12)に示されるΔXR′だけ移動する。
【0054】
【数7】
Figure 0003979881
【0055】
また時刻t1での第1、第2被写体像の像ずれ量をΔZとすると時刻t2での予測像ずれ量ΔZ′は式(13)のように求められる。
【数8】
Figure 0003979881
【0056】
そしてこの予測像ずれ量ΔZ′に基づいて、レンズ駆動量を求める。時刻t2を露光開始までの時間とすることにより、移動する被写体に対してピントの合った写真を得ることができる。この時、ΔXR−ΔXLの符号によって、被写体が接近しているのか、遠ざかっているのかを判断しておく。ΔXR−ΔXL>0であれば、被写体は接近していることになる。
【0057】
次に、被写体像の移動を求めるための相関演算と、その信頼性判定について説明すると、時刻t0での被写体像L′(I),R′(I)と前述した2像間の相関演算により求められた相関ブロックSLM′,SRM′、相関性係数SK′、像ずれ量ΔZ′はそれぞれ、制御部30内のRAM33に記憶される。その後、時刻t1での被写体像信号L(I),R(I)を検出する。
【0058】
次に、図9に示す被写体像の移動と、図10に示すフローチャートを参照して、移動量検出について説明する。
【0059】
まず、第1の被写体像信号について、時刻t0での被写体像信号L′(I)と時刻t1での被写体像信号L(I)について相関演算を行なう。これは、被写体像の移動を検出する「移動量検出」ルーチンにおいては、まず変数SL にSLM′−10を代入する(ステップS21)、また変数Jは相関範囲をカウントする変数であり、初期値として、20を代入する(ステップS22)。
【0060】
次に、式(14)の相関式により相関出力F(s)を計算する(ステップS23)。
【0061】
【数9】
Figure 0003979881
【0062】
続いて、前述した相関演算と同様に、F(s)とFMIN を比較し(ステップS24)、この比較で、F(s)がFMINより小さければ(YES)、FMINにF(s)を代入し、且つSLをSLMに記憶する(ステップS25)。この場合、相関をとるブロックの素子数は前述した像ずれ量を求める時のブロックの素子数と同じ27である。しかし、F(s)がFMINより大きければ(NO)、次のステップS26に移行する。
【0063】
次にSLに1を加算し、Jからは1を減算する(ステップS26)。そしてJ=0か否かを判定し、Jが0でなければ(NO)、J=0となるまで上記ステップS23に戻り、相関式F(s)を繰り返す。このように、±10素子まで相関範囲を変化させて相関をとっていくが、この相関範囲は検出したい移動量範囲により決定される。しかし、J=0となった場合(YES)、信頼性の判定を行なう。
【0064】
すなわち、前述した第1、第2被写体像の像ずれ量を求める時と同様に、最小相関値F(X)の前後のシフト量での相関値FM、FPを式(15)及び式(16)により求める(ステップS28)。
【0065】
【数10】
Figure 0003979881
【0066】
次に、信頼性指数SKを前述した式(4)と式(5)により求める(ステップS29)。そして、SK>βか否かを判定する(ステップS30)。この判定でSK≦βの時は(NO)、信頼性ありと判断して、移動量を求める(ステップS31)。但し、値βは、第1、第2被写体像の像ずれ量を求める時の判定値αよりも大きな値とする。これは、被写体が移動していると波形が変形する場合が多いので相関性が悪くなる可能性が大きいはずである。
【0067】
そして、被写体像の移動量ΔXLを求める。前述した第1、第2被写体像の像ずれ量の計算時と同様に3点補間の手法により、式(17)及び式(18)により求める。
【数11】
Figure 0003979881
【0068】
一方、上記ステップS30の判定において、SK>βの関係であれば(YES)、信頼性がないと判別して、検出不能フラグを設定する(ステップS31)。
【0069】
第2被写体像R(I),R′(I)についても、詳細は省略するが、同様の移動量検出ルーチンを実行し、相関が最も高いブロック位置SRM、移動量ΔXR を求める。
第1、第2の被写体像の移動量ΔXL 、ΔXR が求められると、時刻t1での像ずれ量ΔZ′は、時刻t0の時の像ずれ量ΔZより式(19)のようにして求められる。
【数12】
Figure 0003979881
時刻t0の像ずれ量ΔZに基づく、時刻t2での像ずれ量ΔZ″の予測式は式(20)のようになる。
【数13】
Figure 0003979881
【0070】
時刻t2を後述する方法で求めて、ΔZ″に基づいた量だけレンズ駆動することにより、時刻t2において、移動している被写体にピントを合わせることができる。
【0071】
なお、被写体像の移動速度v=(ΔXR−ΔXL)/(t1−t0)が大きすぎる場合は、検出値に信頼性がないものとして像ずれ量の予測はしない。また、被写体像の移動速度が小さく検出誤差と見なされる場合は、移動速度を0にする。
【0072】
(III) 像ずれ量予測時刻t2の予測式:
ここで、像ずれ量を予測する時刻t2を求める方法について述べる。
前述したように、時刻t2の像ずれ量ΔZ″は時刻t1の像ずれ量ΔZ、時刻t0から時刻t1の被写体像の移動量ΔXR、ΔXLを用いて式(20)により求められる。
【0073】
いま、露光時に合焦状態になるような時刻t2を式(21)で求める。
【数14】
Figure 0003979881
【0074】
この式において、tdは、時刻t1からレンズ駆動を開始するまでの時間であり、この値には前述した相関演算時間等のカメラ内部での処理時間が含まれる。
ここで、keは、像ずれ量ΔZ″に比例したレンズ駆動時間を求める変換係数である。レンズ駆動量ΔLは、像ずれ量ΔZ″に基づいて式(9)及び式(10)により求められるが、像ずれ量ΔZ″が充分に小さい領域においてはデフォーカス量ΔD、レンズ駆動量ΔLは像ずれ量ΔZ″に比例すると近似するので、精度的に問題はない。teは、レンズ駆動終了からシャッタ幕が開放されて露光が開始されるまでの時間であり、カメラの露光演算、絞り制御、ミラーアップ等の時間を含む。
上記式(20)と式(21)を解くことで、予測像ずれ量を求める式(22)が次のように導かれる。
【0075】
【数15】
Figure 0003979881
【0076】
このΔZ″から、式(9)及び式(10)にてレンズ駆動量ΔLを求めてレンズ駆動を行なうことにより、移動している被写体に対して露光時に合焦状態とすることができる。
次にレンズ駆動終了時の合焦となるような時刻t2は式(23)で求まる。
t2=t1+td+ke・ΔZ″ …(23)
同様に式(20)及び式(23)を解いて、次のような式(24)が導かれる。
【数16】
Figure 0003979881
【0077】
このΔZ″から、式(9)及び式(10)にてレンズ駆動量ΔLを求めてレンズ駆動を行なうことにより、移動している被写体に対してレンズ駆動終了時に合焦状態とすることができる。
【0078】
次に、図11に示すフローチャートを参照して、この実施形態における具体的な動作プログラムについて説明する。なお、「AF」ルーチンは、後述するメインルーチン中で実行されているものとする。
まず、エリアセンサ23の積分動作を実行し、積分が終了するとエリアセンサ23より被写体像データ(以下、センサデータと称する)を読み出す(ステップS41)。
【0079】
次に、被写体像ずれ量(以下像ずれ量)が検出されたか否かを判定する(ステップS42)。この判定で検出されていない場合は(NO)、前述した「像ずれ量検出」ルーチン(図7参照)により像ずれ量を求める(ステップS43)。ここでは、エリアセンサ23a,23b上の予め設定されている所定の測距エリアについて、像ずれ量を検出する。但し、予め設定されている測距エリアは、例えば撮影者により選択された1個の測距エリア若しくは、全測距エリアであってもよい。
【0080】
次に、上記所定の測距エリアに対して、全て像ずれ量検出を終了したか否かを判定し(ステップS44)、まだ終了していない場合は(NO)、上記ステップS43に戻り、次の測距エリアの像ずれ量検出を行なう。
一方、全所定の測距エリアの像ずれ量検出が終了した場合は(YES)、所定のアルゴリズム、例えば最至近選択に基づいて測距エリアの選択を行なう(ステップS45)。以下、選択された測距エリアam,bmとしての説明を行なう。
【0081】
次に、像ずれ量が検出不能、すなわち所定測距エリアについて全て検出不能であるか否かを判定する(ステップS46)。この判定において、検出可能な場合は(YES)、像ずれ量検出可能フラグがセットされ(ステップS47)、更に像ずれ量検出済フラグがセットされる(ステップS48)。
【0082】
一方、上記ステップS46において、全て検出不能であると判定された場合は(NO)、像ずれ量検出不能フラグをセットし(ステップS49)、像ずれ量検出済フラグをクリアする(ステップS50)。そして、上記像ずれ量検出済フラグをセット若しくはクリアした後、像移動量検出済フラグをクリアし(ステップS51)、図12にて後述するメインルーチンにリターンする。
また上記ステップS42の判定において、既に像ずれ量が検出されていた場合は(YES)、以下のように第1、第2の被写体像毎に被写体像の時間に対する移動量を検出する。まず、上記ステップS45で選択された測距エリアamを初期測距エリアとして設定する(ステップS52)。
【0083】
次に、測距エリアamの第1被写体像について前回(時刻t0)の像ずれ量検出で記憶しておいたセンサデータと、今回(時刻t1)のセンサデータとの相関演算を行い、移動量を検出する(ステップS53)。これは、図10に示した移動量検出ルーチンによる。
【0084】
そして、第1被写体像の移動量が検出できたか否かを判定する(ステップS54)。この判定で、移動量が検出できなかった場合は(NO)、第1、第2被写体像間の像ずれ量は、0であるとされ、測距エリアam近傍の測距エリアについて、すべての測距エリアが設定されているか否かを判別する(ステップS55)。この判定で、近傍の全測距エリアについてのシフトが終了していない場合は(NO)、今回(時刻t1)における測距エリアを所定の順序に従ってシフトし、次の測距エリアにシフトして設定する(ステップS56)。その後、上記ステップS53に戻り、設定された新しい測距エリアについて、再度第1被写体像移動量を検出する。このようにして第1被写体像の位置を探索していく。
【0085】
しかし、上記ステップS55の判定において、近傍の全ての測距エリアにて設定が終了したならば(YES)、後述するステップ59に移行する。
【0086】
また上記ステップS54の判定において、第1被写体像の位置が検出でき、さらに時刻t0からt1の移動量が検出できた場合は(YES)、第1被写体移動量が検出できた測距エリアakに対応するエリアセンサ23bの測距エリアbkについて第2被写体像に対する移動量を検出する(ステップS57)。これは、図10の「移動量検出」ルーチンを参照する。尚、このとき、第1被写体像の移動量が検出できた時刻t1における測距エリアをakとする。
【0087】
ここで測距エリアのシフトが発生した場合には、像移動量として測距エリア間のシフト量(例えば、中心間距離の画素数換算値)がΔXL 、ΔXR に加算される。
【0088】
このようにして第1、第2の被写体像の両方の移動量が検出できたときには、被写体像の光軸方向の移動速度vが次式から計算される(ステップS58)。
【数17】
Figure 0003979881
【0089】
そして、検出する所定の測距エリアについて、全ての移動速度演算が終了しているかを判定し(ステップS59)、演算が終了していなければ(NO)、測距エリアanについて、移動速度の検出が終了しているため、次に測距エリアan+1を設定して(ステップS60)、上記ステップS53に戻る。
【0090】
上記ステップS59の判定において、全ての移動速度演算が終了していれば(YES)、計算されたこの移動速度vを所定速度vthと比較して、被写体が光軸方向に移動しているか否かを全測距エリアで判定を行い(ステップS61)、被写体が移動している測距エリア以外の被写体が静止している測距エリアにおいて手ぶれ量に関する演算を行い、手ぶれがあるか否かを判定する(ステップS6)。そして、被写体が静体か否かを判定を行う(ステップS63)。この判定で、静体ではなく、光軸方向に移動していると判定できる場合は(NO)、被写体移動中フラグをセットする(ステップS64)。しかし、静体であると判定された場合は(YES)、被写体移動中フラグをクリアして(ステップS65)、上記ステップS43に戻り、再び像ずれ量の検出処理からやり直す。
【0091】
そして、上記被写体移動中フラグをセットした後、像移動検出済みフラグをセットして(ステップS66)、移動被写体検出時にどの測距エリアに焦点を合わせるかを選択する(ステップS67)。
【0092】
前述した第1の実施形態においては、動体判定のステップで、すでに中央を重視して、動体判定しているので、ステップS67では、動体と判定され、測距エリアの中で一定の基準を定めて、例えば、動作が速い被写体を選ぶ測距エリアを選択して、メインルーチンにリターンする。
【0093】
次に、図4に示す構成及び図12に示すフローチャートを参照して、本発明の多点自動焦点カメラを適用したカメラのメインルーチンについて説明する。このメイン動作は、制御部30によって起動されるプログラムの制御手順を示すルーチンであり、制御部30の動作開始により実行される。
【0094】
まず、EEPROM35から予め記憶されている測距、測光処理において使用する各種補正データを読み出し、RAM33に展開する(ステップS71)。
そして、1RSWがオンされているか否かを判定し(ステップS72)、オン状態でなければ(NO)、1RSW及び2RSW以外の他のスイッチが操作されているか否かを判定し(ステップS73)、操作されたスイッチがあれば(YES)、そのスイッチに応じた処理を実行し(ステップS74)、その後上記ステップS72に戻る。
【0095】
一方、上記ステップS72において、1RSWがオン状態であれば(YES)、不図示のAF動作モードスイッチの状態を判断し、AF動作モードが「シングルAF」か否かを判定する(ステップS75)。この判定で、シングルAFモードであった場合は(YES)、一度合焦すると、フォーカスロックを行いレンズ駆動しないため、次に合焦済みか否かを判定する(ステップS76)。しかし、シングルAFモードではない場合は(NO)、コンティニュアスAFモードであるものとみなし、一度合焦した後も被写体の変化に追従してAF駆動を繰り返すようにするために、後述する上記ステップS77に移行する。
【0096】
上記ステップS76において、合焦済みであれば(YES)、AF駆動が行われず、上記ステップS72に戻る。しかし、合焦していない場合(NO)、或いはコンティニュアスAFモードの場合には、測光済みか否かを判定し(ステップS77)、測光済みでなければ露光量を決定するために測光部39を動作させて被写体輝度を測定する測光動作を行なう(ステップS78)。
【0097】
次に、前述したサブルーチン「AF」が実行される(ステップS79)。このAF動作の結果、前述した検出不能フラグを参照して像ずれ検出不能か否かを判別する(ステップS80)。この判別で、像ずれ検出可能の場合は(NO)、被写体像の移動量が検出済みか否かを判定する(ステップS81)。一方、像ずれ検出不能の場合は(YES)、フォーカスレンズ12aを駆動しながらAF検出可能なレンズ位置を探すスキャン動作を行ない(ステップS82)、上記ステップS72に戻る。このスキャンが行なわれた場合は、全てのフラグがクリアされてAFが再び最初からやり直される。
【0098】
また、上記ステップS81において、被写体像の移動量が検出済みの場合は(YES)、像ずれ量の予測が行われる。まず、2RSWがオンされているか否かを判定し(ステップS83)、2RSWがオンされていた場合は(YES)、露光開始時の像ずれ量が予測される(ステップS84)。一方、2RSWがオフしていた場合は(NO)、AF動作を行なうだけなので、レンズ駆動終了時の像ずれ量が予測され(ステップS85)、後述するステップS87に移行する。
【0099】
また上記ステップS81において、被写体像の移動量が検出済みでない場合は(NO)、被写体が移動中であるか否かを判定する(ステップS86)。この時点で、像移動検出済みフラグは後述するように、レンズ駆動された後(ステップS87)、クリアされ、コンティニュアスAFモードでレンズ駆動後は像移動検出されていなくても被写体移動中フラグがセットされているので、ステップS72に戻り、被写体像移動を再度検出し直す。
【0100】
一方、移動中ではない場合は(NO)、検出された像ずれ量、または予測された像ずれ量をデフォーカス量に変換して、合焦許容範囲に像が入っているか否かを判定する(ステップS87)。この判定で、合焦していると判定されなかった場合は、必要なレンズ駆動量が求められ、フォーカスレンズが駆動される(ステップS88)。レンズ駆動ルーチン内では、そのレンズ駆動後に像ずれ検出済みフラグ、像ずれ検出不能フラグおよび像移動検出済みフラグをそれぞれクリアする。
【0101】
このクリア処理は、一度フォーカスレンズを駆動した後には、被写体像が大きく変化すると考えられるので、AFを最初からやり直すためである。尚、前述したように、被写体像移動中フラグだけは、ここではクリアしない。この理由は、コンティニュアスAFモードでレンズ駆動後に最初のAFで合焦判定してしまわないようにして、引き続き被写体の移動を検出するようにするためである。
【0102】
上記ステップS87において、合焦状態である判定の場合は(YES)、2RWのオン・オフ状態を判別する(ステップS89)。ここで、2RSWがオンされていれば(YES)、ステップS6の判定の結果、現在の手ぶれが大きいか否かを判定する(ステップS92)。手ぶれが大きくない場合には、ステップS90に移行するが、大きい場合には、2RSWのオンの後、所定時間が経過したか否かを判定する(ステップS93)。所定時間が経過すると、ステップS90に移行するが、未経過であればステップS79に戻って、動体検出と手ぶれ検出を行う。
【0103】
このステップS93は、2RSWのオン後のタイムラグを制限するためのもので、所定時間手ぶれが小さくならないと、手ぶれ検出を中止する。そして、上記RAM33に格納されている測光値に基づいて絞りとシャッタを制御して露光動作を行なう(ステップS90)。そして撮影したフィルムを巻き上げて、次のコマの位置に給送し(ステップS91)、一連の撮影動作を終了する。
【0104】
以上説明したように、第1の実施形態では、エリアセンサ上において、被写体像の位置を検出し、移動被写体であっても、その移動量を求めて被写体像位置を予測することができ、動体予測制御が可能となり正確にピントを合わせることができる。さらに、被写体が静止している測距エリアにおいて像信号に基づいて手ぶれの有無を判定し、手ぶれの小さいタイミングで露光シーケンスをスタートするようにしているので、動体予測制御と同時に手ぶれ防止制御もできる。
【0105】
次に図13に示すフローチャートを参照して、図11に示したステップS61の動体判定について説明する。
まず、初期測距エリアを設定する(ステップS101)。例えば、測距エリアP1を設定する。次に、測距エリア毎に所定速度Vthの値を設定する(ステップS102)。後述する図14において説明するが、周辺の測距エリアほど中央の測距エリアよりもVthを大きく設定する。
【0106】
そして、図11におけるステップS54で像移動が検出可能と判定された測距エリアであるかを判定する(ステップS103)。この判定で、検出可能な測距エリアであれば(YES)、上記ステップS102で設定した測距エリア毎のVthと図11におけるステップS58で演算した像移動速度を比較して、被写体が移動している動体であるか否かを判定する(ステップS104)。
【0107】
この判定で、Vthよりも大きいと判定された場合には(YES)、被写体が動体であると判定して、設定測距エリアの被写体が動体である情報をRAM33に格納する(ステップS105)。しかし、Vthよりも小さいと判定された場合には(NO)、被写体は静体であると判定して、設定測距エリアの被写体が静体である情報をRAM33に格納する(ステップS106)。
そして、全測距エリアの動体判定が終了したか否かを判定する(ステップS107)。この判定で、終了していれば(YES)、リターンする。終了していなければ(NO)、次の測距エリアを設定して(ステップS108)、上記ステップS102に戻る。
【0108】
次に図14を参照して、図13のステップS102における、測距エリア毎の所定速度Vth値の設定について説明する。
図14の横軸は、図5で説明した測距エリア番号に相当し、縦軸はVthである。
【0109】
測距エリアP13は、撮影画面中央の測距エリア(斜線で示す測距エリアm)であり、測距エリアP7〜P9,P12,P14、P17〜P19は、測距エリアP13に隣接(1エリア周辺)する第1の測距エリア群であり、測距エリアP1〜P5,P6,P10,P16,P20,P21〜P25は中央の測距エリアから2エリア周辺の第2の測距エリア群である。
【0110】
図14は、中央の測距エリアP13に対して第1の測距エリア群は2倍、第2の測距エリア群は3倍のVthとした例を示している。この設定により、第2の測距エリア群に存在する移動被写体は、中央の測距エリアP13よりも3倍動体判定される。
【0111】
以上説明したように、本実施形態によれば、被写体が撮影画面中央に近いほど動体と判定され易くなり、中央の移動被写体に合焦し易くなる。
【0112】
図15に示すフローチャートを参照して、図11における上記ステップS62の手ぶれ判定のサブーチンについて説明する。
図14に示した像移動速度が最低である(すなわち、最も被写体が静止しているエリア)と判断されたエリアを初期領域として設定する(ステップS111)。
【0113】
そして、設定した領域のコントラスト(領域内の画素出力の最低値と最高値の差)が十分大きいか否かを判定する(ステップS112)。この判定を行うのは、コントラストが小さいと像移動演算の信頼性が低下するためである。
【0114】
この判定で、コントラストの小さい領域であると判定された場合には(NO)、この領域では手ぶれ演算せず、次のエリアを設定する(ステップS113)。この次のエリアは、例えば現在の設定エリアの次に像移動速度が小さいエリアを設定したり、現在の設定エリアの隣のエリアを設定したりする。一方、コントラストが十分に大きいと判定されたならば(YES)、前述した第1の被写体像の移動量△XLの絶対値と第2の被写体像の移動量△XRの絶対値の大きい方の値を△Xと設定する(ステップS114)。
【0115】
次に、この△Xが予め定めてある所定値より大きいか否かを判定する(ステップS115)。この判定において、所定値よりも大きい場合は(YES)、手ぶれが大きいと判断されて、手ぶれフラグがセットされる(ステップS116)。このフラグは、図12におけるステップS92の判定に用いる。一方、所定値よりも小さければ(NO)、現在の設定エリアにおいては、手ぶれは小さいと判断され、手ぶれフラグをクリアする。
【0116】
さらに、手ぶれフラグをクリアした後、全エリアについて手ぶれ判定が終了したかを判定する(ステップS118)。全エリア終了していれば(YES)、手ぶれが全くないものと判定され、手ぶれフラグをクリアしたままでリターンする。
【0117】
一方、全エリアの判定が終了していないならば(NO)、次のエリアを設定し(ステップS119)、上記ステップS112に戻り、同じ処理を繰り返し行う。
このように手ぶれ判定を行なうことにより、図13のフローチャート行った被写体が静止していると判断された全エリアについて手ぶれ判定ができる。
【0118】
図16(a)、(b)は、手ぶれ判定の概念を説明するための図である。
図16(a)は、時間t1で撮像した静止被写体が存在する任意エリア内で隣合う画素によるL側とR側のセンサデータ出力を示している。図16(b)は、同様に時間t1の所定時間経過後の時間t2で撮像したセンサデータ出力である。例えば、第1の被写体像の移動量△XLと第2の被写体像の移動量△XRは、その符号と絶対値が同じとすると、式(25)より被写体の光軸方向の移動速度Vは零となる。つまり、図16の例は被写体が完全静止しており、撮影者の手ぶれによって撮像範囲が画素並び方向に移動した例である。
【0119】
このように手ぶれが観測されるエリアのセンサデータは、式(25)の△XL−△XRは小さい値になるが、△XLの絶対値あるいは△XRの絶対値はある程度大きい値になる。図16(a)、(b)は、この性質に注目して手ぶれ検出を行なっている。
【0120】
以上、説明した本発明の実施形態について、本発明の趣旨から逸脱しない範囲で様々な変形は可能である。例えば、防振制御は手ぶれが小さくなるタイミングまで露光を待つ方式で説明したが、これに限らず、手ぶれ防止できればよく、また、動体予測制御も動体検出できれば他の検出方式を用いてもよい。
【0121】
【発明の効果】
以上詳述したように本発明によれば、移動被写体が検出された焦点検出エリアでは動体予測AFを行い、その他のエリアでは手ぶれ検出をすることによって、AFセンサ出力を利用して移動被写体と手ぶれ検出を共存させることができるようになり、動体予測AFの効果と防振制御の効果を同時に実現できるカメラを提供することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る多点自動焦点カメラの概略的な構成を示す図である。
【図2】実施形態の多点自動焦点カメラを一眼レフレックスカメラに適用した構成例の断面図である。
【図3】本実施形態のカメラの焦点検出部における光学系を模式的に示す図である。
【図4】図2に示したカメラの電気制御系を含む機能ブロックを示す図である。
【図5】撮影画面内の焦点検出領域を構成する各測距エリアの配置例と移動被写体の一例を示す図である。
【図6】1つの焦点検出領域に関して、これに対応するフォトダイオードアレイを直線的に配置した図である。
【図7】「像ずれ量検出」ルーチンに関する処理手順に基づいて説明するためのフローチャートである。
【図8】移動する被写体に対する焦点検出の原理を説明するための図である。
【図9】移動量検出のための被写体像の移動について説明するための図である。
【図10】移動量検出について説明するためのフローチャートである。
【図11】本実施形態における具体的な動作プログラムについて説明するためのフローチャートである。
【図12】本発明の多点自動焦点カメラを適用したカメラのメインルーチンについて説明するためのフローチャートである。
【図13】図11における動体判定について説明するためのフローチャートである。
【図14】図13における測距エリア毎の所定速度Vth値の設定について説明するための図である。
【図15】図11における手ぶれ判定のサブルーチンについて説明するためのフローチャートである。
【図16】手ぶれ判定の概念を説明するための図である。
【符号の説明】
1…焦点検出信号出力部(焦点検出センサ)
2…被写体移動量演算部
3…動体判定部
4…動体AF制御部
5…手ぶれ量演算部
6…防振制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a multipoint autofocus camera that performs a camera shake detection function and moving object prediction AF based on an output of a distance measuring sensor.
[0002]
[Prior art]
In general, for a camera, a moving object prediction AF technique for focusing on a moving subject and a technique for detecting a camera shake of a photographer and performing a vibration reduction are also known.
For example, in Japanese Patent Laid-Open No. 6-313920, a feature amount of a light amount distribution obtained by a light receiving unit is obtained, and a camera shake detection unit that detects a camera shake from a change in the feature amount is mounted. The camera to do is presented.
[0003]
Japanese Patent Laid-Open No. 9-297335 discloses a plurality of focus detection signals in a time series according to the focus state of the subject image by the focus detection unit, performs a prediction calculation on these focus detection signals, The camera includes a moving body determination unit that adjusts the focus by a prediction operation so as to focus on a subject moving in the optical axis direction of the photographic lens, and a camera shake prevention unit that prevents the influence of the camera shake of the photographer. When operating, a camera that does not perform a predictive operation is presented.
[0004]
[Problems to be solved by the invention]
Regarding the technique in the above-mentioned publication, for example, when the moving object is detected by the technique disclosed in Japanese Patent Laid-Open No. 6-313920, the image stabilization operation is prohibited. On the other hand, in the technique disclosed in Japanese Patent Application Laid-Open No. 9-297335, when the mode for performing image stabilization is set, the moving object prediction AF is not performed.
[0005]
These two technologies coexist at the same time Let me Technology The idea It is. In other words, there is a contradiction between the moving object prediction AF technology that requires a small time lag to focus on a moving subject and the image stabilization technology that permits exposure after waiting until the camera shake of the photographer is reduced. There is an idea Because.
[0006]
Accordingly, there is a problem that image stabilization cannot be performed while a moving subject is being photographed, and conversely, moving object photographing cannot be performed if the image stabilization mode is set. In addition, there are many scenes in which a subject such as a landscape photograph, a snapshot taken at a travel destination, or a commemorative photograph is photographed where the subject does not move or does not move much. There is also an idea that it is better to do it.
[0007]
In these techniques, both moving object detection and camera shake detection are detected from changes in sensor data obtained at a plurality of timings. Regarding camera shake detection, a technique for detecting camera shake based on the output of an AF sensor is also known. . That is, it is useless not to use it for camera shake detection even though the AF sensor output is obtained at a plurality of timings in order to detect the moving object.
[0008]
In view of this, the present invention coexists moving object detection and camera shake detection, and performs moving object predictive AF in a focus detection area where a moving subject is detected, and performs camera shake detection in other areas to move using AF sensor output. An object of the present invention is to provide a camera that detects a subject and camera shake.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a multipoint autofocus camera having a focus detection sensor that is divided into a plurality of focus detection areas and outputs a focus detection signal. Subject image signal output from the focus detection sensor Based on the image movement amount calculation means for calculating the amount of movement of the subject image within each focus detection area, and a moving body for determining whether the subject is moving based on the output of the image movement amount calculation means With respect to the focus detection area in which the subject is determined to be stationary by the determination means and the moving object determination means, Subject image signal output from the focus detection sensor And a camera shake amount calculating means for calculating an amount related to the camera shake amount of the photographer.
[0010]
In addition, the above-described camera shake amount calculation means captures images at a plurality of timings having different times. Subject image signal output by the focus detection sensor The image shift amount calculation means for calculating the image shift amount between the first time and the second time based on the above, and the camera shake amount of the photographer based on the image shift amount calculated by the image shift amount calculation means And a camera shake judging means for judging The camera shake amount calculating means further includes an image stabilization control means for performing control so as to permit photographing when the camera shake of the photographer is small and prohibit photography when the camera shake of the photographer is large.
[0011]
The multi-point autofocus camera configured as described above performs moving object AF control by calculating the subject movement amount based on the focus detection signal in the focus detection area where the moving subject is detected. In a focus detection region that is not performed, image stabilization is performed by calculating the amount of camera shake based on the focus detection signal.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 shows a schematic configuration of an example in which camera shake detection and moving object prediction techniques are applied to a multipoint autofocus camera having a plurality of focus detection areas as an embodiment according to the present invention. In addition to the illustrated members, functions and components of a normal camera are assumed to be provided although not described here.
[0013]
This camera includes a focus detection signal output unit (focus detection sensor) 1 that outputs a focus detection signal, a subject movement amount calculation unit 2 that calculates a subject movement amount based on the obtained focus detection signal, and a subject movement amount. Based on the output, a moving body determination unit 3 that determines whether or not the subject is moving, and a moving body AF control that drives and controls the photographing lens so that the moving subject is focused within a focus detection area where the moving subject exists. In the focus detection area where it is determined that there is no moving subject (the subject is stationary) and the amount of camera shake that calculates the amount relating to the camera shake of the photographer based on the output of the focus detection signal output unit 1 Based on the obtained amount of camera shake, the calculation unit 5 has an image stabilization control unit 6 that controls the camera shake of the photographer so as not to affect the photograph.
With this configuration, in the focus detection area where the moving subject is detected, the subject movement amount is calculated based on the focus detection signal and the moving object AF control is performed. However, in the focus detection area where the moving subject is not detected, the focus is detected. Based on the detection signal, it is possible to perform the image stabilization control by calculating the amount of camera shake.
[0014]
FIG. 2 is a cross-sectional view of a configuration example applied to a single-lens reflex camera in the multipoint autofocus camera.
This camera includes a focus detection unit 11 for detecting a focus below the camera body 10. At normal times, the light beam (subject image) that has passed through the photographic lens 12 is reflected by the main mirror 13 toward the upper part of the finder 14 and the remaining light beam is transmitted and travels straight. The light beam reflected by the main mirror 13 is guided to the finder 14 via the pentaprism, and enters the observer's eyes as a photographing screen. On the other hand, the light beam transmitted through the main mirror 13 is branched downward by the sub mirror 15 integrally attached to the main mirror 13 and guided to the focus detection unit 11.
[0015]
The focus detection unit 11 totally reflects the luminous flux, a field mask 17 that narrows the luminous flux that has passed through the photographing lens 12, an infrared cut filter 18 that cuts infrared light components, a condenser lens 19 that collects the luminous flux, and the like. Total reflection mirror 20, pupil mask 21 for limiting the amount of light beam passing through, re-imaging lens 22 for re-imaging the light beam on photoelectric conversion element group 26 on area sensor 23, photoelectric conversion element group 26 and its It is comprised from the area sensor 23 which consists of a processing circuit.
[0016]
In such a camera, at the time of shooting, the main mirror 13 and the sub mirror 15 are mirrored up and retracted to the dotted line position, the shutter 24 is opened for a predetermined time, and the light flux (subject image) that has passed through the shooting lens 12 is film 25. To be exposed.
[0017]
FIG. 3 is a diagram schematically illustrating an optical system in the focus detection unit 11 of the camera described above.
This focus detection optical system is provided with a photographing lens 12, a condenser lens 19, and a pupil mask 21 having openings 21a and 21b arranged substantially symmetrically with respect to the optical axis of the photographing lens 12 in the optical path. Furthermore, re-imaging lenses 22a and 22b are provided behind the openings 21a and 21b, respectively. In FIG. 3, the above-described total reflection mirror 20 is omitted.
[0018]
In such a configuration, the subject luminous flux that has entered through the exit pupil areas Ha and Hb of the photographing lens 12 in this order is the condenser lens 19, the openings 21 a and 21 b of the pupil mask 21, and the re-imaging lenses 22 a and 22 b in this order. The first image and the second image are re-imaged on the photoelectric conversion element group 26 in each of the two regions 23a and 23b in which a large number of photoelectric conversion elements in the area sensor 23 are arranged. Is done.
[0019]
By detecting and measuring the distance between the first image and the second image, the in-focus state of the photographic lens 12 can be detected including the front pin and the rear pin. Specifically, the light intensity distribution of the first image and the second image is obtained from the output of subject image data corresponding to the area sensor 23 (openings 23a and 23b) so that the interval between the two images can be measured. It is configured.
[0020]
FIG. 4 shows functional blocks including the electric control system of the camera described in FIG. 2, and the detailed configuration and operation of each part will be described.
In this configuration, the control unit 30 performs overall control of the entire camera, and includes an arithmetic / processing unit 31 including a CPU, a ROM 32, a RAM 33, and an A / D converter 34, for example. Yes.
[0021]
The control unit 30 controls a series of operations of the camera according to a camera sequence program (detailed later) stored in the ROM 32. The EEPROM 35 can store and hold correction data relating to AF control, photometry, and the like as information unique to each camera body. Furthermore, the area sensor 23, the lens driving unit 36, the encoder 37, the photometric unit 39, the shutter driving unit 40, the aperture driving unit 41, and the film driving unit 42 are connected to the control unit 30 so as to be able to communicate with the control unit 30. Has been.
[0022]
In such a configuration, the lens driving unit 36 drives the focusing lens 12a of the photographing lens 12 with the motor ML38 based on the control of the control unit 30. At this time, the encoder 37 generates a pulse corresponding to the amount of movement of the focusing lens 12a and sends the pulse to the control unit 30, so that lens driving is appropriately controlled.
The photometry unit 39 has an SPD (silicon photodiode) corresponding to the photographing area, and generates an output corresponding to the luminance of the subject. The control unit 30 converts the photometric result of the photometric unit 39 into a digital signal by the A / D converter 34 and stores the photometric value in the RAM 33.
[0023]
The shutter drive unit 40 and the aperture drive unit 41 operate in accordance with a predetermined control signal from the control unit 30 to drive a shutter mechanism and an aperture mechanism (not shown) to expose the film surface. The film drive unit 42 performs film auto-loading, winding and rewinding operations according to a predetermined control signal from the control unit 30. The first release switch (hereinafter referred to as 1RSW) and the second release switch (hereinafter referred to as 2RSW) are interlocked with the release button. Subsequently, 2RSW is turned on by the pressing operation in the second stage. The control unit 30 appropriately controls each part so that photometry and AF (automatic focus adjustment) processing is performed when 1RSW is on, and exposure operation and film winding operation are performed when 2RSW is on. The photographing mode setting unit 43 is a group of switches for the photographer to set various photographing modes, and includes a moving object AF mode switch and a vibration isolation mode switch.
[0024]
FIGS. 5A and 5B show an example of the arrangement of distance measuring areas and an example of a moving subject constituting the focus detection area in the shooting screen. Here, FIG. 5A shows an arrangement example of the distance measurement areas when the entire area of the area sensor 23 is divided into 15 areas. As shown in the figure, 15 multipoint focus detection areas are arranged from the points P1 to P15. FIG. 5B shows an example in which these points P1 to P15 are applied to an actual moving subject.
[0025]
The area sensor 23 shown in FIG. 4 is composed of a photodiode array, and charge accumulation control of the photodiodes in these 15 regions starts charge accumulation (integration) all over the region at the same time. A charge integration circuit (not shown) is provided so that the integration can be stopped by the amount.
[0026]
The lines A to H shown in FIG. 5A correspond to the lines shown in FIG. There are 15 focus detection areas described in FIG. 5A at positions corresponding to the intersections of the lines shown in FIG. 5B, and a focus detection signal of the subject corresponding to the position is output.
[0027]
In this example, five areas P1, P6, P7, P11, and P12 image a stationary subject such as a train background, and moving object prediction AF is not performed in these areas. There are two factors that cause differences in subject images (sensor data) captured at different timings: movement of the subject and camera shake of the photographer.
[0028]
Accordingly, in these five areas, images taken at different timings differ when the camera shake of the photographer is large, and thus it is possible to detect camera shake.
[0029]
The other 10 areas image trains that are moving subjects. Since moving object detection is performed in these regions, moving object prediction AF is performed based on the moving object detection result of the region selected according to a predetermined algorithm. Note that camera shake cannot be detected in these moving object prediction areas.
[0030]
FIGS. 6A and 6B are diagrams in which photodiode arrays corresponding to one focus detection region are linearly arranged.
A photodiode array am constituting the area sensor 23a shown in FIG. 6A has 64 pixels and is represented as L (1) to L (64). These subject signals are sequentially AD converted by the AD converter 34 and stored in the RAM 33. The photodiode array bm constituting the area sensor 23b shown in FIG. 6B has 64 pixels and is represented as R (1) to R (64). These subject signals are also AD-converted sequentially by the AD converter 34 and stored in the RAM 33.
That is, one area is composed of 64 × 2 pixels, and each area is independent, and integration control is performed so that an appropriate integration amount is obtained. As shown in FIG. 5A, 15 areas are set.
[0031]
Next, the AF detection calculation based on the subject image data obtained as described above will be described.
For example, in this embodiment, there are two types of correlation calculations. One method is that the first subject image (image by the area sensor 23a shown in FIG. 6A) divided by the focus detection optical system and the second subject image (the area sensor shown in FIG. 6B). This is a method of calculating a shift amount between two images (referred to as “image shift amount”) by performing a correlation calculation between the two images). The other method is a method in which a correlation calculation is performed between the subject image at time t0 and the subject image at time t1 to obtain a movement amount of the subject image.
[0032]
(I) Correlation calculation for obtaining the image shift amount:
First, the correlation calculation for obtaining the image shift amount between the first subject image and the second subject image will be described. The subject image data is generally L (i, j) for each of the pair of area sensors 23a and 23b. ), R (i, j). For the sake of simplicity in the following description, a pair of distance measuring areas corresponding to the area sensors 23a and 23b, that is, one-dimensional subject image data, are respectively L (I) and R (I) (I = 1 to k). (Refer to FIGS. 6A and 6B). Here, in the present embodiment, k = 64 will be described with reference to the flowchart shown in FIG. 7 based on the processing procedure related to the “image shift amount detection” routine.
[0033]
First, initial values of variables SL, SR and FMIN are set (step S1). Here, SL ← 5, SR ← 37, and FMIN = FMIN0 are set.
Next, 8 is input as the initial value of the loop variable J (step S2), and the correlation calculation of equation (1) is performed to obtain the correlation value F (s) (step S3).
[0034]
F (s) = Σ | L (SL + I) −R (SR + I) | (1)
(However, s = SL-SR, I = 0-26)
However, variables SL and SR are variables indicating the head position of the block on which correlation calculation is performed among the subject image data L (I) and R (I), respectively, and J is a block of the block on the subject image data R (I). It is a variable for storing the number of shifts, and the number of subject image data in a block is 27.
[0035]
Next, the correlation value F (s) is compared with FMIN (initial value FMIN0 at first, and initial value or updated value after the second time) (step S4). In this comparison, if F (s) is smaller (YES), FMIN is updated to F (s), and SLM and SRM are updated to SL and SR (step S5).
[0036]
On the other hand, if FMIN is smaller than the correlation value F (s) in the comparison in step S4 (NO), 1 is subtracted from SR and J to set the next block (step S6). Then, it is determined whether or not J = 0 (step S7). If it is not yet 0 (NO), the process returns to step S3 and the same correlation calculation is repeated. In this way, the block in the subject image data L (I) is fixed, and the block in the subject image R (I) is shifted one element at a time to perform correlation calculation.
[0037]
On the other hand, if J is 0 in the determination in step S7 (YES), 4 and 3 are added to variables SL and SR, respectively, and the next block is set as a target (step S8). Next, it is determined whether SL = 29 (step S9). If not 29 (NO), the process returns to step S2 to continue the above-described correlation calculation. However, if SL = 29 (YES), the correlation calculation is terminated. In this way, the block for performing the correlation calculation is set on the subject image data L (I) and R (I), and the correlation calculation is repeatedly performed. As a result of the correlation calculation of each block obtained in this way, the correlation value F (s) becomes the minimum at the shift amount s = x where the correlation of the subject image data is the highest. At this time, SL and SR at the time of the minimum correlation value F (x) are stored in SLM and SRM.
[0038]
Next, the following correlation values FM and FP at the shift positions before and after the minimum correlation value F (x) used when calculating the reliability index described later are obtained (step S10).
[0039]
[Expression 1]
Figure 0003979881
[0040]
Then, a reliability index SK for determining the reliability of the correlation calculation is calculated (step S11). The reliability index SK is the sum of the minimum correlation value F (x) and the second smallest correlation value FP (or FM), which is a value corresponding to the contrast of the object data (FM-F (x) or FP-F (x )) Is a numerical value standardized by (4) or (5).
[0041]
[Expression 2]
Figure 0003979881
[0042]
Next, it is determined whether or not the reliability index SK is greater than or equal to a predetermined value α (step S12). If SK is greater than or equal to α (YES), it is determined that the reliability is low and an undetectable flag is set ( Step S13). On the other hand, when SK is less than α (NO), it is determined that there is reliability, and the image shift amount ΔZ is calculated (step S14). For example, the shift amount x0 that gives the minimum value FMIN = F (x0) with respect to the continuous correlation amount is obtained by the following equation using a three-point interpolation method.
[Equation 3]
Figure 0003979881
It should be noted that the image shift amount ΔZ can be obtained by Expression (8) using the shift amount x0.
ΔZ = x0−ΔZ0 (8)
(However, ΔZ0 is an image shift amount at the time of focusing).
[0043]
Further, the defocus amount ΔD of the subject image plane with respect to the planned focal plane can be obtained from equation (9) from the image shift amount ΔZ obtained by the above equation.
[Expression 4]
Figure 0003979881
[0044]
The defocus amount is calculated for each of the plurality of distance measuring areas selected in this way. Then, for example, a defocus amount indicating the shortest distance is selected from a plurality of ranging areas.
[0045]
Further, the lens driving amount ΔL is obtained from the selected defocus amount ΔD by Expression (10).
[Equation 5]
Figure 0003979881
[0046]
A focus state can be obtained by driving the focus lens based on the lens driving amount ΔL.
[0047]
The principle of focus detection for the moving subject shown in FIGS. 8A to 8D will be described.
[0048]
Looking at the relationship between the subject 66, the camera 10, and the area sensor 23, for example, as shown in FIG. 8A, when the subject 66 is approaching straight toward the camera 10 (in the direction of arrow G3), the above-described focus detection is performed. Based on the above principle, the first and second subject images on the first (L) and the second sensor (R) move outward from each other between time t0 and time t1. In this case, the movement amounts ΔXL and ΔXR of the subject image are equal.
[0049]
Further, as shown in FIG. 8C, when the subject 66 approaches the left side toward the camera 10 (in the direction of arrow G4), the first subject image (L) is moved outward due to the approach. Then, the amount of movement to the left due to the parallel movement to the left is canceled and the amount of movement becomes small.
[0050]
Similarly, as shown in FIG. 8D, when the subject 66 moves rearward toward the camera 10 toward the camera 10, the first subject image (L) moves inward by moving away and translates leftward. The amount of movement to the left due to this is offset and the amount of movement becomes smaller. On the other hand, the amount of movement of the second subject image (R) is increased by adding the amount of inward movement due to moving away and the amount of leftward movement due to parallel movement to the left.
[0051]
Here, based on the subject images from time t0 to time t1, the movement amounts ΔXL and ΔXR of the first and second subject images are detected by means for performing correlation calculation, which will be described later, and the rightward movement is + and The movement amount of the subject image in the optical axis direction can be obtained by ΔXR−ΔXL, and the movement amount of the subject image in the horizontal direction can be obtained by ΔXR + ΔXL. Therefore, if the movement amounts ΔXR and ΔXL of the subject image from time t0 to time t1 are obtained, the position of the subject image at time t2 can be predicted.
[0052]
If the subject is moving at a constant speed, the moving speed of the subject image in the horizontal direction is a constant speed. Although the moving speed of the subject image in the optical axis direction is not strictly constant, it may be considered constant at a minute time interval.
Accordingly, the predicted position of the first subject image at time t0 has moved by ΔXL ′ shown in Expression (11) from the subject image position at time t1. That is,
[Formula 6]
Figure 0003979881
[0053]
Similarly, the predicted position of the second subject image moves by ΔXR ′ shown in Expression (12).
[0054]
[Expression 7]
Figure 0003979881
[0055]
Also, assuming that the image shift amount of the first and second subject images at time t1 is ΔZ, the predicted image shift amount ΔZ ′ at time t2 is obtained as shown in Expression (13).
[Equation 8]
Figure 0003979881
[0056]
Then, based on the predicted image shift amount ΔZ ′, the lens drive amount is obtained. By setting the time t2 as the time until the start of exposure, it is possible to obtain a photograph focused on the moving subject. At this time, whether the subject is approaching or moving away is determined based on the sign of ΔXR−ΔXL. If ΔXR−ΔXL> 0, the subject is approaching.
[0057]
Next, the correlation calculation for determining the movement of the subject image and its reliability determination will be described. By the correlation calculation between the subject images L ′ (I) and R ′ (I) and the two images described above at time t0. The obtained correlation blocks SLM ′, SRM ′, correlation coefficient SK ′, and image shift amount ΔZ ′ are respectively stored in the RAM 33 in the control unit 30. Thereafter, the subject image signals L (I) and R (I) at time t1 are detected.
[0058]
Next, movement amount detection will be described with reference to the movement of the subject image shown in FIG. 9 and the flowchart shown in FIG.
[0059]
First, for the first subject image signal, correlation calculation is performed on the subject image signal L ′ (I) at time t0 and the subject image signal L (I) at time t1. In the “movement amount detection” routine for detecting the movement of the subject image, first, SLM′-10 is substituted for the variable SL (step S21), and the variable J is a variable for counting the correlation range. 20 is substituted (step S22).
[0060]
Next, the correlation output F (s) is calculated from the correlation equation of equation (14) (step S23).
[0061]
[Equation 9]
Figure 0003979881
[0062]
Subsequently, similarly to the correlation calculation described above, F (s) and FMIN are compared (step S24). If F (s) is smaller than FMIN in this comparison (YES), F (s) is substituted for FMIN. And SL is stored in SLM (step S25). In this case, the number of elements in the block to be correlated is 27, which is the same as the number of elements in the block when obtaining the above-described image shift amount. However, if F (s) is larger than FMIN (NO), the process proceeds to the next step S26.
[0063]
Next, 1 is added to SL, and 1 is subtracted from J (step S26). Then, it is determined whether or not J = 0. If J is not 0 (NO), the process returns to step S23 until J = 0, and the correlation equation F (s) is repeated. As described above, the correlation range is changed up to ± 10 elements to obtain the correlation, and this correlation range is determined by the movement amount range to be detected. However, if J = 0 (YES), the reliability is determined.
[0064]
That is, the correlation values FM and FP at the shift amounts before and after the minimum correlation value F (X) are calculated using the equations (15) and (16) as in the case of obtaining the image displacement amounts of the first and second subject images. ) (Step S28).
[0065]
[Expression 10]
Figure 0003979881
[0066]
Next, the reliability index SK is obtained by the above-described equations (4) and (5) (step S29). Then, it is determined whether or not SK> β (step S30). If SK ≦ β in this determination (NO), it is determined that there is reliability, and the movement amount is obtained (step S31). However, the value β is set to a value larger than the determination value α when the image shift amounts of the first and second subject images are obtained. This is because the waveform is likely to be deformed when the subject is moving, and therefore the possibility of poor correlation should be high.
[0067]
Then, a movement amount ΔXL of the subject image is obtained. Similar to the calculation of the image displacement amounts of the first and second subject images described above, the three-point interpolation method is used to obtain the equations using the equations (17) and (18).
[Expression 11]
Figure 0003979881
[0068]
On the other hand, if it is determined in step S30 that the relationship SK> β is satisfied (YES), it is determined that there is no reliability, and an undetectable flag is set (step S31).
[0069]
Although details are omitted for the second subject images R (I) and R ′ (I), a similar movement amount detection routine is executed to obtain the block position SRM and movement amount ΔXR having the highest correlation.
When the movement amounts ΔXL and ΔXR of the first and second subject images are obtained, the image deviation amount ΔZ ′ at time t1 is obtained from the image deviation amount ΔZ at time t0 as shown in Expression (19). .
[Expression 12]
Figure 0003979881
Based on the image shift amount ΔZ at time t0, the prediction formula of the image shift amount ΔZ ″ at time t2 is as shown in Equation (20).
[Formula 13]
Figure 0003979881
[0070]
By obtaining the time t2 by a method described later and driving the lens by an amount based on ΔZ ″, it is possible to focus on the moving subject at the time t2.
[0071]
If the moving speed of the subject image v = (ΔXR−ΔXL) / (t1−t0) is too large, the detected value is not reliable and the image shift amount is not predicted. Further, when the moving speed of the subject image is small and is regarded as a detection error, the moving speed is set to zero.
[0072]
(III) Prediction formula of image shift amount prediction time t2:
Here, a method for obtaining the time t2 for predicting the image shift amount will be described.
As described above, the image shift amount ΔZ ″ at the time t2 is obtained by the equation (20) using the image shift amount ΔZ at the time t1 and the movement amounts ΔXR and ΔXL of the subject image from the time t0 to the time t1.
[0073]
Now, the time t2 at which the in-focus state is reached during exposure is obtained by the equation (21).
[Expression 14]
Figure 0003979881
[0074]
In this equation, td is the time from the time t1 to the start of lens driving, and this value includes the processing time inside the camera such as the correlation calculation time described above.
Here, ke is a conversion coefficient for obtaining a lens driving time proportional to the image shift amount ΔZ ″. The lens drive amount ΔL is determined by Expressions (9) and (10) based on the image shift amount ΔZ ″. However, in a region where the image shift amount ΔZ ″ is sufficiently small, the defocus amount ΔD and the lens drive amount ΔL are approximated to be proportional to the image shift amount ΔZ ″, so there is no problem in accuracy. te is the time from the end of lens driving until the shutter curtain is opened and the exposure is started, and includes the time for camera exposure calculation, aperture control, mirror up, and the like.
By solving Equation (20) and Equation (21), Equation (22) for obtaining the predicted image shift amount is derived as follows.
[0075]
[Expression 15]
Figure 0003979881
[0076]
From this ΔZ ″, the lens driving amount ΔL is obtained by the equations (9) and (10), and the lens is driven, so that the moving subject can be brought into focus at the time of exposure.
Next, the time t2 at which the lens is brought into focus at the end of driving the lens is obtained by Expression (23).
t2 = t1 + td + ke · ΔZ ″ (23)
Similarly, the following equation (24) is derived by solving the equations (20) and (23).
[Expression 16]
Figure 0003979881
[0077]
From this ΔZ ″, the lens driving amount ΔL is obtained by the equations (9) and (10), and the lens is driven, so that the moving subject can be brought into a focused state at the end of the lens driving. .
[0078]
Next, a specific operation program in this embodiment will be described with reference to the flowchart shown in FIG. It is assumed that the “AF” routine is executed in a main routine described later.
First, the integration operation of the area sensor 23 is executed, and when the integration is completed, subject image data (hereinafter referred to as sensor data) is read from the area sensor 23 (step S41).
[0079]
Next, it is determined whether or not a subject image shift amount (hereinafter referred to as an image shift amount) has been detected (step S42). If it is not detected in this determination (NO), the image shift amount is obtained by the aforementioned “image shift amount detection” routine (see FIG. 7) (step S43). Here, the image shift amount is detected for a predetermined distance measuring area set in advance on the area sensors 23a and 23b. However, the preset distance measurement area may be, for example, one distance measurement area selected by the photographer or the entire distance measurement area.
[0080]
Next, it is determined whether or not the image shift amount detection has been completed for all the predetermined distance measurement areas (step S44). If not completed yet (NO), the process returns to step S43, and the next The image shift amount in the distance measuring area is detected.
On the other hand, when the detection of the image shift amount in all the predetermined distance measurement areas is completed (YES), the distance measurement area is selected based on a predetermined algorithm, for example, the closest selection (step S45). Hereinafter, the selected distance measurement areas am and bm will be described.
[0081]
Next, it is determined whether or not the image shift amount is undetectable, that is, whether or not all the predetermined distance measurement areas are undetectable (step S46). In this determination, if detection is possible (YES), an image deviation amount detectable flag is set (step S47), and an image deviation amount detected flag is further set (step S48).
[0082]
On the other hand, if it is determined in step S46 that all cannot be detected (NO), the image displacement amount detection impossible flag is set (step S49), and the image displacement amount detection flag is cleared (step S50). Then, after setting or clearing the image deviation amount detected flag, the image movement amount detected flag is cleared (step S51), and the process returns to the main routine described later with reference to FIG.
Further, in the determination of step S42, the image shift amount has already been detected. Is If yes (YES), the amount of movement of the subject image with respect to time is detected for each of the first and second subject images as follows. First, the distance measuring area am selected in step S45 is set as an initial distance measuring area (step S52).
[0083]
Next, a correlation calculation is performed between the sensor data stored in the previous (time t0) image shift amount detection for the first subject image in the distance measurement area am and the current (time t1) sensor data, and the amount of movement is calculated. Is detected (step S53). This is based on the movement amount detection routine shown in FIG.
[0084]
Then, it is determined whether or not the movement amount of the first subject image has been detected (step S54). If the amount of movement cannot be detected in this determination (NO), the image shift amount between the first and second subject images is assumed to be 0, and all the distance measurement areas in the vicinity of the distance measurement area am It is determined whether or not a ranging area is set (step S55). If it is determined in this determination that shifting has not been completed for all nearby ranging areas (NO), the ranging area at this time (time t1) is shifted in a predetermined order and then shifted to the next ranging area. Set (step S56). Thereafter, the process returns to step S53, and the first subject image movement amount is detected again for the set new distance measuring area. In this way, the position of the first subject image is searched.
[0085]
However, if it is determined in the above step S55 that the setting has been completed in all the nearby ranging areas (YES), the process proceeds to step 59 described later.
[0086]
In the determination of step S54, if the position of the first subject image can be detected and the movement amount from time t0 to t1 can be detected (YES), the first subject movement amount can be detected in the distance measurement area ak. A movement amount with respect to the second subject image is detected for the distance measuring area bk of the corresponding area sensor 23b (step S57). This refers to the “movement amount detection” routine of FIG. At this time, the distance measurement area at time t1 when the movement amount of the first subject image can be detected is set to ak.
[0087]
Here, when the shift of the distance measurement area occurs, the shift amount between the distance measurement areas (for example, the converted value of the number of pixels of the center distance) is added to ΔXL and ΔXR as the image movement amount.
[0088]
When the movement amounts of both the first and second subject images can be detected in this way, the movement speed v of the subject image in the optical axis direction is calculated from the following equation (step S58).
[Expression 17]
Figure 0003979881
[0089]
Then, it is determined whether or not all the movement speed calculations have been completed for the predetermined distance measurement area to be detected (step S59). If the calculation has not been completed (NO), the movement speed is detected for the distance measurement area an. Therefore, the distance measurement area an + 1 is set (step S60), and the process returns to step S53.
[0090]
In the determination of step S59, if all the movement speed calculations have been completed (YES), the calculated movement speed v is compared with a predetermined speed vth to determine whether or not the subject is moving in the optical axis direction. Is determined in all the ranging areas (step S61), and a calculation relating to the amount of camera shake is performed in a ranging area where the subject is stationary other than the ranging area where the subject is moving, and it is determined whether or not there is a camera shake. (Step S6 2 ). Then, it is determined whether or not the subject is a static body (step S63). If it is determined in this determination that the object is moving in the direction of the optical axis rather than a static body (NO), the subject moving flag is set (step S64). However, if it is determined that the object is still (YES), the subject moving flag is cleared (step S65), the process returns to step S43, and the image shift amount detection process is performed again.
[0091]
Then, after the subject moving flag is set, an image movement detected flag is set (step S66), and a distance measurement area to be focused upon when the moving subject is detected is selected (step S67).
[0092]
In the first embodiment described above, since the moving object is already determined with a focus on the center in the moving object determination step, it is determined that the moving object is determined in step S67, and a certain standard is set in the distance measurement area. Thus, for example, a distance measuring area for selecting a fast-moving subject is selected, and the process returns to the main routine.
[0093]
Next, the main routine of the camera to which the multipoint autofocus camera of the present invention is applied will be described with reference to the configuration shown in FIG. 4 and the flowchart shown in FIG. This main operation is a routine indicating a control procedure of a program activated by the control unit 30 and is executed when the operation of the control unit 30 is started.
[0094]
First, various correction data used in distance measurement and photometry processing stored in advance from the EEPROM 35 are read out and expanded in the RAM 33 (step S71).
Then, it is determined whether or not 1RSW is turned on (step S72). If it is not on (NO), it is determined whether or not a switch other than 1RSW and 2RSW is operated (step S73). If there is an operated switch (YES), processing corresponding to the switch is executed (step S74), and then the process returns to step S72.
[0095]
On the other hand, if 1RSW is on in step S72 (YES), the state of an AF operation mode switch (not shown) is determined to determine whether the AF operation mode is “single AF” (step S75). If it is determined in this determination that the AF mode is the single AF mode (YES), once in-focus, the focus is locked and the lens is not driven. However, if it is not the single AF mode (NO), it is regarded as the continuous AF mode, and in order to repeat AF driving following the change of the subject even after focusing once, the above-mentioned will be described later. Control goes to step S77.
[0096]
If in-focus has been achieved in step S76 (YES), AF driving is not performed, and the process returns to step S72. However, if it is not in focus (NO) or in the continuous AF mode, it is determined whether or not photometry has been completed (step S77). 39 is operated to perform a photometric operation for measuring subject luminance (step S78).
[0097]
Next, the aforementioned subroutine “AF” is executed (step S79). As a result of this AF operation, it is determined whether or not image shift detection is possible with reference to the detection impossible flag described above (step S80). If it is determined that the image shift can be detected (NO), it is determined whether the movement amount of the subject image has been detected (step S81). On the other hand, if the image shift cannot be detected (YES), a scan operation for searching for a lens position where AF detection is possible is performed while driving the focus lens 12a (step S82), and the process returns to step S72. When this scan is performed, all the flags are cleared and AF is performed again from the beginning.
[0098]
In step S81, when the movement amount of the subject image has been detected (YES), the image shift amount is predicted. First, it is determined whether or not 2RSW is turned on (step S83). If 2RSW is turned on (YES), an image shift amount at the start of exposure is predicted (step S84). On the other hand, if 2RSW is off (NO), only the AF operation is performed, so the image shift amount at the end of lens driving is predicted (step S85), and will be described later in step S85. 87 Migrate to
[0099]
If the movement amount of the subject image has not been detected in step S81 (NO), it is determined whether or not the subject is moving (step S86). At this time, as described later, the image movement detection flag is cleared after the lens is driven (step S87), and the subject movement flag is cleared even if the image movement is not detected after the lens is driven in the continuous AF mode. Is set, the process returns to step S72 to detect again the movement of the subject image.
[0100]
On the other hand, if it is not moving (NO), the detected image shift amount or the predicted image shift amount is converted into a defocus amount, and it is determined whether or not the image is within the focus allowable range. (Step S87). If it is not determined that the subject is in focus in this determination, a necessary lens driving amount is obtained and the focus lens is driven (step S88). In the lens driving routine, the image deviation detected flag, the image deviation non-detectable flag, and the image movement detected flag are cleared after the lens driving.
[0101]
This clearing process is to restart AF from the beginning because the subject image is considered to change greatly once the focus lens is driven. As described above, only the subject image moving flag is not cleared here. This is because the movement of the subject is continuously detected so that the focus is not determined in the first AF after the lens is driven in the continuous AF mode.
[0102]
If it is determined in step S87 that the in-focus state is obtained (YES), an on / off state of 2RW is determined (step S89). If 2RSW is turned on (YES), step S6 is performed. 2 As a result of the determination, it is determined whether or not the current camera shake is large (step S92). If the camera shake is not large, the process proceeds to step S90. If the camera shake is large, it is determined whether or not a predetermined time has elapsed after the 2RSW is turned on (step S93). When the predetermined time has elapsed, the process proceeds to step S90, but when it has not elapsed, the process returns to step S79 to perform moving object detection and camera shake detection.
[0103]
This step S93 is for limiting the time lag after the 2RSW is turned on. If the camera shake is not reduced for a predetermined time, the camera shake detection is stopped. Then, based on the photometric value stored in the RAM 33, the aperture and shutter are controlled to perform an exposure operation (step S90). Then, the photographed film is wound up and fed to the position of the next frame (step S91), and a series of photographing operations is completed.
[0104]
As described above, in the first embodiment, there is an odor on the area sensor. And covered Detecting the position of the subject image, even if it is a moving subject Seeking the amount of movement The subject image position prediction Can Moving body Predictive control is possible and focus can be adjusted accurately. Furthermore, in the distance measurement area where the subject is stationary, the presence or absence of camera shake is determined based on the image signal, and the exposure sequence is started at the timing when camera shake is small. .
[0105]
Next, the moving body determination in step S61 shown in FIG. 11 will be described with reference to the flowchart shown in FIG.
First, an initial ranging area is set (step S101). For example, the ranging area P1 is set. Next, a predetermined speed Vth is set for each distance measurement area (step S102). As will be described later with reference to FIG. 14, Vth is set larger in the peripheral ranging area than in the central ranging area.
[0106]
Then, it is determined whether or not the area is a distance measurement area in which it is determined in step S54 in FIG. 11 that image movement can be detected (step S103). In this determination, if it is a detectable distance measurement area (YES), the subject moves by comparing Vth for each distance measurement area set in step S102 with the image moving speed calculated in step S58 in FIG. It is determined whether or not it is a moving object (step S104).
[0107]
If it is determined in this determination that it is greater than Vth (YES), it is determined that the subject is a moving object, and information indicating that the subject in the set ranging area is a moving object is stored in the RAM 33 (step S105). However, if it is determined that it is smaller than Vth (NO), it is determined that the subject is a static object, and information indicating that the subject in the set ranging area is a static object is stored in the RAM 33 (step S106).
Then, it is determined whether or not the moving object determination for all the ranging areas has been completed (step S107). If this determination is completed (YES), the process returns. If not completed (NO), the next ranging area is set (step S108), and the process returns to step S102.
[0108]
Next, with reference to FIG. 14, the setting of the predetermined speed Vth value for each distance measurement area in step S102 of FIG. 13 will be described.
The horizontal axis in FIG. 14 corresponds to the distance measurement area number described in FIG. 5, and the vertical axis is Vth.
[0109]
The distance measuring area P13 is a distance measuring area at the center of the shooting screen (a distance measuring area m indicated by oblique lines), and the distance measuring areas P7 to P9, P12, P14, and P17 to P19 are adjacent to the distance measuring area P13 (one area). The first distance measuring area group is a first distance measuring area group, and the distance measuring areas P1 to P5, P6, P10, P16, P20, and P21 to P25 are the second distance measuring area group around the two areas from the central distance measuring area. is there.
[0110]
FIG. 14 shows an example in which the first ranging area group is doubled and the second ranging area group is tripled Vth with respect to the central ranging area P13. With this setting, the moving subject existing in the second ranging area group is determined to be three times as moving as the central ranging area P13.
[0111]
As described above, according to the present embodiment, the closer the subject is to the center of the shooting screen, the easier it is to determine that the subject is a moving body, and the easier it is to focus on the moving subject at the center.
[0112]
Referring to the flowchart shown in FIG. 15, the sub-camera shake determination in step S62 in FIG. Le I will explain the routine.
The area determined as having the lowest image movement speed shown in FIG. 14 (that is, the area where the subject is most stationary) is set as the initial area (step S111).
[0113]
Then, it is determined whether the contrast of the set area (the difference between the minimum value and the maximum value of the pixel output in the area) is sufficiently large (step S112). This determination is made because the reliability of the image movement calculation decreases when the contrast is small.
[0114]
If it is determined in this determination that the area is low in contrast (NO), the next area is set without performing the camera shake calculation in this area (step S113). As the next area, for example, an area where the image moving speed is the next lower than the current setting area is set, or an area adjacent to the current setting area is set. On the other hand, if it is determined that the contrast is sufficiently large (YES), the larger of the absolute value of the first subject image movement amount ΔXL and the second subject image movement amount ΔXR is greater. The value is set to ΔX (step S114).
[0115]
Next, it is determined whether or not ΔX is larger than a predetermined value (step S115). In this determination, if it is larger than the predetermined value (YES), it is determined that the camera shake is large, and the camera shake flag is set (step S116). This flag is used for the determination in step S92 in FIG. On the other hand, if it is smaller than the predetermined value (NO), it is determined that camera shake is small in the current setting area, and the camera shake flag is cleared.
[0116]
Further, after clearing the camera shake flag, it is determined whether the camera shake determination has been completed for all areas (step S118). If all areas have been completed (YES), it is determined that there is no camera shake, and the process returns with the camera shake flag cleared.
[0117]
On the other hand, if the determination of all areas has not been completed (NO), the next area is set (step S119), the process returns to step S112, and the same process is repeated.
By performing the camera shake determination in this way, the camera shake determination can be performed for all areas in which the subject determined in the flowchart of FIG. 13 is determined to be stationary.
[0118]
FIGS. 16A and 16B are diagrams for explaining the concept of camera shake determination.
FIG. 16A shows sensor data output on the L side and the R side by adjacent pixels in an arbitrary area where a still subject imaged at time t1 exists. FIG. 16B similarly shows sensor data output imaged at time t2 after the elapse of a predetermined time at time t1. For example, if the moving amount ΔXL of the first subject image and the moving amount ΔXR of the second subject image have the same sign and absolute value, the moving speed V of the subject in the optical axis direction is expressed by the equation (25). It becomes zero. That is, the example of FIG. 16 is an example in which the subject is completely stationary and the imaging range is moved in the pixel arrangement direction due to the camera shake of the photographer.
[0119]
In this way, in the sensor data of the area where the camera shake is observed, ΔXL−ΔXR in the equation (25) is a small value, but the absolute value of ΔXL or the absolute value of ΔXR is a large value to some extent. In FIGS. 16A and 16B, camera shake detection is performed by paying attention to this property.
[0120]
Various modifications can be made to the embodiments of the present invention described above without departing from the spirit of the present invention. For example, the image stabilization control has been described as a method of waiting for exposure until the timing at which camera shake becomes small. However, the present invention is not limited to this, and other detection methods may be used as long as camera shake can be prevented.
[0121]
【The invention's effect】
As described above in detail, according to the present invention, the moving object prediction AF is performed in the focus detection area where the moving subject is detected, and the camera shake detection is performed in the other areas by using the AF sensor output. Detection can be made to coexist, and a camera capable of simultaneously realizing the effect of moving object prediction AF and the effect of image stabilization control can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a multipoint autofocus camera according to an embodiment of the present invention.
FIG. 2 is a cross-sectional view of a configuration example in which the multipoint autofocus camera of the embodiment is applied to a single-lens reflex camera.
FIG. 3 is a diagram schematically illustrating an optical system in a focus detection unit of the camera of the present embodiment.
4 is a diagram showing functional blocks including an electric control system of the camera shown in FIG. 2. FIG.
FIG. 5 is a diagram showing an example of the arrangement of distance measuring areas constituting a focus detection area in a shooting screen and an example of a moving subject.
FIG. 6 is a diagram in which photodiode arrays corresponding to one focus detection region are linearly arranged.
FIG. 7 is a flowchart for explaining based on a processing procedure relating to an “image shift amount detection” routine;
FIG. 8 is a diagram for explaining the principle of focus detection for a moving subject.
FIG. 9 is a diagram for explaining movement of a subject image for movement amount detection.
FIG. 10 is a flowchart for explaining movement amount detection;
FIG. 11 is a flowchart for explaining a specific operation program in the present embodiment;
FIG. 12 is a flowchart for explaining a main routine of a camera to which the multipoint autofocus camera of the present invention is applied.
13 is a flowchart for explaining moving object determination in FIG. 11;
14 is a diagram for describing setting of a predetermined speed Vth value for each distance measurement area in FIG. 13; FIG.
15 is a flowchart for explaining a camera shake determination subroutine in FIG. 11; FIG.
FIG. 16 is a diagram for explaining a concept of camera shake determination.
[Explanation of symbols]
1. Focus detection signal output unit (focus detection sensor)
2. Subject movement amount calculation unit
3 ... Moving object determination unit
4 ... Moving object AF control unit
5. Shake amount calculation unit
6 ... Vibration control unit

Claims (3)

複数の焦点検出領域に分割され、焦点検出信号を出力する焦点検出センサを持つ多点自動焦点カメラにおいて、
上記焦点検出センサの出力する被写体像信号に基づいて、各焦点検出領域内における被写体像の移動に関する量を演算する像移動量演算手段と、
上記像移動量演算手段の出力に基づいて、被写体が移動しているか否かを判定する動体判定手段と、
上記動体判定手段において被写体が静止していると判定された焦点検出領域に関して、上記焦点検出センサの出力する被写体像信号に基づいて、撮影者の手ぶれ量に関する量を演算する手ぶれ量演算手段と、
を具備することを特徴とする多点自動焦点カメラ。
In a multi-point autofocus camera that has a focus detection sensor that is divided into a plurality of focus detection areas and outputs a focus detection signal,
Image movement amount calculating means for calculating an amount related to movement of the subject image within each focus detection region based on the subject image signal output by the focus detection sensor ;
A moving object determination means for determining whether or not the subject is moving based on the output of the image movement amount calculation means;
A camera shake amount calculation unit that calculates an amount related to a camera shake amount of a photographer based on a subject image signal output from the focus detection sensor with respect to a focus detection region in which the subject is determined to be stationary by the moving body determination unit;
A multipoint autofocus camera characterized by comprising:
上記手ぶれ量演算手段は、
時間の異なる複数のタイミングで撮像した上記焦点検出センサの出力する被写体像信号に基づいて、第1の時間と第2の時間の間の像ずれ量を演算する像ずれ量演算手段と、
上記像ずれ量演算手段において演算した像ずれ量に基づいて、撮影者の手ぶれ量を判断する手ぶれ判断手段と、
を含むことを特徴とする請求項1に記載の多点自動焦点カメラ。
The camera shake amount calculation means is
An image shift amount calculation means for calculating an image shift amount between the first time and the second time based on the subject image signal output from the focus detection sensor imaged at a plurality of timings at different times;
Based on the image shift amount calculated by the image shift amount calculation means, the camera shake determination means for determining the camera shake amount of the photographer;
The multipoint autofocus camera according to claim 1, comprising:
上記手ぶれ量演算手段において、撮影者の手ぶれが小さい場合には撮影を許可し、撮影者の手ぶれが大きい場合には撮影を禁止するように制御する防振制御手段と、
を更に具備することを特徴とする請求項1に記載の多点自動焦点カメラ。
In the above-mentioned camera shake amount calculating means, an image stabilization control means for controlling to allow photographing when the camera shake of the photographer is small, and to prohibit photographing when the camera shake of the photographer is large,
The multipoint autofocus camera according to claim 1, further comprising:
JP2002173160A 2002-05-17 2002-06-13 Multi-point autofocus camera Expired - Fee Related JP3979881B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002173160A JP3979881B2 (en) 2002-06-13 2002-06-13 Multi-point autofocus camera
US10/438,715 US6768867B2 (en) 2002-05-17 2003-05-15 Auto focusing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002173160A JP3979881B2 (en) 2002-06-13 2002-06-13 Multi-point autofocus camera

Publications (2)

Publication Number Publication Date
JP2004020742A JP2004020742A (en) 2004-01-22
JP3979881B2 true JP3979881B2 (en) 2007-09-19

Family

ID=31172530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002173160A Expired - Fee Related JP3979881B2 (en) 2002-05-17 2002-06-13 Multi-point autofocus camera

Country Status (1)

Country Link
JP (1) JP3979881B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005300844A (en) 2004-04-09 2005-10-27 Canon Inc Solid-state imaging device for autofocusing, and autofocusing camera using the same
KR101710633B1 (en) * 2011-08-05 2017-02-27 삼성전자주식회사 Auto focus adjusting method, auto focus adjusting apparatus, and digital photographing apparatus including the same

Also Published As

Publication number Publication date
JP2004020742A (en) 2004-01-22

Similar Documents

Publication Publication Date Title
EP1617652B1 (en) Hybrid autofocus system for a camera
US7697830B2 (en) Digital camera that performs focus detection using phase difference and contrast value
US6768867B2 (en) Auto focusing system
JP5007612B2 (en) Focus adjustment device
US6311019B1 (en) Automatic focus adjusting system capable of adjusting focus of moving subject
JP2008292894A (en) Image tracking device, image tracking method and imaging apparatus
JP2009109839A (en) Image tracking device and imaging device
JP2009265239A (en) Focus detecting apparatus, focus detection method, and camera
JP2002131624A (en) Multipoint automatic focusing camera
JP4610714B2 (en) Multi-point autofocus camera
JP3979881B2 (en) Multi-point autofocus camera
JP4398020B2 (en) Multi-point autofocus camera
JPH09318871A (en) Auxiliary light projecting device and focus detector
JP2007052206A (en) Focus detector and its control method
JP4773769B2 (en) Focus detection device
JPH0797174B2 (en) Automatic focus adjustment device
JP4532169B2 (en) Focus detection device
JPH10142685A (en) Silver salt photographic and electronic image pickup camera
JPH01288816A (en) Automatic focus adjustor
JPH11295587A (en) Focusing device
JP2016114721A (en) Imaging apparatus and method of controlling the same
JP5772933B2 (en) Imaging device
JP2004317795A (en) Autofocus camera and range-finding system
JP6391448B2 (en) Imaging apparatus and control method thereof
JP6089972B2 (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070626

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130706

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees