JP4014970B2 - 振れ補正機能を有する撮影装置 - Google Patents

振れ補正機能を有する撮影装置 Download PDF

Info

Publication number
JP4014970B2
JP4014970B2 JP2002238769A JP2002238769A JP4014970B2 JP 4014970 B2 JP4014970 B2 JP 4014970B2 JP 2002238769 A JP2002238769 A JP 2002238769A JP 2002238769 A JP2002238769 A JP 2002238769A JP 4014970 B2 JP4014970 B2 JP 4014970B2
Authority
JP
Japan
Prior art keywords
shake
correction
axis
photographing apparatus
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002238769A
Other languages
English (en)
Other versions
JP2004080459A (ja
Inventor
邦久 山口
純一 篠原
圭一郎 平原
直紀 越田
浩幸 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002238769A priority Critical patent/JP4014970B2/ja
Publication of JP2004080459A publication Critical patent/JP2004080459A/ja
Application granted granted Critical
Publication of JP4014970B2 publication Critical patent/JP4014970B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、デジタルスチルカメラや、デジタルビデオカメラなどの撮影装置に関する。詳しくは、これら撮影装置における振れ補正機能に関する。
【0002】
【従来の技術】
デジタルスチルカメラは、撮像素子の感度の限界により、銀塩写真のような短いシャッタ時間を実現しにくく、露光中の手振れあるいは像振れと呼ばれる振れにより、撮影された画像に「像の流れ」のようなボケが生じやすい。
【0003】
振れの検出方法としては、たとえば、特開2000−69353号公報に記載されているように、撮像素子が取り込んだ複数回分の画像データに、何らかの画像処理を施して振れの情報を得る方法や、撮像装置の角加速度を検出し振れ量を算出して用いるものなどがある。
【0004】
振れの補正方法としては、たとえば、特開2001−194701号公報に記載されているように、撮像素子から得られる画像信号の信号レベルを、可変利得増幅手段によって利得を増加させ、シャッタ秒時を振れ限界より短くする電気的補正方法がある。
あるいは、撮像装置のレンズ系の操作や、撮像素子の移動などの機械的補正手段も利用されている。そのような例としては特開平11−196428号公報がある。
【0005】
補正の精度を上げる方法として、特開平5−107619号公報に、レンズの焦点距離情報に基づいて振れ検出および補正の周期を決定し、レンズ焦点距離が長い場合には補正周期を短くして補正の効果をあげるものが示されている。
【0006】
いずれの場合も、撮影装置のレンズ光軸に直交する平面内における二次元的な補正を行う場合が多い。ここで、以後の説明の便宜のため、撮影装置における上記二次元の方向の定義をしておく。
図1は、本発明の振れ補正機能付き撮影装置を実施する場合の1つの形態を説明するための図である。図1に示すように、撮影装置のレンズ光軸正面から見た場合の撮影装置の形状が、長方形に近い場合、その長手方向をX軸方向と名付ける。X軸方向と直交する方向をY軸方向と名付ける。一般にはX軸方向が水平方向になるとは限らない。形状が正方形に近くて長手方向が決められない場合は標準の使用位置における横方向をX軸方向とする。
【0007】
撮影装置1において、図1に示すようにX軸方向が水平である場合、Aで示す矢印はX軸方向が変化しないで鉛直方向に向いたY軸の方向が変化するのでX軸回りの変位と呼ぶ。同様に、Bで示す矢印はY軸回りの変位と呼ぶ。
X軸回りの変位による像の移動を補正するためには光学系の光軸、あるいは、撮像素子をY軸方向に移動させなければならない。したがって、X軸回りの変位によって生ずる振れ量の演算結果をΔYとする。同様にY軸回りの変位によって生ずる振れ量の演算結果をΔXとする。なお、説明の都合上、像面での像の振れ方向で、たとえば、X方向、あるいは、Y方向と表現することがある。
【0008】
図5に示す撮影装置15では、横長方向に構えた場合のシャッタ16と、縦長方向に構えた場合のシャッタ17を有している。図5(a)に示すように撮影装置15を横長方向に構えた場合、X軸回りの変位が鉛直方向の変位、Y軸回りの変位が水平方向の変位となる。また、図5(b)に示すように撮影装置15を縦長方向に構えた場合、X軸回りの変位が水平方向の変位、Y軸回りの変位が鉛直方向の変位となる。このように撮影装置15のX軸回りの変位、Y軸回りの変位は、撮影装置の構え方により、鉛直方向変位と水平方向変位のどちらにもなり得る。
【0009】
【発明が解決しようとする課題】
通常、振れ補正を行う際、たとえばX軸回りの振れ量ΔYを算出し、X軸回りの振れを補正、次に、Y軸回りの振れ量ΔXを算出し、Y軸回りの振れを補正するということを一定周期で繰返す。この演算は一般に中央演算装置と呼ばれるCPUで行っている。またCPUではズーム、フォーカスなどの処理も行っており、撮影装置が振れ補正モードに指定されている場合は、CPUの負担が明らかに増えている。これがそれぞれの処理速度の低下の原因となり、振れ補正における追従性、応答性を低下させることにもつながる。振れ補正モードにあるときには常にこれらの処理を行っているため、消費電力も増えてしまう。
従来技術のように、補正の周期を短くすると、CPUの処理時間が多くなって、上記問題が顕著になる。逆に、単に補正の周期を長くして、CPUの負担を小さくしようとすれば、必然的に補正精度の低下になる。
【0010】
【課題を解決するための手段】
これらの問題を解決するため、請求項1の発明では、撮影光学系と、撮影光学系を通過した被写体からの光を受光する撮像手段と、前記撮影光学系の光軸に直交する2軸の回りの振れを検出する振れ検出手段と、前記振れ検出手段より検出される検出振れ量に基づいて補正量を算出する演算手段と、演算手段の処理結果に基づき、前記2軸の回りの振れ変位を補正する2つの振れ補正手段とを有する撮影装置であって、前記2軸のうちの一方の軸の周りの補正量の算出と、他方の軸の周りの補正量の算出とで、前記演算手段の演算時間の割り当てを異ならせる振れ補正機能を有する撮影装置を特徴とする。
【0011】
請求項2の発明では、請求項1に記載の撮影装置において、前記演算手段が前記2つの振れ補正手段に与える補正量を演算するための演算式として通常の演算式と簡略演算式を用意し、一方の補正手段に対し通常の演算式を用い、他方の補正手段に対し簡略演算式を用いることで前記演算手段時間の割り当てを異ならせることを特徴とする。
請求項3の発明では、請求項1に記載の撮影装置において、前記2つの振れ補正手段の補正周期を異ならせることで前記演算手段の演算時間の割り当てを異ならせることを特徴とする。
【0012】
請求項4の発明では、請求項3に記載の撮影装置において、前記検出振れ量の大きい方の補正周期を短く、小さい方の補正周期を長くすることを特徴とする。
請求項5の発明では、請求項3または4に記載の撮影装置において、前記補正周期を異ならせた2軸の回りの前記補正量演算において、前記演算手段が前記2つの振れ補正手段に与える補正量を演算するための演算式として通常の演算式と簡略演算式を用意し、一方の軸に関する演算に簡略演算式を用いることを特徴とする振れ補正機能を有する。
【0013】
請求項6の発明では、請求項3、4または5に記載の撮影装置において、前記撮影装置の把持状態を検出する把持状態検出センサを前記撮影装置本体に有し、その検出結果に対応して、予め設定されている第1の補正周期を選定することを特徴とする。
請求項7の発明では、請求項3、4、または5に記載の撮影装置において、前記演算手段が撮影装置の姿勢を判定して、姿勢に対応して予め設定されている第1の補正周期を選定することを特徴とする。
【0014】
請求項8の発明では、請求項2、3、4、または5に記載の撮影装置において、前記検出振れ量から以後の予測振れ量を算出する、振れ量予測演算手段を有することを特徴とする
請求項9の発明では、請求項6,または7に記載の撮影装置において、前記検出振れ量から以後の予測振れ量を算出する振れ量予測演算手段を有し、該予測振れ量に対応して予め設定されている第2の補正周期を選定することを特徴とする。
【0015】
請求項10の発明では、請求項9に記載の撮影装置において、前記第1の補正周期と、前記第2の補正周期の相互の、X、Y軸対応の大小関係が一致しないとき、2軸の補正周期を等しくするか、または、前記第1の補正周期を用いて補正動作を行わせることを特徴とする。
請求項11の発明では、請求項9に記載の撮影装置において、前記撮影光学系が情報表示機能、もしくは、音、光などによる警告機能を有し、前記第1の補正周期と、前記第2の補正周期の相互の、X、Y軸対応のの大小関係が一致しないとき、その旨を前記情報表示機能により表示を行うか、または前記警告機能により撮影者に警告を行うことを特徴とする。
請求項12の発明では、請求項8〜10のいずれか1つに記載の撮影装置において、前記予測振れ量の、大きい方の補正周期を短く、小さい方の補正周期を長くすることを特徴とする。
【0016】
請求項13の発明では、請求項3に記載の撮影装置において、撮影装置の振れの状況を監視する振れ監視手段を前記撮影装置内に設け、該監視手段の検出結果で振れの変化を予測する振れ状況予測演算手段を設け、予測演算の結果で補正周期を所定時間ごとに分けて決めることを特徴とする
請求項14の発明では、請求項13に記載の撮影装置において、補正周期は振れの変化の絶対値もしくは振れの変化の比率に対応させて決めることを特徴とする。
【0017】
請求項15の発明では、請求項14において、前記補正周期と振れの変化の絶対値もしくは振れの変化の比率との対応を撮影者が決めるための設定手段を有することを特徴とする振れ補正機能を有する撮影装置。
請求項16の発明では、請求項3〜15のいずれか1つに記載の撮影装置において、理論上振れが小さいと見込まれる軸方向、あるいは、検出振れ量もしくは予測振れ量が所定値より小さい軸方向は補正周期を無限大に設定し、実質的に補正動作を省略することを特徴とする。
請求項17の発明では、請求項16に記載の撮影装置において、補正動作を省略した軸方向も、所定周期で振れ検出を継続し、検出振れ量が所定量より大きくなったら補正動作を行うことを特徴とする
【0018】
請求項18の発明では、請求項3〜17のいずれか1つに記載の撮影装置において、2軸の補正周期の組合せを複数用意して、どの組合せを採用するかは、撮影者が決められるような選択手段を有することを特徴とすることを特徴とする。請求項19の発明では、請求項1〜18のいずれか1つに記載の撮影装置において、露光中は補正動作の回数を制限することを特徴とする。
請求項20の発明では、請求項1〜19のいずれか1つに記載の撮影装置において、補正の状況を表示することを特徴とする。
【0019】
【目的】
撮影状況、たとえば、カメラの把持状態が片手であるか、両手であるかという把持状態の違い、あるいは、カメラを横長方向に構えているか、縦長方向に構えているかという姿勢の違いによって、X軸回りあるいはY軸回りにおける振れの大きさに差が出てくる。
【0020】
極端な場合で、仮にY軸回りの振れが大きく、X軸回りの振れは無視できるほど小さければ、Y軸まわりの振れだけを補正することによって、撮影された画像の振れは補正される。
【0021】
あるいは、振れの大きい方の軸まわりに関しては通常通りの補正演算を行い、振れの小さい方の軸まわりに関しては、補正演算の演算式を簡略化してCPUの負担を軽減することができる。
【0022】
それほど極端でない場合でも、振れの大きい方の軸の補正頻度を、他方の軸の補正頻度より多くすること、すなわち補正周期を短くすることで、より適正な補正ができる。
【0023】
本発明は、上記従来の問題点に鑑み、振れ補正手段による振れ補正を状況に応じて、特にX軸回りとY軸回りで個別に変化させることにより、処理を行っているCPUの負担を軽減し、処理能力、速度の向上を図り、消費電力の無駄を押え、かつ、振れによるボケの少ない快適な画像を撮影することが可能な撮影装置を提供することを目的としている
【0024】
あるいは、CPUの負担を増大させることなく、両軸回りの補正精度を最適化することを目的としている。
また、本発明は、露光前の振れ予測情報に基づいて、2軸回りの振れ補正の為の各々の補正周期を決定するものである。それにより、撮影装置のシステムの負荷を上げることなく、全体としての振れ補正の効果を上げることを目的としている。
【0025】
ところで、振れの大きさの予測については、露光前の振れ検出手段により検出される振れ検出情報に基づき、露光後の振れを予測することが可能である。
よって、露光中の2軸回りの振れの大きさを各々予測し、振れの変化が大きいと予測された軸回りの補正周期を短くして補正精度を高め、また振れの変化が小さいと予測された軸回りの補正周期を長くして無駄な補正精度を抑える。
これにより、システムの負荷を上げることなく、振れの大きい軸回りの補正精度をあげ、また2軸回りの補正精度をほぼ均等にすることができる。
【0026】
【実施例】
撮影装置1に関して基本的な振れ補正方法を実現するための機能的構成例を図2に示す。符号4、5は振れ検出センサ、符号6はCCD等の撮像素子を示す。振れ検出センサ4は、撮影装置のX軸回りの振れを検出し、振れ検出センサ5は、撮影装置のY軸回りの振れを検出する。これらの振れ検出センサ4、5と振れ検出センサ回路7により振れ検出手段8を構成する。振れ検出手段8の出力は演算手段9に送られる。演算手段9はマイクロプロセッサ等により構成され、振れ検出手段8からの出力に応じて、振れ補正量を算出する。この算出された振れ補正量に対応した信号が補正手段駆動回路10に送られ、それにより補正手段駆動回路10を通じた振れ補正手段11、12が駆動され、撮像素子6を振れを軽減させる方向へ変位させる。振れ補正手段11はX軸回りの振れを補正する方向へ駆動、また振れ補正手段12はY軸回りの振れを補正する方向へ駆動される。
【0027】
人間の起す手振れは、撮影装置の構え方により変わってくるが、図3に示すようにシャッター押下方向である鉛直方向の振れが大きく、水平方向の振れは少ないのが一般的である。
この場合、振れ補正の繰り返し周期をX方向、Y方向とも同じある一定周期で行うとすると、振れが大きい鉛直方向では、図3(a)に示すように1周期Δt当たりの変化量ΔXpが大きいため、補正精度が低くなる。これに対して、振れが小さい水平方向では、図3(b)に示すように単位時間Δt当たりの変化量ΔXhが少ないため無駄に補正精度が高くなる現象が起こる。
【0028】
この振れ補正の繰り返し周期は、短いほど補正精度を高くできる。しかし、演算手段9による補正演算は、振れ検出手段8の出力データから振れ補正量を単に算出するといった簡単なものではなく、振れ補正手段11、12の機構に起因する線形また非線形の特性を是正する演算の要求もあり、補正演算時間が増大する傾向にある。よって、補正周期を単に短縮することは撮影システムに対する負荷への影響が大きく、限度がある。
そこで、高い精度を必要とする軸回りと、その必要がない軸回りとの間で、演算手段の演算時間の割り当てを変え、CPUの負荷の増大を招かずに所望の補正精度を得る。
【0029】
この目的を達成するため、本発明では、X軸方向またはY軸方向の少なくとも一方の補正演算に簡略演算式を用いる。
通常、振れ補正量の演算において、補正手段の応答遅れを補うために振れ量の予測をするための式が用いられており、この式は、現在の振れ量のデータと直前の振れ量のデータの2点から次の点の振れ量を算出する比例式に、振れ速度の変化率すなわち加速度の項を表す微分項を加えている。そこで、高精度を要しないとみなされる軸回りに関しては、この式の微分項を省き、一次式のみで予測をするなど、簡略演算を行うことで、CPUの負担を軽減し、かつ、より適切な振れ補正を行うことが出来る。
【0030】
さらに、上記目的を達成するため、本発明では、鉛直方向と水平方向の補正周期を一定周期とするのではなく、振れが大きい軸回りの補正周期を短くして補正精度を高め、さらに振れが小さい軸回りの補正周期を長くして無駄な補正精度を抑え、X軸回りの1周期当たりの変化量ΔYと、Y軸回りの1周期当たりの変化量ΔXとのバランス(ΔX≒ΔY)をとる。
【0031】
さらに、上記目的を達成するため、本発明は、露光前の振れ予測情報に基づいて、2軸回りの振れ補正方向各々の補正周期を決定するものである。それにより、撮影装置のシステムの負荷を上げることなく、全体としての手振れ補正の効果を上げるものである。
【0032】
さらに、上記目的を達成するため、本発明では、X軸回りとY軸回りの補正周期を露光中全期間に渡って一定周期とするのではなく、露光期間を所定の単位時間で幾つかの区間に分割して、区間毎に振れの変化が大きい軸回りの補正周期を短くして補正精度を高め、さらに振れの変化が小さい軸回りの補正周期を長くして無駄な補正精度を抑え、振れの大きい軸回りの1周期当たりの変化量と、振れが小さい軸回りの1周期当たりの変化量とのバランスをとる。
【0033】
この一連の振れ補正動作はCCD6への露光中に繰り返し行われる。繰り返しの周期は両軸回りとも同じにするのが一般的である。本発明では両軸のうち、補正の必要度合いの大きい方により多くの演算手段処理時間を与えることにした。
その方法の1つとして、本発明の第1の実施形態では、補正周期は従来通り両軸とも同じにするが、演算時間そのものを異ならせる方法である。より精度の高い補正を必要とする軸回りには、前述の通常の演算式を適用し、そうでない軸回りについては前述の簡略演算式を用いる。その極端な場合として、補正の必要がないと判断された軸回りに関して、補正動作を省略することもできる。
第1の実施形態を採用する場合、図2に示す補正周期決定手段14は省略し得る。
【0034】
本発明の第2の実施形態として、両軸回りの演算に、共に通常の演算式を用いる場合でも、両者の補正周期を異ならせることで演算手段の演算割り当て時間に重み付けを行う。すなわち、両軸回りの演算に関し演算時間の割り当てを異ならせる。 図4に示す例のように鉛直方向と水平方向の補正周期を一定周期とするのではなく、振れが大きい鉛直方向の補正周期Δtpを短くして補正精度を高め、さらに振れが小さい水平方向の補正周期Δthを長くして無駄な補正精度を抑え、鉛直方向の1周期Δtp当たりの変化量ΔXpと、水平方向の1周期Δtp当たりの変化量ΔXpとのバランス(ΔXp≒ΔXh)をとる。
【0035】
どちらの方向が変化率が大きいかは、撮影装置の保持状態でもある程度決まる。つまり、カメラが縦長に構えられているのか、横長に構えられているのかで振れやすさの方向が異なる。撮影装置が図5に示すように横長方向にも縦長方向にも構えられる場合では、横長方向か縦長方向かを撮影者が切り替えるモード選択手段を設けるとよい。また、カメラがどの方向に構えられているのか、つまり、カメラが縦長に構えられているのか、横長に構えられているのかを判別する保持状態検出手段13を設けてもよい。
【0036】
図6は、本発明の振れ補正機能付き撮影装置を実施する場合の1つの形態を説明するための図である。撮影装置15は横型に構えられた状態から、任意の傾き角度θだけ傾いて保持されている。
本実施例では、保持状態検出手段は、単に撮影装置保持方向が縦長方向なのか横長方向なのかを判断するだけでなく、撮影装置15の傾き角度を検出する。
このような場合でも、補正周期決定手段14は保持状態検出手段13から得られた撮影装置の傾き角度により、装置が固有で持っている傾き角度毎に対応した補正周期テーブルからX軸回りとY軸回りの補正周期を決定する。
【0037】
両軸回りの補正周期を異ならせる様子を、モデル化した例で以下説明する。
システム負荷と補正周期の考え方を、図7に基づいて説明する。例えば、X軸回りとY軸回りの2つの補正手段の補正周期の比率が9:9と同じにした図7(a)の第1例と、2つの補正手段の補正周期の比率が6:18と振れの変化が大きいX軸回りの補正周期を短く、振れの小さいY軸回りの補正周期を長くした図7(b)の第2例について考える。
図7の横軸は時間軸で、セルX、セルY、セルEは横軸に対してそれぞれX軸回りの振れ補正処理時間、Y軸回りの振れ補正処理時間、露光中のシステム側が使用可能な時間である。
【0038】
X軸回りの振れ補正処理時間とY軸回りの振れ補正処理時間は、簡略演算式を用いない場合、方向が違うだけで振れ補正処理内容は同じであるため、セルXとセルYの横軸方向の長さは同じであり、説明の便宜のためセルEもセルX、セルYと同じ長さとし、この長さを単位時間として表現してある。セル中に記載の番号は各々の振れ補正処理が繰り返された回数である。なお、簡略演算式を用いた場合は、セルXとセルYの横幅は等しくならない。
【0039】
ここで、露光中のある一定時間T内を考える。X軸回りとY軸回りの振れの2つの補正手段の補正周期の比率が9:9の第1例の場合は、時間T内の振れ補正処理回数はX軸回りの補正が2回、Y軸回りの補正が2回であり、システム側が使用できる時間は14単位時間である。また、X軸回りとY軸回りの振れの2つの補正手段の補正周期の比率が6:18の第2例の場合は、時間T内の振れ補正処理回数はX軸回りの補正が3回、Y軸回りの補正が1回であり、第1例に比べて、X軸回りの振れ補正精度は1.5倍、Y軸回りの振れ補正精度は0.5倍となっているが、システム側が使用できる時間は14単位時間と変わらないことがわかる。
【0040】
補正周期の長い方の演算に対して更に簡略演算式を用いることで、両軸回りの重み付けの違いをより強調することができる。逆に、補正周期が非常に短くなると補正動作1回当たりに発生する振れ量はかなり小さくなると考えられるので、1回ごとの演算はさほど高精度を必要としなくなる。したがって、補正周期の短い方に簡略演算式を適用してCPUの負荷を減らすこともできる。
このように、X軸回りとY軸回りの振れの大きさに合わせて、2つの補正手段の補正周期を適切に決定することで、システム側の負荷を上げることなく、必要な補正精度を得ることができる。
【0041】
図8に把持状態を検出できるスチルカメラの例を示す。図に示すようにカメラ本体101のグリップ部に、撮影者がカメラを把持していることを判別するための把持状態検出センサ102を有している。また、本体のもう一方にも同じく把持状態検出センサ103を有している。これらの把持状態検出センサはタッチセンサやフォトインタラプタの様に遮光されることによって反応するセンサなどが考えられる。この把持状態検出センサに指が触れているかどうかによって、カメラが両手で把持されているのか片手で把持されているのかを判別する。
【0042】
カメラが両手で把持されている場合、左右から同等の力でカメラをはさみこむように構えているため、Y軸回りの振れはすくなく、X軸回りの振れが大きくなると思われる。片手で把持している場合には、力の加わる方向が一方向であるため、振れ方向はX、Yの別なく生じる。そこで、両手持ちと判別された場合は、X軸回りに対して演算手段の演算割り当て時間に高い重み付けを行う。片手の場合は、他の条件を考慮して重み付けを行う。重み付けの手段は前述の各手段のいずれを採用してもよい。
【0043】
図9に把持状態検出センサ104、105を有する横薄型カメラを示す。このタイプのカメラの場合、図8のようなタイプのカメラに比べ、X軸回りの振れは大きくなる傾向にあり、両手で把持した場合、X軸回りに発生する振れはより大きいと思われる。また両手で把持した場合でも、一眼レフタイプの形態のカメラの場合、構え方にも幾つか考えられ、鏡胴の下に左手を添えるような底面把持の構え方の場合は、両手の力の作用方向から考えて、Y軸回りの振れが大きくなると思われる。そこで、このように一眼レフタイプのカメラ形態の場合は、図10に示すように、カメラ本体の底面や、鏡胴の下側にも把持状態検出センサ106、107を設けることで、両手の構え方のバリエーションを判別し、振れ補正方向を決定する。
【0044】
カメラが振れ補正モードにある時、CPUは、たとえばX軸回りの振れを検出し、補正量を算出し、補正を行ったら、次にY軸回りの振れを検出、補正量算出、補正を行うという動作が交互に処理されており、その間、ズームやフォーカスなどの動作が逐次処理されている。したがって、振れ補正を行っている間、CPUにおける処理は増え、このことはCPUの処理速度の低下や、ひいては振れ補正の応答性や追従性にも影響してくる。そこで、本発明では両手、片手の把持方法や、通常把持か底面把持かの別を示す把持状態検出センサの出力結果を利用して、補正不要と判断した振れ補正方向の補正を省略することで、CPUにかかる負担を軽減することが出来、さらには消費電力の節約にもつながり、適切な振れ補正を行うことが出来る。
【0045】
本発明における振れ補正手段では、撮影装置本体に取り付けられた把持状態検出センサによって両手把持、片手把持の別を判断し、把持状態に対応してあらかじめ定められている、振れ補正方向ごとの補正周期の決定を行う。
【0046】
たとえば、図8において把持状態検出センサ102、103の両方がonであった時、CPUはX軸回りの補正動作のみを所定の周期で実行し、これにより振れ補正手段11のみが駆動され、Y軸回り振れ検出センサ5の出力の取り込み後の、振れ補正手段12へのデータ出力までの一連の動作は省略される。これによりCPU8の負担は軽減される。ここで述べたセンサの例は一例にすぎず、組み合わせは他にも考えられる。
【0047】
振れ補正方向が前記例のようにX軸回りに決まって、振れ補正手段に対しCPU8が所定の周期で補正動作を行っている間も、継続してCPU8がY軸回りのチェックを行ってもよい。すなわち、振れ検出とその振れ量の演算までを所定の周期、たとえば、X軸回りの補正動作と同じ周期で行ってもよい。そうすることによって、先の補正方向の決定によって処理を省略すると決定した方向の振れが、所定の値を超えた場合には、その方向に対する振れ補正を開始することができる。
この場合、処理を省略した方の振れに関しては、以後のチェックの際の振れ補正演算に簡略演算式を用いてもよい。
【0048】
図2に示すように撮影装置の保持状態を検出する保持状態検出手段13と、この保持状態検出手段13より検出される撮影装置の保持状態に基づいて、X方向及びY方向の補正周期を決定する補正周期決定手段14を有することにより、撮影装置が横長、縦長のどちらに構えた場合でも、鉛直方向の軸回りの補正周期を短くし、水平方向の軸回りの補正周期を長くすることで、X軸回り、Y軸回りの適切な補正精度を実現することができる。尚、補正周期決定手段14は演算手段9に含まれてもなんら問題はない。
【0049】
本実施形態の場合のX軸回り、Y軸回りの補正周期決定手順を図11に示すフローチャートにて説明する。撮影装置15は、常に撮影者によるレリーズボタン等の開始指示の操作による撮影指示信号が発生しているか否かをチェックする(S1)。撮影指示信号が検知されると(S1のYes)、撮影装置の保持状態を取り込む(S2)。S2で取り込まれた撮影装置の保持情報により撮影装置が横型に構えられているのか、縦型に構えられているのか判断する(S3)。撮影装置15が横長方向に構えたと判断された場合(S3のYes)、X軸回りが鉛直方向となり、X軸回りの補正周期にAが、そしてY軸回りの補正周期にBが設定される(S31)。また撮影装置15が縦長方向に構えたと判断された場合(S3のNo)、Y軸回りが鉛直方向となり、X軸回りの補正周期にBが、そしてY軸回りの補正周期にAが設定される(S32)。ここで補正周期Aは補正周期Bより小さくA<Bである。このようにして決定されたX軸回り及びY軸回りの補正周期によって露光と同時に振れ補正動作が開始される(S4)。
【0050】
S2の撮影装置の保持情報取り込みでは、例えば撮影装置が図1に示すようにシャッタ押下方向が一方向であり常に横型に構えられる場合では撮影装置がデフォルトで持っている保持情報を読み込む。また、撮影装置が図5に示すように横長方向にも縦長方向にも構えられる場合では横長方向か縦長方向かを切り替えるモード選択手段により撮影者によって設定された情報を読み込む。
また、カメラがどの方向に構えられているのか、つまり、カメラが縦長に構えられているのか、横長に構えられているのかを判別する保持状態検出手段13を有する場合では、保持状態検出手段より出力された情報により撮影装置が横長方向に構えられているのか縦長方向に構えられているのかを判断する。
【0051】
カメラの姿勢判別センサをカメラ内部に装備して、カメラの姿勢とユーザーの把持状態の二つの要素から振れ補正の方向を決定することもできる。図12に第1の実施形態に対応させたフローチャートを示す。具体的には片手でカメラを構え、横長の状態でカメラを構えている場合は、ユーザーにより触れの程度はかわるものの、力の係り具合から考えて、縦横2方向の振れ補正が必要となる。片手持ちで、カメラを縦長方向に構えている場合、レリーズボタンが上下のどちらになるように構えていても、カメラが下方向への移動を支えているということから、縦方向(この場合はY軸回り)に振れやすい。このときはY軸回りの振れ補正を決定する。両手でカメラを把持し、縦長方向にカメラを構えている場合には、力の作用方向の関係から、横方向(この場合はX軸回り)の振れが大きくなる。このときは、X軸回りの振れ補正を行うこととする。
なお、このフローチャートでは、CPU演算時間割り当ての重み付けとして簡略演算式を使う第1の実施形態の例で示したが、簡略演算と有るところを補正の省略と書き換えても使える。また、同じ考え方で、補正周期を異ならせる第2の実施形態を採用しても構わない。
【0052】
次に、本発明の第3の実施形態に係わる2軸回りの振れ予測と補正周期の決定、及び補正動作の流れについて図13に基づいて説明する。露光直前及び露光前の所定期間に振れ検出手段8により検出される2軸回りの振れ検出量に基づき、振れ予測演算手段20は、露光後の2軸回りの振れ予測情報を算出する。この振れ予測演算手段20で算出された2軸回りの振れ予測情報に基づき、補正周期決定手段14は撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの振れ補正手段11、12の補正周期を各々決定する。これにより演算手段9のCPUを通じて補正手段駆動回路10が制御され、振れ補正手段11、12は各々適切な補正周期での補正動作が繰り返されることになる。尚、振れ予測演算手段20及び補正周期決定手段14は演算手段9に含まれても問題ない。
【0053】
振れ予測演算手段20の振れ予測情報算出手法としては、図14に示すように、露光直前時点の振れ検出手段8により検出される2軸回りの振れ検出量に基づき行うものがある。このように、露光直前の最新の振れ検出量を使用することで、露光後の振れを簡単に精度良く予測することができる。
また、図15に示すように、露光前の所定期間の前記振れ検出手段8により検出される2軸回りの振れ検出量に基づくものがある。このように、露光直前までの所定期間の複数回のデータに基づく振れ軌跡から振れの性質を的確に掴み取ることで、露光後の振れを非常に精度良く予測することが可能となる。
【0054】
本実施形態の場合のX軸回り、Y軸回りの補正周期決定手順を図17に示すフローチャートと図16に基づいて説明する。まず振れ検出手段8では随時撮影装置15の振れ状態を検出しており(S0)、記憶手段によってメモリへ書き込み(更新記憶)を行なっている(S1)。従って、メモリでは所定の時間分、すなわち所定の回数分の振れ検出情報を保持していることになる。
【0055】
一方、撮影装置15は、常に撮影者によるレリーズボタン等の開始指示の操作による撮影指示信号が発生しているか否かをチェックする(S2)。撮影指示信号が検知されると(S2のYes)、振れ検出手段8により検出される振れ検出情報を記憶しているメモリデータ量を確認する(S3)。このチェックにおいて予測に必要な所定量のデータが記憶されていることを確認すると(S3のYes)、メモリに記憶されているこれらの振れ情報をメモリから演算手段9に取り込み(S4)、例えば、図16(a)に示すように、最小二乗法や回帰線算出により所定期間の振れデータの傾きを算出し(S5)、この傾きθ、θ又はその比率θ/θに基づき補正周期決定手段14が撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの前記振れ補正手段の補正周期を決定する。
【0056】
または、図16(b)に示すように、所定期間の振れデータの最大変位と最小変位の差分Δu、Δu又はその比率Δu/Δuに基づき補正周期決定手段14が両軸回りの振れ変位を補正する2つの前記振れ補正手段の補正周期を決定する。あるいは、図16(c)に示すように、所定期間の振れの周期の短い方が、振れの変化が急傾斜であることなどを利用して振れの周期Δt、Δt又はその比率Δt/Δtに基づき補正周期決定手段14が両軸回りの振れ変位を補正する2つの前記振れ補正手段の補正周期を決定する。このように2つの前記振れ補正手段の補正周期を決定する際には、振れの変化の大きい軸回りの振れ補正周期を短く(S71、S72の周期A)、また振れの変化の小さい軸回りの振れ補正周期を長く(S71、S72の周期B)設定する。その後、露光開始と同時に2つの前記振れ補正手段は各々設定された周期で振れ補正動作を開始する(S10)。
図18に示すフローチャートは、露光直前の前記振れ検出手段8により検出される2軸回りの1回分の振れ検出情報に基づく振れ予測(S41)の場合であり、S7、S71、S72は図17で説明した所定の複数回分の振れ検出情報に基づく振れ予測の場合と同じである。
【0057】
以上の例に示すような考え方で、振れの変化の大きい軸回りの振れ補正周期を短くし、また振れの変化の小さい軸回りの振れ補正周期を長く設定するわけであるが、2軸回りの振れの変化の絶対値の大きさだけでは、または比率だけでは、2軸回りの振れの変化の絶対値がどちらも同じ程度の場合、振れ補正周期を決定することができない。このように、実際に振れ補正周期を決定するためには、2軸回りの振れの変化の大きさ、及びその比率に加えてシステム負荷の限度を超えないようにバランスを考慮するなどの、幾つかの有効な判断手段を組み合わせて、2軸の振れ補正方向各々の補正周期を適切に決定する。
【0058】
図19に示すフローチャートでは、前記振れ予測演算手段20から算出された2軸回りの振れ予測情報による振れの変化の大きさの違いが、振れ変化差分基準値以下の場合(S6)、システム負荷の限度を考慮してX軸回り及びY軸回りの振れ補正周期を同じ周期C(周期A<周期C<周期B)としている(S61)。
【0059】
前述のように、人間の起す手振れは、撮影装置の構え方により変わってくるが、撮影装置を図1に示すように横長方向に構えた状態でシャッター25を押下した場合、X軸回りの振れの変化が大きく、Y軸回りの振れの変化は少ないのが一般的である。従って、振れ予測演算手段20で予測された結果も、X軸回りの振れの変化が大きく、Y軸回りの振れの変化は少なく判断されるはずである。よって、もし撮影装置の構え方により予測される振れの変化の大きさの傾向と、振れ予測演算手段20で判断された振れの変化の大きさの傾向が異なる場合、すなわち、大小関係が一致しない場合、撮影者の撮影装置の保持形態や撮影姿勢に問題があり、それが原因で振れ予測演算手段20による露光前の振れによるX軸回り及びY軸回りの振れの変化の予測が大きく外れる場合がある。この場合には、X軸回り及びY軸回りの振れ補正周期を決定する際、振れ予測演算手段20による振れ予測情報を考慮しない、または撮影者に撮影装置の保持形態や撮影姿勢について注意を促すようにすることで、振れ補正精度の低下した撮影が行われることを防ぐ。
【0060】
デジタル式の撮影装置の多くが、撮影状態その他の情報を表示するための画像情報もしくは文字情報の表示手段を持っている。本発明の撮影装置においても、撮影装置本体に画像表示手段を備えていると振れ補正量や振れ補正方向などが表示できるほか、上記のような注意や警告も表示できることになるので便利である。このほかに発光もしくは発音により、警告を行えるように構成するのもよい。
【0061】
図5に示す撮影装置15では、横長方向に構えた場合のレリーズボタン16と、縦長方向に構えた場合のレリーズボタン17を有している。図5(a)に示すように撮影装置15を横長方向に構えた場合は、前に説明したがX軸回りの振れの変化が大きく、Y軸回りの振れの変化は少ないのが一般的である。また、図5(b)に示すように撮影装置15を縦長方向に構えた場合は、X軸回りの振れの変化が小さく、Y軸回りの振れの変化が大きいのが一般的となる。このように撮影装置15のX軸回り、Y軸回りの振れの変化の大きさの傾向は、撮影装置の構え方により変化する。
【0062】
よって、撮影装置は、撮影装置保持方向が縦長方向か横長方向かを判断するために、撮影者が撮影装置保持状態を設定することができるモード設定手段を有する、または、図13に示すように撮影装置の保持状態を検出する保持状態検出手段13を有し、常に撮影保持状態を監視することで、撮影装置の構え方により予測される振れの変化の大きさの傾向と、振れ予測演算手段20で判断された振れの変化の大きさの傾向の一致・不一致を判断することができる。
【0063】
図20に示すフローチャートでは、振れ予測演算手段20で判断された振れの変化の大きさにより決定した補正方向別周期判断と、撮影装置保持情報から決定した補正方向別周期判断が異なる場合、すなわち、大小関係が逆になっている場合(S9)、システム負荷の限度を考慮してX軸回り及びY軸回りの振れ補正周期を同じ周期C(周期A<周期C<周期B)としている(S91)。ただし、S91の処理はこれに限らず、たとえば、撮影装置保持情報から決定した周期を採用してもよい。
【0064】
また、図21に示すフローチャートでは、振れ予測演算手段20で判断された振れの変化の大きさにより決定した補正方向別周期判断と、撮影装置保持情報から決定した補正方向別周期判断が異なる場合(S9)、撮影者に撮影装置の保持状態または撮影姿勢について警告する(S92)。
S8の撮影装置の保持情報取り込は、前述の図8の場合と同様である。
【0065】
本発明の第4の実施形態の機能的構成例を図22にて説明する。振れ監視センサ22は、撮影装置のX軸回りの振れを検出し、振れ監視センサ23は、撮影装置のY軸回りの振れを検出する。これらの振れ監視センサ22、23と振れ監視センサ回路21により振れ監視手段24を構成する。
露光中の所定期間に振れ監視手段24により検出される2軸回りの振れ検出量に基づき、振れ予測演算手段20は、振れ予測情報を算出する。この振れ予測演算手段20で算出された2軸回りの振れ予測情報に基づき、補正周期決定手段14は撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの振れ補正手段11、12の補正周期を各々決定する。これにより演算手段9のCPUを通じて補正手段駆動回路10が制御され、振れ補正手段11、12は各々適切な補正周期での補正動作が繰り返される。
【0066】
本実施形態では露光期間は所定の単位時間でいくつかの区間に分割されており、補正周期の変更はこの区間毎に行われる。尚、振れ監視手段24は、振れ検出手段8と兼用であっても問題ない。また、予測演算手段20及び補正周期決定手段は演算手段9に含まれても問題ない。
【0067】
X軸回りとY軸回りの補正周期を露光中全期間に渡って一定周期とするのではなく、図23に示すように、露光期間を所定の単位時間で幾つかの区間に分割して、区間毎に振れの変化が大きい軸回りの補正周期Δtを短くして補正精度を高め、さらに振れの変化が小さい軸回りの補正周期Δt2を長くして無駄な補正精度を抑え、振れの大きい軸回りの1周期Δt1当たりの変化量Δu1と、振れが小さい軸回りの1周期Δt2当たりの変化量Δuとのバランス(Δu≒Δu)をとる。
【0068】
補正周期決定手段14により決定される撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの振れ補正手段11、12の補正周期と、振れ監視手段24により検出される2軸回りの振れの関係を図24に基づいて説明する。
尚、振れ検出手段8による振れの検出は、振れ補正動作毎に実施されるため、補正周期の変更区間毎に振れ検出周期が変化するが、振れ予測の精度を考慮すれば、振れ監視手段24による振れの監視は一定周期であることが望ましい。勿論、振れ検出手段8による振れの検出と振れ監視手段24による振れの監視は同じ振れを検出しているものであり、振れ検出結果の振れ遷移を全体としてみれば同じものであり、振れ検出手段8と振れ監視手段24を同一として、振れ監視を振れ補正動作毎の振れ検出データを用いて行っても問題ない。むしろ振れ監視による若干のシステム負荷の増加を考えれば、振れ検出手段8と振れ監視手段24を同一として、振れ監視用データとして振れ補正動作毎の振れ検出データを用いるのが望ましい。
【0069】
図24は露光中の任意の連続する4つの区間a、区間b、区間c、区間dのX軸回りとY軸回りの振れの遷移を示している。区間aはX軸回りとY軸回りの振れの変化がともに小さい区間であり、X軸回りとY軸回りともに補正周期は長く設定される。区間bはX軸回りの振れの変化は小さく、Y軸回りの振れ変化が大きい区間であり、X軸回りの補正周期は長く、Y軸回りの補正周期は短く設定される。区間cはX軸回りの振れの変化が大きく、Y軸回りの振れ変化は小さい区間であり、X軸回りの補正周期は短く、Y軸回りの補正周期は長く設定されている。区間dはX軸回りとY軸回りの振れの変化がともに大きい区間であり、X軸回りとY軸回りともに補正周期は短く設定される。
【0070】
これらの区間a〜区間dのX軸回りとY軸回りの補正周期の決定とシステム負荷の関係を図25に基づいて説明する。なお、横軸とそれぞれの記号の定義は前述の図7と同じである。また、この例では、システム負荷の限度として、システム側で使用できる時間が一定時間T内で14単位時間以上必要な場合を仮定している。
【0071】
区間aの一定時間T内を考える。X軸回りとY軸回りの振れの2つの補正手段の補正周期の比率が18:18であり、時間T内の振れ補正処理回数はX軸回りの振れ補正が1回、Y軸回りの補正が1回であり、システム側が使用できる時間は16単位時間である。
区間bの一定時間T内を考える。X軸回りとY軸回りの振れの2つの補正手段の補正周期の比率が18:6であり、時間T内の振れ補正処理回数はX軸回りの振れ補正が1回、Y軸回りの補正が3回であり、システム側が使用できる時間は14単位時間である。
区間cの一定時間T内を考える。X軸回りとY軸回りの振れの2つの補正手段の補正周期の比率が6:18であり、時間T内の振れ補正処理回数はX軸回りの振れ補正が3回、Y軸回りの補正が1回であり、システム側が使用できる時間は14単位時間である。
区間dの一定時間T内を考える。X軸回りとY軸回りの振れの2つの補正手段の補正周期の比率が9:9であり、時間T内の振れ補正処理回数はX軸回りの振れ補正が2回、Y軸回りの補正が2回であり、システム側が使用できる時間は14単位時間である。
【0072】
区間dのX軸回りとY軸回りの振れの変化がともに大きい区間では、一定時間T内の振れ補正処理回数はX軸回りの振れ補正が2回、Y軸回りの補正が2回となり、システム側が使用できる時間は14単位時間と、システム負荷限界で設定されている。
区間bでは一定時間T内の振れ補正処理回数はX軸回りの振れ補正が1回、Y軸回りの補正が3回であり、区間dに比較するとX軸回りの振れ補正精度は0.5倍、Y軸回りの振れ補正精度は1.5倍となる。また、区間cでは一定時間T内の振れ補正処理回数はX軸回りの振れ補正が3回、Y軸回りの補正が1回であり、区間dに比較するとX軸回りの振れ補正精度は1.5倍、Y軸回りの振れ補正精度は0.5倍となる。このように、区間b及び区間cではX軸回り及びY軸回りの振れ補正精度が区間dとは異なるが、この場合でも、システム側が使用できる時間は14単位時間となっており、区間dと同じシステム負荷限界での設定となっている。
【0073】
さらに、図24、図25で説明した制御を実現するために、2軸回りの振れ補正を実行する回数に制限を設けることで、システム負荷についても考慮して補正周期を決定することになる。このように、各区間におけるX軸回りとY軸回りの振れの変化の大きさに合わせて、さらに2軸回りの振れ補正を実行する回数に制限を設けることで区間毎にシステム負荷がシステム負荷限界以下となるように、X軸回りとY軸回りの振れの2つの補正手段の補正周期を適切に決定する。このようにすることで、露光期間中のシステム側の負荷を上げることなく、X軸回りとY軸回りで必要な補正精度を得ることができる。
【0074】
ところで、予測に必要な所定期間の振れ監視手段24から検出される振れ検出量データは、例えばメモリ等に記憶される。よって、メモリ等に記憶された予測該当区間の直前までの所定期間の振れ検出量データを用いて予測演算手段20では予測演算が実施される。この予測演算方法としては、例えば、一連の所定期間の振れ検出量データを一次微分、二次微分して、該当区間直前の振れ速度、及び振れ加速度を算出し、該当区間の振れの変化の大きさを算出するなどの方法がある。
【0075】
以上の例に示すような考え方で予測された該当区間の2軸回りの振れの変化の大きさにより、2軸回りの振れの変化の大きさの絶対値に基づいて2軸回りの振れ変位を補正する2つの振れ補正手段の補正周期を決定したり、2軸回りの振れの変化の大きさの比率に基づいて2軸回りの振れ変位を補正する2つの振れ補正手段の補正周期を決定することができる。さらにこれに加えてシステム負荷の限度を超えないようなバランスを考慮するなどの、幾つかの有効な判断手段を組み合わせて、2軸回りの振れ補正方向各々の補正周期を各区間毎に適切に決定する。
振れの変化の大きさの絶対値、あるいは、振れの変化の大きさの比率に対応すべき補正周期の組合せは、固定的であってもよいが、複数の組合せを用意しておいて、撮影者が選択できるように、選択手段を設けてもよい。
【0076】
本実施形態の場合のX軸回り、Y軸回りの補正周期決定手順を図26、図27に示すフローチャートに基づいて説明する。
まず図26は露光前動作を説明するものであり、振れ監視手段24では随時撮影装置15の振れ状態を検出しており(S0)、記憶手段によってメモリへ書き込み(更新記憶)を行なっている(S1)。従って、メモリでは所定の時間分すなわち、所定の複数回分の振れ監視情報を保持していることになる。
【0077】
一方、撮影装置15は、常に撮影者によるレリーズボタン等の開始指示の操作による撮影指示信号が発生しているか否かをチェックする(S2)。撮影指示信号が検知されると(S2のYes)、振れ監視手段24により検出される振れ監視データが記憶されていることを確認すると(S3のYes)、メモリに記憶されているこれらの振れ情報をメモリから演算手段9に取り込み(S4)、例えば、一連の所定期間の振れ検出量データを一次微分、二次微分して、振れ速度、及び振れ加速度を算出し、露光直後の振れの変化の大きさを予測する(S5)。このステップ5の処理により算出された予測振れ情報により、補正周期決定手段14は、露光直後の区間における撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの前記振れ補正手段の補正周期を決定し、露光開始と同時に、X軸回りとY軸回り各々決定された補正周期で振れ補正が開始される(S10)。
【0078】
図27は露光中の振れ補正動作を説明するものであり、振れ検出手段8からの出力を取り込み(S11)、この出力に応じて、振れ補正量を算出する(S12)。そして算出された振れ補正量に対応した信号が補正手段駆動回路10に送られ、それにより補正手段駆動回路10を通じた振れ補正手段11、12が駆動される(S13)。この一連の振れ補正動作はX軸回り、Y軸回り別々の周期で露光中に繰り返し行われる(S19)。
【0079】
ところで、振れ監視手段24から検出される振れ検出量データ(S0)は露光前動作と同じく随時メモリ等の記憶手段に記憶(更新記憶)されている(S1)。さらに演算手段9のマイクロプロセッサは図24に例示する区間aから区間dに相当する区間の変わり目を判断し(S15)、区間の変わり目である場合には、メモリに記憶された次区間の直前までの所定期間の振れ検出量データを取り込み(S4)そのデータを用いて予測演算手段18により予測演算が実施される(S5)。このS5の処理により算出された予測振れ情報により、補正周期決定手段14は、露光直後の区間における撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの前記振れ補正手段の補正周期を決定し、次区間開始と同時にX軸回りとY軸回り各々決定された補正周期で振れ補正が開始される(S19のYes)。尚、区間毎のX軸回りとY軸回りの補正周期決定では、振れ予測情報だけではなく、システム負荷についても考慮して補正周期を決定することより、区間の変わり目は図25のP時点及びQ時点のようにX軸回りとY軸回りの振れ補正動作開始が同じタイミングである時点であることが望ましい。
【0080】
以上、本実施形態では振れ補正手段が撮像素子を振れとは反対方向に変位駆動させる振れ補正方式の場合について説明したが、振れ補正手段が撮影光学系に含まれる補正レンズによる場合や、撮影光学系の光軸上に設けた可変頂角プリズムによるものであっても同様のことが言える。
【0081】
【発明の効果】
請求項1記載の発明は、振れ補正機能を有する撮影装置において、撮影装置の光軸に直交する2軸の回りの振れ補正手段の、補正のための処理に要する演算手段の演算時間の割り当てを異ならせることにしたので、CPUの負荷の増加を招かずに、各々の軸周りの振れ特性に合わせた適切な補正精度での振れ補正が行なえる。よって、全体として撮影画像の振れ補正効果を向上させることができる。
【0082】
請求項2記載の発明は、請求項1に記載の撮影装置において、演算手段が2つの振れ補正手段に与える補正量を演算するための演算式として通常の演算式と簡略演算式を用意し、一方の補正手段に対し通常の演算式を用い、他方の補正手段に対し簡略演算式を用いることで演算手段の演算時間の割り当てを異ならせることにしたので、CPUの負荷の増加を招かずに、各々の軸周りの振れ特性に合わせた適切な補正精度での振れ補正が行なえる。よって、全体として撮影画像の振れ補正効果を向上させることができる。
【0083】
請求項3記載の発明は、請求項1記載の撮影装置において、撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの前記振れ補正手段の補正周期を各々個別に設定することにより、演算手段の演算時間の割り当てを異ならせることにしたので、CPUの負荷の増加を招かずに、各々の軸周りの振れ特性に合わせた適切な補正精度での振れ補正が行なえる。よって、全体として撮影画像の振れ補正効果を向上させることができる。
【0084】
請求項4記載の発明は、請求項3に記載の撮影装置のおいて、撮影装置の光軸に直交する2軸回りの振れ方向のうち、振れが大きく振れる方向の前記補正手段の補正周期を短くし、また振れが小さく振れる方向の前記補正手段の補正周期を長くして無駄な補正精度を抑える。このことはたとえば、水平方向での補正精度を抑えることにより得られた余り時間を、鉛直方向の補正時間に活用することであり、撮影システムの負荷を増大させることなく、全体として撮影画像の手振れ補正効果を向上させることができる。
【0085】
請求項5記載の発明は、請求項3または4に記載の撮影装置のおいて、補正周期を異ならせた2軸の回りの補正量演算において、演算手段が2つの振れ補正手段に与える補正量を演算するための演算式として通常の演算式と簡略演算式を用意し、一方の軸に関する演算に簡略演算式を用いることにしたので、CPUの負荷の増加を招かずに、各々の軸周りの振れ特性に合わせた適切な補正精度での振れ補正が行なえる。よって、全体として撮影画像の振れ補正効果を向上させることができる。
【0086】
請求項6記載の発明は、請求項3、4、または5に記載の撮影装置において、振れ補正機能を有する撮影装置において、撮影装置の把持状態検出センサを有し、その検出結果に基づいて、撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの振れ補正手段の第1の補正周期を各々決定する補正周期決定手段を有することにより、各々の軸周りの振れ特性に合わせた適切な補正精度での振れ補正が行なえる。よって、全体として撮影画像の振れ補正効果を向上させることができる。
【0087】
請求項7記載の発明は、請求項3、4または5に記載の撮影装置のおいて、撮影装置の姿勢すなわち、保持状態が縦長方向なのか横長方向を判断し、撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの前記振れ補正手段の第1の補正周期を各々決定する補正周期決定手段を有することにより、各々の軸周りの振れ特性に合わせた適切な補正精度での振れ補正が行なえる。よって、全体として撮影画像の振れ補正効果を向上させることができる。
【0088】
請求項8記載の発明は、請求項2、3、4または5記載の撮影装置において、露光以前の振れ検出手段により検出される2軸回りの振れ検出量に基づき、露光後の2軸回りの予測振れ量を算出する振れ予測演算手段と、振れ予測演算手段で算出された2軸回りの予測振れ量に基づき、撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの振れ補正手段の補正周期を各々決定する補正周期決定手段とを有することにより、露光前の振れ検出手段により検出される予測振れ量に基づき、露光後の2軸回りの振れ方向の振れの変化の大きさを各々予測し、振れの変化が大きい軸回りの補正周期を短くして補正精度を高め、振れの変化が小さい軸回りの補正周期を長くし無駄な補正精度を抑え、撮影システムの負荷を増大させることなく、全体として撮影画像の手振れ補正効果を向上させることができる。
【0089】
請求項9記載の発明は、請求項6または7に記載の撮影装置において、露光以前の振れ検出手段により検出される2軸回りの振れ検出量に基づき、露光後の2軸回りの予測振れ量を算出する振れ予測演算手段と、振れ予測演算手段で算出された2軸回りの予測振れ量に基づき、撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの振れ補正手段の第2の補正周期を各々決定する補正周期決定手段とを有することにより、露光前の振れ検出手段により検出される予測振れ量に基づき、露光後の2軸回りの振れ方向の振れの変化の大きさを各々予測し、振れの変化が大きい軸回りの補正周期を短くして補正精度を高め、振れの変化が小さい軸回りの補正周期を長くし無駄な補正精度を抑え、撮影システムの負荷を増大させることなく、全体として撮影画像の手振れ補正効果を向上させることができる。
【0090】
請求項10〜11記載の発明は、請求項9記載の撮影装置において、第1の補正周期と第2の補正周期の相互のX、Y軸対応の大小関係が一致しないとき、2軸の補正周期を等しくするか、または、第1の補正周期を用いる。またそのような状況を撮影装置に表示を行うか、あるいは撮影者に音または光によって警告を行うので、振れ補正精度の低下した状態での撮影を防ぐことができる。
【0091】
請求項12記載の発明は、請求項8〜10のいずれか1つに記載の撮影装置において、前記補正周期決定手段は、前記振れ予測演算手段から算出された2軸回りの予測振れ量より、撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの前記振れ補正手段の補正周期のうち、振れの変化の大きい軸回りの補正周期を短くし、振れの変化の小さい軸回りの補正周期を長く変化させることにより、振れの変化が大きいと予測された軸回りの補正精度を高め、振れの変化が小さいと予測された軸回りの補正周期を長くして無駄な補正精度を抑えことで、システムの負荷を上げることなく、振れの大きい方向の補正精度をあげ、また2軸回りの補正精度を均一にすることができるため、全体として撮影画像の手振れ補正効果を向上させることができる。
【0092】
請求項13記載の発明は、請求項3に記載の撮影装置において、露光中の当該撮影装置の光軸に直交する2軸回りの振れ状態を監視する振れ監視手段と、前記振れ監視手段により検出される2軸回りの振れ検出量に基づき、露光後の2軸回りの予測振れ量を算出する振れ予測演算手段と、前記振れ予測演算手段で算出された2軸回りの予測振れ量に基づき、撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの前記振れ補正手段の補正周期を所定区間毎に各々変化させる補正周期決定手段とを有することにより、X軸回りとY軸周りの振れの変化の大きさに合わせて、X軸回りとY軸周りの2つの補正手段の補正周期を適切に決定することで、X軸回りとY軸周りで必要な補正精度を得ることができる撮影装置を提供できる。
【0093】
請求項14に記載の発明は、請求項13に記載の撮影装置において、前記補正周期決定手段により、前記振れ予測演算手段から算出された2軸回りの振れ予測情報より決定される撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの前記振れ補正手段の補正周期を、2軸回りの振れ予測情報による2軸回りの振れの変化の大きさの絶対値に基づいて変化させることにより、もしくは2軸回りの振れ予測情報による2軸回りの振れの変化の大きさの比率に基づいて変化させることにより、2軸方向の振れの変化の大きさの判断を容易に、また正確に実施することができ、振れの変化が大きいと予測された軸回りの補正精度を高め、振れの変化が小さいと予測された軸回りの補正周期を長くして無駄な補正精度を抑えことで、システムの負荷を上げることなく、振れの大きい方向の補正精度をあげ、また2軸回りの補正精度を均一にすることができるため、全体として撮影画像の手振れ補正効果を向上させることができる。
【0094】
請求項15、に記載の発明は、請求項14に記載の撮影装置において、撮影装置が、前記振れ予測演算手段から算出された2軸回りの予測振れ量による振れの変化の大きさの絶対値、また2軸回りの予測振れ量による振れの変化の大きさの比率と、前記補正周期決定手段により決定される2軸回りの振れ変位を補正する2つの前記振れ補正手段の補正周期との関係を、撮影者が適宜設定することが可能である設定手段を有することで、より細やかな2軸方向の振れの変化の大きさの判断が可能となる。
【0095】
請求項16記載の発明は請求項3〜15のいずれか1つに記載の撮影装置において、理論上振れが小さいと見込まれる軸方向、あるいは、検出振れ量もしくは予測振れ量が所定値より小さい軸方向の振れ補正を省略するので、CPUの処理量が軽減され、処理速度が向上し、さらに消費電力の軽減になる
請求項17に記載の発明は、請求項16に記載の撮影装置において、振れ補正動作を省略した軸方向の振れ量も継続的に測定し、必要に応じて補正を行うので、より振れによるボケのすくない鮮明な撮影を行うことが出来る
【0096】
請求項18記載の発明は、請求項3〜17のいずれか1つに記載の撮影装置において、2軸の補正周期の組合せを複数用意して、どの組合せを採用するかは、撮影者が決められるような選択手段を設けたので、実際の撮影状況に合わせて撮影者が最適の組合せを選ぶことができ、より精度の高い補正が可能となる。
【0097】
請求項19記載の発明は、請求項1〜18のいずれか1つに記載の撮影装置において、露光中に撮影装置の光軸に直交する2軸回りの振れ変位を補正する2つの振れ補正手段による2軸回りの振れ補正を実行する回数に制限を設けることで、システム負荷がシステム負荷限界以下となるように、X軸回りとY軸周りの振れの2つの補正手段の補正周期を適切に決定していくことができ、露光期間中のシステム側の負荷を上げることなく、X軸回りとY軸周りで必要な補正精度を得ることがで、全体として撮影画像の手振れ補正効果を向上させることができる。
【0098】
請求項20記載の発明は請求項1〜19のいずれか1つに記載の撮影装置において、補正の状況を表示することにしたので、撮影者は自分の撮影した画像がどのような状態で撮影されたのかを知ることができ、以後の撮影の参考に利用できる。
【図面の簡単な説明】
【図1】本発明の実施形態を説明するための撮影装置の概略斜視図である。
【図2】本発明の第2の実施形態の機能的構成例を示すブロック図である。
【図3】従来の2方向の手振れ変位と補正周期の関係を示す図である。
【図4】本発明の2方向の手振れ変位と補正周期の関係を示す図である。
【図5】撮影装置を横長方向及び縦長方向に保持した状態を示す概略斜視図である。
【図6】本発明の実施形態を説明するための撮影装置の概略斜視図である。
【図7】本発明のシステム負荷と補正周期の関係を説明するための図である。
【図8】把持状態検出センサを有する一般的な形状のスチルカメラを示す。
【図9】把持状態検出センサを有する横薄型カメラを示す
【図10】底面や、鏡胴の下側にも把持状態検出センサを設けたカメラを示す
【図11】本発明の第2の実施形態の補正周期決定手順を示す概略フローチャートである。
【図12】本発明の第1の実施形態において撮影装置の姿勢と把持状態を考慮したフローチャートである。
【図13】本発明の第3の実施形態の機能的構成例を示すブロック図である。
【図14】本発明の第3の実施形態を説明するための図である。
【図15】本発明の第3の実施形態を説明するための図である。
【図16】本発明の第3の実施形態を説明するための図である。
【図17】本発明の第3の実施形態の補正周期決定手順を示す概略フローチャートである。
【図18】本発明の第3の実施形態の補正周期決定手順を示す概略フローチャートである。
【図19】本発明の第3の実施形態の補正周期決定手順を示す概略フローチャートである。
【図20】本発明の第3の実施形態の補正周期決定手順を示す概略フローチャートである。
【図21】本発明の第3の実施形態の補正周期決定手順を示す概略フローチャートである。
【図22】本発明の第4の実施形態の機能的構成例を示すブロック図である。
【図23】本発明における振れ量の時間的変化と補正周期の関係を示す図である。
【図24】本発明の第4の実施形態を説明するための図である。
【図25】本発明のシステム負荷と補正周期の関係を説明するための図である。
【図26】本発明の台4の実施形態の補正周期決定手順を示す概略フローチャートである。
【図27】本発明の台4の実施形態の補正周期決定手順を示す概略フローチャートである。
【符号の説明】
1 撮影装置
2 撮影レンズ
3 撮影光学系
4 振れ検出センサ(X軸回り)
5 振れ検出センサ(Y軸回り)
6 撮像素子
7 振れ検出センサ回路
8 振れ検出手段
9 演算手段
10 補正手段駆動回路
11 振れ補正手段(X軸回り)
12 振れ補正手段(Y軸回り)
13 保持状態検出手段
14 補正周期決定手段
15 撮影装置
16 レリーズボタン(横型に構えた場合)
17 レリーズボタン(縦型に構えた場合用)
20 振れ予測演算手段
21 振れ監視センサ回路
22 振れ監視センサ(X軸回り)
23 振れ監視センサ(Y軸回り)
24 振れ監視手段
25 レリーズボタン
101 カメラ
102、103、104、105、106、107 把持状態検出センサ

Claims (20)

  1. 撮影光学系と、
    撮影光学系を通過した被写体からの光を受光する撮像手段と、
    前記撮影光学系の光軸に直交する2軸の回りの振れを検出する振れ検出手段と、
    前記振れ検出手段より検出される検出振れ量に基づいて補正量を算出する演算手段と、
    演算手段の処理結果に基づき、前記2軸の回りの振れ変位を補正する2つの振れ補正手段と
    を有する撮影装置であって
    前記2軸のうちの一方の軸の周りの補正量の算出と、他方の軸の周りの補正量の算出とで、前記演算手段の演算時間の割り当てを異ならせる
    ことを特徴とする振れ補正機能を有する撮影装置。
  2. 請求項1に記載の撮影装置において、前記演算手段が前記2つの振れ補正手段に与える補正量を演算するための演算式として通常の演算式と簡略演算式を用意し、一方の補正手段に対し通常の演算式を用い、他方の補正手段に対し簡略演算式を用いることで前記演算手段の演算時間の割り当てを異ならせることを特徴とする振れ補正機能を有する撮影装置。
  3. 請求項1に記載の撮影装置において、前記2つの振れ補正手段の補正周期を異ならせることで前記演算手段の演算時間の割り当てを異ならせることを特徴とする振れ補正機能を有する撮影装置。
  4. 請求項3に記載の撮影装置において、前記検出振れ量の大きい方の補正周期を短く、小さい方の補正周期を長くすることを特徴とする振れ補正機能を有する撮影装置。
  5. 請求項3または4に記載の撮影装置において、前記補正周期を異ならせた2軸の回りの前記補正量演算において、前記演算手段が前記2つの振れ補正手段に与える補正量を演算するための演算式として通常の演算式と簡略演算式を用意し、一方の軸に関する演算に簡略演算式を用いることを特徴とする振れ補正機能を有する撮影装置。
  6. 請求項3、4、または5に記載の撮影装置において、前記撮影装置の把持状態を検出する把持状態検出センサを前記撮影装置本体に有し、その検出結果に対応して、予め設定されている第1の補正周期を選定することを特徴とする振れ補正機能を有する撮影装置。
  7. 請求項3、4、または5に記載の撮影装置において、前記演算手段が撮影装置の姿勢を判定して、姿勢に対応して予め設定されている第1の補正周期を選定することを特徴とする振れ補正機能を有する撮影装置。
  8. 請求項2、3、4、または5に記載の撮影装置において、前記検出振れ量から、以後の予測振れ量を算出する、振れ量予測演算手段を有することを特徴とする振れ補正機能を有する撮影装置。
  9. 請求項6、または7に記載の撮影装置において、前記検出振れ量から以後の予測振れ量を算出する振れ量予測演算手段を有し、該予測振れ量に対応して予め設定されている第2の補正周期を選定することを特徴とする振れ補正機能を有する撮影装置。
  10. 請求項9に記載の撮影装置において、前記第1の補正周期と、前記第2の補正周期の相互の、X、Y軸対応の大小関係が一致しないとき、2軸の補正周期を等しくするか、または、前記第1の補正周期を用いて補正動作を行わせることを特徴とする振れ補正機能を有する撮影装置。
  11. 請求項9に記載の撮影装置において、前記撮影光学系が情報表示機能、もしくは、音、光などによる警告機能を有し、前記第1の補正周期と、前記第2の補正周期の相互の、X、Y軸対応の大小関係が一致しないとき、その旨を前記情報表示機能により表示を行うか、または前記警告機能により撮影者に警告を行うことを特徴とする振れ補正機能を有する撮影装置。
  12. 請求項8〜10のいずれか1つに記載の撮影装置において、前記予測振れ量の、大きい方の補正周期を短く、小さい方の補正周期を長くすることを特徴とする振れ補正機能を有する撮影装置。
  13. 請求項3に記載の撮影装置において、撮影装置の振れの状況を監視する振れ監視手段を前記撮影装置内に設け、該監視手段の検出結果で振れの変化を予測する振れ状況予測演算手段を設け、予測演算の結果で補正周期を所定時間ごとに分けて決めることを特徴とする振れ補正機能を有する撮影装置。
  14. 請求項13に記載の撮影装置において、補正周期は振れの変化の絶対値もしくは振れの変化の比率に対応させて決めることを特徴とする振れ補正機能を有する振れ補正機能を有する撮影装置。
  15. 請求項14に記載の撮影装置において、前記補正周期と振れの変化の絶対値もしくは振れの変化の比率との対応を撮影者が決めるための設定手段を有することを特徴とする振れ補正機能を有する撮影装置。
  16. 請求項3〜15のいずれか1つに記載の撮影装置において、理論上振れが小さいと見込まれる軸方向、あるいは、検出振れ量もしくは予測振れ量が所定値より小さい軸方向は補正周期を無限大に設定し、実質的に補正動作を省略することを特徴とする振れ補正機能を有する撮影装置。
  17. 請求項16に記載の撮影装置において、補正動作を省略した軸方向も、所定周期で振れ検出を継続し、検出振れ量が所定量より大きくなったら補正動作を行うことを特徴とすることを特徴とする振れ補正機能を有する撮影装置撮影装置。
  18. 請求項3〜17のいずれか1つに記載の撮影装置において、2軸の補正周期の組合せを複数用意して、どの組合せを採用するかは、撮影者が決められるような選択手段を有することを特徴とする振れ補正機能を有する撮影装置撮影装置。
  19. 請求項1〜18のいずれか1つに記載の撮影装置において、露光中は補正動作の回数を制限することを特徴とする振れ補正機能を有する撮影装置撮影装置。
  20. 請求項1〜19のいずれか1つに記載の撮影装置において、補正の状況を表示することを特徴とする振れ補正機能を有する撮影装置。
JP2002238769A 2002-08-20 2002-08-20 振れ補正機能を有する撮影装置 Expired - Fee Related JP4014970B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002238769A JP4014970B2 (ja) 2002-08-20 2002-08-20 振れ補正機能を有する撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002238769A JP4014970B2 (ja) 2002-08-20 2002-08-20 振れ補正機能を有する撮影装置

Publications (2)

Publication Number Publication Date
JP2004080459A JP2004080459A (ja) 2004-03-11
JP4014970B2 true JP4014970B2 (ja) 2007-11-28

Family

ID=32022061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002238769A Expired - Fee Related JP4014970B2 (ja) 2002-08-20 2002-08-20 振れ補正機能を有する撮影装置

Country Status (1)

Country Link
JP (1) JP4014970B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569342B2 (ja) * 2005-03-28 2010-10-27 三菱電機株式会社 撮像装置
JP5145747B2 (ja) * 2007-03-30 2013-02-20 カシオ計算機株式会社 撮像装置、手振れ補正方法及びプログラム
JP2009175325A (ja) * 2008-01-23 2009-08-06 Nittoh Kogaku Kk 撮像装置
JP5183389B2 (ja) * 2008-09-22 2013-04-17 キヤノン株式会社 振れ補正装置および撮像装置
JP5917133B2 (ja) * 2011-12-22 2016-05-11 キヤノン株式会社 防振制御装置、防振制御方法、光学機器、撮像装置
WO2016103746A1 (ja) 2014-12-25 2016-06-30 オリンパス株式会社 撮像装置
JP2022098082A (ja) * 2020-12-21 2022-07-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP2004080459A (ja) 2004-03-11

Similar Documents

Publication Publication Date Title
KR101528860B1 (ko) 디지털 촬영 장치의 흔들림 보정 방법 및 장치
JP6046931B2 (ja) 撮像装置およびその制御方法
JP6108940B2 (ja) 像振れ補正装置及びその制御方法、プログラム、記憶媒体
JP2016045426A (ja) 撮像装置及びその制御方法
JP4957479B2 (ja) 手振れ補正制御装置、及びそれを備えたカメラボディ、交換レンズ
JP4014970B2 (ja) 振れ補正機能を有する撮影装置
US7983543B2 (en) Imaging apparatus and imaging method
JP4621726B2 (ja) 手ぶれ補正装置、手ぶれ補正プログラム、撮像装置、撮像プログラム
JP2018185407A (ja) 像振れ補正装置及び方法、撮像装置及び撮像システム
JP2014016451A (ja) 撮像装置、手振れ補正量算出方法、手振れ補正量算出プログラム
JP4951803B2 (ja) 手振れ補正制御装置、及びそれを備えたカメラボディ、交換レンズ
JP2016128845A (ja) 像ブレ補正装置、制御方法、光学機器、撮像装置
JP2007201570A (ja) 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
JP6316030B2 (ja) 撮像装置及びその制御方法
JP4258383B2 (ja) 撮像装置
JP2022120683A5 (ja)
JP2016080892A (ja) 像ぶれ補正装置、焦点調節装置、制御ユニットおよび光学機器
JP2006203493A (ja) 画像動き補正装置
JP2006343652A (ja) 手ブレ補正における手ブレ方向の推定方法と手ブレ補正装置
JP6465553B2 (ja) 撮像装置およびその制御方法
JP2007235806A (ja) 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
JP2004252486A (ja) 撮像装置における像ぶれ補正装置
JP2007194813A (ja) 撮像装置、制御方法および制御プログラム
JP7308696B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、像ブレ補正装置を備える撮像装置
JP2012173302A (ja) ブレ補正装置及び光学機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070912

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120921

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130921

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees