JP6543423B2 - 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法 - Google Patents

撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法 Download PDF

Info

Publication number
JP6543423B2
JP6543423B2 JP2018539590A JP2018539590A JP6543423B2 JP 6543423 B2 JP6543423 B2 JP 6543423B2 JP 2018539590 A JP2018539590 A JP 2018539590A JP 2018539590 A JP2018539590 A JP 2018539590A JP 6543423 B2 JP6543423 B2 JP 6543423B2
Authority
JP
Japan
Prior art keywords
reference value
output
unit
imaging device
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018539590A
Other languages
English (en)
Other versions
JPWO2018051731A1 (ja
Inventor
一剛 今西
一剛 今西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018051731A1 publication Critical patent/JPWO2018051731A1/ja
Application granted granted Critical
Publication of JP6543423B2 publication Critical patent/JP6543423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法に係り、特に精度の高いブレ検出及びブレ補正を可能にする技術に関する。
従来から、カメラのブレ補正に必要なカメラのブレ(角速度)の検出にはジャイロセンサが使用されている。ジャイロセンサの出力は、基準値(静止時の出力)がドリフトするため、ジャイロセンサの出力からハイパスフィルタなどを使用してドリフト及びノイズを含む低周波成分を除去し、これによりジャイロセンサの出力の積分値への影響を低減している。
ところで、環境温度の変化によりジャイロセンサの基準値は変化するが、変化する基準値を除去するためには、ハイパスフィルタを強くかける(カットオフ周波数を低くする)必要がある。この場合、ジャイロセンサの低周波の出力も除去され、スローシャッタに対応できず、ブレ補正の効果が低下するという問題がある。
これに対し、カメラの動作中にジャイロセンサのセンサ出力(角速度出力)から基準値を検出し、基準値を更新する技術が提案されている(特許文献1)。
特許文献1に記載のブレ補正装置は、ジャイロセンサのセンサ出力から直流成分を検出して出力する直流成分検出部と、ジャイロセンサのセンサ出力に基づいてカメラのパンニングを検出するパンニング検出部とを備え、パンニング検出部がパンニングを検出していないときに直流成分検出部から出力された直流成分の値により、センサ出力の基準値を更新するようにしている。
また、特許文献2には、角速度センサのセンサ出力からカメラのパンニング又はチルティングを判定する判定方法が記載されている。この判定方法は、パンニング又はチルティング時、角速度センサのセンサ出力(角速度出力)は符号が同一方向で且つある一定レベル以上である状態が連続する傾向があることを利用して、例えば角速度センサで得られた角速度出力が一定時間連続してある閾値以上であればパンニング又はチルティングであると判定する。そして、特許文献2に記載の画像動き補正装置は、パンニング又はチルティングであると判定すると、ハイパスフィルタのカットオフ周波数等を変更し、パンニングまたはチルティング時に補正性能を制限するようにしている。
特開2013−178503号公報 特開2002−359768号公報
特許文献1に記載のパンニング検出部は、ジャイロセンサのセンサ出力の直流成分の時間的変化量に基づいてパンニングを検出するため、例えば角速度が漸増するパンニングを検出することができるが、通常の角速度一定のパンニングを検出することができない。また、基準値減算前のセンサ出力の直流成分をパンニング検出に使用するため、センサ出力のドリフトか、又は極めて低速なパンニング動作かの判別ができない。これにより、ジャイロセンサの基準値が誤検出され、ブレ検出精度(ブレ補正精度)が低下するという問題がある。
また、特許文献2に記載のパンニング等の判定方法は、角速度センサのセンサ出力からそのセンサ出力に含まれる不要帯域成分中の例えば直流ドリフト成分をハイパスフィルタにより除去し、除去後のセンサ出力に基づいてパンニング等を判定するため、ドリフト程度の極めて低速なパンニングを判定することができない。更に特許文献2に記載の発明は、角速度センサのセンサ出力に含まれるドリフト成分等をハイパスフィルタにより除去しており、センサ出力から基準値(静止時の出力)を減算して角速度を検出する方式ではない。
本発明はこのような事情に鑑みてなされたもので、撮像装置が手持ち状態であってもブレ検出センサの基準値のずれ量を精度よく算出することができ、これにより精度の高いブレ検出及びブレ補正を行うことができる撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法を提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る撮像装置のブレ検出装置は、撮像装置に発生するブレを検出するブレ検出センサと、撮像装置が静止状態のブレ検出センサの出力に対応する基準値を記憶する記憶部と、ブレ検出センサの出力から基準値を減算する減算部と、減算部による基準値の減算後の出力から低周波成分を抽出する第1のフィルタと、減算部による基準値の減算後の出力から高周波成分を抽出する第2のフィルタと、第1のフィルタの出力と第2のフィルタの出力とに基づいて、撮像装置が手持ち状態かつ定点撮影状態であるか否かを判定する第1の判定部と、第1の判定部により撮像装置が手持ち状態かつ定点撮影状態であると判定されると、判定された期間における第1のフィルタの出力に基づいて基準値に対する基準値ずれ量を算出する基準値ずれ量算出部と、減算部による基準値の減算後の出力を基準値ずれ量により補正する補正部と、基準値ずれ量の補正後の出力から低周波ノイズを除去する第3のフィルタと、を備える。
本発明の一の態様によれば、ブレ検出センサの出力から静止状態のブレ検出センサの出力に対応する基準値を減算した基準値減算後の出力から、それぞれ第1のフィルタ及び第2のフィルタにより低周波成分及び高周波成分を抽出する。そして、第1のフィルタにより抽出した低周波成分の出力と第2のフィルタにより抽出した高周波成分の出力とに基づいて、撮像装置が手持ち状態かつ定点撮影状態であるか否かを判定する。これによれば、ドリフトにより基準値が変動しても手持ち状態かつ定点撮影状態を、極めて低速なパンニング動作とは区別して判定することができる。撮像装置が手持ち状態かつ定点撮影状態であると判定されると、判定された期間における第1のフィルタの出力に基づいて基準値に対するずれ量(基準値ずれ量)を算出するため、ブレ検出センサの基準値ずれ量を精度よく算出することができ、基準値減算後の出力を算出した基準値ずれ量により補正する。そして、基準値ずれ量の補正後の出力から第3のフィルタにより低周波ノイズを除去し、精度の高いブレ検出を行っている。
本発明の他の態様に係る撮像装置のブレ検出装置において、第1の判定部は、第1のフィルタの出力が規定時間内において第1の出力幅以内であり、かつ規定時間内における第2のフィルタの出力の符号変化の回数が閾値以上あり、かつ第2のフィルタの出力が規定時間内において第2の出力幅以内である場合に、撮像装置が手持ち状態かつ定点撮影状態であると判定することが好ましい。ここで、規定時間は、例えば、1秒から数秒程度であることが好ましい。また、第1の出力幅は、基準値がドリフトにより変化し得るずれ量に基づいて決定することが好ましい。また、撮像装置が手持ち状態の場合(手持ち撮影の場合)、ブレの周波数は10Hz程度であり、ブレの角速度は±0.017〜0.052(rad/s)程度であるため、これらの値に基づいて閾値及び第2の出力幅を決定することが好ましい。
極めて低速なパンニング動作の場合、規定時間内における第2のフィルタの出力の符号変化の回数が閾値以上あり、かつ第2のフィルタの出力が規定時間内において第2の出力幅以内となり得るが、第1のフィルタの出力が規定時間内において第1の出力幅以内であるとい条件を満たさなくなり、極めて低速なパンニング状態と手持ち状態かつ定点撮影状態との判別が可能である。
本発明の更に他の態様に係る撮像装置のブレ検出装置において、補正部は、減算部による基準値の減算後の出力から基準値ずれ量を減算することが好ましい。これにより、基準値と基準値ずれ量とを個別に取り扱いできる。
本発明の更に他の態様に係る撮像装置のブレ検出装置において、基準値ずれ量算出部により算出された基準値ずれ量が所定範囲内か否かを判定する第2の判定部を備え、補正部は、第2の判定部により基準値ずれ量が所定範囲内であると判定された場合に、減算部による基準値の減算後の出力を基準値ずれ量により補正することが好ましい。ドリフト以外のノイズ等を含む基準値ずれ量が算出され、算出された基準値ずれ量が所定範囲を越える場合には、その算出された基準値ずれ量(誤った基準値ずれ量)を補正に使用しないようにしている。
本発明の更に他の態様に係る撮像装置のブレ検出装置において、ブレ検出センサの温度を検出する温度センサと、温度センサにより検出された温度に応じて所定範囲を設定する設定部と、を備えることが好ましい。基準値ずれ量は、ブレ検出センサの出力のドリフトにより生じるが、ドリフトの大きさは、ブレ検出センサの温度に影響を受ける。従って、ブレ検出センサの温度を検出し、検出した温度に応じて所定範囲(ドリフトにより基準値ずれ量が変化し得る範囲)を設定することで、算出された基準値ずれ量がドリフトのみに起因するものか否かを適切に判定することができる。
本発明の更に他の態様に係る撮像装置のブレ検出装置において、撮像装置が手持ち状態かつ定点撮影状態であると判定された場合に算出された基準値ずれ量により基準値の減算後の出力が補正されると、補正前に比べて低周波ノイズを除去する第3のフィルタのカットオフ周波数を低周波側に設定する第1のフィルタ特性設定部を備えることが好ましい。基準値減算後の出力を基準値ずれ量により補正することにより、ドリフト成分を適正に除去することができるため、基準値ずれ量を反映させる前よりも第3のフィルタのカットオフ周波数を低周波側に設定し、低周波の有効な成分が除去されないようにしている。
本発明の更に他の態様に係る撮像装置のブレ検出装置において、撮像装置が静止状態であるか否かを判定する第3の判定部を備え、基準値ずれ量算出部は、第3の判定部により撮像装置が静止状態であると判定されると、第1の判定部による判定結果に優先して、静止状態であると判定された期間における第1のフィルタの出力に基づいて基準値に対する基準値ずれ量を算出することが好ましい。例えば、撮像装置が三脚に取り付けられている場合のように手持ち状態でない場合、ブレ検出センサの出力は、撮像装置が静止状態のときの出力となる。従って、基準値減算後の出力は、ブレ検出センサの出力のドリフトに対応するため、この場合に算出される基準値ずれ量は、第1の判定部により撮像装置が手持ち状態かつ定点撮影状態であると判定された場合に算出される基準値ずれ量よりも信頼性が高い。そこで、第3の判定部により撮像装置が静止状態であると判定されると、第1の判定部による判定結果に優先して、静止状態であると判定された期間における第1のフィルタの出力に基づいて基準値に対する基準値ずれ量を算出する。
本発明の更に他の態様に係る撮像装置のブレ検出装置において、第3の判定部は、第2のフィルタの出力、第3のフィルタの出力、又は撮像装置が三脚に取り付けられたことを検出する三脚検出センサの出力に基づいて撮像装置が静止状態であるか否かを判定することが好ましい。第2のフィルタの出力、又は第3のフィルタの出力に手持ち撮影に対応する高周波成分がない場合には、撮像装置が静止状態であると判定することができ、また、三脚検出センサの出力により撮像装置が三脚に取り付けられていることが検出されれば、撮像装置が静止状態であると判定することができる。
本発明の更に他の態様に係る撮像装置のブレ検出装置において、基準値ずれ量算出部が第1のフィルタの出力に基づいて基準値に対する基準値ずれ量を算出する際に、第3の判定部により撮像装置が静止状態であると判定されると、第1の判定部により撮像装置が手持ち状態かつ定点撮影状態であると判定される場合に比べて、第1のフィルタのカットオフ周波数を低周波側に設定する第2のフィルタ特性設定部を備えることが好ましい。撮像装置が静止状態の場合(手持ち状態でない場合)、ブレ検出センサの出力は、本来、撮像装置が静止状態のときの出力のみとなるため、手持ち状態かつ定点撮影状態であると判定される場合に比べて第1のフィルタのカットオフ周波数を低周波側に設定することで、ドリフト成分のみを抽出するようにしている。
本発明の更に他の態様に係る撮像装置のブレ検出装置において、撮像装置が手持ち状態かつ定点撮影状態であると判定された場合に算出された基準値ずれ量により基準値の減算後の出力が補正されると、補正前に比べて低周波ノイズを除去する第3のフィルタのカットオフ周波数を低周波側に設定する第1のフィルタ特性設定部と、撮像装置が静止状態であると判定された場合に算出された基準値ずれ量により基準値の減算後の出力が補正されると、低周波ノイズを除去する第3のフィルタのカットオフ周波数を第1のフィルタ特性設定部により設定されるカットオフ周波数に比べて低周波側に設定する第3のフィルタ特性設定部と、を備えることが好ましい。撮像装置が静止状態の場合、算出される基準値ずれ量はより精度が高くなり、この基準値ずれ量により基準値減算後の出力が補正されたセンサ出力は、ドリフト成分が良好に除去されたものとなる。従って、この場合には、第3のフィルタ特性設定部は、低周波ノイズを除去する第3のフィルタのカットオフ周波数を、第1のフィルタ特性設定部により設定されるカットオフ周波数よりも低周波側に設定し、低周波の有効な成分が除去されないようにしている。
本発明の更に他の態様に係る撮像装置のブレ検出装置において、撮像装置がパンチルト中か否かを判定する第4の判定部を備え、第1の判定部は、第4の判定部により撮像装置がパンチルト中でないと判定されると、撮像装置が手持ち状態かつ定点撮影状態であるか否かを判定することが好ましい。撮像装置がパンチルト中の場合、撮像装置は手持ち状態かつ定点撮影状態ではないため、撮像装置が手持ち状態かつ定点撮影状態であるか否かの判定は不要である。従って、撮像装置がパンチルト中でないと判定されている場合に限り、撮像装置が手持ち状態かつ定点撮影状態であるか否かの判定を行うようにしている。
本発明の更に他の態様に係る撮像装置のブレ検出装置において、第4の判定部は、第3のフィルタの出力に基づいて撮像装置がパンチルト中か否かを判定することが好ましい。
本発明の更に他の態様に係る撮像装置のブレ補正装置は、上述したいずれかに記載の撮像装置のブレ検出装置と、第3のフィルタの出力を積分し、撮像装置のブレ角を算出するブレ角算出部と、撮像装置のブレ補正光学系又は撮像素子を駆動するブレ補正機構と、ブレ角算出部により算出したブレ角に基づいてブレ補正機構を制御するブレ制御部と、を備える。
本発明の更に他の態様によれば、撮像装置のブレ検出装置により精度の高いブレ検出が行われるため、そのブレ検出に基づいて精度の高いブレ補正を行うことができる。
本発明の更に他の態様に係る撮像装置は、撮像光学系及び撮像素子を含む撮像部と、上述した撮像装置のブレ補正装置と、を備える。
本発明の更に他の態様に係る撮像装置のブレ検出方法は、撮像装置に発生するブレを検出するブレ検出センサの出力を取得するステップと、取得したブレ検出センサの出力から、撮像装置が静止状態のブレ検出センサの出力に対応する基準値を減算するステップと、基準値の減算後の出力から低周波成分を抽出するステップと、基準値の減算後の出力から高周波成分を抽出するステップと、抽出した低周波成分と高周波成分とに基づいて、撮像装置が手持ち状態かつ定点撮影状態であるか否かを判定するステップと、撮像装置が手持ち状態かつ定点撮影状態であると判定されると、判定された期間における低周波成分に基づいて基準値に対する基準値ずれ量を算出するステップと、基準値の減算後の出力を基準値ずれ量により補正するステップと、基準値ずれ量の補正後の出力から低周波ノイズを除去するステップと、を含む。
本発明によれば、撮像装置が手持ち状態であってもブレ検出センサの基準値のずれ量を精度よく算出することができ、これにより精度の高いブレ検出を行うことができる。また、精度の高いブレ検出により撮像装置のブレ補正を精度よく行うことができる。
本発明に係る撮像装置1の概略構成を示すブロック図 撮像装置1の光学系を示した図 第1実施形態のブレ検出装置100を含むブレ補正装置の実施形態を示すブロック図 第1の判定部124により行われる定点撮影状態の判定処理を示すフローチャート 第1の判定部124により行われる定点撮影状態の判定処理を示す他のフローチャート パンニング時の角速度出力及びBPF出力の時間的な変化を示すグラフ 図3に示した第1実施形態のブレ検出装置100により行われる第1の補正処理を示すフローチャート 第2実施形態のブレ検出装置100Aを含むブレ補正装置の実施形態を示すブロック図 図8に示した第2実施形態のブレ検出装置100Aにより行われる第2の補正処理を示すフローチャート 第3実施形態のブレ検出装置100Bを含むブレ補正装置の実施形態を示すブロック図 図10に示した第3実施形態のブレ検出装置100Bにより行われる第3の補正処理を示すフローチャート 第4実施形態のブレ検出装置100Cを含むブレ補正装置の実施形態を示すブロック図 図12に示した第4実施形態のブレ検出装置100Cにより行われる第4の補正処理を示すフローチャート 図12に示した第4実施形態のブレ検出装置100Cの変形例により行われる第5の補正処理を示すフローチャート 本発明の撮装置の一実施形態であるスマートフォンの外観図 スマートフォンの構成を示すブロック図
以下、添付図面に従って本発明に係る撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法の好ましい実施の形態について説明する。
<撮像装置の概略構成>
図1は本発明に係る撮像装置1の概略構成を示すブロック図である。
同図に示すように、本実施形態の撮像装置1は、撮像部を構成する撮影レンズ(撮像光学系)10及び撮像素子11、CPU(Central Processing Unit)15、撮像素子駆動部20、操作部21、アナログ信号処理部22、A/D(Analog/Digital)変換器23、デジタル信号処理部26、ブレ補正光学系として機能する補正レンズ41、ブレ補正機構42、ブレ制御部50、及びブレ検出装置100等を備えて構成されたデジタルカメラである。
各部はCPU15に制御されて動作し、CPU15は、操作部21からの入力に基づき所定の制御プログラムを実行することにより、撮像装置1の各部を制御する。
CPU15はプログラムROM(Read Only Memory)を内蔵しており、このプログラムROMにはCPU15が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。CPU15は、このプログラムROMに記録された制御プログラムをメインメモリ24に読み出し、逐次実行することにより、撮像装置1の各部を制御する。
尚、このメインメモリ24は、プログラムの実行処理領域として利用されるほか、画像データ等の一時記憶領域、各種作業領域として利用される。
操作部21は、レリーズボタン、電源スイッチ、撮影モードダイヤル、ブレ補正スイッチ等のカメラの一般的な操作手段を含み、操作に応じた信号をCPU15に出力する。
撮影レンズ10は、ズームレンズ10a及びフォーカスレンズ10b(図2参照)を含んで構成される。レンズ駆動部18は、CPU15からの指令に基づいて、ズームレンズ10aをその光軸上を前後移動させることで画角の変更を行い、フォーカスレンズ10bをその光軸上を前後移動させることで焦点の調整を行う。
撮影レンズ10を透過した被写体光は、補正レンズ41、絞り12、赤外線カットフィルタ14を介して撮像素子11に受光される。
補正レンズ41は、ブレ補正機構42により駆動される。ブレ補正機構42は、補正レンズ41を光軸に対して垂直な平面内の直交する2方向(X方向及びY方向)に移動自在に支持するとともに、図示しないボイスコイルモータにより、補正レンズ41をX方向及びY方向にそれぞれ移動させる。
ブレ検出装置100は、撮像装置1のブレ(振動)を検出するために設けられており、撮像装置1のヨー及びピッチの角速度に応じた信号を出力する。ブレ制御部50は、ブレ検出装置100の出力信号に応じて、補正レンズ41を光軸と垂直な平面内でXY方向に移動させるようにブレ補正機構42を制御する。ブレ補正の詳細については、後述する。
12は絞りであり、絞り駆動部19は、CPU15からの指令に基づいて絞り12の開口量を制御し、撮像素子11の露光量が適正露光量となるように調整する。
赤外線カットフィルタ14は、撮像素子11へ入射する被写体光の赤外成分を除去する。
撮像素子11は、CMOS(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、撮像素子11は、CMOS型に限らず、XYアドレス型、又はCCD(Charge Coupled Device)型のイメージセンサでもよい。
撮像素子11は、所定のパターン配列(ベイヤー配列、X−Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズと、赤(R)、緑(G)又は青(B)のカラーフィルタと、光電変換部(フォトダイオード等)とを含んで構成される。
被写体光は、撮影レンズ10を介して撮像素子11の受光面上に結像され、各受光素子によって電気信号に変換される。即ち、撮像素子11の各画素は、入射する光量に応じた電荷を蓄積し、撮像素子11からは各画素に蓄積された電荷量に応じた電気信号が画像信号として読み出される。
撮像素子駆動部20は、CPU15の指令にしたがって撮像素子11から画像信号の読み出し制御を行う。また、撮像素子駆動部20は、CPU15からの電子シャッタ制御信号により、撮像素子11の各画素に蓄積にされた電荷を同時に排出させて(一斉にリセットして)、露光を開始させる電子シャッタ機能を有する。
アナログ信号処理部22は、撮像素子11で被写体を撮影して得られたアナログの画像信号に対して、各種のアナログ信号処理を施す。アナログ信号処理部22は、サンプリングホールド回路、色分離回路、AGC回路等を含んで構成されている。AGC回路は、撮像時の感度(ISO感度(ISO:International Organization for Standardization))を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。
A/D変換器23は、アナログ信号処理部22から出力されたアナログの画像信号をデジタルの画像信号に変換する。尚、撮像素子11がCMOS型撮像素子である場合、アナログ信号処理部22及びA/D変換器23は、撮像素子11内に内蔵されていることが多い。
制御バス33及びデータバス34には、CPU15、メモリ制御部25の他、デジタル信号処理部26、圧縮伸張処理部27、積算部28、外部メモリ制御部30、及び表示制御部32等が接続されており、これらは制御バス33及びデータバス34を介して互いに情報を送受信できるようにされている。
静止画又は動画の撮像時に撮像素子11、アナログ信号処理部22、及びA/D変換器23を介して出力されるRGBの画素毎の画像データ(モザイク画像データ)は、メモリ制御部25を介してメインメモリ24に入力され、一時的に記憶される。
デジタル信号処理部26は、メインメモリ24に格納されている画像データに対して、各種のデジタル信号処理を施す。本例のデジタル信号処理部26は、メインメモリ24に記憶されている画像データを適宜読み出し、読み出した画像データに対してオフセット処理、感度補正を含むゲインコントロール処理、ガンマ補正処理、デモザイク処理(デモザイキング処理、同時化処理とも言う)、RGB/YCrCb変換処理等のデジタル信号処理を行い、デジタル信号処理後の画像データを再びメインメモリ24に記憶させる。尚、デモザイク処理とは、例えば、RGB3色のカラーフィルタからなる撮像素子の場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理であり、モザイクデータ(点順次のRGBデータ)から同時化されたRGB3の画像データを生成する。
RGB/YCrCb変換処理は、同時化されたRGBデータを輝度データ(Y)及び色差データ(Cr、Cb)に変換する処理である。
圧縮伸張処理部27は、静止画又は動画の記録時に、一旦メインメモリ24に格納された非圧縮の輝度データY及び色差データCb,Crに対して圧縮処理を施す。静止画の場合には、例えばJPEG(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばH.264形式で圧縮する。圧縮伸張処理部27により圧縮された画像データは、外部メモリ制御部30を介してメモリカード29に記録される。また、圧縮伸張処理部27は、再生モード時に外部メモリ制御部30を介してメモリカード29から得た圧縮された画像データに対して伸張処理を施し、非圧縮の画像データを生成する。
積算部28は、CPU15の指令に従い、メインメモリ24に格納されたR、G、Bの画像信号を取り込み、AE(Auto Exposure)制御に必要な積算値を算出する。CPU15は、積算値から輝度値を算出し、輝度値から露出値を求める。また、露出値から所定のプログラム線図にしたがって絞り値及びシャッタスピードを決定する。
外部メモリ制御部30は、圧縮伸張処理部27で圧縮された画像データをメモリカード29に記録する制御を行う。また、外部メモリ制御部30は、メモリカード29から圧縮された画像データを読み出す制御を行う。
表示制御部32は、メインメモリ24(又は図示しないビデオメモリ)に格納されている非圧縮の画像データを表示部31に表示させる制御を行う。表示部31は、例えば液晶表示デバイス、有機エレクトロルミネッセンスなどの表示デバイスによって構成されている。
表示部31にライブビュー画像を表示させる場合には、デジタル信号処理部26で連続的に生成されたデジタルの画像信号がメインメモリ24に一時的に記憶される。表示制御部32は、このメインメモリ24に一時記憶されたデジタルの画像信号を表示用の信号形式に変換して表示部31に順次出力する。これにより、表示部31に撮像画像がリアルタイムに表示され、表示部31を電子ビューファインダとして使用することができる。
また、表示部31は、ユーザインターフェース用の表示画面としても利用される。
<手ブレ補正の原理>
次に、撮像装置1のブレ補正の原理について説明する。
撮像装置1は、操作部21によって、手ブレONモードと手ブレOFFモードとをユーザが切り替えることが可能である。手ブレONモードでは、撮像装置1のブレ(手ブレ)による被写体像ブレ(像ブレ)がキャンセルされるように、補正レンズ41を移動制御する。手ブレOFFモードでは、補正レンズ41を停止させたままとなるように制御する。
図2は、撮像装置1の光学系を示した図である。
撮像装置1の光学系は、ズームレンズ10a、フォーカスレンズ10b、補正レンズ41から構成されている。この光学系の光軸a上に撮像素子11が配置されており、撮像素子11は、前述したように受光した被写体光を電気信号に変換する。
撮像装置1に手ブレが発生すると、1フレーム内で被写体の画像が撮像素子11上で動くために、撮像素子11からは、ぼけた画像の電気信号が発生する。この手ブレの発生を検出するために、ブレ検出装置100が撮像装置1のカメラボディ内に設けられている。
ブレ検出装置100は、ブレ検出センサとして機能するジャイロセンサ102(図3)を含み、撮像装置1の左右方向(ヨー)及び上下方向(ピッチ)の角速度を検出する。尚、撮像装置1の左右方向及び上下方向は、それぞれブレ補正機構42により補正レンズ41を駆動するX方向及びY方向に相当する。
ブレ検出装置100は、撮像装置1の2軸(ヨー及びピッチ)の角速度を検出し、検出した角速度を示す角速度信号を出力する。
ブレ制御部50は、ブレ検出装置100から入力するヨー及びピッチの角速度信号を積分し、撮像装置1のヨー及びピッチのブレ角を示す角度信号(ヨー角信号及びピッチ角信号)をリアルタイムに生成し、生成したヨー角信号及びピッチ角信号に基づいて撮像装置1のヨー及びピッチの手ブレに伴う像ブレを相殺すべく、ブレ補正機構42を介して補正レンズ41を左右方向(X方向)及び上下方向(Y方向)に移動させる。
尚、ブレ検出装置100及びブレ制御部50の詳細については後述する。
手ブレが発生していないときは、補正レンズ41の光軸が、光学系の光軸aに一致している。ブレ検出装置100により手ブレが検出されると、手ブレの大きさと方向に応じて、補正レンズ41がブレ補正機構42によりX方向及び/又はY方向に移動させられる。これにより、撮像素子11上に形成される画像がほぼ停止した状態となり、シャープな画像を表す画像信号が撮像素子11から出力される。
ここでは、補正レンズ41をX方向、Y方向に移動させることにより、像ブレを補正する例を示しているが、ブレ補正機構42により撮像素子11をX方向及びY方向に移動させることにより、像ブレを補正するように構成してもよい。
[ブレ補正装置]
次に、撮像装置のブレ補正装置について説明する。
図3は、本発明に係る撮像装置のブレ補正装置の実施形態を示すブロック図である。
図3に示すブレ補正装置は、主として補正レンズ41、ブレ補正機構42、ブレ制御部50、及びブレ検出装置100から構成されており、特にブレ検出装置100に特徴がある。
ブレ補正装置を構成するブレ検出装置100は、前述したように撮像装置1の2軸(ヨー及びピッチ)の角速度を検出し、検出した角速度を示す角速度信号を出力するが、図3では、説明を簡単にするためにヨー又はピッチの1軸の角速度信号を出力し、ブレ制御部50は、ヨー又はピッチの1軸の像ブレを補正する場合について説明する。
ブレ制御部50は、積分回路51、ハイパスフィルタ(High-pass filter: HPF)52、感度設定部53、減算部54、及びドライバ55等から構成されている。
ブレ検出装置100からは、ヨー又はピッチの1軸のデジタルの角速度信号が出力され、積分回路51に加えられる。
積分回路51は、入力する角速度信号を積分することによりリアルタイムに角度信号を算出(ブレ角を検出)するブレ角検出部として機能する。算出された角度信号は、HPF52に出力され、ここで手ブレに起因する角速度に対応する角度信号のみが抽出され、後段の感度設定部53に出力される。従って、手ブレが収まると、HPF52からは直ちに0°を示す角度信号が出力され、補正レンズ41の光軸を速やかに光学系の光軸a上に移動(センタリング)させる信号を出力することができる。
HPF52から出力された角度信号は、感度設定部53に入力される。感度設定部53には、CPU15からズームレンズ10aのズーム倍率を示すズーム情報が加えられており、感度設定部53は、ズーム情報に基づいて入力する角度信号にズーム情報(ズーム倍率)に応じた補正ゲイン値を乗算し、補正レンズ41の目標位置を示す目標位置指令値を減算部54に出力する。
減算部54の他の入力には、現在の補正レンズ41の位置を示す位置検出値がブレ補正機構42から加えられており、減算部54は、目標位置指令値と位置検出値との差分値をドライバ55に出力する。
ドライバ55は、入力する差分値の大きさに応じた電流値で、入力された差分値の符号に応じた向きの電流をブレ補正機構42の図示しないボイスコイルモータに供給することで、補正レンズ41を所望の量と方向に移動させる。
そして、目標位置指令値と位置検出値との差分値が常にゼロになるように補正レンズ41を駆動することにより、撮像装置1に手ブレが発生しても撮像素子11の受光される被写体像には像ブレが生じないようにすることができる。
<ブレ検出装置の第1実施形態>
次に、本発明に係るブレ検出装置の第1実施形態について説明する。
図3に示すブレ補正装置は、第1実施形態のブレ検出装置100を含んで構成されている。
ブレ検出装置100は、主としてブレ検出センサとして機能するジャイロセンサ102、A/D変換器104、減算部106、110、記憶部108、第3のフィルタとして機能するHPF112、及び基準値補正部120から構成されている。
ジャイロセンサ102は、撮像装置1の2軸(ヨー及びピッチ)の角速度をそれぞれ検出し、検出した角速度を示すアナログの角速度信号を出力するが、前述したように図3では、説明を簡単にするためにヨー又はピッチの1軸の角速度信号を出力するものとする。
ジャイロセンサ102から出力された角速度信号は、A/D変換器104によりデジタルの角速度信号に変換され、減算部106に出力される。
減算部106の他の入力には、記憶部108に記憶された基準値が加えられており、減算部106は、角速度信号から基準値を減算し、基準値の減算後の角速度信号を基準値の補正部として機能する減算部110及び基準値補正部120に出力する。
ここで、記憶部108に記憶される基準値は、撮像装置1が静止状態のときのA/D変換器104の出力に相当する値である。この基準値は、ジャイロセンサ102が基準温度(例えば、20°C)のときに出力(測定)された値であることが好ましい。ジャイロセンサ102の出力は、静止状態にある場合もゼロにはならず、バイアス値(基準値)が重畳するからである。
また、この基準値(「ゼロ点」ともいう)は、周囲の温度、経時変化などにより変化(ドリフト)するため、角速度値を積分して角度を求めると、ドリフトにより静止状態でも角度が変化してしまう。基準値補正部120は、ドリフトによる基準値のずれ量(基準値ずれ量)を算出する部分である。
基準値減算後の角速度信号を入力する減算部110の他の入力には、基準値補正部120により算出された基準値ずれ量が加えられており、減算部110は、基準値減算後の角速度信号から更に基準値ずれ量を減算し、基準値ずれ量の減算後の角速度信号を、HPF112に出力する。
HPF112は、減算部110から入力する基準値ずれ量の減算後の角速度信号から低周波ノイズを除去し、低周波ノイズを除去した角速度信号をブレ制御部50の積分回路51に出力する。尚、撮像装置1が手持ち状態の場合(手持ち撮影の場合)、ブレの周波数は10Hz程度であるため、このブレの周波数に基づいて低周波ノイズを除去するHPF112のカットオフ周波数を決定することが好ましい。
次に、基準値補正部120について説明する。
基準値補正部120は、主として第1のフィルタとして機能するローパスフィルタ(Low-pass filter: LPF)121、第2のフィルタとして機能するバンドバスフィルタ(Band-pass filter: BPF)122、基準値ずれ量算出部123、第1の判定部124、第2の判定部125、第3の判定部126、及び第4の判定部127から構成されている。
減算部106から出力される基準値減算後の角速度信号は、それぞれLPF121及びBPF122に加えられる。
LPF121は、入力する基準値減算後の角速度信号から低周波成分を抽出し、抽出した低周波成分(以下、「LPF出力」という)を、それぞれ基準値ずれ量算出部123、第1の判定部124、第3の判定部126及び第4の判定部127に送出する。
また、BPF122は、入力する基準値減算後の角速度信号から高周波成分を抽出し、抽出した高周波成分(以下、「BPF出力」という)を、第1の判定部124に送出する。尚、基準値減算後の角速度信号に高周波ノイズが含まれていない場合、BPF122の代わりにHPFを使用してもよい。
第1の判定部124は、LPF出力及びBPF出力に基づいて撮像装置1が手持ち状態かつ定点撮影状態であるか否かを判定する。ここで、定点撮影状態とは、静止した主要被写体(定点)に向けて撮像装置1が保持されている状態であり、撮像装置1がパンチルトしていない状態である。
第3の判定部126は、LPF出力に基づいて撮像装置1が静止状態であるか否かを判定する。ここで、静止状態とは、撮像装置1が手持ち状態ではなく、例えば、撮像装置1が三脚等に固定され、撮像装置1に手ブレが発生していない状態をいう。尚、第3の判定部126は、図示しない三脚検出センサの出力に基づいて静止状態の判定を行うようにしてもよい。
また、第4の判定部127には、HPF112から出力される角速度信号が加えられており、第4の判定部127は、入力する角速度信号に基づいて撮像装置1がパンチルト中か否かを判定する。第4の判定部127によるパンチルト中か否かの判定は、入力する角速度信号に基づいて角速度の符号が同一方向であり、かつ角速度がある一定値以上である状態が連続する場合、パンチルト(パンニング又はチルティング)中であると判定することができる。
第3の判定部126及び第4の判定部127による判定結果は、第1の判定部124に加えられており、第1の判定部124は、第3の判定部126により非静止状態が判定され、且つ第4の判定部127により撮像装置1がパンチルト中でないと判定されている場合、定点撮影状態の判定処理を行う。撮像装置1が静止状態の場合、及び撮像装置1がパンチルト中の場合、定点撮影状態でないことは明らかであり、これらの場合、定点撮影状態の判定処理を行う必要がないからである。
尚、第4の判定部127により行われるパンチルト中ではないとの判定は、極めて低速なパンニング動作中及びチルティング動作中を含まない定点撮影状態の判定を意味するものではない。また、第4の判定部127により行われるパンチルト中か否かの判定は、HPF112から出力される角速度信号に基づいて判定する場合に限らず、例えば、BPF出力、又は積分回路51から出力される角度信号からも判定可能である。
基準値ずれ量算出部123は、第1の判定部124により撮像装置1が手持ち状態かつ定点撮影状態であると判定されると、判定された期間におけるLPF出力に基づいて基準値に対する基準値ずれ量を算出する。
<定点撮影状態の判定処理>
次に、第1の判定部124により行われる定点撮影状態の判定処理について説明する。
図4及び図5は、第1の判定部124により行われる定点撮影状態の判定処理を示すフローチャートである。
図4において、第1の判定部124は、定点撮影状態の検出を実施するか否かを判定する(ステップS10)。例えば、撮像装置1が再生モード等に設定されている場合には、定点撮影状態の検出を実施する必要がないため、第1の判定部124は、フローライン150にしたがって図5のステップS52に遷移させ、ステップS52、S54、S56にて3つのカウント(角速度カウント、符号変化カウント、及び補正前基準値範囲カウント)を0クリアし、更に状態フラグを「非定点撮影」に設定する(ステップS58)。
ステップS10において、定点撮影状態の検出を実施する場合(「Yes」の場合)には、ステップS12に遷移させる。
ステップS12では、対象の撮影モードか否か、パンチルト制御状態が「通常」であるか否か、及び静止判定状態が「非静止」か否かを判別する。ここで、対象の撮影モードか否かは、例えば、撮影モードにおいて、手ブレONモードの場合、対象の撮影モードと判別することができる。パンチルト制御状態が「通常」であるか否かは、第4の判定部127によるパンチルト中か否かの判定結果により判定することでき、パンチルト制御状態が「通常」とは非パンチルト中であることを意味する。また、静止判定状態が「非静止」か否かは、第3の判定部126による静止状態の判定結果により判別することができる。
ステップS12において、対象撮影モード、パンチルト制御状態が「通常」、及び静止判定状態が「非静止」の3つの条件を満たす場合(「Yes」の場合)、ステップS14に遷移し、3つの条件のうちの1つ以上の条件を満たさない場合、フローライン150にしたがって図5のステップS52に遷移させる。
ステップS14では、基準値減算後のLPF出力の絶対値が、閾値未満(LPF出力が第1の出力幅以内)か否かを判別する。閾値未満の場合(「Yes」の場合)、補正前基準値範囲カウントを1だけインクリメントし(ステップS16)、ステップS18に遷移させる。一方、閾値以上の場合(「No」の場合)、フローライン150にしたがって図5のステップS52に遷移させる。
尚、閾値(第1の出力幅)は、ジャイロセンサ102の「ドリフト幅」に対応して決定することが好ましい。これにより、LPF出力が、ジャイロセンサ102のドリフトに起因したものか、又は極めて低速なパンニング動作、チルティング動作に起因したものかを区別することができる。
ステップS18では、補正前基準値範囲カウントが規定値以上か否かを判別し、規定値以上の場合(「Yes」の場合)、補正前基準値範囲カウントを規定値に制限した後(ステップS20)、図5のステップS30に遷移させる。規定値未満の場合(「No」の場合)、ステップS20をジャンプして図5のステップS30に遷移させる。
ここで、定点撮影状態の判定処理は、一定のサイクル(例えば、ジャイロセンサ102から出力される角速度信号のA/D変換器104でのサンプリング周期)で繰り返し実行されるが、補正前基準値範囲カウントの規定値は、1から数秒程度の規定時間に連続して計数される補正前基準値範囲カウントに対応して決定することが好ましい。
図5において、ステップS30では、基準値減算後のBPF出力の絶対値が、角速度閾値未満(BPF出力が第2の出力幅以内)か否かを判別する。角速度閾値未満の場合(「Yes」の場合)、角速度カウントを1だけインクリメントし(ステップS32)、ステップS34に遷移させる。一方、角速度閾値以上の場合(「No」の場合)、ステップS52に遷移させる。
尚、ステップS30での判別基準の「角速度閾値」は、カメラの一般的な手ブレの角速度に対応して決定することが好ましい。手ブレの角速度を越える角速度が発生している場合は、定点撮影状態ではないからである。因みに、手持ち撮影の場合、手ブレの角速度は±0.017〜0.052(rad/s)程度である。
ステップS34では、角速度カウントが規定値以上か否かを判別し、規定値以上の場合(「Yes」の場合)、角速度カウントを規定値に制限した後(ステップS36)、ステップS38に遷移させる。規定値未満の場合(「No」の場合)、ステップS36をジャンプしてステップS38に遷移させる。
ステップS38では、基準値減算後のBPF出力の符号が変化しかた否かを判別する。BPF出力の符号が変化した場合(「Yes」の場合)、符号変化カウントを1だけインクリメントし(ステップS40)、ステップS42に遷移させる。一方、BPF出力の符号が変化しない場合(「No」の場合)、ステップS46にジャンプさせる。
ステップS42では、符号変化カウントが規定値以上か否かを判別し、規定値以上の場合(「Yes」の場合)、符号変化カウントを規定値に制限した後(ステップS44)、ステップS46に遷移させる。規定値未満の場合(「No」の場合)、ステップS44をジャンプしてステップS46に遷移させる。
尚、ステップS42での判別基準の規定値は、カメラの一般的な手ブレにより所定の規定時間(1から数秒程度)内に角速度信号(BPF出力)の符号が変化する回数に対応して決定することが好ましい。因みに、手持ち撮影の場合、手ブレの周波数は10Hz程度である。
ステップS46では、3つのカウント(角速度カウント、符号変化カウント、及び補正前基準値範囲カウント)がそれぞれ規定値になっているか否かを判別する。そして、3つのカウントがそれぞれ規定値になっている場合(「Yes」の場合)には、状態フラグを「定点撮影」に設定し(ステップS48)、3つのカウントのうちの1つ以上が規定値に達していない場合(「No」の場合)には、状態フラグを「非定点撮影」に設定する(ステップS50)。
上記のように撮像装置1が手持ち状態(非静止)かつパンチルト中ではない(通常)と判定中に、LPF出力及びBPF出力をもとに更に定点撮影状態か否かを判定する。
ここで、定点撮影状態の判定は、BPF出力が規定時間にわたって閾値未満であり、かつ規定間内におけるBPF出力の符号変化の回数が規定値以上であることから判定するのみならず、LPF出力が規定時間にわたって閾値未満であることを加味して判定する。これにより、規定値減算後の角速度信号に含まれる高周波ノイズにより判定できない微小な角速度信号を検出することが可能となる。
また、図6は、パンニング時の角速度出力及びBPF出力の時間的な変化を示すグラフであり、角速度出力を実線で示し、BPF出力を破線で示している。同図に示すようにBPF出力は、パンニング時の一定の角速度出力の入力に対して時間経過とともに減少する。従って、BPF出力のみでは除去されてしまう直流成分のために低速のパンニングを検出することができないが、LPF出力により低速のパンニングの判定が可能である。
即ち、LPF出力及びBPF出力をもとに定点撮影状態か否かを精度よく判定でき、極めて低速なパンニング動作中又はチルティング動作中を定点撮影状態と誤判定することがない。
図3に戻って、基準値ずれ量算出部123は、上記のようにして第1の判定部124により撮像装置1が手持ち状態かつ定点撮影状態であると判定されると、判定された期間におけるLPF出力に基づいて基準値に対する基準値ずれ量を算出する。即ち、基準値ずれ量算出部123は、定点撮影状態(状態フラグが「定点撮影」)の時には、LPF出力を一定時間計測した結果から、LPF出力の平均値、中央値、又は最頻値を算出するなどの方法により基準値ずれ量を算出し、算出した基準値ずれ量を第2の判定部125に出力する。
第2の判定部125は、基準値ずれ量算出部123から入力する基準値ずれ量を一定の条件下で基準値の補正項とし、減算部110に出力する。
減算部110は、前述したように規定値減算後の角速度信号から更に基準値ずれ量を減算し、基準値ずれ量の減算後の角速度信号をHPF112に出力する。
<第1の補正処理>
次に、ジャイロセンサ102の基準値のずれを補正する第1の補正処理について説明する。
図7は、図3に示した第1実施形態のブレ検出装置100により行われる第1の補正処理を示すフローチャートである。
図7において、第2の判定部125は、基準値ずれ量による基準値の補正を実施するか否かを判別し(ステップS60)、実施する場合(「Yes」の場合)には、更に現在のモードが撮影モードであり、かつ基準値補正が可能な撮影タイミングか否かを判別する(ステップS62)。「Yes」の場合には、ステップS64に遷移し、ここで、基準値ずれ量補正状態が「定点撮影中の基準値ずれ量の反映完了」となっているか否かを判別する。尚、後述するステップS72、S74に示すように、基準値ずれ量算出部123により算出された基準値ずれ量が基準値の補正項として採用された場合、基準値ずれ量補正状態は「定点撮影中の基準値ずれ量の反映完了」とされる。
ステップS64において、基準値ずれ量補正状態が「定点撮影中の基準値ずれ量の反映完了」でないと判別されると(「No」の場合)、定点撮影中に行われる基準値ずれ量の算出が完了しているか否か、及び定点撮影中か否かが判別される(ステップS66、S68)。
ステップS66、S68において、それぞれ「Yes」と判別されると、第2の判定部125は、算出されたピッチ(P)及びヨー(Y)のそれぞれの基準値ずれ量の絶対値が、ともに閾値以下(基準値ずれ量が所定範囲内)か否かを判別する(ステップS70)。この閾値は、例えば、ジャイロセンサ102の温度ドリフト等に対応して決定することが好ましい。
そして、算出された基準値ずれ量の絶対値が、ともに閾値以下の場合(「Yes」の場合)には、第2の判定部125は、定点撮影中に算出された基準値ずれ量(基準値ずれ量算出部123から入力する基準値ずれ量)を、基準値の補正項(基準値ずれ量補正項)とする(ステップS72)。
第2の判定部125は、定点撮影中に算出された基準値ずれ量を、基準値ずれ量補正項として採用すると、その基準値ずれ量補正項を減算部110に出力する。これにより、基準値減算後の角速度信号は、減算部110により基準値ずれ量分の補正が行われる。
また、第2の判定部125は、基準値ずれ量算出部123により算出された基準値ずれ量を基準値ずれ量補正項として採用した場合、基準値ずれ量補正状態を「定点撮影中の基準値ずれ量の反映完了」とする(ステップS74)。
<ブレ検出装置の第2実施形態>
次に、本発明に係るブレ検出装置の第2実施形態について説明する。
図8に示すブレ補正装置は、第2実施形態のブレ検出装置100Aを含んで構成されている。尚、図8において、図3に示した第1実施形態のブレ検出装置100と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図8に示す第2実施形態のブレ検出装置100Aは、基準値補正部120Aが第1実施形態のブレ検出装置100の基準値補正部120と相違する。特に、基準値補正部120Aは、温度センサ128が追加され、かつ第2の判定部125Aの判定内容が、第1実施形態のブレ検出装置100の基準値補正部120と相違する。
温度センサ128は、撮像装置1(ジャイロセンサ102)の温度を検出し、検出した温度を示す温度情報を第2の判定部125Aに出力する。
第2の判定部125Aは、温度センサ128から入力する温度情報に基づいて、定点撮影中に算出された基準値ずれ量を、基準値の補正項として反映させるか否かの判別を更に行う。即ち、第2の判定部125Aは、記憶部108に記憶された基準値の測定時の基準温度と現在の温度との差分が、規定値以上となっており、かつ定点撮影中に算出された基準値ずれ量が、現在の温度に応じて設定された所定範囲内であると判別した場合に、基準値ずれ量を、基準値の補正項として反映させる。
基準値ずれ量は、主としてジャイロセンサ102の温度ドリフトにより発生し、また、温度ドリフトは、ジャイロセンサ102の温度と相関があるからである。
<第2の補正処理>
図9は、図8に示した第2実施形態のブレ検出装置100Aにより行われる第2の補正処理を示すフローチャートである。尚、図7に示した第1の補正処理と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。
図9に示すように第2の補正処理は、ステップS66とステップS68との間にステップS80の処理が追加され、また、図7に示した第1の補正処理のステップS70の代わりに、ステップS82の処理を行う点で、第1の補正処理と相違する。
ステップS80では、記憶部108に記憶された基準値の測定時の基準温度と、温度センサ128により検出された現在の温度との差分の絶対値が、規定値以上か否かを判別する。
規定値未満の場合(「No」の場合)、定点撮影中に算出された基準値ずれ量は、ジャイロセンサ102の温度ドリフトによるものではないと判別し、算出された基準値ずれ量を基準値の補正項として反映させない。
また、規定値以上の場合(「Yes」の場合)には、定点撮影中であり(ステップS68)、ピッチ(P)及びヨー(Y)のそれぞれの基準値ずれ量の絶対値が、ともに温度別閾値以下(温度センサ128により検出された温度に応じて設定される温度別の所定範囲内)か否かを判別する(ステップS82)。温度別閾値は、温度別に設定されるため、ジャイロセンサ102の温度ドリフトに対応した、より精度の高い閾値として設定することができる。これにより、算出した基準値ずれ量が正確かどうかを判定することができ、精度の高い基準値ずれの補正が可能となる。
<ブレ検出装置の第3実施形態>
次に、本発明に係るブレ検出装置の第3実施形態について説明する。
図10に示すブレ補正装置は、第3実施形態のブレ検出装置100Bを含んで構成されている。尚、図10において、図8に示した第2実施形態のブレ検出装置100Aと共通する部分には同一の符号を付し、その詳細な説明は省略する。
図10に示す第実施形態のブレ検出装置100Bは、基準値補正部120Bが第2実施形態の基準値補正部120Aと相違し、特にHPF112A及び第2の判定部125Bが、第2実施形態のブレ検出装置100AのHPF112及び第2の判定部125Aと相違する。
第2の判定部125Bは、第2実施形態のブレ検出装置100Aの第2の判定部125Aと同様の機能を有するとともに、HPF112Aのカットオフ周波数を設定する第1のフィルタ特性設定部としての機能を有する。即ち、第2の判定部125Bは、基準値ずれ量算出部123により算出された基準値ずれ量を基準値の補正項として反映させた場合には、HPF112Aのカットオフ周波数を低周波側に変更させる指令を、HPF112Aに出力する。
一方、HPF112Aは、第2の判定部125Bからの指令によりカットオフ周波数を変更することができ、少なくとも基準値ずれ量が基準値の補正項として反映される前のカットオフ周波数(第1のカットオフ周波数)と、反映させた後のカットオフ周波数(第2のカットオフ周波数)との間で変更する。尚、第1のカットオフ周波数は、HPF112のカットオフ周波数と同等とし、第2のカットオフ周波数は、第1のカットオフ周波数よりも低周波側に設定することが好ましい。
これにより、基準値ずれ量算出部123により算出された基準値ずれ量が、基準値の補正項として反映されると、HPF112Aのカットオフ周波数(第1のカットオフ周波数)が、低周波側の第2のカットオフ周波数に設定変更され、HPF112Aは、第1のカットオフ周波数により低周波ノイズとして除去していた低周波の有効な角速度信号を通過させることができる。
尚、基準値ずれ量が基準値の補正項として反映された角速度信号にはドリフト成分がないため、HPF112Aのカットオフ周波数として、低周波ノイズのみを除去する第2のカットオフ周波数の設定が可能である。
<第3の補正処理>
図11は、図10に示した第3実施形態のブレ検出装置100Bにより行われる第3の補正処理を示すフローチャートである。尚、図9に示した第2の補正処理と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。
図11に示すように第3の補正処理は、ステップS73の後段にステップS90〜ステップS98が追加されている点で、図9に示した第2の補正処理と相違する。
ステップS90では、図10に示す第2の判定部125BによりHPF112Aのカットオフ周波数の変更(第1のカットオフ周波数から第2のカットオフ周波数への変更)が指示されたか否かを判別する。
HPF112Aのカットオフ周波数の変更が指示された場合(「Yes」の場合)には、ブレ制御部50、ブレ補正機構42及び補正レンズ41等によるブレ補正を停止し(ステップS92)、HPF112Aの初期化及びリセットを行う(ステップS94、S96)。HPF112Aは、例えばFIR(Finite impulse response)型又はIIR(Infinite impulse response)型のデジタルフィルタで構成することができ、ステップS94ではデジタルフィルタのフィルタ係数を初期化し、ステップS96ではデジタルフィルタのフィルタ係数として、カットオフ周波数が第2のカットオフ周波数になるフィルタ係数を設定する。
上記のようにしてHPF112Aのカットオフ周波数を変更した後、ブレ制御部50等によるブレ補正を再開させる(ステップS98)。尚、ステップS90〜ステップS98の処理は、ヨー及びピッチの方向ともに実施されることは言うまでもない。
<ブレ検出装置の第4実施形態>
次に、本発明に係るブレ検出装置の第4実施形態について説明する。
図12に示すブレ補正装置は、第4実施形態のブレ検出装置100Cを含んで構成されている。尚、図12において、図8に示した第2実施形態のブレ検出装置100Aと共通する部分には同一の符号を付し、その詳細な説明は省略する。
図12に示す第実施形態のブレ検出装置100Cは、基準値補正部120Cが第2実施形態の基準値補正部120Aと相違し、特にLPF121A、第1の判定部124A及び第3の判定部126Aが、第2実施形態のブレ検出装置100AのLPF121、第1の判定部124及び第3の判定部126と相違する。
LPF121Aは、第1の判定部124A又は第3の判定部126Aの判別結果(「定点撮影中」又は「静止中」を示す情報)に基づいてカットオフ周波数を変更することができ、少なくとも定点撮影中のカットオフ周波数(第1のカットオフ周波数)と、静止中のカットオフ周波数(第2のカットオフ周波数)との間で変更する。尚、第1のカットオフ周波数は、第2実施形態のブレ検出装置100AのLPF121(図8)のカットオフ周波数と同等とし、第2のカットオフ周波数は、第1のカットオフ周波数よりも低周波側に設定することが好ましい。
第1の判定部124A及び第3の判定部126Aは、それぞれ第2実施形態のブレ検出装置100Aの第1の判定部124及び第3の判定部126と同様の機能を有するとともに、LPF121Aのカットオフ周波数を設定する第2のフィルタ特性設定部としての機能を有する。即ち、第2の判定部125Bは、撮像装置1が定点撮影状態であることを判別すると、「定点撮影中」を示す情報をLPF121Aに出力し、第3の判定部126Aは、撮像装置1が静止状態であることを判別すると、「静止中」を示す情報をLPF121Aに出力する。
LPF121Aは、第1の判定部124A又は第3の判定部126Aから入力する「定点撮影中」、又は「静止中」を示す情報に基づいてカットオフ周波数を変更し、「静止中」の場合には「定点撮影中」の場合よりもカットオフ周波数を低周波側に設定する。
尚、撮像装置1が「静止中」の場合、ジャイロセンサ102からは低周波の角速度信号は出力されない。従って、LPF121Aのカットオフ周波数をより低周波側に設定することにより、LPF121Aからドリフト成分のみを抽出することができる。
また、基準値ずれ量算出部123には、第1の判定部124A及び第3の判定部126Aから判定結果が加えられており、基準値ずれ量算出部123は、「定点撮影中」と「静止中」に基準値ずれ量の算出が完了している場合、「静止中」に算出した基準値ずれ量を優先して第2の判定部125Aに出力する。
これにより、より精度の高い基準値ずれ量を基準値の補正項として反映させることができる。
<第4の補正処理>
図13は、図12に示した第4実施形態のブレ検出装置100Cにより行われる第の補正処理を示すフローチャートである。尚、図9に示した第2の補正処理と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。
図13に示すように第4の補正処理は、ステップS60とステップS62との間にステップS102〜ステップS106が追加され、ステップS62とステップS64との間にステップS110〜ステップS116が追加されている点で、図9に示した第2の補正処理と相違する。
ステップS102では、基準値ずれ量補正状態が「静止中の基準値ずれ量の反映完了」となっているか否かを判別する。尚、後述するステップS114、S116に示すように、基準値ずれ量算出部123により静止中に算出された基準値ずれ量が基準値の補正項として採用された場合、基準値ずれ量補正状態は「静止中の基準値ずれ量の反映完了」とされる。
ステップS102において、基準値ずれ量補正状態が「静止中の基準値ずれ量の反映完了」でないと判別されると(「No」の場合)、ステップS62を経てステップS110に遷移し、ここで、ピッチ及びヨーともに静止中に行われる基準値ずれ量の算出が完了しているか否か判別される。
ステップS110において、静止中の基準値ずれ量の算出が完了していると判別されると(「Yes」の場合)、ステップS112に遷移し、ここで、記憶部108に記憶された基準値の測定時の基準温度と、温度センサ128により検出された現在の温度との差分の絶対値が、規定値以上か否かを判別する。規定値未満の場合(「No」の場合)、静止中に算出された基準値ずれ量は、ジャイロセンサ102の温度ドリフトによるものではないと判別し、算出された基準値ずれ量を基準値の補正項として反映させない。
一方、規定値以上の場合(「Yes」の場合)、静止中に算出された基準値ずれ量を、基準値の補正項(基準値ずれ量補正項)とし(ステップS114)、基準値ずれ量補正状態を「静止中の基準値ずれ量の反映完了」とする(ステップS116)。
一方、ステップS110において、静止中の基準値ずれ量の算出が完了していないと判別されると(「No」の場合)、ステップS64に遷移し、定点撮影中に算出された基準値ずれ量を基準値の補正項として反映させる補正処理を実行する。
このように静止中の基準値ずれ量の算出が完了している場合には、定点撮影中に算出される基準値ずれ量に優先して、静止中の基準値ずれ量が補正項として反映されることになる。
また、ステップS102において、基準値ずれ量補正状態が「静止中の基準値ずれ量の反映完了」と判別されると(「Yes」の場合)、ステップS104に遷移し、ここで、ピッチ及びヨーの少なくとも一方の静止中の基準値ずれ量が更新されているか否かを判別する。
そして、更新されている場合(「Yes」の場合)には、ピッチ及びヨーともに静止中か否かを判別し、静止中の場合にステップS114に遷移させる。
<第5の補正処理>
図14は、図12に示した第4実施形態の変形例のブレ検出装置により行われる第5の補正処理を示すフローチャートである。
尚、第4実施形態の変形例のブレ検出装置は、HPF112のカットオフ周波数を、静止中の基準値ずれ量を補正項として反映させた場合、定点撮影中の基準値ずれ量を補正項として反映させた場合に比べて低周波側に設定し、この場合の第2の判定部125Aは、HPF112のフィルタ特性(カットオフ周波数)を設定変更する第3のフィルタ特性設定部として機能する。また、図13に示した第4の補正処理と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。
図14に示すように第5の補正処理は、ステップS116の後段にステップS190〜ステップS198が追加されている点で、図13に示した第4の補正処理と相違する。
ステップS190〜ステップS198は、図11に示したステップS90〜ステップS98と同様にして、HPF112のカットオフ周波数(第1のカットオフ周波数)を低周波側の第2のカットオフ周波数に設定変更させる。静止中に算出された基準値ずれ量が補正項として反映されている場合、角速度信号からドリフト成分が適切に除去されるため、HPF112により除去する低周波ノイズをより低周波側に制限することができるからである。
図14において、ステップS190では、第2の判定部125AによりHPF112のカットオフ周波数の変更が指示されたか否かを判別する。
HPF112のカットオフ周波数の変更が指示された場合(「Yes」の場合)には、ブレ制御部50、ブレ補正機構42及び補正レンズ41等によるブレ補正を停止し(ステップS192)、HPF112の初期化及びリセットを行う(ステップS194、S196)。
上記のようにしてHPF112のカットオフ周波数(第1のカットオフ周波数)を低周波側の第2のカットオフ周波数に変更した後、ブレ制御部50等によるブレ補正を再開させる(ステップS198)。尚、ステップS190〜ステップS198の処理は、ヨー及びピッチの方向ともに実施されることは言うまでもない。
また、本発明に係る撮像装置1は、撮像を主たる機能とするデジタルカメラの他に、撮像機能に加えて撮像以外の他の機能(通話機能、通信機能、その他のコンピュータ機能)を備えるモバイル機器に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
<スマートフォンの構成>
図15は、本発明の撮装置の一実施形態であるスマートフォン201の外観を示すものである。図15に示すスマートフォン201は、平板状の筐体202を有し、筐体202の一方の面に表示部としての表示パネル221と、入力部としての操作パネル222とが一体となった表示入力部220を備えている。また、係る筐体202は、スピーカ231と、マイクロホン232、操作部240と、カメラ部241とを備えている。尚、筐体202の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図16は、図15に示すスマートフォン201の構成を示すブロック図である。図16に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部220と、通話部230と、操作部240と、カメラ部241と、記憶部250と、外部入出力部260と、GPS(Global Positioning System)受信部270と、モーションセンサ部280と、電源部290と、主制御部200とを備える。また、スマートフォン201の主たる機能として、基地局と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部200の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Webデータ及びストリーミングデータなどの受信を行う。
表示入力部220は、主制御部200の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル221と、操作パネル222とを備える。
表示パネル221は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル222は、表示パネル221の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部200に出力する。次いで、主制御部200は、受信した検出信号に基づいて、表示パネル221上の操作位置(座標)を検出する。
図15に示すように、本発明の撮装置の一実施形態として例示しているスマートフォン201の表示パネル221と操作パネル222とは一体となって表示入力部220を構成しているが、操作パネル222が表示パネル221を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル222は、表示パネル221外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル222は、表示パネル221に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル221に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
尚、表示領域の大きさと表示パネル221の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル222が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体202の大きさなどに応じて適宜設計されるものである。また、操作パネル222で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部230は、スピーカ231やマイクロホン232を備え、マイクロホン232を通じて入力されたユーザの音声を主制御部200にて処理可能な音声データに変換して主制御部200に出力したり、無線通信部210あるいは外部入出力部260により受信された音声データを復号してスピーカ231から出力するものである。また、図15に示すように、例えば、スピーカ231、マイクロホン232を表示入力部220が設けられた面と同じ面に搭載することができる。
操作部240は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図15に示すように、操作部240は、スマートフォン201の筐体202の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部250は、主制御部200の制御プログラム、制御データ、アプリケーションソフトウェア、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、及びダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部250は、スマートフォン内蔵の内部記憶部251と着脱自在な外部メモリスロットを有する外部記憶部252により構成される。尚、記憶部250を構成するそれぞれの内部記憶部251と外部記憶部252は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの記録媒体を用いて実現される。
外部入出力部260は、スマートフォン201に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、及びIEEE1394など)又はネットワーク(例えば、インターネット、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン201に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)、SIM(Subscriber Identity Module)/UIM(User Identity Module)カード、又はオーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、及びイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン201の内部の各構成要素に伝達し、又はスマートフォン201の内部のデータを外部機器に伝送することが可能である。
GPS受信部270は、主制御部200の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン201の緯度、経度、及び高度からなる位置を検出する。GPS受信部270は、無線通信部210や外部入出力部260(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部280は、例えば、3軸の加速度センサ及びジャイロセンサなどを備え、主制御部200の指示にしたがって、スマートフォン201の物理的な動きを検出する。スマートフォン201の物理的な動きを検出することにより、スマートフォン201の動く方向や加速度が検出される。この検出結果は、主制御部200に出力されるものである。
電源部290は、主制御部200の指示にしたがって、スマートフォン201の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部200は、マイクロプロセッサを備え、記憶部250が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン201の各部を統括して制御するものである。また、主制御部200は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能及びアプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部250が記憶するアプリケーションソフトウェアにしたがって主制御部200が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部260を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部200は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部220に表示する等の画像処理機能を備える。画像処理機能とは、主制御部200が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部220に表示する機能のことをいう。
更に、主制御部200は、表示パネル221に対する表示制御と、操作部240、操作パネル222を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部200は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル221の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部200は、操作部240を通じたユーザ操作を検出したり、操作パネル222を通じてアイコンに対する操作、及びウィンドウの入力欄に対する文字列の入力を受け付け、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部200は、操作パネル222に対する操作位置が、表示パネル221に重なる重畳部分(表示領域)か、それ以外の表示パネル221に重ならない外縁部分(非表示領域)かを判定し、操作パネル222の感応領域及びソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部200は、操作パネル222に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部241は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラであり、図1に示した撮像装置1に相当する。また、カメラ部241は、主制御部200の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部250に記録したり、外部入出力部260や無線通信部210を通じて出力することができる。図15に示すようにスマートフォン201において、カメラ部241は表示入力部220と同じ面に搭載されているが、カメラ部241の搭載位置はこれに限らず、表示入力部220の背面に搭載されてもよいし、或いは、複数のカメラ部241が搭載されてもよい。尚、複数のカメラ部241が搭載されている場合、撮影に供するカメラ部241を切り替えて単独にて撮影したり、或いは、複数のカメラ部241を同時に使用して撮影することもできる。
また、カメラ部241はスマートフォン201の各種機能に利用することができる。例えば、表示パネル221にカメラ部241で取得した画像を表示することや、操作パネル222の操作入力のひとつとして、カメラ部241の画像を利用することができる。また、GPS受信部270が位置を検出する際に、カメラ部241からの画像を参照して位置を検出することもできる。さらには、カメラ部241からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサ(ジャイロセンサ)と併用して、スマートフォン201のカメラ部241の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部241からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部270により取得した位置情報、マイクロホン232により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部280により取得した姿勢情報等などを付加して記憶部250に記録したり、外部入出力部260や無線通信部210を通じて出力することもできる。
本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1 撮像装置
10 撮影レンズ
10a ズームレンズ
10b フォーカスレンズ
11 撮像素子
12 絞り
14 赤外線カットフィルタ
15 CPU
18 レンズ駆動部
19 絞り駆動部
20 撮像素子駆動部
21 操作部
22 アナログ信号処理部
23 A/D変換器
24 メインメモリ
25 メモリ制御部
26 デジタル信号処理部
27 圧縮伸張処理部
28 積算部
29 メモリカード
30 外部メモリ制御部
31 表示部
32 表示制御部
33 制御バス
34 データバス
41 補正レンズ
42 ブレ補正機構
50 ブレ制御部
51 積分回路
52 HPF
53 感度設定部
54 減算部
55 ドライバ
100、100A、100B、100C ブレ検出装置
102 ジャイロセンサ
104 A/D変換器
106 減算部
108 記憶部
110 減算部
112、112A HPF
120 基準値補正部
120A 基準値補正部
120B 基準値補正部
120C 基準値補正部
121、121A LPF
122 BPF
123 基準値ずれ量算出部
124、124A 第1の判定部
125、125A、125B 第2の判定部
126、126A 第3の判定部
127 第4の判定部
128 温度センサ
150 フローライン
200 主制御部
201 スマートフォン
202 筐体
210 無線通信部
220 表示入力部
221 表示パネル
222 操作パネル
230 通話部
231 スピーカ
232 マイクロホン
240 操作部
241 カメラ部
250 記憶部
251 内部記憶部
252 外部記憶部
260 外部入出力部
270 GPS受信部
280 モーションセンサ部
290 電源部
S10〜S98、S102〜S116、S190〜S198 ステップ

Claims (15)

  1. 撮像装置に発生するブレを検出するブレ検出センサと、
    前記撮像装置が静止状態の前記ブレ検出センサの出力に対応する基準値を記憶する記憶部と、
    前記ブレ検出センサの出力から前記基準値を減算する減算部と、
    前記減算部による前記基準値の減算後の出力から低周波成分を抽出する第1のフィルタと、
    前記減算部による前記基準値の減算後の出力から高周波成分を抽出する第2のフィルタと、
    前記第1のフィルタの出力と前記第2のフィルタの出力とに基づいて、前記撮像装置が手持ち状態かつ定点撮影状態であるか否かを判定する第1の判定部と、
    前記第1の判定部により前記撮像装置が手持ち状態かつ定点撮影状態であると判定されると、前記判定された期間における前記第1のフィルタの出力に基づいて前記基準値に対する基準値ずれ量を算出する基準値ずれ量算出部と、
    前記減算部による前記基準値の減算後の出力を前記基準値ずれ量により補正する補正部と、
    前記基準値ずれ量の補正後の出力から低周波ノイズを除去する第3のフィルタと、
    を備えた撮像装置のブレ検出装置。
  2. 前記第1の判定部は、前記第1のフィルタの出力が規定時間内において第1の出力幅以内であり、かつ前記規定時間内における前記第2のフィルタの出力の符号変化の回数が閾値以上あり、かつ前記第2のフィルタの出力が前記規定時間内において第2の出力幅以内である場合に、前記撮像装置が手持ち状態かつ定点撮影状態であると判定する請求項1に記載の撮像装置のブレ検出装置。
  3. 前記補正部は、前記減算部による前記基準値の減算後の出力から前記基準値ずれ量を減算する請求項1又は2に記載の撮像装置のブレ検出装置。
  4. 前記基準値ずれ量算出部により算出された前記基準値ずれ量が所定範囲内か否かを判定する第2の判定部を備え、
    前記補正部は、前記第2の判定部により前記基準値ずれ量が前記所定範囲内であると判定された場合に、前記減算部による前記基準値の減算後の出力を前記基準値ずれ量により補正する請求項1から3のいずれか1項に記載の撮像装置のブレ検出装置。
  5. 前記ブレ検出センサの温度を検出する温度センサと、
    前記温度センサにより検出された温度に応じて前記所定範囲を設定する設定部と、
    を備えた請求項4に記載の撮像装置のブレ検出装置。
  6. 前記撮像装置が手持ち状態かつ定点撮影状態であると判定された場合に算出された前記基準値ずれ量により前記基準値の減算後の出力が補正されると、補正前に比べて前記低周波ノイズを除去する前記第3のフィルタのカットオフ周波数を低周波側に設定する第1のフィルタ特性設定部を備えた請求項1から5のいずれか1項に記載の撮像装置のブレ検出装置。
  7. 前記撮像装置が静止状態であるか否かを判定する第3の判定部を備え、
    前記基準値ずれ量算出部は、前記第3の判定部により前記撮像装置が静止状態であると判定されると、前記第1の判定部による判定結果に優先して、前記静止状態であると判定された期間における前記第1のフィルタの出力に基づいて前記基準値に対する基準値ずれ量を算出する請求項1から5のいずれか1項に記載の撮像装置のブレ検出装置。
  8. 前記第3の判定部は、前記第2のフィルタの出力、前記第3のフィルタの出力、又は前記撮像装置が三脚に取り付けられたことを検出する三脚検出センサの出力に基づいて前記撮像装置が静止状態であるか否かを判定する請求項7に記載の撮像装置のブレ検出装置。
  9. 前記基準値ずれ量算出部が前記第1のフィルタの出力に基づいて前記基準値に対する基準値ずれ量を算出する際に、前記第3の判定部により前記撮像装置が静止状態であると判定されると、前記第1の判定部により前記撮像装置が手持ち状態かつ定点撮影状態であると判定される場合に比べて、前記第1のフィルタのカットオフ周波数を低周波側に設定する第2のフィルタ特性設定部を備えた請求項7又は8に記載の撮像装置のブレ検出装置。
  10. 前記撮像装置が手持ち状態かつ定点撮影状態であると判定された場合に算出された前記基準値ずれ量により前記基準値の減算後の出力が補正されると、補正前に比べて前記低周波ノイズを除去する前記第3のフィルタのカットオフ周波数を低周波側に設定する第1のフィルタ特性設定部と、
    前記撮像装置が静止状態であると判定された場合に算出された前記基準値ずれ量により前記基準値の減算後の出力が補正されると、前記低周波ノイズを除去する前記第3のフィルタのカットオフ周波数を前記第1のフィルタ特性設定部により設定されるカットオフ周波数に比べて低周波側に設定する第3のフィルタ特性設定部と、
    を備えた請求項7から9のいずれか1項に記載の撮像装置のブレ検出装置。
  11. 前記撮像装置がパンチルト中か否かを判定する第4の判定部を備え、
    前記第1の判定部は、前記第4の判定部により前記撮像装置がパンチルト中でないと判定されると、前記撮像装置が手持ち状態かつ定点撮影状態であるか否かを判定する請求項1から10のいずれか1項に記載の撮像装置のブレ検出装置。
  12. 前記第4の判定部は、前記第3のフィルタの出力に基づいて前記撮像装置がパンチルト中か否かを判定する請求項11に記載の撮像装置のブレ検出装置。
  13. 請求項1から12のいずれか1項に記載の撮像装置のブレ検出装置と、
    前記第3のフィルタの出力を積分し、前記撮像装置のブレ角を算出するブレ角算出部と、
    前記撮像装置のブレ補正光学系又は撮像素子を駆動するブレ補正機構と、
    前記ブレ角算出部により算出したブレ角に基づいて前記ブレ補正機構を制御するブレ制御部と、
    を備えた撮像装置のブレ補正装置。
  14. 撮像光学系及び撮像素子を含む撮像部と、
    請求項13に記載の撮像装置のブレ補正装置と、
    を備えた撮像装置。
  15. 撮像装置に発生するブレを検出するブレ検出センサの出力を取得するステップと、
    前記取得した前記ブレ検出センサの出力から、前記撮像装置が静止状態の前記ブレ検出センサの出力に対応する基準値を減算するステップと、
    前記基準値の減算後の出力から低周波成分を抽出するステップと、
    前記基準値の減算後の出力から高周波成分を抽出するステップと、
    前記抽出した前記低周波成分と前記高周波成分とに基づいて、前記撮像装置が手持ち状態かつ定点撮影状態であるか否かを判定するステップと、
    前記撮像装置が手持ち状態かつ定点撮影状態であると判定されると、前記判定された期間における前記低周波成分に基づいて前記基準値に対する基準値ずれ量を算出するステップと、
    前記基準値の減算後の出力を前記基準値ずれ量により補正するステップと、
    前記基準値ずれ量の補正後の出力から低周波ノイズを除去するステップと、
    を含む撮像装置のブレ検出方法。
JP2018539590A 2016-09-15 2017-08-21 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法 Active JP6543423B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016180811 2016-09-15
JP2016180811 2016-09-15
PCT/JP2017/029777 WO2018051731A1 (ja) 2016-09-15 2017-08-21 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法

Publications (2)

Publication Number Publication Date
JPWO2018051731A1 JPWO2018051731A1 (ja) 2019-06-24
JP6543423B2 true JP6543423B2 (ja) 2019-07-10

Family

ID=61619894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018539590A Active JP6543423B2 (ja) 2016-09-15 2017-08-21 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法

Country Status (4)

Country Link
US (1) US10511775B2 (ja)
JP (1) JP6543423B2 (ja)
CN (1) CN109791342B (ja)
WO (1) WO2018051731A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6847317B2 (ja) * 2018-08-30 2021-03-24 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
EP4057617A4 (en) * 2019-12-03 2023-04-12 Sony Group Corporation CONTROL DEVICE, CONTROL METHOD AND INFORMATION PROCESSING SYSTEM
CN113415173B (zh) * 2021-06-04 2022-02-18 浙江零跑科技股份有限公司 基于lpf-hpf转速滤波的新能源汽车抑抖控制方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180911A (ja) * 1998-12-15 2000-06-30 Canon Inc 像振れ補正装置
JP3897993B2 (ja) 2001-05-30 2007-03-28 松下電器産業株式会社 撮像装置、画像補正方法、プログラム、及び記録媒体
JP2008046374A (ja) * 2006-08-16 2008-02-28 Fujifilm Corp 手振れ補正制御装置
JP2009011097A (ja) * 2007-06-28 2009-01-15 Olympus Imaging Corp 駆動装置
US20090059016A1 (en) * 2007-08-29 2009-03-05 Chikatsu Moriya Image stabilization apparatus for camera
US7907836B2 (en) * 2007-09-12 2011-03-15 Ricoh Company, Ltd. Imaging apparatus
JP5274130B2 (ja) * 2008-07-15 2013-08-28 キヤノン株式会社 像振れ補正装置及び光学機器、撮像装置並びに像振れ補正装置の制御方法
JP5822430B2 (ja) * 2008-11-28 2015-11-24 キヤノン株式会社 像振れ補正装置およびそれを有する撮像装置
JP5053985B2 (ja) * 2008-12-24 2012-10-24 オリンパスイメージング株式会社 駆動装置及びこの駆動装置を用いた撮像装置
JP5520071B2 (ja) 2010-02-05 2014-06-11 キヤノン株式会社 像振れ補正装置および像振れ補正装置を備えた光学機器、撮像装置、像振れ補正装置の制御方法
JP2012018328A (ja) * 2010-07-08 2012-01-26 Canon Inc 光学機器、撮像装置、及び光学機器の制御方法
JP5519077B2 (ja) * 2011-04-12 2014-06-11 富士フイルム株式会社 撮像装置
JP5709734B2 (ja) * 2011-12-06 2015-04-30 キヤノン株式会社 光学防振装置、光学機器および光学防振装置の制御方法
US8923691B2 (en) 2012-01-30 2014-12-30 Panasonic Corporation Shake correcting device and imaging apparatus having shake correcting device
JP2013205550A (ja) * 2012-03-28 2013-10-07 Olympus Corp 位置検出装置及び位置制御装置
JP2014126859A (ja) * 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
JP6171576B2 (ja) * 2013-05-29 2017-08-02 株式会社ニコン ブレ補正装置及び光学機器
JP6017381B2 (ja) * 2013-07-22 2016-11-02 オリンパス株式会社 像ブレ補正装置及び撮像装置
JP6150655B2 (ja) * 2013-08-01 2017-06-21 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、光学機器、並びに撮像装置
JP6257207B2 (ja) * 2013-08-01 2018-01-10 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、並びに撮像装置
JP6494202B2 (ja) * 2013-08-07 2019-04-03 キヤノン株式会社 像振れ補正装置、その制御方法、および撮像装置
JP6242145B2 (ja) * 2013-10-10 2017-12-06 キヤノン株式会社 像振れ補正装置、その制御方法および撮像装置
JP6351246B2 (ja) * 2013-12-12 2018-07-04 キヤノン株式会社 像振れ補正装置及びその制御方法、光学機器、撮像装置
JP6581352B2 (ja) * 2014-03-05 2019-09-25 キヤノン株式会社 像振れ補正装置及びその制御方法、撮像装置、レンズ装置、プログラム、記憶媒体
JP6448218B2 (ja) * 2014-05-12 2019-01-09 キヤノン株式会社 撮像装置、その制御方法および情報処理システム
JP6362556B2 (ja) * 2015-02-26 2018-07-25 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN105635588B (zh) * 2016-02-25 2019-03-01 杭州格像科技有限公司 一种稳像方法及装置

Also Published As

Publication number Publication date
JPWO2018051731A1 (ja) 2019-06-24
CN109791342A (zh) 2019-05-21
US10511775B2 (en) 2019-12-17
US20190260936A1 (en) 2019-08-22
CN109791342B (zh) 2021-02-02
WO2018051731A1 (ja) 2018-03-22

Similar Documents

Publication Publication Date Title
JP4872797B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP5833794B2 (ja) 撮像装置
JP5750558B2 (ja) 撮像装置及び合焦制御方法
JP5736512B2 (ja) 撮像装置およびその動作制御方法
CN109417593B (zh) 摄像装置、工作方法、图像处理装置以及图像处理方法
JP6543423B2 (ja) 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法
JP2009159559A (ja) 撮影装置及びそのプログラム
US9877004B2 (en) Color-mixture-ratio calculation device and method, and imaging device
US9402024B2 (en) Imaging device and image processing method
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
US9584801B2 (en) Image pickup device, calibration system, calibration method, and program
US9363430B2 (en) Imaging device and image processing method
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP4883468B2 (ja) ブレ検出システム装置、撮像装置及び外部記録媒体、及び、そのプログラム
US11509826B2 (en) Imaging device, imaging method, and program
WO2013145887A1 (ja) 撮像装置及び撮像方法
JP2005159540A (ja) 手ブレ補正方法および撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190301

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190301

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190614

R150 Certificate of patent or registration of utility model

Ref document number: 6543423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250