JP6220992B2 - 撮像装置及び像振れ補正方法 - Google Patents

撮像装置及び像振れ補正方法 Download PDF

Info

Publication number
JP6220992B2
JP6220992B2 JP2016566032A JP2016566032A JP6220992B2 JP 6220992 B2 JP6220992 B2 JP 6220992B2 JP 2016566032 A JP2016566032 A JP 2016566032A JP 2016566032 A JP2016566032 A JP 2016566032A JP 6220992 B2 JP6220992 B2 JP 6220992B2
Authority
JP
Japan
Prior art keywords
acceleration
vector
reference vector
unit
image blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016566032A
Other languages
English (en)
Other versions
JPWO2016103976A1 (ja
Inventor
和田 哲
和田  哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2016103976A1 publication Critical patent/JPWO2016103976A1/ja
Application granted granted Critical
Publication of JP6220992B2 publication Critical patent/JP6220992B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • G03B2205/0015Movement of one or more optical elements for control of motion blur by displacing one or more optical elements normal to the optical axis
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本発明は、撮像装置及び像振れ補正方法に関する。
手振れ等による撮像装置の振れに起因した像振れを補正する撮像装置が知られている。撮像装置の振れは、光軸に直交する軸まわりに撮像装置が回転する角度振れと、光軸に直交する軸方向に撮像装置が変位する並進振れと、がある。
回転振れに対する像振れ補正では、一般に、光軸に直交する軸まわりの角速度が検出され、撮像装置の回転振れ量が算出される。そして、回転振れ量に基づいて撮像素子の撮像面上での像振れを相殺するように補正光学系又は撮像素子が移動される。
また、並進振れに対する像振れ補正では、光軸に直交する軸方向の加速度が検出され、撮像装置の並進振れ量が算出される。そして、並進振れ量に基づいて撮像素子の撮像面上での像振れを相殺するように補正光学系又は撮像素子が移動される。
撮像装置の並進振れを検出するためには加速度センサが用いられる。しかし、加速度センサの出力には重力加速度成分が含まれているため、当該重力加速度成分を除去する必要がある。特許文献1に記載された振れ補正装置では、慣性体としてのカメラの運動方程式より静止状態の初期加速度と角速度変化を用いて重力加速度方向(初期姿勢)を求めた後、演算によって求められた重力加速度成分を加速度センサの出力値から除去している。また、特許文献2に記載された像振れ補正装置では、角速度計からの手振れ角度信号の変化に基づいて加速度計に加わる重力の変化を求めた後、加速度計からの手振れ加速度信号と当該求めた重力変化に伴う信号との差分を計算することで、重力の影響による加速度計の出力誤差の除去を行っている。
日本国特開2013−250414号公報 日本国特許第4717651号公報
上記説明した特許文献1,2のいずれの装置も、重力加速度成分を導出するために、センサによって検出された角速度を用いている。しかし、当該角速度の変位に起因する誤差が累積していくと、加速度信号から重力加速度成分を精度良く除去することはできない。重力加速度成分が除去されない加速度信号に基づく像振れの補正を行っても、像劣化は解消されない。
本発明は、上述した事情に鑑みなされたものであり、並進振れによる像振れを高精度に補正可能な撮像装置及び像振れ補正方法を提供することを目的とする。
本発明の一態様の撮像装置は、直交3軸の各軸方向の加速度を検出する加速度検出部と、上記加速度検出部によって検出された上記直交3軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の上記合成ベクトルを用いて基準ベクトルを生成する基準ベクトル生成部と、上記加速度検出部によって検出された上記直交3軸の各軸方向の加速度に基づき、上記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する振れ補正部と、撮像装置の姿勢変化に連動して回転する上記直交3軸の座標系での重力加速度を推定する重力加速度推定部と、上記重力加速度推定部によって推定された上記重力加速度を上記基準ベクトルに基づいて補正する重力加速度補正部と、を備え、上記振れ補正部は、上記加速度検出部によって検出された上記直交3軸の各軸方向の加速度から上記重力加速度補正部によって補正された上記重力加速度の対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する。
本発明の一態様の像振れ補正方法は、撮像装置に作用する直交3軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の上記合成ベクトルを用いて基準ベクトルを生成する生成ステップと、撮像装置に作用する上記直交3軸の各軸方向の加速度に基づき、上記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する補正ステップと、撮像装置の姿勢変化を検出し、姿勢変化に連動して回転する上記直交3軸の座標系での重力加速度を推定する推定ステップと、推定された上記重力加速度を上記基準ベクトルに基づいて補正する補正ステップと、を備え、上記補正ステップは、撮像装置に作用する上記直交3軸の各軸方向の加速度から補正された上記重力加速度の対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する。
本発明によれば、並進振れによる像振れを高精度に補正可能な撮像装置及び像振れ補正方法を提供することができる。
本発明の実施形態を説明するための、撮像装置の一例の外観を示す図である。 図1の撮像装置の構成を示す図である。 図1の撮像装置の像振れ補正システムの一例の構成を示す図である。 過去の合成ベクトル又は過去の基準ベクトルからの最新の合成ベクトルの変化量と、最新の合成ベクトルに乗算される重み係数との関係を示す図である。 図3に示した像振れ補正システムの動作を示すフローチャートである。 合成ベクトルの大きさと重力加速度の大きさとの差分の経時変化と、直交3軸のいずれか1軸方向の加速度及び基準ベクトルの経時変化とを示す図である。 図1の撮像装置の像振れ補正システムの他の例の構成を示す図である。 図7に示した像振れ補正システムの動作を示すフローチャートである 本発明の実施形態を説明するための、撮像装置の他の例の外観を示す図である。 図9の撮像装置の構成を示す図である。
図1は、本発明の実施形態を説明するための、撮像装置の一例の外観を示し、図2は、図1の撮像装置の構成を示す。
図1及び図2に示す撮像装置の一例としてのデジタルカメラ1は、光軸方向(z軸方向)及び光軸方向に直交する2軸の各軸方向(x軸方向及びy軸方向)に移動可能に支持された可動レンズ2aを含む撮像光学系2と、撮像光学系2を通して被写体を撮像する撮像素子3と、可動レンズ2aの合焦位置を決定する焦点調節部4と、可動レンズ2aをz軸方向に移動させるフォーカス駆動部5と、制御部6とを備える。
可動レンズ2aは、デジタルカメラ1の筐体内部でx軸、y軸、z軸の各軸方向に移動可能に、ホルダバネ2bによって弾性的に支持されている。
撮像素子3は、例えばCCD(Charge Coupled Device)型やCMOS(Complementary Metal Oxide Semiconductor)型のイメージセンサが用いられる。
撮像素子3の出力信号は、信号処理部7にて相関二重サンプリング処理等のアナログ信号処理を経てデジタル変換される。そして、信号処理部7は、撮像素子3の出力信号をデジタル変換した信号に対し、補間演算やガンマ補正演算やRGB/YC変換処理等のデジタル信号処理を行って画像データを生成する。
焦点調節部4は、信号処理部7によって生成される画像データに基づき、例えばコントラスト方式等のAF方式によって合焦状態を判定し、可動レンズ2aの合焦位置を決定する。そして、焦点調節部4は、決定した合焦位置を指示する焦点調節信号を制御部6に出力する。
フォーカス駆動部5は、いわゆるボイスコイルモータであって、対向して配置されて一方が可動レンズ2aに固定される磁石及び駆動コイルを含み、駆動コイルに供給される駆動電流に応じて、可動レンズ2aをz軸方向に移動させる駆動力を発生させる。
制御部6には、ユーザによる撮影指示等の指示信号が操作部8から入力される。制御部6は、撮影指示に応答して撮像素子3を駆動し、撮像素子3に撮像を行わせる。
デジタルカメラ1には、設定情報などを記憶したメインメモリ9と、信号処理部7にて生成された画像データを記憶するメモリカード等の記憶媒体を含む記憶部10と、信号処理部7にて生成された画像データやメニューを表示する液晶表示パネル等の表示パネルを含む表示部11とが設けられている。
焦点調節部4、信号処理部7、メインメモリ9、記憶部10、及び表示部11は、制御バス12及びデータバス13によって相互に接続され、制御部6からの指令によって制御される。
制御部6には、焦点調節部4から可動レンズ2aの合焦位置を指示する焦点調節信号が入力される。制御部6は、焦点調節信号に基づきフォーカス駆動部5を制御し、焦点調節信号によって指示される合焦位置に可動レンズ2aを保持する。本例では、フォーカス駆動部5がボイスコイルモータであって、焦点調節信号は駆動コイルに供給される駆動電流の値を指示するものである。
デジタルカメラ1は、デジタルカメラ1に作用する加速度を検出する加速度検出部20と、デジタルカメラ1の振れに起因する撮像素子3の撮像面上での像振れを補正する補正駆動部21とを更に備える。本例では、フォーカスレンズとしてフォーカス駆動部5によってz軸方向に移動される可動レンズ2aが、更に制御部6による制御のもと補正駆動部21によってx軸、y軸の各軸方向に移動されて像振れが補正される。
なお、フォーカスレンズとしての可動レンズ2aとは別に像振れ補正用レンズを設け、像振れ補正用レンズをx軸、y軸の各軸方向に移動させて像振れを補正してもよく、あるいは撮像素子3をx軸、y軸の各軸方向に移動させて像振れを補正してもよい。この場合、可動レンズ2aはz軸方向に移動可能であればよい。
図3は、デジタルカメラ1の像振れ補正システムの機能ブロックの一例を示す。
加速度検出部20は、x軸方向の加速度を検出する加速度センサ22xと、y軸方向の加速度を検出する加速度センサ22yと、z軸方向の加速度を検出する加速度センサ22zと、を含む。
制御部6は、デジタルカメラ1に働く加速度の基準ベクトルを生成する基準ベクトル生成部23と、補正駆動部21を制御する振れ補正制御部24と、を含む。
基準ベクトル生成部23は、加速度検出部20によって検出された直交3軸の各軸方向の加速度の合成ベクトルMの大きさ(|M|)を算出する。加速度の合成ベクトルMの大きさは、加速度センサ22x,22y,22zがそれぞれ検出した加速度ax,ay,azの二乗和(ax+ay+az)によって求められる。基準ベクトル生成部23は、算出した合成ベクトルMを、算出時間と対応付けてメインメモリ9に格納する。
更に、基準ベクトル生成部23は、算出した合成ベクトルMの大きさ|M|と、予め決められた値である重力加速度の大きさ|G|との差分C(=|M|−|G|)の絶対値が所定の閾値Cth以下であれば、加重平均による後述する巡回型フィルタを用いて加速度の基準ベクトルRを算出する。一方、上述した差分Cの絶対値が所定の閾値Cthを超える場合、基準ベクトル生成部23は基準ベクトルRの算出を行わない。基準ベクトル生成部23は、算出した基準ベクトルRを、算出時間と対応付けてメインメモリ9に格納する。なお、重力加速度の大きさ|G|は、予め決められた値である。
基準ベクトル生成部23が基準ベクトルRを算出する際に用いる巡回型フィルタは、以下に示すように、最新の合成ベクトルM0と、メインメモリ9に格納された過去に算出された現行の基準ベクトル(以下「過去の基準ベクトル」という。)R1とを用いる。なお、最新の合成ベクトルM0に乗算される重み係数αと、過去の基準ベクトルR1に乗算される重み係数βとの総和は1である。
巡回型フィルタの一例:αM0+βR1
なお、重み係数βを乗算する対象は過去の基準ベクトルR1に限らず、以下に示すように、メインメモリ9に格納された過去の合成ベクトルM1であっても良い。
巡回型フィルタの他の例:αM0+βM1
また、基準ベクトルRの算出に用いる過去の合成ベクトル又は過去の基準ベクトルは一つに限らず、以下に示すように複数であっても良い。
巡回型フィルタの他の例:αM0+βR1+…+γRn(Rnは、n回前に算出された基準ベクトル)
巡回型フィルタの他の例:αM0+βM1+…+γMn(Mnは、n回前に得られた合成ベクトル)
なお、この場合も、各合成ベクトル又は各基準ベクトルに乗算される重み係数の総和は1である。
基準ベクトル生成部23は、基準ベクトルRの算出に用いる巡回型フィルタを決定する際に、重み係数αの値を設定する。重み係数αは、図4に示すように、過去の合成ベクトルM1又は過去の基準ベクトルR1からの最新の合成ベクトルM0の変化量ΔMに応じて、0から1の所定値に設定される。すなわち、重み係数αは、変化量ΔMが0から所定の閾値ΔMth1の値では0に設定され、所定の閾値ΔMth1よりも大きい所定の閾値ΔMth2以上の値では1に設定され、閾値ΔMth1から閾値ΔMth2の間の値では、当該変化量ΔMの大きさに比例した0から1の間の値に設定される。なお、変化量ΔMの算出は直交3軸の軸成分毎に行われ、重み係数αの値の設定も直交3軸の軸成分毎に行われる。
振れ補正制御部24は、加速度センサ22xによって検出されたx軸方向の加速度から基準ベクトル生成部23によって算出された新たな基準ベクトルR0のx軸成分を減じた差分値を二階積分し、x軸方向の並進振れ量を求める。同様に、振れ補正制御部24は、加速度センサ22yによって検出されたy軸方向の加速度から基準ベクトル生成部23によって算出された新たな基準ベクトルR0のy軸成分を減じた差分値を二階積分し、y軸方向の並進振れ量を求める。
次いで、振れ補正制御部24は、求めたx軸及びy軸の各軸方向の並進振れ量に基づいて、可動レンズ2aのx軸及びy軸の各軸方向の移動量を求める。
そして、振れ補正制御部24は、補正駆動部21を制御して、求めた可動レンズ2aの移動量で可動レンズ2aをx軸及びy軸の各軸方向に移動させる。それにより、デジタルカメラ1の並進振れによる像振れが補正される。
振れ補正制御部24及び補正駆動部21並びに補正用レンズとしての可動レンズ2aによって、像振れを補正する振れ補正部が構成される。
なお、補正駆動部21はフォーカス駆動部5と同様にボイスコイルモータとして構成することができる。
図5は、図3に示した像振れ補正システムの動作を示すフローチャートである。図5に示すように、制御部6に含まれる基準ベクトル生成部23は、加速度検出部20によって検出された直交3軸の各軸方向の加速度の合成ベクトルMの大きさ|M|を算出する(ステップS101)。次に、基準ベクトル生成部23は、ステップS101で算出した合成ベクトルMの大きさ|M|と、予め決められた値である重力加速度の大きさ|G|との差分C(=|M|−|G|)を算出する(ステップS103)。次に、基準ベクトル生成部23は、ステップS103で算出した差分Cの絶対値が閾値Cth以下(|C|≦Cth)か否かを判断し(ステップS105)、|C|≦CthであればステップS107に進み、|C|>Cthであれば処理を終了する。
ステップS107では、基準ベクトル生成部23は、過去の合成ベクトル又は過去の基準ベクトルからの最新の合成ベクトルの変化量ΔMを、直交3軸の軸成分毎に算出する。次に、基準ベクトル生成部23は、直交3軸の軸成分毎の変化量ΔMに対応する重み係数αを設定し、この重み係数αに応じた他の重み係数も設定する(ステップS109)。次に、基準ベクトル生成部23は、ステップS109で設定した重み係数、並びに、最新の合成ベクトル及び過去の基準ベクトル又は合成ベクトルによる巡回型フィルタを用いて、新たな基準ベクトルを算出する(ステップS111)。
最後に、振れ補正制御部24は、ステップS111で算出された基準ベクトルを用いて、加速度検出部20によって検出された直交3軸の各軸方向の加速度に基づき、光軸方向(z軸方向)に垂直な直交2軸の各軸方向(x軸方向及びy軸方向)の並進振れによる像振れの補正処理を制御する(ステップS113)。
図6は、基準ベクトルR1が像振れの補正処理のために用いられている状態のときに、デジタルカメラ1の姿勢が大きく変わった際の、基準ベクトルRの変化を示す図である。図6に示す時間t1までのデジタルカメラ1の姿勢は安定しており、この状態のときの加速度検出部20によって検出される加速度信号は重力が支配的であるため、基準ベクトル生成部23は定期的に基準ベクトルRの算出を行う。デジタルカメラ1のユーザが意図的にデジタルカメラ1の姿勢を変える時間t1〜t2の間は、加速度信号には重力以外に姿勢を変えたことによる加速度が加わる。このときの直交3軸の各軸方向の加速度の合成ベクトルMの大きさ|M|と重力加速度の大きさ|G|との差分Cは閾値Cthを超えるため、時間t1〜t2の間、基準ベクトル生成部23は基準ベクトルRの算出を行わない。時間t2以降はデジタルカメラ1の姿勢が再び安定し、加速度信号は重力が再び支配的となるため、基準ベクトル生成部23は基準ベクトルRの算出を行い、新たな基準ベクトルR0が得られる。したがって、時間t2以降の振れ補正制御部24は、新たに算出された基準ベクトルR0を用いて、直交3軸の各軸方向の加速度に基づき、並進振れによる像振れの補正処理を制御する。
なお、基準ベクトル生成部23が算出した基準ベクトルRには、ローパスフィルタ処理がなされる。当該処理においてノイズの影響を低減するといった点では、カットオフ周波数を低い値に設定することが好ましい。しかし、カットオフ周波数が低いと、デジタルカメラ1の姿勢が大きく変わる時間t1〜t2の間にも基準ベクトルRを算出する場合には、図6に破線で示すように、基準ベクトルRが所望値に追従するまでに時間を要する。本実施形態では、上述のように、時間t1〜t2の間は基準ベクトルRの算出を行わないため、カットオフ周波数が低い値に設定されていても、基準ベクトルRの十分な追従性を実現できる。
以上により、デジタルカメラ1の姿勢が大きく変化している間は基準ベクトルの算出を行わず、デジタルカメラ1の姿勢が再び安定した状態で得られた加速度の合成ベクトルに基づいて基準ベクトルを算出する。このため、重力方向の変化に適宜追従しつつ、並進振れによる像振れを高精度に補正することができる。
また、基準ベクトルは、デジタルカメラ1の姿勢が再び安定した状態で得られた最新の合成ベクトルと、過去の合成ベクトル又は過去の基準ベクトルとの加重平均によって算出される。このため、過去の情報も加味した精度の高い基準ベクトルを求めることができる。
更に、最新の合成ベクトルに乗算される重み係数及び過去の合成ベクトル又は過去の基準ベクトルに乗算される重み係数は、過去の合成ベクトル又は過去の基準ベクトルからの最新の合成ベクトルの変化量に応じてそれぞれ異なり、当該変化量が大きいほど最新の合成ベクトルに乗算される重み係数には大きな値が設定される。このため、加速度に関する最新の情報が過去の情報から大きく変動している場合には、加算平均における最新の情報の比率は大きく、過去の情報の比率は小さく利用されるため、重力方向の変化に追従した精度の高い基準ベクトルを求めることができる。
図7は、デジタルカメラ1の像振れ補正システムの機能ブロックの他の例を示す。なお、当該システムには、直交3軸の各軸方向のデジタルカメラ1の角速度を検出する角速度検出部31が含まれる。図7において、図3と共通する構成要素(加速度検出部20及び基準ベクトル生成部23)には同じ参照符号を付して説明を簡略化又は省略する。
制御部6は、デジタルカメラ1に働く加速度の基準ベクトルを生成する基準ベクトル生成部23と、重力加速度推定部32と、重力加速度補正部33と、補正駆動部21を制御する振れ補正制御部34と、を含む。
重力加速度推定部32は、デジタルカメラ1の姿勢が安定しているときの加速度検出部20によって検出された直交3軸の加速度と、角速度検出部31によって検出された直交3軸の角速度とに基づいて、慣性体としてのデジタルカメラ1の運動方程式を用いて、加速度検出部20に加わる重力加速度の推定値を算出する。デジタルカメラ1の姿勢が安定しているときの加速度検出部20によって検出されたx軸、y軸、z軸の各軸方向の加速度の合成ベクトルは重力加速度に対応しており、角速度検出部31によって検出されたx軸、y軸、z軸の各軸まわりの角速度をそれぞれ積分して得られる各軸まわりの角度変化量に基づいて合成ベクトルを回転させることにより、デジタルカメラ1の姿勢変化に連動して回転するx軸、y軸、z軸の慣性座標系での重力加速度を推定することができる。
重力加速度補正部33は、重力加速度推定部32によって算出された重力加速度の推定値を、基準ベクトル生成部23が算出した基準ベクトルに基づいて補正する。デジタルカメラ1の姿勢が連続して変化した場合、加速度検出部20によって検出される加速度信号には、重力以外の加速度が連続して変化する。この場合は、加速度信号から重力加速度の方向を追尾することができないため、角速度に基づいて推定された重力加速度が有効である。しかし、角速度検出部31に用いられるセンサのドリフト等に起因して検出される角速度の誤差が累積すると当該推定された重力加速度の誤差も大きくなる。したがって、重力加速度補正部33は、重力加速度推定部32によって算出された重力加速度の推定値を、基準ベクトル生成部23が算出した基準ベクトルに基づいて補正する。それにより、検出される角速度の誤差の累積が抑制され、重力加速度推定部32によって算出される重力加速度の推定値の精度が維持される。
以下、重力加速度推定部32による重力加速度の推定値の算出の詳細と、重力加速度補正部33による重力加速度の推定値の補正の詳細について説明する。
3次元空間でのx軸、y軸及びz軸の各軸まわりの回転を表す回転行列は、以下の式(1)〜(3)で示される。式(1)に示すRx(θx)は、y軸をz軸に向ける方向の回転行列である。また、式(2)に示すRy(θy)は、z軸をx軸に向ける方向の回転行列である。また、式(3)に示すRz(θz)は、x軸をy軸に向ける方向の回転行列である。θx,θy,θzは、角速度検出部31が検出した角速度から求められる回転角度θの各軸成分の回転角度である。
Figure 0006220992
3次元空間でデジタルカメラ1が各軸にそれぞれ任意の回転角で回転した場合、合成行列Rxyz(θ)は、Rx(θx)とRy(θy)とRz(θz)の積によって得られる。
重力加速度推定部32は、デジタルカメラ1の姿勢が変化する前に得られた単位重力ベクトルG1(x,y,z)に、デジタルカメラ1の回転を表す上記Rxyz(θ)を積算することで、デジタルカメラ1の姿勢が変化した後の単位重力ベクトルG0(x,y,z)を算出する。なお、単位重力ベクトルは、重力ベクトルの大きさが1であることを表す。重力加速度推定部32が算出した単位重力ベクトルG0(x,y,z)は、重力加速度の推定値として出力される。
次に、重力加速度補正部33は、基準ベクトル生成部23が算出した基準ベクトルR(x,y,z)に基づいて、重力加速度推定部32が算出した単位重力ベクトルG0(x,y,z)の補正を行う。当該補正は、基準ベクトルR(x,y,z)の各軸成分の値と単位重力ベクトルG0(x,y,z)の同軸成分の値との差分が1軸でも閾値以上である場合に行われ、直交3軸の全てに対して行われる。
以下、重力加速度補正部33による補正重力ベクトルG0a(x,y,z)の一例を示す。なお、αは係数である。
G0a(x)=G0(x)+α{G0(x)−R(x)}
G0a(y)=G0(y)+α{G0(y)−R(y)}
G0a(z)=G0(z)+α{G0(z)−R(z)}
重力加速度補正部33は、上記補正重力ベクトルG0a(x,y,z)が単位ベクトルとなるよう、補正重力ベクトルG0aの大きさの逆数を補正重力ベクトルG0a(x,y,z)に乗算した値を、補正された重力加速度として出力する。
振れ補正制御部34は、加速度センサ22xによって検出されたx軸方向の加速度から重力加速度補正部33によって補正された重力加速度のx軸成分を減じた差分値を二階積分し、x軸方向の並進振れ量を求める。同様に、振れ補正制御部34は、加速度センサ22yによって検出されたy軸方向の加速度から重力加速度補正部33によって補正された重力加速度のy軸成分を減じた差分値を二階積分し、y軸方向の並進振れ量を求める。
次いで、振れ補正制御部34は、求めたx軸及びy軸の各軸方向の並進振れ量に基づいて、可動レンズ2aのx軸及びy軸の各軸方向の移動量を求める。
そして、振れ補正制御部34は、補正駆動部21を制御して、求めた可動レンズ2aの移動量で可動レンズ2aをx軸及びy軸の各軸方向に移動させる。それにより、デジタルカメラ1の並進振れによる像振れが補正される。
図8は、図7に示した像振れ補正システムの動作を示すフローチャートである。図8に示すフローチャートでは、図5に示したフローチャートにおけるステップS111とステップS113の間にステップS201,S203が実行される。ステップS201では、重力加速度推定部32は、加速度検出部20に加わる重力加速度の推定値を算出する。また、ステップS203では、重力加速度補正部33は、ステップS201で算出された重力加速度の推定値を、ステップS111で算出された基準ベクトルに基づいて補正する。
以上により、デジタルカメラ1の姿勢が連続して変化した場合であっても、重力方向の変化に適宜追従しつつ、並進振れによる像振れを高精度に補正することができる。
なお、直交3軸の角速度を検出する角速度検出部31を備える本例においては、x軸及びy軸の各軸方向の並進振れ量及びx軸及びy軸の各軸まわりの回転振れ量に基づいて可動レンズ2aのx軸及びy軸の各軸方向の移動量を求め、求めた可動レンズ2aの移動量で可動レンズ2aをx軸及びy軸の各軸方向に移動させることにより、デジタルカメラ1の並進振れ及び角度振れによる像振れを補正するようにしてもよい。
なお、図6に示したとおり、デジタルカメラ1の姿勢が安定しており、基準ベクトル生成部23によって定期的に基準ベクトルRが算出されている時間t1までの期間、及び時間t2以降の期間は、加速度検出部20によって検出されたx軸及びy軸の各軸方向の加速度から基準ベクトルRの各軸成分を減じて各軸方向の並進振れ量を求め、デジタルカメラ1の姿勢が大きく変化しており、基準ベクトル生成部23によって基準ベクトルRが算出されない時間t1〜t2の間の期間は、加速度検出部20によって検出されたx軸及びy軸の各軸方向の加速度から、重力加速度推定部32によって算出され、重力加速度補正部33によって補正された重力加速度の推定値の各軸成分を減じて各軸方向の並進振れ量を求めるようにしてもよい。
ここまで撮像装置としてデジタルカメラ1を例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。
図9は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示す。
図9に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図10は、図9に示すスマートフォン200の構成を示す。
図10に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部204は、主制御部220の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro−Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
図9に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体201の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部211は、スピーカ205やマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。また、図9に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
操作部207は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図9に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部212は、主制御部220の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達することや、スマートフォン200の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210や外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部215は、例えば、3軸の加速度センサなどを備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向や加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部220は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
更に、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部208は、図2に示したデジタルカメラ1における撮像光学系2、撮像素子3、焦点調節部4、フォーカス駆動部5、制御部6、信号処理部7、メインメモリ9、加速度検出部20、補正駆動部21の構成を含む。
カメラ部208によって生成された画像データは、記憶部212に記録したり、外部入出力部213や無線通信部210を通じて出力したりすることができる。
図9に示すスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示することや、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用することができる。
また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。更には、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等などを付加して記憶部212に記録したり、外部入出力部213や無線通信部210を通じて出力したりすることもできる。
以上のような構成のスマートフォン200においても、重力方向の変化に適宜追従しつつ、並進振れによる像振れを高精度に補正することができる。
以上説明したとおり、本明細書に開示された撮像装置は、直交3軸の各軸方向の加速度を検出する加速度検出部と、上記加速度検出部によって検出された上記直交3軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の上記合成ベクトルを用いて基準ベクトルを生成する基準ベクトル生成部と、上記加速度検出部によって検出された上記直交3軸の各軸方向の加速度に基づき、上記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する振れ補正部と、を備える。
また、上記振れ補正部は、上記加速度検出部によって検出された上記直交3軸の各軸方向の加速度から上記基準ベクトルの対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する。
また、撮像装置の姿勢変化に連動して回転する上記直交3軸の座標系での重力加速度を推定する重力加速度推定部と、上記重力加速度推定部によって推定された上記重力加速度を上記基準ベクトルに基づいて補正する重力加速度補正部と、を更に備え、上記振れ補正部は、上記加速度検出部によって検出された上記直交3軸の各軸方向の加速度から上記重力加速度補正部によって補正された上記重力加速度の対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する。
また、上記基準ベクトル生成部は、最新の上記合成ベクトルと、過去の上記合成ベクトル又は過去の上記基準ベクトルとに基づいて上記基準ベクトルを生成する。
また、上記基準ベクトル生成部は、最新の上記合成ベクトルと、過去の上記合成ベクトル又は過去の上記基準ベクトルとの加重平均によって上記基準ベクトルを生成する。
また、上記基準ベクトル生成部は、過去の上記合成ベクトル又は過去の上記基準ベクトルからの最新の上記合成ベクトルの変化量に応じて、加重平均における重み係数を変化させる。
また、本明細書に開示された像振れ補正方法は、撮像装置に作用する直交3軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の上記合成ベクトルを用いて基準ベクトルを生成する生成ステップと、撮像装置に作用する上記直交3軸の各軸方向の加速度に基づき、上記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する補正ステップと、を備える。
また、上記補正ステップは、撮像装置に作用する上記直交3軸の各軸方向の加速度から上記基準ベクトルの対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する。
また、撮像装置の姿勢変化を検出する検出し、姿勢変化に連動して回転する上記直交3軸の座標系での重力加速度を推定する推定ステップと、推定された上記重力加速度を上記基準ベクトルに基づいて補正する補正ステップと、を更に備え、上記補正ステップは、撮像装置に作用する上記直交3軸の各軸方向の加速度から補正された上記重力加速度の対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する。
また、上記生成ステップは、最新の上記合成ベクトルと、過去の上記合成ベクトル又は過去の上記基準ベクトルとに基づいて上記基準ベクトルを生成する。
また、上記生成ステップは、最新の上記合成ベクトルと、過去の上記合成ベクトル又は過去の上記基準ベクトルとの加重平均によって上記基準ベクトルを生成する。
また、上記生成ステップは、過去の上記合成ベクトル又は過去の上記基準ベクトルからの最新の上記合成ベクトルの変化量に応じて、加重平均における重み係数を変化させる。
本出願は、2014年12月22日出願の日本特許出願(特願2014-258976)に基づくものであり、その内容はここに参照として取り込まれる。
1 デジタルカメラ
2 撮像光学系
2a 可動レンズ(フォーカスレンズ)
3 撮像素子
4 焦点調節部
5 フォーカス駆動部
6 制御部
20 加速度検出部
21 補正駆動部
22x,22y,22z 加速度センサ
23 基準ベクトル生成部
24,34 振れ補正制御部
31 角速度検出部
32 重力加速度推定部
33 重力加速度補正部

Claims (10)

  1. 直交3軸の各軸方向の加速度を検出する加速度検出部と、
    前記加速度検出部によって検出された前記直交3軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の前記合成ベクトルを用いて基準ベクトルを生成する基準ベクトル生成部と、
    前記加速度検出部によって検出された前記直交3軸の各軸方向の加速度に基づき、前記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する振れ補正部と、
    撮像装置の姿勢変化に連動して回転する前記直交3軸の座標系での重力加速度を推定する重力加速度推定部と、
    前記重力加速度推定部によって推定された前記重力加速度を前記基準ベクトルに基づいて補正する重力加速度補正部と、
    を備え
    前記振れ補正部は、前記加速度検出部によって検出された前記直交3軸の各軸方向の加速度から前記重力加速度補正部によって補正された前記重力加速度の対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する撮像装置。
  2. 請求項1記載の撮像装置であって、
    前記振れ補正部は、前記加速度検出部によって検出された前記直交3軸の各軸方向の加速度から前記基準ベクトルの対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する撮像装置。
  3. 請求項1又は2に記載の撮像装置であって、
    前記基準ベクトル生成部は、最新の前記合成ベクトルと、過去の前記合成ベクトル又は過去の前記基準ベクトルとに基づいて前記基準ベクトルを生成する撮像装置。
  4. 請求項3に記載の撮像装置であって、
    前記基準ベクトル生成部は、最新の前記合成ベクトルと、過去の前記合成ベクトル又は過去の前記基準ベクトルとの加重平均によって前記基準ベクトルを生成する撮像装置。
  5. 請求項4に記載の撮像装置であって、
    前記基準ベクトル生成部は、過去の前記合成ベクトル又は過去の前記基準ベクトルからの最新の前記合成ベクトルの変化量に応じて、加重平均における重み係数を変化させる撮像装置。
  6. 撮像装置に作用する直交3軸の各軸方向の加速度の合成ベクトルの大きさと重力加速度の大きさとの差分が所定の閾値以下である場合の前記合成ベクトルを用いて基準ベクトルを生成する生成ステップと、
    撮像装置に作用する前記直交3軸の各軸方向の加速度に基づき、前記基準ベクトルを用いて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する補正ステップと、
    撮像装置の姿勢変化を検出し、姿勢変化に連動して回転する前記直交3軸の座標系での重力加速度を推定する推定ステップと、
    推定された前記重力加速度を前記基準ベクトルに基づいて補正する補正ステップと、
    を備え、
    前記補正ステップは、撮像装置に作用する前記直交3軸の各軸方向の加速度から補正された前記重力加速度の対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する像振れ補正方法。
  7. 請求項6に記載の像振れ補正方法であって、
    前記補正ステップは、撮像装置に作用する前記直交3軸の各軸方向の加速度から前記基準ベクトルの対応する軸方向成分を減じた加速度に基づいて、少なくとも撮像光学系の光軸に垂直な直交2軸の各軸方向の並進振れによる像振れを補正する像振れ補正方法。
  8. 請求項6又は7に記載の像振れ補正方法であって、
    前記生成ステップは、最新の前記合成ベクトルと、過去の前記合成ベクトル又は過去の前記基準ベクトルとに基づいて前記基準ベクトルを生成する像振れ補正方法。
  9. 請求項8に記載の像振れ補正方法であって、
    前記生成ステップは、最新の前記合成ベクトルと、過去の前記合成ベクトル又は過去の前記基準ベクトルとの加重平均によって前記基準ベクトルを生成する像振れ補正方法。
  10. 請求項9に記載の像振れ補正方法であって、
    前記生成ステップは、過去の前記合成ベクトル又は過去の前記基準ベクトルからの最新の前記合成ベクトルの変化量に応じて、加重平均における重み係数を変化させる像振れ補正方法。
JP2016566032A 2014-12-22 2015-11-16 撮像装置及び像振れ補正方法 Active JP6220992B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014258976 2014-12-22
JP2014258976 2014-12-22
PCT/JP2015/082155 WO2016103976A1 (ja) 2014-12-22 2015-11-16 撮像装置及び像振れ補正方法

Publications (2)

Publication Number Publication Date
JPWO2016103976A1 JPWO2016103976A1 (ja) 2017-08-03
JP6220992B2 true JP6220992B2 (ja) 2017-10-25

Family

ID=56150010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016566032A Active JP6220992B2 (ja) 2014-12-22 2015-11-16 撮像装置及び像振れ補正方法

Country Status (4)

Country Link
US (1) US9891446B2 (ja)
JP (1) JP6220992B2 (ja)
CN (1) CN107111207B (ja)
WO (1) WO2016103976A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10564177B2 (en) * 2016-08-01 2020-02-18 Samsung Electronics Co., Ltd. System and method for user activity recognition using accelerometer
DE112018002967T5 (de) * 2017-06-12 2020-02-20 Fujifilm Corporation Unschärfesdetektionsvorrichtung, abbildungsvorrichtung, objektiv-bzw. linsenvorrichtung, abbildungsvorrichtungshauptkörper,unschärfedetektionsverfahren und unschärfedetektionsprogramm
CN109199321A (zh) * 2018-07-01 2019-01-15 高波 一种医用眼动仪
US11852888B2 (en) * 2019-07-26 2023-12-26 Tdk Taiwan Corp. Optical element driving mechanism

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4717382B2 (ja) * 2004-06-15 2011-07-06 キヤノン株式会社 光学機器
JP4789614B2 (ja) * 2005-12-26 2011-10-12 キヤノン株式会社 防振制御装置およびその制御方法
JP4717651B2 (ja) 2006-02-07 2011-07-06 キヤノン株式会社 像振れ補正装置および撮像装置
JP2011033881A (ja) * 2009-08-03 2011-02-17 Canon Inc 撮影システムおよびレンズ装置
JP2012204862A (ja) * 2011-03-23 2012-10-22 Nikon Corp 撮像システム、遠隔操作装置、遠隔操作方法、及び遠隔操作プログラム
JP2013054193A (ja) * 2011-09-02 2013-03-21 Nikon Corp ブレ補正装置及び光学機器
JP2013250414A (ja) * 2012-05-31 2013-12-12 Nikon Corp ブレ補正装置および光学機器
JP6098874B2 (ja) * 2012-09-04 2017-03-22 パナソニックIpマネジメント株式会社 撮像装置および画像処理装置
JP2014215357A (ja) * 2013-04-23 2014-11-17 株式会社ニコン 像ブレ補正装置及び光学機器

Also Published As

Publication number Publication date
JPWO2016103976A1 (ja) 2017-08-03
US20170285365A1 (en) 2017-10-05
US9891446B2 (en) 2018-02-13
WO2016103976A1 (ja) 2016-06-30
CN107111207A (zh) 2017-08-29
CN107111207B (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
JP6155403B2 (ja) 撮像装置及び像振れ補正方法
JP6131393B2 (ja) 撮像装置及び撮像方法
JP6220992B2 (ja) 撮像装置及び像振れ補正方法
EP2933605A1 (en) A device orientation correction method for panorama images
JP6215337B2 (ja) 適応型スケールおよび/または重力推定
US20200404178A1 (en) Video image anti-shake method and terminal
CN112229424B (zh) 视觉惯性系统的参数标定方法及装置、电子设备和介质
CN112414400B (zh) 一种信息处理方法、装置、电子设备和存储介质
US11218636B2 (en) Image stabilization for electronic devices such as cameras
WO2018143360A1 (ja) 相対位置検出システム及び画像表示システム
KR101525224B1 (ko) 자동촬영모드를 가지는 휴대용 단말기
WO2016084775A1 (ja) 撮像装置及び焦点調節方法
JP6364559B2 (ja) 像ぶれ補正装置、レンズ装置及び撮像装置
CN112308878A (zh) 一种信息处理方法、装置、电子设备和存储介质
CN113574451B (zh) 摄像装置的控制装置、摄像装置、摄像装置的控制方法及存储介质
JP2023098136A (ja) 制御装置、撮像装置、制御方法、制御プログラム
JP2024003460A (ja) 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法
CN118138881A (zh) 图像处理方法、装置、电子设备及存储介质
CN112771445A (zh) 摄像装置
JP2014216744A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170419

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170419

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171002

R150 Certificate of patent or registration of utility model

Ref document number: 6220992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250