JP7324284B2 - 撮像デバイス、手ぶれ補正デバイス、撮像方法及び手ぶれ補正方法 - Google Patents

Description

本発明は、ハンドシェイク等の振動による画像のぼけを補正する機構を有する撮像デバイス、手ぶれ補正デバイス、撮像方法、及び手ぶれ補正方法に関する。

光学式手ぶれ補正（ＯＩＳ）と電子式手ぶれ補正（ＥＩＳ）が、画像のぼけを補正するのための手ぶれ補正（ＩＳ）技術として知られている。光学式手ぶれ補正は、ジャイロセンサによってカメラ等の撮像デバイスの振動を検出することによって画像のぼけを補正し、手ぶれ補正は、振動によって引き起こされる動きをキャンセルするようにレンズを移動することによって行われる。一方、電子式手ぶれ補正（ＥＩＳ）は、ジャイロセンサによって検出された動きの量をキャンセルするように、画像センサの画像キャプチャ範囲をシフトすることによって画像のぼけを補正する。

上記の光学式手ぶれ補正と電子式手ぶれ補正の両方を使用するハイブリッド手ぶれ補正システムの一形態は、ＯＩＳ側で振動補正を行い、その移動量をＥＩＳ側に渡し、残渣をＥＩＳで処理するシステムである。

本発明の目的は、各周波数帯域に対するハイブリッド手ぶれ補正システムにおいて、光学式手ぶれ補正及び電子式手ぶれ補正を効果的に適用することができる、撮像デバイス、手ぶれ補正デバイス、撮像方法及び手ぶれ補正方法を提供することである。

第１の態様は、撮像デバイスであって、
撮像ユニットであって、
撮像デバイスの振動を検出し、検出信号を出力する振動検出ユニットと、
ハイパスフィルタ（ＨＰＦ）及びローパスフィルタ（ＬＰＦ）を含み、振動検出ユニットから出力される検出信号を高周波振動信号と低周波振動信号に分離する信号プロセッサと、
信号プロセッサによって分離された高周波振動信号に基づいて光学式手ぶれ補正を行う第１の補正ユニットと、
信号プロセッサによって分離された低周波振動信号に基づいて電子式手ぶれ補正を行う第２の補正ユニットと、を含む撮像ユニットと、
第１の補正ユニット及び／又は第２の補正ユニットによって補正された画像を処理する画像プロセッサと、を含み、
信号プロセッサは、周波数帯域において、ＨＰＦ及びＬＰＦのカットオフ周波数を可変的に設定するカットオフ周波数コントローラを含む、撮像デバイスを提供する。

第１の態様は、光学式手ぶれ補正及び電子式手ぶれ補正を効果的に適用する撮像デバイスを提供することができる。

第１の態様の第１の可能な実施態様によれば、ＨＰＦ及びＬＰＦのカットオフ周波数は、互いに同一である。

第１の態様又は第１の態様の第１の可能な実施態様において、第１の態様の第２の可能な実施態様によれば、カットオフ周波数は、検出信号の制御帯域に含まれる。

第１の態様又は第１の態様の第１若しくは第２の可能な実施態様において、第１の態様の第３の可能な実施態様によれば、カットオフ周波数コントローラは、周囲の明るさに従ってカットオフ周波数を変更する。

第１の態様又は第１の態様の第１～第３の可能な実施態様のいずれか１つにおいて、第１の態様の第４の可能な実施態様によれば、カットオフ周波数コントローラは、露光時間に従ってカットオフ周波数を変更する。

第１の態様又は第１の態様の第１～第４の可能な実施態様のいずれか１つにおいて、第１の態様の第５の可能な実施態様によれば、撮像デバイスは、撮像デバイスがパンチルト状態にあるかどうかを判定し、判定の結果に基づいて、第１の補正ユニット及び第２の補正ユニットを動作させるパンチルト信号プロセッサをさらに含む。

第２の態様は、手ぶれ補正デバイスであって、
撮像デバイスの振動を検出し、検出信号を出力する振動検出ユニットと、
ハイパスフィルタ（ＨＰＦ）及びローパスフィルタ（ＬＰＦ）を含み、振動検出ユニットから出力された検出信号を高周波振動信号と低周波振動信号に分離する信号プロセッサと、
信号プロセッサによって分離された高周波振動信号に基づいて光学式手ぶれ補正を行う第１の補正ユニットと、
信号プロセッサによって分離された低周波振動信号に基づいて電子式手ぶれ補正を行う第２の補正ユニットと、を含み、
信号プロセッサは、周波数帯域において、ＨＰＦ及びＬＰＦのカットオフ周波数を可変的に設定するカットオフ周波数コントローラを含む、手ぶれ補正デバイスを提供する。

第２の態様は、光学式手ぶれ補正及び電子式手ぶれ補正を効果的に適用する手ぶれ補正デバイスを提供することができる。

第２の態様の第１の可能な実施態様によれば、ＨＰＦ及びＬＰＦのカットオフ周波数は互いに同一である。

第２の態様又は第２の態様の第１の可能な実施態様において、第２の態様の第２の可能な実施態様によれば、カットオフ周波数は、検出信号の制御帯域に含まれる。

第２の態様又は第２の態様の第１若しくは第２の可能な実施態様において、第２の態様の第３の可能な実施態様によれば、カットオフ周波数コントローラは、周囲の明るさに従ってカットオフ周波数を変更する。

第２の態様又は第２の態様の第１～第３の可能な実施態様のいずれか１つにおいて、第２の態様の第４の可能な実施態様によれば、カットオフ周波数コントローラは、露光時間に従ってカットオフ周波数を変更する。

第２の態様又は第２の態様の第１～第４の可能な実施態様のいずれか１つにおいて、第２の態様の第５の可能な実施態様によれば、撮像デバイスは、撮像デバイスがパンチルト状態にあるかどうかを判定し、判定の結果に基づいて、第１の補正ユニット及び第２の補正ユニットを動作させるパンチルト信号プロセッサをさらに含む。

第３の態様は、撮像デバイスにおける撮像方法であって、
撮像デバイスの振動を検出し、検出信号を出力することと、
ハイパスフィルタ（ＨＰＦ）及びローパスフィルタ（ＬＰＦ）を使用して、出力された検出信号を高周波振動信号と低周波振動信号に分離することと、
低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された高周波振動信号に基づいて光学式手ぶれ補正を行うことと、
光学式手ぶれ補正及び／又は電子式手ぶれ補正により補正された画像を処理することと、を含み、
ＨＰＦ及びＬＰＦのカットオフ周波数は、周波数帯域において可変的に設定可能である、撮像方法を提供する。

第３の態様は、光学式手ぶれ補正及び電子式手ぶれ補正を効果的に適用する撮像方法を提供することができる。

第３の態様の第１の可能な実施態様によれば、ＨＰＦ及びＬＰＦのカットオフ周波数は、互いに同一である。

第３の態様又は第３の態様の第１の可能な実施態様において、第３の態様の第２の可能な実施態様によれば、カットオフ周波数は、検出信号の制御帯域に含まれる。

第３の態様又は第３の態様の第１若しくは第２の可能な実施態様において、第３の態様の第３の可能な実施態様によれば、カットオフ周波数コントローラは、周囲の明るさに従ってカットオフ周波数を変更する。

第３の態様又は第３の態様の第１～第３の可能な実施態様のいずれか１つにおいて、第３の態様の第４の可能な実施態様によれば、カットオフ周波数コントローラは、露光時間に従ってカットオフ周波数を変更する。

第３の態様又第３の態様の第１～第４の可能な実施態様のいずれか１つにおいて、第３の態様の第５の可能な実施態様によれば、低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された高周波振動信号に基づいて光学式手ぶれ補正を行うことは、撮像デバイスがパンチルト状態にあるかどうかの判定の結果に応じて実行される。

第４の態様は、手ぶれ補正方法であって、
撮像デバイスの振動を検出し、検出信号を出力することと、
ハイパスフィルタ（ＨＰＦ）及びローパスフィルタ（ＬＰＦ）を使用して、出力された検出信号を高周波振動信号と低周波振動信号に分離することと、
低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された高周波振動信号に基づいて光学式手ぶれ補正を行うことと、を含み、
ＨＰＦ及びＬＰＦのカットオフ周波数は、周波数帯域において可変的に設定可能である、手ぶれ補正方法を提供する。

第４の態様は、光学式手ぶれ補正と電子式手ぶれ補正を効果的に適用する手ぶれ補正方法を提供することができる。

第４の態様の第１の可能な実施態様によれば、ＨＰＦ及びＬＰＦのカットオフ周波数は、互いに同一である。

第４の態様又は第４の態様の第１の可能な実施態様において、第４の態様の第２の可能な実施態様によれば、カットオフ周波数は、検出信号の制御帯域に含まれる。

第４の態様又は第４の態様の第１若しくは第２の可能な実施態様において、第４の態様の第３の可能な実施態様によれば、カットオフ周波数コントローラは、周囲の明るさに従ってカットオフ周波数を変更する。

第４の態様又は第４の態様の第１～第３の可能な実施態様のいずれか１つにおいて、第４の態様の第４の態様の可能な実施態様によれば、カットオフ周波数コントローラは、露光時間に従ってカットオフ周波数を変更する。

第４の態様又は第４の態様の第１～第４の可能な実施態様のいずれか１つにおいて、第４の態様の第５の可能な実施態様によれば、低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された高周波振動信号に基づいて光学式手ぶれ補正を行うことは、撮像デバイスがパンチルト状態にあるかどうかの判定の結果に応じて実行される。

実施形態における技術的解決策をより明確に説明するために、以下、実施形態を説明するために必要な添付の図面を簡単に説明する。明らかに、以下の説明における添付の図面は、可能な実施形態の一部のみを示しており、当業者であれば、これら添付の図面から、創造的努力なしに、他の図面を依然として導出することがある。

本開示の一実施形態による撮像デバイスの機能構成を示す図である。 本開示の一実施形態による手ぶれ補正ユニットの構成を示す図である。 光学式手ぶれ補正を説明するための図である。 電子式手ぶれ補正を説明するための図である。 手ぶれ補正デバイスの動作手順を示すフローチャートである。 本開示の一実施形態によるカットオフ周波数の設定を説明するための図である。 本開示の一実施形態によるカットオフ周波数の設定を説明するための図である。 本開示の一実施形態による手ぶれ補正ユニットの構成を示す図である。 本開示の一実施形態による撮像デバイスが実施されるスマートフォンの概略構成を示す図である。 本開示の一実施形態による手ぶれ補正ユニットの構成を示す図である。

当業者に本開示の技術的解決策をより良く理解させるために、以下、本開示の実施形態において添付図面を参照して、本開示の実施形態における技術的解決策を明確かつ完全に説明する。明らかに、説明される実施形態は、本開示の実施形態の全部ではなく、一部のみである。創造的努力なしに、本開示の実施形態に基づいて当業者が取得する他の実施形態はすべて、本発明の保護範囲に含まれるものとする。

（第１の実施形態）
図１は、本開示の一実施形態による撮像デバイス１の機能構成を示す図である。図１に示すように、撮像デバイス１は、撮像ユニット２と、画像のぼけ補正を通じて補正された画像を処理する画像プロセッサ３と、を含む。撮像ユニット２は、画像のぼけを補正するための手ぶれ補正ユニット１００を含む。この手ぶれ補正ユニット１００の構成は、図２等を参照して後ほど詳細に説明する。

さらに、撮像デバイス１は、表示ユニット４と、記憶ユニット５と、入力ユニット６とを含み、これらの構成要素が互いに通信できるように構成されている。撮像デバイス１は、スマートフォン、デジタルカメラ、パーソナルデジタルアシスタント、ゲームデバイス等の電子デバイスとして構成されていてもよい。

撮像ユニット２は、レンズと、オートフォーカス（ＡＦ）機構と、手ぶれ補正機構と、を有するレンズユニットを含むように構成されており、レンズを通じて画像センサ上に形成された光学像に従って電荷を蓄積する。撮像ユニット２は、蓄積された電荷を電圧に変換し、変換された電圧に対して所定の信号処理を行い、信号処理を通じて得られた信号を画像プロセッサ３に出力する。ここで行われる信号処理は、光学式手ぶれ補正又は電子式手ぶれ補正に基づく手ぶれ補正、自動ホワイトバランス処理、自動露光処理、ノイズ低減等の様々な種類の信号処理を含んでもよい。手ぶれ補正ユニット１００は、例えば、中央処理ユニット（ＣＰＵ）のようなプロセッサによって構成されていてもよい。

画像プロセッサ３は、撮像ユニット２から出力された信号を使用して画像処理を実行する。画像プロセッサ３によって実行される画像処理は、例えば、撮像ユニット２から出力された信号に対するデモザイク処理、表示ユニット４への画像データの表示制御、記憶ユニット５への画像データの記憶を含んでもよい。画像プロセッサ３は、例えば、画像信号プロセッサ（ＩＳＰ）として構成されていてもよい。

表示ユニット４は、画像プロセッサ３の制御下で画像を表示する表示デバイスである。表示ユニット４は、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ディスプレイ（ＯＥＣＤ）等で構成されていてもよい。

記憶ユニット５は、撮像ユニット２によってキャプチャされ、画像プロセッサ３による画像処理を受けた画像を記憶する。記憶ユニット５によって記憶された画像は、撮像デバイス１に対するユーザの操作に従って表示ユニット４に表示されてもよい。記憶ユニット５は、揮発性メモリ、ランダム・アクセス・メモリ（ＲＡＭ）及び／又は不揮発性メモリ、例えばフラッシュ・メモリ等のコンピュータ可読記憶媒体の形態を含んでもよい。

コンピュータ可読記憶媒体は、任意の方法又は技術を使用して情報を記憶してもよい揮発性又は不揮発性のタイプ、取り外し可能又は非取り外し可能の媒体を含んでもよい。情報は、コンピュータ読取可能な命令、データ構造、プログラムモジュール、又は他のデータを含んでもよい。

入力ユニット６は、撮像デバイス１にユーザ命令や画像データを入力するように構成されている。具体的には、入力ユニット６は、タッチパネル、スイッチ、及びボタン等で構成されている。ユーザ命令は、像のキャプチャ、画像データの編集、記録、削除等を含む。入力ユニット６は、パーソナルコンピュータ等の別の電子デバイスとデータをやり取りするための通信インタフェースとして構成されていてもよい。この場合、別の電子デバイスからのユーザ命令及びデータの入力が実行される。

次に、図２を参照して、本実施形態による手ぶれ補正ユニット１００の構成を説明する。

手ぶれ補正ユニット１００は、
撮像デバイス１の振動を検出し、検出信号を出力する振動検出ユニットとしてのジャイロセンサ１０２と、
ローパスフィルタ（ＬＰＦ）１０６及びハイパスフィルタ（ＨＰＦ）１０８を含み、ジャイロセンサ１０２から出力された検出信号を高周波振動信号と低周波振動信号に分離する信号プロセッサ１０４と、
信号プロセッサ１０４によって分離された高周波振動信号に基づいて、光学式手ぶれ補正を行う第１の補正ユニットとしての光学式手ぶれ補正（ＯＩＳ）信号プロセッサ１１０と、
信号プロセッサ１０４によって分離された低周波振動信号に基づいて、電子式手ぶれ補正を行う第２の補正ユニットとしての電子式手ぶれ補正（ＥＩＳ）信号プロセッサ１１２、とを含むように構成されている。

手ぶれ補正ユニット１００は、ドライバ（ＤＲＶ）１１４、レンズユニット１１５、アクチュエータ１１６、及び画像センサ１１７を含むようにさらに構成されている。以下、これらの構成要素の各々について説明する。

ジャイロセンサ１０２は、角速度を測定することによって撮像デバイス１の姿勢を検出し、検出した信号を出力する、すなわち、振動検出ユニットとして機能する。

信号プロセッサ１０４は、ローパスフィルタ１０６と、ハイパスフィルタ１０８と、カットオフ周波数（ｆｃ）コントローラ１０９と、を含む。ローパスフィルタ１０６は、検出信号における低周波振動信号を通過させるフィルタ処理プロセスを行う。ハイパスフィルタ１０８は、検出信号における高周波振動信号を通過させるフィルタ処理プロセスを行う。カットオフ周波数（ｆｃ）コントローラ１０９は、ローパスフィルタ１０６及びハイパスフィルタ１０８のカットオフ周波数を設定及び変更するための制御を行う。

ＯＩＳ信号プロセッサ１１０は、アクチュエータ１１６を制御するための駆動信号をドライバ１１４に出力する。ドライバ１１４は、ＯＩＳ信号プロセッサ１１０からの駆動信号に従ってアクチュエータ１１６を駆動する。ＥＩＳ信号プロセッサ１１２は、キャプチャされた画像のぼけを補正する。レンズユニット１１５は、ドライバ１１４の制御下で動作し、画像センサ１１７上に光学像を形成する。

次に、図３を参照して、ＯＩＳ信号プロセッサ１１０によって行われる光学式手ぶれ補正を説明する。図において、レンズユニット１１５は、焦点レンズ１１５－１と、補正レンズ１１５－２と、別のレンズ１１５－３と、を含む。被写体が配置された図の左側から入射する光線は、実線で示された軸３０１に沿って焦点レンズ１１５－１、補正レンズ１１５－２、及び別のレンズ１１５－３を通過し、画像センサ１１７上に光学像を形成する。撮像デバイス１の姿勢が傾斜し、光線が破線で示された軸３０１´に沿って進入し、光線の到達点は、光線が到達するはずの画像センサ１１７上の点Ｐから点Ｐ´にシフトされるときに、このシフトはハンドシェイクとなる。このシフトは、ドライバ１１４に、矢印Ａによって示される上下方向、又は矢印Ｂによって示されるシートの表面に対する垂直方向に補正レンズ１１５－２を移動させることによって相殺される。

次に、図４を参照して、ＥＩＳ信号プロセッサ１１２によって行われる電子式手ぶれ補正について説明する。ＥＩＳは、ジャイロセンサ１０２によって検出された撮像デバイス１の姿勢情報に基づいて、フレーム間画像処理を通じて実行される手ぶれ補正であり、フレーム単位で動画等における連続する画像データをシフトさせることによって補正を行う。図４に示すように、画像センサ１１７からフレーム４０２、４０４、４０６の順に画像が出力されるときに、ＥＩＳ信号プロセッサ１１２は、画像４０８のぼけを補正するために、姿勢情報に基づいて、フレーム４０２に対するフレーム４０４とフレーム４０６の相対位置をシフトする。ＯＩＳのようなＥＩＳは、スマートフォン等に搭載されたカメラに実施される技術である。

前述のＯＩＳ及びＥＩＳに関して、第一に、ハンドシェイク振動は、一般に、低周波において大きな振幅を有し、高周波において小さな振幅を有する傾向がある。

ＯＩＳは撮像時に手ぶれ補正を行うための技術であるため、露光時間に依存することなく、本質的に手ぶれ補正を効果的に行うことができる。しかし、ＯＩＳはレンズを物理的に移動させる機構を使用するため、レンズの可動範囲はこの機構の大きさによって制限される。したがって、ＯＩＳが比較的大きなハンドシェイクに対処することを可能にするための機構を実施することは実用的ではない。一方、ＯＩＳとは異なり、ＥＩＳは物理的なメカニズムによる制約を受けないため、ＥＩＳは低周波領域における大きなハンドシェイクに対処するために手ぶれ補正を行うことができるようになっている。しかし、ＣＭＯＳセンサを画像センサとして使用する撮像デバイスの場合、被写体のハンドシェイクや速い動きによって、キャプチャされた画像が変形するローリングシャッタと呼ばれる現象が発生することがある。この現象は、画像化されるべきライン毎の露光開始タイミングが異なるために、画像の１フレーム内でぼけが発生することに起因する。このように、画像の１フレーム内でぼけが発生するときに、ＥＩＳがそれ自体で手ぶれ補正を行うことは容易ではない。被写体のハンドシェイクや速い動きは、高周波帯で起こりやすい。したがって、ＥＩＳは、本質的に、高周波領域において性能が悪くなりやすい。

以上から、本実施形態によれば、ジャイロセンサ１０２によるハンドシェイクの検出信号を高周波信号と低周波信号に分離し、低周波信号に基づく手ぶれ補正をＥＩＳで実行しながら、高周波信号に基づく手ぶれ補正をＯＩＳで実行する。

次に、図５のフローチャートを参照して、手ぶれ補正ユニット１００における動作手順を説明する。

ステップＳ５０２では、撮像デバイス１の振動が検出され、検出信号が出力される。撮像デバイス１の姿勢におけるハンドシェイクに起因する変化に基づく振動に関する情報は、ジャイロセンサ１０２によって検出される。ジャイロセンサ１０２からの検出信号は、信号プロセッサ１０４に出力される。

ステップＳ５０４では、ハイパスフィルタ１０８及びローパスフィルタ１０６を使用して、出力検出信号が高周波信号及び低周波信号に分離される。ジャイロセンサ１０２からの検出信号は、ローパスフィルタ１０６によって処理され、低周波振動信号を生成する。この処理と並列に、信号プロセッサ１０４への信号入力は、ハイパスフィルタ１０８によって処理され、高周波振動信号を生成する。カットオフ周波数（ｆｃ）コントローラ１０９によって設定されるハイパスフィルタ１０８及びローパスフィルタ１０６のカットオフ周波数は、周波数帯域において可変的に設定可能である。

ステップＳ５０６では、ＥＩＳによる手ぶれ補正が、分離された低周波振動信号に基づいて行わる一方で、ＯＩＳによる手ぶれ補正が、分離された高周波振動信号に基づいて行われる。ハイパスフィルタ１０８から出力される高周波振動信号は、ＯＩＳ信号プロセッサ１１０によって処理される。この信号は、ドライバ１１４に入力され、ドライバ１１４は、アクチュエータ１１６を駆動するための信号にその入力信号を変換する。レンズユニット１１５は、アクチュエータ１１６によって動かされるように制御され、高周波振動によって生成された画像のぼけを相殺する。

一方、ローパスフィルタ１０６から出力される低周波振動信号は、ＥＩＳ信号プロセッサ１１２に入力される。ＥＩＳ信号プロセッサ１１２は、入力信号に基づいて画像センサ１１７から提供された動画データの複数のフレームを処理して、画像を補正する。次に、ＥＩＳ信号プロセッサ１１２によって行われた手ぶれ補正を受けた動画データが、画像プロセッサ３に出力される。

次に、ステップＳ５０８では、ＯＩＳ及び／又はＥＩＳによって補正された画像が処理される。画像プロセッサ３は、入力信号に対するデモザイク処理、表示ユニット４への画像データの表示制御、記憶ユニット５への画像データの記憶等の様々な種類の処理を行う。

前述の動作によれば、ジャイロセンサ１０２から出力された信号は、ハイパスフィルタ１０８によって処理されて、制御帯域内の高周波領域における信号を生成し、この信号は、ＯＩＳ信号処理に使用される。

さらに、ジャイロセンサ１０２から出力された信号は、ローパスフィルタ１０６によって処理されて、制御帯域の低周波領域における信号を生成し、この信号は、ＥＩＳ信号処理に使用される。

次に、図６、図７を参照して、本実施形態によるカットオフ周波数（ｆｃ）の設定を説明する。

図６は、ローパスフィルタ１０６及びハイパスフィルタ１０８のカットオフ周波数の一例を示す図である。図６において、ローパスフィルタ１０６のカットオフ周波数は、ハイパスフィルタ１０８のカットオフ周波数と一致する。これにより、手ぶれ補正処理の周波数特性を完全にフラット化することができます。すなわち、手ぶれ補正は、検出信号の全制御帯域にわたってシームレスに行うことができる。図７は、カットオフ周波数の設定位置の別の例を示す。図７において、ローパスフィルタ１０６のカットオフ周波数はハイパスフィルタ１０８のカットオフ周波数と一致する。図６及び図７に示すように、カットオフ周波数は望ましくは制御帯域内に設定されるべきである。

本実施形態では、高周波振動信号及び低周波振動信号のカットオフ周波数を周波数帯域において可変的に設定され得る。信号プロセッサ１０４は、撮像デバイスの周囲の明るさやハンドシェイク振動の振幅を検出し、検出結果に従ってカットオフ周波数ｆｃの値を設定する。この制御は、カットオフ周波数（ｆｃ）コントローラ１０９において以下の動作を実行するためのアルゴリズムの実施を介して実行される。

ジャイロセンサ１０２からの検出信号に基づいて判定において、ハンドシェイク振動の振幅が特定の値未満であるときに、カットオフ周波数（ｆｃ）コントローラ１０９は、ＯＩＳベースの手ぶれ補正が実施可能であると判定し、カットオフ周波数を制御帯域の下限付近まで低減する。このような制御の実行は、露光時間に依存することなく、ＯＩＳベースの手ぶれ補正を実施することができる。

一方、ジャイロセンサ１０２からの検出信号に基づいた判定において、ハンドシェイク振動の振幅がその特定の値以上であるときに、カットオフ周波数（ｆｃ）コントローラ１０９は、ＯＩＳベースの手振れ補正が実施可能である範囲から状態が外れていると判定する。次に、カットオフ周波数（ｆｃ）コントローラ１０９は、カットオフ周波数ｆｃを制御帯域内の高周波側にシフトさせる。すなわち、カットオフ周波数（ｆｃ）コントローラ１０９はカットオフ周波数ｆｃを設定し、ＯＩＳが特定の値未満の振幅を有する周波数帯域に適用されるようにする。このような制御の実行は、ＯＩＳが比較的小さな振幅を有する高周波数のみを補正することを可能にし、ＥＩＳが大きな振幅と低周波ハンドシェイク振動に対処することを可能にする。

また、暗い環境下での撮像により露光時間が長くなり、露光時間中にハンドシェイク振動が発生するときに、カットオフ周波数ｆｃを制御周波数帯域の下限付近に設定し、振幅の大きさに関係なくＯＩＳベースの手ぶれ補正を実施するようにする。ＯＩＳベースの手ぶれ補正を行うためのカットオフ周波数ｆｃは、露光時間が特定の値より長いかどうかに関する判定に従って設定されてもよい。代替的には、撮像デバイスに、周辺環境の明るさを測定する測定ユニットが設けられて、測定ユニットで測定された明るさが特定の値未満であるかどうかに応じて、カットオフ周波数ｆｃが設定されてもよい。

（第２の実施形態）
次に、図８を参照して本開示の第２の実施形態を説明する。図８は、本実施形態による手ぶれ補正ユニット７００の機能構成を示す。手ぶれ補正ユニット７００は、図２に示す構成に加速度計１１８が追加された点で手ぶれ補正ユニット１００と異なる。図８に示す他の構成要素は、それぞれ同じ参照符号を有する図２における構成要素と同じ機能を有するため、構成要素の詳細な説明は省略する。

加速度計１１８は、信号プロセッサ１０４に接続され、撮像デバイス１の振動を検出し、検出信号を信号プロセッサ１０４に出力する。本実施形態では、ジャイロセンサ１０２及び加速度計１１８が振動検出ユニットとして機能する。信号プロセッサ１０４は、ジャイロセンサ１０２及び加速度計１１８から出力された検出信号を処理する。

図９は、本実施形態による撮像デバイスが実施されるスマートフォン８００の概略構成を示す図である。ジャイロセンサ１０２が二軸角速度センサとして構成されているときに、ジャイロセンサ１０２は、矢印８０１によって示されるＸ軸（ピッチ）を中心とした回転、及び矢印８０２によって示されるＹ軸（ヨー）を中心とした回転を検出する。ジャイロセンサ１０２が三軸角速度センサとして構成されているときに、ジャイロセンサ１０２は、矢印８０５によって示されるＺ軸（ロール）を中心とした回転をさらに検出する。本実施形態では、加速度計１１８を使用することにより、撮像デバイスの平行移動の検出をさらに保証する。したがって、図９の矢印８０３によって示されるＸ軸方向の移動、及び矢印８０４によって示されるＹ軸方向の移動も検出することができる。

本実施形態による手ぶれ補正ユニット７００の動作は、図５を参照して説明され得る。ステップＳ５０２では、ハンドシェイク振動に関する情報がジャイロセンサ１０２及び加速度計１１８によって検出される。ジャイロセンサ１０２及び加速度計１１８からの検出信号は、信号プロセッサ１０４に出力される。これらの信号は、信号プロセッサ１０４において結合及び処理されてもよく、又は別々に処理されてもよい。ステップＳ５０４の後の処理は、前述の実施形態の処理と同様である。

（第３の実施形態）
次に、図１０を参照して本開示の第３の実施形態を説明する。図１０は、本実施形態による手ぶれ補正ユニット９００を示す。手ぶれ補正ユニット９００は、図８に示す構成にパンチルト信号プロセッサ１２０が追加された点で手ぶれ補正ユニット７００と異なる。

ユーザが、カメラの方向を著しく変化させながら、又はカメラを任意の方向に移動させながら撮像（パンチルト）を行うときに、撮像デバイスは、パンチルトをハンドシェイクとして誤って認識する可能性がある。この場合、手ぶれ補正デバイスは、ハンドシェイクとしてパンチルトを考慮して手ぶれ補正を行う。その結果、手ぶれ補正は、画面が一時的に安定した状態で静止しようとするが、安定化動作が制御可能な移動範囲を超えたときに、急に不安定な状態に戻るようなビデオ画像を提供する。したがって、撮像デバイス１の振動が検出されると、パンチルト信号プロセッサ１２０は、振動がハンドシェイクであるかパンチルトであるかを判定する。以下、パンチルト撮像中の撮像デバイスの状態をパンチルト状態と呼ぶ。

パンチルト信号プロセッサ１２０は、信号プロセッサ１０４から検出信号を受信するように構成されている。ここで受信される信号は、フィルタ処理されていない検出信号であってもよいし、ローパスフィルタ１０６又はハイパスフィルタ１０８においてフィルタ処理を受けた検出信号であってもよい。例えば、ユーザの右側の景観を撮影しているユーザが、ユーザの左側の人物を撮影しようとしたときに、ユーザは、撮像デバイス１の方向を水平方向に著しく変化させることがある。この場合、パンチルト信号プロセッサ１２０は、撮像デバイスの状態がパンチルト状態であると判定する。代替的には、パノラマ撮影のためにカメラの方向を１８０°又は３６０°の範囲に回転させてもよく、その場合、パンチルト信号プロセッサ１２０は、撮像デバイスの状態がパンチルト状態であることも判定する。

具体的には、パンチルト信号プロセッサ１２０は、手ぶれ補正により補正可能な回転範囲を示す値を第１の指定値として保持する。パンチルト信号プロセッサ１２０は、パンチルト状態を終了し、手ぶれ補正を再開するための値を第２の指定値としてさらに保持する。Ｘ軸又はＹ軸を中心とした回転を示すジャイロセンサ１０２から出力された検出信号における検出信号が第１の指定値以上になるときに、パンチルト信号プロセッサ１２０は、撮像デバイスの状態がパンチルト状態であると判定する。パンチルト信号プロセッサ１２０は、ＯＩＳ信号プロセッサ１１０及びＥＩＳ信号プロセッサ１１２に手ぶれ補正の停止を命令する信号を出力する。その結果、ＯＩＳ信号プロセッサ１１０及びＥＩＳ信号プロセッサ１１２による手ぶれ補正が停止され、レンズユニット１１５の補正レンズ１１５－２が元の位置（中央）に戻るようにする。このようにして、ＯＩＳ及びＥＩＳは、撮像デバイス１がパンチルト状態である場合を除いて実行される。

また、手ぶれ補正が停止された時点で、パンチルト信号プロセッサ１２０は、信号プロセッサ１０４に対し、ローパスフィルタ１０６及びハイパスフィルタ１０８によるフィルタ処理を行わないように命令してもよい。

Ｘ軸又はＹ軸を中心とした回転を示す検出信号が、第２の指定値以下になるときに、パンチルト信号プロセッサ１２０は、パンチルト状態が終了したと判定する。パンチルト信号プロセッサ１２０は、ＯＩＳ信号プロセッサ１１０及びＥＩＳ信号プロセッサ１１２に手ぶれ補正の開始を命令する信号を出力する。その結果、ＯＩＳ信号プロセッサ１１０及びＥＩＳ信号プロセッサ１１２による手ぶれ補正が再開する。

第２の指定値は、第１の指定値より大きい値に設定されてもよい。

手ぶれ補正が再開される時点で、パンチルト信号プロセッサ１２０は、信号プロセッサ１０４に対して、ローパスフィルタ１０６及びハイパスフィルタ１０８によって停止されているフィルタ処理を再開するように命令してもよい。

本実施形態では、ローパスフィルタ１０６及びハイパスフィルタ１０８のカットオフ周波数は、パンチルト信号プロセッサ１２０から出力された信号又はこの信号に基づいて判定される状況に基づいて、周波数帯域内で可変的に設定され得る。

例えば、ＯＩＳ又はＥＩＳが現在可動範囲の限界にどれだけ近づいているかの状況の判定に基づいて、カットオフ周波数がパンチルト信号プロセッサ１２０によって設定又は変更される。撮像デバイスの状態がジャイロセンサ１０２からの検出信号に基づく判定においてパンチルト状態であるときに、パンチルト信号プロセッサ１２０は、カットオフ周波数（ｆｃ）コントローラ１０９に対してカットオフ周波数ｆｃを制御帯域内の高周波側にシフトさせるように命令する。すなわち、カットオフ周波数ｆｃは、指定値未満の振幅を有する周波数帯域にＯＩＳを適用するように設定される。このような制御は、ＯＩＳが比較的小さな振幅を有する高周波数のみを補正することを可能にし、ＥＩＳが大きい振幅及び低周波ハンドシェイク振動に対処することを可能にする。

ＥＩＳは、例として、前述の実施形態では電子式手ぶれ補正として説明されてきたが、デジタル手ぶれ補正（ＤＩＳ）が、ＥＩＳの代わりに、又はＥＩＳと共に使用されてもよい。ＤＩＳの場合には、画像センサからのビデオ画像のキャプチャ範囲をシフトさせて、連続的に撮影された複数の画像を互いに比較して、撮影された画像の振動に起因する偏差を判定し、判定された偏差に基づいて複数の画像データの領域をシフトさせることにより、手ぶれ補正を実施する。

前述の説明は、単に本発明の具体的な実施方法に過ぎないが、本発明の保護範囲を限定することを意図したものではない。開示された技術的範囲内の当業者によって容易に解明された変更又は代替は、本発明の保護範囲に含まれる。したがって、本発明の保護範囲は、請求項の保護範囲に従うものとする。

Claims (12)

1. 撮像デバイスであって、
   撮像ユニットであって、
   前記撮像デバイスの振動を検出し、検出信号を出力する振動検出ユニットと、
   ハイパスフィルタ（ＨＰＦ）及びローパスフィルタ（ＬＰＦ）を含み、前記振動検出ユニットから出力される前記検出信号を高周波振動信号と低周波振動信号に分離する信号プロセッサであって、前記検出信号に基づいて前記振動の振幅を検出する信号プロセッサと、
   前記信号プロセッサによって分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行う第１の補正ユニットと、
   前記信号プロセッサによって分離された前記低周波振動信号に基づいて電子式手ぶれ補正を行う第２の補正ユニットと、を含む撮像ユニットと、
   前記第１の補正ユニット及び／又は前記第２の補正ユニットによって補正された画像を処理する画像プロセッサと、を含み、
   前記信号プロセッサは、前記検出信号の制御帯域内の周波数帯域において、前記ＨＰＦ及び前記ＬＰＦのカットオフ周波数を可変的に設定するカットオフ周波数コントローラを含み、
   前記振動の振幅が第１の特定の値未満であるときに、前記カットオフ周波数は前記制御帯域の下限付近まで低減され、
   前記カットオフ周波数コントローラは、周囲の明るさに応じて前記カットオフ周波数を変更し、
   前記周囲の明るさが第２の特定の値未満であるときに、前記振動の振幅の大きさによらず、前記カットオフ周波数は前記制御帯域の下限付近まで低減される、撮像デバイス。
2. 前記ＨＰＦ及び前記ＬＰＦの前記カットオフ周波数は互いに同一である、請求項１に記載の撮像デバイス。
3. 前記撮像デバイスがパンチルト状態にあるかどうかを判定し、前記判定の結果に基づいて、前記第１の補正ユニット及び前記第２の補正ユニットを動作させるパンチルト信号プロセッサをさらに含む、請求項１又は２に記載の撮像デバイス。
4. 手ぶれ補正デバイスであって、
   撮像デバイスの振動を検出し、検出信号を出力する振動検出ユニットと、
   ハイパスフィルタ（ＨＰＦ）及びローパスフィルタ（ＬＰＦ）を含み、前記振動検出ユニットから出力された前記検出信号を高周波振動信号と低周波振動信号に分離する信号プロセッサであって、前記検出信号に基づいて前記振動の振幅を検出する信号プロセッサと、
   前記信号プロセッサによって分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行う第１の補正ユニットと、
   前記信号プロセッサによって分離された前記低周波振動信号に基づいて電子式手ぶれ補正を行う第２の補正ユニットと、を含み、
   前記信号プロセッサは、前記検出信号の制御帯域内の周波数帯域において、前記ＨＰＦ及び前記ＬＰＦのカットオフ周波数を可変的に設定するカットオフ周波数コントローラを含み、
   前記振動の振幅が第１の特定の値未満であるときに、前記カットオフ周波数は前記制御帯域の下限付近まで低減され、
   前記カットオフ周波数コントローラは、周囲の明るさに応じて前記カットオフ周波数を変更し、
   前記周囲の明るさが第２の特定の値未満であるときに、前記振動の振幅の大きさによらず、前記カットオフ周波数は前記制御帯域の下限付近まで低減される、手ぶれ補正デバイス。
5. 前記ＨＰＦ及び前記ＬＰＦの前記カットオフ周波数は互いに同一である、請求項４に記載の手ぶれ補正デバイス。
6. 前記撮像デバイスがパンチルト状態にあるかどうかを判定し、前記判定の結果に基づいて、前記第１の補正ユニット及び前記第２の補正ユニットを動作させるパンチルト信号プロセッサをさらに含む、請求項４又は５に記載の手ぶれ補正デバイス。
7. 撮像デバイスにおける撮像方法であって、
   前記撮像デバイスの振動を検出し、検出信号を出力することと、
   ハイパスフィルタ（ＨＰＦ）及びローパスフィルタ（ＬＰＦ）を使用して、出力された前記検出信号を高周波振動信号と低周波振動信号に分離することと、
   前記検出信号に基づいて前記振動の振幅を検出することと、
   前記低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行うことと、
   前記光学式手ぶれ補正及び／又は前記電子式手ぶれ補正により補正された画像を処理することと、を含み、
   前記ＨＰＦ及び前記ＬＰＦのカットオフ周波数は、前記検出信号の制御帯域内の周波数帯域において可変的に設定可能であり、
   前記振動の振幅が第１の特定の値未満であるときに、前記カットオフ周波数は前記制御帯域の下限付近まで低減され、
   前記カットオフ周波数は、周囲の明るさに応じて可変的に設定可能であり、
   前記周囲の明るさが第２の特定の値未満であるときに、前記振動の振幅の大きさによらず、前記カットオフ周波数は前記制御帯域の下限付近まで低減される、撮像方法。
8. 前記ＨＰＦ及び前記ＬＰＦの前記カットオフ周波数は互いに同一である、請求項７に記載の撮像方法。
9. 前記低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行うことは、前記撮像デバイスがパンチルト状態にあるかどうかの判定の結果に応じて実行される、請求項７又は８に記載の撮像方法。
10. 手ぶれ補正方法であって、
    撮像デバイスの振動を検出し、検出信号を出力することと、
    ハイパスフィルタ（ＨＰＦ）及びローパスフィルタ（ＬＰＦ）を使用して、出力された前記検出信号を高周波振動信号と低周波振動信号に分離することと、
    前記検出信号に基づいて前記振動の振幅を検出することと、
    前記低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行うことと、を含み、
    前記ＨＰＦ及び前記ＬＰＦのカットオフ周波数は、前記検出信号の制御帯域内の周波数帯域において可変的に設定可能であり、
    前記振動の振幅が第１の特定の値未満であるときに、前記カットオフ周波数は前記制御帯域の下限付近まで低減され、
    前記カットオフ周波数は、周囲の明るさに応じて可変的に設定可能であり、
    前記周囲の明るさが第２の特定の値未満であるときに、前記振動の振幅の大きさによらず、前記カットオフ周波数は前記制御帯域の下限付近まで低減される、手ぶれ補正方法。
11. 前記ＨＰＦ及び前記ＬＰＦの前記カットオフ周波数は互いに同一である、請求項１０に記載の手ぶれ補正方法。
12. 前記低周波振動信号に基づいて電子式手ぶれ補正を行う一方で、分離された前記高周波振動信号に基づいて光学式手ぶれ補正を行うことは、前記撮像デバイスがパンチルト状態にあるかどうかの判定の結果に応じて実行される、請求項１０又は１１に記載の手ぶれ補正方法。
    

Images