JP6640620B2

JP6640620B2 - 画像安定化装置、画像安定化方法及び電子機器

Info

Publication number: JP6640620B2
Application number: JP2016053247A
Authority: JP
Inventors: 倉田　徹; 徹倉田
Original assignee: Sony Mobile Communications Inc
Current assignee: Sony Corp
Priority date: 2016-03-17
Filing date: 2016-03-17
Publication date: 2020-02-05
Anticipated expiration: 2036-03-17
Also published as: US20170272656A1; US10298847B2; EP3220624B1; EP3220624A1; JP2017169074A; EP3220624B8

Description

本開示は、画像安定化装置、画像安定化方法及び電子機器に関する。

撮像者が撮像装置を手で持った状態で撮像装置が撮像処理を実行すると、手振れにより画像の乱れが生じうる。そのために撮像装置には手振れ補正機能が備えられている。この手振れ補正の方式には、一般に、光学式（ＯＩＳ：ＯｐｔｉｃａｌＩｍａｇｅＳｔａｂｉｌｉｚａｔｉｏｎ）と電子式（ＥＩＳ：ＥｌｅｃｔｒｉｃａｌＩｍａｇｅＳｔａｂｉｌｉｚａｔｉｏｎ）の２つの方式がある。

動画像の撮像時や、静止画像の連続撮像時には、光学式手振れ補正と電子式手振れ補正とを組み合わせた手ぶれ補正機能が用いられることがある。例えば、下記の特許文献１のように、１フレーム内での露光時間内の手振れ補正処理（面内補正）を光学式手振れ補正で、露光時間外の手振れ補正処理（面間補正）を電子式手振れ補正で行う技術がある。

特開第４６１８３７０号公報

しかし、面内補正を光学式手振れ補正で、面間補正を電子式手振れ補正で行う場合、露光時間などの撮像条件によっては、光学式手振れ補正による面内補正を好適に行えない場合がある。

そこで、本開示では、好適な手振れ補正を実現することが可能な、新規かつ改良された画像安定化装置、画像安定化方法及び電子機器を提案する。

本開示によれば、レンズを用いた光学式手振れ補正方式による第１手振れ補正処理及び撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う制御部を備え、前記制御部は、露光時間が条件を満たす場合、各フレームの開始時点において前記レンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合、前記第１手振れ補正モードと異なる第２手振れ補正モードで動作する、画像安定化装置が提供される。

また本開示によれば、露光時間が条件を満たすかどうかを判断することと、前記条件を満たす場合、各フレームの開始時点においてレンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記レンズを用いた光学式手振れ補正方式による第１手振れ補正処理を行うとともに前記露光時間外において撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合に前記第１手振れ補正モードと異なる第２手振れ補正モードで動作することと、を含む、画像安定化方法が提供される。

また本開示によれば、上記画像安定化装置を備える、電子機器が提供される。

以上説明したように本開示によれば、好適な手振れ補正を実現することが可能な、新規かつ改良された画像安定化装置、画像安定化方法及び電子機器を提供することが出来る。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。同実施の形態に係る撮像部１１の構成例を示す説明図である。同実施の形態に係るイメージセンサ１２０の構成例を示す説明図である。同実施の形態に係る撮像部１１の動作例を示す流れ図である。第１手振れ補正処理の概要を示す説明図である。第２手振れ補正処理の１番目の例の概要を示す説明図である。第１手振れ補正処理の概要をより詳細に示す説明図である。第２手振れ補正処理の１番目の例の概要をより詳細に示す説明図である。第２手振れ補正処理の２番目の例の概要をより詳細に示す説明図である。第１手振れ補正処理における電子式手振れ補正処理の一例を示す説明図である。第２手振れ補正処理の２番目の例におけるホール素子の値を参照した電子式手振れ補正処理の一例を示す説明図である。第２手振れ補正処理の３番目の例の概要を詳細に示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．概要
１．２．構成例
１．３．動作例
２．まとめ

＜１．本開示の実施の形態＞
［１．１．概要］
本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要を説明する。

上述したように、撮像者が撮像装置を手で持った状態で撮像装置が撮像処理を実行すると、手振れにより画像の乱れが生じうる。そのために撮像装置には手振れ補正機能が備えられている。この手振れ補正の方式には、一般に、光学式（ＯＩＳ）と電子式（ＥＩＳ）の２つの方式がある。ＯＩＳは、レンズやイメージセンサを移動させることで手振れを打ち消す方式であり、ＥＩＳは、移動量に応じて画像をずらして記録することで被写体の振れが無くなっているように見せる方式である。

動画像の撮像時や、静止画像の連続撮像時には、光学式手振れ補正と電子式手振れ補正とを組み合わせた手ぶれ補正機能が用いられることがある。光学式手振れ補正と電子式手振れ補正とを組み合わせる場合、光学式手振れ補正をメイン、電子式手振れ補正をサブとする考え方がある。すなわち、ジャイロセンサの信号などに従って光学式手振れ補正を常に連続して行わせ、光学式手振れ補正の補正角が足りなくなった場合や、光学式手振れ補正では補正できないロール方向の補正に限定して電子式手振れ補正を行う考え方である。

一方、１フレーム内での露光時間内の手振れ補正処理（面内補正）を光学式手振れ補正で、露光時間外の手振れ補正処理（面間補正）を電子式手振れ補正で行う技術がある。

光学式手振れ補正を面内補正、面間補正問わずにメインの手振れ補正処理として用いる場合、以下のような点を解決する必要がある。

１つ目は、光学式手振れ補正は物理的な補正であるがために、リアルタイムな制御に限定されてしまうという点である。近年、手振れ補正性能の著しい向上を果たした技術も開示されている。例えば特開２０１３−２５８４６８号公報には、時間的に未来のブレを観測して、少し後から遅延して補正する技術が開示されている。しかし、この技術を実現できるのは、リアルタイムな制御が必須の光学式手振れ補正ではなく、電子式手振れ補正だからである。

２つ目は、光学式手振れ補正には物理的な補正端があり、この補正端に達した際に、足りない補正量を電子式手振れ補正で補わなければならないが、この補正量を正確に求めることが出来ないという点である。光学式手振れ補正では、防振レンズをジャイロセンサの信号に従って制御する処理が行われる。実際には、磁力を検出するホール素子によって防振レンズの位置を観測してフィードバック制御する処理が行われている。

このフィードバック制御は、比較的長い時間であれば安定した制動が可能である。しかし、手振れのように時々刻々変化する振動時には常に不安定な挙動となり、さらには動的なホール素子の誤差、処理遅延なども有ることから、ある瞬間の防振レンズの位置を正確に取得するのは困難である。従って、補正端に達した際に、足りない補正量を電子式手振れ補正で補おうとしても、補正性能が悪くなってしまう。

一方、光学式手振れ補正と電子式手振れ補正とを、それぞれ明確に面内と面間とで振り分けた場合に、毎フレーム、露光開始前に防振レンズをセンタ位置に戻すセンタリング動作が行われる。このセンタリング動作により、上述した点は起こりにくい。電子式手振れ補正は光学式手振れ補正の影響を受けず、常にジャイロセンサからの信号に従って行えば良い。

また、センタリング動作を毎フレーム行うことで、防振レンズは、各フレームの露光の開始時点で常にセンタ位置に位置する。これにより、光学式手振れ補正による面内ブラー補正の性能が最大限発揮されるメリットがある上、ＣＭＯＳイメージセンサ特有のローリングシャッタ歪みの補正にも有利に働くというメリットがある。

しかし、暗い場所での撮像など露光時間を長く取らなければいけない場合では、センタリング動作のための時間が短くなり、露光開始前に防振レンズをセンタ位置に戻すことが困難になる。すなわち、面内補正を光学式手振れ補正で、面間補正を電子式手振れ補正で行う場合、露光時間などの撮像条件によっては、面内補正を好適に行えない場合がある。

そこで本件開示者は、上述した内容に鑑み、面内補正を光学式手振れ補正で、面間補正を電子式手振れ補正で行う場合に、好適に手振れ補正処理を行える技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、面内補正を光学式手振れ補正で、面間補正を電子式手振れ補正で行う場合に、好適に手振れ補正処理を行える技術を考案するに至った。

以上、本開示の実施の形態の概要を説明した。

［１．２．機能構成例］
続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図１は、本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。以下、図１を用いて本開示の実施の形態に係る電子機器１０の機能構成例について説明する。

図１に示したように、本開示の実施の形態に係る電子機器１０は、撮像部１１と、画像処理部１２と、表示部１３と、制御部１４と、記憶部１５と、操作部１６と、を含んで構成される。

撮像部１１は、レンズや、センサモジュール等を含んで構成され、レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積する。撮像部１１は、その蓄積された電子に応じた信号に対して所定の信号処理を行う。そして撮像部１１は、信号処理を行った後の信号を画像処理部１２に出力する。なお、撮像部１１に含まれるセンサモジュールの構成については後に詳述する。

撮像部１１は、上記所定の信号処理として、光学式手振れ補正方式または電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。

画像処理部１２は、例えばアプリケーションプロセッサ（ＡＰ）で構成され、撮像部１１から出力される信号を用いて画像処理を実行する。画像処理部１２が実行する画像処理には、例えば撮像部１１から出力される信号を用いたデモザイク処理、デモザイク処理後の画像の表示部１３への表示処理や、記憶部１５への記憶処理などがある。なお、画像処理部１２が電子式手振れ補正処理を行っても良い。

表示部１３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで構成される表示デバイスである。表示部１３は、制御部１４によって表示内容が制御される。例えば、表示部１３は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を、制御部１４の制御に基づいて表示する。

制御部１４は、例えばＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＯＭ、ＲＡＭなどで構成され、電子機器１０の各部の動作を制御する。

記憶部１５は、例えばフラッシュメモリその他の不揮発性メモリなどの記憶媒体で構成される。記憶部１５は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を記憶する。記憶部１５が記憶した画像は、電子機器１０のユーザの操作に応じて表示部１３に表示されうる。

操作部１６は、電子機器１０の操作のためのデバイスであり、例えばボタンやタッチパネルなどで構成される。操作部１６がタッチパネルを含む場合、タッチパネルは表示部１３の表示面に設けられる。電子機器１０のユーザは、撮像部１１が撮像する画像を電子機器１０に記録したい場合には、操作部１６の所定のボタンを操作することでシャッタトリガを発生させる。撮像部１１や画像処理部１２は、シャッタトリガの発生を検知すると、そのシャッタトリガの発生に応じて画像を電子機器１０に記録するための処理を実行する。

図１に示した電子機器１０は、特定の機器に限定されるものでは無く、例えばデジタルカメラ、スマートフォン、タブレット型携帯端末、携帯型音楽再生装置、ゲーム機などの様々な形態をとりうる。

以上、本開示の実施の形態に係る電子機器１０の機能構成例について説明した。続いて、本開示の実施の形態に係る電子機器１０の、撮像部１１の構成例について説明する。

図２は、本開示の実施の形態に係る撮像部１１の構成例を示す説明図である。以下、図２を用いて本開示の実施の形態に係る撮像部１１の構成例について説明する。

図２に示したように、本開示の実施の形態に係る撮像部１１は、レンズ部２０と、センサモジュール１００と、を含んで構成される。またセンサモジュール１００は、ジャイロセンサ１１０と、イメージセンサ１２０と、ドライバ１３０と、アクチュエータ１４０と、を含んで構成される。

レンズ部２０は、被写体像をイメージセンサの撮像面に結像させるためのレンズ群である。レンズ部２０は、光学式手振れ補正を行うために、アクチュエータ１４０からの信号によって位置が移動される防振レンズを含む。防振レンズは、アクチュエータ１４０からの信号により、例えば光軸に直交する２軸方向に位置が移動される。

ジャイロセンサ１１０は、電子機器１０の姿勢を検出するセンサであり、センシングデータをドライバ１３０に出力する。

イメージセンサ１２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）デバイスまたはＣＣＤ（Charge Coupled Device）で構成される。本実施形態では、イメージセンサ１２０はＣＭＯＳデバイスであるとして説明する。イメージセンサ１２０は、半導体基板上にマトリクス状に光センサが配置されており、レンズ部２０を通じた被写体像を検出して信号電荷を生成する。イメージセンサ１２０は、生成した信号電荷を、垂直信号線や水平信号線を介して読み出して、内部で信号処理を行ったり、後段の画像処理部１２に出力したりする。イメージセンサ１２０がＣＭＯＳデバイスである場合、電子シャッタとしてグローバルシャッタ及びローリングシャッタで露光制御が行われる。露光制御は例えば画像処理部１２によって行われる。なお、イメージセンサ１２０は、複数の半導体基板は積層された積層構造を有していても良い。

ドライバ１３０は、例えば画像処理部１２の制御により、ジャイロセンサ１１０からのセンシングデータに基づいたアクチュエータ１４０の動作制御を行う。本実施形態では、ドライバ１３０は、露光時間内ではジャイロセンサ１１０からのセンシングデータに基づいてアクチュエータ１４０の動作制御を行い、露光時間外では防振レンズのセンタリング動作、すなわち、防振レンズがセンタ位置に移動するようにアクチュエータ１４０の動作制御を行う。

アクチュエータ１４０は、ドライバ１３０による動作制御に基づいて、防振レンズの位置を移動させる制御を行う。本実施形態では、アクチュエータ１４０は、露光時間内ではドライバ１３０からの動作制御に基づいて防振レンズの位置を移動させる制御を行い、露光時間外ではドライバ１３０からの動作制御に基づいて防振レンズのセンタリング動作のための制御を行う。

本開示の実施の形態に係る撮像部１１は、図２に示したような構成を有することで、手振れ補正処理を行う際に、各フレームの露光時間内の手振れ補正（面内補正）として光学式手振れ補正を行い、露光時間外ではセンタリング動作を行うと共に露光時間外の手振れ補正（面間補正）として電子式手振れ補正を行う。なお、イメージセンサ１２０を構成する基板上に形成された回路が電子式手振れ補正処理を行っても良いが、電子式手振れ補正処理は後段の画像処理部１２が行っても良い。

上述したように、面内補正として光学式手振れ補正を行い、面間補正として電子式手振れ補正を行う場合、露光時間の条件によっては露光時間外にセンタリング動作を完了させることが出来ない場合がある。

そこで本開示の実施の形態に係る撮像部１１は、露光時間の条件によっては露光時間外にセンタリング動作を完了させることが出来ない場合に、面内補正として光学式手振れ補正を行い、面間補正として電子式手振れ補正を行う手振れ補正処理とは異なる動作で手振れ補正処理を行う。

このように本開示の実施の形態に係る撮像部１１は、露光時間の条件によって手振れ補正処理の内容を変えることで、好適な手振れ補正を実現することが出来る。撮像部１１の動作の詳細は後に詳述する。

続いて、本開示の実施の形態に係るイメージセンサ１２０の構成例を説明する。図３は、本開示の実施の形態に係るイメージセンサ１２０の構成例を示す説明図である。

図３に示したように、本開示の実施の形態に係るイメージセンサ１２０は、画素基板１２１と、信号処理基板１２３と、を備える。画素基板１２１と、信号処理基板１２３とは、同一平面上に形成されても良く、積層されて形成されても良い。

画素基板１２１は、単位画素がアレイ状に形成された画素領域からなる撮像素子１２２を備える。撮像素子１２２が出力する画素信号は信号処理基板１２３に送られる。

信号処理基板１２３は、制御部１２４と、信号処理部１２５と、を備える。

制御部１２４は、例えば、画像処理部１２から送られる信号に基づいて、画素信号に対する信号処理を行うよう信号処理部１２５に命令したり、アクチュエータ１４０の動作を制御するためにドライバ１３０に信号を出力したりする。制御部１２４は、画像処理部１２から、例えば露光時間の情報に関する信号を受信する。

信号処理部１２５は、撮像素子１２２が出力する画素信号に対する信号処理を行って、処理後の信号を画像処理部１２に出力する。信号処理部１２５は、例えば電子式手振れ補正方式による手振れ補正処理を行っても良い。

制御部１２４は、面内補正として光学式手振れ補正を行い、面間補正として電子式手振れ補正を行うようドライバ１３０に対して信号を出力する。しかし、画像処理部１２から送られる露光時間の情報を参照し、露光時間の条件によっては露光時間外にセンタリング動作を完了させることが出来ない場合に、面内補正として光学式手振れ補正を行い、面間補正として電子式手振れ補正を行う手振れ補正処理とは異なる動作で手振れ補正処理を行うようドライバ１３０や信号処理部１２５を動作させる。

制御部１２４が、上述したような動作を実行することで、本開示の実施の形態に係るイメージセンサ１２０は、好適な手振れ補正を実現することが出来る。

［１．３．動作例］
続いて、本開示の実施の形態に係る撮像部１１の動作例を説明する。

図４は、本開示の実施の形態に係る撮像部１１の動作例を示す流れ図である。図４に示したのは、撮像処理中に光学式手振れ補正と電子式手振れ補正とを組み合わせた手振れ補正処理を実行する際の、撮像部１１の動作例である。以下、図４を用いて本開示の実施の形態に係る撮像部１１の動作例を説明する。

撮像部１１は、手振れ補正処理を実行する際、通常は面内補正として光学式手振れ補正を行った上で、露光時間外に防振レンズのセンタリング動作を行い、面間補正として電子式手振れ補正を行う手振れ補正処理を行う。この手振れ補正処理を第１手振れ補正処理とも称する。

撮像部１１は、第１手振れ補正処理を実行している際に、露光時間が変化することなどにより、防振レンズのセンタリングの完了が露光時間外において可能かどうかを判断する（ステップＳ１０１）。ステップＳ１０１の判断処理は、例えば制御部１２４が実行する。

上記ステップＳ１０１の判断の結果、防振レンズのセンタリングの完了が露光時間外において可能である場合は（ステップＳ１０１、Ｙｅｓ）、続いて撮像部１１は、第１手振れ補正処理で手振れ補正を実行する（ステップＳ１０２）。

一方、上記ステップＳ１０１の判断の結果、防振レンズのセンタリングの完了が露光時間外において可能でない場合は（ステップＳ１０１、Ｎｏ）、続いて撮像部１１は、第２手振れ補正処理とは内容が異なる処理（第２手振れ補正処理）で手振れ補正を実行する（ステップＳ１０３）。

防振レンズのセンタリングの完了が露光時間外において可能でない場合に撮像部が実行する第２手振れ補正処理について、本実施形態では３つの例を挙げて説明する。

まず、第２手振れ補正処理の１番目の例を示す。

図５は、第１手振れ補正処理の概要を示す説明図である。撮像素子１２２は、各フレームにおいてシャッタｓとリードｒとを繰り返すことで画素信号を生成する。ＯＩＳＥｎａｂｌｅは、光学式手振れ補正の実行と停止を示す信号であり、Ｈｉｇｈの場合は光学式手振れ補正を実行し、Ｌｏｗの場合は光学式手振れ補正を停止していることを意味する。またＳＯＦは各フレームにおいてイメージセンサ１２０の露光の停止を示す信号であり、Ｈｉｇｈの場合は露光を停止してイメージセンサ１２０からデータを読み出すことを示している。

第１手振れ補正処理を実行する場合、露光時間内では、イメージセンサ１２０は、露光の終了を示す信号ＳＯＦの立ち下がりのタイミングで、光学式手振れ補正の実行と停止を示す信号ＯＩＳＥｎａｂｌｅをＨｉｇｈからＬｏｗに変化させてドライバ１３０に出力する。そしてＯＩＳＥｎａｂｌｅがＬｏｗの期間では、ドライバ１３０によってアクチュエータ１４０を動作させて防振レンズのセンタリング動作が行われると共に、例えばイメージセンサ１２０によって電子式手振れ補正が行われる。

図６は、第１手振れ補正処理とは内容が異なる第２手振れ補正処理の１番目の例の概要を示す説明図である。防振レンズのセンタリングの完了が露光時間外において可能でない場合、イメージセンサ１２０は、露光の終了を示す信号ＳＯＦの立ち下がりのタイミングであってもＯＩＳＥｎａｂｌｅをＨｉｇｈのままにする。すなわち、ここで示す第２手振れ補正処理では、露光時間外でも光学式手振れ補正を継続するとともに、防振レンズの駆動範囲を超えるような大きな手振れが発生した場合に、補助的に電子式手振れ補正を行う。

図７は、第１手振れ補正処理の概要をより詳細に示す説明図である。図７にはフレームｆ１からフレームｆ６までの６つのフレームにおける第１手振れ補正処理の概要が示されている。図７でＧｙｒｏと記した波形は、角速度を表すジャイロセンサの生の値ではなく、それらを時間方向に積分した、角度を表す信号波形である。

第１手振れ補正処理では、イメージセンサ１２０の露光が始まってから終了するまでの区間で、ジャイロセンサ１１０が出力するセンシングデータに基づいた光学式手振れ補正が行われる。そして第１手振れ補正処理では、露光が終了してから次のフレームの露光が開始するまでの間は、光学式手振れ補正は一時停止されて、防振レンズのセンタリング動作が行われると共に、各フレームの露光開始タイミングにおけるジャイロ積分値のフレーム間差分値を用いて、面間補正の電子式手振れ補正を実施する。

図８は、第１手振れ補正処理とは内容が異なる第２手振れ補正処理の１番目の例の概要をより詳細に示す説明図である。図８にはフレームｆ１からフレームｆ６までの６つのフレームにおける第２手振れ補正処理の概要が示されている。

図８に示した例では、フレームｆ２以降は露光時間がフレームｆ１より長くなっている。フレームｆ２以降は露光時間が長くなっていることで、イメージセンサ１２０は、露光時間外でのセンタリング動作が不可能であると判断し、常にＯＩＳＥｎａｂｌｅをＨｉｇｈのままにする。従って、図８に示した第２手振れ補正処理の一例では、常に光学式手振れ補正を行う。

そして、光学式手振れ補正では取り除けない手振れは、電子式手振れ補正によって補正される。このように常に光学式手振れ補正を行う場合は、ジャイロセンサ１１０から送られるセンシングデータから、ホール素子による防振レンズの位置を差し引いて電子式手振れ補正を行う。画像処理部１２は、ジャイロセンサ１１０が出力するセンシングデータに加え、ホール素子の位置に関する情報を撮像部１１から受け取って、電子式手振れ補正を行う。

次に、第２手振れ補正処理の２番目の例を示す。

第２手振れ補正処理の２番目の例は、防振レンズのセンタリングの完了が露光時間外において可能でない場合であっても、露光時間外においてセンタリング動作を行うとともに面間補正で電子式手振れ補正も行うというものである。この場合、露光終了時の防振レンズの位置によっては防振レンズをセンタ位置まで戻すことが出来ない可能性があるので、面間補正の電子式手振れ補正の際にホール素子の値を参照した補正を行う。

図９は、第１手振れ補正処理とは内容が異なる第２手振れ補正処理の２番目の例の概要をより詳細に示す説明図である。図９にはフレームｆ１からフレームｆ６までの６つのフレームにおける第２手振れ補正処理の概要が示されている。

図９に示した例では、フレームｆ２とｆ３との間、ｆ４とｆ５との間、ｆ５とｆ６との間では、防振レンズをセンタ位置まで戻すことが出来ない様子が示されている。このように防振レンズをセンタ位置まで戻すことが出来ない場合を考慮し、面間補正の電子式手振れ補正の際には、ホール素子の値を参照した補正を行う。

図１０Ａは、第１手振れ補正処理における電子式手振れ補正処理の一例を示す説明図である。第１手振れ補正処理における電子式手振れ補正処理では、例えば、画像１５１の中から、ジャイロセンサなどのセンシングデータから、防振レンズをセンタ位置まで戻っていることを前提として、切り出し領域１５２が決定される。

図１０Ｂは、第２手振れ補正処理の２番目の例におけるホール素子の値を参照した電子式手振れ補正処理の一例を示す説明図である。第２手振れ補正処理の２番目の例における電子式手振れ補正処理では、例えば、画像１５１の中から、ジャイロセンサなどのセンシングデータ及びボール素子の値を参照して、切り出し領域１５３が決定される。この切り出し領域１５３は、切り出し領域１５２から、ボール素子の値に応じて所定量シフトされた範囲となっている。

最後に、第２手振れ補正処理の３番目の例を示す。

第２手振れ補正処理の３番目の例は、防振レンズのセンタリングの完了が露光時間外において可能でない場合では、光学式手振れ補正を行わず、電子式手振れ補正のみを行うというものである。

図１１は、第１手振れ補正処理とは内容が異なる第２手振れ補正処理の３番目の例の概要を詳細に示す説明図である。図９にはフレームｆ１からフレームｆ６までの６つのフレームにおける第２手振れ補正処理の概要が示されている。

図１１に示した例では、フレームｆ１とフレームｆ２以降では露光時間が異なっている。すなわち、フレームｆ２以降は、フレームｆ１より露光時間が長くなっている。フレームｆ２以降は露光時間が長くなることで、防振レンズのセンタリングの完了が露光時間外において可能では無くなる。

このような場合、第２手振れ補正処理の３番目の例では、光学式手振れ補正を止め、電子式手振れ補正のみを実行する。すなわち、イメージセンサ１２０は、信号ＯＩＳＥｎａｂｌｅをＬｏｗにし続け、ドライバ１３０は、アクチュエータ１４０の駆動を停止させる。

そして第２手振れ補正処理の３番目の例で、面間補正として電子式手振れ補正を実行する。この例では、電子式手振れ補正は、ジャイロセンサ１１０が出力するセンシングデータに基づいて行われれば良い。しかし、光学式手振れ補正を止めたとしても、防振レンズは外乱の影響を受けるために完全に静止させるのは困難である。従って、電子式手振れ補正は、ジャイロセンサ１１０が出力するセンシングデータに加え、ホール素子の値も考慮してもよい。

以上、第１手振れ補正処理とは内容が異なる第２手振れ補正処理について、３つの例を挙げて説明した。撮像部１１は、第２手振れ補正処理としてどれを用いるかを、例えば露光時間の長さによって決めても良く、ユーザの設定に基づいて決めても良い。露光時間の長さによって決める場合、撮像部１１は、例えば露光時間が長くなるにつれて、上述の第２の例、第１の例、第３の例の順に第２手振れ補正処理の内容を決定しても良い。

＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、通常時は面内補正として光学式手振れ補正を行い、面間補正として電子式手振れ補正を行い、露光時間外において防振レンズのセンタリング動作を行う第１手振れ補正処理と、露光時間が長くなって防振レンズのセンタリング動作が完了出来ない場合には、第１手振れ補正処理とは内容が異なる第２手振れ補正処理を行う撮像部１１を備える電子機器１０が提供される。

撮像部１１は、第２手振れ補正処理として、露光時間外においても防振レンズをジャイロセンサのセンシングデータに基づいて制御する処理を行っても良く、露光時間外において防振レンズのセンタリング動作を行うとともに電子式手振れ補正において防振レンズの位置を考慮した処理を行っても良く、光学式手振れ補正を止めて電子式手振れ補正のみを行っても良い。

本実施形態によれば、動画像の撮像時や、静止画像の連続撮像時において、面内補正として光学式手振れ補正を行うことで面内のブラーやローリングシャッタ歪みを少なくすることが出来ると共に、面間のぶれを高精度に抑えることができる。

また従来の技術では、例えば露光時間が１／６０秒より長くなるような暗いシーンでは防振レンズのセンタリング動作を完了させることができず、手振れ補正を効果的に行えなかったところ、本実施形態によれば、露光時間の長さにおいて手振れ補正処理の内容を切り替えることで、好適に手振れ補正処理を行える。特に、フレームレートが６０ｆｐｓではなく３０ｆｐｓとなるような、かなり暗いシーンをサポートする撮像モードにおいて、本実施形態に係る技術は非常に有効となる。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
レンズを用いた光学式手振れ補正方式による第１手振れ補正処理及び撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う制御部を備え、
前記制御部は、露光時間が条件を満たす場合、各フレームの開始時点において前記レンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合、前記第１手振れ補正モードと異なる第２手振れ補正モードで動作する、画像安定化装置。
（２）
前記制御部は、前記第２手振れ補正モードとして前記センタリング動作を行わずに前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行うよう動作する、前記（１）に記載の画像安定化装置。
（３）
前記制御部は、前記第２手振れ補正モードとして前記センタリング動作を前記露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う際に各フレームの開始時点における前記レンズの位置と前記センタ位置との差分を考慮した前記第２手振れ補正処理を行うよう動作する、前記（１）に記載の画像安定化装置。
（４）
前記制御部は、前記第２手振れ補正モードとして前記レンズを前記センタ位置に固定して前記第２手振れ補正処理のみを行うよう動作する、前記（１）に記載の画像安定化装置。
（５）
前記条件は、前記センタリング動作によって各フレームの開始時点において前記レンズを前記センタ位置に戻せることである、前記（１）〜（４）のいずれかに記載の画像安定化装置。
（６）
露光時間が条件を満たすかどうかを判断することと、
前記条件を満たす場合、各フレームの開始時点においてレンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記レンズを用いた光学式手振れ補正方式による第１手振れ補正処理を行うとともに前記露光時間外において撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合に前記第１手振れ補正モードと異なる第２手振れ補正モードで動作することと、
を含む、画像安定化方法。
（７）
前記（１）〜（５）のいずれかに記載の画像安定化装置を備える、電子機器。

１０電子機器

Claims

レンズを用いた光学式手振れ補正方式による第１手振れ補正処理及び撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う制御部を備え、
前記制御部は、露光時間が条件を満たす場合、各フレームの開始時点において前記レンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合、前記第１手振れ補正モードと異なる第２手振れ補正モードで動作し、
前記制御部は、前記第２手振れ補正モードとして前記センタリング動作を行わずに前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行うよう動作する、画像安定化装置。
レンズを用いた光学式手振れ補正方式による第１手振れ補正処理及び撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う制御部を備え、
前記制御部は、露光時間が条件を満たす場合、各フレームの開始時点において前記レンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合、前記第１手振れ補正モードと異なる第２手振れ補正モードで動作し、
前記制御部は、前記第２手振れ補正モードとして前記センタリング動作を前記露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う際に各フレームの開始時点における前記レンズの位置と前記センタ位置との差分を考慮した前記第２手振れ補正処理を行うよう動作する、画像安定化装置。
レンズを用いた光学式手振れ補正方式による第１手振れ補正処理及び撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う制御部を備え、
前記制御部は、露光時間が条件を満たす場合、各フレームの開始時点において前記レンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合、前記第１手振れ補正モードと異なる第２手振れ補正モードで動作し、
前記制御部は、前記第２手振れ補正モードとして前記レンズを前記センタ位置に固定して前記第２手振れ補正処理のみを行うよう動作する、画像安定化装置。
前記条件は、前記センタリング動作によって各フレームの開始時点において前記レンズを前記センタ位置に戻せることである、請求項１〜３のいずれかに記載の画像安定化装置。
露光時間が条件を満たすかどうかを判断することと、
前記条件を満たす場合、各フレームの開始時点においてレンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記レンズを用いた光学式手振れ補正方式による第１手振れ補正処理を行うとともに前記露光時間外において撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合に前記第１手振れ補正モードと異なる第２手振れ補正モードで動作することと、
を含み、
前記第２手振れ補正モードとして前記センタリング動作を行わずに前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行うよう動作する、画像安定化方法。
露光時間が条件を満たすかどうかを判断することと、
前記条件を満たす場合、各フレームの開始時点においてレンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記レンズを用いた光学式手振れ補正方式による第１手振れ補正処理を行うとともに前記露光時間外において撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合に前記第１手振れ補正モードと異なる第２手振れ補正モードで動作することと、
を含み、
前記第２手振れ補正モードとして前記センタリング動作を前記露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う際に各フレームの開始時点における前記レンズの位置と前記センタ位置との差分を考慮した前記第２手振れ補正処理を行うよう動作する、画像安定化方法。
露光時間が条件を満たすかどうかを判断することと、
前記条件を満たす場合、各フレームの開始時点においてレンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記レンズを用いた光学式手振れ補正方式による第１手振れ補正処理を行うとともに前記露光時間外において撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合に前記第１手振れ補正モードと異なる第２手振れ補正モードで動作することと、
を含み、
前記第２手振れ補正モードとして前記レンズを前記センタ位置に固定して前記第２手振れ補正処理のみを行うよう動作する、画像安定化方法。
前記条件は、前記センタリング動作によって各フレームの開始時点において前記レンズを前記センタ位置に戻せることである、請求項５〜７のいずれかに記載の画像安定化方法。
レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積し、蓄積された電子に応じた信号に対して所定の信号処理を行う撮像部と、
前記撮像部から出力される信号を用いて画像処理を実行する画像処理部と、
レンズを用いた光学式手振れ補正方式による第１手振れ補正処理及び撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う制御部と、
前記撮像部によって撮像されて、前記画像処理部によって画像処理が行われた画像を、前記制御部の制御に基づいて表示する表示部を備え、
前記制御部は、露光時間が条件を満たす場合、各フレームの開始時点において前記レンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合、前記第１手振れ補正モードと異なる第２手振れ補正モードで動作し、
前記制御部は、前記第２手振れ補正モードとして前記センタリング動作を行わずに前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行うよう動作する、電子機器。
レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積し、蓄積された電子に応じた信号に対して所定の信号処理を行う撮像部と、
前記撮像部から出力される信号を用いて画像処理を実行する画像処理部と、
レンズを用いた光学式手振れ補正方式による第１手振れ補正処理及び撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う制御部と、
前記撮像部によって撮像されて、前記画像処理部によって画像処理が行われた画像を、前記制御部の制御に基づいて表示する表示部を備え、
前記制御部は、露光時間が条件を満たす場合、各フレームの開始時点において前記レンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合、前記第１手振れ補正モードと異なる第２手振れ補正モードで動作し、
前記制御部は、前記第２手振れ補正モードとして前記センタリング動作を前記露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う際に各フレームの開始時点における前記レンズの位置と前記センタ位置との差分を考慮した前記第２手振れ補正処理を行うよう動作する、電子機器。
レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積し、蓄積された電子に応じた信号に対して所定の信号処理を行う撮像部と、
前記撮像部から出力される信号を用いて画像処理を実行する画像処理部と、
レンズを用いた光学式手振れ補正方式による第１手振れ補正処理及び撮像画像を切り出す電子式手振れ補正方式による第２手振れ補正処理を行う制御部と、
前記撮像部によって撮像されて、前記画像処理部によって画像処理が行われた画像を、前記制御部の制御に基づいて表示する表示部を備え、
前記制御部は、露光時間が条件を満たす場合、各フレームの開始時点において前記レンズをセンタ位置に戻すセンタリング動作を露光時間外で行った上で前記露光時間中に前記第１手振れ補正処理を行うとともに前記露光時間外において前記第２手振れ補正処理を行う第１手振れ補正モードで動作し、前記条件を満たさない場合、前記第１手振れ補正モードと異なる第２手振れ補正モードで動作し、
前記制御部は、前記第２手振れ補正モードとして前記レンズを前記センタ位置に固定して前記第２手振れ補正処理のみを行うよう動作する、電子機器。
前記条件は、前記センタリング動作によって各フレームの開始時点において前記レンズを前記センタ位置に戻せることである、請求項９〜１１のいずれかに記載の電子機器。