JP5082985B2 - 撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム - Google Patents
撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム Download PDFInfo
- Publication number
- JP5082985B2 JP5082985B2 JP2008089027A JP2008089027A JP5082985B2 JP 5082985 B2 JP5082985 B2 JP 5082985B2 JP 2008089027 A JP2008089027 A JP 2008089027A JP 2008089027 A JP2008089027 A JP 2008089027A JP 5082985 B2 JP5082985 B2 JP 5082985B2
- Authority
- JP
- Japan
- Prior art keywords
- camera shake
- angular velocity
- imaging
- axis
- shutter speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラムに関する。
撮像装置において画像を撮像する際に、ユーザの手ぶれに起因して発生する画像の劣化を防止する手ぶれ軽減装置としては、手ぶれを打ち消す方向に光学系を移動させる技術（特許文献１参照）および撮像された複数の画像における被写体の移動に基づいて手ぶれを打ち消す技術（特許文献２参照）が存在する。
特開平０７−０９２１７５号公報
特開２００７−９７１９５号公報
ところで、特許文献１に開示される技術では、光学系をアクチュエータによって駆動することから、手ぶれの速度が速い場合または手ぶれ量が大きい場合には手ぶれの軽減が困難となるという問題点がある。また、特許文献２に開示される技術では、環境が暗い場合には撮影された画像から被写体を特定することが困難となることから、手ぶれの軽減が困難となる。さらに、特許文献１および特許文献２の技術では、光学系の光軸を中心として回転する方向の手ぶれが生じた場合には、手ぶれを軽減することができないという問題点がある。
そこで本発明は、様々な種類の手ぶれを確実に軽減することが可能な撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラムを提供することを目的とする。
〔形態１〕 上記課題を解決するため、形態１の撮像装置は、撮像素子と、前記撮像素子の軸周りの角速度を検出する角速度検出装置と、を有する撮像装置において、前記撮像素子によって画像を撮像する際に、前記角速度検出装置から出力される検出信号の入力を受ける入力手段と、前記撮像素子の撮像時において前記軸周りに許容される手ぶれ回転角を決定する決定手段と、前記決定手段によって決定された前記許容される手ぶれ回転角を、前記入力手段を介して入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出手段と、前記算出手段によって算出されたシャッタ速度に基づいて前記撮像素子を制御して撮像を行う制御手段と、前記制御手段によって撮像を行う際に前記撮像素子が有する光学系を制御することにより手ぶれを軽減するか、または、前記撮像素子によって撮像された画像に対して画像処理を施すことにより手ぶれを軽減する手ぶれ軽減手段と、を有することを特徴とする。
上記構成によれば、許容される手ぶれ回転角を、角速度検出装置からの検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出し、算出されたシャッタ速度に基づいて撮像素子を制御して撮像を行うとともに、撮像を行う際に、撮像素子が有する光学系を制御することにより手ぶれを軽減するか、または、撮像素子によって撮像された画像に対して画像処理を施すことにより手ぶれを軽減する。このため、様々な種類の手ぶれを確実に軽減することが可能となる。
上記構成によれば、許容される手ぶれ回転角を、角速度検出装置からの検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出し、算出されたシャッタ速度に基づいて撮像素子を制御して撮像を行うとともに、撮像を行う際に、撮像素子が有する光学系を制御することにより手ぶれを軽減するか、または、撮像素子によって撮像された画像に対して画像処理を施すことにより手ぶれを軽減する。このため、様々な種類の手ぶれを確実に軽減することが可能となる。
〔形態２〕 形態２の撮像装置は、形態１の撮像装置において、前記角速度検出装置は、前記撮像素子の縦方向または横方向の軸周りの角速度を検出し、前記決定手段は、前記縦方向または横方向の軸周りに許容される手ぶれ回転角を決定し、前記算出手段は、前記縦方向または横方向の軸周りに許容される手ぶれ回転角を、前記縦方向または横方向の軸周りの対応する角速度で除算して得られる値に基づいてシャッタ速度を算出することを特徴とする。
上記構成によれば、算出手段は、撮像素子の縦方向または横方向の軸周りに許容される手ぶれ回転角を、縦方向または横方向の軸周りの対応する角速度で除算して得られる値に基づいてシャッタ速度を算出する。このため、撮像素子の横方向または縦方向の軸周りの手ぶれを確実に軽減することができる。
上記構成によれば、算出手段は、撮像素子の縦方向または横方向の軸周りに許容される手ぶれ回転角を、縦方向または横方向の軸周りの対応する角速度で除算して得られる値に基づいてシャッタ速度を算出する。このため、撮像素子の横方向または縦方向の軸周りの手ぶれを確実に軽減することができる。
〔形態３〕 形態３の撮像装置は、形態１または２の撮像装置において、前記角速度検出装置は、前記撮像素子の撮像面の法線方向の軸周りの角速度を検出し、前記決定手段は、前記法線方向の軸周りに許容される手ぶれ回転角を決定し、前記算出手段は、前記法線方向の軸周りに許容される手ぶれ回転角を、前記法線方向の軸周りの対応する角速度で除算して得られる値に基づいてシャッタ速度を算出することを特徴とする。
上記構成によれば、算出手段は、撮像素子の撮像面の法線方向の軸周りに許容される手ぶれ回転角を、法線方向の軸周りの対応する角速度で除算して得られる値に基づいてシャッタ速度を算出する。このため、手ぶれ軽減手段では軽減することが困難な、撮像素子の法線方向の軸周りの手ぶれについても軽減することができる。
上記構成によれば、算出手段は、撮像素子の撮像面の法線方向の軸周りに許容される手ぶれ回転角を、法線方向の軸周りの対応する角速度で除算して得られる値に基づいてシャッタ速度を算出する。このため、手ぶれ軽減手段では軽減することが困難な、撮像素子の法線方向の軸周りの手ぶれについても軽減することができる。
〔形態４〕 形態４の撮像装置は、形態１乃至３の撮像装置において、前記手ぶれ軽減手段は、前記撮像素子が有する光学系を制御することにより手ぶれを軽減し、前記算出手段は、前記手ぶれ軽減手段による軽減範囲を超える手ぶれが生じた場合に、当該超えた部分に基づいてシャッタ速度を算出することを特徴とする。
上記構成によれば、算出手段は、光学系を制御することにより手ぶれを軽減する手ぶれ軽減手段による軽減範囲を超える手ぶれが生じた場合に、当該超えた部分に基づいてシャッタ速度を算出する。このため、手ぶれ軽減手段による軽減範囲を超える手ぶれが生じた場合に、その程度に応じたシャッタ速度が計算されて、手ぶれが軽減されることから、速度が速い手ぶれや振幅が大きい手ぶれにも対応することができる。
上記構成によれば、算出手段は、光学系を制御することにより手ぶれを軽減する手ぶれ軽減手段による軽減範囲を超える手ぶれが生じた場合に、当該超えた部分に基づいてシャッタ速度を算出する。このため、手ぶれ軽減手段による軽減範囲を超える手ぶれが生じた場合に、その程度に応じたシャッタ速度が計算されて、手ぶれが軽減されることから、速度が速い手ぶれや振幅が大きい手ぶれにも対応することができる。
〔形態５〕 形態５の撮像装置は、形態１乃至３の撮像装置において、前記手ぶれ軽減手段は、撮像された画像に対して画像処理を施すことにより手ぶれを軽減し、前記制御手段は、環境光が所定の輝度よりも高い場合には、前記撮像装置またはユーザによって設定されたシャッタ速度に基づいて前記撮像素子に撮像を行わせ、環境光が所定の輝度よりも低い場合には、前記算出手段によって算出されたシャッタ速度に基づいて前記撮像素子に撮像を行わせることを特徴とする。
上記構成によれば、環境光が所定の輝度よりも高い場合には、撮像装置またはユーザによって設定されたシャッタ速度に基づいて撮像素子に撮像を行わせ、環境光が所定の輝度よりも低い場合には、算出手段によって算出されたシャッタ速度に基づいて撮像素子に撮像を行わせ、手ぶれ軽減手段が撮像された画像に対して画像処理を施すことにより手ぶれを軽減する。このため、手ぶれ軽減が困難である環境光の輝度が低い状態では、算出手段によって算出されたシャッタ速度に基づいて撮像が行われるので、そのような状態の場合であっても手ぶれを確実に軽減することができる。
上記構成によれば、環境光が所定の輝度よりも高い場合には、撮像装置またはユーザによって設定されたシャッタ速度に基づいて撮像素子に撮像を行わせ、環境光が所定の輝度よりも低い場合には、算出手段によって算出されたシャッタ速度に基づいて撮像素子に撮像を行わせ、手ぶれ軽減手段が撮像された画像に対して画像処理を施すことにより手ぶれを軽減する。このため、手ぶれ軽減が困難である環境光の輝度が低い状態では、算出手段によって算出されたシャッタ速度に基づいて撮像が行われるので、そのような状態の場合であっても手ぶれを確実に軽減することができる。
〔形態６〕 形態６の撮像装置の制御方法は、撮像素子と、前記撮像素子の軸周りの角速度を検出する角速度検出装置と、を有する撮像装置の制御方法において、前記撮像素子によって画像を撮像する際に、前記角速度検出装置から出力される検出信号の入力を受ける入力ステップと、前記撮像素子の撮像時において前記軸周りに許容される手ぶれ回転角を決定する決定ステップと、前記決定ステップにおいて決定された前記許容される手ぶれ回転角を、前記入力ステップにおいて入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出ステップと、前記算出ステップにおいて算出されたシャッタ速度によって撮像素子により撮像を行う制御を行う制御ステップと、前記撮像素子によって撮像を行う際に撮像素子が有する光学系を制御することにより手ぶれを軽減するか、または、前記撮像素子によって撮像された画像に対して画像処理を施すことにより手ぶれを軽減する手ぶれ軽減ステップと、を有することを特徴とする。
上記方法によれば、許容される手ぶれ回転角を、角速度検出装置からの検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出し、算出されたシャッタ速度に基づいて撮像素子を制御して撮像を行うとともに、撮像を行う際に、撮像素子が有する光学系を制御することにより手ぶれを軽減するか、または、撮像素子によって撮像された画像に対して画像処理を施すことにより手ぶれを軽減する。このため、様々な種類の手ぶれを確実に軽減することが可能となる。
上記方法によれば、許容される手ぶれ回転角を、角速度検出装置からの検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出し、算出されたシャッタ速度に基づいて撮像素子を制御して撮像を行うとともに、撮像を行う際に、撮像素子が有する光学系を制御することにより手ぶれを軽減するか、または、撮像素子によって撮像された画像に対して画像処理を施すことにより手ぶれを軽減する。このため、様々な種類の手ぶれを確実に軽減することが可能となる。
〔形態７〕 形態７の撮像装置の制御プログラムは、撮像素子と、前記撮像素子の軸周りの角速度を検出する角速度検出装置と、を有する撮像装置の制御プログラムにおいて、前記撮像素子によって画像を撮像する際に、前記角速度検出装置から出力される検出信号の入力を受ける入力手段、前記撮像素子の撮像時において前記軸周りに許容される手ぶれ回転角を決定する決定手段、前記決定手段によって決定された前記許容される手ぶれ回転角を、前記入力手段を介して入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出手段、前記算出手段によって算出されたシャッタ速度によって撮像素子により撮像を行う制御を行う制御手段、前記撮像素子によって撮像を行う際に撮像素子が有する光学系を制御することにより手ぶれを軽減するか、または、前記撮像素子によって撮像された画像に対して画像処理を施すことにより手ぶれを軽減する手ぶれ軽減手段、としてコンピュータを機能させることを特徴とする。
上記プログラムによれば、許容される手ぶれ回転角を、角速度検出装置からの検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出し、算出されたシャッタ速度に基づいて撮像素子を制御して撮像を行うとともに、撮像を行う際に、撮像素子が有する光学系を制御することにより手ぶれを軽減するか、または、撮像素子によって撮像された画像に対して画像処理を施すことにより手ぶれを軽減する。このため、様々な種類の手ぶれを確実に軽減することが可能となる。
上記プログラムによれば、許容される手ぶれ回転角を、角速度検出装置からの検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出し、算出されたシャッタ速度に基づいて撮像素子を制御して撮像を行うとともに、撮像を行う際に、撮像素子が有する光学系を制御することにより手ぶれを軽減するか、または、撮像素子によって撮像された画像に対して画像処理を施すことにより手ぶれを軽減する。このため、様々な種類の手ぶれを確実に軽減することが可能となる。
以下、本発明を適用した実施形態について図面を参照して説明する。なお、以下では、（Ａ）本発明の第１実施形態の構成例、（Ｂ）本発明の第１実施形態の動作の概要、（Ｃ）本発明の第１実施形態の詳細な動作、（Ｄ）本発明の第２実施形態、（Ｅ）本発明の第３実施形態、（Ｆ）本発明の第４実施形態、（Ｇ）変形実施の形態の順に説明する。
（Ａ）本発明の第１実施形態の構成例
図１は、本実施形態に係る撮像装置１０の概略構成を示すブロック図である。撮像装置１０（請求項中「撮像装置」に対応）は、撮像素子１１（請求項中「撮像素子」に対応）、輝度検知部１２、プロセッサ１３（請求項中「制御手段」に対応）、格納部１４、ユーザ・インタフェース１５、手ぶれ防止部３０、および、光学手ぶれ軽減部５０（請求項中「手ぶれ軽減手段」に対応）を有している。ここで、撮像素子１１は、例えば、ＣＣＤ（Charge Coupled Device）等によって構成され、被写体の光画像を対応する画像信号に変換して出力する。なお、撮像素子１１は、図３を参照して後述する撮像部４０に内蔵されている。輝度検知部１２は、例えば、フォトダイオード等によって構成され、被写体の輝度を検知し、検知した輝度に対応する信号を出力する。プロセッサ１３は、格納部１４に格納されているプログラム等に基づいて、撮像素子１１の感度、焦点距離、絞り、露光時間等を設定し制御する。格納部１４は、例えば、半導体メモリによって構成され、プロセッサ１３が実行するルーチン、プログラム、オブジェクト・コンポーネント、データ構造等のプロセッサ１３が読み取り可能なコードを格納する。ユーザ・インタフェース１５は、操作ボタン等および表示部によって構成され、ユーザの操作に応じた情報を生成して出力するとともに、情報を表示する。手ぶれ防止部３０は、後述するジャイロセンサによって検出された角速度および許容される回転角に基づいて、シャッタ速度を算出し、プロセッサ１３に出力する。光学手ぶれ軽減部５０は、手ぶれ防止部３０に内蔵されているＸ軸およびＹ軸のジャイロセンサの出力に基づいて、図３を参照して後述する撮像部４０のレンズ４３を図示せぬアクチュエータによって駆動することにより、手ぶれを光学的方法によって軽減する。
図１は、本実施形態に係る撮像装置１０の概略構成を示すブロック図である。撮像装置１０（請求項中「撮像装置」に対応）は、撮像素子１１（請求項中「撮像素子」に対応）、輝度検知部１２、プロセッサ１３（請求項中「制御手段」に対応）、格納部１４、ユーザ・インタフェース１５、手ぶれ防止部３０、および、光学手ぶれ軽減部５０（請求項中「手ぶれ軽減手段」に対応）を有している。ここで、撮像素子１１は、例えば、ＣＣＤ（Charge Coupled Device）等によって構成され、被写体の光画像を対応する画像信号に変換して出力する。なお、撮像素子１１は、図３を参照して後述する撮像部４０に内蔵されている。輝度検知部１２は、例えば、フォトダイオード等によって構成され、被写体の輝度を検知し、検知した輝度に対応する信号を出力する。プロセッサ１３は、格納部１４に格納されているプログラム等に基づいて、撮像素子１１の感度、焦点距離、絞り、露光時間等を設定し制御する。格納部１４は、例えば、半導体メモリによって構成され、プロセッサ１３が実行するルーチン、プログラム、オブジェクト・コンポーネント、データ構造等のプロセッサ１３が読み取り可能なコードを格納する。ユーザ・インタフェース１５は、操作ボタン等および表示部によって構成され、ユーザの操作に応じた情報を生成して出力するとともに、情報を表示する。手ぶれ防止部３０は、後述するジャイロセンサによって検出された角速度および許容される回転角に基づいて、シャッタ速度を算出し、プロセッサ１３に出力する。光学手ぶれ軽減部５０は、手ぶれ防止部３０に内蔵されているＸ軸およびＹ軸のジャイロセンサの出力に基づいて、図３を参照して後述する撮像部４０のレンズ４３を図示せぬアクチュエータによって駆動することにより、手ぶれを光学的方法によって軽減する。
図２は、図１に示す手ぶれ防止部３０の詳細な構成例を示す図である。この図に示すように、手ぶれ防止部３０は、Ｘ軸ジャイロセンサ３１ａ（請求項中「角速度検出装置」に対応）、Ｙ軸ジャイロセンサ３１ｂ（請求項中「角速度検出装置」に対応）、Ｚ軸ジャイロセンサ３１ｃ（請求項中「角速度検出装置」に対応）、アナログ−デジタル変換部３２ａ（請求項中「入力手段」に対応）、アナログ−デジタル変換部３２ｂ（請求項中「入力手段」に対応）、アナログ−デジタル変換部３２ｃ（請求項中「入力手段」に対応）、プロセッサ３３（請求項中「決定手段」および「算出手段」に対応）、および、格納部３４を有している。
ここで、Ｘ軸ジャイロセンサ３１ａは、例えば、振動ジャイロセンサによって構成され、撮像素子１１の撮像面の横方向（走査線の方向）に対応するＸ軸を中心とする角速度を検出して出力する。Ｙ軸ジャイロセンサ３１ｂは、同じく、振動ジャイロセンサによって構成され、撮像素子１１の撮像面の縦方向（走査線に直交する方向）に対応するＹ軸を中心とする角速度を検出して出力する。Ｚ軸ジャイロセンサ３１ｃは、同じく、振動ジャイロセンサによって構成され、撮像素子１１の撮像面の法線方向に対応するＺ軸を中心とする角速度を検出して出力する。アナログ−デジタル変換部３２ａは、Ｘ軸ジャイロセンサ３１ａから出力される角速度を示すアナログ信号をデジタル信号に変換して出力する。アナログ−デジタル変換部３２ｂは、Ｙ軸ジャイロセンサ３１ｂから出力される角速度を示すアナログ信号をデジタル信号に変換して出力する。アナログ−デジタル変換部３２ｃは、Ｚ軸ジャイロセンサ３１ｃから出力される角速度を示すアナログ信号をデジタル信号に変換して出力する。プロセッサ３３は、格納部３４に格納されているプログラムを実行し、アナログ−デジタル変換部３２ａ，３２ｂ，３２ｃから出力されるＸ軸、Ｙ軸、Ｚ軸周りの角速度に基づいて、手ぶれを防止するためのシャッタ速度を算出し、得られたシャッタ速度をプロセッサ１３に通知する。格納部３４は、例えば、半導体メモリによって構成され、プロセッサ３３が実行するルーチン、プログラム、オブジェクト・コンポーネント、データ構造等のプロセッサ３３が読み取り可能なコードを格納する。
ここで、Ｘ軸ジャイロセンサ３１ａは、例えば、振動ジャイロセンサによって構成され、撮像素子１１の撮像面の横方向（走査線の方向）に対応するＸ軸を中心とする角速度を検出して出力する。Ｙ軸ジャイロセンサ３１ｂは、同じく、振動ジャイロセンサによって構成され、撮像素子１１の撮像面の縦方向（走査線に直交する方向）に対応するＹ軸を中心とする角速度を検出して出力する。Ｚ軸ジャイロセンサ３１ｃは、同じく、振動ジャイロセンサによって構成され、撮像素子１１の撮像面の法線方向に対応するＺ軸を中心とする角速度を検出して出力する。アナログ−デジタル変換部３２ａは、Ｘ軸ジャイロセンサ３１ａから出力される角速度を示すアナログ信号をデジタル信号に変換して出力する。アナログ−デジタル変換部３２ｂは、Ｙ軸ジャイロセンサ３１ｂから出力される角速度を示すアナログ信号をデジタル信号に変換して出力する。アナログ−デジタル変換部３２ｃは、Ｚ軸ジャイロセンサ３１ｃから出力される角速度を示すアナログ信号をデジタル信号に変換して出力する。プロセッサ３３は、格納部３４に格納されているプログラムを実行し、アナログ−デジタル変換部３２ａ，３２ｂ，３２ｃから出力されるＸ軸、Ｙ軸、Ｚ軸周りの角速度に基づいて、手ぶれを防止するためのシャッタ速度を算出し、得られたシャッタ速度をプロセッサ１３に通知する。格納部３４は、例えば、半導体メモリによって構成され、プロセッサ３３が実行するルーチン、プログラム、オブジェクト・コンポーネント、データ構造等のプロセッサ３３が読み取り可能なコードを格納する。
図３は、図１に示す撮像素子１１が内蔵されている撮像部４０の詳細な構成例を示す図である。撮像部４０は、立方体形状を有する筐体４１を有している。筐体４１の天面４２には、被写体からの光画像を収束するためのレンズ４３が設けられている。筐体４１内部の底面（不図示）には、レンズ４３によって収束された光画像を対応する画像信号に変換するための撮像素子１１が設けられている。なお、撮像素子１１は、走査線の方向である横方向が図中のＸ軸方向に一致するように配置され、また、走査線と直交する方向である縦方向が図中のＹ軸方向に一致するように配置され、さらに、撮像面の法線が図中のＺ軸に一致するように配置されている。筐体４１のＸ軸とその法線が一致する側面４４には、Ｘ軸ジャイロセンサ３１ａが配設されている。また、筐体４１のＹ軸とその法線が一致する側面４５には、Ｙ軸ジャイロセンサ３１ｂが配設されている。さらに、天面４２にはＺ軸ジャイロセンサ３１ｃが配設されている。側面４５には、撮像素子１１を制御するための制御信号、撮像素子１１から出力される画像信号、レンズ４３を制御するための制御信号が伝送される信号線群を有するとともに、プロセッサ１３に接続されるフレキシブルケーブル４６が設けられている。なお、図３では省略してあるが、筐体４１の内部には、光学手ぶれ軽減部５０からの制御信号によって、撮像素子１１の縦方向および横方向にレンズ４３を駆動するアクチュエータが配設されている。
なお、図３の例では、Ｘ軸ジャイロセンサ３１ａ、Ｙ軸ジャイロセンサ３１ｂ、および、Ｚ軸ジャイロセンサ３１ｃは、筐体４１の側面４４，４５および天面４２にそれぞれ設けられているが、角速度は撮像装置１０のどの場所でも同じであるので、検出しようとする軸方向さえ一致していれば、撮像装置１０の任意の場所に設けることができる。一例として、図３に示すように、フレキシブルケーブル４６の一部にＹ軸ジャイロセンサ３１ｂを設けるようにしてもよい。
（Ｂ）本発明の第１実施形態の動作の概要
つぎに、本発明の第１実施形態の動作の概要について説明する。図４は、図３に示す撮像部４０がＸ軸、Ｙ軸、または、Ｚ軸を中心として回転された場合において、撮像素子１１の撮像面上における対象点の移動の様子を示す図である。図４（Ａ）は、撮像素子１１をＹ軸を中心として回転させた場合における、撮像面に投影された被写体の任意の点としての対象点の動きを示している。この図に示すように、Ｙ軸を中心として撮像素子１１を回転させた場合には、対象点は矢印で示すように、撮像素子１１の走査線の方向であるｘ方向（横方向）に移動する。図４（Ｂ）は、撮像素子１１をＸ軸を中心として回転させた場合における、撮像面上における対象点の動きを示している。この図に示すように、Ｘ軸を中心として撮像素子１１を回転させた場合には、対象点は矢印で示すように、撮像素子１１の走査線に直交する方向であるｙ方向（横方向）に移動する。図４（Ｃ）は、撮像素子１１をＺ軸を中心として回転させた場合における、撮像面上における対象点の動きを示している。この図に示すように、Ｚ軸を中心として撮像素子１１を回転させた場合には、対象点は矢印で示すように、撮像素子１１の中央付近を中心として回転する方向に移動する。
ところで、Ｚ軸方向のぶれを考えない場合に、撮像素子１１の露光開始時における対象点の位置を（ｘ1，ｙ1）とし、露光終了時における対象点の位置を（ｘ2，ｙ2）とした場合、露光開始から終了までの間に対象点はｘ方向にｘ2−ｘ1だけ移動し、ｙ方向にｙ2−ｙ1だけ移動する。このとき、ｘ方向およびｙ方向の画素サイズをＳx，Ｓyとした場合、対象点の移動画素数は、ｘ方向およびｙ方向のそれぞれに対して（ｘ2−ｘ1）／Ｓxおよび（ｙ2−ｙ1）／Ｓyとなる。このような対象点の移動画素数が少ない程、手ぶれの小さい画像となる。そこで、本実施の形態では、露光開始から終了までの期間において、対象点のｘ方向またはｙ方向への許容できる移動量に対応する撮像素子１１のＸ軸またはＹ軸の回転角度を求め、当該回転角度をジャイロセンサによって検出された角速度によって除算することにより得られる値に基づいてシャッタ速度を算出することにより、移動点の撮像面上における移動量が許容移動量内に収まるように制御する。より詳細には、本実施の形態では、ｘ方向およびｙ方向の移動量が同じであると仮定し、対象点のｙ方向への許容できる移動量に対応する撮像素子１１のＸ軸の回転角α’を後述する式（３７）に基づいて求め。そして、当該許容できる回転角α’を、後述する式（３８）に示すように、レリーズボタンが全押しされた場合における、Ｘ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂから出力されるＸ軸周りおよびＹ軸周りの角速度ＡｎｇｌｅＶｅｌ＿ＸおよびＡｎｇｌｅＶｅｌ＿Ｙの平均値によって除算することにより、シャッタ速度ＳＳを求める。このようにして求められたシャッタ速度ＳＳは、プロセッサ１３に供給され、プロセッサ１３は撮像素子１１のシャッタ速度がＳＳになるように制御する。なお、以上の例では、Ｚ軸周りの回転は考えないようにしたが、Ｚ軸周りについても移動する方向が異なるだけで、原理は同じである。このような制御を行うことにより、撮像面上における対象点の移動量が許容移動量内に収まることから、手ぶれの少ない画像を得ることができる。
なお、本実施の形態では、手ぶれ防止部３０による上述のような処理と併せて、光学手ぶれ軽減部５０による手ぶれ軽減処理が実行される。このため、これらの２種類の手ぶれに関する処理により、それぞれの特徴を生かした手ぶれの軽減処理が実行されることから、様々な種類の手ぶれに対応することができる。例えば、光学手ぶれ軽減部５０は、Ｘ軸およびＹ軸周りの手ぶれは有効に軽減することができるが、Ｚ軸周りについては、軽減を行うことができない。しかし、手ぶれ防止部３０は軸方向に拘わらず軽減を行うことができるので、これらの２つの処理部によって、どのような手ぶれも確実に軽減することができる。
つぎに、本発明の第１実施形態の動作の概要について説明する。図４は、図３に示す撮像部４０がＸ軸、Ｙ軸、または、Ｚ軸を中心として回転された場合において、撮像素子１１の撮像面上における対象点の移動の様子を示す図である。図４（Ａ）は、撮像素子１１をＹ軸を中心として回転させた場合における、撮像面に投影された被写体の任意の点としての対象点の動きを示している。この図に示すように、Ｙ軸を中心として撮像素子１１を回転させた場合には、対象点は矢印で示すように、撮像素子１１の走査線の方向であるｘ方向（横方向）に移動する。図４（Ｂ）は、撮像素子１１をＸ軸を中心として回転させた場合における、撮像面上における対象点の動きを示している。この図に示すように、Ｘ軸を中心として撮像素子１１を回転させた場合には、対象点は矢印で示すように、撮像素子１１の走査線に直交する方向であるｙ方向（横方向）に移動する。図４（Ｃ）は、撮像素子１１をＺ軸を中心として回転させた場合における、撮像面上における対象点の動きを示している。この図に示すように、Ｚ軸を中心として撮像素子１１を回転させた場合には、対象点は矢印で示すように、撮像素子１１の中央付近を中心として回転する方向に移動する。
ところで、Ｚ軸方向のぶれを考えない場合に、撮像素子１１の露光開始時における対象点の位置を（ｘ1，ｙ1）とし、露光終了時における対象点の位置を（ｘ2，ｙ2）とした場合、露光開始から終了までの間に対象点はｘ方向にｘ2−ｘ1だけ移動し、ｙ方向にｙ2−ｙ1だけ移動する。このとき、ｘ方向およびｙ方向の画素サイズをＳx，Ｓyとした場合、対象点の移動画素数は、ｘ方向およびｙ方向のそれぞれに対して（ｘ2−ｘ1）／Ｓxおよび（ｙ2−ｙ1）／Ｓyとなる。このような対象点の移動画素数が少ない程、手ぶれの小さい画像となる。そこで、本実施の形態では、露光開始から終了までの期間において、対象点のｘ方向またはｙ方向への許容できる移動量に対応する撮像素子１１のＸ軸またはＹ軸の回転角度を求め、当該回転角度をジャイロセンサによって検出された角速度によって除算することにより得られる値に基づいてシャッタ速度を算出することにより、移動点の撮像面上における移動量が許容移動量内に収まるように制御する。より詳細には、本実施の形態では、ｘ方向およびｙ方向の移動量が同じであると仮定し、対象点のｙ方向への許容できる移動量に対応する撮像素子１１のＸ軸の回転角α’を後述する式（３７）に基づいて求め。そして、当該許容できる回転角α’を、後述する式（３８）に示すように、レリーズボタンが全押しされた場合における、Ｘ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂから出力されるＸ軸周りおよびＹ軸周りの角速度ＡｎｇｌｅＶｅｌ＿ＸおよびＡｎｇｌｅＶｅｌ＿Ｙの平均値によって除算することにより、シャッタ速度ＳＳを求める。このようにして求められたシャッタ速度ＳＳは、プロセッサ１３に供給され、プロセッサ１３は撮像素子１１のシャッタ速度がＳＳになるように制御する。なお、以上の例では、Ｚ軸周りの回転は考えないようにしたが、Ｚ軸周りについても移動する方向が異なるだけで、原理は同じである。このような制御を行うことにより、撮像面上における対象点の移動量が許容移動量内に収まることから、手ぶれの少ない画像を得ることができる。
なお、本実施の形態では、手ぶれ防止部３０による上述のような処理と併せて、光学手ぶれ軽減部５０による手ぶれ軽減処理が実行される。このため、これらの２種類の手ぶれに関する処理により、それぞれの特徴を生かした手ぶれの軽減処理が実行されることから、様々な種類の手ぶれに対応することができる。例えば、光学手ぶれ軽減部５０は、Ｘ軸およびＹ軸周りの手ぶれは有効に軽減することができるが、Ｚ軸周りについては、軽減を行うことができない。しかし、手ぶれ防止部３０は軸方向に拘わらず軽減を行うことができるので、これらの２つの処理部によって、どのような手ぶれも確実に軽減することができる。
（Ｃ）本発明の第１実施形態の詳細な動作
つぎに、本発明の実施の形態の詳細な動作について説明する。以下では、本実施形態における手ぶれ防止処理のアルゴリズムについて説明した後、実施の形態の具体的な動作について説明する。
図５は単純なレンズ・モデルに基づき定義された撮像モデルを示す概念図である。理解を容易にするために、焦点面は画像面に平行に設定され、また、レンズは比較的薄く、その光学軸は画像面に垂直であるとする。このとき、レンズはつぎの法則に従って作用するものとする。
つぎに、本発明の実施の形態の詳細な動作について説明する。以下では、本実施形態における手ぶれ防止処理のアルゴリズムについて説明した後、実施の形態の具体的な動作について説明する。
図５は単純なレンズ・モデルに基づき定義された撮像モデルを示す概念図である。理解を容易にするために、焦点面は画像面に平行に設定され、また、レンズは比較的薄く、その光学軸は画像面に垂直であるとする。このとき、レンズはつぎの法則に従って作用するものとする。
ここで、ｕはレンズ面から実世界対象までの距離を示し、ｖはレンズ面から集束画像までの距離を示し、ｆはレンズの焦点距離を示す。また、実世界対象の座標と画像における画素の座標との関係については以下のように定義されるものとする。
Ｆ：撮像装置の焦点距離
Ｐw＝（ｘw，ｙw，ｚw）：実世界対象座標における１点の位置
Ｐc＝（ｘc，ｙc，ｚc）：撮像装置座標における１点の位置
Ｐim＝（ｘim，ｙim）：画像面座標における１点の位置
Ｐfocused＝（ｘfocused，ｙfocused）：焦点面座標における１点の位置
Ｐ＝（ｘ，ｙ）：画素座標における１点の位置
Ｓx：ｘ方向画素サイズ
Ｓy：ｙ方向画素サイズ
ｘ0：水平主点
ｙ0：垂直主点
λ：モデル倍率
α：撮像装置のＸ軸を中心とする回転角
β：撮像装置のＹ軸を中心とする回転角
γ：撮像装置のＺ軸を中心とする回転角
Ｐw＝（ｘw，ｙw，ｚw）：実世界対象座標における１点の位置
Ｐc＝（ｘc，ｙc，ｚc）：撮像装置座標における１点の位置
Ｐim＝（ｘim，ｙim）：画像面座標における１点の位置
Ｐfocused＝（ｘfocused，ｙfocused）：焦点面座標における１点の位置
Ｐ＝（ｘ，ｙ）：画素座標における１点の位置
Ｓx：ｘ方向画素サイズ
Ｓy：ｙ方向画素サイズ
ｘ0：水平主点
ｙ0：垂直主点
λ：モデル倍率
α：撮像装置のＸ軸を中心とする回転角
β：撮像装置のＹ軸を中心とする回転角
γ：撮像装置のＺ軸を中心とする回転角
実世界対象の座標と画素座標との関係は４つの構成要素を含む。関係の第１の構成要素は撮像装置と実世界対象座標との回転と並進である。
ここで、ＲはＸ，Ｙ，Ｚ方向に対する回転を定義する３×３の回転マトリクスであり、また、Ｔは原点間の並進を定義する三次元並進ベクトルである。
また、関係の第２の構成要素は実世界対象座標から画像面への透視投影である。この透視投影は簡略化ピンホール・カメラ投影モデルに基づいている。
図５に示す単純レンズ・モデルにより、第３の構成要素は撮像装置１０の焦点面および画像面を（ｕ，ｖ，ｆ）の関数であるモデル倍率λと以下のように関連付ける。
ここで、（ｘim，ｙim）は二次元画像面座標に投影された点であり、（ｘfocused，ｙfocused）は二次元焦点面座標で対応する点であり、λはｖ／ｆに比例し、その値は“１”に近い。
また、関係の第２の構成要素は実世界対象座標から画像面への透視投影である。この透視投影は簡略化ピンホール・カメラ投影モデルに基づいている。
また、関係の第４の構成要素は焦点面と画像素座標との変換である。
従って、実世界対象座標と画素座標との関係は以下の通り式（２），（３），（４），および式（５）の組み合わせである。この結果、座標投影ＣＰは以下のように表現できる。
また、次のようにも表現できる。
ｘ方向画素サイズＳxおよびｙ方向画素サイズＳyは、焦点面上の撮像素子１１の解像度から計算される。なお、撮像の解像度が変更された場合には、ｘ方向画素サイズＳxおよびｙ方向画素サイズＳyは変更される。
本実施の形態では、露光が開始されてから終了するまでの間の撮像装置１０の動きは、単なる回転であると仮定する。この仮定の下では、並進ベクトルＴはゼロベクトルとなる。
この結果、式（７）の撮像装置モデルは以下のように簡略化できる。
式（９）における回転マトリクスＲは次のように計算される。
Ｘ軸に対する回転を表すマトリクスは以下のように表される。
Ｙ軸に対する回転を表すマトリクスは以下のように表される。
Ｚ軸に対する回転を表すマトリクスは以下のように表される。
以上に定義したように、α、β、および、γは、それぞれ、Ｘ軸、Ｙ軸、および、Ｚ軸の周りに回転された角度で、角速度と露光時間と以下のように関係している。
ここで、Ｅは露光期間、Ｇx、Ｇy、および、Ｇzは、後述するようにジャイロセンサから得られる角速度である。なお、Ｎは露光期間Ｅ中に得られたジャイロセンサのサンプル数である。
回転の前に撮像装置座標は実世界対象座標と位置合わせされる。従って回転前の回転マトリクスは以下のように表される。
回転がない場合、実世界対象点Ｐw＝（Ｐx，Ｐy，Ｐz）に対応する画素座標は以下の式によって表される。
ここで、（ｘ1，ｙ1）は、実世界対象座標の点Ｐwに対応する画素座標である。回転は、上述のように撮像装置１０の露光開始から終了までの間のＸ軸、Ｙ軸、および、Ｚ軸に対する単純な回転と仮定されるが、回転された角度はそれぞれα、β、および、γで表される。回転マトリクスＲは、式（１０）によって表される。さらに、撮像装置１０の回転前の実世界対象点Ｐw＝（ｘw，ｙw，ｚw）に対応する画素座標は式（１６）で表される。式（１６）から、実世界対象座標の点Ｐw＝（ｘw，ｙw，ｚw）は以下の式によって表すことができる。
説明を簡略化するために、撮像装置１０の露光中に被写体は動かないと仮定される。式（１７）および式（９）から、各画素の回転前後の関係が画像座標で得られる。
ここで、（ｘ2，ｙ2）は撮像装置１０の回転後の実世界対象点Ｐwに対応する画像の画素座標であり、（ｘ1，ｙ1）は撮像装置１０の回転前の実世界対象点に対応する画素座標である。
画像における各画素に対する動きベクトルは次のように表すことができる。
画像における各画素に対する動きベクトルは次のように表すことができる。
本実施の形態では、計算量を減らすために、式（１１）、式（１２）、および、式（１３）のｓｉｎαおよびｃｏｓαを以下のようにマクローリン展開する。
ここで、α＜＜１であるとすると、式（２０）および式（２１）の右辺の第２項以降は無視することができるので、ｓｉｎα＝αと近似し、また、ｃｏｓα＝１と近似することができる。
式（１８）の右辺を展開すると、以下の式（２２）、式（２３）、および、式（２４）を得る。ここで、Ｚ軸周りへの回転は無視できるものとする。
ここで、式（２２）、式（２３）、および、式（２４）において、ｓｉｎα＝α、ｃｏｓα＝１と近似し、ｓｉｎβ＝β、ｃｏｓβ＝１と近似すると、以下の式（２５）、式（２６）、および、式（２７）を得る。
式（２６）において、−（（ｘ1−ｘ0）×Ｆｃ２×α×β）／Ｆｃ１は、他項に比較して十分に小さい値であるので、これを削除すると以下の式（２８）を得る。
また、式（２５）、式（２８）、および、式（１９）より以下の式（２９）および式（３０）を得る。
式（２９）および式（３０）の右辺を整理すると、以下の式（３１）および式（３２）を得る。
ここで、（ｘ2−ｘ1）＝Δｘとし、（ｙ2−ｙ1）＝Δｙとすると、対象点の移動量であるＭｏｔｉｏｎＥｘｔｅｎｔは以下の式で表される。
本実施の形態では、最適なシャッタ速度を対象点の移動量から求める。式（３１）および式（３２）をβおよびαについて変形すると、以下の式（３４）および式（３５）を得る。
式（３４）および式（３５）はラジアン（radian）値であるため、ディグリー（degree）値に変換すると、以下の式（３６）および式（３７）を得る。
実際の手ぶれでは、Ｘ軸およびＹ軸の回転量が異なるため、α’およびβ’の値は異なり、その結果、移動量（ｘ2−ｘ1）および（ｙ2−ｙ1）も異なる。しかしながら、本実施の形態では、計算を簡略化するためにこれらが同じであると仮定する。その場合、Ｆｃ１およびＦｃ２が同じである場合には、α’およびβ’は同値となる。
さらに、Ｚ軸を中心とする回転量をγ’とし、γ’についても同値と仮定する。その結果、Ｘ軸ジャイロセンサ３１ａ、Ｙ軸ジャイロセンサ３１ｂ、および、Ｚ軸ジャイロセンサ３１ｃによって検出される角速度をそれぞれＡｎｇｌｅＶｅｌ＿Ｘ、ＡｎｇｌｅＶｅｌ＿Ｙ、および、Ａｎｇｌｅｖｅｌ＿Ｚとし、α’を用いると、最適なシャッタ速度ＳＳは以下の式（３８）によって求められる。
さらに、Ｚ軸を中心とする回転量をγ’とし、γ’についても同値と仮定する。その結果、Ｘ軸ジャイロセンサ３１ａ、Ｙ軸ジャイロセンサ３１ｂ、および、Ｚ軸ジャイロセンサ３１ｃによって検出される角速度をそれぞれＡｎｇｌｅＶｅｌ＿Ｘ、ＡｎｇｌｅＶｅｌ＿Ｙ、および、Ａｎｇｌｅｖｅｌ＿Ｚとし、α’を用いると、最適なシャッタ速度ＳＳは以下の式（３８）によって求められる。
本実施の形態では、許容されるｙ方向の移動量（ｙ2−ｙ1）に基づいて式（３７）によってα’を求め、Ｘ軸ジャイロセンサ３１ａ、Ｙ軸ジャイロセンサ３１ｂ、および、Ｚ軸ジャイロセンサ３１ｃによって検出される角速度ＡｎｇｌｅＶｅｌ＿Ｘ、ＡｎｇｌｅＶｅｌ＿Ｙ、Ａｎｇｌｅｖｅｌ＿Ｚを、式（３８）に代入することにより、最適なシャッタ速度ＳＳを求める。そして、求めた最適なシャッタ速度ＳＳに応じて撮像素子１１を制御する。また、撮像の際には、Ｘ方向およびＹ方向については、光学手ぶれ軽減部５０によって、光学的に手ぶれの軽減を行う。これにより、手ぶれが生じにくいシャッタ速度によって撮影がなされるとともに、撮像中に手ぶれが生じた場合であっても、光学手ぶれ軽減部５０によって手ぶれによる画像の劣化が抑制される。また、光学手ぶれ軽減部５０は、レンズ４３の光軸方向であるＺ軸周りの手ぶれに対しては対処することができないが、手ぶれ防止部３０はそのようなＺ軸周りの手ぶれについても軽減させることができる。
つぎに、撮像装置１０において実行される処理の詳細について、図６のフローチャートを参照して説明する。図６に示すフローチャートの処理が開始されると、以下のステップが実行される。すなわち、ステップＳ１では、プロセッサ３３は、撮像素子１１の撮像面における対象点の許容移動量Δｙを決定する。なお、Δｙの決定方法としては、例えば、格納部３４に予めΔｙの値を格納しておき、撮像装置１０が起動された際に、この値を読み出すようにすればよい。
ステップＳ２では、プロセッサ１３は、ユーザ・インタフェース１５が有する図示せぬレリーズボタンが半押し状態にされたか否かを判定し、半押し状態にされた場合にはステップＳ３に進み、それ以外の場合には同様の処理を繰り返す。例えば、ユーザが被写体に対して撮像装置１０を向け、レリーズボタンを半押し状態にした場合には（図７のＳ１参照）、ステップＳ２においてＹｅｓと判定されてステップＳ３に進む。
ステップＳ３では、プロセッサ１３は、ＡＦ（Auto Focus）処理およびＡＥ（Auto Exposure）処理を実行する（図７の「ＡＦ，ＡＥ処理」参照）。より詳細には、プロセッサ１３は、輝度検知部１２の検知結果に基づいて、被写体の輝度を検出し、最適な露出値を決定する。このＡＥ処理の結果、検出された輝度に応じた最適な絞り値と、シャッタ速度とが決定される。また、プロセッサ１３は、図３に示す撮像部４０を制御して、被写体と撮像装置１０との間の距離に応じて、ＡＦ処理を実行し、最適な焦点距離を決定する。そして、このようにして決定された絞り値、シャッタ速度、焦点距離は、格納部１４に格納された後、後述するステップＳ６において、手ぶれ防止部３０のプロセッサ３３に供給される。
ステップＳ４では、プロセッサ１３は、レリーズボタンが全押しの状態にされたか否かを判定し、全押しの状態にされたと判定した場合（図７のＳ２参照）にはステップＳ５に進み、それ以外の場合には同様の処理を繰り返す。例えば、ユーザが、被写体の構図を決定し、撮影を行うと判断してレリーズボタンを全押しの状態にした場合にはステップＳ５に進む。
ステップＳ５では、プロセッサ１３は、手ぶれ防止部３０に対して、レリーズボタンが全押しされたことを通知し、手ぶれ防止部３０では、この通知に基づいて、ジャイロのサンプリング処理（図７の「サンプリング処理」参照）を開始する。より詳細には、プロセッサ３３は、アナログ−デジタル変換部３２ａ、アナログ−デジタル変換部３２ｂ、および、アナログ−デジタル変換部３２ｃの出力を一定の間隔でサンプリングし、ジャイロデータとして格納部３４に格納する。なお、ジャイロセンサ３１ａ，３１ｂ，３１ｃは、手ぶれ量に対応したＸ軸、Ｙ軸、Ｚ軸周りの角速度を検出するが、手ぶれ量は時間的に変化するため、ジャイロセンサ３１ａ，３１ｂ，３１ｃの出力は時間的に変動する。そこで、サンプリング処理では、１回ではなく複数回のサンプリングを行って、得られた複数回の角速度の平均値を算出し、得られた値をＸ軸、Ｙ軸、Ｚ軸周りの角速度として用いることができる。
ステップＳ６では、プロセッサ３３は、撮像情報をプロセッサ１３を介して、格納部１４から取得する。このとき、取得する撮像情報としては、前述したように、絞り値、シャッタ速度、および、焦点距離がある。
ステップＳ７では、プロセッサ３３は、ジャイロのサンプリング処理を終了する。すなわち、プロセッサ３３は、アナログ−デジタル変換部３２ａ，３２ｂ，３２ｃからのデータの取得を終了する。なお、ジャイロセンサ３１ａ，３１ｂ，３１ｃおよびアナログ−デジタル変換部３２ａ，３２ｂ，３２ｃにおける消費電力を抑制するために、これらに対する電源電力の供給を、サンプリング処理が終了した時点で停止するようにしてもよい。
ステップＳ８では、プロセッサ３３は、格納部３４に格納されているジャイロデータを取得する。このとき、格納部３４にはＸ軸、Ｙ軸、Ｚ軸に関する複数のジャイロデータが格納されているので、前述したように、プロセッサ３３は、これらのジャイロデータの平均値を求め、Ｘ軸、Ｙ軸、Ｚ軸周りの角速度であるＡｎｇｌｅＶｅｌ＿Ｘ、ＡｎｇｌｅＶｅｌ＿Ｙ、ＡｎｇｌｅＶｅｌ＿Ｚを得る。
ステップＳ９では、プロセッサ３３は、手ぶれ防止処理を実行する（図７の「演算処理」参照）。より詳細には、プロセッサ３３は、まず、プロセッサ１３から撮像する画像のｙ方向の画素サイズ（Ｓy）を取得する。例えば、撮像素子１１の縦×横の解像度が２３０４×２３０４画素である場合に、１画素の縦および横の長さがそれぞれ２．５μｍであるとする。この場合に、撮像する画像の実質的な解像度が６４０×４８０画素である場合、複数の画素によって１画素が表現されるので、Ｓyは＝２３０４／４８０×２．５μｍ＝１２μｍ＝０．０１２ｍｍとなる。つぎに、プロセッサ３３は、ステップＳ６において取得した撮像情報に含まれている焦点距離Ｆを格納部３４から取得し、Ｆｃ２＝Ｆ／Ｓyに基づいてＦｃ２を求める。そして、プロセッサ３３は、ステップＳ１において決定したΔｙ（＝ｙ2−ｙ1）と、Ｆｃ２に基づいて、式（３７）に基づいてα’の値を算出する。そして、プロセッサ３３は、ステップＳ８において算出したＸ軸周りの角速度ＡｎｇｌｅＶｅｌ＿Ｘ、Ｙ軸周りの角速度ＡｎｇｌｅＶｅｌ＿Ｙ、および、Ｚ軸周りの角速度ＡｎｇｌｅＶｅｌ＿Ｚならびに前述したα’の値を式（３８）に代入し、最適なシャッタ速度ＳＳを算出する。
ステップＳ１０では、プロセッサ３３は、ステップＳ９において算出された最適なシャッタ速度ＳＳに基づいて、シャッタ速度を決定する。すなわち、プロセッサ３３は、まず、得られたシャッタ速度ＳＳを、撮像装置１０において設定可能なシャッタ速度に変換する。図８は、撮像装置１０において設定可能なシャッタ速度の一例を示す図である。この例では、シャッタ速度ＳＳは、１ｓｅｃから１／４０００ｓｅｃの範囲で、１３種類の設定値の中から選択可能とされている。なお、「Ｔｖ」は、それぞれのシャッタ速度を指定するための値であり、この例では、０〜１２の値によってＳＳの値を指定することができる。プロセッサ３３は、ステップＳ９において算出したＳＳの値に最も近い値を、図８から検索し、得られた値を新たなＳＳの値とする。例えば、ステップＳ９で得られたＳＳの値が「１／１５０ｓｅｃ」である場合には、図８の「１／１２５ｓｅｃ」が新たなＳＳの値として選択される。なお、近い値を選択するのではなく、シャッタ速度が速い方の値を選択するようにしてもよい。その場合、ステップＳ９で得られたＳＳの値が「１／１５０ｓｅｃ」である場合には、図８の「１／２５０ｓｅｃ」が新たなＳＳの値として選択される。
つぎに、プロセッサ３３は、ステップＳ６において取得した撮像情報に含まれているシャッタ速度ＳＳと、前述した処理によって得られた新たなＳＳとを比較し、より速度が速い方のＳＳの値を、最終ＳＳ値とする。例えば、新たなＳＳの値が「１／１２５ｓｅｃ」であり、撮像情報に含まれているシャッタ速度ＳＳの値が「１／６０ｓｅｃ」である場合には、「１／１２５ｓｅｃ」が最終ＳＳ値として選択される。
一方、新たなＳＳの値が「１／１２５ｓｅｃ」であり、撮像情報に含まれているシャッタ速度ＳＳの値が「１／２５０ｓｅｃ」である場合には、「１／２５０ｓｅｃ」が最終ＳＳ値として選択される。新たなＳＳ値よりも、撮像情報に含まれているシャッタ速度の方が速い場合には、手ぶれの発生は防止されると考えられるからである。
以上のようにして算出されたシャッタ速度ＳＳ値（またはＴｖ値）は、プロセッサ１３に供給される。
つぎに、プロセッサ３３は、ステップＳ６において取得した撮像情報に含まれているシャッタ速度ＳＳと、前述した処理によって得られた新たなＳＳとを比較し、より速度が速い方のＳＳの値を、最終ＳＳ値とする。例えば、新たなＳＳの値が「１／１２５ｓｅｃ」であり、撮像情報に含まれているシャッタ速度ＳＳの値が「１／６０ｓｅｃ」である場合には、「１／１２５ｓｅｃ」が最終ＳＳ値として選択される。
一方、新たなＳＳの値が「１／１２５ｓｅｃ」であり、撮像情報に含まれているシャッタ速度ＳＳの値が「１／２５０ｓｅｃ」である場合には、「１／２５０ｓｅｃ」が最終ＳＳ値として選択される。新たなＳＳ値よりも、撮像情報に含まれているシャッタ速度の方が速い場合には、手ぶれの発生は防止されると考えられるからである。
以上のようにして算出されたシャッタ速度ＳＳ値（またはＴｖ値）は、プロセッサ１３に供給される。
ステップＳ１１では、プロセッサ１３は、ステップＳ１０において求めたシャッタ速度ＳＳに基づいて、撮像処理を実行する。具体的には、プロセッサ１３は、以下に示す式（３９）に対して、ステップＳ１０で求めた最終シャッタ速度ＳＳを代入するとともに、ステップＳ３のＡＥ処理によって得た露光量Ｅｖを式（３９）に代入し、感度値ＩＳＯまたは絞り値Ａｖを決定する。例えば、「絞り優先」が設定されている場合には、ユーザによって設定された絞り値Ａｖを用い、式（３９）に基づいて感度値ＩＳＯを求める。また、ユーザによって感度値ＩＳＯが設定されている場合には、設定された感度値ＩＳＯを用いて、絞り値Ａｖを求める。
そして、プロセッサ１３は、求めたこれらの撮像情報（絞り値Ａｖ、シャッタ速度ＳＳ、および、感度値ＩＳＯ）に基づいて、撮像部４０の設定を行った後、光学手ぶれ軽減を伴う撮像を開始する（図７の「撮像開始」参照）。より詳細には、プロセッサ１３は、絞り値Ａｖに基づいて撮像部４０の絞りを設定し、シャッタ速度ＳＳに応じてシャッタ速度を設定し、感度値ＩＳＯに応じて感度を設定する。そして、図７のＳＯにおいて、撮像を開始する。撮像が開始されると、光学手ぶれ軽減部５０は、手ぶれ防止部３０のＸ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂから出力されるＸ軸およびＹ軸を中心とするその時点における角速度を入力する。図４（Ａ）に示すように、Ｙ軸を中心とする手ぶれは対象点をｘ方向に移動させる動きとなるので、光学手ぶれ軽減部５０は、Ｙ軸ジャイロセンサ３１ｂからの出力に応じてレンズ４３をｘ方向に移動させ、対象点のｘ方向への移動をキャンセルする。また、図４（Ｂ）に示すように、Ｘ軸を中心とする手ぶれは対象点をｙ方向に移動させる動きとなるので、光学手ぶれ軽減部５０は、Ｘ軸ジャイロセンサ３１ｂからの出力に応じてレンズ４３をｙ方向に移動させ、対象点のｙ方向への移動をキャンセルする。このような処理により、撮像中において、手ぶれが生じた場合であっても、光学手ぶれ軽減部５０によって、レンズ４３が手ぶれをキャンセルする方向に移動されるので、撮像された画像の劣化を防ぐことができる。
以上のような撮像処理によって得られた画像データは、データ圧縮処理等が施された後、格納部１４に格納される。
以上のような撮像処理によって得られた画像データは、データ圧縮処理等が施された後、格納部１４に格納される。
以上に説明したように、本発明の実施の形態では、許容できる回転角度α’と、Ｘ軸ジャイロセンサ３１ａ、Ｙ軸ジャイロセンサ３１ｂ、および、Ｚ軸ジャイロセンサ３１ｃによって検出された角速度ＡｎｇｌｅＶｅｌ＿Ｘ、ＡｎｇｌｅＶｅｌ＿Ｙ、および、ＡｎｇｌｅＶｅｌ＿Ｚに基づいて、式（３８）によって最適なシャッタ速度ＳＳを求め、求めたシャッタ速度ＳＳに応じて撮像を行うようにした。このため、三角関数および行列式の演算をする必要がないので、安価なプロセッサでも高速に演算処理を実行することができる。また、ルックアップテーブルを設ける必要がないので、格納部３４の必要な記憶容量を削減することができる。
また、本実施の形態では、Ｚ軸ジャイロセンサ３１ｃの出力についても参照するようにしたので、光学手ぶれ軽減部５０による軽減が困難なＺ軸を中心とする手ぶれについても対応することができる。また、Ｚ軸を中心とする補正を行う場合であっても、前述の場合と同様に、三角関数および行列式の演算を行う必要がなく、また、ルックアップテーブルを設ける必要もない。
また、本実施の形態では、光学手ぶれ軽減部５０による手ぶれの軽減処理も併せて実行するようにしたので、撮像中に生じた手ぶれによる画像の劣化を確実に軽減することができる。さらに、本実施の形態では、光学手ぶれ軽減部５０は、手ぶれ防止部３０が有するＸ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂの検出信号を利用するようにしたので、これらのジャイロセンサを共用することにより、装置が複雑化することを防止できる。
（Ｄ）本発明の第２実施形態
つぎに、本発明の第２実施形態について説明する。本発明の第２実施形態は、第１実施形態と比較すると、撮像装置１０の構成は、第１実施形態の場合と同様であるが、手ぶれ防止部３０の動作が、第１実施形態の場合と異なっている。以下では、異なる部分を中心に説明を行う。
図９は、手ぶれ防止機能の設定を行うための操作がユーザ・インタフェース１５に対してなされた場合に実行される処理の一例を示すフローチャートである。図９に示すフローチャートの処理が開始されると、以下のステップが実行される。すなわち、ステップＳ３１では、プロセッサ１３は、ユーザ・インタフェース１５の表示部に対して、メニュー画面を表示させる。図１０は、このとき、ユーザ・インタフェース１５の表示部に表示されるメニュー画面の一例を示している。この例では、画面の最上部にはタイトルとしての「メニュー画面」が表示され、その下にはメッセージとしての「手ぶれ防止機能のオン／オフを設定して下さい。」が表示され、その下には選択項目としての「オン」および「オフ」が表示されている。このようなメニュー画面において、選択項目としての「オン」または「オフ」を選択することにより、手ぶれ防止部３０による手ぶれ防止機能をオンまたはオフすることができる。
つぎに、本発明の第２実施形態について説明する。本発明の第２実施形態は、第１実施形態と比較すると、撮像装置１０の構成は、第１実施形態の場合と同様であるが、手ぶれ防止部３０の動作が、第１実施形態の場合と異なっている。以下では、異なる部分を中心に説明を行う。
図９は、手ぶれ防止機能の設定を行うための操作がユーザ・インタフェース１５に対してなされた場合に実行される処理の一例を示すフローチャートである。図９に示すフローチャートの処理が開始されると、以下のステップが実行される。すなわち、ステップＳ３１では、プロセッサ１３は、ユーザ・インタフェース１５の表示部に対して、メニュー画面を表示させる。図１０は、このとき、ユーザ・インタフェース１５の表示部に表示されるメニュー画面の一例を示している。この例では、画面の最上部にはタイトルとしての「メニュー画面」が表示され、その下にはメッセージとしての「手ぶれ防止機能のオン／オフを設定して下さい。」が表示され、その下には選択項目としての「オン」および「オフ」が表示されている。このようなメニュー画面において、選択項目としての「オン」または「オフ」を選択することにより、手ぶれ防止部３０による手ぶれ防止機能をオンまたはオフすることができる。
ステップＳ３２では、プロセッサ１３は、メニュー画面において、手ぶれ防止機能の動作が選択されたか否かを判定し、動作が選択された場合にはステップＳ３４に進み、それ以外の場合にはステップＳ３３に進む。より詳細には、図１０に示すメニュー画面において、「オン」が選択された場合にはステップＳ３４に進み、それ以外の場合にはステップＳ３３に進む。
図１０に示すメニュー画面において「オフ」が選択された場合には、ステップＳ３３に進み、プロセッサ１３は、手ぶれ防止部３０の処理を停止させる。
一方、図１０に示すメニュー画面において「オン」が選択された場合には、ステップＳ３４に進み、プロセッサ１３は、手ぶれ防止部３０を動作させる。
図１０に示すメニュー画面において「オフ」が選択された場合には、ステップＳ３３に進み、プロセッサ１３は、手ぶれ防止部３０の処理を停止させる。
一方、図１０に示すメニュー画面において「オン」が選択された場合には、ステップＳ３４に進み、プロセッサ１３は、手ぶれ防止部３０を動作させる。
ステップＳ３５では、プロセッサ１３は、光学手ぶれ軽減部５０の角速度閾値Ｖｔｈを設定する。ここで、角速度閾値Ｖｔｈとは、光学手ぶれ軽減部５０が対応可能な最大の手ぶれの角速度を示している。すなわち、光学手ぶれ軽減部５０は、レンズ４３をアクチュエータによって駆動することにより手ぶれの軽減を行うが、手ぶれの角速度が大きい場合には、制御系の動作速度が追従できなくなる。角速度閾値Ｖｔｈは追従できる最大の角速度を示している。
ステップＳ３６では、プロセッサ１３は、光学手ぶれ軽減部５０の角度閾値Ａｔｈを設定する。ここで、角度閾値Ａｔｈとは、光学手ぶれ軽減部５０が対応可能な最大の手ぶれの角度を示している。すなわち、前述したように、光学手ぶれ軽減部５０は、レンズ４３をアクチュエータによって駆動することにより手ぶれの軽減を行うが、手ぶれの角度が大きい場合には、制御系の動作範囲（角度）が追従できなくなる。角度閾値Ａｔｈは追従できる最大の角度を示している。
ステップＳ３７では、プロセッサ１３は、ステップＳ３５，Ｓ３７で設定した角速度閾値Ｖｔｈおよび角度閾値Ａｔｈを、プロセッサ３３を介して、格納部３４に格納し、処理を終了する。
以上の処理により、メニュー画面において、手ぶれ防止機能のオン／オフの設定を行うとともに、角速度閾値Ｖｔｈおよび角度閾値Ａｔｈが設定されて格納部３４に格納される。
以上の処理により、メニュー画面において、手ぶれ防止機能のオン／オフの設定を行うとともに、角速度閾値Ｖｔｈおよび角度閾値Ａｔｈが設定されて格納部３４に格納される。
つぎに、第２実施形態の撮影時の動作について説明する。第２実施の形態における撮影時の動作は、基本的には図６に示す場合と同様であるが、図６のステップＳ１０に示す「シャッタ速度決定」の動作が異なっている。図１１は、図６のステップＳ１０に示す「シャッタ速度決定」の動作の詳細を説明する図である。この図の処理が開始されると、以下のステップが実行される。すなわち、ステップＳ５１では、プロセッサ３３は、ステップＳ５〜Ｓ７の処理によってサンプリングされたＸ軸ジャイロセンサ３１ａのデータの中から、最大値を有するデータを検索し、得られたデータをＭａｘ＿Ａｎｇｌｅ＿Ｘに格納する。これにより、Ｍａｘ＿Ａｎｇｌｅ＿Ｘには、ステップＳ５〜Ｓ７の処理によって得られたＸ軸ジャイロセンサ３１ａの角速度データの中で最大値を有するものが格納される。
ステップＳ５２では、プロセッサ３３は、ステップＳ５〜Ｓ７の処理によってサンプリングされたＹ軸ジャイロセンサ３１ｂのデータの中から、最大値を有するデータを検索し、得られたデータをＭａｘ＿Ａｎｇｌｅ＿Ｙに格納する。これにより、Ｍａｘ＿Ａｎｇｌｅ＿Ｙには、ステップＳ５〜Ｓ７の処理によって得られたＹ軸ジャイロセンサ３１ｂの角速度データの中で最大値を有するものが格納される。
ステップＳ５３では、プロセッサ３３は、ステップＳ５〜Ｓ７の処理によってサンプリングされたＸ軸ジャイロセンサ３１ａのデータを時間積分し、得られたデータをＩｎｔ＿Ａｎｇｌｅ＿Ｘに格納する。これにより、Ｉｎｔ＿Ａｎｇｌｅ＿Ｘには、ステップＳ５〜Ｓ７の処理によって得られたＸ軸ジャイロセンサ３１ａの角速度データの時間積分値（サンプリング期間中におけるＸ軸周りの回転角）が格納される。
ステップＳ５４では、プロセッサ３３は、ステップＳ５〜Ｓ７の処理によってサンプリングされたＹ軸ジャイロセンサ３１ｂのデータを時間積分し、得られたデータをＩｎｔ＿Ａｎｇｌｅ＿Ｙに格納する。これにより、Ｉｎｔ＿Ａｎｇｌｅ＿Ｙには、ステップＳ５〜Ｓ７の処理によって得られたＹ軸ジャイロセンサ３１ｂの角速度データの時間積分値（サンプリング期間中におけるＹ軸周りの回転角）が格納される。
ステップＳ５５では、プロセッサ３３は、ステップＳ５１，５２において求めたＭａｘ＿Ａｎｇｌｅ＿ＸおよびＭａｘ＿Ａｎｇｌｅ＿Ｙと、図９のステップＳ３５で設定されたＶｔｈとを比較し、Ｍａｘ＿Ａｎｇｌｅ＿Ｘ＞Ｖｔｈが成立するか、または、Ｍａｘ＿Ａｎｇｌｅ＿Ｙ＞Ｖｔｈが成立する場合には、ステップＳ５６に進み、それ以外の場合にはステップＳ５７に進む。すなわち、Ｘ軸周りの最大角速度が角速度閾値を上回る場合、または、Ｙ軸周りの最大角速度が角速度閾値を上回る場合には、ステップＳ５６に進む。
ステップＳ５６では、プロセッサ３３は、式（４０）に基づいて、シャッタ速度ＳＳを算出し、処理を終了する。ここで、ΔＶ＿Ｘは、Ｍａｘ＿Ａｎｇｌｅ＿Ｘ＞Ｖｔｈの場合においてΔＶ＿Ｘ＝Ｍａｘ＿Ａｎｇｌｅ＿Ｘ−Ｖｔｈによって与えられ、Ｍａｘ＿Ａｎｇｌｅ＿Ｘ≦Ｖｔｈの場合にはΔＶ＿Ｘ＝０となる。ΔＶ＿Ｙは、Ｍａｘ＿Ａｎｇｌｅ＿Ｙ＞Ｖｔｈの場合においてΔＶ＿Ｙ＝Ｍａｘ＿Ａｎｇｌｅ＿Ｙ−Ｖｔｈによって与えられ、Ｍａｘ＿Ａｎｇｌｅ＿Ｙ≦Ｖｔｈの場合にはΔＶ＿Ｙ＝０となる。また、Ａｎｇｌｅｖｅｌ＿Ｚは、Ｚ軸ジャイロセンサ３１ｃによって得られた角速度の平均値である。式（４０）では、Ｍａｘ＿Ａｎｇｌｅ＿ＸおよびＭａｘ＿Ａｎｇｌｅ＿Ｙが角速度閾値Ｖｔｈを上回るほど、シャッタ速度ＳＳの値が小さくなり、また、Ａｎｇｌｅｖｅｌ＿Ｚの値が大きくなるほど、シャッタ速度ＳＳの値が小さくなる。
ステップＳ５７では、プロセッサ３３は、ステップＳ５３，Ｓ５４において求めたＩｎｔ＿Ａｎｇｌｅ＿ＸおよびＩｎｔ＿Ａｎｇｌｅ＿Ｙと、図９のステップＳ３７で設定されたＡｔｈとを比較し、Ｉｎｔ＿Ａｎｇｌｅ＿Ｘ＞Ａｔｈが成立するか、または、Ｉｎｔ＿Ａｎｇｌｅ＿Ｙ＞Ａｔｈが成立する場合には、ステップＳ５８に進み、それ以外の場合にはステップＳ５９に進む。すなわち、Ｘ軸周りの角速度の積分値が角度閾値を上回る場合、または、Ｙ軸周りの角速度の積分値が角度閾値を上回る場合には、ステップＳ５９に進む。
ステップＳ５８では、プロセッサ３３は、式（４１）に基づいて、シャッタ速度ＳＳを算出し、処理を終了する。ここで、ΔＡ＿Ｘは、Ｉｎｔ＿Ａｎｇｌｅ＿Ｘ＞Ａｔｈの場合においてΔＡ＿Ｘ＝Ｉｎｔ＿Ａｎｇｌｅ＿Ｘ−Ａｔｈによって与えられ、Ｉｎｔ＿Ａｎｇｌｅ＿Ｘ≦Ａｔｈの場合にはΔＡ＿Ｘ＝０となる。ΔＡ＿Ｙは、Ｉｎｔ＿Ａｎｇｌｅ＿Ｙ＞Ａｔｈの場合においてΔＡ＿Ｙ＝Ｉｎｔ＿Ａｎｇｌｅ＿Ｙ−Ａｔｈによって与えられ、Ｉｎｔ＿Ａｎｇｌｅ＿Ｙ≦Ｖｔｈの場合にはΔＡ＿Ｙ＝０となる。また、Ｔは、サンプリング開始から終了までの時間を示す。このため、ΔＡ＿Ｘ／ＴおよびΔＡ＿Ｙ／Ｔは角速度のディメンジョンとなる。
ステップＳ５９では、式（４２）に基づいて、シャッタ速度ＳＳを算出する。ステップＳ５９に進むのは、サンプル期間内における、Ｘ軸およびＹ軸周りの最大角速度および角度が閾値を超えていない場合であるので、式（４２）では、Ｚ軸周りの角速度であるＡｎｇｌｅｖｅｌ＿Ｚに基づいてシャッタ速度が算出される。
以上の処理により、シャッタ速度ＳＳが算出されると、図６のステップＳ１１に進み、前述した場合と同様に、手ぶれ軽減処理を伴う撮像処理が実行される。
以上に説明したように、本発明の第２実施形態では、時間Ｔのサンプリング期間内（図６のステップＳ５〜Ｓ７の期間内）において、サンプリングされたＸ軸およびＹ軸周りの角速度の最大値が角速度閾値Ｖｔｈを超えた場合には、超えた分の値がシャッタ速度ＳＳの決定の際に考慮される。また、サンプリング期間内における、Ｘ軸およびＹ軸周りの回転角度が角度閾値Ａｔｈを超えた場合には、超えた分の値がシャッタ速度ＳＳの決定の際に考慮される。また、Ｚ軸周りの角速度については、常に考慮がなされてシャッタ速度ＳＳが決定される。このため、光学手ぶれ軽減部５０による手ぶれの軽減処理の範囲を超える手ぶれが生じた場合には、その超えた量（角速度、および、角度）に基づいて、手ぶれ防止部３０による手ぶれ防止処理が実行される。また、光学手ぶれ軽減部５０によって軽減を行うことができないＺ軸周りの手ぶれについては、手ぶれ防止部３０によって確実に手ぶれが軽減される。
（Ｅ）本発明の第３実施形態
つぎに、本発明の第３実施形態について説明する。図１２は、第３実施形態の撮像装置１０Ａの構成例を示す図である。なお、図１２において、図１と対応する部分には対応する符号を付してその説明を省略する。図１２の例では、図１の場合と比較して、光学手ぶれ軽減部５０が電子手ぶれ軽減部６０（請求項中「手ぶれ軽減手段」に対応）に置換されている。その他の構成は、図１の場合と同様である。ここで、電子手ぶれ軽減部６０は、撮像素子１１によって連続して撮像された複数の画像を、手ぶれの方向に基づいて移動させてソフトウエア的に合成することにより、手ぶれによる画像の劣化が少ないシャープな画像を生成する。
図１３は、第３実施形態の動作を説明するための図である。なお、図１３において、図６と共通する部分には同一の符号を付してその説明を省略する。図１３では、図６と比較して、ステップＳ１１の「光学手ぶれ軽減処理を伴う撮像処理」がステップＳ７０の「撮像処理」に置換され、また、ステップＳ７１の「電子手ぶれ軽減処理」が追加されている。その他の処理は図６の場合と同様である。
つぎに、本発明の第３実施形態について説明する。図１２は、第３実施形態の撮像装置１０Ａの構成例を示す図である。なお、図１２において、図１と対応する部分には対応する符号を付してその説明を省略する。図１２の例では、図１の場合と比較して、光学手ぶれ軽減部５０が電子手ぶれ軽減部６０（請求項中「手ぶれ軽減手段」に対応）に置換されている。その他の構成は、図１の場合と同様である。ここで、電子手ぶれ軽減部６０は、撮像素子１１によって連続して撮像された複数の画像を、手ぶれの方向に基づいて移動させてソフトウエア的に合成することにより、手ぶれによる画像の劣化が少ないシャープな画像を生成する。
図１３は、第３実施形態の動作を説明するための図である。なお、図１３において、図６と共通する部分には同一の符号を付してその説明を省略する。図１３では、図６と比較して、ステップＳ１１の「光学手ぶれ軽減処理を伴う撮像処理」がステップＳ７０の「撮像処理」に置換され、また、ステップＳ７１の「電子手ぶれ軽減処理」が追加されている。その他の処理は図６の場合と同様である。
図１３に示す処理が実行されると、ステップＳ１〜Ｓ１０の処理により、Ｘ軸、Ｙ軸、および、Ｚ軸周りの角速度に応じてシャッタ速度ＳＳが算出される。つづくステップＳ７０では、プロセッサ１３は、ステップＳ１０において決定されたシャッタ速度ＳＳおよび式（３９）によって定められた絞りおよび感度に基づいて撮像部４０を制御し、複数の画像（例えば、２〜４枚の画像）を連続して撮像する。このようにして撮像された複数の画像は、格納部１４に格納される。
ステップＳ７１では、電子手ぶれ軽減部６０は、格納部１４に格納されている複数の画像を、撮像中にサンプリングされたＸ軸およびＹ軸のジャイロデータに基づいて、位置合わせを行った後、これら複数の画像を重ね合わせて合成する。すなわち、電子手ぶれ軽減部６０は、複数の画像のうち、注目する画像が撮像された時点におけるＸ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂの出力データを参照し、手ぶれによる動きベクトルを検出し、検出した動きベクトルに基づいて、画像の位置関係を調整した後、これらの画像を重ね合わせて合成する。この結果、手ぶれによる画質の劣化が少ない、シャープな画像を得る。そして、処理を終了する。
以上に説明したように、本発明の第３実施形態では、手ぶれ防止部３０によって算出されたシャッタ速度ＳＳに基づいて複数の画像を撮像し、電子手ぶれ軽減部６０が動きベクトルを参照して、撮像された複数の画像を位置合わせして合成するようにした。このため、撮像された複数の画像は、シャッタ速度ＳＳが調整されているので、合成前の画像の手ぶれによる画質劣化を最小にすることができる。この結果、合成後の画像の画質を向上させることができる。
また、第３実施形態では、電子手ぶれ軽減部６０は、手ぶれ防止部３０が内蔵するＸ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂの出力を利用して動きベクトルを検出し、検出した動きベクトルを参照して画像の合成を行うようにした。このため、ジャイロセンサを共用することで、装置を簡易化し、製造コストを削減することができる。
（Ｆ）本発明の第４実施形態
つぎに、本発明の第４実施形態について説明する。第４実施形態の構成は、図１２に示す第３実施形態の場合と同様であるが、手ぶれ防止部３０の動作が、第３実施形態とは異なっている。以下では、異なる部分を中心に説明する。
図１４は、第４実施形態の動作を説明するための図である。この図に示すフローチャートは、レリーズボタンが半押しにされた場合に実行される。このフローチャートの処理が開始されると、以下のステップが実行される。すなわち、ステップＳ９１では、プロセッサ１３は、輝度検知部１２の出力を参照し、環境光の輝度Ｂを測定する。
ステップＳ９２では、プロセッサ１３は、ステップＳ９２において測定した環境光の輝度Ｂと閾値Ｂｔｈとを比較し、Ｂ＜Ｂｔｈが成立するか否かを判定し、成立する場合にはステップＳ９３に進み、それ以外の場合にはステップＳ９４に進む。例えば、環境光の輝度Ｂが、輝度の閾値Ｂｔｈよりも小さい場合にはＹｅｓと判定されてステップＳ９３に進む。なお、輝度の閾値Ｂｔｈは、例えば、光学系の焦点距離がＦである場合に、ステップＳ３のＡＥ処理によって求まるシャッタ速度が１／Ｆ以上となる輝度をＢｔｈとすることができる。例えば、Ｆが５０ｍｍである場合には、ステップＳ３のＡＥ処理によって求まるシャッタ速度ＳＳが１／５０秒となる輝度ＢをＢｔｈとすることができる。なお、これ以外の求め方でもよい。
つぎに、本発明の第４実施形態について説明する。第４実施形態の構成は、図１２に示す第３実施形態の場合と同様であるが、手ぶれ防止部３０の動作が、第３実施形態とは異なっている。以下では、異なる部分を中心に説明する。
図１４は、第４実施形態の動作を説明するための図である。この図に示すフローチャートは、レリーズボタンが半押しにされた場合に実行される。このフローチャートの処理が開始されると、以下のステップが実行される。すなわち、ステップＳ９１では、プロセッサ１３は、輝度検知部１２の出力を参照し、環境光の輝度Ｂを測定する。
ステップＳ９２では、プロセッサ１３は、ステップＳ９２において測定した環境光の輝度Ｂと閾値Ｂｔｈとを比較し、Ｂ＜Ｂｔｈが成立するか否かを判定し、成立する場合にはステップＳ９３に進み、それ以外の場合にはステップＳ９４に進む。例えば、環境光の輝度Ｂが、輝度の閾値Ｂｔｈよりも小さい場合にはＹｅｓと判定されてステップＳ９３に進む。なお、輝度の閾値Ｂｔｈは、例えば、光学系の焦点距離がＦである場合に、ステップＳ３のＡＥ処理によって求まるシャッタ速度が１／Ｆ以上となる輝度をＢｔｈとすることができる。例えば、Ｆが５０ｍｍである場合には、ステップＳ３のＡＥ処理によって求まるシャッタ速度ＳＳが１／５０秒となる輝度ＢをＢｔｈとすることができる。なお、これ以外の求め方でもよい。
ステップＳ９２においてＹｅｓと判定された場合には、ステップＳ９３に進み、プロセッサ１３は、手ぶれ防止部３０を動作させ、図１３のステップＳ３の処理に移行する。この結果、図１３の処理では、ステップＳ９の手ぶれ防止処理に基づいて、ステップＳ１０においてシャッタ速度ＳＳが決定され、決定されたシャッタ速度ＳＳに応じて画像が撮像される。
一方、ステップＳ９２においてＮｏと判定された場合には、ステップＳ９４に進み、プロセッサ１３は、電子手ぶれ軽減部６０を動作させ、図１３のステップＳ３の処理に移行する。この結果、図１３の処理では、手ぶれ防止部３０の動作に応じてシャッタ速度が算出され、算出されたシャッタ速度に基づいて複数の画像が撮像される。そして、このようにして撮像された複数の画像は、前述したように、電子手ぶれ軽減部６０によって位置調整が施された後に合成され、画質の劣化の少ないシャープな画像を得る。
なお、ステップＳ９２においてＮｏと判定された場合には、電子手ぶれ軽減部６０を動作させるとともに、手ぶれ防止部３０の動作を停止し、図１３のステップＳ３の処理に移行するようにしてもよい。その場合には、ステップＳ９およびステップＳ１０の処理は実行されず、ステップＳ３のＡＥ処理で決定されたシャッタ速度ＳＳに応じて複数の画像が撮像され、撮像された複数の画像は、電子手ぶれ軽減部６０によって位置調整が施された後に合成され、画質の劣化の少ないシャープな画像を得る
なお、ステップＳ９２においてＮｏと判定された場合には、電子手ぶれ軽減部６０を動作させるとともに、手ぶれ防止部３０の動作を停止し、図１３のステップＳ３の処理に移行するようにしてもよい。その場合には、ステップＳ９およびステップＳ１０の処理は実行されず、ステップＳ３のＡＥ処理で決定されたシャッタ速度ＳＳに応じて複数の画像が撮像され、撮像された複数の画像は、電子手ぶれ軽減部６０によって位置調整が施された後に合成され、画質の劣化の少ないシャープな画像を得る
以上に説明したように、本発明の第４実施形態では、環境光の輝度Ｂに応じて、手ぶれ防止部３０を動作させたり、光学手ぶれ軽減部５０を動作させたりするようにした。このため、電子手ぶれ軽減部６０による手ぶれの軽減を十分に行うことができない環境光の輝度が小さい場合には、手ぶれ防止部３０を動作させ、それ以外の場合には電子手ぶれ軽減部６０を動作させるようにしたので、環境光の輝度が小さい場合であっても、手ぶれによる画質の劣化を確実に防止することができる。
（Ｇ）変形実施の形態
以上、実施形態に基づいて本発明を説明したが、本発明は、これに限定されるものではない。例えば、上記実施形態では、３つのジャイロセンサを設け、これらによって検出されたＸ軸、Ｙ軸、および、Ｚ軸周りの角速度に基づいて、シャッタ速度ＳＳを求めるようにしたが、Ｚ軸ジャイロセンサ３１ｃを設けるとともに、Ｘ軸またはＹ軸のいずれかのジャイロセンサのみを設け、これらのジャイロセンサの出力に応じてシャッタ速度を求めるようにしてもよい。例えば、Ｚ軸とＸ軸ジャイロセンサのみを設ける場合には、以下の式（４３）を式（３８）の代わりに用いることで、シャッタ速度ＳＳを算出することができる。なお、同様に、式（４０）および式（４１）の場合には、設けられているジャイロセンサ以外の項目を分母から除外するとともに、平均値を求めるための「３」を「２」に置換するようにすればよい。
また、本実施形態では、手ぶれ回転角を角速度で除算して得られる値に基づいてシャッタ速度を算出するようにしたが、この「除算」を「減算シフト」または「乗算」によって実行することも可能である。なお、前者は、各桁の計算を行うときにシフト処理と加減算の組み合わせで処理を行うものであり、後者は、掛け算で処理を行うものである。
以上、実施形態に基づいて本発明を説明したが、本発明は、これに限定されるものではない。例えば、上記実施形態では、３つのジャイロセンサを設け、これらによって検出されたＸ軸、Ｙ軸、および、Ｚ軸周りの角速度に基づいて、シャッタ速度ＳＳを求めるようにしたが、Ｚ軸ジャイロセンサ３１ｃを設けるとともに、Ｘ軸またはＹ軸のいずれかのジャイロセンサのみを設け、これらのジャイロセンサの出力に応じてシャッタ速度を求めるようにしてもよい。例えば、Ｚ軸とＸ軸ジャイロセンサのみを設ける場合には、以下の式（４３）を式（３８）の代わりに用いることで、シャッタ速度ＳＳを算出することができる。なお、同様に、式（４０）および式（４１）の場合には、設けられているジャイロセンサ以外の項目を分母から除外するとともに、平均値を求めるための「３」を「２」に置換するようにすればよい。
また、以上の実施の形態では、シャッタ速度ＳＳを算出し、これを必要に応じてＴｖ値に変換するようにしたが、Ｔｖ値への変換は、プロセッサ１３側で行ってもよいし、プロセッサ３３側で行ってもよい。また、式（３９）に基づいて、絞り値Ａｖおよび感度値ＩＳＯを求める処理は、プロセッサ１３側で行ってもよいし、プロセッサ３３側で行ってもよい。プロセッサ３３側で行う場合には、プロセッサ１３の負担を軽減することができる。また、プロセッサ１３側で行う場合には、プロセッサ３３の構成を小型化することができる。
また、以上の実施の形態では、手ぶれ防止部３０にプロセッサ３３を設け、このプロセッサ３３によって、手ぶれ防止処理を実行するようにしたが、プロセッサ１３にアナログ−デジタル変換部３２ａ、アナログ−デジタル変換部３２ｂ、および、アナログ−デジタル変換部３２ｃからの出力を供給し、プロセッサ１３が格納部１４に格納されているプログラムに基づいて、手ぶれ防止処理を実行するようにしてもよい。そのような構成によれば、プロセッサ３３を省略することにより、回路構成を小型化することができる。
また、手ぶれ防止部３０をワンチップの構成とし、このような手ぶれ防止部３０を撮像装置に組み込むことにより、手ぶれの発生を防止することができるようにしてもよい。さらに、Ｘ軸ジャイロセンサ３１ａ、Ｙ軸ジャイロセンサ３１ｂ、および、Ｚ軸ジャイロセンサ３１ｃは、手ぶれ防止部３０から独立した構成（外付け）としてもよいし、内蔵する構成としてもよい。また、以上の実施の形態では、角速度検出装置としては、ジャイロセンサを用いるようにしたが、ジャイロセンサ以外のセンサ（例えば、ガス式レートセンサ）を用いることも可能である。
また、以上の説明においては、手ぶれ防止装置の機能を実現するための制御プログラムが格納部３４に記憶されている場合について述べたが、この制御プログラムをＲＡＭ、ＲＯＭ等の半導体記録媒体、ＦＤ、ＨＤ等の磁気記憶型記録媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記録媒体、ＭＯ等の磁気記録型／光学的読取方式記録媒体に記録することが可能であり、この記録媒体は、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記録媒体であれば、どのような記録媒体であってもよい。そして、これらの記録媒体に記録された制御プログラムをプロセッサ３３によって読み取って実行することにより、さらに、撮像装置１０において、通信インタフェースとしてのネットワークインタフェースを設け、このネットワークインタフェースからネットワークを介して制御プログラムをダウンロードして実行することにより、上述した機能を実現する構成としてもよい。
１０…撮像装置、１１…撮像素子、１２…輝度検知部、１３…プロセッサ（制御手段）、１４…格納部、１５…ユーザ・インタフェース、３０…手ぶれ防止部、３１ａ…Ｘ軸ジャイロセンサ（角速度検出装置）、３１ｂ…Ｙ軸ジャイロセンサ（角速度検出装置）、３１ｃ…Ｚ軸ジャイロセンサ（角速度検出装置）、３２ａ…アナログ−デジタル変換部（入力手段）、３２ｂ…アナログ−デジタル変換部（入力手段）、３２ｃ…アナログ−デジタル変換部（入力手段）、３３…プロセッサ（決定手段、算出手段）、３４…格納部、４０…撮像部、４１…筐体、４３…レンズ、５０…光学手ぶれ軽減部（手ぶれ軽減手段）、６０…電子手ぶれ軽減部（手ぶれ軽減手段）。
Claims (6)
- 撮像素子と、前記撮像素子の軸周りの角速度を検出する角速度検出装置と、を有する撮像装置において、
前記撮像素子によって画像を撮像する際に、前記角速度検出装置から出力される検出信号の入力を受ける入力手段と、
前記撮像素子の撮像時において前記軸周りに許容される手ぶれ回転角を決定する決定手段と、
前記決定手段によって決定された前記許容される手ぶれ回転角を、前記入力手段を介して入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出手段と、
前記算出手段によって算出されたシャッタ速度に基づいて前記撮像素子を制御して撮像を行う制御手段と、
前記制御手段によって撮像を行う際に前記撮像素子が有する光学系を制御することにより手ぶれを軽減する手ぶれ軽減手段と、を有し、
前記算出手段は、
前記角速度検出装置により検出された角速度が、前記手ぶれ軽減手段が前記光学系を制御する上で対応可能な最大の角速度により規定される閾値を越えた場合に、前記決定手段によって決定された前記許容される手ぶれ回転角を、検出された角速度と前記閾値との差分で除算した値に基づいてシャッタ速度を算出する
ことを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
前記角速度検出装置は、前記撮像素子の縦方向または横方向の軸周りの角速度を検出し、
前記決定手段は、前記縦方向または横方向の軸周りに許容される手ぶれ回転角を決定し、
前記算出手段は、前記縦方向または横方向の軸周りに許容される手ぶれ回転角を、前記縦方向または横方向の軸周りの対応する角速度で除算して、得られる値に基づいてシャッタ速度を算出する、
ことを特徴とする撮像装置。 - 請求項１または２記載の撮像装置において、
前記角速度検出装置は、前記撮像素子の撮像面の法線方向の軸周りの角速度を検出し、
前記決定手段は、前記法線方向の軸周りに許容される手ぶれ回転角を決定し、
前記算出手段は、前記法線方向の軸周りに許容される手ぶれ回転角を、前記法線方向の軸周りの対応する角速度で除算して得られる値に基づいてシャッタ速度を算出する、
ことを特徴とする撮像装置。 - 請求項１乃至３のいずれか１項記載の撮像装置において、
前記手ぶれ軽減手段は、撮像された画像に対して画像処理を施すことにより手ぶれを軽減し、
前記制御手段は、環境光が所定の輝度よりも高い場合には、前記撮像装置またはユーザによって設定されたシャッタ速度に基づいて前記撮像素子に撮像を行わせ、環境光が所定の輝度よりも低い場合には、前記算出手段によって算出されたシャッタ速度に基づいて前記撮像素子に撮像を行わせる、
ことを特徴とする撮像装置。 - 撮像素子と、前記撮像素子の軸周りの角速度を検出する角速度検出装置と、を有する撮像装置の制御方法において、
前記撮像素子によって画像を撮像する際に、前記角速度検出装置から出力される検出信号の入力を受ける入力ステップと、
前記撮像素子の撮像時において前記軸周りに許容される手ぶれ回転角を決定する決定ステップと、
前記決定ステップにおいて決定された前記許容される手ぶれ回転角を、前記入力ステップにおいて入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出ステップと、
前記算出ステップにおいて算出されたシャッタ速度によって撮像素子により撮像を行う制御を行う制御ステップと、
前記撮像素子によって撮像を行う際に撮像素子が有する光学系を制御することにより手ぶれを軽減する手ぶれ軽減ステップと、を有し、
前記算出ステップでは、前記角速度検出装置により検出された角速度が、前記手ぶれ軽減ステップにて前記光学系を制御する上で対応可能な最大の角速度により規定される閾値を越えた場合に、前記決定ステップにおいて決定された前記許容される手ぶれ回転角を、検出された角速度と前記閾値との差分で除算した値に基づいてシャッタ速度を算出する
ことを特徴とする撮像装置の制御方法。 - 撮像素子と、前記撮像素子の軸周りの角速度を検出する角速度検出装置と、を有する撮像装置の制御プログラムにおいて、
前記撮像素子によって画像を撮像する際に、前記角速度検出装置から出力される検出信号の入力を受ける入力手段、
前記撮像素子の撮像時において前記軸周りに許容される手ぶれ回転角を決定する決定手段、
前記決定手段によって決定された前記許容される手ぶれ回転角を、前記入力手段を介して入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出手段、
前記算出手段によって算出されたシャッタ速度によって撮像素子により撮像を行う制御を行う制御手段、
前記撮像素子によって撮像を行う際に撮像素子が有する光学系を制御することにより手ぶれを軽減する手ぶれ軽減手段、
としてコンピュータを機能させると共に、
前記算出手段に、前記角速度検出装置により検出された角速度が、前記手ぶれ軽減手段が前記光学系を制御する上で対応可能な最大の角速度により規定される閾値を越えた場合に、前記決定手段によって決定された前記許容される手ぶれ回転角を、検出された角速度と前記閾値との差分で除算した値に基づいてシャッタ速度を算出させる
ことを特徴とする手ぶれ防止プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008089027A JP5082985B2 (ja) | 2008-03-31 | 2008-03-31 | 撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008089027A JP5082985B2 (ja) | 2008-03-31 | 2008-03-31 | 撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009246580A JP2009246580A (ja) | 2009-10-22 |
| JP5082985B2 true JP5082985B2 (ja) | 2012-11-28 |
Family
ID=41308037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008089027A Expired - Fee Related JP5082985B2 (ja) | 2008-03-31 | 2008-03-31 | 撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5082985B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013127541A (ja) * | 2011-12-19 | 2013-06-27 | Olympus Corp | 撮像装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4556560B2 (ja) * | 2004-08-27 | 2010-10-06 | 株式会社ニコン | ブレ補正装置、およびカメラシステム |
| US7509038B2 (en) * | 2005-09-29 | 2009-03-24 | Seiko Epson Corporation | Determining maximum exposure time to limit motion blur during image capture |
| JP2007241126A (ja) * | 2006-03-10 | 2007-09-20 | Seiko Epson Corp | 撮像装置 |
-
2008
- 2008-03-31 JP JP2008089027A patent/JP5082985B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009246580A (ja) | 2009-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8004570B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
| JP6209002B2 (ja) | 撮像装置およびその制御方法 | |
| CN104065868B (zh) | 摄像设备及其控制方法 | |
| JP5109803B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| KR101528860B1 (ko) | 디지털 촬영 장치의 흔들림 보정 방법 및 장치 | |
| JP5163409B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP2011029735A5 (ja) | ||
| JP2011029735A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP2019029962A (ja) | 撮像装置およびその制御方法 | |
| JP2020095069A (ja) | 撮像装置 | |
| JP2009105784A (ja) | 撮像装置 | |
| JP5248951B2 (ja) | カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム | |
| JP5082985B2 (ja) | 撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム | |
| JP2009244434A (ja) | 手ぶれ防止装置、電子機器、手ぶれ防止方法、および、手ぶれ防止プログラム | |
| JP2015095670A (ja) | 撮像装置、その制御方法、および制御プログラム | |
| JP4689403B2 (ja) | カメラ制御システム及びその制御方法並びにプログラム | |
| JP5186966B2 (ja) | 手ぶれ防止装置、電子機器、手ぶれ防止方法、および、手ぶれ防止プログラム | |
| KR101630295B1 (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 | |
| JP2008245236A (ja) | 撮像装置および欠陥画素補正方法 | |
| JP2004117195A (ja) | 速度計測機能付デジタルカメラ | |
| JP3960140B2 (ja) | ビデオカメラ | |
| JP2020095070A (ja) | 撮像装置 | |
| JP4948159B2 (ja) | 点像関数の測定方法、点像関数の生成方法、点像関数測定装置および画像処理装置 | |
| JP2020095071A (ja) | 交換レンズおよび撮像装置 | |
| JP2021125809A (ja) | 撮像装置、制御方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100910 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100910 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120501 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120618 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120820 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5082985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |