JP6338424B2 - 画像処理装置およびその制御方法、撮像装置、プログラム - Google Patents

Description

本発明は、画像処理装置とその制御方法に関し、撮像装置による流し撮りのユーザ補助などを行う技術に関するものである。

被写体（動体）のスピード感を表現する撮影技術として流し撮りがある。この撮影技術は、撮影者が被写体の動きに合わせてカメラのパンニングを行うことにより、移動している被写体像を静止させて背景像を流すことを目的とする。一般的な流し撮りでは、被写体の移動速度に合わせて露光時間を通常より長めに調節する。特許文献１には、流し撮り時に背景の流し量を十分に確保できるような露光時間での撮影を行う構成が記載されている。

流し撮りにおいて撮影者が被写体の動きに合わせてパンニングを行う際、パンニング速度が適切でないと、被写体の移動速度とパンニング速度との間に差が発生してしまい、被写体がぶれた画像になることも多い。この問題に対し、ユーザの流し撮りを補助する技術として、シフトレンズの移動により被写体の移動速度とパンニング速度との差を吸収する方法（以下、流し撮りアシストという）が提案されている。特許文献２に開示の装置は、ジャイロセンサによるブレ検出と画像の動きベクトルから被写体を検出し、検出された被写体を画像中央に位置させるための補正量を算出する。シフトレンズの移動により光軸を補正して流し撮りが行われる。

特開２０１０−２４５７７４号公報 特開２００６−３１７８４８号公報

特許文献２に開示されたシフトレンズによる補正においては、シフトレンズの移動可能範囲が限られているので、システムが補正可能な最大角度（以下、最大補正可能角度という）に限界がある。このため、システムが補正し得ない状況が発生してしまう可能性がある。以下、図９に示す状況を想定して具体的に説明する。

図９は被写体の速度と、カメラのパンニングの速度について、それぞれ主点を中心とした角速度で示す。度数法で被写体の角速度を３０ｄｅｇ／ｓｅｃとし、カメラのパンニング角速度を２４ｄｅｇ／ｓｅｃとする。この場合、両者の差である６ｄｅｇ／ｓｅｃをカメラシステムで補助する必要がある。システムが補助する角速度に露光時間を乗算したものが、最終的にシステムが補助するために必要な補正角度となる。一例としてシフトレンズの最大補正可能角度を０．４度とし、露光時間が１／１６秒の撮影を想定する。最終的に必要となる補正角度は以下のようになる。

この例では、補正角度が最大補正可能角度以下であるため、補正が可能である。

一方、露光時間が１／８秒の撮影を行う場合、最終的に必要な補正角度は以下のようになる。

この例では、補正角度が最大補正可能角度を超えてしまうため、補正が不可能となる。流し撮りでは露光時間を長くとる必要があるため、補正角度が最大補正可能角度を超えてしまい、補正不可能となる可能性がある。
そこで、本発明の目的は、流し撮りのユーザ補助機能などのように、撮像される画像内における被写体像の位置を補正手段により補正する場合に露光時間を算出して設定する画像処理装置およびその制御方法を提供することである。

本発明に係る装置は、撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置であって、装置の動きを検出する第１検出手段と、前記被写体像の動きを検出する第２検出手段と、撮像時の露光時間を設定する露光時間設定手段と、前記補正手段を駆動して前記被写体像の位置を制御する駆動制御手段と、を備え、前記露光時間設定手段は、露光開始時点の前記第１検出手段の出力と前記第２検出手段の出力との差、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限する。

本発明によれば、撮像される画像内における被写体像の位置を補正手段により補正する場合に露光時間を算出して設定することができる。

本発明の実施形態に共通する撮像装置の構成例を示すブロック図である。 第１実施形態による処理を示すフローチャートである。 第１実施形態による角速度信号の算出を説明する図である。 第２および第３実施形態における最終的な補正角度の説明図である。 第２実施形態による補正角速度の算出処理を示すフローチャートである。 第２実施形態によるパンニング角速度の範囲選択を例示する図である。 第３実施形態による補正角速度の算出処理を例示する図である。 第３実施形態による補正角速度の算出処理を示すフローチャートである。 被写体の角速度とカメラのパンニング角速度の説明図である。

以下に、本発明の各実施形態を、添付図面に基づいて詳細に説明する。各実施形態では、光学系が備える補正用光学部材の移動によって、被写体像が撮像される位置を相対的に変化させる駆動制御形態を説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置（画像処理装置１０６および制御部を含む）を適用した撮像装置１００の基本構成を示すブロック図である。撮像装置１００は、デジタルカメラ、デジタルビデオカメラなどのカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える電子機器でもよい。光学系１０１は、レンズ群、シャッタ、絞りなどを備える結像光学系である。レンズ群は、補正レンズ（シフトレンズ）やフォーカスレンズなどを含む。光学系１０１は、ＣＰＵ（中央演算処理装置）１０３の制御信号にしたがって被写体からの光を撮像素子１０２に結像させる。撮像素子１０２はＣＣＤ（電荷結合素子）イメージセンサ、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサなどの撮像デバイスであり、光学系１０１を通して結像した光を光電変換により画像信号に変換する。

ジャイロセンサなどの角速度センサ１０５を用いた第１検出処理では、撮像装置１００の移動量を表す角速度が検出される。角速度検出信号は電気信号としてＣＰＵ１０３へ出力される。ＣＰＵ１０３は、メモリに予め記憶されたプログラムを実行することにより、入力信号などに従って撮像装置１００を構成する各部を制御する。一次記憶装置１０４は、例えばＲＡＭ（ランダム・アクセス・メモリ）などの揮発性記憶装置であり、一時的なデータを記憶し、ＣＰＵ１０３のワークメモリとして使用される。一次記憶装置１０４に記憶されている情報は、画像処理装置１０６が使用し、また記録媒体１０７へ記録される場合もある。二次記憶装置１０８は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性記憶装置である。二次記憶装置１０８には撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報が記憶されており、ＣＰＵ１０３によって利用される。

記録媒体１０７は、一次記憶装置１０４に記憶されている撮影画像データなどを記録する。記録媒体１０７は、例えば半導体メモリカードのように撮像装置１００から取り外し可能である。記録媒体１０７に記録されたデータはパーソナルコンピュータなどの外部機器に装着して読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０７の着脱機構および読み書き機能を有する。表示部１０９は、撮影時のビューファインダ画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ（グラフィカル・ユーザ・インターフェース）画像などの表示を行う。操作部１１０はユーザ操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネルなどを備える。また音声や視線などを用いた入力機器を操作に使用することもできる。

本実施形態の撮像装置１００は、画像処理装置１０６が撮像画像に適用する画像処理のパターンを複数有しており、このパターンを撮像モードとして操作部１１０により設定可能である。画像処理装置１０６は、いわゆる現像処理と呼ばれる画像処理をはじめとして、撮影モードに応じた色調の調整などの各種処理を行う。なお、画像処理装置１０６の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア処理によって実現してもよい。

図２を参照して、流し撮り時に露光時間を算出する処理について説明する。図２は流し撮りアシストの流れを示すフローチャートである。本処理の開始のタイミングに関しては、例えば操作部１１０に含まれるシャッタレリーズボタンの半押し操作のタイミングである。
まずＳ２０１ａにおいて、ＣＰＵ１０３は被写体像の抽出処理を行う。なお、被写体像の抽出に関しては、特許文献２に開示されるように、撮像画像から得られた動きベクトルを用いて被写体エリアを抽出する方法がある。次のＳ２０２ａでＣＰＵ１０３は角速度センサ１０５により検出された撮像装置１００の角速度情報を取得する。パンニング角速度は角速度センサ１０５の出力する検出信号から得られる。Ｓ２０３ａに進んでＣＰＵ１０３は被写体の角速度を算出する。被写体像の動きを検出する第２検出処理は撮像素子１０２により撮像された画像データを用いてＣＰＵ１０３が実行する。本実施形態においてはパンニング角速度と併せて計算を行うため、被写体の角速度を図３のように、主点を中心とした角速度として算出している。角速度の算出方法について、図３を参照して弧度法で説明する。

図３は、被写体がｔ秒間に点Ａから点Ｂへ移動し、それに応じて撮像素子１０２の像面上に結像した被写体像が点Ｃから点Ｄへと移動したことを示す。ここで、点Ｃと点Ｄとの距離（像面移動量）をν［ｐｉｘｅｌ］とし、焦点距離をｆ［ｍｍ］とし、撮像素子１０２の画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とする。像面上の被写体像の角速度ω［ｒａｄ／ｓｅｃ］は以下の式で表わされる。

撮影者が撮像装置をパンニング操作している場合、像面上の被写体像の角速度ωは、被写体自身の角速度（以下、被写体角速度という）ω_ｓからパンニング角速度ω_ｐを減算したものとなる（式４）。

よって角速度センサ１０５で検出された撮像装置１００のパンニング角速度ω_ｐから、以下の式を用いて被写体角速度ω_ｓが算出される。

なお、被写体角速度ω_ｓの計算方法については、この他に、あらかじめ操作部１１０により指定された値を使用することも可能である。

このように被写体角速度ω_ｓが算出されるとＣＰＵ１０３はＳ２０４ａにおいて、自動露出設定を行う。自動露出設定では撮像時の露光時間が設定される。例えば通常の露光時間よりも長い、あらかじめ定めた露光時間で撮影を行ったり、または被写体角速度ω_ｓに応じて露光時間を算出したりすることが可能である。通常は算出した露光時間にしたがい、操作部１１０によってユーザから指示された撮影指示に基づいてＳ２０７ａ以降の撮像処理が行われる。本実施形態においては、次のＳ２０５ａでＣＰＵ１０３が露光時間を制限する処理を行う。すなわち、Ｓ２０４ａで設定される撮像時の露光時間が適正でない場合には露光時間が変更される。露光時間が適正でないとは、具体的には補正手段の補正角度が、最大補正可能角度を超えることである。図２（Ｂ）を参照して露光時間の制限の流れを説明する。

まず、ＣＰＵ１０３はＳ２０１ｂにおいて、補正角速度の算出を行う。前述した像面上での角速度ωを直接使用し、または被写体角速度ω_ｓおよびパンニング角速度ω_pを用いて、両者の差分として、以下の式により補正角速度ω_ｒが算出される。なお、像面上での角速度ωを直接使用する場合には、撮像された被写体像の時間的な変化から移動速度が算出されて角速度ωに変換される。

次のＳ２０２ｂにてＣＰＵ１０３は最大補正可能角度を取得する。最大補正可能角度は、光学系１０１がシフトレンズ（補正レンズ）などの移動により補正可能な最大の角度に相当する。例えば光学系１０１がカメラ本体部にあらかじめ固定されているような場合、二次記憶装置１０８などに予め記録しておいた光学系１０１の最大補正可能角度を読み出すことが可能である。または光学系１０１がカメラ本体部から取り外し可能な場合には、光学系１０１の最大補正可能角度をカメラ本体部と光学系１０１との通信により取得できる。または二次記憶装置１０８などにあらかじめ記憶しておいた、各光学系に対応した最大補正可能角度を読み出すことも可能である。なお、光学系１０１が備えるシフトレンズを、光軸方向と異なる方向（例えば、光軸と直交する方向）に移動させる駆動制御については、ＣＰＵ１０３から駆動機構部（不図示）に出力される制御信号にしたがって行われる。つまりＣＰＵ１０３はシフトレンズの駆動制御により被写体像が撮像される画像内の位置を相対的に変位させる制御を実行する。

Ｓ２０３ｂでＣＰＵ１０３は露光時間の上限値である最長露光時間を算出し、露光時間設定処理を行う。例えば最大補正可能角度をθ_max［ｄｅｇ］とし、Ｓ２０１ｂで算出した補正角速度をω_ｒとする。最大補正可能角度は、シフトレンズなどの補正手段による補正範囲の上限に相当する。この場合、最長露光時間ｔ_maxは以下のように、θ_maxをω_ｒで除算することで求められる。

ＣＰＵ１０３は算出した最長露光時間ｔ_maxに基づき、Ｓ２０４ｂにおいて撮影条件を更新する。以下に、撮影条件の更新の一例について表１を参照して説明する。表１はＳ２０４ａおよびＳ２０４ｂによって決定される撮影条件を例示する。表１では、撮像素子１０２に被写体像を露光させる時間をＴｖと表記し、撮像素子１０２の電気的利得をＩＳＯとして表記している。

例えば通常撮影での撮影条件を「Ｔｖ＝１／６４，ＩＳＯ＝８００」として流し撮りを行う場合を想定する。図２のＳ２０４ａにおいて、通常よりも長い露光時間で同程度の明るさで撮影を行えるように、「Ｔｖ＝１／８、ＩＳＯ＝１００」という撮影条件が設定される。この撮影条件において、例えば補正角速度ω_ｒが、度数法で６ｄｅｇ／ｓｅｃであった場合、最終的に補正される角度は以下のようになる。

これに対し、最大補正可能角度θ_maxが０．７５ｄｅｇを上回っていれば補正可能である。しかし、最大補正可能角度が０．４ｄｅｇのような場合には補正をすることができない。最大補正可能角度０．４ｄｅｇ、および補正角速度６ｄｅｇ／ｓｅｃを式７に代入すると、最長露光時間ｔ_maxは以下のようになる。

式９で算出された１／１５［ｓｅｃ］が補正可能な最長露光時間ｔ_maxとなるため、本実施形態では図２のＳ２０４ｂにおいて、例えば「Ｔｖ＝１／１６、ＩＳＯ＝２００」という撮影条件が設定される。つまり、撮像時の露光時間が最長露光時間以下（上限値以下）に制限される。

このように撮影条件の更新が行われると、図２のＳ２０６ａでＣＰＵ１０３は露光動作を行うか否かを判定する。操作部１１０に含まれるシャッタレリーズボタンの全押し操作によってスイッチ（以下、Ｓ２と記す）がオン状態になったかどうかについて判定される。Ｓ２がオフ状態である場合、ＣＰＵ１０３はＳ２０１ａからＳ２０５ａまでの動作を繰り返し実行する。また、Ｓ２０６ａでＳ２がオン状態である場合、ＣＰＵ１０３はＳ２０７ａへ処理を進める。

Ｓ２０７ａでＣＰＵ１０３は露光時間設定処理により決定した露光時間に応じて、光学系１０１に含まれるシャッタを制御し、シャッタ走行を開始させる。以降はＳ２０４ｂで設定された露光時間が経過するまで、ＣＰＵ１０３はＳ２０８ａにおいて光学系１０１のシフトレンズを移動させ、流し撮りアシスト処理を行う。Ｓ２０９ａにて、Ｓ２０４ｂで設定された露光時間が経過すると処理を終了する。

本実施形態では、撮像される画像内における被写体像の位置を補正手段により補正する場合に最長露光時間以下の露光時間を算出して設定する。例えば流し撮りアシストによるユーザ補助機能において、カメラシステムが補助可能な撮影条件（露光時間）を算出することができる。
なお、本実施形態においては従来法との差異を明確にするため、Ｓ２０４ａで自動露出設定を行い、Ｓ２０４ｂでの撮影条件を更新するという形態を例示する。しかし、このような形態に限られるものではなく、例えばＳ２０４ａを行わず、Ｓ２０４ｂのみで撮影条件を設定することも可能である。また、本実施形態においては光学部材（シフトレンズ）の移動により被写体の結像位置を補正する例を示したが、これに限定されるものではなく、例えば撮像素子１０２自体を駆動制御する形態でも実現可能である。また、本実施形態ではパンニング動作を説明したが、チルティング動作についても同様の処理が実行される。

［第２実施形態］
次に本発明の第２実施形態を説明する。なお、本実施形態にて第１実施形態の場合と同様の構成要素については既に使用した符号を用いることにより、それらの説明を省略する。このような説明の省略については後述の実施形態でも同じである。

第１実施形態では常に最新の補正角速度ω_rを、式７に用いて最長露光時間の算出を行う例を示した。例えば図４（Ａ）のように、目標角速度およびパンニング角速度が常に一定の場合を想定する。横軸は時間軸であり、縦軸は角速度軸である。補正角速度をω_rとし、露光時間をｔとして、最終的に補正する必要のある角度θは以下の式で表される。

この角度θは、図４（Ａ）中に斜線で示した領域に相当する。露光時間ｔとして、式７で算出したｔ_maxを代入することにより、以下の式が得られる。

最終的に補正する必要のある角度θは最大補正可能角度θ_max以下に収まるため補正可能となる。しかし、実際の撮影では、図４（Ｂ）に示す波線のように、手振れによりパンニング角速度に対してゆらぎが発生する場合がある。横軸は時間軸であり、縦軸は角速度軸である。この場合、補正する必要のある角度θの値は、図４（Ｂ）中に斜線で示す領域に相当し、図４（Ａ）に示した角度値よりも大きくなる。このような場合には、角度θが最大補正可能角度θ_maxを超えてしまうと補正ができなくなる。

この問題に対する解決策を以下に説明する。例えば図４（Ｃ）のように、あらかじめ補正角速度として大きめの補正角速度(Ω_rと記す）を見積もった場合、式７から算出される露光時間tが少なく見積もられる。これにより、図中に矩形で示した最大補正可能角度θ_maxに対し、斜線で示した実際に補正する必要のある角度θが収まりやすくなる。この方法により、補正する必要のある角度θが最大補正可能角度θ_maxを超えてしまう可能性を低くすることができる。しかし、式７で算出される最長露光時間ｔ_maxが過度に短くなる場合が起こり得る。流し撮りの際には露光時間が長いほど背景像の流れる量が大きくなり、より流し撮りの効果を奏するが、露光時間が短過ぎると流し撮りの効果が低下する。そこで、本実施形態および後述する第３実施形態においては、このような最長露光時間ｔ_maxの算出に用いる補正角速度Ω_rの算定処理を示す。

補正角速度Ω_rを見積もるために使用する情報の例について、図４（Ｄ）を参照して説明する。本処理では、図中に示す範囲ｘに相当する、過去のパンニング角速度を参照する。過去のパンニング角速度を用いてＳ２０３ｂにおける最長露光時間ｔ_maxの算出に用いる補正角速度を決める際には、下記事項が要点となる。
（Ａ）採用するデータの期間（どの時間内にあるパンニング角速度のデータ群を使用するか）。
（Ｂ）補正角速度Ω_rの算出方法（データ群からどのように補正角速度Ω_rを算出するか）。
例えば、使用するパンニング角速度のデータ群によって最長露光時間ｔ_maxの算出結果が異なってくる。そこで、本実施形態では、前記事項（Ａ）について、時間的に連続したパンニング角速度のデータ群から最長露光時間ｔ_maxの導出に用いる補正角速度Ω_rの算出処理例を説明する。前記事項（Ｂ）については後述する第３実施形態にて補正角速度Ω_rの算出方法を説明する。なお、本実施形態においては、所定期間内のパンニング角速度のデータ群から「パンニング角速度と目標角速度との差が最も大きい時の補正角速度」を算出する例を示す。以下に、図５を参照して、流し撮り時の露光時間の算出に用いる補正角速度Ω_rの算出について説明する。

図５は本実施形態における補正角速度Ω_rの算出処理の流れを示すフローチャートであり、図２に示すＳ２０１ｂの補正角速度算出処理に相当する。まず、Ｓ６０１でＣＰＵ１０３は、過去のパンニング角速度情報を取得する。この情報は、例えば一次記憶装置１０４などから、後述するＳ６０４において記録した過去のパンニング角速度の履歴情報を読み取ることによって行われる。次のＳ６０２でＣＰＵ１０３は、読み取った過去のパンニング角速度情報、および図２のＳ２０２ａで取得した最新のパンニング角速度情報から、所定範囲でのパンニング角速度のデータ群を選択する。Ｓ６０３では、Ｓ６０２で選択されたパンニング角速度のデータ群に基づいてＣＰＵ１０３が、その中から目標角速度との差が最大となるパンニング角速度における補正角速度を算出する。

次に、図６を参照して、パンニング角速度のデータ群の範囲の選択処理を説明する。図６の横軸は時間軸であり、縦軸は角速度軸である。まず、パンニング角速度のデータ群に係る第１の選択方法は、図６中に（１）で示すように、常に最新のパンニング角速度を選択する方法である。第１の選択方法では、Ｓ６０１で取得した過去のパンニング角速度情報を使用しないため、第１実施形態で行った算出方法と同様である。この場合、露光開始直前のパンニング角速度が参照されるため、実際の撮影時のパンニング角速度との関連性が高い情報を使用できるという利点がある。しかし、前述したように、露光開始直前の補正角速度よりも実際の補正角速度が大きくなってしまうと補正角度が最大補正可能角度を超えてしまう場合が起こり得る。

第２の選択方法を説明する前に、第３の選択方法を説明する。第３の選択方法は、図６中に（３）で示す範囲のように、ある時点から露光開始直前までの範囲（過去の期間）のデータ群を選択する方法である。ある時点とは、ユーザ操作により、撮像装置が撮影の操作指示を受け付けた時点である。例えば操作部１１０に含まれるシャッタレリーズボタンの半押し操作がなされた時点（図中にＳ１オンと表記する）である。この方法では、より多くのデータの中から最大の補正角速度が算出されるため、実際の補正角速度が、所定期間内で算出された補正角速度を超える可能性は低くなる。そのため、第１の選択方法に比較した場合、補正角度が最大補正可能角度を超えてしまう可能性は低い。しかし、データ群を選択する期間が長くなるほど、撮影時のパンニング角速度との関連性が低いデータを参照することになってしまう。

第２の選択方法は、第１の選択方法と第３の選択方法との間を取る方法であり、例えば図６中に（２）で示すように、露光開始時点から過去にｎ秒間だけ遡った時点までの範囲を選択する方法である。ｎ値としては、例えば手振れの変動の１周期の長さを設定可能である。なお、手振れの周波数は５〜１０Ｈｚ程度で影響が大きいため、例えば１／５秒〜１／１０秒程度の範囲内でｎ値が設定される。第２の選択方法では、撮影時の補正角速度に近く、かつ最終的に補正角度が最大補正可能角度を超える可能性が低くなるような補正角速度Ω_rを計算可能となる。

図５のＳ６０２でパンニング角速度範囲の選択が行われ、Ｓ６０３にて最大補正角速度の算出が行われると、Ｓ６０４に処理を進める。Ｓ６０４にてＣＰＵ１０３は現在のパンニング角速度の保存処理を行う。これにより、現在のパンニング角速度の情報が履歴情報６００に追加される。
本実施形態では、現時点または過去のパンニング角速度のデータ群のうち、参照するべきパンニング角速度のデータ群の選択処理を行い、補正角速度Ω_rが決定される。なお、第１から第３の選択方法については、例えばシステムがあらかじめ決定しておくか、またはユーザが操作部１１０を使用して選択方法を指定する操作を行って決定することが可能である。

［第３実施形態］
次に本発明の第３実施形態を説明する。
図７を参照して、露光開始時点よりも過去のパンニング角速度のデータ群から、図２のＳ２０４ｂでの計算に使用する補正角速度Ω_rを算出する処理例を示す。図７の横軸は時間軸であり、縦軸は角速度軸である。波状のグラフ線はパンニング角速度と手振れ成分を含んだ角速度変化を例示し、パンニング角速度を１点鎖線で示し、目標角度を点線で示す。なお、データ群の選択方法としては、第２実施形態において図６を用いて説明した第２の選択方法を採用して説明する。
まず、補正角速度Ω_rに関する第１の算出方法を説明する。これは、図７にて（１）で示すように、過去の手振れ成分を含むパンニング角速度のうち、目標角速度との差が最も大きく、必要な補正量が最大となる時の補正角速度を使用する方法である。第１の算出方法では、第２実施形態にて図５を参照して説明した処理が実行される。この方法では、より補正量の大きい補正角速度が見積もられるため、前述したように最終的な補正角度が最大補正可能角度θ_maxを超えてしまう可能性が低くなるという利点がある。しかし、実際の補正量よりも大きな補正量が見積もられることにより、最長露光時間ｔ_maxが過度に短くなる可能性がある。

第２の算出方法を説明する前に、第３の算出方法を説明する。これは、図７にて（３）で示すように、過去の手振れ成分を含むパンニング角速度から、手振れ成分を除いたパンニング角速度相当の値を算出し、この値と目標角速度との差を使用する方法である。なお、手振れ成分を除いたパンニング角速度の算出に関しては、手振れ成分を含むパンニング角速度を平均化することにより近似処理（平均値算出処理）が行われる。例えば図５のＳ６０３において、補正角速度の最大値の算出に代えて、補正角速度の平均値を算出する処理が実行される。この方法では、実際の補正角速度に近い補正角速度Ω_rが見積もられるため、最長露光時間ｔ_maxを長く見積もることが可能となる。しかし、実際の撮影における補正量が平均値よりも大きくなるような場合には、前述のように最終的な補正角度が最大補正可能角度θ_maxを超える場合が起こり得る。

第２の算出方法は、第１の算出方法と第３の算出方法との間を取る方法であり、例えば図７の上部にて（２）で示した値を選択する方法である。その処理の流れを、図８のフローチャートを参照して説明する。基本的な処理の流れは第２実施形態にて図５で説明した処理の流れと同様であり、図８に示すＳ８０１，Ｓ８０２，Ｓ８０４の各処理は、図５に示すＳ６０１，Ｓ６０２，Ｓ６０４と同様である。よって、相違点であるＳ８０３の処理を説明する。

ＣＰＵ１０３はＳ８０２からＳ８０３へ処理を進め、計算用角速度の算出処理を実行する。すなわち、Ｓ８０５に進み、平均補正角速度（ω_AVEと記す）が取得される。ω_AVEの値は、過去の手振れ成分を含むパンニング角速度と目標角速度との差を平均化する処理によって得られる。次のＳ８０６でＣＰＵ１０３は、最大補正角速度（ω_MAXと記す）を算出する。これは第２実施形態で示した方法と同様に算出される。平均補正角速度ω_AVE、および最大補正角速度ω_MAXが算出されると、ＣＰＵ１０３はＳ８０７へと進み、以下の式によって補正角速度Ω_rを算出する。

式１２では、手振れ成分を除いたパンニング角速度と目標角速度との差を補正する補正量に対して手振れの振幅にｍを乗算した値がω_AVEに加算される。ここで、定数ｍは、「ｍ＜１」とする。定数ｍとしては、例えば図７に示す面積Ａに対する面積Ｂの割合などを使用する。手振れによる揺らぎを振幅ｙの正弦波で近似し、面積Ａに対する面積Ｂの割合をｍとして定義する場合、以下のようにｍ値が決定される。

図８のＳ８０７で補正角速度Ω_rが算出された後、Ｓ８０４に処理を進め、現在のパンニング角速度の情報が履歴情報８００に追加される。

第２の算出方法では、最終的な補正角度が最大補正可能角度θ_maxを超える可能性を低く抑えつつ、最長露光時間ｔ_maxを長くすることができる。
本実施形態では、過去のパンニング角速度のデータ群から、第１から第３の算出方法にしたがって、図２のＳ２０４ｂでの計算に使用する補正角速度Ω_rが算出される。なお、第１から第３の算出方法については、例えばシステムがあらかじめ決定しておくか、またはユーザが操作部１１０を使用して選択方法を指定する操作を行って決定することが可能である。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１００：撮像装置
１０１：光学系
１０２：撮像素子
１０３：ＣＰＵ
１０５：角速度センサ
１０６：画像処理装置
１０９：表示部
１１０：操作部

Claims (17)

1. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置であって、
   装置の動きを検出する第１検出手段と、
   前記被写体像の動きを検出する第２検出手段と、
   撮像時の露光時間を設定する露光時間設定手段と、
   前記補正手段を駆動して前記被写体像の位置を制御する駆動制御手段と、を備え、
   前記露光時間設定手段は、露光開始時点の前記第１検出手段の出力と前記第２検出手段の出力との差、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限することを特徴とする画像処理装置。
2. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置であって、
   装置の動きを検出する第１検出手段と、
   前記被写体像の動きを検出する第２検出手段と、
   撮像時の露光時間を設定する露光時間設定手段と、
   前記補正手段を駆動して前記被写体像の位置を制御する駆動制御手段と、を備え、
   前記露光時間設定手段は、露光開始時点に対して手振れの変動の周期により設定される過去の時点から前記露光開始時点までの期間における前記第１検出手段の出力と前記第２検出手段の出力との差、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限することを特徴とする画像処理装置。
3. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置であって、
   装置の動きを検出する第１検出手段と、
   前記被写体像の動きを検出する第２検出手段と、
   撮像時の露光時間を設定する露光時間設定手段と、
   前記補正手段を駆動して前記被写体像の位置を制御する駆動制御手段と、を備え、
   前記露光時間設定手段は、露光開始時点よりも過去の期間における前記第１検出手段の出力のうち前記第２検出手段の出力との差が最大となる出力と前記第２検出手段の出力との差、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限することを特徴とする画像処理装置。
4. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置であって、
   装置の動きを検出する第１検出手段と、
   前記被写体像の動きを検出する第２検出手段と、
   撮像時の露光時間を設定する露光時間設定手段と、
   前記補正手段を駆動して前記被写体像の位置を制御する駆動制御手段と、を備え、
   前記露光時間設定手段は、露光開始時点よりも過去の期間における前記第１検出手段の出力と前記第２検出手段の出力との差を前記期間にて平均化する処理を行い算出される平均値、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限することを特徴とする画像処理装置。
5. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置であって、
   装置の動きを検出する第１検出手段と、
   前記被写体像の動きを検出する第２検出手段と、
   撮像時の露光時間を設定する露光時間設定手段と、
   前記補正手段を駆動して前記被写体像の位置を制御する駆動制御手段と、を備え、
   前記露光時間設定手段は、露光開始時点よりも過去の期間における前記第１検出手段の出力と前記第２検出手段の出力との差を前記期間にて平均化する処理を行い、前記期間における前記第１検出手段の出力の最大値と前記平均化の処理により算出される平均値との差に定数を乗算した値と当該平均値を加算した値、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限することを特徴とする画像処理装置。
6. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置であって、
   装置の動きを検出する第１検出手段と、
   前記被写体像の動きを検出する第２検出手段と、
   撮像時の露光時間を設定する露光時間設定手段と、
   前記補正手段を駆動して前記被写体像の位置を制御する駆動制御手段と、を備え、
   前記露光時間設定手段は、流し撮り時に、予め定められた第１の露光時間より長い第２の露光時間を設定するとともに、前記第１検出手段の出力と前記第２検出手段の出力との差、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、前記第２の露光時間が前記上限値より長い場合には流し撮り時の露光時間を前記上限値以下である第３の露光時間に制限することを特徴とする画像処理装置。
7. 前記第１検出手段は角速度センサを備えることを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記第２検出手段は、前記被写体像の時間的な変化により移動速度を検出することを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 前記露光時間設定手段は、前記第２検出手段の出力から得られる前記被写体像に係る角速度と前記第１検出手段によって検出される角速度との差分を算出し、前記補正手段による補正範囲の上限である角度を前記差分で除算して前記上限値を決定することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 請求項１ないし９のいずれか１項に記載の画像処理装置を備え、
    前記駆動制御手段は、前記補正手段が備える光学部材または撮像素子の駆動を制御することにより、前記被写体像が撮像される位置を相対的に変化させることを特徴とする撮像装置。
11. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置にて実行される制御方法であって、
    第１検出手段が装置の動きを検出し、第２検出手段が前記被写体像の動きを検出する検出ステップと、
    露光時間設定手段が撮像時の露光時間を設定する設定ステップと、
    駆動制御手段が前記補正手段を駆動して前記被写体像の位置を制御する制御ステップと、を有し、
    前記設定ステップにて前記露光時間設定手段は、露光開始時点の前記第１検出手段の出力と前記第２検出手段の出力との差、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限することを特徴とする制御方法。
12. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置にて実行される制御方法であって、
    第１検出手段が装置の動きを検出し、第２検出手段が前記被写体像の動きを検出する検出ステップと、
    露光時間設定手段が撮像時の露光時間を設定する設定ステップと、
    駆動制御手段が前記補正手段を駆動して前記被写体像の位置を制御する制御ステップと、を有し、
    前記設定ステップにて前記露光時間設定手段は、露光開始時点に対して手振れの変動の周期により設定される過去の時点から前記露光開始時点までの期間における前記第１検出手段の出力と前記第２検出手段の出力との差、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限することを特徴とする制御方法。
13. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置にて実行される制御方法であって、
    第１検出手段が装置の動きを検出し、第２検出手段が前記被写体像の動きを検出する検出ステップと、
    露光時間設定手段が撮像時の露光時間を設定する設定ステップと、
    駆動制御手段が前記補正手段を駆動して前記被写体像の位置を制御する制御ステップと、を有し、
    前記設定ステップにて前記露光時間設定手段は、露光開始時点よりも過去の期間における前記第１検出手段の出力のうち前記第２検出手段の出力との差が最大となる出力と前記第２検出手段の出力との差、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限することを特徴とする制御方法。
14. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置にて実行される制御方法であって、
    第１検出手段が装置の動きを検出し、第２検出手段が前記被写体像の動きを検出する検出ステップと、
    露光時間設定手段が撮像時の露光時間を設定する設定ステップと、
    駆動制御手段が前記補正手段を駆動して前記被写体像の位置を制御する制御ステップと、を有し、
    前記設定ステップにて前記露光時間設定手段は、露光開始時点よりも過去の期間における前記第１検出手段の出力と前記第２検出手段の出力との差を前記期間にて平均化する処理を行い算出される平均値、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限することを特徴とする制御方法。
15. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置にて実行される制御方法であって、
    第１検出手段が装置の動きを検出し、第２検出手段が前記被写体像の動きを検出する検出ステップと、
    露光時間設定手段が撮像時の露光時間を設定する設定ステップと、
    駆動制御手段が前記補正手段を駆動して前記被写体像の位置を制御する制御ステップと、を有し、
    前記設定ステップにて前記露光時間設定手段は、露光開始時点よりも過去の期間における前記第１検出手段の出力と前記第２検出手段の出力との差を前記期間にて平均化する処理を行い、前記期間における前記第１検出手段の出力の最大値と前記平均化の処理により算出される平均値との差に定数を乗算した値と当該平均値を加算した値、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、撮像時の露光時間を前記上限値以下に制限することを特徴とする制御方法。
16. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置にて実行される制御方法であって、
    第１検出手段が装置の動きを検出し、第２検出手段が前記被写体像の動きを検出する検出ステップと、
    露光時間設定手段が撮像時の露光時間を設定する設定ステップと、
    駆動制御手段が前記補正手段を駆動して前記被写体像の位置を制御する制御ステップと、を有し、
    前記設定ステップにて前記露光時間設定手段は、流し撮り時に、予め定められた第１の露光時間より長い第２の露光時間を設定するとともに、前記第１検出手段の出力と前記第２検出手段の出力との差、および前記補正手段による補正範囲の上限から露光時間の上限値を決定し、前記第２の露光時間が前記上限値より長い場合には流し撮り時の露光時間を前記上限値以下である第３の露光時間に制限することを特徴とする制御方法。
17. 撮像される画像内における被写体像の位置を補正手段により補正する画像処理装置にてコンピュータにより実行されるプログラムであって、請求項１１ないし１６のいずれか１項に記載の制御方法を前記コンピュータに実行させることを特徴とするプログラム。
    

Images