JP4687420B2 - 撮影装置、撮影方法及びプログラム - Google Patents

Description

本発明は、ぶれのある動画を表示する場合に、ぶれを抑えた動画表示を可能にするための技術に関する。

従来、携帯型のデジタルビデオカメラや動画撮影機能が付加されたデジタルカメラや携帯電話機等で動画を撮影した場合、動画を構成するフレームにぶれが生じ易く、また、このように撮影された動画を表示した場合には、ぼやけた動画となる、という問題がある。そこで、動画表示の際に、ぶれの無いフレームのみを順次表示できれば、上記の問題は解決される。
一方、静止画像を撮影するカメラにあっては、例えば加速度センサ等のぶれ検出手段を有し、検出されたぶれ情報を用いて画像の流れによる画質の低下を低減するぶれ低減カメラが知られている。さらに、この種のぶれ低減カメラにおいては、ぶれ情報に基づいてぶれを予測し、ぶれが小さくなるタイミングで露光を開始することで、ぶれの無い画像を撮像可能にしたものが知られている（例えば、特許文献１参照）。
したがって、動画表示の際に、フレームのぶれを予測し、ぶれが少なくなるフレームのみを選択して表示することで、ぶれの無い動画表示が可能となる。
特開平８−３２０５１１号公報

しかしながら、動画表示の際に、各フレームに対してぶれの予測演算処理を行うと、動画表示が遅くなるといった問題があり、特に、この問題は、フレームのサンプリングレートが高くなった場合に顕著となる。また、動画処理能力の高いプロセッサを用いる構成とすると、装置コストが高くなるといった問題がある。
本発明は、上述した事情に鑑みてなされたものであり、動画表示の際に、煩雑な処理をせずともぶれの無いフレームだけを表示することのできる撮影装置、撮影方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明は、動画を構成する複数のフレームを所定のフレームレートで取り込む撮影手段と、ぶれ量を示す角速度を前記フレームごとに検出する角速度検出手段と、前記撮影手段によるフレームの取り込みに先立って、所定時間の間、前記角速度検出手段により検出される角速度をサンプリングする角速度サンプリング手段と、動画表示に用いるフレームとして許容されるぶれ許容範囲と、前記動画の撮影時の焦点距離とに基づいて、当該ぶれ許容範囲に対応する角速度許容範囲を設定する角速度許容範囲設定手段と、前記撮影手段により取り込まれたフレームのうち、前記フレームごとに検出された角速度が前記角速度許容範囲に属するフレームを選択して順次出力するフレーム選択出力手段と、前記サンプリングされた角速度に基づいて前記角速度許容範囲を変更する許容範囲変更手段とを具備することを特徴とする撮影装置を提供する。

上述した本発明の撮影装置によれば、フレームの角速度と角速度許容範囲とを比較するだけで、ぶれの無いフレームが選択されるため、動画表示の際には、従来のような予測演算といった煩雑な処理をせずとも、高速かつ容易に、ぶれの無いフレームだけを表示することができる。

また本発明の撮影装置によれば、前記角速度許容範囲設定手段は、撮影時の焦点距離に応じて前記角速度許容範囲を変更する構成であるため、焦点距離に応じて角速度許容範囲が変更されるため、例えば撮影時にズームが変わったとしても、動画表示時には、ズームに応じたぶれの無いフレームのみを正確に出力することができる。

また、本発明の撮影装置によれば、前記撮影手段によるフレームの取り込みに先立って、所定時間の間、前記角速度検出手段により検出される角速度をサンプリングする角速度サンプリング手段と、前記サンプリングされた角速度に基づいて前記角速度許容範囲を変更する許容範囲変更手段とを更に具備する構成であるから、撮影に先立って、ぶれを示す角速度がサンプリングされ、そのサンプリング結果に応じて角速度許容範囲が変更されるため、撮影の都度、ぶれの傾向が変わったとしても、動画表示時には、それぞれのぶれの傾向に合わせて、ぶれの無いフレームのみを正確に出力することができる。

また、本発明の撮影装置において、前記角速度検出手段は、直交座標系におけるＸ軸方向のＸ軸角速度を検出するＸ軸角速度検出手段、および、Ｙ軸方向のＹ軸角速度を検出するＹ軸角速度検出手段を有すると共に、前記角速度サンプリング手段は、前記Ｘ軸角速度およびＹ軸角速度をサンプリングして出力し、前記許容範囲変更手段は、前記サンプリングされたＸ軸角速度およびＹ軸角速度が共に前記角速度許容範囲に属するＸ軸角速度成分範囲およびＹ軸角速度成分範囲を特定し、前記フレーム選択出力手段は、前記撮影手段により取り込まれたフレームのうち、Ｘ軸角速度およびＹ軸角速度がそれぞれ前記Ｘ軸角速度成分範囲およびＹ軸角速度成分範囲に属するフレームを選択して順次出力する構成が望ましい。

また、本発明の撮影装置において、前記フレーム選択出力手段は、前記サンプリングされたＸ軸およびＹ軸角速度の全てが略ゼロの場合、前記撮影手段により取り込まれたフレームを全て順次出力する構成が望ましい。
この望ましい構成によれば、前記サンプリングされたＸ軸およびＹ軸角速度の全てが略ゼロの場合には、撮影された全てのフレームが出力されるため、例えば三脚などで撮影装置が固定され、撮影されたフレームにぶれが生じにくい場合には、出力するフレームを選択するという処理が省略されて、処理の簡略化および効率化が図られる。

また、本発明の撮影装置において、前記サンプリングされたＸ軸角速度およびＹ軸角速度が共に前記角速度許容範囲に属することが無い場合に、前記許容範囲変更手段は、前記サンプリングされたＸ軸角速度の平均値に応じて前記Ｘ軸角速度に対する前記角速度許容範囲を変更すると共に、前記サンプリングされたＹ軸角速度の平均値に応じて前記Ｙ軸角速度に対する前記角速度許容範囲を変更する構成が望ましい。
また、本発明の撮影装置において、前記サンプリングされたＸ軸角速度およびＹ軸角速度が共に、前記許容範囲変更手段により変更された角速度許容範囲に属することが無い場合に、前記フレーム選択出力手段は、前記サンプリングされたＸ軸角速度およびＹ軸角速度のうち、前記サンプリングされた速度の値がゼロになるポイントが多いほうのＸ軸角速度またはＹ軸角速度が前記角速度許容範囲に属するフレームを選択して順次出力する構成も望ましい。
これらの望ましい構成によれば、Ｘ軸角速度およびＹ軸角速度のサンプリング結果に応じて角速度許容範囲が変更されるため、ぶれの傾向に応じて角速度許容範囲を的確に変更することができる。

また、本発明の撮影装置において、前記角速度検出手段は、直交座標系におけるＺ軸方向のＺ軸角速度を検出するＺ軸角速度検出手段を更に備え、前記許容範囲変更手段は、前記サンプリングされたＸ軸、Ｙ軸およびＺ軸角速度が共に前記角速度許容範囲に属するＸ軸角速度成分範囲、Ｙ軸角速度成分範囲およびＺ軸角速度成分範囲を特定し、前記フレーム選択出力手段は、前記撮影手段により取り込まれたフレームのうち、Ｘ軸角速度、Ｙ軸角速度およびＺ軸角速度がそれぞれ前記Ｘ軸角速度成分範囲、Ｙ軸角速度成分範囲およびＺ軸角速度成分範囲に属するフレームを選択して順次出力する構成が望ましい。
この望ましい構成によれば、Ｘ軸角速度、Ｙ軸角速度およびＺ軸角速度のそれぞれを検出するため、フレームに生じるぶれをより正確に検出することができる。

また、本発明の撮影装置において、前記サンプリングされた角速度の情報を履歴として記憶する履歴記憶手段を更に備える構成が望ましい。
この望ましい構成によれば、サンプリングされた角速度の情報が履歴として記憶されるため、次回のサンプリング時に、当該履歴を参照することで、より正確、かつ、効果的にぶれの傾向を判断することができる。

また、上記目的を達成するために、本発明は、動画を構成する複数のフレームを所定のフレームレートで取り込む撮影ステップと、ぶれ量を示す角速度を前記フレームごとに検出する角速度検出ステップと、前記撮影ステップによるフレームの取り込みに先立って、所定時間の間、前記角速度検出手段により検出される角速度をサンプリングする角速度サンプリングステップと、動画表示に用いるフレームとして許容されるぶれ許容範囲と、前記動画の撮影時の焦点距離とに基づいて、当該ぶれ許容範囲に対応する角速度許容範囲を設定する角速度許容範囲設定ステップと、前記撮影ステップにより取り込まれたフレームのうち、前記フレームごとに検出された角速度が前記角速度許容範囲に属するフレームを選択して順次出力するフレーム選択出力ステップと、前記サンプリングされた角速度に基づいて前記角速度許容範囲を変更する許容範囲変更ステップとを具備することを特徴とする撮影方法を提供する。

また、上記目的を達成するために、本発明は、撮影装置を、動画を構成する複数のフレームを所定のフレームレートで取り込む撮影手段、ぶれ量を示す角速度を前記フレームごとに検出する角速度検出手段、前記撮影手段によるフレームの取り込みに先立って、所定時間の間、前記角速度検出手段により検出される角速度をサンプリングする角速度サンプリング手段、動画表示に用いるフレームとして許容されるぶれ許容範囲と、前記動画の撮影時の焦点距離とに基づいて、当該ぶれ許容範囲に対応する角速度許容範囲を設定する角速度許容範囲設定手段、前記撮影手段により取り込まれたフレームのうち、前記フレームごとに検出された角速度が前記角速度許容範囲に属するフレームを選択して順次出力するフレーム選択出力手段、及び、前記サンプリングされた角速度に基づいて前記角速度許容範囲を変更する許容範囲変更手段として機能させるためのプログラムを提供する。

また、上記目的を達成するために、本発明は、撮影装置を、動画を構成する複数のフレームを所定のフレームレートで取り込む撮影手段、ぶれ量を示す角速度を前記フレームごとに検出する角速度検出手段、前記撮影手段によるフレームの取り込みに先立って、所定時間の間、前記角速度検出手段により検出される角速度をサンプリングする角速度サンプリング手段、動画表示に用いるフレームとして許容されるぶれ許容範囲と、前記動画の撮影時の焦点距離とに基づいて、当該ぶれ許容範囲に対応する角速度許容範囲を設定する角速度許容範囲設定手段、前記撮影手段により取り込まれたフレームのうち、前記フレームごとに検出された角速度が前記角速度許容範囲に属するフレームを選択して順次出力するフレーム選択出力手段、及び、前記サンプリングされた角速度に基づいて前記角速度許容範囲を変更する許容範囲変更手段として機能させるためのプログラムが記録されたコンピュータ読取可能な記録媒体を提供する。

これらの本発明に係る撮影方法、プログラムおよび記録媒体によれば、フレームの角速度と角速度許容範囲との比較するだけで、ぶれの無いフレームが選択されるため、動画表示の際には、従来のような予測演算といった煩雑な処理をせずとも、高速かつ容易に、ぶれの無いフレームだけを表示することができる。

以下、図面を参照して本発明の実施の形態について説明する。本実施の形態では、撮影装置の一態様としての携帯型デジタルビデオカメラ（以下、単に「携帯型ビデオカメラ」と言う）に本発明を適用した場合について説明する。
図１は本実施の形態に係る携帯型ビデオカメラ１の構成を示すブロック図である。この携帯型ビデオカメラ１は、図１に示すように、制御部１０、撮影部２０、角速度検出部３０、操作部４０、リムーバブルメディア５０、Ｉ／Ｆ部５１および映像出力端子５２を備えている。

制御部１０は、携帯型ビデオカメラ１の各部を制御する制御手段として機能するものであり、各種プログラムの実行や演算処理をするＣＰＵ１１と、このＣＰＵ１１が実行する制御プログラム１００や各種データを格納する書換可能なフラッシュＲＯＭ（以下、単に「ＲＯＭ」と言う）１２と、上記ＣＰＵ１１の演算結果や各種データを一時的に格納するためのワークエリアとして機能するＲＡＭ１３を備えている。また、上記ＲＯＭ１２に格納された制御プログラム１００にはぶれ補正プログラム１００Ａが含まれており、制御部１０が動画表示時に当該ぶれ補正プログラム１００Ａを実行することで、ぶれのない動画表示を実現する。

この制御プログラム１００は例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フロッピー（登録商標）ディスク等のコンピュータ読み取り可能な記録媒体６０に記録して配布することが可能である。さらに、パーソナルコンピュータと本携帯型ビデオカメラ１とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体６０の制御プログラム１００を本携帯型ビデオカメラ１に出力することで、フラッシュＲＯＭ１２に制御プログラム１００を格納することも可能である。

次いで、撮影部２０は被写体を動画として撮影するものであり、カメラコントロール回路２１、撮影カメラ２２、撮影部ＲＡＭ２３および表示パネル２４を備えている。カメラコントロール回路２１は、制御部１０の制御の下、撮影部２０の各部を制御するものである。また、撮影カメラ２２は、被写体が撮像されたフレームのデータ（以下、単に「フレーム」と言う）をカメラコントロール回路２１に所定のサンプリングレートで順次出力するものであり、ＣＣＤやＣＭＯＳ等の光電変換素子がマトリクス状或いはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサにて取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するＡ／Ｄ変換回路等を備えて構成されている。

撮影部ＲＡＭ２３はフレームを一時的に格納するバッファとして機能するものである。また、表示パネル２４は撮影された動画や設定画面等の各種情報を表示するものであり、例えば液晶ディスプレイパネルや有機ＥＬパネル等のフラットディスプレイパネルにて構成されている。リムーバブルメディア５０は撮影時の動画データを格納するものであり、例えばビデオテープ、記録可能な光学ディスク、リムーバブルハードディスクにより構成されている。
このような構成の下、撮影カメラ２２から出力されたフレームはカメラコントロール回路２１にて所定の画像処理がなされた後、撮影部ＲＡＭ２３に一時的に格納され、また、制御部１０を介してリムーバブルメディア５０に動画データとして順次可能される。撮像部ＲＡＭ２３に格納されたフレームは表示パネル２４に表示する際に用いられ、また、リムーバブルメディア５０に格納された動画データは撮影後に撮影動画を表示（再生）する際に用いられる。

角速度検出部３０は、上記手ぶれ量を検出する手ぶれ量検出手段として機能するものである。具体的には、角速度検出部３０は、図２に示すように、フレーム７０の横方向（以下、Ｙ軸と定義する）の移動、高さ方向（以下、Ｘ軸と定義する）の移動、および、Ｘ−Ｙ軸に直交する方向（以下、Ｚ軸と定義する）への移動に伴うそれぞれの角速度ωｘ、ωｙおよびωｚを個別に検出すべく、前掲図１に示すように、Ｘ軸ジャイロセンサ３１、Ｙ軸ジャイロセンサ３２およびＺ軸ジャイロセンサ３３の３つのジャイロセンサ３１〜３３を有し、それぞれのジャイロセンサ３１〜３３が角速度ωに応じた電圧値の角速度検出信号を制御部１０に出力する。制御部１０は、フレーム７０のフレームレートと同期して各ジャイロセンサ３１〜３３の角速度検出信号を取り込み、フレームと対応付けて、或いは、フレームに付加してリムーバブルメディア５０に格納する。

なお、ジャイロセンサ３１〜３３の個体差等によって角速度ω（ｒａｄ／秒）がゼロの場合の角速度検出信号の電圧値が異なるため、本実施の形態では、本体の電源が投入された後、撮影を開始する前までに、各ジャイロセンサ３１〜３３の角速度検出信号をサンプリングして、その平均値をゼロ点電圧値として設定している。このとき、一定時間に亘り複数のゼロ点電圧値を求め、これらのゼロ点電圧値の平均値との差が所定値以下のゼロ点電圧値が一定割合（例えば９９％）以上得られた場合に、そのゼロ点電圧値の平均値を実際のゼロ点電圧値として設定する構成としており、これにより本体が停止状態であるときのゼロ点電圧値が設定可能となる。

操作部４０は、ユーザによって操作される複数の操作子を有し、例えば電源ボタンや撮影開始／終了等の各種指示を入力するための操作キーを有している。Ｉ／Ｆ部５１は本携帯型ビデオカメラ１をパーソナルコンピュータとケーブル等で通信可能に接続するためのインターフェースであり、リムーバブルメディア５０に格納された動画データをパーソナルコンピュータに出力する際には当該動画データがＩ／Ｆ部５１を介してパーソナルコンピュータに出力される。映像出力端子５２は、テレビやプロジェクタなどの外部ディスプレイ装置に動画の映像信号を出力するための端子である。なお、本携帯型ビデオカメラ１は、上述の構成要素の他にも、音声信号を取り込み記録・再生するためのオーディオ回路や、音声信号を外部スピーカや外部アンプ等に出力するための音声出力端子などを備えて構成されている。

上記の構成の下、本実施の形態の携帯型ビデオカメラ１にあっては、撮影中の動画を表示パネル２４にライブビュー表示する際、或いは、リムーバブルメディア５０に格納した動画を映像出力端子５２を介して外部のディスプレイ等に出力して表示する際には、ぶれの無い、或いは、ぶれ量が所定の許容範囲内のフレーム７０を選択して出力することで、ぶれを抑制した動画表示を可能にしている。以下、このフレーム選択について詳述する。

図３に示すように、角速度検出部３０により検出された角速度ωが「ゼロ」になるゼロクロス点Ｐでは、その角速度ω方向への携帯型ビデオカメラ１のぶれが無い、すなわち、停止していることが示される。したがって、例えば、携帯型ビデオカメラ１が三脚等に固定されて撮影が行われた場合、手ぶれは殆ど生じる事が無いため、Ｘ軸の角速度ωｘ、Ｙ軸の角速度ωｙおよびＺ軸の角速度ωｚは共に「略ゼロ」となり、角速度ωｘ、ωｙおよびωｚのそれぞれのゼロクロス点Ｐが一致する。この場合には、撮影されたフレーム７０にもぶれが無いため、動画表示の際には、撮影された全てのフレーム７０を選択して表示する。

また、携帯型ビデオカメラ１を固定せずに撮影した場合には、手ぶれ等の影響により角速度ωｘ、ωｙおよびωｚのゼロクロス点Ｐが一致することは殆ど無く、この場合には、動画表示の際に、ぶれが無いと見なせる程度のぶれ量のフレーム７０のみを選択して表示する。詳述すると、一般に、フレーム７０内でのぶれ量が小さい場合には、そのフレーム７０を表示しても人間にはぶれが認識され難い。そこで、本実施の形態では、この認識され難いぶれの量の範囲に対応する角速度ωの範囲を角速度許容範囲Ｃとして設定し、角速度ωｘ、ωｙおよびωｚのそれぞれが角速度許容範囲Ｃに属するフレーム７０をぶれの無いフレーム７０として選択することとしている。

ぶれ量と角速度ωとの対応関係について簡単に説明すると、角速度ω（ｒａｄ／秒）をフレーム７０の取り込み間隔（秒）で積分することで移動角度量θ（ｒａｄ）が算出され、また、この移動角度量θ（ｒａｄ）に基づいてぶれ量Ｋが求められる。すなわち、図４に示すように、焦点距離をＬ、画角をαとし、画角α＞＞移動角度量θである場合、ぶれ量Ｋ（ｄｏｔ）と移動角度量θとの間には、
ぶれ量Ｋ（ｄｏｔ）＝移動角度量θ×補正係数ｒ・・・（式１）
但し、補正係数ｒ＝焦点距離Ｌ×（１＋ｔａｎ²（α／２））
また、画角αは焦点距離Ｌとイメージセンサのサイズ（画素数）とによって決まる値
の関係式が成り立つ。したがって、この式（１）からぶれ量Ｋが決まれば移動角度量θ、すなわち、角速度ωが求められ、これにより、ぶれが認識され難いぶれの量の範囲から角速度許容範囲Ｃが求められる。

そして、図５に示すように、角速度ωｘ、ωｙおよびωｚのそれぞれについて角速度許容範囲Ｃに属する角速度成分範囲Ｃｘ、ＣｙおよびＣｚ（Ｃｘ：ωｘ１〜ωｘ２、Ｃｙ：ωｙ１〜ωｙ２、Ｃｚ：ωｚ１〜ωｚ２）を予め設定し、動画表示時には、角速度ωｘ、ωｙおよびωｚが角速度成分範囲Ｃｘ、ＣｙおよびＣｚに属するフレーム７０を選択して出力することとしている。このように、本実施の形態の携帯型ビデオカメラ１にあっては、ぶれの無いフレーム７０の選別を、動画を構成する各フレーム７０について角速度ωが角速度許容範囲Ｃに属するか否かの判断により行うため、簡単かつ高速に処理することが可能となる。なお、図５には、１組の角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚを図示したが、角速度ωｘ、ωｙ、ωｚのそれぞれが角速度許容範囲Ｃに属するポイントが時間軸に沿って複数ポイント存在する場合には、それぞれのポイントについて角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚが設定される。

ところで、手ぶれの傾向（手ぶれの大きさ等）はユーザによって様々であり、また、同一のユーザであっても、日によって手ぶれの傾向が変わるため、角速度ωｘ、ωｙおよびωｚが共に角速度許容範囲Ｃに属さない場合もある。この場合には、動画表示の際に選択されるフレーム７０が無くなってしまう（或いは極端に少なくなってしまう）ため、手ぶれの傾向に合わせて動画再生時のフレーム７０の選択条件を適宜変更する必要がある。そこで、本実施の形態では、動画表示時のフレーム選択アルゴリズムとして複数のアルゴリズムを予め設定すると共に、撮影時には、実際の撮影に先立って角速度ωをサンプリングしてぶれの傾向を特定し、そのぶれの傾向に応じたフレーム選択アルゴリズムを採用する構成としている。

図６はぶれの傾向とフレーム選択アルゴリズムとの対応関係を示す図である。この図に示すように、フレーム選択アルゴリズム１１０としてアルゴリズム１１０Ａ〜１１０Ｇの７つのアルゴリズムが予め設定されている。各アルゴリズム１１０Ａ〜１１０Ｇについて説明すると、アルゴリズム１１０Ａは、サンプリングされた角速度ωｘ、ωｙおよびωｚにおいて、それぞれの角速度ωｘ、ωｙおよびωｚのゼロクロス点Ｐが一致するというぶれの傾向１０５Ａの場合に採用されるアルゴリズムである。この場合には、上記のように、携帯型ビデオカメラ１が三脚等に固定される等して撮影されるフレーム７０にぶれが殆ど生じないため、このアルゴリズム１１０Ａにあっては、動画表示時に全てのフレーム７０が選択される。

アルゴリズム１１０Ｂは、サンプリングされた角速度ωｘ、ωｙおよびωｚにおいて、角速度ωｘ、ωｙおよびωｚのゼロクロス点Ｐが一致することは無いものの、角速度ωｘ、ωｙおよびωｚが共に角速度許容範囲Ｃに属するというぶれの傾向１０５Ｂの場合に採用されるアルゴリズムである。このアルゴリズム１１０Ｂにあっては、上記のように、サンプリングされた角速度ωｘ、ωｙおよびωｚと角速度許容範囲Ｃに基づいて角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚが決定され、動画表示時には、この角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚに属する角速度ωｘ、ωｙおよびωｚを有するフレーム７０が選択される。

アルゴリズム１１０Ｃは、サンプリングされた角速度ωｘ、ωｙおよびωｚにおいて、角速度ωｘ、ωｙおよびωｚが共に角速度許容範囲Ｃに属することが無いものの、ぶれが生じ難いＺ軸の角速度ωｚを除く他の角速度ωｘおよびωｙが共に角速度許容範囲Ｃに属するというぶれの傾向１０５Ｃの場合に採用されるアルゴリズムである。このアルゴリズム１１０Ｃにあっては、角速度ωｚを除く角速度ωｘおよびωｙについて角速度成分範囲Ｃｘ、Ｃｙが求められ、動画表示時には、この角速度成分範囲Ｃｘ、Ｃｙに属する角速度ωｘ、ωｙを有するフレーム７０が選択される。

さらに、サンプリング時のぶれが比較的大きい等のために、サンプリングの結果が上記のいずれのぶれの傾向１０５Ａ〜１０５Ｃにもあてはまらない場合には、アルゴリズム１１０Ｄ〜１１０Ｆのいずれかが採用される。
すなわち、アルゴリズム１１０Ｄはぶれの傾向１０５Ｄに対応して採用されるアルゴリズムである。ぶれの傾向１０５Ｄについて詳細には、サンプリングされた角速度ωｘ、ωｙおよびωｚのそれぞれについて、サンプリング値を平均してなる平均角速度ωｘＡ、ωｙＡ、ωｚＡを求め、図７に示すように、これらの平均角速度ωｘＡ、ωｙＡ、ωｚＡを各角速度ωｘ、ωｙ、ωｚの横軸の値（すなわち、振幅値「ゼロ」の値）とし、この横軸に対して角速度許容範囲Ｃを設定することで、この角速度許容範囲Ｃを実質的に変更する。そして、サンプリングされた各角速度ωｘ、ωｙ、ωｚが共に角速度許容範囲Ｃに属する場合にはぶれの傾向１０５Ｄと判断される。そして、アルゴリズム１１０Ｄにあっては、サンプリングされた角速度ωｘ、ωｙおよびωｚと角速度許容範囲Ｃに基づいて角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚが決定され、動画表示時には、この角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚに属する角速度ωｘ、ωｙおよびωｚを有するフレーム７０が選択される。

また、アルゴリズム１１０Ｅはぶれの傾向１０５Ｅに対応して採用されるアルゴリズムである。ぶれの傾向１０５Ｅは、図８に示すように、上述したぶれの傾向１０５Ｄに対して、Ｚ軸の角速度ωｚを除く他の角速度ωｘおよびωｙが共に角速度許容範囲Ｃに属する傾向を示すものである。そして、アルゴリズム１１０Ｅにあっては、角速度ωｚを除く角速度ωｘおよびωｙについて角速度成分範囲Ｃｘ、Ｃｙが求められ、動画表示時には、この角速度成分範囲Ｃｘ、Ｃｙに属する角速度ωｘ、ωｙを有するフレーム７０が選択される。

アルゴリズム１１０Ｆはぶれの傾向１０５Ｆに対応して採用されるアルゴリズムである。ぶれの傾向１０５Ｆは、サンプリング結果が上記ぶれの傾向１０５Ａ〜１０５Ｅには該当しないものの、角速度ωｘまたは／およびωｙがゼロクロスポイントＰを有する場合である。そしてアルゴリズム１１０Ｆにあっては、角速度ωｘおよびωｙのうちゼロクロスポイントＰが多い方を選択し、選択した角速度ωｘまたはωｙが角速度許容範囲Ｃに属する角速度成分範囲ＣｘまたはＣｙが決定され、動画表示時には、この角速度成分範囲ＣｘまたはＣｙに属する角速度ωｘまたはωｙを有するフレーム７０が選択される。

アルゴリズム１１０Ｇは、ぶれの傾向が上記ぶれの傾向１０５Ａ〜１０５Ｆのいずれにもあてはまらない場合に採用されるアルゴリズムである。このアルゴリズム１１０Ｇにあっては、上記アルゴリズム１１０Ａ〜１１０ＦのようにゼロクロスポイントＰに基づいて選択フレームを決定するのは無く、サンプリングされた角速度ωｘ、ωｙ、ωｚのそれぞれについて密集する範囲を求め、その範囲を角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚととし、動画表示時には、この角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚに属する角速度ωｘ、ωｙ、ωｙを有するフレーム７０が選択される。

ここで、上記式（１）に示されるように、角速度移動量θすなわち角速度ωが同じ場合でも、そのときのぶれ量Ｋは焦点距離Ｌによって異なり、焦点距離Ｌが大きくなるにしたがってぶれ量Ｋは大きくなる。そこで、本実施の形態では、焦点距離Ｌに応じて複数段階の角速度許容範囲Ｃが予め設定されており、サンプリングされた角速度ωｘ、ωｙ、ωｚに応じて上記フレーム選択アルゴリズム１１０を選択する場合には、焦点距離Ｌに応じた角速度許容範囲Ｃを用いる構成とされている。

次いで、撮影時に表示パネル２４に動画をライブビュー表示する場合を例にして、本実施の形態の動画表示処理について図９を参照してより詳細に説明する。
図９は動画表示処理のフローチャートである。この動画表示処理は、ユーザによって撮影開始指示が入力された場合に開始され、また、撮影終了指示が入力されたときに終了する処理である。
すなわち、制御部１０は、撮影開始指示が入力されると（ステップＳ１）、実際の撮影に先立って、現在の焦点距離Ｌに応じて角速度許容範囲Ｃを変更した後（ステップＳ２）、ユーザの手ぶれの傾向を判別するために、所定時間の間、角速度検出部３０から出力される角速度検出信号を所定のサンプリング周期にて順次取り込み、それぞれの角速度ωｘ、ωｙ、ωｚをＲＡＭ１３に格納する（ステップＳ３）。

次いで、制御部１０は、今回のぶれの傾向を特定する前に、ぶれの傾向が過去に特定されており、その特定結果がぶれの傾向履歴として例えばフラッシュＲＯＭ１２に格納されているか否かを判断する（ステップＳ４）。ぶれの傾向履歴が無い場合には（ステップＳ４：Ｎｏ）、制御部１０は、角速度ωｘ、ωｙ、ωｚのサンプリング結果に基づいて、ぶれの傾向が上記ぶれの傾向１０５Ａ〜１０５Ｆのどれに該当するか、或いは、どれにも該当しないかを判断する（ステップＳ５）。ここで、ぶれの傾向１０５Ａからぶれの傾向１０５Ｆにかけて該当条件が順次緩和されるため、このステップＳ５においては、最も該当条件の厳しいぶれの傾向１０５Ａから最も該当条件の緩いぶれの傾向１０５Ｆにかけて、サンプリング結果を比較することで、今回のぶれの傾向がどれに該当するかを特定する。

一方、ステップＳ４の判断の結果、ぶれの傾向履歴がある場合には（ステップＳ４：Ｙｅｓ）、制御部１０は、まず、履歴として記録された過去のぶれの傾向の該当条件に今回のサンプリング結果が該当するかを判断する。そして、該当する場合には、より厳しい該当条件にも今回のサンプリング結果が該当する可能性があるため、制御部１０は、過去のぶれの傾向よりも該当条件が厳しくなるぶれの傾向の順にサンプリング結果を比較して、今回のぶれの傾向がどれに該当するかを特定する。また、履歴として記録された過去のぶれの傾向の該当条件に今回のサンプリング結果が該当しない場合には、制御部１０は、より該当条件が緩くなるぶれの傾向の順にサンプリング結果を比較して、今回のぶれの傾向がどれに該当するかを特定する。

このように、ぶれの傾向履歴がある場合には、そのぶれの履歴にあるぶれの傾向とサンプリング結果とを判断し、その判断結果に応じて、該当条件がより厳しくなるぶれの傾向の順に、或いは、該当条件がより緩くなるぶれの傾向の順に判断すれば良いため、より速やかに今回のぶれの傾向を特定することが可能となる。

そして、制御部１０は、特定したぶれの傾向をＲＯＭ１２をぶれの傾向履歴として保存し（ステップＳ７）、このぶれの傾向に対応するフレーム選択アルゴリズム１１０、および、上記ステップＳ２にて変更した角速度許容範囲Ｃに基づいて、選択フレームの対象とする角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚを決定する（ステップＳ８）。
この後、制御部１０は、実際の撮影を開始して所定のフレームレートでフレーム７０を順次取り込むと共に、フレーム７０の取り込みと同期して角速度ωｘ、ωｙ、ωｚ（すなわち、ぶれ）を検出する（ステップＳ９）。そして、制御部１０は、順次取り込まれるフレーム７０のうち、ステップＳ８にて決定した角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚに属する角速度ωｘ、ωｙ、ωｚを有するフレームを選択して表示パネル２４に出力し（ステップＳ１０）、そして、撮影終了指示が入力されるまで、ステップＳ９およびステップＳ１０を繰り返す。

以上のような処理により、図１０に示すように、角速度成分範囲Ｃｘ、Ｃｙ、Ｃｚに属する角速度ωｘ、ωｙ、ωｚを有するフレーム７０、すなわち、ぶれの無いフレーム７０のみが順次選択・出力され、ぶれの無い動画が表示されることとなる。
なお、上記の動画表示処理において、今回のぶれの傾向がぶれの傾向１０５Ａに該当する場合には、撮影される全てのフレーム７０にぶれが生ずることが無いため、ステップＳ１０においては、全てのフレーム７０が順次出力されることとなる。
また、ステップＳ９にて順次取り込まれるフレーム７０および角速度ωｘ、ωｙ、ωｚは、リムーバブルメディア５０に動画ファイルとして順次格納され、撮影終了時には、その動画ファイルと、今回採用したフレーム選択アルゴリズム１１０とが対応付けられて格納される。これにより、撮影後に、この動画ファイルを再生する場合には、動画ファイルに対応付けられているフレーム選択アルゴリズム１１０にしたがってフレーム７０が選択・出力されることとなる。

以上説明したように、本実施の形態に係る携帯型ビデオカメラ１によれば、フレーム７０の角速度と角速度許容範囲Ｃとを比較してぶれの無いフレーム７０を選択する構成としたため、動画表示の際には、従来のような予測演算といった煩雑な処理をせずとも、高速かつ容易に、ぶれの無いフレーム７０だけを表示することができる。

また、本携帯型ビデオカメラ１によれば、撮影時の焦点距離Ｌに応じて角速度許容範囲Ｃを変更する構成としたため、例えば撮影ごとにズームが変わったとしても、動画表示時には、ズームに応じたぶれの無いフレーム７０のみを正確に出力することができる。
さらに、本携帯型ビデオカメラ１によれば、撮影に先立って、所定時間の間、角速度ωをサンプリングし、このサンプリングされた角速度ωに基づいて角速度許容範囲Ｃを変更する構成としたため、撮影の際のぶれの傾向に応じて角速度許容範囲Ｃが変更され、動画表示時には、それぞれのぶれの傾向に合わせて、ぶれの無いフレームのみを正確に出力することができる。

なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
（変形例）
上述した実施の形態では、角速度に基づいてぶれ量を検出する構成を例示したが、これに限らず、加速度センサを用いてぶれ量を検出する構成としても良い。また、例えばフレーム間での特徴点の移動量を算出し、この移動量に基づいてフレームのぶれ量を算出するといった画像処理によってぶれ量を検出する構成としても良い。

（応用例）
上述した実施の形態では、撮影装置の一態様たる携帯型デジタルビデオカメラ１に本発明を適用した場合を例示したが、例えば動画撮影機能を有する携帯電話機やデジタルカメラ、ＰＤＡ、ノート型パソコンなどにも本発明を適用可能である。
また、本発明は、上述した携帯型デジタルビデオカメラ１が補正プログラム１００Ａを含む制御プログラム１００を実行することで実現される動画表示機能のみを実行する動画表示装置としても実施可能であり、さらに、ぶれを抑制した動画表示のために、角速度許容範囲Ｃに属するフレーム７０を順次出力するぶれ補正装置としても実施可能である。

本発明の実施形態の携帯型デジタルビデオカメラのブロック図である。 フレームとぶれの軸との関係を説明するための図である。 ゼロクロスポイントを説明するための図である。 ぶれ量の算出を説明するための図である。 サンプリング角速度と角速度許容範囲との関係を示す図である。 ぶれの傾向とフレーム選択アルゴリズムとの対応関係を示す図である。 サンプリング角速度に基づくぶれの傾向を説明するための図である。 サンプリング角速度に基づくぶれの傾向を説明するための図である。 動画表示処理のフローチャートである。 本発明の動作を模式的に示す図である。

符号の説明

１…携帯型デジタルビデオカメラ、１０…制御部、２０…撮影部、２４…表示パネル、３０…角速度検出部、５０…リムーバブルメディア、６０…記録媒体、７０…フレーム、１００…ぶれ補正プログラム、１１０フレーム選択アルゴリズム、１０５Ａ〜１０５Ｆ…手ぶれの傾向、Ｃ…角速度許容範囲、ω…角速度、Ｃｘ、Ｃｙ、Ｃｚ…角速度成分範囲。

Claims (9)

1. 動画を構成する複数のフレームを所定のフレームレートで取り込む撮影手段と、
   ぶれ量を示す角速度を前記フレームごとに検出する角速度検出手段と、
   前記撮影手段によるフレームの取り込みに先立って、所定時間の間、前記角速度検出手段により検出される角速度をサンプリングする角速度サンプリング手段と、
   動画表示に用いるフレームとして許容されるぶれ許容範囲と、前記動画の撮影時の焦点距離とに基づいて、当該ぶれ許容範囲に対応する角速度許容範囲を設定する角速度許容範囲設定手段と、
   前記撮影手段により取り込まれたフレームのうち、前記フレームごとに検出された角速度が前記角速度許容範囲に属するフレームを選択して順次出力するフレーム選択出力手段と、
   前記サンプリングされた角速度に基づいて前記角速度許容範囲を変更する許容範囲変更手段と
   を具備することを特徴とする撮影装置。
2. 前記角速度検出手段は、直交座標系におけるＸ軸方向のＸ軸角速度を検出するＸ軸角速度検出手段、および、Ｙ軸方向のＹ軸角速度を検出するＹ軸角速度検出手段を有すると共に、前記角速度サンプリング手段は、前記Ｘ軸角速度およびＹ軸角速度をサンプリングして出力し、
   前記許容範囲変更手段は、前記サンプリングされたＸ軸角速度およびＹ軸角速度が共に前記角速度許容範囲に属するＸ軸角速度成分範囲およびＹ軸角速度成分範囲を特定し、
   前記フレーム選択出力手段は、前記撮影手段により取り込まれたフレームのうち、Ｘ軸角速度およびＹ軸角速度がそれぞれ前記Ｘ軸角速度成分範囲およびＹ軸角速度成分範囲に属するフレームを選択して順次出力する
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記フレーム選択出力手段は、前記サンプリングされたＸ軸およびＹ軸角速度の全てが略ゼロの場合、前記撮影手段により取り込まれたフレームを全て順次出力する
   ことを特徴とする請求項２に記載の撮影装置。
4. 前記サンプリングされたＸ軸角速度およびＹ軸角速度が共に前記角速度許容範囲に属することが無い場合に、
   前記許容範囲変更手段は、前記サンプリングされたＸ軸角速度の平均値に応じて前記Ｘ軸角速度に対する前記角速度許容範囲を変更すると共に、前記サンプリングされたＹ軸角速度の平均値に応じて前記Ｙ軸角速度に対する前記角速度許容範囲を変更する
   ことを特徴とする請求項２または３に記載の撮影装置。
5. 前記サンプリングされたＸ軸角速度およびＹ軸角速度が共に、前記許容範囲変更手段により変更された角速度許容範囲に属することが無い場合に、
   前記フレーム選択出力手段は、前記サンプリングされたＸ軸角速度およびＹ軸角速度のうち、前記サンプリングされた速度の値がゼロになるポイントが多いほうのＸ軸角速度またはＹ軸角速度が前記角速度許容範囲に属するフレームを選択して順次出力する
   ことを特徴とする請求項４に記載の撮影装置。
6. 前記角速度検出手段は、直交座標系におけるＺ軸方向のＺ軸角速度を検出するＺ軸角速度検出手段を更に備え、
   前記許容範囲変更手段は、前記サンプリングされたＸ軸、Ｙ軸およびＺ軸角速度が共に前記角速度許容範囲に属するＸ軸角速度成分範囲、Ｙ軸角速度成分範囲およびＺ軸角速度成分範囲を特定し、
   前記フレーム選択出力手段は、前記撮影手段により取り込まれたフレームのうち、Ｘ軸角速度、Ｙ軸角速度およびＺ軸角速度がそれぞれ前記Ｘ軸角速度成分範囲、Ｙ軸角速度成分範囲およびＺ軸角速度成分範囲に属するフレームを選択して順次出力する
   ことを特徴とする請求項１乃至５のいずれかに記載の撮影装置。
7. 前記サンプリングされた角速度の情報を履歴として記憶する履歴記憶手段を更に備えることを特徴とする請求項２乃至６のいずれかに記載の撮影装置。
8. 動画を構成する複数のフレームを所定のフレームレートで取り込む撮影ステップと、
   ぶれ量を示す角速度を前記フレームごとに検出する角速度検出ステップと、
   前記撮影ステップによるフレームの取り込みに先立って、所定時間の間、前記角速度検出手段により検出される角速度をサンプリングする角速度サンプリングステップと、
   動画表示に用いるフレームとして許容されるぶれ許容範囲と、前記動画の撮影時の焦点距離とに基づいて、当該ぶれ許容範囲に対応する角速度許容範囲を設定する角速度許容範囲設定ステップと、
   前記撮影ステップにより取り込まれたフレームのうち、前記フレームごとに検出された角速度が前記角速度許容範囲に属するフレームを選択して順次出力するフレーム選択出力ステップと、
   前記サンプリングされた角速度に基づいて前記角速度許容範囲を変更する許容範囲変更ステップと
   を具備することを特徴とする撮影方法。
9. 撮影装置を、
   動画を構成する複数のフレームを所定のフレームレートで取り込む撮影手段、
   ぶれ量を示す角速度を前記フレームごとに検出する角速度検出手段、
   前記撮影手段によるフレームの取り込みに先立って、所定時間の間、前記角速度検出手段により検出される角速度をサンプリングする角速度サンプリング手段、
   動画表示に用いるフレームとして許容されるぶれ許容範囲と、前記動画の撮影時の焦点距離とに基づいて、当該ぶれ許容範囲に対応する角速度許容範囲を設定する角速度許容範囲設定手段、
   前記撮影手段により取り込まれたフレームのうち、前記フレームごとに検出された角速度が前記角速度許容範囲に属するフレームを選択して順次出力するフレーム選択出力手段、及び、
   前記サンプリングされた角速度に基づいて前記角速度許容範囲を変更する許容範囲変更手段
   として機能させるためのプログラム。

Images