JP5317023B2 - 手ぶれ補正装置、手ぶれ補正方法およびプログラム - Google Patents

Description

本発明は、手ぶれ補正装置、手ぶれ補正方法およびプログラムに関し、詳細には、動画再生時に手ぶれ補正を行うことが可能な手ぶれ補正装置、手ぶれ補正方法およびプログラムに関する。

手ぶれのない動画を撮影するには三脚の使用が好ましいが、手軽さに欠けることから、多くの場合、手持ち撮影が行われており、そのようにして撮影された動画を再生する際の不本意な画像の揺れ（手ぶれによる揺れ）が問題になる。手ぶれ補正は、このような“揺れ”を少なくして画像を見やすくするための技術であり、たとえば、下記の特許文献１には「１フィールド前のビデオ信号と現フィールドのビデオ信号とを比較して、動きベクトルを求め、この動きベクトルに応じて、出力する画面の切出し枠を動きと逆の方向に平行移動して揺れを補正する」という手ぶれ補正の技術（以下、従来技術という）が記載されている。

なお、一般的に手ぶれ補正は「静止画用」と「動画用」の二種類あるが、本明細書における手ぶれ補正は後者のもの、つまり動画用の手ぶれ補正を指す。

図７は、手ぶれ補正の原理図である。この図において、上段に描かれている３枚の画像１〜３は一つの動画を構成する連続したフレームであり、各画像１〜３には被写体として、静止している同一の人物４ａ〜４ｃが写し込まれている。ここで、この動画を撮影した際の手ぶれの方向を便宜的に画面の右上から左下（矢印５、６参照）とすると、各画像１〜３の人物４ａ〜４ｃは手ぶれと逆の方向に各々の位置がずれることになる。すなわち、１枚目の画像１の人物４ａの位置に対して２枚目の画像２の人物４ｂは若干右上にずれ、また、２枚目の画像２の人物４ｂの位置に対して３枚目の画像３の人物４ｃはさらに若干右上にずれることになる。このような被写体位置のずれは、動画再生時の“揺れ”となって現れるので見苦しい。

従来技術の手ぶれ補正は、要するに、各画像１〜３の人物４ａ〜４ｃの位置を合せるようにするものであり、その際に、各画像１〜３に共通の切り出し枠７を設定してその切り出し枠７の内側の画像を手ぶれ補正後の画像８〜１０として出力するというものである。

特開平５−９１３９６号公報

従来技術は、動画再生時に手ぶれを補正できる点で有益であるものの、その手ぶれ補正のオンオフはもっぱら人為的に行う仕組みになっていたため、手ぶれ補正を必要としない場面でも無駄な処理が行われてしまうという問題点があった。

すなわち、動画撮影や再生時のフレームレートはテレビ放送基準（ＮＴＳＣ規格の場合は毎秒およそ３０枚）に準拠して行われることが多いが、それだけではなく、たとえば、ハイスピード撮影やスローモーション再生といった特殊なフレームレート撮影や再生が行われることがあり、とりわけ、低フレームレートの再生時には、画像の動きがゆっくりになることから多少の手ぶれがあっても視覚的には違和感を生じないものの、従来技術では、そのような場合も人為的に手ぶれ補正をオフにしない限り、手ぶれ補正が働いてしまうため、無駄な処理を否めず、加えて、当該処理による電力消費の増大も無視できなかった。

また、手ぶれ補正後の画像は、図７にも示されているように、切り出し枠７の内側の画像８〜１０であって、補正前の画像１〜３に対して若干サイズが小さくなる（画像８〜１０の周囲のクロスハッチング部８ａ〜１０ａが無駄になる）から、せっかくの撮影性能（撮影画素数）を生かし切れないという問題点もある。

そこで、本発明の目的は、手ぶれ補正を必要としない状況では自動的に手ぶれ補正を行わないようにできる手ぶれ補正装置、手ぶれ補正方法およびプログラムを提供することにある。

本発明による手ぶれ補正装置は、動画データの撮影時のフレームレートと再生時のフレームレートとの差または比に応じて、手ぶれ補正の必要性を判定する判定手段と、前記判定手段の判定結果に応じた内容で、前記判定の対象となった動画データに対する手ぶれ補正処理を行う手ぶれ補正手段とを備えたことを特徴とする。
また、この前記手ぶれ補正装置において更に、前記手ぶれ補正手段は、前記判定手段の判定結果に応じて、前記判定の対象となった動画データに対する手ぶれ補正処理の実行の有無を選択するようにしてもよい。
また、この前記手ぶれ補正装置において更に、前記判定手段は、動画データのフレームレートに応じて、手ぶれ補正の必要性の程度を複数段階で判定し、前記手ぶれ補正手段は、前記判定手段が判定した手ぶれ補正の必要性の程度に応じて、前記判定の対象となった動画データに対する手ぶれ補正処理の強度を複数段階で変化させながら手ぶれ補正処理を行うようにしてもよい。
また、この前記手ぶれ補正装置において更に、前記判定手段は、動画データのフレームレートが所定値以下の場合に、前記判定の対象となった動画データに対する手ぶれ補正処理の必要性が無いと判定し、前記手ぶれ補正手段は、前記判定手段が手ぶれ補正処理の必要性が無いと判定した場合に、前記判定の対象となった動画データに対する手ぶれ補正処理の実行を中止するようにしてもよい。
また、この前記手ぶれ補正装置において更に、前記判定手段は、動画データのフレームレートが小さい程、手ぶれ補正の必要性の程度が小さいと判定するようにしてもよい。
また、この前記手ぶれ補正装置において更に、前記判定手段は、動画データの撮影時のフレームレートに対する再生時のフレームレートの差または比が所定値以下の場合に、前記判定の対象となった動画データに対する手ぶれ補正処理の必要性が無いと判定し、前記手ぶれ補正手段は、前記判定手段が手ぶれ補正処理の必要性が無いと判定した場合に、前記判定の対象となった動画データに対する手ぶれ補正処理の実行を中止するようにしてもよい。
また、この前記手ぶれ補正装置において更に、前記判定手段は、撮影時のフレームレートよりも再生時のフレームレートの方が低い低速再生の中で、撮影時のフレームレートに対する再生時のフレームレートの差または比が所定値以下の場合に、手ぶれ補正処理の必要性が無いと判定し、撮影時のフレームレートよりも再生時のフレームレートの方が低い低速再生の中で、撮影時のフレームレートに対する再生時のフレームレートの差または比が所定値以上の場合、または撮影時のフレームレートと再生時のフレームレートが同じ等速再生の場合は、手ぶれ補正処理の必要性が有ると判定し、撮影時のフレームレートよりも再生時のフレームレートの方が高い高速再生の場合は、手ぶれ補正処理の必要性が無いと判定するようにしてもよい。
また、この前記手ぶれ補正装置において更に、動画データを任意のフレームレートで再生する再生手段を更に備えるようにしてもよい。
また、この前記手ぶれ補正装置において更に、動画データを任意のフレームレートで撮影する撮影手段を更に備えるようにしてもよい。
また、本発明による手ぶれ補正方法は、手ぶれ補正装置による手ぶれ補正方法であって、前記手ぶれ補正装置が、動画データの撮影時のフレームレートと再生時のフレームレートとの差または比に応じて、手ぶれ補正の必要性を判定する判定処理と、前記手ぶれ補正装置が、前記判定処理の判定結果に応じた内容で、前記判定の対象となった動画データに対する手ぶれ補正処理を行う手ぶれ補正処理とを含むことを特徴とする。
また、本発明によるプログラムは、手ぶれ補正装置のコンピュータを、動画データの撮影時のフレームレートと再生時のフレームレートとの差または比に応じて、手ぶれ補正の必要性を判定する判定手段と、前記判定手段の判定結果に応じた内容で、前記判定の対象となった動画データに対する手ぶれ補正処理を行う手ぶれ補正手段として機能させることを特徴とする。

本発明によれば、動画データの撮影時のフレームレートと再生時のフレームレートとの差または比に応じた適切な内容で手ぶれ補正処理を行うことができる。

デジタルビデオカメラや動画撮影機能付デジタルカメラなどの撮像装置に実装される手ぶれ補正装置の概念構成図である。 補正基準保持部２４に保持された判定条件の一例を示すデータテーブル図である。 手ぶれ補正装置２０の動作フローを示す図である。 補正基準保持部２４に保持された判定条件の他の一例を示すデータテーブル図である。 補正基準保持部２４に保持された判定条件のさらに他の一例を示すデータテーブル図である。 フレームレート比に基づく判定条件を示すデータテーブル図である。 手ぶれ補正の原理図である。

以下、本発明の実施形態を、図面を参照しながら説明する。
図１は、デジタルビデオカメラや動画撮影機能付デジタルカメラなどの撮像装置に実装される手ぶれ補正装置の概念構成図である。この手ぶれ補正装置２０は、動画入力部２１、手ぶれ補正部２２、補正強度判定部２３、補正基準保持部２４および動画出力部２５を含む。

動画入力部２１は、撮像装置の撮像部（ＣＣＤやＣＭＯＳなどの撮像デバイス）で適宜に生成された動画データ（毎秒数枚ないし数十枚の周期で繰り返されるフレームデータ）を取り込み、または、撮影済みの同様な動画データを撮像装置の記憶部や他の外部記憶装置から取り込み、手ぶれ補正部２２は、その動画データに対して所要の手ぶれ補正処理を行う。

この補正処理は動画用の手ぶれ補正処理であって、たとえば、冒頭で説明した従来技術（特許文献１）に記載の技術、すなわち、「１フィールド前のビデオ信号と現フィールドのビデオ信号とを比較して、動きベクトルを求め、この動きベクトルに応じて、出力する画面の切出し枠を動きと逆の方向に平行移動して揺れを補正する」という原理のものを使用することができる。

従来技術との相違点は、その手ぶれ補正のオンオフを単に手動だけで行うのではなく、補正強度判定部２３の判定結果に従って自動的にも行うようにした点にあり、要するに、補正強度判定部２３によって“手ぶれ補正必要なし”と判定された場合には、動画入力部２１からの動画データを無補正で動画出力部２５に渡す一方、補正強度判定部２３によって“手ぶれ補正必要あり”と判定された場合には、動画入力部２１からの動画データに対して所要の手ぶれ補正処理を行ってから動画出力部２５に渡す点で相違する。

なお、図では明示していないが、手ぶれ補正の手動オンオフと併用してもよい。たとえば、手動オフの場合は補正強度判定部２３の判定結果を強制的に“手ぶれ補正必要なし”とするようにしてもよい。

補正基準保持部２４は、補正強度判定部２３の判定条件を保持する、たとえば、ＰＲＯＭやＲＯＭ等の不揮発性半導体メモリである。

図２は、補正基準保持部２４に保持された判定条件の一例を示すデータテーブル図である。この図において、データテーブル２６は撮影時のフレームレートと再生時のフレームレートの二次元的なテーブル構造を有している。図示の例では、撮影時のフレームレートは１種類、再生時のフレームレートは６種類が示されており、具体的には、撮影時のフレームレートとして３０ｆｐｓ（フレーム／秒；以下同様）、再生時のフレームレートとして５ｆｐｓ、１０ｆｐｓ、１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓが示されているので、撮影時と再生時のフレームレートの組み合わせは、３０ｆｐｓと５ｆｐｓ、３０ｆｐｓと１０ｆｐｓ、３０ｆｐｓと１５ｆｐｓ、３０ｆｐｓと３０ｆｐｓ、３０ｆｐｓと６０ｆｐｓ、３０ｆｐｓと１２０ｆｐｓの６通りになる。

ここで、３０ｆｐｓと３０ｆｐｓの組み合わせは同一フレームレートの再生（等速再生）であり、また、３０ｆｐｓと５ｆｐｓ、３０ｆｐｓと１０ｆｐｓ、３０ｆｐｓと１５ｆｐｓの組み合わせは、いずれも再生時のフレームレートが低い低速再生（スロー再生ともいう）であり、さらに、３０ｆｐｓと６０ｆｐｓ、３０ｆｐｓと１２０ｆｐｓの組み合わせは、いずれも再生時のフレームレートが高い高速再生である。

さて、データテーブル２６に記載されている“オン”と“オフ”は、それぞれ“手ぶれ補正必要なし”と“手ぶれ補正必要あり”を示しており、図示のデータテーブル２６では、３０ｆｐｓと５ｆｐｓの組み合わせの時に“手ぶれ補正必要なし”、３０ｆｐｓと１０ｆｐｓ、３０ｆｐｓと１５ｆｐｓ、３０ｆｐｓと３０ｆｐｓの組み合わせの時に“手ぶれ補正必要あり”、３０ｆｐｓと６０ｆｐｓ、３０ｆｐｓと１２０ｆｐｓの組み合わせの時に“手ぶれ補正必要なし”としている。

このような手ぶれ補正のオンオフ条件は、以下の考えに従って設定されたものである。

まず、動画の手ぶれが大きく目立つのはもっばら等速再生（３０ｆｐｓと３０ｆｐｓの組み合わせ）の場合であり、この場合は手ぶれ補正を積極的に行うべきであるから、当該組み合わせ（３０ｆｐｓと３０ｆｐｓ）の時には“オン”（“手ぶれ補正必要あり”）を設定した。

一方、低速再生時には手ぶれはあまり目立たない。とりわけ、最低速の再生時には手ぶれ自体もゆっくりとしたものになるので、多くの人はほとんど気にしない。したがって、この場合の手ぶれ補正は無駄というべきであるから、当該組み合わせ（３０ｆｐｓと５ｆｐｓ）の時には“オフ”（“手ぶれ補正必要なし”）を設定した。

他方、低速再生であっても、等速再生に近い組み合わせ（３０ｆｐｓと１０ｆｐｓ、３０ｆｐｓと１５ｆｐｓ）の場合には、等速再生ほど手ぶれは目立たないものの、気になるレベルになるといえるから、図示の例では、当該組み合わせ（３０ｆｐｓと１０ｆｐｓ、３０ｆｐｓと１５ｆｐｓ）の時にも“オン”（“手ぶれ補正必要あり”）を設定した。

残りの組み合わせ（高速再生）はいわゆる早送りを行うケースであって、この場合の手ぶれは通常、気にならないから、当該組み合わせ（３０ｆｐｓと６０ｆｐｓ、３０ｆｐｓと１２０ｆｐｓ）の時には“オフ”（“手ぶれ補正必要なし”）を設定した。

このように、図２のデータテーブル２６では、等速再生時及び等速再生に近い低速再生時に“手ぶれ補正必要あり”を設定する一方、最も遅い低速再生時と高速再生時に“手ぶれ補正必要なし”を設定しているが、これは一例である。要は、再生時に手ぶれが目立つようなフレームレートの組み合わせの時に“手ぶれ補正必要あり”を設定し、それ以外の時に“手ぶれ補正必要なし”を設定していればよい。たとえば、最も遅い低速再生時のみならず、必要であれば低速再生の組み合わせの全て（３０ｆｐｓと５ｆｐｓ、３０ｆｐｓと１０ｆｐｓ、３０ｆｐｓと１５ｆｐｓ）について“手ぶれ補正必要なし”を設定してもよい。

図３は、手ぶれ補正装置２０の動作フローを示す図である。この図に示すように、手ぶれ補正装置２０は、まず、手ぶれ補正の手動オフ、つまり、手ぶれ補正を行わない設定が人為的にセットされているか否かを判定し（ステップＳ１）、手動オフであれば、そのままフローを終了する一方、手動オフでなければ、すなわち、手ぶれ補正を行わない設定が人為的にセットされていなければ、以下の二つの処理を実行する。

第一の処理は手ぶれ補正の強度判定である（ステップＳ２）。この強度判定処理では、動画入力部２１から取り込まれた動画データの撮影時及び再生時のフレームレートと、所定の判定基準（図２のデータテーブル２６参照）とに基づき、手ぶれ補正を行うか（オン）または行わないか（オフ）を判定する。図２のデータテーブル２６には撮影時と再生時のフレームレートの組み合わせごとのオンオフ条件が設定されている。オンは“手ぶれ補正必要あり”、オフは“手ぶれ補正必要なし”である。これらのオンオフは二値的表現であって“強度”の意味合いとは多少異なるが、ここでは、手ぶれ補正の効果を最低にしたときをオフとし、最高にしたときをオンと考えるものとする。

第二の処理は手ぶれ補正の実行である（ステップＳ３）。この手ぶれ補正処理では、第一の処理（手ぶれ補正の強度判定処理／ステップＳ２）の判定結果に従い、動画入力部２１から取り込まれた動画データを無補正で動画出力部２５に渡すか、または、動画入力部２１から取り込まれた動画データに対して所要の手ぶれ補正処理を行ってから動画出力部２５に渡すかのいずれかの選択的態様をとる。

いずれの態様をとるかは、もっぱら動画入力部２１から取り込まれた動画データの撮影時及び再生時のフレームレートと、図２のデータテーブル２６の設定内容とに依存する。

ここで、動画入力部２１から取り込まれた動画データのフレームレートを「撮影時のフレームレート／再生時のフレームレート」の形式で書き表すことにすると、図２のデータテーブル２６によれば、
「３０ｆｐｓ／５ｆｐｓ」
「３０ｆｐｓ／１０ｆｐｓ」
「３０ｆｐｓ／１５ｆｐｓ」
「３０ｆｐｓ／３０ｆｐｓ」
「３０ｆｐｓ／６０ｆｐｓ」
「３０ｆｐｓ／１２０ｆｐｓ」
の組み合わせが得られる。
そして、図２のデータテーブル２６には、それぞれの組み合わせごとに、
「３０ｆｐｓ／５ｆｐｓ」→オフ
「３０ｆｐｓ／１０ｆｐｓ」→オン
「３０ｆｐｓ／１５ｆｐｓ」→オン
「３０ｆｐｓ／３０ｆｐｓ」→オン
「３０ｆｐｓ／６０ｆｐｓ」→オフ
「３０ｆｐｓ／１２０ｆｐｓ」→オフ
という手ぶれ補正の実行可否条件が定められている。

したがって、以上の例示によれば、動画入力部２１から取り込まれた動画データのフレームレートの組み合わせが、
「３０ｆｐｓ／１０ｆｐｓ」
「３０ｆｐｓ／１５ｆｐｓ」
「３０ｆｐｓ／３０ｆｐｓ」
のいずれかの時には手ぶれ補正を行う一方、
「３０ｆｐｓ／５ｆｐｓ」
「３０ｆｐｓ／６０ｆｐｓ」
「３０ｆｐｓ／１２０ｆｐｓ」
のいずれかの時には手ぶれ補正を行わない、という作用が得られる。

冒頭で説明した従来技術（特許文献１）では、手ぶれ補正を行うか否かを人為的に判断する必要があった。つまり、手ぶれが目立たない低速再生を行う場合や高速再生を行う場合に、いちいち手作業で手ぶれ補正スイッチをオフにしなければならず、面倒を否めなかった。このため、ユーザの多くは、手ぶれ補正スイッチをオンにしたまま撮影や再生を行っており、手ぶれが目立たない低速再生時や高速再生時においても無駄な処理が実行されてしまうから、電力消費の点でも改善すべき課題があった。

これに対して、本実施形態の手ぶれ補正装置２０は、動画入力部２１から取り込まれた動画データの撮影時及び再生時のフレームレートと、図２のデータテーブル２６の設定内容とに基づいて、手ぶれ補正処理を実行するか否かを自動判定するので、手ぶれが目立たない低速再生を行う場合や高速再生を行う場合の無駄な処理を回避し、電力消費を改善できるという特有の効果を奏することができる。

なお、以上の実施形態では、図２のデータテーブル２６に示すように撮影時のフレームレートを１種類（３０ｆｐｓ）としているが、今日のデジタルビデオカメラや動画撮影機能付デジタルカメラなどの撮像装置にあっては、撮影時のフレームレートを複数の種類から選択できるようになっているため、以下に、そのような撮像装置にも適用できる他の実施形態を説明する。

図４は、補正基準保持部２４に保持された判定条件の他の一例を示すデータテーブル図である。この図において、データテーブル２７は、図２のデータテーブル２６と同様に撮影時のフレームレートと再生時のフレームレートの二次元的なテーブル構造を有している。図２のデータテーブル２６との相違は、撮影時のフレームレートが１種類（３０ｆｐｓ）から５種類（３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、４８０ｆｐｓ）に増えている点にある。

ここで、３０ｆｐｓはいわゆるＮＴＳＣ基準相当のフレームレートであって、多くの撮像装置における常用フレームレートである。これに対して、６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、４８０ｆｐｓは、それぞれ常用フレームレートの２倍、４倍、８倍、１６倍のフレームレートであり、いわゆるハイスピード撮影と呼ばれる撮影モードの際に使用されるものである。ちなみに、ハイスピード撮影とは、多くのコマ数で動画を撮影するモードのことをいう。このモードで撮影された動画を通常のフレームレート（３０ｆｐｓ等）で再生すると、被写体の動きを遅くして見ることができる。この点（被写体の動きが遅くなる）で、一般的なスローモーション再生（単に再生時のフレームレートを落としたもの）と類似するが、撮影時のコマ数が多いために細かな動き（たとえば、ゴルフボールのインパクトの瞬間等）を子細に観察できる点で一般的なスローモーション再生と相違する。

データテーブル２７の撮影時と再生時のフレームレートの組み合わせは、全部で５×６＝３０通り、すなわち、
「３０ｆｐｓ／５ｆｐｓ」
「３０ｆｐｓ／１０ｆｐｓ」
「３０ｆｐｓ／１５ｆｐｓ」
「３０ｆｐｓ／３０ｆｐｓ」
「３０ｆｐｓ／６０ｆｐｓ」
「３０ｆｐｓ／１２０ｆｐｓ」
「６０ｆｐｓ／５ｆｐｓ」
「６０ｆｐｓ／１０ｆｐｓ」
「６０ｆｐｓ／１５ｆｐｓ」
「６０ｆｐｓ／３０ｆｐｓ」
「６０ｆｐｓ／６０ｆｐｓ」
「６０ｆｐｓ／１２０ｆｐｓ」
「１２０ｆｐｓ／５ｆｐｓ」
「１２０ｆｐｓ／１０ｆｐｓ」
「１２０ｆｐｓ／１５ｆｐｓ」
「１２０ｆｐｓ／３０ｆｐｓ」
「１２０ｆｐｓ／６０ｆｐｓ」
「１２０ｆｐｓ／１２０ｆｐｓ」
「２４０ｆｐｓ／５ｆｐｓ」
「２４０ｆｐｓ／１０ｆｐｓ」
「２４０ｆｐｓ／１５ｆｐｓ」
「２４０ｆｐｓ／３０ｆｐｓ」
「２４０ｆｐｓ／６０ｆｐｓ」
「２４０ｆｐｓ／１２０ｆｐｓ」
「４８０ｆｐｓ／５ｆｐｓ」
「４８０ｆｐｓ／１０ｆｐｓ」
「４８０ｆｐｓ／１５ｆｐｓ」
「４８０ｆｐｓ／３０ｆｐｓ」
「４８０ｆｐｓ／６０ｆｐｓ」
「４８０ｆｐｓ／１２０ｆｐｓ」
になる。

このデータテーブル２７にも、図２のデータテーブル２６と同様にオンとオフが設定されている。オンは“手ぶれ補正必要あり”、オフは“手ぶれ補正必要なし”であり、具体的には組み合わせごとに、
「３０ｆｐｓ／５ｆｐｓ」→オフ
「３０ｆｐｓ／１０ｆｐｓ」→オン
「３０ｆｐｓ／１５ｆｐｓ」→オン
「３０ｆｐｓ／３０ｆｐｓ」→オン
「３０ｆｐｓ／６０ｆｐｓ」→オフ
「３０ｆｐｓ／１２０ｆｐｓ」→オフ
「６０ｆｐｓ／５ｆｐｓ」→オフ
「６０ｆｐｓ／１０ｆｐｓ」→オフ
「６０ｆｐｓ／１５ｆｐｓ」→オン
「６０ｆｐｓ／３０ｆｐｓ」→オン
「６０ｆｐｓ／６０ｆｐｓ」→オン
「６０ｆｐｓ／１２０ｆｐｓ」→オフ
「１２０ｆｐｓ／５ｆｐｓ」→オフ
「１２０ｆｐｓ／１０ｆｐｓ」→オフ
「１２０ｆｐｓ／１５ｆｐｓ」→オフ
「１２０ｆｐｓ／３０ｆｐｓ」→オン
「１２０ｆｐｓ／６０ｆｐｓ」→オン
「１２０ｆｐｓ／１２０ｆｐｓ」→オン
「２４０ｆｐｓ／５ｆｐｓ」→オフ
「２４０ｆｐｓ／１０ｆｐｓ」→オフ
「２４０ｆｐｓ／１５ｆｐｓ」→オフ
「２４０ｆｐｓ／３０ｆｐｓ」→オフ
「２４０ｆｐｓ／６０ｆｐｓ」→オン
「２４０ｆｐｓ／１２０ｆｐｓ」→オン
「４８０ｆｐｓ／５ｆｐｓ」→オフ
「４８０ｆｐｓ／１０ｆｐｓ」→オフ
「４８０ｆｐｓ／１５ｆｐｓ」→オフ
「４８０ｆｐｓ／３０ｆｐｓ」→オフ
「４８０ｆｐｓ／６０ｆｐｓ」→オフ
「４８０ｆｐｓ／１２０ｆｐｓ」→オン
が設定されている。

このような手ぶれ補正のオンオフ条件も、先の図２のデータテーブル２６と同様に、手ぶれが目立つ場合はオン、目立たない場合はオフにするというものである。すなわち、動画の手ぶれが目立つのは、まず、等速再生（３０ｆｐｓと３０ｆｐｓ、６０ｆｐｓと６０ｆｐｓ、１２０ｆｐｓと１２０ｆｐｓ）であり、この場合は手ぶれ補正を積極的に行うべきであるから、当該組み合わせ（３０ｆｐｓと３０ｆｐｓ、６０ｆｐｓと６０ｆｐｓ、１２０ｆｐｓと１２０ｆｐｓ）の時には“オン”（“手ぶれ補正必要あり”）を設定した。

一方、低速再生時には手ぶれはあまり目立たず、とりわけ、最低速の再生時には手ぶれ自体もゆっくりとしたものになるので、多くの人はほとんど気にしない。したがって、この場合の手ぶれ補正は無駄というべきであるから、当該組み合わせ（３０ｆｐｓと５ｆｐｓ、６０ｆｐｓと５ｆｐｓ、６０ｆｐｓと１０ｆｐｓ、１２０ｆｐｓと５ｆｐｓ、１２０ｆｐｓと１０ｆｐｓ、１２０ｆｐｓと１５ｆｐｓ、２４０ｆｐｓと５ｆｐｓ、２４０ｆｐｓと１０ｆｐｓ、２４０ｆｐｓと１５ｆｐｓ、２４０ｆｐｓと３０ｆｐｓ、４８０ｆｐｓと５ｆｐｓ、４８０ｆｐｓと１０ｆｐｓ、４８０ｆｐｓと１５ｆｐｓ、４８０ｆｐｓと３０ｆｐｓ、４８０ｆｐｓと６０ｆｐｓ）の時には“オフ”（“手ぶれ補正必要なし”）を設定した。

他方、低速再生であっても、等速再生に近い組み合わせ（３０ｆｐｓと１０ｆｐｓ、３０ｆｐｓと１５ｆｐｓ、６０ｆｐｓと１５ｆｐｓ、６０ｆｐｓと３０ｆｐｓ、１２０ｆｐｓと３０ｆｐｓ、１２０ｆｐｓと６０ｆｐｓ、２４０ｆｐｓと６０ｆｐｓ、２４０ｆｐｓと１２０ｆｐｓ、４８０ｆｐｓと１２０ｆｐｓ）の場合には、等速再生ほど手ぶれは目立たないものの、気になるレベルになるといえるから、図示の例では、当該組み合わせ（３０ｆｐｓと１０ｆｐｓ、３０ｆｐｓと１５ｆｐｓ、６０ｆｐｓと１５ｆｐｓ、６０ｆｐｓと３０ｆｐｓ、１２０ｆｐｓと３０ｆｐｓ、１２０ｆｐｓと６０ｆｐｓ、２４０ｆｐｓと６０ｆｐｓ、２４０ｆｐｓと１２０ｆｐｓ、４８０ｆｐｓと１２０ｆｐｓ）の時にも“オン”（“手ぶれ補正必要あり”）を設定した。

残りの組み合わせ（高速再生）はいわゆる早送りを行うケースであって、この場合の手ぶれは通常、気にならないから、当該組み合わせ（３０ｆｐｓと６０ｆｐｓ、３０ｆｐｓと１２０ｆｐｓ、６０ｆｐｓと１２０ｆｐｓ）の時には“オフ”（“手ぶれ補正必要なし”）を設定した。

このように、図４のデータテーブル２７では、等速再生時及び等速再生に近い低速再生時に“手ぶれ補正必要あり”を設定する一方、最も遅い低速再生時と高速再生時に“手ぶれ補正必要なし”を設定しているが、これは一例である。要は、再生時に手ぶれが目立つようなフレームレートの組み合わせの時に“手ぶれ補正必要あり”を設定し、それ以外の時に“手ぶれ補正必要なし”を設定していればよい。たとえば、最も遅い低速再生時のみならず、必要であれば低速再生の組み合わせの全て（３０ｆｐｓと５ｆｐｓ、３０ｆｐｓと１０ｆｐｓ、３０ｆｐｓと１５ｆｐｓ、６０ｆｐｓと５ｆｐｓ、６０ｆｐｓと１０ｆｐｓ、６０ｆｐｓと１５ｆｐｓ、６０ｆｐｓと３０ｆｐｓ、１２０ｆｐｓと５ｆｐｓ、１２０ｆｐｓと１０ｆｐｓ、１２０ｆｐｓと１５ｆｐｓ、１２０ｆｐｓと３０ｆｐｓ、１２０ｆｐｓと６０ｆｐｓ、２４０ｆｐｓと５ｆｐｓ、２４０ｆｐｓと１０ｆｐｓ、２４０ｆｐｓと１５ｆｐｓ、２４０ｆｐｓと３０ｆｐｓ、２４０ｆｐｓと６０ｆｐｓ、２４０ｆｐｓと１２０ｆｐｓ、４８０ｆｐｓと５ｆｐｓ、４８０ｆｐｓと１０ｆｐｓ、４８０ｆｐｓと１５ｆｐｓ、４８０ｆｐｓと３０ｆｐｓ、４８０ｆｐｓと６０ｆｐｓ、４８０ｆｐｓと１２０ｆｐｓ）について“手ぶれ補正必要なし”を設定してもよい。

以上のとおり、本実施形態においても、動画入力部２１から取り込まれた動画データのフレームレートの組み合わせが、
「３０ｆｐｓ／１０ｆｐｓ」
「３０ｆｐｓ／１５ｆｐｓ」
「３０ｆｐｓ／３０ｆｐｓ」
「６０ｆｐｓ／１５ｆｐｓ」
「６０ｆｐｓ／３０ｆｐｓ」
「６０ｆｐｓ／６０ｆｐｓ」
「１２０ｆｐｓ／３０ｆｐｓ」
「１２０ｆｐｓ／６０ｆｐｓ」
「１２０ｆｐｓ／１２０ｆｐｓ」
「２４０ｆｐｓ／６０ｆｐｓ」
「２４０ｆｐｓ／１２０ｆｐｓ」
「４８０ｆｐｓ／１２０ｆｐｓ」
のいずれかの時には手ぶれ補正を行う一方、
「３０ｆｐｓ／５ｆｐｓ」
「３０ｆｐｓ／６０ｆｐｓ」
「３０ｆｐｓ／１２０ｆｐｓ」
「６０ｆｐｓ／５ｆｐｓ」
「６０ｆｐｓ／１０ｆｐｓ」
「６０ｆｐｓ／１２０ｆｐｓ」
「１２０ｆｐｓ／５ｆｐｓ」
「１２０ｆｐｓ／１０ｆｐｓ」
「１２０ｆｐｓ／１５ｆｐｓ」
「２４０ｆｐｓ／５ｆｐｓ」
「２４０ｆｐｓ／１０ｆｐｓ」
「２４０ｆｐｓ／１５ｆｐｓ」
「２４０ｆｐｓ／３０ｆｐｓ」
「４８０ｆｐｓ／５ｆｐｓ」
「４８０ｆｐｓ／１０ｆｐｓ」
「４８０ｆｐｓ／１５ｆｐｓ」
「４８０ｆｐｓ／３０ｆｐｓ」
「４８０ｆｐｓ／６０ｆｐｓ」
のいずれかの時には手ぶれ補正を行わない、という作用が得られるから、前記の実施形態と同様に、手ぶれが目立たない低速再生を行う場合や高速再生を行う場合の無駄な処理を回避し、電力消費を改善できるという特有の効果を奏することができる。

なお、以上の説明では、手ぶれ補正を行う（オン）か、行わない（オフ）かという二値的態様を例示したが、これに限定されない。たとえば、手ぶれ補正の“強度”を変えるようにしてもよい。ここで、手ぶれ補正の強度とは、手ぶれ補正の効き方のことをいう。

たとえば、冒頭で説明した従来技術（特許文献１）の手ぶれ補正の原理は、「１フィールド前のビデオ信号と現フィールドのビデオ信号とを比較して、動きベクトルを求め、この動きベクトルに応じて、出力する画面の切出し枠を動きと逆の方向に平行移動して揺れを補正する」というものであるが、この原理における“比較”や“ベクトルの演算”または“切り出し枠の平行移動”などの精度を適宜に加減変更することにより、手ぶれ補正の強度を任意に変えることができる。精度を落とせば手ぶれ補正の効き方（強度）を弱めることができ、その逆に精度を限界まで高めれば手ぶれ補正の効き方（強度）を最高にすることができる。また、精度を最低にすれば手ぶれ補正を行わないことと同じになり、この場合、オフ相当になる。以下、説明の便宜上、手ぶれ補正の効き方（強度）を百分率で表すことにする。０％は最低の効き方（最低強度）、１００％は最高の効き方（最高強度）であり、また、０％はオフ相当、０％超〜１００％はオン相当である。

図５は、補正基準保持部２４に保持された判定条件のさらに他の一例を示すデータテーブル図である。この図において、データテーブル２８は、図４のデータテーブル２７と同様に撮影時のフレームレートと再生時のフレームレートの二次元的なテーブル構造を有している。図４のデータテーブル２７との相違は、手ぶれ補正のオンオフではなく、強度（０％〜１００％）を設定している点にある。

撮影時と再生時のフレームレートの組み合わせは、図４のデータテーブル２７と同様に全部で５×６＝３０通りであり、組み合わせごとに以下のとおり、手ぶれ補正の強度が設定されている。
「３０ｆｐｓ／５ｆｐｓ」→４０％
「３０ｆｐｓ／１０ｆｐｓ」→６０％
「３０ｆｐｓ／１５ｆｐｓ」→８０％
「３０ｆｐｓ／３０ｆｐｓ」→１００％
「３０ｆｐｓ／６０ｆｐｓ」→１００％
「３０ｆｐｓ／１２０ｆｐｓ」→１００％
「６０ｆｐｓ／５ｆｐｓ」→２０％
「６０ｆｐｓ／１０ｆｐｓ」→４０％
「６０ｆｐｓ／１５ｆｐｓ」→６０％
「６０ｆｐｓ／３０ｆｐｓ」→８０％
「６０ｆｐｓ／６０ｆｐｓ」→１００％
「６０ｆｐｓ／１２０ｆｐｓ」→１００％
「１２０ｆｐｓ／５ｆｐｓ」→０％
「１２０ｆｐｓ／１０ｆｐｓ」→２０％
「１２０ｆｐｓ／１５ｆｐｓ」→４０％
「１２０ｆｐｓ／３０ｆｐｓ」→６０％
「１２０ｆｐｓ／６０ｆｐｓ」→８０％
「１２０ｆｐｓ／１２０ｆｐｓ」→１００％
「２４０ｆｐｓ／５ｆｐｓ」→０％
「２４０ｆｐｓ／１０ｆｐｓ」→０％
「２４０ｆｐｓ／１５ｆｐｓ」→２０％
「２４０ｆｐｓ／３０ｆｐｓ」→４０％
「２４０ｆｐｓ／６０ｆｐｓ」→６０％
「２４０ｆｐｓ／１２０ｆｐｓ」→８０％
「４８０ｆｐｓ／５ｆｐｓ」→０％
「４８０ｆｐｓ／１０ｆｐｓ」→０％
「４８０ｆｐｓ／１５ｆｐｓ」→０％
「４８０ｆｐｓ／３０ｆｐｓ」→２０％
「４８０ｆｐｓ／６０ｆｐｓ」→４０％
「４８０ｆｐｓ／１２０ｆｐｓ」→６０％

このような手ぶれ補正の条件も、先の図２のデータテーブル２６や図４のデータテーブル２７と同様の考え方に従って設定するが、相違は、オンとオフの二値的設定ではなく、手ぶれの目立ち方に応じて０％〜１００％の間で適切な強度を設定している点にある。

すなわち、最も手ぶれが目立つ組み合わせ（第１位に手ぶれが目立つ組み合わせ）として、
「３０ｆｐｓ／３０ｆｐｓ」
「３０ｆｐｓ／６０ｆｐｓ」
「３０ｆｐｓ／１２０ｆｐｓ」
「６０ｆｐｓ／６０ｆｐｓ」
「６０ｆｐｓ／１２０ｆｐｓ」
「１２０ｆｐｓ／１２０ｆｐｓ」
を想定し、これらの組み合わせの場合に最大（第１位）の強度（１００％）の手ぶれ補正を行うものとしたものである。

また、第２位に手ぶれが目立つ組み合わせとして、
「３０ｆｐｓ／１５ｆｐｓ」
「６０ｆｐｓ／３０ｆｐｓ」
「１２０ｆｐｓ／６０ｆｐｓ」
「２４０ｆｐｓ／１２０ｆｐｓ」
を想定し、これらの組み合わせの場合に第２位の強度（８０％）の手ぶれ補正を行うものとしたものである。

また、第３位に手ぶれが目立つ組み合わせとして、
「３０ｆｐｓ／１０ｆｐｓ」
「６０ｆｐｓ／１５ｆｐｓ」
「１２０ｆｐｓ／３０ｆｐｓ」
「２４０ｆｐｓ／６０ｆｐｓ」
「４８０ｆｐｓ／１２０ｆｐｓ」
を想定し、これらの組み合わせの場合に第３位の強度（６０％）の手ぶれ補正を行うものとしたものである。

また、第４位に手ぶれが目立つ組み合わせとして、
「３０ｆｐｓ／５ｆｐｓ」
「６０ｆｐｓ／１０ｆｐｓ」
「１２０ｆｐｓ／１５ｆｐｓ」
「２４０ｆｐｓ／３０ｆｐｓ」
「４８０ｆｐｓ／６０ｆｐｓ」
を想定し、これらの組み合わせの場合に第４位の強度（４０％）の手ぶれ補正を行うものとしたものである。

また、第５位に手ぶれが目立つ組み合わせとして、
「６０ｆｐｓ／５ｆｐｓ」
「１２０ｆｐｓ／１０ｆｐｓ」
「２４０ｆｐｓ／１５ｆｐｓ」
「４８０ｆｐｓ／３０ｆｐｓ」
を想定し、これらの組み合わせの場合に第５位の強度（２０％）の手ぶれ補正を行うものとしたものである。

さらに、まったく手ぶれが目立たない組み合わせとして、
「１２０ｆｐｓ／５ｆｐｓ」
「２４０ｆｐｓ／５ｆｐｓ」
「２４０ｆｐｓ／１０ｆｐｓ」
「４８０ｆｐｓ／５ｆｐｓ」
「４８０ｆｐｓ／１０ｆｐｓ」
「４８０ｆｐｓ／１５ｆｐｓ」
を想定し、これらの組み合わせの場合に最低の強度（０％）を設定することによって手ぶれ補正を行わないものとしたものである。

このように、図５のデータテーブル２８では、手ぶれの目立ち方に応じ、適切な強度で手ぶれ補正を行うことができるという特有の効果を奏することができる。

なお、図５のデータテーブル２８におけるフレームレートの組み合わせごとの強度はあくまでも説明のための一例に過ぎない。要は、手ぶれの目立ち方に応じた強度を設定すればよく、たとえば、試行錯誤的な実験を繰り返して最適な値を設定すればよい。

以上の実施形態では、撮影時と再生時のフレームレートの「組み合わせ」に基づいて手ぶれ補正を行うか否か（または手ぶれ補正の強度の変更）を判定しているが、この態様に限定されない。たとえば、撮影時のフレームレートと再生時のフレームレートの「比」に基づいて判定してもよい。

図６は、フレームレート比に基づく判定条件を示すデータテーブル図である。この図において、データテーブル２９はフレームレート比と手ぶれ補正強度との二次元的なテーブル構造を有している。フレームレート比は「撮影時のフレームレートに対する再生時のフレームレートの比」であり、図示の例では１０％、２０％、３０％、５０％、１００％、２００％の６種類の比が設定されている。フレームレート比１０％〜５０％は低速再生、フレームレート比１００％は等速再生、フレームレート比２００％は倍速再生（高速再生）である。

手ぶれ補正の強度は、フレームレート比１０％について強度０％、フレームレート比２０％について強度２０％、フレームレート比３０％について強度５０％、フレームレート比５０％について強度８０％、フレームレート比１００％について強度１００％、フレームレート比２００％について強度１００％が設定されている。

このように、フレームレート比１０％〜５０％の低速再生においては、それぞれ０％、２０％、５０％、８０％の手ぶれ補正強度を設定するとともに、フレームレート比１００％の等速再生と２００％の倍速再生においては、いずれも１００％の手ぶれ補正強度を設定した。

したがって、図６のデータテーブル２９を使用しても、低速再生時には強度０％の手ぶれ補正（手ぶれ補正オフ相当）から強度８０％の手ぶれ補正までを適宜に行うことができる一方、等速再生時や倍速再生時には強度１００％の手ぶれ補正を行うことができ、手ぶれが目立たない場合（フレームレート比１０％）の無駄な手ぶれ補正を行わないようにすることができることに加え、このようなフレームレート比を使用することにより、あらゆるフレームレートの組み合わせにも柔軟に対応することができ、汎用性を高めることができるという特有の効果を得ることができる。

以上の説明では、手ぶれ補正装置２０を適用する具体的用途として、デジタルビデオカメラや動画撮影機能付デジタルカメラを例示したが、これ以外であってもよいことはもちろんである。手持ちで撮影される可能性があるあらゆる動画撮影装置に適用できる。

２０ 手ぶれ補正装置
２２ 手ぶれ補正部（手ぶれ補正手段）
２３ 補正強度判定部（指令手段、設定手段）

Claims (11)

1. 動画データの撮影時のフレームレートと再生時のフレームレートとの差または比に応じて、手ぶれ補正の必要性を判定する判定手段と、
   前記判定手段の判定結果に応じた内容で、前記判定の対象となった動画データに対する手ぶれ補正処理を行う手ぶれ補正手段と
   を備えたことを特徴とする手ぶれ補正装置。
2. 前記手ぶれ補正手段は、前記判定手段の判定結果に応じて、前記判定の対象となった動画データに対する手ぶれ補正処理の実行の有無を選択することを特徴とする請求項１に記載の手ぶれ補正装置。
3. 前記判定手段は、動画データのフレームレートに応じて、手ぶれ補正の必要性の程度を複数段階で判定し、
   前記手ぶれ補正手段は、前記判定手段が判定した手ぶれ補正の必要性の程度に応じて、前記判定の対象となった動画データに対する手ぶれ補正処理の強度を複数段階で変化させながら手ぶれ補正処理を行うことを特徴とする請求項１または２に記載の手ぶれ補正装置。
4. 前記判定手段は、動画データのフレームレートが所定値以下の場合に、前記判定の対象となった動画データに対する手ぶれ補正処理の必要性が無いと判定し、
   前記手ぶれ補正手段は、前記判定手段が手ぶれ補正処理の必要性が無いと判定した場合に、前記判定の対象となった動画データに対する手ぶれ補正処理の実行を中止することを特徴とする請求項１乃至３のいずれかに記載の手ぶれ補正装置。
5. 前記判定手段は、動画データの再生時のフレームレートが小さい程、手ぶれ補正の必要性の程度が小さいと判定することを特徴とする請求項１乃至４のいずれかに記載の手ぶれ補正装置。
6. 前記判定手段は、動画データの撮影時のフレームレートに対する再生時のフレームレートの差または比が所定値以下の場合に、前記判定の対象となった動画データに対する手ぶれ補正処理の必要性が無いと判定し、
   前記手ぶれ補正手段は、前記判定手段が手ぶれ補正処理の必要性が無いと判定した場合に、前記判定の対象となった動画データに対する手ぶれ補正処理の実行を中止することを特徴とする請求項１乃至５のいずれかに記載の手ぶれ補正装置。
7. 前記判定手段は、
   撮影時のフレームレートよりも再生時のフレームレートの方が低い低速再生の中で、撮影時のフレームレートに対する再生時のフレームレートの差または比が所定値以下の場合に、手ぶれ補正処理の必要性が無いと判定し、
   撮影時のフレームレートよりも再生時のフレームレートの方が低い低速再生の中で、撮影時のフレームレートに対する再生時のフレームレートの差または比が所定値以上の場合、または撮影時のフレームレートと再生時のフレームレートが同じ等速再生の場合は、手ぶれ補正処理の必要性が有ると判定し、
   撮影時のフレームレートよりも再生時のフレームレートの方が高い高速再生の場合は、手ぶれ補正処理の必要性が無いと判定することを特徴とする請求項６に記載の手ぶれ補正装置。
8. 動画データを任意のフレームレートで再生する再生手段を更に備えることを特徴とする請求項１乃至７のいずれかに記載の手ぶれ補正装置。
9. 動画データを任意のフレームレートで撮影する撮影手段を更に備えることを特徴とする請求項１乃至８のいずれかに記載の手ぶれ補正装置。
10. 手ぶれ補正装置による手ぶれ補正方法であって、
    前記手ぶれ補正装置が、動画データの撮影時のフレームレートと再生時のフレームレートとの差または比に応じて、手ぶれ補正の必要性を判定する判定処理と、
    前記手ぶれ補正装置が、前記判定処理の判定結果に応じた内容で、前記判定の対象となった動画データに対する手ぶれ補正処理を行う手ぶれ補正処理と
    を含むことを特徴とする手ぶれ補正方法。
11. 手ぶれ補正装置のコンピュータを、
    動画データの撮影時のフレームレートと再生時のフレームレートとの差または比に応じて、手ぶれ補正の必要性を判定する判定手段と、
    前記判定手段の判定結果に応じた内容で、前記判定の対象となった動画データに対する手ぶれ補正処理を行う手ぶれ補正手段と
    して機能させることを特徴とするプログラム。
    

Images