JP4517813B2 - パンニング撮影可能なカメラおよび動画像編集用プログラム - Google Patents

Description

本発明は、動画像を撮影可能なカメラ、例えばビデオカメラや動画撮影可能なデジタルスチルカメラであって、パンニング撮影可能なカメラおよび動画像編集用プログラムに関する。

カメラの撮影方向を左右方向或いは上下方向等に振りながら広い範囲の画像を撮影することをパンニングといい、このパンニング動作は、手動或いは電動雲台等により実行される。

カメラを三脚等に固定せずいわゆる手持ちでこのパンニングを行う場合には、カメラの動きは使用者の手や腕の動きに依存するため、パンニングの方向が不安定となって誤差が生じやすい。また、カメラを三脚に固定したり電動雲台等を用いたりしてパンニングする場合でも、三脚や雲台自体およびそれに対するカメラの取り付けが正確にされていないと、誤差が生じる。

下記の特許文献１は、複数の静止画像を少しずつずらしながら撮影して、撮影後に高精度に合成して一枚のいわゆるパノラマ画像を作成することを開示している。
特開平８−１６３４３３号公報

しかし、上記の特許文献１では、パンニング方向のばらつきを小さくしてパンニング方向の安定した動画像を得ることはできなかった。

本発明は、パンニング方向のばらつきを小さくしてパンニング方向の安定した動画像を得ることができるカメラおよび動画像編集用プログラムを提供するものである。

（１）請求項１の発明によるカメラは、パンニングしながら動画像を撮影可能なカメラに関する。そして、動画像に含まれる複数のフレームの画像に基づいて、カメラの実パンニング方向を検出する検出手段と、複数の所定角度から実パンニング方向と所定の関係を満たす角度を択一的に、基準パンニング方向として自動的に決定する決定手段と、動画像に含まれる各フレームの画像について、実パンニング方向と基準パンニング方向との差を算出する算出手段と、算出された差に基づき、取得される動画像のパンニング方向が基準パンニング方向に近づくように各フレームの画像を画像処理により補正する補正手段とを備えたことを特徴とする。

（２）請求項２の発明は、請求項１に記載のカメラにおいて、検出手段は、動画像内の注目点を抽出する抽出手段を含み、当該抽出手段により抽出された注目点の動画像内における移動量に基づいて、実パンニング方向を検出することを特徴とする。請求項３の発明のように、検出手段は、カメラ内に配置された角速度センサまたは加速度センサを含み、当該角速度センサまたは加速度センサの出力に基づいて、実パンニング方向を検出してもよい。

（３）請求項４の発明は、請求項１乃至３のいずれか一項に記載のカメラにおいて、補正手段は、動画像に含まれる各フレームの画像の一部を切り出す切り出し手段を含み、当該切り出し手段により切り出す画像の位置を各フレームに応じて変更可能に構成することを特徴とする。

（４）請求項５の発明は、請求項１乃至４のいずれか一項に記載のカメラにおいて、基準パンニング方向は時間とともに所定の変化をするように設定されていることを特徴とする。
（５）請求項６の発明は、請求項１乃至５のいずれか一項に記載のカメラにおいて、補正手段により補正された動画像をリアルタイムで画面表示する表示装置を備えることを特徴とする。
（６）請求項７の発明は、パンニングしながら撮影した動画像を編集するプログラムあって、動画像を読み込み、その動画像に含まれる複数のフレームの画像に基づいてカメラの実パンニング方向を検出する検出処理と、複数の所定角度から実パンニング方向と所定の関係を満たす角度を択一的に、基準パンニング方向として自動的に決定する決定処理と、動画像に含まれる各フレームの画像について、実パンニング方向と基準パンニング方向との差を算出する算出処理と、算出された差に基づき、取得される動画像のパンニング方向が基準パンニング方向に近づくように各フレームの画像を画像処理により補正する補正処理とをコンピュータで実行する動画像編集用プログラムである。

本発明によれば、カメラの実パンニング方向、すなわち動画像のパンニング方向が基準パンニング方向に近づくように補正したので、パンニング方向のブレが小さくなり、パンニング方向の安定した見やすい動画像を得ることができる。

以下、図面を参照して本発明の実施の形態を説明する。
＜１．第１実施形態の構成（図１）＞
図１は、本発明の第１実施形態による動画撮影可能な電子カメラの概要を説明するブロック図である。図１において電子カメラは、撮影レンズ１と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどで構成される撮像デバイス３と、ＣＰＵ４ａやメモリ４ｂなどで構成される画像プロセッサ４と、動画用レリーズスイッチ５と、表示装置としての液晶モニタ６と、を備えている。撮像デバイス３の撮像面上には、撮影レンズ１を通過した被写体光による被写体像が結像される。

撮像デバイス３は、電子カメラの電源がオンされているとき、定常的に被写体像を繰り返し撮像するように構成されている。撮像デバイス３は、撮像時に被写体像の明るさに応じて画素ごとに信号電荷を蓄積する。蓄積電荷は、不図示の駆動回路から撮像デバイス３へ供給される駆動信号によって撮像デバイス３から順次掃き出される。信号電荷は不図示のアナログ信号処理回路で所定のアナログ処理をされた後、不図示のＡ／Ｄ変換回路によってデジタル撮像信号に変換されて画像プロセッサ４へ導かれる。

画像プロセッサ４は、撮像デバイス３に対する撮像時間（電荷蓄積時間）の指示などを行う。画像プロセッサ４はさらに、デジタル撮像信号に対してホワイトバランス調整処理や輪郭補償処理を行う他に、後述する基準パンニング方向に基づく補正処理等の画像処理を行う。画像処理後の画像データは、メモリ４ｂに記録され、更に液晶モニタ６に出力される。画像プロセッサ４は、動画用レリーズスイッチ５からレリーズ操作信号が入力されると動画撮影シーケンスを開始させ、撮像デバイス３からの電荷蓄積の掃き出し開始を指示するように構成されている。

このカメラでは、撮像デバイス３の読み出し方法を変更することにより、１／１５秒や１／３０秒といった短い周期で画像を連続して取得できるようになっており、これら短い周期で取得した一連の画像を保存することにより、動画像を保存することが可能になっている。ここでは、１／３０秒に１コマの周期で画像を取り込む場合を例にとって説明する。また、この１コマをフレームと呼ぶ。

＜２．第１実施形態の作用（図２〜図６）＞
図２は、第１実施形態によるパンニング撮影および補正処理を説明するフローチャートである。図３〜図６は、この補正処理の過程を説明する図である。図３〜図６では、使用者が、水平方向、つまり重力方向に垂直な方向である右方向に、カメラを手持ち撮影でパンニングさせていると仮定している。右方向へのパンニングであるから、使用者は先ず、撮影したい範囲の最も左端に構図する。そこから使用者が希望する速度、例えば４秒間に１画面分移動する速度でパンニングを開始する。

この明細書では、水平方向のパンニングをパンニング方向角０度、鉛直方向（重力方向）のパンニングをパンニング方向角９０度と定義する。また、水平方向と鉛直方向に±４５度の角度差を有する方向のパンニングをパンニング方向角４５度および１３５度と定義する。

図３は、パンニング撮影において静止した被写体に対する撮像画面の移動の様子を表した図である。Ｆ１、Ｆ２、Ｆ３で示す矩形の破線は、撮像デバイス３で撮像された各フレームの画像範囲を示している。

図４は、図３に示す構図で撮像された各フレームＦ１、Ｆ２、Ｆ３の画像を示す図である。図３に示された被写体に対する撮像画面の移動に応じて、図４のように、３枚の画像が撮像デバイス３にて撮像される。いま、最初のフレームＦ１の撮影から二番目のフレームＦ２の撮影までの間に、右方向にｄｘ_１、上方向にｄｙ_１だけ、撮像範囲が静止している被写体に対して撮像画面上で斜めに移動したとする。このｄｘ_１およびｄｙ_１の値を、本実施形態では、注目点の移動によって検出する。

図５は、実パンニング方向の求め方を示す説明図であり、図３および図４に示す最初のフレームＦ１の画像と二番目のフレームＦ２の画像とを、画像の各端縁が一致するように重ね合わせたものである。画像プロセッサ４は、最初のフレームＦ１において注目点を抽出する。注目点の抽出方法は、既に公知となっている顔位置判定技術その他の特徴抽出技術によることができる。例えば、画像内において、近傍の画素との明暗差が大きい領域や、近傍の画素と色相が異なる領域を抽出し、その領域の重心位置を算出することで注目点を抽出することができる。動画像撮影前にユーザが１枚の画像を取り込み、その中から注目点を任意に決定してもよい。なお、注目点となる被写体自身は静止しているものとする。

画像プロセッサ４は、まず、最初のフレームＦ１の画像データを撮像デバイス３から取得し、メモリ４ｂに一時的に保存する（ステップＳ１０１）。そして、最初のフレームＦ１の画像データから注目点を抽出し、その座標データをメモリ４ｂに一時的に保存する（ステップＳ１０２）。

最初のフレームＦ１の撮影後１／３０秒を経過したら（ステップＳ１０３）、二番目のフレームＦ２の画像データを撮像デバイス３から取得し、メモリ４ｂに一時的に保存する（ステップＳ１０４）。そして、最初のフレームＦ１で抽出した注目点が、二番目のフレームＦ２のどの座標に位置するかを検出する（ステップＳ１０５）。なお、前フレームの注目点が現フレームの撮像範囲より外へ出てしまった場合は、注目点の座標検出ができない。この場合は、前フレームにも現フレームにも含まれる新たな注目点を抽出する。

次に、最初のフレームＦ１の撮影から二番目のフレームＦ２の撮影までに撮像範囲内で注目点が移動した量である−ｄｘ_１、−ｄｙ_１を計算する（ステップＳ１０６）。ここで負記号を付けたのは、被写体に対する撮像範囲の移動方向と、撮像範囲内における被写体の移動方向とが、逆方向だからである（なお、右方向および上方向を正とした。）。図５では、「×」印で示される注目点が左方向にｄｘ_１、下方向にｄｙ_１だけ移動したことが表されている。このｄｘ_１、ｄｙ_１より、下式を用いて、移動の角度θ_１を計算する（ステップＳ１０７）。これにより、実際にカメラが動かされた実パンニング方向が検出される。
θ_１＝ｔａｎ^−１（ｄｙ_１／ｄｘ_１）

なお、実パンニング方向は０度〜３６０度の角度として計算されるので、実パンニング方向が、上述したパンニング方向角０度、パンニング方向角９０度、パンニング方向角４５度およびパンニング方向角１３５度のいずれに該当するかを、後述するアルゴリズムにより決定する。

ところで、カメラに内蔵したメモリ４ｂには、あらかじめ０度（水平方向であり、１８０度を含む）、９０度（重力方向であり、２７０度を含む）、４５度（０度と９０度の中間の方向であり、２２５度を含む）、１３５度（９０度と１８０度の中間の方向であり、３１５度を含む）の４つの方向角が基準パンニング方向角θ_０として記憶されている。これらの方向は、一般的にパンニングされる方向の代表的なものである。いうまでもなく、もっと細かいあるいは粗い間隔でもよいし、角度間隔は等間隔でなくてもよい。なお、０／４５／９０／１３５度の一部を含むように方向角を記憶してもよい。

画像プロセッサ４は、求めた実パンニング方向角θ_１に最も近い角度を、上記記憶されている角度の中から選択することにより、補正処理の基準となる基準パンニング方向角θ_０を決定する（ステップＳ１０８）。具体的には、次の（ａ）〜（ｉ）に基づいて基準パンニング方向角θ_０を決定する。

（ａ）０度≦実パンニング方向角θ_１＜２２．５度
（ｂ）１５７．５度≦実パンニング方向角θ_１＜２０２．５度
（ｃ）３３７．５度≦実パンニング方向角θ_１＜３６０度
のいずれかの場合は、基準パンニング方向角θ_０は０度（水平方向）とする。
（ｄ）６７．５度≦実パンニング方向角θ_１＜１１２．５度
（ｅ）２４７．５度≦実パンニング方向角θ_１＜２９２．５度
のいずれかの場合は、基準パンニング方向角θ_０は９０度（垂直方向）とする。
（ｆ）２２．５度≦実パンニング方向角θ_１＜６７．５度
（ｇ）２０２．５度≦実パンニング方向角θ_１＜２４７．５度
のいずれかの場合は、基準パンニング方向角θ_０は４５度（右上がり斜め方向）とする。
（ｈ）１１２．５度≦実パンニング方向角θ_１＜１５７．５度
（ｉ）２９２．５度≦実パンニング方向角θ_１＜３３７．５度
のいずれかの場合は、基準パンニング方向角θ_０は１３５度（左上がり斜め方向）とする。
図３および図４の例では水平パンニングを想定しているから、実パンニング方向角θ_１が上記（ａ）〜（ｃ）のいずれかの角度範囲内であり、主移動方向はＸ方向（水平方向）であると判定し、基準パンニング方向角θ_０は０度と決定する。

そして、実パンニング方向角θ_１と基準パンニング方向角θ_０が異なる場合は（ステップＳ１０９：ＹＥＳ）、動画像の移動方向が基準パンニング方向に一致するように補正する。この補正は、例えば、次に説明するように画像の位置の移動により行う。

まず、ステップＳ１１０において、基準パンニング方向角θ_０に基づき、画像をずらして補正する方向（以下、画像補正方向とする）がＸ方向かＹ方向かの判定を行う。例えば、実パンニング方向角θ_１が上記（ａ）〜（ｃ）のいずれかであって基準パンニング方向角θ_０が０度と決定されている場合は、画像補正方向はＹ方向（垂直方向）であると判定する。なお、図３〜図６の例に示される基準パンニング方向は水平方向であるので上記の角度範囲内であり、画像補正方向はＹ方向と判定される。

そして、θ_０で示される基準パンニング方向にパンニングした場合の、被写体に対する撮像範囲の重力方向の移動量ｄｙ_１’を、下の式により求める（ステップＳ１１１）。
ｄｙ_１’／ｄｘ_１＝ｔａｎθ_０ より、
ｄｙ_１’＝ｄｘ_１×ｔａｎθ_０
ｄｙ_１’が求められたら、二番目のフレームＦ２の画像を（ｄｙ_１−ｄｙ_１’）だけ上方向に移動する（ステップＳ１１２）。これにより、角度θ_０のパンニングが行われたことと等価になる。画像を移動するには、例えば二番目のフレームＦ２の画像の上部を（ｄｙ_１−ｄｙ_１’）だけ削り、一番目、二番目のフレームＦ１、Ｆ２の上端を揃えればよい。なお、（ｄｙ_１−ｄｙ_１’）が負であれば、二番目のフレームＦ２の画像を下方向に移動する。

一方、ステップＳ１１０において、例えば、実パンニング方向角θ_１が上記（ｄ）〜（ｅ）のいずれかであって基準パンニング方向角θ_０が９０度と決定されている場合は、画像補正方向はＸ方向（水平方向）であると判定する。
そして、θ_０で示される基準パンニング方向にパンニングした場合の、被写体に対する撮像範囲の水平方向の移動量ｄｘ_１’を、下の式により求める（ステップＳ１１３）。
ｄｘ_１’／ｄｙ_１＝ｔａｎθ_０ より、
ｄｘ_１’＝ｄｙ_１×ｔａｎθ_０

ｄｘ_１’が求められたら、二番目のフレームＦ２の画像を（ｄｘ_１−ｄｘ_１’）だけ右方向に移動する（ステップＳ１１４）。これにより、角度θ_０のパンニングが行われたことと等価になる。画像を移動するには、例えば二番目のフレームＦ２の画像の右端部を（ｄｘ_１−ｄｘ_１’）だけ削り、一番目、二番目のフレームＦ１、Ｆ２の右端を揃えればよい。なお、（ｄｘ_１−ｄｘ_１’）が負であれば、二番目のフレームＦ２の画像を左方向に移動する。

なお、実パンニング方向角θ_１が上記（ｆ）〜（ｇ）のいずれかであって基準パンニング方向角θ_０が４５度と決定されている場合、および、上記（ｈ）〜（ｉ）のいずれかであって基準パンニング方向角θ_０が１３５度と決定されている場合は、画像補正方向をＸ方向と判定してもよいし、画像補正方向をＹ方向と判定してもよい。また、画像補正方向の判定は、実パンニング方向角度に基づいて、たとえば以下のように決定してもよい。この場合、たとえば、実パンニング方向角θ_１が水平方向０度を基準として±４５度の範囲内であれば、画像補正方向をＹ方向とし、実パンニング方向角θ_１が垂直方向９０度を基準として±４５度の範囲内であれば、画像補正方向をＸ向としてもよい。このような決定により、補正のための画像削り量を低減できる。また、主移動方向はＸ方向とＹ方向から選択しているが、これに限らず、他の方向を選択肢に加えても良い。

画像の移動が終わった場合、或いは実パンニング方向角θ_１と基準パンニング方向角θ_０が異ならないために補正が必要なかった場合は（ステップＳ１０９：ＮＯ）、補正後の当該フレームの画像をメモリ４ｂに保存し液晶モニタ６で表示する（ステップＳ１１５）。こうして、補正処理によりパンニング方向の安定した動画像を、リアルタイムで液晶モニタ６に表示させることが望ましい。

更に、動画像の撮影終了か否かを判定し、撮影が終了していなければ（ステップＳ１１６：ＮＯ）、ステップＳ１０３に戻って１／３０秒の経過を待つ。三番目のフレームＦ３以降も同様にして、構図移動後の注目点の座標を検出し、二番目のフレームＦ２の注目点座標からの移動角度を計算し、基準パンニング方向を選択して、これに合うように補正する。

図６の一点鎖線で示すフレームは、図４に対する補正後の各フレームＦ１，Ｆ２，Ｆ３の画像の例を示す図である。ここでは重力方向の補正がされているので、フレーム間で上下のブレがなく、安定したパンニング動画像が得られている。
動画像の撮影が終了すれば（ステップＳ１１６：ＹＥＳ）、一連の処理を終了する。

＜３．第１実施形態の効果＞
本実施形態によれば次の作用効果を得ることができる。
（１）パンニング方向のばらつきを小さくしてパンニング方向の安定した動画像を得ることができる。
（２）基準パンニング方向を４方向から選択するので、基準パンニング方向を容易に決定することができる。また、基準パンニング方向は、上記４方向のうち、実パンニング方向に最も近いものが選択されるので、撮影者の意図に合致した自然な補正済み動画像を得ることができる。
（３）動画像の一部を切り出すことにより補正を行うので、ソフトウェアによる処理だけで補正処理を行うことができる。
（４）補正処理によりパンニング方向の安定した動画像を、リアルタイムで液晶モニタ６に表示させることができるので、撮影中の動画像をパンニング補正後の状態で確認しながら撮影を行うことができる。
（５）動画像内の注目点の移動量に基づいて実パンニング方向を検出するので、動画像データのみに基づいて実パンニング方向を検出することができる。

なお、基準パンニング方向角θ_０と実パンニング方向角θ_１との差によっては、画像の周囲が多少削られて見えることがあるが、正確な角度のパンニングが実現できる効果の方が大きいし、ズームレンズがあれば多少広角側にセットしておけば大きな問題にはならない。

＜４．第２実施形態の構成（図７）＞
次に第２実施形態として、パンニング方向を角速度／加速度センサにより検出する場合を説明する。

図７は、本発明の第２実施形態による動画撮影可能な電子カメラの概要を説明するブロック図である。図１と同様の部分には同一の符号を付して説明を省略する。この電子カメラは、図１の電子カメラに加え、カメラ回転センサ群７および撮像デバイス移動機構９を備えている。

カメラ回転センサ群７は、角速度センサまたは加速度センサより構成され、カメラの回転による水平方向（Ｘ方向）および重力方向（Ｙ方向）の撮影方向の変化θｘおよびθｙを検出する。検出された撮影方向の変化は画像プロセッサ４に送られる。画像プロセッサ４は、カメラ回転センサ群７から受信する撮影方向の変化を示す信号に基づき、撮像デバイス移動機構９に対して撮像デバイス３の移動信号を送信する。

撮像デバイス移動機構９は、圧電素子などの駆動素子を備え、画像プロセッサ４からの信号に基づいて、光軸に対して垂直な面内で撮像デバイス３を微小量移動させることができる。カメラ回転センサ群７および撮像デバイス移動機構９は、手振れ補正に使用されるものをパンニング撮影時の角度変化の検知および補正処理にも共用することができる。

カメラ回転センサ群７の具体的構成としては、例えば、２つの角速度センサを設け、それぞれ被写体に対するカメラのＹ軸周り（水平方向）の角速度と、Ｘ軸周り（重力方向）の角速度とを検知できるようにすれば良い。これらの角速度をそれぞれ時間ｔについて１回積分すれば、それぞれ水平方向の回転角θｘと重力方向の回転角θｙを算出することができる。

また、カメラ回転センサ群７の他の具体的構成としては、例えば、３つの加速度センサを設けても良い。そのうち水平方向に並べて配置された２つの加速度センサの出力差に基づいて水平方向の角加速度を検知し、これと異なる組み合わせで重力方向に並べて配置された２つの加速度センサの出力差に基づいて重力方向の角加速度を検知することができる。これらの角加速度をそれぞれ時間ｔについて２回積分すれば、それぞれ水平方向の回転角θｘと重力方向の回転角θｙを算出することができる。

＜５．第２実施形態の作用（図８）＞
このようにして求めた水平方向の回転角θｘおよび重力方向の回転角θｙを用いて、被写体に対する撮像範囲の撮影画面上の水平方向の移動量ｄｘ_２および重力方向の移動量ｄｙ_２は、次式で求めることが出来る。
ｄｘ_２＝αθｘ
ｄｙ_２＝αθｙ
αは撮影時におけるレンズの焦点距離に比例した係数で、レンズの焦点距離により異なる。こうして求めたｄｘ_２、ｄｙ_２に基づき、カメラが移動した方向角すなわち実パンニング方向角θ_２は、以下の式で求められる。
θ_２＝ｔａｎ^−１（ｄｙ_２／ｄｘ_２）
＝ｔａｎ^−１（αθｙ／αθｘ）
＝ｔａｎ^−１（θｙ／θｘ）

その他は第１実施形態と同様に、求めた実パンニング方向角θ_２に基づいて基準パンニング方向角θ_０を選択し、θ_２とθ_０が異なる場合には、θ_０に一致する方向になるように画像を移動する。

図８は、第２実施形態によるパンニング撮影および補正処理を説明するフローチャートである。
画像プロセッサ４は、まず、最初のフレームの画像データを撮像デバイス３から取得し、メモリ４ｂに一時的に保存する（ステップＳ２０１）。そして、カメラ回転センサ群７の出力に基づき、水平方向（Ｘ方向）および重力方向（Ｙ方向）の回転角の計測を開始する（ステップＳ２０２）。

最初のフレームの撮影後１／３０秒を経過したら（ステップＳ２０３）、二番目のフレームの画像データを撮像デバイス３から取得し、メモリ４ｂに一時的に保存する（ステップＳ２０４）。そして、被写体に対するカメラの水平方向の回転角θｘおよび重力方向の回転角θｙを算出する（ステップＳ２０５）。

次に、水平方向の回転角θｘおよび重力方向の回転角θｙに基づき、最初のフレームの撮影から二番目のフレームの撮影までに、被写体に対して撮像範囲が水平方向に移動した量ｄｘ_２および重力方向に移動した量ｄｙ_２を計算する（ステップＳ２０６）。このｄｘ_２およびｄｙ_２、すなわち、θｘ，θｙより、下式を用いて、移動の角度θ_２を計算する（ステップＳ２０７）。これにより、実際にカメラが動かされた実パンニング方向が検出される。
θ_２＝ｔａｎ^−１（θｙ／θｘ）

カメラに内蔵したメモリ４ｂには、第１の実施形態で説明したと同様に、基準パンニング方向角として、あらかじめ例えば０度、９０度、４５度、１３５度の４つの方向角が記憶されている。基準パンニング方向角は上述したと同様に種々の決め方がある。

画像プロセッサ４は、求めたθ_２に最も近い角度を、上記記憶されている角度の中から選択することにより、補正処理の基準となる基準パンニング方向角θ_０を決定する（ステップＳ２０８）。そして、実パンニング方向角θ_２と基準パンニング方向角θ_０が異なる場合は（ステップＳ２０９：ＹＥＳ）、動画像の移動方向が基準パンニング方向に一致するように補正する。この補正は、例えば、次に説明するように画像の位置の移動により行う。

まず、ステップＳ２１０において、基準パンニング方向角θ_０に基づき、画像補正方向がＸ方向かＹ方向かの判定を行う。例えば、実パンニング方向角θ１が上記（ａ）〜（ｃ）のいずれかであって基準パンニング方向角θ_０が０度と決定されている場合は、画像補正方向はＹ方向（垂直方向）であると判定する。

そして、θ_０で示される基準パンニング方向にパンニングした場合の、被写体に対する撮像範囲の重力方向の移動量ｄｙ_２’を、下の式により求める（ステップＳ２１１）。
ｄｙ_２’／ｄｘ_２＝ｔａｎθ_０ より、
ｄｙ_２’＝ｄｘ_２×ｔａｎθ_０
ｄｙ_２’が求められたら、二番目のフレームの画像を（ｄｙ_２−ｄｙ_２’）だけ上方向に移動する（ステップＳ２１２）。これにより、角度θ_０のパンニングが行われたことと等価になる。画像を移動するには、例えば二番目のフレームの画像の上部を（ｄｙ_２−ｄｙ_２’）だけ削り、一番目、二番目のフレームの上端を揃えればよい。なお、（ｄｙ_２−ｄｙ_２’）が負であれば、二番目のフレームの画像を下方向に移動する。

一方、ステップＳ２１０において、例えば、実パンニング方向角θ２が上記（ｄ）〜（ｅ）のいずれかであって基準パンニング方向角θ_０が９０度と決定されている場合は、画像補正方向はＸ方向（水平方向）であると判定する。
そして、θ_０で示される基準パンニング方向にパンニングした場合の、被写体に対する撮像範囲の水平方向の移動量ｄｘ_２’を、下の式により求める（ステップＳ２１３）。
ｄｘ_２’／ｄｙ_２＝ｔａｎθ_０ より、
ｄｘ_２’＝ｄｙ_２×ｔａｎθ_０

ｄｘ_２’が求められたら、二番目のフレームの画像を（ｄｘ_２−ｄｘ_２’）だけ右方向に移動する（ステップＳ２１４）。これにより、角度θ_０のパンニングが行われたことと等価になる。画像を移動するには、例えば二番目のフレームの画像の右端部を（ｄｘ_２−ｄｘ_２’）だけ削り、一番目、二番目のフレームの右端を揃えればよい。なお、（ｄｘ_２−ｄｘ_２’）が負であれば、二番目のフレームの画像を左方向に移動する。

なお、実パンニング方向角θ_１が上記（ｆ）〜（ｇ）のいずれかであって基準パンニング方向角θ_０が４５度と決定されている場合、および、上記（ｈ）〜（ｉ）のいずれかであって基準パンニング方向角θ_０が１３５度と決定されている場合は、画像補正方向をＸ方向と判定してもよいし、画像補正方向をＹ方向と判定してもよい。また、画像補正方向の判定は、実パンニング方向角度に基づいてたとえば以下のように決定してもよい。この場合、たとえば、実パンニング方向角θ_２が水平方向０度を基準として±４５度の範囲内であれば、画像補正方向をＹ方向とし、実パンニング方向角θ_２が垂直方向９０度を基準として±４５度の範囲内であれば、画像補正方向をＸ方向としてもよい。このような決定により、補正のための画像削り量を低減できる。また、画像補正方向はＸ方向とＹ方向から選択しているが、これに限らず、他の方向を選択肢に加えても良い。

画像の移動が終わった場合、或いは実パンニング方向角θ_２と基準パンニング方向角θ_０が異ならないために補正が必要なかった場合は（ステップＳ２０９：ＮＯ）、補正後の当該フレームの画像をメモリ４ｂに保存し液晶モニタ６で表示する（ステップＳ２１５）。こうして、補正処理によりパンニング方向の安定した動画像を、リアルタイムで液晶モニタ６に表示させることが望ましい。

更に、動画像の撮影終了か否かを判定し（ステップＳ２１６）、撮影が終了していなければ、ステップＳ２０３に戻って１／３０秒の経過を待つ。三番目のフレーム以降も同様にして、カメラの回転角を計測して実パンニング方向を計算し、基準パンニング方向を選択して、これに合うように補正する。
動画像の撮影が終了すれば、一連の処理を終了する。

＜６．第２実施形態の効果＞
本実施形態によれば第１実施形態と同様の作用効果を得ることができる。また、電子カメラ内に配置された角速度センサまたは加速度センサの出力に基づいて実パンニング方向を検出するので、重力方向に対する角度も正確に検出することができる。

＜７．変形例＞
上記の第１および第２実施形態において、上記の説明においては最初のフレームと二番目のフレームにより基準パンニング方向角θ_０を決定したが、もっと多くのフレーム間での移動方向を算出して、その平均その他の代表値からθ_０を求めてもよい。この場合、基準パンニング方向の算出に使用した各フレームの画像データは、基準パンニング方向が算出されてから個別に位置を補正され、記録されるものとする。

上記の第１および第２実施形態において、上記の説明では画像の一部を削り、その削る位置を変更することによって補正を行ったが、補正の方法はこれに限られるものではない。例えば、第２実施形態の電子カメラが備えるような撮像デバイス移動機構９を用いて撮像デバイス３を微小量動かすことや、撮影光を偏向して像ブレを抑制する像ブレ補正光学系を撮影レンズ内に配置することにより撮像面上での画像位置を変更する、あるいは、画像取得範囲変更手段としての画像プロッセサ４の制御に基づいて、撮像デバイスによる撮像面上の画像取得範囲を電気的に変更するなど、手振れ補正用の機構を用いることもできる。このような補正方法をとれば、動画像データの一部を切り出す必要がないので、画質を損ねたりデータを無駄にしたりすることなく、かつほぼリアルタイムで補正を行うことができる。また、手振れ補正用にもそれらの機構を兼用することができる。

なお、撮像デバイスを移動する方式や像ブレ補正光学系を使用する方式では、注目点の移動量からパンニング方向を算出して基準パンニング方向との差を計算する画像処理方式を採用せず、角速度センサなどを使用して上記差を計算するのが望ましい。

上記の第１および第２実施形態において、上記の説明では撮影と同時にほぼリアルタイムで補正を実行して補正後の画像をモニタ表示する方法を説明したが、全て撮影が終了した後で補正を行っても良い。例えば、撮影した画像データをたとえばパーソナルコンピュータに読み込み、動画編集用のソフトウエア等を使用してパンニング方向を解析し、パンニング方向の安定したパンニング動画像となるように各フレームの位置を補正し、補正後の動画像を記録媒体に記録し、モニタ表示する場合にも本技術は有効である。

この場合、パーソナルコンピュータに図９に示すような処理を実行するプログラムをインストールする。すなわち、パンニングしながら撮影した動画像を編集するプログラムあって、動画像を読み込む処理（ステップＳ３１０）と、読み込んだ動画像に基づいてカメラの実パンニング方向を検出する検出処理（ステップＳ３２０）と、実パンニング方向と予め設定された基準パンニング方向との差を算出する算出処理（ステップＳ３３０）と、算出された差に基づき、取得される動画像のパンニング方向が基準パンニング方向に近づくように補正する補正処理（ステップＳ３４０）とをコンピュータで実行する動画像編集用プログラムである。ステップＳ３２０は、たとえば図２のステップＳ１０２〜ステップＳ１０７に相当する処理であり、ステップＳ３３０は図２のステップＳ１１０，ステップＳ１１１，ステップＳ１１３に相当する処理である。

ここで、カメラの実パンニング方向を検出する検出処理（ステップＳ３２０）は、ステップＳ３１０で動画像データとともに読み込まれた角速度センサ、加速度センサの知りデータに基づいて行うものであってもよい。
また、電子カメラが動画像とスチル画像をともに撮影できるカメラにも本発明を適用できる。さらに、動画像撮影スイッチが操作されたときに上記パンニングによる処理を行うか否かをユーザに選択させるようにしても良い。

上記の第１および第２実施形態において、上記の説明では実パンニング方向に基づいて基準パンニング方向を自動的に決めていたが、これに限らず基準パンニング方向を使用者が手動で決定するようにしても良い。基準パンニング方向を手動で決定する場合も、上記のように複数の方向角の中から選択できるようにすることが望ましい。

また、予め定められたパターンで基準パンニング方向を時間とともに変化させるようにしても良い。図１０は、基準パンニング方向角θ_０の変化パターンの一例を示す図である。この例では、時間ｔ_０からパンニングを開始し、時間ｔ_１まで水平方向に対して０度の方向を基準パンニング方向とする。時間ｔ_１から時間ｔ_２までは、水平方向に対して４５度の方向を基準パンニング方向とする。基準パンニング方向の変化パターンはこれに限らず、たとえば時間とともに連続的に変化させるなど任意のパターンを取ることができる。これにより、動きの変化に富んだ動画像を得ることができる。

以上では、カメラの実パンニング方向と比較する基準パンニング方向を複数設定し、その中からいずれか一つを選択して実パンニング方向との差を算出するようにしたが、１方向の基準パンニング方向だけを設定するカメラも本発明の範囲内である。

＜８．用語の説明＞
なお、以上の各実施形態における画像プロセッサ４は、本発明における基準パンニング方向の決定手段、実パンニング方向の検出手段、基準パンニング方向と実パンニング方向の差を算出する算出手段、および算出結果に基づく補正手段として機能することができる。また、カメラ回転センサ群７は本発明の角速度センサまたは加速度センサに相当し、検出手段の一部として機能することができる。また、撮像デバイス移動機構９は本発明の撮像素子の画面移動機構に相当し、補正手段として機能することができる。さらに、像ブレ補正光学系や画像取得変更手段も補正手段に対応する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素の対応関係になんら限定されるものではない。

本発明は、パンニング撮影時のパンニング方向を所望の方向に合致させた動画像を生成することを特徴とするが、このような特徴的な機能を実現するものであれば、上で説明した方式に限定されず、種々の構成、方式を採用できる。

本発明の第１実施形態による動画撮影可能な電子カメラの概要を説明するブロック図である。 第１実施形態によるパンニング撮影および補正処理を説明するフローチャートである。 パンニング撮影において静止した被写体に対する画面の移動の様子を表した図である。 図３に示す構図で撮像された各フレームＦ１、Ｆ２、Ｆ３の画像を示す図である。 実パンニング方向の求め方を示す説明図である。 図４に対する補正後の各フレームＦ１，Ｆ２，Ｆ３の画像の例を示す図である。 本発明の第２実施形態による動画撮影可能な電子カメラの概要を説明するブロック図である。 第２実施形態によるパンニング撮影および補正処理を説明するフローチャートである。 パンニング方向を補正するプログラムの処理手順を示すフローチャートである。 上記各実施形態の変形例として、基準パンニング方向角θ０の変化パターンの一例を示す図である。

符号の説明

１…撮影レンズ ３…撮像デバイス ４…画像プロセッサ ５…動画用レリーズスイッチ ６…液晶モニタ ７…カメラ回転センサ群 ９…撮像デバイス移動機構 Ｆ１、Ｆ２、Ｆ３…動画フレーム θ_１、θ_２…実パンニング方向角 θ_０…基準パンニング方向角

Claims (7)

1. パンニングしながら動画像を撮影可能なカメラであって、
   前記動画像に含まれる複数のフレームの画像に基づいて、カメラの実パンニング方向を検出する検出手段と、
   複数の所定角度から前記実パンニング方向と所定の関係を満たす角度を択一的に、基準パンニング方向として自動的に決定する決定手段と、
   前記動画像に含まれる各フレームの画像について、前記実パンニング方向と前記基準パンニング方向との差を算出する算出手段と、
   前記算出された差に基づき、取得される動画像のパンニング方向が前記基準パンニング方向に近づくように前記各フレームの画像を画像処理により補正する補正手段とを備えたことを特徴とするカメラ。
2. 請求項１に記載のカメラにおいて、
   前記検出手段は、前記動画像内の注目点を抽出する抽出手段を含み、当該抽出手段により抽出された注目点の前記動画像内における移動量に基づいて、前記実パンニング方向を検出することを特徴とするカメラ。
3. 請求項１に記載のカメラにおいて、
   前記検出手段は、前記カメラ内に配置された角速度センサまたは加速度センサを含み、
   当該角速度センサまたは加速度センサの出力に基づいて、前記実パンニング方向を検出することを特徴とするカメラ。
4. 請求項１乃至請求項３のいずれか一項に記載のカメラにおいて、
   前記補正手段は、前記動画像に含まれる各フレームの画像の一部を切り出す切り出し手段を含み、当該切り出し手段により切り出す画像の位置を前記各フレームに応じて変更して、実パンニング方向が基準パンニング方向に近づくように、撮影された動画像を補正することを特徴とするカメラ。
5. 請求項１乃至請求項４のいずれか一項に記載のカメラにおいて、
   前記基準パンニング方向は、時間とともに所定の変化をするように設定されていることを特徴とするカメラ。
6. 請求項１乃至請求項５のいずれか一項に記載のカメラにおいて、
   前記補正手段により補正された動画像をリアルタイムで画面表示する表示装置をさらに備えることを特徴とするカメラ。
7. パンニングしながら撮影した動画像を編集するプログラムであって、
   前記動画像を読み込み、その動画像に含まれる複数のフレームの画像に基づいてカメラの実パンニング方向を検出する検出処理と、
   複数の所定角度から前記実パンニング方向と所定の関係を満たす角度を択一的に、基準パンニング方向として自動的に決定する決定処理と、
   前記動画像に含まれる各フレームの画像について、前記実パンニング方向と前記基準パンニング方向との差を算出する算出処理と、
   前記算出された差に基づき、取得される動画像のパンニング方向が前記基準パンニング方向に近づくように前記各フレームの画像を画像処理により補正する補正処理とをコンピュータで実行する動画像編集用プログラム。
   

Images