JP4687807B2

JP4687807B2 - 動画記録装置、及び動画像の傾き補正方法、プログラム

Info

Publication number: JP4687807B2
Application number: JP2009079379A
Authority: JP
Inventors: 芳幸加藤
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2009-03-27
Filing date: 2009-03-27
Publication date: 2011-05-25
Anticipated expiration: 2029-03-27
Also published as: CN101848328B; HK1144348A1; US20100245601A1; JP2010233028A; CN101848328A; US8199207B2

Description

本発明は、動画像を撮影し記録する動画記録装置、及び動画像の傾き補正方法、プログラムに関するものである。

従来、電子カメラ等の撮像装置において、記録用の本画像の撮像を行う以前にスルー画像を周期的に撮像してモニタに表示している間に、逐次撮像したスルー画像における水平状態に対する回転角度（装置本体の水平方向の傾き角度）を逐次検出し、検出角度に応じてスルー画像を自動的に水平状態に回転補正した後、補正後の画像の中央部分であって、予め決められている大きさ及びアスペクト比を有する所定領域を切り出し、切り出した画像をモニタに表示する一方、本画像の撮像時にも、同様の方法により本画像を対象として回転補正、及び切り出しを行い、切り出した画像を記録する技術が公知である（例えば下記特許文献１参照）。係る技術によれば、撮影時に意図に反して電子カメラ等が傾いていた場合でも、水平状態が確保されたより適切な静止画像を記録することができる。

特開２００８−２７１０５６号公報

ところで前述したように本画像の撮像以前にモニタに繰り返し表示される一連のスルー画像は動画像を構成するものであるため、上記技術は静止画像を記録する場合にとどまらず、動画像を記録する場合にも適用することができる。すなわち、動画像の記録中（撮影中）に撮像される個々のフレーム画像に前述した回転補正、及び切り出しを行い、切り出した画像をフレーム画像として記録する構成とすれば、全期間に亘って水平方向が固定されることにより見やすさが確保された質の高い動画像を記録することができる。

しかしながら、その場合においては画像の水平方向が完全に固定されることに伴い、記録される動画像が機械的に撮影されたような臨場感に乏しいものとなる。そのため、撮影時のシチュエーションによっては、記録される動画像が必ずしもユーザが望んでいたものとはならない場合があるという問題があった。例えば親しい友人同士のパーティーなどで撮影される動画像では、再生時における動画像の見やすさよりも、寧ろ撮影者の動きを含めたその場の雰囲気が表現されている方が望ましい場合もあるが、その様な動画像の撮影には対応できないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、記録される動画像に臨場感を確保しつつ、動画像としての質を向上させることができる動画記録装置、及び動画像の傾き補正方法、プログラムを提供することを目的とする。

前記課題を解決するため、請求項１記載の発明に係る動画記録装置にあっては、動画撮影中に、複数フレームを処理単位として、画角の水平方向の傾き方向及び傾き角度を示す傾き情報を取得する取得手段と、この取得手段より取得された傾き情報により示される傾き方向及び傾き角度に応じて、動画像を構成する画像であって前記傾き情報が取得された処理単位の複数フレームの画像に対して、画角の水平方向の傾きの補正のための回転方向及び回転量が同一の回転処理を、それぞれ施す回転処理手段と、この回転処理手段により回転処理が施された複数フレームの画像からなる動画像を記録する記録手段とを備えたことを特徴とする。

また、請求項２記載の発明に係る動画記録装置にあっては、前記取得手段は、処理単位である所定数のフレームの先頭フレームを取得タイミングとして、前記傾き情報を取得することを特徴とする。

また、請求項３記載の発明に係る動画記録装置にあっては、前記回転処理手段により回転処理が施された複数フレームの画像を、フレーム間予測符号化を含む符号化処理によって符号化する符号化手段を備え、前記記録手段は、前記符号化手段により符号化された複数フレームの画像であって、他のフレームの画像を参照画像として符号化されたフレーム間予測符号化画像、及びそのフレームの情報だけで符号化されたフレーム内符号化画像を含む複数フレームの画像からなる動画像を記録し、前記取得手段は、前記符号化手段により前記フレーム内符号化画像として符号化される画像のフレームを取得タイミングとして、前記傾き情報を取得することを特徴とする。

また、請求項４記載の発明に係る動画記録装置にあっては、前記符号化手段による複数フレームの画像の符号化処理は、ＭＰＥＧ方式による符号化処理であり、前記取得手段は、ＧＯＰを前記処理単位として、傾き情報を取得することを特徴とする。

また、請求項５記載の発明に係る動画記録装置にあっては、前記回転処理手段が前記処理単位の複数フレームの画像のそれぞれに回転処理を施す際の回転量の、時間的に相前後する前記処理単位間における最大変化量を、所定の許容変化量に制限する変化量制限手段を備えたことを特徴とする。

また、請求項６記載の発明に係る動画記録装置にあっては、前記回転処理手段が前記処理単位の複数フレームの画像のそれぞれに回転処理を施す際の回転量を、所定の最大補正量以下に制限する最大補正量制限手段を備えたことを特徴とする。

また、請求項７記載の発明に係る動画記録装置にあっては、前記取得手段より取得された傾き情報により示される傾き角度が補正最小角度未満であるとき、前記回転処理手段による前記処理単位の複数フレームの画像の回転処理を中止させる回転中止手段を備えたことを特徴とする。

また、請求項８記載の発明に係る動画像の傾き補正方法にあっては、動画撮影中に、複数フレームを処理単位として、画角の水平方向の傾き方向及び傾き角度を示す傾き情報を取得する工程と、取得した傾き情報により示される傾き方向及び傾き角度に応じて、動画像を構成する画像であって前記傾き情報が取得された処理単位の複数フレームの画像に対して、画角の水平方向の傾きの補正のための回転方向及び回転量が同一の回転処理を、それぞれ施す工程と、回転処理を施した複数フレームの画像からなる動画像を記録する工程とを含むことを特徴とする。

また、請求項９記載の発明に係るプログラムにあっては、コンピュータに、動画撮影中に、複数フレームを処理単位として、画角の水平方向の傾き方向及び傾き角度を示す傾き情報を取得する手順と、取得した傾き情報により示される傾き方向及び傾き角度に応じて、動画像を構成する画像であって前記傾き情報が取得された処理単位の複数フレームの画像に対して、画角の水平方向の傾きの補正のための回転方向及び回転量が同一の回転処理を、それぞれ施す手順と、回転処理を施した複数フレームの画像からなる動画像を記録する手順とを実行させることを特徴とする。

本発明によれば、動画記録装置において、記録される動画像に臨場感を確保しつつ、動画像としての質を向上させることが可能となる。

本発明に係るデジタルカメラのブロック図である。ＣＰＵによる録画処理の手順を示したフローチャートである。同録画処理のタイミングチャートである。カメラ本体の傾き角度の変化と、記録画像の傾き角度の変化との関係を示すタイミングチャートである。傾斜角度の取得方法、並びにフレーム画像と記録画像との関係を示す図である。記録画像における水平方向の傾きの補正に使用される、基本となる補正値の一例を示す図である。

以下、本発明の実施形態について説明する。図１は、本発明の動画記録装置であるデジタルカメラ１の概略構成を示すブロック図である。このデジタルカメラ１は、静止画撮影機能と動画撮影機能を有しており、主として以下の各部から構成されている。

すなわちデジタルカメラ１は、光学系ブロック２と、光学系ブロック２を介して被写体の光学像が受光面に結像される撮像素子３とを有している。光学系ブロック２は、ズームレンズ及びフォーカスレンズを含むレンズ群と、絞りと、レンズ群を駆動するレンズモータ、絞りを開閉駆動するアクチュエータを含み、レンズモータやアクチュエータがＣＰＵ４により制御されることにより、ズーム倍率及び焦点位置、撮像素子３の受光量が制御される。

撮像素子３はＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、所定の出力フレームレートで駆動回路５により駆動されて被写体の光学像を光電変換し、光学像に応じた画像信号をＡＧＣ６へ出力する。ＡＧＣ６はオートマチックゲインコントローラであり、入力した画像信号のゲインをＣＰＵ４の指令に基づき調整してＡＤＣ７へ出力する。ＡＤＣ７はアナログデジタルコンバータであり、入力した画像信号をディジタルの画像データへ変換して画像処理部８へ出力する。

画像処理部８は、順次入力する画像データを一時記録するバッファメモリを含み、ゲイン調整後の画像データに対するガンマ補正や、撮影光源の種類に応じたホワイトバランス調整、画素毎のＲ，Ｇ，Ｂの色成分データの生成、生成したＲＧＢデータからＹＵＶデータを生成するＹＵＶ変換等の種々の画像処理を行い、生成した１フレーム分のＹＵＶデータをＣＰＵ４やＣＯＤＥＣ（Coder & Decoder：符号器／復号器）９へ出力する。

ＣＰＵ４へ送られたＹＵＶデータは、液晶モニタ及びその駆動回路から構成される表示部１０においてビデオ信号に変換された後、ライブビュー（スルー）画像として表示される。

前記ＣＯＤＥＣ９は、ＪＰＥＧ方式による静止画像の符号化、及び復号化と、ＭＰＥＧ方式による動画像の符号化、及び復号化とを行う本発明の符号化手段であり、図示しないが、主として上記静止画像及び動画像の符号化、及び復号化を行うための、直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路、フレームメモリ等から構成される。

そして、静止画撮影時に画像処理部８において生成された１フレーム分のＹＵＶデータは、ＣＯＤＥＣ９においてＪＰＥＧ方式で圧縮符号化され、ＣＰＵ４によって日付情報や画像サイズ等の種々の撮影情報を付加された後、静止画データ（静止画ファイル）としてメモリ１１に記録される。メモリ１１は本発明の記録手段であり、例えばカメラ本体に内蔵されたフラッシュメモリや、カメラ本体に着脱自在な各種のメモリカードである。

また、動画撮影時（録画時）に画像処理部８において生成されたＹＵＶデータは、１フレーム毎にＣＯＤＥＣ９に直接送られるか、または１フレーム毎にＣＰＵ４へいったん送られ、後述する回転処理、及びトリミング処理が行われてからＣＯＤＥＣ９に送られる。

各フレームのＹＵＶデータは、ＣＯＤＥＣ９においてＭＰＥＧ方式により、フレーム間予測を用いることなく、そのフレームの情報だけで符号化（フレーム内符号化）されるＩピクチャ（Intra-coded picture、フレーム内符号化画像）と、他のフレームの画像を参照画像として符号化されるフレーム間予測符号化画像であるＰピクチャ（Predictive-coded picture、順方向予測符号化画像）及びＢピクチャ（Bi-directionally predictive coded picture、双方向予測符号化画像）の３種類に分類されて順次圧縮符号化される。

メモリ１１に記録された静止画データや動画データは、再生時においてＣＰＵ４により適宜読み出されＣＯＤＥＣ９に送られ、ＣＯＤＥＣ９において復号された後、表示部１０へ送られ、静止画像や動画像として再生される。

また、ＣＰＵ４には傾きセンサ１２、操作部１３、プログラムメモリ１４、ＲＡＭ１５が接続されている。操作部１３は、電源キーや、デジタルカメラ１の基本の動作モードである撮影用の録画モードと、記録画像の表示用の再生モードとの切り替えを行うモード切替キー、ＭＥＮＵキー、シャッタキー等の複数キーを含み、各キーの操作状態をＣＰＵ４により随時スキャンされる。ＲＡＭ１５はＣＰＵ４のワーキングメモリである。

前記傾きセンサ１２は、水平方向の重力加速度を検出する加速度センサであって、撮影画角が水平に保たれているとき、すなわち撮影光軸（光学系ブロック２の光軸）を中心として回転していない状態において検出される水平方向の重力加速度がゼロになるように、デジタルカメラ１の図示しない本体内に設置されている。

そして、傾きセンサ１２は本発明の取得手段として機能し、カメラ本体が右回転方向に傾いているときは重力加速度として正の値を検出し、カメラ本体が左回転方向に傾いているときは重力加速度として負の値を検出し、それをカメラ本体の水平方向に対する傾き角度（撮影光軸を中心とした回転角度）、及び傾き方向を示す傾き情報としてＣＰＵ４へ出力する。

前記プログラムメモリ１４には、ＣＰＵ４による上記各部の制御に必要な制御プログラム、特に本発明に係るプログラムや、ＣＰＵ４によりＡＥ制御、ＡＦ制御で使用される各種のデータが記憶されている。そして、ＣＰＵ４は、上記制御プログラムに基づき、ＲＡＭ１５を作業メモリとして後述する処理を実行することにより本発明の回転処理手段、変化量制限手段、最大補正量制限手段、回転中止手段として機能する。

また、プログラムメモリ１４は記憶データが書き換え可能な不揮発性メモリであって、前述したプログラムやデータ以外にも、デジタルカメラ１の各種機能に関する設定情報であって、必要に応じてユーザに変更されたり、自動的に変更されたりする種々の設定情報も記憶されている。

次に、以上の構成からなるデジタルカメラ１において、動作モードとして動画撮影用の録画モードが設定されているときの本発明に係る動作について説明する。図２は、録画モードにおいてＣＰＵ４が実行する録画処理の手順を示したフローチャート、図３は、その録画処理に関するタイミングチャートである。なお、以下の説明では、便宜上、録画モードで記録する動画ファイル（ＭＰＥＧファイル）においては、動画像の再生時におけるランダムアクセスの最小単位となるＧＯＰ（Group Of Picture）が、図３に示したように９フレーム分のピクチャ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）により構成されるものとする。

まず、上記録画処理の概略について説明する。本実施形態における録画処理では、デジタルカメラ１の水平方向に対する傾斜角度（以下、単に傾斜角度という）を、ＧＯＰの先頭となるフレーム画像の撮像タイミングでそれぞれ検出し、同じＧＯＰを構成する全てのフレーム画像に、検出した傾斜角度（傾斜検出角度）に対応する補正角度での回転処理を施し、補正後のフレーム画像を動画データ、すなわちＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかのピクチャとして符号化して記録する。

その際には、デジタルカメラ１の水平方向に対する傾き角度が、予め決められている補正最小角度未満の場合には回転処理を行わず、また、１回の回転処理時における最大の回転量（補正量）を予め決められている最大補正量に制限し、さらにＧＯＰ間における回転量（補正量）の変化を予め決められている許容変化量に制限する。なお、本実施形態では上記の補正最小角度が「１°」であり、最大補正量が「８°」、許容変化量が「４°」である。

以下、録画処理の具体的な手順を図２に従い説明する。すなわちデジタルカメラ１においては録画モードが設定されている状態でシャッタキーが押されると、ＣＰＵ４は録画処理を開始し、まず後述する処理で使用する所定のパラメータの値を初期化する（ステップＳ１）。具体的には、現在のフレームがＧＯＰの何番目のピクチャを取得するフレームであるかを知るためのフレームカウント値ＦＣとして、その最大値である「９」を設定し、かつフレーム画像の前回の回転処理に使用した補正値であって符号を含む角度である前回補正値ＺＨに「０°」を設定する。

その後、所定のフレームレート（例えば６０ｆｐｓ）に応じたフレーム画像の取込タイミングが到来する毎に（ステップＳ２でＹＥＳ）、前記画像処理部８から１フレーム分のＹＵＶデータであるフレーム画像を取り込み（ステップＳ３）、その時点で前記フレームカウント値ＦＣをインクリメントする（ステップＳ４）。

録画処理の開始当初においてインクリメント後のフレームカウント値ＦＣは「１０」となるため（ステップＳ５でＹＥＳ）、直ちにフレームカウント値ＦＣを、ＧＯＰの先頭ピクチャを取得するフレーム（以下、ＧＯＰの先頭フレームという。）であることを示す「１」に変更して（ステップＳ６）、以下の処理を実行する。

まず、その時点で前記傾きセンサ１２により検出された前述した重力加速度に基づいてカメラ本体の傾斜角度ＫＳを演算する（ステップＳ７）。傾斜角度ＫＳは、図５に示したように水平方向の重力加速度を一辺とする三角形の斜辺及び対辺の比から逆三角関数を用いた計算によって求める。例えば傾きセンサ１２の検出結果が０．２５Ｇであった場合には、下記の式から傾斜角度ＫＳを演算する。
傾き角度ＫＳ＝ａｒｃｓｉｎ（０．２５）＝１４．４８°

なお、図５に破線で示した矩形は、ステップＳ３で取り込まれたフレーム画像１００、及びフレーム画像１００の水平方向の傾き度合を例示したものであり、傾きセンサ１２の検出結果が０．２５Ｇであった場合には、図示した傾きがフレーム画像１００に生じていることとなる。

引き続きＣＰＵ４は、以下の手順により、当該フレームの画像における水平方向の傾きの補正に使用する回転方向、及び回転量を示す補正値ＨＫを設定する。まず、上記の傾斜角度ＫＳの絶対値が前述した補正最小角度である「１°」未満である場合、つまり傾斜角度ＫＳが「−１゜」よりも大きく、かつ「＋１°」よりも小さい範囲であり、カメラ本体の傾き量が僅かである場合には（ステップＳ８でＹＥＳ）、前記補正値ＨＫとして「０°」を設定する（ステップＳ９）。

これに対し、傾斜角度ＫＳの絶対値が「１°」以上である場合には（ステップＳ８でＮＯ）、まず、前記補正値ＨＫとして傾斜角度ＫＳの正負の符号を反転した角度値、つまり当該フレームの画像における水平方向の傾きをゼロに補正するのに必要な回転方向、及び回転量を示す角度値を設定する（ステップＳ１０）。例えば図６（ａ）に示したように、当該フレームで記録する画像２００の横軸ｐｘが、実際の水平方向（ｘ軸）に対して傾いており、その傾斜角度がａである場合に、図６（ｂ）に示したように、その横軸ｐｘを実際の水平方向（ｘ軸）と一致させるのに必要な角度値−ａを補正値ＨＫとして設定する。

引き続き、設定した補正値ＨＫと前回補正値ＺＨとの差が前述した許容変化量である「４°」を超えているか否かを確認する（ステップＳ１１）。なお、録画処理の開始当初のフレームでは前回補正値ＺＨは「０°」であるため、上記の差は、補正値ＨＫの絶対値となる。

そして、補正値ＨＫと前回補正値ＺＨとの差が「４°」を超えている場合には（ステップＳ１１でＹＥＳ）、その差が「４°」となるように補正値ＨＫを調整する（ステップＳ１２）。係る処理では、補正値ＨＫが正の場合には前回補正値ＺＨに「４°」を加えた角度値を新たな補正値ＨＫとして再設定し、補正値ＨＫが負の場合には前回補正値ＺＨから「４°」を引いた角度値を新たな補正値ＨＫとして再設定する。

さらに、上記調整が行われていない補正値ＨＫ、又は上記調整後の補正値ＨＫを対象して、その絶対値が前述した最大補正量である「８°」を超えているか否か、つまり補正値ＨＫが「−８゜」よりも小さく、かつ「＋８°」よりも大きいか否かを確認し、補正値ＨＫの絶対値が「８°」を超えている場合には（ステップＳ１３でＹＥＳ）、補正値ＨＫの絶対値を「８°」に変更する（ステップＳ１４）。すなわち補正値ＨＫが正の場合には補正値ＨＫを「＋８°」に変更、補正値ＨＫが負の場合には補正値ＨＫを「−８°」に変更する。

次に、ＣＰＵ４は、ステップＳ３で取り込んだフレーム画像から、予め決められている保存画素数領域を記録用の画像として切り出す（ステップＳ１５）。保存画素数領域は、例えば図５に実線で示した領域２００であって、フレーム画像１００（有効画素範囲）と同一中心を有する所定の画素数、及びアスペクト比の領域である。なお、図５は、フレーム画像１００のアスペクト比が４：３であり、保存画素数領域２００のアスペクト比が１６：９である場合の例である。

しかる後、ＣＰＵ４は、切り出した記録用の画像（２００）に対して、ステップＳ９，Ｓ１２，Ｓ１４のいずれかの処理で設定した補正値ＨＫに応じた回転処理を行い、補正後の画像を前記メモリ１１へ記憶する（ステップＳ１６）。すなわち記録用の画像を、前述したステップＳ９，Ｓ１２，Ｓ１４のいずれかの処理で設定した補正値ＨＫにより示される方向に、補正値ＨＫにより示される回転量だけ回転する補正を行った後、前記ＣＯＤＥＣ９へ送り、ＣＯＤＥＣ９においてＩピクチャとして符号化させて前記メモリ１１へ記憶させる。

そして、ＣＰＵ４はこのフレームで使用した上記の補正値ＨＫを前回補正値ＺＨとして新たに記憶した後（ステップＳ１７）、ステップＳ２へ戻り、次のフレーム画像の取込タイミングが到来したら（ステップＳ２でＹＥＳ）、前記画像処理部８から新たなフレーム画像を取り込み（ステップＳ３）、その時点で前記フレームカウント値ＦＣをインクリメントする（ステップＳ４）。

以後、フレームカウント値ＦＣが再び「１０」になるまでの間、つまりＧＯＰの２番目〜９番目のピクチャの撮像タイミングに相当するフレームにおいては（ステップＳ５でＮＯ）、直ちに前述したステップＳ１５へ進み、記録用の画像（２００）の切り出しを行い、その画像（２００）にＧＯＰの先頭フレームと同一の補正値ＨＫに応じた回転処理を行い補正後の画像を前記メモリ１１へ記憶する（ステップＳ１６）。

また、上記処理を繰り返す間、フレームカウント値ＦＣが再び「１０」になったとき、つまり次のＧＯＰの先頭フレームのフレーム画像を取り込んだ際には、フレームカウント値ＦＣを再び「１」に戻したのち（ステップＳ６）、前述したステップＳ７〜Ｓ１４の処理によって新たな補正値ＨＫを取得した後、フレーム画像から記録用の画像（２００）の切り出し、その画像（２００）に新たな補正値ＨＫに応じた回転処理を行い、補正後の画像を前記メモリ１１へ記憶した後（ステップＳ１５，Ｓ１６）、前回補正値ＺＨを新たな補正値ＨＫに更新する（ステップＳ１７）。

しかる後、ステップＳ２へ戻るとともに、例えばシャッタキーが再び押される等の録画終了指示があるまで前述した処理を繰り返す。

図３は、上述した録画処理中におけるカメラ本体の傾き角度ＫＳの変化と、前述した補正値ＨＫの変化の一例を示したものである。図示したように録画時間中にはカメラ本体の傾き角度は逐次変化するが、前記補正値ＨＫは、前述したように一定時間毎に到来するＧＯＰの先頭フレームに相当するフレームタイミングＡ〜Ｅにおいて検出された傾き角度に応じて設定され、その補正値ＨＫが、同じＧＯＰを構成する全てのフレーム画像（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の回転処理に使用される。

そして、図示した例では、フレームタイミングＢを先頭フレームとする２番目のＧＯＰで使用される補正値ＨＫが、先頭フレームにおけるカメラ本体の傾き角度が「１°」未満であるため「０°」に設定される。また、フレームタイミングＣを先頭フレームとする３番目のＧＯＰで使用される補正値ＨＫが、フレームタイミングＣのカメラ本体の傾き角度が「６°」であるのに対し、それ以前の補正値ＨＫからの変化量を前述した許容変化量に制限されることにより「−４°」に設定される。さらに、フレームタイミングＤを先頭フレームとする４番目のＧＯＰで使用される補正値ＨＫが、フレームタイミングＤのカメラ本体の傾き角度が「１０°」であるのに対し、前述した最大補正量に制限されることにより「−８°」に設定される。

図４は、以上のように補正値ＨＫが設定されたときのカメラ本体の傾き角度の変化と、記録画像（フレーム画像から切り出した画像）の傾き角度の変化との関係を示した図３に対応する図である。

以上説明したように本実施形態においては、カメラ本体の傾き角度を各ＧＯＰの先頭フレームで検出し、その検出結果に応じて設定した補正値ＨＫ（補正角度）を用いて、同一のＧＯＰ内の全フレームの画像に、回転方向及び回転量が同一の回転処理を施すようにした。

そのため、カメラ本体の傾き角度が急激に変化するとき、つまりＧＯＰの１周期に相当する時間内にカメラ本体の傾き角度が極めて大きく変化するときを除いて、通常の撮影が行われている状態においては、動画像を構成する各フレームの画像（記録画像）の水平方向がカメラ本体の揺動に伴い変化するときの変化幅（揺れ幅）を狭くすることができる。

したがって、再生時における見やすさ、つまり動画像としての質を向上させることができる。同時に、カメラ本体の揺動に伴う水平方向の変化（揺れ）をある程度残すことにより、記録される動画像に撮影者の動きを含めた撮影時におけるその場の雰囲気、つまり臨場感を確保することができる。その結果、例えば親しい友人達によるパーティー等においてはユーザが望んでいたような動画像を容易に得ることができる。

さらに、動画像の記録中には、カメラ本体の傾き角度の検出、及び検出した傾き角度に応じた補正値ＨＫ（補正角度）の演算をフレーム単位で行う場合に比べ、動画像の記録中におけるデータ処理負荷を軽減することができる。すなわち、例えば本実施形態とは異なり、動画像を構成する各フレームの画像の圧縮符号化を、所定のプログラムに基づき前記ＣＰＵ４に行わせる、つまりソフトウェアエンコーディングによって行う構成においては、動画像の記録中におけるＣＰＵ４の処理負担を軽減することができるためである。したがって、ＣＰＵ４に、必要以上に高いデータ処理能力を確保する必要がなく、デジタルカメラ１の低コスト化を図ることができる。

また、本実施形態においては、ＧＯＰ間における記録画像の回転量の変化（補正値ＨＫの変化量）を所定の許容変化量に制限するようにしたことから、ごく短い時間内の変化は除き、カメラ本体の傾き状態が大きく変化したときには、その変化に対して、各フレームの画像の水平方向の傾きを滑らかに追従させることができる。したがって、これによっても臨場感を確保しつつ、動画像としての質を向上させることができる。

また、記録画像の１回の回転処理時における最大の回転量（補正値ＨＫの最大値）を所定の最大補正量に制限したことから、これによっても、ごく短い時間内の変化は除き、カメラ本体の傾き状態が大きく変化したときには、その変化に対して、各フレームの画像の水平方向の傾きを滑らかに追従させることができる。

ここで、本実施形態においては、動画像をＭＰＥＧ方式で記録する構成において、動画像におけるＧＯＰを単位としてカメラ本体の傾き角度を検出し、かつＧＯＰを単位として動画像を構成する各フレームの画像に同一内容の回転処理を行うようにしたが、本発明は、前述したＭＰＥＧ方式以外の方式で動画を記録する場合にも適用することができる。例えば一連の静止画データファイルを一括してＡＶＩ（Audio Video Interleave）ファイルとして記録するＭｏｔｉｏｎ−ＪＰＥＧ方式等の他の動画記録方式で動画を記録する場合にも有効である。その場合には、所定の数のフレームを単位としてカメラ本体の傾き角度を検出し、かつその所定の数のフレームの画像に同一内容の回転処理を行うようにすればよい。

また、本実施形態と同様に動画像をＭＰＥＧ方式で記録する構成であっても、ＧＯＰに限らず所定の数のフレームを単位としてカメラ本体の傾き角度を検出し、かつその所定の数のフレームの画像に同一内容の回転処理を行うようにしてもよい。ただし、本実施形態のように、ＧＯＰを単位としてカメラ本体の傾き角度を検出し、かつＧＯＰを単位として動画像を構成する各フレームの画像に同一内容の回転処理を行う方が、より効率的に動画像を圧縮することができる。

すなわち前述した補正値ＨＫの設定を変更したときのフレームにおける回転処理後の画像は、前のフレームの画像との間での水平方向の傾き度合が、例えば後のフレームの画像と比べると大きく、前のフレームの画像との相関性が低くなる。しかし、ＧＯＰの先頭ピクチャはＩピクチャであり、フレーム間予測を用いることなく、そのフレームの情報だけで符号化（フレーム内符号化）される画像であるため、前のフレームの画像との相関性が低くとも、それによって符号化後のデータ量が増加することがない。したがって、本実施形態のようにＧＯＰを単位とした処理とすることにより、より効率的に動画像の圧縮することができる。

なお、この点については、例えば複数のＧＯＰを単位として前述した処理を行う場合においても同様である。また、ＧＯＰ内に先頭フレーム以外のフレーム位置にもＩピクチャが存在する場合には、係るＩピクチャが出現する周期に応じた複数フレームを単位として、さらには同一のＧＯＰ内で先頭フレームと、Ｉピクチャが出現する他のフレームとの間の複数フレームを単位として前述した処理行う場合においても同様である。

また、前述した傾きセンサ１２には、本実施形態における加速度センサに限らず、カメラ本体の水平方向に対する傾き角度（撮影光軸を中心とした回転角度）、及び傾き方向を直接または間接的に取得することができれば、任意のセンサを使用することができる。さらに、上記センサにおいては、カメラ本体に限らず少なくとも動画撮影中における画角の水平方向に対する傾斜角度及び傾き方向が取得できればよい。

また、傾きセンサ１２等を廃止し、例えばＣＰＵ４に、輪郭検出や直線検出等の所定の画像処理を実行させることにより、前回の撮像画像と今回の撮像画像との比較によって水平方向に対する画角の傾き角度及び傾き方向を演算させるようにしても構わない。

１デジタルカメラ
２光学系ブロック
３撮像素子
４ＣＰＵ
５駆動回路
６ＡＧＣ
７ＡＤＣ
８画像処理部
９ＣＯＤＥＣ
１０表示部
１１メモリ
１２傾きセンサ
１３操作部
１４プログラムメモリ
１５ＲＡＭ

Claims

動画撮影中に、複数フレームを処理単位として、画角の水平方向の傾き方向及び傾き角度を示す傾き情報を取得する取得手段と、
この取得手段より取得された傾き情報により示される傾き方向及び傾き角度に応じて、動画像を構成する画像であって前記傾き情報が取得された処理単位の複数フレームの画像に対して、画角の水平方向の傾きの補正のための回転方向及び回転量が同一の回転処理を、それぞれ施す回転処理手段と、
この回転処理手段により回転処理が施された複数フレームの画像からなる動画像を記録する記録手段と
を備えたことを特徴とする動画記録装置。
前記取得手段は、処理単位である所定数のフレームの先頭フレームを取得タイミングとして、前記傾き情報を取得することを特徴とする請求項１記載の動画記録装置。
前記回転処理手段により回転処理が施された複数フレームの画像を、フレーム間予測符号化を含む符号化処理によって符号化する符号化手段を備え、
前記記録手段は、前記符号化手段により符号化された複数フレームの画像であって、他のフレームの画像を参照画像として符号化されたフレーム間予測符号化画像、及びそのフレームの情報だけで符号化されたフレーム内符号化画像を含む複数フレームの画像からなる動画像を記録し、
前記取得手段は、前記符号化手段により前記フレーム内符号化画像として符号化される画像のフレームを取得タイミングとして、前記傾き情報を取得することを特徴とする請求項１記載の動画記録装置。
前記符号化手段による複数フレームの画像の符号化処理は、ＭＰＥＧ方式による符号化処理であり、
前記取得手段は、ＧＯＰを前記処理単位として、傾き情報を取得することを特徴とする請求項３記載の動画記録装置。
前記回転処理手段が前記処理単位の複数フレームの画像のそれぞれに回転処理を施す際の回転量の、時間的に相前後する前記処理単位間における最大変化量を、所定の許容変化量に制限する変化量制限手段を備えたことを特徴とする請求項１記載の動画記録装置。
前記回転処理手段が前記処理単位の複数フレームの画像のそれぞれに回転処理を施す際の回転量を、所定の最大補正量以下に制限する最大補正量制限手段を備えたことを特徴とする請求項１記載の動画記録装置。
前記取得手段より取得された傾き情報により示される傾き角度が補正最小角度未満であるとき、前記回転処理手段による前記処理単位の複数フレームの画像の回転処理を中止させる回転中止手段を備えたことを特徴とする請求項１記載の動画記録装置。
動画撮影中に、複数フレームを処理単位として、画角の水平方向の傾き方向及び傾き角度を示す傾き情報を取得する工程と、
取得した傾き情報により示される傾き方向及び傾き角度に応じて、動画像を構成する画像であって前記傾き情報が取得された処理単位の複数フレームの画像に対して、画角の水平方向の傾きの補正のための回転方向及び回転量が同一の回転処理を、それぞれ施す工程と、
回転処理を施した複数フレームの画像からなる動画像を記録する工程と
を含むことを特徴とする動画像の傾き補正方法。
コンピュータに、
動画撮影中に、複数フレームを処理単位として、画角の水平方向の傾き方向及び傾き角度を示す傾き情報を取得する手順と、
取得した傾き情報により示される傾き方向及び傾き角度に応じて、動画像を構成する画像であって前記傾き情報が取得された処理単位の複数フレームの画像に対して、画角の水平方向の傾きの補正のための回転方向及び回転量が同一の回転処理を、それぞれ施す手順と、
回転処理を施した複数フレームの画像からなる動画像を記録する手順と
を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。