JP6332996B2 - 動画像処理装置および撮像装置、動画像処理方法 - Google Patents

Description

動画再生時に手振れなどによる画面の揺れを補正する動画像処理装置および撮像装置、動画像処理方法に関するものである。

近年、動画撮影中に発生した手振れ等による画面の揺れを動画再生時に補正する技術が提案されている。再生時の像振れ補正の１つとして、撮影時の動画像から所定の範囲を切り出して表示し、残りの領域を像振れ補正用の領域として利用することが知られている。（特許文献１参照）

特開平０７−１４３３８０号公報

特許文献１に開示された発明は、像振れ補正のために画像データからの切り出し範囲の大きさ（拡大率）を変更し、この切り出し範囲の画像データをモニタの画面サイズに応じて変更することで、画像の劣化を最小限に抑えている。しかしながら、特許文献１に開示された発明は、ユーザが適切に拡大率を変更できることが前提となっている。すなわち、振れが小さい時に拡大率を大きくして動画表示範囲が狭くなったり、振れが大きい時に拡大率を小さくして補正残りが出てしまう恐れがあった。

上記の課題を解決するために、本発明の動画像処理装置は、振れ量取得手段と、ズーム倍率の変化によって映像に構図変化が生じる期間を取得する期間取得手段と、前記振れ量取得手段から出力される振れ量に基づいて前記映像のフレーム毎の画像データの切り出し範囲の大きさと位置を設定する設定手段と、前記振れ量に基づいて、前記映像の振れを補正するように前記設定手段によって設定された切り出し範囲の位置を変更する補正手段と、前記期間取得手段によって取得された構図変化が生じる期間に応じて設定した期間に、前記設定手段によって設定された切り出し範囲の大きさの変更を行う変更手段と、を有することを特徴とする。

本発明によると、ユーザが操作することなく補正残りが出ないように動画表示範囲を決定して、像振れ補正のために画像データから切り出す範囲の大きさ（拡大率）を変更できる動画像処理装置および撮像装置を提供することができる。

本発明の第１の実施例におけるビデオカメラのブロック図である。 本発明に係る振れ補正部のブロック図である。 本発明に係る像振れ補正処理の概念を表す図である。 本発明に係る像振れ補正情報取得処理のフローチャートである。 本発明に係る撮影構図固定区間、撮影構図変化区間、再生構図固定区間、再生構図変化区間の模式図である。 本発明に係る像振れ補正情報解析処理のフローチャートである。 撮影中の構図変化のタイミング、出力画像の構図変化のタイミング、動画再生時の像振れ補正時の出力画角が撮影時のワイド端での画角に対してどのような倍率かを示すタイミングチャートである。 撮影中の構図変化のタイミング、出力画像の構図変化のタイミング、動画再生時の像振れ補正時の出力画角が撮影時のワイド端での画角に対してどのような倍率かを示すタイミングチャートである。 撮影中の構図変化のタイミング、出力画像の構図変化のタイミング、動画再生時の像振れ補正時の出力画角が撮影時のワイド端での画角に対してどのような倍率かを示すタイミングチャートである。 撮影中の構図変化のタイミング、出力画像の構図変化のタイミング、動画再生時の像振れ補正時の出力画角が撮影時のワイド端での画角に対してどのような倍率かを示すタイミングチャートである。 本発明に係る動画再生時の像振れ補正処理のフローチャートである。 本発明の第２の実施例における動画像再生装置のブロック図である。 本発明の第３の実施例における撮影動作のフローチャートである。 本発明の第３の実施例における記録動作のフローチャートである。 本発明の第３の実施例における構図固定区間、構図変化区間の模式図である。 本発明に係る構図固定区間、構図変化区間の模式図である。 本発明に係る像振れ補正情報解析処理のフローチャートである。 本発明に係る動画再生時の像振れ補正処理のフローチャートである。 本発明に係る像振れ補正処理を行う動画ストリームの振れ情報と構図変化情報の例である。 本発明の第５の実施例における像振れ補正処理を行う動画ストリームの振れ情報と構図変化情報の例である。 本発明の第７の実施例における像振れ補正処理のフローチャートである。 本発明の第７の実施例における構図固定区間、構図変化区間の模式図である。

（実施例１）
図１は本発明を適用した、動画像を記録および再生できる動画像処理装置としての動画像再生装置としてのビデオカメラ１００の構成例を示したものである。

レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、そして変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行うフォーカスレンズ群により構成される。

レンズユニット１０１は、ユーザが操作部１０６からズーム動作を指示すると、変倍レンズ群が光軸に平行な方向に移動して光学的に撮影倍率を変更する。

撮像センサ１０２は、レンズユニット１０１により結像された光学像を所定時間ごとに電気信号に変換する。ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０３は撮像センサ１０２からの画像信号を読み出し、画像信号のサンプル・ホールドと画像信号の増幅、デジタル信号への変換を行う。

カメラ信号処理部１０４はＡＦＥ１０３から入力された画像信号に対して色分離処理、アパーチャー処理、ガンマ処理等を施し、それらの処理の後に輝度信号、色差信号を生成する。そしてカメラ信号処理部１０４は、本実施例においてはＹＣｂＣｒ（４：２：２）画像データを出力する。

システム制御部１０５は、バス１１４を介してＲＯＭ１１０、ＲＡＭ１１１およびその他のブロックに接続され、各ブロックの制御を行う。

本実施例において、システム制御部１０５は主に以下の３つの処理を行う。
（１）システム制御部１０５は動画撮影時に、振れ情報や構図変化情報（たとえば光学ズーム操作やパンニング、チルティング、撮影者の前進、後退などの構図変化に関する情報）の取得を行う。ここで取得した振れ情報や構図変化情報といったデータは、像振れ補正情報として以降の処理で使用される。
（２）システム制御部１０５は像振れ補正情報の解析を行い、動画再生時の像振れ補正の切り出し範囲の位置と大きさを決定する。
ここでシステム制御部１０５は動画撮影時の構図変化のタイミングを取得し、構図変化タイミングに応じて区間を決定し、この区間をもとに動画再生時の像振れ補正の切り出し範囲の大きさを決定する。
（３）システム制御部１０５は（２）にて決定された動画再生時の像振れ補正の切り出し範囲の大きさを用いて切り出し位置を変更することで動画再生時の像振れ処理を行う。なお、この３つのステップの詳細な説明は後述する。なお、ここで切り出し範囲とは表示画像として出力される範囲である。

操作部１０６はズームレバーやボタンなどに対するユーザ操作の入力内容をシステム制御部１０５伝え、システム制御部１０５はユーザ操作に応じた処理を行う。

映像情報出力部１０７はフレームメモリ１０９にある画像データを表示部１１５に表示したり、ＨＤＭＩ（登録商標）端子などの外部出力端子（図示しない）から出力したりする。本実施例においては、表示部１１５は映像情報出力部１０７の出力した画像データを表示する液晶パネルであるが、たとえば表示部１１５にタッチパネルとしての操作部１０６が配置されていても良い。

像振れ補正部１０８は、画像データから所定の切り出し範囲から画像データの切り出しを行い、切り出し位置を変更することで、動画再生時に動画ストリームでの振れを補正する。動画再生時において、システム制御部１０５は、記録媒体制御部１１２を通じて記録媒体１１３に記録された動画ストリームを読み込み、フレームメモリ１０９に展開する。

動画再生時に像振れ補正をおこなうときには、像振れ補正部１０８はフレームメモリ１０９に展開された動画像データ（動画ストリーム）を補正する。なお、本実施例においては、動画再生時に像振れ補正をおこなう場合について述べる。

しかし、像振れ補正部１０８は動画撮影時に画像データの所定の出力範囲から画像データの切り出しを行い、切り出し位置を変更することで像振れ補正を行っても良い。

フレームメモリ１０９は、複数のフレームを格納可能なメモリである。各々のフレームはシステム制御部１０５によりフレームメモリ１０９上の所望の領域に格納され、それぞれ１フレーム分の画像データを記録する。

ＲＯＭ１１０は、システム制御部１０５が図１中の各ブロックを制御するための制御プログラムを記録する。ＲＡＭ１１１は、システム制御部１０５が動作する際のデータの一時的な格納場所として用いられる。

記録媒体制御部１１２は記録媒体１１３に対して記録再生を制御する。記録媒体１１３はＮＡＮＤなどのフラッシュメモリであり、フレームメモリ１０９に記録されたＹＣｂＣｒ画像データが動画ストリームとして記録される。また記録媒体１１３には動画ストリームとともに撮影時の振れ情報なども記録される。

次に、図２を用いて像振れ補正部１０８の構成について説明する。

画像切り出し部２０１は、画像切り出し制御部２０２の指示により、フレームメモリ１０９に記録されている画像データから所定の切り出し範囲の画像データを切り出す。画像切り出し制御部２０２は、振れ情報取得部２０６が取得した動画像の振れ情報に応じて、画像切り出し部２０１が切り出し範囲の位置と大きさを決定する。

なお本実施例において、画像切り出し制御部２０２は１つのフレームから動画再生時の像振れ補正にて用いる切り出し範囲を決定し、この切り出し領域の大きさと画像データの大きさから拡大率を決定する。

本実施例での拡大率とは、切り出し範囲からの画像データを所望の画面サイズ（たとえば表示部１１５の画面サイズ）に応じて拡大する時の比率である。

しかし、以下の制御においては、拡大率を用いて切り出し範囲を演算して像振れ補正制御しても、切り出し範囲の大きさや画像データ上での座標を直接用いて像振れ補正制御しても良い。

拡大処理部２０３は、拡大率制御部２０４の指示により、所定のタイミングで画像データの解像度変換を行う。拡大率制御部２０４は、振れ情報取得部２０６の振れ情報および構図変化情報取得部２０８の構図変化情報に応じて、拡大処理部２０３に対して拡大縮小倍率の設定や拡大縮小を行うタイミングの指示を出す。

振れ量取得手段としての振れ検出部２０５は、振れ情報を検出する手段として機能し、動画撮影中もしくは動画再生中の機器の振れの検出を行う。この振れ検出は様々な方法が考えられる。たとえば振れ検出部２０５は振れ検出センサとしての角速度センサや加速度センサで構成され、ビデオカメラ１００の水平および垂直方向の変位量（角速度など）を検出するセンサの出力から振れを検出する。

振れ検出部２０５が角速度センサや加速度センサで構成される場合、センサから検出した振れは振れ信号として出力され、ＬＰＦなどのフィルタ処理を経て撮像素子面上での光学像の振れ量に演算される。

このとき、ビデオカメラ１００の動き（振れ）は同じであっても光学ズーム倍率により撮像素子上の光学像の振れ量は異なる。

このため、振れ検出部２０５が角速度センサや加速度センサで構成される場合は、光学ズーム倍率を考慮してセンサ出力（振れ信号）から光学像の像面上での振れ量を演算する。そして、その演算結果を画像データの切り出し範囲の移動量として振れ検出部２０５から出力する。

また振れ検出部２０５は、水平および垂直方向の振れによる動画ストリーム中のフレーム間のずれ量を動きベクトルとして検出しても良い。この場合、この動きベクトルの大きさが振れ量となる。

なお、デジタル一眼レフカメラなどのレンズ交換式カメラの場合、振れ検出部２０５がレンズ装置側に、像振れ補正部１０８がカメラ本体側に配置され、レンズ装置とカメラ本体との間で振れ情報や構図変化情報を通信する場合がある。

この場合、振れ検出部２０５はカメラ本体側にあり、振れ情報をレンズ装置から通信にて取得する手段であっても良い。

システム制御部１０５は、検出した振れの方向と撮像素子上での振れ量（映像信号の揺れ量、動きベクトルの大きさ）を振れ情報として水平方向と垂直方向の成分ごとに記録媒体１１３へ記録する。この際に、システム制御部１０５は、振れを検出したタイミングと映像を撮像したタイミングが一致するように、振れ情報と動画ストリームとを時間的に関連付けて記録媒体１１３へ記録する。

なお、記録媒体１１３に振れ情報を記録する構成としたが、ＲＡＭ１１１に撮影全体を通した振れ情報を記録しておく構成でも良い。本実施例においては、所定の期間（後述する構図固定区間）での最大の振れ量はＲＡＭ１１１に記録する。

振れ情報取得部２０６は、再生する動画ストリームに関連付けられた振れ情報を記録媒体１１３から読み取る。

構図変化検出部２０７は、撮影中の構図変化、たとえば光学ズーム操作やパンニングやチルティング、撮影者の前進、後退などの構図変化を検出する。ここで、構図変化検出部２０７が光学ズーム操作が行われたかをどのように判断するかを説明する。ユーザが操作部１０６により光学ズーム操作を行ったとき、システム制御部１０５は構図が変化したことを構図変化検出部２０７へ通知する。

なお、この構図変化は振れ検出部２０５がセンサの出力ないし、動きベクトルより画面の変化を捉えることで、構図変化を検出することもできる。つまり、期間取得手段としての構図変化検出部２０７は、動画ストリーム内の構図変化のタイミングを取得し、構図変化タイミングに応じて区間を区切り、この区切った区間ごと動画再生時における像振れ補正のための切り出し範囲を決定する。

システム制御部１０５は、構図変化を検出したタイミングと映像を撮像したタイミングが一致するように、上述した方法により検出された構図変化情報と動画ストリームとを時間的に関連付けて記録媒体１１３へ記録する。

構図変化情報取得部２０８は動画ストリーム内の構図変化情報を取得する。ここでは再生している動画ストリームに関連付けられた構図変化情報を記録媒体１１３から読み取る。

図３を用いて像振れ補正部１０８における補正動作について説明する。

図３（ａ）を用いて切り出し動作について説明する。フレームメモリ１０９に展開された画像データ３０１（動画ストリーム）に対して、まず切り出し制御部２０２により切り出し枠３０２が設定される。次に画像切り出し部２０１が切り出し枠３０２内の画像データを読み込む。拡大処理部２０３は、拡大率制御部２０４が指示した倍率（画像の大きさに対する切り出し範囲の大きさ）で拡大処理および解像度変換を行う。

そして、切り出し枠３０２内の画像データを映像情報出力部が出力する画像サイズの画像である出力画像３０３に変換し、フレームメモリ１０９へ再び記録される。フレームメモリ１０９に記録された出力画像３０３は映像情報出力部１０７により表示部１１５に表示したり、ＨＤＭＩ（登録商標）端子などの外部出力端子（図示しない）に出力する。

次に、図３（ｂ）を用いて像振れ補正部１０８における補正動作について説明する。図３（ｂ）に示す領域３０２ａおよび３０４は現在のフレームの画像データの一部の領域、図３（ａ）に示す領域３０２は１フレーム前の画像データの一部の領域であるとする。このとき、図３（ａ）および（ｂ）に示す領域３０２と領域３０２ａが撮像面上では同じ領域であるとする。

しかしながら１フレーム前と現在のフレームとの間に加わる撮影者の手振れなどに起因して、１フレーム前の画像データでの領域３０２から切り出される画像データと現在のフレームの領域３０２ａから切り出される画像データとは互いに異なる。この１フレーム前の領域３０２から切り出される画像データと現在のフレーム領域３０２ａから切り出される画像データとの類似度が最大になるような領域３０４を検出する。

この領域３０４は、たとえば特徴点を抽出したりブロックマッチング方式を利用して検出できる。そして、この１フレーム前の領域３０２と現在のフレームの領域３０４から実際の像面上での振れ量または動きベクトル３０５を検出することができる。そして、振れ量または動きベクトル３０５に基づいて設定された領域３０４に基づいた出力画像３０３を取得する。

＜像振れ補正情報の取得＞
次に、図４のフローチャートと図５を用いて、システム制御部１０５が実行する像振れ補正情報の取得について詳細な説明を行う。ここでいう像振れ補正情報とは、図５で説明する構図固定区間の開始終了時刻と構図変化区間の開始終了時刻、およびそれらの区間における最大振れ量、そして各時刻のフレームにおける振れの水平および垂直方向の振れ量を指す。

本発明による再生時の像振れ補正を実行する際は、撮影開始と構図変化を起点とした複数の区間に動画ストリームを分割する。まず、図５を用いて具体的にどのように区間を作成していくかを簡単に説明する。

図５の横方向は時間軸を表しており、右に進むほど時刻が進む。図５において、動画の撮影を開始した撮影開始時刻ｔ０から撮影中のズーム操作やパンニング等による構図変化の開始した構図変化開始時刻ｔ１までの区間を撮影構図固定区間５０１とする。構図変化開始時刻ｔ１からズーム操作の終了やパンニングなどによる構図変化が終了した構図変化終了時刻ｔ２までの区間を撮影構図変化区間５１１とする。

以降、撮影中のズーム操作やパンニング等による構図変化がある時とない時が交互にあらわれるものとする。この場合、構図変化終了時刻ｔ２から構図変化開始時刻ｔ３までの区間を撮影構図固定区間５０２、構図変化開始時刻ｔ３から構図変化終了時刻ｔ４までの区間を撮影構図変化区間５１２とする。このように、撮影が終了するまでの間に撮影構図固定区間、撮影構図変化区間を交互に追加する。

次に図４のフローチャートを用いて像振れ補正情報の取得方法について説明する。

ステップＳ４０１において、システム制御部１０５は、ユーザが操作部１０６を操作することによってユーザから撮影開始の指示があると、動画の撮影を開始する。システム制御部１０５は、撮影を開始すると、撮影構図固定区間１（ｎ＝１）を作成する。そしてシステム制御部１０５は、撮影構図固定区間１を処理する区間として設定する。

ステップＳ４０２において、像振れ補正部１０８内の振れ検出部２０５は、撮影中のすべてのフレームに対して振れ情報の取得を行う。

そして、システム制御部１０５は、振れの方向と振れ量（動きベクトルの大きさ）を振れの発生した時刻とともに、記録媒体制御部１１２を通して記録媒体１１３に記録する。なお、本実施例においては、同じ構図固定区間で最大の振れ量はＲＡＭ１１１に記録する。

ステップＳ４０３において、システム制御部１０５は、ユーザが操作部１０６を操作することによって撮影終了要求があったかどうかの判断を行う。終了要求があったときにはステップＳ４１１に進み、終了処理を行う。ステップＳ４１１においては、システム制御部１０５は、撮影終了要求があった時刻までの区間を構図固定区間ｎとし、構図固定区間ｎにおける最大の振れ量をＲＡＭ１１１に記録する。ステップＳ４０３でＮｏの場合はステップＳ４０４に進む。

ステップＳ４０４において、システム制御部１０５は、ズーム操作が開始されたりパンニングされたりして構図変化が発生していないかを、像振れ補正部１０８内の構図変化検出部２０７から取得する。システム制御部１０５は、構図変化がないときにはステップＳ４０２にもどり、振れ情報の取得を行う。

構図変化があると判定されたときには、ステップＳ４０５に進み、システム制御部１０５は構図固定区間ｎの最大振れ量をＲＡＭ１１１に記録する。すなわち、構図固定区間が終了して構図変化期間が開始した時点で、システム制御部１０５は構図固定区間ｎおける最大の振れ量をＲＡＭ１１１に記録する。ステップＳ４０６においては、ステップＳ４０２と同様に、振れ検出部２０５は構図変化期間の振れ情報を取得する。

ステップＳ４０７において、システム制御部１０５は、ユーザが操作部１０６を操作することによって撮影終了要求があったかどうかの判断を行う。終了要求があったときにはステップＳ４１２に進み、終了処理を行う。ステップＳ４１２においてシステム制御部１０５は、撮影終了要求があった時刻までの区間を構図変化区間ｎとし、構図変化区間ｎにおける最大の振れ量をＲＡＭ１１１に記録し、その後撮影を終了する。

ステップＳ４０８において、システム制御部１０５は、ズーム操作が終了したりユーザによるパンニングが終了するなど構図変化が終了したか否かの判定結果を構図変化検出部２０７より取得する。構図変化が継続しているときにはＳ４０６にもどり振れ情報の取得を行い、構図変化が終了したと判定した場合は、ステップ４０９へ進む。

ステップＳ４０９において、システム制御部１０５は構図変化区間における最大の振れ量をＲＡＭ１１１に記録する。そして、ステップＳ４１０においてシステム制御部１０５は、処理する区間を次の区間へ変更するために、構図固定区間ｎに１を加えて構図固定区間ｎ＋１とする。そしてＳ４０２にもどりシステム制御部１０５は構図固定区間ｎ＋１の振れ情報の取得を行う。

＜像振れ補正情報の解析と切り出し範囲の決定＞
次に、システム制御部１０５が行う、像振れ補正情報の解析と動画再生時における像振れ補正のための切り出し範囲の決定について図６のフローチャートと図５および図７を用いて説明を行う。

一方、本発明による再生時の像振れ補正を実行する際は、再生構図固定区間と再生構図変化区間を合わせて設定する。再生構図固定区間とは再生時の像振れ補正での切り出し範囲が固定されている区間、すなわち再生中の像振れ補正用の拡大率が一定の区間である。また再生構図変化区間とは再生時の像振れ補正での切り出し範囲が変化している区間、すなわち再生中の像振れ補正用の拡大率が変更している区間である。

本実施例においては、最大の像振れ補正量に基づいて各撮影構図固定区間および各撮影構図変化区間の再生中の像振れ補正用の拡大率が決定される。そして、各撮影構図固定区間および各撮影構図変化区間に対応した再生構図固定区間を設定する。

しかしながら、各撮影構図固定区間および各撮影構図変化区間の最大像振れ補正量は異なるため、各再生構図固定区間での拡大率もそれぞれ異なる。ここで再生構図固定区間をまたぐ際に急に拡大率を変更してしまうと、出力画像の拡大率が急変してしまい、ユーザに違和感を与える恐れがある。

ここで、図５にあるように、撮影中のズーム操作やパンニング等による構図変化がある時とない時が交互にあらわれるものとする。この場合、各再生構図固定区間の間に再生構図変化区間を設ける。この再生構図変化区間において再生中の像振れ補正用の拡大率を徐々に変更することで、ユーザーに与える違和感を和らげている。

なお、図５においては各再生構図固定区間の間に再生構図変化区間を設けているが、区間の長さの決定方法については後述する。具体的には、図５においては、再生構図変化区間５３１は構図変化開始時刻ｔ１を挟んでいるが、再生構図変化区間５３１の開始または終了時刻が構図変化開始時刻ｔ１と一致しても良い。

また、撮影構図変化区間の最大像振れ補正量が同じ時は、再生時の像振れ補正での拡大率も同じであるため、必ずしも再生構図変化区間を設ける必要はない。

本実施例による再生時の像振れ補正においては、システム制御部１０５が動画ストリームの区間ごとに切り出す範囲大きさの変更を行う。ここでは動画撮影終了後に、ＲＡＭ１１１に記録された最大の振れ量に基づいて像振れ補正情報の解析を行うものとして説明を行う。しかし動画撮影中に像振れ補正情報の解析を行っても良い。

ステップＳ６０１において、システム制御部１０５は撮影構図固定区間ｎと再生構図固定区間ｍをそれぞれ初期化し、ｎ＝１およびｍ＝１とする。次にステップＳ６０２において、システム制御部１０５は撮影構図固定区間の始点の決定を行う。具体的には、システム制御部１０５は撮影構図固定区間ｎの始点の時刻（図５の時刻ｔ０）を再生構図固定区間ｍの始点の時刻に設定する。

ステップＳ６０３において、システム制御部１０５は、現在再生している動画ストリームに構図の変化が発生するかどうかの判断を行う。本発明による動画再生時における像振れ補正においては、現在再生している動画ストリームに対して将来再生する動画ストリームに構図の変化が発生するかどうか、すなわち次の撮影構図変化区間があるかどうかを判断する。

たとえば図５においては、撮影構図固定区間５０１の次に撮影構図変化区間５１１があるかどうかを判断する。そして次の撮影構図変化区間があるか無いかに基づいて動画再生時における像振れ補正のための切り出し範囲を決定する。

ここで次の撮影構図変化区間（撮影構図変化区間ｎ）があると判断されたときはステップＳ６０４に進み、次の撮影構図変化区間がないと判断されたときにはステップＳ６２０に進む。なお、ステップＳ６２０においては、撮影構図変化区間ｎがないため、システム制御部１０５は撮影構図固定区間ｎの終点の時刻を再生構図固定区間ｍの終点の時刻に設定する。そしてステップＳ６２２に進む。

ステップＳ６０４において、システム制御部１０５は次の撮影構図固定区間と次の撮影構図変化区間の関係が所定の条件を満たすかどうかを判定する。所定の条件とは例えば以下の条件である。
・撮影構図変化区間における撮影構図の変化が拡大方向であるか縮小方向であるか。つまり、撮影構図変化区間におけるズームがワイド側からテレ側に移行しているか、テレ側からワイド側に移行しているか。
・撮影構図固定区間における最大振れ量と次の撮影構図固定区間における最大振れ量はどちらが大きいか。

ここで、ステップＳ６０４において、「所定の条件が成立する」とは以下のことを示す。

（Ａ）撮影構図変化区間（撮影構図変化区間５１１）における撮影構図の変化が拡大方向ある、つまり撮影構図変化区間におけるズームがワイド側からテレ側に移行している。かつ、次の撮影構図変化区間（撮影構図変化区間５１１）における最大振れ量の方が撮影構図固定区間（撮影構図固定区間５０１）における最大振れ量よりも大きい。

（Ｂ）撮影構図変化区間（撮影構図変化区間５１１）における撮影構図の変化が縮小方向ある、つまり撮影構図変化区間におけるズームがテレ側からワイド側に移行している。かつ、次の撮影構図変化区間（撮影構図変化区間５１１）における最大振れ量の方が撮影構図固定区間（撮影構図固定区間５０１）における最大振れ量よりも小さい。

ステップＳ６０４の判定と、ステップＳ５０５〜Ｓ５０８の処理について図７、８を用いて詳細に説明する。

図７，８はともに撮影中の構図変化のタイミング、出力画像の構図変化のタイミング、動画再生時の像振れ補正時の出力画角が撮影時のワイド端での画角に対してどのような倍率かを示している。なお、（５１１）などのカッコ付きの数字は、図７〜１０の例において対応する符番である。

図７，８においては、撮像変化として撮影構図固定区間ｎ（図５における撮影構図固定区間５０１）から撮影構図変化区間ｎ（５１１）に移り、そして撮影構図固定区間ｎ＋１（５０２）に移行するとする。

図７（Ａ）は撮影構図変化区間５１１にてズームがワイド側からテレ側に移動している。また、「撮影構図固定区間５０１の画像再生中の像振れ振れ量」＜「撮影構図変化区間５１１の最大振れ量」が成立している。つまり前述の条件（Ａ）を満たしている。一方で図７（Ｂ）は、撮影構図変化区間５１１にてズームをテレ側からワイド側に移動している。また、「撮影構図変化区間５１１の最大振れ量」＜「撮影構図固定区間５０１の最大振れ量」が成立している。つまり前述の条件（Ｂ）を満たしている。

図８（Ａ）は撮影構図変化区間５１１にてズームがワイド側からテレ側に移動している。また、「撮影構図変化区間５１１の最大振れ量」＜「撮影構図固定区間５０１の最大振れ量」が成立している。

つまり、前述の条件（Ａ）および（Ｂ）を満たしていていない。一方で図８（Ｂ）は、撮影構図変化区間５１１にてズームをテレ側からワイド側に移動している。また、「撮影構図固定区間５０１の画像再生中の像振れ振れ量」＜「撮影構図変化区間５１１の最大振れ量」が成立している。つまり前述の条件（Ａ）および（Ｂ）を満たしていていない。

ステップＳ６０４においては、先述の（Ａ）または（Ｂ）の条件が成立した場合、Ｓ６０５に処理を進める。

ステップＳ６０５、Ｓ６０６の処理を、前述の条件（Ｂ）を満たす図７を用いて説明する。まず、システム制御部１０５は撮影構図変化区間ｎ（５１１）の単位時間あたりの構図の変化率を算出する。次に、システム制御部１０５は撮影構図固定区間ｎ（５０１）と撮影構図変化区間ｎ（５１１）の最大振れ量を取得する。そしてシステム制御部１０５は撮影構図固定区間ｎ（５０１）に対応する再生構図固定区間ｍ（５２１）および撮影構図変化区間ｎ（５１１）に対応する再生構図固定区間ｍ＋１（５２２）において像振れを補正するため必要な拡大率を求める。

そして、再生構図固定区間ｍ（５２１）から再生構図固定区間ｍ＋１（５２２）まで拡大率を変化させた時にかかる時間を求める。この時間に基づき再生構図固定区間ｍ（５２１）の終点および再生構図変化区間ｍ（５３１）の始点を設定する。この際に、システム制御部１０５はこの算出された時間と再生時に像振れを補正するため必要な拡大率の変更率をＲＡＭ１１１に保存する。

こうすることによって、再生構図変化区間での出力画像の拡大率の変更率と撮影構図変化区間におけるズーム倍率の変更による出力画像の拡大率の変更率が同じになるように制御されている。たとえば図７における再生構図変化区間５３１と撮影構図変化区間５１１における出力画像の拡大率の変更率が同じになる。

ステップＳ６０５においては、再生構図固定区間ｍの終点、および再生構図変化区間ｍの始点を算出する。ステップＳ６０６において、システム制御部１０５は再生構図変化区間５３１の終点を撮影構図変化区間ｎ（５１１）の始点の時刻である構図変化開始時刻ｔ１に設定する。

一方で、ステップＳ６０４においては、先述の（Ａ）または（Ｂ）の条件が成立しなかった場合、ステップＳ６０７に処理を進める。

ステップＳ６０７およびＳ６０８での処理を図８を用いて説明する。ここで、ステップＳ６０４において、「所定の条件が成立しない」とは以下のことを示す。

（Ｃ）撮影構図変化区間（撮影構図変化区間５１１）における撮影構図の変化が拡大方向ある、つまり撮影構図変化区間におけるズームがワイド側からテレ側に移行している。かつ、撮影構図固定区間ｎ（撮影構図固定区間５０１）における最大振れ量の方が次の撮影構図変化区間ｎ（撮影構図変化区間５１１）における最大振れ量よりも大きい。

（Ｄ）撮影構図変化区間（撮影構図変化区間５１１）における撮影構図の変化が縮小方向ある、つまり撮影構図変化区間におけるズームがテレ側からワイド側に移行している。かつ、次の撮影構図変化区間（撮影構図変化区間５１１）における最大振れ量の方が撮影構図固定区間（撮影構図固定区間５０１）における最大振れ量よりも大きい。

ステップＳ６０７においては、再生構図変化区間ｍの終点、および再生構図固定区間ｍ＋１の始点を算出する。ステップＳ６０７において、システム制御部１０５は再生構図変化区間５３１の始点を撮影構図変化区間ｎ（５１１）の始点の時刻である構図変化開始時刻ｔ１に設定する。

次に、システム制御部１０５は撮影構図変化区間ｎ（５１１）の単位時間あたりの構図の変化率を算出する。そして、システム制御部１０５は撮影構図固定区間ｎ（５０１）と撮影構図変化区間ｎ（５１１）の最大振れ量を取得する。そしてシステム制御部１０５は撮影構図固定区間ｎ（５０１）に対応する再生構図固定区間ｍ（５２１）および撮影構図変化区間ｎ（５１１）に対応する再生構図固定区間ｍ＋１（５２２）のそれぞれにおいて像振れを補正するために必要な拡大率を求める。

そして、再生構図固定区間ｍ（５２１）から再生構図固定区間ｍ＋１（５２２）まで拡大率を変化させた時にかかる時間を求める。この時間が再生構図変化区間ｍ（５３１）の終点および再生構図固定区間ｍ＋１（５２２）の始点となる。この際に、システム制御部１０５はこの算出された時間と再生時に像振れを補正するため必要な拡大率の変更率をＲＡＭ１１１に保存する。

こうすることによって、このとき、再生構図変化区間での像振れ補正用の拡大率の変更率と撮影構図変化区間でのズーム倍率の変更率が相殺され、再生構図変化区間では出力画像の拡大率の変更率がゼロになるように制御されている。たとえば図８における再生構図変化区間５３１では、撮影構図変化区間５１１においてズーム倍率が変更しているにもかかわらず出力画像の拡大率の変更率はゼロになる。

ステップＳ６０９において、システム制御部１０５は再生構図固定区間ｍ（５２１）の出力画像範囲の決定を行う。動画再生中に像振れ補正を行う場合、所定の範囲で画像を出力する（切り出す）必要がある。

この所定の範囲の画像を拡大（電子ズーム処理）して出力画像として表示部に表示したり、記憶媒体に記録画像として記録する。このとき、先述の「所定の範囲」は撮影構図固定区間ｎにおける最大振れ量に応じて決定される。たとえば振れ量が大きい時は大きく画像を動かす必要があるので、「所定の範囲」は撮像範囲に比べて狭くなる。また、システム制御部１０５は算出した構図情報をＲＡＭ１１１に保存する。

ステップＳ６１０において、システム制御部１０５は次の再生構図固定区間と再生構図変化区間に処理を進める。

ステップＳ６１１において、システム制御部１０５は、次の撮影構図固定区間（撮影構図固定区間ｎ＋１）が存在するかどうかの判断を行う。ここで次の撮影構図固定区間（撮影構図固定区間ｎ＋１）が存在しない場合は、次の撮影構図変化区間（撮影構図変化区間ｎ）で動画ストリームが終了している。ここで次の撮影構図固定区間（撮影構図固定区間ｎ＋１）が存在すると判断されたときはステップＳ６１２に進み、次の撮影構図固定区間がないと判断されたときにはステップＳ６２１に進む。

ステップＳ６２１において、次の撮影構図固定区間（撮影構図固定区間ｎ＋１）がないため、システム制御部１０５は撮影構図変化区間ｎの終点の時刻を再生構図固定区間ｍの終点の時刻に設定する。

そしてステップＳ６２２において、システム制御部１０５は再生構図固定区間ｍの出力画像範囲の決定を行う。動画再生中に像振れ補正を行う場合、所定の範囲で画像を出力する（切り出す）必要がある。この所定の範囲の画像を拡大（電子ズーム処理）して出力画像として表示部に表示したり、記憶媒体に記録画像として記録する。

ステップＳ６１２においては、システム制御部１０５はＳ６０４と同様に次の撮影構図固定区間と次の撮影構図変化区間の関係が所定の条件を満たすかどうかを判定する。
・撮影構図変化区間における撮影構図の変化が拡大方向であるか縮小方向であるか。つまり、撮影構図変化区間におけるズームがワイド側からテレ側に移行しているか、テレ側からワイド側に移行しているか。
・撮影構図変化区間における最大振れ量と次の撮影構図固定区間における最大振れ量はどちらが大きいか。

ここで、ステップＳ６１２において、「所定の条件が成立する」とは以下のことを示す。

（Ｅ）撮影構図変化区間（撮影構図変化区間５１１）における撮影構図の変化が拡大方向ある、つまり撮影構図変化区間におけるズームがワイド側からテレ側に移行している。かつ、撮影構図変化区間（撮影構図変化区間５１１）の方が次の撮影構図固定区間（撮影構図固定区間５０２）における最大振れ量における最大振れ量よりも大きい。

（Ｆ）撮影構図変化区間（撮影構図変化区間５１１）における撮影構図の変化が縮小方向ある、つまり撮影構図変化区間におけるズームがテレ側からワイド側に移行している。かつ、次の撮影構図固定区間（撮影構図固定区間５０２）における最大振れ量の方が撮影構図変化区間（撮影構図変化区間５１１）における最大振れ量よりも大きい。

ステップＳ６１２の判定と、ステップＳ６１３〜Ｓ６１６の処理について図９、１０を用いて詳細に説明する。図９，１０はともに撮影中の構図変化のタイミング、出力画像の構図変化のタイミング、動画再生時の像振れ補正時の出力画角が撮影時のワイド端での画角に対してどのような倍率かを示している。

図９，１０においては、撮像変化として撮影構図固定区間ｎ（図５における撮影構図固定区間５０１）から撮影構図変化区間ｎ（５１１）に移り、そして撮影構図固定区間ｎ＋１（５０２）に移行するとする。

図９（Ａ）は撮影構図変化区間５１１にてズームがワイド側からテレ側に移動している。また、「撮影構図固定区間５０２の画像再生中の像振れ振れ量」＜「撮影構図変化区間５１１の最大振れ量」が成立している。つまり条件（Ｅ）を満たす。一方で図９（Ｂ）は、撮影構図変化区間５１１にてズームをテレ側からワイド側に移動している。また、「撮影構図変化区間５１１の最大振れ量」＜「撮影構図固定区間５０２の最大振れ量」が成立している。つまり条件（Ｆ）を満たす。

図１０（Ａ）は撮影構図変化区間５１１にてズームをワイド側からテレ側に移動している。また、「撮影構図変化区間５１１の最大振れ量」＜「撮影構図固定区間５０２の最大振れ量」が成立している。つまり条件（Ｅ）および（Ｆ）を満たさない。一方で図１０（Ｂ）は、撮影構図変化区間５１１にてズームをテレ側からワイド側に移動している。

また、「撮影構図固定区間５０２の像振れ振れ量」＜「撮影構図変化区間５１１の最大振れ量」が成立している。つまり条件（Ｅ）および（Ｆ）を満たさない。

ステップＳ６１２においては、先述の（Ｅ）または（Ｆ）の条件が成立した場合、Ｓ６１３に処理を進める。ステップＳ６１３において、システム制御部１０５は再生構図固定区間ｍ（５２２）の終点、すなわち再生構図変化区間ｍ（５３２）の始点を算出する。

ステップＳ６１３、Ｓ６１４の処理を図９を用いて説明する。まず、システム制御部１０５は撮影構図変化区間ｎ（５１１）の単位時間あたりの構図の変化率を算出する。次に、システム制御部１０５は撮影構図変化区間ｎ（５１１）と撮影構図固定区間ｎ＋１（５０２）の最大振れ量を取得する。そしてシステム制御部１０５は撮影構図変化区間ｎ（５１１）に対応する再生構図固定区間ｍ＋１（５２２）および撮影構図固定区間ｎ＋２（５０２）に対応する再生構図固定区間ｍ＋２（５２３）において像振れを補正するため必要な拡大率を求める。

そして、再生構図固定区間ｍ（５２２）から再生構図固定区間ｍ＋１（５２３）まで拡大率を変化させた時にかかる時間を求める。この時間が再生構図固定区間ｍ（５２２）の終点および再生構図変化区間ｍ（５３２）の始点となる。この際に、システム制御部１０５はこの算出された時間と再生時に像振れを補正するため必要な拡大率の変更率をＲＡＭ１１１に保存する。

こうすることによって、このとき、再生構図変化区間での像振れ補正用の拡大率の変更率と撮影構図変化区間でのズーム倍率の変更率が相殺され、再生構図変化区間では出力画像の拡大率の変更率がゼロになるように制御されている。たとえば図９における再生構図変化区間５３２では、撮影構図変化区間５１１においてズーム倍率が変更しているにもかかわらず出力画像の拡大率の変更率はゼロになる。

ステップＳ６１４において、システム制御部１０５は再生構図変化区間ｎ＋１（５３２）の終点を撮影構図変化区間ｎ（５１１）の終点の時刻である構図変化開始時刻ｔ２に設定する。

次に、ステップＳ６１５およびＳ６１６での処理を図１０を用いて説明する。ここで、ステップＳ６１２において、「所定の条件が成立しない」とは以下のことを示す。

（Ｇ）撮影構図変化区間（撮影構図変化区間５１１）における撮影構図の変化が拡大方向ある、つまり撮影構図変化区間におけるズームがワイド側からテレ側に移行している。かつ、撮影構図変化区間ｎ（撮影構図変化区間５１１）における最大振れ量の方が次の撮影構図固定区間ｎ（撮影構図固定区間５０２）における最大振れ量よりも大きい。

（Ｈ）撮影構図変化区間（撮影構図変化区間５１１）における撮影構図の変化が縮小方向ある、つまり撮影構図変化区間におけるズームがテレ側からワイド側に移行している。かつ、撮影構図固定区間（撮影構図固定区間５０２）における最大振れ量の方が次の撮影構図変化区間（撮影構図変化区間５１１）における最大振れ量よりも大きい。

ステップＳ６１５においては、再生構図変化区間ｍの始点、および再生構図固定区間ｍ＋１の終点を算出する。ステップＳ６１５において、システム制御部１０５は再生構図変化区間５３２の始点を撮影構図変化区間ｎ（５１１）の終点の時刻である構図変化開始時刻ｔ２に設定する。

次に、システム制御部１０５は撮影構図変化区間ｎ（５１１）の単位時間あたりの構図の変化率を算出する。そして、システム制御部１０５は撮影構図変化区間ｎ（５１１）と撮影構図固定区間ｎ＋１（５０２）の最大振れ量を取得する。そしてシステム制御部１０５は撮影構図変化区間ｎ（５１１）に対応する再生構図固定区間ｍ＋１（５２２）および撮影構図固定区間ｎ＋１（５０２）に対応する再生構図固定区間ｍ＋２（５２３）のそれぞれにおいて像振れを補正するため必要な拡大率を求める。

そして、再生構図固定区間ｍ＋１（５２２）から再生構図固定区間ｍ＋２（５２３）まで拡大率を変化させた時にかかる時間を求める。この時間が再生構図変化区間ｍ（５３２）の終点および再生構図固定区間ｍ＋２（５２３）の始点となる。この際に、システム制御部１０５はこの算出された時間と再生時に像振れを補正するため必要な拡大率の変更率をＲＡＭ１１１に保存する。

こうすることによって、再生構図変化区間での出力画像の拡大率の変更率と撮影構図変化区間におけるズーム倍率の変更による出力画像の拡大率の変更率が同じになるように制御されている。たとえば図１０における再生構図変化区間５３２と撮影構図変化区間５１１における出力画像の拡大率の変更率が同じになる。

ステップＳ６１７において、システム制御部１０５は再生構図固定区間ｍ（５２１）の出力画像範囲の決定を行う。動画再生中に像振れ補正を行う場合、所定の範囲で画像を出力する（切り出す）必要がある。この所定の範囲の画像を拡大（電子ズーム処理）して出力画像として表示部に表示したり、記憶媒体に記録画像として記録する。

このとき、先述の「所定の範囲」は撮影構図固定区間ｎにおける最大振れ量に応じて決定される。たとえば振れ量が大きい時は大きく画像を動かす必要があるので、「所定の範囲」は撮像範囲に比べて狭くなる。また、システム制御部１０５は算出した構図情報をＲＡＭ１１１に保存する。

ステップＳ６１８において、システム制御部１０５は次の再生構図固定区間と再生構図変化区間に処理を進める。そしてステップＳ６１９において、システム制御部１０５は次の撮影構図固定区間と撮影構図変化区間に処理を進める。そしてステップＳ６０３の処理に戻る。

以上のように再生構図固定区間ｎの構図を決定することによって、振れの大小に応じて適切な構図で動画の再生をすることができる。さらに、再生構図固定区間ｎの前後の区間の振れ量との大小関係を見ることにより、再生中の像振れ補正の構図変化を撮影中の構図変化（ズーム動作）に連続させて行わせることができる。

これによりユーザに違和感を生じさせないとともに、再生構図固定区間ごとに最適な構図で再生防振（動画再生時の像振れ補正）を行うことが可能となる。

図１１は再生時の像振れ補正のフローチャートである。図６の像振れ補正の解析の結果を用いて図１１に示した再生時の像振れ補正をおこなう。

ステップＳ２１０１において、システム制御部１０５は操作部１０６を介したユーザの指示により動画再生を開始する。システム制御部１０５は記録媒体１１３に格納されている動画を、記録媒体制御部１１２を介してフレームメモリ１０９に展開する。

像振れ補正部１０８内の画像切り出し制御部２０２は、画像切り出し部２０１を介してフレームメモリに展開された動画ストリームを所定の構図で出力する。拡大率制御部２０４は、指示した拡大率で拡大処理部２０３を介して動画ストリームの解像度変換を行う。そして、拡大率制御部２０４は拡大した動画ストリームをフレームメモリ１０９に展開する。映像再生手段としての映像情報出力部１０７はフレームメモリに展開された画像データを表示部１１５に表示する。

ステップＳ２１０２においては、システム制御部１０５は再生時の像振れ補正を行う。振れ情報取得部２０６は再生する動画に関連付けられた振れ情報を記録媒体１１３より取得する。画像切り出し部２０１は取得した振れ情報に応じてフレームメモリ１０９に展開された動画ストリームの所定の位置から画像データを読み出す。

拡大処理部２０３は読み出された動画ストリームに対して拡大率制御部２０４の指示した拡大率で解像度変換処理をおこない、フレームメモリ１０９に展開する。

このとき、再生構図変化区間での出力画像の拡大率の変更率と撮影中のズーム倍率の変更（撮影構図変化区間）による出力画像の拡大率の変更率が同じになるように制御されている。たとえば図７における再生構図変化区間５３１と撮影構図変化区間５１１における出力画像の拡大率の変更率が同じになる。また、図１０における再生構図変化区間５３２と撮影構図変化区間５１１における出力画像の拡大率の変更率が同じになる。

または、再生構図変化区間での像振れ補正用の拡大率の変更率と撮影構図変化区間でのズーム倍率の変更率が相殺され、再生構図変化区間では出力画像の拡大率の変更率がゼロになるように制御される。たとえば図８における再生構図変化区間５３１では、撮影構図変化区間５１１においてズーム倍率が変更しているにもかかわらず出力画像の拡大率の変更率はゼロになる。

または、図９における再生構図変化区間５３２では、撮影構図変化区間５１１においてズーム倍率が変更しているにもかかわらず出力画像の拡大率の変更率はゼロになる。

ステップＳ２１０３においては、システム制御部１０５は動画が終了したかどうかの判断を行う。終了してなければ次のフレームの読み込みを行う。

ステップＳ２１０４においては、システム制御部１０５は再生しているフレームが構図変化情報取得部２０８により取得した再生構図変化区間のものかの判定を行う。再生構図変化区間であるときはステップＳ２１０５に処理を進め、再生構図変化区間ではなかったときにはステップＳ２１０２に戻って像振れ補正処理を行う。

ステップＳ２１０５においては、システム制御部１０５は図６のフローチャートで取得した再生構図変化区間の時刻と再生時の構図変化（再生中の像振れ補正用の拡大率の変化）から、現在再生しているフレームの再生中の像振れ補正用の拡大率を求める。

以上のように動画ストリームを解析し、再生時の像振れ補正中の構図変化を撮影中の構図変化に連続させて行わせる再生構図変化区間を定める。そして再生構図変化区間で適切な構図変化率でズーム値を変化させて再生中の構図を変更する。これによりユーザに違和感をなるべく持たせないようにしつつ、再生構図固定区間ごとに最適な構図で再生時の像振れ補正を行うことが可能となる。

本実施例においては、動画撮影中の振れ情報を用いるのみに限られない。たとえば、レンズシフトなどによる光学的な像振れ補正処理を行い、光学的な像振れ補正処理で補正し切れなかった像振れ（像振れ残り）を本発明によって画像再生時に補正するような構成であってもかまわない。

（実施例２）
上述した実施例１においては、動画撮影機能を持った機器で撮影中に像振れ補正に使用する情報を取得して、それを用いて再生中の像振れ補正を行う構成について説明した。本実施例においては、動画撮影機能を持たない動画再生機能のみを持った機器での動作について図１２を用いて説明する。一部を除いてほぼ同じ構成であるため、差分のみの説明を行う。

図１２の動画再生機１０００の構成について説明する。動画再生機１０００はシステム制御部１００５、操作部１００６、映像情報出力部１００７、振れ補正部１００８を備える。

また、動画再生機１０００はフレームメモリ１００９、ＲＯＭ１０１０、ＲＡＭ１０１１、記録媒体制御部１０１２、記録媒体１０１３、バス１０１４、表示部１０１５を備える。

本実施例における動画再生機１０００は、動画の撮影機能が無い他は実施例１にて説明したビデオカメラ１００と同様の動作をする。また振れ補正部１００８も実施例１にて説明したビデオカメラ１００の像振れ補正部１０８と同様の動作をする。振れ補正部１００８内の振れ検出部２０５は、実施例１にて説明したビデオカメラ１００においては加速度センサなどビデオカメラの振れによる変位を測定するセンサを備えていたが、本実施例では、動画ストリームの動きベクトル検出部（不図示）を備える。

本実施例における動画再生時の像振れ補正処理の全体の流れも実施例１にて説明したビデオカメラ１００と同様である。実施例１にて説明したビデオカメラ１００において像振れ補正情報の取得は撮影中に行われた。

しかし、本実施例においては動画ストリームを一度再生し、再生中の動画ストリームから動きベクトルを検出し、検出した動きベクトルから最大振れ量、各フレームの振れ情報の取得を行う。取得した情報を用いて像振れ補正情報の解析、再生時の像振れ補正処理を行う。

以上のように再生時に振れ検出部２０５の動きベクトルより各区間の最大振れ量および、各フレームの振れ情報を取得することにより同様の処理を行うことができる。

以上の実施例においては、動画撮影中に振れ情報の検出をおこなった。しかし、レンズシフトなどによる光学的な像振れ補正処理を行い、光学的な像振れ補正で補正しきれなかった像振れに対して振れ情報の検出を行い、本発明の再生時の像振れ補正を行う構成であっても良い。

（実施例３）
上述した実施例は動画再生時に像振れ補正を行う構成について説明した。

本実施例においては動画撮影時の記録画像に対して本発明による像振れ補正情報の解析と切り出し範囲の決定、像振れ補正処理を適用した場合の動作について説明する。

本実施例で用いる機器は実施例１で説明した図１のハードウェア構成と同じであるがカメラ撮影時の動作が異なる。

システム制御部１０５は、カメラ信号処理部１０４が出力した映像信号をフレームメモリ１０９に複数のフレームからなる動画ストリームとして映像信号を格納と、格納した映像信号の解析を行う撮影動作を含む。

また、システム制御部１０５は、格納された映像信号を振れ補正部１０８に入力し、像振れ補正された動画ストリームが記録媒体制御部１１２を通して記録媒体１１３に記録する記録動作を含む。

つまり、システム制御部１０５は、二つに動作に分かれる。撮影動作は所定周期で行われるが記録動作は像振れ補正処理に必要な情報がそろってから行われる。

次に図１２と、図１３のフローチャートと、図１４のフローチャートを用いて本実施例における像振れ補正について説明する。本実施例における撮影動作と記録動作を行うにあたって、動画ストリームを撮影開始、撮影終了、及びに構図変化を起点とした複数の区間に分割する。まずは図１２を用いて具体的にどのように区間を作成していくかを簡単に説明する。次に図１３を用いて撮影動作のフロー、最後に図１４を用いて記録動作のフローの詳細に説明をする。

図１２の横方向は図５と同様に時間軸を表しており、右に進むほど時刻が進む。撮影開始時刻ｔ１２００〜ｔ１２０４の撮影開始時刻、構図変化開始時刻、構図変化終了時刻は図５のそれと同等である。記録構図固定区間、記録構図変化区間は図５の再生構図固定区間、再生構図変化区間に相当する。記録構図固定区間、記録構図変化区間の開始、終了時刻は撮影構図固定区間と撮影構図変化区間の最大振れ量の大小関係や撮影中のズームの方向に応じて決定する。

決定するためのアルゴリズムは実施例１の再生構図固定区間、再生構図変化区間のそれと同様である。映像記録区間はフレームメモリ１０９に格納された映像信号に対し、像振れ補正処理を行い、像振れ補正を行った映像信号を記録媒体１１３に記録する区間である。映像記録区間は記録構図固定区間から記録構図変化区間に切り替わるごとに作成される。

次に図１３を用いて像振れ補正情報取得、像振れ補正情報の解析と切り出し範囲の決定を行う、撮影動作のフローチャートの説明をする。

ステップＳ１３０１においてシステム制御部１０５はユーザが操作部１０６を操作することによってユーザから撮影開始指示があると、動画の撮影を開始する。動画撮影が開始すると撮像センサ１０２が出力した映像信号はカメラ信号処理部１０４を介してフレームメモリ１０９に格納される。映像信号はフレームメモリ１０９にフレーム画として連続した領域に順次格納される。

システム制御部１０５は、撮影を開始すると、撮影構図固定区間１、撮影構図変化区間１（ｎ＝１）及び記録構図固定区間１、記録構図変化区間１（ｍ＝１）を作成する。そしてシステム制御部１０５は撮影構図固定区間１を処理する区間として設定する。

ステップＳ１３０２において、振れ補正部１０８内の振れ検出部２０５は、撮影中すべてのフレームに対して振れ情報の取得を行う。そして、システム制御部１０５は、振れの方向と振れ量を振れの発生した時刻とともに、ＲＡＭ１１１に格納する。

ステップＳ１３０３において、システム制御部１０５は、ユーザが操作部１０６を操作することによって撮影終了要求があったかどうかの判断を行う。終了要求があったときにはステップＳ１３１４に進み、終了処理を行う。ステップＳ１３１４においてシステム制御部１０５は、撮影終了要求があった時刻までの区間を撮影構図固定区間ｎとし、同区間における最大の振れ量をＲＡＭ１１１に格納し、撮影動作を終了する。

ステップＳ１３０４において、システム制御部１０５は、ズーム操作が開始されたりパンニングされたりして構図変化が発生していないかを、振れ補正部１０８内の構図変化検出部２０７から取得する。システム制御部１０５は、構図変化がないときにはステップＳ１３０２にもどり、振れ情報の取得を行う。構図変化があると判定されたときには、ステップＳ１３０５に進む。

ステップＳ１３０５において、システム制御部１０５は撮影構図固定区間ｎの最大の振れ量をＲＡＭ１１１に格納する。

ステップＳ１３０６において、システム制御部１０５は現在処理している撮影構図固定区間ｎが２以上であるかの判断を行う。システム制御部１０５が２以上と判断した時にはステップＳ１３０７に進み、記録構図区間の決定を行う。ここで２以上であるかを判断する理由は。記録構図区間の決定には２つの撮影構図固定区間と、１つの撮影構図変化区間が必要であるからである。システム制御部１０５が２未満と判断した時にはＳ１３０９に進む。

ステップＳ１３０７において、システム制御部１０５は記録構図固定区間ｍ、記録構図変化区間ｍの開始、終了時刻を算出する。記録構図固定区間ｍは撮影構図固定区間、撮影構図変化区間にまたがって作成される。記録構図変化区間は撮影構図変化区間の前もしくは後に作成される。算出の具体的なアルゴリズムは実施例１における、再生構図固定区間、再生構図変化区間と同じであるため詳細は記載しない。

ステップＳ１３０８において、システム制御部１０５は、処理をする区間を変更する。

ステップＳ１３０９においてはステップＳ１３０２と同様に、システム制御部１０５は振れ検出部２０５により、撮影構図変化区間の振れ情報を取得する。

ステップＳ１３１０において、システム制御部１０５は、ユーザが操作部１０６を操作することによって撮影終了要求があったかどうかの判断を行う。終了要求があったときにはステップＳ１３１５に進み、終了処理を行う。ステップＳ１３１５においてシステム制御部１０５は、撮影終了要求があった時刻までの区間を撮影構図変化区間ｎとし、同区間における最大の振れ量をＲＡＭ１１１に格納し、撮影動作を終了する。

ステップＳ１３１１おいて、システム制御部１０５は、ズーム操作が終了したりユーザによるパンニングが終了するなど構図変化が終了したか否かの判定結果を構図変化検出部２０７より取得する。構図変化が継続しているときにはステップＳ１３１０に戻り、振れ情報の取得を行い、構図変化が終了したと判定した場合は、ステップＳ１３１２へ進む。

ステップＳ１３１２において、システム制御部１０５は撮影構図変化区間における最大の振れ量をＲＡＭ１１１に格納する。

ステップＳ１３１３において、Ｓ１３０５と同様に、システム制御部１０５は、処理をする区間を変更する。

ステップＳ１３１６において、ステップＳ１３０７と同様に記録構図固定区間ｍ，記録構図変化区間ｍの決定を行い、映像信号の解析を終了する。

次に図１４を用いて像振れ補正処理と記録媒体への記録を行う、記録動作のフローチャートの説明をする。図１３で説明した撮影動作と図１４で説明する記録動作は同時に処理を開始する。図１３における処理で記録構図変化区間が作成されるまで待機状態に有り、記録構図変化区間が作成されると、記録動作を開始する。

ステップＳ１４０１において、システム制御部１０５はユーザが操作部１０６を操作することによってユーザから撮影開始指示があると、動画の撮影を開始する。動画撮影が開始するとシステム制御部１０５は処理する記録構図変化区間１（ｎ＝１）、映像記録区間１（ｍ＝１）を最初の区間を設定し、記録構図変化区間が作成されるのを待つ。記録構図変化区間は図１３のフローチャートのステップＳ１３０７とステップＳ１３１６にて決定する。

ステップＳ１４０２において、システム制御部１０５は図１３の処理で、記録構図変化区間ｎが作成されたかを判断する。システム制御部１０５が記録構図変化区間ｎが作成されたと判断した時はステップＳ１４０３において処理する区間ｎを次の区間ｎ＋１に設定する。判断されなかった時にはステップＳ１４０４に進む。

ステップＳ１４０４において、システム制御部１０５はユーザが操作部１０６を操作することによって撮影終了要求があったかどうかの判断を行う。システム制御部１０５は撮影終了要求があると判断した時にはステップＳ１４０５において、映像記録区間ｎを映像記録区間の最終区間とする情報をＲＡＭ１１１に格納する。システム制御部１０５が撮影終了要求がないと判断した時にはステップＳ１４０２に戻り、記録構図変化区間ｎが作成されたかの判断を行う。

ステップＳ１４０６において、システム制御部１０５は映像記録区間ｍを作成する。映像記録区間ｍは記録構図固定区間ｎ−１と記録構図変化区間ｎ−１における映像信号を記録する区間である。映像記録区間ｍは、ＲＡＭ１１１に格納される。

システム制御部１０５は、映像記録区間ｍで記録される映像データの振れ情報、及びに記録構図固定区間ｎ−１における最大振れ量、記録構図変化区間ｎ−１における時刻と撮影時の構図変化から、映像記録区間ｍの各映像信号の像振れ補正用の拡大率を求める。

ステップＳ１４０７において、システム制御部１０５はステップ１４０６もしくはステップＳ１４１６にて求めた振れ情報、像振れ補正用の拡大率を用いて映像記録区間ｍの像振れ補正処理と映像信号の記録を開始する。

ステップＳ１４０８において、ステップＳ１４０２と同様にシステム制御部１０５は図１３の処理で、記録構図変化区間ｎが作成されたかを判断する。システム制御部１０５は構図変化区間が作成されたと判断されたら、ステップＳ１４０９に進み、映像記録区間を新たに作成する。ステップＳ１４０９において、システム制御部１０５現在記録が予定されている映像記録区間の記録が終わった後に続けて映像の記録ができるように新たな映像記録区間ｎを作成する。判断されなかった時はステップＳ１４１１に進む。

ステップＳ１４１０において、ステップＳ１４０３と同様にシステム制御部１０５は処理する区間ｎを次の区間ｎ＋１に設定する。

ステップＳ１４１１において、ステップＳ１４０４と同様にシステム制御部１０５は、ユーザが操作部１０６を操作することによって撮影終了要求があったかどうかの判断を行う。撮影終了要求があると判断した時にシステム制御部１０５はステップＳ１４１２に進む。判断されなかった時はステップＳ１４１３に進む。

ステップＳ１４１２において、システム制御部１０５は現在作成されている最後の映像記録区間ｎ−１を映像記録区間の最終区間とする情報をＲＡＭ１１１に格納する。

ステップＳ１４１３において、システム制御部１０５は現在記録している映像記録区間ｍの映像信号をすべて記録しているかの判断を行う。記録していると判断した時はシステム制御部１０５はステップＳ１４１４に進む。判断されなかった時はステップＳ１４０８に戻る。

ステップＳ１４１４において、システム制御部１０５はＲＡＭ１１１から最終区間情報を読み出し、ステップＳ１４１３において終了した映像記録区間ｍが映像記録区間の最終区間であるかの判断を行う。最終区間と判断した時は記録動作は終了となる。最終区間ではないと判断された時はステップＳ１４１５に進む。

ステップＳ１４１５において、システム制御部１０５はは処理する区間ｍを次の区間ｍ＋１に設定する。

ステップＳ１４１６において、システム制御部は映像記録区間ｍがすでに作成されているかの判断を行う。作成されている時は、ステップＳ１４０７に戻り、映像記録区間ｍの記録を開始する。作成されていない時は、ステップＳ１４０２に戻り、記録構図変化区間の作成や撮影終了要求などを待ち、新たな映像記録区間が作成されるのを待つ。

以上のように撮影した映像信号を映像信号の解析結果とともにメモリに格納し、記録構図変化区間が決まってから像振れ補正処理を行うことによって動画撮影中にも本発明を適用することが可能である。

本発明はデジタルカメラ、ビデオカメラ、レコーダーなどの動画再生機、携帯電話やスマートフォン、パーソナルコンピュータなどの動画像の再生可能な機器にも適用できる。また、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、コンピュータあるいは装置に供給する。

そのコンピュータあるいは装置の制御部が記憶媒体に記録されたプログラムコードを読み出し実行することによっても達成され得る。なお、そのコンピュータあるいは装置の制御部とは、例えばシステム制御部やＣＰＵ、ＭＰＵなどが該当する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

（実施例４）
図１は本発明を適用した、動画像を記録および再生できる動画像再生装置としてのビデオカメラ１００の構成例を示したものである。

図１〜図４は、実施例１と同様なので説明を省略する。

＜像振れ補正情報の取得＞
次に、図４のフローチャートと図１６を用いて、システム制御部１０５が実行する像振れ補正情報の取得について詳細な説明を行う。ここでいう像振れ補正情報とは、図１６で説明する構図固定区間の開始終了時刻と構図変化区間の開始終了時刻、およびそれらの区間における最大振れ量、そして各時刻のフレームにおける振れの水平および垂直方向の振れ量を指すものとする。

本発明による再生時の像振れ補正を実行する際は、撮影開始と構図変化を起点とした複数の区間に動画ストリームを分割する。まず、図１６を用いて具体的にどのように区間を作成していくかを簡単に説明する。

図１６の横方向は時間軸を表しており、右に進むほど時刻が進む。図１６において、動画の撮影を開始した撮影開始時刻ｔ０から撮影中のズーム操作やパンニング等による構図変化の開始した構図変化開始時刻ｔ１までの区間を構図固定区間１５０１とする。

構図変化開始時刻ｔ１からズーム操作の終了やパンニングなどによる構図変化が終了した構図変化終了時刻ｔ２までの区間を構図変化区間１５１１とする。

以降、構図変化終了時刻ｔ２から構図変化開始時刻ｔ３までの区間を構図固定区間１５０２とする。

構図変化開始時刻ｔ３から構図変化終了時刻ｔ４までの区間を構図変化区間１５１２とするように、撮影が終了するまでの間に構図固定区間、構図変化区間を交互に追加する。

次に図４のフローチャートを用いて像振れ補正情報の取得方法について説明する。

ステップＳ４０１において、システム制御部１０５は、ユーザが操作部１０６を操作することによってユーザから撮影開始の指示があると、動画の撮影を開始する。システム制御部１０５は、撮影を開始すると、構図固定区間１（ｎ＝１）を作成する。そしてシステム制御部１０５は、構図固定区間１を処理する区間として設定する。

ステップＳ４０２において、振れ補正部１０８内の振れ検出部２０５は、撮影中のすべてのフレームに対して振れ情報の取得を行う。そしてシステム制御部１０５は、振れの方向と振れ量（動きベクトルの大きさ）を振れの発生した時刻とともに、記録媒体制御部１１２を通して記録媒体１１３に記録する。なお、本実施例においては、同じ構図固定区間で最大の振れ量はＲＡＭ１１１に記録するものとする。

ステップＳ４０３において、システム制御部１０５は、ユーザが操作部１０６を操作することによって撮影終了要求があったかどうかの判断を行う。終了要求があったときにはステップＳ４１１に進み、終了処理を行う。ステップＳ４１１においては、システム制御部１０５は、撮影終了要求があった時刻までの区間を構図固定区間ｎとし、構図固定区間ｎにおける最大の振れ量をＲＡＭ１１１に記録する。

ステップＳ４０４において、システム制御部１０５は、ズーム操作が開始されたりパンニングされたりして構図変化が発生していないかを、振れ補正部１０８内の構図変化検出部２０７から取得する。システム制御部１０５は、構図変化がないときにはステップＳ４０２にもどり、振れ情報の取得を行う。

構図変化があると判定されたときには、ステップＳ４０５に進み、システム制御部１０５は構図固定区間ｎの最大振れ量をＲＡＭ１１１に記録する。すなわち、構図固定区間が終了して構図変化期間が開始した時点で、システム制御部１０５は構図固定区間ｎおける最大の振れ量をＲＡＭ１１１に記録する。ステップＳ４０６においては、ステップＳ４０２と同様に、振れ検出部２０５は構図変化期間の振れ情報を取得する。

ステップＳ４０７において、システム制御部１０５は、ユーザが操作部１０６を操作することによって撮影終了要求があったかどうかの判断を行う。終了要求があったときにはステップＳ４１２に進み、終了処理を行う。ステップＳ４１２においてシステム制御部１０５は、撮影終了要求があった時刻までの区間を構図変化区間ｎとし、構図変化区間ｎにおける最大の振れ量をＲＡＭ１１１に記録し、その後撮影を終了する。

ステップＳ４０８において、システム制御部１０５は、ズーム操作が終了したりユーザによるパンニングが終了するなど構図変化が終了したか否かの判定結果を構図変化検出部２０７より取得する。構図変化が継続しているときにはＳ４０６にもどり振れ情報の取得を行い、構図変化が終了したと判定した場合は、ステップ４０９へ進む。ステップＳ４０９において、システム制御部１０５は構図変化区間における最大の振れ量をＲＡＭ１１１に記録する。

そして、ステップＳ４１０においてシステム制御部１０５は、処理する区間を次の区間へ変更するために、構図固定区間ｎに１を加えて構図固定区間ｎ＋１とする。そしてＳ４０２にもどりシステム制御部１０５は構図固定区間ｎ＋１の振れ情報の取得を行う。

＜像振れ補正情報の解析と切り出し範囲の決定＞
次に、システム制御部１０５が行う、像振れ補正情報の解析と動画再生時における像振れ補正のための切り出し範囲の決定について図１７のフローチャートと図１９のタイミングチャートを用いて説明を行う。

本実施例による再生時の像振れ補正においては、システム制御部１０５が動画ストリームの区間ごとに切り出す範囲大きさの変更を行う。ここでは動画撮影終了後に、ＲＡＭ１１１に記録された最大の振れ量に基づいて像振れ補正情報の解析を行うものとして説明を行う。しかし動画撮影中に像振れ補正情報の解析を行っても良い。

ステップＳ１６０１において、システム制御部１０５は処理する像振れ補正区間の初期化を行う。これによって動画再生時における像振れ補正のための切り出し範囲の大きさを決定する像振れ補正区間を設定する。次にステップＳ１６０２において、システム制御部１０５は像振れ補正区間の始点の決定を行う。具体的には、システム制御部１０５は構図固定区間ｎの始点を像振れ補正区間の始点に設定する。たとえば図１９において、システム制御部１０５は構図固定区間１８０１の始点を像振れ補正区間８２１の始点に設定する。

ステップＳ１６０３において、システム制御部１０５は、現在再生している動画ストリームに構図の変化が発生するかどうかの判断を行う。本発明による動画再生時における像振れ補正においては、現在再生している動画ストリームに対して将来再生する動画ストリームに構図の変化が発生するかどうか、すなわち次の構図変化区間があるかどうかを判断する。そしてこの構図変化区間があるか無いかに基づいて動画再生時における像振れ補正のための切り出し範囲を決定する。

ここで、次の構図変化区間（構図変化区間ｎ）があると判断されたときはステップＳ１６０４に進み、次の構図変化区間がないと判断されたときにはステップＳ１６１２に進む。

ステップＳ１６０４において、システム制御部１０５は、次の構図固定区間（構図固定区間ｎ＋１）が存在するかどうかの判断を行う。ここで次の構図固定区間（構図固定区間ｎ＋１）が存在しない場合は、次の構図変化区間（構図変化区間ｎ）で動画ストリームが終了している。ここで次の構図固定区間（構図固定区間ｎ＋１）が存在すると判断されたときはステップＳ１６０５に進み、次の構図固定区間がないと判断されたときにはステップＳ１６１３に進む。

たとえば、図１９においては、システム制御部１０５は構図固定区間１８１１が存在すると判定するので、ステップＳＳ１６０５に進むことになる。

ステップＳ１６０５において、システム制御部１０５は、次の構図固定区間と次の構図変化区間における最大振れ量の大きさの比較し、次の構図変化区間における最大振れ量よりも次の構図固定区間における最大振れ量の方が大きいか判定する。

すなわち、「構図変化区間ｎの最大振れ量」＜「構図固定区間ｎ＋１の最大振れ量」が成立するかを判定する。

ステップＳ１６０５の比較において、構図固定区間ｎ＋１の最大振れ量の方が大きい場合（ステップＳ１６０５にてＹｅｓ）は、ステップＳ１６０１に進む。

一方で、構図変化区間ｎの最大振れ量の方が大きい場合（ステップＳ１６０５にてＮｏ）は、ステップＳ１６０７に進む。

ステップＳ１６０１において、システム制御部１０５は、像振れ補正区間ｎの終点を構図変化区間ｎの終点に設定する。たとえば図１９において、構図固定区間１８０１の最大振れ量は構図変化区間１８１１の最大振れ量より大きいので、システム制御部１０５は、像振れ補正区間８２１の終点を構図変化区間１８１１の終点に設定する。すなわち、像振れ補正区間８２１は構図固定区間１８０１の始点から構図変化区間１８１１の終点までとなる。

一方で、ステップＳ１６０７においては、システム制御部１０５は、像振れ補正区間ｎの終点を構図固定区間ｎの終点に設定する。たとえば図１９において、構図固定区間１８０３の最大振れ量より構図変化区間１８１２の最大振れ量が小さいので、像振れ補正区間８２２の終点を構図固定区間１８０２の終点に設定する。すなわち、像振れ補正区間８２２は構図固定区間１８０２の始点から構図固定区間１８０２の終点までとなる。そして像振れ補正区間８２３は構図変化区間８１３の始点からと設定される（ステップＳ１６１１にて後述）。

ステップＳ１６０８において、システム制御部１０５は、ステップＳ１６０６、ステップＳ１６０７で決定した像振れ補正区間ｎ内の最大振れ量を求める。たとえば図１９において、システム制御部１０５は、像振れ補正区間８２１での最大振れ量を構図固定区間１８０１の最大振れ量とする。

また、像振れ補正区間８２２での最大振れ量を構図固定区間１８０２の最大振れ量とし、像振れ補正区間８２３での最大振れ量を構図変化区間１８１２での最大振れ量する。

ステップＳ１６０９において、システム制御部１０５は、ステップＳ１６０８で求めた最大振れ量をもとに構図固定区間ｎの像振れ補正の範囲を決定する。動画再生時における像振れ補正を行うときには、動画ストリームから所定の切り出し範囲で画像データを切り出し、切り出した画像データを振れ補正部１０８の拡大処理部２０３により拡大処理を行い、映像情報出力部１０７より出力する。

そして、検出した振れ情報に基づいて切り出し位置を変更することで像振れ補正を行う。このため、ステップＳ１６０８で求めた最大振れ量に対して像振れ補正を行ったとしても、元の画像データから切り出す範囲が元の画像データの範囲からはみ出さないように、切り出し範囲の大きさと位置の決定を行う。

たとえば図１９において、像振れ補正区間８２１での最大振れ量は構図固定区間１８０１の最大振れ量である。このため、構図固定区間１８０１の最大振れ量に対して像振れ補正を行ったとしても、元の画像データから切り出す範囲が元の画像データの範囲からはみ出さないように、切り出し範囲の大きさと位置の決定を行う。そして決定された切り出し範囲から切り出した画像データを、振れ補正部１０８の拡大処理部２０３により拡大率（図１９のＭ１）に基づいて拡大処理を行い、映像情報出力部１０７より出力する。

ステップＳ１６１０において、システム制御部１０５は、現在の像振れ補正区間ｎの処理を終了し、次の像振れ補正区間の決定処理を行う。具体的には、システム制御部１０５は、処理する区間を次の区間へ変更するために、構図固定区間ｎに１を加えて構図固定区間ｎ＋１とする。

ステップＳ１６１１において、システム制御部１０５は、像振れ補正区間ｎの始点を設定する。像振れ補正区間ｎの始点は像振れ補正区間ｎ−１の終点となる。たとえば図１９において、像振れ補正区間８２２の終点が構図固定区間１８０２の終点と設定されるため、システム制御部１０５は、像振れ補正区間８２３の始点を構図変化区間８１３の始点と設定する。

像振れ補正区間ｎは構図固定区間ｎを含み、ステップＳ１６０５の判断により構図変化区間ｎ−１、構図変化区間ｎを加えるかどうか判断する。たとえば図１９において、像振れ補正区間８２１は構図固定区間１８０１と構図変化区間１８１１を含む。一方で像振れ補正区間８２２は構図固定区間１８０２のみからなり、構図変化区間は含まない。

ステップＳ１６１２の処理はステップＳ１６０７の処理と同じであり、ステップＳ１６１３の処理はステップＳ１６０６の処理と同じである。また、ステップＳ１６１４の処理はステップＳ１６０８の処理と同じであり、ステップＳ１６１５の処理はステップＳ１６０９の処理と同じである。このため、詳細な説明は省略する。

以上のように、複数の区間に分け、区間ごとに切り出し範囲を決定することにより、その区間ごとに振れの大小に応じて適切な切り出し範囲の画像データで動画の再生をすることができる。また、前後の区間の振れ量との大小関係を比較することにより、より適切な切り出し範囲の画像データで動画の再生をすることができる。図１７のフローチャートの像振れ補正区間ｎを常に構図固定区間ｎと構図変化区間ｎにしても撮影時の範囲に近い構図で再生を行うことが可能である。

＜動画再生時の像振れ処理＞
次に、動画再生時の像振れ補正処理についての説明を図１８のフローチャートと図１９を用いて説明する。

図１９は動画ストリームの一例を説明するタイミングチャートである。図１９はビデオカメラ１００で動画を撮影したときの振れ情報と構図変化情報の時間的な変化をグラフにしたものである。なお、図１９においては構図変化の例として撮影中のズームによって構図変化が起こるものとする。

図１９のタイミングチャートは、上から動画ストリームに記憶された動画撮影時の振れ量（各フレームの振れ量）、各区間の最大振れ量、撮影中の光学ズーム倍率、動画再生時の像振れ補正用の拡大率を表している。図１９において、横軸は時間軸を表しており、ｔ０は撮影開始時刻、ｔ１、ｔ３は撮影中の光学ズームによる構図変化開始時刻、ｔ２、ｔ４は撮影中の光学ズーム操作が終了した構図変化終了時刻、ｔ５は撮影修了時刻を表している。各区間の最大振れ量はそれぞれの構図固定区間、構図変化区間における最大振れ量を表している。

図１９における撮影中の光学ズーム倍率は、撮影中にユーザが操作部１０６により行われた光学ズームを開始、終了したタイミングと各時刻の光学ズーム倍率を表している。図１９における動画再生時の像振れ補正用の拡大率は、各区間の最大振れ量から求めた切り出し範囲の画像データを映像情報出力部１０７が出力する画像データの範囲（大きさ）に解像度変換するときの画像データの拡大率である。ここでは、各構図固定区間における画像データの拡大率をＭ１，Ｍ２，Ｍ３とする。

図１９のような動画ストリームを再生する場合の像振れ補正処理を図１８のフローチャートで説明する。

ステップＳ１７０１において、システム制御部１０５は、ユーザが操作部１０６を操作することによって動画再生を開始する。システム制御部１０５は、記録媒体制御部１１２に制御することにより、記録媒体１１３に記録されている動画ストリームをフレームメモリ１０９に格納する。画像切り出し制御部２０２が画像切り出し部２０１を制御することにより、フレームメモリ１０９に格納された画像データから所定の切り出し範囲で画像データを切り出す。

そして、拡大処理部２０３は、拡大率制御部２０４が指示した倍率（拡大率Ｍ１）で拡大処理および解像度変換を行い、解像度変換された画像データをフレームメモリ１０９に格納する。映像情報出力部１０７は、フレームメモリに展開された画像データ（拡大処理部２０３にて解像度変換された画像データ）を表示部１１５に表示する。

ステップＳ１７０２において、システム制御部１０５は、振れ補正部１０８内の振れ情報取得部２０６を制御することで、再生する動画ストリームに関連付けられた振れ情報を記録媒体１１３より取得する。そしてシステム制御部１０５は、画像切り出し制御部２０２を制御することで、取得した振れ情報に応じて決定される切り出し範囲の画像データを読み出す。拡大処理部２０３は、読み出された画像データを拡大率制御部２０４の指示した拡大率（切り出し範囲に対応した拡大率）で解像度変換処理をおこない、フレームメモリ１０９に格納する。

ステップＳ１７０３において、システム制御部１０５は、動画ストリームが終了したかどうかの判断を行う。動画ストリームが終了してなければステップＳ１７０４に進み、次のフレームの読み込みを行う。動画ストリームが終了していれば処理を終了する。ステップＳ１７０４において、システム制御部１０５は、再生しているフレームが構図変化情報取得部２０８により取得された構図変化開始タイミングであるか判定を行う。この構図変化開始タイミングは、図１９中のｔ１、ｔ３のタイミングである。

構図変化開始タイミングでなかったときにはステップＳ１７０２にもどり像振れ補正処理を行う。

ステップＳ１７０５において、システム制御部１０５は、構図固定区間では画像データの切り出し範囲の大きさが同じであるため、最初に設定した拡大率を用いて像振れ補正を行うが、構図変化区間中ではフレーム毎に拡大率を設定する。構図変化区間で設定される拡大率は、現在の構図変化区間（構図変化区間１８１１）の１つ前の構図固定区間１８０１と次の構図固定区間１８０２における拡大率（Ｍ１とＭ２）と現在の構図変化区間１８１１における光学ズーム倍率の変化率によって決定する。

なお、ここでの拡大率Ｍ１は、構図固定区間１８０１での読み出し領域（第１の切り出し範囲）からの画像データを表示部１１５に拡大表示する際の映像の拡大率である。また、拡大率Ｍ２は、構図固定区間１８０２での読み出し領域（第２の切り出し範囲）からの画像データを表示部１１５に拡大表示する際の映像の拡大率である。

以下、現在のタイミングが図１９の構図変化区間１８１１の開始タイミングｔ１であるとして以下説明する。

システム制御部１０５は、構図変化区間１８１１に入ると、構図変化情報取得部２０８よりｔ１，ｔ２の時刻、そして構図固定区間１８０１、構図固定区間１８０２で切り出す画像データの範囲から、それぞれの区間における拡大率Ｍ１，Ｍ２を取得する。次にシステム制御部１０５は、ｔ１、ｔ２、Ｍ１，Ｍ２を用いて構図変化区間１８１１における拡大変化率αを下記式によって求める。
α＝（Ｍ２−Ｍ１）／（ｔ２−ｔ１） ・・・式（１）

システム制御部１０５は、この拡大変化率αと構図変化区間が始まってからの時間とを用いることによって、構図変化区間１８１１において画像データを一定の比率で変化させる。

ステップＳ１７０６においては、ステップＳ１７０２と同様の像振れ補正処理を行う。ただし、ここで拡大率制御部２０４が指示する拡大率はステップＳ１７０５で算出したものである。ステップＳ１７０７において、システム制御部１０５は、動画ストリームが終了したかどうかの判断を行う。動画ストリームが終了してなければ次のフレームの読み込みを行う。

ステップＳ１７０８において、システム制御部１０５は、再生しているフレームが構図変化情報取得部２０８により取得された構図変化終了タイミングのものかの判定を行う。図１９中のｔ２、ｔ４のタイミングである。一方で、再生しているフレームが構図変化開始タイミングでなかったときには、ステップＳ１７０２に戻り、像振れ補正処理を行う。

以上のように、撮影時の構図が固定のとき（構図固定区間）は切り出し範囲の大きさの変更を行わず、光学ズーム等によって撮影時の構図が変更している時（構図変化区間）に切り出し範囲の大きさを変更することになる。構図変化区間に像振れ補正ために一定の拡大変化率αで画像データを変化させ、再生中の構図を変更することによってユーザに違和感をなるべく持たせないようにしている。これによって構図固定区間ごとに最適な切り出し範囲の大きさで像振れ補正を行うことが可能となる。

（実施例５）
本実施例においては、構図変化区間ｎの前後の構図固定区間ｎ，ｎ＋１において、最大振れ量が同じ程度であれば、構図固定区間ｎ，ｎ＋１の拡大率も同じ程度である。

よって、構図固定区間ｎ，ｎ＋１間で切り出し範囲（拡大率）を変更せず、大きな構図変化が起こらないようにする。なお、本実施例においても図１のハードウェア構成にて実現し、図４の制御を通じて取得した像振れ補正情報を使用する。

図２０は、本実施例における制御の概念図である。構図固定区間１９０２と１９０３における拡大率を、それぞれＭ２，Ｍ３とする。実施例７においては、構図固定区間１９０２と１９０３の間の構図変化区間１９１２において、光学ズーム操作によって構図変更を行い、それに合わせて拡大率を変更していた（図２０の拡大率９３２）。

それに対して、本実施例においては、構図固定区間１９０２と１９０３において、それぞれの最大振れ量９２１と９２２の差が所定値以下であった。

その場合は、システム制御部１０５は、構図固定区間１９０２と１９０３の間の構図変化区間１９１２において拡大率を変更しない（図２０の拡大率９３１）。即ち、構図固定区間１９０３においても、拡大率Ｍ２のままで再生時における像振れ補正を行う。

なお、この所定値は任意に設定できるが、切り出し範囲（拡大率）を変更しなくても像振れ補正に影響が出ない程度の大きさに設定する。

構図変化区間ｎの前後の構図固定区間ｎ，ｎ＋１において、最大振れ量が同じ程度（前述の所定値以下）であれば、構図固定区間ｎ，ｎ＋１の拡大率も同じ程度であるため、構図変化区間ｎは光学ズーム倍率の変更のみ構図変更に現れるようにしている。これによって、不要な拡大縮小の構図変更を防ぐことができる。

なお、拡大率の変更方向に応じて拡大率の変更方法を変えることもできる。たとえば、拡大率がＭ３からＭ２に大きくなるような場合には拡大後の画像データの画質が劣化するため、システム制御部１０５は画像の切り出し範囲（拡大率）を変更しない。しかし拡大率がＭ２からＭ３に小さくなるような場合は、システム制御部１０５は画像データの画質が良くなる方向に画像切り出し範囲（拡大率）を変更するといった制御も可能である。

ここで構図変化区間ｎの前後の構図固定区間ｎ，ｎ＋１において、最大振れ量の差が所定値以下であった場合は、拡大率が小さくなるため、構図変化区間ｎにおいて拡大率を変更する。一方、構図変化区間ｎの前後の構図固定区間ｎ，ｎ＋１において、最大振れ量の差が所定値以下であった場合には、拡大率が大きくなるため、構図変化区間ｎにおいて拡大率を変更しない。

こうすることで、構図変更による切り出し範囲変更において画質が劣化する場合は、構図変更を行わないともに、構図変更による切り出し範囲変更において画質が良くなる構図変更は、画質を改善して適切な像振れ補正を行うことができる。

（実施例６）
上述した実施例４，５においては、動画撮影機能を持った機器で撮影中に像振れ補正に使用する情報を取得して、それを用いて再生中の像振れ補正を行う構成について説明した。本実施例においては、動画撮影機能を持たない動画再生機能のみを持った機器での動作について図１０を用いて説明する。一部を除いてほぼ同じ構成であるため、差分のみの説明を行う。

図１０の動画再生機１０００の構成について説明する。動画再生機１０００はシステム制御部１００５、操作部１００６、映像情報出力部１００７、振れ補正部１００８、フレームメモリ１００９を備える。

動画再生機１０００は、ＲＯＭ１０１０、ＲＡＭ１０１１、記録媒体制御部１０１２、記録媒体１０１３、バス１０１４、表示部１０１５を備える。

本実施例における動画再生機１０００は、動画の撮影機能が無い他は実施例７にて説明したビデオカメラ１００と同様の動作をする。

また振れ補正部１００８も実施例７にて説明したビデオカメラ１００の振れ補正部１０８と同様の動作をする。振れ補正部１００８内の振れ検出部２０５は、実施例７にて説明したビデオカメラ１００においては加速度センサなどビデオカメラの振れによる変位を測定するセンサを備えていたが、本実施例では、動画ストリームの動きベクトル検出部１０１６を備える。

本実施例における動画再生時の像振れ補正処理の全体の流れも実施例４にて説明したビデオカメラ１００と同様である。

実施例４にて説明したビデオカメラ１００において像振れ補正情報の取得は撮影中に行われたが、本実施例においては動画ストリームを一度再生し、再生中の動画ストリームから動きベクトルを検出する。

検出した動きベクトルから最大振れ量、各フレームの振れ情報の取得を行う。取得した情報をもちいて像振れ補正情報の解析、再生時の像振れ補正処理を行う。

以上のように再生時に振れ検出部２０５の動きベクトルより各区間の最大振れ量および、各フレームの振れ情報を取得することにより同様の処理を行うことができる。

以上の実施例においては、動画撮影中に振れ情報の検出をおこなった。しかし、レンズシフトなどによる光学的な像振れ補正処理を行い、光学的な像振れ補正で補正しきれなかった像振れに対して振れ情報の検出を行い、本発明の再生時の像振れ補正を行う構成であっても良い。

（実施例７）
上述した実施例は動画再生時に像振れ補正を行う構成について説明した。

本実施例においては動画撮影時の記録画像に対して本発明による像振れ補正情報の解析と切り出し範囲の決定、像振れ補正処理を適用した場合の動作について説明する。

本実施例で用いる機器は実施例４で説明した図１のハードウェア構成と同じであるがカメラ撮影時の動作が異なる。

システム制御部１０５はカメラ信号処理部１０４が出力した映像信号をフレームメモリ１０９に複数のフレームからなる動画ストリームとして映像信号を格納する撮影動作を含む。

システム制御部１０５は格納された映像信号を振れ補正部１０８に入力し、像振れ補正された動画ストリームが記録媒体制御部１１２を通して記録媒体１１３に記録する記録動作を含む。

その二つに動作に分かれる。撮影動作は所定周期で行われるが記録動作は像振れ補正処理に必要な情報がそろってから行われる。

次に図２１のフローチャートと、図２２を用いて本実施例における像振れ補正について詳細に説明する。

図２２の横方向は図１６と同様に時間軸を表しており、右に進むほど時刻が進む。撮影開始時刻ｔ１２００〜ｔ１２０５の撮影開始時刻、構図変化開始時刻、構図変化終了時刻は図１６のそれと同等である。まず撮影開始時刻ｔ１２００になると撮影区間１２２０が作成される。この区間にカメラ信号処理部１０４が出力した映像信号はフレームメモリに順次格納される。構図変化開始時刻ｔ１２０１になると撮影区間１２２１および、記録区間１２３０が作成される。

記録区間１２３０では撮影区間１２２０でフレームメモリに格納された映像信号が振れ補正部１０８に入力され、像振れ補正された動画ストリームが記録媒体制御部１１２を通して記録媒体１１３に記録される。以後、構図変化がある度に撮影区間、記録区間が作成され、一つ前の撮影区間の映像信号が、新たに作成された記録区間において記録される。

次に図２１のフローチャートを用いて像振れ補正情報取得、像振れ補正情報の解析と切り出し範囲の決定、像振れ補正処理について説明する。

ステップＳ２１０１においてシステム制御部１０５はユーザが操作部１０６を操作することによってユーザから撮影開始指示があると、動画の撮影を開始する。動画撮影が開始すると撮像センサ１０２が出力した映像信号はカメラ信号処理部１０４を介してフレームメモリ１０９に格納される。映像信号はフレームメモリ１０９にフレーム画として連続した領域に順次格納される。

システム制御部１０５は、撮影を開始すると、構図固定区間１（ｎ＝１）及び撮影区間１（ｍ＝１）を作成する。そしてシステム制御部１０５は構図固定区間１及び、撮影区間１を処理する区間として設定する。

ステップＳ２１０２において、振れ補正部１０８内の振れ検出部２０５は、撮影中すべてのフレームに対して振れ情報の取得を行う。そして、システム制御部１０５は、振れの方向と振れ量を振れの発生した時刻とともに、ＲＡＭ１１１に格納する。

ステップＳ２１０３において、システム制御部１０５は、ユーザが操作部１０６を操作することによって撮影終了要求があったかどうかの判断を行う。終了要求があったときにはステップＳ１１１５に進み、終了処理を行う。ステップＳ１１１５においては、システム制御部１０５は、撮影終了要求があった時刻までの区間を構図固定区間ｎとし、構図固定区間ｎにおける最大の振れ量をＲＡＭ１１１に格納しステップ１１７に進む。

ステップＳ２１０４において、システム制御部１０５は、ズーム操作が開始されたりパンニングされたりして構図変化が発生していないかを、振れ補正部１０８内の構図変化検出部２０７から取得する。システム制御部１０５は、構図変化がないときにはステップＳ２１０２にもどり、振れ情報の取得を行う。構図変化があると判定されたときには、ステップＳ２１０５に進む。

ステップＳ２１０５において、システム制御部１０５は、新たな撮影区間及びに記録区間を作成し、処理をする区間を変更する。

ステップＳ１１０６において、システム制御部１０５は構図固定区間ｎの最大振れ量をＲＡＭ１１１に格納する。

ここでシステム制御部１０５は撮影区間ｍ−１にふくまれる構図固定区間、構図変化区間の切り出し範囲を実施例７の図１７のフローチャートと同様の方法で決定する。すなわち、撮影区間ｍ−１までに含まれる、構図固定区間、構図変化区間の大小関係を確認し、両者の切り出し範囲を決定する。

ステップＳ１１０７において、システム制御部１０５は記録区間ｍ−１までの映像信号のすべてが記録媒体１１３に記録されているかの判定を行う。映像信号がすべて記録されていると判断された時はステップＳ１１０８に進み、記録されていないと判断された時にはＳ１１０９に進む。ここで記録区間０は存在しないので最初にこのステップＳ１１０７に入った時にはステップＳ１１０８に進む。

ステップＳ１１０８において、システム制御部１０５は撮影区間ｍ−１でフレームメモリ１０９に格納した映像信号を振れ補正部１０８に入力し、像振れ補正を行い、記録媒体１１３への記録を開始する。ここでシステム制御部１０５がステップＳ１１０６で決定した切り出し範囲を画像切り出し部２０１に対して設定する。さらに振れ補正部１０８は振れ情報取得部２０６によりＲＡＭ１１１より振れ情報を取得し、取得した情報に応じて像振れ補正処理を行う。システム制御部１０５により撮影区間ｍ−１で撮影された先頭フレームと終了フレームが指示されると振れ補正部１０８は順次フレームを読み込む。振れ補正部１０８は撮影区間ｍ−１で取得した振れ情報をＲＡＭ１１３より読み込み、読み込んだフレームに対応した振れ情報を用いて像振れ補正を行い、終了フレームを記録媒体１１３に記録したら記録動作を終了する。

ステップＳ１１０９は撮像区間ｍ−２以前のフレームの記録が完了していなかった時の処理である。システム制御部１０５は振れ補正部１０８に設定されている終了フレームを撮像区間ｍ−１で撮影した終了フレームで更新する。振れ補正部１０８はシステム制御部１０５により設定された終了フレームを記録媒体に記録したら記録動作を終了する。

ステップＳ１１１０においてはステップＳ２１０２と同様に、振れ検出部２０５は構図変化期間の振れ情報を取得する。

ステップＳ１１１１において、システム制御部１０５は、ユーザが操作部１０６を操作することによって撮影終了要求があったかどうかの判断を行う。終了要求があったときにはステップＳ１１１６に進み、終了処理を行う。ステップＳ１１１６においてシステム制御部１０５は、撮影終了要求があった時刻までの区間を構図変化区間ｎとし、構図変化区間ｎにおける最大の振れ量をＲＡＭ１１１に格納し、撮影動作を終了する。

ステップＳ１１１２おいて、システム制御部１０５は、ズーム操作が終了したりユーザによるパンニングが終了するなど構図変化が終了したか否かの判定結果を構図変化検出部２０７より取得する。構図変化が継続しているときにはステップＳ１１１０に戻り、振れ情報の取得を行い、構図変化が終了したと判定した場合は、ステップＳ１１１３へ進む
ステップＳ１１１３において、システム制御部１０５は構図変化区間における最大の振れ量をＲＡＭ１１１に格納する。そして、ステップＳ１１１４においてシステム制御部１０５は、処理する区間を次の区間へ変更するために、構図固定区間ｎに１を加えて構図固定区間ｎ＋１とする。そしてＳ２１０２にもどりシステム制御部１０５は構図固定区間ｎ＋１の振れ情報の取得を行う。

ステップＳ１１１７において、Ｓ２１０５と同様に、システム制御部１０５は、新たな構図区間を作成し、処理をする区間を変更する。

ステップＳ１１１８のおいてはＳ１１０７と同様にシステム制御部１０５は記録区間ｍ−１までの映像信号のすべてが記録媒体１１３に記録されているかの判定を行う。映像信号がすべて記録されていると判断された時はステップＳ１１１９に進み、記録されていないと判断された時にはＳ１１０９に進む。ここで記録区間０は存在しないので最初にこのステップＳ１１２０に入った時にはステップＳ１１１９に進む。

ステップＳ１１１９においてはＳ１１０８と同様に、システム制御部１０５は撮影区間ｍ−１でフレームメモリ１０９に格納した映像信号を振れ補正部１０８に入力し、像振れ補正を行い、記録媒体１１３への記録を開始する。

ステップＳ１１２０においてはＳ１１０９と同様に、システム制御部１０５は振れ補正部１０８に設定されている終了フレームを撮像区間ｍ−１で撮影した終了フレームで更新する。

ステップＳ１１２１において、システム制御部１０５は映像信号が記録媒体１１３にすべて記録されているかの判断を行う。もし記録が終了していないときにはこのステップＳ１１２１に戻り記録が終了するまで待つ。記録が終了しているときには動画撮影の終了となる。

以上のように撮影した映像信号をフレームメモリに一度格納し、構図固定区間の画角が決まってから像振れ補正処理を行うことによって動画撮影中にも本発明を適用することが可能である。

１０５ システム制御部
１０８ 像振れ補正部

Claims (15)

1. 振れ量取得手段と、ズーム倍率の変化によって映像に構図変化が生じる期間を取得する期間取得手段と、前記振れ量取得手段から出力される振れ量に基づいて前記映像のフレーム毎の画像データの切り出し範囲の大きさと位置を設定する設定手段と、前記振れ量に基づいて、前記映像の振れを補正するように前記設定手段によって設定された切り出し範囲の位置を変更する補正手段と、前記期間取得手段によって取得された構図変化が生じる期間に応じて設定した期間に、前記設定手段によって設定された切り出し範囲の大きさの変更を行う変更手段と、を有することを特徴とする動画像処理装置。
2. 前記変更手段は、前記期間取得手段によって取得された構図変化が生じる期間に、前記設定手段によって設定された切り出し範囲の大きさの変更を行うことを特徴とする請求項１に記載の動画像処理装置。
3. 前記設定手段は、第１の画像を読み出す期間の最大振れ量に基づいて前記第１の切り出し範囲の大きさを設定し、第２の画像を読み出す期間の最大振れ量に基づいて前記第２の切り出し範囲の大きさを設定し、
   前記変更手段は、前記構図変化の期間に前記第１の切り出し範囲から前記第２の切り出し範囲へと前記切り出し範囲の大きさを変更することを特徴とする請求項２に記載の動画像処理装置。
4. 前記切り出し範囲から読み出された画像データを映像として再生する映像再生手段と、を備え、
   前記設定手段は、第１の画像を読み出す期間の最大振れ量に基づいて前記第１の切り出し範囲を設定し、前記第１の画像を読み出す期間よりも時間的に後である第２の画像を読み出す期間の最大振れ量に基づいて前記第２の切り出し範囲を設定し、
   前記映像再生手段は、前記第１の切り出し範囲から読み出された画像データを、出力する映像の大きさになるように第１の拡大率で拡大処理し、前記第２の切り出し範囲から読み出された画像データを、出力する映像の大きさになるように第２の拡大率で拡大処理する解像度変換手段を備え、
   前記変更手段は、前記第１の拡大率よりも前記第２の拡大率の方が大きい時は、前記切り出し範囲の大きさの変更を行わないことを特徴とする請求項２又は３に記載の動画像処理装置。
5. 前記映像再生手段は、前記切り出し範囲から読み出された画像データを、出力する映像の大きさになるように拡大処理する解像度変換手段と、前記解像度変換手段により拡大処理された映像を表示する表示部を備えることを特徴とする請求項４に記載の動画像処理装置。
6. 前記振れ量取得手段は、映像とともに記憶された前記映像の撮影時の振れ量を読み出して取得する、または記憶媒体から再生される映像のフレーム間の動きから検出される動きベクトルを振れ量として取得することを特徴とする請求項１乃至５の何れか一項に記載の動画像処理装置。
7. 前記変更手段は、前記映像の構図変化と前記映像の振れを補正するための前記切り出し範囲の大きさの変更が連続するように制御することを特徴とする請求項１に記載の動画像処理装置。
8. 前記変更手段は、前記映像の構図変化と前記映像の振れを補正するための前記切り出し範囲の変化が同じ変化率または合わせた変化率がゼロになるように前記切り出し範囲の大きさを変更することを特徴とする請求項７に記載の動画像処理装置。
9. 前記設定手段は、第１の画像を読み出す期間の最大振れ量に基づいて前記第１の切り出し範囲の大きさを設定し、第２の画像を読み出す期間の最大振れ量に基づいて前記第２の切り出し範囲の大きさを設定し、
   前記変更手段は、前記構図変化の期間に連続するように、もしくは構図変化の期間に含まれるように前記第１の切り出し範囲から前記第２の切り出し範囲へと前記切り出し範囲の大きさを変更する請求項７又は８に記載の動画像処理装置。
10. 前記変更手段は、前記映像の構図変化と前記映像の振れを補正するための前記切り出し範囲の大きさの変更が同じ方向である時は、前記映像の構図変化の前後で前記映像の振れを補正するための前記切り出し範囲の大きさの変更を行うことを特徴とする請求項７乃至９の何れか一項に記載の動画像処理装置。
11. 前記変更手段は、前記映像の構図変化と前記映像の振れを補正するための前記切り出し範囲の大きさの変更が逆の方向である時は、前記映像の構図変化の初めまたは終わりにおいて前記映像の構図変化が相殺されるように前記映像の振れを補正するための前記切り出し範囲の大きさの変更を行うことを特徴とする請求項７乃至１０の何れか一項に記載の動画像処理装置。
12. 前記切り出し範囲から読み出された画像データを映像として再生する映像再生手段と、を備え、
    前記映像再生手段は、前記切り出し範囲から読み出された画像データを、出力する映像の大きさになるように拡大処理する解像度変換手段と、前記解像度変換手段により拡大処理された映像を表示する表示部を備えることを特徴とする請求項７乃至１１の何れか一項に記載の動画像処理装置。
13. 前記振れ量取得手段は、映像とともに記憶された前記映像の撮影時の振れ量を読み出して取得する、または記憶媒体から再生される映像のフレーム間の動きから検出される動きベクトルを振れ量として取得することを特徴とする請求項７乃至１２の何れか一項に記載の動画像処理装置。
14. 撮像素子を更に有し、請求項１乃至１３の何れか一項に記載の動画像処理装置を有することを特徴とする撮像装置。
15. 振れ量取得工程と、ズーム倍率の変化によって映像に構図変化が生じる期間を取得する期間取得工程と、前記振れ量取得工程にて生成された振れ量に基づいて前記映像のフレーム毎の画像データの切り出し範囲の大きさと位置を設定する設定工程と、前記振れ量に基づいて、前記映像の振れを補正するように前記設定工程によって設定された切り出し範囲の位置を変更する補正工程と、前記期間取得工程によって取得された構図変化が生じる期間に応じて設定した期間に、前記設定工程によって設定された切り出し範囲の大きさの変更を行う変更工程と、を有することを特徴とする動画像処理方法。

Images