JP7405131B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本技術は画像処理装置、画像処理方法、プログラムとして適用される画像処理についての技術分野に関する。

撮像装置で撮像した動画について各種の補正などの画像処理を行う技術が知られている。
下記特許文献１では撮像装置の姿勢データを用いて画像データに対し手ぶれ補正や画像歪み補正を行うことが記載されている。

ＷＯ２０１８／２１１７８２

ところで昨今は、ユーザはスマートフォンやタブレットなどの携帯端末、或いはカメラ自体やパーソナルコンピュータなどを用いて画像撮像や画像補正等を手軽に行うことができ、また動画投稿なども盛んである。
このような環境下では、ユーザが撮像した画像をそのまま出力するのではなく、より品質の高い画像や多様な画像を制作することが望まれている。
そこで本開示では、揺れ補正や画像切り出しを加味した高品質な画像処理を容易に行うことができるようにする技術を提案する。

本技術に係る画像処理装置は、動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定する実効切り出し領域設定部と、前記揺れ補正部で揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、前記実効切り出し領域設定部で設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部と、を備える。
例えば撮像装置で撮像された画像における手ぶれ（camera shake）等に起因する揺れ（フレーム間揺れ：interframe shake）を天球モデル上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の切り出し領域をユーザの操作等に基づいて設定する。このとき、ユーザの操作などに応じて設定した要求切り出し領域（requested cropping area）を、揺れ補正（interframe shake correction）を有効に保つ可動領域からはみ出さないように修正した実効切り出し領域（effective cropping area）を設定し、これに基づいて切り出しを行う。

上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記実効切り出し領域を設定することが考えられる。
例えば動画ファイルを一時停止した画面上でのユーザの操作により、切り出し領域の指定操作がなされた場合、その操作情報を反映するように実効切り出し領域を設定する。

上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、トラッキングターゲットに関するトラッキングターゲット情報を用いて、前記実効切り出し領域を設定することが考えられる。
例えばトラッキングターゲットが画像内に含まれるように実効切り出し領域を設定する。
特にこの場合、本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記トラッキングターゲットを設定することが考えられる。
例えば動画ファイルを一時停止した画面上でのユーザの操作により、トラッキングしたいターゲットの被写体や当該トラッキングターゲットに関する指定がなされた場合、その操作情報を反映するように実効切り出し領域を設定する。

上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、前記トラッキングターゲットについての画面内での配置位置を指定する操作情報を用いて、前記実効切り出し領域を設定することが考えられる。
トラッキングターゲットについて画面内での配置位置とは、画面表示される範囲でトラッキングターゲットとされた被写体が表示される位置（例えば画面中央、画面右上など）である。ユーザは任意に画面内の配置位置を指定できるようにする。

上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、画像の出力領域を指定する操作情報を前記実効切り出し領域の設定に用いることが考えられる。
例えばユーザの操作により出力する画像の領域を指定できるようにし、その操作情報を用いて実効切り出し領域を設定する。

上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、画像のアスペクト比を指定する操作情報を前記実効切り出し領域の設定に用いることが考えられる。
例えばユーザの操作により出力する画像のアスペクト比（画像の縦サイズと横サイズの比）を指定できるようにし、その操作情報を用いて実効切り出し領域を設定する。

上記した本技術に係る画像処理装置においては、前記実効切り出し領域設定部は、画像データのフレーム毎に行うはみ出し防止処理として、前記揺れ補正部が揺れ補正を行った天球モデルの座標上で要求切り出し領域を設定する第１処理と、撮像領域内で前記要求切り出し領域の変動を許容する可動領域を求める第２処理と、前記要求切り出し領域が前記可動領域内に収まるように修正することで前記実効切り出し領域を設定する第３処理と、を行うことが考えられる。
この第１，第２，第３処理により、はみ出し防止処理は、操作情報に基づく切り出し領域、例えばユーザの画像の出力領域の指定やトラッキング状態を反映して設定した切り出し領域を、揺れ補正が有効な範囲に収める処理となる。

上記した本技術に係る画像処理装置においては、前記第２処理では、前記可動領域を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレーム、又は、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレーム、又は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームと前の時点のフレーム、を含んで連続する複数フレームの各撮像領域を用いて設定することが考えられる。
即ち処理対象のフレームを含んで前後に連続する複数フレーム、又は処理対象のフレームを含んで時間的後方に連続する複数フレームの撮像領域を用いて可動領域を設定する。

上記した本技術に係る画像処理装置においては、前記可動領域は、前記複数フレームの各フレームについての揺れ補正を行った状態の撮像領域に共通に含まれる範囲とすることが考えられる。
各フレームについて揺れ補正を行った状態の撮像領域に共通に含まれる領域は、複数フレームにわたって被写体が存在する範囲となる。

上記した本技術に係る画像処理装置においては、前記可動領域は、前記複数フレームの各フレームについての撮像領域の各端点の変化の低周波変動成分を各フレームの撮像領域内に収まるようにしたときに示される範囲とすることが考えられる。
各フレームについて撮像領域の各端点の変化の低周波変動成分とは、各端点の位置変動を時間軸方向（フレーム進行方向）にとらえた場合の波形をローパスフィルタに通したときに観測される波形に相当する変動といえる。

上記した本技術に係る画像処理装置においては、前記第３処理は、前記可動領域内に切り出し領域が収まるまで、前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることにより行うことが考えられる。
即ち可動領域に収まるまで必要な距離だけ要求切り出し領域を回転させずに移動させる。

上記した本技術に係る画像処理装置においては、前記第３処理において前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることによっては前記要求切り出し領域を前記可動領域内に収められない場合は、前記要求切り出し領域を回転させることで、前記要求切り出し領域を前記可動領域内に収めるようにすることが考えられる。
即ち回転をさせない状態では可動領域に収まらないときのみ要求切り出し領域を回転させる。

上記した本技術に係る画像処理装置においては、前記揺れ補正部は、処理対象の画像データの撮像の際に生成されたメタデータに基づいて、各フレームに対応する前記姿勢情報を取得し、揺れ補正に用いることが考えられる。
撮像を行う撮像装置において画像データに対してメタデータが対応づけられる。この場合の例えば撮像装置に加えられた加速度や角速度などの情報がメタデータとして含まれることを想定する。

上記した本技術に係る画像処理装置においては、前記揺れ補正部は、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報を用いて揺れ補正を行うことが考えられる。
撮像素子のローリングシャッター方式により１フレームのライン毎に露光期間が時間的にずれる場合、ラインのタイミング毎に姿勢は異なる。この場合に各ラインについては重心位置のタイミングを基準とする。

上記した本技術に係る画像処理装置においては、前記揺れ補正部は、処理対象の画像データを、該画像データに対応づけられたメタデータを用いて補正キャンセル処理を行って既に行われていた補正処理が行われる前の状態に戻した状態で、天球モデルへの貼付処理を行うことが考えられる。
例えば撮像装置においては撮像時に手ぶれ補正などの補正処理が行われるが、処理対象の画像データに対して、これらの既に行われている補正をキャンセルした後に揺れ補正を行うようにする。

上記した本技術に係る画像処理装置においては、前記揺れ補正部は、メタデータとして画像データの各フレームに対応づけられた座標変換パラメータを用いて補正キャンセルを行うことが考えられる。
座標変換パラメータとしては、例えばレンズ歪、台形歪、フォーカルプレーン歪、電子手ぶれ補正、光学手ぶれ補正の各パラメータなど、撮像画像の画枠（画角を含めた画像の範囲）や撮像画像の座標系を変化させる場合の情報である。

上記した本技術に係る画像処理装置においては、動画を構成する画像データと対応するメタデータを含む画像ファイルについて、画像データの各フレームに対応するメタデータを抽出して記憶する前処理部を備えることが考えられる。
動画としての画像ファイルを画像処理の対象とするときにフレーム毎のメタデータを記憶する。

本技術に係る画像処理方法は、画像処理装置が、動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行い、要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定し、前記揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行うものである。
これにより操作情報に基づく切り出し領域の設定には、はみ出し防止処理が加えられるようにする。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。
これにより本開示の画像処理を各種の情報処理装置で実行可能とする。

本技術の実施の形態で用いられる機器の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置における画像の補正処理の説明図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の画像処理装置としての機能構成の説明図である。 実施の形態の処理の流れの例の説明図である。 実施の形態の処理の流れの例の説明図である。 実施の形態の処理の流れの例の説明図である。 実施の形態の画像ファイル及びメタデータの内容の説明図である。 レンズ歪み補正に関するメタデータの説明図である。 実施の形態の画像処理に関する画面遷移の説明図である。 実施の形態の切り出し領域指定の説明図である。 実施の形態のトラッキング指定の説明図である。 実施の形態の画像処理の説明図である。 実施の形態の天球モデルへの貼付の説明図である。 実施の形態のＩＭＵデータのサンプルタイミングの説明図である。 実施の形態の出力画像と天球モデルの対応付けの説明図である。 実施の形態の出力座標平面の回転と透視射影の説明図である。 実施の形態のはみ出し防止処理の概要の説明図である。 実施の形態のはみ出し防止処理におけるアベイラブルエリアの算出の説明図である。 実施の形態のアベイラブルエリアの作り方の説明図である。 実施の形態のアベイラブルエリアの作り方の説明図である。 実施の形態のアベイラブルエリアの拡張の説明図である。 実施の形態のはみ出し防止処理における表示範囲の修正の説明図である。 実施の形態のはみ出し防止処理の手順の説明図である。 実施の形態のレンズによるキャプチャードエリアの違いの説明図である。

以下、実施の形態を次の順序で説明する。
＜１．画像処理装置として適用できる機器の構成＞
＜２．画像ファイル及びメタデータ＞
＜３．画面遷移概要＞
＜４．画像処理＞
＜５．まとめ及び変形例＞

＜１．画像処理装置として適用できる機器の構成＞
以下の実施の形態では、主にスマートフォンなどの携帯端末により本開示に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本開示の技術を適用できる機器について説明しておく。

図１Ａは画像ソースと、画像ソースから画像ファイルＭＦを取得する画像処理装置としての例を示している。
画像ソースとしては撮像装置１、サーバ４、記録媒体５などが想定される。
画像処理装置としてはスマートフォンなどの携帯端末２やパーソナルコンピュータ３などが想定される。

画像ソースとしての撮像装置１は動画撮像を行うことのできるデジタルカメラ等であり、動画撮像によって得られた画像ファイルＭＦを有線通信や無線通信を介して携帯端末２やパーソナルコンピュータ３に転送する。
サーバ４はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置１で撮像された画像ファイルＭＦを提供できる装置を指す。このサーバ４がなんらかの伝送路を介して画像ファイルＭＦを携帯端末２やパーソナルコンピュータ３に転送することが考えられる。

記録媒体５はメモリカード等の固体メモリ、光ディスク等のディスク状記録媒体、磁気テープ等のテープ状記録媒体などのいずれでもよいが、撮像装置１で撮像された画像ファイルＭＦが記録されたリムーバブル記録媒体を指している。この記録媒体５から読み出された画像ファイルＭＦが携帯端末２やパーソナルコンピュータ３に読み取られることが考えられる。

画像処理装置としての携帯端末２やパーソナルコンピュータ３は、以上の画像ソースから取得した画像ファイルＭＦに対する画像処理が可能とされている。ここでいう画像処理とは、例えば揺れ補正処理、切り出し領域設定処理、実効切り出し領域画像生成処理を含む。
揺れ補正処理は、動画を構成する画像データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて行う揺れ補正処理である。
切り出し領域設定処理は、画像の切り出し領域をユーザの操作情報に基づいて設定したうえで、該切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う処理である。
実効切り出し領域画像生成処理は、揺れ補正処理が行なわれた状態で平面に投影した画像について、はみ出し防止処理を施した切り出し領域（実効切り出し領域ＣＬ）で画像を切り出すことで、実効切り出し領域画像を生成する処理である。切り出した画像は出力画像とすることができる。

なお、或る携帯端末２やパーソナルコンピュータ３が、画像処理装置として機能する他の携帯端末２やパーソナルコンピュータ３に対する画像ソースとなることもある。

図１Ｂは、画像処理装置として機能する１つの機器が画像ソースを兼ねる場合としての撮像装置１や携帯端末２を示している。
例えば撮像装置１の内部のマイクロコンピュータ等が上記の画像処理を行う。つまり撮像装置１は撮像によって生成した画像ファイルＭＦを、そのまま上記の画像処理を行うことで、画像処理結果としての画像出力を行うことができるものとする。

携帯端末２も同様であり、撮像機能を備えることで画像ソースとなり得るため、撮像によって生成した画像ファイルＭＦについて上記の画像処理を行うことで、画像処理結果としての画像出力を行うことができる。
もちろん撮像装置１や携帯端末２に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。

以上のように実施の形態の画像処理装置として機能する装置及び画像ソースは多様であるが、以下では、撮像装置１が画像ソースとなり、携帯端末２が画像処理装置とされる例で説明している。即ち撮像装置１での撮像によって形成された画像ファイルＭＦを携帯端末２に転送し、携帯端末２において、取得した画像ファイルＭＦに対する画像処理が行われる例である。

まず画像ソースとなる撮像装置１の構成例を図２で説明する。
なお図１Ｂで説明したように携帯端末２で撮像した画像ファイルＭＦについてその携帯端末２で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置１と同等の構成を携帯端末２が備えればよいことになる。

図２に示すように撮像装置１は、レンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、出力部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２２、センサ部２３を有する。

レンズ系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。
なお、図示していないがレンズ系１１には手ぶれ等による画像の揺れ（interframe shake）及びブラー（blur）を補正する光学手ぶれ補正機構（optical image stabilization mechanism）が設けられている場合がある。

撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部１８に出力する。
なお、図示していない光学手ぶれ補正機構としては、レンズ系１１側ではなく、イメージセンサ１２ａ側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構（balanced optical image stabilization mechanism）の場合等もあり、どのような方式であっても構わない。
光学手ぶれ補正機構では、揺れ（interframe shake）に加えて後述するがフレーム内のブラーも合わせて補正される。

カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。
またカメラ信号処理部１３は各種補正処理も行う。但し手ぶれ補正については、撮像装置１内で行う場合もあれば、行わない場合も想定される。

前処理では、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。

カメラ信号処理部１３で行われる各種補正処理（撮像装置１の内部補正）については図３に例を挙げる。図３ではレンズ系１１で行われる光学手ぶれ補正とともに、カメラ信号処理部１３で行われる補正処理を、その実行順序により例示している。
処理Ｆ１としての光学手ぶれ補正では、レンズ系１１のヨー方向、ピッチ方向のシフトによるレンズ内手ぶれ補正や、イメージセンサ１２ａのヨー方向、ピッチ方向のシフトによるボディ内手ぶれ補正が行われることで、手ぶれの影響を物理的にキャンセルした状態で被写体の像がイメージセンサ１２ａに結像するようにされる。このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正（electrical image stabilization）のみ、または、光学手ぶれ補正のみが行われる場合もある。

カメラ信号処理部１３では処理Ｆ２から処理Ｆ６までの処理が各画素に対する空間座標変換により行われる。
処理Ｆ２ではレンズ歪み補正が行われる。
処理Ｆ３では電子手ぶれ補正の１つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばＣＭＯＳ型のイメージセンサ１２ａによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。

処理Ｆ４ではロール補正が行われる。即ち電子手ぶれ補正の１つの要素としてのロール成分の補正が行われる。
処理Ｆ５では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
処理Ｆ６では、電子手ぶれ補正の１つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。

カメラ信号処理部１３におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルＭＦの生成を行う。また静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式のファイル生成を行うことも考えられる。
なおカメラ信号処理部１３はカメラ制御部１８からの情報等を用いて、画像ファイルＭＦに付加するメタデータの生成も行う。
また図２では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルＭＦには動画としての画像データとともに音声データも含まれるようにしてもよい。
なお、この画像データは予め設定されたアスペクト比を持ち、画像データのフレーム全体が後述する撮像領域（captured area）に相当する。

記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルＭＦやサムネイル画像等を記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部１５にはカメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

出力部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。

カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。

メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

センサ部２３は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部２３としては例えばＩＭＵ（ inertial measurement unit：慣性計測装置）が搭載されており、例えばピッチ-、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部２３としては、位置情報センサ、照度センサ等が搭載されていても良い。

例えば以上の撮像装置１によって撮像され生成された動画としての画像ファイルＭＦは、携帯端末２等の画像処理装置に転送されて画像処理を施されることが可能とされる。
携帯端末２は、例えば図４に示す構成を備えた情報処理装置として実現できる。なお、パーソナルコンピュータ３やサーバ４についても、同様に図４の構成の情報処理装置により実現できる。

図４において、情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。

入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。

また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスであったり、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
通信部８０は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行う。

入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
ドライブ８２により、リムーバブル記録媒体８１からは画像ファイルＭＦ等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

この情報処理装置７０では、例えば本開示の画像処理装置としての画像処理のためのソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

例えばこのようなソフトウエア（アプリケーションプログラム）によって、図５のような機能構成が情報処理装置７０のＣＰＵ７１において構築される。
即ち情報処理装置７０（ＣＰＵ７１）は、前処理部３１、画像処理部３２、ＵＩ処理部３６としての機能を備える。

前処理部３１は例えば撮像装置１により生成された動画を構成する画像ファイルＭＦのインポート及びインポート時の前処理を行う機能である。
なお本明細書において「インポート」とは、情報処理装置７０が例えば記憶部７９などに取り込んでいることでアクセス可能な画像ファイルＭＦなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置１から携帯端末２に転送することを指すものではない。
前処理部３１は、ユーザ操作等により指定された画像ファイルＭＦを画像処理対象となるようにインポートするとともに、前処理として画像ファイルＭＦに付加されたメタデータに関する処理を行う。例えば動画の各フレームに対応するメタデータを抽出して記憶する処理を行う。

画像処理部３２は、インポートした画像ファイルＭＦについて画像処理を行う機能を示している。この画像処理部３２としての機能は、図示する揺れ補正部３３、実効切り出し領域設定部３４、実効切り出し領域画像生成処理部３５としての機能を有する。

揺れ補正部３３は、画像ファイルＭＦとして動画を構成する画像データとしてのフレーム毎に、そのフレームに対応する姿勢情報を用いて揺れ補正を行う機能である。例えば揺れ補正部３３はフレーム毎に平面モデルから天球モデルへの貼付処理が行われた状態で揺れ補正を行う。即ち画像ファイルＭＦとしての画像の撮像時には、被写体画像は平面に投影されているが、これを天球モデルに投影した状態で揺れ補正を行うものである。
ここで、補正する「揺れ」とは、その画像ファイルＭＦの撮像を行った撮像装置１の動きによる画像の振動を指すが、特にはフレーム間で生じる振動成分（フレーム間での画像の揺らぎ）をいう。そして「（フレーム間）揺れ補正」とは、このようなフレーム間の振動としてあらわれる揺れを補正することを指す。上述したシフトや切り出しによる方式の電子手ぶれ補正は「揺れ補正」に含まれる。また、前述した光学手ぶれ補正では、「揺れ補正（interframe shake correction」と「ブラー補正」が同時に行われるとになる。
なお撮像素子部１２がローリングシャッター方式のＣＭＯＳ型のイメージセンサ１２ａを搭載する場合は、ライン毎に揺れ及びブラーの量は異なることになる。

実効切り出し領域設定部３４は、画像の実効切り出し領域をユーザの操作情報やトラッキングターゲットの情報などに基づいて設定する。この実効切り出し領域設定部３４は、切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う機能を含む。
実効切り出し領域の設定については、ユーザの操作に応じて固定的な切り出し領域の設定をすることに限られず、ユーザのトラッキングターゲット（追尾対象）の指定に応じて、トラッキングターゲットを含むように実効切り出し領域の設定を行うようにしてもよい。
この場合、実効切り出し領域設定部３４は、画像解析やフレーム間比較などにより動画の各フレームにおいてトラッキングターゲットの位置を特定する処理も行う。

実効切り出し領域画像生成処理部３５は、揺れ補正部３３で揺れ補正が行なわれた状態で天球モデルの仮想球面から平面に投影した画像から、実効切り出し領域設定部３４によって指定される実効切り出し領域の画像である出力画像を切り出す処理を行う機能である。

ＵＩ処理部３６は、インポートや画像処理のためのユーザ操作の受け付けや、処理に応じた表示出力の制御などを行う機能である。具体的には後述するインポート画面、プレビュー画面、フレーミング画面、トリミング画面、スピード画面、アスペクト比設定画面、エクスポート画面といった各画面により、ユーザの操作の受付や表示の制御を行う。

以上の図５の機能による処理の詳細は後述する。
例えば撮像装置１と、図５の機能を備えた情報処理装置７０に該当する携帯端末２により、例えば図６のような流れで処理が行われることになる。

撮像装置１において撮像（ステップＳ９１）、カメラプロセス（ステップＳ９２）、メタデータ生成処理（ステップＳ９３）、画像ファイル生成処理（ステップＳ９４）が行われる。
ステップＳ９１の撮像とは、撮像素子部１２による撮像画像信号の出力（ＲＡＷデータ出力）を示している。
ステップＳ９２のカメラプロセスはいわゆる現像処理であり、撮像画像信号に対してカメラ信号処理部１３において行われる上述した各種の信号処理のことである。図３で説明した各種の補正処理を含む。
またステップＳ９３のメタデータ生成処理は、例えばセンサ部２３により得られるＩＭＵデータやカメラの制御信号に応じて画像に関連づけるメタデータを生成する処理であり、カメラ信号処理部１３或いはカメラ制御部１８において行われる。
カメラ信号処理部１３では、ステップＳ９２のカメラプロセスが行われた画像データとステップＳ９３のメタデータ生成処理で生成されたメタデータを含めてステップＳ９４の画像ファイル生成処理が行われ、画像ファイルＭＦが生成される。

画像ファイルＭＦは上述のように何らかの経路を経て携帯端末２に取得される。
携帯端末２では画像ファイルＭＦのインポート時の前処理（ステップＳ９５）として、画像ファイルＭＦを画像処理対象とし、また各フレームに対応づけたメタデータの記憶管理が行われる。
また、インポートされ前処理が行われた画像ファイルＭＦについてはステップＳ９６の画像処理を任意の時点で行うことができる。この画像処理では、揺れ補正部３３による揺れ補正や実効切り出し領域設定部３４による実効切り出し領域設定、実効切り出し領域画像生成処理部３５による平面投影及び切り出し処理等が行われる。
そして画像処理の経過や結果を表示或いは保存のためにステップＳ９７として保存／表示処理が行われる。
このような流れにより、ユーザは撮像装置１で撮像した動画を携帯端末２において画像処理し、再生、記憶、アップロード等をすることができる。

なお、図１Ｂのように撮像装置１が本開示の画像処理装置としての画像処理機能を備える場合、カメラ制御部１８やカメラ信号処理部１３において、図５のような機能を備えるようにすれば良い。
その場合の処理の流れを図７に示している。即ち撮像装置１内でステップＳ９５の前処理、ステップＳ９６の画像処理、ステップＳ９７の保存／表示処理も行われるようにした場合を示している。
また図１Ｂでは携帯端末２が撮像を行う場合も言及したが、その場合、この図７に示した処理が携帯端末２内で行われるようにすることが考えられる。

図８は他の例として、ＲＡＷデータを画像処理対象とする場合を示している。
例えば破線で囲って示すように撮像と画像処理が撮像装置１と携帯端末２で行われる場合、撮像装置１ではステップＳ９１の撮像により得た撮像画像信号（ＲＡＷデータ）と、ステップＳ９３のメタデータ生成処理で生成したメタデータにより、ステップＳ９４の画像ファイル生成処理を行って画像ファイルＭＦを生成する。ＲＡＷデータの場合は図６，図７のステップＳ９２としたカメラプロセスは行われない。
携帯端末２では、このような画像ファイルＭＦに対して前処理（ステップＳ９５）、画像処理（ステップＳ９６）、保存／表示処理（ステップＳ９７）を行う。
なお図８のようにＲＡＷデータを画像処理対象とする場合において、撮像装置１内で電子手ぶれ補正や光学手ぶれ補正が行われる場合も想定されるし、行われない場合も想定される。
付言すれば、カメラプロセスが行われる図６，図７の場合も、撮像装置１内で電子手ぶれ補正や光学手ぶれ補正が行われる場合も想定されるし、行われない場合も想定される。

また図８において一点鎖線で囲って示す撮像装置１（又は携帯端末２）は、撮像装置１内（又は携帯端末２内）で撮像やＲＡＷデータを対象とした画像処理が行われる場合を示したものである。
即ち撮像装置１内で、ステップＳ９５の前処理、ステップＳ９６の画像処理、ステップＳ９７の保存／表示処理が行われる場合も有り得る。
また携帯端末２内で、ステップＳ９１の撮像、ステップＳ９３のメタデータ生成処理、ステップＳ９４の画像ファイル生成処理が行われる場合も有り得る。

＜２．画像ファイル及びメタデータ＞
画像ファイルＭＦの内容とメタデータの内容を説明する。
図９Ａは画像ファイルＭＦに含まれるデータを示している。図示のように画像ファイルＭＦには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。

「ヘッダー」には、ファイル名、ファイルサイズ等の情報とともにメタデータの有無を示す情報などが記述される。
「サウンド」は動画とともに収録された音声データである。例えば２チャネルステレオ音声データが記録される。
「ムービー」は動画データであり、動画を構成する各フレーム（＃１、＃２、＃３・・・）としての画像データで構成される。
「メタデータ」としては、動画を構成する各フレーム（＃１、＃２、＃３・・・）に対応づけられた付加情報が記述される。

メタデータの内容例を図９Ｂに示す。例えば１つのフレームに対して、ＩＭＵデータ、座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰが記述される。なお、これらはメタデータ内容の一部であり、ここでは後述する画像処理に関連する情報のみを示しているものである。

ＩＭＵデータとしては、ジャイロ（角速度データ）、アクセル（加速度データ）、サンプリングレートが記述される。
センサ部２３として撮像装置１に搭載されるＩＭＵでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため１フレーム期間に多くのＩＭＵデータサンプルが得られるものとなっている。

そのため角速度データとしては、図９Ｃに示すジャイロサンプル＃１、ジャイロサンプル＃２・・・ジャイロサンプル＃ｎというように、１フレームについてｎ個のサンプルが対応づけられる。
また加速度データとしても、アクセルサンプル＃１、アクセルサンプル＃２・・・アクセルサンプル＃ｍというように、１フレームについてｍ個のサンプルが対応づけられる。
ｎ＝ｍの場合もあるし、ｎ≠ｍの場合もある。
なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばＩＭＵデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報ＴＭにおけるＩＭＵサンプルタイミングオフセットとして持つようにされる。

座標変換パラメータＨＰは、画像内の各画素の座標変換を伴う補正に用いるパラメータの総称としている。例えばレンズ歪みのような非線形な変化も含む。
そして、座標変換パラメータＨＰとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。

レンズ歪み補正パラメータは、樽型収差、糸巻き型収差などの歪みをどのように補正したかを直接または間接的に把握しレンズ歪補正前の画像に戻すための情報となる。メタデータの１つとしてのレンズ歪み補正パラメータに関するメタデータについて簡単に説明しておく。
図１０Ａにはレンズ系１１とイメージセンサ１２ａの模式図において、像高Ｙ、角度α、入射瞳位置ｄ１、射出瞳位置ｄ２を示している。
レンズ歪み補正パラメータは、画像処理においては、イメージセンサ１２ａの各画素についての入射角度を知りたいために用いられる。そのため像高Ｙ、角度αの関係がわかれば良い。

図１０Ｂはレンズ歪み補正前の画像１１０とレンズ歪み補正後の画像１１１を示している。最大像高Ｈ０は歪み補正前の最大像高であり、光軸の中心から最遠までの距離である。最大像高Ｈ１は歪み補正後の最大像高である。
像高Ｙ、角度αの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高Ｈ０と、Ｎ個の各像高に対する入射角度のデータｄ０、ｄ１、・・・ｄ（Ｎ－１）となる。“Ｎ”は一例として１０程度であることが想定される。

図９Ｂに戻って、台形歪み補正パラメータは、電子手ぶれ補正によって切り出し領域を中央からずらすことで生じる台形歪みを補正するときの補正量であり、電子手ぶれ補正の補正量に応じた値ともなる。

フォーカルプレーン歪み補正パラメータは、フォーカルプレーン歪みに対してライン毎の補正量を示す値となる。

電子手ぶれ補正及び光学手ぶれ補正に関しては、ヨー、ピッチ、ロールの各軸方向についての補正量を示すパラメータとなる。

なお、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正の各パラメータについては、座標変換パラメータと総称しているが、これらの補正処理は、撮像素子部２のイメージセンサ１２ａの各画素に結像した像に対する補正処理であって、各画素の座標変換を伴う補正処理のパラメータであるためである。光学手ぶれ補正も座標変換パラメータの１つとするが、光学手ぶれ補正においてフレーム間成分の揺れの補正は各画素の座標変換を伴う処理となるためである。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部１２のイメージセンサ１２ａに結像したときの状態に戻すことができる。

またレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正の各パラメータについては、被写体からの光学像自体が光学的に歪んだ状態で撮像された画像である場合に対する歪み補正処理であり、それぞれ光学歪み補正を目的とするものであるため、光学歪み補正パラメータと総称している。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。

メタデータにおけるタイミング情報ＴＭとしては、露光時間（シャッタースピード）、露光開始タイミング、読み出し時間（幕速）、露光フレーム数（長秒露光情報）、ＩＭＵサンプルオフセット、フレームレートの各情報が含まれる。
本実施の形態の画像処理においては、これらは主に各フレームのラインとＩＭＵデータを対応づけるために用いられる。
但しイメージセンサ１２ａがＣＣＤの場合であっても、 電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。

メタデータにおけるカメラパラメータＣＰとしては、画角（焦点距離）、ズーム位置、レンズ歪み情報が記述される。

＜３．画面遷移概要＞
携帯端末２における画像処理時の画面遷移の例を説明する。
図１１に携帯端末２の表示画面上に現れる各種画面の遷移を示している。各画面について簡単に説明する。
なお、以下説明する各画面のうち、プレビュー画面１０２、フレーミング画面１０３、トリミング画面１０４、スピード画面１０５、アスペクト比設定画面１０６、エクスポート画面１０８で出力される画像は、後述する図１４のステップＳＴ１９の処理を経た出力画像ｏＰＤである。
但し、これらの画面で出力される画像は、必ず下図１４の処理を経た出力画像ｏＰＤでなくてもよいが、その場合、ユーザが設定したり視認している領域と、最終的な図１４の処理後の領域や歪み具合が若干異なる可能性もある。

［インポート画面１０１］
動画処理のためのアプリケーションプログラムを起動すると、インポート画面１０１が現れる。
インポート画面１０１は動画処理開始前の画面である。このインポート画面１０１では画像ファイルＭＦのサムネイル等が表示され、処理対象とする画像ファイルＭＦをユーザが選択できるようにしている。
選択された画像ファイルＭＦは処理対象の画像ファイルＭＦとしてインポート及び前処理される。

［プレビュー画面１０２］
インポート画面１０１においてユーザが１又は複数の画像ファイルＭＦを選択する操作を完了することで、インポート処理を経て表示はプレビュー画面１０２に遷移する。プレビュー画面１０２ではインポートされた画像処理可能な動画（画像ファイルＭＦ）のリストが表示されるとともに、その中で指定された動画のプレビュー再生が可能とされる。

プレビュー画面１０２に示される画像ファイルＭＦについては、ユーザはプレビュー画面を起点として各種の画像処理のための操作、例えば明るさを変えたり色味を変えたりするなどの操作を行うことができる。
プレビュー画面１０２では、ユーザは選択した動画（画像ファイルＭＦ）の再生、動画の追加、削除、画像処理のリセットなどの操作を行うことができる。
動画再生はプレビュー画面１０２上で行われる。
画像処理対象とする動画の追加や新規プロジェクト（新たな画像処理アクション）の操作が行われた場合、インポート画面１０１に戻って選択が可能とされる。動画の削除（画像処理対象からの除外）はプレビュー画面１０２において可能とされる。

［フレーミング画面１０３］
プレビュー画面１０２からの所定の操作により、表示はフレーミング画面１０３に遷移する。フレーミング画面１０３はインポートした動画のうちで、プレビュー画面１０２で処理対象として指定した動画を個別にフレーミング処理するための画面である。
このフレーミング画面１０３では、例えば処理対象となっている動画の或るフレームの静止画像が表示された状態において、ユーザはそのフレームの画像上で、画像の実効切り出し領域の指定、画像の拡大縮小、画像の回転、トラッキングターゲット（追尾対象）の指定、トラッキングターゲットの画面内での配置位置の指定などの操作が可能とされる。
その後、フレーミング画面１０３からの所定の操作により、表示はプレビュー画面１０２に戻る。

フレーミング画面１０３で表示される画像は、或るフレーム（動画の先頭フレームや、一時停止されているフレームなど）の画像全体であったり、画像全体から切り出された一部である。ユーザは表示されている範囲を上下左右に移動させたり、拡大・縮小・回転の操作を行うことで、画像の実効切り出し領域を指定できる。
例を挙げる。図１２Ａは、或るフレームの画像全体１１４と、表示枠１１５を示している。この表示枠１１５の範囲がフレーミング画面１０３で表示される範囲であるとする。つまりフレーミング画面１０３上では、画像全体１１４のうちの一部が切り出されて表示されている。この表示枠１１５の範囲内が実効切り出し領域に相当する。

ユーザがフレーミング画面１０３上で例えばドラッグ操作やピンチアウト／ピンチイン操作などを行うことで、表示枠１１５に含まれる範囲を移動させたり、拡大・縮小・回転をさせることができる。
例えば画面上のドラッグ操作により、図１２Ａから図１２Ｂのように表示枠１１５に含まれる範囲が移動される。つまり表示枠１１５に対して画像が上下左右に移動されることで、表示される範囲が変化する。
またユーザが例えばピンチアウト／ピンチイン操作により画像の拡大・縮小を指示することで、表示枠１１５に含まれる範囲が変化する。例えば図１２Ｂから縮小操作が行われると、図１２Ｃのようになる。つまり表示枠１１５に含まれる（ユーザが視認している）画像が縮小されるように、表示枠１１５に対して画像全体１１４が縮小され、表示枠１１５に含まれる被写体の範囲が広くなる。即ち表示されている画像が縮小されることで、より広い範囲が表示される状態となる。
図示しないが、逆にユーザが拡大操作を行うことで、表示枠１１５に対して画像全体１１４が拡大され、表示枠１１５に含まれる被写体の範囲が狭くなる。即ちより狭い範囲が拡大されて表示される状態となる。
このような表示枠１１５で表示される範囲についての操作は、ユーザによる切り出し領域の指定操作となる。

またユーザは、以上のように実効切り出し領域を指定するとともにトラッキングターゲット及びその配置位置を指定できる。
例えばフレーミング画面１０３においてユーザがトラッキングターゲット指定のための操作を行うと、図１３Ａのようにターゲット指定照準１１６が表示される。ユーザはドラッグ操作やタップ操作などでターゲット指定照準の位置を任意に指定できる。例えば図１３Ｂのように人の顔の部分を指定することができる。
この図１３Ｂの状態では、当該人物の顔をトラッキングターゲットとして指定したことになり、さらに、トラッキングターゲットの画面内で右上に配置するという、トラッキングターゲットの画面内での配置位置を指定したことにもなる。

つまりフレーミング画面１０３では、表示枠１１５に含まれる範囲の選択により、実効切り出し領域を指定することができ、さらに表示枠１１５に含まれる範囲とトラッキングターゲット指定の操作を組み合わせることで、トラッキングターゲットの指定及びその配置位置の指定の操作が可能とされる。

以上の操作は、表示されている１フレームの静止画像上の操作として行われるが、同じ動画内の他のフレームについても、その指定が反映される。
表示枠１１５内の画像範囲の移動、拡大、縮小、回転のみでトラッキングターゲットが指定されていない場合は、各フレームでは、その画像範囲の移動、拡大・縮小・回転の操作で指定された範囲が固定的に実効切り出し領域となる。
一方で上記のように表示枠に含める画像範囲とともにトラッキングターゲット及びその配置位置が指定された場合、動画内の他のフレームは、その指定に応じて実効切り出し領域が計算されることになる。即ち動画を構成する各フレームでは、トラッキングターゲットの画面内位置も変化するため、フレーム毎に実効切り出し領域は計算されて変化する。
具体的には、各フレームでは、表示枠１１５の拡大縮小操作で指定された実効切り出し領域のサイズにおいて、指定されたトラッキングターゲットが、指定された配置位置に位置するように、実効切り出し領域がそれぞれ計算される。
トラッキングターゲットの大きさの変化に応じて、適切に実効切り出し領域の大きさを変化させても良い。

なお、フレーミング画面１０３では動画を再生表示しながら表示枠１１５に含まれる範囲の移動、拡大、縮小、回転の操作ができるようにしたり、トラッキングターゲット指定やその配置位置の指定操作ができるようにしてもよい。

［トリミング画面１０４］
プレビュー画面１０２からの所定の操作により、表示はトリミング画面１０４に遷移する。トリミング画面１０４はインポートした動画のうちで、プレビュー画面１０２で処理対象として指定した動画を個別にトリミング処理（時間軸方向のカット）するための画面である。
トリミング画面１０４では、動画内でトリミングする範囲を選択できる。例えば動画の時間軸方向にバーを表示し、切り取りする範囲の開始点、終了点を指定するような操作が可能とされる。
トリミング画面１０４からの所定の操作により、表示はプレビュー画面１０２に戻る。
なお、本明細書においてでは、トリミングは１フレーム内の一部領域を切り出す処理を含まない。

［スピード画面１０５］
プレビュー画面１０２からの所定の操作により、表示はスピード画面１０５に遷移する。スピード画面１０５はインポートした動画のうちで、プレビュー画面１０２で処理対象として指定した動画を個別にスピード処理するための画面である。
例えばスピード画面１０５では、動画内でスピード（再生速度）を設定する範囲を選択したり、当該範囲の再生速度を指定するような操作が可能とされる。
スピード画面１０５からの所定の操作により、表示はプレビュー画面１０２に戻る。
より具体的には、メタデータに含まれるタイミング情報ＴＭで設定されているフレームレートと異なるフレームレートとすることで、スローモーションや高速再生を行うための再生速度である。

［アスペクト比設定画面１０６］
プレビュー画面１０２からの所定の操作により、表示はアスペクト比設定画面１０６に遷移する。アスペクト比設定画面１０６はインポートした動画についてファイル単位で出力動画のアスペクト比を設定するための画面である。
なお、インポートした動画と設定された出力画像（出力動画）のアスペクト比が異なる場合は、フレーミング画面で行われる実効切り出し領域の設定と同様の意味合いを持つことがある。
即ち、フレーミング画面で実効切り出し領域が設定されていなくても、撮像領域から、アスペクト比が異なる出力画像の実効切り出し領域が設定されることになる。
例えばアスペクト比設定画面１０６では、「１：１」「４：５」「５：４」「１６：９」「９：１６」などのアスペクト比が選択可能とされる。
アスペクト比設定画面１０６からの所定の操作により、表示はプレビュー画面１０２に戻る。

なお、アスペクト比設定画面１０６の機能の全部又は一部、例えばアスペクト比の一括選択操作は例えばプレビュー画面１０２上で表示させるダイアログなどにより操作可能としてもよい。
またアスペクト比設定画面１０６を、インポートした動画のうちで、プレビュー画面１０２で処理対象として指定した動画を構成する複数フレームの全体のアスペクト比を設定できるようにするための画面としてもよい。

［設定画面１０７］
プレビュー画面１０２からの所定の操作により、表示は設定画面１０７に遷移する。設定画面１０７では当該アプリケーションプログラムの動作等についての設定操作が可能とされる。
設定画面１０７からの所定の操作により、表示はプレビュー画面１０２に戻る。

［エクスポート画面１０８］
プレビュー画面１０２からの所定の操作により、表示はエクスポート画面１０８に遷移する。エクスポート画面１０８は、上記各画面で行った画像処理内容を反映させた動画を書き出す処理を行っているときの画面である。即ちユーザは、各種画像処理の操作を行ったら、プレビュー画面１０２に戻ってエクスポートを指示する。これにより、エクスポート画面１０８に遷移し、画像処理内容どおりに加工された動画の書き出し処理が実行される。
書き出された動画は、ユーザは任意に記録したり、携帯端末２のネットワーク通信を介してウェブサイト、ＳＮＳ（Social Networking Service）等にアップロードしてシェアしたりすることができる。
なお、書き出し処理中にユーザがキャンセル操作をおこなった場合や、書き出し処理が完了した場合、表示はプレビュー画面１０２に戻る。

＜４．画像処理＞
以上の各画面でのユーザインタフェースを行いながら実行される動画に関する処理の具体例を説明していく。
図１４は、図５の前処理部３１（ＣＰＵ７１）によって動画（画像ファイルＭＦ）のインポート時に行われる前処理としての手順、及び画像処理部３２（ＣＰＵ７１）によって行われる画像処理としての手順を示すとともに、各処理で用いる情報の関係性を示している。

まず前処理について説明する。前処理はインポート画面１０１で画像処理対象として選択された画像ファイルＭＦに対して行われる。この前処理では、メタデータ抽出（ステップＳＴ１）、全ＩＭＵデータ連結（ステップＳＴ２）、メタデータの保持（ステップＳＴ３）、クオータニオン（撮像装置１の姿勢情報）への変換、保持（ステップＳＴ４）が行われる。

ステップＳＴ１のメタデータ抽出としては、前処理部３１は、対象の画像ファイルＭＦを読み込んで、図９で説明したように画像ファイルＭＦに含まれているメタデータを抽出する。
なおステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の一部又は全部を撮像装置１側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。

前処理部３１は、抽出されたメタデータのうち、ＩＭＵデータ（角速度データ（ジャイロサンプル）と加速度データ（アクセルサンプル））については、ステップＳＴ２で連結処理を行う。
これは、全フレームについて対応づけられているＩＭＵデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するＩＭＵデータを構築する処理となる。
そして連結したＩＭＵデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置１の姿勢を表すクオータニオン（Quaternion）ＱＤを算出し、これを記憶保持する。クオータニオンＱＤを算出するとしているのは一例である。
なお角速度データのみでクオータニオンＱＤを計算することもできる。

前処理部３１は、抽出されたメタデータのうち、ＩＭＵデータ以外のメタデータ、即ち座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰについては、ステップＳＴ３で保持する処理を行う。即ち各フレームに対応した状態で座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰを記憶する。

以上の前処理が行われることで、上述したプレビュー画面１０２を起点とする各画面によるインタフェースを介して、各種の画像処理が行われる。
図１４の画像処理は、フレーミング画面１０３でユーザに指定される実効切り出し領域の情報を反映させながら、プレビュー画面１０２、フレーミング画面１０３、トリミング画面１０４、スピード画面１０５、アスペクト比設定画面１０６としての各画面で、画像ファイルＭＦの動画或いは一時停止中の静止画が再生される際に定常的に行われる処理を示している。

画像処理部３２（ＣＰＵ７１）は、動画１フレーム取り出し（ステップＳＴ１１）、撮像装置内部補正キャンセル（ステップＳＴ１２）、天球モデルへの貼り付け（ステップＳＴ１３）、同期処理（ステップＳＴ１４）、揺れ補正（ＳＴ１５）としての各処理を行う。これらステップＳＴ１１からＳＴ１５の処理は、図５の揺れ補正部３３の機能による処理となる。
また画像処理部３２（ＣＰＵ７１）は、トラッキング（ステップＳＴ１６）、出力領域指定（ステップＳＴ１７）、はみ出し防止（ステップＳＴ１８）としての各処理を行う。これらステップＳＴ１６、ＳＴ１７、ＳＴ１８の処理は、図５の実効切り出し領域設定部３４の機能による処理となる。
また画像処理部３２（ＣＰＵ７１）は、平面投影及び切り出し（ステップＳＴ１９）の処理を行う。このステップＳＴ１９の処理は、図５の実効切り出し領域画像生成処理部３５の機能による処理となる。

画像処理部３２は、以上のステップＳＴ１１からＳＴ１９の各処理は、画像ファイルＭＦの画像再生の際に毎フレームについて行うことになる。例えば上述のフレーミング画面１０３やトリミング画面１０４等の各画面における画像表示の際に、ステップＳＴ１１からＳＴ１９の各処理が毎フレームについて行われる。

ステップＳＴ１１で画像処理部３２は、フレーム番号ＦＮに沿って動画（画像ファイルＭＦ）の１フレームをデコードする。そして１フレームの画像データＰＤ（＃ＦＮ）を出力する。なお『（＃ＦＮ）』はフレーム番号を示し、そのフレームに対応する情報であることを表すものとする。
なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップＳＴ１１でのデコード処理は不要である。

ステップＳＴ１２で画像処理部３２は、１フレームの画像データＰＤ（＃ＦＮ）について撮像装置１で行われた内部補正をキャンセルする処理を行う。このために、前処理時に当該フレーム番号（＃ＦＮ）に対応して記憶された座標変換パラメータＨＰ（＃ＦＮ）を参照し、撮像装置１で行われた補正とは逆補正を行う。これにより撮像装置１におけるレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正がキャンセルされた状態の画像データｉＰＤ（＃ＦＮ）を得る。

ステップＳＴ１３で画像処理部３２は、各種補正がキャンセルされた状態の１フレームの画像データｉＰＤ（＃ＦＮ）について天球モデルへの貼付を行う。このとき、当該フレーム番号（＃ＦＮ）に対応して記憶されたカメラパラメータＣＰ（＃ＦＮ）、即ち画角、ズーム位置、レンズ歪み情報を参照する。

図１５に天球モデルへの貼付の概要を示す。
図１５Ａに画像データｉＰＤを示している。像高ｈは画像中心からの距離である。図中の各円は像高ｈが等しくなる位置を示している。
この画像データｉＰＤのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から図１５Ｂのような像高ｈと入射角φの関係の１次元のグラフとして表現する。入射角φは光線の角度（光軸から見た角度）である。
この１次元のグラフを撮像画像の真ん中を中心に１回転させて、各ピクセルと入射角の関係を求める。
それに従って図１５Ｃの画素Ｇ１から天球座標上の画素Ｇ２のように、画像データｉＰＤの各画素について天球モデルＭＴへのマッピングを行うことになる。

以上によりレンズ歪みが除去された状態で撮像画像を理想天球面に貼り付けた天球モデルＭＴの画像（データ）が得られる。この天球モデルＭＴは、その画像データｉＰＤを元々撮像した撮像装置１の固有のパラメータや歪みが除去され、理想的なピンホールカメラで見える範囲が、天球面に貼ってあるものとなっている。
従ってこの状態で天球モデルＭＴの画像を所定方向に回転させることで、揺れ補正が実現できることになる。

ここで揺れ補正には撮像装置１の姿勢情報（クオータニオンＱＤ）を用いることになる。このために画像処理部３２はステップＳ１４で同期処理を行うようにしている。
同期処理では、フレーム番号ＦＮに対応して、ライン毎に適したクオータニオンＱＤ（＃ＬＮ）を特定し取得する処理を行う。なお『（＃ＬＮ）』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。

なお、ライン毎のクオータニオンＱＤ（＃ＬＮ）を用いるのは、イメージセンサ１２ａがＣＭＯＳ型でローリングシャッター方式の撮像が行われる場合、ライン毎に揺れの量が異なるためである。
例えばイメージセンサ１２ａがＣＣＤ型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンＱＤ（＃ＦＮ）を用いれば良い。
なお、イメージセンサ１２ａとしてのＣＣＤやＣＭＯＳのグローバルシャッターの時でも電子シャッター（メカシャッターでも同様）を用いていると重心がずれるので、フレームの露光期間の中心（電子シャッターのシャッター速度に応じてずれる）のタイミングのクオータニオンを用いると良い。

ここで画像に現れるブラーについて考慮する。
ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減／解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、ＣＭＯＳのローリングシャッターではラインごとに露光期間が異なる。

そこでステップＳＴ１４の同期処理では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準としてクオータニオンＱＤを取得するようにする。
図１６には、撮像装置１の垂直期間の同期信号ｃＶと、この同期信号ｃＶから生成されるイメージセンサ１２ａの同期信号ｓＶ、及びＩＭＵデータのサンプルタイミングを示すとともに、露光タイミング範囲１２０を示している。
露光タイミング範囲１２０は、ローリングシャッター方式で露光時間ｔ４としたときの１フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号ｃＶと同期信号ｓＶの時間的なオフセットｔ０、ＩＭＵサンプルタイミングオフセットｔ１、読み出し開始タイミングｔ２、読み出し時間（幕速）ｔ３、露光時間ｔ４を示している。なお読み出し開始タイミングｔ２は同期信号ｓＶから所定時間ｔ２ｏｆを経たタイミングとなる。
各ＩＭＵサンプルタイミングで得られる各ＩＭＵデータについてはフレームに紐づけられる。例えば期間ＦＨ１におけるＩＭＵデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間ＦＨ１におけるＩＭＵデータは次のフレームに紐付いたメタデータとされる。但し図１４のステップＳＴ２で全ＩＭＵデータを連結することで、各フレームとＩＭＵデータの紐付けを解除し時系列でＩＭＵデータを管理できる状態になっている。
この場合に、現フレームの各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。これはＩＭＵデータとイメージセンサ１２ａの有効画素領域との時間的な関係がわかれば計算できる。

そこで当該フレーム（＃ＦＮ）に対応するタイミング情報ＴＭとして取得できる情報を用いて、各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。
即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、ＩＭＵサンプルオフセット、フレームレートの情報である。
そして露光重心のＩＭＵデータから計算されたクオータニオンＱＤを特定し、ライン毎の姿勢情報であるクオータニオンＱＤ（＃ＬＮ）とする。

このクオータニオンＱＤ（＃ＬＮ）はステップＳ１５の揺れ補正に提供される。
画像処理部３２はステップＳ１５の揺れ補正では、ステップＳ１４でフレームの画像が貼り付けられた天球モデルＭＴの画像を、ライン毎にクオータニオンＱＤ（＃ＬＮ）を用いて姿勢の変化（揺れ）をキャンセルさせるように回転させることで、揺れ補正を行う。揺れ補正済天球モデルｈＭＴの画像は、ステップＳＴ１９の処理に送られる。

そしてステップＳＴ１９で画像処理部３２は、揺れ補正済天球モデルｈＭＴの画像を平面に投影し、切り出すことで、揺れ補正がなされた画像（出力画像データｏＰＤ）が得られる。

この場合、天球モデルＭＴの回転により揺れ補正が実現されているとともに、天球モデルＭＴを用いることで、どこを切り出しても台形状にならないため結果として台形歪みも解消されていることになる。また上述のように天球モデルＭＴは理想的なピンホールカメラで見える範囲が天球面に貼ってあるものとなっているためレンズ歪みもない。天球モデルＭＴの回転がライン毎のクオータニオンＱＤ（＃ＬＮ）に応じて行われることで、フォーカルプレーン歪み補正も解消されている。
さらにクオータニオンＱＤ（＃ＬＮ）が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。

ステップＳ１９で平面投影された後の画像と天球モデルＭＴの対応付けは次のようになる。
図１７Ａは、平面投影する矩形の座標平面１３１の一例を示している。平面投影される画像の各座標を（ｘ，ｙ）とする。
図１７Ｂに示すように座標平面１３１を、天球モデルＭＴの真上に真ん中で接するように３次元空間上に配置（正規化）する。即ち、その座標平面１３１の中心が天球モデルＭＴの中心と一致し、かつ天球モデルＭＴと接する位置に配置されるようにする。

この場合、ズーム倍率や実効切り出し領域ＣＬのサイズに基づいて座標を正規化する。例えば図１７Ａのように座標平面１３１の水平座標を０乃至ｏｕｔｈとし、垂直座標を０乃至ｏｕｔｖとする場合、ｏｕｔｈおよびｏｕｔｖが画像サイズとされる。そして例えば、次の式により座標を正規化する。

上記（数１）において、ｍｉｎ（Ａ、Ｂ）は、ＡおよびＢのうち値が小さい方を返す関数である。また、「ｚｏｏｍ」は、拡大縮小を制御するためのパラメータである。
またｘnorm、ｙnorm、ｚnormは、正規化したｘ、ｙ、ｚ座標である。
上記（数１）の各式により、座標平面１３１の座標は、半径１．０の半球の球面上の座標に正規化される。

実効切り出し領域ＣＬの向きを求めるための回転は図１８Ａのように、座標平面１３１を回転行列演算により回転させる。即ち下記（数２）の回転行列を使用し、パン角、チルト角およびロール角で回転させる。ここではパン角は、座標をｚ軸周りに回転させる回転角度である。また、チルト角は、座標をｘ軸周りに回転させる回転角度であり、ロール角は、ｙ軸周りに回転させる回転角度である。

上記（数２）において、「Ｒｔ」はチルト角、「Ｒｒ」はロール角、「Ｒｐ」はパン角である。また、（ｘrot、ｙrot、ｚrot）は回転後の座標である。

この座標（ｘrot、ｙrot、ｚrot）を透視射影での天球対応点算出に用いる。
図１８Ｂのように、座標平面１３１を、天球表面に透視射影する（領域１３２）。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。

（数３）において、ｘsph、ｙsph、ｚsphは座標平面１３１上の座標を天球モデルＭＴの表面上の座標に射影した座標である。
この関係で平面投影された画像データが得られる。

以上は、実効切り出し領域設定部３４による処理を考慮せずに説明したが、例えば以上のような手法で平面に投影された画像についての実効切り出し領域が、図１４のステップＳＴ１６、ＳＴ１７，ＳＴ１８の処理で設定されることになる。

ステップＳＴ１６として画像処理部３２はトラッキングを行う。
このトラッキング処理は、ユーザによる操作情報ＤＲ１により指定されたトラッキングターゲットが、現フレームの画像データＰＤ（＃ＦＮ）のうちで、どの位置に存在するかを検出する処理となる。

操作情報ＤＲ１とは、図１３で説明したようにフレーミング画面１０３においてターゲット指定照準１１６を操作して、トラッキングターゲットを指定する操作の情報である。
画像処理部３２は、トラッキングターゲットを指定する操作が行われた場合、指定された被写体を認識し、追尾対象として記憶する。そしてその後、フレーム毎に、当該トラッキングターゲットの画面内の位置を判定する処理を行っていくことになる。
トラッキングターゲットの画面内の位置の判定は、画像解析による被写体判定（例えば顔判定、人物判定など）を行ったり、前フレームのトラッキングターゲットの画面内位置情報ＴＰｐを用いて行う。
そして判定した現フレームの画像データＰＤ（＃ＦＮ）におけるトラッキングターゲットの画面内位置情報ＴＰをステップＳ１７の処理に提供する。画面内位置情報ＴＰは、現在のフレームの座標系において、トラッキングターゲットが撮像されている範囲を座標値により示した情報であればよい。

ステップＳＴ１７で画像処理部３２は出力領域指定を行う。これはユーザ操作による操作情報ＤＲ２に応じて要求切り出し領域ＣＬｒｑを設定する処理である。画像のうちで最終的に出力画像として表示させようとする領域を要求切り出し領域ＣＬｒｑとして指定する処理ともいえる。
ここでの要求切り出し領域ＣＬｒｑの設定とは、次のステップＳＴ１８の処理を行う前の仮設定（実際に切り出し処理を行う領域としての実効切り出し領域ＣＬの候補）という意味である。このステップＳＴ１７は、ユーザ操作やトラッキングターゲットの情報に基づいて実効切り出し領域ＣＬを指定する処理であるが、後述するはみ出し防止処理で修正する前の実効切り出し領域ＣＬを、要求切り出し領域ＣＬｒｑと呼んでいる。
例えばはみ出し防止処理が行われない場合や、はみ出し防止処理が行われても実質的な修正が行われない場合など、ステップＳＴ１７で設定される要求切り出し領域ＣＬｒｑがそのまま実効切り出し領域ＣＬとなる場合もある。

ユーザにより入力される操作情報ＤＲ２としては、実効切り出し領域ＣＬの指定操作、アスペクト比の選択操作、トラッキングターゲット配置位置の指定操作についての情報を含む。
実効切り出し領域の指定操作の操作情報とは、図１２で説明したようにフレーミング画面１０３において表示枠１１５に入る範囲を指定する操作の情報となる。
アスペクト比の選択操作の操作情報とは、アスペクト比設定画面１０６で選択したアスペクト比の操作情報である。アスペクト比設定画面１０６での選択により、例えばフレーミング画面１０３等における表示枠１１５のアスペクト比が変化することで、ユーザは任意のアスペクト比を指定した上で、そのアスペクト比の状態において、フレーミング画面１０３で実効切り出し領域を指定できる。

トラッキングターゲット配置位置の指定操作の操作情報とは、図１３Ｂのように画面内でトラッキングターゲットをどの位置に配置するかを指定する操作の情報である。
トラッキングターゲットの配置位置の情報は、画像データＰＤのフレーム内の座標系ではなく、選択されたアスペクト比としての固定の表示枠１１５内の座標系としての座標値であればよい。

画像処理部３２はステップＳ１７において、これらの操作情報ＤＲ２と、トラッキングターゲットの画面内位置情報ＴＰを用いて、要求切り出し領域ＣＬｒｑを設定する。
具体的には例えば、操作情報ＤＲ２における切り出し領域の指定操作とアスペクト比の選択操作に応じて切り出し領域としての座標範囲を計算する。そしてトラッキングターゲットの画面内位置情報ＴＰ（画像データＰＤのフレーム内での座標値）が、実効切り出し領域としての表示枠１１５内の座標系で配置位置として指定された座標値に一致（又は近接）するようにする。

このようにすると、例えば図１３Ｂのように被写体となっている人の顔がトラッキングターゲットとされ、画面の中央より右上の位置にトラッキングターゲットの配置位置とされた場合、各フレームにおいて、顔の位置が中央より右上の位置になるように実効切り出し領域が設定されることになる。

なお必ずしも、画面内位置情報ＴＰ（画像データＰＤのフレーム内での座標値）で示される領域（例えば顔画像の領域）の全部又は一部が、トラッキングターゲット配置位置に厳密に該当するようにする必要はない。これはフレーム毎にフレーム内での顔の位置が大きく変化したり、顔を撮像している画素範囲（画面上の顔のサイズ）が変化したり、顔部分がフレームアウトして追従しきれないこともあるためである。或いは、以降で説明するはみ出し防止処理のためにターゲット配置位置に一致させることができない場合も考えられる。その意味で、できるだけトラッキングターゲットの位置（画面内位置情報ＴＰ）を、操作により指定されたトラッキングターゲット配置位置（表示枠１１５内での特定の位置）に近づけるようにすればよい。

以上のように設定された要求切り出し領域ＣＬｒｑについては、画像処理部３２はステップＳＴ１８のはみ出し防止処理を加え、その結果を実際にステップＳ１９で使用する実効切り出し領域ＣＬとするようにしている。
このはみ出し防止処理では、当該フレームを含む前後の複数フレームについてのクオータニオンＱＤ（＃ＬＮ）や座標変換パラメータＨＰを用いる。

例えばステップＳＴ１７で設定した候補としての要求切り出し領域ＣＬｒｑをそのままステップＳ１９で使用することもできるが、すると、表示枠１１５内に相当する範囲が、天球モデルＭＴを用いた揺れ補正で回転させて投影させた範囲を越えてしまって、揺れ補正が有効に機能しなくなったり、イメージセンサ１２ａの画素範囲を越えてしまって表示される画像の一部が欠ける画欠けが生じてしまうことがある。
そこでこれらが生じずに品質のよい動画を出力できるようにするための切り出し領域を制限するはみ出し防止処理を行う。

はみ出し防止処理は図１９に示す撮像領域との紐付け（第１処理）、可動領域（以下「アベイラブルエリア」ともいう）の算出（第２処理）、表示範囲の修正（第３処理）という３段階の処理で行われる。
この図１９では、撮像領域（以下「キャプチャードエリア」ともいう）６１、アベイラブルエリア（可動領域）６２、要求切り出し領域ＣＬｒｑ、実効切り出し領域ＣＬを示している。

キャプチャードエリア（撮像領域）６１とは画像が写っていることで被写体の表示が可能な領域である。つまり被写体が撮像された範囲である。
アベイラブルエリア（可動領域）６２は、前後のフレームの揺れを考慮した、切り出しを許容する領域である。つまりステップＳＴ１５での揺れ補正天球モデルＭＴの回転による揺れ補正を有効に保つ範囲である。

要求切り出し領域ＣＬｒｑは、ユーザ操作やトラッキング結果に従って決まる、表示したい領域である。
実効切り出し領域ＣＬは、アベイラブルエリア６２に収まるように要求切り出し領域ＣＬｒｑを移動したものである。この実効切り出し領域ＣＬが、実際に切り出される領域となる。

そして図１９の第１処理（撮像画角との紐付けの処理）は、天球モデルＭＴ上でキャプチャードエリア６１を設定する処理であり、これは撮像領域と一致する。
具体的には、座標変換パラメータＨＰを使って、画角やレンズの歪みを考慮して天球モデルＭＴ上に撮像領域を割り当てる処理となる。
割り当てる領域は、座標変換パラメータＨＰを使った逆補正が適用されたものを用いる。
さらに天球モデルＭＴ上で揺れ補正を適用するため、図１９に示すキャプチャードエリア６１は天球モデルＭＴ上で揺れをキャンセルする方向を向いている。

第２処理（可動領域の算出）は、前後のフレームの情報を用いて現フレームのアベイラブルエリア６２（可動領域）を算出する処理である。
第３処理（表示範囲の修正）は、算出されたアベイラブルエリア６２を用いて、要求切り出し領域ＣＬｒｑを、実効切り出し領域ＣＬに修正する処理となる。

少なくとも最終的に実効切り出し領域ＣＬが、被写体が存在するキャプチャードエリア６１内であれば再生画像や表示画像において画欠けは生じないことになる。つまり切り出し領域がキャプチャードエリア６１からはみ出さなければ画欠けは生じない。
図２０Ａは、フレーム＃ｉ、＃ｉ＋１、＃ｉ＋２においてキャプチャードエリア６１と切り出し領域６０の関係を示している。
揺れの影響でキャプチャードエリア６１に含まれる（つまり撮像されている）被写体範囲は変動する。ここで揺れ補正を有効に保つように各フレームの切り出し領域６０を設定すると、例えばフレーム＃ｉ＋１では破線で示す切り出し領域６０となり、画欠けが生じることとなってしまう。

その一方で、キャプチャードエリア６１内の全域について切り出し領域６０の移動を許容し、画欠けが生じないようにすると、せっかく補正した揺れの動きがダイレクトに現れてしまう場合がある。つまり揺れ補正が有効に働かない状態になる。例えばフレーム＃ｉ＋１の切り出し領域６０は実線で示すようになり、画欠けは生じないようにすることができるが、揺れが現れる。

そこで揺れ補正が有効に維持できる範囲としてアベイラブルエリア６２を算出し、はみ出し防止としては、切り出し領域６０がアベイラブルエリア６２をはみ出さないようにする。
具体的には前後のフレームのゆれ情報を使って、切り出し領域６０が予めはみ出しそうな部分には行かないように余裕を持った枠としてアベイラブルエリア６２を設定し、切り出し領域６０をその範囲でのみ動かすようにする。
アベイラブルエリア６２は揺れ補正マージンとしての意味を持つため、揺れの大きさに従ってフレーム毎に動的に変化することになる。

図２０Ｂにフレーム＃ｉ、＃ｉ＋１、＃ｉ＋２においてキャプチャードエリア６１内でアベイラブルエリア６２を設定し、切り出し領域６０がアベイラブルエリア６２からはみ出さないようにした様子を示している。この場合、画欠けも生じず、かつ揺れ補正も有効に維持されることになる。
はみ出し防止処理では、各フレームについて、この図２０Ｂの切り出し領域６０のような実効切り出し領域ＣＬが得られるように要求切り出し領域ＣＬｒｑを修正することになる。

アベイラブルエリア６２の算出例について説明する。
第１の算出手法を図２１に示す。
アベイラブルエリア６２は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア６１（撮像領域）を用いて設定する。この場合に、アベイラブルエリア６２は、複数フレームの各フレームにおいて揺れ補正した状態のキャプチャードエリア６１に共通に含まれる範囲とする。

図２１Ａに、現在のフレームをフレーム＃ｉとしたときに前後に連続する複数のフレーム（フレーム＃ｉ－ｍからフレーム＃ｉ＋ｍ）のキャプチャードエリア６１を重ねたものを示している。
各フレームのキャプチャードエリア６１は揺れ補正を反映して天球モデルＭＴに紐づけられている。つまり、各フレームについて、座標変換パラメータＨＰを使って、画角やレンズの歪みを考慮して天球モデルＭＴ上に撮像画角（キャプチャードエリア６１）を割り当て、さらにクオータニオンＱＤ（＃ＬＮ）を用いて回転させる。図ではこのように天球モデルＭＴに紐づけられてそれぞれ揺れ補正をキャンセルする方向を向いているキャプチャードエリア６１を重ねて示している。

複数のフレームのキャプチャードエリア６１に共通に含まれる範囲、つまりＡＮＤをとった範囲とは、図２１Ａの斜線を付した範囲であり、これを図２１Ｂに示すようにアベイラブルエリア６２とする。
各フレームのキャプチャードエリア６１は揺れ補正の分だけ動いているため、前後±ｍ個のフレームのキャプチャードエリア６１を重ねてＡＮＤを取ることで、その共通の範囲は、キャプチャードエリア６１内にいることが補償される。そこで、この範囲をアベイラブルエリア６２とする。
ＡＮＤの取り方としては、必ず凸多角形になるので、２つの凸多角形の交差を取る処理をキャプチャードエリア６１の数だけ繰り返せばよい。

なお、現在のフレームから時間的に離れたフレームほど、その寄与度合を小さくするために、キャプチャードエリア６１に揺れ補正を掛ける量を小さくしたり、揺れ補正を掛ける前の枠を大きくしても良い。
時間的距離に応じて寄与度合の調整をしないと、±ｍフレームの範囲から大きな揺れが生じているフレームが抜けた場合にアベイラブルエリア６２の形が不連続に変化してしまう。これに対し、時間的に遠いフレームのキャプチャードエリア６１については、アベイラブルエリア６２への寄与度合いを下げることで、アベイラブルエリア６２が一時的に大きく変動するようなことを防止できる。

また±ｍフレームの範囲のキャプチャードエリア６１を用いることとしたが、時間軸で後の方向に連続する＋ｍフレームまでのキャプチャードエリア６１を用いることも考えられる。

アベイラブルエリア６２の算出例として第２の算出手法を図２２で説明する。これは、アベイラブルエリア６２を、複数フレームの各フレームについてのキャプチャードエリア６１の各端点の変化の低周波変動成分６１Ｌを、各フレームのキャプチャードエリア６１内に収まるようにしたときに示される範囲とする例である。
具体的には、ローパスフィルタを掛けたクオータニオンＱＤに基づいてアベイラブルエリア６２を算出する手法である。

図２２Ａは、図示及び説明の簡略化のため一次元で表現しているが、実線は各フレームでのキャプチャードエリア６１の上端及び下端の変化を示す。即ち揺れによるフレーム毎の変化である。
破線はローパスフィルタをかけることで得たキャプチャードエリア６１の上端及び下端の低周波変動成分６１Ｌである。
一点鎖線がアベイラブルエリア６２としての上端と下端を示す。

ここでアベイラブルエリア６２は、複数のフレームにおいてキャプチャードエリア６１内であることを保証したいエリアともいえるが、ローパスフィルタを掛けただけでは、キャプチャードエリア６１の内側にいることは保証できない。
そこでキャプチャードエリア６１の低周波変動成分６１Ｌが、キャプチャードエリア６１からはみ出した量を時間的な距離で重みづけして補償することで、滑らかにキャプチャードエリア６１の内側に収めるようにアベイラブルエリア６２を求める。
図２２Ｂは、図２２Ａの一部（±ｍフレームの範囲）を拡大し、矢印で重みづけの方向を示している。
図２２Ｃは、低周波変動成分６１Ｌをキャプチャードエリア６１内に収める重み付けを二次元で示している。

具体的な計算の例は次のようになる。
各フレーム（＃ｉ）について、低周波変動成分６１Ｌをキャプチャードエリア６１内に収めるのに必要なクオータニオン（q_crct i）を求める。
ｊ∈［－ｍ，ｍ］について、
Ｗｊ＝１－｜ｊ／ｍ｜
q_crct_smooth i＝ｍａｘ｛slerp(q_crct i+j，q_identity；Ｗｊ)｝
として、なめらかに補正するためのクオータニオンq_crct_smooth iを４つの端点全てについて求める（なお、この式は“ｊ”に対するｍａｘ関数である）。
クオータニオンq_crct_smooth iは図２２Ｂに矢印で示す重み付けの最大値に相当する。
なおslerpは球面線形補間、q_identity は単位クオータニオンである。

これを図２２Ｃのように低周波変動成分６１Ｌの端点毎に計算し、適用する。
クオータニオンq_crctは低周波変動成分６１Ｌの端点毎に、キャプチャードエリア６１の中心に方向に回転させた際のキャプチャードエリア６１の辺とぶつかるまでの回転量として求められる。

アベイラブルエリア６２は以上の第１、第２の算出手法などにより計算できる。
但し、以上の例のように前後のフレームの動きを使ってアベイラブルエリア６２を作ると、動きが大きい場合、アベイラブルエリア６２が、要求切り出し領域ＣＬｒｑが収まらないほど小さくなることがある。
図２３Ａは、フレーム間で激しい動きがあって揺れ補正後のキャプチャードエリア６１が大きくずれている状態を示している。この場合、アベイラブルエリア６２が図２３Ｂのように小さくなり、要求切り出し領域ＣＬｒｑが収まらない。

そこでアベイラブルエリア６２に要求切り出し領域ＣＬｒｑが収まらないサイズ又は形状となる場合は、要求切り出し領域ＣＬｒｑが収まるようにアベイラブルエリア６２を拡張することとする。

その手法として、図２３Ｃのように、アベイラブルエリア６２の中心に要求切り出し領域ＣＬｒｑを合わせ、はみ出した分が収まるようにアベイラブルエリア６２を更新する。即ち図２３Ｄのように更新する。
具体的には、図２３Ｃの状態で「アベイラブルエリア６２の外側にある要求切り出し領域ＣＬｒｑの頂点」「要求切り出し領域ＣＬｒｑの外側にあるアベイラブルエリア６２の頂点」の集合で新たな凸多角形を作り、それを図２３Ｄの拡張したアベイラブルエリア６２とする。

このとき、アベイラブルエリア６２の拡張によって、アベイラブルエリア６２がキャプチャードエリア６１内に収まることが保証できなくなる。例えば図２３Ｅのようにアベイラブルエリア６２がキャプチャードエリア６１からはみ出すことが有り得る。
そこで図２３Ｄのように、アベイラブルエリア６２をキャプチャードエリア６１内に収まるように移動させる。

以上のようなアベイラブルエリア６２の拡張を行うことで、揺れが激しい場合にも対応できるようにする。

続いて図１９で第３処理として示した表示範囲の修正について説明する。即ち計算したアベイラブルエリア６２内に要求切り出し領域ＣＬｒｑが収まるように修正する処理である。
要求切り出し領域ＣＬｒｑがアベイラブルエリア６２からはみ出している場合、要求切り出し領域ＣＬｒｑを移動させることになるが、移動方向としてはヨー方向、ピッチ方向、ロール方向がある。

本例では、要求切り出し領域ＣＬｒｑがアベイラブルエリア６２からはみ出している場合、ヨー成分とピッチ成分の修正を優先させる。
即ち図２４Ａのように、要求切り出し領域ＣＬｒｑを、アベイラブルエリア６２の中心ＣＴに向かって必要最低限の量だけ動かす。ここではロール成分は変更せず、ヨー成分とピッチ成分の変更により移動させる（矢印ｙｐ）。
この移動により要求切り出し領域ＣＬｒｑがアベイラブルエリア６２に収まれば、それで表示範囲の修正を完了させる。即ち移動された要求切り出し領域ＣＬｒｑを実効切り出し領域ＣＬとする。

一方、アベイラブルエリア６２の形状やサイズによっては、ヨー成分とピッチ成分の変更による移動のみでは、要求切り出し領域ＣＬｒｑがうまくアベイラブルエリア６２に収まらないこともある。
そのような場合には、まずアベイラブルエリア６２の中心に要求切り出し領域ＣＬｒｑの中心が重なるようにする。そして図２４Ｂ、図２４Ｃのように、ロール成分の変更を行う。この場合、各図で矢印Ｒとして示すように、要求切り出し領域ＣＬｒｑの全体をアベイラブルエリア６２内に収めるために必要な最小の回転量だけ回転させる。そして収まった状態の要求切り出し領域ＣＬｒｑを実効切り出し領域ＣＬとする。

図２５は、以上のはみ出し防止処理の全体の流れを示している。
この図では現在のフレーム＃ｉの前後ｍフレーム（フレーム＃ｉ－ｍからフレーム＃ｉ＋ｍ）を示している。
各フレームについては、それぞれステップＳ２０として、対応する座標変換パラメータＨＰ（ＨＰ（＃ｉ－ｍ）・・・ＨＰ（＃ｉ＋ｍ））を用いて天球モデルＭＴと撮像画角の紐付けが行われる。これにより理想天球上でキャプチャードエリア６１が表現される。

その上でステップＳ２１として、対応するクオータニオンＱＤ（ＱＤ（＃ｉ－ｍ）・・・ＱＤ（＃ｉ＋ｍ））を用いて揺れ補正が行われる。
なお、例えばフレーム＃ｉに対応するクオータニオンＱＤ（＃ｉ）とは、当該フレーム＃ｉにおけるライン毎に対応するクオータニオンＱＤ（ＬＮ）のこととなる。
このステップＳ２１により、天球モデルＭＴ上で揺れをキャンセルするような方向を向いたキャプチャードエリア６１が表現される。

これらのフレーム毎のキャプチャードエリア６１を用いて、ステップＳ２２でアベイラブルエリア６２が生成される。上述の第１の算出手法、第２の算出手法などが用いられる。
算出されたアベイラブルエリア６２については、ステップＳ２３で必要に応じて拡張される。即ち要求切り出し領域ＣＬｒｑにより決められる要求切り出し領域ＣＬｒｑとアベイラブルエリア６２が比較され、収まらない場合は上述の拡張処理が行われる。

アベイラブルエリア６２が確定されたら、ステップＳ２４で表示範囲の修正が行われる。つまり図２４で説明したように要求切り出し領域ＣＬｒｑが修正されて実効切り出し領域ＣＬとされる。この実効切り出し領域ＣＬが、最終的にはみ出し防止処理で修正された切り出し領域ＣＬとして、図１４のステップＳＴ１９の平面投影及び切り出しの処理に提供されることになる。

この図２５のようなはみ出し防止処理では、前後のフレームの揺れ情報をアベイラブルエリア６２に反映することで、揺れ補正マージンの動的な変更を実現している。
また出力画像のアスペクト比、切り出し位置、大きさを要求切り出し領域ＣＬｒｑで表現し、それをアベイラブルエリア６２の内側に収める方式にすることで、揺れ補正と切り出し位置等を同時に考慮した処理を実現している。

なお、以上は通常レンズで撮像された画像ファイルＭＦを想定して説明してきたが、例えば魚眼レンズを用いて撮像された画像ファイルＭＦでも、同様に処理が適用できる。
但し通常レンズと魚眼レンズの場合、キャプチャードエリア６１の表現が異なることになる。
図２６Ａは通常レンズの場合、図２６Ｂは魚眼レンズの場合とで天球モデルＭＴ上での表現とキャプチャードエリア６１の形状を示している。魚眼レンズを用いた撮像の場合、イメージセンサ１２ａの撮像画素範囲６５内で円形の結像領域６６が形成されることになるため、キャプチャードエリア６１としては図示のように円や多角形で表現することになる。

＜５．まとめ及び変形例＞
以上の実施の形態では次のような効果が得られる。
実施の形態の画像処理装置は、動画を構成する画像データのフレームであって、天球モデルＭＴへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報（ＩＭＵデータ、クオータニオンＱＤ）を用いて揺れ補正を行う揺れ補正部３３を備える。また画像処理装置は、要求切り出し領域ＣＬｒｑに対して、各フレームからの実効切り出し領域ＣＬが揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、各フレームに適用する実効切り出し領域ＣＬを設定する実効切り出し領域設定部３４を備える。さらに画像処理装置は、揺れ補正部３３で揺れ補正が行なわれた上で天球モデルＭＴから平面モデルに投影された画像であって、実効切り出し領域設定部３４で設定された実効切り出し領域ＣＬの画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部３５を備える。
即ち撮像装置１で撮像された画像における手ぶれ等に起因する揺れを天球モデルＭＴ上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の実効切り出し領域ＣＬを設定する。
天球モデルＭＴ上でフレーム毎に揺れに対する補正を加味した回転を行って揺れ補正を行うことで、台形歪みが生じない補正が可能となる。そのうえで例えばユーザ操作や何らかの自動制御などによって設定される要求切り出し領域ＣＬｒｑに応じて平面投影画像を得ることで、要求切り出し領域ＣＬｒｑが反映された実効切り出し領域ＣＬが設定され、そのうえで揺れ補正が行われかつ台形歪みのない出力画像データｏＰＤが得られる。さらにはみ出し防止処理が行われることで、揺れ補正が適切に反映された動画出力とすることができる。
これらにより元の画像ファイルＭＦに対してユーザや自動制御の要求に適った出力領域を反映したうえで揺れや歪みの少ない高品位な画像が得られることになる。

なお、実施の形態では、天球モデルＭＴで揺れ補正を行って平面投影した後に、実効切り出し領域ＣＬの画像を切り出す例を述べたがこれに限らない。即ち天球モデルＭＴで揺れ補正を行った状態で実効切り出し領域ＣＬの画像を切り出して、それを平面投影することによって、実効切り出し領域ＣＬの画像を生成することもできる。
また揺れ補正部３３としては、少なくとも図１４のステップＳＴ１５の処理が行われるものであればよく、ステップＳＴ１１、ＳＴ１２、ＳＴ１３、ＳＴ１４の一部又は全部は揺れ補正部３３の機能の外部（例えば揺れ補正部３３を有する画像処理装置とは別の装置）でおこなわれてもよい。
また、図８ではＲＡＷデータを画像処理対象とする場合を示したが、その場合、揺れ補正部３３では、ステップＳＴ１２の撮像装置内部補正キャンセルの処理は不要となる。

実施の形態では、実効切り出し領域設定部３４は、ユーザ操作に基づく操作情報（ＤＲ１，ＤＲ２）を用いて、実効切り出し領域ＣＬを設定する例を挙げた。
これによりユーザの意図やユーザの望む出力領域が適切に反映されたうえで揺れ補正が行われ、かつ台形歪みのない出力画像データｏＰＤが得られる。

実施の形態では、実効切り出し領域設定部３４は、トラッキングターゲットに関するトラッキングターゲット情報を用いて実効切り出し領域ＣＬの設定を行う例を挙げた。
これによりトラッキングターゲットを考慮した切り出し領域設定が可能となる。
また実施の形態では、実効切り出し領域設定部３４は、ユーザ操作に基づく操作情報ＤＲ１を用いてトラッキングターゲットを設定する例を挙げた。
これによりユーザが注目したい被写体（トラッキングターゲット）を考慮した切り出し領域設定が可能となる。即ち注目したい被写体をとらえながら適切に揺れ補正がなされた出力画像を得ることができる。

なお、トラッキングターゲットを指定しない場合も処理も当然想定される。例えばユーザが図１３で説明したようなトラッキングターゲットの指定を行わない場合もある。そのような場合は、図１２で説明した操作に応じた実効切り出し領域ＣＬの設定が行われればよい。
また、トラッキングターゲットをユーザによる設定によらず自動的に指定するような処理を行っても良い。例えば顔検出を行い、顔を検出したら自動的に、その顔をトラッキングターゲットとするような処理である。

実施の形態では、トラッキングターゲットを指定する操作情報ＤＲ１によりトラッキングターゲットを判定し、判定したトラッキングターゲットの画像内位置に応じて、動画を構成する各フレームの実効切り出し領域ＣＬを設定する例を挙げた。
即ちユーザの操作によりトラッキングターゲットの被写体が指定された場合、各フレームにおいてそのトラッキングターゲットの配置を考慮して実効切り出し領域ＣＬを設定する。
これによりユーザが注目したい被写体（トラッキングターゲット）が、動画が進行する上でフレームアウトしないような切り出し位置設定が可能となる。

実施の形態では、トラッキングターゲットについての画面内での配置位置を指定する操作情報ＤＲ２を用いて、動画を構成する各フレームの実効切り出し領域ＣＬを設定する例を挙げた。
これによりユーザが注目したい被写体（トラッキングターゲット）を、画面内でどのあたりに表示させたいかを指定し、各フレームにおいて、その画面内の配置位置（配置位置付近）にトラッキングターゲットが位置するような切り出し領域設定が可能となる。従ってトラッキングターゲットとされた被写体が、例えば画面の中央や左よりの位置など、ユーザが望む配置位置付近にある状態で動画が進行するような動画処理が実現されることになる。

なおトラッキングターゲットの配置位置を指定しない処理例もありえる。例えば少なくともトラッキングターゲットがフレームアウトしないようにする処理例などである。
またトラッキングターゲット配置位置を自動指定してもよい。例えば画面の中央、或いは、右寄りの位置など、所定の位置に自動設定する。これによりユーザによるトラッキングターゲット配置位置の指定操作がなくとも、所定位置にトラッキングターゲットをとらえるような切り出し領域設定が可能となる。

実施の形態では、画像の出力領域を指定する操作情報ＤＲ２を実効切り出し領域ＣＬの設定に用いる例を挙げた。
例えば図１２で説明したフレーミング画面１０３上でのユーザ操作により出力画像の領域を指定できるようにしており、その操作情報ＤＲ２を実効切り出し領域ＣＬの設定に用いる。
これによりユーザが任意に指定した画像の出力領域を切り出しながら、適切に揺れ補正がなされた出力画像を得ることができる。

実施の形態では、画像のアスペクト比を指定する操作情報ＤＲ２を実効切り出し領域ＣＬの設定に用いる例を挙げた。
例えばアスペクト比設定画面１０６でのユーザの操作により出力画像のアスペクト比を指定できるようにしており、その操作情報ＤＲ２を切り出し領域設定に用いる。
これによりユーザが任意に指定したアスペクト比であって、適切に揺れ補正がなされた出力画像を得ることができる。

実施の形態では、画像データのフレーム毎に行うはみ出し防止処理として、揺れ補正部３３が揺れ補正を行った天球モデルＭＴの座標上で要求切り出し領域ＣＬｒｑを設定する第１処理と、撮像領域（キャプチャードエリア６１）内で要求切り出し領域ＣＬｒｑの変動を許容する可動領域（アベイラブルエリア６２）を求める第２処理と、要求切り出し領域ＣＬｒｑが可動領域（アベイラブルエリア６２）内に収まるように修正することで実効切り出し領域ＣＬを設定する第３処理とを行う例を挙げた。
これによりユーザが任意に指定したトラッキングターゲットや出力領域、アスペクト比等に基づく切り出し領域は、画像内容などにより無制限に変動するものではなく、あくまでも揺れ補正が適切に維持できる範囲となるように修正される。従って、ユーザの各種指定を反映しながらも、揺れ補正が適切に行われた出力画像データｏＰＤを得ることができる。
また揺れ補正が適切に維持できるようにするためには、揺れ補正を行った天球モデルＭＴの座標上で撮像領域（キャプチャードエリア６１）を設定し、その中で可動領域（アベイラブルエリア６２）を計算し、さらにアベイラブルエリア６２内に収まるように要求切り出し領域ＣＬｒｑを修正する。そして修正した要求切り出し領域ＣＬｒｑを最終的な実効切り出し領域ＣＬとする。つまりアベイラブルエリア６２により切り出し領域を制限する。これにより天球モデルＭＴでの揺れ補正を反映する切り出し領域設定を適切に行うことができる。

実施の形態のはみ出し防止処理における第２処理では、アベイラブルエリア６２を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームと前の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア６１を用いて設定する例を挙げた。
即ち図２１の第１の算出手法や図２２の第２の算出手法のように、連続する複数フレームのキャプチャードエリア６１を用いることで、ある程度の期間の時間軸方向（フレーム間）で発生する揺れがあっても、各フレームに共通に含まれている画像範囲を検出することができる。これは、当該複数フレームの期間において画像が欠けず、また揺れ補正が有効な領域である。これをアベイラブルエリア６２とする。これによりアベイラブルエリア６２を揺れの大きさによって動的に変化させることになり、出力画像データｏＰＤによる動画上で、揺れによって画欠けが生じず揺れ補正も維持できる切り出し領域設定が実現される。従って品質の高い動画を容易に作成できることになる。
なお、アベイラブルエリア６２を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア６１を用いて設定することもできる。
また、アベイラブルエリア６２を、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア６１を用いて設定することもできる。

実施の形態においてアベイラブルエリア６２は、複数フレームの各フレームについての揺れ補正を行った状態のキャプチャードエリア６１に共通に含まれる範囲とする例を挙げた。
即ち図２１で第１の算出手法として説明したように、連続する複数フレームについての揺れ補正を行った状態のキャプチャードエリア６１を用いることで、切り出し枠を設定しても画欠けが生じない範囲となるアベイラブルエリア６２を設定することができる。揺れ補正を行った状態のキャプチャードエリア６１に共通の範囲であるため揺れ補正も有効な範囲ともなる。
またこの場合に、キャプチャードエリア６１をそのまま用いてもよいが、現在フレームとの遠近によって、キャプチャードエリア６１の揺れ補正の度合いを変えることなどで、時間的距離に応じて寄与度合いを調整することで、遠い時点での大きい揺れなどの影響を和らげ、アベイラブルエリア６２の変化をなめらかにすることができる。これは再生される動画において急激に画角が変化するような状態を生じさせないものとなる。

実施の形態においてアベイラブルエリア６２は、複数フレームの各フレームについてのキャプチャードエリア６１の各端点の変化の低周波変動成分６１Ｌを各フレームのキャプチャードエリア６１内に収まるようにしたときに示される範囲とする例を挙げた。
即ち図２２で第２の算出手法として説明した例である。
キャプチャードエリア６１の各端点の変化の低周波変動成分６１Ｌを用いて各フレームのアベイラブルエリア６２を設定することで、時間軸方向のアベイラブルエリア６２の変化をなめらかにし、急激に切り出し領域の変化が生じない動画を得ることができる。
但し、単に低周波変動成分６１Ｌを用いたのみでは画欠けが生じないこと（つまり切り出し領域がキャプチャードエリア６１内であること）を補償できないため、フレーム毎に、キャプチャードエリア６１内に収まるように低周波変動成分６１Ｌで規定される各端点の位置を修正する。これにより、画欠けが生じずかつ切り出し領域の変化がなめらかな動画を得ることができる。

実施の形態のはみ出し防止処理における第３処理は、アベイラブルエリア６２内に要求切り出し領域ＣＬｒｑが収まるまで、要求切り出し領域ＣＬｒｑを回転させずにアベイラブルエリア６２の中心に向けて移動させることにより行うこととした。
即ち表示範囲の修正として図２４で説明したように、アベイラブルエリア６２に収まるまで必要な距離だけ要求切り出し領域ＣＬｒｑを回転させずに移動させる。これによりユーザが任意に指定したトラッキングターゲットや出力領域、アスペクト比等に基づく切り出し領域については、できるだけ回転を生じないようにアベイラブルエリア６２内に移動させることになり、再生される動画上ではむやみな画像の回転が生じないようにすることができる。

また実施の形態の第３処理において要求切り出し領域ＣＬｒｑを回転させずにアベイラブルエリア６２の中心に向けて移動させることによっては、要求切り出し領域ＣＬｒｑをアベイラブルエリア６２内に収められない場合は、要求切り出し領域ＣＬｒｑを回転させることでアベイラブルエリア６２内に収めるようにすることとした。
即ち回転をさせない状態ではアベイラブルエリア６２に収まらないときのみ要求切り出し領域ＣＬｒｑを回転させる。このように切り出し領域の修正としては、やむを得ないときのみ回転させることとし、これによって画欠けができるだけ生じないようにする。

実施の形態では、揺れ補正部３３は、処理対象の画像データ（画像ファイルＭＦ）の撮像の際に生成されたメタデータに基づいて、各フレームに対応する姿勢情報（クオータニオンＱＤ）を取得し、揺れ補正に用いることとした。
メタデータとして付加されたＩＭＵデータから撮像装置の姿勢情報であるクオータニオンＱＤを計算する。これを用いて天球モデルＭＴ上での揺れ補正を行うことで、撮像時の状況に対応した適切な揺れ補正を行うことができる。特に本実施の形態の場合、撮像時に行われたカメラ内部補正はキャンセルされているため、撮像時の撮像装置１の姿勢をそのまま反映することで最適な揺れ補正が可能となる。

実施の形態では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報（クオータニオンＱＤ（ＬＮ））を用いて揺れ補正を行う例を挙げた（図１４のステップＳＳＴ１４参照）。
露光期間内における被写体と撮像装置の相対的な揺れにより、いわゆるブラーが生じ、これはシャッタースピードによって露光時間が長くなるほど目立つ。この場合に、各ラインの露光開始タイミングの姿勢情報を用いると、各ラインの露光期間内の相対的揺れが、姿勢情報からみて一方向の揺れとなり、画像上で目立ちやすくなる。
一方で図１６のように各ラインの露光期間内の重心位置のＩＭＵデータに基づいて姿勢情報を取得することとすると、露光期間内の相対的揺れが、姿勢情報の状態からみて双方向の揺れとなり、視覚上、時間方向に相殺されるように感じられ、これによって画像においてブラーが目立たなくなるようにすることができる。

実施の形態では、揺れ補正部３３は、処理対象の画像データを、該画像データに対応づけられたメタデータを用いて補正キャンセル処理を行って既に行われていた補正処理が行われる前の状態に戻した状態で、天球モデルＭＴへの貼付処理を行うこととした（図１４のステップＳＳＴ１２参照）。
例えば撮像装置１においては撮像時に手ぶれ補正などの補正処理が行われるが、処理対象の画像データに対して、これらの既に行われている補正をキャンセルした後に揺れ補正を行うようにする。
これにより、撮像時の補正の影響を受けずに、元々の撮像画像データ、例えば撮像素子部１２から取り出された状態の画像データに対して、適切な揺れ補正を行うことができる。つまり撮像を行った撮像装置１の性能等に影響を受けずに、画像処理装置の処理能力に応じて高品質な揺れ補正を実現できる。

実施の形態では、揺れ補正部３３は、メタデータとして画像データの各フレームに対応づけられた座標変換パラメータＨＰを用いて補正キャンセルを行うこととした。
座標変換パラメータＨＰは、例えばレンズ歪、台形歪、フォーカルプレーン歪、電子手ぶれ補正、光学手ぶれ補正の各パラメータなど、撮像画像の画枠（画角を含めた画像の範囲）を変化させる場合の情報である。
これにより、撮像時の画枠に関する補正をキャンセルすることができ、撮像装置１で画枠（画像の範囲）を補正した場合に、それを元に戻すことができる。

実施の形態の画像処理装置は、動画を構成する画像データと対応するメタデータを含む画像ファイルＭＦについて、画像データの各フレームに対応するメタデータを抽出して記憶する前処理部３１を備える。
これにより、揺れ補正部３３の処理や実効切り出し領域設定部３４の処理においてフレーム毎のメタデータを使用できる。

なお実施の形態の画像処理装置の前処理部３１の機能による処理として図１４にステップＳＴ１からステップＳＴ４の処理を示したがこれに限られない。前処理部３１では少なくともメタデータに応じた姿勢情報の算出（例えばステップＳＴ４）の処理と、メタデータの保持（例えばステップＳＴ３）が行われれば良い。
また画像処理部３２の機能による処理として図１４にステップＳＴ１１からステップＳＴ１９の処理を示したがこれに限られない。例えばステップＳＴ１１の処理は外部で行われてもよく、その場合、画像処理部３２はステップＳＴ１２からステップＳＴ１９の処理を行うものとしても良い。
さらに、画像処理部３２はステップＳＴ１２の撮像装置内補正キャンセルの処理を行わないものでも良い。
また画像処理部３２はステップＳＴ１６のトラッキングに関する処理を行わないことも考えられる。
また画像処理部３２はステップＳＴ１４の同期処理を行わないことも考えられる。
少なくとも本開示の画像処理装置としては、画像処理部３２による処理として、ステップＳＴ１３（天球モデルＭＴへの貼り付け）、ステップＳＴ１５（揺れ補正）、ステップＳＴ１７（出力領域指定）、ステップＳＴ１８（はみ出し防止処理）、ステップＳＴ１９（平面投影及び切り出し）の処理が行われるようにすれば良い。

実施の形態で説明した技術は、撮像装置１における手ぶれ補正として、次のような各例の場合に適用可能である。なお以下でいう光学手ぶれ補正とはフレーム間成分の揺れの補正となる。また電子手ぶれ補正とはフォーカルプレーン補正のみの場合も含む。
・光学手ぶれ補正が行われ、電子手ぶれ補正が行われない場合
・光学手ぶれ補正も、電子手ぶれ補正も行われない場合
・光学手ぶれ補正が行われず、電子手ぶれ補正が行われる場合
・光学手ぶれ補正と、電子手ぶれ補正の両方が行われる場合
これらそれぞれの場合の撮像装置１で撮像された画像に対して、実施の形態の画像処理装置の処理を適用することができる。

実施の形態のプログラムは、図１４や図２５の処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、動画を構成する画像データのフレーム毎に、天球モデルＭＴへの貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う処理と、画像の切り出し領域を操作情報に基づいて設定したうえで、該切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行って切り出し領域を指定する処理と、揺れ補正が行なわれた状態で平面に投影した画像について、指定される切り出し領域で画像を切り出す処理とを情報処理装置に実行させるプログラムである。このようなプログラムにより、上述した画像処理装置を、例えば携帯端末２，パーソナルコンピュータ３、或いは撮像装置１などの機器において実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、
要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定する実効切り出し領域設定部と、
前記揺れ補正部で揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、前記実効切り出し領域設定部で設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部と、を備えた
画像処理装置。
（２）
前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記実効切り出し領域を設定する
上記（１）に記載の画像処理装置。
（３）
前記実効切り出し領域設定部は、トラッキングターゲットに関するトラッキングターゲット情報を用いて、前記実効切り出し領域を設定する
上記（１）又は（２）に記載の画像処理装置。
（４）
前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記トラッキングターゲットを設定する
上記（３）に記載の画像処理装置。
（５）
前記実効切り出し領域設定部は、前記トラッキングターゲットについての画面内での配置位置を指定する操作情報を用いて、前記実効切り出し領域を設定する
上記（３）又は（４）に記載の画像処理装置。
（６）
前記実効切り出し領域設定部は、画像の出力領域を指定する操作情報を前記実効切り出し領域の設定に用いる
上記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記実効切り出し領域設定部は、画像のアスペクト比を指定する操作情報を前記実効切り出し領域の設定に用いる
上記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記実効切り出し領域設定部は、画像データのフレーム毎に行うはみ出し防止処理として、
前記揺れ補正部が揺れ補正を行った天球モデルの座標上で前記要求切り出し領域を設定する第１処理と、
撮像領域内で前記要求切り出し領域の変動を許容する可動領域を求める第２処理と、
前記要求切り出し領域が前記可動領域内に収まるように修正することで前記実効切り出し領域を設定する第３処理と、を行う
上記（１）から（７）のいずれかに記載の画像処理装置。
（９）
前記第２処理では、前記可動領域を、
処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレーム、
又は、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレーム、
又は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームと前の時点のフレーム、
を含んで連続する複数フレームの各撮像領域を用いて設定する
上記（８）に記載の画像処理装置。
（１０）
前記可動領域は、前記複数フレームの各フレームについての揺れ補正を行った状態の撮像領域に共通に含まれる範囲とする
上記（９）に記載の画像処理装置。
（１１）
前記可動領域は、前記複数フレームの各フレームについての撮像領域の各端点の変化の低周波変動成分を各フレームの撮像領域内に収まるようにしたときに示される範囲とする
上記（９）に記載の画像処理装置。
（１２）
前記第３処理は、前記可動領域内に要求切り出し領域が収まるまで、前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることにより行う
上記（８）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記第３処理において前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることによっては前記要求切り出し領域を前記可動領域内に収められない場合は、前記要求切り出し領域を回転させることで、前記要求切り出し領域を前記可動領域内に収めるようにする
上記（１２）に記載の画像処理装置。
（１４）
前記揺れ補正部は、処理対象の画像データの撮像の際に生成されたメタデータに基づいて、各フレームに対応する前記姿勢情報を取得し、揺れ補正に用いる
上記（１）から（１３）のいずれかに記載の画像処理装置。
（１５）
前記揺れ補正部は、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報を用いて揺れ補正を行う
上記（１）から（１４）のいずれかに記載の画像処理装置。
（１６）
前記揺れ補正部は、処理対象の画像データを、該画像データに対応づけられたメタデータを用いて補正キャンセル処理を行って既に行われていた補正処理が行われる前の状態に戻した状態で、天球モデルへの貼付処理を行う
上記（１）から（１５）のいずれかに記載の画像処理装置。
（１７）
前記揺れ補正部は、メタデータとして画像データの各フレームに対応づけられた座標変換パラメータを用いて補正キャンセルを行う
上記（１６）に記載の画像処理装置。
（１８）
動画を構成する画像データと対応するメタデータを含む画像ファイルについて、画像データの各フレームに対応するメタデータを抽出して記憶する前処理部を備えた
上記（１）から（１７）のいずれかに記載の画像処理装置。
（１９）
画像処理装置が、
動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行い、
要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定し、
前記揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行う
画像処理方法。
（２０）
動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行う処理と、
要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定する処理と、
前記揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理と、
を情報処理装置に実行させるプログラム。

１ 撮像装置、２ 携帯端末、３ パーソナルコンピュータ、４ サーバ、５ 記録媒体、１１ レンズ系、１２ 撮像素子部、１３ カメラ信号処理部、１４ 記録制御部、１５ 表示部、１６ 出力部、１７ 操作部、１８ カメラ制御部、１９ メモリ部、２２ ドライバ部、２３ センサ部、３１ 前処理部、３２ 画像処理部、３３ 揺れ補正部、３４ 実効切り出し領域設定部、３５ 実効切り出し領域画像生成処理部、３６ ＵＩ処理部、６１ キャプチャードエリア、６２ アベイラブルエリア、７０ 情報処理装置、７１ ＣＰＵ、１０１ インポート画面、１０２ プレビュー画面、１０３ フレーミング画面、１０４ トリミング画面、１０５ スピード画面、１０６ アスペクト比設定画面、１０７ 設定画面、１０８ エクスポート画面、ＭＦ 画像ファイル、ＰＤ，ｉＰＤ 画像データ、ｏＰＤ 出力画像データ、ＨＰ 座標変換パラメータ、ＴＭ タイミング情報、ＣＰ カメラパラメータ、ＱＤ クオータニオン、ＴＰ，ＴＰｐ 画面内位置情報、ＤＲ１，ＤＲ２ 操作情報、ＣＬ 実効切り出し領域、ＣＬｒｑ 要求切り出し領域、ＭＴ 天球モデル、

Claims (20)

1. 動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、
   要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定する実効切り出し領域設定部と、
   前記揺れ補正部で揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、前記実効切り出し領域設定部で設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部と、を備えた
   画像処理装置。
2. 前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記実効切り出し領域を設定する
   請求項１に記載の画像処理装置。
3. 前記実効切り出し領域設定部は、トラッキングターゲットに関するトラッキングターゲット情報を用いて、前記実効切り出し領域を設定する
   請求項１に記載の画像処理装置。
4. 前記実効切り出し領域設定部は、ユーザ操作に基づく操作情報を用いて、前記トラッキングターゲットを設定する
   請求項３に記載の画像処理装置。
5. 前記実効切り出し領域設定部は、前記トラッキングターゲットについての画面内での配置位置を指定する操作情報を用いて、前記実効切り出し領域を設定する
   請求項３に記載の画像処理装置。
6. 前記実効切り出し領域設定部は、画像の出力領域を指定する操作情報を前記実効切り出し領域の設定に用いる
   請求項１に記載の画像処理装置。
7. 前記実効切り出し領域設定部は、画像のアスペクト比を指定する操作情報を前記実効切り出し領域の設定に用いる
   請求項１に記載の画像処理装置。
8. 前記実効切り出し領域設定部は、画像データのフレーム毎に行うはみ出し防止処理として、
   前記揺れ補正部が揺れ補正を行った天球モデルの座標上で前記要求切り出し領域を設定する第１処理と、
   撮像領域内で前記要求切り出し領域の変動を許容する可動領域を求める第２処理と、
   前記要求切り出し領域が前記可動領域内に収まるように修正することで前記実効切り出し領域を設定する第３処理と、を行う
   請求項１に記載の画像処理装置。
9. 前記第２処理では、前記可動領域を、
   処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレーム、
   又は、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレーム、
   又は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームと前の時点のフレーム、
   を含んで連続する複数フレームの各撮像領域を用いて設定する
   請求項８に記載の画像処理装置。
10. 前記可動領域は、前記複数フレームの各フレームについての揺れ補正を行った状態の撮像領域に共通に含まれる範囲とする
    請求項９に記載の画像処理装置。
11. 前記可動領域は、前記複数フレームの各フレームについての撮像領域の各端点の変化の低周波変動成分を各フレームの撮像領域内に収まるようにしたときに示される範囲とする
    請求項９に記載の画像処理装置。
12. 前記第３処理は、前記可動領域内に要求切り出し領域が収まるまで、前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることにより行う
    請求項８に記載の画像処理装置。
13. 前記第３処理において前記要求切り出し領域を回転させずに前記可動領域の中心に向けて移動させることによっては前記要求切り出し領域を前記可動領域内に収められない場合は、前記要求切り出し領域を回転させることで、前記要求切り出し領域を前記可動領域内に収めるようにする
    請求項１２に記載の画像処理装置。
14. 前記揺れ補正部は、処理対象の画像データの撮像の際に生成されたメタデータに基づいて、各フレームに対応する前記姿勢情報を取得し、揺れ補正に用いる
    請求項１に記載の画像処理装置。
15. 前記揺れ補正部は、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報を用いて揺れ補正を行う
    請求項１に記載の画像処理装置。
16. 前記揺れ補正部は、処理対象の画像データを、該画像データに対応づけられたメタデータを用いて補正キャンセル処理を行って既に行われていた補正処理が行われる前の状態に戻した状態で、天球モデルへの貼付処理を行う
    請求項１に記載の画像処理装置。
17. 前記揺れ補正部は、メタデータとして画像データの各フレームに対応づけられた座標変換パラメータを用いて補正キャンセルを行う
    請求項１６に記載の画像処理装置。
18. 動画を構成する画像データと対応するメタデータを含む画像ファイルについて、画像データの各フレームに対応するメタデータを抽出して記憶する前処理部を備えた
    請求項１に記載の画像処理装置。
19. 画像処理装置が、
    動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行い、
    要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定し、
    前記揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理を行う
    画像処理方法。
20. 動画を構成する画像データのフレームであって、天球モデルへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報を用いて揺れ補正を行う処理と、
    要求切り出し領域に対して、前記各フレームからの実効切り出し領域が揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、前記各フレームに適用する実効切り出し領域を設定する処理と、
    前記揺れ補正が行なわれた上で前記天球モデルから平面モデルに投影された画像であって、設定された実効切り出し領域の画像である実効切り出し領域画像を生成する処理と、
    を情報処理装置に実行させるプログラム。

Images