JP7513081B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本技術は画像処理装置、画像処理方法、プログラムに関し、特に画像の揺れについての画像処理に関する。

撮像装置で撮像した動画について各種の補正などの画像処理を行う技術が知られている。
下記特許文献１では撮影画像に係る画像データに対して防振処理を実行するとともに、防振処理後の画像データを対象として防振処理の影響を除去することが開示されている。

特開２０１５－２１６５１０号公報

ところで昨今、ユーザはスマートフォンやタブレットなどの携帯端末、或いはカメラ自体やパーソナルコンピュータなどを用いて画像撮像や画像調整等を手軽に行うことができ、また動画投稿なども盛んである。
このような環境下では、ユーザが撮像した画像をそのまま出力するのではなく、より品質の高い画像や多様な画像を制作することが望まれている。また放送事業者などにおいても画像の多様な演出が可能とされることが望まれている。

例えば動画の内容に合わせて画像に揺れを加えることは画像表現を広げる演出の一手法である。ここで揺れを加えたり、除去しきらずに揺れを残したりするなどとして、意図的に揺れのある画像を生成したい場合を想定しても、対象像の画角により、揺れ具合が異なって見えてしまうことがある。
そこで本開示では、動画における揺れの付加や調整を行う場合に、目的の揺れ具合の揺れが加わる画像を生成できるようにする技術を提案する。

本技術に係る画像処理装置は、動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理部と、前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化部と、前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部と、を備える。
揺れ変更処理は、動画に生じている揺れを低減したり揺れを付加したりするなどして揺れの状態を変化させることである。揺れ変更部は、出力揺れ情報に基づいて揺れ変更処理を行うが、この場合に、揺れを表現する画像の画角に応じて正規化した出力揺れ情報を用いるようにする。

上記した本技術に係る画像処理装置においては、前記揺れ変更部は、前記揺れ変更処理として、前記正規化揺れ情報に基づいて前記入力画像データに揺れ付加を行うことが考えられる。
即ち揺れ変更の一態様として画像に揺れの付加を行う。

上記した本技術に係る画像処理装置においては、前記揺れ変更部は、前記揺れ変更処理として、前記正規化揺れ情報に基づいて前記入力画像データの揺れ一部除去を行うことが考えられる。
即ち揺れ変更の一態様として画像の揺れ一部除去を行う。揺れ除去とは例えば撮像時の撮像装置の動き（手ぶれ等）により画像に生じている揺れなど、動画像に加わっている揺れを除去することであるが、その揺れの一部を除去する。即ち揺れ一部除去とは揺れを完全には除去せずに低減させることである。

上記した本技術に係る画像処理装置においては、前記画角情報は、前記揺れ変更処理を行う対象画像の画角と基準画角の比であることが考えられる。
ある基準画角を決め、その基準画角との画角の比を用いて揺れ情報を正規化する。

上記した本技術に係る画像処理装置においては、前記画角情報は、前記揺れ変更処理を行う画像の切り出し後の画角と撮像時の画角の比であることが考えられる。
撮像画像から切り出しを行って出力画像を生成する場合、撮像画像の画角を基準として切り出し画像に対する揺れ情報を正規化する。

上記した本技術に係る画像処理装置においては、前記揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部を備えることが考えられる。
揺れ変更処理は、動画に生じている揺れを低減したり揺れを付加したりするなどして揺れの状態を変化させるが、この揺れ変更処理は、パラメータ設定部が設定する揺れ変更パラメータに基づいて行われるようにする。

上記した本技術に係る画像処理装置においては、揺れ変更に関する操作情報を検知するユーザインタフェース処理部と、前記ユーザインタフェース処理部が検知した操作情報に基づいて、前記揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部と、を備えることが考えられる。
即ち揺れ具合を指定するようなユーザ操作環境を提供する。

上記した本技術に係る画像処理装置においては、前記揺れ変更パラメータは、前記ユーザインタフェース処理部が検知した角度の情報を揺れ量に変換したものであることが考えられる。
例えばユーザが揺れの角度として揺れを指定する操作を可能とし、その操作入力に基づいて揺れ変更処理のパラメータを設定する。

上記した本技術に係る画像処理装置においては、前記揺れ情報処理部は、前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて前記出力揺れ情報を生成することが考えられる。
例えば画像に揺れ付加を行う場合に、入力された揺れ変更パラメータに応じた出力揺れ情報を生成する。

上記した本技術に係る画像処理装置においては、前記揺れ情報処理部は、撮像時揺れ情報を、前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて調整して前記出力揺れ情報とすることが考えられる。
例えば画像における撮像時の揺れを一部除去する場合に、撮像時揺れ情報を揺れ変更パラメータを用いて調整する。

上記した本技術に係る画像処理装置においては、前記撮像時揺れ情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の姿勢情報であることが考えられる。
撮像装置の姿勢情報は、例えば角速度センサや加速度センサの情報から求めることができる。

上記した本技術に係る画像処理装置においては、前記揺れ変更部は、前記入力画像データの各フレームを天球モデルへ貼付し、各フレームに対応する前記正規化揺れ情報を用いて各フレームを回転させることで前記揺れ変更処理を行うことが考えられる。
例えば角速度センサや加速度センサの情報から求める撮像装置の揺れ情報（例えばクオータニオン：Quaternion）に基づいて、天球モデル上で回転処理を行う。

上記した本技術に係る画像処理装置においては、前記入力画像データと前記正規化揺れ情報を関連づける関連付け部を備えることが考えられる。
揺れ変更処理としてどのような揺れ変更が行われたかを把握できるように、画像データと正規化揺れ情報とが関連付けられるようにする。

本技術に係る画像処理方法は、画像処理装置が、動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理と、前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と、前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理とを行う。
これにより画像に対する揺れ付加や揺れ残しの具合が画角によって大きく異なってしまうようなことがないようにする。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。
これにより本開示の画像処理を各種の情報処理装置で実行可能とする。

本技術の実施の形態で用いられる機器の説明図である。 実施の形態の機器間で伝送される情報の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置における画像の揺れ除去処理の説明図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の画像処理装置としての機能構成の説明図である。 実施の形態の画像処理装置としての機能構成の他の例の説明図である。 実施の形態の画像処理装置としての機能構成のさらに他の例の説明図である。 実施の形態の正規化の説明図である。 実施の形態の揺れ付加の説明図である。 実施の形態の揺れ一部除去の説明図である。 実施の形態の画像ファイル及びメタデータの内容の説明図である。 レンズ歪み補正に関するメタデータの説明図である。 実施の形態の画像処理の説明図である。 実施の形態の天球モデルへの貼付の説明図である。 実施の形態のＩＭＵデータのサンプルタイミングの説明図である。 実施の形態の周波数帯域別の揺れ情報調整の説明図である。 実施の形態の方向別の揺れ情報調整の説明図である。 実施の形態の周波数帯域別及び方向別の揺れ情報調整の説明図である。 実施の形態の出力画像と天球モデルの対応付けの説明図である。 実施の形態の出力座標平面の回転と透視射影の説明図である。 実施の形態の切り出し領域の説明図である。 実施の形態の転送するメタデータの内容の説明図である。

以下、実施の形態を次の順序で説明する。
＜１．画像処理装置として適用できる機器の構成＞
＜２．装置構成及び処理機能＞
＜３．揺れ変更と揺れ情報の正規化＞
＜４．画像ファイル及びメタデータ＞
＜５．処理例＞
＜６．まとめ及び変形例＞

なお実施の形態の説明に先だって、説明で用いる一部の用語について説明しておく。
「揺れ」とは動画を構成する画像のフレーム間の揺れ（interframe shake）を指す。いわゆる撮像装置で撮像された画像における手ぶれ（camera shake）等に起因する揺れや、画像処理により意図的に付加した揺れなど、フレーム間で生じる振動成分（フレーム間での画像の揺らぎ）を広く指すものとする。

「揺れ変更（interframe shake modification）」は、画像に生じている揺れの低減や、画像に揺れを付加することなど、画像における揺れの状態を変化させることをいう。
この「揺れ変更」には次の「揺れ除去（interframe shake reduction）」「揺れ付加（interframe shake addition）」が含まれるものとする。

「揺れ除去」は、手ぶれなどにより画像に生じている揺れを無くすこと（揺れの全部除去）、もしくは低減すること（揺れの一部除去）をいう。即ち撮像時の揺れ情報に基づいて揺れを低減させるように調整することをいう。撮像装置において行われるいわゆる手ぶれ補正は、揺れ除去を行っていることになる。
本実施の形態では、主に「揺れ一部除去」として揺れ成分の一部を除去する処理を行う例を述べるが、これは揺れを残した状態となるように画像の揺れ変更を行うものである。

「揺れ付加」は、画像に揺れを加えることをいう。揺れの無い画像に揺れを加えること、及び揺れがある画像に更に揺れを大きくするように揺れを加えることが含まれる。

以上の「揺れ一部除去」や「揺れ付加」は、結果として揺れのある画像を得るための処理となり、従って揺れ演出を加える処理であるともいえる。
なお、揺れ演出の目的の一例としては、動画のシーンに迫力を与えるため、わざと画像を揺らすことなどが想定される。

「撮像時揺れ情報」とは、撮像装置で撮像された際の揺れに関する情報であり、撮像装置の動きの検出情報や、該検出情報から算出できる情報や、撮像装置の姿勢を表す姿勢情報や、撮像装置の動きとしてのシフトや回転の情報などが該当する。
実施の形態では、「撮像時揺れ情報」の具体例として、クオータニオン（ＱＤ）、ＩＭＵデータを挙げるが、他にも例えばシフト・回転情報などもあり、特には限定されない。

＜１．画像処理装置として適用できる機器の構成＞
以下の実施の形態では、主にスマートフォンやパーソナルコンピュータなどの情報処理装置により本開示に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本開示の技術を適用できる機器について説明しておく。

図１Ａは画像ソースＶＳと、画像ソースＶＳから画像ファイルＭＦを取得する画像処理装置（ＴＤｘ，ＴＤｙ）としての例を示している。
なお、画像処理装置ＴＤｘは、画像ソースＶＳから取得された画像データに対して一次的に揺れ変更処理を行う機器とする。
一方、画像処理装置ＴＤｙは、他の画像処理装置で既に揺れ変更処理が行われた画像データについて二次的に揺れ変更処理を行う機器とする。

画像ソースＶＳとしては撮像装置１、サーバ４、記録媒体５などが想定される。
画像処理装置ＴＤｘ、ＴＤｙとしてはスマートフォンなどの携帯端末２やパーソナルコンピュータ３などが想定される。他にも図示していないが、画像編集専用装置、クラウドサーバ、テレビジョン装置、ビデオ記録再生装置など各種の機器が画像処理装置ＴＤｘ、ＴＤｙとして想定される。これらの機器は、画像処理装置ＴＤｘ、ＴＤｙのいずれとしても機能できる。

画像ソースＶＳとしての撮像装置１は動画撮像を行うことのできるデジタルカメラ等であり、動画撮像によって得られた画像ファイルＭＦを有線通信や無線通信を介して携帯端末２やパーソナルコンピュータ３などに転送する。
サーバ４はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置１で撮像された画像ファイルＭＦを提供できる装置を指す。このサーバ４がなんらかの伝送路を介して画像ファイルＭＦを携帯端末２やパーソナルコンピュータ３などに転送することが考えられる。

記録媒体５はメモリカード等の固体メモリ、光ディスク等のディスク状記録媒体、磁気テープ等のテープ状記録媒体などのいずれでもよいが、撮像装置１で撮像された画像ファイルＭＦが記録されたリムーバブル記録媒体を指している。この記録媒体５から読み出された画像ファイルＭＦが携帯端末２やパーソナルコンピュータ３などに読み取られることが考えられる。

画像処理装置ＴＤｘ、ＴＤｙとしての携帯端末２やパーソナルコンピュータ３等は、以上の画像ソースＶＳから取得した画像ファイルＭＦに対する画像処理が可能とされている。ここでいう画像処理とは、揺れ変更処理（揺れ付加や揺れ一部除去）を含む。
揺れ変更処理は、例えば、動画を構成する画像データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて回転することにより行う。

なお、或る携帯端末２やパーソナルコンピュータ３が、画像処理装置ＴＤｘ，ＴＤｙとして機能する他の携帯端末２やパーソナルコンピュータ３に対する画像ソースＶＳとなることもある。

図１Ｂは、画像ソースＶＳと画像処理装置ＴＤｘの両方として機能できる１つの機器としての撮像装置１や携帯端末２を示している。
例えば撮像装置１の内部のマイクロコンピュータ等が揺れ変更処理を行う。
つまり撮像装置１は撮像によって生成した画像ファイルＭＦに対して揺れ変更処理を行うことで、揺れ一部除去や揺れ付加を施した画像処理結果としての画像出力を行うことができるものとする。

携帯端末２も同様であり、撮像機能を備えることで画像ソースＶＳとなり得るため、撮像によって生成した画像ファイルＭＦについて上記の揺れ変更処理を行うことで、揺れ一部除去や揺れ付加を施した画像処理結果としての画像出力を行うことができる。
もちろん撮像装置１や携帯端末２に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。

以上のように実施の形態の画像処理装置ＴＤｘ、ＴＤｙとして機能する装置及び画像ソースＶＳは多様であるが、以下では、撮像装置１等の画像ソースＶＳ、携帯端末２等の画像処理装置ＴＤｘ、及び他の画像処理装置ＴＤｙが、それぞれ別体の機器であるとして説明していく。

図２は画像ソースＶＳ、画像処理装置ＴＤｘ、の画像処理装置ＴＤｙにおける情報伝送の様子を示している。
画像ソースＶＳから画像処理装置ＴＤｘに対しては、画像データＶＤ１とメタデータＭＴＤ１が、有線通信、無線通信、或いは記録媒体を介して伝送される。
後述するが画像データＶＤ１とメタデータＭＴＤ１は、例えば画像ファイルＭＦとして伝送される情報である。
メタデータＭＴＤ１には、例えば手ぶれ補正などとして行われた撮像時の揺れ除去の情報として、座標変換パラメータＨＰが含まれる場合がある。

画像処理装置ＴＤｘは、画像データＶＤ１とメタデータＭＴＤ１、さらには座標変換パラメータＨＰを受けて各種の処理を行うことができる。
例えば画像処理装置ＴＤｘは、メタデータＭＴＤ１に含まれる撮像時揺れ情報を用いて画像データＶＤ１に対する揺れ変更処理を行うことができる。
また例えば画像処理装置ＴＤｘは、メタデータＭＴＤ１に含まれる座標変換パラメータＨＰを用いて撮像時に画像データＶＤ１に施された揺れ除去をキャンセルすることもできる。

画像処理装置ＴＤｘは、揺れ変更処理を行った場合、画像データと、撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報ＳＭＩや正規化揺れ情報ＳＣＩとを関連付ける処理を行うことができる。
揺れ変更情報ＳＭＩは、画像データの揺れ変更処理の情報であり、揺れ変更処理の処理量を特定できる情報であればよい。
実施の形態では、「揺れ変更情報」の具体例として、揺れ変更パラメータ（ＰＲＭ）や揺れ変更用クオータニオン（ｅＱＤ）を挙げるが、もちろんこれらに限定されない。
また正規化揺れ情報ＳＣＩは、正規化された揺れ情報である。後に例として正規化クオータニオン（ｎＱＤ）を挙げるが、本実施の形態では正規化された揺れ情報に基づいて揺れ変更処理が行われる。

そして画像処理装置ＴＤｘは、関連付けられた画像データと、撮像時揺れ情報と、揺れ変更情報ＳＭＩと、正規化揺れ情報ＳＣＩとを、画像処理装置ＴＤｙに対して一括して、或いは別々に、有線通信、無線通信、或いは記録媒体を介して伝送されるようにすることができる。
或いは少なくとも画像データと正規化揺れ情報ＳＣＩとが関連づけられて伝送されるようにする。

ここで、「関連付ける」という用語は、例えば、一方の情報（データ、コマンド、プログラム等）を処理する際に他方の情報を利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられた情報は、１つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

より具体的には、例えば、複数の情報に同一のＩＤ（識別情報）を付与すること、複数の情報を同一の記録媒体に記録すること、複数の情報を同一のフォルダに格納すること、複数の情報を同一のファイルに格納すること（一方を他方にメタデータとして付与すること）、複数の情報を同一のストリームに埋め込むこと、例えば電子透かしのように画像にメタを埋め込むこと等の行為が、「関連付ける」に含まれる。

図２では画像データＶＤ２として画像処理装置ＴＤｘから画像処理装置ＴＤｙに伝送される画像データを示している。画像データＶＤ２は、撮像装置１で行われた揺れ除去がキャンセルされた画像であったり、画像処理装置ＴＤｘで揺れ変更が施された画像であったり、画像処理装置ＴＤｘで揺れ変更処理が行われる前の画像であったりするなど、各種の例が考えられる。
また図２では画像処理装置ＴＤｘから画像処理装置ＴＤｙに伝送されるメタデータＭＴＤ２を示している。メタデータＭＴＤ２はメタデータＭＴＤ１と同じ情報であったり、一部異なる情報であったりする。但しメタデータＭＴＤ２には撮像時揺れ情報が含まれる。
従って画像処理装置ＴＤｙは、例えば少なくとも画像データＶＤ２と、メタデータＭＴＤ２に含まれる撮像時揺れ情報と、正規化揺れ情報ＳＣＩと、揺れ変更情報ＳＭＩが関連付けられた状態で取得できる。
なお、正規化揺れ情報ＳＣＩや揺れ変更情報ＳＭＩもメタデータＭＴＤ２に含まれるようにするデータ形態も考えられる。

本実施の形態では、主に画像処理装置ＴＤｘにおける揺れ変更処理について述べるが、画像処理装置ＴＤｘについては、以上のような情報伝送が想定され得る。

＜２．装置構成及び処理機能＞
まず画像ソースＶＳとなる撮像装置１の構成例を図３で説明する。
なお図１Ｂで説明したように携帯端末２で撮像した画像ファイルＭＦについてその携帯端末２で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置１と同等の構成を携帯端末２が備えればよいことになる。

また撮像装置１では、いわゆる手ぶれ補正といわれる、撮像時の撮像装置の動きによる画像の揺れを低減する処理が行われるが、これは撮像装置で行われる「揺れ除去」である。 これに対し、画像処理装置ＴＤｘ、ＴＤｙで行われる「揺れ付加」や「揺れ一部除去」は、撮像装置１で撮像時に行われる「揺れ除去」とは独立した別個の処理となる。

図３に示すように撮像装置１は、例えばレンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、出力部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２２、センサ部２３を有する。

レンズ系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。
なお、図示していないがレンズ系１１には手ぶれ等による画像の揺れ（interframe shake）及びブラー（blur）を補正する光学手ぶれ補正機構（optical image stabilization mechanism）が設けられている場合がある。

撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部１８に出力する。
なお、図示していない光学手ぶれ補正機構としては、レンズ系１１側ではなく、イメージセンサ１２ａ側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構（balanced optical image stabilization mechanism）の場合等もあり、どのような方式であっても構わない。
光学手ぶれ補正機構では、揺れ（interframe shake）に加えて後述するがフレーム内のブラーも合わせて補正される。

カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。
またカメラ信号処理部１３は各種補正処理も行う。但し手ぶれ補正については、撮像装置１内で行う場合もあれば、行わない場合も想定される。

前処理では、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。

カメラ信号処理部１３で行われる各種補正処理（撮像装置１の内部補正）については図４に例を挙げる。図４ではレンズ系１１で行われる光学手ぶれ補正とともに、カメラ信号処理部１３で行われる補正処理を、その実行順序により例示している。

処理Ｆ１としての光学手ぶれ補正では、レンズ系１１のヨー方向、ピッチ方向のシフトによるレンズ内手ぶれ補正や、イメージセンサ１２ａのヨー方向、ピッチ方向のシフトによるボディ内手ぶれ補正が行われることで、手ぶれの影響を物理的にキャンセルした状態で被写体の像がイメージセンサ１２ａに結像するようにされる。
このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正（electrical image stabilization）のみ、または、光学手ぶれ補正のみが行われる場合もある。

カメラ信号処理部１３では処理Ｆ２から処理Ｆ７までの処理が各画素に対する空間座標変換により行われる。
処理Ｆ２ではレンズ歪み補正が行われる。
処理Ｆ３では電子手ぶれ補正の１つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばＣＭＯＳ型のイメージセンサ１２ａによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。

処理Ｆ４ではロール補正が行われる。即ち電子手ぶれ補正の１つの要素としてのロール成分の補正が行われる。
処理Ｆ５では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
処理Ｆ６では、電子手ぶれ補正の１つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。

図３のカメラ信号処理部１３におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルＭＦの生成を行う。また静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式のファイル生成を行うことも考えられる。
なおカメラ信号処理部１３はカメラ制御部１８からの情報等を用いて、画像ファイルＭＦに付加するメタデータの生成も行う。

また図３では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルＭＦには動画としての画像データとともに音声データも含まれるようにしてもよい。

記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルＭＦやサムネイル画像等を記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部１５にはカメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

出力部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。

カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。

メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

センサ部２３は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部２３としては例えばＩＭＵ（ inertial measurement unit：慣性計測装置）が搭載されており、例えばピッチ-、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
なお、センサ部２３は、撮像時の手ぶれを検出することができるセンサを含んでいればよく、ジャイロセンサと加速度センサの双方を備えている必要は無い。
またセンサ部２３としては、位置情報センサ、照度センサ等が搭載されていても良い。

例えば以上の撮像装置１によって撮像され生成された動画としての画像ファイルＭＦは、携帯端末２等の画像処理装置ＴＤｘ、ＴＤｙに転送されて画像処理を施されることが可能とされる。
画像処理装置ＴＤｘ、ＴＤｙとなる携帯端末２、パーソナルコンピュータ３は、例えば図５に示す構成を備えた情報処理装置として実現できる。なおサーバ４についても、同様に図５の構成の情報処理装置により実現できる。

図５において、情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。

入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。

また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などを行う。

入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
ドライブ８２により、リムーバブル記録媒体８１からは画像ファイルＭＦ等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

この情報処理装置７０では、例えば本開示の画像処理装置としての画像処理のためのソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

例えばこのようなソフトウエア（アプリケーションプログラム）によって、図６のような機能構成が情報処理装置７０のＣＰＵ７１において構築される。
図６は画像処理装置ＴＤｘとして機能する情報処理装置７０として設けられる機能を示している。即ち情報処理装置７０（ＣＰＵ７１）は、揺れ変更部１００、揺れ情報処理部１０１、パラメータ設定部１０２、ユーザインタフェース処理部１０３、揺れ情報正規化部１０５関連付け部１０６としての機能を備える。
なお、「ユーザインタフェース」は「ＵＩ」とも表記し、ユーザインタフェース処理部１０３は、以下「ＵＩ処理部１０３」とも表記する。

揺れ情報処理部１０１は、動画を構成する入力画像データについての出力揺れ情報を出力する処理を行う。例えば揺れ情報処理部１０１は、撮像時揺れ情報を調整して揺れ一部除去や揺れ付加のための出力揺れ情報とし、出力する。或いは揺れ情報処理部１０１は、入力された揺れ変更パラメータＰＲＭに応じて揺れ一部除去や揺れ付加のための揺れ情報を生成して出力揺れ情報として出力する。
揺れ変更パラメータＰＲＭは、ユーザ操作や自動制御によって発生される処理パラメータである。

揺れ情報正規化部１０５は、揺れ情報処理部１０１での調整処理や生成処理を経て出力された出力揺れ情報を画角情報に基づいて正規化する処理を行う。そして正規化揺れ情報ＳＣＩを揺れ変更部１００に出力する。正規化処理については後述する。

揺れ変更部１００は、正規化揺れ情報ＳＣＩを用いて、画像データの揺れの状態を変更する揺れ変更処理を行う。
揺れ変更部１００は揺れ付加部１００ａとしての機能を備えており、特に正規化揺れ情報ＳＣＩを用いて揺れを付加する処理を行う。
また揺れ変更部１００は揺れ一部除去部１００ｂとしての機能を備えており、特に正規化揺れ情報ＳＣＩを用いて揺れを一部除去する処理を行う。
なお揺れ付加部１００ａと揺れ一部除去部１００ｂは、必ずしも異なるアルゴリズムで形成されなくてもよく、正規化揺れ情報ＳＣＩを用いた揺れ変更処理の結果として、揺れ付加又は揺れ一部除去が行われると理解されればよい。図中に揺れ付加部１００ａと揺れ一部除去部１００ｂを示しているのは、揺れ変更処理として揺れ付加や揺れ一部除去が行われることを示すためである。
揺れ変更部１００は、揺れ付加や揺れ一部除去を行った、揺れ変更済み画像データを出力する。

ＵＩ処理部１０３は、揺れ変更に関する操作子をユーザに対して提示させるとともに操作子による操作情報を取得する処理を行う機能である。
例えばＵＩ処理部１０３は表示部７７にＵＩ画像として、操作子や画像に関する情報を示す画像を表示させる処理を行う。またＵＩ処理部１０３は入力部７６によるユーザの操作を検出する。例えばＵＩ画像に対するタッチ操作などを検出する。

パラメータ設定部１０２は、ＵＩ処理部１０３が取得した操作情報に基づいて、揺れ変更処理のためのパラメータ（揺れ変更パラメータＰＲＭ）を設定する機能である。つまりＵＩ処理部１０３が検出したユーザ操作内容を揺れ変更パラメータＰＲＭに変換し、それを揺れ情報処理部１０１に供給することで、画像データに対してユーザの操作に応じた揺れ変更処理が行われるようにする。

なおパラメータ設定部１０２は、必ずしもユーザ操作に応じたパラメータ設定を行わなくてもよい。例えば固定的な揺れパターンを付加するようなパラメータ設定を行うようにしてもよい。また例えば画像内容に応じて自動的に揺れ変更パラメータＰＲＭの設定を行うようにしてもよい。例えば揺れパターンのアーカイブデータとして、「ゆっくり歩く人」「歩く人」「走る人」などに応じた揺れパターンや、「ウサギ」「猫」「馬」などに応じた揺れパターンや、自動車、船、飛行機などに応じた揺れパターンの情報をデータベースから取得できるようにする。画像内容に応じて揺れ情報を選択し、その揺れパターンに応じた揺れ変更パラメータＰＲＭを設定するというようにしてもよい。
もちろんユーザが揺れパターンを選択し、その選択に応じて揺れ変更パラメータＰＲＭを設定することも考えられる。

なお本開示でいう「揺れ情報」とは、
・画像に存在する揺れの量を表す情報
・画像に加える揺れの量を表す情報
のいずれにも考えることができる。
「画像に存在する揺れの量を表す情報」で示される揺れ量を抑制する方向に揺れ変更処理を行えば、揺れ除去が行われる。この場合にその揺れ量を小さく調整してその揺れ量を抑制する方向に揺れ変更処理を行えば、揺れ一部除去が行われる。
一方で、「画像に存在する揺れの量を表す情報」に応じて揺れを除去した後、「画像に存在する揺れの量を表す情報」を調整した揺れ情報に応じて揺れを加えても、結果として揺れ一部除去が行われる。
さらに揺れの無い画像、又は揺れを除去した画像、又は揺れのある画像に「画像に加える揺れの量を表す情報」に応じて揺れを加えるように揺れ変更を行うと、揺れ付加が行われる。
つまり、「揺れ情報」が上記のいずれであるかにより、揺れ変更の具体的な演算処理が異なるものとなるが、いずれであっても本実施の形態の揺れ変更は可能となる。

関連付け部１０６は、画像データと、正規化揺れ情報ＳＣＩとを関連付ける処理を行う機能である。
例えば関連付け部１０６は、画像データと正規化揺れ情報ＳＣＩを関連付けて保存してもよい。或いは関連付け部１０６は、これら画像データと正規化揺れ情報ＳＣＩを互いに関連付けるための情報を生成、保存することも考えられる。
この場合、画像データは、揺れ変更部１００における揺れ変更処理を行う前の画像データとしている。
なお関連付け部１０６は、さらに、正規化揺れ情報ＳＣＩを、揺れ変更処理の処理量が特定できる揺れ変更情報ＳＭＩ（図２参照）や、撮像時揺れ情報とも関連付けるようにしてもよい。揺れ変更情報ＳＭＩとは、例えば当該画像データについて揺れ変更のために入力された揺れ変更パラメータＰＲＭである。

図７は図６を変形した機能構成を示している。
この図７の場合、揺れ変更部１００は、揺れ付加部１００ａのみを備える例としている。
揺れ情報処理部１０１はパラメータ設定部１０２からの揺れ変更パラメータＰＲＭに基づいて出力揺れ情報を生成し、その出力揺れ情報が揺れ情報正規化部１０５で正規化されて揺れ変更部１００に送られる。
揺れ変更部１００は、正規化揺れ情報ＳＣＩに基づいて揺れ付加を行う。

図８も図６を変形した機能構成を示している。
この図８の場合、揺れ変更部１００は、揺れ一部除去部１００ｂのみを備える例としている。
揺れ情報処理部１０１はパラメータ設定部１０２からの揺れ変更パラメータＰＲＭに基づいて、撮像時揺れ情報を調整した出力揺れ情報を出力し、その出力揺れ情報が揺れ情報正規化部１０５で正規化されて揺れ変更部１００に送られる。
揺れ変更部１００は、正規化揺れ情報ＳＣＩに基づいて揺れ一部除去を行う。

以上の図７，図８は、より単純化した機能構成例であるが、他にも構成例は考えられる。例えば図８の構成で揺れ変更部１００が揺れ付加部１００ａのみを備えるようにしてもよい。例えば揺れ情報処理部１０１はパラメータ設定部１０２からの揺れ変更パラメータＰＲＭに基づいて、撮像時揺れ情報を調整した揺れ情報を出力し、その揺れ情報が揺れ情報正規化部１０５で正規化されて揺れ変更部１００に送られる。揺れ変更部１００は、正規化揺れ情報ＳＣＩに基づいて揺れ付加を行うようにする。つまり元の画像データの揺れをさらに大きくするような処理を行う例となる。

なお、以上は画像処理装置ＴＤｘとしての機能構成を示したが、画像処理装置ＴＤｙとしての機能構成としても考えることができる。
但し画像処理装置ＴＤｙの場合、揺れ変更部１００が処理対象とする画像データと、正規化揺れ情報ＳＣＩは、以前の揺れ変更の際に画像処理装置ＴＤｘなどにより関連付けられているデータであることになる。
また図１Ｂで説明したように画像ソースＶＳと画像処理装置ＴＤｘが例えば撮像装置１などで実現される場合、図６，図７，図８の機能を撮像装置１のカメラ信号処理部１３又はカメラ制御部１８において備えることで、画像処理装置ＴＤｘとして機能するようにすることも考えられる。

＜３．揺れ変更と揺れ情報の正規化＞
ここで実施の形態における揺れ付加及び揺れ一部除去の処理、及び揺れ情報正規化部１０５による揺れ情報の正規化について説明する。
本実施の形態の処理は、処理対象の画像の画角に応じて揺れの強弱を調整するものと言うことができる。

揺れ付加や揺れ一部除去として、角度（後述する天球モデルＭＴの回転角）で揺れ量を指定した場合、同じ指示値であっても適用する画像の画角によって見え方（揺れの大きさの画角に占める割合）が異なる。
このため、例えば、同じ揺れのデータを画角の異なる２つの画像に適用した場合に、画角に対する割合という意味で同程度の揺れ演出効果を得ようとすると、異なる強度設定をする必要があり、煩雑となる。

そこで本実施の形態では、揺れ変更で適用する揺れの大きさを画像の画角によって正規化する。
例えば揺れデータとして想定する基準となる画角を予め定めておき、基準画角と実際に揺れ変更を行う画像の画角との関係に従って、揺れの大きさを調整する。

例えば、揺れの無い画像などに新たに揺れ付加する場合は、
（正規化後の揺れ付加量）＝（オリジナル揺れ付加量）×（（対象画像画角）／（基準画角））
などとする。
なお、オリジナル揺れ付加量とは、揺れ情報処理部１０１で生成した出力揺れ情報である。例えば後述する揺れ変更用クオータニオンｅＱＤにユーザ操作等に応じてゲイン調整を行ったものが相当する。
基準画角とは予め基準として定めたある画角である。

また揺れのある画像に対して揺れ除去量を調整して揺れ一部除去を行う場合は、
（正規化後の揺れ残し量）＝（オリジナル揺れ残し量）×（（切り出し後画像画角）／（撮像画像画角））
などとする。
なお、オリジナル揺れ残し量とは、揺れ情報処理部１０１で調整した出力揺れ情報である。これも例えば後述する揺れ変更用クオータニオンｅＱＤにユーザ操作等に応じてゲイン調整を行ったものが相当する。

このような正規化では、例えばすべて縦の画角に揃えて処理を行うことを基本とすることが考えられる。同じシーンを異なるアスペクト比で撮る場合、縦の画角は同じとなることが多いためである。
そして揺れ量の画角に応じた正規化を行うために、基準画角として少なくとも縦の画角の情報をメタデータとして残しておく。

図９Ａは基準画角として、縦の画角FOV_Vstdと、横の画角FOV_Hstdを示している。また図９Ｂは処理対象の画像の画角として、縦の画角FOV_Vtgtと、横の画角FOV_Htgtを示している。
この図の場合では、FOV_Vstd≒２７［deg］、FOV_Vtgt≒１４．４［deg］となる。

ここで上述の正規化演算式の「（対象画像画角）／（基準画角）」や、「（切り出し後画像画角）／（撮像画像画角）」を正規化係数αとする。
そして「正規化後の揺れ付加量」や「正規化後の揺れ残し量」を上述の正規化揺れ情報ＳＣＩ、「オリジナル揺れ付加量」や「オリジナル揺れ残し量」を揺れ情報処理部１０１が出力する揺れ情報とすると、
正規化揺れ情報ＳＣＩ＝（揺れ情報）×α
とすることができる。
そして図９の場合に縦の画角で処理することを考えると、
正規化係数α＝FOV_Vtgt／FOV_Vstd
となる。つまり
正規化揺れ情報ＳＣＩ＝（揺れ情報）×（FOV_Vtgt／FOV_Vstd）
となる。
例えばこのような正規化処理を行い、正規化揺れ情報ＳＣＩに応じて揺れ変更を行うことで、画角によって揺れ具合（揺れの見え方）が大きく異なるようなことがなくなる。

なお、以上は縦の画角を用いる例を挙げたが、横の画角や斜め（対角線）の画角で正規化係数αを求めるようにしてもよい。

図１０は、画像Ｐ１と、より画角が小さい画像Ｐ２に揺れ変更を施す場合を模式的に示している。画像Ｐ１は、あるカメラでスタジオセット等で撮像し、背景を合成したものとする。また画像Ｐ２は、同じスタジオセット等で他のカメラでズーム撮像し、背景を合成したものとする。この場合に、例えば揺れアーカイブとして記憶された揺れのパターンに応じて船の揺れを付加するとする。
当該揺れを付加するための揺れ変更パラメータＰＲＭで揺れ情報を生成し、揺れ付加を行うと、画像Ｐ１については適切に見える揺れであっても、画像Ｐ２については、視覚上、激しい揺れとなってしまう。
そこでこの場合に、それぞれの対象画像の撮像画角と基準画角を用いた正規化係数αで揺れ情報を正規化し、正規化揺れ情報ＳＣＩを用いて揺れ変更を行う。これにより図示のように両者とも適度な揺れを表現できるようになる。

図１１は、元々激しい揺れのある画像Ｐ３から、画角が異なる画像Ｐ４，Ｐ５の切り出しを行う場合を示している。この場合に、それぞれ切り出す画像Ｐ４、Ｐ５について、画像データと、撮像画像画角と、切り出し後画像画角と、撮像時揺れ情報とを入力して揺れ変更を行う。
また揺れ一部除去のために、例えばユーザが指定した揺れ残し量に応じた揺れ変更パラメータを入力する。
もし撮像時揺れ情報と揺れ変更パラメータのみから得られる揺れ情報を正規化せずに揺れ変更を行うと、画像Ｐ４，Ｐ５は、ユーザが意図したような揺れ残りの状態とはならないことが想定される。そこで撮像画像画角と切り出し後画像画角から求める正規化係数αを用いて正規化した正規化揺れ情報ＳＣＩを用いて揺れ変更を行う。これにより画像Ｐ４，Ｐ５が互いに同じ程度の揺れが視覚的に表現されたものとなる。

＜４．画像ファイル及びメタデータ＞
以下、画像ソースＶＳである撮像装置１で撮像され、画像処理装置ＴＤｘへ入力される画像ファイルＭＦについて、上記のような揺れ情報の正規化を行う例を説明していく。
まず、撮像装置１等の画像ソースＶＳから画像処理装置ＴＤｘに伝送される画像ファイルＭＦの内容とメタデータの内容を説明する。
図１２Ａは画像ファイルＭＦに含まれるデータを示している。図示のように画像ファイルＭＦには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。

「ヘッダー」には、ファイル名、ファイルサイズ等の情報とともにメタデータの有無を示す情報などが記述される。
「サウンド」は動画とともに収録された音声データである。例えば２チャネルステレオ音声データが格納される。
「ムービー」は動画データであり、動画を構成する各フレーム（＃１、＃２、＃３・・・）としての画像データで構成される。
「メタデータ」としては、動画を構成する各フレーム（＃１、＃２、＃３・・・）に対応づけられた付加情報が記述される。

メタデータの内容例を図１２Ｂに示す。例えば１つのフレームに対して、ＩＭＵデータ、座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰが記述される。なお、これらはメタデータ内容の一部であり、ここでは後述する画像処理に関連する情報のみを示しているものである。

ＩＭＵデータとしては、ジャイロ（角速度データ）、アクセル（加速度データ）、サンプリングレートが記述される。
センサ部２３として撮像装置１に搭載されるＩＭＵでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため１フレーム期間に多くのＩＭＵデータサンプルが得られるものとなっている。

そのため角速度データとしては、図１２Ｃに示すジャイロサンプル＃１、ジャイロサンプル＃２・・・ジャイロサンプル＃ｎというように、１フレームについてｎ個のサンプルが対応づけられる。
また加速度データとしても、アクセルサンプル＃１、アクセルサンプル＃２・・・アクセルサンプル＃ｍというように、１フレームについてｍ個のサンプルが対応づけられる。
ｎ＝ｍの場合もあるし、ｎ≠ｍの場合もある。
なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばＩＭＵデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報ＴＭにおけるＩＭＵサンプルタイミングオフセットとして持つようにされる。

座標変換パラメータＨＰは、画像内の各画素の座標変換を伴う補正に用いるパラメータの総称としている。例えばレンズ歪みのような非線形な座標変換も含む。
そして、座標変換パラメータＨＰとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。

レンズ歪み補正パラメータは、樽型収差、糸巻き型収差などの歪みをどのように補正したかを直接または間接的に把握しレンズ歪補正前の画像に戻すための情報となる。メタデータの１つとしてのレンズ歪み補正パラメータに関するメタデータについて簡単に説明しておく。
図１３Ａにはレンズ系１１とイメージセンサ１２ａの模式図において、像高Ｙ、角度β、入射瞳位置ｄ１、射出瞳位置ｄ２を示している。
レンズ歪み補正パラメータは、画像処理においては、イメージセンサ１２ａの各画素についての入射角度を知りたいために用いられる。そのため像高Ｙ、角度βの関係がわかれば良い。

図１３Ｂはレンズ歪み補正前の画像１１０とレンズ歪み補正後の画像１１１を示している。最大像高Ｈ０は歪み補正前の最大像高であり、光軸の中心から最遠までの距離である。最大像高Ｈ１は歪み補正後の最大像高である。
像高Ｙ、角度βの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高Ｈ０と、Ｎ個の各像高に対する入射角度のデータｄ０、ｄ１、・・・ｄ（Ｎ－１）となる。“Ｎ”は一例として１０程度であることが想定される。

図１２Ｂに戻って、台形歪み補正パラメータは、電子手ぶれ補正によって切り出し領域を中央からずらすことで生じる台形歪みを補正するときの補正量であり、電子手ぶれ補正の補正量に応じた値ともなる。

フォーカルプレーン歪み補正パラメータは、フォーカルプレーン歪みに対してライン毎の補正量を示す値となる。

電子手ぶれ補正及び光学手ぶれ補正に関しては、ヨー、ピッチ、ロールの各軸方向についての補正量を示すパラメータとなる。

なお、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正の各パラメータについては、座標変換パラメータと総称しているが、これらの補正処理は、撮像素子部１２のイメージセンサ１２ａの各画素に結像した像に対する補正処理であって、各画素の座標変換を伴う補正処理のパラメータであるためである。光学手ぶれ補正も座標変換パラメータの１つとするが、光学手ぶれ補正においてフレーム間成分の揺れの補正は各画素の座標変換を伴う処理となるためである。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部１２のイメージセンサ１２ａに結像したときの状態に戻すことができる。

またレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正の各パラメータについては、被写体からの光学像自体が光学的に歪んだ状態で撮像された画像である場合に対する歪み補正処理であり、それぞれ光学歪み補正を目的とするものであるため、光学歪み補正パラメータと総称している。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。

メタデータにおけるタイミング情報ＴＭとしては、露光時間（シャッタースピード）、露光開始タイミング、読み出し時間（幕速）、露光フレーム数（長秒露光情報）、ＩＭＵサンプルオフセット、フレームレートの各情報が含まれる。
本実施の形態の画像処理においては、これらは主に各フレームのラインとＩＭＵデータを対応づけるために用いられる。
但しイメージセンサ１２ａがＣＣＤの場合やグローバルシャッター方式のＣＭＯＳの場合であっても、 電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。

メタデータにおけるカメラパラメータＣＰとしては、画角（焦点距離）、ズーム位置、レンズ歪み情報が記述される。

＜５．処理例＞
実施の形態としての画像処理装置ＴＤｘとなる情報処理装置７０の処理例を説明する。
図１４は、画像処理装置ＴＤｘとしての情報処理装置７０において実行される各種処理の手順を示すとともに、各処理で用いる情報の関係性を示している。
なお、図６等に示した揺れ変更部１００の機能によっては、少なくともステップＳＴ１７の処理が行われればよい。ただし、ステップＳＴ１１，ＳＴ１２，ＳＴ１３，ＳＴ１４，ＳＴ１８，ＳＴ１９を揺れ変更部１００の処理と考えることもできる。
また揺れ情報処理部１０１の機能によっては、ステップＳＴ１５の処理が行われる。
揺れ情報正規化部１０５の機能によっては、ステップＳＴ１６の処理が行われる。
ＵＩ処理部１０３の機能によっては、ステップＳＴ４０の処理が行われる。
パラメータ設定部１０２の機能によっては、ステップＳＴ４１の処理が行われる。
関連付け部１０６の機能によっては、ステップＳＴ２０の処理が行われる。

まず前処理としてのステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４について説明する。
前処理は画像ファイルＭＦのインポート時に行われる処理とする。
ここでいう「インポート」とは、情報処理装置７０が例えば記憶部７９などに取り込んでいることでアクセス可能な画像ファイルＭＦなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置１から携帯端末２等に転送することを指すものではない。

ＣＰＵ７１は、ユーザ操作等により指定された画像ファイルＭＦを画像処理対象となるようにインポートするとともに、前処理として画像ファイルＭＦに付加されたメタデータに関する処理を行う。例えば動画の各フレームに対応するメタデータを抽出して記憶する処理を行う。
具体的には、この前処理では、メタデータ抽出（ステップＳＴ１）、全ＩＭＵデータ連結（ステップＳＴ２）、メタデータの保持（ステップＳＴ３）、クオータニオン（撮像装置１の姿勢情報）への変換、保持（ステップＳＴ４）が行われる。

ステップＳＴ１のメタデータ抽出としては、ＣＰＵ７１は、対象の画像ファイルＭＦを読み込んで、図１２で説明したように画像ファイルＭＦに含まれているメタデータを抽出する。
なおステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の一部又は全部を撮像装置１などの画像ソースＶＳ側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。

ＣＰＵ７１は、抽出されたメタデータのうち、ＩＭＵデータ（角速度データ（ジャイロサンプル）と加速度データ（アクセルサンプル））については、ステップＳＴ２で連結処理を行う。
これは、全フレームについて対応づけられているＩＭＵデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するＩＭＵデータを構築する処理となる。
そして連結したＩＭＵデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置１の姿勢を表すクオータニオンＱＤを算出し、これを記憶保持する。クオータニオンＱＤを算出するとしているのは一例である。
なお角速度データのみでクオータニオンＱＤを計算することもできる。

ＣＰＵ７１は、抽出されたメタデータのうち、ＩＭＵデータ以外のメタデータ、即ち座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰについては、ステップＳＴ３で保持する処理を行う。即ち各フレームに対応した状態で座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰを記憶する。

以上の前処理が行われることで、ＣＰＵ７１にとっては、画像ファイルＭＦとして受け取った画像データに対する揺れ変更を含めた各種の画像処理を行う準備がなされたことになる。
図１０の定常処理は、以上のように前処理が施された画像ファイルＭＦの画像データを対象として行う画像処理を示している。

ＣＰＵ７１は、動画の１フレーム取り出し（ステップＳＴ１１）、撮像装置内部補正キャンセル（ステップＳＴ１２）、天球モデルへの貼り付け（ステップＳＴ１３）、同期処理（ステップＳＴ１４）、揺れ情報調整／生成（ステップＳＴ１５）、揺れ情報正規化（ステップＳＴ１６）、揺れ変更（ステップＳＴ１７）、平面投影及び切り出し（ステップＳＴ１８）、出力領域指定（ステップＳＴ１９）、及び関連付け記録／再生（ステップＳＴ２０）の処理を行う。

ＣＰＵ７１は、以上のステップＳＴ１１からステップＳＴ２０の各処理は、画像ファイルＭＦの画像再生の際に毎フレームについて行うことになる。

ステップＳＴ１１でＣＰＵ７１は、フレーム番号ＦＮに沿って動画（画像ファイルＭＦ）の１フレームをデコードする。そして１フレームの画像データＰＤ（＃ＦＮ）を出力する。なお『（＃ＦＮ）』はフレーム番号を示し、そのフレームに対応する情報であることを表すものとする。
なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップＳＴ１１でのデコード処理は不要である。

ステップＳＴ１２でＣＰＵ７１は、１フレームの画像データＰＤ（＃ＦＮ）について撮像装置１で行われた内部補正をキャンセルする処理を行う。
このためにＣＰＵ７１は、前処理時に当該フレーム番号（＃ＦＮ）に対応して記憶された座標変換パラメータＨＰ（＃ＦＮ）を参照し、撮像装置１で行われた補正とは逆補正を行う。これにより撮像装置１におけるレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正がキャンセルされた状態の画像データｉＰＤ（＃ＦＮ）を得る。つまり撮像装置１で行われた揺れ除去等がキャンセルされて、撮像時の手ぶれ等の揺れの影響がそのまま現れている画像データである。これは、撮像時の補正処理をキャンセルして補正前の状態としたうえで、撮像時揺れ情報（例えばクオータニオンＱＤ）を用いたより高精度の揺れ除去や、揺れ付加を行うためである。
但し、このステップＳＴ１２としての撮像装置内部補正キャンセルの処理は行われなくてもよい。例えばステップＳＴ１２の処理をスキップして、画像データＰＤ（＃ＦＮ）をそのまま出力してもよい。

ステップＳＴ１３でＣＰＵ７１は、１フレームの画像データｉＰＤ（＃ＦＮ）、又は１フレームの画像データＰＤ（＃ＦＮ）について、天球モデルへの貼付を行う。このとき、当該フレーム番号（＃ＦＮ）に対応して記憶されたカメラパラメータＣＰ（＃ＦＮ）、即ち画角、ズーム位置、レンズ歪み情報を参照する。

図１５に天球モデルへの貼付の概要を示す。
図１５Ａは画像データｉＰＤを示している。なお画像データＰＤの場合もあるが、以下同様である。
像高ｈは画像中心からの距離である。図中の各円は像高ｈが等しくなる位置を示している。
この画像データｉＰＤのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から図１５Ｂのような像高ｈと入射角φの関係の１次元のグラフとして表現する。入射角φは光線の角度（光軸から見た角度）である。
この１次元のグラフを撮像画像の真ん中を中心に１回転させて、各ピクセルと入射角の関係を求める。
それに従って図１５Ｃの画素Ｇ１から天球座標上の画素Ｇ２のように、画像データｉＰＤの各画素について天球モデルＭＴへのマッピングを行うことになる。

以上によりレンズ歪みが除去された状態で撮像画像を理想天球面に貼り付けた天球モデルＭＴの画像（データ）が得られる。この天球モデルＭＴは、その画像データｉＰＤを元々撮像した撮像装置１の固有のパラメータや歪みが除去され、理想的なピンホールカメラで見える範囲が、天球面に貼ってあるものとなっている。
従ってこの状態で天球モデルＭＴの画像を所定方向に回転させることで、揺れ除去や揺れ付加としての揺れ変更処理が実現できることになる。

ここで揺れ変更処理には撮像装置１の姿勢情報（クオータニオンＱＤ）を用いることになる。このためにＣＰＵ７１はステップＳＴ１４で同期処理を行うようにしている。
同期処理では、フレーム番号ＦＮに対応して、ライン毎に適したクオータニオンＱＤ（＃ＬＮ）を特定し取得する処理を行う。なお『（＃ＬＮ）』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。

なお、ライン毎のクオータニオンＱＤ（＃ＬＮ）を用いるのは、イメージセンサ１２ａがＣＭＯＳ型でローリングシャッター方式の撮像が行われる場合、ライン毎に揺れの量が異なるためである。
例えばイメージセンサ１２ａがＣＣＤ型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンＱＤ（＃ＦＮ）を用いれば良い。
なお、イメージセンサ１２ａとしてのＣＣＤやＣＭＯＳのグローバルシャッターの時でも電子シャッター（メカシャッターでも同様）を用いていると重心がずれるので、フレームの露光期間の中心（電子シャッターのシャッター速度に応じてずれる）のタイミングのクオータニオンを用いると良い。

ここで画像に現れるブラーについて考慮する。
ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減／解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、ＣＭＯＳのローリングシャッターではラインごとに露光期間が異なる。

そこでステップＳＴ１４の同期処理では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準としてクオータニオンＱＤを取得するようにする。
図１６には、撮像装置１の垂直期間の同期信号ｃＶと、この同期信号ｃＶから生成されるイメージセンサ１２ａの同期信号ｓＶ、及びＩＭＵデータのサンプルタイミングを示すとともに、露光タイミング範囲１２０を示している。
露光タイミング範囲は、ローリングシャッター方式で露光時間ｔ４としたときの１フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号ｃＶと同期信号ｓＶの時間的なオフセットｔ０、ＩＭＵサンプルタイミングオフセットｔ１、読み出し開始タイミングｔ２、読み出し時間（幕速）ｔ３、露光時間ｔ４を示している。なお読み出し開始タイミングｔ２は同期信号ｓＶから所定時間ｔ２ｏｆを経たタイミングとなる。
各ＩＭＵサンプルタイミングで得られる各ＩＭＵデータについてはフレームに紐づけられる。例えば期間ＦＨ１におけるＩＭＵデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間ＦＨ１におけるＩＭＵデータは次のフレームに紐付いたメタデータとされる。但し図１４のステップＳＴ２で全ＩＭＵデータを連結することで、各フレームとＩＭＵデータの紐付けを解除し時系列でＩＭＵデータを管理できる状態になっている。
この場合に、現フレームの各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。これはＩＭＵデータとイメージセンサ１２ａの有効画素領域との時間的な関係がわかれば計算できる。

そこで当該フレーム（＃ＦＮ）に対応するタイミング情報ＴＭとして取得できる情報を用いて、各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。
即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、ＩＭＵサンプルオフセット、フレームレートの情報である。
そして露光重心のＩＭＵデータから計算されたクオータニオンＱＤを特定し、ライン毎の姿勢情報であるクオータニオンＱＤ（＃ＬＮ）とする。

このクオータニオンＱＤ（＃ＬＮ）はステップＳＴ１５の揺れ情報調整／生成の処理に提供される。
揺れ情報調整／生成の処理では、ＣＰＵ７１は入力された揺れ変更パラメータＰＲＭに従ってクオータニオンＱＤを調整又は生成する。

揺れ変更パラメータＰＲＭは、ユーザ操作に応じて入力されるパラメータであったり、自動制御によって発生されるパラメータであったりする。
揺れ変更パラメータＰＲＭはステップＳＴ４１のパラメータ設定の処理で発生される。

またステップＳＴ４０のＵＩ処理により、ユーザは揺れ変更を指示する操作入力を行うことができる。即ち揺れ演出として付加する揺れを指示する操作や、揺れ除去の程度を指示するような操作などである。
例えばユーザは、画像に任意の揺れ具合を付加するように揺れ変更パラメータＰＲＭ自体の入力や、パラメータの選択等を行うことができる。その場合、ステップＳＴ４１でユーザ入力に応じた揺れ変更パラメータＰＲＭが設定され、揺れ情報調整／生成の処理に供される。
またＣＰＵ７１は、ステップＳＴ４１のパラメータ設定の処理として、画像解析や画像種別、或いはユーザの揺れのモデルの選択操作などに応じて自動制御により揺れ変更パラメータＰＲＭを発生させ、揺れ情報調整／生成の処理に供することもできる。

そしてステップＳＴ１５の揺れ情報調整／生成の処理では、ＣＰＵ７１は、揺れ変更パラメータＰＲＭや、撮像時揺れ情報であるクオータニオンＱＤに基づいて、画像に揺れを付加したり、揺れの量を低減させたりするための揺れ変更用クオータニオンｅＱＤを調整又は生成し、出力揺れ情報として出力する。

撮像時揺れ情報としてのクオータニオンＱＤと揺れ変更パラメータＰＲＭを用いた調整例（即ち揺れ変更用クオータニオンｅＱＤの生成例）を図１７，図１８，図１９で説明する。
図１７は揺れ変更パラメータＰＲＭによる周波数帯域別ゲインの指示に応じて揺れ変更用クオータニオンｅＱＤを生成する例である。
周波数帯域とは揺れの周波数の帯域である。説明上、ローバンド、ミドルバンド、ハイバンドの３つの帯域に分けるとする。もちろんこれは一例にすぎず帯域数は２以上であればよい。
低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧが、揺れ変更パラメータＰＲＭとして与えられる。

図１７の調整処理系としては、低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３、ゲイン演算部４４，４５，４６、合成部４７を有する。
この調整処理系には「揺らすためのクオータニオンＱＤｓ」を入力する。これは撮像時揺れ情報としてのクオータニオンＱＤの共役である。

揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑを低域通過フィルタ４１に入力し、低域成分ｑ_lowを求める。

この低域成分ｑ_lowに対してゲイン演算部４４で低域ゲインＬＧを与える。
なお、式中のｍｅａｎ（ｑ，ｎ）は、ｑの前後ｎ個の平均値を示す。

また揺らすためのクオータニオンＱＤｓの値ｑを中域通過フィルタ４２に入力し、中域成分ｑ_midを求める。

なお、ｑ^* _lowはｑ_lowの共役である。
また“×”はクオータニオン積である。
この中域成分ｑ_midに対してゲイン演算部４５で中域ゲインＭＧを与える。

また揺らすためのクオータニオンＱＤｓの値ｑを高域通過フィルタ４３に入力し、高域成分ｑ_highを求める。

なお、ｑ^* _midはｑ_midの共役である。
この高域成分ｑ_highに対してゲイン演算部４６で高域ゲインＨＧを与える。

これらのゲイン演算部４４，４５，４６は、入力を“ｑ_in”とする。

この場合にθ’＝θ＊gainとして、次の“ｑ_out”を出力する。
（但しgainは、低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧ）

このようなゲイン演算部４４，４５，４６により、それぞれ低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧが与えられた低域成分ｑ_low、中域成分ｑ_mid、高域成分ｑ_highが得られる。これを合成部４７で合成した値ｑ_mixedを得る。

なお“×”はクオータニオン積である。
このように求められた値ｑ_mixedが揺れ変更用クオータニオンｅＱＤの値となる。
なお以上は帯域分割した例であるが、帯域分割せずに揺れ変更パラメータＰＲＭに応じたゲインを与えるという揺れ変更用クオータニオンｅＱＤの生成手法も考えられる。

次に図１８は揺れ変更パラメータＰＲＭによる方向別ゲインの指示に応じて揺れ変更用クオータニオンｅＱＤを生成する例である。
方向とは揺れの方向であり、即ち、ヨー、ピッチ、ロールの方向である。
ヨーゲインＹＧ、ピッチゲインＰＧ、ロールゲインＲＧが、揺れ変更パラメータＰＲＭとして与えられる。

図１８の調整処理系としては、ヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３、ゲイン演算部５４，５５，５６、合成部５７を有する。
ヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３には、それぞれヨー軸（Yaw axis）、ピッチ軸（Pitch axis）、ロール軸（Roll axis）の情報が提供される。

揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑをヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３にそれぞれ入力し、ヨー成分ｑ_yaw、ピッチ成分ｑ_pitch、ロール成分ｑ_rollを求める。
これら各成分抽出処理は、入力を次の“ｑ_in”とする。

ｕは、ヨー軸、ピッチ軸、ロール軸等の軸の方向を表す単位ベクトルである。
この場合にθ’＝θ＊（ａ・ｕ）として、次の“ｑ_out”を出力する。

そしてこのような成分抽出により得られたヨー成分ｑ_yaw、ピッチ成分ｑ_pitch、ロール成分ｑ_rollについては、ゲイン演算部５４，５５，５６により、それぞれヨーゲインＹＧ、ピッチゲインＰＧ、ロールゲインＲＧを与える。
そしてゲイン演算を施したヨー成分ｑ_yaw、ピッチ成分ｑ_pitch、ロール成分ｑ_rollを合成部４７で合成した値ｑ_mixedを得る。

なお、この場合の“×”もクオータニオン積である。
このように求められた値ｑ_mixedが揺れ変更用クオータニオンｅＱＤの値となる。

図１９は以上の周波数帯域別と方向別を組み合わせた例である。
調整処理系としては、低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３、方向別処理部５８，５９，６０、ゲイン演算部４４，４５，４６、合成部６１を有する。
揺れ変更パラメータＰＲＭによっては、低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧ、及び図示していないヨーゲインＹＧ、ピッチゲインＰＧ、ロールゲインＲＧが与えられる。

この調整処理系では、揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑを低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３に供給してそれぞれの帯域成分を得る。各帯域成分は、方向別処理部５８，５９，６０に入力される。
方向別処理部５８，５９，６０は、それぞれが図１８のヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３、ゲイン演算部５４，５５，５６、合成部５７を有するものとする。
即ち、方向別処理部５８では、揺らすためのクオータニオンＱＤｓの低域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分け、ヨーゲインＹＧ、ピッチゲインＰＧ、ロールゲインＲＧを用いてゲイン演算を行った後、合成する。
方向別処理部５９では、揺らすためのクオータニオンＱＤｓの中域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。
方向別処理部６０では、揺らすためのクオータニオンＱＤｓの高域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。

これらの方向別処理部５８，５９，６０の出力はそれぞれゲイン演算部４４，４５，４６に供給され、それぞれ低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧが与えられる。そして合成部６１で合成され、揺れ変更用クオータニオンｅＱＤの値として出力される。

以上の図１９の例では、先に周波数帯域別に分けた後、それぞれの帯域成分毎に方向別の処理を適用したが、逆でもよい。即ち先に方向別に分けた後、それぞれの方向成分毎に周波数帯域別の処理を適用するようにしてもよい。

図１０のステップＳＴ１５では、例えば以上のような処理例によって揺れ変更用クオータニオンｅＱＤが生成される。
但し、以上は、撮像時揺れ情報であるクオータニオンＱＤを調整して、揺れ変更用クオータニオンｅＱＤを生成する場合の例として考えることができる。例えば揺れ一部除去を行う場合の処理例となる。或いは元々の揺れに揺れを追加するような揺れ付加を行う場合の処理例となる。
揺れ変更の対象として揺れのない画像（例えば画像データｉＰＤ）を想定し、新規に揺れを付加するような揺れ付加を行う場合は、撮像時揺れ情報であるクオータニオンＱＤを用いずに、揺れ変更パラメータＰＲＭに基づいて揺れ変更用クオータニオンｅＱＤを生成すればよいものとなる。

ところで以上の例では、低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧが揺れ変更パラメータＰＲＭとして与えられるとしたが、これらは例えばＵＩ処理としてユーザ操作を検知した結果に応じた揺れ変更パラメータＰＲＭである。
この場合、ユーザから見た場合、揺れの変更量（揺れ残し量）を、角度で認識して入力できるようにすると、感覚的にわかりやすい操作を提供できる。ここで言う角度とは、天球モデルＭＴ上での回転角度である。揺れ付加の場合も角度で操作できることが好適である。

表現したい回転、即ち揺れの量として、その回転軸を表す単位ベクトルａを、
ａ＝（ａ_x ａ_y ａ_z）^T
とし、回転する角度（回転量）をθ［rad］とすると、
その回転に対応するクオータニオンqは、次の（数１０）のようになる。

例えば、ステップＳＴ４１のパラメータ設定処理では、ユーザの角度による入力をこのように回転に対するクオータニオンｑに変換し、これを上述の（数４）（数７）等に適用すればよい。

ステップＳＴ１５の揺れ情報調整／生成の処理で生成された揺れ変更用クオータニオンｅＱＤは、ステップＳＴ１６の揺れ情報正規化処理に提供される。
揺れ情報正規化処理では、正規化係数αを用いて揺れ変更用クオータニオンｅＱＤを正規化する。

先に、正規化揺れ情報ＳＣＩについては、
正規化揺れ情報ＳＣＩ＝（揺れ情報）×α
として求めると述べたが、この式の「揺れ情報」の具体例が、揺れ変更用クオータニオンｅＱＤとなる。そしてステップＳＴ１６では、正規化揺れ情報ＳＣＩとして正規化クオータニオンｎＱＤを求めることになる。
いま、調整／生成された「揺れ情報」である揺れ変更用クオータニオンｅＱＤの値を次の「ｑ_org」とする。

すると、正規化クオータニオンｎＱＤの値「ｑ_norm」は、次のように計算される。

なお正規化係数αは、上述のように「（対象画像画角）／（基準画角）」や、「（切り出し後画像画角）／（撮像画像画角）」である。

以上のように生成された正規化クオータニオンｎＱＤはステップＳＴ１７の揺れ変更処理に提供される。
ステップＳＴ１７の揺れ変更とは、例えば正規化クオータニオンｎＱＤを、揺れが止まった状態の画像データｉＰＤに適用して揺れを付加するもの、或いは揺れのある画像データＰＤの揺れ補正量を調整するものと考えることができる。

ＣＰＵ７１はステップＳＴ１７の揺れ補正では、ステップＳＴ１３でフレームの画像が貼り付けられた天球モデルＭＴの画像を、ライン毎に正規化クオータニオンｎＱＤ（＃ＬＮ）を用いて回転させることで、揺れを付加又は一部除去するようにする。揺れ変更済天球モデルｈＭＴの画像は、ステップＳＴ１８の処理に送られる。

そしてステップＳＴ１８でＣＰＵ７１は、揺れ変更済天球モデルｈＭＴの画像を平面に投影し、切り出すことで、揺れ変更がなされた画像（出力画像データｏＰＤ）が得られる。

この場合、天球モデルＭＴの回転により揺れ変更が実現されているとともに、天球モデルＭＴを用いることで、どこを切り出しても台形状にならないため結果として台形歪みも解消されていることになる。また上述のように天球モデルＭＴは理想的なピンホールカメラで見える範囲が天球面に貼ってあるものとなっているためレンズ歪みもない。天球モデルＭＴの回転がライン毎の正規化クオータニオンｎＱＤ（＃ＬＮ）に応じて行われることで、フォーカルプレーン歪み補正も解消されている。
さらにクオータニオンＱＤ（＃ＬＮ）が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。

ステップＳＴ１８で平面投影された後の画像と天球モデルＭＴの対応付けは次のようになる。
図２０Ａは、平面投影する矩形の座標平面１３１の一例を示している。平面投影される画像の各座標を（ｘ，ｙ）とする。
図２０Ｂに示すように座標平面１３１を、天球モデルＭＴの真上に真ん中で接するように３次元空間上に配置（正規化）する。即ち、その座標平面１３１の中心が天球モデルＭＴの中心と一致し、かつ天球モデルＭＴと接する位置に配置されるようにする。

この場合、ズーム倍率や切り出し領域のサイズに基づいて座標を正規化する。例えば図２０Ａのように座標平面１３１の水平座標を０乃至ｏｕｔｈとし、垂直座標を０乃至ｏｕｔｖとする場合、ｏｕｔｈおよびｏｕｔｖが画像サイズとされる。そして例えば、次の式により座標を正規化する。

上記（数１３）において、ｍｉｎ（Ａ、Ｂ）は、ＡおよびＢのうち値が小さい方を返す関数である。また、「ｚｏｏｍ」は、拡大縮小を制御するためのパラメータである。
またｘnorm、ｙnorm、ｚnormは、正規化したｘ、ｙ、ｚ座標である。
上記（数１３）の各式により、座標平面１３１の座標は、半径１．０の半球の球面上の座標に正規化される。

切り出し領域の向きを求めるための回転は図２１Ａのように、座標平面１３１を回転行列演算により回転させる。即ち下記（数１４）の回転行列を使用し、パン角、チルト角およびロール角で回転させる。ここではパン角は、座標をｚ軸周りに回転させる回転角度である。また、チルト角は、座標をｘ軸周りに回転させる回転角度であり、ロール角は、ｙ軸周りに回転させる回転角度である。

上記（数１４）において、「Ｒｔ」はチルト角、「Ｒｒ」はロール角、「Ｒｐ」はパン角である。また、（ｘrot、ｙrot、ｚrot）は回転後の座標である。

この座標（ｘrot、ｙrot、ｚrot）を透視射影での天球対応点算出に用いる。
図２１Ｂのように、座標平面１３１を、天球表面に透視射影する（領域１３２）。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。

（数１５）において、ｘsph、ｙsph、ｚsphは座標平面１３１上の座標を天球モデルＭＴの表面上の座標に射影した座標である。
この関係で平面投影された画像データが得られる。

例えば以上のような手法で平面に投影された画像についての切り出し領域が、図１４のステップＳＴ１９で設定されることになる。

ステップＳＴ１９では、画像解析（被写体認識）によるトラッキング処理や、ユーザ操作に応じた切り出し領域指示情報ＣＲＣに基づいて、現在のフレームにおける切り出し領域情報ＣＲＡが設定される。
例えば図２２Ａ、図２２Ｂに、或るフレームの画像について設定された切り出し領域情報ＣＲＡを、枠の状態で示している。
このような切り出し領域指示情報ＣＲＣがフレーム毎に設定される。
なお、切り出し領域情報ＣＲＡは、ユーザや自動制御による画像のアスペクト比の指示も反映される。

切り出し領域情報ＣＲＡはステップＳＴ１８の処理に反映される。即ち上記のように天球モデルＭＴ上で切り出し領域情報ＣＲＡに応じた領域が平面投影されて出力画像データｏＰＤが得られる。

このように得られた出力画像データｏＰＤは、ステップＳＴ１６で揺れ変更処理が施された画像データである。
図１４の処理が毎フレーム行われることで、出力画像データｏＰＤを再生表示すると、揺れ演出として揺れが付加された画像が表示されることになる。従ってユーザが揺れ変更パラメータＰＲＭの入力のための操作を行った場合、ユーザの意思に応じた揺れ演出が加えられた画像となる。このような画像データが、揺れ演出された画像として表示されたり保存されたりする。

ここで本実施の形態では、例えばステップＳＴ２０として関連付け記録／再生が行われる。例えばＣＰＵ７１はフレーム毎に関連付け記録（例えば図５の記憶部７９やリムーバブル記録媒体８１に記録）を行い、また必要時にそれらを再生／転送出力させることができる。

フレーム毎の関連付け記録処理としては、例えば、フレーム単位の画像データに対して、正規化揺れ情報ＳＣＩが関連付けられて記録される。さらに撮像時揺れ情報や揺れ変更情報ＳＭＩが関連付けられて記録されてもよい。

まずフレーム単位の画像データとして、ステップＳＴ１２でＣＰＵ７１は撮像装置内部補正がキャンセルされた画像データｉＰＤ（又は画像データＰＤ）の記録処理を行うとともに、これに対応させて、正規化揺れ情報ＳＣＩ、つまり正規化クオータニオンｎＱＤの記録処理を行う。

またＣＰＵ７１は、この画像データｉＰＤに関連付けられる撮像時揺れ情報として、そのフレームについてのクオータニオンＱＤ、タイミング情報ＴＭ、カメラパラメータＣＰの記録処理を行うようにしてもよい。

図２３には画像ソースＶＳから画像処理装置ＴＤｘに供給されたメタデータＭＴＤ１と、画像処理装置ＴＤｘが画像処理装置ＴＤｙに供給するメタデータＭＴＤ２を示しているが、これには正規化クオータニオンｎＱＤ等が含まれる。このメタデータＭＴＤ２に相当する情報が、画像データｉＰＤのフレーム毎に関連づけられる。

さらにＣＰＵ７１は、画像データｉＰＤに関連付けられる揺れ変更情報ＳＭＩとして、揺れ変更パラメータＰＲＭの記録処理を行ってもよい。或いは揺れ変更パラメータＰＲＭに代えて、もしくは揺れ変更パラメータＰＲＭとともに、揺れ変更用クオータニオンｅＱＤを記録するようにしてもよい。

このように関連付けて記録した各フレームの画像データｉＰＤ、正規化揺れ情報ＳＣＩ（正規化クオータニオンｎＱＤ）等は、外部機器に転送されて利用可能とされる。
図２には画像処理装置ＴＤｘから画像処理装置ＴＤｙに画像データＶＤ２、メタデータＭＴＤ２、正規化揺れ情報ＳＣＩ、揺れ変更情報ＳＭＩを伝送することを示したが、図１４の例の場合、画像データＶＤ２は、画像データｉＰＤにより構成される画像データとなる。またメタデータＭＴＤ２は例えば図２３に示す内容として正規化揺れ情報ＳＣＩを含むものとなる。
これにより画像処理装置ＴＤｙでは、過去に画像処理装置ＴＤｘで施された正規化揺れ情報ＳＣＩに基づく揺れ付加や揺れ一部除去の再現や、揺れ付加の調整や修正や、それらの揺れ変更の正確なキャンセルなどが容易にできるようになる。

＜６．まとめ及び変形例＞
以上の実施の形態では次のような効果が得られる。
実施の形態の画像処理装置ＴＤｘは、動画を構成する画像データ（入力画像データ）の出力揺れ情報を出力する揺れ情報処理部１０１（ステップＳＴ１５）を備えている。また画像処理装置ＴＤｘは、出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化部１０５（ステップＳＴ１６）を備えている。また画像処理装置ＴＤｘは、正規化揺れ情報ＳＣＩを用いて画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部１００（ステップＳＴ１７）を備えている。
これにより、出力画像データｏＰＤに適した揺れ量の揺れ付加（又は揺れ一部除去による揺れ残し）が実現できる。つまり切り出し後の画角によっては、揺れが想定より激しくなったり、或いは揺れ量が小さすぎるといったことはなくなり、画角に依らずにユーザ意思に応じた揺れ付加（又は揺れ一部除去による揺れ残し）が実現できる。

実施の形態では、揺れ変更部１００は、揺れ変更処理として、正規化揺れ情報ＳＣＩに基づいて入力画像データに揺れ付加を行う例を挙げた。
例えば画像処理装置ＴＤｘにおいてユーザが揺れ演出として揺れ量を指示するような操作を行い、それに応じて揺れ変更パラメータＰＲＭが入力され、揺れ変更用クオータニオンｅＱＤが生成及び正規化され、正規化クオータニオンｎＱＤを用いて揺れ演出としての揺れを付加するような揺れ変更処理が行われる。例えば揺れがない画像に演出としての揺れを付加したり、揺れがある画像にさらに揺れを加えたりするようなことができる。これにより画像表現を多様化できる。またこの場合に、出力画像データｏＰＤの画角によらずに適切な揺れ量の揺れ付加が実現できる。

実施の形態では、揺れ変更部１００は、揺れ変更処理として、正規化揺れ情報ＳＣＩに基づいて入力画像データの揺れ一部除去を行う例を挙げた。
例えば画像処理装置ＴＤｘにおいてステップＳＴ１７において、揺れ一部除去を行うことで、揺れを低減した画像を生成できる。例えば揺れが激しい画像の揺れを無くすのではなく抑えたい場合に好適となる。この場合も、正規化クオータニオンｎＱＤを用いて揺れ変更を行うことで、画角により残りの揺れ具合が異なるといったことがなくなり、画角に依らずにユーザ意思に応じた揺れ残しが実現できる。

実施の形態では、正規化のための画角情報は、揺れ変更処理を行う対象画像の画角と基準画角の比である例を挙げた。
即ちある基準画角を決め、その基準画角との画角の比を用いて揺れ情報を正規化する。これにより基準画角での揺れ具合と、同等の揺れを画角にかかわらず表現できるようになる。

実施の形態では、正規化のための画角情報は、揺れ変更処理を行う画像の切り出し後の画角と撮像時の画角の比である例を挙げた。
即ち撮像画像から切り出しを行って出力画像を生成する場合、撮像画像の画角を基準として切り出し画像に対する揺れ情報を正規化する。これにより切り出し画像においても、撮像画像における揺れ具合と、視覚的に同等に感じる揺れを表現できるようになる。

実施の形態では、揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部１０２を備える例を挙げた。
揺れ変更処理は、動画に生じている揺れを低減したり揺れを付加したりするなどして揺れの状態を変化させるが、この揺れ変更処理は、パラメータ設定部１０２が設定する揺れ変更パラメータＰＲＭに基づいて行われるようにする。例えば各種の揺れのアーカイブを用いたり、ユーザ入力を用いたりして、揺れ変更パラメータを生成することで、画像の撮像時の揺れではない、新たな演出としての揺れを画像に付加できるようになる。

実施の形態では、揺れ変更に関する操作情報を検知するＵＩ処理部１０３と、ＵＩ処理部１０３が検知した操作情報に基づいて、揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部１０２を備える例を挙げた。
これによりユーザに対して、画像に揺れを付加したり画像の揺れを一部除去したりする画像処理を実行させる操作環境を提供できる。
特に揺れ変更のためのパラメータをＵＩ画面上で視覚的に操作可能とすることで、ユーザにとってわかりやすい揺れ操作環境を提供できることになる。

実施の形態では、揺れ変更パラメータＰＲＭは、ＵＩ処理部１０３が検知した角度の情報を揺れ量に変換したものである例を挙げた。
具体的にはパラメータ設定部１０２は、ＵＩ画面などにおいて角度で指定される揺れ量をクオータニオンに変換するようにしている。これによりユーザは角度により揺れ量をイメージし易い操作で、変更後の揺れ量を指定できる。

実施の形態では、揺れ情報処理部１０１は、揺れ変更処理の処理量を指定する揺れ変更パラメータＰＲＭに基づいて出力揺れ情報（例えば揺れ変更用クオータニオンｅＱＤ）を生成する例を挙げた。
これにより揺れの無い画像に揺れを付加したり、揺れを大きくしたりするような処理が可能とされ、画像表現を多様化できる。

実施の形態では、揺れ情報処理部１０１は、撮像時揺れ情報（クオータニオンＱＤ）を、揺れ変更処理の処理量を指定する揺れ変更パラメータＰＲＭに基づいて調整して出力揺れ情（例えば揺れ変更用クオータニオンｅＱＤ）とする例を挙げた。
これにより、撮像時に画像に加わった揺れを低減して、見やすさを損なわない程度で揺れを残すことで、臨場感のある画像を生成するなどの処理が可能とされ、画像表現を多様化できる。

実施の形態では、撮像時揺れ情報は、撮像装置１による入力画像データの撮像時の撮像装置１の姿勢情報である例を挙げた。
即ちＩＭＵデータから求めた姿勢情報としてのクオータニオンＱＤを撮像時揺れ情報としている。これにより撮像時の揺れを適切に表現する情報を基に揺れ変更を行うことができる。

実施の形態では、揺れ変更部１００は、処理対象の入力画像データの各フレームを天球モデルＭＴへ貼付し、各フレームに対応する正規化揺れ情報ＳＣＩ（正規化クオータニオンｎＱＤ）を用いて回転させることで揺れ変更を行う例を挙げた。
天球モデルＭＴ上でフレーム毎に揺れを増減させるような回転を行って揺れ変更補正を行うことで、台形歪みが生じない揺れ変更が可能となる。従って揺れ演出が施された画像として、歪みの少ない高品位な画像が得られることになる。

実施の形態の画像処理装置ＴＤｘは、画像データと正規化揺れ情報ＳＣＩ（例えば正規化クオータニオンｎＱＤ）を関連付ける処理を行う関連付け部１０６（ステップＳＴ２０）を備えている。これにより、例えば画像処理装置ＴＤｙにおいて、画像処理装置ＴＤｘにおける揺れ変更処理により、どのような揺れ変更が行われたかを把握することができる。
すると画像処理装置ＴＤｙにおいて、例えば揺れ演出としての揺れ変更処理をやり直したり、既に施されている揺れ演出の揺れ具合を調整したり、揺れ演出をキャンセルしたりするなどの処理が可能となる。
また画像処理装置ＴＤｙにおいて、画像処理装置ＴＤｘで施された揺れ演出をキャンセルしたうえで揺れ除去を施すといったことも可能である。
即ち、揺れの状態を各画像処理装置で任意且つ多様に変更できるようになる。

なお互いに関連付けられる、画像データと正規化された揺れ情報は、例えば同じファイル内に記録されることが考えられる。例えば動画を構成する画像データ（及び音声データ）とメタデータ、及び正規化された揺れ変更情報を含むファイルを構成する。例えば正規化された揺れ変更情報は画像データに付随するメタデータとして含まれるようにすることができる。
但し必ずしも同じファイル等で記録される必要はない。正規化揺れ情報は画像データとは別のデータファイルとされても、画像データの各フレームと後に関連付けができる形態であればよい。即ちどのような記録形態であろうと、あくまでも伝送された先の画像処理装置ＴＤｙにおいて、これらを関連づけた状態で取得できるものであればよい。
更に撮像時揺れ情報も関連付けられてもよい。

実施の形態のプログラムは、図１４のような処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理（ＳＴ１５）と、出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と（ＳＴ１６）と、正規化揺れ情報を用いて入力画像データの揺れの状態を変更する揺れ変更処理（ＳＴ１７）とを情報処理装置に実行させるプログラムである。
このようなプログラムにより、上述した画像処理装置ＴＤｘを、例えば携帯端末２，パーソナルコンピュータ３、或いは撮像装置１などの機器において実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の画像処理装置ＴＤｘの広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理部と、
前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化部と、
前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部と、を備えた
画像処理装置。
（２）
前記揺れ変更部は、前記揺れ変更処理として、前記正規化揺れ情報に基づいて前記入力画像データに揺れ付加を行う
上記（１）に記載の画像処理装置。
（３）
前記揺れ変更部は、前記揺れ変更処理として、前記正規化揺れ情報に基づいて前記入力画像データの揺れ一部除去を行う
上記（１）又は（２）に記載の画像処理装置。
（４）
前記画角情報は、前記揺れ変更処理を行う対象画像の画角と基準画角の比である
上記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記画角情報は、前記揺れ変更処理を行う画像の切り出し後の画角と撮像時の画角の比である
上記（１）から（３）のいずれかに記載の画像処理装置。
（６）
前記揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部を備えた
上記（１）から（５）のいずれかに記載の画像処理装置。
（７）
揺れ変更に関する操作情報を検知するユーザインタフェース処理部と、
前記ユーザインタフェース処理部が検知した操作情報に基づいて、前記揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部と、を備えた
上記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記揺れ変更パラメータは、前記ユーザインタフェース処理部が検知した角度の情報を揺れ量に変換したものである
上記（７）に記載の画像処理装置。
（９）
前記揺れ情報処理部は、前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて前記出力揺れ情報を生成する
上記（１）から（８）のいずれかに記載の画像処理装置。
（１０）
前記揺れ情報処理部は、撮像時揺れ情報を、前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて調整して前記出力揺れ情報とする
上記（１）から（９）のいずれかに記載の画像処理装置。
（１１）
前記撮像時揺れ情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の姿勢情報である
上記（１０）に記載の画像処理装置。
（１２）
前記揺れ変更部は、前記入力画像データの各フレームを天球モデルへ貼付し、各フレームに対応する前記正規化揺れ情報を用いて各フレームを回転させることで前記揺れ変更処理を行う
上記（１）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記入力画像データと前記正規化揺れ情報を関連づける関連付け部を備えた
上記（１）から（１２）のいずれかに記載の画像処理装置。
（１４）
画像処理装置が、
動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理と、
前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と、
前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理と、
を行う画像処理方法。
（１５）
動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理と、
前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と、
前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理と、
を情報処理装置に実行させるプログラム。

１ 撮像装置
２ 携帯端末
３ パーソナルコンピュータ
４ サーバ
５ 記録媒体
７０ 情報処理装置
７１ ＣＰＵ
１００ 揺れ変更部
１００ａ 揺れ付加部
１００ｂ 揺れ一部除去部
１０１ 揺れ情報処理部
１０２ パラメータ設定部
１０３ ＵＩ処理部
１０５ 揺れ情報正規化部
１０６ 関連付け部

Claims (14)

1. 動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理部と、
   前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化部と、
   前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部と、を備え、
   前記揺れ変更部は、前記揺れ変更処理として、前記正規化揺れ情報に基づいて前記入力画像データに揺れ付加を行う
   画像処理装置。
2. 前記揺れ変更部は、前記揺れ変更処理として、前記正規化揺れ情報に基づいて前記入力画像データの揺れ一部除去を行う
   請求項１に記載の画像処理装置。
3. 前記画角情報は、前記揺れ変更処理を行う対象画像の画角と基準画角の比である
   請求項１に記載の画像処理装置。
4. 前記画角情報は、前記揺れ変更処理を行う画像の切り出し後の画角と撮像時の画角の比である
   請求項１に記載の画像処理装置。
5. 前記揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部を備えた
   請求項１に記載の画像処理装置。
6. 揺れ変更に関する操作情報を検知するユーザインタフェース処理部と、
   前記ユーザインタフェース処理部が検知した操作情報に基づいて、前記揺れ変更処理に関する揺れ変更パラメータを設定するパラメータ設定部と、を備えた
   請求項１に記載の画像処理装置。
7. 前記揺れ変更パラメータは、前記ユーザインタフェース処理部が検知した角度の情報を揺れ量に変換したものである
   請求項６に記載の画像処理装置。
8. 前記揺れ情報処理部は、前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて前記出力揺れ情報を生成する
   請求項１に記載の画像処理装置。
9. 前記揺れ情報処理部は、撮像時揺れ情報を、前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて調整して前記出力揺れ情報とする
   請求項１に記載の画像処理装置。
10. 前記撮像時揺れ情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の姿勢情報である
    請求項９に記載の画像処理装置。
11. 前記揺れ変更部は、前記入力画像データの各フレームを天球モデルへ貼付し、各フレームに対応する前記正規化揺れ情報を用いて各フレームを回転させることで前記揺れ変更処理を行う
    請求項１に記載の画像処理装置。
12. 前記入力画像データと前記正規化揺れ情報を関連づける関連付け部を備えた
    請求項１に記載の画像処理装置。
13. 画像処理装置が、
    動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理と、
    前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と、
    前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理と、
    を行い、
    前記揺れ変更処理では、前記正規化揺れ情報に基づいて前記入力画像データに揺れ付加を行う
    画像処理方法。
14. 情報処理装置に、
    動画を構成する入力画像データについての出力揺れ情報を出力する揺れ情報処理と、
    前記出力揺れ情報を画角情報に基づいて正規化することで正規化揺れ情報を得る揺れ情報正規化処理と、
    前記正規化揺れ情報を用いて前記入力画像データの揺れの状態を変更する揺れ変更処理と、を実行させ、
    前記揺れ変更処理では、前記正規化揺れ情報に基づいて前記入力画像データに揺れ付加を実行させる
    プログラム。

Images