WO2021181966A1

WO2021181966A1 - 画像処理装置、画像処理方法、プログラム

Info

Publication number: WO2021181966A1
Application number: PCT/JP2021/004161
Authority: WO
Inventors: 洋司山本; 小曽根　卓義; 隆一唯野
Original assignee: ソニーグループ株式会社
Priority date: 2020-03-09
Filing date: 2021-02-04
Publication date: 2021-09-16
Also published as: US20230109911A1; JPWO2021181966A1

Abstract

画像処理装置において、入力動画データの揺れに関する複数の要素のうちの一つの要素である第１要素と、前記入力動画データに関するとともに前記第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定処理と、パラメータ設定処理で設定したパラメータを用いて行う他方の要素に関する処理とが行われるようにする。

Description

画像処理装置、画像処理方法、プログラム

　本技術は画像処理装置、画像処理方法、プログラムに関し、特に画像の揺れを用いた画像処理に関する。

　撮像装置で撮像した動画について各種の補正などの画像処理を行う技術が知られている。
　下記特許文献１では撮影画像に係る動画データに対して防振処理を実行するとともに、防振処理後の動画データを対象として防振処理の影響を除去することが開示されている。

特開２０１５－２１６５１０号公報

　ところで昨今、ユーザはスマートフォンやタブレットなどの携帯端末、或いはカメラ自体やパーソナルコンピュータなどを用いて画像撮像や画像調整等を手軽に行うことができ、また動画投稿なども盛んである。
　このような環境下では、ユーザが撮像した画像をそのまま出力するのではなく、より品質の高い画像や多様な画像を制作することが望まれている。
　また放送事業者などにおいても画像の多様な演出が可能とされることが望まれている。
　そこで本開示では、動画における揺れの成分に着目し、画像や音声の表現や演出の幅を広げることができる技術を提案する。

　本技術に係る画像処理装置は、入力動画データの揺れに関する複数の要素のうちの一つの要素である第１要素と、前記入力動画データに関するとともに前記第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定部と、前記パラメータ設定部が設定したパラメータを用いて前記他方の要素に関する処理を行う処理部と、を備える。
　揺れの要素とは、例えば揺れのロール成分、ヨー成分、ピッチ成分、ドリー成分などである。例えば揺れのロール成分を一要素とした場合、それ以外の要素とは、ピッチ成分等の揺れ要素であったり、画像の輝度であったり、画像の色であったり、画像に付随する音声の音量、音質、周波数、ピッチなどであったりする。

　上記した本技術に係る画像処理装置においては、前記パラメータ設定部は、前記第１要素に応じて前記第２要素を変化させるパラメータを設定することが考えられる。
　例えば第１要素である揺れ成分に応じて、他の揺れ成分や、音声や、画像の輝度や色を変化させる。

　上記した本技術に係る画像処理装置においては、前記パラメータ設定部は、前記第２要素に応じて前記第１要素を変化させるパラメータを設定することが考えられる。
　例えば第１要素以外の揺れ成分や、音声や、画像の輝度や色に応じて第１要素である揺れ成分を変化させる。

　上記した本技術に係る画像処理装置においては、前記処理部として、前記パラメータ設定部が設定したパラメータを用いて動画の揺れの状態を変更する処理を行う揺れ変更部を備えることが考えられる。
　即ち揺れ変更部では、第１要素としての揺れに応じて、第２要素である揺れの状態が変化されるようにする。

　上記した本技術に係る画像処理装置においては、前記処理部として、前記パラメータ設定部が設定したパラメータを用いて音声信号処理を行う音声処理部を備えることが考えられる。
　即ち音声処理部では、第１要素としての揺れに応じて、第２要素としての音声に関する要素を変化させるように、音声信号処理を行う。

　上記した本技術に係る画像処理装置においては、前記処理部として、前記パラメータ設定部が設定したパラメータを用いて画像信号処理を行う画像処理部を備えることが考えられる。
　即ち画像処理部では、第１要素としての揺れに応じて、第２要素である画像の要素を変化させるように、画像信号処理を行う。

　上記した本技術に係る画像処理装置においては、前記第１要素と前記第２要素を選択するための操作子を提示させるユーザインタフェース処理部をさらに備えることが考えられる。
　即ち入力動画データに関するどの要素に応じてどの要素を変化させるかをユーザが選択できるようにする。

　上記した本技術に係る画像処理装置においては、前記操作子は、前記第１要素と前記第２要素について、前記一方の要素から前記他方の要素の方向性を提示することが考えられる。
　例えば第１要素と第２要素の間を矢印により反映する方向を提示する。

　上記した本技術に係る画像処理装置においては、前記操作子は、前記第１要素又は前記第２要素の一方又は双方を、複数、指定可能とされていることが考えられる。
　例えば第１要素と第２要素の一方又は両方を複数選択できるようにする。

　上記した本技術に係る画像処理装置においては、前記入力動画データの揺れの要素とは、ヨー方向の揺れ、ピッチ方向の揺れ、ロール方向の揺れ、ドリー方向の揺れの少なくともいずれかを含むことが考えられる。

　本技術に係る画像処理方法は、画像処理装置が、入力動画データの揺れに関する複数の要素のうちの一つの要素である第１要素と、前記入力動画データに関するとともに前記第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定処理と、前記パラメータ設定処理で設定したパラメータを用いて行う前記他方の要素に関する処理とを行う。これにより画像に対する揺れ、画像、又は音声の演出としての処理が行われる。
　本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。これにより本開示の画像処理を各種の情報処理装置で実行可能とする。

本技術の実施の形態で用いられる機器の説明図である。実施の形態の機器間で伝送される情報の説明図である。実施の形態の撮像装置のブロック図である。実施の形態の撮像装置における画像の揺れ除去処理の説明図である。実施の形態の情報処理装置のブロック図である。実施の形態の画像処理装置としての機能構成の説明図である。実施の形態の画像処理装置としての他の機能構成の説明図である。実施の形態の操作子の画像例の説明図である。実施の形態の揺れに応じた音声処理例の説明図である。実施の形態の揺れに応じた音声処理例の説明図である。実施の形態の揺れに応じた音声処理例の説明図である。実施の形態の動画ファイル及びメタデータの内容の説明図である。レンズ歪み補正に関するメタデータの説明図である。実施の形態の画像処理の説明図である。実施の形態の天球モデルへの貼付の説明図である。実施の形態のＩＭＵデータのサンプルタイミングの説明図である。実施の形態の周波数帯域別の揺れ情報調整の説明図である。実施の形態の方向別の揺れ情報調整の説明図である。実施の形態の周波数帯域別及び方向別の揺れ情報調整の説明図である。実施の形態の出力画像と天球モデルの対応付けの説明図である。実施の形態の出力座標平面の回転と透視射影の説明図である。実施の形態の切り出し領域の説明図である。

　以下、実施の形態を次の順序で説明する。
＜１．画像処理装置として適用できる機器の構成＞
＜２．装置構成及び処理機能＞
＜３．動画ファイル及びメタデータ＞
＜４．実施の形態の画像処理＞
＜５．まとめ及び変形例＞

　なお実施の形態の説明に先だって、説明で用いる一部の用語について説明しておく。
　「揺れ」とは動画を構成する画像のフレーム間の揺れ（interframe shake）を指す。いわゆる撮像装置で撮像された画像における手ぶれ（camera shake）等に起因する揺れや、画像処理により意図的に付加した揺れなど、フレーム間で生じる振動成分（フレーム間での画像の揺らぎ）を広く指すものとする。

　「揺れ変更（interframe shake modification）」は、画像に生じている揺れの低減や、画像に揺れを付加することなど、画像における揺れの状態を変化させることをいう。
　この「揺れ変更」には次の「揺れ除去（interframe shake reduction）」「揺れ演出（interframe shake production）」が含まれるものとする。

　「揺れ除去」は、手ぶれなどにより画像に生じている揺れを無くすこと（揺れの全部除去）、もしくは低減すること（揺れの一部除去）をいう。例えば撮像時の揺れ情報に基づいて揺れを低減させるように調整することをいう。撮像装置において行われるいわゆる手ぶれ補正は、揺れ除去を行っていることになる。

　「揺れ演出」は、画像に揺れを加える場合や、揺れを低減させる場合があり、その意味で結果として「揺れ除去」と同様となることもあるが、本実施の形態ではユーザの操作又は自動制御により揺れの変化量が指示され、該指示に応じて画像の揺れ状態を変化させることをいう。例えば撮像時の揺れ情報をユーザ指示等により変化させ、その変化させた揺れ情報に基づいて揺れ変更処理をすることで、揺れを低減又は増加させたり、ユーザ指示等により生成した揺れを付加する情報に基づいて揺れ変更することで、揺れを低減又は増加させたりすることが「揺れ演出」に該当する。
　揺れを抑圧する方向に調整する場合においても、例えば意図的に揺れ具合を調整することは「揺れ演出」に該当すると考えることもできる。
　なお、揺れ演出の目的の一例としては、動画のシーンに迫力を与えるため、わざと画像を揺らすことなどが想定される。

　「撮像時揺れ情報」とは、撮像装置で撮像された際の揺れに関する情報であり、撮像装置の動きの検出情報や、該検出情報から算出できる情報や、撮像装置の姿勢を表す姿勢情報や、撮像装置の動きとしてのシフトや回転の情報などが該当する。
　実施の形態では、「撮像時揺れ情報」の具体例として、クオータニオン（ＱＤ）、ＩＭＵデータを挙げるが、他にもシフト・回転情報などもあり、特には限定されない。

　「調整後揺れ情報」とは、撮像時揺れ情報を調整して生成した揺れ情報であり、揺れ変更処理に用いられる情報である。例えばユーザ操作や自動制御に応じて調整される揺れ情報である。
　実施の形態では、「調整後揺れ情報」の具体例として、調整後クオータニオン（ｅＱＤ）を挙げるが、例えば調整後ＩＭＵデータなどでもよい。

＜１．画像処理装置として適用できる機器の構成＞
　以下の実施の形態では、主にスマートフォンやパーソナルコンピュータなどの情報処理装置により本開示に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本開示の技術を適用できる機器について説明しておく。

　図１Ａは画像ソースＶＳと、画像ソースＶＳから動画ファイルＭＦを取得する画像処理装置（ＴＤｘ，ＴＤｙ）としての例を示している。なお動画ファイルＭＦは、動画を構成する画像データ（即ち動画データ）や音声データを含む。但し、動画ファイルと別に音声ファイルがあって同期できるようにされていてもよい。また動画データとしては、連写された複数の静止画データも含まれる。
　なお、画像処理装置ＴＤｘは、画像ソースＶＳから取得された動画データに対して一次的に揺れ変更処理を行う機器とする。
　一方、画像処理装置ＴＤｙは、他の画像処理装置で既に揺れ変更処理が行われた動画データについて二次的に揺れ変更処理を行う機器とする。

　画像ソースＶＳとしては撮像装置１、サーバ４、記録媒体５などが想定される。
　画像処理装置ＴＤｘ、ＴＤｙとしてはスマートフォンなどの携帯端末２やパーソナルコンピュータ３などが想定される。他にも図示していないが、画像編集専用装置、クラウドサーバ、テレビジョン装置、ビデオ記録再生装置など各種の機器が画像処理装置ＴＤｘ、ＴＤｙとして想定される。これらの機器は、画像処理装置ＴＤｘ、ＴＤｙのいずれとしても機能できる。

　画像ソースＶＳとしての撮像装置１は動画撮像を行うことのできるデジタルカメラ等であり、動画撮像によって得られた動画ファイルＭＦを有線通信や無線通信を介して携帯端末２やパーソナルコンピュータ３などに転送する。
　サーバ４はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置１で撮像された動画ファイルＭＦを提供できる装置を指す。このサーバ４がなんらかの伝送路を介して動画ファイルＭＦを携帯端末２やパーソナルコンピュータ３などに転送することが考えられる。

　記録媒体５はメモリカード等の固体メモリ、光ディスク等のディスク状記録媒体、磁気テープ等のテープ状記録媒体などのいずれでもよいが、撮像装置１で撮像された動画ファイルＭＦが記録されたリムーバブル記録媒体を指している。この記録媒体５から読み出された動画ファイルＭＦが携帯端末２やパーソナルコンピュータ３などに読み取られることが考えられる。

　画像処理装置ＴＤｘ、ＴＤｙとしての携帯端末２やパーソナルコンピュータ３等は、以上の画像ソースＶＳから取得した動画ファイルＭＦに対する画像処理が可能とされている。ここでいう画像処理とは、揺れ変更処理（揺れ演出や揺れ除去）を含む。
　揺れ変更処理は、例えば、動画データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて回転することにより行う。

　なお、或る携帯端末２やパーソナルコンピュータ３が、画像処理装置ＴＤｘ，ＴＤｙとして機能する他の携帯端末２やパーソナルコンピュータ３に対する画像ソースＶＳとなることもある。

　図１Ｂは、画像ソースＶＳと画像処理装置ＴＤｘの両方として機能できる１つの機器としての撮像装置１や携帯端末２を示している。
　例えば撮像装置１の内部のマイクロコンピュータ等が揺れ変更処理を行う。
　つまり撮像装置１は撮像によって生成した動画ファイルＭＦに対して揺れ変更処理を行うことで、揺れ除去や揺れ演出を施した画像処理結果としての画像出力を行うことができるものとする。

　携帯端末２も同様であり、撮像機能を備えることで画像ソースＶＳとなり得るため、撮像によって生成した動画ファイルＭＦについて上記の揺れ変更処理を行うことで、揺れ除去や揺れ演出を施した画像処理結果としての画像出力を行うことができる。
　もちろん撮像装置１や携帯端末２に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。

　以上のように実施の形態の画像処理装置ＴＤｘ、ＴＤｙとして機能する装置及び画像ソースＶＳは多様であるが、以下では、撮像装置１等の画像ソースＶＳ、携帯端末２等の画像処理装置ＴＤｘ、及び他の画像処理装置ＴＤｙが、それぞれ別体の機器であるとして説明していく。

　図２は画像ソースＶＳ、画像処理装置ＴＤｘ、の画像処理装置ＴＤｙにおける情報伝送の様子を示している。
　画像ソースＶＳから画像処理装置ＴＤｘに対しては、動画データＶＤ１、音声データＡＤ１、メタデータＭＴＤ１が、有線通信、無線通信、或いは記録媒体を介して伝送される。
　後述するが動画データＶＤ１、音声データＡＤ１、メタデータＭＴＤ１は、例えば動画ファイルＭＦとして伝送される情報である。
　メタデータＭＴＤ１には、例えば手ぶれ補正などとして行われた撮像時の揺れ除去の情報として、座標変換パラメータＨＰが含まれる場合がある。

　画像処理装置ＴＤｘは、動画データＶＤ１、音声データＡＤ１、メタデータＭＴＤ１、さらには座標変換パラメータＨＰを受けて各種の処理を行うことができる。
　例えば画像処理装置ＴＤｘは、メタデータＭＴＤ１に含まれる撮像時揺れ情報を用いて動画データＶＤ１に対する揺れ変更処理を行うことができる。
　また例えば画像処理装置ＴＤｘは、メタデータＭＴＤ１に含まれる座標変換パラメータＨＰを用いて撮像時に動画データＶＤ１に施された揺れ除去をキャンセルすることができる。
　また例えば画像処理装置ＴＤｘは、音声データＡＤ１や動画データＶＤ１に対する各種処理（音声処理や画像処理）を施すことができる。

　画像処理装置ＴＤｘは、揺れ変更処理や画像処理、音声処理を行った場合、動画データと、撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報ＳＭＩとを関連付ける処理を行うようにしてもよい。
　そして関連付けられた動画データと、撮像時揺れ情報と、揺れ変更情報ＳＭＩとは、画像処理装置ＴＤｙに対して一括して、或いは別々に、有線通信、無線通信、或いは記録媒体を介して伝送されるようにすることができる。
　ここで、「関連付ける」という用語は、例えば、一方の情報（データ、コマンド、プログラム等）を処理する際に他方の情報を利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられた情報は、１つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　より具体的には、例えば、複数の情報に同一のＩＤ（識別情報）を付与すること、複数の情報を同一の記録媒体に記録すること、複数の情報を同一のフォルダに格納すること、複数の情報を同一のファイルに格納すること（一方を他方にメタデータとして付与すること）、複数の情報を同一のストリームに埋め込むこと、例えば電子透かしのように画像にメタを埋め込むこと等の行為が、「関連付ける」に含まれる。

　図２では動画データＶＤ２として画像処理装置ＴＤｘから画像処理装置ＴＤｙに伝送される動画データを示している。動画データＶＤ２は、撮像装置１で行われた揺れ除去がキャンセルされた画像であったり、画像処理装置ＴＤｘで揺れ除去が施された画像であったり、画像処理装置ＴＤｘで揺れ変更処理が行われる前の画像であったり、揺れ変更以外の画像処理が施された画像であったりするなど、各種の例が考えられる。
　また図２では画像処理装置ＴＤｘから画像処理装置ＴＤｙに伝送される音声データＡＤ２を示している。音声データＡＤ２は、画像処理装置ＴＤｘで音声処理が施された音声データであることが考えられる。
　また図２では画像処理装置ＴＤｘから画像処理装置ＴＤｙに伝送されるメタデータＭＴＤ２を示している。メタデータＭＴＤ２はメタデータＭＴＤ１と同じ情報であったり、一部異なる情報であったりする。但しメタデータＭＴＤ２には撮像時揺れ情報が含まれる。
　従って画像処理装置ＴＤｙは、少なくとも動画データＶＤ２と、メタデータＭＴＤ２に含まれる撮像時揺れ情報と、揺れ変更情報ＳＭＩが関連付けられた状態で取得できる。
　なお、揺れ変更情報ＳＭＩもメタデータＭＴＤ２に含まれるようにするデータ形態も考えられる。

　以下、本実施の形態では画像処理装置ＴＤｘで実行される画像処理に注目して説明していく。

＜２．装置構成及び処理機能＞
　まず画像ソースＶＳとなる撮像装置１の構成例を図３で説明する。
　なお図１Ｂで説明したように携帯端末２で撮像した動画ファイルＭＦについてその携帯端末２で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置１と同等の構成を携帯端末２が備えればよいことになる。

　また撮像装置１では、いわゆる手ぶれ補正といわれる、撮像時の撮像装置の動きによる画像の揺れを低減する処理が行われるが、これは撮像装置で行われる「揺れ除去」である。　これに対し、画像処理装置ＴＤｘで行われる「揺れ演出」や「揺れ除去」は、撮像装置１で撮像時に行われる「揺れ除去」とは独立した別個の処理となる。

　図３に示すように撮像装置１は、例えばレンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、出力部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２２、センサ部２３を有する。

　レンズ系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。
　なお、図示していないがレンズ系１１には手ぶれ等による画像の揺れ（interframe shake）及びブラー（blur）を補正する光学手ぶれ補正機構（optical image stabilization mechanism）が設けられている場合がある。

　撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
　この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部１８に出力する。
　なお、図示していない光学手ぶれ補正機構としては、レンズ系１１側ではなく、イメージセンサ１２ａ側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構（balanced optical image stabilization mechanism）の場合等もあり、どのような方式であっても構わない。
　光学手ぶれ補正機構では、揺れ（interframe shake）に加えて後述するがフレーム内のブラーも合わせて補正される。

　カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。
　またカメラ信号処理部１３は各種補正処理も行う。但し手ぶれ補正については、撮像装置１内で行う場合もあれば、行わない場合も想定される。

　前処理では、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
　同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
　ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
　解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。

　カメラ信号処理部１３で行われる各種補正処理（撮像装置１の内部補正）については図４に例を挙げる。図４ではレンズ系１１で行われる光学手ぶれ補正とともに、カメラ信号処理部１３で行われる補正処理を、その実行順序により例示している。

　処理Ｆ１としての光学手ぶれ補正では、レンズ系１１のヨー方向、ピッチ方向のシフトによるレンズ内手ぶれ補正や、イメージセンサ１２ａのヨー方向、ピッチ方向のシフトによるボディ内手ぶれ補正が行われることで、手ぶれの影響を物理的にキャンセルした状態で被写体の像がイメージセンサ１２ａに結像するようにされる。
　このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
　またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正（electrical image stabilization）のみ、または、光学手ぶれ補正のみが行われる場合もある。

　カメラ信号処理部１３では処理Ｆ２から処理Ｆ７までの処理が各画素に対する空間座標変換により行われる。
　処理Ｆ２ではレンズ歪み補正が行われる。
　処理Ｆ３では電子手ぶれ補正の１つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばＣＭＯＳ型のイメージセンサ１２ａによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。

　処理Ｆ４ではロール補正が行われる。即ち電子手ぶれ補正の１つの要素としてのロール成分の補正が行われる。
　処理Ｆ５では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
　処理Ｆ６では、電子手ぶれ補正の１つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
　例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
　なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。

　図３のカメラ信号処理部１３におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての動画ファイルＭＦの生成を行う。また静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）、ＨＥＩＦ（High Efficient Image File ）等の形式のファイル生成を行うことも考えられる。
　なおカメラ信号処理部１３はカメラ制御部１８からの情報等を用いて、動画ファイルＭＦに付加するメタデータの生成も行う。

　また図３では音声処理系として収音部２５、音声信号処理部２６を示している。
　収音部２５は、１又は複数のマイクロホンとマイクアンプ等を備え、モノラル又はステレオ音声の収音を行う。
　音声信号処理部２６は、収音部２５で得られた音声信号について、Ａ／Ｄ変換処理、フィルタ処理、トーン処理、ノイズリダクション等のデジタル信号処理を行い、画像データと共に記録／転送する音声データを出力する。
　音声信号処理部２６から出力される音声データは、カメラ信号処理部１３において画像と共に処理され、動画ファイルＭＦに含まれるものとなる。

　記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の動画ファイルＭＦやサムネイル画像等を記録する処理を行う。
　記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

　表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
　表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
　例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
　また表示部１５にはカメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
　また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

　出力部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
　例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（例えば動画ファイルＭＦ）の送信出力を行う。
　また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

　操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
　操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。

　カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
　メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
　メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
　カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
　例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した動画ファイルＭＦ等の再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。

　メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
　メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、動画ファイルＭＦ等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

　ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
　これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

　センサ部２３は、撮像装置に搭載される各種のセンサを包括的に示している。
　センサ部２３としては例えばＩＭＵ（ inertial measurement unit：慣性計測装置）が搭載されており、例えばピッチ-、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
　なお、センサ部２３は、撮像時の手ぶれを検出することができるセンサを含んでいればよく、ジャイロセンサと加速度センサの双方を備えている必要は無い。
　またセンサ部２３としては、位置情報センサ、照度センサ等が搭載されていても良い。

　例えば以上の撮像装置１によって撮像され生成された動画としての動画ファイルＭＦは、携帯端末２等の画像処理装置ＴＤｘ、ＴＤｙに転送されて画像処理を施されることが可能とされる。
　画像処理装置ＴＤｘ、ＴＤｙとなる携帯端末２、パーソナルコンピュータ３は、例えば図５に示す構成を備えた情報処理装置として実現できる。なおサーバ４についても、同様に図５の構成の情報処理装置により実現できる。

　図５において、情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
　例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。

　また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
　通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。

　入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
　ドライブ８２により、リムーバブル記録媒体８１からは動画ファイルＭＦ等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置７０では、例えば本開示の画像処理装置としての画像処理のためのソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

　例えばこのようなソフトウエア（アプリケーションプログラム）によって、図６のような機能構成が情報処理装置７０のＣＰＵ７１において構築される。
　図６は例えば画像処理装置ＴＤｘとして機能する情報処理装置７０として設けられる機能を示している。即ち情報処理装置７０（ＣＰＵ７１）は、処理部１００、パラメータ設定部１０２としての機能を備える。

　処理部１００は、揺れ変更処理、画像処理、又は音声処理などを行う機能を示している。
　例えば処理部１００は撮像装置１等の画像ソースＶＳから送信されてきた動画データＶＤ１について揺れ変更処理を行って、出力する動画データＶＤ２とする処理を行う。
　また例えば処理部１００は動画データＶＤ１について輝度処理や色処理などの画像処理を行って、出力する動画データＶＤ２とする処理を行う。
　また例えば処理部１００は画像ソースＶＳから送信されてきた音声データＡＤ１について音量変更や周波数特性変更などの音声処理を行って、出力する音声データＡＤ２とする処理を行う。

　この処理部１００の処理は、パラメータ設定部１０２からのパラメータＰＲＭで制御される。パラメータ設定部１０２は、動画データＶＤ１についての揺れ情報、又は動画データＶＤ１、又は音声データＡＤ１に応じてパラメータＰＲＭを設定する。
　これにより処理部１００の処理が動画データＶＤ１についての揺れ情報、又は動画データＶＤ１、又は音声データＡＤ１に応じて実行されるようにする。

　即ちパラメータ設定部１０２は、入力される動画データＶＤ１の揺れに関する複数の要素のうちの一つの要素である第１要素と、入力される動画データＶＤ１に関するとともに第１要素以外の要素である第２要素（動画データＶＤ１の要素、音声データＡＤ１の要素、又は動画データＶＤ１の他の揺れ要素）のうちの、一方の要素に応じて他方の要素の処理のパラメータＰＲＭを設定するパラメータ設定処理を行う。
　そして処理部１００で、パラメータ設定部１０２で設定したパラメータＰＲＭを用いて、他方の要素に関する処理が行われるようにしている。

　より具体的な機能構成例を図７に示す。
　処理部１００として、揺れ変更部１０１、画像処理部１０７、音声処理部１０８を示している。
　動画データＶＤ１は、例えば画像処理部１０７での画像処理や、揺れ変更部１０１での揺れ変更が施されて、動画データＶＤ２として出力される。
　画像処理部１０７と揺れ変更部１０１の処理順序は図示とは逆の順序でも良い。

　画像処理部１０７は、各種の画像の要素を変更する画像処理をパラメータＰＲＭ２に応じて行う機能としている。画像処理としては例えば動画データＶＤ１の輝度処理、色処理、画像エフェクト処理等が想定される。より具体的には、例えば画像の明るさや色合いの変化や、画像のトーン変化、シャープネス、ボケ、モザイク、解像度などのレベルが変化されるようにすることが考えられる。

　揺れ変更部１０１は、動画データＶＤ１の揺れの要素に対する揺れ変更処理をパラメータＰＲＭ１に応じて行う機能としている。
　揺れの要素の一例としては、揺れの方向別の要素が考えられ、揺れの方向別の要素として、ピッチ方向の揺れ成分、ヨー方向の揺れ成分、ロール方向の揺れ成分、ドリー方向（奥行き方向）の揺れ成分がある。本実施の形態としては、揺れの要素として以上の方向別の要素を例に挙げて説明するが、揺れの要素としては、例えば揺れの周波数で分けられる高周波揺れ、低周波揺れなども考えられる。
　揺れ変更とは上述のように、揺れの除去、揺れの一部除去、揺れの付加などを含む。なおそれらの処理は、演出のための揺れ変更でもよいし、揺れのキャンセルのための揺れ変更でも良い。

　音声処理部１０８は、各種の音声の要素を変更する音声処理をパラメータＰＲＭ３に応じて行う機能としている。音声処理としては例えば音声データＡＤ１の音量処理や音質処理、音響エフェクト処理が想定される。より具体的には、例えば音量の増減、周波数特性の変動、ピッチ変動、ステレオ音声の位相差変化、パンニング状態の変化などが考えられる。

　パラメータ設定部１０２は、図５でも述べたように、動画データＶＤ１についての揺れ情報、又は動画データＶＤ１、又は音声データＡＤ１に応じてパラメータＰＲＭを設定するが、このパラメータＰＲＭとは、揺れ変更パラメータＰＲＭ１、画像処理パラメータＰＲＭ２、音声処理パラメータＰＲＭ３のいずれか１つ、もしくは複数となる。
なお本開示では、これらを区別する場合に「パラメータＰＲＭ１」「パラメータＰＲＭ２」「パラメータＰＲＭ３」と表記している。

　このようなパラメータ設定部１０２と処理部１００によっては、動画データＶＤ１に関する一方の要素に応じて他方の要素の処理が行われるが、それは次に列挙するような処理のことである。

　・動画データＶＤ１の揺れの要素（１又は複数の要素）に応じてパラメータＰＲＭ１を設定し、揺れ変更部１０１で揺れの他の要素（１又は複数の要素）を変化させる揺れ変更処理を行う。
　・動画データＶＤ１の揺れの要素（１又は複数の要素）に応じてパラメータＰＲＭ２を設定し、画像処理部１０７で動画データＶＤ１の画像の要素（１又は複数の要素）を変化させる画像処理を行う。
　・動画データＶＤ１の揺れの要素（１又は複数の要素）に応じてパラメータＰＲＭ３を設定し、音声処理部１０８で音声データＡＤ１の音声の要素（１又は複数の要素）を変化させる音声処理を行う。

　・動画データＶＤ１の要素（１又は複数の要素）に応じてパラメータＰＲＭ１を設定し、揺れ変更部１０１で揺れの要素（１又は複数の要素）を変化させる揺れ変更処理を行う。
　・音声データＡＤ１の要素（１又は複数の要素）に応じてパラメータＰＲＭ１を設定し、揺れ変更部１０１で揺れの要素（１又は複数の要素）を変化させる揺れ変更処理を行う。
　・動画データＶＤ１の要素（１又は複数の要素）と音声データＡＤ１の要素（１又は複数の要素）に応じてパラメータＰＲＭ１を設定し、揺れ変更部１０１で揺れの要素（１又は複数の要素）を変化させる揺れ変更処理を行う。
　・動画データＶＤ１の要素（１又は複数の要素）と揺れの要素（１又は複数の要素）に応じてパラメータＰＲＭ１を設定し、揺れ変更部１０１で揺れの他の要素（１又は複数の要素）を変化させる揺れ変更処理を行う。
　・音声データＡＤ１の要素（１又は複数の要素）と揺れの要素（１又は複数の要素）に応じてパラメータＰＲＭ１を設定し、揺れ変更部１０１で揺れの他の要素（１又は複数の要素）を変化させる揺れ変更処理を行う。
　・動画データＶＤ１の要素（１又は複数の要素）と音声データＡＤ１の要素（１又は複数の要素）と揺れの要素（１又は複数の要素）に応じてパラメータＰＲＭ１を設定し、揺れ変更部１０１で揺れの他の要素（１又は複数の要素）を変化させる揺れ変更処理を行う。

　以上の処理として、揺れ成分に応じて、画像、音声又は他の揺れ成分を変化させたり、或いは画像や音声に応じて、揺れ成分を変化させたりすることが可能となる。
　なお図７では、処理部１００として、揺れ変更部１０１、画像処理部１０７、音声処理部１０８を示したが、図６の処理部１００の構成としては、揺れ変更部１０１、画像処理部１０７、音声処理部１０８のいずれか１つが少なくとも設けられれば良い。

　図７にはユーザインタフェース処理部１０３としての機能も示している。
　なお、「ユーザインタフェース」は「ＵＩ」とも表記し、ユーザインタフェース処理部１０３は、以下「ＵＩ処理部１０３」とも表記する。

　ＵＩ処理部１０３は、揺れ要素、画像要素、音声要素の相互間の変換又は反映に関する操作子をユーザに対して提示させるとともに操作子による操作情報を取得する処理を行う機能である。
　例えばＵＩ処理部１０３は表示部７７にＵＩ画像として、操作子や画像に関する情報を示す画像を表示させる処理を行う。またＵＩ処理部１０３は入力部７６によるユーザの操作を検出する。例えばＵＩ画像に対するタッチ操作などを検出する。
　ＵＩ処理部１０３により検知された操作情報はパラメータ設定部１０２に送られ、パラメータ設定部１０２は操作情報に応じてパラメータ設定を行う。

　ＵＩ処理部１０３の処理によりユーザに提示される操作子の一例を図８Ａに示す。揺れ要素、画像、音の相互間の要素の変換をユーザに提示する操作子の例である。
　例えば左側の要素選択部６１として、揺れの要素として、「ヨー」「ロール」「ピッチ」「ドリー」が表示され、ラジオボタンで１又は複数の要素が選択可能とされる。
　また右側の要素選択部６２として、画像の要素としての「輝度」「彩度」、揺れの要素の「ドリー」、音の要素として「サウンド」が表示され、ラジオボタンで１又は複数の要素が選択可能とされる。
　また矢印ボタン６３，６４により、反映させる方向を指定可能としている。

　例えば図８Ａは、ユーザが、要素選択部６１で「ヨー」を選択し、要素選択部６２で「サウンド」を選択し、矢印ボタン６３を選択した状態を示している。
　この場合、パラメータ設定部１０２は、揺れ情報のヨー成分に応じてパラメータＰＲＭ３を設定し、音声処理部１０８でヨー成分に応じた音声処理が行われることになる。

　図８Ｂは、ユーザが、要素選択部６１で「ヨー」と「ピッチ」を選択し、要素選択部６２で「サウンド」を選択し、矢印ボタン６４を選択した状態を示している。
　この場合、パラメータ設定部１０２は、音声データＡＤ１の要素に応じてパラメータＰＲＭ１を設定し、揺れ変更部１０１で音声の要素に応じたヨー成分とピッチ成分の揺れ変更処理が行われることになる。

　図８Ｃは、ユーザが、要素選択部６１で「ヨー」と「ロール」を選択し、要素選択部６２で「輝度」と「サウンド」を選択し、矢印ボタン６３を選択した状態を示している。
　この場合、パラメータ設定部１０２は、揺れ情報のヨー成分及びロール成分に応じてパラメータＰＲＭ２，ＰＲＭ３を設定し、画像処理部１０７でヨー成分及びロール成分に応じた画像処理が行われ、音声処理部１０８でヨー成分及びロール成分に応じた音声処理が行われることになる。

　例えばこのようにユーザ操作によって、反映元の要素と反映先の要素が指定されることで、ユーザの意思に応じた画像や音声の演出効果等が実現される。もちろん図８の例は一例である。操作子では音の要素を「サウンド」として選択可能としたが、「音量」「音質」など、より詳細に要素を選択可能としてもよい。
　なお、ユーザ操作に基づく要素選択を行う例を挙げているがこれは一例である。ユーザ操作に基づかずに自動的に反映元の要素と反映先の要素が選択されることも考えられる。例えば動画データＶＤ１の画像解析、音声データＡＤ１の音声解析、揺れ情報解析によって、パラメータ設定部１０２が、適切な反映元の要素を判定するとともに、適した反映先の要素を設定してパラメータ設定を行うようにしても良い。

　以上の図６，図７に示した機能構成では、振動要素と他の要素を相互に変換することを可能としている。
　例えば振動を、明るさに変換したり、色に変換したり、音に変換したりして画像効果や音響効果を付加する。
　或いは逆に音や画像の要素を振動（ヨー、ピッチ、ロール、ドリー等の揺れ成分）に変換して揺れの画像効果を付加する。
　或いはロール揺れをドリー揺れにするなど振動の軸を変換する。
　これらのように、ある要素を別の要素に変換してその画像や音声に加えることで演出効果を高めることができる。

　例えば画像に加える揺れ（縦揺れ等）の周波数、振幅を音声や音楽にかぶせることで、普通に喋ったり、音楽が鳴ったりしているよりも画像に合わせた揺れた感じを演出できる。
　縦揺れ（ピッチ）成分であれば、大きく揺れる時に音の振幅（音量）を上げることで、その衝撃を強調できる。
　横揺れ（ヨー）成分であれば、左右の揺れに応じてステレオの左右の音の位相差をつけることで、更に左右に揺れているさまを表現できる。
　回転（ロール）成分であれば、音の振幅、ピッチ、位相差の全てをゆれ量に応じて変調することで、混乱しているかのような効果を付けることができる。

　逆に音が爆発音や振動音だった場合、その周波数、振幅を画像にかぶせることでその音にあった画像の揺れを演出できる。
　大きい音が鳴った場合、その音量に応じて画像に縦揺れを加えることで画像がより揺れるため、揺れている感じを強調できる。
　爆発音等の音の周波数が低い場合は少ない回数の揺れを加えることで爆発等を表現するような揺れ感となり、周波数が高い場合は細かい揺れを継続的に加えることで、細かい揺れを表現する感じになる。

　また、ふらふらとした画像の例えばロール成分をドリーやズームの動きとして画像に反映させることで、よりふらふらした感じを加えることができる。
　揺れが大きい時、例えば縦に揺れていて上方向に揺れる時に画面をより明るくして、下方向に揺れる時に画面をより暗くすることで、明るさの変化によるゆれ演出ができる。
　回転（ロール）方向の揺れに応じて、時計回りなら赤の色相方向に、反時計回りなら青の色相方向に色味の変化をつけることで、より混乱した感じを強調できる。

　ここで、或る要素を他の要素へ反映させる例を説明しておく。ここでは揺れの要素を音の要素に反映させる例を挙げる。
　図９は揺れ成分を音の高さ（ピッチや周波数）に適用する例を示している。
　元の音の波形を揺れ成分で周波数変調する処理である。例えば、
　A ・ sin(θ + θyure)
　で表される音声処理となる。なお「Ａ」は音声データ値、「θyure」は揺れ成分である。

　図１０は揺れ成分を音の高さ（ピッチや周波数）に適用する例を示している。
　元の音の波形を揺れ成分で振幅変調する処理である。例えば、
　A ・Ayure ・ sin(θ)
　で表される音声処理となる。なお「Ａyure」は揺れの振幅成分である。

　図１１は音声データＡＤ１がステレオ信号などの複数チャンネルの信号である場合に、揺れ成分を位相差に適用する例を示している。例えば、
　左チャンネル：A ・ sin(θ + θyure)
　右チャンネル：A ・ sin(θ －θyure)
　などとする。

　以上は揺れの要素を音の要素に反映される例であるが、或る要素を他の要素に反映される具体例は多様に考えられる。

＜３．動画ファイル及びメタデータ＞
　以下、画像ソースＶＳである撮像装置１で撮像され、画像処理装置ＴＤｘへ入力された動画ファイルＭＦについて、上記のような或る要素を他の要素に反映する処理を行う例を説明していく。
　最初に、撮像装置１等の画像ソースＶＳから画像処理装置ＴＤｘに伝送される動画ファイルＭＦの内容とメタデータの内容を説明する。
　図１２Ａは動画ファイルＭＦに含まれるデータを示している。図示のように動画ファイルＭＦには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。

　「ヘッダー」には、ファイル名、ファイルサイズ等の情報とともにメタデータの有無を示す情報などが記述される。
　「サウンド」は動画とともに収録された音声データＡＤ１である。例えば２チャネルステレオ音声データが格納される。
　「ムービー」は動画データであり、動画を構成する各フレーム（＃１、＃２、＃３・・・）としての画像データで構成される。
　「メタデータ」としては、動画を構成する各フレーム（＃１、＃２、＃３・・・）に対応づけられた付加情報が記述される。

　メタデータの内容例を図１２Ｂに示す。例えば１つのフレームに対して、ＩＭＵデータ、座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰが記述される。なお、これらはメタデータ内容の一部であり、ここでは後述する画像処理に関連する情報のみを示しているものである。

　ＩＭＵデータとしては、ジャイロ（角速度データ）、アクセル（加速度データ）、サンプリングレートが記述される。
　センサ部２３として撮像装置１に搭載されるＩＭＵでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため１フレーム期間に多くのＩＭＵデータサンプルが得られるものとなっている。

　そのため角速度データとしては、図１２Ｃに示すジャイロサンプル＃１、ジャイロサンプル＃２・・・ジャイロサンプル＃ｎというように、１フレームについてｎ個のサンプルが対応づけられる。
　また加速度データとしても、アクセルサンプル＃１、アクセルサンプル＃２・・・アクセルサンプル＃ｍというように、１フレームについてｍ個のサンプルが対応づけられる。
　ｎ＝ｍの場合もあるし、ｎ≠ｍの場合もある。
　なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばＩＭＵデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報ＴＭにおけるＩＭＵサンプルタイミングオフセットとして持つようにされる。

　座標変換パラメータＨＰは、画像内の各画素の座標変換を伴う補正に用いるパラメータの総称としている。例えばレンズ歪みのような非線形な座標変換も含む。
　そして、座標変換パラメータＨＰとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。

　レンズ歪み補正パラメータは、樽型収差、糸巻き型収差などの歪みをどのように補正したかを直接または間接的に把握しレンズ歪補正前の画像に戻すための情報となる。メタデータの１つとしてのレンズ歪み補正パラメータに関するメタデータについて簡単に説明しておく。
　図１３Ａにはレンズ系１１とイメージセンサ１２ａの模式図において、像高Ｙ、角度α、入射瞳位置ｄ１、射出瞳位置ｄ２を示している。
　レンズ歪み補正パラメータは、画像処理においては、イメージセンサ１２ａの各画素についての入射角度を知りたいために用いられる。そのため像高Ｙ、角度αの関係がわかれば良い。

　図１３Ｂはレンズ歪み補正前の画像１１０とレンズ歪み補正後の画像１１１を示している。最大像高Ｈ０は歪み補正前の最大像高であり、光軸の中心から最遠までの距離である。最大像高Ｈ１は歪み補正後の最大像高である。
　像高Ｙ、角度αの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高Ｈ０と、Ｎ個の各像高に対する入射角度のデータｄ０、ｄ１、・・・ｄ（Ｎ－１）となる。“Ｎ”は一例として１０程度であることが想定される。

　図１２Ｂに戻って、台形歪み補正パラメータは、電子手ぶれ補正によって切り出し領域を中央からずらすことで生じる台形歪みを補正するときの補正量であり、電子手ぶれ補正の補正量に応じた値ともなる。

　フォーカルプレーン歪み補正パラメータは、フォーカルプレーン歪みに対してライン毎の補正量を示す値となる。

　電子手ぶれ補正及び光学手ぶれ補正に関しては、ヨー、ピッチ、ロールの各軸方向についての補正量を示すパラメータとなる。

　なお、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正の各パラメータについては、座標変換パラメータと総称しているが、これらの補正処理は、撮像素子部１２のイメージセンサ１２ａの各画素に結像した像に対する補正処理であって、各画素の座標変換を伴う補正処理のパラメータであるためである。光学手ぶれ補正も座標変換パラメータの１つとするが、光学手ぶれ補正においてフレーム間成分の揺れの補正は各画素の座標変換を伴う処理となるためである。
　つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部１２のイメージセンサ１２ａに結像したときの状態に戻すことができる。

　またレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正の各パラメータについては、被写体からの光学像自体が光学的に歪んだ状態で撮像された画像である場合に対する歪み補正処理であり、それぞれ光学歪み補正を目的とするものであるため、光学歪み補正パラメータと総称している。
　つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。

　メタデータにおけるタイミング情報ＴＭとしては、露光時間（シャッタースピード）、露光開始タイミング、読み出し時間（幕速）、露光フレーム数（長秒露光情報）、ＩＭＵサンプルオフセット、フレームレートの各情報が含まれる。
　本実施の形態の画像処理においては、これらは主に各フレームのラインとＩＭＵデータを対応づけるために用いられる。
　但しイメージセンサ１２ａがＣＣＤの場合やグローバルシャッター方式のＣＭＯＳの場合であっても、電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。

　メタデータにおけるカメラパラメータＣＰとしては、画角（焦点距離）、ズーム位置、レンズ歪み情報が記述される。

＜４．実施の形態の画像処理＞
　実施の形態としての画像処理装置ＴＤｘとなる情報処理装置７０の処理例を説明する。
　図１４は、画像処理装置ＴＤｘとしての情報処理装置７０において実行される各種処理の手順を示すとともに、各処理で用いる情報の関係性を示している。

　なお、図７の揺れ変更部１０１の機能によっては、図１４においてステップＳＴ３０として囲った、ステップＳＴ１３，ＳＴ１４，ＳＴ１５，ＳＴ１６の処理が行われる。
　画像処理部１０７の機能によってはステップＳＴ２０の画像処理が行われる。
　音声処理部１０８の機能によってはステップＳＴ２２の音声処理が行われる。
　パラメータ設定部１０２の機能によってはステップＳＴ４１のパラメータ設定処理が行われる。
　ＵＩ処理部１０３の機能によってはステップＳＴ４０のＵＩ処理が行われる。

　図１４の処理として、まず前処理としてのステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４について説明する。
　前処理は動画ファイルＭＦのインポート時に行われる処理とする。
　ここでいう「インポート」とは、情報処理装置７０が例えば記憶部７９などに取り込んでいることでアクセス可能な動画ファイルＭＦなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置１から携帯端末２等に転送することを指すものではない。

　ＣＰＵ７１は、ユーザ操作等により指定された動画ファイルＭＦを画像処理対象となるようにインポートするとともに、前処理として動画ファイルＭＦに付加されたメタデータに関する処理を行う。例えば動画の各フレームに対応するメタデータを抽出して記憶する処理を行う。
　具体的には、この前処理では、メタデータ抽出（ステップＳＴ１）、全ＩＭＵデータ連結（ステップＳＴ２）、メタデータの保持（ステップＳＴ３）、クオータニオン（撮像装置１の姿勢情報）への変換、保持（ステップＳＴ４）が行われる。

　ステップＳＴ１のメタデータ抽出としては、ＣＰＵ７１は、対象の動画ファイルＭＦを読み込んで、図１２で説明したように動画ファイルＭＦに含まれているメタデータを抽出する。
　なおステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の一部又は全部を撮像装置１などの画像ソースＶＳ側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。

　ＣＰＵ７１は、抽出されたメタデータのうち、ＩＭＵデータ（角速度データ（ジャイロサンプル）と加速度データ（アクセルサンプル））については、ステップＳＴ２で連結処理を行う。
　これは、全フレームについて対応づけられているＩＭＵデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するＩＭＵデータを構築する処理となる。
　そして連結したＩＭＵデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置１の姿勢を表すクオータニオンＱＤを算出し、これを記憶保持する。クオータニオンＱＤを算出するとしているのは一例である。
　なお角速度データのみでクオータニオンＱＤを計算することもできる。

　ＣＰＵ７１は、抽出されたメタデータのうち、ＩＭＵデータ以外のメタデータ、即ち座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰについては、ステップＳＴ３で保持する処理を行う。即ち各フレームに対応した状態で座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰを記憶する。

　以上の前処理が行われることで、ＣＰＵ７１にとっては、動画ファイルＭＦとして受け取った動画データに対する揺れ変更を含めた各種の画像処理を行う準備がなされたことになる。
　図１４の定常処理は、以上のように前処理が施された動画ファイルＭＦの動画データを対象として行う画像処理を示している。

　ＣＰＵ７１は、動画の１フレーム取り出し（ステップＳＴ１１）、撮像装置内部補正キャンセル（ステップＳＴ１２）、画像処理（ステップＳＴ２０）、天球モデルへの貼り付け（ステップＳＴ１３）、同期処理（ステップＳＴ１４）、揺れ情報調整（ステップＳＴ１５）、揺れ変更（ステップＳＴ１６）、出力領域指定（ステップＳＴ１７）、平面投影及び切り出し（ステップＳＴ１８）、オーディオデコード（ステップＳＴ２１）、及び音声処理（ステップＳＴ２２）の処理を行う。

　ＣＰＵ７１は、以上のステップＳＴ１１からステップＳＴ２０の各処理は、動画ファイルＭＦの画像再生の際に毎フレームについて行うことになる。

　ステップＳＴ１１でＣＰＵ７１は、フレーム番号ＦＮに沿って動画（動画ファイルＭＦの動画データＶＤ１）の１フレームをデコードする。そして１フレームの動画データＰＤ（＃ＦＮ）を出力する。なお『（＃ＦＮ）』はフレーム番号を示し、そのフレームに対応する情報であることを表すものとする。
　なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップＳＴ１１でのデコード処理は不要である。
　１フレームの動画データＰＤは、動画データＶＤ１を構成する画像データである。

　ステップＳＴ２１でＣＰＵ７１は、フレームに同期した音声データＡＤ１をデコードする。なおここではステップＳＴ２２の音声処理が可能な状態とされればよく、音声処理の内容や動画ファイルＭＦの形式等によってはデコード処理が不要な場合もある。

　ステップＳＴ２２でＣＰＵ７１は、パラメータＰＲＭ３に応じて音声処理を行い、処理後の音声データＡＤ２を出力する。
　例えば音量の増減、周波数特性の変動、ピッチ変動、ステレオ音声の位相差変化、パンニング状態の変化などの処理が想定される。
　なお、ここでいう音声処理はパラメータＰＲＭ３に応じて行う処理であり、パラメータＰＲＭ３を伴う処理の実行トリガが生じていない場合は、特に音声処理を行わないで入力された音声データＡＤ１をそのまま音声データＡＤ２として出力することになる。

　ステップＳＴ１２でＣＰＵ７１は、１フレームの動画データＰＤ（＃ＦＮ）について撮像装置１で行われた内部補正をキャンセルする処理を行う。
　このためにＣＰＵ７１は、前処理時に当該フレーム番号（＃ＦＮ）に対応して記憶された座標変換パラメータＨＰ（＃ＦＮ）を参照し、撮像装置１で行われた補正とは逆補正を行う。これにより撮像装置１におけるレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正がキャンセルされた状態の動画データｉＰＤ（＃ＦＮ）を得る。つまり撮像装置１で行われた揺れ除去等がキャンセルされて、撮像時の手ぶれ等の揺れの影響がそのまま現れている動画データである。これは、撮像時の補正処理をキャンセルして補正前の状態としたうえで、撮像時揺れ情報（例えばクオータニオンＱＤ）を用いたより高精度の揺れ除去や、揺れ付加を行うためである。
　但し、このステップＳＴ１２としての撮像装置内部補正キャンセルの処理は行われなくてもよい。例えばステップＳＴ１２の処理をスキップして、動画データＰＤ（＃ＦＮ）をそのまま出力してもよい。

　ステップＳＴ２０でＣＰＵ７１は、パラメータＰＲＭ２に応じて動画データｉＰＤ（＃ＦＮ）の画像処理を行う。
　例えば画像の明るさや色合いの変化や、画像のトーン変化、シャープネス、ボケ、モザイク、解像度などのレベルが変化されるようにする処理が想定される。
　なお、ここでいう画像処理はパラメータＰＲＭ２に応じて行う処理であり、パラメータＰＲＭ２を伴う処理の実行トリガが生じていない場合は、特に画像処理を行わないでそのまま動画データｉＰＤ（＃ＦＮ）を出力することになる。
　なお、このステップＳＴ２０の画像処理は、この段階の動画データｉＰＤ（＃ＦＮ）に対して行うことに限らず、後述の出力動画データｏＰＤに対して実行してもよい。従って例えば後述のステップＳＴ１８の次の処理としてステップＳＴ２０が行われてもよい。

　ステップＳＴ１３でＣＰＵ７１は、１フレームの動画データｉＰＤ（＃ＦＮ）について天球モデルへの貼付を行う。このとき、当該フレーム番号（＃ＦＮ）に対応して記憶されたカメラパラメータＣＰ（＃ＦＮ）、即ち画角、ズーム位置、レンズ歪み情報を参照する。

　図１５に天球モデルへの貼付の概要を示す。
　図１５Ａは動画データｉＰＤを示している。像高ｈは画像中心からの距離である。図中の各円は像高ｈが等しくなる位置を示している。
　この動画データｉＰＤのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から図１５Ｂのような像高ｈと入射角φの関係の１次元のグラフとして表現する。入射角φは光線の角度（光軸から見た角度）である。
　この１次元のグラフを撮像画像の真ん中を中心に１回転させて、各ピクセルと入射角の関係を求める。
　それに従って図１５Ｃの画素Ｇ１から天球座標上の画素Ｇ２のように、動画データｉＰＤの各画素について天球モデルＭＴへのマッピングを行うことになる。

　以上によりレンズ歪みが除去された状態で撮像画像を理想天球面に貼り付けた天球モデルＭＴの画像（データ）が得られる。この天球モデルＭＴは、その動画データｉＰＤを元々撮像した撮像装置１の固有のパラメータや歪みが除去され、理想的なピンホールカメラで見える範囲が、天球面に貼ってあるものとなっている。
　従ってこの状態で天球モデルＭＴの画像を所定方向に回転させることで、揺れ除去や揺れ演出としての揺れ変更処理が実現できることになる。

　ここで揺れ変更処理には撮像装置１の姿勢情報（クオータニオンＱＤ）を用いることになる。このためにＣＰＵ７１はステップＳＴ１４で同期処理を行うようにしている。
　同期処理では、フレーム番号ＦＮに対応して、ライン毎に適したクオータニオンＱＤ（＃ＬＮ）を特定し取得する処理を行う。なお『（＃ＬＮ）』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。

　なお、ライン毎のクオータニオンＱＤ（＃ＬＮ）を用いるのは、イメージセンサ１２ａがＣＭＯＳ型でローリングシャッター方式の撮像が行われる場合、ライン毎に揺れの量が異なるためである。
　例えばイメージセンサ１２ａがＣＣＤ型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンＱＤ（＃ＦＮ）を用いれば良い。
　なお、イメージセンサ１２ａとしてのＣＣＤやＣＭＯＳのグローバルシャッターの時でも電子シャッター（メカシャッターでも同様）を用いていると重心がずれるので、フレームの露光期間の中心（電子シャッターのシャッター速度に応じてずれる）のタイミングのクオータニオンを用いると良い。

　ここで画像に現れるブラーについて考慮する。
　ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
　電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減／解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
　また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、ＣＭＯＳのローリングシャッターではラインごとに露光期間が異なる。

　そこでステップＳＴ１４の同期処理では、動画データの各フレームについて、ライン毎の露光重心のタイミングを基準としてクオータニオンＱＤを取得するようにする。
　図１６には、撮像装置１の垂直期間の同期信号ｃＶと、この同期信号ｃＶから生成されるイメージセンサ１２ａの同期信号ｓＶ、及びＩＭＵデータのサンプルタイミングを示すとともに、露光タイミング範囲１２０を示している。
　露光タイミング範囲は、ローリングシャッター方式で露光時間ｔ４としたときの１フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号ｃＶと同期信号ｓＶの時間的なオフセットｔ０、ＩＭＵサンプルタイミングオフセットｔ１、読み出し開始タイミングｔ２、読み出し時間（幕速）ｔ３、露光時間ｔ４を示している。なお読み出し開始タイミングｔ２は同期信号ｓＶから所定時間ｔ２ｏｆを経たタイミングとなる。
　各ＩＭＵサンプルタイミングで得られる各ＩＭＵデータについてはフレームに紐づけられる。例えば期間ＦＨ１におけるＩＭＵデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間ＦＨ１におけるＩＭＵデータは次のフレームに紐付いたメタデータとされる。但し図１４のステップＳＴ２で全ＩＭＵデータを連結することで、各フレームとＩＭＵデータの紐付けを解除し時系列でＩＭＵデータを管理できる状態になっている。
　この場合に、現フレームの各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。これはＩＭＵデータとイメージセンサ１２ａの有効画素領域との時間的な関係がわかれば計算できる。

　そこで当該フレーム（＃ＦＮ）に対応するタイミング情報ＴＭとして取得できる情報を用いて、各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。
　即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、ＩＭＵサンプルオフセット、フレームレートの情報である。
　そして露光重心のＩＭＵデータから計算されたクオータニオンＱＤを特定し、ライン毎の姿勢情報であるクオータニオンＱＤ（＃ＬＮ）とする。

　このクオータニオンＱＤ（＃ＬＮ）はステップＳＴ１５の揺れ情報調整の処理に提供される。
　揺れ情報調整では、ＣＰＵ７１は入力された揺れ変更パラメータＰＲＭに従ってクオータニオンＱＤを調整する。
　揺れ変更パラメータＰＲＭは、ユーザ操作に応じて入力されるパラメータであったり、自動制御によって発生されるパラメータであったりする。

　ユーザは、画像に任意の揺れ具合を付加するように揺れ変更パラメータＰＲＭの入力を行うことができる。またＣＰＵ７１は、画像解析や画像種別、或いはユーザの揺れのモデルの選択操作などに応じて自動制御により揺れ変更パラメータＰＲＭを発生することができる。

　ここで図１４にはステップＳＴ４０のＵＩ処理と、ステップＳＴ４１のパラメータ設定処理を示している。
　ＵＩ処理により、ユーザは揺れ変更を指示する操作入力を行うことができる。即ち揺れ演出としての揺れを指示する操作や、揺れ除去の程度を指示するような操作などである。
　加えて本実施の形態の場合、ＵＩ処理（ＳＴ４０）により、例えば図８Ａ等に示した操作子を表示させ、ユーザが或る要素を他の要素に反映させるための選択操作を行うことを可能とする。

　ステップＳＴ４０のＵＩ処理に基づいて、ＣＰＵ７１はステップＳＴ４１で各種のパラメータ設定を行う。例えばユーザ操作に応じた揺れ変更のパラメータＰＲＭ１が設定され、ステップＳＴ１５の揺れ情報調整処理に供される。パラメータＰＲＭ１は、揺れ除去や揺れ演出としてのパラメータも含むが、上述したように或る要素を或る揺れの要素に反映させる場合のパラメータでもある。
　またステップＳＴ４１でＣＰＵ７１は、画像処理のパラメータＰＲＭ２を設定し、ステップＳＴ２０の画像処理で用いられるようにする場合もある。
　またステップＳＴ４１でＣＰＵ７１は、音声処理のパラメータＰＲＭ３を設定し、ステップＳＴ２２の音声処理で用いられるようにする場合もある。

　これらパラメータＰＲＭ１，ＰＲＭ２，ＰＲＭ３は、或る要素の情報に基づいて設定される。このためステップＳＴ４０のパラメータ設定処理では、元となる揺れ情報としてクオータニオンＱＤ（＃ＬＮ）の参照や解析を行う。またパラメータ設定処理では、設定の元となる動画データＶＤ１や音声データＡＤ１の参照や解析を行う。

　ステップＳＴ１５の揺れ情報調整の処理では、ＣＰＵ７１は、撮像時揺れ情報であるクオータニオンＱＤやステップＳＴ４１で設定された揺れ変更のパラメータＰＲＭ１に基づいて、画像に揺れを付加したり、揺れの量を増減させたりするための調整後クオータニオンｅＱＤを生成する。

　具体的な調整後クオータニオンｅＱＤの生成例を図１７，図１８，図１９で説明する。
　図１７はパラメータＰＲＭ１による周波数帯域別ゲインの指示に応じて調整後クオータニオンｅＱＤを生成する例である。
　周波数帯域とは揺れの周波数の帯域である。説明上、ローバンド、ミドルバンド、ハイバンドの３つの帯域に分けるとする。もちろんこれは一例にすぎず帯域数は２以上であればよい。
　低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧが、揺れ変更のパラメータＰＲＭ１として与えられる。

　図１７の調整処理系としては、低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３、ゲイン演算部４４，４５，４６、合成部４７を有する。
　この調整処理系には「揺らすためのクオータニオンＱＤｓ」を入力する。これは撮像時揺れ情報としてのクオータニオンＱＤの共役である。

　揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑを低域通過フィルタ４１に入力し、低域成分ｑ_lowを求める。

　この低域成分ｑ_lowに対してゲイン演算部４４で低域ゲインＬＧを与える。
　式中のｍｅａｎ（ｑ，ｎ）は、ｑの前後ｎ個の平均値を示す。
　なお、このｍｅａｎ（ｑ，ｎ）の式はあくまでも低域通過フィルタの一例であり、他の計算方法でもよいことは言うまでもない。以降説明する各式も一例である。

　揺らすためのクオータニオンＱＤｓの値ｑは中域通過フィルタ４２にも入力し、中域成分ｑ_midを求める。

　なお、ｑ^* _lowはｑ_lowの共役である。
　また“×”はクオータニオン積である。
　この中域成分ｑ_midに対してゲイン演算部４５で中域ゲインＭＧを与える。

　また揺らすためのクオータニオンＱＤｓの値ｑを高域通過フィルタ４３に入力し、高域成分ｑ_highを求める。

　なお、ｑ^* _midはｑ_midの共役である。
　この高域成分ｑ_highに対してゲイン演算部４６で高域ゲインＨＧを与える。

　これらのゲイン演算部４４，４５，４６は、入力を“ｑ_in”とする。

　この場合にθ’＝θ＊gainとして、次の“ｑ_out”を出力する。
（但しgainは、低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧ）　

　このようなゲイン演算部４４，４５，４６により、それぞれ低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧが与えられた低域成分ｑ'_low、中域成分ｑ'_mid、高域成分ｑ'_highが得られる。これを合成部４７で合成した値ｑ_mixedを得る。

　なお“×”はクオータニオン積である。
　このように求められた値ｑ_mixedが調整後クオータニオンｅＱＤの値となる。
　なお以上は帯域分割した例であるが、帯域分割せずにパラメータＰＲＭ１に応じたゲインを与えるという調整後クオータニオンｅＱＤの生成手法も考えられる。

　次に図１８は揺れ変更のパラメータＰＲＭ１による方向別ゲインの指示に応じて調整後クオータニオンｅＱＤを生成する例である。
　方向とは揺れの方向であり、即ち、ヨー、ピッチ、ロールの方向である。
　ヨーゲインＹＧ、ピッチゲインＰＧ、ロールゲインＲＧが、揺れ変更パラメータＰＲＭとして与えられる。

　図１８の調整処理系としては、ヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３、ゲイン演算部５４，５５，５６、合成部５７を有する。
　ヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３には、それぞれヨー軸（Yaw axis）、ピッチ軸（Pitch axis）、ロール軸（Roll axis）の情報が提供される。

　揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑをヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３にそれぞれ入力し、ヨー成分ｑ_yaw、ピッチ成分ｑ_pitch、ロール成分ｑ_rollを求める。
　これら各成分抽出処理は、入力を次の“ｑ_in”とする。

　ｕは、ヨー軸、ピッチ軸、ロール軸等の軸の方向を表す単位ベクトルである。
　この場合にθ’＝θ＊（ａ・ｕ）として、次の“ｑ_out”を出力する。

　そしてこのような成分抽出により得られたヨー成分ｑ_yaw、ピッチ成分ｑ_pitch、ロール成分ｑ_rollについては、ゲイン演算部５４，５５，５６により、それぞれヨーゲインＹＧ、ピッチゲインＰＧ、ロールゲインＲＧを与える。
　そしてゲイン演算を施したヨー成分ｑ'_yaw、ピッチ成分ｑ'_pitch、ロール成分ｑ'_rollを合成部４７で合成した値ｑ_mixedを得る。

　なお、この場合の“×”もクオータニオン積である。
　このように求められた値ｑ_mixedが調整後クオータニオンｅＱＤの値となる。

　図１９は以上の周波数帯域別と方向別を組み合わせた例である。
　調整処理系としては、低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３、方向別処理部５８，５９，９０、ゲイン演算部４４，４５，４６、合成部９１を有する。
　揺れ変更のためのパラメータＰＲＭ１によっては、低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧ、及び図示していないヨーゲインＹＧ、ピッチゲインＰＧ、ロールゲインＲＧが与えられる。

　この調整処理系では、揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑを低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３に供給してそれぞれの帯域成分を得る。各帯域成分は、方向別処理部５８，５９，９０に入力される。
　方向別処理部５８，５９，９０は、それぞれが図１８のヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３、ゲイン演算部５４，５５，５６、合成部５７を有するものとする。
　即ち、方向別処理部５８では、揺らすためのクオータニオンＱＤｓの低域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分け、ヨーゲインＹＧ、ピッチゲインＰＧ、ロールゲインＲＧを用いてゲイン演算を行った後、合成する。
　方向別処理部５９では、揺らすためのクオータニオンＱＤｓの中域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。
　方向別処理部９０では、揺らすためのクオータニオンＱＤｓの高域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。
　なお、方向別処理部５８，５９，９０で用いるゲインは、それぞれ異なるゲイン値とすることが想定される。即ち、方向別処理部５８では低域用のヨーゲインＹＧ、低域用のピッチゲインＰＧ、低域用のロールゲインＲＧを用い、方向別処理部５９では中域用のヨーゲインＹＧ、中域用のピッチゲインＰＧ、中域用のロールゲインＲＧを用い、方向別処理部９０では高域用のヨーゲインＹＧ、高域用のピッチゲインＰＧ、高域用のロールゲインＲＧを用いる。即ち方向別処理部５８，５９，９０では９個のゲインを用いることが考えられる。

　これらの方向別処理部５８，５９，９０の出力はそれぞれゲイン演算部４４，４５，４６に供給され、それぞれ低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧが与えられる。そして合成部９１で合成され、調整後クオータニオンｅＱＤの値として出力される。

　以上の図１９の例では、先に周波数帯域別に分けた後、それぞれの帯域成分毎に方向別の処理を適用したが、逆でもよい。即ち先に方向別に分けた後、それぞれの方向成分毎に周波数帯域別の処理を適用するようにしてもよい。
　その場合、周波数帯域別の処理では９個のゲインを用いることが考えられる。例えばヨー方向についての周波数帯域別の処理では、ヨー方向用の低域ゲインＬＧ、ヨー方向用の中域ゲインＭＧ、ヨー方向用の高域ゲインＨＧを用いる。ピッチ方向についての周波数帯域別の処理では、ピッチ方向用の低域ゲインＬＧ、ピッチ方向用の中域ゲインＭＧ、ピッチ方向用の高域ゲインＨＧを用いる。ロール方向についての周波数帯域別の処理では、ロール方向用の低域ゲインＬＧ、ロール方向用の中域ゲインＭＧ、ロール方向用の高域ゲインＨＧを用いる。

　以上では、パラメータＰＲＭ１として、ヨーゲインＹＧ、ピッチゲインＰＧ、ロールゲインＲＧや、低域ゲインＬＧ、中域ゲインＭＧ、高域ゲインＨＧを挙げたが、これらは揺れの要素（方向別の要素や周波数帯域別の要素）の変更処理を行うパラメータである。従って、或る要素のみの揺れの変更も、パラメータＰＲＭ１の設定により可能である。

　図１４のステップＳＴ１５では、例えば以上のような処理例によって調整後クオータニオンｅＱＤが生成される。
　そして生成された調整後クオータニオンｅＱＤはステップＳＴ１６の揺れ変更処理に提供される。
　ステップＳＴ１６の揺れ変更処理とは、例えば図１７，図１８，図１９の処理で得られる調整後クオータニオンｅＱＤを、揺れが止まった状態の画像に適用して揺れを付加するものと考えることができる。

　ＣＰＵ７１はステップＳＴ１６の揺れ変更処理では、ステップＳＴ１３でフレームの画像が貼り付けられた天球モデルＭＴの画像を、ライン毎に調整後クオータニオンｅＱＤ（＃ＬＮ）を用いて回転させることで、揺れを付加するようにする。揺れ変更済天球モデルｈＭＴの画像は、ステップＳＴ１８の処理に送られる。

　そしてステップＳＴ１８でＣＰＵ７１は、揺れ変更済天球モデルｈＭＴの画像を平面に投影し、切り出すことで、揺れ変更がなされた画像（出力動画データｏＰＤ）が得られる。

　この場合、天球モデルＭＴの回転により揺れ変更が実現されているとともに、天球モデルＭＴを用いることで、どこを切り出しても台形状にならないため結果として台形歪みも解消されていることになる。また上述のように天球モデルＭＴは理想的なピンホールカメラで見える範囲が天球面に貼ってあるものとなっているためレンズ歪みもない。天球モデルＭＴの回転がライン毎のクオータニオンＱＤ（＃ＬＮ）に基づく調整後クオータニオンｅＱＤ（＃ＬＮ）に応じて行われることで、フォーカルプレーン歪み補正も解消されている。
　さらにクオータニオンＱＤ（＃ＬＮ）が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。

　ステップＳＴ１８で平面投影された後の画像と天球モデルＭＴの対応付けは次のようになる。
　図２０Ａは、平面投影する矩形の座標平面１３１の一例を示している。平面投影される画像の各座標を（ｘ，ｙ）とする。
　図２０Ｂに示すように座標平面１３１を、天球モデルＭＴの真上に真ん中で接するように３次元空間上に配置（正規化）する。即ち、その座標平面１３１の中心が天球モデルＭＴの中心と一致し、かつ天球モデルＭＴと接する位置に配置されるようにする。

　この場合、ズーム倍率や切り出し領域のサイズに基づいて座標を正規化する。例えば図２０Ａのように座標平面１３１の水平座標を０乃至ｏｕｔｈとし、垂直座標を０乃至ｏｕｔｖとする場合、ｏｕｔｈおよびｏｕｔｖが画像サイズとされる。そして例えば、次の式により座標を正規化する。

　上記（数１０）において、ｍｉｎ（Ａ、Ｂ）は、ＡおよびＢのうち値が小さい方を返す関数である。また、「ｚｏｏｍ」は、拡大縮小を制御するためのパラメータである。
　またｘnorm、ｙnorm、ｚnormは、正規化したｘ、ｙ、ｚ座標である。
　上記（数１０）の各式により、座標平面１３１の座標は、半径１．０の半球の球面上の座標に正規化される。

　切り出し領域の向きを求めるための回転は図２１Ａのように、座標平面１３１を回転行列演算により回転させる。即ち下記（数１１）の回転行列を使用し、パン角、チルト角およびロール角で回転させる。ここではパン角は、座標をｚ軸周りに回転させる回転角度である。また、チルト角は、座標をｘ軸周りに回転させる回転角度であり、ロール角は、ｙ軸周りに回転させる回転角度である。

　上記（数１１）において、「Ｒｔ」はチルト角、「Ｒｒ」はロール角、「Ｒｐ」はパン角である。また、（ｘrot、ｙrot、ｚrot）は回転後の座標である。

　この座標（ｘrot、ｙrot、ｚrot）を透視射影での天球対応点算出に用いる。
　図２１Ｂのように、座標平面１３１を、天球表面に透視射影する（領域１３２）。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。

　（数１２）において、ｘsph、ｙsph、ｚsphは座標平面１３１上の座標を天球モデルＭＴの表面上の座標に射影した座標である。
　この関係で平面投影された画像データが得られる。

　例えば以上のような手法で平面に投影された画像についての切り出し領域が、図１４のステップＳＴ１７で設定されることになる。

　ステップＳＴ１７では、画像解析（被写体認識）によるトラッキング処理や、ユーザ操作に応じた切り出し領域指示情報ＣＲＣに基づいて、現在のフレームにおける切り出し領域情報ＣＲＡが設定される。
　例えば図２２Ａ、図２２Ｂに、或るフレームの画像について設定された切り出し領域情報ＣＲＡを、枠の状態で示している。
　このような切り出し領域指示情報ＣＲＣがフレーム毎に設定される。
　なお、切り出し領域情報ＣＲＡは、ユーザや自動制御による画像のアスペクト比の指示も反映される。

　切り出し領域情報ＣＲＡはステップＳＴ１８の処理に反映される。即ち上記のように天球モデルＭＴ上で切り出し領域情報ＣＲＡに応じた領域が平面投影されて出力動画データｏＰＤが得られる。

　このように得られた出力動画データｏＰＤは、例えばステップＳＴ１６で揺れ変更処理が施された動画データである。この揺れ変更は、単にユーザが演出のための特定の揺れを付加するために操作を行ったことに応じた揺れの付加や増減であることもあるし、或る要素を或る揺れ要素に反映させた揺れ変更であることもある。
　また出力動画データｏＰＤは、ステップＳＴ２０の画像処理が施されたデータである場合もある。このような出力動画データｏＰＤが、図２等で示した動画データＶＤ２に相当する。
　また出力動画データｏＰＤ（動画データＶＤ２）に対応して、音声データＡＤ２が出力される。音声データＡＤ２は、これはステップＳＴ２２の音声処理が施されたデータである場合がある。

　このような動画データＶＤ２，音声データＡＤ２は、揺れの要素に応じて、画像、音声又は他の揺れ要素を変化させたデータであったり、或いは画像や音声に応じて、揺れ成分を変化させたデータであったりすることになる。
　このような動画データＶＤ２，音声データＡＤ２が画像処理装置ＴＤｘで再生されたり、動画ファイルＭＦとして画像処理装置ＴＤｙに転送されて再生されたりする場合、要素間で変換された効果を付加された画像又は音声が再生されることになる。

＜６．まとめ及び変形例＞
　以上の実施の形態では次のような効果が得られる。
　実施の形態では、
　入力動画データＰＤ（動画ファイルＭＦ）の揺れに関する複数の要素のうちの一つの要素である第１要素と、入力動画データＰＤに関するとともに第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定部１０２（ＳＴ４１）と、パラメータ設定部１０２が設定したパラメータを用いて他方の要素に関する処理を行う処理部を有する。処理部とは、画像処理部１０７（ＳＴ２０）、揺れ変更部１０１（ＳＴ１６）、音声処理部１０８（ＳＴ２２）などである。
　これにより、揺れの一要素に応じて、他の揺れ要素や、音声や、画像の明るさや、画像の色などを変化させるといったことができたり、逆に、他の揺れ要素や、音声や、画像の明るさや、画像の色に応じて、揺れの一要素を変化させるといったことができたりするようになる。従って画像演出、画像効果の幅を広げることができる。

　実施の形態では、パラメータ設定部１０２は、第１要素に応じて第２要素を変化させるパラメータＰＲＭを設定する例を挙げた。例えば第１要素である揺れ成分に応じて、他の揺れ成分や、音声や、画像の輝度や色を変化させる。
　これにより、揺れ成分に応じて音声や画質を変化させたり、他の軸の揺れを付加したりするなどといった画像処理が可能となる。

　実施の形態では、パラメータ設定部１０２は、第２要素に応じて第１要素を変化させるパラメータＰＲＭを設定する例を挙げた。例えば第１要素以外の揺れ成分や、音声や、画像の輝度や色に応じて第１要素である揺れ成分を変化させる。
　これにより、ある揺れ成分や音声や画像に応じて、ある軸の揺れを付加するといった画像処理が可能となる。

　実施の形態の処理部１００として、パラメータ設定部１０２が設定したパラメータＰＲＭ１を用いて動画の揺れの状態を変更する処理を行う揺れ変更部１０１を備える例を挙げた。
　これにより、ある揺れ成分や音声や画像に応じて、揺れ成分が変化されるような画像処理が可能となる。

　実施の形態の処理部１００として、パラメータ設定部１０２が設定したパラメータＰＲＭ３を用いて音声信号処理を行う音声処理部１０８を備える例を挙げた。
　これにより、ある揺れ成分に応じて、音量や音質が変化されたり、音響エフェクトができたりする。例えば揺れに応じた音量の増減、揺れに応じた周波数特性の変動、揺れに応じたピッチ変動、揺れに応じたステレオ音声の位相差変化、揺れに応じたパンニング状態の変化などが生じるようにすることができる。これによって動画における揺れに応じた音声表現が可能となる。

　実施の形態の処理部１００として、パラメータ設定部１０２が設定したパラメータＰＲＭ２を用いて画像信号処理を行う画像処理部１０７を備える例を挙げた。
　これにより、ある揺れ成分に応じて、画像の輝度、色、画像エフェクト等の状態が変化される。例えば画像の明るさや色合いの変化や、トーン、シャープネス、ボケ、モザイク、解像度などのレベルが変化されるようにすることが考えられる。これによって動画としての揺れに応じた動画の画像自体の新たな表現が可能となる。

　実施の形態では、第１要素と第２要素を選択するための操作子を提示させるＵＩ処理部１０３を備える例を挙げた。
　これによりユーザは、任意の要素を選択し、それを他の任意の要素の変化に反映させるといったことができる。従ってユーザは揺れを他の要素に反映させることや、ある要素を揺れに反映させるといった場合に要素を選択して望みの表現を指示できる。

　実施の形態で挙げた図８の操作子は、第１要素と第２要素について、一方の要素から他方の要素の方向性を提示する表示を含むものとした。
　図８のように、矢印ボタン６３，６４で、選択した要素間での反映方向が表示される。これによりユーザに直感的にわかりやすい表示を提供できるとともに、指示する画像や音声の効果を理解し易いものとなる。

　また実施の形態の図８の操作子は、第１要素又は第２要素の双方を、複数、指定可能とされているものとした。
　例えば図８Ｂのように、第１要素としての揺れ成分を複数選択することができる。また図８Ｃの例は、複数の第１要素と複数の第２要素を選択した状態を示している。このように選択できる要素の数も任意とすることで、より多様な画像／音声表現が可能となる。
　なお第１要素又は第２要素の一方を、複数、指定可能とするものでもよい。

　実施の形態では、入力動画データの揺れの要素とは、ヨー方向の揺れ、ピッチ方向の揺れ、ロール方向の揺れ、ドリー方向の揺れの少なくともいずれかを含むものとした。
　各方向の揺れを、１つの要素として、揺れ変更が可能とすることで、ユーザにとってわかりやすい揺れ演出効果を現出できる。
　なお上述もしたが、例えば周波数帯域としての高域の揺れ成分、中域の揺れ成分、低域の揺れ成分をそれぞれ要素として扱っても良い。

　なお実施の形態では、パラメータ設定の元となる要素に応じて、パラメータによる処理の反映先の要素を変化させるものとし、その場合、元の要素は変化させないものとするが、元の要素を変化させてもよい。
　例えばヨー成分に応じて音量を変化する場合としては、ヨー成分の揺れはそのまま維持しつつ音量を変化させる処理を行うという例が想定されるが、この場合にヨー成分の揺れを除去して音量を変化させる処理を行うようにしても良い。つまり或る元の要素を他の要素に変換して、元の要素を除去又は低減してしまうような処理である。これにより揺れを他の方向の揺れや音や画像に変換することや、或いは音や画像状態を揺れに変換してしまうといったこともできる。

　実施の形態のプログラムは、図１４で説明した処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち実施の形態のプログラムは、入力動画データＰＤ（動画ファイルＭＦ）の揺れに関する複数の要素のうちの一つの要素である第１要素と、入力動画データＰＤに関するとともに第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定処理（ＳＴ４１）と、パラメータ設定処理で設定したパラメータを用いて行う他方の要素に関する処理（ＳＴ３０、ＳＴ２０、ＳＴ２２）とを情報処理装置に実行させるプログラムである。

　このようなプログラムにより、上述した画像処理装置ＴＤｘを、例えば携帯端末２，パーソナルコンピュータ３、或いは撮像装置１などの機器において実現できる。

　このような画像処理装置ＴＤｘを実現するプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の画像処理装置ＴＤｘの広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置として機能させることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　入力動画データの揺れに関する複数の要素のうちの一つの要素である第１要素と、前記入力動画データに関するとともに前記第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定部と、
　前記パラメータ設定部が設定したパラメータを用いて前記他方の要素に関する処理を行う処理部と、を備えた
　画像処理装置。
　（２）
　前記パラメータ設定部は、
　前記第１要素に応じて前記第２要素を変化させるパラメータを設定する
　上記（１）に記載の画像処理装置。
　（３）
　前記パラメータ設定部は、
　前記第２要素に応じて前記第１要素を変化させるパラメータを設定する
　上記（１）又は（２）に記載の画像処理装置。
　（４）
　前記処理部として、前記パラメータ設定部が設定したパラメータを用いて動画の揺れの状態を変更する処理を行う揺れ変更部を備える
　上記（１）から（３）のいずれかに記載の画像処理装置。
　（５）
　前記処理部として、前記パラメータ設定部が設定したパラメータを用いて音声信号処理を行う音声処理部を備える
　上記（１）から（４）のいずれかに記載の画像処理装置。
　（６）
　前記処理部として、前記パラメータ設定部が設定したパラメータを用いて画像信号処理を行う画像処理部を備える
　上記（１）から（５）のいずれかに記載の画像処理装置。
　（７）
　前記第１要素と前記第２要素を選択するための操作子を提示させるユーザインタフェース処理部をさらに備える
　上記（１）から（６）のいずれかに記載の画像処理装置。
　（８）
　前記操作子は、前記第１要素と前記第２要素について、前記一方の要素から前記他方の要素の方向性を提示する
　上記（７）に記載の画像処理装置。
　（９）
　前記操作子は、前記第１要素又は前記第２要素の一方又は双方を、複数、指定可能とされている
　上記（７）又は（８）に記載の画像処理装置。
　（１０）
　前記入力動画データの揺れの要素とは、ヨー方向の揺れ、ピッチ方向の揺れ、ロール方向の揺れ、ドリー方向の揺れの少なくともいずれかを含む
　上記（１）から（９）のいずれかに記載の画像処理装置。
　（１１）
　画像処理装置が、
　入力動画データの揺れに関する複数の要素のうちの一つの要素である第１要素と、前記入力動画データに関するとともに前記第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定処理と、
　前記パラメータ設定処理で設定したパラメータを用いて行う前記他方の要素に関する処理と、
　を行う画像処理方法。
　（１２）
　入力動画データの揺れに関する複数の要素のうちの一つの要素である第１要素と、前記入力動画データに関するとともに前記第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定処理と、
　前記パラメータ設定処理で設定したパラメータを用いて行う前記他方の要素に関する処理と、
　を情報処理装置に実行させるプログラム。

１　撮像装置
２　携帯端末
３　パーソナルコンピュータ
４　サーバ
５　記録媒体
６１　要素選択部
６２　要素選択部
６３，６４　矢印ボタン
７０　情報処理装置
７１　ＣＰＵ
１００　処理部
１０１　揺れ変更部
１０２　パラメータ設定部
１０３　ＵＩ処理部
１０７　画像処理部
１０８　音声処理部

Claims

　入力動画データの揺れに関する複数の要素のうちの一つの要素である第１要素と、前記入力動画データに関するとともに前記第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定部と、
　前記パラメータ設定部が設定したパラメータを用いて前記他方の要素に関する処理を行う処理部と、を備えた
　画像処理装置。
　前記パラメータ設定部は、
　前記第１要素に応じて前記第２要素を変化させるパラメータを設定する
　請求項１に記載の画像処理装置。
　前記パラメータ設定部は、
　前記第２要素に応じて前記第１要素を変化させるパラメータを設定する
　請求項１に記載の画像処理装置。
　前記処理部として、前記パラメータ設定部が設定したパラメータを用いて動画の揺れの状態を変更する処理を行う揺れ変更部を備える
　請求項１に記載の画像処理装置。
　前記処理部として、前記パラメータ設定部が設定したパラメータを用いて音声信号処理を行う音声処理部を備える
　請求項１に記載の画像処理装置。
　前記処理部として、前記パラメータ設定部が設定したパラメータを用いて画像信号処理を行う画像処理部を備える
　請求項１に記載の画像処理装置。
　前記第１要素と前記第２要素を選択するための操作子を提示させるユーザインタフェース処理部をさらに備える
　請求項１に記載の画像処理装置。
　前記操作子は、前記第１要素と前記第２要素について、前記一方の要素から前記他方の要素の方向性を提示する
　請求項７に記載の画像処理装置。
　前記操作子は、前記第１要素又は前記第２要素の一方又は双方を、複数、指定可能とされている
　請求項７に記載の画像処理装置。
　前記入力動画データの揺れの要素とは、ヨー方向の揺れ、ピッチ方向の揺れ、ロール方向の揺れ、ドリー方向の揺れの少なくともいずれかを含む
　請求項１に記載の画像処理装置。
　画像処理装置が、
　入力動画データの揺れに関する複数の要素のうちの一つの要素である第１要素と、前記入力動画データに関するとともに前記第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定処理と、
　前記パラメータ設定処理で設定したパラメータを用いて行う前記他方の要素に関する処理と、
　を行う画像処理方法。
　入力動画データの揺れに関する複数の要素のうちの一つの要素である第１要素と、前記入力動画データに関するとともに前記第１要素以外の要素である第２要素のうちの、一方の要素に応じて他方の要素の処理のパラメータを設定するパラメータ設定処理と、
　前記パラメータ設定処理で設定したパラメータを用いて行う前記他方の要素に関する処理と、
　を情報処理装置に実行させるプログラム。