JPWO2020170604A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
JPWO2020170604A1
JPWO2020170604A1 JP2021501647A JP2021501647A JPWO2020170604A1 JP WO2020170604 A1 JPWO2020170604 A1 JP WO2020170604A1 JP 2021501647 A JP2021501647 A JP 2021501647A JP 2021501647 A JP2021501647 A JP 2021501647A JP WO2020170604 A1 JPWO2020170604 A1 JP WO2020170604A1
Authority
JP
Japan
Prior art keywords
image
screen
area
display
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021501647A
Other languages
English (en)
Other versions
JP7491297B2 (ja
Inventor
卓義 小曽根
隆一 唯野
洋司 山本
奈央子 平島
陽 野々山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020170604A1 publication Critical patent/JPWO2020170604A1/ja
Application granted granted Critical
Publication of JP7491297B2 publication Critical patent/JP7491297B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

被写体のトラッキングに関して、作画自由度の向上を図る。所定の画像を表示エリアに表示する第１の画面において、トラッキング対象の表示エリアにおける配置位置の指定を受け付ける。例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置（表示エリア内の位置）を指定できるようにする。

Description

本技術は情報処理装置、情報処理方法、及びプログラムに関し、特に画像処理に係る各種の指定を受け付けるためのユーザインタフェースついての技術分野に関する。
撮像装置で撮像した動画について各種の画像処理を行う技術が知られている。
また、画像処理の分野では、画像内に映し出される被写体のうち対象被写体を追尾するトラッキング技術が広く知られている（例えば、下記特許文献１を参照）
特開２０１５−１１１７４６号公報
ところで昨今は、ユーザはスマートフォンやタブレットなどの携帯端末、或いはカメラ自体やパーソナルコンピュータなどを用いて画像撮像や画像編集を手軽に行うことができ、また動画投稿なども盛んである。
このような環境下では、ユーザは撮像した画像をそのまま出力するのではなく、構図等を考慮して、撮像した画像（元画像）の一部を切り出すという画像処理を実行させることがある。このような画像の切り出しは、元画像における対象被写体が映し出されている部分が含まれるように行うことが考えられるが、この際、画像処理を行う装置が、被写体のトラッキング技術を利用して、ユーザにより指定された対象被写体が画枠内に含まれるように切り出し範囲を設定し、設定した範囲の画像を切り出すことが考えられる。
そこで本技術では、被写体のトラッキングに関して、作画自由度の向上を図ることを目的とする。
本技術に係る情報処理装置は、所定の画像を表示エリアに表示する第１の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける受付部を備えるものである。
例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置（表示エリア内の位置）を指定できるようにする。
上記した本技術に係る情報処理装置においては、前記所定の画像は元画像から切り出した画像であることが考えられる。
すなわち、表示エリア内に表示される画像は、元画像からの切出画像とされる。
上記した本技術に係る情報処理装置においては、前記受付部は、前記トラッキング対象の指定を受け付けることが考えられる。
すなわち、画像内の被写体のうちから、トラッキング対象としての被写体の指定を受け付けるようにする。
上記した本技術に係る情報処理装置においては、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記所定の画像の表示制御を行う表示制御部を備えることが考えられる。
例えばユーザが指定したトラッキング対象被写体の配置位置を反映した画像が表示されるようにする。
上記した本技術に係る情報処理装置においては、前記受付部は、前記元画像から切り出す範囲の指定を受け付けることが考えられる。
例えば、表示画面上で、ユーザが元画像のうちで切出画像の画枠に含まれる範囲を指定できるようにする。
上記した本技術に係る情報処理装置においては、前記表示制御部は、前記第１の画面に、トラッキング対象の配置位置の指定操作に用いる操作画像を表示させることが考えられる。
例えば表示エリア上に、配置位置の指定のための照準となる操作画像を重畳表示させ、ユーザが操作画像により、画枠内の位置を指定できるようにする。
上記した本技術に係る情報処理装置においては、前記受付部は、前記操作画像に対する操作に基づき、前記トラッキング対象の指定と前記トラッキング対象の前記配置位置の指定を受け付けることが考えられる。
例えば、表示エリア上で、或る箇所を操作画像で指定する操作により、その部分の被写体をトラッキングターゲットとし、かつその操作画像の位置を、トラッキングターゲットの配置位置として受け付けるようにする。
上記した本技術に係る情報処理装置においては、前記所定の画像は元画像から切り出した画像であり、前記受付部は、画面に対する操作として、前記元画像から切り出す範囲の指定と前記操作画像による前記トラッキング対象に関する操作を受け付けることが考えられる。
例えば表示画面上で元画像から切り出される範囲を表示させ、その画像に操作画像を表示させる。その画面上で、切り出し範囲の変更や操作画像の移動を受け付けるようにする。
上記した本技術に係る情報処理装置においては、前記受付部は、画面上の操作を、前記元画像から切り出す範囲の指定操作として認識する状態と、前記操作画像による前記トラッキング対象に関する操作として認識する状態とを切り替えることが考えられる。
例えば表示画面上のアイコンにより用意される操作により、画面上で行われるユーザ操作の認識モードを切り替えるようにする。
上記した本技術に係る情報処理装置においては、前記受付部は、第２の画面では、画面上の操作を、前記元画像から切り出す画像範囲の指定操作として認識し、前記第１の画面では、画面上の操作を、前記操作画像による前記トラッキング対象に関する操作として認識することが考えられる。
表示画面が第１の画面の状態か第２の画面の状態かにより、画面上で行われるユーザ操作の認識を切り替えるようにする。
上記した本技術に係る情報処理装置においては、前記表示制御部は、前記第２の画面で前記受付部に認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示を行い、前記第１の画面で前記受付部に認識された操作に対応して前記操作画像による指定位置を移動させる表示を行うことが考えられる。
表示画面が第２の画面であるときは、例えば画面全体、或いは表示エリア内に、切り出し範囲の画像を表示させるが、それが操作に応じて変更されるようにする。第１の画面であるときは、操作に応じて操作画像による指定位置が移動されるようにする。
上記した本技術に係る情報処理装置においては、前記第２の画面では、操作に応じて、前記表示エリアにおいて前記元画像が変化し、前記第１の画面では、操作に応じて、前記表示エリアにおいて前記操作画像の配置位置が変化する構成とすることが考えられる。
すなわち、第２の画面では、操作に応じて、表示エリアにおいて例えば元画像の移動、拡大、縮小、回転等の画像変化が生じ、第１の画面では、操作に応じて、例えば表示エリア内での元画像の変化は生じないが、操作画像の配置位置が変化する。
上記した本技術に係る情報処理装置においては、前記元画像は、複数の画像から構成される画像群の一画像とされることが考えられる。
これにより、画像群を構成する個々の画像について、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
上記した本技術に係る情報処理装置においては、所定の順番で連続した前記複数の画像のうち、前記配置位置の指定を受け付けた画像の順番以降の少なくとも一つの画像に対して、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように画像の切り出し処理を行うことが考えられる。
これにより、所定の順番で連続した複数の画像のうち一枚の画像についてトラッキング対象の配置位置が指定されることで、順番的に以降に位置するフレーム画像についても、指定位置に基づく位置にトラッキング対象を位置させる画像切り出し処理が行われることになる。
上記した本技術に係る情報処理装置においては、前記画像群は、動画を構成する一連のフレーム画像により構成されたことが考えられる。
これにより、動画を構成する各フレーム画像について画像切り出しを行う場合において、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
上記した本技術に係る情報処理装置においては、前記受付部は、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記元画像からの切り出しを行う区間であるトラッキング区間の指定を受け付けることが考えられる。
これにより、ユーザはトラッキング区間についても任意に指定することが可能とされる。
上記した本技術に係る情報処理装置においては、前記表示制御部は、元画像からの切り出し範囲内の画像と、切り出し範囲外の画像とを、互いに異なる表示態様で表示させる制御を行うことが考えられる。
例えば表示画面上で元画像の全体を表示させるが、その中で切り出し範囲内と切り出し範囲外とが区別できるような表示態様とする。
上記した本技術に係る情報処理装置においては、動画を構成する画像データのフレーム毎に、仮想天球面への貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、前記受付部が受け付けた切り出し範囲の指定に応じた切り出し範囲が、揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う切り出し範囲設定部と、を備え、前記表示制御部は、前記切り出し範囲設定部が行ったはみ出し防止処理を反映した切り出し画像の表示制御を行うことが考えられる。
例えば撮像装置で撮像された画像における手ぶれ等に起因する揺れを仮想天球面上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の切り出し範囲をユーザの操作に基づいて設定する。この場合に、切り出し範囲が揺れ補正を有効に保つ範囲を越えないようにはみ出し防止処理を行う。表示制御部は、このはみ出し防止処理で制限される範囲の切り出し範囲がユーザに認識できるように表示制御を行う。
上記した本技術に係る情報処理装置においては、前記表示制御部は、前記はみ出し防止処理で設定された、画像の切り出し範囲の変動を許容する許容可動範囲に基づく表示が行われるように制御することが考えられる。
はみ出し防止処理は、操作情報に基づいて設定した切り出し範囲を、揺れ補正が有効な範囲に収める処理となるが、その際に揺れ補正が有効に保たれる範囲として許容可動範囲を設定する。つまり許容可動範囲内であれば、切り出し範囲を移動してもよいという範囲である。表示上では、この許容可動範囲をユーザが認識できるような表示が行われるようにする。
上記した本技術に係る情報処理装置においては、前記表示制御部は、前記許容可動範囲を越える切り出し範囲の指定操作が制限されることを明示する表示が行われるように制御することが考えられる。
例えば許容可動範囲を越える場合に、切り出し範囲の変更ができなくなったり、切り出し範囲が許容可動範囲内に戻ってしまうような表示を実行させる。
本技術に係る情報処理方法は、情報処理装置が、所定の画像を表示エリアに表示する第１の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける処理を行うようにする。
これにより、例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置（表示エリア内の位置）を指定できるようにする。
本技術に係るプログラムは、このような情報処理方法に相当する処理を情報処理装置に実行させるプログラムである。
これにより本技術に係る処理を各種の情報処理装置で実行可能とする。
本技術の実施の形態で用いられる機器の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置における画像の補正処理の説明図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の画像処理装置としての機能構成の説明図である。 実施の形態の処理の流れの例の説明図である。 実施の形態の処理の流れの例の説明図である。 実施の形態の処理の流れの例の説明図である。 実施の形態の画像ファイル及びメタデータの内容の説明図である。 レンズ歪み補正に関するメタデータの説明図である。 実施の形態の画像処理に関する画面遷移の説明図である。 実施の形態の切り出し領域指定の説明図である。 実施の形態のトラッキング指定の説明図である。 実施の形態の画像処理の説明図である。 実施の形態の天球モデルへの貼付の説明図である。 実施の形態のＩＭＵデータのサンプルタイミングの説明図である。 実施の形態の出力画像と天球モデルの対応付けの説明図である。 実施の形態の出力座標平面の回転と透視射影の説明図である。 実施の形態のはみ出し防止処理の概要の説明図である。 実施の形態のはみ出し防止処理におけるアベイラブルエリアの算出の説明図である。 実施の形態のアベイラブルエリアの作り方の説明図である。 実施の形態のアベイラブルエリアの作り方の説明図である。 実施の形態のアベイラブルエリアの拡張の説明図である。 実施の形態のはみ出し防止処理における表示範囲の修正の説明図である。 実施の形態のはみ出し防止処理の手順の説明図である。 実施の形態のレンズによるキャプチャードエリアの違いの説明図である。 インポート画面の例を示した図である。 オーバーレイ再生時のインポート画面の例を示した図である。 実施の形態における画像インポート時の画面遷移を説明するための図である。 プレビュー画面の例を示した図である。 動画メニューパネル呼び出し時のプレビュー画面の例を示した図である。 再生速度の変更やトラッキングの処理が行われた区間を示す表示が行われたプレビュー画面の例を示した図である。 プレビューエリアがズームアウト表示状態とされたプレビュー画面の例を示した図である。 アスペクト比設定画面の例を示した図である。 プレビューエリアがズームアウト表示状態とされたアスペクト比設定画面の例を示した図である。 トリミング画面の例を示した図である。 トリミング区間の指定操作を説明するための図である。 プレビューエリアがズームアウト表示状態とされたトリミング画面の例を示した図である。 スピード画面の例を示した図である。 再生速度変更区間の指定操作を説明するための図である。 プレビューエリアがズームアウト表示状態とされたスピード画面の例を示した図である。 フレーミング画面の例を示した図である。 プレビューエリアがズームアウト表示状態とされたフレーミング画面の例を示した図である。 切り出し範囲の指定の例について説明するための図である。 トラッキングモード時のフレーミング画面の例を示した図である。 ターゲット指定照準を用いた位置指定操作の例を説明するための図である。 トラッキングを開始可能なモードとされた際のフレーミング画面の例を示した図である。 トラッキング開始後におけるフレーミング画面の例を示した図である。 トラッキング区間を表すバー表示が延伸する様子の説明図である。 プレビュー表示される元画像についてキャプチャエリアとアベイラブルエリアと表示枠との関係を例示した図である。 アベイラブルエリアを表現する画像の表示例を示した図である。 アベイラブルエリアを表現する画像の他の表示例を示した図である。である。 エクスポート画面の例を示した図である。 レンダリング中のエクスポート画面の例を示した図である。 レンダリング後のエクスポート画面の例を示した図である。 実施の形態のＵＩ処理部の処理を例示したフローチャートである。 切り出し範囲指定、及びトラッキングに係る処理を例示したフローチャートである。 トラッキング対応処理を例示したフローチャートである。 変形例としてのフレーミング画面の例を示した図である。 変形例におけるトラッキングモード時のフレーミング画面の遷移例を示した図である。 変形例としてのターゲット指定照準の形状を例示した図である。 変形例における拡大／視点変更モード時のフレーミング画面の遷移例を示した図である。 変形例における傾き補正モード時のフレーミング画面の遷移例を示した図である。 アスペクト比の指定受け付けの変形例についての説明図である。 同じく、アスペクト比の指定受け付けの変形例についての説明図である。 アスペクト比の指定受け付けに係る操作画像の変形例についての説明図である。
以下、実施の形態を次の順序で説明する。
＜１．画像処理装置として適用できる機器の構成＞
＜２．画像ファイル及びメタデータ＞
＜３．画面遷移概要＞
＜４．画像処理＞
＜５．画像処理についてのまとめ及び変形例＞
＜６．画像処理のＵＩについて＞
＜７．ＵＩに係る処理＞
＜８．ＵＩについての変形例＞
＜９．ＵＩについてのまとめ＞
＜１０．プログラム＞
＜１１．本技術＞
＜１．画像処理装置として適用できる機器の構成＞

以下の実施の形態では、主にスマートフォンなどの携帯端末により本技術に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本技術を適用できる機器について説明しておく。
図１Ａは画像ソースと、画像ソースから画像ファイルＭＦを取得する画像処理装置としての例を示している。
画像ソースとしては撮像装置１、サーバ４、記録媒体５などが想定される。
画像処理装置としてはスマートフォンなどの携帯端末２やパーソナルコンピュータ３などが想定される。
画像ソースとしての撮像装置１は動画撮像を行うことのできるデジタルカメラ等であり、動画撮像によって得られた画像ファイルＭＦを有線通信や無線通信を介して携帯端末２やパーソナルコンピュータ３に転送する。
サーバ４はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置１で撮像された画像ファイルＭＦを提供できる装置を指す。このサーバ４がなんらかの伝送路を介して画像ファイルＭＦを携帯端末２やパーソナルコンピュータ３に転送することが考えられる。
記録媒体５はメモリカード等の固体メモリ、光ディスク等のディスク状記録媒体、磁気テープ等のテープ状記録媒体などのいずれでもよいが、撮像装置１で撮像された動画ファイルＭＦが記録されたリムーバブル記録媒体を指している。この記録媒体５から読み出された動画ファイルＭＦが携帯端末２やパーソナルコンピュータ３に読み取られることが考えられる。
画像処理装置としての携帯端末２やパーソナルコンピュータ３は、以上の画像ソースから取得した画像ファイルＭＦに対する画像処理が可能とされている。ここでいう画像処理とは、例えば揺れ補正処理、切り出し領域設定処理、実効切り出し領域（effective cropping area）画像生成処理を含む。
揺れ補正処理は、動画を構成する画像データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて行う揺れ補正処理である。
切り出し領域設定処理は、画像の切り出し領域をユーザの操作情報に基づいて設定したうえで、該切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う処理である。
実効切り出し領域画像生成処理は、揺れ補正処理が行なわれた状態で平面に投影した画像について、はみ出し防止処理を施した切り出し領域（実効切り出し領域ＣＬ）で画像を切り出すことで、実効切り出し領域画像を生成する処理である。切り出した画像は出力画像とすることができる。
なお、或る携帯端末２やパーソナルコンピュータ３が、画像処理装置として機能する他の携帯端末２やパーソナルコンピュータ３に対する画像ソースとなることもある。
図１Ｂは、画像処理装置として機能する１つの機器が画像ソースを兼ねる場合としての撮像装置１や携帯端末２を示している。
例えば撮像装置１の内部のマイクロコンピュータ等が上記の画像処理を行う。つまり撮像装置１は撮像によって生成した画像ファイルＭＦを、そのまま上記の画像処理を行うことで、画像処理結果としての画像出力を行うことができるものとする。
携帯端末２も同様であり、撮像機能を備えることで画像ソースとなり得るため、撮像によって生成した画像ファイルＭＦについて上記の画像処理を行うことで、画像処理結果としての画像出力を行うことができる。
もちろん撮像装置１や携帯端末２に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。
以上のように実施の形態の画像処理装置として機能する装置及び画像ソースは多様であるが、以下では、撮像装置１が画像ソースとなり、携帯端末２が画像処理装置とされる例で説明している。即ち撮像装置１での撮像によって形成された画像ファイルＭＦを携帯端末２に転送し、携帯端末２において、取得した画像ファイルＭＦに対する画像処理が行われる例である。
まず画像ソースとなる撮像装置１の構成例を図２で説明する。
なお図１Ｂで説明したように携帯端末２で撮像した画像ファイルＭＦについてその携帯端末２で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置１と同等の構成を携帯端末２が備えればよいことになる。
図２に示すように撮像装置１は、レンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、出力部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２２、センサ部２３を有する。
レンズ系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。
なお、図示していないがレンズ系１１には手ぶれ等による画像の揺れ（フレーム間揺れ：interframe shake）及びブラー（blur）を補正する光学手ぶれ補正機構（optical image stabilization mechanism）が設けられている場合がある。
撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部１８に出力する。
なお、図示していない光学手ぶれ補正機構としては、レンズ系１１側ではなく、イメージセンサ１２ａ側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構（balanced optical image stabilization mechanism）の場合等もあり、どのような方式であっても構わない。
光学手ぶれ補正機構では、揺れ（interframe shake）に加えて後述するがフレーム内のブラーも合わせて補正される。
カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。
またカメラ信号処理部１３は各種補正処理も行う。但し手ぶれ補正については、撮像装置１内で行う場合もあれば、行わない場合も想定される。
前処理では、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
カメラ信号処理部１３で行われる各種補正処理（撮像装置１の内部補正）については図３に例を挙げる。図３ではレンズ系１１で行われる光学手ぶれ補正とともに、カメラ信号処理部１３で行われる補正処理を、その実行順序により例示している。
処理Ｆ１としての光学手ぶれ補正では、レンズ系１１のヨー方向、ピッチ方向のシフトによるレンズ内手ぶれ補正や、イメージセンサ１２ａのヨー方向、ピッチ方向のシフトによるボディ内手ぶれ補正が行われることで、手ぶれの影響を物理的にキャンセルした状態で被写体の像がイメージセンサ１２ａに結像するようにされる。このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正（electrical image stabilization）のみ、または、光学手ぶれ補正のみが行われる場合もある。
カメラ信号処理部１３では処理Ｆ２から処理Ｆ７までの処理が各画素に対する空間座標変換により行われる。
処理Ｆ２ではレンズ歪み補正が行われる。
処理Ｆ３では電子手ぶれ補正の１つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばＣＭＯＳ型のイメージセンサ１２ａによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。
処理Ｆ４ではロール補正が行われる。即ち電子手ぶれ補正の１つの要素としてのロール成分の補正が行われる。
処理Ｆ５では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
処理Ｆ６では、電子手ぶれ補正の１つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。
カメラ信号処理部１３におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばＭＰＥＧ−４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルＭＦの生成を行う。また静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式のファイル生成を行うことも考えられる。
なおカメラ信号処理部１３はカメラ制御部１８からの情報等を用いて、画像ファイルＭＦに付加するメタデータの生成も行う。
また図２では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルＭＦには動画としての画像データとともに音声データも含まれるようにしてもよい。
なお、この画像データは予め設定されたアスペクト比を持ち、画像データのフレーム全体が後述する撮像領域（captured area）に相当する。
記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルＭＦやサムネイル画像等を記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部１５にはカメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
出力部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。
カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
センサ部２３は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部２３としては例えばＩＭＵ（ inertial measurement unit：慣性計測装置）が搭載されており、例えばピッチ-、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部２３としては、位置情報センサ、照度センサ等が搭載されていても良い。
例えば以上の撮像装置１によって撮像され生成された動画としての画像ファイルＭＦは、携帯端末２等の画像処理装置に転送されて画像処理を施されることが可能とされる。
携帯端末２は、例えば図４に示す構成を備えた情報処理装置として実現できる。なお、パーソナルコンピュータ３やサーバ４についても、同様に図４の構成の情報処理装置により実現できる。
図４において、情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスであったり、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
通信部８０は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行う。
入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
ドライブ８２により、リムーバブル記録媒体８１からは画像ファイルＭＦ等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
この情報処理装置７０では、例えば本開示の画像処理装置としての画像処理のためのソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。
例えばこのようなソフトウエア（アプリケーションプログラム）によって、図５のような機能構成が情報処理装置７０のＣＰＵ７１において構築される。
即ち情報処理装置７０（ＣＰＵ７１）は、前処理部３１、画像処理部３２、ＵＩ処理部３６としての機能を備える。
前処理部３１は例えば撮像装置１により生成された動画を構成する画像ファイルＭＦのインポート及びインポート時の前処理を行う機能である。
なお本明細書において「インポート」とは、情報処理装置７０が例えば記憶部７９などに取り込んでいることでアクセス可能な画像ファイルＭＦなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置１から携帯端末２に転送することを指すものではない。
前処理部３１は、ユーザ操作等により指定された画像ファイルＭＦを画像処理対象となるようにインポートするとともに、前処理として画像ファイルＭＦに付加されたメタデータに関する処理を行う。例えば動画の各フレームに対応するメタデータを抽出して記憶する処理を行う。
画像処理部３２は、インポートした画像ファイルＭＦについて画像処理を行う機能を示している。この画像処理部３２としての機能は、図示する揺れ補正部３３、実効切り出し領域設定部３４、実効切り出し領域画像生成処理部３５としての機能を有する。
揺れ補正部３３は、画像ファイルＭＦとして動画を構成する画像データとしてのフレーム毎に、そのフレームに対応する姿勢情報を用いて揺れ補正を行う機能である。例えば揺れ補正部３３はフレーム毎に平面モデルから天球モデルへの貼付処理が行われた状態で揺れ補正を行う。即ち画像ファイルＭＦとしての画像の撮像時には、被写体画像は平面に投影されているが、これを天球モデルに投影した状態で揺れ補正を行うものである。
ここで、補正する「揺れ」とは、その画像ファイルＭＦの撮像を行った撮像装置１の動きによる画像の振動を指すが、特にはフレーム間で生じる振動成分（フレーム間での画像の揺らぎ）をいう。そして「（フレーム間）揺れ補正」とは、このようなフレーム間の振動としてあらわれる揺れを補正することを指す。上述したシフトや切り出しによる方式の電子手ぶれ補正は「揺れ補正」に含まれる。また、前述した光学手ぶれ補正では、「揺れ補正（interframe shake correction」と「ブラー補正」が同時に行われることになる。
なお撮像素子部１２がローリングシャッター方式のＣＭＯＳ型のイメージセンサ１２ａを搭載する場合は、ライン毎に揺れ及びブラーの量は異なることになる。
実効切り出し領域設定部３４は、画像の実効切り出し領域をユーザの操作情報やトラッキングターゲットの情報などに基づいて設定する。この実効切り出し領域設定部３４は、切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う機能を含む。
実効切り出し領域の設定については、ユーザの操作に応じて固定的な切り出し領域の設定をすることに限られず、ユーザのトラッキングターゲット（追尾対象）の指定に応じて、トラッキングターゲットを含むように実効切り出し領域の設定を行うようにしてもよい。
この場合、実効切り出し領域設定部３４は、画像解析やフレーム間比較などにより動画の各フレームにおいてトラッキングターゲットの位置を特定する処理も行う。
実効切り出し領域画像生成処理部３５は、揺れ補正部３３で揺れ補正が行なわれた状態で天球モデルの仮想球面から平面に投影した画像から、実効切り出し領域設定部３４によって指定される実効切り出し領域の画像である出力画像を切り出す処理を行う機能である。
ＵＩ処理部３６は、インポートや画像処理のためのユーザ操作の受け付けや、処理に応じた表示出力の制御などを行う機能である。
図示のようにＵＩ処理部３６は、受付部３６ａと表示制御部３６ｂとを有している。受付部３６ａは、主として画像処理のためのユーザ操作の受け付けを行い、表示制御部３６ｂは、主として画像処理のためのユーザ操作に基づき実行される処理に応じた表示制御を行う。
ＵＩ処理部３６は、これら受付部３６ａや表示制御部２６ｂによって、後述するインポート画面、プレビュー画面、フレーミング画面、トリミング画面、スピード画面、アスペクト比設定画面、エクスポート画面といった各画面により、ユーザの操作の受付や表示の制御を行う。
なお、ＣＰＵ７１が受付部３６ａや表示制御部３６ｂとして実行する処理の詳細については後に改めて説明する。
以上の図５の機能による処理の詳細は後述する。
例えば撮像装置１と、図５の機能を備えた情報処理装置７０に該当する携帯端末２により、例えば図６のような流れで処理が行われることになる。
撮像装置１において撮像（ステップＳ９１）、カメラプロセス（ステップＳ９２）、メタデータ生成処理（ステップＳ９３）、画像ファイル生成処理（ステップＳ９４）が行われる。
ステップＳ９１の撮像とは、撮像素子部１２による撮像画像信号の出力（ＲＡＷデータ出力）を示している。
ステップＳ９２のカメラプロセスはいわゆる現像処理であり、撮像画像信号に対してカメラ信号処理部１３において行われる上述した各種の信号処理のことである。図３で説明した各種の補正処理を含む。
またステップＳ９３のメタデータ生成処理は、例えばセンサ部２３により得られるＩＭＵデータやカメラの制御信号に応じて画像に関連づけるメタデータを生成する処理であり、カメラ信号処理部１３或いはカメラ制御部１８において行われる。
カメラ信号処理部１３では、ステップＳ９２のカメラプロセスが行われた画像データとステップＳ９３のメタデータ生成処理で生成されたメタデータを含めてステップＳ９４の画像ファイル生成処理が行われ、画像ファイルＭＦが生成される。
画像ファイルＭＦは上述のように何らかの経路を経て携帯端末２に取得される。
携帯端末２では画像ファイルＭＦのインポート時の前処理（ステップＳ９５）として、画像ファイルＭＦを画像処理対象とし、また各フレームに対応づけたメタデータの記憶管理が行われる。
また、インポートされ前処理が行われた画像ファイルＭＦについてはステップＳ９６の画像処理を任意の時点で行うことができる。この画像処理では、揺れ補正部３３による揺れ補正や実効切り出し領域設定部３４による実効切り出し領域設定、実効切り出し領域画像生成処理部３５による平面投影及び切り出し処理等が行われる。
そして画像処理の経過や結果を表示或いは保存のためにステップＳ９７として保存／表示処理が行われる。
このような流れにより、ユーザは撮像装置１で撮像した動画を携帯端末２において画像処理し、再生、記憶、アップロード等をすることができる。
なお、図１Ｂのように撮像装置１が本開示の画像処理装置としての画像処理機能を備える場合、カメラ制御部１８やカメラ信号処理部１３において、図５のような機能を備えるようにすれば良い。
その場合の処理の流れを図７に示している。即ち撮像装置１内でステップＳ９５の前処理、ステップＳ９６の画像処理、ステップＳ９７の保存／表示処理も行われるようにした場合を示している。
また図１Ｂでは携帯端末２が撮像を行う場合も言及したが、その場合、この図７に示した処理が携帯端末２内で行われるようにすることが考えられる。
図８は他の例として、ＲＡＷデータを画像処理対象とする場合を示している。
例えば破線で囲って示すように撮像と画像処理が撮像装置１と携帯端末２で行われる場合、撮像装置１ではステップＳ９１の撮像により得た撮像画像信号（ＲＡＷデータ）と、ステップＳ９３のメタデータ生成処理で生成したメタデータにより、ステップＳ９４の画像ファイル生成処理を行って画像ファイルＭＦを生成する。ＲＡＷデータの場合は図６，図７のステップＳ９２としたカメラプロセスは行われない。
携帯端末２では、このような画像ファイルＭＦに対して前処理（ステップＳ９５）、画像処理（ステップＳ９６）、保存／表示処理（ステップＳ９７）を行う。
なお図８のようにＲＡＷデータを画像処理対象とする場合において、撮像装置１内で電子手ぶれ補正や光学手ぶれ補正が行われる場合も想定されるし、行われない場合も想定される。
付言すれば、カメラプロセスが行われる図６，図７の場合も、撮像装置１内で電子手ぶれ補正や光学手ぶれ補正が行われる場合も想定されるし、行われない場合も想定される。
また図８において一点鎖線で囲って示す撮像装置１（又は携帯端末２）は、撮像装置１内（又は携帯端末２内）で撮像やＲＡＷデータを対象とした画像処理が行われる場合を示したものである。
即ち撮像装置１内で、ステップＳ９５の前処理、ステップＳ９６の画像処理、ステップＳ９７の保存／表示処理が行われる場合も有り得る。
また携帯端末２内で、ステップＳ９１の撮像、ステップＳ９３のメタデータ生成処理、ステップＳ９４の画像ファイル生成処理が行われる場合も有り得る。
＜２．画像ファイル及びメタデータ＞

画像ファイルＭＦの内容とメタデータの内容を説明する。
図９Ａは画像ファイルＭＦに含まれるデータを示している。図示のように画像ファイルＭＦには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。
「ヘッダー」には、ファイル名、ファイルサイズ等の情報とともにメタデータの有無を示す情報などが記述される。
「サウンド」は動画とともに収録された音声データである。例えば２チャネルステレオ音声データが格納される。
「ムービー」は動画データであり、動画を構成する各フレーム（＃１、＃２、＃３・・・）としての画像データで構成される。
「メタデータ」としては、動画を構成する各フレーム（＃１、＃２、＃３・・・）に対応づけられた付加情報が記述される。
メタデータの内容例を図９Ｂに示す。例えば１つのフレームに対して、ＩＭＵデータ、座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰが記述される。なお、これらはメタデータ内容の一部であり、ここでは後述する画像処理に関連する情報のみを示しているものである。
ＩＭＵデータとしては、ジャイロ（角速度データ）、アクセル（加速度データ）、サンプリングレートが記述される。
センサ部２３として撮像装置１に搭載されるＩＭＵでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため１フレーム期間に多くのＩＭＵデータサンプルが得られるものとなっている。
そのため角速度データとしては、図９Ｃに示すジャイロサンプル＃１、ジャイロサンプル＃２・・・ジャイロサンプル＃ｎというように、１フレームについてｎ個のサンプルが対応づけられる。
また加速度データとしても、アクセルサンプル＃１、アクセルサンプル＃２・・・アクセルサンプル＃ｍというように、１フレームについてｍ個のサンプルが対応づけられる。
ｎ＝ｍの場合もあるし、ｎ≠ｍの場合もある。
なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばＩＭＵデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報ＴＭにおけるＩＭＵサンプルタイミングオフセットとして持つようにされる。
座標変換パラメータＨＰは、画像内の各画素の座標変換を伴う補正に用いるパラメータの総称としている。例えばレンズ歪みのような非線形な座標変換も含む。
そして、座標変換パラメータＨＰとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。
レンズ歪み補正パラメータは、樽型収差、糸巻き型収差などの歪みをどのように補正したかを直接または間接的に把握しレンズ歪補正前の画像に戻すための情報となる。メタデータの１つとしてのレンズ歪み補正パラメータに関するメタデータについて簡単に説明しておく。
図１０Ａにはレンズ系１１とイメージセンサ１２ａの模式図において、像高Ｙ、角度α、入射瞳位置ｄ１、射出瞳位置ｄ２を示している。
レンズ歪み補正パラメータは、画像処理においては、イメージセンサ１２ａの各画素についての入射角度を知りたいために用いられる。そのため像高Ｙ、角度αの関係がわかれば良い。
図１０Ｂはレンズ歪み補正前の画像１１０とレンズ歪み補正後の画像１１１を示している。最大像高Ｈ０は歪み補正前の最大像高であり、光軸の中心から最遠までの距離である。最大像高Ｈ１は歪み補正後の最大像高である。
像高Ｙ、角度αの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高Ｈ０と、Ｎ個の各像高に対する入射角度のデータｄ０、ｄ１、・・・ｄ（Ｎ−１）となる。“Ｎ”は一例として１０程度であることが想定される。
図９Ｂに戻って、台形歪み補正パラメータは、電子手ぶれ補正によって切り出し領域を中央からずらすことで生じる台形歪みを補正するときの補正量であり、電子手ぶれ補正の補正量に応じた値ともなる。
フォーカルプレーン歪み補正パラメータは、フォーカルプレーン歪みに対してライン毎の補正量を示す値となる。
電子手ぶれ補正及び光学手ぶれ補正に関しては、ヨー、ピッチ、ロールの各軸方向についての補正量を示すパラメータとなる。
なお、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正の各パラメータについては、座標変換パラメータと総称しているが、これらの補正処理は、撮像素子部１２のイメージセンサ１２ａの各画素に結像した像に対する補正処理であって、各画素の座標変換を伴う補正処理のパラメータであるためである。光学手ぶれ補正も座標変換パラメータの１つとするが、光学手ぶれ補正においてフレーム間成分の揺れの補正は各画素の座標変換を伴う処理となるためである。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部１２のイメージセンサ１２ａに結像したときの状態に戻すことができる。
またレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正の各パラメータについては、被写体からの光学像自体が光学的に歪んだ状態で撮像された画像である場合に対する歪み補正処理であり、それぞれ光学歪み補正を目的とするものであるため、光学歪み補正パラメータと総称している。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。
メタデータにおけるタイミング情報ＴＭとしては、露光時間（シャッタースピード）、露光開始タイミング、読み出し時間（幕速）、露光フレーム数（長秒露光情報）、ＩＭＵサンプルオフセット、フレームレートの各情報が含まれる。
本実施の形態の画像処理においては、これらは主に各フレームのラインとＩＭＵデータを対応づけるために用いられる。
但しイメージセンサ１２ａがＣＣＤの場合やグローバルシャッター方式のＣＭＯＳの場合であっても、 電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。
メタデータにおけるカメラパラメータＣＰとしては、画角（焦点距離）、ズーム位置、レンズ歪み情報が記述される。
＜３．画面遷移概要＞

携帯端末２における画像処理時の画面遷移の例を説明する。
図１１に携帯端末２の表示画面上に現れる各種画面の遷移を示している。各画面について簡単に説明する。
なお、以下説明する各画面のうち、プレビュー画面１０２、フレーミング画面１０３、トリミング画面１０４、スピード画面１０５、アスペクト比設定画面１０６、エクスポート画面１０８で出力される画像は、後述する図１４のステップＳＴ１９の処理を経た出力画像ｏＰＤである。
但し、これらの画面で出力される画像は、必ずしも図１４の処理を経た出力画像ｏＰＤでなくてもよいが、その場合、ユーザが設定したり視認している領域と、最終的な図１４の処理後の領域や歪み具合が若干異なる可能性もある。
［インポート画面１０１］
動画処理のためのアプリケーションプログラムを起動すると、インポート画面１０１が現れる。
インポート画面１０１は動画処理開始前の画面である。このインポート画面１０１では画像ファイルＭＦのサムネイル等が表示され、処理対象とする画像ファイルＭＦをユーザが選択できるようにしている。
選択された画像ファイルＭＦは処理対象の画像ファイルＭＦとしてインポート及び前処理される。
［プレビュー画面１０２］
インポート画面１０１においてユーザが１又は複数の画像ファイルＭＦを選択する操作を完了することで、インポート処理を経て表示はプレビュー画面１０２に遷移する。プレビュー画面１０２ではインポートされた画像処理可能な動画（画像ファイルＭＦ）のリストが表示されるとともに、その中で指定された動画のプレビュー再生が可能とされる。
プレビュー画面１０２に示される画像ファイルＭＦについては、ユーザはプレビュー画面を起点として各種の画像処理のための操作、例えば明るさを変えたり色味を変えたりするなどの操作を行うことができる。
プレビュー画面１０２では、ユーザは選択した動画（画像ファイルＭＦ）の再生、動画の追加、削除、画像処理のリセットなどの操作を行うことができる。
動画再生はプレビュー画面１０２上で行われる。
画像処理対象とする動画の追加や新規プロジェクト（新たな画像処理アクション）の操作が行われた場合、インポート画面１０１に戻って選択が可能とされる。動画の削除（画像処理対象からの除外）はプレビュー画面１０２において可能とされる。
［フレーミング画面１０３］
プレビュー画面１０２からの所定の操作により、表示はフレーミング画面１０３に遷移する。フレーミング画面１０３はインポートした動画のうちで、プレビュー画面１０２で処理対象として指定した動画を個別にフレーミング処理するための画面である。
このフレーミング画面１０３では、例えば処理対象となっている動画の或るフレームの静止画像が表示された状態において、ユーザはそのフレームの画像上で、画像の実効切り出し領域の指定、画像の拡大縮小、画像の回転、トラッキングターゲット（追尾対象）の指定、トラッキングターゲットの画面内での配置位置の指定などの操作が可能とされる。
その後、フレーミング画面１０３からの所定の操作により、表示はプレビュー画面１０２に戻る。
フレーミング画面１０３で表示される画像は、或るフレーム（動画の先頭フレームや、一時停止されているフレームなど）の画像全体であったり、画像全体から切り出された一部である。ユーザは表示されている範囲を上下左右に移動させたり、拡大・縮小・回転の操作を行うことで、画像の実効切り出し領域を指定できる。
例を挙げる。図１２Ａは、或るフレームの画像全体１１４と、表示枠１１５を示している。この表示枠１１５の範囲がフレーミング画面１０３で表示される範囲であるとする。つまりフレーミング画面１０３上では、画像全体１１４のうちの一部が切り出されて表示されている。この表示枠１１５の範囲内が実効切り出し領域に相当する。
ユーザがフレーミング画面１０３上で例えばドラッグ操作やピンチアウト／ピンチイン操作などを行うことで、表示枠１１５に含まれる範囲を移動させたり、拡大・縮小・回転をさせることができる。
例えば画面上のドラッグ操作により、図１２Ａから図１２Ｂのように表示枠１１５に含まれる範囲が移動される。つまり表示枠１１５に対して画像が上下左右に移動されることで、表示される範囲が変化する。
またユーザが例えばピンチアウト／ピンチイン操作により画像の拡大・縮小を指示することで、表示枠１１５に含まれる範囲が変化する。例えば図１２Ｂから縮小操作が行われると、図１２Ｃのようになる。つまり表示枠１１５に含まれる（ユーザが視認している）画像が縮小されるように、表示枠１１５に対して画像全体１１４が縮小され、表示枠１１５に含まれる被写体の範囲が広くなる。即ち表示されている画像が縮小されることで、より広い範囲が表示される状態となる。
図示しないが、逆にユーザが拡大操作を行うことで、表示枠１１５に対して画像全体１１４が拡大され、表示枠１１５に含まれる被写体の範囲が狭くなる。即ちより狭い範囲が拡大されて表示される状態となる。
このような表示枠１１５で表示される範囲についての操作は、ユーザによる切り出し領域の指定操作となる。
またユーザは、以上のように実効切り出し領域を指定するとともにトラッキングターゲット及びその配置位置を指定できる。
例えばフレーミング画面１０３においてユーザがトラッキングターゲット指定のための操作を行うと、図１３Ａのようにターゲット指定照準１１６が表示される。ユーザはドラッグ操作やタップ操作などでターゲット指定照準の位置を任意に指定できる。例えば図１３Ｂのように人の顔の部分を指定することができる。
この図１３Ｂの状態では、当該人物の顔をトラッキングターゲットとして指定したことになり、さらに、トラッキングターゲットの画面内で右上に配置するという、トラッキングターゲットの画面内での配置位置を指定したことにもなる。
つまりフレーミング画面１０３では、表示枠１１５に含まれる範囲の選択により、実効切り出し領域を指定することができ、さらに表示枠１１５に含まれる範囲とトラッキングターゲット指定の操作を組み合わせることで、トラッキングターゲットの指定及びその配置位置の指定の操作が可能とされる。
以上の操作は、表示されている１フレームの静止画像上の操作として行われるが、同じ動画内の他のフレームについても、その指定が反映される。
表示枠１１５内の画像範囲の移動、拡大、縮小、回転のみでトラッキングターゲットが指定されていない場合は、各フレームでは、その画像範囲の移動、拡大・縮小・回転の操作で指定された範囲が固定的に実効切り出し領域となる。
一方で上記のように表示枠に含める画像範囲とともにトラッキングターゲット及びその配置位置が指定された場合、動画内の他のフレームは、その指定に応じて実効切り出し領域が計算されることになる。即ち動画を構成する各フレームでは、トラッキングターゲットの画面内位置も変化するため、フレーム毎に実効切り出し領域は計算されて変化する。
具体的には、各フレームでは、表示枠１１５の拡大縮小操作で指定された実効切り出し領域のサイズにおいて、指定されたトラッキングターゲットが、指定された配置位置に位置するように、実効切り出し領域がそれぞれ計算される。
トラッキングターゲットの大きさの変化に応じて、適切に実効切り出し領域の大きさを変化させても良い。
なお、フレーミング画面１０３では動画を再生表示しながら表示枠１１５に含まれる範囲の移動、拡大、縮小、回転の操作ができるようにしたり、トラッキングターゲット指定やその配置位置の指定操作ができるようにしてもよい。
［トリミング画面１０４］
プレビュー画面１０２からの所定の操作により、表示はトリミング画面１０４に遷移する。トリミング画面１０４はインポートした動画のうちで、プレビュー画面１０２で処理対象として指定した動画を個別にトリミング処理（時間軸方向のカット）するための画面である。
トリミング画面１０４では、動画内でトリミングする範囲を選択できる。例えば動画の時間軸方向にバーを表示し、切り取りする範囲の開始点、終了点を指定するような操作が可能とされる。
トリミング画面１０４からの所定の操作により、表示はプレビュー画面１０２に戻る。
なお、本明細書においては、トリミングは１フレーム内の一部領域を切り出す処理を含まない。
［スピード画面１０５］
プレビュー画面１０２からの所定の操作により、表示はスピード画面１０５に遷移する。スピード画面１０５はインポートした動画のうちで、プレビュー画面１０２で処理対象として指定した動画を個別にスピード処理するための画面である。
例えばスピード画面１０５では、動画内でスピード（再生速度）を設定する範囲を選択したり、当該範囲の再生速度を指定するような操作が可能とされる。
スピード画面１０５からの所定の操作により、表示はプレビュー画面１０２に戻る。
より具体的には、メタデータに含まれるタイミング情報ＴＭで設定されているフレームレートと異なるフレームレートとすることで、スローモーションや高速再生を行うための再生速度である。
［アスペクト比設定画面１０６］
プレビュー画面１０２からの所定の操作により、表示はアスペクト比設定画面１０６に遷移する。アスペクト比設定画面１０６はインポートした動画についてファイル単位で出力動画のアスペクト比を設定するための画面である。
なお、インポートした動画と設定された出力画像（出力動画）のアスペクト比が異なる場合は、フレーミング画面で行われる実効切り出し領域の設定と同様の意味合いを持つことがある。
即ち、フレーミング画面で実効切り出し領域が設定されていなくても、撮像領域から、アスペクト比が異なる出力画像の実効切り出し領域が設定されることになる。
例えばアスペクト比設定画面１０６では、「１：１」「４：５」「５：４」「１６：９」「９：１６」などのアスペクト比が選択可能とされる。
アスペクト比設定画面１０６からの所定の操作により、表示はプレビュー画面１０２に戻る。
なお、アスペクト比設定画面１０６の機能の全部又は一部、例えばアスペクト比の一括選択操作は例えばプレビュー画面１０２上で表示させるダイアログなどにより操作可能としてもよい。
またアスペクト比設定画面１０６を、インポートした動画のうちで、プレビュー画面１０２で処理対象として指定した動画を構成する複数フレームの全体のアスペクト比を設定できるようにするための画面としてもよい。
［設定画面１０７］
プレビュー画面１０２からの所定の操作により、表示は設定画面１０７に遷移する。設定画面１０７では当該アプリケーションプログラムの動作等についての設定操作が可能とされる。
設定画面１０７からの所定の操作により、表示はプレビュー画面１０２に戻る。
［エクスポート画面１０８］
プレビュー画面１０２からの所定の操作により、表示はエクスポート画面１０８に遷移する。エクスポート画面１０８は、上記各画面で行った画像処理内容を反映させた動画を書き出す処理を行っているときの画面である。即ちユーザは、各種画像処理の操作を行ったら、プレビュー画面１０２に戻ってエクスポートを指示する。これにより、エクスポート画面１０８に遷移し、画像処理内容どおりに加工された動画の書き出し処理が実行される。
書き出された動画は、ユーザが任意に記録したり、携帯端末２のネットワーク通信を介してウェブサイト、ＳＮＳ（Social Networking Service）等にアップロードしてシェアしたりすることができる。
なお、書き出し処理中にユーザがキャンセル操作をおこなった場合や、書き出し処理が完了した場合、表示はプレビュー画面１０２に戻る。

＜４．画像処理＞

以上の各画面でのユーザインタフェースを行いながら実行される動画に関する処理の具体例を説明していく。
図１４は、図５の前処理部３１（ＣＰＵ７１）によって動画（画像ファイルＭＦ）のインポート時に行われる前処理としての手順、及び画像処理部３２（ＣＰＵ７１）によって行われる画像処理としての手順を示すとともに、各処理で用いる情報の関係性を示している。
まず前処理について説明する。前処理はインポート画面１０１で画像処理対象として選択された画像ファイルＭＦに対して行われる。この前処理では、メタデータ抽出（ステップＳＴ１）、全ＩＭＵデータ連結（ステップＳＴ２）、メタデータの保持（ステップＳＴ３）、クオータニオン（撮像装置１の姿勢情報）への変換、保持（ステップＳＴ４）が行われる。
ステップＳＴ１のメタデータ抽出としては、前処理部３１は、対象の画像ファイルＭＦを読み込んで、図９で説明したように画像ファイルＭＦに含まれているメタデータを抽出する。
なおステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の一部又は全部を撮像装置１側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。
前処理部３１は、抽出されたメタデータのうち、ＩＭＵデータ（角速度データ（ジャイロサンプル）と加速度データ（アクセルサンプル））については、ステップＳＴ２で連結処理を行う。
これは、全フレームについて対応づけられているＩＭＵデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するＩＭＵデータを構築する処理となる。
そして連結したＩＭＵデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置１の姿勢を表すクオータニオン（Quaternion）ＱＤを算出し、これを記憶保持する。クオータニオンＱＤを算出するとしているのは一例である。
なお角速度データのみでクオータニオンＱＤを計算することもできる。
前処理部３１は、抽出されたメタデータのうち、ＩＭＵデータ以外のメタデータ、即ち座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰについては、ステップＳＴ３で保持する処理を行う。即ち各フレームに対応した状態で座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰを記憶する。
以上の前処理が行われることで、上述したプレビュー画面１０２を起点とする各画面によるインタフェースを介して、各種の画像処理が行われる。
図１４の画像処理は、フレーミング画面１０３でユーザに指定される実効切り出し領域の情報を反映させながら、プレビュー画面１０２、フレーミング画面１０３、トリミング画面、スピード画面１０５、アスペクト比設定画面１０６としての各画面で、画像ファイルＭＦの動画或いは一時停止中の静止画が再生される際に定常的に行われる処理を示している。
画像処理部３２（ＣＰＵ７１）は、動画１フレーム取り出し（ステップＳＴ１１）、撮像装置内部補正キャンセル（ステップＳＴ１２）、天球モデルへの貼り付け（ステップＳＴ１３）、同期処理（ステップＳＴ１４）、揺れ補正（ＳＴ１５）としての各処理を行う。これらステップＳＴ１１からＳＴ１５の処理は、図５の揺れ補正部３３の機能による処理となる。
また画像処理部３２（ＣＰＵ７１）は、トラッキング（ステップＳＴ１６）、表示領域指定（ステップＳＴ１７）、はみ出し防止（ステップＳＴ１８）としての各処理を行う。これらステップＳＴ１６、ＳＴ１７、ＳＴ１８の処理は、図５の実効切り出し領域設定部３４の機能による処理となる。
また画像処理部３２（ＣＰＵ７１）は、平面投影及び切り出し（ステップＳＴ１９）の処理を行う。このステップＳＴ１９の処理は、図５の実効切り出し領域画像生成処理部３５の機能による処理となる。
画像処理部３２は、以上のステップＳＴ１１からＳＴ１９の各処理は、画像ファイルＭＦの画像再生の際に毎フレームについて行うことになる。例えば上述のフレーミング画面１０３やトリミング画面１０４等の各画面における画像表示の際に、ステップＳＴ１１からＳＴ１９の各処理が毎フレームについて行われる。
ステップＳＴ１１で画像処理部３２は、フレーム番号ＦＮに沿って動画（画像ファイルＭＦ）の１フレームをデコードする。そして１フレームの画像データＰＤ（＃ＦＮ）を出力する。なお『（＃ＦＮ）』はフレーム番号を示し、そのフレームに対応する情報であることを表すものとする。
なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップＳＴ１１でのデコード処理は不要である。
ステップＳＴ１２で画像処理部３２は、１フレームの画像データＰＤ（＃ＦＮ）について撮像装置１で行われた内部補正をキャンセルする処理を行う。このために、前処理時に当該フレーム番号（＃ＦＮ）に対応して記憶された座標変換パラメータＨＰ（＃ＦＮ）を参照し、撮像装置１で行われた補正とは逆補正を行う。これにより撮像装置１におけるレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正がキャンセルされた状態の画像データｉＰＤ（＃ＦＮ）を得る。
ステップＳＴ１３で画像処理部３２は、各種補正がキャンセルされた状態の１フレームの画像データｉＰＤ（＃ＦＮ）について天球モデルへの貼付を行う。このとき、当該フレーム番号（＃ＦＮ）に対応して記憶されたカメラパラメータＣＰ（＃ＦＮ）、即ち画角、ズーム位置、レンズ歪み情報を参照する。
図１５に天球モデルへの貼付の概要を示す。
図１５Ａに画像データｉＰＤを示している。像高ｈは画像中心からの距離である。図中の各円は像高ｈが等しくなる位置を示している。
この画像データｉＰＤのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から図１５Ｂのような像高ｈと入射角φの関係の１次元のグラフとして表現する。入射角φは光線の角度（光軸から見た角度）である。
この１次元のグラフを撮像画像の真ん中を中心に１回転させて、各ピクセルと入射角の関係を求める。
それに従って図１５Ｃの画素Ｇ１から天球座標上の画素Ｇ２のように、画像データｉＰＤの各画素について天球モデルＭＴへのマッピングを行うことになる。
以上によりレンズ歪みが除去された状態で撮像画像を理想天球面に貼り付けた天球モデルＭＴの画像（データ）が得られる。この天球モデルＭＴは、その画像データｉＰＤを元々撮像した撮像装置１の固有のパラメータや歪みが除去され、理想的なピンホールカメラで見える範囲が、天球面に貼ってあるものとなっている。
従ってこの状態で天球モデルＭＴの画像を所定方向に回転させることで、揺れ補正が実現できることになる。
ここで揺れ補正には撮像装置１の姿勢情報（クオータニオンＱＤ）を用いることになる。このために画像処理部３２はステップＳ１４で同期処理を行うようにしている。
同期処理では、フレーム番号ＦＮに対応して、ライン毎に適したクオータニオンＱＤ（＃ＬＮ）を特定し取得する処理を行う。なお『（＃ＬＮ）』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。
なお、ライン毎のクオータニオンＱＤ（＃ＬＮ）を用いるのは、イメージセンサ１２ａがＣＭＯＳ型でローリングシャッター方式の撮像が行われる場合、ライン毎に揺れの量が異なるためである。
例えばイメージセンサ１２ａがＣＣＤ型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンＱＤ（＃ＦＮ）を用いれば良い。
なお、イメージセンサ１２ａとしてのＣＣＤやＣＭＯＳのグローバルシャッターの時でも電子シャッター（メカシャッターでも同様）を用いていると重心がずれるので、フレームの露光期間の中心（電子シャッターのシャッター速度に応じてずれる）のタイミングのクオータニオンを用いると良い。
ここで画像に現れるブラーについて考慮する。
ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減／解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、ＣＭＯＳのローリングシャッターではラインごとに露光期間が異なる。
そこでステップＳＴ１４の同期処理では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準としてクオータニオンＱＤを取得するようにする。
図１６には、撮像装置１の垂直期間の同期信号ｃＶと、この同期信号ｃＶから生成されるイメージセンサ１２ａの同期信号ｓＶ、及びＩＭＵデータのサンプルタイミングを示すとともに、露光タイミング範囲１２０を示している。
露光タイミング範囲は、ローリングシャッター方式で露光時間ｔ４としたときの１フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号ｃＶと同期信号ｓＶの時間的なオフセットｔ０、ＩＭＵサンプルタイミングオフセットｔ１、読み出し開始タイミングｔ２、読み出し時間（幕速）ｔ３、露光時間ｔ４を示している。なお読み出し開始タイミングｔ２は同期信号ｓＶから所定時間ｔ２ｏｆを経たタイミングとなる。
各ＩＭＵサンプルタイミングで得られる各ＩＭＵデータについてはフレームに紐づけられる。例えば期間ＦＨ１におけるＩＭＵデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間ＦＨ１におけるＩＭＵデータは次のフレームに紐付いたメタデータとされる。但し図１４のステップＳＴ２で全ＩＭＵデータを連結することで、各フレームとＩＭＵデータの紐付けを解除し時系列でＩＭＵデータを管理できる状態になっている。
この場合に、現フレームの各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。これはＩＭＵデータとイメージセンサ１２ａの有効画素領域との時間的な関係がわかれば計算できる。
そこで当該フレーム（＃ＦＮ）に対応するタイミング情報ＴＭとして取得できる情報を用いて、各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。
即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、ＩＭＵサンプルオフセット、フレームレートの情報である。
そして露光重心のＩＭＵデータから計算されたクオータニオンＱＤを特定し、ライン毎の姿勢情報であるクオータニオンＱＤ（＃ＬＮ）とする。
このクオータニオンＱＤ（＃ＬＮ）はステップＳ１５の揺れ補正に提供される。
画像処理部３２はステップＳ１５の揺れ補正では、ステップＳ１４でフレームの画像が貼り付けられた天球モデルＭＴの画像を、ライン毎にクオータニオンＱＤ（＃ＬＮ）を用いて姿勢の変化（揺れ）をキャンセルさせるように回転させることで、揺れ補正を行う。揺れ補正済天球モデルｈＭＴの画像は、ステップＳＴ１９の処理に送られる。
そしてステップＳＴ１９で画像処理部３２は、揺れ補正済天球モデルｈＭＴの画像を平面に投影し、切り出すことで、揺れ補正がなされた画像（出力画像データｏＰＤ）が得られる。
この場合、天球モデルＭＴの回転により揺れ補正が実現されているとともに、天球モデルＭＴを用いることで、どこを切り出しても台形状にならないため結果として台形歪みも解消されていることになる。また上述のように天球モデルＭＴは理想的なピンホールカメラで見える範囲が天球面に貼ってあるものとなっているためレンズ歪みもない。天球モデルＭＴの回転がライン毎のクオータニオンＱＤ（＃ＬＮ）に応じて行われることで、フォーカルプレーン歪み補正も解消されている。
さらにクオータニオンＱＤ（＃ＬＮ）が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。
ステップＳ１９で平面投影された後の画像と天球モデルＭＴの対応付けは次のようになる。
図１７Ａは、平面投影する矩形の座標平面１３１の一例を示している。平面投影される画像の各座標を（ｘ，ｙ）とする。
図１７Ｂに示すように座標平面１３１を、天球モデルＭＴの真上に真ん中で接するように３次元空間上に配置（正規化）する。即ち、その座標平面１３１の中心が天球モデルＭＴの中心と一致し、かつ天球モデルＭＴと接する位置に配置されるようにする。
この場合、ズーム倍率や実効切り出し領域ＣＬのサイズに基づいて座標を正規化する。例えば図１７Ａのように座標平面１３１の水平座標を０乃至ｏｕｔｈとし、垂直座標を０乃至ｏｕｔｖとする場合、ｏｕｔｈおよびｏｕｔｖが画像サイズとされる。そして例えば、次の式により座標を正規化する。
Figure 2020170604
上記（数１）において、ｍｉｎ（Ａ、Ｂ）は、ＡおよびＢのうち値が小さい方を返す関数である。また、「ｚｏｏｍ」は、拡大縮小を制御するためのパラメータである。
またｘnorm、ｙnorm、ｚnormは、正規化したｘ、ｙ、ｚ座標である。
上記（数１）の各式により、座標平面１３１の座標は、半径１．０の半球の球面上の座標に正規化される。
実効切り出し領域ＣＬの向きを求めるための回転は図１８Ａのように、座標平面１３１を回転行列演算により回転させる。即ち下記（数２）の回転行列を使用し、パン角、チルト角およびロール角で回転させる。ここではパン角は、座標をｚ軸周りに回転させる回転角度である。また、チルト角は、座標をｘ軸周りに回転させる回転角度であり、ロール角は、ｙ軸周りに回転させる回転角度である。
Figure 2020170604
上記（数２）において、「Ｒｔ」はチルト角、「Ｒｒ」はロール角、「Ｒｐ」はパン角である。また、（ｘrot、ｙrot、ｚrot）は回転後の座標である。
この座標（ｘrot、ｙrot、ｚrot）を透視射影での天球対応点算出に用いる。
図１８Ｂのように、座標平面１３１を、天球表面に透視射影する（領域１３２）。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。
Figure 2020170604
（数３）において、ｘsph、ｙsph、ｚsphは座標平面１３１上の座標を天球モデルＭＴの表面上の座標に射影した座標である。
この関係で平面投影された画像データが得られる。
以上は、実効切り出し領域設定部３４による処理を考慮せずに説明したが、例えば以上のような手法で平面に投影された画像についての実効切り出し領域が、図１４のステップＳＴ１６、ＳＴ１７，ＳＴ１８の処理で設定されることになる。
ステップＳＴ１６として画像処理部３２はトラッキングを行う。
このトラッキング処理は、ユーザによる操作情報ＤＲ１により指定されたトラッキングターゲットが、現フレームの画像データＰＤ（＃ＦＮ）のうちで、どの位置に存在するかを検出する処理となる。
操作情報ＤＲ１とは、図１３で説明したようにフレーミング画面１０３においてターゲット指定照準１１６を操作して、トラッキングターゲットを指定する操作の情報である。
画像処理部３２は、トラッキングターゲットを指定する操作が行われた場合、指定された被写体を認識し、追尾対象として記憶する。そしてその後、フレーム毎に、当該トラッキングターゲットの画面内の位置を判定する処理を行っていくことになる。
トラッキングターゲットの画面内の位置の判定は、画像解析による被写体判定（例えば顔判定、人物判定など）を行ったり、前フレームのトラッキングターゲットの画面内位置情報ＴＰｐを用いて行う。
そして判定した現フレームの画像データＰＤ（＃ＦＮ）におけるトラッキングターゲットの画面内位置情報ＴＰをステップＳ１７の処理に提供する。画面内位置情報ＴＰは、現在のフレームの座標系において、トラッキングターゲットが撮像されている範囲を座標値により示した情報であればよい。
ステップＳＴ１７で画像処理部３２は出力領域指定を行う。これはユーザ操作による操作情報ＤＲ２に応じて要求切り出し領域（requested cropping area）ＣＬｒｑを設定する処理である。画像のうちで最終的に出力画像として表示させようとする領域を要求切り出し領域ＣＬｒｑとして指定する処理ともいえる。
ここでの要求切り出し領域ＣＬｒｑの設定とは、次のステップＳＴ１８の処理を行う前の仮設定（実際に切り出し処理を行う領域としての実効切り出し領域ＣＬの候補）という意味である。このステップＳＴ１７は、ユーザ操作やトラッキングターゲットの情報に基づいて実効切り出し領域ＣＬを指定する処理であるが、後述するはみ出し防止処理で修正する前の実効切り出し領域ＣＬを、要求切り出し領域ＣＬｒｑと呼んでいる。
例えばはみ出し防止処理が行われない場合や、はみ出し防止処理が行われても実質的な修正が行われない場合など、ステップＳＴ１７で設定される要求切り出し領域ＣＬｒｑがそのまま実効切り出し領域ＣＬとなる場合もある。
ユーザにより入力される操作情報ＤＲ２としては、実効切り出し領域ＣＬの指定操作、アスペクト比の選択操作、トラッキングターゲット配置位置の指定操作についての情報を含む。
実効切り出し領域の指定操作の操作情報とは、図１２で説明したようにフレーミング画面１０３において表示枠１１５に入る範囲を指定する操作の情報となる。
アスペクト比の選択操作の操作情報とは、アスペクト比設定画面１０６で選択したアスペクト比の操作情報である。アスペクト比設定画面１０６での選択により、例えばフレーミング画面１０３等における表示枠１１５のアスペクト比が変化することで、ユーザは任意のアスペクト比を指定した上で、そのアスペクト比の状態において、フレーミング画面１０３で実効切り出し領域を指定できる。
トラッキングターゲット配置位置の指定操作の操作情報とは、図１３Ｂのように画面内でトラッキングターゲットをどの位置に配置するかを指定する操作の情報である。
トラッキングターゲットの配置位置の情報は、画像データＰＤのフレーム内の座標系ではなく、選択されたアスペクト比としての固定の表示枠１１５内の座標系としての座標値であればよい。
画像処理部３２はステップＳ１７において、これらの操作情報ＤＲ２と、トラッキングターゲットの画面内位置情報ＴＰを用いて、要求切り出し領域ＣＬｒｑを設定する。
具体的には例えば、操作情報ＤＲ２における切り出し領域の指定操作とアスペクト比の選択操作に応じて切り出し領域としての座標範囲を計算する。そしてトラッキングターゲットの画面内位置情報ＴＰ（画像データＰＤのフレーム内での座標値）が、実効切り出し領域としての表示枠１１５内の座標系で配置位置として指定された座標値に一致（又は近接）するようにする。
このようにすると、例えば図１３Ｂのように被写体となっている人の顔がトラッキングターゲットとされ、画面の中央より右上の位置にトラッキングターゲットの配置位置とされた場合、各フレームにおいて、顔の位置が中央より右上の位置になるように実効切り出し領域が設定されることになる。
なお必ずしも、画面内位置情報ＴＰ（画像データＰＤのフレーム内での座標値）で示される領域（例えば顔画像の領域）の全部又は一部が、トラッキングターゲット配置位置に厳密に該当するようにする必要はない。これはフレーム毎にフレーム内での顔の位置が大きく変化したり、顔を撮像している画素範囲（画面上の顔のサイズ）が変化したり、顔部分がフレームアウトして追従しきれないこともあるためである。或いは、以降で説明するはみ出し防止処理のためにターゲット配置位置に一致させることができない場合も考えられる。その意味で、できるだけトラッキングターゲットの位置（画面内位置情報ＴＰ）を、操作により指定されたトラッキングターゲット配置位置（表示枠１１５内での特定の位置）に近づけるようにすればよい。
以上のように設定された要求切り出し領域ＣＬｒｑについては、画像処理部３２はステップＳＴ１８のはみ出し防止処理を加え、その結果を実際にステップＳ１９で使用する実効切り出し領域ＣＬとするようにしている。
このはみ出し防止処理では、当該フレームを含む前後の複数フレームについてのクオータニオンＱＤ（＃ＬＮ）や座標変換パラメータＨＰを用いる。
例えばステップＳＴ１７で設定した候補としての要求切り出し領域ＣＬｒｑをそのままステップＳ１９で使用することもできるが、すると、表示枠１１５内に相当する範囲が、天球モデルＭＴを用いた揺れ補正で回転させて投影させた範囲を越えてしまって、揺れ補正が有効に機能しなくなったり、イメージセンサ１２ａの画素範囲を越えてしまって表示される画像の一部が欠ける画欠けが生じてしまうことがある。
そこでこれらが生じずに品質のよい動画を出力できるようにするための切り出し領域を制限するはみ出し防止処理を行う。
はみ出し防止処理は図１９に示す撮像領域との紐付け（第１処理）、可動領域（以下「アベイラブルエリア」ともいう）の算出（第２処理）、表示範囲の修正（第３処理）という３段階の処理で行われる。
この図１９では、撮像領域（以下「キャプチャードエリア」ともいう）６１、アベイラブルエリア（可動領域）６２、要求切り出し領域ＣＬｒｑ、実効切り出し領域ＣＬを示している。
キャプチャードエリア（撮像領域）６１とは画像が写っていることで被写体の表示が可能な領域である。つまり被写体が撮像された範囲である。
アベイラブルエリア（可動領域）６２は、前後のフレームの揺れを考慮した、切り出しを許容する領域である。つまりステップＳＴ１５での揺れ補正天球モデルＭＴの回転による揺れ補正を有効に保つ範囲である。
要求切り出し領域ＣＬｒｑは、ユーザ操作やトラッキング結果に従って決まる、表示したい領域である。
実効切り出し領域ＣＬは、アベイラブルエリア６２に収まるように要求切り出し領域ＣＬｒｑを移動したものである。この実効切り出し領域ＣＬが、実際に切り出される領域となる。
そして図１９の第１処理（撮像画角との紐付けの処理）は、天球モデルＭＴ上でキャプチャードエリア６１を設定する処理であり、これは撮像領域と一致する。
具体的には、座標変換パラメータＨＰを使って、画角やレンズの歪みを考慮して天球モデルＭＴ上に撮像領域を割り当てる処理となる。
割り当てる領域は、座標変換パラメータＨＰを使った逆補正が適用されたものを用いる。
さらに天球モデルＭＴ上で揺れ補正を適用するため、図１９に示すキャプチャードエリア６１は天球モデルＭＴ上で揺れをキャンセルする方向を向いている。
第２処理（可動領域の算出）は、前後のフレームの情報を用いて現フレームのアベイラブルエリア６２（可動領域）を算出する処理である。
第３処理（表示範囲の修正）は、算出されたアベイラブルエリア６２を用いて、要求切り出し領域ＣＬｒｑを、実効切り出し領域ＣＬに修正する処理となる。
少なくとも最終的に実効切り出し領域ＣＬが、被写体が存在するキャプチャードエリア６１内であれば再生画像や表示画像において画欠けは生じないことになる。つまり切り出し領域がキャプチャードエリア６１からはみ出さなければ画欠けは生じない。
図２０Ａは、フレーム＃ｉ、＃ｉ＋１、＃ｉ＋２においてキャプチャードエリア６１と切り出し領域６０の関係を示している。
揺れの影響でキャプチャードエリア６１に含まれる（つまり撮像されている）被写体範囲は変動する。ここで揺れ補正を有効に保つように各フレームの切り出し領域６０を設定すると、例えばフレーム＃ｉ＋１では破線で示す切り出し領域６０となり、画欠けが生じることとなってしまう。
その一方で、キャプチャードエリア６１内の全域について切り出し領域６０の移動を許容し、画欠けが生じないようにすると、せっかく補正した揺れの動きがダイレクトに現れてしまう場合がある。つまり揺れ補正が有効に働かない状態になる。例えばフレーム＃ｉ＋１の切り出し領域６０は実線で示すようになり、画欠けは生じないようにすることができるが、揺れが現れる。
そこで揺れ補正が有効に維持できる範囲としてアベイラブルエリア６２を算出し、はみ出し防止としては、切り出し領域６０がアベイラブルエリア６２をはみ出さないようにする。
具体的には前後のフレームのゆれ情報を使って、切り出し領域６０が予めはみ出しそうな部分には行かないように余裕を持った枠としてアベイラブルエリア６２を設定し、切り出し領域６０をその範囲でのみ動かすようにする。
アベイラブルエリア６２は揺れ補正マージンとしての意味を持つため、揺れの大きさに従ってフレーム毎に動的に変化することになる。
図２０Ｂにフレーム＃ｉ、＃ｉ＋１、＃ｉ＋２においてキャプチャードエリア６１内でアベイラブルエリア６２を設定し、切り出し領域６０がアベイラブルエリア６２からはみ出さないようにした様子を示している。この場合、画欠けも生じず、かつ揺れ補正も有効に維持されることになる。
はみ出し防止処理では、各フレームについて、この図２０Ｂの切り出し領域６０のような実効切り出し領域ＣＬが得られるように要求切り出し領域ＣＬｒｑを修正することになる。
アベイラブルエリア６２の算出例について説明する。
第１の算出手法を図２１に示す。
アベイラブルエリア６２は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア６１（撮像領域）を用いて設定する。この場合に、アベイラブルエリア６２は、複数フレームの各フレームにおいて揺れ補正した状態のキャプチャードエリア６１に共通に含まれる範囲とする。
図２１Ａに、現在のフレームをフレーム＃ｉとしたときに前後に連続する複数のフレーム（フレーム＃ｉ−ｍからフレーム＃ｉ＋ｍ）のキャプチャードエリア６１を重ねたものを示している。
各フレームのキャプチャードエリア６１は揺れ補正を反映して天球モデルＭＴに紐づけられている。つまり、各フレームについて、座標変換パラメータＨＰを使って、画角やレンズの歪みを考慮して天球モデルＭＴ上に撮像画角（キャプチャードエリア６１）を割り当て、さらにクオータニオンＱＤ（＃ＬＮ）を用いて回転させる。図ではこのように天球モデルＭＴに紐づけられてそれぞれ揺れ補正をキャンセルする方向を向いているキャプチャードエリア６１を重ねて示している。
複数のフレームのキャプチャードエリア６１に共通に含まれる範囲、つまりＡＮＤをとった範囲とは、図２１Ａの斜線を付した範囲であり、これを図２１Ｂに示すようにアベイラブルエリア６２とする。
各フレームのキャプチャードエリア６１は揺れ補正の分だけ動いているため、前後±ｍ個のフレームのキャプチャードエリア６１を重ねてＡＮＤを取ることで、その共通の範囲は、キャプチャードエリア６１内にいることが補償される。そこで、この範囲をアベイラブルエリア６２とする。
ＡＮＤの取り方としては、必ず凸多角形になるので、２つの凸多角形の交差を取る処理をキャプチャードエリア６１の数だけ繰り返せばよい。
なお、現在のフレームから時間的に離れたフレームほど、その寄与度合を小さくするために、キャプチャードエリア６１に揺れ補正を掛ける量を小さくしたり、揺れ補正を掛ける前の枠を大きくしても良い。
時間的距離に応じて寄与度合の調整をしないと、±ｍフレームの範囲から大きな揺れが生じているフレームが抜けた場合にアベイラブルエリア６２の形が不連続に変化してしまう。これに対し、時間的に遠いフレームのキャプチャードエリア６１については、アベイラブルエリア６２への寄与度合いを下げることで、アベイラブルエリア６２が一時的に大きく変動するようなことを防止できる。
また±ｍフレームの範囲のキャプチャードエリア６１を用いることとしたが、時間軸で後の方向に連続する＋ｍフレームまでのキャプチャードエリア６１を用いることも考えられる。
アベイラブルエリア６２の算出例として第２の算出手法を図２２で説明する。これは、アベイラブルエリア６２を、複数フレームの各フレームについてのキャプチャードエリア６１の各端点の変化の低周波変動成分を、各フレームのキャプチャードエリア６１内に収まるようにしたときに示される範囲とする例である。
具体的には、ローパスフィルタを掛けたクオータニオンＱＤに基づいてアベイラブルエリア６２を算出する手法である。
図２２Ａは、図示及び説明の簡略化のため一次元で表現しているが、実線は各フレームでのキャプチャードエリア６１の上端及び下端の変化を示す。即ち揺れによるフレーム毎の変化である。
破線はローパスフィルタをかけることで得たキャプチャードエリア６１の上端及び下端の低周波変動成分６１Ｌである。
一点鎖線がアベイラブルエリア６２としての上端と下端を示す。
ここでアベイラブルエリア６２は、複数のフレームにおいてキャプチャードエリア６１内であることを保証したいエリアともいえるが、ローパスフィルタを掛けただけでは、キャプチャードエリア６１の内側にいることは保証できない。
そこでキャプチャードエリア６１の低周波変動成分６１Ｌが、キャプチャードエリア６１からはみ出した量を時間的な距離で重みづけして補償することで、滑らかにキャプチャードエリア６１の内側に収めるようにアベイラブルエリア６２を求める。
図２２Ｂは、図２２Ａの一部（±ｍフレームの範囲）を拡大し、矢印で重みづけの方向を示している。
図２２Ｃは、低周波変動成分６１Ｌをキャプチャードエリア６１内に収める重み付けを二次元で示している。
具体的な計算の例は次のようになる。
各フレーム（＃ｉ）について、低周波変動成分６１Ｌをキャプチャードエリア６１内に収めるのに必要なクオータニオン（q_crct i）を求める。
ｊ∈［−ｍ，ｍ］について、
Ｗｊ＝１−｜ｊ／ｍ｜
q_crct_smooth i＝ｍａｘ｛slerp(q_crct i+j，q_identity；Ｗｊ)｝
として、なめらかに補正するためのクオータニオンq_crct_smooth iを４つの端点全てについて求める（なお、この式は“ｊ”に対するｍａｘ関数である）。
クオータニオンq_crct_smooth iは図２２Ｂに矢印で示す重み付けの最大値に相当する。
なおslerpは球面線形補間、q_identity は単位クオータニオンである。
これを図２２Ｃのように低周波変動成分６１Ｌの端点毎に計算し、適用する。
クオータニオンq_crctは低周波変動成分６１Ｌの端点毎に、キャプチャードエリア６１の中心に方向に回転させた際のキャプチャードエリア６１の辺とぶつかるまでの回転量として求められる。
アベイラブルエリア６２は以上の第１、第２の算出手法などにより計算できる。
但し、以上の例のように前後のフレームの動きを使ってアベイラブルエリア６２を作ると、動きが大きい場合、アベイラブルエリア６２が、要求切り出し領域ＣＬｒｑが収まらないほど小さくなることがある。
図２３Ａは、フレーム間で激しい動きがあって揺れ補正後のキャプチャードエリア６１が大きくずれている状態を示している。この場合、アベイラブルエリア６２が図２３Ｂのように小さくなり、要求切り出し領域ＣＬｒｑが収まらない。
そこでアベイラブルエリア６２に要求切り出し領域ＣＬｒｑが収まらないサイズ又は形状となる場合は、要求切り出し領域ＣＬｒｑが収まるようにアベイラブルエリア６２を拡張することとする。
その手法として、図２３Ｃのように、アベイラブルエリア６２の中心に要求切り出し領域ＣＬｒｑを合わせ、はみ出した分が収まるようにアベイラブルエリア６２を更新する。即ち図２３Ｄのように更新する。
具体的には、図２３Ｃの状態で「アベイラブルエリア６２の外側にある要求切り出し領域ＣＬｒｑの頂点」「要求切り出し領域ＣＬｒｑの外側にあるアベイラブルエリア６２の頂点」の集合で新たな凸多角形を作り、それを図２３Ｄの拡張したアベイラブルエリア６２とする。
このとき、アベイラブルエリア６２の拡張によって、アベイラブルエリア６２がキャプチャードエリア６１内に収まることが保証できなくなる。例えば図２３Ｅのようにアベイラブルエリア６２がキャプチャードエリア６１からはみ出すことが有り得る。
そこで図２３Ｄのように、アベイラブルエリア６２をキャプチャードエリア６１内に収まるように移動させる。
以上のようなアベイラブルエリア６２の拡張を行うことで、揺れが激しい場合にも対応できるようにする。
続いて図１９で第３処理として示した表示範囲の修正について説明する。即ち計算したアベイラブルエリア６２内に要求切り出し領域ＣＬｒｑが収まるように修正する処理である。
要求切り出し領域ＣＬｒｑがアベイラブルエリア６２からはみ出している場合、要求切り出し領域ＣＬｒｑを移動させることになるが、移動方向としてはヨー方向、ピッチ方向、ロール方向がある。
本例では、要求切り出し領域ＣＬｒｑがアベイラブルエリア６２からはみ出している場合、ヨー成分とピッチ成分の修正を優先させる。
即ち図２４Ａのように、要求切り出し領域ＣＬｒｑを、アベイラブルエリア６２の中心ＣＴに向かって必要最低限の量だけ動かす。ここではロール成分は変更せず、ヨー成分とピッチ成分の変更により移動させる（矢印ｙｐ）。
この移動により要求切り出し領域ＣＬｒｑがアベイラブルエリア６２に収まれば、それで表示範囲の修正を完了させる。即ち移動された要求切り出し領域ＣＬｒｑを実効切り出し領域ＣＬとする。
一方、アベイラブルエリア６２の形状やサイズによっては、ヨー成分とピッチ成分の変更による移動のみでは、要求切り出し領域ＣＬｒｑがうまくアベイラブルエリア６２に収まらないこともある。
そのような場合には、まずアベイラブルエリア６２の中心に要求切り出し領域ＣＬｒｑの中心が重なるようにする。そして図２４Ｂ、図２４Ｃのように、ロール成分の変更を行う。この場合、各図で矢印Ｒとして示すように、要求切り出し領域ＣＬｒｑの全体をアベイラブルエリア６２内に収めるために必要な最小の回転量だけ回転させる。そして収まった状態の要求切り出し領域ＣＬｒｑを実効切り出し領域ＣＬとする。
図２５は、以上のはみ出し防止処理の全体の流れを示している。
この図では現在のフレーム＃ｉの前後ｍフレーム（フレーム＃ｉ−ｍからフレーム＃ｉ＋ｍ）を示している。
各フレームについては、それぞれステップＳ２０として、対応する座標変換パラメータＨＰ（ＨＰ（＃ｉ−ｍ）・・・ＨＰ（＃ｉ＋ｍ））を用いて天球モデルＭＴと撮像画角の紐付けが行われる。これにより理想天球上でキャプチャードエリア６１が表現される。
その上でステップＳ２１として、対応するクオータニオンＱＤ（ＱＤ（＃ｉ−ｍ）・・・ＱＤ（＃ｉ＋ｍ））を用いて揺れ補正が行われる。
なお、例えばフレーム＃ｉに対応するクオータニオンＱＤ（＃ｉ）とは、当該フレーム＃ｉにおけるライン毎に対応するクオータニオンＱＤ（ＬＮ）のこととなる。
このステップＳ２１により、天球モデルＭＴ上で揺れをキャンセルするような方向を向いたキャプチャードエリア６１が表現される。
これらのフレーム毎のキャプチャードエリア６１を用いて、ステップＳ２２でアベイラブルエリア６２が生成される。上述の第１の算出手法、第２の算出手法などが用いられる。
算出されたアベイラブルエリア６２については、ステップＳ２３で必要に応じて拡張される。即ち要求切り出し領域ＣＬｒｑにより決められる要求切り出し領域ＣＬｒｑとアベイラブルエリア６２が比較され、収まらない場合は上述の拡張処理が行われる。
アベイラブルエリア６２が確定されたら、ステップＳ２４で表示範囲の修正が行われる。つまり図２４で説明したように要求切り出し領域ＣＬｒｑが修正されて実効切り出し領域ＣＬとされる。この実効切り出し領域ＣＬが、最終的にはみ出し防止処理で修正された切り出し領域ＣＬとして、図１４のステップＳＴ１９の平面投影及び切り出しの処理に提供されることになる。
この図２５のようなはみ出し防止処理では、前後のフレームの揺れ情報をアベイラブルエリア６２に反映することで、揺れ補正マージンの動的な変更を実現している。
また出力画像のアスペクト比、切り出し位置、大きさを要求切り出し領域ＣＬｒｑで表現し、それをアベイラブルエリア６２の内側に収める方式にすることで、揺れ補正と切り出し位置等を同時に考慮した処理を実現している。
なお、以上は通常レンズで撮像された画像ファイルＭＦを想定して説明してきたが、例えば魚眼レンズを用いて撮像された画像ファイルＭＦでも、同様に処理が適用できる。
但し通常レンズと魚眼レンズの場合、キャプチャードエリア６１の表現が異なることになる。
図２６Ａは通常レンズの場合、図２６Ｂは魚眼レンズの場合とで天球モデルＭＴ上での表現とキャプチャードエリア６１の形状を示している。魚眼レンズを用いた撮像の場合、イメージセンサ１２ａの撮像画素範囲６５内で円形の結像領域６６が形成されることになるため、キャプチャードエリア６１としては図示のように円や多角形で表現することになる。
＜５．画像処理についてのまとめ及び変形例＞

以上の実施の形態としての画像処理によっては次のような効果が得られる。
実施の形態の画像処理装置は、動画を構成する画像データのフレームであって、天球モデルＭＴへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報（ＩＭＵデータ、クオータニオンＱＤ）を用いて揺れ補正を行う揺れ補正部３３を備える。また画像処理装置は、要求切り出し領域ＣＬｒｑに対して、各フレームからの実効切り出し領域ＣＬが揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、各フレームに適用する実効切り出し領域ＣＬを設定する実効切り出し領域設定部３４を備える。さらに画像処理装置は、揺れ補正部３３で揺れ補正が行なわれた上で天球モデルＭＴから平面モデルに投影された画像であって、実効切り出し領域設定部３４で設定された実効切り出し領域ＣＬの画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部３５を備える。
即ち撮像装置１で撮像された画像における手ぶれ等に起因する揺れを天球モデルＭＴ上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の実効切り出し領域ＣＬを設定する。
天球モデルＭＴ上でフレーム毎に揺れに対する補正を加味した回転を行って揺れ補正を行うことで、台形歪みが生じない補正が可能となる。そのうえで例えばユーザ操作や何らかの自動制御などによって設定される要求切り出し領域ＣＬｒｑに応じて平面投影画像を得ることで、要求切り出し領域ＣＬｒｑが反映された実効切り出し領域ＣＬが設定され、そのうえで揺れ補正が行われかつ台形歪みのない出力画像データｏＰＤが得られる。さらにはみ出し防止処理が行われることで、揺れ補正が適切に反映された動画出力とすることができる。
これらにより元の画像ファイルＭＦに対してユーザや自動制御の要求に適った出力領域を反映したうえで揺れや歪みの少ない高品位な画像が得られることになる。
なお、実施の形態では、天球モデルＭＴで揺れ補正を行って平面投影した後に、実効切り出し領域ＣＬの画像を切り出す例を述べたがこれに限らない。即ち天球モデルＭＴで揺れ補正を行った状態で実効切り出し領域ＣＬの画像を切り出して、それを平面投影することによって、実効切り出し領域ＣＬの画像を生成することもできる。
また揺れ補正部３３としては、少なくとも図１４のステップＳＴ１５の処理が行われるものであればよく、ステップＳＴ１１、ＳＴ１２、ＳＴ１３、ＳＴ１４の一部又は全部は揺れ補正部３３の機能の外部（例えば揺れ補正部３３を有する画像処理装置とは別の装置）でおこなわれてもよい。
また、図８ではＲＡＷデータを画像処理対象とする場合を示したが、その場合、揺れ補正部３３では、ステップＳＴ１２の撮像装置内部補正キャンセルの処理は不要となる。
実施の形態では、実効切り出し領域設定部３４は、ユーザ操作に基づく操作情報（ＤＲ１，ＤＲ２）を用いて、実効切り出し領域ＣＬを設定する例を挙げた。
これによりユーザの意図やユーザの望む出力領域が適切に反映されたうえで揺れ補正が行われ、かつ台形歪みのない出力画像データｏＰＤが得られる。
実施の形態では、実効切り出し領域設定部３４は、トラッキングターゲットに関するトラッキングターゲット情報を用いて実効切り出し領域ＣＬの設定を行う例を挙げた。
これによりトラッキングターゲットを考慮した切り出し領域設定が可能となる。
また実施の形態では、実効切り出し領域設定部３４は、ユーザ操作に基づく操作情報ＤＲ１を用いてトラッキングターゲットを設定する例を挙げた。
これによりユーザが注目したい被写体（トラッキングターゲット）を考慮した切り出し領域設定が可能となる。即ち注目したい被写体をとらえながら適切に揺れ補正がなされた出力画像を得ることができる。
なお、トラッキングターゲットを指定しない場合の処理も当然想定される。例えばユーザが図１３で説明したようなトラッキングターゲットの指定を行わない場合もある。そのような場合は、図１２で説明した操作に応じた実効切り出し領域ＣＬの設定が行われればよい。
また、トラッキングターゲットをユーザによる設定によらず自動的に指定するような処理を行っても良い。例えば顔検出を行い、顔を検出したら自動的に、その顔をトラッキングターゲットとするような処理である。
実施の形態では、トラッキングターゲットを指定する操作情報ＤＲ１によりトラッキングターゲットを判定し、判定したトラッキングターゲットの画像内位置に応じて、動画を構成する各フレームの実効切り出し領域ＣＬを設定する例を挙げた。
即ちユーザの操作によりトラッキングターゲットの被写体が指定された場合、各フレームにおいてそのトラッキングターゲットの配置を考慮して実効切り出し領域ＣＬを設定する。
これによりユーザが注目したい被写体（トラッキングターゲット）が、動画が進行する上でフレームアウトしないような切り出し位置設定が可能となる。
実施の形態では、トラッキングターゲットについての画面内での配置位置を指定する操作情報ＤＲ２を用いて、動画を構成する各フレームの実効切り出し領域ＣＬを設定する例を挙げた。
これによりユーザが注目したい被写体（トラッキングターゲット）を、画面内でどのあたりに表示させたいかを指定し、各フレームにおいて、その画面内の配置位置（配置位置付近）にトラッキングターゲットが位置するような切り出し領域設定が可能となる。従ってトラッキングターゲットとされた被写体が、例えば画面の中央や左よりの位置など、ユーザが望む配置位置付近にある状態で動画が進行するような動画処理が実現されることになる。
なおトラッキングターゲットの配置位置を指定しない処理例もありえる。例えば少なくともトラッキングターゲットがフレームアウトしないようにする処理例などである。
またトラッキングターゲット配置位置を自動指定してもよい。例えば画面の中央、或いは、右寄りの位置など、所定の位置に自動設定する。これによりユーザによるトラッキングターゲット配置位置の指定操作がなくとも、所定位置にトラッキングターゲットをとらえるような切り出し領域設定が可能となる。
実施の形態では、画像の出力領域を指定する操作情報ＤＲ２を実効切り出し領域ＣＬの設定に用いる例を挙げた。
例えば図１２で説明したフレーミング画面１０３上でのユーザ操作により出力画像の領域を指定できるようにしており、その操作情報ＤＲ２を実効切り出し領域ＣＬの設定に用いる。
これによりユーザが任意に指定した画像の出力領域を切り出しながら、適切に揺れ補正がなされた出力画像を得ることができる。
実施の形態では、画像のアスペクト比を指定する操作情報ＤＲ２を実効切り出し領域ＣＬの設定に用いる例を挙げた。
例えばアスペクト比設定画面１０６でのユーザの操作により出力画像のアスペクト比を指定できるようにしており、その操作情報ＤＲ２を切り出し領域設定に用いる。
これによりユーザが任意に指定したアスペクト比であって、適切に揺れ補正がなされた出力画像を得ることができる。
実施の形態では、画像データのフレーム毎に行うはみ出し防止処理として、揺れ補正部３３が揺れ補正を行った天球モデルＭＴの座標上で要求切り出し領域ＣＬｒｑを設定する第１処理と、撮像領域（キャプチャードエリア６１）内で要求切り出し領域ＣＬｒｑの変動を許容する可動領域（アベイラブルエリア６２）を求める第２処理と、要求切り出し領域ＣＬｒｑが可動領域（アベイラブルエリア６２）内に収まるように修正することで実効切り出し領域ＣＬを設定する第３処理とを行う例を挙げた。
これによりユーザが任意に指定したトラッキングターゲットや出力領域、アスペクト比等に基づく切り出し領域は、画像内容などにより無制限に変動するものではなく、あくまでも揺れ補正が適切に維持できる範囲となるように修正される。従って、ユーザの各種指定を反映しながらも、揺れ補正が適切に行われた出力画像データｏＰＤを得ることができる。
また揺れ補正が適切に維持できるようにするためには、揺れ補正を行った天球モデルＭＴの座標上で撮像領域（キャプチャードエリア６１）を設定し、その中で可動領域（アベイラブルエリア６２）を計算し、さらにアベイラブルエリア６２内に収まるように要求切り出し領域ＣＬｒｑを修正する。そして修正した要求切り出し領域ＣＬｒｑを最終的な実効切り出し領域ＣＬとする。つまりアベイラブルエリア６２により切り出し領域を制限する。これにより天球モデルＭＴでの揺れ補正を反映する切り出し領域設定を適切に行うことができる。
実施の形態のはみ出し防止処理における第２処理では、アベイラブルエリア６２を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームと前の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア６１を用いて設定する例を挙げた。
即ち図２１の第１の算出手法や図２２の第２の算出手法のように、連続する複数フレームのキャプチャードエリア６１を用いることで、ある程度の期間の時間軸方向（フレーム間）で発生する揺れがあっても、各フレームに共通に含まれている画像範囲を検出することができる。これは、当該複数フレームの期間において画像が欠けず、また揺れ補正が有効な領域である。これをアベイラブルエリア６２とする。これによりアベイラブルエリア６２を揺れの大きさによって動的に変化させることになり、出力画像データｏＰＤによる動画上で、揺れによって画欠けが生じず揺れ補正も維持できる切り出し領域設定が実現される。従って品質の高い動画を容易に作成できることになる。
なお、アベイラブルエリア６２を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア６１を用いて設定することもできる。
また、アベイラブルエリア６２を、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア６１を用いて設定することもできる。
実施の形態においてアベイラブルエリア６２は、複数フレームの各フレームについての揺れ補正を行った状態のキャプチャードエリア６１に共通に含まれる範囲とする例を挙げた。
即ち図２１で第１の算出手法として説明したように、連続する複数フレームについての揺れ補正を行った状態のキャプチャードエリア６１を用いることで、切り出し枠を設定しても画欠けが生じない範囲となるアベイラブルエリア６２を設定することができる。揺れ補正を行った状態のキャプチャードエリア６１に共通の範囲であるため揺れ補正も有効な範囲ともなる。
またこの場合に、キャプチャードエリア６１をそのまま用いてもよいが、現在フレームとの遠近によって、キャプチャードエリア６１の揺れ補正の度合いを変えることなどで、時間的距離に応じて寄与度合いを調整することで、遠い時点での大きい揺れなどの影響を和らげ、アベイラブルエリア６２の変化をなめらかにすることができる。これは再生される動画において急激に画角が変化するような状態を生じさせないものとなる。
実施の形態においてアベイラブルエリア６２は、複数フレームの各フレームについてのキャプチャードエリア６１の各端点の変化の低周波変動成分６１Ｌを各フレームのキャプチャードエリア６１内に収まるようにしたときに示される範囲とする例を挙げた。
即ち図２２で第２の算出手法として説明した例である。
キャプチャードエリア６１の各端点の変化の低周波変動成分６１Ｌを用いて各フレームのアベイラブルエリア６２を設定することで、時間軸方向のアベイラブルエリア６２の変化をなめらかにし、急激に切り出し領域の変化が生じない動画を得ることができる。
但し、単に低周波変動成分６１Ｌを用いたのみでは画欠けが生じないこと（つまり切り出し領域がキャプチャードエリア６１内であること）を補償できないため、フレーム毎に、キャプチャードエリア６１内に収まるように低周波変動成分６１Ｌで規定される各端点の位置を修正する。これにより、画欠けが生じずかつ切り出し領域の変化がなめらかな動画を得ることができる。
実施の形態のはみ出し防止処理における第３処理は、アベイラブルエリア６２内に要求切り出し領域ＣＬｒｑが収まるまで、要求切り出し領域ＣＬｒｑを回転させずにアベイラブルエリア６２の中心に向けて移動させることにより行うこととした。
即ち表示範囲の修正として図２４で説明したように、アベイラブルエリア６２に収まるまで必要な距離だけ要求切り出し領域ＣＬｒｑを回転させずに移動させる。これによりユーザが任意に指定したトラッキングターゲットや出力領域、アスペクト比等に基づく切り出し領域については、できるだけ回転を生じないようにアベイラブルエリア６２内に移動させることになり、再生される動画上ではむやみな画像の回転が生じないようにすることができる。
また実施の形態の第３処理において要求切り出し領域ＣＬｒｑを回転させずにアベイラブルエリア６２の中心に向けて移動させることによっては、要求切り出し領域ＣＬｒｑをアベイラブルエリア６２内に収められない場合は、要求切り出し領域ＣＬｒｑを回転させることでアベイラブルエリア６２内に収めるようにすることとした。
即ち回転をさせない状態ではアベイラブルエリア６２に収まらないときのみ要求切り出し領域ＣＬｒｑを回転させる。このように切り出し領域の修正としては、やむを得ないときのみ回転させることとし、これによって画欠けができるだけ生じないようにする。
実施の形態では、揺れ補正部３３は、処理対象の画像データ（画像ファイルＭＦ）の撮像の際に生成されたメタデータに基づいて、各フレームに対応する姿勢情報（クオータニオンＱＤ）を取得し、揺れ補正に用いることとした。
メタデータとして付加されたＩＭＵデータから撮像装置の姿勢情報であるクオータニオンＱＤを計算する。これを用いて天球モデルＭＴ上での揺れ補正を行うことで、撮像時の状況に対応した適切な揺れ補正を行うことができる。特に本実施の形態の場合、撮像時に行われたカメラ内部補正はキャンセルされているため、撮像時の撮像装置１の姿勢をそのまま反映することで最適な揺れ補正が可能となる。
実施の形態では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報（クオータニオンＱＤ（ＬＮ））を用いて揺れ補正を行う例を挙げた（図１４のステップＳＳＴ１４参照）。
露光期間内における被写体と撮像装置の相対的な揺れにより、いわゆるブラーが生じ、これはシャッタースピードによって露光時間が長くなるほど目立つ。この場合に、各ラインの露光開始タイミングの姿勢情報を用いると、各ラインの露光期間内の相対的揺れが、姿勢情報からみて一方向の揺れとなり、画像上で目立ちやすくなる。
一方で図１６のように各ラインの露光期間内の重心位置のＩＭＵデータに基づいて姿勢情報を取得することとすると、露光期間内の相対的揺れが、姿勢情報の状態からみて双方向の揺れとなり、視覚上、時間方向に相殺されるように感じられ、これによって画像においてブラーが目立たなくなるようにすることができる。
実施の形態では、揺れ補正部３３は、処理対象の画像データを、該画像データに対応づけられたメタデータを用いて補正キャンセル処理を行って既に行われていた補正処理が行われる前の状態に戻した状態で、天球モデルＭＴへの貼付処理を行うこととした（図１４のステップＳＳＴ１２参照）。
例えば撮像装置１においては撮像時に手ぶれ補正などの補正処理が行われるが、処理対象の画像データに対して、これらの既に行われている補正をキャンセルした後に揺れ補正を行うようにする。
これにより、撮像時の補正の影響を受けずに、元々の撮像画像データ、例えば撮像素子部１２から取り出された状態の画像データに対して、適切な揺れ補正を行うことができる。つまり撮像を行った撮像装置１の性能等に影響を受けずに、画像処理装置の処理能力に応じて高品質な揺れ補正を実現できる。
実施の形態では、揺れ補正部３３は、メタデータとして画像データの各フレームに対応づけられた座標変換パラメータＨＰを用いて補正キャンセルを行うこととした。
座標変換パラメータＨＰは、例えばレンズ歪、台形歪、フォーカルプレーン歪、電子手ぶれ補正、光学手ぶれ補正の各パラメータなど、撮像画像の画枠（画角を含めた画像の範囲）を変化させる場合の情報である。
これにより、撮像時の画枠に関する補正をキャンセルすることができ、撮像装置１で画枠（画像の範囲）を補正した場合に、それを元に戻すことができる。
実施の形態の画像処理装置は、動画を構成する画像データと対応するメタデータを含む画像ファイルＭＦについて、画像データの各フレームに対応するメタデータを抽出して記憶する前処理部３１を備える。
これにより、揺れ補正部３３の処理や実効切り出し領域設定部３４の処理においてフレーム毎のメタデータを使用できる。
なお実施の形態の画像処理装置の前処理部３１の機能による処理として図１４にステップＳＴ１からステップＳＴ４の処理を示したがこれに限られない。前処理部３１では少なくともメタデータに応じた姿勢情報の算出（例えばステップＳＴ４）の処理と、メタデータの保持（例えばステップＳＴ３）が行われれば良い。
また画像処理部３２の機能による処理として図１４にステップＳＴ１１からステップＳＴ１９の処理を示したがこれに限られない。例えばステップＳＴ１１の処理は外部で行われてもよく、その場合、画像処理部３２はステップＳＴ１２からステップＳＴ１９の処理を行うものとしても良い。
さらに、画像処理部３２はステップＳＴ１２の撮像装置内補正キャンセルの処理を行わないものでも良い。
また画像処理部３２はステップＳＴ１６のトラッキングに関する処理を行わないことも考えられる。
また画像処理部３２はステップＳＴ１４の同期処理を行わないことも考えられる。
少なくとも本開示の画像処理装置としては、画像処理部３２による処理として、ステップＳＴ１３（天球モデルＭＴへの貼り付け）、ステップＳＴ１５（揺れ補正）、ステップＳＴ１７（出力領域指定）、ステップＳＴ１８（はみ出し防止処理）、ステップＳＴ１９（平面投影及び切り出し）の処理が行われるようにすれば良い。
実施の形態で説明した技術は、撮像装置１における手ぶれ補正として、次のような各例の場合に適用可能である。なお以下でいう光学手ぶれ補正とはフレーム間成分の揺れの補正となる。また電子手ぶれ補正とはフォーカルプレーン補正のみの場合も含む。
・光学手ぶれ補正が行われ、電子手ぶれ補正が行われない場合
・光学手ぶれ補正も、電子手ぶれ補正も行われない場合
・光学手ぶれ補正が行われず、電子手ぶれ補正が行われる場合
・光学手ぶれ補正と、電子手ぶれ補正の両方が行われる場合
これらそれぞれの場合の撮像装置１で撮像された画像に対して、実施の形態の画像処理装置の処理を適用することができる。
＜６．画像処理のＵＩについて＞

続いて、先の図１１等によりその概要を示した画像処理に係る表示画面の詳細について説明する。
ここで、以下で説明する各種画面におけるユーザ操作の受け付けや操作に応じた表示制御については、前述したＵＩ処理部３６の受付部３６ａや表示制御部３６ｂとして示したＣＰＵ７１の処理により実現されるものである。
［インポート画面について］

図２７は、インポート画面１０１の例を示した図である。前述のように、インポート画面１０１は、動画処理のためのアプリケーションプログラムの起動に応じて表示部７７に現れる画面であり、ユーザによって処理対象とする画像ファイルＭＦの選択が行われる。
図２７に示すように、インポート画面１０１には、メニューボタンＩ１１、フォルダ選択エリアＩ１２、サムネイル表示エリアＩ１３、及び選択完了ボタンＩ１４が設けられている。
メニューボタンＩ１１が操作（例えばタッチ操作）されると、図中の画面外に示したメニューパネルＩ１１ａが表示される。なお、メニューパネルＩ１１ａを画面外に示したのは図示の都合からであり、実際には、メニューパネルＩ１１ａはメニューボタンＩ１１上にオーバーレイ表示される。
メニューパネルＩ１１ａには、設定ボタンＩ１１ｂが配置され、該設定ボタンＩ１１ｂが操作されると、前述した設定画面１０７が呼び出される。
フォルダ選択エリアＩ１２には、アプリフォルダボタンＩ１２ａと「Ａｌｌ」ボタンＩ１２ｂが表示される。アプリフォルダボタンＩ１２ａは、携帯端末２において確保された動画処理のためのアプリケーションプログラム用のフォルダを選択するためのボタンであり、アプリフォルダボタンＩ１２ａが操作されると、サムネイル表示エリアＩ１３にはアプリフォルダ内に格納された画像ファイルＭＦのサムネイル画像Ｉ１３ａが表示される。また、「Ａｌｌ」ボタンＩ１２ｂは、携帯端末２における全ての画像ファイルＭＦが格納されたフォルダを選択するためのボタンであり、「Ａｌｌ」ボタンが操作されるとサムネイル表示エリアＩ１３には該フォルダに格納された画像ファイルＭＦのサムネイル画像Ｉ１３ａが表示される。
なお、フォルダ選択エリアＩ１２においては、アプリフォルダボタンＩ１２ａがデフォルトで選択状態とされる。
サムネイル表示エリアＩ１３において、各サムネイル画像Ｉ１３ａとしては、画像ファイルＭＦにおける一部のフレーム画像が表示されるが、本例では、先頭フレームの画像を表示するものとしている。なお、本例において、再生時間が１時間を超える画像ファイルＭＦの場合は、サムネイル画像Ｉ１３ａをグレーアウト表示し、タップ時にエラーダイアログを表示する。
サムネイル表示エリアＩ１３に表示されたサムネイル画像Ｉ１３ａに対し所定の操作（例えば、後述する選択受付ボタンＩ１３ｂ以外の部分をタップする操作）が行われると、図２８に例示する態様により、インポート画面１０１において該当する画像ファイルＭＦの動画がオーバーレイ再生される。この、オーバーレイ再生時のインポート画面１０１では、オーバーレイ表示エリアＩ１５（本例ではインポート画面１０１の全域をオーバーレイしている）が設けられ、オーバーレイ表示エリアＩ１５内には再生動画が表示される動画表示エリアＩ１５ａが設けられると共に、シークバーＩ１５ｂ、再生時間情報Ｉ１５ｃ、再生ボタンＩ１５ｄ、及び閉じるボタンＩ１５ｅが表示される。
再生ボタンＩ１５ｄが操作されると動画表示エリアＩ１５ａにおける動画再生が開始され、再度再生ボタンＩ１５ｄが操作されると動画再生が一時停止される。シークバー１５ｂは、再生済みの部分とそれ以外の部分とを異なる表示態様で表すと共に、丸い部分のスライド操作により早送り／早戻しが可能とされる。
再生時間情報Ｉ１５ｃは、本例では動画の総時間と再生中の箇所の時間の双方を表す。
閉じるボタンＩ１５ｅが操作されると、オーバーレイ再生が終了し、インポート画面１０１がオーバーレイ再生前の状態に戻される（例えば図２７の状態）。
なお、上記では、サムネイル画像Ｉ１３ａにおける選択受付ボタンＩ１３ｂ以外の部分をタップする操作がオーバーレイ再生の指示操作となる例を挙げたが、例えば図２７下部の丸破線内に示すように、オーバーレイ再生指示のための再生ボタンＰｂを設けることもできる。この場合、以下で説明するサムネイルの選択操作（インポート対象として選択するための操作）は、図中の梨地部で表すような、再生ボタンＰｂの表示領域以外の所定領域をタップする操作とすることもできる。
図２７に示すように、サムネイル表示エリアＩ１３における各サムネイル画像Ｉ１３ａには、それぞれ選択受付ボタンＩ１３ｂが付されている。選択受付ボタンＩ１３ｂが操作されると、ＣＰＵ７１は画像ファイルＭＦのメタ情報に基づいてインポート可否の判定を行う。具体的な判定としては、
・既に５０個の画像ファイルＭＦが選択状態で、新たに５１個目の画像ファイルＭＦが選択された状態か否か
・新たに選択された画像ファイルＭＦを含めると、選択中の動画の総時間が６０分を超えるか否か
・処理対象外の画像ファイルＭＦ（対象機種以外の撮像装置１により生成された画像ファイルＭＦ）であるか否か
をそれぞれ判定する。
上記判定の結果、インポート可能と判定した場合（上記全ての判定で否定結果が得られた場合）、ＣＰＵ７１は操作された選択受付ボタンＩ１３ｂの表示態様を、選択状態を表す表示態様（例えば、特定色表示とする）に変化させる（図２９Ａ参照）。また、これと共に、操作された選択受付ボタンＩ１３ｂには、何番目に選択状態となった画像ファイルＭＦであるかを表すための数値情報を表記する（図２９Ａ参照）。例えば、１番目に選択された画像ファイルＭＦであれば「１」の表記を行う）。
ここで、選択状態の選択受付ボタンＩ１３ｂが再度操作された場合、該選択受付ボタンＩ１３ｂの選択状態を表す表示態様は解除され、該当する画像ファイルＭＦの選択状態も解除される。
なお、選択受付ボタンＩ１３ｂに対し何番目に選択されたかを表す数値情報を表示することは必須ではない。
インポート画面１０１において、選択完了ボタンＩ１４は、サムネイル表示エリアＩ１３において選択状態とされた画像ファイルＭＦが無い状態では、例えばグレーアウト表示等により非アクティブとされている（図２７参照）。サムネイル表示エリアＩ１３において少なくとも一つの画像ファイルＭＦが選択状態とされると、選択完了ボタンＩ１４は例えばグレーアウト表示から通常表示に変更されてアクティブ化される（図２９Ａ）。
このようにアクティブ化された選択完了ボタンＩ１４が操作されると、例えば図２９Ｂに例示するプレビュー画面１０２の表示に遷移する。
選択完了ボタンＩ１４の操作により、選択された画像ファイルＭＦが画像処理対象の画像ファイルＭＦとして確定される。本例では、選択完了ボタンＩ１４の操作に応じ、選択された画像ファイルＭＦが選択された順に連結される。
［プレビュー画面について］

図３０を参照し、プレビュー画面１０２の詳細を説明する。
図示のようにプレビュー画面１０２には、動画リストエリアＩ２１、メニューボタンＩ２２、動画メニューボタンＩ２３、プレビューエリアＩ２４、再生ボタンＩ２５、再生時間表示エリアＩ２６、タイムラインＩ２７、アスペクト比設定ボタンＩ２８、及びエクスポートボタンＩ２９が設けられると共に、画面下部にはフレームボタンＢ１、トリムボタンＢ２、及びスピードボタンＢ３が設けられている。
プレビュー画面１０２において、動画リストエリアＩ２１には、インポート画面１０１において画像処理対象として選択された画像ファイルＭＦのサムネイル画像が、選択された順に表示される。選択された画像ファイルＭＦの数が多く、一度に表示できない場合はスワイプで横スクロール可能とされる。動画リストエリアＩ２１におけるサムネイル画像をタップすると、そのサムネイル画像にフォーカス枠が表示され、該当する画像ファイルＭＦの先頭フレームがプレビューエリアＩ２４に表示される。なおこのとき、タイムラインＩ２７上の再生位置バーＩ２７ａもその位置に移動する（再生中にタップした場合は再生を継続したままジャンプする）。
また、動画リストエリアＩ２１において、サムネイル画像を長押しすると、ドラッグ＆ドロップ操作により動画の順番の入れ替えが可能とされる（順番入れ替え時はタイムラインＩ２７が再描画される）。
動画メニューボタンＩ２３は、動画リストエリアＩ２１の近傍に配置され、動画メニューパネルＩ２３ａの呼び出し指示ボタンとして機能する。
図３１は、動画メニューパネルＩ２３ａが呼び出された際のプレビュー画面１０２を例示している。図示のように動画メニューパネルＩ２３ａには、動画追加ボタンＩ２３ｂ、動画削除ボタンＩ２３ｃ、及び動画コピーボタンＩ２３ｄが配置される。動画追加ボタンＩ２３ｂが操作されるとインポート画面に遷移し、画像処理対象の動画の追加が可能となる。動画削除ボタンＩ２３ｂが操作されると、プレビュー画面１０２において不図示の確認ダイアログが表示され、ダイアログ上でＯＫをタップすると動画リストエリアＩ２１においてフォーカス中の動画が削除される（画像処理対象から除外される）。このように動画が削除された際、動画リストエリアＩ２１におけるフォーカス枠が一つ後ろの動画（サムネイル画像）へずれる（リスト末尾の動画が削除された際は一つ前へずれる）。
動画コピーボタンＩ２３ｄが操作されると、動画リストエリアＩ２１においてフォーカス中の動画がコピーされ、該フォーカス中の動画の一つ後ろに挿入される。なお、コピー対象の動画が後述するフレーミング、トリミング、スピードなどの画像処理が行われた動画である場合は、画像処理内容を維持した状態でコピーされる。なお、動画コピーボタンＩ２３ｄが操作されたとき、コピーを行うと合計１時間を超える場合には、動画コピーボタンＩ２３ｄの操作に応じてエラーダイアログが表示される。
図３０において、メニューボタンＩ２２は、図中の画面外に示すようなメニューパネルＩ２２ａの呼び出し指示ボタンとして機能する。なお、メニューパネルＩ２２ａは、先のメニューパネルＩ１１ａ（図２７）と同様、実際には画面内にオーバーレイ表示される。 メニューパネルＩ２２ａには、新規プロジェクトボタンＩ２２ｂ、設定ボタンＩ２２ｃ、及び処理リセットボタンＩ２２ｄが表示される。新規プロジェクトボタンＩ２２ｂが操作されると、確認ダイアログが表示され、ダイアログ上でＯＫをタップするとそれまで行われた画像処理の内容を全て破棄してインポート画面１０１へ遷移する。設定ボタンＩ２２ｂが操作されると、設定画面１０７へ遷移する。処理リセットボタンＩ２２ｄが操作されると確認ダイアログが表示され、ダイアログ上でＯＫをタップすると、フレーミング、トリミング、スピードの画像処理内容を全て破棄した状態に戻る。なお、本例では、動画の追加及びアスペクト比変更（アスペクト比設定画面１０６での変更）はリセットされない。
プレビューエリアＩ２４は、再生中の動画が表示されると共に、再生がポーズ中（一時停止中）である場合には該当する再生位置のフレーム画像が表示されるエリアである。プレビューエリアＩ２４には、表示枠１１５が配置され、図３０に示すプレビュー画面１０２（つまりプレビューエリアＩ２４が後述するズームイン表示状態とされたプレビュー画面１０２）においては、表示枠１１５内で再生動画やポーズ中の画像が表示される。
ここで、表示枠１１５は、元画像からの切り出し範囲を表す枠に相当するものである（後述するフレーミング画面１０３の説明を参照）。この表示枠１１５内の領域は、請求項に言う「表示エリア」の一態様である。
再生ボタンＩ２５は、現在対象とされている動画（動画リストエリアＩ２１においてフォーカスされている動画）についての再生開始指示ボタンとして機能する。再生ボタンＩ２５が操作されると、プレビューエリアＩ２４において現在対象とされている動画の再生が開始される。再生が開始されると、再生ボタンＩ２５の表示は一時停止ボタン（不図示）の表示に切り替わる。この一時停止ボタンが操作されると、プレビューエリアＩ２４における動画再生が一時停止し、一時停止ボタンの表示から再生ボタンＩ２５の表示に切り替わる。
再生時間表示エリアＩ２６には、総再生時間（画像処理対象として選択されている全ての動画の再生時間を合計した時間）、及び現在再生中の箇所の時間が表示される。
タイムラインＩ２７には、画像処理対象として選択されている全ての動画が連結したタイムラインが表示される。本例では、タイムラインＩ２７内に再生位置バーＩ２７ａが表示され、タイムラインＩ２７上における現在の再生位置を表す。本例におけるプレビュー画面１０２では、再生位置バーＩ２７ａは、タイムラインＩ２７の左右中央位置に固定されている。
また、本例のプレビュー画面１０２におけるタイムラインＩ２７では、現在の再生位置が連結された動画の先頭である場合には、再生位置バーＩ２７ａより左側が黒色に塗りつぶされ、現在の再生位置が連結された動画の末尾である場合には再生位置バーＩ２７ａより右側が黒色に塗りつぶされて表示される。
ここで、本例のプレビュー画面１０２におけるタイムラインＩ２７では、後述するスピード画面１０５における再生速度の変更処理やフレーミング画面１０３におけるトラッキングの処理が行われた動画区間がある場合には、それらの動画区間を示すための表示が行われる。
図３２は、これら再生速度の変更やトラッキングの処理がそれぞれ行われた区間をタイムラインＩ２７上で示す表示の例を示している。
図示のようにこの図の例では、プレビュー画面１０２のタイムラインＩ２７上において、再生速度の変更が行われた区間をスピードバーＳｓとして表示し、トラッキングの処理が行われた区間をトラッキングバーＳｔとして表示している。本例では、スピードバーＳｓ内には、該当する区間に設定された再生速度を表す情報（図示の例では「×２」）を表示している。また、トラッキングバーＳｔ内には、トラッキングの処理が行われた区間である旨を表す情報（図示の例では人の上半身とそれを囲う枠とを模したイラスト）を表示している。
また、それぞれの区間の区別を容易化するために、本例では、スピードバーＳｓとトラッキングバーＳｔの表示色を異ならせるものとしている。
図３０において、縮小ボタンＩ３０は、プレビューエリアＩ２４の表示をズームアウト表示に切り替えるためのボタンとされる。
図３３は、縮小ボタンＩ３０の操作に応じてプレビューエリアＩ２４がズームアウト表示状態とされたプレビュー画面１０２を例示している。
図示のようにズームアウト表示状態のプレビューエリアＩ２４では、表示枠１１５の大きさが縮小されると共に、フォーカス中の動画について、表示枠１１５の外側の画像部分も表示される。すなわち、前述したキャプチャードエリア６１（図１９）としての画像全域のうち、表示枠１１５（図１９ではディスプレイエリア６３に相当）の外側の画像部分も表示されるものである。
ここで、キャプチャードエリア６１の画像は、表示枠１１５による切り出しが行われる場合における、切り出し元の画像と換言できるものであり、以下、この意味で「元画像」と表記する。
本例では、表示枠１１５により元画像から切り出される範囲とそれ以外の範囲との区別が明確となるように、元画像における表示枠１１５外の画像部分を、表示枠１１５内の画像部分とは異なる表示態様で表示するものとしている。具体的に本例では、元画像における表示枠１１５外の画像部分をグレーアウト表示するものとしている。
本例において、縮小ボタンＩ３０が操作された場合には、上記のようにプレビューエリアＩ２４がズームアウト表示状態とされると共に、縮小ボタンＩ３０の表示が拡大ボタンＩ３１の表示に切り替えられる（図３３参照）。この拡大ボタンＩ３１が操作されることで、プレビューエリアＩ２４の表示が図３０や図３２に示したズームイン表示に切り替えられる。このズームイン表示状態のプレビューエリアＩ２４では、表示枠１１５の大きさがズームアウト状態時よりも拡大されると共に、元画像における表示枠１１５内の画像部分のみが表示される。
また、拡大ボタンＩ３１が操作されると、拡大ボタンＩ３１の表示が縮小ボタンＩ３０の表示に切り替えられ、これによりプレビューエリアＩ２４をズームアウト表示状態に再度切り替えることが可能とされる。
図３０において、プレビュー画面１０２に設けられたフレームボタンＢ１、トリムボタンＢ２、スピードボタンＢ３は、それぞれフレーミング画面１０３、トリミング画面１０４、スピード画面１０５への遷移を指示するためのボタンとして機能する。また、アスペクト比設定ボタンＩ２８は、アスペクト比設定画面１０６への遷移を指示するためのボタンとして機能する。
エクスポートボタンＩ２９は、エクスポート画面１０８(後述するサイズ選択ダイアログＩ７０の表示状態)への遷移を指示するためのボタンとして機能する。
なお、本例では、エクスポートできる動画の長さは２秒〜１時間までに制限している。このため、エクスポートボタンＩ２９が操作された場合、ＣＰＵ７１は、画像処理対象の動画の合計時間を確認し、該合計時間が１時間を超えている場合、２秒未満の場合のそれぞれにおいて、エクスポート画面１０８への遷移は行わずに、プレビュー画面１０２において所定のエラーダイアログを表示する。
［アスペクト比設定画面について］

続いて、図３４に示すアスペクト比設定画面１０６について説明する。
図示のようにアスペクト比設定画面１０６には、戻るボタンＩ３５、及びアスペクト比選択エリアＩ３６が設けられている。またアスペクト比設定画面１０６には、プレビュー画面１０２と同様のプレビューエリアＩ２４、再生ボタンＩ２５、再生時間表示エリアＩ２６、タイムラインＩ２７、及び縮小ボタンＩ３０が設けられている。
戻るボタンＩ３５は、プレビュー画面１０２への遷移を指示するためのボタンとして機能する。アスペクト比設定画面１０６において、戻るボタンＩ３５が操作されると、当該アスペクト比設定画面１０６での画像処理内容が確定され、プレビュー画面１０２に遷移される。
アスペクト比選択エリアＩ３６には、表示枠１１５のアスペクト比（つまり切出画像のアスペクト比）を選択するための選択ボタンが、各種のアスペクト比ごとに設けられている。これら選択ボタンのうち任意の選択ボタンが操作されると、画像処理対象の全ての動画に一括で、該当するアスペクト比が反映される。このとき、表示枠１１５の位置（切り出し位置）は中央になる（例えば、元画像の中央になる）が、後述するフレーミング画面１０３において変更可能である。
なお、アスペクト比のデフォルト値は、前回エクスポートした動画のアスペクト比である。１度もエクスポートが行われていない場合は初期値である「１：１」がデフォルト値となる。また、アプリケーションプログラムのアップデート後は前回分を忘れて初期値に戻される。
アスペクト比設定画面１０６においても、縮小ボタンＩ３０が設けられることで、プレビューエリアＩ２４の表示は、図３４に示すズームイン表示から図３５に示すようなズームアウト表示に切り替えることが可能とされる。この場合も、縮小ボタンＩ３０の表示は拡大ボタンＩ３１の表示に切り替えられ、ズームアウト表示状態とズームイン表示状態の相互の切り替えが可能とされる。
［トリミング画面について］

図３６は、トリミング画面１０４の例を示している。
トリミング画面１０４においては、プレビュー画面１０２と同様の動画リストエリアＩ２１、プレビューエリアＩ２４、再生ボタンＩ２５、タイムラインＩ２７、及び縮小ボタンＩ３０が設けられると共に、アスペクト比設定画面１０６と同様の戻るボタンＩ３５が設けられている。
また、トリミング画面１０４においては、タイムラインＩ２７に対し、開始点アイコンＩ４１、終了点アイコンＩ４２が設けられると共に、タイムラインＩ２７の上方に時間対比表示エリアＩ４３が設けられている。さらに、トリミング画面１０４にはリセットボタンＩ４４が設けられる。
本例のトリミング画面１０４は、動画リストエリアＩ２１においてフォーカスされている動画についてトリミング区間の指定を受け付ける画面とされる。このため、トリミング画面１０４におけるタイムラインＩ２７には、動画リストエリアＩ２１においてフォーカスされている動画についてのタイムラインが表示される。
また、トリミング画面１０４における再生位置バーＩ２７ａは、スワイプ操作により左右に移動可能とされ、再生位置バーＩ２７ａが移動されたときは、プレビューエリアＩ２４における表示画像が、再生位置バーＩ２７ａが示す再生位置の画像に変化する。これにより、ユーザによるトリミング開始点、終了点の探索作業の容易化が図られる。
開始点アイコンＩ４１はトリミングの開始点を指示するための操作子として機能し、終了点アイコンＩ４２はトリミングの終了点を指示するための操作子として機能する。これら開始点アイコンＩ４１、終了点アイコンＩ４２はそれぞれスワイプ操作により移動可能とされ、トリミングの開始点、終了点を任意に指定することが可能とされる。本例において、開始点アイコンＩ４１の初期位置はフォーカス中の動画の先頭フレームの再生位置、終了点アイコンＩ４３の初期位置はフォーカス中の動画の末尾フレームの再生位置とされる。
図３７は、開始点アイコンＩ４１、終了点アイコンＩ４２が操作された際のトリミング画面１０４を例示している。
開始点アイコンＩ４１、終了点アイコンＩ４２が操作されると、図示のようにタイムラインＩ２７におけるトリミングにより除外される動画部分のサムネイルがグレーアウト表示され、トリミングによって抽出される動画部分が明確化される。
また、図示は省略したが、開始点アイコンＩ４１、終了点アイコンＩ４２について、アイコンのタップ中には、例えばアイコン上部等のアイコン近傍に、アイコンの位置に対応する再生時間の情報が表示される。
トリミング画面１０４において、時間対比表示エリアＩ４３には、フォーカス中の動画全体の再生時間と、トリミング後の再生時間（開始点アイコンＩ４１、終了点アイコンＩ４２により指示中の動画区間の再生時間）とが表示される。
また、トリミング画面１０４において、リセットボタンＩ４４が操作されると、トリミング内容が初期状態に戻り（このとき、開始点／終了点のアイコンが左端／右端に移動する）、戻るボタンＩ３５が操作されると、トリミング画面１０４での画像処理内容が確定され、プレビュー画面１０２に遷移される。
トリミング画面１０４においても、縮小ボタンＩ３０が設けられることで、プレビューエリアＩ２４の表示は、図３６に示すズームイン表示から図３８に示すようなズームアウト表示に切り替えることが可能とされる。この場合も、縮小ボタンＩ３０の表示は拡大ボタンＩ３１の表示に切り替えられ、ズームアウト表示状態とズームイン表示状態の相互の切り替えが可能とされる。
［スピード画面について］

図３９は、スピード画面１０５の例を示している。
スピード画面１０５においては、プレビュー画面１０２と同様の動画リストエリアＩ２１、プレビューエリアＩ２４、再生ボタンＩ２５、タイムラインＩ２７、及び縮小ボタンＩ３０が設けられると共に、アスペクト比設定画面１０６と同様の戻るボタンＩ３５、及びスピード選択エリアＩ５０が設けられている。
スピード画面１０５としても、先のトリミング画面１０４と同様に動画リストエリアＩ２１においてフォーカス中の動画を対象とする画面とされており、タイムラインＩ２７にはフォーカス中の動画のタイムラインが表示される。
また、スピード画面１０５においても、再生位置バーＩ２７ａは、トリミング画面１０４の場合と同様にスワイプ操作により左右に移動可能とされており、プレビューエリアＩ２４においては再生位置バーＩ２７ａが示す再生位置の画像が表示される。これにより、ユーザによるスピード設定の開始点、終了点の探索作業の容易化が図られる。
また、この場合のタイムラインＩ２７の上方には、時間対比表示エリアＩ４３’が設けられている。この時間対比表示エリアＩ４３’には、フォーカス中の動画について、スピード設定前の再生時間とスピード設定後の再生時間とが表示される。
スピード選択エリアＩ５０には、再生速度を選択するための選択ボタンが各種の再生速度ごとに設けられると共に、リセットボタンが配置されている。
スピード選択エリアＩ５０において何れかの再生速度を表す選択ボタンが操作されると、図４０に例示するように、タイムラインＩ２７に対して開始点アイコンＩ５１、終了点アイコンＩ５２が表示される。なお、これら開始点アイコンＩ５１、終了点アイコンＩ５２としても、先の開始点アイコンＩ４１、終了点アイコンＩ４２と同様に、アイコンタップ中にはアイコンの示す位置の再生時間の表示が行われる。
ユーザはこれらアイコンをスワイプ操作することで、スピード選択エリアＩ５０において選択した再生速度を適用したい動画区間を指定することができる。
また、このように動画区間が指定されると、タイムラインＩ２７においては、該動画区間を表す区間バーＩ５３が表示される。本例において、この区間バーＩ５３内には、スピード選択エリアＩ５０において選択した再生速度を表す情報が表示される。図４１では、「×２」の再生速度が選択された場合に対応して、区間バーＩ５３内に「×２」の表記が行われた場合を例示している。なお、このような区間バーＩ５３内における情報表示は、区間バーＩ５３が短すぎる場合には行われない。
また、スピード選択エリアＩ５０内で何れかの再生速度が選択されて図４０に示したような区間指定中の状態となった以降に、スピード選択エリアＩ５０内で別の再生速度が選択された場合には、再生速度と時間対比表示エリアＩ４３’における再生時間（スピード設定適用後の再生時間）のみが変更される。
さらに、スピードの適用区間設定中においてスピード選択エリアＩ５０内のリセットボタンが操作されたときは、スピード設定内容をリセットし、図３９に示す初期状態のスピード画面１０５に画面状態を戻す。
スピード画面１０５においても、縮小ボタンＩ３０が設けられることで、プレビューエリアＩ２４の表示は、図３９に示すズームイン表示から図４１に示すようなズームアウト表示に切り替えることが可能とされる。この場合も、縮小ボタンＩ３０の表示は拡大ボタンＩ３１の表示に切り替えられ、ズームアウト表示状態とズームイン表示状態の相互の切り替えが可能とされる。
［フレーミング画面について］

続いて、フレーミング画面１０３について説明する。
図４２に例示するように、フレーミング画面１０３には、プレビュー画面１０２と同様の動画リストエリアＩ２１、プレビューエリアＩ２４、再生ボタンＩ２５、再生時間表示エリアＩ２６、タイムラインＩ２７、及び縮小ボタンＩ３０が設けられると共に、アスペクト比設定画面１０６と同様の戻るボタンＩ３５が設けられている。
さらに、フレーミング画面１０３には、回転ボタンＩ６１、トラッキングボタンＩ６２、及びトラッキング開始ボタンＩ６３が設けられると共に、プレビューエリアＩ２４の表示枠１１５内には、前述したターゲット指定照準１１６が表示されている。
フレーミング画面１０３では、フォーカス中の動画における或るフレームの静止画像が表示された状態、つまりプレビューエリアＩ２４でのプレビュー再生がポーズ状態とされている場合において、元画像からの画像の切り出し範囲の指定、トラッキングターゲットの指定、トラッキングターゲットの画面内での配置位置の指定などの操作が可能とされる。
前述のように、本例のフレーミング画面１０３では、表示枠１１５内でのドラッグ操作やピンチアウト／ピンチイン操作を行うことで、元画像における表示枠１１５に含まれる範囲を移動させたり、拡大／縮小させることができる。すなわち、表示枠１１５に対し元画像を縦横斜め方向に移動させることによる元画像からの切り出し範囲の指定や、表示枠１１５に対し元画像を拡大／縮小させることによる元画像からの切り出し範囲の指定を行うことができる。また、表示枠１１５内における２本指を用いた回転操作を行うことで、元画像の表示枠１１５に対する回転角度を変化させることも可能とされる。すなわち、表示枠１１５に対し元画像を回転させることによる元画像からの切り出し範囲の指定を行うことも可能とされる。
本例のフレーミング画面１０３では、回転ボタンＩ６１の操作によっても元画像の表示枠１１５に対する回転角度を変化させることが可能とされているが、この回転ボタンＩ６１の操作による回転は、９０度単位に制限されている。具体的に本例では、回転ボタンＩ６１が操作されるごとに、元画像が時計回りに９０度ずつ回転される。
このとき、上記した２本指による回転操作で中途半端な角度になっていた場合でも、回転ボタンＩ６１の操作により元画像の回転角度は９０の倍数の角度に調整される。
フレーミング画面１０３においても、縮小ボタンＩ３０が設けられることで、プレビューエリアＩ２４の表示は、図４２に示すズームイン表示から図４３に示すようなズームアウト表示に切り替えることが可能とされる。この場合も、縮小ボタンＩ３０の表示は拡大ボタンＩ３１の表示に切り替えられ、ズームアウト表示状態とズームイン表示状態の相互の切り替えが可能とされる。
図４４を参照し、切り出し範囲の指定の例について説明する。
なお、図４４では、ズームアウト表示状態とされたプレビューエリアＩ２４に対する操作で切り出し範囲が指定される様子を示している。
例えば、図４４Ａに操作Ｓｗとして示すような表示枠１１５内に対する左方向へのスワイプ操作が行われたとする。このような操作に応じては、図４４Ｂに示すように元画像が表示枠１１５に対して左方向（スワイプ方向）に移動され、結果として元画像における表示枠１１５に含まれる範囲が変化する。つまり、元画像からの切り出し範囲が変化する。
ここで、図４４に例示するように、本例のフレーミング画面１０３では、ズームアウト表示状態のプレビューエリアＩ２４において、表示枠１１５内の画像と表示枠１１５外の画像とを互いに異なる表示態様で表示させている。
このようにすることで、元画像の中でどのような範囲を切り出し範囲としているかをユーザに明確に認識させることができる。
続いて、トラッキングの画像処理について説明する。
トラッキングの画像処理では、トラッキングターゲットの画面内での配置位置の指定をユーザより受け付ける。トラッキングに係る操作を行いたい場合、ユーザはフレーミング画面１０３におけるトラッキングボタンＩ６２を操作する（例えばタップ操作）。
図４５は、トラッキングボタンＩ６２の操作に応じて現れるトラッキングモード時のフレーミング画面１０３（第１の画面）を例示している。
本例において、トラッキングモード時のフレーミング画面１０３では、表示枠１１５内の画像が例えばグレーアウト表示される等、表示態様が変更されることで、モードが移行したことをユーザが容易に知覚できるようにしている。
トラッキングモード時には、表示枠１１５内に対する操作が、ターゲット指定照準１１６を移動させる操作、すなわち、トラッキングターゲットとしての被写体（対象被写体）の切出画像内での配置位置を指定する操作として機能する。
具体的には、図４６に示すように、表示枠１１５内をタップする操作（図４６Ａの操作Ｔｃ）が行われたことに応じ、タップされた位置にターゲット指定照準１１６を移動させる（図４６Ｂ）。このタップされた位置が、対象被写体の切出画像内での配置位置として認識される。また、このタップ操作は、元画像に映し出される被写体のうちトラッキングの対象被写体を指定する操作としても機能する。
なお、トラッキング開始ボタンＩ６３が操作される前のフレーミング画面１０３において、ターゲット指定照準１１６の位置は、所定の初期位置（本例では表示枠１１５の中央）とされる（図４２参照）。
また、本例では、表示枠１１５内をタップする操作のみでなく、ターゲット指定照準１１６をドラッグ操作により移動させる操作によっても対象被写体の切出画像内での配置位置の指定を行うことが可能とされる。
図４６のように表示枠１１５内をタップする操作（ターゲット指定照準１１６の位置を指定する操作）が行われると、フレーミング画面１０３には、図４７に例示するようなトラッキング開始ボタンＩ６３が表示される。このトラッキング開始ボタンＩ６３が操作されると、プレビューエリアＩ２４においてトラッキング画像の再生が開始される。すなわち、ターゲット指定照準１１６により表示枠１１５内で指定された位置に対象被写体が配置されるように元画像からの切り出しが行われた切出画像の動画表示が開始される。このとき、プレビュー再生される動画においては、ターゲット指定照準１１６により指定された対象被写体の認識位置を表す追尾枠Ｆｔの表示が開始される。
ここで、上記説明から理解されるように、本実施の形態では、表示枠１１５内の指定位置に対象被写体が配置されるように元画像からの切り出しを行う処理は、表示枠１１５内に表示された画像、すなわち、動画を構成する１枚のフレーム画像に対して行われた指定操作に応じて、順番的にそのフレーム画像よりも以降に位置する各フレーム画像についても行われることになる。つまり、表示枠１１５内の指定位置に対象被写体が配置されるように切り出しが行われた動画を生成させるにあたり、ユーザは、各フレーム画像に対して配置位置の指定操作を行う必要はなく、この点で操作負担の軽減が図られている。
なお、動画は、複数の画像から構成される画像群であって、該画像群が、所定の順番で連続した複数の画像で構成されたものと換言できる。
また、トラッキング開始ボタンＩ６３が操作されたことに応じ、フレーミング画面１０３には、図４８に例示するようなキャンセルボタンＩ６４、及びストップボタンＩ６５が表示される。ストップボタンＩ６５は、プレビュー再生の停止を指示する機能を担うと共に、トラッキングの区間、すなわち、表示枠１１５内の指定された位置に対象被写体が配置されるように元画像からの切り出しを行う区間の終点を指示する機能を担う。
また、トラッキング開始ボタンＩ６３が操作されたことに応じては、タイムラインＩ２７内において、トラッキングの区間を示す区間バーＩ６６の表示も開始される。
この区間バーＩ６６は、トラッキングの開始フレーム（トラッキング開始ボタンＩ６３が操作されたときにプレビューエリアＩ２４において表示されていたフレーム）から、プレビュー再生の進行に応じて、図４９のように徐々に延伸するバー表示とされ、該区間バーＩ６６の延伸は、ストップボタンＩ６５の操作等によりトラッキングの区間の終点が定まったことに応じて停止される。これにより、タイムラインＩ２７上においてトラッキング区間が示される。
ここで、トラッキング開始ボタンＩ６３の操作に応じたトラッキングの開始後、例えば対象被写体がフレームアウトする等の理由によりトラッキングが不能な状態となることもある。このようにトラッキングが不能な状態となった場合には、トラッキングが終了し、トラッキングが不能となったフレームの直前のフレームがトラッキング区間の終点として定まる。
また、トラッキング処理の対象としている動画の最後まで達した場合にも、トラッキングが終了し、この場合は該動画の最終フレームがトラッキング区間の終点として定まる。
フレーミング画面１０３において、ストップボタンＩ６５が操作される、又は動画の最後まで達する、或いはトラッキング不能の何れかによってトラッキングが終了した場合には、図４８の下部に示すようなリセットボタンＩ６７がフレーミング画面１０３に表示される。
トラッキングの終了後にこのリセットボタンＩ６７が操作されるか、或いはトラッキング中にキャンセルボタンＩ６４が操作されると、フレーミング画面１０３がトラッキング開始前の状態（例えば図４７の状態）に戻る。
ここで、上記のように本実施の形態では、ＣＰＵ７１は、トラッキングボタンＩ６２が操作されたことに応じて現れるトラッキングモード時のフレーミング画面１０３としての第１の画面では、画面上の操作を、ターゲット指定照準１１６によるターゲットに関する操作として認識している。一方、ＣＰＵ７１は、トラッキングボタンＩ６２が操作される前のフレーミング画面１０３としての第２の画面では、画面上の操作を、画像から切り出す画像範囲の指定操作として認識している。
これにより、同一画面上で切り出し範囲の指定と、トラッキングターゲット又はその配置位置の指定の操作を明確に切り分けることができる。
また、本実施の形態では、第２の画面で認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示が行われ（図４４参照）、第１の画面で認識された操作に対応してターゲット指定照準１１６による指定位置を移動させる表示が行われる（図４６参照）。
これによりユーザは、第２の画面の状態で操作を行ったときは、画像が移動、拡大、縮小、回転されることで、切り出し範囲の指定操作であることが明確に認識できる。同様に第１の画面の状態で操作を行ったときは、ターゲット指定照準１１６が移動されることで、ユーザはトラッキングターゲット及びその配置位置の指定操作であることを明確に認識できる。
ここで、図４７等で説明したトラッキング区間のプレビュー再生時には、処理対象の動画について前述した画像処理部３２による画像処理（図１４を参照）が行われる。すなわち、前述した揺れ補正（ＳＴ１５）やトラッキング（ＳＴ１６）、表示画角指定（ＳＴ１７）、はみ出し防止（ＳＴ１８）、及び平面投影及び切り出し（ＳＴ１９）等の処理である。
ＣＰＵ７１は、このような画像処理部３２による画像処理で得られる動画を、プレビュー動画としてプレビューエリアＩ２４に表示させる制御を行う。
また、本例では、このような画像処理部３２による画像処理は、プレビューエリアＩ２４においてポーズ状態で表示されるフレーム画像についても実行される。すなわち、図４２に示したようなトラッキングモードに入る前のフレーミング画面１０３においてプレビューエリアＩ２４に表示されるフレーム画像は、揺れ補正やはみ出し防止等の画像処理が施された画像とされる。
従って、本例では、プレビューエリアＩ２４に表示されるフレーム画像については、はみ出し防止の処理により、前述したアベイラブルエリア６２（図１９参照）が算出されている。本例では、フレーミング画面１０３において、切り出し範囲の指定受付時にこのようなアベイラブルエリア６２を考慮した表示制御を行う。
図５０は、プレビュー表示される元画像について、前述したキャプチャードエリア６１とアベイラブルエリア６２と表示枠１１５との関係を例示している。
この図の例では、表示枠１１５の下辺がアベイラブルエリア６２の下辺と一致した状態とされている。
ここで、先の図４２や図４３に示したフレーミング画面１０３、すなわち、切り出し範囲の指定受付が可能な状態のフレーミング画面１０３において、例えば図５０の操作Ｓｗとして示すような、元画像からの切り出し範囲を下方に移動させる指示操作が行われたとする。このような指示操作は、切り出し範囲内にアベイラブルエリア６２外の画像部分を含ませることを指示する操作となる。
このように切り出し範囲内にアベイラブルエリア６２外の画像部分を含ませる指示操作が行われた場合、本例では、図５１に示すように、元画像を表示枠１１５に対して上方（切り出し範囲の移動指示方向）に移動させて、表示枠１１５内にアベイラブルエリア６２外の画像部分が表示されるようにする。このとき、本例では、表示枠１１５内に表示させるアベイラブルエリア６２外の画像部分については、例えばグレーアウト表示（図中の斜線部を参照）にする等、アベイラブルエリア６２内の画像部分とは異なる表示態様で表示させる。また、本例では、表示枠１１５内にアベイラブルエリア６２の画像部分が表示される場合には、表示枠１１５内においてアベイラブルエリア６２の境界線Ｌ６２を表す表示（例えば赤色等の所定色による太線）を表示する。
さらに本例では、切り出し範囲の指定操作は、アベイラブルエリア６２に基づき制限する。
具体的に、本例では、上記説明のように図５０に示した操作Ｓｗに応じて表示枠１１５内にアベイラブルエリア６２外の画像部分を表示させるが、このような表示状態は、操作Ｓｗとしてのスワイプ操作が完了するまでの間（画面に対する接触状態が継続している間）の、一時的な期間のみ継続し、スワイプ操作が完了したことに応じ、表示枠１１５内にアベイラブルエリア６２外の画像部分が含まれなくなるように、表示枠１１５に対する元画像の位置を調整する。つまり、例えば図５０に示す表示枠１１５と元画像の位置関係のように、表示枠１１５の下辺がアベイラブルエリア６２の下辺に一致する状態とする。このように、切り出し範囲の指定操作が、アベイラブルエリア６２に基づき制限される。
上記の境界線Ｌ６２を表す表示やグレーアウト表示等、アベイラブルエリア６２を表現する表示を行うことで、アベイラブルエリア６２内で切り出し範囲の指定が可能であることをユーザに理解させ易くなる。
また、上記のようにアベイラブルエリア６２に基づき切り出し範囲の指定操作を制限する表示を行うことで、ユーザに切り出し範囲の変更操作が制限される状況を理解させ易くなる。
本例では、これらアベイラブルエリア６２を表現する表示制御、アベイラブルエリア６２に基づく切り出し範囲の指定操作制限は、スワイプ操作による縦横斜め方向の範囲指定時に限らず、前述した縮小操作や回転操作による切り出し範囲の指定操作の際にも行われる。
なお、アベイラブルエリア６２を表現する表示については、図５１に示したようなグレーアウト表示に限らず、図５２のような黒塗り表示とすることも考えられる。
また、ズームアウト表示状態のプレビューエリアＩ２４において（図３３等参照）、表示枠１１５外の領域にアベイラブルエリア６２を表現する表示を行うこともできる。
また、上記では、アベイラブルエリア６２を超える操作を一時的に許容（スワイプ操作完了までの許容）する例を挙げたが、アベイラブルエリア６２を超える操作に対し、表示枠１１５に対する元画像の移動を、表示枠１１５内にアベイラブルエリア６２外の画像部分が含まれない範囲で停止させる等として、アベイラブルエリア６２を超える操作自体が不能となるようにすることもできる。
［エクスポート画面について］

続いて、エクスポート画面１０８について説明する。
図５３に例示するように、エクスポート画面１０８には、切出画像の最終出力サイズを選択するためのサイズ選択ダイアログＩ７０が設けられ、サイズ選択ダイアログＩ７０には、ダイアログタイトルＩ７０ａと、フルＨＤボタンＩ７０ｂと、ＨＤボタンＩ７０ｃとが配置されている。
本例では、エクスポートボタンＩ２９が操作されたことに応じて表示される初期状態のエクスポート画面１０８は、プレビュー画面１０２上にオーバーレイ表示される。サイズ選択ダイアログＩ７０の外部をタップするとプレビュー画面１０２に戻ることができる。
サイズ選択ダイアログＩ７０において、フルＨＤボタンＩ７０ｂをタップするとフルＨＤサイズでのレンダリングが開始され、ＨＤボタンＩ７０ｃをタップするとＨＤサイズでのレンダリングが開始される。
なお、フルＨＤボタンＩ７０ｂについては、フルＨＤでのレンダリングが不能な機種ではグレーアウト表示され、タップ時にエラーダイアログが表示される。
図５４は、レンダリング中のエクスポート画面１０８を例示している。
レンダリング中のエクスポート画面１０８においては、処理中ステータスエリアＩ７１において、プログレスバーＩ７１ａが表示されると共に、処理中表記エリアＩ７１ｂ内に処理中文言と処理中アニメーションが表示される。
また、レンダリング中のエクスポート画面１０８にはキャンセルボタンＩ７２が設けられ、キャンセルボタンＩ７２が操作されると不図示の確認ダイアログが表示され、ダイアログ上でＯＫが選択されるとレンダリング処理がキャンセルされ、プレビュー画面１０２に戻る。
図５５は、レンダリング完了後のエクスポート画面１０８を例示している。
この場合のエクスポート画面１０８には、プレビューエリアＩ２４（表示枠１１５を含む）、再生ボタンＩ２５、再生時間表示エリアＩ２６、タイムラインＩ２７が設けられ、レンダリングされた動画について再生ボタンＩ２５やタイムラインＩ２７内の再生位置バーＩ２７ａ等を用いたプレビュー再生を行うことが可能とされる。
また、この場合のエクスポート画面１０８には、戻るボタンＩ３５とシェアボタンＩ７３が設けられている。戻るボタンＩ３５が操作されるとプレビュー画面１０２に戻る。シェアボタンＩ７３が操作されると、ＳＮＳの選択画面（ＯＳ標準）が表示される。この選択画面を介して、ユーザは画像処理後の動画を所望のＳＮＳサイトにアップロードすることが可能とされる。
＜７．ＵＩに係る処理＞

上記により説明した画像処理に係るＵＩのうち、特にフレーミング画面１０３のＵＩに係る処理について図５６から図５８のフローチャートを参照して説明する。
以下で説明する処理は、ＣＰＵ７１がＵＩ処理部３６として実行する処理であり、ＣＰＵ７１は、前述した動画処理のためのアプリケーションプログラムに従ってこれらの処理を実行する。
図５６において、先ずＣＰＵ７１はステップＳ１０１で、フレーミング画面１０３に遷移すべき状態となるまで待機する。具体的に本例では、プレビュー画面１０２におけるフレームボタンＢ１が操作されるまで待機する。
フレームボタンＢ１が操作されフレーミング画面１０３に遷移すべき状態となったことに応じ、ＣＰＵ７１はステップＳ１０２で先頭フレーム出力処理を実行する。すなわち、前述したように動画リストエリアＩ２１でフォーカス中の動画について、先頭フレームの画像がプレビューエリアＩ２４に表示されたフレーミング画面１０３を表示させる処理を行う（図４２参照）。先の説明から理解されるように、フレームボタンＢ１の操作に応じて表示される初期状態のフレーミング画面１０３では、プレビューエリアＩ２４はズームイン表示状態であり、フレーミング画面１０３には縮小ボタンＩ３０が表示される。
また、本例では、プレビューエリアＩ２４に表示されるフレーム画像については、前述した編集処理部３２によるゆれ補正やはみ出し防止の処理（アベイラブルエリア６２の算出）が行われた画像を表示する。
次いで、ＣＰＵ７１はステップＳ１０３で、トラッキング区間が設定された動画であるか否かを判定する。すなわち、フォーカス中の動画について、前述したトラッキング区間が指定された動画であるか否かを判定する。
トラッキング区間が設定された動画であると判定した場合、ＣＰＵ７１はステップＳ１０４でトラッキング区間のバーを表示するための処理を行う。具体的には、フレーミング画面１０３のタイムラインＩ２７において前述した区間バーＩ６６（図４８参照）を表示させる処理を行う。その後、処理をステップＳ１０５に進める。
一方、トラッキング区間が設定された動画でなければ、ＣＰＵ７１はステップＳ１０４の処理をパスしてステップＳ１０５に処理を進める。
ステップＳ１０５でＣＰＵ７１は、ポーズ状態か否か、すなわちプレビューエリアＩ２４におけるプレビュー再生が一時停止状態か否かを判定する。
ポーズ状態あれば、ＣＰＵ７１は図５７に示す切り出し範囲指定、及びトラッキングに係る処理に移行する（詳細は後述する）。
一方、ポーズ状態でない、つまりプレイ状態である場合、ＣＰＵ７１はステップＳ１０７に進み、トラッキング区間があるか否か、すなわちプレビュー再生対象の動画がトラッキング区間の指定が行われた動画であるか否かを判定する。
トラッキング区間がなければ、ＣＰＵ７１はステップＳ１０８に進み、現在の切り出し範囲を維持した切出動画の表示開始処理を実行する。このステップＳ１０８の表示開始処理としては、現在の表示枠１１５によって指定されている切り出し範囲で元画像から切り出しが行われた切出画像を、プレビューエリアＩ２４において表示させる処理を開始する。なお、前述のように本例では、プレビュー再生する動画についても画像処理部３２によるゆれ補正やはみ出し防止の処理を実行させる。
また、ステップＳ１０７において、トラッキング区間があれば、ＣＰＵ７１はステップＳ１０９に進み、トラッキング区間においてトラッキング処理を作用させた切出動画の表示開始処理を実行する。このステップＳ１０９の表示開始処理としては、指定されたトラッキング区間において前述した画像処理部３２によるトラッキングの処理（ＳＴＳＴ１６）を作用させて、表示枠１１５内の指定位置に対象被写体が配置されるように元画像からの切り出しが行われた切出画像をプレビューエリアＩ２４において表示させる処理を開始する。
ステップＳ１０８、又はステップＳ１０９の表示開始処理を実行したことに応じ、ＣＰＵ７１はステップＳ１１０及びＳ１１１の処理により、ポーズ状態（つまりプレビュー再生の一時停止操作が行われた状態）、再生終了状態（末尾フレームまでの再生が終了した状態）の何れかの到来を待機する。
ステップＳ１１１で再生終了状態と判定した場合、ＣＰＵ７１はステップＳ１０５に戻る。一方、ステップＳ１１０でポーズ状態と判定した場合、ＣＰＵ７１はステップＳ１１２で再生停止処理、すなわち再生中の動画のプレビュー再生を一時停止させ、ステップＳ１０５に戻る。
続いて、図５７の処理を説明する。
前述のように図５７の処理は、ステップ１０５でポーズ状態と判定された場合に実行される。
先ず、ＣＰＵ７１は、ステップＳ１１５からＳ１２０の処理により、縮小ボタンＩ３０の操作（Ｓ１１５）、拡大ボタンＩ３１の操作（Ｓ１１６）、切り出し範囲の移動操作（Ｓ１１７）、回転操作（Ｓ１１８）、拡大／縮小操作（Ｓ１１９）、トラッキングボタンＩ６２（Ｓ１２０）の操作を待機する。
ステップＳ１１７の切り出し範囲の移動操作とは、本例では表示枠１１５内でのスワイプ操作が該当する。また、ステップＳ１１８の回転操作は、表示枠１１５内での２本指による回転操作や、回転ボタンＩ６１の操作を包括的に表す。さらに、ステップＳ１１８の拡大／縮小操作は、本例では表示枠１１５内でのピンチアウト／ピンチインの操作が該当する。
ここで、ステップＳ１２０でトラッキングボタンＩ６２の操作がないと判定した場合、ＣＰＵ７１は図５６に示したステップＳ１０５に戻る。
ステップＳ１１５で縮小ボタンＩ３０の操作があったと判定した場合、ＣＰＵ７１はステップＳ１２１に進んでプレビューエリアＩ２４をズームアウト表示状態（図４３参照）とする処理を実行した上で、ステップＳ１２２で拡大ボタンＩ３１の表示処理を行い、図５６のステップＳ１０５に戻る。ここで、本例において、ステップＳ１２１のズームアウト表示の処理では、元画像における表示枠１１５外の画像部分についてはグレーアウト表示を行う。
ステップＳ１１６で拡大ボタンＩ３１の操作があったと判定した場合、ＣＰＵ７１はステップＳ１２３に進んでプレビューエリアＩ２４をズームイン表示状態（図４２参照）とする処理を実行した上で、ステップＳ１２４で縮小ボタンＩ３０の表示処理を行い、ステップＳ１０５に戻る。
また、ステップＳ１１７で切り出し範囲の移動操作があったと判定した場合、ＣＰＵ７１はステップＳ１２５に進み、操作に応じて元画像を動かす処理を実行し、続くステップＳ１２６で切り出し範囲の設定処理を実行し、ステップＳ１０５に戻る。
さらに、ステップＳ１１８で回転操作があったと判定した場合、ＣＰＵ７１はステップＳ１２７で操作に応じて元画像を動かす処理を実行し、続くステップＳ１２８で切り出し範囲の設定処理を実行し、ステップＳ１０５に戻る。
また、ステップＳ１１９で拡大／縮小操作があったと判定した場合、ＣＰＵ７１はステップＳ１２９で操作に応じて元画像を動かす処理を実行し、続くステップＳ１３０で切り出し範囲の設定処理を実行し、ステップＳ１０５に戻る。
ここで、本例では、ステップＳ１２５、Ｓ１２７、Ｓ１２９の操作に応じて元画像を動かす処理において、ＣＰＵ７１は必要に応じ、前述したアベイラブルエリア６２を表現する表示の処理や、アベイラブルエリア６２に基づき切り出し範囲の指定操作（具体的に本例では切り出し範囲の移動操作、回転操作、拡大／縮小操作）が制限されることを示す表示の処理を実行する。
また、ステップＳ１２０でトラッキングボタンＩ６２の操作があったと判定した場合、ＣＰＵ７１はステップＳ１３１のトラッキング対応処理を実行する。
図５８は、ステップＳ１３１のトラッキング対応処理のフローチャートである。
先ず、ＣＰＵ７１はステップＳ２０１で、画面内容更新処理を実行する。すなわち、フレーミング画面１０３の画面内容を、図４５に例示したトラッキングモード時の画面内容に更新する処理を実行する。
ステップＳ２０１の更新処理を実行したことに応じ、ＣＰＵ７１は、ステップＳ２０２及びＳ２０３の処理により、位置指定操作（Ｓ２０２）、戻るボタンＩ３５の操作（Ｓ２０３）を待機する。ステップＳ２０２の位置指定操作は、本例ではターゲット指定照準１１６の位置を指定する操作（本例では表示枠１１５内の任意位置をタップする操作、又はターゲット指定照準１１６をドラッグして移動させる操作）が該当する。
ここで、ＣＰＵ７１は、ステップＳ２０３で戻るボタンＩ３５の操作があったと判定した場合には、プレビュー画面１０２への遷移処理を行う。
ステップＳ２０２で位置指定操作があったと判定した場合、ＣＰＵ７１はステップＳ２０４で対象被写体の位置及びその配置位置の設定処理を行う。すなわち、トラッキングの対象被写体の位置、及び該対象被写体の切出画像の画枠内での配置位置を設定する処理を実行する。
ステップＳ２０４に続くステップＳ２０５でＣＰＵ７１は、画面内容更新処理を実行する。このステップＳ２０５の更新処理では、フレーミング画面１０３の画面内容を先の図４７に例示したようにトラッキング開始ボタンＩ６３を含む画面内容に更新する処理を行う。
そして、さらに続くステップＳ２０５でＣＰＵ７１は、トラッキング開始操作、すなわちトラッキング開始ボタンＩ６３の操作を待機する。
トラッキング開始ボタンＩ６３が操作され、トラッキング開始操作があったと判定した場合、ＣＰＵ７１はステップＳ２０７で画面内容更新処理を実行する。ステップＳ２０７の更新処理では、フレーミング画面１０３の画面内容を、先の図４８で例示したようなキャンセルボタンＩ６４、及びストップボタンＩ６５を含む画面内容に更新する。
ステップＳ２０７に続くステップＳ２０８でＣＰＵ７１は、対象被写体の指定位置及び指定配置位置に従って切り出された切出画像の表示開始処理を行う。すなわち、ステップＳ２０２で指定された位置の被写体が、同じく指定された画枠内の位置に配置されるように切り出しが行われた切出画像のプレビューエリアＩ２４での表示を開始させる。
さらに、ＣＰＵ７１はステップＳ２０８に続くステップＳ２０９で、トラッキング区間のバー延伸処理を開始する。すなわち、図４８に例示したような区間バーＩ６６をタイムラインＩ２７内において延伸させる表示処理を開始する。
ステップＳ２０９の延伸開始処理を実行したことに応じ、ＣＰＵ７１はステップＳ２１０からＳ２１２の処理により、ストップボタンＩ６５の操作又は動画の最後まで到達（Ｓ２１０）、トラッキング不能状態の到来（Ｓ２１１）、キャンセルボタンＩ６４の操作（Ｓ２１２）を待機する。
ステップＳ２１０でストップボタンＩ６５の操作があった、又は動画の最後まで到達したと判定した場合、ＣＰＵ７１はステップＳ２１３に進み、ステップＳ２０８で開始させた切出動作の表示、及びステップＳ２０９で開始させたバー延伸の停止処理を実行し、続くステップＳ２１４でトラッキング区間の設定を行う。
また、ＣＰＵ７１はステップＳ２１１でトラッキング不能状態（例えば対象被写体のフレーアウト等）であると判定した場合にも、ステップＳ２１４に進んでトラッキング区間の設定を行う。
ここで、ステップＳ２１２でキャンセルボタンＩ６４の操作があったと判定した場合、ＣＰＵ７１はステップＳ２０１に戻る。これにより、フレーミング画面１０３がトラッキング開始前の状態（例えば図４７の状態）に戻される。
ステップＳ２１４の設定処理に続くステップＳ２１５でＣＰＵ７１は、リセットボタンＩ６７（図４８の下部参照）を含む画面に更新する処理を実行し、ステップＳ２１６及びＳ２１７の処理によりリセットボタンＩ６７の操作（Ｓ２１６）、戻るボタンＩ３５の操作（Ｓ２１７）を待機する。ステップＳ２１６でリセットボタンＩ６７の操作があったと判定した場合、ＣＰＵ７１はステップＳ２０１に戻る。これにより、上記したキャンセルボタンＩ６４が操作された場合と同様に、フレーミング画面１０３がトラッキング開始前の状態（例えば図４７の状態）に戻される。
また、ステップＳ２１７で戻るボタンＩ３５の操作があったと判定した場合、ＣＰＵ７１はプレビュー画面１０２への遷移処理を実行する。
＜８．ＵＩについての変形例＞

ここで、画像処理に係るＵＩの詳細については各種の変形例が考えられる。
例えば、図５９に示す変形例としてのフレーミング画面１０３’のように、画面内に拡大／視点変更モードボタンＢ４、傾き補正モードボタンＢ５、トラッキングモードボタンＢ６を配置し、これらボタンが示す各モードにおいてそれぞれ異なる種別の操作受付を行うようにすることもできる。
具体的に、拡大／視点変更モードボタンＢ４は、元画像の拡大／縮小や元画像の移動による切り出し範囲の指定操作を受け付ける拡大／視点変更モードへの移行を指示するボタンとされ、傾き補正モードボタンＢ５は、元画像の回転による切り出し範囲の指定操作を受け付ける傾き補正モードへの移行を指示するボタンとされる。トラッキングモードボタンＢ６は、前述したトラッキングボタンＩ６２と同様、トラッキングモードへの移行を指示するモードである。
図６０の遷移図に示すように、トラッキングモードボタンＢ６が操作されると、トラッキング対象の指定やトラッキング区間指定を行うための操作方法を記したガイドダイアログが表示され、該ダイアログに表示されたＯＫボタンが操作されると、タッチ操作によりトラッキング対象被写体の位置及び画枠内での配置位置の指定が可能とされる。この場合、スタートボタンＢ７の操作によりトラッキングを開始させることができ、また、トラッキング中に表示されるストップボタンＢ８の操作によりトラッキングの終了点を指示することができる。トラッキングの終了点が定まったことに応じてはＯＫボタンＢ９とリセットボタンＢ１０が表示されるが、ＯＫボタンＢ９の操作により処理内容が確定され、リセットボタンＢ１０の操作により処理内容が破棄されてフレーミング画面１０３’の内容が図５９に示した初期状態の内容に戻る。
なお、トラッキングの対象被写体の指定や対象被写体の画枠内での配置位置を指定するためのターゲット指定照準１１６の形状についてはこれまでで図示した形状に限定されず、例えば図６１に示すような形状を採用することもでき、具体的な形状は限定されない。
図６２は、フレーミング画面１０３’において拡大／視点変更モードボタンＢ４が操作された場合の画面遷移の例を示している。
拡大／視点変更モードボタンＢ４が操作されると、画面上に拡大／視点変更モードで可能な操作の説明が記されたガイドダイアログが表示され、該ダイアログに表示されたＯＫボタンが操作されると、表示枠１１５に対する操作によって元画像の拡大／縮小や元画像の移動による切り出し範囲の指定が可能とされる。この場合もＯＫボタンＢ９やリセットボタンＢ１０の操作により、画面内容が初期状態に戻される。
図６３は、フレーミング画面１０３’において傾き補正モードボタンＢ５が操作された場合の画面遷移の例を示している。
傾き補正モードボタンＢ５が操作されると、画面上に傾き補正モードで可能な操作の説明が記されたガイドダイアログが表示され、該ダイアログに表示されたＯＫボタンが操作されると、図示のように左回転ボタンＢ１１、右回転ボタンＢ１２が表示され、これらのボタン操作によって表示枠１１５に対する元画像の回転を指示することができる。この場合もＯＫボタンＢ９やリセットボタンＢ１０の操作により、画面内容が初期状態に戻る。
また、これまでの説明では、アスペクト比の指定がアスペクト比設定画面１０６において行われるものとしたが、例えば図６４に示すようなアスペクト比設定ボタンＩ２８’を配置して、該アスペクト比設定ボタンＩ２８’の操作に応じて図６５に示すようなアスペクト比の選択ダイアログを画面上に表示し、該選択ダイアログにおいてアスペクト比の指定を受け付けるようにすることもできる。
ここで、図６４に示したアスペクト比設定ボタンＩ２８’はプレビュー画面１０２のみではなくフレーミング画面１０３を始めとした各種の画像処理に係る画面上に配置しておき、各種の画面上に呼び出し可能とすることができる。このとき、ダイアログ上でアスペクト比の指定操作が行われると、ダイアログを表示状態から非表示状態として、ダイアログ表示直前の画面状態に戻すこともできる。なお、アスペクト比が指定された場合は、表示枠１１５を指定されたアスペクト比で表示する。
なお、アスペクト比設定ボタンＩ２８’の表示形態は上記で例示した表示形態に限定されず、例えば図６６に示すアスペクト比設定ボタンＩ２８’’のように現在設定されているアスペクト比を表記した形態の画像を画面内に配置することもできる（図中の例ではプレビューエリアＩ２４近傍に配置する例としている）。このアスペクト比設定ボタンＩ２８’’の操作に応じて各種の画面上において図６５のダイアログを表示して縦横比の指定を受け付ける。
＜９．ＵＩについてのまとめ＞

上記のように実施の形態の情報処理装置（例えば携帯端末２）は、所定の画像を表示エリア（表示枠１１５）に表示する第１の画面において、トラッキング対象の表示エリアにおける配置位置の指定を受け付ける受付部（同３６ａ）を備えるものである。
例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置（表示エリア内の位置）を指定できるようにする。
これにより、ユーザに、例えば図１３や図４６のような手法で、対象被写体の表示エリア内での配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
また、実施の形態の情報処理装置においては、所定の画像は元画像から切り出した画像である。
すなわち、表示エリア内に表示される画像は、元画像からの切出画像とされる。
これにより、画枠内にトラッキングの対象被写体が含まれるように元画像から画像を切り出す画像処理が行われる場合において、ユーザに画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
さらに、実施の形態の情報処理装置においては、受付部は、トラッキング対象の指定を受け付けている。
すなわち、画像内の被写体のうちから、トラッキング対象としての被写体の指定を受け付けるようにする。
これにより、ユーザは画像内の任意の被写体をトラッキングの対象被写体として指定することが可能となり、この点での作画自由度の向上が図られる。
また、実施の形態の情報処理装置においては、指定された配置位置に基づく表示エリア内の位置にトラッキング対象が配置されるように所定の画像の表示制御を行う表示制御部（同３６ｂ）を備えている。
例えばユーザが指定したトラッキング対象被写体の配置位置を反映した画像が表示されるようにする。
これによりユーザはトラッキング対象被写体の配置位置の指定が適切であるか否かを確認でき、トラッキング対象被写体の配置位置の指定作業について、良好な作業環境を提供することができる。
さらに、実施の形態の情報処理装置においては、受付部は、元画像からの切り出す画像範囲の指定を受け付けている。
例えば、表示画面上で、ユーザが元画像のうちで切出画像の画枠に含まれる範囲を指定できるようにする。
具体的には、例えば図１２Ａから図１２Ｂや図４４のように、表示範囲内に現れる元画像（フレーム画像全体）を移動させたり、図１２Ｃで説明したように元画像に対する拡大や縮小の操作を行って、切出画像として用いる範囲、つまり切り出し範囲ＣＬ’を指定することができる。これにより撮像後において、元画像から任意の切り出し範囲を指定し、望ましい画像範囲を採用する画像編集が可能となる。
さらにまた、実施の形態の情報処理装置においては、表示制御部は、第１の画面に、トラッキング対象の配置位置の指定操作に用いる操作画像（ターゲット指定照準１１６）を表示させている。
例えば表示エリア上に、配置位置の指定のための照準となる操作画像を重畳表示させ、ユーザが操作画像により、画枠内の位置を指定できるようにする。
ユーザはターゲット指定照準１１６を移動させることで、トラッキングターゲットの切り出し画像内での配置位置を指定できる。特にターゲット指定照準１１６によって、直感的な配置位置指定の操作が可能となり、操作性を向上させることができる。
また、実施の形態の情報処理装置においては、受付部は、操作画像に対する操作に基づき、トラッキング対象の指定とトラッキング対象の配置位置の指定を受け付けている。
例えば、表示エリア上で、或る箇所を操作画像で指定する操作により、その部分の被写体をトラッキングターゲットとし、かつその操作画像の位置を、トラッキングターゲットの配置位置として受け付けるようにする。
このようにすることで、ユーザはターゲット指定照準１１６の移動により、トラッキングターゲットの指定と、その配置位置を同時に指定でき、操作性を向上させることができる。
さらに、実施の形態の情報処理装置においては、所定の画像は元画像から切り出した画像であり、受付部は、画面に対する操作として、元画像から切り出す範囲の指定と操作画像によるトラッキング対象に関する操作を受け付けている。
例えば表示画面上で元画像から切り出される範囲を表示させ、その画像に操作画像を表示させる。その画面上で、切り出し範囲の変更や操作画像の移動を受け付けるようにする。
このようにすることで、ユーザは切り出し範囲の指定とターゲット指定照準１１６の移動によるトラッキングターゲットの指定や配置位置の指定をシームレスに行うことができる。
具体的には例えば、切り出し範囲を移動させることで、トラッキングターゲットにしたい被写体が切り出し範囲内で所望の配置位置となるようにする。そしてその被写体をターゲット指定照準１１６で指定する（図１２，図１３や図４４，図４６参照）。このようにすれば、ユーザがターゲットを認識しながら切り出し範囲やターゲット配置位置を指定する操作を直感的で容易なものとすることができる。
さらにまた、実施の形態の情報処理装置においては、受付部は、画面上の操作を、前記元画像から切り出す範囲の指定操作として認識する状態と、前記操作画像による前記トラッキング対象に関する操作として認識する状態とを切り替えている。
例えば表示画面上のアイコンにより用意される操作により、画面上で行われるユーザ操作の認識モードを切り替えるようにする。
例えばトラッキングボタンＩ６２の操作に応じて、操作入力を切り出し範囲の指定操作とターゲット指定照準１１６の移動操作とを切り分けて認識する。このようにすることで同一画面上でのユーザ操作を的確に認識できる。
また、実施の形態の情報処理装置においては、受付部は、第２の画面では、画面上の操作を、元画像から切り出す画像範囲の指定操作として認識し、第１の画面では、画面上の操作を、前記操作画像による前記トラッキング対象に関する操作として認識している。
表示画面が第１の画面の状態か第２の画面の状態かにより、画面上で行われるユーザ操作の認識を切り替えるようにする。
例えばフレーミング画面１０３に遷移したときの初期状態では、切り出し範囲の画像とターゲット指定照準１１６の表示を行うが、ターゲット指定照準１１６は固定とする第２の画面である。この場合、ユーザのドラッグ等の操作によって、画像が移動され、切り出し範囲の指定が変更されるものとする。
第２の画面の状態からトラッキングボタンＩ６２が操作された場合は、第１の画面となる。ここでいう第１の画面とは、ターゲット指定照準１１６が移動可能な状態の画面である。この場合のユーザの画面上の操作は、ターゲット指定照準１１６の移動操作と認識する。
このようにすることで、同一画面上で切り出し範囲の指定と、トラッキングターゲット又はその配置位置の指定の操作を明確に切り分けることができ、ユーザの操作に対する誤認識も生じにくい。従ってユーザにストレスの少ない操作環境を提供できる。
さらに、実施の形態の情報処理装置においては、表示制御部は、前記第２の画面で前記受付部に認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示を行い、前記第１の画面で前記受付部に認識された操作に対応して前記操作画像による指定位置を移動させる表示を行っている。
表示画面が第２の画面であるときは、例えば画面全体、或いは表示エリア内に、切り出し範囲の画像を表示させるが、それが操作に応じて変更されるようにする。
第１の画面であるときは、操作に応じて操作画像による指定位置が移動されるようにする。
ユーザは第２の画面の状態で操作を行ったときは、画像が移動、拡大、縮小、回転されることで、切り出し範囲の指定操作であることが明確に認識できる。同様に第１の画面の状態で操作を行ったときは、ターゲット指定照準１１６が移動されることで、ユーザはトラッキングターゲット及びその配置位置の指定操作であることを明確に認識できる。これによりユーザにとってわかりやすい操作環境を提供できる。
さらにまた、実施の形態の情報処理装置においては、第２の画面では、操作に応じて、表示エリアにおいて元画像から切り出された画像が変化し、第１の画面では、操作に応じて、表示エリアにおいて操作画像の配置位置が変化する。
すなわち、第２の画面では、操作に応じて、表示エリアにおいて例えば元画像の移動、拡大、縮小、回転等の画像変化が生じ、第１の画面では、操作に応じて、例えば表示エリア内での元画像の変化は生じないが、操作画像の配置位置が変化する。
これにより、ユーザは、第２の画面の状態で操作を行ったときは、切り出し範囲の指定操作であることが明確に認識でき、第１の画面の状態で操作を行ったときはトラッキングターゲット及びその配置位置の指定操作であることを明確に認識できる。
従って、ユーザにとってわかりやすい操作環境を提供できる。
また、実施の形態の情報処理装置においては、元画像は、複数の画像から構成される画像群の一画像とされている。
これにより、画像群を構成する個々の画像について、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
さらに、実施の形態の情報処理装置においては、所定の順番で連続した複数の画像のうち、配置位置の指定を受け付けた画像の順番以降の少なくとも一つの画像に対して、指定された配置位置に基づく表示エリア内の位置にトラッキング対象が配置されるように画像の切り出し処理を行っている。
これにより、所定の順番で連続した複数の画像のうち一枚の画像についてトラッキング対象の配置位置が指定されることで、順番的に以降に位置するフレーム画像についても、指定位置に基づく位置にトラッキング対象を位置させる画像切り出し処理が行われることになる。
従って、所定の順番で連続した複数の画像について指定位置に基づく位置にトラッキング対象を位置させる画像切り出しを行う場合におけるユーザ操作負担の軽減を図ることができる。
さらにまた、実施の形態の情報処理装置においては、画像群は、動画を構成する一連のフレーム画像から構成されている。
これにより、動画を構成する各フレーム画像について画像切り出しを行う場合において、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
また、実施の形態の情報処理装置においては、受付部は、指定された配置位置に基づく表示エリア内の位置にトラッキング対象が配置されるように元画像からの切り出しを行う区間であるトラッキング区間の指定を受け付けている。
これにより、ユーザはトラッキング区間についても任意に指定することが可能とされる。
従って、トラッキング区間の指定自由度の向上が図られ、この面でも作画自由度の向上を図ることができる。
さらに、実施の形態の情報処理装置においては、所定の画像は元画像から切り出した画像であり、表示制御部は、元画像からの切り出し範囲内の画像と、切り出し範囲外の画像とを、互いに異なる表示態様で表示させる制御を行っている。
例えば表示画面上で元画像の全体を表示させるが、その中で切り出し範囲内と切り出し範囲外とが区別できるような表示態様とする。
このようにすることで、ユーザは元画像の中でどのような範囲を切り出し範囲としているかを明確に認識でき、切り出し範囲の良否判断や変更操作に有用な画像を提供できることになる。
また、実施の形態の情報処理装置においては、動画を構成する画像データのフレーム毎に、仮想天球面への貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部（同３３）と、受付部が受け付けた切り出し範囲の指定に応じた切り出し範囲が、揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う切り出し範囲設定部（同３４）と、を備え、表示制御部は、切り出し範囲設定部が行ったはみ出し防止処理を反映した切り出し画像の表示制御を行っている。
例えば撮像装置で撮像された画像における手ぶれ等に起因する揺れを仮想天球面上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の切り出し範囲をユーザの操作に基づいて設定する。この場合に、切り出し範囲が揺れ補正を有効に保つ範囲を越えないようにはみ出し防止処理を行う。表示制御部は、このはみ出し防止処理で制限される範囲の切り出し範囲がユーザに認識できるように表示制御を行う。
ここで、フレーミング画面１０３の表示では、はみ出し防止処理が範囲されることで、ユーザに、切り出し範囲指定の限度を明確に伝えることができる。例えば図５１等のように、はみ出し防止処理によるアベイラブルエリア６２を越えるような切り出し範囲指定ができないことを示す表示を行うことで、ユーザは適正な切り出し範囲の指定を行うことができる。
さらに、実施の形態の情報処理装置においては、表示制御部は、はみ出し防止処理で設定された、画像の切り出し範囲の変動を許容する許容可動範囲に基づく表示が行われるように制御している。
はみ出し防止処理は、操作情報に基づいて設定した切り出し範囲を、揺れ補正が有効な範囲に収める処理となるが、その際に揺れ補正が有効に保たれる範囲として許容可動範囲を設定する。つまり許容可動範囲内であれば、切り出し範囲を移動してもよいという範囲である。表示上では、この許容可動範囲をユーザが認識できるような表示が行われるようにする。
フレーミング画面１０３の表示上ではアベイラブルエリア６２を表現する表示が行われることで、このアベイラブルエリア６２内で切り出し範囲の指定が可能であることがわかる。これにより切り出し範囲の指定可能な範囲をユーザが理解しやすくなる。
さらにまた、実施の形態の情報処理装置においては、表示制御部は、許容可動範囲を越える切り出し範囲の指定操作が制限されることを明示する表示が行われるように制御している。
例えば許容可動範囲を越える場合に、切り出し範囲の変更ができなくなったり、切り出し範囲が許容可動範囲内に戻ってしまうような表示を実行させる。
フレーミング画面１０３の表示上で切り出し範囲の指定が行われるときに、アベイラブルエリア６２を越える場合に、その操作が不能となったりアベイラブルエリア６２内に戻ってしまうような表示を行うことで、ユーザは、切り出し範囲の変更操作が制限される状況を理解できる。またアベイラブルエリア６２も表示されることで、指定が不能な場合に、操作の不具合ではなく、制限されていることが理解しやすいものとなる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜１０．プログラム＞

実施の形態のプログラムは、図５６から図５８に例示した処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、所定の画像を表示エリアに表示する第１の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける処理を情報処理装置に実行させるプログラムである。このようなプログラムにより、上述した実施の形態の情報処理装置を、例えば携帯端末２，パーソナルコンピュータ３、或いは撮像装置１などの機器において実現できる。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、実施の形態の情報処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本技術の情報処理装置として機能させることができる。
＜１１．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
所定の画像を表示エリアに表示する第１の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける受付部を備える
情報処理装置。
（２）
前記所定の画像は元画像から切り出した画像である
前記（１）に記載の情報処理装置。
（３）
前記受付部は、前記トラッキング対象の指定を受け付ける
前記（１）又は（２）に記載の情報処理装置。
（４）
指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記所定の画像の表示制御を行う表示制御部を備えた
前記（１）から（３）の何れかに記載の情報処理装置。
（５）
前記受付部は、前記元画像から切り出す範囲の指定を受け付ける
前記（２）から（４）の何れかに記載の情報処理装置。
（６）
前記表示制御部は、前記第１の画面に、トラッキング対象の配置位置の指定操作に用いる操作画像を表示させる
前記（４）又は（５）に記載の情報処理装置。
（７）
前記受付部は、前記操作画像に対する操作に基づき、前記トラッキング対象の指定と前記トラッキング対象の前記配置位置の指定を受け付ける
前記（６）に記載の情報処理装置。
（８）
前記所定の画像は元画像から切り出した画像であり、
前記受付部は、画面に対する操作として、前記元画像から切り出す範囲の指定と前記操作画像による前記トラッキング対象に関する操作を受け付ける
前記（６）又は（７）に記載の情報処理装置。
（９）
前記受付部は、画面上の操作を、前記元画像から切り出す範囲の指定操作として認識する状態と、前記操作画像による前記トラッキング対象に関する操作として認識する状態とを切り替える
前記（８）に記載の情報処理装置。
（１０）
前記受付部は、第２の画面では、画面上の操作を、前記元画像から切り出す画像範囲の指定操作として認識し、前記第１の画面では、画面上の操作を、前記操作画像による前記トラッキング対象に関する操作として認識する
前記（８）又は（９）に記載の情報処理装置。
（１１）
前記表示制御部は、
前記第２の画面で前記受付部に認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示を行い、
前記第１の画面で前記受付部に認識された操作に対応して前記操作画像による指定位置を移動させる表示を行う
前記（１０）に記載の情報処理装置。
（１２）
前記第２の画面では、操作に応じて、前記表示エリアにおいて前記元画像が変化し、
前記第１の画面では、操作に応じて、前記表示エリアにおいて前記操作画像の配置位置が変化する
前記（１０）又は（１１）に記載の情報処理装置。
（１３）
前記元画像は、複数の画像から構成される画像群の一画像とされる
前記（２）から（１２）の何れかに記載の情報処理装置。
（１４）
所定の順番で連続した前記複数の画像のうち、前記配置位置の指定を受け付けた画像の順番以降の少なくとも一つの画像に対して、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように画像の切り出し処理を行う
前記（１３）に記載の情報処理装置。
（１５）
前記画像群は、動画を構成する一連のフレーム画像により構成された
前記（１３）又は（１４）に記載の情報処理装置。
（１６）
前記受付部は、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記元画像からの切り出しを行う区間であるトラッキング区間の指定を受け付ける
前記（１５）に記載の情報処理装置。
（１７）
前記所定の画像は元画像から切り出した画像であり、
前記表示制御部は、前記元画像からの切り出し範囲内の画像と、切り出し範囲外の画像とを、互いに異なる表示態様で表示させる制御を行う
前記（４）から（１６）の何れかに記載の情報処理装置。
（１８）
動画を構成する画像データのフレーム毎に、仮想天球面への貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、
前記受付部が受け付けた切り出し範囲の指定に応じた切り出し範囲が、揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う切り出し範囲設定部と、
を備え、
前記表示制御部は、前記切り出し範囲設定部が行ったはみ出し防止処理を反映した切り出し画像の表示制御を行う
前記（４）から（１６）の何れかに記載の情報処理装置。
（１９）
前記表示制御部は、前記はみ出し防止処理で設定された、画像の切り出し範囲の変動を許容する許容可動範囲に基づく表示が行われるように制御する
前記（１８）に記載の情報処理装置。
（２０）
前記表示制御部は、前記許容可動範囲を越える切り出し範囲の指定操作が制限されることを明示する表示が行われるように制御する
前記（１９）に記載の情報処理装置。
１ 撮像装置、２ 携帯端末、３ パーソナルコンピュータ、４ サーバ、５ 記憶媒体、１１ レンズ系、１２ 撮像素子部、１３ カメラ信号処理部、１４ 記録部、１５ 表示部、１６ 出力部、１７ 操作部、１８ カメラ制御部、１９ メモリ部、２２ ドライバ部、２３ センサ部、３１ 前処理部、３２ 画像処理部、３３ 揺れ補正部、３４ 実効切り出し領域設定部、３５ 実効切り出し領域画像生成処理部、３６ ＵＩ処理部、３６ａ 受付部、３６ｂ 表示制御部、６１ キャプチャードエリア、６２ アベイラブルエリア、７０ 情報処理装置、７１ ＣＰＵ、１０１ インポート画面、１０２ プレビュー画面、１０３ フレーミング画面、１０４ トリミング画面、１０５ スピード画面、１０６ アスペクト比設定画面、１０７ 設定画面、１０８ エクスポート画面、ＭＦ 画像ファイル、ＰＤ，ｉＰＤ 画像データ、ｏＰＤ 出力画像データ、ＨＰ 画枠補正パラメータ、ＴＭ タイミング情報、ＣＰ カメラパラメータ、ＱＤ クオータニオン、ＴＰ，ＴＰｐ 画面内位置情報、ＤＲ１，ＤＲ２ 操作情報、ＣＬ，ＣＬ’ 切り出し範囲、ＭＴ 天球モデル、Ｉ２４ プレビューエリア

Claims (22)

  1. 所定の画像を表示エリアに表示する第１の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける受付部を備える
    情報処理装置。
  2. 前記所定の画像は元画像から切り出した画像である
    請求項１に記載の情報処理装置。
  3. 前記受付部は、前記トラッキング対象の指定を受け付ける
    請求項１に記載の情報処理装置。
  4. 指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記所定の画像の表示制御を行う表示制御部を備えた
    請求項１に記載の情報処理装置。
  5. 前記受付部は、前記元画像から切り出す範囲の指定を受け付ける
    請求項２に記載の情報処理装置。
  6. 前記表示制御部は、前記第１の画面に、トラッキング対象の配置位置の指定操作に用いる操作画像を表示させる
    請求項４に記載の情報処理装置。
  7. 前記受付部は、前記操作画像に対する操作に基づき、前記トラッキング対象の指定と前記トラッキング対象の前記配置位置の指定を受け付ける
    請求項６に記載の情報処理装置。
  8. 前記所定の画像は元画像から切り出した画像であり、
    前記受付部は、画面に対する操作として、前記元画像から切り出す範囲の指定と前記操作画像による前記トラッキング対象に関する操作を受け付ける
    請求項６に記載の情報処理装置。
  9. 前記受付部は、画面上の操作を、前記元画像から切り出す範囲の指定操作として認識する状態と、前記操作画像による前記トラッキング対象に関する操作として認識する状態とを切り替える
    請求項８に記載の情報処理装置。
  10. 前記受付部は、第２の画面では、画面上の操作を、前記元画像から切り出す画像範囲の指定操作として認識し、前記第１の画面では、画面上の操作を、前記操作画像による前記トラッキング対象に関する操作として認識する
    請求項８に記載の情報処理装置。
  11. 前記表示制御部は、
    前記第２の画面で前記受付部に認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示を行い、
    前記第１の画面で前記受付部に認識された操作に対応して前記操作画像による指定位置を移動させる表示を行う
    請求項１０に記載の情報処理装置。
  12. 前記第２の画面では、操作に応じて、前記表示エリアにおいて前記元画像が変化し、
    前記第１の画面では、操作に応じて、前記表示エリアにおいて前記操作画像の配置位置が変化する
    請求項１０に記載の情報処理装置。
  13. 前記元画像は、複数の画像から構成される画像群の一画像とされる
    請求項２に記載の情報処理装置。
  14. 所定の順番で連続した前記複数の画像のうち、前記配置位置の指定を受け付けた画像の順番以降の少なくとも一つの画像に対して、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように画像の切り出し処理を行う
    請求項１３に記載の情報処理装置。
  15. 前記画像群は、動画を構成する一連のフレーム画像により構成された
    請求項１３に記載の情報処理装置。
  16. 前記受付部は、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記元画像からの切り出しを行う区間であるトラッキング区間の指定を受け付ける
    請求項１５に記載の情報処理装置。
  17. 前記所定の画像は元画像から切り出した画像であり、
    前記表示制御部は、前記元画像からの切り出し範囲内の画像と、切り出し範囲外の画像とを、互いに異なる表示態様で表示させる制御を行う
    請求項４に記載の情報処理装置。
  18. 動画を構成する画像データのフレーム毎に、仮想天球面への貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、
    前記受付部が受け付けた切り出し範囲の指定に応じた切り出し範囲が、揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う切り出し範囲設定部と、
    を備え、
    前記表示制御部は、前記切り出し範囲設定部が行ったはみ出し防止処理を反映した切り出し画像の表示制御を行う
    請求項４に記載の情報処理装置。
  19. 前記表示制御部は、前記はみ出し防止処理で設定された、画像の切り出し範囲の変動を許容する許容可動範囲に基づく表示が行われるように制御する
    請求項１８に記載の情報処理装置。
  20. 前記表示制御部は、前記許容可動範囲を越える切り出し範囲の指定操作が制限されることを明示する表示が行われるように制御する
    請求項１９に記載の情報処理装置。
  21. 情報処理装置が、所定の画像を表示エリアに表示する第１の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける処理を行う
    情報処理方法。
  22. 所定の画像を表示エリアに表示する第１の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける処理を情報処理装置に実行させる
    プログラム。
JP2021501647A 2019-02-21 2019-12-26 情報処理装置、情報処理方法、プログラム Active JP7491297B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019029889 2019-02-21
JP2019029889 2019-02-21
PCT/JP2019/051153 WO2020170604A1 (ja) 2019-02-21 2019-12-26 情報処理装置、情報処理方法、プログラム

Publications (2)

Publication Number Publication Date
JPWO2020170604A1 true JPWO2020170604A1 (ja) 2021-12-23
JP7491297B2 JP7491297B2 (ja) 2024-05-28

Family

ID=

Also Published As

Publication number Publication date
EP3917130A1 (en) 2021-12-01
US20220108541A1 (en) 2022-04-07
CN113424515A (zh) 2021-09-21
WO2020170604A1 (ja) 2020-08-27
EP3917130A4 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
US10447874B2 (en) Display control device and display control method for automatic display of an image
JP7405131B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5806623B2 (ja) 撮像装置、撮像方法およびプログラム
JP7444162B2 (ja) 画像処理装置、画像処理方法、プログラム
KR20210082232A (ko) 실시간 비디오 특수 효과 시스템 및 방법
US20120098946A1 (en) Image processing apparatus and methods of associating audio data with image data therein
KR20110055244A (ko) 디지털 촬영 장치 및 그 제어 방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
JP7094815B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム、記憶媒体
US8947558B2 (en) Digital photographing apparatus for multi-photography data and control method thereof
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
WO2020170604A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2021145297A (ja) 表示制御装置及びその制御方法
JP7271296B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2009290318A (ja) 撮像装置およびズーム調整方法
JP2017212550A (ja) 画像再生装置及びその制御方法、プログラム、記憶媒体
JP7491297B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2017046160A (ja) 画像処理装置、その制御方法、および制御プログラム、並びに記憶媒体
US20220264008A1 (en) Image processing device, image processing method, and program
JP4408397B2 (ja) 撮影装置および撮影方法およびプログラム
JP2021002803A (ja) 画像処理装置、その制御方法、プログラム
US20230103051A1 (en) Image processing apparatus, image processing method, and program
US20230109911A1 (en) Image processing apparatus, image processing method, and program
JP6611478B2 (ja) 撮像装置、記録制御方法及びプログラム
JP2015036748A (ja) 撮像装置、撮像装置の制御方法、プログラム
JP6395532B2 (ja) 画像記録装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221114

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240318

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240429