JP6079297B2 - 編集装置、編集方法、及び編集プログラム - Google Patents

Description

本発明は、編集装置、編集方法、及び編集プログラムに関する。

近年、情報処理装置の高速化や大容量化に伴い、映画やビデオ等の動画像を扱う各種技術が注目されている。しかしながら、静止画像に比べて情報量の多い動画像の中から、ユーザ所望の部分を検索したり、加工したりする作業は、ユーザにとって非常に手間のかかる作業であった。

そこで、動画像を所定の単位に自動で分割し、分割した各画像の一覧を索引として用いる技術が開示されている。例えば、動画像における連続するフレームを合成したパノラマ画像を生成する。そして、このパノラマ画像を、動画像の変化点または指定単位毎に区切り、静止画像として一覧表示することが開示されている。また、併せて、動画像における、各静止画像の時間的な位置を示す時間情報等も表示することが開示されている。

しかしながら、従来技術では、全天球の範囲の撮影によって得られる全天球パノラマ動画像を編集対象とした場合であっても、一部分の画像のみしか表示されず、所望の領域の画像を効率良く提示することは困難であった。

本発明は、上記に鑑みてなされたものであって、全天球パノラマ動画像を編集する場合であっても、効率良く編集可能な画面を提供することができる、編集装置、編集方法、及び編集プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る編集装置は、取得部と、作成部と、表示制御部と、受付部と、編集部と、を備える。取得部は、全天球の範囲の撮影によって得られる全天球パノラマ動画像における、位置、大きさ、及び範囲の少なくとも１つの異なる複数の指定領域に関する指定領域情報を取得する。作成部は、前記全天球パノラマ動画像における前記指定領域の各々を編集するための編集画面を予め定めたレイアウトで配置したテンプレートを作成する。表示制御部は、前記テンプレートを表示部に表示する。受付部は、前記編集画面の編集指示を受け付ける。編集部は、前記編集指示に基づいて、前記全天球パノラマ動画像における前記編集画面に対応する指定領域を編集する。

本発明に係る編集方法は、全天球パノラマ動画像における、位置、大きさ、及び範囲の少なくとも１つの異なる複数の指定領域に関する指定領域情報を取得するステップと、編集対象の全天球パノラマ動画像における前記指定領域の各々を編集するための編集画面を予め定めたレイアウトで配置したテンプレートを作成するステップと、前記テンプレートを表示部に表示するステップと、前記編集画面の編集指示を受け付けるステップと、前記編集指示に基づいて、前記全天球パノラマ動画像における前記編集画面に対応する指定領域を編集するステップと、を含む編集方法である。

本発明に係る編集プログラムは、コンピュータに、全天球パノラマ動画像における、位置、大きさ、及び範囲の少なくとも１つの異なる複数の指定領域に関する指定領域情報を取得するステップと、編集対象の全天球パノラマ動画像における前記指定領域の各々を編集するための編集画面を予め定めたレイアウトで配置したテンプレートを作成するステップと、前記テンプレートを表示部に表示するステップと、前記編集画面の編集指示を受け付けるステップと、前記編集指示に基づいて、前記全天球パノラマ動画像における前記編集画面に対応する指定領域を編集するステップと、を実行させる編集プログラムである。

本発明によれば、全天球パノラマ動画像を編集する場合であっても、効率良く編集可能な画面を提供することができる、という効果を奏する。

図１は、本実施の形態の編集システムの概略図である。 図２は、撮影装置の外観模式図である。 図３は、撮影装置の使用状況の一例を示す図である。 図４は、撮影装置で撮影された画像の説明図である。 図５は、メルカトル画像の他の例を示す模式図である。 図６は、全天球パノラマ動画像の一例を示す模式図である。 図７は、撮影装置のハードウェア構成を示す模式図である。 図８は、全天球パノラマ動画像の作成処理の流れを示す模式図である。 図９は、編集装置のハードウェア構成の説明図である。 図１０は、従来の編集装置における編集を示す模式図である。 図１１は、編集装置の機能的構成を示す模式図である。 図１２は、メイン編集画面の一例を示す模式図である。 図１３は、タイムライン領域を示す模式図である。 図１４は、全天球パノラマ動画像とテンプレートの一例を示す模式図である。 図１５は、全天球パノラマ動画像とテンプレートの一例を示す模式図である。 図１６は、テンプレートの一覧を示す模式図である。 図１７は、編集時にエディタ領域に表示される画像の一例を示す模式図である。 図１８は、「ターゲット追尾」の説明図である。 図１９は、編集後の動画像のイメージ図である。 図２０は、編集後の動画像のイメージ図である。 図２１は、編集後の動画像のイメージ図である。 図２２は、合成動画領域の一例を示す模式図である。 図２３は、編集処理の手順を示すフローチャートである。

以下、本発明の実施形態について説明する。

図１は、本実施の形態の編集システム１０の概略図である。

編集システム１０は、編集装置１２、撮影装置１４、表示装置１６、及び操作部１８を備える。これらの編集装置１２、撮影装置１４、表示装置１６、及び操作部１８は、ネットワーク等の無線または有線の通信部を介して通信可能に接続される。

通信部には、例えば、短距離無線技術、移動通信システムによる無線通信網、及びインターネット等を用いる。短距離無線技術は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。移動通信システムによる無線通信網には、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）や、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）等が挙げられる。

編集装置１２は、素材の編集処理を実行するコンピュータである。編集対象の素材には、全天球パノラマ動画像、静止画像、及び音声等が挙げられる。編集処理については詳細を後述する。

撮影装置１４は、全天球パノラマ動画像を取得する撮影装置である。全天球パノラマ動画像とは、全天球の範囲の撮影によって得られるパノラマ動画像である。パノラマ動画像とは、画角が最終出力する表示装置のアスペクト比より広い動画像である。

なお、編集装置１２における編集対象の素材は、全天球パノラマ動画像を少なくとも含めばよい。

表示装置１６は、画像を表示する一般的な表示装置である。例えば、液晶ディスプレイや、有機ＥＬディスプレイなどである。本実施の形態では、表示装置１６は、後述するメイン編集画面等を表示する。メイン編集画面は、全天球パノラマ動画像の編集を行うときに表示装置１６に表示される画面である。ユーザは、メイン編集画面に表示された各種画面を介して、編集指示を行う（詳細後述）。

操作部１８は、ユーザから各種操作指示を受け付ける機能を有するものである。図１に示す例では、操作部１８は、キーボード１８Ａ、マウス１８Ｂ、ＵＩ部１８Ｃを備える。

ＵＩ部１８Ｃは、ユーザからの操作入力を受け付けると共に各種画像を表示するタッチパネル機能を備えた装置である。ＵＩ部１８Ｃには、例えば、スマートフォン、タブレット端末、ノート型パソコン、デスクトップ型パソコン、またはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）等のコンピュータを用いる。ＵＩ部１８Ｃと、編集装置１２とは、図１では有線で接続されているようになされているが、無線接続であっても良い。特に、無線接続の場合には、インターネット上に編集装置１２を置き、ネットワーク越しに、ＵＩ部１８Ｃが編集装置１２を操作し、編集がなされても良い。

本実施の形態では、ＵＩ部１８Ｃとして、スマートフォンまたはタブレット端末を用いる場合を説明するが、タッチパネル機能を備えた構成であればよい。

なお、編集システム１０は、キーボード１８Ａ、マウス１８Ｂ、ＵＩ部１８Ｃ以外の他の種類の操作部を備えた構成であってもよいし、更に複数の撮影装置１４を備えた構成であってもよい。

次に、図２を用いて、撮影装置１４の外観を説明する。図２は、撮影装置１４の外観模式図である。なお、図２（Ａ）は撮影装置１４の側面図である。図２（Ｂ）は、撮影装置１４の、図２（Ａ）とは反対側の側面図である。図２（Ｃ）は、撮影装置１４の平面図である。

図２（Ａ）に示すように、撮影装置１４は、例えば、人間が片手で持つことができる大きさである。なお、撮影装置１４の大きさは、このような大きさに限られない。撮影装置１４は、パノラマ動画像を得る撮影装置である。パノラマ動画像とは、画角が最終出力時のアスペクト比より広い動画像である。本実施の形態では、撮影装置１４は、パノラマ動画像を得える。また、編集装置１２は、この撮影装置１４が得たパノラマ動画像を編集対象として得る。なお、本実施の形態では、撮影装置１４は、パノラマ動画像として全天球パノラマ動画像を得る場合を説明する。全天球パノラマ動画像とは、４πラジアンの立体角内の像を得て、全天球の範囲の撮影によって得られるパノラマ動画像である。

図２に示すように、撮影装置１４の上部には、正面側（一方の面側）にレンズ２０Ａ及び背面側（他方の面側）にレンズ２０Ｂが設けられている。この各々の１８０度以上の画角を有する広角レンズを介して、像が導かれ、各々の撮像素子に像が形成される。なお、撮像素子としては、CCDや、CMOS等が挙げられる。また、図２（Ｂ）に示されるように、撮影装置１４の正面側には、シャッターボタン等の操作部１４Ｃが設けられている。

次に、図３を用いて、撮影装置１４の使用状況の一例を説明する。図３は、撮影装置１４の使用状況の一例を示す図である。撮影装置１４は、図３に示すように、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、レンズ２０Ａ及びレンズ２０Ｂから導かれた像を各々の撮像素子によって、ユーザの周りの被写体が撮像され、２つの半球画像が得られ、４πラジアンの立体角内の像が得られる。

次に、図４を用いて、撮影装置１４で撮影された画像を説明する。図４は、撮影装置１４で撮影された画像の説明図である。図４（Ａ）はレンズ２０Ａで撮影された半球画像（前側）、図４（Ｂ）はレンズ２０Ｂで撮影された半球画像（後側）、図４（Ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。

図４（Ａ）に示すように、レンズ２０Ａは広角レンズの一つである魚眼レンズであるため、このレンズ２０Ａによって得られた画像は、湾曲した半球画像（前側）となる。また、図４（Ｂ）に示されているように、レンズ２０Ｂは広角レンズの一つである魚眼レンズであるため、このレンズ２０Ｂによって得られた画像は、湾曲した半球画像（後側）となる。そして、半球画像（前側）と、半球画像（後側）とは、撮影装置１４によって合成され、図４（Ｃ）に示される、メルカトル画像が作成される。図５は、撮影装置１４で合成されたメルカトル画像の他の例を示す模式図である。このように、１つのメルカトル画像が連続して生成されることにより、メルカトル動画像となる。

図１へ戻り、撮影装置１４で得られたメルカトル動画像は、編集装置１２と接続されると、撮影装置１４から編集装置１２へ送信される。なお、本実施の形態では、撮影装置１４は、メルカトル動画像を、編集装置１２へ送信する。この他に、この実施形態では、撮像装置１４でメルカトル画像を合成するが、編集装置１２は、撮像装置１４から２つ半球画像を受信し、メルカトル画像を合成しても良い。このメルカトル画像が連続して連なると全天球パノラマ動画像となる。

編集装置１２では、メルカトル動画像を、全天球パノラマ動画像として、撮影装置１４から取得する。図６は、全天球パノラマ動画像の一例を示す模式図である。なお、編集装置１２における編集対象の素材は、パノラマ動画像を少なくとも含めばよく、他の素材についても編集対象としてもよい。なお、全天球パノラマ動画像に対しても、好適な編集が可能である。

本実施の形態では、編集装置１２は、全天球パノラマ動画像の編集処理を実行する（詳細後述）。

なお、編集装置１２では、取得したメルカトル画像を、ＯｐｅｎＧＬ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ）を利用することで、全天球パノラマ動画像として表示装置１６や後述するＵＩ部１８Ｃ等へ表示する。

次に、撮影装置１４のハードウェア構成を説明する。

図７は、撮影装置１４のハードウェア構成を示す模式図である。撮影装置１４は、カメラ本体に設けられた鏡胴ユニット２０を備える。鏡胴ユニット２０は、図７に示すように、レンズ（光学系）２０Ａ、２０Ｂと撮像素子１４Ａ、１４Ｂとを有する。

撮像素子１４Ａ、１４Ｂは、カメラ本体に設けられたプロセッサ２２内にあるＣＰＵ３７からの制御指令により、制御される。ＲＯＭ４３Ｃには、ＣＰＵ３７が解読可能なコードで記述された制御プログラムや制御のための各種のパラメータが格納されている。撮影装置１４の電源スイッチ４３Ｅ（操作部１４Ｃ）の操作によって該撮影装置１４の電源がオン状態になると、前記プログラムはメインメモリにロードされる。

プロセッサ２２内のＣＰＵ３７は、メインメモリに読み込まれたプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等をＲＡＭ４３Ａと、プロセッサ２２内にあるＬｏｃａｌ ＳＲＡＭと、に一時的に保存する。なお、ＲＯＭ４３Ｃに書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のバージョンアップが容易に行える。

撮像素子１４Ａ、１４Ｂは、光学画像を光電変換するための固体撮像素子であり、例えば、ＣＭＯＳ等を用いる。プロセッサ２２内の信号処理部２３Ａ、２３Ｂは、撮像素子１４Ａ、１４Ｂから入力されたデータにホワイトバランス設定やガンマ設定を行う。

プロセッサ２２は、画像データをフィルタリング処理によって輝度データ・色差データへの変換を行う信号処理部２３Ａ、２３Ｂと、前述した装置各部の動作を制御するＣＰＵ３７と、前述した制御に必要なデータ等を、一時的に保存するＬｏｃａｌ ＳＲＡＭと、パソコンなどの外部機器とＵＳＢ通信を行うＵＳＢ通信部３６と、Ｗｉ−Ｆｉ４３Ｈおよびパソコンなどの外部機器とシリアル通信を行うシリアル通信部（ＳＤＩＯ ＳＰＩ）４１と、ＪＰＥＧ圧縮・伸張を行うＪＰＥＧ圧縮伸長部３０と、Ｈ．２６４動画圧縮・伸張を行うＨ．２６４圧縮伸長部３１と、画像データのサイズを補間処理により拡大／縮小するリサイズ部２９と、撮影された画像データを記録するメモリカード等の制御を行うメモリカード制御部３５とを有する。

また、プロセッサ２２は、ＭＥＭＣ２５と、ＤＭＡＣ２６Ａ〜２６Ｆと、ＡＲＢ ＭＥＭＣ２７と、Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｂｌｏｃｋ２８と、Ｐｏｗｅｒ Ｃｔｒｌ３２と、Ｉｍａｇｅ Ｄａｔａ Ｔｒａｎｓｆｅｒ３３と、ＳＤＲＡＭＣ３４と、Ｐｅｒｉｐｈｅｒａｌ３８と、Ｂｒｉｄｇｅ３９と、を有する。

プロセッサ２２に接続されたＲＡＭ４３Ａは、プロセッサ２２で画像データに前述した各種処理を施す際に、画像データを一時的に保存する。ＳＤＲＡＭ２１は、信号処理部２３Ａ、２３Ｂもしくは補正部２４による歪曲補正及び合成の処理を施す際に、画像データを一時的に保存する。保存される画像データは、例えば、プロセッサ２２に取り込まれ、信号処理部２３Ａ、２３Ｂでホワイトバランス設定およびガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」、信号処理部２３Ａ、２３Ｂで輝度データ・色差データ変換が行われた状態の「ＹＵＶ画像データ」、およびＪＰＥＧ圧縮伸長部３０でＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。

メモリカード制御部３５に接続されたスロットル４３Ｂは、撮影装置１４にメモリカードを着脱可能に装着するためのスロットルである。プロセッサ２２に接続された内蔵メモリは、スロットル４３Ｂにメモリカードが装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。

ＬＣＤドライバ（ＬＣＤＩＯ）４２は、ＬＣＤモニタ４３Ｉを駆動するドライブ回路であり、各種状態情報を、ＬＣＤモニタ４３Ｉに表示するための信号に変換する機能を有する。ＵＳＢ通信部３６は、ＵＳＢコネクタ４３Ｄを介してパソコンなどの外部機器とＵＳＢ接続を行う。

音声記録再生部（Ａｕｄｉｏ）４０は、ユーザが音声信号を入力するマイク（Ｍｉｃ）４３Ｆから入力された音声信号を増幅するマイクＡＭＰと、増幅された音声信号を記録する音声記録回路と、記録された音声信号をスピーカー（ＳＰ）４３Ｇから出力できる信号に変換する音声再生回路と、変換された音声信号を増幅し、スピーカーを駆動するためのオーディオＡＭＰとを含む。

次に、撮影装置１４において、半球画像（前側）と半球画像（後側）から、メルカトル動画像としての全天球パノラマ動画像を作成する処理を説明する。

図８は、撮影装置１４が全天球パノラマ動画像を作成する処理の流れを示す模式図である。

撮影装置１４のプロセッサ２２（図７参照）では、下記処理を実行することで、撮影によって得られた半球画像から全天球パノラマ動画像を作成する。具体的には、プロセッサ２２は、オプティカルブラック（ＯＢ）補正処理、欠陥画素補正処理、Ｌｉｎｅａｒ補正処理、Ｓｈａｄｉｎｇ補正処理、領域分割平均処理、ホワイトバランス（ＷＢ）処理、ガンマ（γ）補正処理、ベイヤー補間処理、ＹＵＶ変換処理、ＹＣＦＬＴ（エッジ強調）処理、及び色補正処理を実行する。

オプティカルブラック（ＯＢ）補正処理は、オプティカルブラック領域の出力信号を黒の基準レベルとして、有効画素領域の出力信号をクランプ補正する処理である。欠陥画素補正処理は、撮像素子１４Ａ、１４Ｂに含まれる欠陥画素の画素値を補正する処理である。Ｌｉｎｅａｒ補正処理は、ＲＧＢ別にリニア補正を施す処理である。Ｓｈａｄｉｎｇ補正処理は、予め用意された補正係数（固定値）を有効画素領域の出力信号に乗じることによって、有効画素領域のシェーディング（陰影）の歪みを補正する処理である。

領域分割平均処理は、得られた画像を分割し、平均輝度を算出する処理である。算出した平均輝度は、ＡＥ処理に使用する。ホワイトバランス（ＷＢ）処理は、公知の白色補正処理であり、各画素におけるＲとＢのゲインを変更することで補正を行う処理である。

ガンマ（γ）補正処理は、公知のガンマ補正処理である。ＣＭＯＳではベイヤー配列と呼ばれる配列で、１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥのいずれか１色のカラーフィルタが貼付されており、ＲＡＷデータは１画素に１色の情報しかない。しかし、ＲＡＷデータから画像として見るためには、１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥの３色の情報が必要である。ベイヤー補間処理では、足りない２色を補うために周辺の画素から補間する補間処理を行う。

ＲＡＷデータの段階では、ＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥの３色によるＲＧＢデータ形式であるが、ＹＵＶ変換では輝度信号Ｙと色差信号ＵＶのＹＵＶデータ形式に変換を行う。ディジタルカメラ等で一般的に用いられるファイル形式のＪＰＥＧ画像では、ＹＵＶデータから画像が作成される。このため、ＹＵＶ変換処理では、ＲＧＢデータをＹＵＶデータに変換する。

ＹＣＦＬＴ（エッジ強調）処理は、画像の輝度（Ｙ）信号からエッジ部分を抽出するエッジ抽出フィルタ処理と、エッジ抽出フィルタにより抽出されたエッジに対してゲインを掛けるゲイン乗算処理と、エッジ抽出と並行して画像のノイズを除去するＬＰＦ（ローパスフィルタ）処理と、ゲイン乗算後のエッジ抽出データとＬＰＦ処理後の画像データを加算するデータ加算処理と、を含む。

色補正処理は、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定などある。彩度設定は色の濃さを決定するパラメータ設定であり、ＵＶ色空間を示すものであるが、例えば、第２象限でＲＥＤの色に対して原点からＲＥＤのドットまでのベクトルの長さが長い程、色の濃さは濃くなる。

撮影装置１４では、取得した半球画像（前側）と半球画像（後側）に上記画像処理を行うと共に合成することで、メルカトル画像が生成され、連続的に撮影されたメルカトル画像が連なるとメルカトル動画像としての全天球パノラマ動画像となる。

次に、編集装置１２のハードウェア構成を説明する。

図９は、編集装置１２のハードウェア構成の説明図である。

図９に示すように、編集装置１２は、編集装置１２全体の動作を制御するＣＰＵ３００、ＩＰＬ等のＣＰＵ３００の駆動に用いられるプログラムを記憶したＲＯＭ３２０、ＣＰＵ３００のワークエリアとして使用されるＲＡＭ３４０、編集装置１２用のプログラム等の各種データを記憶するＨＤ７６、ＣＰＵ３００の制御にしたがってＨＤ７６に対する各種データの読み出し又は書き込みを制御するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３６０を備える。

また、編集装置１２は、各種画像を表示する表示装置１６と通信するためのＩ／Ｆ４００、撮影装置１４と通信するための通信部４２０、キーボード１８Ａと通信するためのＩ／Ｆ４４０、マウス１８Ｂと通信するためのＩ／Ｆ４６０、ＵＩ部１８Ｃを通信するためのＩ／Ｆ４８０、及び、上記各構成要素を電気的に接続するバスライン５００を備える。

ここで、従来の画像編集方法の概要を説明する。

図１０は、従来の編集装置における動画像の編集方法を用いて、全天球パノラマ動画像を編集すると想定した場合の模式図である。図１０（Ａ）に示す全天球パノラマ動画像を編集する場合、従来では、全天球パノラマ動画像に含まれる様々な領域を抽出して表示部に表示することが出来なかった。例えば、図１０（Ｂ）に示すように、全天球パノラマ動画像の一部の領域のみを表示部に表示していた。

このため、従来では、効率的な編集を行うことができなかった。すなわち、ユーザは、編集対象の全天球パノラマ動画像の中から編集したい領域を容易に検索したり、見つけ出したりすることが困難であるとともに、編集対象の領域について所望の編集指示を行うことも困難であった。

一方、本実施の形態の編集装置１２では、全天球パノラマ動画像について、全天球パノラマ動画像から抽出した指定領域の編集画面を配置したテンプレート（詳細後述）を、表示装置１６へ表示する。

以下、本実施の形態の編集装置１２について詳細に説明する。

図１１は、編集装置１２の機能的構成を示す模式図である。図１１に示すように、編集装置１２は、制御部５２と、ＵＩ部１８Ｃ等の操作部１８と、ＨＤ（ハードディスク）７６と、を備える。制御部５２は、撮影装置１４、表示装置１６、ＵＩ部１８Ｃ等の操作部１８、及びＨＤ７６に電気的に接続されている。

制御部５２は、編集装置１２の全体を制御し、上述したＣＰＵ３００、ＲＯＭ３２０、ＲＡＭ３４０等を含むコンピュータである。

制御部５２は、接続部５４、取込部５６、表示制御部５８、取得部６０、判別部６２、作成部６４、受付部６６、編集部６８、トリミング部７０、記憶制御部７２、及び書出部７４を備える。

接続部５４は、撮影装置１４との接続を確立する。接続部５４は、例えば、編集装置１２に撮影装置１４が有線または無線により接続された状態で、撮影装置１４との間で予め定めた通信プロトコルに従って接続確立のための通信制御を行う。これによって、接続部５４は、撮影装置１４との接続を確立する。

取込部５６は、撮影装置１４から全天球パノラマ動画像を取り込む。また、取込部５６は、撮影装置１４以外の他の記憶媒体等から全天球パノラマ動画像を取り込んでもよい。また、取込部５６は、撮影装置１４や各種記憶媒体等から、全天球パノラマ動画像以外の他の素材についても取り込んでもよい。表示制御部５８は、メイン編集画面や、各種素材等を表示装置１６やＵＩ部１８Ｃに表示する制御を行う。

取得部６０は、ユーザによるＵＩ部１８Ｃ（操作部１８）の操作指示を取得する。操作指示は、指定領域（詳細後述）を示す指定領域情報、配置情報（詳細後述）、等の各種指示情報を含む。判別部６２は、編集対象の画像が全天球パノラマ動画像であるか否かを判別する。作成部６４は、テンプレートを作成する（詳細後述）。受付部６６は、操作部１８から編集指示や合成指示などの各種指示を受け付ける。受付部６６は、第１受付部６６Ａおよび第２受付部６６Ｂを含む。第１受付部６６Ａは、編集指示を受け付ける。編集指示は、ユーザによる操作部１８の操作指示によって入力される。第２受付部６６Ｂは、編集した編集画面を合成する合成指示を受け付ける。編集部６８は、編集指示および合成指示に基づいて、指示された編集処理や合成処理を実行する。

トリミング部７０は、編集対象の全天球パノラマ動画像について、公知の方法によりトリミング処理を行う。書出部７４は、全天球パノラマ動画像等の画像の書出処理を実行する。

図１２は、メイン編集画面８０の一例を示す模式図である。

メイン編集画面８０は、上述したように、編集装置１２において全天球パノラマ動画像等の画像の編集処理を実行するときに、表示装置１６に表示する編集用の表示画面（ウィンドウ）である。編集装置１２では、ユーザによる操作部１８の操作指示によって、編集処理の実行を示す情報が入力されると、編集処理を実行するための編集プログラムを実行し、メイン編集画面８０を表示装置１６へ表示する。

メイン編集画面８０は、タイムライン領域８０Ａ、ビューワ領域８０Ｂ、エディタ領域８０Ｃ、合成動画領域８０Ｄを含む。

タイムライン領域８０Ａは、編集可能な素材を時系列に配置して表示する領域である。図１３は、タイムライン領域８０Ａを示す模式図である。

タイムライン領域８０Ａにおける各素材の配置位置は、ユーザによる操作部１８の操作指示によって調整される。図１２及び図１３に示す例では、タイムライン領域８０Ａには、複数の全天球パノラマ動画像（８０_１Ａ、８０_２Ａ、８０_３Ａ）が配置されている場合を示した。ユーザによる操作部１８の操作指示によって、タイムライン領域８０Ａに配置された複数の全天球パノラマ動画像（８０_１Ａ、８０_２Ａ、８０_３Ａ）の内の１つが選択指示される。これによって、選択指示された全天球パノラマ動画像が編集対象として選択された状態となる。

なお、図１２及び図１３は、全天球パノラマ動画像８０_３Ａが、編集対象として選択指示された状態を示している。

ユーザによる操作部１８の操作指示によって、全天球パノラマ動画像（８０_１Ａ、８０_２Ａ、８０_３Ａ）の内の１つが選択指示されると、操作部１８から編集装置１２へ、選択指示された全天球パノラマ動画像を識別する識別情報等を含む選択情報が出力される。編集装置１２では、操作部１８から受け付けた選択情報に含まれる識別情報によって特定される全天球パノラマ動画像を、編集対象として特定する。

図１２に戻り、ビューワ領域８０Ｂは、テンプレート８１の表示領域であると共に、テンプレート８１に関する指示を受け付ける領域である。テンプレート８１に関する指示は、テンプレート８１の作成に必要な各種情報を含む。

テンプレート８１は、編集対象の全天球パノラマ動画像における、編集対象の複数の指定領域の各々の編集画面を配置した表示画面である。指定領域は、ユーザによる操作部１８の操作指示によって設定される。同じフレームにおける複数の指定領域は、全天球パノラマ動画像のフレームにおける、位置、大きさ、範囲の少なくとも１つが異なるように設定されている。

具体的には、テンプレート８１に関する指示は、全天球パノラマ動画像のフレームにおける、指定領域の位置、大きさ、範囲を示す指定領域情報、および、これらの指定領域の編集画面の表示時の形態および配置（レイアウト）を示す配置情報などを含む。配置は、各テンプレート８１における配置位置を示す。

作成部６４（図１１参照）は、ユーザによる操作部１８の操作指示によって指示された指定領域を、編集対象の全天球パノラマ動画像から抽出する。そして、抽出した抽出画面を表示時の形態に応じて歪補正等の補正を行った編集画面を、配置情報に示される位置に配置することで、テンプレート８１を作成する。

なお、各テンプレート８１に対応する指定領域には、予め設定されたものを用いてもよい。

本実施の形態では、編集装置１２の作成部６４は、指定領域の位置、大きさ、範囲や、指定領域の数や、同一テンプレート８１内における編集画面のレイアウト等の異なる、複数種類のテンプレート８１を作成し、ビューワ領域８０Ｂに表示する。

図１４は、編集対象の全天球パノラマ動画像と、この全天球パノラマ動画像のフレームにおける複数の指定領域を編集するための複数の編集画面を配置したテンプレート８１と、の一例を示す模式図である。なお、これらの複数の指定領域は、上述したように、全天球パノラマ動画像における、位置、大きさ、範囲の少なくとも１つが互いに異なる。

この指定領域の指定方法について、具体的に説明する。例えば、ユーザによる操作部１８の操作指示によって、編集対象の全天球パノラマ動画像として全天球パノラマ動画像８０_１Ａが選択されたとする（図１４（Ａ）参照）。そして、ユーザによる操作部１８の操作指示によって、全天球パノラマ動画像８０_１Ａにおける編集対象の複数の指定領域が入力されると、操作部１８から編集装置１２へ、これらの複数の指定領域に関する指定領域情報が出力される。

編集装置１２の作成部６４では、操作部１８から受け付けた指定領域情報によって特定される各指定領域を、編集対象の全天球パノラマ動画像８０_１Ａから抽出する。そして、作成部６４は、抽出した抽出画像を、配置情報に示される表示形態（表示時の形状や大きさ）に応じて歪補正等の補正を行う。そして、補正後の抽出画像を、これらの指定領域の編集画面として、配置情報に応じた位置に配置する。これによって、作成部６４は、テンプレート８１を作成する。なお、各テンプレート８１に配置する編集画面のレイアウトなどを示す配置情報には、予め定めた値を用いてもよいし、ユーザによる操作部１８の操作指示によって適宜変更可能としてもよい。

図１４（Ａ）では、例えば、全天球パノラマ動画像８０_１Ａにおける、円状の指定領域Ａ〜指定領域Ｄが、ユーザによる操作部１８の操作指示によって選択された状態を示している。なお、操作部１８の操作指示によって、これらの指定領域の数や、指定領域の位置、指定領域の大きさ、指定領域の範囲、及び指定領域の形状は、任意の値及び形状に変更可能である。

例えば、各指定領域は、矩形状であってもよい。なお、各指定領域（指定領域Ａ〜指定領域Ｄ）の形状や大きさが、テンプレート８１における表示時の編集画面の形状や大きさとは異なる場合には、作成部６４では、上述のように歪補正を行う必要がある。この場合、編集装置１２は、撮影装置１４から歪補正パラメータを全天球パノラマ動画像と共に予め受信するようにし、受信した歪補正パラメータを用いて歪補正処理を行えばよい。

図１４（Ｂ）は、図１４（Ａ）に示す全天球パノラマ動画像から指定領域Ａ〜指定領域Ｄを抽出した抽出画像を、表示時の表示形態に応じて矩形状に歪補正することで得られた編集画面ａ〜編集画面ｄを、該配置情報によって示される表示位置及び表示範囲に配置したテンプレート８１_１（テンプレート８１）の一例である。

図１５は、編集対象の全天球パノラマ動画像と、全天球パノラマ動画像における指定領域の編集画面を配置したテンプレート８１と、の一例を示す模式図である。

なお、隣接する指定領域の重なる（オーバーラップする）領域が多いほど、全天球パノラマ動画像から抽出した抽出画像に対する歪補正は少なくてすむ。このため、各指定領域は、出来るだけ広い範囲で、且つ隣接する指定領域間における重なる領域が多くなるように指定されることが好ましい。

このため、このような条件を満たす指定領域を、編集装置１２側において予め設定して記憶しておくことが好ましい。

例えば、図１５（Ａ）は、全天球パノラマ動画像８０_２Ａについて、円状の指定領域Ａ〜指定領域Ｄが、編集対象の指定領域として選択された状態を示している。図１５（Ａ）に示すように、各指定領域は、互いに重複する領域が多くなるように、図１４（Ａ）に示す例に比べてより広い範囲で設定されている。

図１５（Ｂ）は、図１５（Ａ）に示す全天球パノラマ動画像から指定領域Ａ〜指定領域Ｄを抽出し、抽出した核抽出画像を矩形状に歪補正することで得られた編集画面ａ〜編集画面ｄを、予め定めた表示位置及び表示範囲に配置したテンプレート８１_３（テンプレート８１）の一例である。

また、図１５（Ｃ）は、全天球パノラマ動画像８０_３Ａについて、円状の指定領域Ａ〜指定領域Ｃが、編集対象の指定領域として予め選択された状態を示している。図１５（Ｃ）に示すように、各指定領域は、互いに重複する領域が多くなるように、図１４（Ａ）に示す例に比べてより広い範囲で３つ設定されている。

図１５（Ｄ）は、図１５（Ｃ）に示す全天球パノラマ動画像から指定領域Ａ〜指定領域Ｃを抽出し、抽出した抽出画像を矩形状に歪補正することで得られた編集画面ａ〜編集画面ｃを、予め定めた表示位置及び表示範囲に配置したテンプレート８１_２（テンプレート８１）の一例である。

また、図１５（Ｅ）は、全天球パノラマ動画像８０_３Ａにおける、円状の指定領域Ａ〜指定領域Ｄが、編集対象の指定領域として予め選択された状態を示している。図１５（Ｅ）に示すように、各指定領域は、互いに重複する領域が多くなるように、図１４（Ａ）に示す例に比べてより広い範囲で４つ設定されている。

図１５（Ｆ）は、図１５（Ｅ）に示す全天球パノラマ動画像から指定領域Ａ〜指定領域Ｄを抽出し、抽出した抽出画像を矩形状に歪補正することで得られた編集画面ａ〜編集画面ｄを、予め定めた表示位置及び表示範囲に配置したテンプレート８１_５（テンプレート８１）の一例である。

図１５に示すように、指定領域としてより広い範囲が指定されることが、テンプレート８１に表示したときの編集画面の歪量は少なくなることから好ましい。

本実施の形態では、編集装置１２は、図１５（Ｂ）、図１５（Ｄ）、図１５（Ｆ）に示すようなテンプレート８１（テンプレート８１_３、テンプレート８１_２、テンプレート８１_５）を作成するための複数の指定領域の位置、大きさ、範囲等を示す指定領域情報と、各指定領域の編集画面の配置を示す配置情報と、をテンプレート８１毎にＨＤ７６等に記憶しているものとする。

そして、編集装置１２の作成部６４では、指定領域情報および配置情報をテンプレート８１毎に読取り、編集対象として指示された全天球パノラマ動画像から対応する指定領域を抽出してテンプレート８１を作成する。

また、編集装置１２では、図１４に示すように、ユーザによる操作部１８の操作指示によって入力された指定領域の位置、範囲、大きさ、形状、数等を示す指定領域情報に基づいて、編集対象として指示された全天球パノラマ動画像から指定領域を抽出し、テンプレート８１（テンプレート８１_１）を作成する。

図１２に戻り、作成部６４が作成したテンプレート８１は、表示制御部５８によって、メイン編集画面８０のビューワ領域８０Ｂに表示される。

図１６は、ビューワ領域８０Ｂに表示されたテンプレート８１の一覧を示す模式図である。

図１６に示す例では、複数のテンプレート８１の一覧がビューワ領域８０Ｂに表示されている。ユーザは、操作部１８の操作指示によって、新たなテンプレート８１の設定に用いる指定領域情報および配置情報や、全天球パノラマ動画像の編集時に用いるテンプレート８１の選択等の指示入力を、ビューワ領域８０Ｂを介して行う。

図１６に示す例では、全天球パノラマ動画像の編集時に用いるテンプレート８１として、１つのテンプレート８１_５が選択された状態を示している。

図１２に戻り、エディタ領域８０Ｃは、編集対象の全天球パノラマ動画像の編集を行うときに、ユーザが参照及び操作指示する領域である。表示制御部５８は、編集対象として指示された全天球パノラマ動画像から作成部６４で作成された１または複数のテンプレート８１の一覧をエディタ領域８０Ｃに表示する。

ユーザは、表示された各テンプレート８１に示される編集画面のうち、所望の編集画面を選択し、各種編集指示を実行する。編集部６８は、ユーザによる操作部１８の操作指示によって入力された編集指示に基づいて、全天球パノラマ動画像における、選択された編集画面に対応する指定領域について編集処理を実行する。

図１７は、編集時にエディタ領域８０Ｃに表示される画像の一例を示す模式図である。

図１７に示すように、エディタ領域８０Ｃには、テンプレート８１の一覧を表示するための領域８７と、編集中の画像を表示する領域８４と、各種設定を行うための項目を示した選択欄８５と、が設けられている。

テンプレート８１の一覧を表示するための領域８７には、作成部６４で作成された複数のテンプレート８１（図１７に示す例では、テンプレート８１_４、テンプレート８１_２）が表示される。これらの表示制御は、表示制御部５８が実行する。

図１７に示す例では、ユーザによる操作部１８の操作指示によって、領域８７に表示された複数のテンプレート８１の内、テンプレート８１_２が選択された状態を示している。この場合、領域８４には、テンプレート８１_２が表示される。なお、領域８７に表示された複数のテンプレート８１の各々に示される編集画面の内の１または複数が、ユーザによる操作部１８の操作指示によって編集対象として選択された場合には、選択された編集画面が領域８４に表示され、編集可能な状態となる。

選択欄８５には、各編集画面に対する編集項目の一覧が表示される。本実施の形態では、選択欄８５には、「ターゲット追尾」、「座標固定」、「コメント画面」、「エフェクト機能」、「終了時間」等が表示される。なお、選択欄８５に表示する編集項目は、これらの項目に限られない。

「ターゲット追尾」とは、指定領域に含まれる移動体を追尾する機能を示す。移動体は、時間の経過に応じて移動する物体を示し、例えば、人、車等である。操作部１８の操作指示によって、編集対象の編集画面が選択された状態で、「ターゲット追尾」が選択されると、該編集画面の指定領域には、ターゲット追尾機能が付与される。

図１８は、「ターゲット追尾」の説明図である。図１８に示すように、編集対象の全天球パノラマ動画像を三次元の立体球ＣＳと仮定する。そして、この全天球パノラマ動画像を該立体球ＣＳの中心から仮想撮影装置Ｐにより撮影したとする。「ターゲット追尾」は、立体球ＣＳの全天球パノラマ動画像における、仮想撮影装置Ｐの視点Ｓを移動体の移動に応じて動かす（例えば、図１８中、矢印Ｘ１、矢印Ｘ２等参照）イメージである。

一方、「ターゲット追尾」機能を設定しない場合、仮想撮影装置Ｐの視点Ｓを固定したイメージとなる。すなわち、「ターゲット追尾」機能を設定しない場合、視点Ｓを固定した状態で対応する指定領域の画像を全天球パノラマ動画像から抽出して編集画面として表示するイメージとなる。

図１７に戻り、「座標固定」は、仮想撮影装置Ｐの視点Ｓを固定とする機能を示す。「コメント画面」は、テキストデータ等の各種コメント情報を入力する機能を示す。「エフェクト機能」は、編集対象の編集画面にエフェクト機能を付加するときにユーザによって指定される項目である。「終了時間」は、ある切り取られた時間軸での表示を指示するときにユーザによって選択される項目である。

ユーザは、メイン編集画面８０のエディタ領域８０Ｃを参照しながら、操作部１８によって編集対象の編集画面をテンプレート８１から選択した状態で、編集情報を入力する。編集情報は、選択された編集画面の指定領域に対して行う編集内容を示す情報である。この編集内容は、選択欄８５に表示された各編集項目の選択などによって入力される。

具体的には、例えば、ユーザは、領域８７に表示されたテンプレート８１を選択して、領域８４へマッピングする。そして、マッピングしたテンプレート８１を構成する編集画面の各々について、選択欄８５に示される各編集項目に応じた編集情報を入力することができる。また、ユーザは、領域８７に表示されたテンプレート８１に含まれる編集画面の内、所望の編集画面を選択して領域８４内にマッピングした上で、選択欄８５に示される各種編集情報の入力を行うこともできる。

編集部６８（図１１参照）は、操作部１８から入力された編集情報を用いて、選択されている編集画面の編集を行う。すなわち、編集部６８は、編集情報にエフェクトの設定情報が含まれる場合には、該設定情報に応じたエフェクト処理を、編集中の編集画面に対応する指定領域について行う。

図１９、図２０、図２１は、エディタ領域８０Ｃを介して編集された編集後の動画像のイメージ図である。

具体的には、図１９に示す画像９１は、図１４及び図１５に示す各テンプレート８１（テンプレート８１_１〜テンプレート８１_５）に示される各編集画面から、ユーザによる操作部１８の操作指示によって任意の編集画面が選択されて領域８４にマッピングされると共に、マッピングされた各編集画面について入力された編集情報を反映させたものである。

また、図１９に示す画像９１は、固定動画像と追尾動画像とを組み合わせた編集後の動画像のイメージを示したものである。

図１９に示す画像９１では、１または複数のテンプレート８１から選択された編集画面９１Ａについては「座標固定」（すなわちターゲット追尾無）が設定され、編集画像９１Ｂ及び編集画像９１Ｃについては「ターゲット追尾」が設定された状態を示す。

図２０に示す動画像９３は、図１４及び図１５に示す各テンプレート８１（テンプレート８１_１〜テンプレート８１_５）に示される各編集画面から、ユーザによる操作部１８の操作指示によって任意の編集画面が選択されて領域８４にマッピングされると共に、マッピングされた各編集画面について入力された編集情報を反映させたものである。図２０に示す動画像９２は、編集情報として、コメントの追加を指示された動画像のイメージを示したものである。

詳細には、図２０に示す動画像９２では、１または複数のテンプレート８１から任意の編集画面が選択され、編集画面９２Ａについては「座標固定」（すなわちターゲット追尾無）が設定され、編集画面９２Ｂについては「ターゲット追尾」が設定された状態を示す。また、ユーザによる操作部１８の操作指示によって、コメント９２Ｄ、及びコメント９２Ｃも追加されている。

図２１に示す動画像９２は、図１４及び図１５に示す各テンプレート８１（テンプレート８１_１〜テンプレート８１_５）に示される編集画面から、ユーザによる操作部１８の操作指示によって任意の編集画面が選択されて領域８４にマッピングされると共に、マッピングされた各編集画面について入力された編集情報を反映させたものである。また、図２１に示す動画像９３は、ターゲット追尾の設定された編集画像のみを組み合わせたイメージを示したものである。

詳細には、図２１に示す動画像９３では、１または複数のテンプレート８１から任意の編集画面が選択され、編集画面９３Ａ及び編集画面９３Ｂの双方について、「ターゲット追尾」が設定された状態を示す。

これらの、編集後の編集画面を合成した動画像（動画像９１〜動画像９３）は、ユーザによる操作部１８を介して指示されたマッピング等の合成指示に応じた編集部６８の合成処理によって作成される。

図１２に戻り、合成動画領域８０Ｄは、エディタ領域８０Ｃを介して編集された編集後の動画像を表示する領域である。

図２２は、合成動画領域８０Ｄの一例を示す模式図である。図２２に示すように合成動画領域８０Ｄには、編集後の動画像であって、ユーザによる操作部１８の操作指示によって合成位置に配置された編集後の動画像と、現在編集中の動画像を示す枠画像９４Ａと、が表示されている。ユーザは、操作部１８の操作指示によって、編集した動画像を合成動画領域８０Ｄにおける任意の位置へ貼り付ける指示を行う。これによって、編集後の動画像の合成時の配置位置が入力される。

編集装置１２では、合成動画領域８０Ｄに配置された編集後の各動画像を、合成動画領域８０Ｄに配置された配置位置の順に合成する。

次に、編集装置１２で実行する編集処理の手順を説明する。

図２３は、編集装置１２で実行する編集処理の手順を示すフローチャートである。

まず、編集装置１２の取得部６０が、編集プログラムの実行指示を操作部１８から受け付ける。制御部５２では、ＲＯＭ３２０等に予め記憶されている編集プログラムを実行することで、図２３に示す手順を実行する。また、制御部５２が編集プログラムを実行すると、表示制御部５８は、メイン編集画面８０を表示装置１６に表示する制御を行う。

まず、接続部５４が撮影装置１４との接続確立を行う（ステップＳ２００）。ステップＳ２００の処理によって、編集装置１２は、撮影装置１４と信号授受可能な状態となる。

次に、制御部５２では、ステップＳ２０２〜ステップＳ２０６の処理を、操作部１８から指示された素材数分繰り返す。

具体的には、取込部５６が、ユーザによる操作部１８の操作指示によって取込対象として指示された素材としての全天球パノラマ動画像をキャプチャ、すなわち取り込む（ステップＳ２０２）。

次に、表示制御部５８が、ステップＳ２０２でキャプチャされた全天球パノラマ動画像の内、ユーザによる操作部１８の操作指示によって指示された素材を、メイン編集画面８０におけるタイムライン領域８０Ａに配置する（ステップＳ２０４）。

次に、取込部５６が、その他素材のインポートを実行する（ステップＳ２０６）。ステップＳ２０６では、ユーザによる操作部１８の操作指示によって指示されたその他の素材を、インポートする。表示制御部５８は、インポートされた素材を、タイムライン領域８０Ａに配置する。

次に、取得部６０が、タイムライン領域８０Ａに表示された複数の素材の内の何れかの選択指示を操作部１８から受け付けたか否かを判断する（ステップＳ２０８）。

ステップＳ２０８では、肯定判断（ステップＳ２０８：Ｙｅｓ）するまで否定判断（ステップＳ２０８：Ｎｏ）を繰り返す。ステップＳ２０８で肯定判断すると（ステップＳ２０８：Ｙｅｓ）、ステップＳ２１０へ進む。

ステップＳ２１０では、ステップＳ２０８で選択されたタイムラインが全天球パノラマ動画像であるか否かを判断する（ステップＳ２１０）。

ステップＳ２１０で否定判断すると（ステップ２１０：Ｎｏ）、後述するステップＳ２２８へ進む。ステップＳ２１０で肯定判断すると（ステップＳ２１０：Ｙｅｓ）、ステップＳ２１２へ進む。

ステップＳ２１２では、作成部６４が、ＨＤ７６に格納されている、テンプレート８１毎の指定領域情報および配置情報を読取る（ステップＳ２１２）。

そして、作成部６４は、テンプレート８１を作成する（ステップＳ２１４）。詳細には、作成部６４は、ステップＳ２０８で編集対象として指示された全天球パノラマ動画像から、ステップＳ２１２で読取った指定領域情報によって特定される指定領域を抽出する。そして、抽出した抽出画像を表示時の形状や大きさに応じて歪補正等を行った上で、配置情報に基づいて、これらの指定領域を編集するための編集画面として配置することで、テンプレート８１を作成する。

なお、作成部６４は、ステップＳ２１２の処理において、ユーザによる操作部１８の操作指示によって入力された指定領域情報や配置情報を受け付け、受け付けた指定領域情報および配置情報を用いて、テンプレート８１を作成してもよい。

次に、表示制御部５８は、作成部６４で作成されたテンプレート８１をメイン編集画面８０へ表示する（ステップＳ２１６）。

次に、受付部６６は、操作部１８から編集対象の編集画像の表示されたテンプレート８１の選択を操作部１８から受け付けたか否かを判断する（ステップＳ２１８）。ステップＳ２１８では、肯定判断（ステップＳ２１８：Ｙｅｓ）するまで否定判断（ステップＳ２１８：Ｎｏ）を繰り返す。

ステップＳ２１８で肯定判断（ステップＳ２１８：Ｙｅｓ）すると、ステップＳ２２０へ進む。

ステップＳ２２０では、受付部６６（第１受付部６６Ａ）が、テンプレート８１に表示された編集画面の編集指示を受け付けたか否かを判断する（ステップＳ２２０）。ステップＳ２２０では、肯定判断（ステップＳ２２０：Ｙｅｓ）するまで否定判断（ステップＳ２２０：Ｎｏ）を繰り返す。ステップＳ２２０で肯定判断（ステップＳ２２０：Ｙｅｓ）すると、ステップＳ２２２へ進む。

ステップＳ２２２では、編集部６８が、ステップＳ２２０で受け付けた編集指示に応じた編集処理を実行する（ステップＳ２２２）。具体的には、編集部６８は、編集指示に含まれるエフェクト機能、追尾機能等の各種設定に応じた処理を、編集対象の全天球パノラマ動画像における、指示された編画画面に対応する指定領域について実行する。これによって、編集画面に対応する指定領域の動画像を編集する。

なお、上記ステップＳ２２０において、受付部６６（第２受付部６６Ｂ）が、編集後の編集画面に対応する指定領域のマッピングやコメント入力等により、複数の編集画面やコメント画像等を合成する合成指示がなされた場合、編集部６８は、ステップＳ２２２において、編集画面の合成を行う。これによって、例えば、図１９〜図２１に示す動画像９１〜動画像９３が作成される。

次に、表示制御部５８が、編集処理後の動画像を表示装置１６へ表示する制御をおこなう（ステップＳ２２４）。

次に、制御部５２は、編集終了指示を操作部１８から受け付けたか否かを判断する（ステップＳ２２６）。ステップＳ２２６で否定判断すると（ステップＳ２２６：Ｎｏ）、ステップＳ２１８へ戻る。一方、ステップＳ２２６で肯定判断すると（ステップＳ２２６：Ｙｅｓ）、ステップＳ２２８へ進む。

ステップＳ２２８では、取得部６０が、操作部１８からのトリミング指示に従い、公知のトリミング処理（時間の編集処理）を実行する（ステップＳ２２８）。

次に、制御部５２は、編集処理を終了するか否かを判断する（ステップＳ２３０）。ステップＳ２３０の判断は、取得部６０が、操作部１８から編集処理の終了を示す信号を受けたか否かを判別することで、判断可能である。

ステップＳ２３０で否定判断すると（ステップＳ２３０：Ｎｏ）、上記ステップＳ２０８へ進む。ステップＳ２３０で肯定判断すると（ステップＳ２３０：Ｙｅｓ）、ステップＳ２３２へ進む。

ステップＳ２３２では、取得部６０が、操作部１８から書出指示を受け付けた否かを判断する。ステップＳ２３２で否定判断すると（ステップＳ２３２：Ｎｏ）、本ルーチンを終了する。一方、ステップＳ２３２で肯定判断すると（ステップＳ２３２：Ｙｅｓ）、ステップＳ２３４へ進む。

ステップＳ２３４では、書出部７４が、編集された全天球パノラマ動画像などの素材を合成した合成画像を、予め定めたファイル形式またはユーザによる操作指示によって指示されたファイル形式に変換することで、ビデオファイルを生成する（ステップＳ２３４）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の編集装置１２では、全天球パノラマ動画像について、全天球パノラマ動画像から抽出した指定領域の編集画面を配置したテンプレートを、表示装置１６へ表示する。

このため、ユーザは、テンプレートに示される編集画面のうち、編集対象の編集画面を選択して編集指示を行うことで、全天球パノラマ動画像における編集対象とする所望の領域を容易に特定し、容易に編集指示を行うことができる。

従って、本実施の形態の編集装置１２では、全天球パノラマ動画像を編集する場合であっても、効率良く編集可能な画面を提供することができる。

また、編集装置１２は、テンプレート８１における指定領域を示す指定領域情報や、これらの指定領域の配置情報を、ユーザから操作部１８を介して受け付ける。そして、受け付けた指定領域情報や配置情報に応じたテンプレート８１を作成する。

このように、編集装置１２では、ユーザ所望の指定領域の設定や、編集画面の配置情報を反映させたテンプレート８１を作成し、表示装置１６へ表示する。このため、編集装置１２では、ユーザがさらに効率よく全天球パノラマ動画像を編集可能な画面を提供することができる。

また、本実施の形態の編集装置１２では、テンプレート８１に含まれる各編集画面に対する編集項目の一覧を表示する。ユーザは、メイン編集画面８０のエディタ領域８０Ｃを参照しながら、操作部１８によって編集対象の編集画面をテンプレート８１から選択した状態で、編集情報を入力する。編集情報は、選択された編集画面の指定領域に対して行う編集内容を示す情報である。この編集内容は、選択欄８５に表示された各編集項目の選択などによって入力される。

このように、編集装置１２では、各編集画面に対応する指定領域について、「ターゲット追尾」、「座標固定」、「コメント画面」、「エフェクト機能」、「終了時間」等の各種編集項目を容易に設定可能に提供することができる。

すなわち、ユーザは、編集対象の全天球パノラマ動画像について、膨大な画像情報の中から、所望の領域を編集画面を介して選択し、各編集画面について所望の編集処理を行うための項目を設定することができる。

従って、本実施の形態の編集装置１２では、全天球パノラマ動画像を編集する場合であっても、効率良く編集可能な画面を提供することができる。

なお、本実施の形態における、編集装置１２は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、入力装置と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

編集装置１２で実行される、上記編集処理を実行するための編集プログラムは、ＮＶ−ＲＡＭやＲＯＭやその他の不揮発性記憶媒体に予め組み込まれて提供される。また、編集装置１２で実行される、上記編集処理を実行するための編集プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録し提供することも可能である。

また、編集装置１２で実行される、上記編集処理を実行するための編集プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供または配布するように構成してもよい。

また、編集装置１２で実行される、上記編集処理を実行するための編集プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

また、編集装置１２で実行される上記編集処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から該編集プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

以上、発明を実施するための諸実施の形態について説明を行ったが、本発明は、上述した実施の形態に限定されるものではない。本発明の主旨を損なわない範囲で変更することが可能である。

１０ 編集システム
１２ 編集装置
１８ 操作部
１８Ｃ ＵＩ部
５６ 取込部
５８ 表示制御部
６０ 取得部
６４ 作成部
６６ 受付部
６８ 編集部
８０ メイン編集画面
８１ テンプレート

特許第４１５４０１２号公報 特許第４６１０１５６号公報

Claims (6)

1. 全天球の範囲の撮影によって得られる全天球パノラマ動画像における、位置、大きさ、及び範囲の少なくとも１つの異なる複数の指定領域に関する指定領域情報を取得する取得部と、
   前記全天球パノラマ動画像における前記指定領域の各々を編集するための編集画面を予め定めたレイアウトで配置したテンプレートを作成する作成部と、
   前記テンプレートを表示部に表示する表示制御部と、
   前記編集画面の編集指示を受け付ける受付部と、
   前記編集指示に基づいて、前記全天球パノラマ動画像における前記編集画面に対応する指定領域を編集する編集部と、
   を備えた編集装置。
2. 前記作成部は、前記指定領域情報によって特定される指定領域を前記全天球パノラマ動画像から抽出し、抽出した抽出画像を予め定めた表示時の形態に応じて補正した前記編集画面を前記レイアウトで配置した前記テンプレートを作成する、請求項１に記載の編集装置。
3. 前記編集指示は、前記全天球パノラマ動画像を撮影する仮想撮影装置の視点位置を前記指定領域に含まれる移動体の移動に沿って追尾させる追尾機能の設定指示を含み、
   前記編集部は、前記追尾機能の設定指示のなされた前記編集画面に対応する指定領域の位置を該指定領域に含まれる移動体の移動に沿って移動させることによって、該編集画面に対応する指定領域を編集する、請求項１または請求項２に記載の編集装置。
4. 前記受付部は、前記編集指示に基づいて編集された前記編集画面の合成指示を更に受け付け、
   前記編集部は、前記編集指示に基づいて編集した前記編集画面を前記合成指示に応じて合成する、
   請求項１〜請求項３の何れか１項に記載の編集装置。
5. 全天球パノラマ動画像における、位置、大きさ、及び範囲の少なくとも１つの異なる複数の指定領域に関する指定領域情報を取得するステップと、
   編集対象の全天球パノラマ動画像における前記指定領域の各々を編集するための編集画面を予め定めたレイアウトで配置したテンプレートを作成するステップと、
   前記テンプレートを表示部に表示するステップと、
   前記編集画面の編集指示を受け付けるステップと、
   前記編集指示に基づいて、前記全天球パノラマ動画像における前記編集画面に対応する指定領域を編集するステップと、
   を含む編集方法。
6. コンピュータに、
   全天球パノラマ動画像における、位置、大きさ、及び範囲の少なくとも１つの異なる複数の指定領域に関する指定領域情報を取得するステップと、
   編集対象の全天球パノラマ動画像における前記指定領域の各々を編集するための編集画面を予め定めたレイアウトで配置したテンプレートを作成するステップと、
   前記テンプレートを表示部に表示するステップと、
   前記編集画面の編集指示を受け付けるステップと、
   前記編集指示に基づいて、前記全天球パノラマ動画像における前記編集画面に対応する指定領域を編集するステップと、
   を実行させる編集プログラム。

Images