JPWO2016035423A1 - 動画編集装置、動画編集方法及び動画編集プログラム - Google Patents

Abstract

本発明は、編集者の意図に沿った動画編集を自動的に行うことができる動画編集装置、動画編集方法及び動画編集プログラムを提供する。本発明の一態様によると、動画編集装置として機能するスマートフォン（１００）は、動画撮像可能な複数のカメラと無線により接続され、複数のカメラから１乃至複数のライブビュー画像を取得する無線通信部（１１０）と、取得した１乃至複数のライブビュー画像を表示する表示パネル（１２１）と、表示パネル（１２１）に表示させるライブビュー画像を手動操作により切り替える操作パネル（１２２）と、操作パネル（１２２）での操作履歴を示す操作履歴情報を記憶する記憶部（１５０）と、複数のカメラによる動画撮像の終了後、複数のカメラによりそれぞれ撮像された複数の動画と記憶部（１５０）に記憶された操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行う動画編集部として機能する主制御部（１０１）と、を備える。

Description

本発明は動画編集装置、動画編集方法及び動画編集プログラムに係り、特に複数のカメラにより同時に撮像された複数の動画を編集して一本の動画を作成する技術に関する。

従来、編集作業の効率向上を図った動画編集装置として、特許文献１に記載のものが知られている。

特許文献１に記載の動画編集装置は、順次入力される複数の動画を記憶する記憶手段と、この記憶手段が記憶した複数の動画を用いてシーンが切換わった画像を検出する検出手段と、この検出手段が検出した画像を動画インデックス情報として作成する動画インデックス情報作成手段とを備えている。そして、動画インデックス情報により、全ての動画を見なくても一連の動画の内容がおおよそ分かり、また、動画中のシーンが切換わった画像の検索の手間を省くことができ、動画の切り出し、加工変換処理、インデックス付けなどの作業の効率の向上を図っている。

また、特許文献２には、複数の画像を用いて、「超広角写真合成」、「ノイズ除去」、及び「ダイナミックレンジ拡大」といった画像合成する技術が記載されている。「超広角写真合成」は、分割撮影した写真（画像）を継ぎ目のない自然な１枚写真に合成する画像合成であり、パノラマ画像合成処理に相当し、「ノイズ除去」は、連続撮影した同じ構図の写真を重ね合わせてノイズを除去する画像合成であり、「ダイナミックレンジ拡大」は、明暗差が激しい被写体に対して、異なった露出で撮影した２枚の写真を合成することで白飛びや黒潰れのないダイナミックレンジの広い写真を作成する画像合成であり、いずれも周知のものである。

また、特許文献２に記載の画像合成装置は、合成元の画像ファイルの付属データ（「カメラ情報」、「撮影日時」、「レンズ情報」、「露出情報」、「レンズ焦点距離」等）に基づいて合成に必要な複数の画像を抽出し、抽出した複数の画像から合成画像（パノラマ画像等）を生成するとともに、生成した合成画像のファイル（合成画像ファイル）に、合成元の画像ファイルの付属データを付加するというものである。

特許文献３には、複数のカメラ装置からの映像の中から所望の映像を選択することができるカメラシステムが開示されている。

特許文献３に記載のカメラシステムは、撮像による映像信号をパケット化して出力する複数のカメラ装置と、複数のカメラ装置と接続され、複数のカメラ装置から伝送される映像信号を中継する中継装置とを有し、中継装置は、同期信号に基づいて複数のカメラ装置間で同期されたそれぞれの映像信号を受信する受信部と、切替え・選択制御部からの指示により、複数のカメラ装置から出力されたパケット化された映像信号から指示入力に対応する映像信号を選択して出力するためのスイッチ部と、を備える。

また、特許文献２には、複数のカメラ装置からの映像データを一画面に合成し、モニタに出力する記載があり、これにより、ユーザは複数のカメラ装置の映像を視認することができ、モニタの映像の中から所望の映像を選択することができる。

特開平５−１８３８６２号公報 特開２００９−３０３２４４号公報 特開２０１１−２５９３６５号公報

特許文献１に記載の動画編集装置は、動画インデックス情報を自動的に作成するようにしたため、編集者は、全ての動画を見なくても一連の動画の内容がおおよそ分かり、また、動画中のシーンが切換わった画像の検索の手間を省くことができ、これにより編集の作業の効率向上を図ることができるものの、編集作業の自動化を図ることはできない。

特許文献２には、画像ファイルの付属データに基づいてパノラマ画像等の合成に必要な複数の画像を抽出し、抽出した複数の画像から合成画像を生成する記載があるが、複数のカメラにより同時に撮像される動画の編集を行うものではなく、そもそも動画に関する記載がない。

特許文献３に記載のカメラシステムを構成する中間装置は、複数のカメラ装置と接続され、複数のカメラ装置から伝送される映像信号を中継するものであり、ビデオライブスイッチャーのコントロールパネルに相当する切替え・選択制御部から、放送などの映像として出力されるカメラ映像を選択したり切り替えるための指示が入力されると、複数のカメラ装置から出力されたパケット化された映像信号から、指示入力に対応する映像信号を選択して後段のカメラコントロールシステムに出力するものであり、複数のカメラ装置により撮像された複数の映像を、撮像終了後に編集するものではない。尚、中間装置は、複数のカメラ装置から伝送される映像信号を中継するものであるため、複数のカメラ装置により撮像された全ての映像をリアルタイムに取得する必要がある。

本発明はこのような事情に鑑みてなされたもので、複数のカメラにより同時に撮像された複数の動画を編集して一本の動画を作成する際に、編集者の意図に沿った動画編集を自動的に行うことができる動画編集装置、動画編集方法及び動画編集プログラムを提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る動画編集装置は、動画撮像可能な複数のカメラと無線又は有線により接続され、複数のカメラから１乃至複数のライブビュー画像を取得するライブビュー画像取得部と、ライブビュー画像取得部により取得した１乃至複数のライブビュー画像を表示する表示部と、表示部に表示させるライブビュー画像を手動操作により切り替える操作部と、操作部での操作履歴を示す操作履歴情報を記録する操作履歴記録部と、複数のカメラによる動画撮像の終了後、複数のカメラによりそれぞれ撮像された複数の動画と操作履歴記録部に記録された操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行う動画編集部と、を備える。

本発明の一の態様によれば、表示部に表示されるライブビュー画像を見ながら操作部を手動操作してライブビュー画像の切り替え等の操作が行われると、その操作部での操作履歴を示す操作履歴情報を操作履歴記録部に記録しておき、複数のカメラによる動画撮像が終了すると、複数のカメラによりそれぞれ同時に撮像された複数の動画と操作履歴記録部に記録された操作履歴情報とに基づいて一本の動画を自動的に作成するようにしている。これにより、複数のカメラにより同時に撮像された複数の動画を編集して一本の動画を作成する際に、改めて手動による編集操作を行うことなく、自動的に動画編集を行うことができ、かつ動画撮像時の操作履歴情報を使用して動画編集を行うため、操作者（編集者）の意図に沿った動画編集を行うことができる。

本発明の他の態様に係る動画編集装置において、動画編集部により動画編集した一本の動画を記録する動画記録部を備えることが好ましい。

本発明の更に他の態様に係る動画編集装置において、動画編集部は、動画再生毎に一本の動画を自動的に作成する動画編集を行うとともに、動画編集した動画を表示部に表示させることが好ましい。これにより、編集された動画を動画記録部に記録する前に確認することができる。

本発明の更に他の態様に係る動画編集装置において、操作部は、複数のカメラによりそれぞれ撮像された複数の動画のうち、動画編集部で使用する一の動画に対応するライブビュー画像を選択する操作を受け付け、操作履歴情報は、操作時のタイムコードと動画編集部で使用する一の動画を特定する情報とを含み、動画編集部は、操作履歴情報に基づいて複数のカメラによりそれぞれ撮像された複数の動画のうちのいずれか１つの動画を選択し、選択した動画をつなぎ合わせる動画編集を含む。

本発明の更に他の態様によれば、操作部を手動操作してライブビュー画像を切り替えると、切り替えられたライブビュー画像に対応する一の動画を選択し、選択した動画を時系列順につなぎ合わせて一本の動画を生成することができる。

本発明の更に他の態様に係る動画編集装置において、操作部は、複数のカメラによりそれぞれ撮像された複数の動画のうち、同時に表示させる二以上の動画を特定し、かつ特定した二以上の動画の各コマのコマ形状及びコマ位置を示すレイアウトを特定する操作を受け付け、表示部は、操作部により特定された二以上の動画に対応するライブビュー画像を、特定されたレイアウトで表示し、操作履歴情報は、操作部により特定した二以上の動画を示す情報及び特定したレイアウトを示すレイアウト情報を含み、動画編集部は、操作履歴情報に基づいて複数のカメラによりそれぞれ撮像された複数の動画のうちの同時に表示する二以上の動画を特定し、かつ特定した二以上の動画を特定したレイアウトにしたがって合成する動画編集を含む。

本発明の更に他の態様によれば、操作部を手動操作して二以上の動画の各コマのコマ形状及びコマ位置を示すレイアウトを特定する操作が行われると、表示部には二以上の動画の各コマのコマ形状及びコマ位置を示すレイアウトに対応するライブビュー画像（マルチライブビュー画像）が表示され、このマルチライブビュー画像に対応する二以上の動画を選択し、選択した二以上の動画を特定したレイアウトにしたがって合成する動画編集を行うことができる。

本発明の更に他の態様に係る動画編集装置において、複数のカメラによる動画撮像の終了後、複数のカメラから複数の動画の全てを取得し、又は操作履歴情報に基づいて複数のカメラから複数の動画のうち、動画編集に使用する動画のみを取得する動画取得部を備えることが好ましい。前者の場合には、編集元の全ての動画を取得するため、編集元の全ての動画を動画編集装置で保存する場合に好適であり、後者の場合には、動画編集に使用する動画のみを取得するため、無駄な通信等が発生しない利点がある。

本発明の更に他の態様に係る動画編集装置において、表示部及び操作部は、表示パネルと、表示パネル上のタッチされた座標を検出する操作パネルとからなるタッチパネルとから構成され、表示パネルは、ライブビュー画像が表示される領域と、操作用のアイコンボタンが表示される領域とを有することが好ましい。

本発明の更に他の態様に係る動画編集装置において、表示部及び操作部は、表示パネルと、表示パネル上のタッチされた座標を検出する操作パネルとからなるタッチパネルとから構成され、表示パネルは、ライブビュー画像が表示される領域と、操作用のアイコンボタンが表示される領域とを有し、操作用のアイコンボタンは、レイアウトを選択するためのレイアウトボタンを含むことが好ましい。

本発明の更に他の態様に係る動画編集装置において、表示部及び操作部は、表示パネルと、表示パネル上のタッチされた座標を検出する操作パネルとからなるタッチパネルとから構成され、表示パネルは、ライブビュー画像が表示される領域を有し、操作部は、ライブビュー画像が表示される各コマ領域間でのスワイプ操作に基づいて特定した二以上の動画のレイアウト内のコマ位置の入れ替えを指示することが好ましい。

本発明の更に他の態様に係る動画編集装置において、複数のカメラは、パン・チルトカメラを含み、パン・チルトカメラを遠隔操作するパン・チルト操作部と、パン・チルト操作部での操作に応じてパン・チルトカメラに駆動指令を出力する駆動指令出力部と、を備えている。

本発明の更に他の態様に係る動画編集方法は、動画撮像可能な複数のカメラから無線又は有線により１乃至複数のライブビュー画像を取得するステップと、取得した１乃至複数のライブビュー画像を表示部に表示させるステップと、表示部に表示中のライブビュー画像を操作部での手動操作により切り替えるステップと、複数のカメラによる動画撮像中に操作部での操作履歴を示す操作履歴情報を、操作履歴記録部に記録するステップと、複数のカメラによる動画撮像の終了後、複数のカメラによりそれぞれ撮像された複数の動画と操作履歴記録部に記録された操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行うステップと、を含んでいる。

本発明の更に他の態様に係る動画編集方法において、動画編集した一本の動画を動画記録部に記録するステップを更に含んでいる。

本発明の更に他の態様に係る動画編集方法において、動画編集を行うステップは、動画再生毎に一本の動画を自動的に作成する動画編集を行うとともに、動画編集した動画を表示部に表示させることが好ましい。

本発明の更に他の態様に係る動画編集方法において、操作部による手動操作は、複数のカメラによりそれぞれ撮像された複数の動画のうち、動画編集に使用する一の動画に対応するライブビュー画像を選択する操作を含み、操作履歴情報は、操作時のタイムコードと動画編集に使用する一の動画を特定する情報とを含み、動画編集を行うステップは、操作履歴情報に基づいて複数のカメラによりそれぞれ撮像された複数の動画のうちのいずれか１つの動画を選択し、選択した動画をつなぎ合わせる動画編集を含んでいる。

本発明の更に他の態様に係る動画編集方法において、操作部による手動操作は、複数のカメラによりそれぞれ撮像された複数の動画のうち、同時に表示させる二以上の動画を特定し、かつ特定した二以上の動画の各コマのコマ形状及びコマ位置を示すレイアウトを特定する操作を含み、ライブビュー画像を表示部に表示させるステップは、操作部により特定された二以上の動画に対応するライブビュー画像を、特定されたレイアウトで表示し、操作履歴情報は、操作部により特定した二以上の動画を示す情報及び特定したレイアウトを示すレイアウト情報を含み、動画編集を行うステップは、操作履歴情報に基づいて複数のカメラによりそれぞれ撮像された複数の動画のうちの同時に表示する二以上の動画を特定し、かつ特定した二以上の動画を特定したレイアウトにしたがって合成する動画編集を含んでいる。

更に他の態様に係る発明は、無線通信部と、表示部と、操作部と、コンピュータとを備えた携帯端末を、動画撮像可能な複数のカメラにより撮像された複数の動画の動画編集装置として機能させる動画編集プログラムであって、無線通信部を介して複数のカメラから１乃至複数のライブビュー画像を取得する機能と、表示部に取得した１乃至複数のライブビュー画像を表示させる機能と、操作部による手動操作により表示部に表示させるライブビュー画像を切り替えさせる機能と、操作部での操作履歴を示す操作履歴情報を操作履歴記録部に記録させる機能と、複数のカメラによる動画撮像の終了後、複数のカメラによりそれぞれ撮像された複数の動画と操作履歴記録部に記録された操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行う機能と、をコンピュータに実現させるようにしている。このプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体も本発明の態様に含まれる。

本発明によれば、複数のカメラによる動画撮像中にライブビュー画像を見ながら操作部を手動操作してライブビュー画像の切り替え等の操作が行われると、その操作部での操作履歴を示す操作履歴情報を記録し、動画撮像の終了後に複数のカメラにより同時に撮像された複数の動画と記録した操作履歴情報とに基づいて一本の動画を自動的に作成するようにしたため、動画編集時に改めて手動による編集操作を行うことなく、自動的に動画編集を行うことができ、かつ動画撮像時の操作履歴情報を使用して動画編集を行うため、編集者の意図に沿った動画編集を行うことができる。

図１は本発明に係る動画編集装置を含むシステムの外観を示す斜視図である。 図２は図１に示したカメラ１０Ａの内部構成の実施形態を示すブロック図である。 図３は図１に示したスマートフォンの構成を示すブロック図である。 図４はスマートフォンの表示画面の実施形態を示す図である。 図５はカメラ台数が３台、２台、及び１台の場合にそれぞれ選択可能なレイアウトを示す図である。 図６は３つのライブビュー画像をマルチライブビュー表示する所定のレイアウト内で３つのライブビュー画像のコマのコマ位置を入れ替えた場合に得られるコマ位置の組み合わせを示す図である。 図７は図４に示した表示パネルのマルチライブビュー表示する表示領域の拡大図であり、特にライブビュー画像のコマ位置の入れ替えを説明するために用いた図である。 図８は図４に示した表示パネルのマルチライブビュー表示する表示領域の拡大図であり、特に１つのライブビュー画像が表示されている場合に、１つのライブビュー画像の切り替えを説明するために用いた図である。 図９は記憶部に記録されるログファイルの一例を示す図である。 図１０は本発明に係る動画編集方法の実施形態を示すフローチャートである。 図１１は図１０中の動画編集を行うステップの処理内容の詳細を示すフローチャートである。 図１２は編集された動画と動画内の各コマとの関係を示す図である。

以下、添付図面に従って本発明に係る動画編集装置、動画編集方法及び動画編集プログラムの実施の形態について説明する。

＜動画編集装置を含むシステム＞
図１は本発明に係る動画編集装置を含むシステムの外観を示す斜視図である。

図１に示すシステムは、動画の撮像が可能な複数（本例では、３台）のカメラ１０Ａ，１０Ｂ，１０Ｃと、本発明に係る動画編集装置（本例ではスマートフォン）１００とから構成されている。

カメラ１０Ａは、パン・チルトカメラであり、カメラ１０Ｂ，１０Ｃは、パン・チルト機能を有しない通常のカメラである。尚、複数のカメラは、上記の種類のカメラに限らず、デジタルビデオカメラを含んでいてもよく、同じ種類のカメラであってもよい。要は、少なくとも動画の撮像が可能なカメラであれば、いかなるカメラでもよい。

図１に示すカメラ１０Ａは、主としてカメラ本体１２と、台座１４と、台座１４に固定されるとともに、撮像部２０を回動自在に保持する保持部１６と、撮像部２０を覆うドームカバー１８とを有している。

台座１４は、カメラ本体１２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図２）により垂直方向Ｚの軸を中心にして回転する。

保持部１６は、水平方向Ｘの軸と同軸上に設けられたギア１６Ａを有し、チルト駆動部３６（図２）からギア１６Ａを介して駆動力が伝達されることにより、撮像部２０を上下方向に回動（チルト動作）させる。

ドームカバー１８は、防塵及び防滴用のカバーであり、撮像部２０の光軸方向Ｌにかかわらず、撮像部２０の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。

また、カメラ本体１２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。

カメラ１０Ａには、撮像開始を指示する撮像開始ボタン１９、電源スイッチ（図示せず）、無線通信部５０（図２）等が設けられており、カメラ１０Ａは、無線通信部５０を介してスマートフォン１００との間で無線通信を行い、スマートフォン１００から各種の操作用の指令信号を受信し、また、撮像したライブビュー画像を示す画像データ等をスマートフォン１００に送信する。

また、カメラ１０Ｂ，１０Ｃは、パン・チルト機能が設けられていないが、スマートフォン１００との間で無線通信を行う無線通信部を有する点で、カメラ１０Ａと共通している。

また、カメラ１０Ａ〜１０Ｃは、動画の撮像時にSMPTE（Society of Motion Picture and Television Engineers）で定めた標準規格のタイムコード（SMPTEタイムコード）を、動画の各コマに対応して記録する機能を有している。ここで、SMPTEタイムコードは、動画の同期及び編集等に使用されるもので、動画の各コマの撮像時刻を示す。また、スマートフォン１００のSMPTEタイムコードと、カメラ１０Ａ〜１０ＣのSMPTEタイムコードとは、同期をとることができ、また、スマートフォン１００は、カメラ１０Ａ〜１０Ｃにより撮像される動画のSMPTEフレームレートを一致させ、SMPTE開始フレームを「0:00:00:00」に設定することができる。

＜カメラ１０Ａ（パン・チルトカメラ）＞
図２はカメラ１０Ａの内部構成の実施形態を示すブロック図である。

このカメラ１０Ａは、静止画及び動画を撮像することができるが、以下、動画を撮像する場合について説明する。

カメラ１０Ａは、大別して撮像部２０と、パン・チルト装置３０と、制御部４０と、無線通信部５０とを備えている。

撮像部２０は、撮像レンズ２２及び撮像素子２４等を有している。撮像レンズ２２は、単焦点レンズ又はズームレンズにより構成され、被写体像を撮像素子２４の撮像面上に結像させる。尚、撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ（ズームレンズの場合）及び絞り２３は、それぞれレンズ駆動部２６により駆動される。

本例の撮像素子２４は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンで配列（ベイヤ配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）されたカラー撮像素子であり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサにより構成されている。尚、ＣＭＯＳ型イメージセンサに限らず、ＣＣＤ（Charge Coupled Device）型イメージセンサでもよい。

撮像素子２４は、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳドライバ２８、及びタイミングジェネレータ（ＴＧ）２９により駆動され、撮像素子２４からは、被写体光の入射光量に応じた画素信号（画素毎に蓄積された信号電荷に対応するデジタル信号）が読み出される。

パン・チルト装置３０は、図１に示したように撮像部２０をカメラ本体１２に対して水平方向（パン方向）に回転されるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構（以下、「パン・チルト機構」と称す）３２、パン駆動部３４、及びチルト駆動部３６等を備えている。パン・チルト機構３２は、パン方向の基準位置を検出するホームポジションセンサ（例えば、近接スイッチ）、チルト方向の基準位置を検出するホームポジションセンサを有している。

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータからなるパンモータ及びチルトモータと、これらのモータをそれぞれ駆動するモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。

制御部４０は、主として信号処理部４１、撮像制御部４２、レンズ制御部４３、パン・チルト制御部４４、及びカメラワーク制御部４６を備えている。

信号処理部４１は、撮像部２０から入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理）、ＲＧＢ／ＹＣ変換処理等の信号処理を行う。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。また、ＲＧＢ／ＹＣ変換処理は、デモザイク処理されたＲＧＢ画像データから輝度データＹと、色差データＣｂ，Ｃｒとを生成する処理である。

撮像制御部４２は、ＣＭＯＳドライバ２８、ＴＧ２９を介して撮像素子２４の画素毎のキャパシタに蓄積された電荷の排出、又はキャパシタに蓄積された電荷に対応する信号の読出し等を指令する部分であり、動画の撮像制御を行う。

レンズ制御部４３は、レンズ駆動部２６を介して撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ、及び絞り２３を制御する部分であり、フォーカスレンズを合焦位置に移動させるオートフォーカス（ＡＦ）制御等を行う。ＡＦ制御は、ＡＦエリアに対応するデジタル信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）が最大となる合焦位置を検出し、検出した合焦位置にフォーカスレンズを移動させることにより行う。

パン・チルト制御部４４は、パン・チルト装置３０を制御する部分であり、スマートフォン１００から無線通信部５０及びカメラワーク制御部４６（モータ駆動指令入力部）を介して入力したモータ駆動指令を、パン・チルト機構３２のパン駆動部３４及びチルト駆動部３６に出力する。

カメラワーク制御部４６は、所望の動画の撮像を実現するためにレンズ制御部４３及びパン・チルト制御部４４を制御する指令信号を出力する。

角度検出部４８は、パン・チルト機構３２のパン角度及びチルト角度をそれぞれ検出する部分であり、パン駆動部３４のパンモータを駆動するためのパルス信号の数をアップダウンカウント（計数）する第１のカウンタと、チルト駆動部３６のチルトモータを駆動するためのパルス信号の数をアップダウンカウントする第２のカウンタとを有し、第１のカウンタ及び第２のカウンタは、それぞれパン・チルト機構３２に設けられたパン方向の基準位置を検出するホームポジションセンサの検出信号、及びチルト方向の基準位置を検出するホームポジションセンサの検出信号により、カウント値がゼロにリセットされ、又は規定値がプリセットされる。従って、カウント値がリセット、又はプリセットされた後の第１のカウンタのカウント値及び第２のカウンタのカウント値は、それぞれパン・チルト機構３２のパン角度（パン位置）、及びチルト角度（チルト位置）に対応するものとなる。

無線通信部５０（情報出力部、ライブビュー画像出力部）は、図１に示したスマートフォン１００等との間で無線通信を行う部分であり、アクセスポイント（例えば、スマートフォン１００やルータ）との間で無線ＬＡＮ(Local Area Network)を構成し、無線通信によりスマートフォン１００から各種の操作用の指示入力を受信するとともに、角度検出部４８により検出されたパン角度及びチルト角度を示す角度情報をスマートフォン１００に送信する。また、無線通信部５０は、撮像部２０により動画撮像され、信号処理部４１により処理された画像（ライブビュー画像）をスマートフォン１００に送信し、更に撮像部２０により動画撮像された、記録用の動画をスマートフォン１００に送信することができる。これにより、記録用の動画をスマートフォン１００の内部又は外付け記録媒体（記録部）に記録したり、ライブビュー画像をスマートフォン１００の表示パネル１２１のライブビュー画像の表示領域に表示させることができる。

操作部６０は、カメラ本体１２に設けられた撮像開始ボタン１９（図１）、電源スイッチ等を含み、スマートフォン１００からの操作用の指示入力と同様の操作用の指示入力を行うことができる。

表示部６１は、ライブビュー画像、再生画像等を表示する表示部として機能するとともに、操作部６０と協働してメニュー画面の表示、各種のパラメータを設定・入力するためのユーザインターフェース部（ＵＩ部）として機能する。

メモリ６２は、撮像された動画を一時的に格納する記憶領域、各種の演算処理等を行う作業用領域となるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）や、撮像用のプログラム及び制御に必要な各種データ等が格納されるＲＯＭ（Read Only Memory）、撮像された動画を記録するフラッシュＲＯＭ等の記録部を含む。

＜動画編集装置＞
次に、本発明に係るパン・チルト操作装置の実施形態について説明する。

図１に示したように本例では、汎用のスマートフォンに後述する動画編集プログラムがインストールされたスマートフォン１００が、本発明に係る動画編集装置として機能する。

図３は、図１に示したスマートフォン１００の構成を示すブロック図である。

図３に示すように、スマートフォン１００の主たる構成要素として、無線通信部１１０と、表示入力部（タッチパネル）１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部（動画記録部）１５０と、外部入出力部１６０と、ＧＰＳ(Global Positioning System)受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。本例では、スマートフォン１００の無線通信部１１０は、ステーション（例えば、カメラ１０Ａ〜１０Ｃ）、アクセスポイント（例えば、ルータ）との間で無線ＬＡＮを構成し、カメラ１０Ａ〜１０Ｃに各種の操作用の指示入力を送信したり、カメラ１０Ａ〜１０Ｃからライブビュー画像、記録用の動画等を受信する。

タッチパネル１２０は、主制御部１０１の制御により、ライブビュー画像や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出するもので、表示パネル１２１（表示部）と、操作パネル１２２（操作部）とを備える。３Ｄ画像を鑑賞する場合には、表示パネル１２１は、３Ｄ表示パネルであることが好ましい。

表示パネル１２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１に示すように、スマートフォン１００の表示パネル１２１と操作パネル１２２とは一体となってタッチパネル１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１に示すように、例えば、スピーカ１３１及びマイクロホン１３２をタッチパネル１２０が設けられた面と同じ面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部１４０は、スマートフォン１００の筐体１０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１００の内部の各構成要素に伝達することや、スマートフォン１００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン１００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。この検出結果は、主制御部１０１に出力されるものである。

電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御するものである。また、主制御部１０１は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（動画のデータ）に基づいて、映像をタッチパネル１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像をタッチパネル１２０に表示する機能のことをいう。

更に、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１０１は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮像するデジタルカメラである。

また、カメラ部１４１は、主制御部１０１の制御により、撮像によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。

図１に示すスマートフォン１００において、カメラ部１４１はタッチパネル１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、タッチパネル１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮像に供するカメラ部１４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部１４１を同時に使用して撮像することもできる。

また、カメラ部１４１はスマートフォン１００の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

本例では、ネットワーク等を介してカメラ１０Ａ〜１０Ｃを操作するためのアプリケーションソフトウェア（本発明に係る動画編集プログラム）をダウンロードして記憶部１５０に記憶させ、スマートフォン１００のアプリケーション処理機能により、ダウンロードしたアプリケーションソフトウェアに従って主制御部１０１を動作させることにより、汎用のスマートフォン１００を、複数のカメラ１０Ａ〜１０Ｃにより撮像された複数の動画を自動編集するための動画編集装置として機能させる。

［スマートフォンの表示画面］
図４は、スマートフォン１００の表示画面の実施形態を示す図である。

スマートフォン１００は、表示パネル１２１と操作パネル１２２とからなるタッチパネル１２０を有しており（図３参照）、表示パネル１２１のパネル面が表示画面である。

図４に示すように表示パネル１２１には、ライブビュー画像が表示される表示領域１２１Ａ、動画のコマのレイアウトを示すアイコンボタン（レイアウトボタン）が表示される表示領域１２１Ｂ、及び動画編集に使用する１又は複数のカメラの台数を設定するアップダウンコントロールを含むダイアログボックスが表示される表示領域１２１Ｃが設けられている。また、表示パネル１２１には、上下左右の方向キーとセンタキーを示すアイコンからなるマルチファンクションの十字キー１２４と、撮像開始を指示する撮像開始ボタン（アイコンボタン）１２５と、静止画又は動画の撮像を選択する選択ボタン（アイコンボタン）１２６とが表示される。

主制御部１０１（表示制御部）は、カメラ１０Ａ〜１０Ｃから無線通信部１１０（ライブビュー画像取得部）を介して受信したライブビュー画像を表示パネル１２１の表示領域１２１Ａに表示させる。

このとき、主制御部１０１は、表示領域１２１Ｂに表示されているレイアウトを示すアイコンボタンにより選択されたレイアウトにしたがって、ライブビュー画像を表示パネル１２１の表示領域１２１Ａに表示させる。図４に示す例では、５つのレイアウトを示すアイコンボタンのうちの左から２番目のアイコンボタン（太枠で表示されたアイコンボタン）が操作され、左から２番目のアイコンボタンが示すレイアウトが選択されているため、主制御部１０１は、左から２番目のアイコンボタンが示すレイアウトにしたがって、３つのライブビュー画像を表示パネル１２１の表示領域１２１Ａに表示させる。

表示パネル１２１の表示領域１２１Ｃに表示されるダイアログボックス内の数字を、アップダウンコントロールにより増減することにより、動画編集に使用するカメラの台数を選択することができ、また、選択されたカメラの台数により、表示領域１２１Ｂに表示されているレイアウトを示すアイコンボタンも変化する。尚、カメラの台数と、台数に対応したコマのレイアウトの詳細については後述する。

また、表示パネル１２１の表示領域１２１Ａに表示されているライブビュー画像のいずれか１つがタッチ操作されると、タッチ操作されたライブビュー画像の枠が強調表示（太枠表示）され、太枠で表示されたライブビュー画像を送信しているカメラを、個別に遠隔操作することができる。

図４に示す例では、ライブビュー画像ＬＶ１の枠が太枠で表示されており、このライブビュー画像ＬＶ１を送信しているカメラが、カメラ１０Ａ（パン・チルトカメラ）の場合、パン・チルト操作部として機能する十字キー１２４のうちのいずれかの方向キーがタッチ操作されると、主制御部１０１（駆動指令出力部）は、タッチ操作された方向キーが示す方向にパン動作又はチルト動作させるモータ駆動指令を出力する。また、十字キー１２４のセンタキーが操作されると、主制御部１０１は、一定のパターンでパン動作又はチルト動作を繰り返させるためのモータ駆動指令を出力する。

また、撮像開始ボタン１２５がワンタッチされると、主制御部１０１は、スマートフォン１００と通信をしている複数のカメラ１０Ａ〜１０Ｃの動画の撮像を同時に開始させる撮像開始指令を出力し、再度、撮像開始ボタン１２５がワンタッチされると、複数のカメラ１０Ａ〜１０Ｃの動画の撮像を同時に停止させる撮像停止指令を出力する。

次に、カメラの台数に応じたレイアウトの種類について説明する。

図５は、カメラ台数が３台、２台、及び１台の場合にそれぞれ選択可能なレイアウトを示す図である。尚、ここでのカメラ台数とは、動画編集に使用する動画を撮像するカメラの台数であり、動画編集に使用する動画の本数に対応する。

図５（ａ）に示すようにカメラ台数が３の場合には、５つのレイアウト(1)〜(5)の中から１つのレイアウトを選択することができる。尚、図４の表示パネル１２１の表示領域１２１Ｂに表示されているレイアウトボタンは、図５（ａ）に示した５つのレイアウト(1)〜(5)を示しており、レイアウト(2)が選択されている場合に関して示している。

図５（ａ）に示した５つのレイアウトのうちのレイアウト(1)は、レイアウト(2)とは上下のコマ位置が逆転したレイアウトであり、レイアウト(3)は、それぞれ縦長にトリミングされた３つのコマを横方向に並べたレイアウトである。レイアウト(4)は、縦長にトリミングされた１つのコマを、表示領域１２１Ｂの左側のコマ位置に配置し、横長にトリミングされた２つのコマを、表示領域１２１Ｂの右側の上下のコマ位置に配置したレイアウトである。レイアウト(5)は、レイアウト(4)とは左右のコマ位置が逆転したレイアウトである。

図５（ｂ）に示すようにカメラ台数が２の場合には、４つのレイアウト(1)〜(4)の中から１つのレイアウトを選択することができる。

図５（ｂ）に示した４つのレイアウトのうちのレイアウト(1)は、それぞれ縦長にトリミングされた２つのコマを横方向に並べたレイアウトである。レイアウト(2)は、縦長にトリミングされた１つのコマを、表示領域１２１Ｂの左側のコマ位置に配置し、トリミングしていない１つコマを、表示領域１２１Ｂの右側のコマ位置に配置したレイアウトであり、レイアウト(3)は、レイアウト(2)とは左右のコマ位置が逆転したレイアウトである。レイアウト(4)は、それぞれ横長にトリミングされた２つのコマを縦方向に並べたレイアウトである。

図５（ｃ）に示すようにカメラ台数が１の場合には、１つのコマ全体を表示する１つのレイアウト(1)のみが選択（自動的に設定）される。

このようにカメラ台数が特定され、レイアウトを示す番号（レイアウト情報）が特定されると、１又は複数のコマのレイアウトを特定することができる。尚、レイアウトを示す番号を、カメラ台数にかかわらず、通し番号にすることより、レイアウトを示す番号から１又は複数のコマのレイアウトを特定することができる。

次に、選択されたレイアウトに表示する１又は複数のライブビュー画像のコマのコマ位置を設定方法について説明する。

図７は、図４に示した表示パネル１２１の表示領域１２１Ａの拡大図である。

図７（ａ）に示すように表示パネル１２１の表示領域１２１Ａには、選択されたレイアウト（本例では、図５（ａ）に示したレイアウト(2))にしたがって３つのライブビュー画像ＬＶ１，ＬＶ２，ＬＶ３が表示されている。

ここで、３つのライブビュー画像ＬＶ１，ＬＶ２，ＬＶ３は、それぞれカメラ１０Ａ，１０Ｂ，１０Ｃから受信したものとする。

このレイアウトにしたがって表示されるライブビュー画像ＬＶ１，ＬＶ２，ＬＶ３の各コマのうち、ライブビュー画像ＬＶ１のコマは、撮像された１コマの上下の領域を切り取るトリミングが行われ、横長のアスペクト比を有するコマとされ、表示領域１２１Ａの上半分の領域（コマ位置）に表示されている。

また、ライブビュー画像ＬＶ２、ＬＶ３のコマは、それぞれトリミングされずに表示領域１２１Ａの下半分の左右の領域（コマ位置）に表示されている。即ち、ライブビュー画像ＬＶ１と、ライブビュー画像ＬＶ２、ＬＶ３とは、コマ形状（アスペクト比）が異なっている。

尚、ライブビュー画像の１コマから横長又は縦長のアスペクト比を有するコマを切り出すトリミング処理は、通常は１コマの中央部を切り出すが、１コマ全体を表示した状態で横長又は縦長のアスペクト比を有するトリミング枠を表示し、このトリミング枠をタッチして移動させることにより、１コマ全体から任意の位置のトリミングしたコマを切り出すことができる。

図７（ａ）において、レイアウト内のライブビュー画像ＬＶ１とＬＶ２のコマ位置を入れ替える場合には、ライブビュー画像ＬＶ２にタッチし、ライブビュー画像ＬＶ２をライブビュー画像ＬＶ１のコマ位置に移動させるスワイプ操作を行う。このスワイプ操作により、図７（ｂ）に示すようにライブビュー画像ＬＶ１とＬＶ２のコマ位置を入れ替えることができる。

尚、上記のコマ位置の移動に伴い、ライブビュー画像ＬＶ１はトリミングされないコマとなり、ライブビュー画像ＬＶ２は横長にトリミングされたコマになる。また、ライブビュー画像ＬＶ１にタッチし、ライブビュー画像ＬＶ１をライブビュー画像ＬＶ２のコマ位置に移動させるスワイプ操作を行うことにより、上記と同様にライブビュー画像ＬＶ１とＬＶ２のコマ位置を入れ替えることができる。

上記のレイアウト内でライブビュー画像ＬＶ１〜ＬＶ３の３つのコマのコマ位置を入れ替えた場合に得られるコマ位置の組み合わせは、図６に示すように６通り存在する。以下、６通り組合せのうちのいずれか１つを、コマ位置(1)〜(6)の数字により特定するものとする。

カメラ台数が３の場合は、いずれのレイアウトが選択されても、３つのコマのコマ位置の組み合わせは６通り存在する。尚、カメラ台数が２の場合には、２つのコマのコマ位置を入れ替えた場合に得られるコマ位置の組み合わせは、２通りであり、カメラ台数が１の場合には、コマ位置の組み合わせは、１通りである。

図８は、図４に示した表示パネル１２１の表示領域１２１Ａの拡大図であり、特にカメラ台数が１つ（１つのライブビュー画像）が選択されている場合に関して示している。

図８（ａ）に示す例では、選択されたカメラ１０Ａに対応するライブビュー画像ＬＶ１が大きい画面で表示され、通信しているが選択されていないカメラ１０Ｂ，１０Ｃに対応する２つのライブビュー画像ＬＶ２，ＬＶ３が小さい画面で表示されている。尚、小さい画面で表示されているライブビュー画像ＬＶ２，ＬＶ３に対応する動画は、動画編集の対象にはならない。

図８（ａ）において、選択されているライブビュー画像ＬＶ１を、ライブビュー画像ＬＶ２に切り替える（ライブビュー画像ＬＶ２を選択する場合）には、ライブビュー画像ＬＶ１にタッチし、ライブビュー画像ＬＶ１をライブビュー画像ＬＶ２のコマ位置に移動させるスワイプ操作を行う。このスワイプ操作により、図８（ｂ）に示すように選択されているライブビュー画像ＬＶ１をライブビュー画像ＬＶ２に切り替えることができる。

尚、ライブビュー画像ＬＶ２にタッチし、ライブビュー画像ＬＶ２をライブビュー画像ＬＶ１のコマ位置に移動させるスワイプ操作を行うことにより、上記と同様にライブビュー画像ＬＶ１とＬＶ２のコマ位置を入れ替えること（ライブビュー画像の選択）ができる。

このようにカメラ台数及びレイアウトが特定され、かつコマ位置の組み合わせ（コマ位置を示す数字）が特定されると、どのカメラにより撮像されたライブビュー画像のコマを、レイアウトのどのコマ位置に配置すべきか（カメラ台数が１の場合には、どのカメラのライブビュー画像か）を特定することができる。

そして、上記のようにしてカメラ台数、レイアウト、及びコマ位置が特定されると、複数のカメラにより撮像された複数の動画から一本の動画を編集する際に使用する動画を選択すること、及び選択された動画が複数の場合には、特定されたレイアウト及びコマ位置に応じた複数のコマのコマ合成（動画編集）をすることを意味する。

主制御部１０１は、動画撮像の開始前及び動画撮像中に、タッチパネル１２０での操作にしたがってカメラ台数、レイアウト及びコマ位置等が適宜指示されると、その操作履歴を示す操作履歴情報を取得し、操作履歴情報を示すログファイルを作成して、作成したログファイルを記憶部１５０（操作履歴記録部）に記録する。

図９は、記憶部１５０に記録されるログファイルの一例を示す図である。

図９に示すように操作履歴情報を示すログファイルには、タッチパネル１２０でカメラ台数、レイアウト、及びコマ位置等を変更する操作が行われる毎に、その操作時刻（動画撮像開始からの時刻）を示すタイムコード（SMPTEタイムコード）と、SMPTEタイムコードに関連付けてカメラ台数、レイアウト（カメラ台数に対応するコマのレイアウトを示す番号（図５参照））、及びコマ位置（レイアウトに対応するコマのコマ位置を示す番号（図６参照）を示す情報が記録される。

動画取得部及び動画編集部として機能する主制御部１０１は、カメラ１０Ａ〜１０Ｃによる動画撮像が終了すると、各カメラ１０Ａ〜１０Ｃにより同期して動画撮像された動画の全て（３つの動画ファイル）を無線通信部１１０を介して取得し、取得した動画を一旦、記憶部１５０に記憶させる。

主制御部１０１は、記憶部１５０に記憶させた複数の動画（本例では、三本の動画）と、操作履歴情報を示すログファイルとに基づいて、一本の動画を自動的に作成する動画編集を行う。尚、動画編集の詳細については詳述する。

＜動画編集方法＞
次に、本発明に係る動画編集方法について説明する。

図１０及び図１１は、本発明に係る動画編集方法の実施形態を示すフローチャートである。

図１０において、スマートフォン１００は、３台のカメラ１０Ａ、１０Ｂ及び１０Ｃからそれぞれライブビュー画像を受信する（ステップＳ１０）。スマートフォン１００は、受信したライブビュー画像を個別に又は同時に表示パネル１２１の表示領域１２１Ａに表示させることができる。

続いて、各カメラの設置位置及び画角の調整を行う（ステップＳ１２）。各カメラの設置位置及び画角の調整は、スマートフォン１００の表示パネル１２１の表示領域１２１Ａに表示されたライブビュー画像を見ながら、又はカメラの背面等に設けられた表示部６１（図２参照）に表示されたライブビュー画像を見ながら各カメラの撮像方向、ズーム倍率等の調整を行う。また、カメラ１０Ａ（パン・チルトカメラ）の場合には、スマートフォン１００の十字キー１２４を操作し、カメラ１０Ａのパン・チルト機構３２をパン動作又はチルト動作させることによりカメラ１０Ａの撮像方向を調整することができる。

次に、動画編集される一本の動画の初期画面（最初の１コマ）に対応するカメラ台数、レイアウト、及びコマ位置を設定する（ステップＳ１４）。設定された初期画面に対応するライブビュー画像は、表示パネル１２１の表示領域１２１Ａに表示させるこができる（ステップＳ１６）。これにより、動画編集される一本の動画の最初のコマのイメージを確認することができる。

続いて、主制御部１０１は、撮像開始ボタン１２５が操作（ワンタッチ）されたか否か（録画開始するか否か）を判別し（ステップＳ１８）、撮像開始ボタン１２５が操作されたと判別すると（「Yes」の場合）、各カメラ１０Ａ〜１０Ｃに対して録画開始を示す撮像指令を同時に送信する（ステップＳ２０）。

また、撮像開始ボタン１２５が操作されたと判別すると（「Yes」の場合）、主制御部１０１は、初期画面に対応する操作履歴情報（ステップＳ１４で設定された操作履歴情報）を記憶部１５０に記憶させる（ステップＳ２２）。

その後、ライブビュー画像を引き続き受信し（ステップＳ２４）、タッチパネル１２０によりカメラ台数、レイアウト及びコマ位置のいずれか１つが変更されたか否かを判別する（ステップＳ２６）。

変更されていない場合（「No」の場合）には、録画（動画撮像）が終了したか判別する。動画撮像が終了したか否かは、再度、撮像開始ボタン１２５が操作されたか否かにより判別することができる。動画撮像が終了していない場合には、ステップＳ２４に遷移し、ステップＳ２４、Ｓ２６の処理を行う。尚、ステップＳ２４により取得したライブビュー画像は、表示パネル１２１の表示領域１２１Ａに表示される。

一方、ステップＳ２６において、カメラ台数、レイアウト及びコマ位置のいずれか１つが変更されたと判別されると（「Yes」の場合）、主制御部１０１は、変更した操作履歴情報を記憶部１５０に追記し（ステップＳ２８）、また、タッチパネル１２０に表示される表示画面を更新させ（ステップＳ３０）、ステップＳ２４に遷移させる。

このようにステップＳ２８にて、変更した操作履歴情報を順次追記することにより、主制御部１０１は、図９に示すように操作履歴情報を示すログファイルを作成し、記憶部１５０に記憶させることができる。

ステップＳ３２において、動画の録画終了が判別されると（「Yes」の場合）、主制御部１０１は、カメラ１０Ａ〜１０Ｃに対して動画の録画終了を示す録画終了指令を同時に送信する（ステップＳ３４）。

その後、主制御部１０１は、カメラ１０Ａ〜１０Ｃにより同時に撮像され、各カメラ内に記録された動画を、各カメラ１０Ａ〜１０Ｃから順次取得し、記憶部１５０に一旦記憶させる（ステップＳ３６）。

次に、主制御部１０１は、記憶部１５０に記憶されたカメラ１０Ａ〜１０Ｃにより撮像された動画（以下、カメラ１０Ａ〜１０Ｃにより撮像された動画をそれぞれ「動画♯１」、「動画♯２」、「動画♯３」と称す）と、操作履歴情報を示すログファイルとに基づいて動画編集を行う。

図１１は、図１０に示したステップＳ３８の処理内容を示すフローチャートである。

図１１において、主制御部１０１は、ログファイルからタイムコードの時系列順にしたがって１つの操作履歴情報を取得する（ステップＳ５０）。尚、最初に取得する操作履歴情報は、タイムコード「0:00:00」に対応するものである。

次に、主制御部１０１は、操作履歴情報に含まれるカメラ台数の情報に基づいてカメラ台数が１台か否かを判別する（ステップＳ５２）。カメラ台数が１台か否かに応じてその後の動画編集の処理を変更する必要があるからである。

ステップＳ５２において、カメラ台数が１台と判別されると（「Yes」の場合）、コマ位置の情報から動画♯１、動画♯２及び動画♯３のうちのいずれか１つの動画を特定し、特定した動画の１コマを取得する（ステップＳ５４）。尚、カメラ台数が１台の場合、コマ位置の情報は、動画♯１、動画♯２及び動画♯３のうちのいずれか１つの動画を示す情報となる。

続いて、ステップＳ５４で取得したコマを、現在動画編集中の動画の最後のコマにつなぎ合わせる処理を行う（ステップＳ５６）。

一方、ステップＳ５２において、カメラ台数が１台でないと判別されると（「No」の場合）、操作履歴情報に含まれるカメラ台数及びレイアウト内の各コマのコマ位置を示す情報に基づいて、動画♯１、動画♯２及び動画♯３のうちの動画編集に使用する複数の動画を特定し、特定した複数の動画からそれぞれ同時刻の１コマを取得する（ステップＳ５８）。

続いて、ステップＳ５８で取得した各コマを、レイアウト及びコマ位置を示す情報に基づいて１コマに合成し（ステップＳ６０）、現在動画編集中の動画の最後のコマに合成したコマをつなぎ合わせる処理を行う（ステップＳ６２）。

次に、ステップＳ５４又はステップＳ５８で取得したコマが、動画の最終コマか否かを判別する（ステップＳ６４）。

ステップＳ６４において、最終コマではないと判別されると（「No」の場合）、続いて、ステップＳ５４又はステップＳ５８で取得したコマの次のコマのタイムコードと、次に操作履歴情報のタイムコードと一致するか否かを判別する（ステップＳ６６）。一致しない場合（「No」の場合）には、ステップＳ５２に遷移し、上記ステップＳ５２からステップＳ６６の処理を繰り返す。

一致する場合には（「Yes」の場合）には、ステップＳ５０に遷移し、ログファイルから次の操作履歴情報を取得する。そして、ログファイルからタイムコードの時系列順に１つの操作履歴情報を取得する毎に、取得した操作履歴情報にしたがった動画編集（動画♯１、動画♯２及び動画♯３のうちの動画編集に使用する動画の選択や所望のレイアウトのコマ合成等）が行われる。

ステップＳ６４において、ステップＳ５４又はステップＳ５８で取得したコマが、動画の最終コマであると判別されると（「Yes」の場合）、主制御部１０１による動画編集を終了し、編集した一本の動画を記憶部１５０に記録する（ステップＳ６８）。

図１２は、編集された動画と動画内の各コマとの関係を示す図であり、特に図９に示した操作履歴情報を示すログファイルにしたがって編集された動画に関して示している。

図１２において、編集された動画は、動画１、動画２、動画３、…がつなぎ合わされて構成されている。

即ち、動画１は、タイムコード［0:00:00］〜［0:01:00］までの動画であり、この動画１の１コマは、カメラ台数３、レイアウト(2)、及びコマ位置(4)に対応してコマ合成されたものである。

動画２は、タイムコード［0:01:00］〜［0:05:30］までの動画であり、この動画２の１コマは、カメラ台数３、レイアウト(3)、及びコマ位置(1)に対応してコマ合成されたものである。

動画３は、タイムコード［0:05:30］以降の動画であり、この動画３の１コマは、カメラ台数１、レイアウト(1)、及びコマ位置(1)に対応する動画♯１のコマである。

このようにスマートフォン１００は、タッチパネル１２０による操作履歴を示す操作履歴情報を記録しておくことにより、動画撮像の終了後に撮像された複数の動画と、操作履歴情報とに基づいて操作履歴を反映した一本の動画を生成（自動的に編集）することができる。

［その他］
本実施形態では、動画撮像の終了後に、複数のカメラから撮像された動画の全てを取得するようにしたが、これに限らず、動画編集に使用する動画のみを取得するようにしてもよい。

また、本実施形態では、動画撮像の終了後に自動的に動画編集を開始し、動画編集した動画を記録するようにしたが、これに限らず、動画編集された動画を再生する指示入力がある毎に動画編集を実行し、編集した動画を表示部に表示させるようにしてもよい。これにより、編集された動画をプレビューすることができ、必要に応じて編集した動画の記録を行わせることができ、また、自動的に動画編集した動画の一部を、公知の編集装置を使用して手動にて修正することもできる。

更に、本発明に係る動画編集装置は、動画編集プログラムがインストールされたスマートフォンに限らず、タッチパネルを有するタブレット端末、ＰＤＡ（携帯情報端末）等の携帯端末に動画編集プログラムをインストールして動画編集装置として適用してもよいし、本発明に係る動画編集を行うための専用の動画編集装置であってもよい。また、動画編集装置と動画撮像が可能な複数のカメラとは、無線で接続される場合に限らず、有線で接続されるものであってもよく、動画編集装置と接続されるカメラの台数は本実施形態に限定されない。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０Ａ，１０Ｂ，１０Ｃ…カメラ、２０…撮像部、２２…撮像レンズ、２４…撮像素子、３０…パン・チルト装置、３２…パン・チルト機構、４０…制御部、４１…信号処理部、４２…撮像制御部、４３…レンズ制御部、４４…パン・チルト制御部、４６…カメラワーク制御部、５０、１１０…無線通信部、６０、１４０…操作部、６２…メモリ、１００…スマートフォン、１０１…主制御部、１２０…表示入力部（タッチパネル）、１２１…表示パネル、１２２…操作パネル、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部

Claims (17)

1. 動画撮像可能な複数のカメラと無線又は有線により接続され、前記複数のカメラから１乃至複数のライブビュー画像を取得するライブビュー画像取得部と、
   前記ライブビュー画像取得部により取得した１乃至複数のライブビュー画像を表示する表示部と、
   前記表示部に表示させるライブビュー画像を手動操作により切り替える操作部と、
   前記操作部での操作履歴を示す操作履歴情報を記録する操作履歴記録部と、
   前記複数のカメラによる動画撮像の終了後、前記複数のカメラによりそれぞれ撮像された複数の動画と前記操作履歴記録部に記録された操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行う動画編集部と、
   を備えた動画編集装置。
2. 前記動画編集部により動画編集した一本の動画を記録する動画記録部を備えた請求項１に記載の動画編集装置。
3. 前記動画編集部は、動画再生毎に前記一本の動画を自動的に作成する動画編集を行うとともに、前記動画編集した動画を前記表示部に表示させる請求項１に記載の動画編集装置。
4. 前記操作部は、前記複数のカメラによりそれぞれ撮像された複数の動画のうち、前記動画編集部で使用する一の動画に対応するライブビュー画像を選択する操作を受け付け、
   前記操作履歴情報は、前記操作時のタイムコードと前記動画編集部で使用する一の動画を特定する情報とを含み、
   前記動画編集部は、前記操作履歴情報に基づいて前記複数のカメラによりそれぞれ撮像された複数の動画のうちのいずれか１つの動画を選択し、選択した動画をつなぎ合わせる動画編集を含む請求項１から３のいずれか１項に記載の動画編集装置。
5. 前記操作部は、前記複数のカメラによりそれぞれ撮像された複数の動画のうち、同時に表示させる二以上の動画を特定し、かつ特定した二以上の動画の各コマのコマ形状及びコマ位置を示すレイアウトを特定する操作を受け付け、
   前記表示部は、前記操作部により特定された二以上の動画に対応するライブビュー画像を、前記特定されたレイアウトで表示し、
   前記操作履歴情報は、前記操作部により特定した二以上の動画を示す情報及び前記特定したレイアウトを示すレイアウト情報を含み、
   前記動画編集部は、前記操作履歴情報に基づいて前記複数のカメラによりそれぞれ撮像された複数の動画のうちの同時に表示する二以上の動画を特定し、かつ特定した二以上の動画を前記特定したレイアウトにしたがって合成する動画編集を含む請求項１から４のいずれか１項に記載の動画編集装置。
6. 前記複数のカメラによる動画撮像の終了後、前記複数のカメラから前記複数の動画の全てを取得し、又は前記操作履歴情報に基づいて前記複数のカメラから前記複数の動画のうち、前記動画編集に使用する動画のみを取得する動画取得部を備える請求項１から５のいずれか１項に記載の動画編集装置。
7. 前記表示部及び操作部は、表示パネルと、該表示パネル上のタッチされた座標を検出する操作パネルとからなるタッチパネルとから構成され、前記表示パネルは、前記ライブビュー画像が表示される領域と、操作用のアイコンボタンが表示される領域とを有する請求項１から６のいずれか１項に記載の動画編集装置。
8. 前記表示部及び操作部は、表示パネルと、該表示パネル上のタッチされた座標を検出する操作パネルとからなるタッチパネルとから構成され、前記表示パネルは、前記ライブビュー画像が表示される領域と、操作用のアイコンボタンが表示される領域とを有し、
   前記操作用のアイコンボタンは、前記レイアウトを選択するためのレイアウトボタンを含む請求項５に記載の動画編集装置。
9. 前記表示部及び操作部は、表示パネルと、該表示パネル上のタッチされた座標を検出する操作パネルとからなるタッチパネルとから構成され、前記表示パネルは、前記ライブビュー画像が表示される領域を有し、
   前記操作部は、前記ライブビュー画像が表示される各コマ領域間でのスワイプ操作に基づいて前記特定した二以上の動画のレイアウト内のコマ位置の入れ替えを指示する請求項５又は８に記載の動画編集装置。
10. 前記複数のカメラは、パン・チルトカメラを含み、
    前記パン・チルトカメラを遠隔操作するパン・チルト操作部と、前記パン・チルト操作部での操作に応じて前記パン・チルトカメラに駆動指令を出力する駆動指令出力部と、を備えた請求項１から９のいずれか１項に記載の動画編集装置。
11. 動画撮像可能な複数のカメラから無線又は有線により１乃至複数のライブビュー画像を取得するステップと、
    前記取得した１乃至複数のライブビュー画像を表示部に表示させるステップと、
    前記表示部に表示中のライブビュー画像を操作部での手動操作により切り替えるステップと、
    前記複数のカメラによる動画撮像中に前記操作部での操作履歴を示す操作履歴情報を、操作履歴記録部に記録するステップと、
    前記複数のカメラによる動画撮像の終了後、前記複数のカメラによりそれぞれ撮像された複数の動画と前記操作履歴記録部に記録された操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行うステップと、
    を含む動画編集方法。
12. 前記動画編集した一本の動画を動画記録部に記録するステップを更に含む請求項１１に記載の動画編集方法。
13. 前記動画編集を行うステップは、動画再生毎に前記一本の動画を自動的に作成する動画編集を行うとともに、前記動画編集した動画を前記表示部に表示させる請求項１１に記載の動画編集方法。
14. 前記操作部による手動操作は、前記複数のカメラによりそれぞれ撮像された複数の動画のうち、前記動画編集に使用する一の動画に対応するライブビュー画像を選択する操作を含み、
    前記操作履歴情報は、前記操作時のタイムコードと前記動画編集に使用する一の動画を特定する情報とを含み、
    前記動画編集を行うステップは、前記操作履歴情報に基づいて前記複数のカメラによりそれぞれ撮像された複数の動画のうちのいずれか１つの動画を選択し、選択した動画をつなぎ合わせる動画編集を含む請求項１１から１３のいずれか１項に記載の動画編集方法。
15. 前記操作部による手動操作は、前記複数のカメラによりそれぞれ撮像された複数の動画のうち、同時に表示させる二以上の動画を特定し、かつ特定した二以上の動画の各コマのコマ形状及びコマ位置を示すレイアウトを特定する操作を含み、
    前記ライブビュー画像を表示部に表示させるステップは、前記操作部により特定された二以上の動画に対応するライブビュー画像を、前記特定されたレイアウトで表示し、
    前記操作履歴情報は、前記操作部により特定した二以上の動画を示す情報及び前記特定したレイアウトを示すレイアウト情報を含み、
    前記動画編集を行うステップは、前記操作履歴情報に基づいて前記複数のカメラによりそれぞれ撮像された複数の動画のうちの同時に表示する二以上の動画を特定し、かつ特定した二以上の動画を前記特定したレイアウトにしたがって合成する動画編集を含む請求項１１から１４のいずれか１項に記載の動画編集方法。
16. 無線通信部と、表示部と、操作部と、コンピュータとを備えた携帯端末を、動画撮像可能な複数のカメラにより撮像された複数の動画の動画編集装置として機能させる動画編集用プログラムであって、
    前記無線通信部を介して前記複数のカメラから１乃至複数のライブビュー画像を取得する機能と、
    前記表示部に前記取得した１乃至複数のライブビュー画像を表示させる機能と、
    前記操作部による手動操作により前記表示部に表示させるライブビュー画像を切り替えさせる機能と、
    前記操作部での操作履歴を示す操作履歴情報を操作履歴記録部に記録させる機能と、
    前記複数のカメラによる動画撮像の終了後、前記複数のカメラによりそれぞれ撮像された複数の動画と前記操作履歴記録部に記録された操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行う機能と、
    を前記コンピュータに実現させる動画編集プログラム。
17. 請求項１６に記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。

Images