JP6328255B2 - マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体に関し、特に内部撮像装置及び外部撮像装置を使用するマルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体に関する。

従来より、有線又は無線により接続された複数のカメラを統括して制御することにより、所望の画像や動画を取得する技術が考えられてきた。例えば、複数の監視カメラが捉えた各画像又は動画を一つの表示装置に同時に表示し、複数の視点の画像を同時に見ることができる技術がある。

また、スマートフォンやタブレット（以下、単にスマートフォンという）を用いて撮像装置を制御する技術が考えられている。例えば、特許文献１には、スマートフォンとカメラ（撮像装置）とが無線で接続され、スマートフォンの表示部にカメラで取得された画像を表示させ、さらにスマートフォンからカメラに指示を送信する技術が開示されている。

特開２０１３−９３８４３号公報

しかしながら、スマートフォンに複数の外部撮像装置を無線で接続する場合には、無線接続される外部撮像装置を複数台準備しなければならず、さらに、スマートフォンと複数の外部撮像装置が無線接続されると全体の無線通信量が増えて無線通信自体が不安定になる場合がある。

上述の特許文献１には、スマートフォンに接続される撮像装置の台数が増加することに伴い無線通信が不安定になり且つ各無線接続に割り当てられる通信量が減少することに関しては言及されておらず、対応策も記載されていない。

本発明はこのような事情に鑑みてなされたもので、その目的は、スマートフォンに内蔵された撮像装置を有効利用することができ、且つスマートフォンと撮像装置との無線接続の通信量を少なくすることができるマルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体を提供することである。

本発明の一の態様であるマルチ撮像装置は、表示部と、第１のライブビュー画像又は本撮像された第１の画像を取得する内部撮像装置と、第２のライブビュー画像又は本撮像された第２の画像を取得する外部撮像装置との間で無線通信を行う無線通信部と、表示部、内部撮像装置及び無線通信部に接続される制御部と、を備え、制御部は、内部撮像装置から第１のライブビュー画像が入力され、外部撮像装置から無線通信部を介して第２のライブビュー画像を受信し、入力された第１のライブビュー画像と受信した第２のライブビュー画像とを表示部にマルチライブビュー表示させる。

本態様によれば、マルチ撮像装置の内部撮像装置とマルチ撮像装置に無線接続された外部撮像装置とによりマルチ撮像が行われるので、マルチ撮像装置の内部撮像装置を有効利用することができ且つマルチ撮像装置と外部撮像装置との無線通信量を抑えることができる。

好ましくは、マルチ撮像装置は更に記憶部を備え、制御部は、内部撮像装置及び外部撮像装置により本撮像された第１の画像と第２の画像とをそれぞれ取得し、マルチライブビュー表示されたライブビュー画像と同様の形態で取得した第１の画像と第２の画像とを合成し、合成した画像を記憶部に保存する。

本態様によれば、マルチライブビュー表示されたライブビュー画像と同様の形態で、本撮像された第１の画像と第２の画像とが合成されて記憶部に保存されるので、ライブビュー画像と同様のマルチ画像が記憶される。

好ましくは、外部撮像装置は、機械的なパン・チルト機構、又は第２の画像のうち特定領域のみ表示してパン・チルト制御を行う電子的なパン・チルト機構を有する。

本態様によれば、外部撮像装置が機械的なパン・チルト機構又は電子的なパン・チルト機構を有する。これにより、本態様は、外部撮像装置が機械的なパン・チルト機構を有する場合にはより広い範囲を撮像することができ、外部撮像装置が電子的なパン・チルト機構を有する場合にはパン操作及びチルト操作により所望の画像を切り出して表示することができる。

好ましくは、制御部は、表示部に表示された内部撮像装置が捉えた被写体を特定する被写体特定情報を取得し、被写体特定情報に基づいて、内部撮像装置で捉えた被写体を外部撮像装置でも捉えるように外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を外部撮像装置に送信する。

本態様によれば、内部撮像装置が捉えた被写体を特定する被写体特定情報に基づいて、外部撮像装置のパン・チルト機構が被写体を捉えるように制御されるので、外部撮像装置は内部撮像装置と同じ被写体を捉えることができる。

好ましくは、制御部は、内部撮像装置及び外部撮像装置の位置情報を取得し、内部撮像装置及び外部撮像装置の姿勢情報を取得し、位置情報及び姿勢情報に基づいて、内部撮像装置で捉えた被写体を外部撮像装置でも捉えるように外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を外部撮像装置に送信する。

本態様によれば、位置情報及び姿勢情報に基づいて、外部撮像装置のパン・チルト機構が被写体を捉えるように制御されるので、外部撮像装置は内部撮像装置と同じ被写体を捉えることができる。

好ましくは、制御部は、内部撮像装置と被写体との距離情報を取得し、位置情報、姿勢情報、及び距離情報に基づいて、内部撮像装置で捉えた被写体を外部撮像装置でも捉えるように外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を外部撮像装置に送信する。

本態様によれば、位置情報、姿勢情報、及び距離情報に基づいて、外部撮像装置のパン・チルト機構が被写体を捉えるように制御されるので、外部撮像装置は内部撮像装置と同じ被写体を捉えることができる。

好ましくは、制御部は、マルチ撮像装置の姿勢情報を取得し、姿勢情報に連動して、外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を外部撮像装置に送信する。

本態様によれば、マルチ撮像装置の姿勢情報に連動して外部撮像装置のパン・チルト機構が制御されるので、外部撮像装置のパン・チルト機構をマルチ撮像装置により直感的に制御することができる。

好ましくは、マルチ撮像装置は本撮像を指示する操作部を更に備え、制御部は、操作部により本撮像が指示されると、外部撮像装置による本撮像を指示する撮像指示を外部撮像装置に送信する。

本態様によれば、マルチ撮像装置が有する操作部により外部撮像装置の本撮像が指示されるので、マルチ撮像装置により外部撮像装置の本撮像を制御することができる。

好ましくは、制御部は、操作部から本撮像が指示されると内部撮像装置及び外部撮像装置が同期して本撮像を行わせる。

本態様によれば、外部撮像装置への本撮像の指示の送信と同期して内部撮像装置による本撮像が指示され、内部撮像装置及び外部撮像装置による本撮像が同時に行われるので、同じタイミングで本撮像された画像を取得することができる。

好ましくは、内部撮像装置は、第１の撮像部及び第２の撮像部を含み、制御部は、第１の撮像部及び第２の撮像部の両方又は一方から、第１のライブビュー画像又は第１の画像を取得する。

本態様によれば、内部撮像装置は第１の撮像部及び第２の撮像部を含むので、内部撮像装置は異なる視点の画像を取得することができる。

好ましくは、外部撮像装置は、機械的なパン・チルト機構、又は第２の画像のうち特定領域のみ表示してパン・チルト制御を行う電子的なパン・チルト機構を有し、制御部は、第１の撮像部による撮像及び第２の撮像部による撮像の切り替えが行われた場合に、外部撮像装置に、パン・チルト機構の駆動による自動追尾を指示する自動追尾指示を外部撮像装置に送信する。

本態様によれば、第１の撮像部と第２の撮像部との切り替えに応じて、外部撮像部のパン・チルト機構に自動追尾を行わすことができる。これにより、マルチ撮像装置の第１の撮像部と第２の撮像部との切り替えを行うことで、外部撮像部の自動追尾の開始をマルチ撮像装置で制御することができる。

本発明の他の態様である撮像装置は、上述のマルチ撮像装置に第２のライブビュー画像又は第２の画像を送信する。

本発明の他の態様であるマルチ撮像方法は、第１のライブビュー画像又は本撮像された第１の画像を取得する内部撮像ステップと、第２のライブビュー画像又は本撮像された第２の画像を取得した外部撮像装置から無線通信により第２のライブビュー画像又は第２の画像を取得する外部撮像ステップと、を含むマルチ撮像方法であって、内部撮像ステップでは第１のライブビュー画像が入力され、外部撮像ステップでは第２のライブビュー画像が受信され、更に、第１のライブビュー画像と第２のライブビュー画像とをマルチライブビュー表示させる表示ステップと、を含む。

好ましくは、マルチ撮像方法は、内部撮像ステップ及び外部撮像ステップにより本撮像された第１の画像と第２の画像とをそれぞれ取得し、マルチライブビュー表示されたライブビュー画像と同様の形態で取得した第１の画像と第２の画像とを合成するステップと、合成した画像を保存するステップと、を更に含む。

好ましくは、外部撮像ステップは、機械的なパン・チルト機構、又は第２の画像のうち特定領域のみ表示してパン・チルト制御を行う電子的なパン・チルト機構を有する外部撮像装置により撮像された第２のライブビュー画像又は第２の画像を取得する。

好ましくは、マルチ撮像方法は、内部撮像ステップで捉えた被写体を特定する被写体特定情報を取得するステップと、被写体特定情報に基づいて、内部撮像ステップで捉えた被写体を外部撮像装置でも捉えるように外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を、外部撮像装置に送信するステップと、を含む。

好ましくは、マルチ撮像方法は、内部撮像ステップが行われる内部撮像装置及び外部撮像装置の位置情報を取得するステップと、内部撮像装置及び外部撮像装置の姿勢情報を取得するステップと、位置情報及び姿勢情報に基づいて、内部撮像装置で捉えた被写体を外部撮像ステップでも捉えるように外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を、外部撮像装置に送信するステップと、を含む。

好ましくは、マルチ撮像方法は、内部撮像装置と被写体との距離情報を取得するステップと、位置情報、姿勢情報、及び距離情報に基づいて、内部撮像装置で捉えた被写体を外部撮像ステップでも捉えるように外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を、外部撮像装置に送信するステップと、を含む。

好ましくは、マルチ撮像方法は、マルチ撮像装置の姿勢情報を取得するステップと、マルチ撮像装置の姿勢情報に基づいて、外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を外部撮像装置に送信するステップと、を含む。

本発明の他の態様であるプログラムは、第１のライブビュー画像又は本撮像された第１の画像を取得する内部撮像ステップと、第２のライブビュー画像又は本撮像された第２の画像を取得した外部撮像装置から無線通信により第２のライブビュー画像又は第２の画像を取得する外部撮像ステップと、を含むマルチ撮像方法であって、内部撮像ステップでは第１のライブビュー画像が入力され、外部撮像ステップでは第２のライブビュー画像が受信され、更に、第１のライブビュー画像と第２のライブビュー画像とをマルチライブビュー表示させる表示ステップと、を含むマルチ撮像方法をコンピュータに実行させる。

本発明の他の態様である非一時的記録媒体は、上述のプログラムのコンピュータで読み取り可能なコードが記録されている。

具体的な「非一時的記録媒体」としてはＲＯＭ（Read Only Memory）やＥＥＰＲＯＭ（Electrically Erasable and Programmable Read-Only Memory）の他、ハードディスクドライブやコンパクト・ディスク、ＤＶＤ（Digital Versatile Disc）等の各種光磁気記録媒体、ＳＳＤ（Solid State Drive）等の半導体メモリ等、各種の非一時的記録媒体を用いることができる。

本発明によれば、マルチ撮像装置の内部撮像装置とマルチ撮像装置に無線接続された外部撮像装置とによりマルチ撮像が行われるので、マルチ撮像装置の内部撮像装置を有効利用することができ、且つマルチ撮像装置と外部撮像との無線通信量を抑えることができるマルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体を提供することができる。

図１は、マルチ撮像装置及び外部撮像装置の外観を示す斜視図である。 図２は、外部撮像装置の内部構成の例を示すブロック図である。 図３は、マルチ撮像装置の内部構成の例を示すブロック図である。 図４は、マルチ撮像装置の表示画面の表示例を示す図である。 図５は、マルチ撮像装置の表示画面のレイアウトを示す概念図である。 図６は、レイアウトにおける画像位置の組み合わせに関して説明する図である。 図７は、ライブビュー画像を３つ表示した場合の図である。 図８は、ライブビュー画像の切り替えを説明する図である。 図９は、第１の撮像部で撮像されたライブビュー画像に関して説明する図である。 図１０は、第２の撮像部で撮像されたライブビュー画像に関して説明する図である。 図１１は、マルチ撮像装置の動作フロー図である。 図１２は、パン・チルトカメラがマルチ撮像装置に無線で接続されていることを示す概念図である。 図１３は、パン・チルトカメラの内部構成例を示すブロック図である。 図１４は、パン・チルトカメラを使用例１で使用する場合のマルチ撮像装置の動作フロー図である。 図１５は、パン・チルトカメラを使用例２で使用する場合のマルチ撮像装置の動作フロー図である。 図１６は、パン・チルトカメラを使用例２で使用する場合のマルチ撮像装置の動作フロー図である。 図１７は、電子的なパン・チルト機構を有する撮像装置の内部構成を示すブロック図である。 図１８は、電子的なパン・チルト機構のパン動作及びチルト動作に関して説明する図である。

以下、添付図面に従って本発明に係るマルチ撮像装置、マルチ撮像方法、及びプログラムの実施の形態について説明する。

＜第１の実施形態＞
先ず、本発明の第１の実施形態に関して説明する。本実施形態では、外部撮像装置１０として通常のカメラが使用される（図１を参照）。

（マルチ撮像装置及び外部撮像装置の外観）
図１は、本発明に係るマルチ撮像装置１００（以下、スマートフォンとも言う）及び外部撮像装置１０の外観を示す斜視図である。ここで、スマートフォン１００は外部撮像装置１０と無線により接続され、スマートフォン１００は無線通信を介して外部撮像装置１０が撮像した画像を取得し且つ外部撮像装置１０を制御する指示を送信する。なお本願におけるマルチ撮像装置とは、その表示部に第１のライブビュー画像と第２のライブビュー画像とのマルチビュー表示を行うことができる撮像装置のことをいう。

外部撮像装置１０は、スマートフォン１００と無線通信が可能なカメラ側無線通信部５０（図２）を有していればよく、様々な撮像装置が外部撮像装置１０として使用される。例えば、外部撮像装置１０として、デジタル一眼レフカメラ、ミラーレスデジタルカメラ、コンパクトデジタルカメラ、又はスマートフォンが使用される。

（撮像装置の内部構成）
図２は、外部撮像装置１０の内部構成の例を示すブロック図である。

この外部撮像装置１０は、静止画及び動画の撮像も行うことができ、主に、カメラ側撮像部２０と、カメラ側制御部４０と、カメラ側無線通信部５０とを備えている。

カメラ側撮像部２０は、撮像レンズ２２及び撮像素子（図２ではＣＭＯＳと表記）２４等を有している。撮像レンズ２２は、単焦点レンズ又はズームレンズであり、被写体像を撮像素子２４の撮像面上に結像させる。なお、撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ（ズームレンズの場合）及び絞り２３は、それぞれレンズ駆動部２６により駆動される。

本例の撮像素子２４は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンで配列（ベイヤ配列、ＧストライプＲ／Ｂ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、又はハニカム配列）されたカラー撮像素子であり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサにより構成されている。なお、ＣＭＯＳ型イメージセンサに限らず、ＣＣＤ（Charge Coupled Device）型イメージセンサでもよい。

撮像素子２４は、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳドライバ２８、及びタイミングジェネレータ（図２中ではＴＧと表記）２９により駆動される。撮像素子２４からは、被写体光の入射光量に応じた画素信号（画素毎に蓄積された信号電荷に対応するデジタル信号）が読み出される。

カメラ側制御部４０は、主として信号処理部４１、撮像制御部４２、レンズ制御部４３、及びカメラワーク制御部４６を備えている。

信号処理部４１は、カメラ側撮像部２０から入力されるデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、及び感度補正を含むゲインコントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理）、及びＲＧＢ／ＹＣ変換処理等の信号処理を行う。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢの３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。また、ＲＧＢ／ＹＣ変換処理は、デモザイク処理されたＲＧＢ画像データから輝度データＹと、色差データＣｂ，Ｃｒとを生成する処理である。

撮像制御部４２は、ＣＭＯＳドライバ２８及びＴＧ２９を介して撮像素子２４の画素毎のキャパシタに蓄積された電荷の排出又はキャパシタに蓄積された電荷に対応する信号の読出し等を指令する部分であり、撮像制御を行う。

レンズ制御部４３は、レンズ駆動部２６を介して撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ、及び絞り２３を制御する部分であり、フォーカスレンズを合焦位置に移動させるオートフォーカス（ＡＦ）制御等を行う。ＡＦ制御は、ＡＦエリアに対応するデジタル信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）が最大となる合焦位置を検出し、検出した合焦位置にフォーカスレンズを移動させることにより行う。

カメラワーク制御部４６は、信号処理部４１、撮像制御部４２、及びレンズ制御部４３を制御する指令信号を出力する。

カメラ側無線通信部５０は、図１に示したスマートフォン１００等の外部の端末機との間で無線通信を行う部分であり、無線通信を介してスマートフォン１００から各種の操作用の指示を受信する。また、カメラ側無線通信部５０は、記録用の画像等をスマートフォン１００に送信し、更にカメラ側撮像部２０により動画撮像され、信号処理部４１により処理された画像（ライブビュー画像）をスマートフォン１００に送信することができる。これにより、動画等の記録用の画像をスマートフォン１００の内部又は外付け記録媒体に記録したり、ライブビュー画像をスマートフォン１００の表示入力部１２０（図１）の表示パネル１２１に表示させることができる。

カメラ側操作部６０は、外部撮像装置１０に設けられた撮像開始ボタン及び電源ボタン等を含み、スマートフォン１００からの操作用の指示の入力と同様の操作用の指示の入力を行うことができる。

カメラ側表示部６１は、ライブビュー画像、再生画像等を表示する画像表示部として機能するとともに、カメラ側操作部６０と協働してメニュー画面の表示、各種のパラメータを設定又は入力するためのユーザインターフェース部（ＵＩ部）として機能する。

メモリ６２は、静止画や動画が一時的に格納される記憶領域、各種の演算処理等を行う作業用領域となるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、及び撮像用のプログラム及び制御に必要な各種データ等が格納されるＲＯＭ（Read Only Memory）を含む。

（マルチ撮像装置の内部構成）
図３は、図１に示したマルチ撮像装置（スマートフォン）１００の内部構成の例を示すブロック図である。

図３に示すように、スマートフォン１００の主たる構成要素として、無線通信部１１０、表示入力部１２０、通話部１３０、操作部１３９、内部撮像装置１４０、記憶部１５０、外部入出力部１６０、ＧＰＳ(Global Positioning System)受信部１７０、モーションセンサ部１８０、電源部１９０、及び制御部１０１を備える。また、スマートフォン１００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、制御部１０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。本例では、スマートフォン１００の無線通信部１１０は、外部撮像装置１０に各種の操作用の指示を送信したり、外部撮像装置１０からライブビュー画像、本撮像された画像等を受信する。なお、無線通信部１１０は、複数の外部撮像装置１０との無線通信が可能であるが、接続される外部撮像装置１０の数が多くなると各外部撮像装置１０との無線通信の通信量が減少する場合がある。

表示入力部１２０は、制御部１０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する。表示入力部（表示部）１２０は、表示パネル１２１と、操作パネル１２２とを備える。３Ｄ画像を鑑賞する場合には、表示パネル１２１は、３Ｄ表示パネルであることが好ましい。

表示パネル１２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を制御部１０１に出力する。次いで、制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１に示すように、スマートフォン１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル１２２は、表示パネル１２１の外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を制御部１０１にて処理可能な音声データに変換して制御部１０１に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。

操作部１３９は、キースイッチ等を用いたハードウェアキーであってもよい。また、表示入力部１２０に表示されたスイッチであってもよく、ユーザからの指示を受け付けるものである。例えば、操作部１３９は、外部撮像装置１０の本撮像を制御部１０１を介して指示することができる。なお、操作部１３９は、例えば、スマートフォン１００の筐体１０２の表示入力部１２０の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、又はダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimediacard micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

また、記憶部１５０には、スマートフォン１００の表示入力部１２０にマルチライブビュー表示されるライブビュー画像と同様の形態で第１の画像と第２の画像とが合成され保存される。また、記憶部１５０には、内部撮像装置１４０により本撮像された第１の画像及び外部撮像装置１０により本撮像された第２の画像が記憶されてもよい。

外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、イヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１００の内部の各構成要素に伝達することや、スマートフォン１００の内部のデータが外部機器に伝送される。

ＧＰＳ受信部１７０は、制御部１０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１００の緯度、経度、及び高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば３軸の加速度センサなどを備え、制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。この検出結果は、制御部１０１に出力されるものである。また、モーションセンサ部１８０により、スマートフォン１００の姿勢が検出されスマートフォン１００の第１の撮像部や第２の撮像部の光軸の方向が検出される。

電源部１９０は、制御部１０１の指示に従って、スマートフォン１００の各部にバッテリ（図示せず）に蓄えられる電力を供給するものである。

制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御するものである。また、制御部１０１は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、制御部１０１が、画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。例えば、制御部１０１は、内部撮像装置１４０から第１のライブビュー画像が入力され、外部撮像装置１０から無線通信部１１０を介して第２のライブビュー画像を受信し、そして、入力された第１のライブビュー画像と受信した第２のライブビュー画像とを表示入力部１２０にマルチライブビュー表示させる。

さらに、制御部１０１は、表示パネル１２１に対する表示制御と、操作部１３９、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、制御部１０１は、操作部１３９又は操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

操作検出制御の実行により、制御部１０１は、操作部１３９を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。例えば、制御部１０１は、操作部１３９により本撮像が指示されると、外部撮像装置１０による本撮像を指示する撮像指示を無線通信部１１０を介して外部撮像装置１０に送信する。また、制御部１０１は、操作部１３９から本撮像が指示されると外部撮像装置１０への本撮像の指示の送信と同期して、内部撮像装置１４０による本撮像を指示する撮像指示を内部撮像装置１４０に出力し、内部撮像装置１４０及び外部撮像装置１０による本撮像を同時に行わせることができる。

更に、制御部１０１は、操作検出制御の実行により、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）かそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、且つ、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

内部撮像装置１４０はＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge-Coupled Device)などの撮像素子を用いて電子撮影（撮像）するデジタルカメラである。また、内部撮像装置１４０は、第１の撮像部１４１及び第２の撮像部１４２を有する。なお、内部撮像装置１４０が有する撮像部の数は特に限定されるものではない。またここで、第１の撮像部１４１及び第２の撮像部１４２とは、少なくとも撮影レンズや撮像素子を含む撮像ユニットのことである。

また、内部撮像装置１４０は、制御部１０１の制御により、撮像によって得た画像データを、例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。

図１に示すスマートフォン１００において、内部撮像装置１４０の第１の撮像部１４１は表示入力部１２０と同じ面に設置されている。また、内部撮像装置１４０の第２の撮像部１４２は表示入力部１２０の背面に搭載されている。なお、図１においては表示入力部１２０の背面に搭載されている第２の撮像部１４２は図示が省力されている。また、複数の内部撮像装置１４０が搭載されている場合には、撮像に供する内部撮像装置１４０を切り替えて単独にて撮像したり、あるいは、複数の内部撮像装置１４０を同時に使用して撮像することもできる。そして、制御部１０１は、第１の撮像部１４１及び第２の撮像部１４２の両方又は一方から、第１のライブビュー画像又は第１の画像を取得することができる。

また、内部撮像装置１４０はスマートフォン１００の各種機能に利用することができる。例えば、表示パネル１２１に内部撮像装置１４０で取得したライブビュー画像（第1のライブビュー画像）や本撮像された画像（第１の画像）を表示することや、操作パネル１２２の操作入力のひとつとして、内部撮像装置１４０の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、内部撮像装置１４０からの画像を参照して位置を検出することもできる。更には、内部撮像装置１４０からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１００の内部撮像装置１４０の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、内部撮像装置１４０からの画像をアプリケーションソフトウェア内で利用することもできる。

本例では、ネットワーク等を介して外部撮像装置１０を操作するためのアプリケーションソフトウェアをダウンロードして記憶部１５０に記憶させ、スマートフォン１００のアプリケーション処理機能により、ダウンロードしたアプリケーションソフトウェアに従って制御部１０１を動作させることにより、汎用のスマートフォン１００を、外部撮像装置１０を操作するためのユーザインターフェース部（ＵＩ部）として機能させるようにしている。

（スマートフォンの表示画面）
図４は、マルチ撮像装置（スマートフォン）１００の表示入力部１２０の表示パネル１２１での表示例を示す図である。

スマートフォン１００は表示パネル１２１と操作パネル１２２とからなる表示入力部１２０を有しており（図３参照）、表示パネル１２１のパネル面が表示画面である。

図４に示すように表示パネル１２１には、ライブビュー画像が表示される表示領域１２１Ａ、ライブビューのレイアウトを示すアイコンボタンが表示される表示領域１２１Ｂ、及びライブビューを撮像する複数のカメラの台数を設定するアップダウンコントロールを含むダイアログボックスが表示される表示領域１２１Ｃが設けられている。また、表示パネル１２１には、上下左右の方向キーとセンタキーを示すアイコンからなるマルチファンクションの十字キー１２４と、撮像開始を指示する撮像開始ボタン（アイコンボタン）１２５と、静止画又は動画の撮像を選択する選択ボタン（アイコンボタン）１２６とが表示される。

制御部１０１は、内部撮像装置１４０から取得した第１のライブビュー画像又は本撮像された第１の画像と、外部撮像装置１０から無線通信を介して取得した第２のライブビュー画像又は本撮像された第２の画像とを表示入力部１２０の表示パネル１２１の表示領域１２１Ａに表示させる。

このとき、制御部１０１は、表示領域１２１Ｂに表示されているレイアウトを示すアイコンボタンにより選択されたレイアウトにしたがって、ライブビュー画像を表示パネル１２１の表示領域１２１Ａに表示させる。図４に示す例では、４つのレイアウトを示すアイコンボタンのうちの図４に向かって左から２番目のアイコンボタン（太枠で表示されたアイコンボタン）が操作され、左から２番目のアイコンボタンが示すレイアウトが選択されているため、制御部１０１は、左から２番目のアイコンボタンが示すレイアウトにしたがって、２つのライブビュー画像を表示パネル１２１の表示領域１２１Ａに表示させる。

表示パネル１２１の表示領域１２１Ｃに表示されるダイアログボックス内の数字を、アップダウンコントロールにより増減することにより、撮像に使用するカメラの台数を選択することができ、また、選択されたカメラの台数により、表示領域１２１Ｂに表示されているレイアウトを示すアイコンボタンも変化する。なお、カメラの台数と、台数に対応した画像のレイアウトの詳細については後述する。

また、表示パネル１２１の表示領域１２１Ａに表示されているライブビュー画像のいずれか１つがタッチ操作されると、タッチ操作されたライブビュー画像の枠が強調表示（太枠表示）され、太枠で表示されたライブビュー画像を送信しているカメラを、個別に遠隔操作することができる。

撮像開始ボタン１２５は操作部１３９の一形態であり、図１に示すようにスマートフォン１００のハードウェアとしてのボタンであってもよいが、図４に示すように表示画面上に表示された撮像開始ボタン１２５を使用してもよい。

また、制御部１０１は、内部撮像装置１４０で本撮像された第１の画像と外部撮像装置１０で本撮像された第２の画像とを設定されたレイアウト及び画像位置に沿って合成したマルチビュー画像を生成及び取得する。さらに、制御部１０１は、生成及び取得したマルチビュー画像を記憶部１５０に保存させる。

次に、カメラの台数に応じたレイアウトの種類について説明する。

図５は、カメラ台数が３台、２台、及び１台の場合にそれぞれ選択可能なレイアウトを示す図である。

図５の（ａ）部に示すようにカメラ台数が２の場合には、４つのレイアウト（１）〜（４）の中から１つのレイアウトを選択することができる。なお、図４の表示パネル１２１の表示領域１２１Ｂに表示されているレイアウトを示すアイコンボタンは、図５の（ａ）部に示した４つのレイアウト（１）〜（４）を示しており、レイアウト（２）が選択されている場合に関して示している。

図５の（ａ）部に示した４つのレイアウトのうちのレイアウト（１）は、それぞれ縦長にトリミングされた２つの画像を横方向に並べたレイアウトである。レイアウト（２）は、縦長にトリミングされた１つの画像を、表示領域１２１Ｂの左側の画像位置に配置し、トリミングしていない１つ画像を、表示領域１２１Ｂの右側の画像位置に配置したレイアウトであり、レイアウト（３）は、レイアウト（２）とは左右の画像位置が逆転したレイアウトであり、レイアウト（４）は、それぞれ横長にトリミングされた２つの画像を縦方向に並べたレイアウトである。

図５の（ｂ）部に示すようにカメラ台数が３の場合には、５つのレイアウト（１）〜（５）の中から１つのレイアウトを選択することができる。

図５の（ｂ）部に示した５つのレイアウトのうちのレイアウト（１）は、レイアウト（２）とは上下の画像位置が逆転したレイアウトであり、レイアウト（３）は、それぞれ縦長にトリミングされた３つの画像を横方向に並べたレイアウトである。レイアウト（４）は、縦長にトリミングされた１つの画像を、表示領域１２１Ｂの左側の画像位置に配置し、横長にトリミングされた２つの画像を、表示領域１２１Ｂの右側の上下の画像位置に配置したレイアウトである。レイアウト（５）は、レイアウト（４）の配置が左右反転されているものである。

図５の（ｃ）部に示すようにカメラ台数が１の場合には、１つの画像全体を表示する１つのレイアウト（１）のみが選択（自動的に設定）される。

このようにカメラ台数が特定され、レイアウトを示す番号が特定されると、１又は複数の画像のレイアウトを特定することができる。なお、レイアウトを示す番号を、カメラ台数にかかわらず、通し番号にすることより、レイアウトを示す番号から１又は複数の画像のレイアウトを特定することができる。

また、記憶部１５０には、上述したレイアウトの形態で表示されたライビュー画像と同様の形態で本撮像された第１の画像及び本撮像された第２の画像と合成されて記憶される。なお、具体的な合成方法に関しては公知の方法が使用されるため説明は省略する。

次に、選択されたレイアウトに表示する１又は複数のライブビュー画像の画像位置を設定方法について説明する。

図７は、表示パネル１２１の表示領域１２１Ａにライブビュー画像を３つ表示した場合の拡大図である。

図７の（ａ）部に示すように表示パネル１２１の表示領域１２１Ａには、選択されたレイアウト（本例では、図５の（ｂ）部に示したレイアウト（２））にしたがって３つのライブビュー画像ＬＶ１，ＬＶ２，ＬＶ３が表示されている。

ここで、ライブビュー画像ＬＶ１は内部撮像装置１４０から取得したものであり、ライブビュー画像ＬＶ２及びＬＶ３は外部撮像装置１０から受信したものとする。

このレイアウトにしたがって表示されるライブビュー画像ＬＶ１，ＬＶ２，ＬＶ３の各画像のうち、ライブビュー画像ＬＶ１の画像は、撮像された１画像の上下の領域を切り取るトリミングが行われ、横長のアスペクト比を有する画像とされ、表示領域１２１Ａの上半分の領域（画像位置）に表示されている。

また、ライブビュー画像ＬＶ２、ＬＶ３の画像は、それぞれトリミングされずに表示領域１２１Ａの下半分の左右の領域（画像位置）に表示されている。

なお、ライブビュー画像の１画像から横長又は縦長のアスペクト比を有する画像を切り出すトリミング処理は、通常は１画像の中央部を切り出すが、１画像全体を表示した状態で横長又は縦長のアスペクト比を有するトリミング枠を表示し、このトリミング枠をタッチして移動させることにより、１画像全体から任意の位置のトリミングした画像を切り出すことができる。

図７の（ａ）部において、レイアウト内のライブビュー画像ＬＶ１とＬＶ２の画像位置を入れ替える場合には、ライブビュー画像ＬＶ２にタッチし、ライブビュー画像ＬＶ２をライブビュー画像ＬＶ１の画像位置に移動させるスワイプ操作を行う。このスワイプ操作により、図７の（ｂ）部に示すようにライブビュー画像ＬＶ１とＬＶ２の画像位置を入れ替えることができる。

なお、上記の画像位置の移動に伴い、ライブビュー画像ＬＶ１はトリミングされない画像となり、ライブビュー画像ＬＶ２は横長にトリミングされた画像になる。また、ライブビュー画像ＬＶ１にタッチし、ライブビュー画像ＬＶ１をライブビュー画像ＬＶ２の画像位置に移動させるスワイプ操作を行うことにより、上記と同様にライブビュー画像ＬＶ１とＬＶ２の画像位置を入れ替えることができる。

上記のレイアウト内でライブビュー画像ＬＶ１〜ＬＶ３の３つの画像の画像位置を入れ替えた場合に得られる画像位置の組み合わせは、図６に示すように６通り存在する。以下、６通り組合せのうちのいずれか１つを、画像位置（１）〜（６）の数字により特定するものとする。

カメラ台数が３の場合は、いずれのレイアウトが選択されても、３つの画像の画像位置の組み合わせは６通り存在する。なお、カメラ台数が２の場合には、２つの画像の画像位置を入れ替えた場合に得られる画像位置の組み合わせは、２通りであり、カメラ台数が１の場合には、画像位置の組み合わせは、１通りである。

図８は、表示パネル１２１の表示領域１２１Ａの拡大図であり、特にカメラ台数が１つ（１つのライブビュー画像）で選択されている場合に関して示している。

図８の（ａ）部に示す例では、選択されたカメラに対応するライブビュー画像ＬＶ１が大きい画面で表示され、通信しているが選択されていないカメラに対応する２つのライブビュー画像ＬＶ２，ＬＶ３が小さい画面で表示されている。なお、小さい画面で表示されているライブビュー画像ＬＶ２，ＬＶ３に対応する動画は、動画編集の対象にはならない。

図８の（ａ）部において、選択されているライブビュー画像ＬＶ１を、ライブビュー画像ＬＶ２に切り替える（ライブビュー画像ＬＶ２を選択する場合）には、ライブビュー画像ＬＶ１にタッチし、ライブビュー画像ＬＶ１をライブビュー画像ＬＶ２の画像位置に移動させるスワイプ操作を行う。このスワイプ操作により、図８の（ｂ）部に示すように選択されているライブビュー画像ＬＶ１をライブビュー画像ＬＶ２に切り替えることができる。

なお、ライブビュー画像ＬＶ２にタッチし、ライブビュー画像ＬＶ２をライブビュー画像ＬＶ１の画像位置に移動させるスワイプ操作を行うことにより、上記と同様にライブビュー画像ＬＶ１とＬＶ２の画像位置を入れ替えること（ライブビュー画像の選択）ができる。

このようにカメラ台数及びレイアウトが特定され、かつ画像位置の組み合わせ（画像位置を示す数字）が特定されると、どのカメラにより撮像されたライブビュー画像の画像を、レイアウトのどの画像位置に配置すべきか（カメラ台数が１の場合には、どのカメラのライブビュー画像か）を特定することができる。

（第１の撮像部及び第２の撮像部）
図９及び図１０は、第１の撮像部１４１で撮像されたライブビュー画像と第２の撮像部１４２で撮像されたライブビュー画像に関して説明する概念図である。図９には、スマートフォン１００の内部撮像装置１４０（第１の撮像部１４１）で取得した第１のライブビュー画像２０１と外部撮像装置１０で取得した第２のライブビュー画像２０３とのマルチライブビュー表示が表示入力部１２０に示されている。図９に示す場合では、スマートフォン１００の表示入力部１２０側に設置された第１の撮像部１４１（フロントカメラともいう）で取得された人物の顔が主要被写体とされているライブビュー画像２０１が表示入力部１２０に表示されている。

また、表示入力部１２０上には、フロントカメラへの切り替え指示を受け付けるフロントカメラ指示受付部２０５とバックカメラへの切り替え指示を受け付けるバックカメラ指示受付部２０７が設けられている。フロントカメラ指示受付部２０５及びバックカメラ指示受付部２０７によりユーザはバックカメラでの撮像とフロントカメラでの撮像とを制御することができる。

図１０には、スマートフォン１００の内部撮像装置１４０（第２の撮像部１４２）で取得した第１のライブビュー画像と外部撮像装置１０で取得した第２のライブビュー画像とのマルチライブビュー表示が示されている。図１０に示された場合では、スマートフォン１００のバックカメラ（第２の撮像部１４２）によって撮像されているために、図９とは異なる主要被写体が捉えられた第１のライブビュー画像２０１が表示されている。

このように、内部撮像装置１４０における第１の撮像部１４１と第２の撮像部１４２とのライブビュー画像の表示を表示入力部１２０に設けたフロントカメラ指示受付部２０５及びバックカメラ指示受付部２０７により制御することが可能である。これにより、内部撮像装置１４０において異なる視点の画像を取得することができ、マルチ撮像装置１００において様々な形態のマルチライブビュー表示を行うことができる。

図１１は、マルチ撮像装置１００の動作フロー図である。

先ず、内部撮像装置１４０の第１の撮像部１４１又は第２の撮像部１４２により第１のライブビュー画像が取得される（ステップＳ１０：内部撮像ステップ）。その後、マルチ撮像装置１００の制御部１０１へ内部撮像装置１４０から第１のライブビュー画像が出力される。そして、外部撮像装置１０により取得された第２のライブビュー画像がマルチ撮像装置１００に取得される（ステップＳ１１：外部撮像ステップ）。すなわち、マルチ撮像装置１００は無線通信部１１０を介して外部撮像装置１０から第２のライブビュー画像を受信する。その後、制御部１０１により、レイアウトやライブビュー画像の表示位置が設定される（ステップＳ１２）。なお、制御部１０１が行うレイアウトやライブビュー画像の表示位置の設定は、ユーザの指示に応じて制御部１０１が行ってもよいし、予め決められている設定に応じて制御部１０１が行ってもよい。そして、設定されたレイアウト及び画像位置にしたがって第１及び第２のライブビュー画像をマルチビュー表示する（ステップＳ１３：表示ステップ）。

その後、制御部１０１により本撮像の指示の有無が判断される（ステップＳ１４）。本撮像の指示が無い場合（ステップＳ１４のＮｏの場合）には、再び内部撮像装置１４０により第１のライブビュー画像が取得される。一方、外部撮像装置１０及び内部撮像装置１４０への本撮像の指示が有る場合（ステップＳ１４のＹｅｓの場合）には、制御部１０１は外部撮像装置１０及び内部撮像装置１４０を同期して本撮像させる（ステップＳ１５）。

その後、制御部１０１は、本撮像された第１の画像及び第２の画像を取得する（ステップＳ１６）。そして、制御部１０１は、設定したレイアウト及び画像位置にしたがって、第１の画像と第２の画像とを合成する（ステップＳ１７）。それから、制御部１０１は、第１の画像と第２画像が設定されたレイアウト及び画像位置に沿って合成されたマルチビュー表示画像を記憶部１５０に保存する（ステップＳ１８）。上述したフロー図の各ステップをコンピュータに実行させるためのプログラムによっても本発明は実現することができる。その場合、プログラムはコンピュータで読取り可能な非一時的記録媒体に記憶され得る。

以上で説明したように、本実施形態によれば、内部撮像装置１４０と外部撮像装置１０とで取得されたライブビュー画像によりマルチライブビュー表示が行われるので、マルチ撮像装置１００の内部撮像装置１４０を有効利用することができ、且つマルチ撮像装置１００と外部撮像装置１０との無線通信量を減らすことができる。例えば、二つのライブビュー画像を取得するために二つの外部撮像装置１０を無線接続した場合に比べると、本実施形態では一つの外部撮像装置１０のみが無線通信によりマルチ撮像装置１００に接続されているので、外部撮像装置１０が１台接続される分の無線通信量を抑制することができる。

＜第２の実施形態＞
次に、第２の実施形態に関して説明する。本実施形態では、外部撮像装置１０としてパン・チルト機構を備える撮像装置（パン・チルトカメラ）が使用される。

図１２は、外部撮像装置１０であるパン・チルトカメラ１０Ａがマルチ撮像装置（スマートフォンともいう）１００に無線で接続されていることを示す概念図である。

パン・チルトカメラ１０Ａは、主として装置本体１２と、台座１４と、台座１４に固定されるとともに、カメラ側撮像部２０を回動自在に保持する保持部１６と、カメラ側撮像部２０を覆うドームカバー１８とを有している。

台座１４は、装置本体１２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図１３）により垂直方向Ｚの軸を中心にして回転する。

保持部１６は、水平方向Ｘの軸と同軸上に設けられたギア１６Ａを有し、チルト駆動部３６（図１３）からギア１６Ａを介して駆動力が伝達されることにより、カメラ側撮像部２０を上下方向に回動（チルト動作）させる。

ドームカバー１８は、防塵及び防滴用のカバーであり、カメラ側撮像部２０の光軸方向Ｌにかかわらず、カメラ側撮像部２０の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。

また、装置本体１２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。

パン・チルトカメラ１０Ａには、撮像開始を指示する撮像開始ボタン１９、電源スイッチ（図示せず）が設けられているが、パン・チルトカメラ１０Ａは、カメラ側無線通信部５０（図１３）を有し、主として外部の端末機（本例では、スマートフォン１００）との無線通信によりスマートフォン１００から各種の操作用の指示が加えられる。また、パン・チルトカメラ１０Ａで撮像されたライビュー画像や本撮像された画像はカメラ側無線通信部５０を介してスマートフォン１００に送信される。

図１３は、外部撮像装置１０であるパン・チルトカメラ１０Ａの内部構成例を示すブロック図である。なお、図２で説明を行ったブロックと同じブロックには同じ符号を付し説明は省略する。

図１３に示すパン・チルトカメラ１０Ａの内部構成例では、図２に示したものに対して、パン・チルト装置３０、パン・チルト制御部４４、及び被写体検出部４５が追加されている。

パン・チルト装置３０は、パン・チルト機構３２、パン駆動部３４、及びチルト駆動部３６を備えている。なお、パン・チルト機構３２は、図１２に示したようにカメラ側撮像部２０を装置本体１２に対して水平方向（パン方向）に回転されるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構３２で構成されている。パン・チルト機構３２は、パン方向の回転角度（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。

パン・チルト制御部４４は、カメラ側制御部４０に設けられている。パン・チルト制御部４４は、パン・チルト装置３０を制御する部分である。具体的には自動追尾モードが設定されている場合には、パン・チルト制御部４４は、被写体検出部４５により検出された被写体が画角の中心になるようにパン・チルト装置３０を制御する。また自動追尾モードが設定されてない場合には、パン・チルト制御部４４は、スマートフォン１００から送られてくる指示に従って、パン・チルト装置３０を制御する。

図４で説明した十字キー１２４のうちのいずれかの方向キーがタッチ操作されると、制御部１０１は、タッチ操作された方向キーが示す方向にパン動作又はチルト動作させるモータ駆動指令を出力する。また、十字キー１２４のセンタキーが操作されると、制御部１０１は、一定のパターンでパン動作又はチルト動作を繰り返させるためのモータ駆動指令を出力する。

被写体検出部４５は、追尾対象としての被写体が特定されると、被写体が移動してもその被写体を検出する機能を備えている。具体的には、まず始めに、追尾対象としたい被写体が自動又は手動で設定され、続いて、信号処理部４１から順次得られる撮像動画から追尾対象としている被写体の画像が顔検出処理又はパターンマッチング処理により検出される。なお、被写体検出部４５において行われる顔検出処理やパターンマッチング処理については周知であるため、ここでは説明を省略する。また、被写体検出の別の方法として、動体を被写体とする場合には、動体検出により被写体が検出されてもよい。

このように、外部撮像装置１０としてパン・チルトカメラ１０Ａを使用することによって、より広範囲の撮像を外部撮像装置１０により行うことができる。

次に、外部撮像装置１０としてパン・チルトカメラ１０Ａを使用した場合のパン・チルトカメラ１０Ａの使用例に関して説明する。

（パン・チルトカメラの使用例１）
本例では、パン・チルトカメラ１０Ａは、マルチ撮像装置１００の内部撮像装置１４０で捉えた被写体を被写体特定情報に基づいて撮像する。

図１４は、パン・チルトカメラ１０Ａを使用例１で使用するマルチ撮像装置１００の動作フロー図である。

先ず、マルチ撮像装置１００は、内部撮像装置１４０により被写体を捉え、その捉えた被写体を特定する（ステップＳ２０）。例えば、マルチ撮像装置１００の表示入力部１２０に内部撮像装置１４０により捉えられた被写体が表示され、ユーザのタッチ等により被写体が特定される。その後、マルチ撮像装置１００の制御部１０１により、特定された被写体の被写体特定情報が取得される（ステップＳ２１）。例えば、制御部１０１は、特定された被写体の顔認識のための情報又は特定された被写体のパターンマッチングに関する情報を被写体特定情報として取得する。

その後、制御部１０１は、被写体特定情報に基づいて、内部撮像装置１４０で捉えた被写体を外部撮像装置１０でも捉えるように外部撮像装置１０のパン・チルト機構３２を制御するためのパン・チルト駆動指示を、無線通信部１１０を介して外部撮像装置１０に送信する（ステップＳ２２）。そして、パン・チルトカメラ１０Ａは、カメラ側無線通信部５０を介してパン・チルト駆動指示を受信し、パン・チルト駆動指示に基づいてパン・チルト制御部４４によりパン・チルト装置３０を制御する。

このように、本例では、内部撮像装置１４０が捉えた被写体を特定する被写体特定情報に基づいて、外部撮像装置１０のパン・チルト機構３２が被写体を捉えるように制御される。よって、外部撮像装置１０及び内部撮像装置１４０で同じ被写体を捉えることができる。

（パン・チルト機構の使用例２）
本例では、パン・チルトカメラ１０Ａは、マルチ撮像装置１００の内部撮像装置１４０で捉えた被写体を、位置情報及び姿勢情報に基づいて撮像する。

図１５は、パン・チルトカメラ１０Ａを使用例２で使用するマルチ撮像装置１００の動作フロー図である。

先ず、マルチ撮像装置１００は、内部撮像装置１４０により被写体を捉え、その捉えた被写体を特定する（ステップＳ３０）。例えば、マルチ撮像装置１００の表示入力部１２０に内部撮像装置１４０により捉えられた被写体が表示され、ユーザのタッチ等により被写体が特定される。その後、マルチ撮像装置１００の制御部１０１は、内部撮像装置１４０の位置情報及びパン・チルトカメラ１０Ａの位置情報を取得する（ステップＳ３１）。内部撮像装置１４０の位置情報は、マルチ撮像装置１００のＧＰＳ受信部１７０から取得され、パン・チルトカメラ１０Ａの位置情報は、パン・チルトカメラ１０Ａが有するＧＰＳ等から取得することができる。また、マルチ撮像装置１００の制御部１０１は、内部撮像装置１４０の姿勢情報及びパン・チルトカメラ１０Ａの姿勢情報を取得する（ステップＳ３１）。制御部１０１は、マルチ撮像装置１００内に設置される３軸の加速度センサ等によりマルチ撮像装置１００の姿勢情報を取得し、内部撮像装置１４０の光軸の向きに関する情報を取得する。また、制御部１０１は、パン・チルトカメラ１０Ａに設置される３軸の加速度センサやパン・チルト機構３２等によりパン・チルトカメラ１０Ａの姿勢情報を取得し、パン・チルトカメラ１０Ａの光軸の向きに関する情報を取得する。

その後、制御部１０１は、位置情報及び姿勢情報に基づいて、内部撮像装置１４０で捉えた被写体を外部撮像装置１０でも捉えるように外部撮像装置１０のパン・チルト機構３２を制御するためのパン・チルト駆動指示を、無線通信部１１０を介して外部撮像装置１０に送信する（ステップＳ３２）。そして、パン・チルトカメラ１０Ａは、カメラ側無線通信部５０を介してパン・チルト駆動指示を受信し、パン・チルト駆動指示に基づいてパン・チルト制御部４４によりパン・チルト装置３０を制御する。

このように、本例では、位置情報及び姿勢情報に基づいて、外部撮像装置１０のパン・チルト機構３２が被写体を捉えるように制御されるので、外部撮像装置１０でも内部撮像装置１４０が捉えた被写体を捉えることができる。

さらに本例では、パン・チルトカメラ１０Ａは、マルチ撮像装置１００の内部撮像装置１４０で捉えた被写体を位置情報、姿勢情報、及び距離情報に基づいて撮像してもよい。

図１６は、パン・チルトカメラ１０Ａを使用例２で使用するもう一つのマルチ撮像装置１００の動作フロー図である。

先ず、マルチ撮像装置１００は、内部撮像装置１４０により被写体を捉え、その捉えた被写体を特定する（ステップＳ４０）。例えば、マルチ撮像装置１００の表示入力部１２０に内部撮像装置１４０により捉えられた被写体が表示され、ユーザのタッチ等により被写体が特定される。その後、マルチ撮像装置１００の制御部１０１は、内部撮像装置１４０の位置情報及びパン・チルトカメラ１０Ａの位置情報を取得する（ステップＳ４１）。内部撮像装置１４０の位置情報は、マルチ撮像装置１００のＧＰＳ受信部１７０から取得され、パン・チルトカメラ１０Ａの位置情報は、パン・チルトカメラ１０Ａが有するＧＰＳ等から取得することができる。また、マルチ撮像装置１００の制御部１０１は、内部撮像装置１４０の姿勢情報、パン・チルトカメラ１０Ａの姿勢情報、内部撮像装置１４０と被写体との距離情報を取得する（ステップＳ４１）。制御部１０１は、マルチ撮像装置１００内に設置される３軸の加速度センサ等によりマルチ撮像装置１００の姿勢情報を取得し、内部撮像装置１４０の光軸の向きに関する情報を取得する。また、制御部１０１は、パン・チルトカメラ１０Ａに設置される３軸の加速度センサやパン・チルト機構３２等によりパン・チルトカメラ１０Ａの姿勢情報を取得し、パン・チルトカメラ１０Ａの光軸の向きに関する情報を取得する。さらに、マルチ撮像装置１００の制御部１０１は、内部撮像装置１４０と内部撮像装置１４０で捉えられた被写体との距離に関する情報を取得する（ステップＳ４１）。なお、内部撮像装置１４０と被写体との距離に関する情報は、公知の手段によって取得される。例えば、マルチ撮像装置１００の制御部１０１は、内部撮像装置１４０を使用して被写体との距離を取得してもよいし、被写体にレーザ等の距離取得手段により内部撮像装置１４０と被写体との距離を取得してもよい。

その後、制御部１０１は、位置情報、姿勢情報、及び距離情報に基づいて、内部撮像装置１４０で捉えた被写体を外部撮像装置１０でも捉えるように外部撮像装置１０のパン・チルト機構３２を制御するためのパン・チルト駆動指示を、無線通信部１１０を介して外部撮像装置１０に送信する（ステップＳ４２）。そして、パン・チルトカメラ１０Ａは、カメラ側無線通信部５０を介してパン・チルト駆動指示を受信し、パン・チルト駆動指示に基づいてパン・チルト制御部４４によりパン・チルト装置３０を制御する。

このように、本例では、位置情報、姿勢情報、及び距離情報に基づいて、外部撮像装置１０のパン・チルト機構３２が被写体を捉えるように制御されるので、外部撮像装置１０でも内部撮像装置１４０が捉えた被写体を捉えることができる。

（パン・チルトカメラの使用例３）
本例では、パン・チルトカメラ１０Ａは、マルチ撮像装置１００のフロントカメラ（第１の撮像部１４１）とバックカメラ（第２の撮像部１４２）との切り替えに応じて、被写体の自動追尾が行われる。すなわち、マルチ撮像装置１００の制御部１０１は、内部撮像装置１４０における第１の撮像部１４１と第２の撮像部１４２との切り替えに応じて、パン・チルトカメラ１０Ａに、パン・チルト機構３２の駆動による自動追尾を指示する自動追尾指示を無線通信部１１０を介して外部撮像装置１０に送信する。ここで、被写体の自動追尾とは、特定された被写体を追尾するようにパン・チルト機構３２を動作させることをいう。また、自動追尾する対象は、上述した使用例１及び２で説明したようにマルチ撮像装置１００により特定されて、被写体検出部４５により検出されてもよいし、パン・チルトカメラ１０Ａで特定された被写体を自動追尾してもよい。

このように、本例は、第１の撮像部１４１と第２の撮像部１４２との切り替えに応じて、外部撮像装置１０のパン・チルト機構３２に自動追尾を行わせる。これにより、本例は、マルチ撮像装置１００を操作することにより外部撮像装置１０に自動追尾させることができる。

（パン・チルトカメラの使用例４）
本例では、パン・チルトカメラ１０Ａは、マルチ撮像装置１００の姿勢情報に連動してパン・チルト機構３２が制御される。すなわち、マルチ撮像装置１００の制御部１０１は、マルチ撮像装置１００の姿勢情報をモーションセンサ部１８０から取得し、その姿勢情報に連動して外部撮像装置１０のパン・チルト機構３２を制御するためのパン・チルト駆動指示を外部撮像装置１０に送信する。例えば、マルチ撮像装置１００を横に傾けるとパン・チルト機構３２はパン動作されるように制御され、マルチ撮像装置１００を縦に傾けるとパン・チルト機構３２はチルト動作されるように制御される。

このように本例は、マルチ撮像装置１００が動かされた場合の姿勢情報に連動して外部撮像装置１０のパン・チルト機構３２が制御されるので、外部撮像装置１０のパン・チルト機構３２をマルチ撮像装置１００により直感的に制御することができる。

＜第３の実施形態＞
次に本発明の第３の実施形態に関して説明する。本実施形態では、外部撮像装置１０が電子的なパン・チルト機構を有する。

図１７は、本実施形態の外部撮像装置１０の電子的なパン・チルト機構を有する撮像装置の内部構成を示すブロック図である。なお、図２及び図１３で説明を行ったブロックと同じブロックには同じ符号を付し説明は省略する。

図１７に示すパン・チルトカメラ１０Ａのブロック図は、図２及び図１３に示したブロック図と比較すると、電子パン・チルト制御部５１を有する。また撮像レンズ２２は、広角レンズが使用されることが好ましい。

電子パン・チルト制御部５１は、取得した画像の特定領域をのみをトリミングして表示させることにより、擬似的に撮像部がパン動作やチルト動作を行っているような画像を表示させる。なお、電子パン・チルトの具体的な方法は公知技術が使用されるので、ここでは具体的な説明は省略する。

図１８は、電子的なパン・チルト機構のパン動作及びチルト動作に関して説明する図である。図１８には、外部撮像装置１０で取得されたライブビュー画像（第２のライブビュー画像）７１、被写体７３、及びトリミング領域（特定領域）７５が示されている。本願の電子的なパン・チルト機構の一例が図１８に示されており、ライブビュー画像７１において、トリミング領域７５の位置をパン方向及びチルト方向に移動させることにより、疑似的に撮像部がパン動作及びチルト動作しているように表示させることができる。なお、マルチ撮像装置１００の表示入力部１２０には、トリミング領域７５内のライブビュー画像７１が表示される。なお、トリミング領域７５は上述したレイアウトでの表示領域と同じアスペクト比であることが好ましい。

以上で説明したように、外部撮像装置１０が電子的なパン・チルト機構を有することにより、外部撮像装置１０が機械的なパン・チルト機構を有していない場合であっても、撮像部がパン動作及びチルト動作するような表示を行うことができる。また、本実施形態においても上述したパン・チルトカメラの使用例１から４についても同様に応用される。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…外部撮像装置、２０…カメラ側撮像部、２２…撮像レンズ、２３…絞り、２４…撮像素子、２６…レンズ駆動部、２８…ＣＭＯＳドライバ、４０…カメラ側制御部、４１…信号処理部、４２…撮像制御部、４３…レンズ制御部、４６…カメラワーク制御部、５０…カメラ側無線通信部、６０…カメラ側操作部、６１…カメラ側表示部、６２…メモリ、１００…マルチ撮像装置、１０１…制御部、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１３９…操作部、１４０…内部撮像装置、１４１…第１の撮像部、１４２…第２の撮像部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１７０…受信部、１８０…モーションセンサ部、１９０…電源部

Claims (18)

1. 表示部と、
   第１のライブビュー画像又は本撮像された第１の画像を取得する内部撮像装置と、
   第２のライブビュー画像又は本撮像された第２の画像を取得する外部撮像装置との間で無線通信を行う無線通信部と、
   前記表示部、前記内部撮像装置及び前記無線通信部に接続される制御部と、を備え、
   前記制御部は、前記内部撮像装置から前記第１のライブビュー画像が入力され、前記外部撮像装置から前記無線通信部を介して前記第２のライブビュー画像を受信し、前記入力された前記第１のライブビュー画像と前記受信した前記第２のライブビュー画像とを前記表示部にマルチライブビュー表示させ、
   前記外部撮像装置は、機械的なパン・チルト機構、又は前記第２の画像のうち特定領域のみ表示してパン・チルト制御を行う電子的なパン・チルト機構を有し、
   前記制御部は、前記機械的なパン・チルト機構又は前記電子的なパン・チルト機構を動作させる指示を出力するマルチ撮像装置。
2. 更に記憶部を備え、
   前記制御部は、前記内部撮像装置及び前記外部撮像装置により本撮像された前記第１の画像と前記第２の画像とをそれぞれ取得し、前記マルチライブビュー表示されたライブビュー画像と同様の形態で前記取得した第１の画像と第２の画像とを合成し、前記合成した画像を前記記憶部に保存する請求項１に記載のマルチ撮像装置。
3. 前記制御部は、
   前記表示部に表示された前記内部撮像装置が捉えた被写体を特定する被写体特定情報を取得し、
   前記被写体特定情報に基づいて、前記内部撮像装置で捉えた前記被写体を前記外部撮像装置でも捉えるように前記外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を前記外部撮像装置に送信する請求項１に記載のマルチ撮像装置。
4. 前記制御部は、
   前記内部撮像装置及び前記外部撮像装置の位置情報を取得し、
   前記内部撮像装置及び前記外部撮像装置の姿勢情報を取得し、
   前記位置情報及び前記姿勢情報に基づいて、前記内部撮像装置で捉えた被写体を前記外部撮像装置でも捉えるように前記外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を前記外部撮像装置に送信する請求項１に記載のマルチ撮像装置。
5. 前記制御部は、前記内部撮像装置と被写体との距離情報を取得し、
   前記位置情報、前記姿勢情報、及び前記距離情報に基づいて、前記内部撮像装置で捉えた被写体を前記外部撮像装置でも捉えるように前記外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を前記外部撮像装置に送信する請求項４に記載のマルチ撮像装置。
6. 前記制御部は、
   前記マルチ撮像装置の姿勢情報を取得し、
   前記姿勢情報に連動して、前記外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を前記外部撮像装置に送信する請求項１から５のいずれか１項に記載のマルチ撮像装置。
7. 本撮像を指示する操作部を更に備え、
   前記制御部は、前記操作部により本撮像が指示されると、前記外部撮像装置による本撮像を指示する撮像指示を前記外部撮像装置に送信する請求項１から６のいずれか１項に記載のマルチ撮像装置。
8. 前記制御部は、前記操作部から本撮像が指示されると前記内部撮像装置及び前記外部撮像装置が同期して本撮像を行わせる請求項７に記載のマルチ撮像装置。
9. 前記内部撮像装置は、第１の撮像部及び第２の撮像部を含み、
   前記制御部は、前記第１の撮像部及び前記第２の撮像部の両方又は一方から、前記第１のライブビュー画像又は前記第１の画像を取得する請求項１から８のいずれか１項に記載のマルチ撮像装置。
10. 前記制御部は、
    前記第１の撮像部による撮像及び前記第２の撮像部による撮像の切り替えが行われた場合に、前記外部撮像装置に、前記パン・チルト機構の駆動による自動追尾を指示する自動追尾指示を前記外部撮像装置に送信する請求項９に記載のマルチ撮像装置。
11. 第１のライブビュー画像又は本撮像された第１の画像を取得する内部撮像ステップと、
    第２のライブビュー画像又は本撮像された第２の画像を取得した外部撮像装置から無線通信により前記第２のライブビュー画像又は前記第２の画像を取得する外部撮像ステップと、を含むマルチ撮像方法であって、
    前記内部撮像ステップでは前記第１のライブビュー画像が入力され、前記外部撮像ステップでは前記第２のライブビュー画像が受信され、
    更に、前記第１のライブビュー画像と前記第２のライブビュー画像とをマルチライブビュー表示させる表示ステップと、を含み、
    前記外部撮像ステップは、機械的なパン・チルト機構、又は前記第２の画像のうち特定領域のみ表示してパン・チルト制御を行う電子的なパン・チルト機構を有する前記外部撮像装置により撮像された前記第２のライブビュー画像又は前記第２の画像を取得し、
    前記機械的なパン・チルト機構又は前記電子的なパン・チルト機構を動作させる指示を出力するステップと、をさらに含むマルチ撮像方法。
12. 前記内部撮像ステップ及び前記外部撮像ステップにより本撮像された前記第１の画像と前記第２の画像とをそれぞれ取得し、
    前記マルチライブビュー表示されたライブビュー画像と同様の形態で前記取得した第１の画像と第２の画像とを合成するステップと、
    前記合成した画像を保存するステップと、
    を更に含む請求項１１に記載のマルチ撮像方法。
13. 前記内部撮像ステップで捉えた被写体を特定する被写体特定情報を取得するステップと、
    前記被写体特定情報に基づいて、前記内部撮像ステップで捉えた前記被写体を前記外部撮像装置でも捉えるように前記外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を、前記外部撮像装置に送信するステップと、を含む請求項１１に記載のマルチ撮像方法。
14. 前記内部撮像ステップが行われる内部撮像装置及び前記外部撮像装置の位置情報を取得するステップと、
    前記内部撮像装置及び前記外部撮像装置の姿勢情報を取得するステップと、
    前記位置情報及び前記姿勢情報に基づいて、前記内部撮像装置で捉えた被写体を前記外部撮像ステップでも捉えるように前記外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を、前記外部撮像装置に送信するステップと、を含む請求項１１に記載のマルチ撮像方法。
15. 前記内部撮像装置と被写体との距離情報を取得するステップと、
    前記位置情報、前記姿勢情報、及び前記距離情報に基づいて、前記内部撮像装置で捉えた被写体を前記外部撮像ステップでも捉えるように前記外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を、前記外部撮像装置に送信するステップと、を含む請求項１４に記載のマルチ撮像方法。
16. マルチ撮像装置の姿勢情報を取得するステップと、
    前記マルチ撮像装置の姿勢情報に基づいて、前記外部撮像装置のパン・チルト機構を制御するためのパン・チルト駆動指示を前記外部撮像装置に送信するステップと、を含む請求項１１から請求項１５のいずれか１項に記載のマルチ撮像方法。
17. 第１のライブビュー画像又は本撮像された第１の画像を取得する内部撮像ステップと、
    第２のライブビュー画像又は本撮像された第２の画像を取得した外部撮像装置から無線通信により前記第２のライブビュー画像又は前記第２の画像を取得する外部撮像ステップと、を含むマルチ撮像方法であって、
    前記内部撮像ステップでは前記第１のライブビュー画像が入力され、前記外部撮像ステップでは前記第２のライブビュー画像が受信され、
    更に、前記第１のライブビュー画像と前記第２のライブビュー画像とをマルチライブビュー表示させる表示ステップと、を含み、
    前記外部撮像ステップは、機械的なパン・チルト機構、又は前記第２の画像のうち特定領域のみ表示してパン・チルト制御を行う電子的なパン・チルト機構を有する前記外部撮像装置により撮像された前記第２のライブビュー画像又は前記第２の画像を取得し、
    前記機械的なパン・チルト機構又は前記電子的なパン・チルト機構を動作させる指示を出力するステップと、をさらに含むマルチ撮像法をコンピュータに実行させるためのプログラム。
18. 請求項１７に記載のプログラムのコンピュータで読み取り可能なコードが記録された非一時的記録媒体。

Images