JP5930276B2 - 画像処理装置、画像処理方法、画像処理システム及びプログラム - Google Patents

Description

本発明は、撮影範囲の異なる複数の撮像手段によって撮影された画像データを処理する画像処理装置、画像処理方法、画像処理システム及びプログラムに関する。

一般に、例えば、テレビ放送番組の制作時において、複数台のカメラにより撮影された各画像データの切り換えは、編集者が各画像データを見ながら適切な画像データを選んで手動で切り換えるようにしている。また、従来、カメラの切り換えを自動的に行うものとしては、例えば、移動する物体の移動エリア内に設置された複数台のカメラによって移動物体を同時撮影することによってそれぞれ録画しておき、その録画の再生時に移動物体の速度に合わせたインターバルにより、各カメラの録画画像データを順次切り換えることによって逐次表示するようにした技術が開発されている（特許文献１参照）。

特開２００４−２６０７８１号公報

しかしながら、上述した特許文献の技術にあっては、移動物体に追尾した再生が可能となるが、再生時のみ画像データの切り換えが可能なものであり、また、被写体として移動する物体のみを対象とするものであるため、色々な用途や色々な場面で活用できるものとは言えず、利便性や汎用性の点で問題が残る。

本発明の課題は、複数の撮像手段により個別に同時撮影された各系統の画像データの中から適切な画像データを逐次選択する場合に、被写体の状態を問わず、特別な操作を行うこともなく、適切な画像データを逐次選択して時系列に並べることができるようにすることである。

上述した課題を解決するために本発明の一つの態様は、
撮影範囲の異なる複数の撮像手段によって撮影された画像データを処理する画像処理装置であって、
前記複数の撮像手段によって個別に同時撮影された各系統の画像データを逐次それぞれ取得する取得手段と、
前記複数の撮像手段によって個別に同時撮影された各系統の画像データを、前記取得手段が画像データを取得する間隔より長い間隔であって、ユーザにより画像の視認が可能な間隔である第１の間隔でそれぞれ解析する解析手段と、
前記取得手段によって逐次取得される同時撮影された各系統の画像データの中から、前記第１の間隔で解析された結果に基づいて、前記個別に同時撮影された各系統の画像データの中から画像内に特定被写体が含まれている画像データを前記第１の間隔で選択して画像切り換えを行う切換手段と、
前記切換手段により前記第１の間隔で切り換えられた各系統の画像データを時系列に並べる編成処理を行う編成手段と、
を備えることを特徴とする画像処理装置である。

また、上述した課題を解決するために本発明の他の態様は、
撮影範囲の異なる複数の撮像手段によって個別に同時撮影された各系統の画像データを逐次それぞれ取得する処理と、
前記個別に同時撮影された各系統の画像データを、前記画像データを取得する間隔より長い間隔であって、ユーザにより画像の視認が可能な間隔である第１の間隔でそれぞれ解析する処理と、
前記逐次取得される同時撮影された各系統の画像データの中から、前記第１の間隔で解析された結果に基づいて、前記個別に同時撮影された各系統の画像データの中から画像内に特定被写体が含まれている画像データを前記第１の間隔で選択して画像切り換えを行う処理と、
前記第１の間隔で切り換えられた各系統の画像データを時系列に並べる編成処理と、
を備えることを特徴とする画像処理方法である。

また、上述した課題を解決するために本発明の他の態様は、
コンピュータに対して、
撮影範囲の異なる複数の撮像手段によって個別に同時撮影された各系統の画像データを逐次それぞれ取得する機能と、
前記個別に同時撮影された各系統の画像データを、前記画像データを取得する間隔より長い間隔であって、ユーザにより画像の視認が可能な間隔である第１の間隔でそれぞれ解析する機能と、
前記逐次取得される同時撮影された各系統の画像データの中から、前記第１の間隔で解析された結果に基づいて、前記個別に同時撮影された各系統の画像データの中から画像内に特定被写体が含まれている画像データを前記第１の間隔で選択して画像切り換えを行う機能と、
前記第１の間隔で切り換えられた各系統の画像データを時系列に並べる編成処理を行う機能と、
を実現させるためのプログラムである。

更に、上述した課題を解決するために本発明の他の態様は、
撮影範囲の異なる複数の撮像装置によって撮影された画像データを処理する画像処理システムであって、
前記複数の撮像装置によって個別に同時撮影された各系統の画像データを逐次それぞれ取得する取得手段と、
前記複数の撮像装置によって個別に同時撮影された各系統の画像データを、前記取得手段が画像データを取得する間隔より長い間隔であって、ユーザにより画像の視認が可能な間隔である第１の間隔でそれぞれ解析する解析手段と、
前記取得手段によって逐次取得される同時撮影された各系統の画像データの中から、前記解析手段により前記第１の間隔で解析された結果に基づいて、前記個別に同時撮影された各系統の画像データの中から画像内に特定被写体が含まれている画像データを前記第１の間隔で選択して画像切り換えを行う切換手段と、
前記切換手段により前記第１の間隔で切り換えられた各系統の画像データを時系列に並べる編成処理を行う編成手段と、
を備えることを特徴とする画像処理システムである。

本発明によれば、複数の撮像手段により個別に同時撮影された各系統の画像データの中から適切な画像データを逐次選択する場合に、被写体の状態を問わず、特別な操作を行うこともなく、適切な画像データを逐次選択して時系列に並べることができ、汎用性及び利便性に富んだものとなる。

（１）は、画像処理装置を構成する装置本体をその正面から見た概略外観図、（２）は、四台のカメラ（マルチカメラ）Ａ、Ｂ、Ｃ、Ｄの配列状態を上方から見た図。 画像処理装置の基本的な構成要素を示したブロック図。 マルチカメラＡ〜Ｄによって撮影された各系統の画像データを音声データと共にデータ記憶部Ｍ２に記憶させた場合に、（１）は、その記憶状態の一例、（２）は、その記憶状態の他の例を示した図。 マルチカメラＡ〜Ｄによって撮影された各系統の画像データの中から逐次選択された画像データを時系列に並べる編成処理（自動切換処理）を説明するための図。 電源投入に応じて実行開始される画像処理装の全体動作（本第一実施形態の特徴的な動作）の概要を説明するためのフローチャート。 図５に続く動作を示したフローチャート。 自動編成・表示処理（図５のステップＡ１３、図６のステップＡ２３）を詳述するためのフローチャート。 画像選択切換処理（図７のステップＢ５）を詳述するためのフローチャート。 マルチカメラＡ〜Ｄを直線状に配置した場合を例示した図。 第二実施形態において、自動編成・表示処理（図５のステップＡ１３）を詳述するためのフローチャート。 第三実施形態における通信システム（画像処理システム）を示したブロック図。 （１）、（２）は、第三実施形態において、マルチカメラＡ〜Ｄの配置状態を例示した図。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第一実施形態）
先ず、図１〜図８を参照して本発明の第一実施形態を説明する。
図１は、撮影範囲の異なる複数のカメラによって撮影された画像データを処理する電子機器（画像処理装置）の外観を説明するための図である。
画像処理装置は、その基本機能として周囲を撮影する撮影機能と、撮影された画像データを再生する再生機能などを備えている。この画像処理装置を構成する装置本体は、その筐体全体が中空の円柱形（円筒形）を成し、その周側面の中央部にはその周方向に沿うように四台のカメラＡ、Ｂ、Ｃ、Ｄが等間隔に環状配置されていると共に、装置本体の上面には非指向性（無指向性）の一つのマイクＥが配設され、更に、装置本体の中空部には各種の電子部品（図示省略）が配設されている。なお、装置本体の周側面から露出しているカメラＡ〜Ｄの部分は、その撮影レンズ（図示省略）を示している。

図１（１）は、画像処理装置を構成する装置本体をその正面から見た概略外観図、（２）は、四台のカメラＡ、Ｂ、Ｃ、Ｄの配列状態を上方から見た図である。
複数台のカメラ（マルチカメラ）Ａ、Ｂ、Ｃ、Ｄは、例えば、それぞれ同一の画角に設定されていると共に、それらの画角及び撮影方向が所定の撮影対象エリア（例えば、周囲３６０°）を分担して網羅するように設定されている。なお、各カメラＡ、Ｂ、Ｃ、Ｄの画角は、それぞれ相違していてもよい。また、マルチカメラＡ〜Ｄは、それらにより撮影された画像同士が重ならない位置にそれぞれ整列配置されている。このように構成された画像処理装置の使い方は、色々であるが、例えば、会議の場では、テーブルの中央部分に設置したり、楽器演奏の練習の場、芝居の練習、映画の吹き替えの場では、輪になって並んでいる各奏者や役者などの中央部分に設置したりして使用するものである。

図２は、画像処理装置の基本的な構成要素を示したブロック図である。
画像処理装置の中核である制御部１は、電源部（例えば、二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの画像処理装置の全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図５〜図８に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム記憶部Ｍ１と、画像データや音声データなどを記憶するデータ記憶部Ｍ２を有するほか、この画像処理装置が動作するために必要となる各種の情報（例えば、フラグ、タイマなど）を一時的に記憶するワーク領域を有する構成となっている。

なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態においては所定の外部サーバ側の記憶領域を含むものであってもよい。操作部４は、図示省略したが、電源ボタンなど、押しボタン式の各種キーを備えたもので、制御部１は、この操作部４からの入力操作信号に応じた処理を行う。表示部５は、例えば、高精細液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、電気泳動型ディスプレイ（電子ペーパ）のいずれかを使用し、画像データを高精細に表示するもので、撮像された画像（ライブビュー画像）を表示するモニタ画面として機能したり、保存済み画像データを表示する再生画面として機能したりする。

集音部６は、撮影中にカメラ周囲の音声（被写体やその周囲からの音声）を集音するもので、無指向性（全指向性）のモノラルマイクロフォン（マイク）Ｅのほか、図示省略したが、Ａ／Ｄ（アナログ／デジタル）変換部、音声バッファ、音声信号処理回路部などを有する構成となっている。この集音部６によって集音された音声データは、マルチカメラＡ〜Ｄにより撮影された画像データに同期してデータ記憶部Ｍ２に記憶されたり、画像データの表示に同期してスピーカ７から音声出力されたりする。撮像部８は、マルチカメラＡ〜Ｄを有する構成で、このマルチカメラＡ〜Ｄは、個別に同時撮影を行うもので、ズームレンズ、フォーカスレンズなどを備えたレンズ部からの被写体像が、図示省略した絞りやシャッタを介して撮像素子（ＣＣＤ又はＣＭＯＳ）に結像されることにより被写体を高精細に静止画撮影や動画撮影が可能となっている。

そして、マルチカメラＡ〜Ｄを構成する撮像素子（図示省略）によって光電変換された画像信号（アナログ値の信号）は、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後、デジタル値のデータに変換される。そして、デジタル変換された画像データは、色補間処理（デモザイク処理）が施されて表示部５に送られ、ライブビュー画像としてフルカラー表示される。なお、マルチカメラＡ〜Ｄは、光学系、撮像素子を除き、その電子部品の一部分を共通して利用可能とする構成であってもよい。

マルチカメラＡ〜Ｄによって個別に同時撮影された各系統の画像（例えば、動画）は、対応するバッファ９Ａ、９Ｂ、９Ｃ、９Ｄに一時記憶される。なお、上述の同時撮影は、全くの同一時刻における撮影である必要はなく、同一のフレーム内に収まっていればよい。切換部１０は、マルチカメラＡ〜Ｄに対する各バッファ９Ａ〜９Ｄをサイクリックに順次指定して１フレーム分の画像データを取得する動作を所定の取得タイミング毎に行う。すなわち、切換部１０は、各バッファ９Ａ〜９Ｄを所定の取得タイミング（例えば、フレームレートが３０ｆｐｓの場合には１／１２０秒）毎に指定して、その指定バッファ内から１フレーム分の画像データを取得する動作を繰り返すもので、その切り換え動作は、制御部１の制御下で行われる。

図３（１）は、マルチカメラＡ〜Ｄによって個別に同時撮影された各系統の画像データとマイクＥによって集音された音声データとを同期させてデータ記憶部Ｍ２に記憶させた場合の様子を示した図である。
制御部１は、マルチカメラＡ〜Ｄに対応する各系統の画像データが切換部１０から上述の取得タイミング毎に順次切り換え出力されると、各系統の画像データを一つの画像ファイル内に時分割に順次記憶させるようにしている。これによって一つの画像ファイル内には、マルチカメラＡ〜Ｄに対応する各系統の画像データが上述の取得タイミングに同期して時分割に順次記憶されることになる。

図３（１）は、各系統の画像データを一つの画像ファイル内に時分割に順次記憶させた状態を例示したもので、一つの画像ファイルには、その先頭位置からカメラＡの１フレーム目の画像データ、カメラＢの１フレーム目の画像データ、カメラＣの１フレーム目の画像データ、カメラＤの１フレーム目の画像データ、カメラＡの２フレーム目の画像データ、カメラＢの２フレーム目の画像データ、…、のように各系統の画像データが時分割に順次記憶される。また、制御部１は、集音部６からの音声データを上述の画像データに同期して音声ファイル内に記憶するようにしている。

なお、図３（１）の例では、一つの画像ファイル内にマルチカメラＡ〜Ｄに対応する各系統の画像データを時分割に順次記憶するようにしたが、図３（２）に示すように、各系統の画像データを別個の画像ファイルに割り当てながら個別に記憶するようにしてもよい。この場合、カメラＡ用の画像ファイル、カメラＢ用の画像ファイル、カメラＣ用の画像ファイル、カメラＤ用の画像ファイルに分けられる。また、集音部６からの音声データは、上述の画像データに同期して個別の音声ファイルに順次記憶するようにし、更に、各画像ファイル内の画像データ同士の同期と、音声ファイル内の音声データと画像データとの同期を制御するための同期用のファイル（同期管理ファイル）を含めて記憶するようにしてもよい。

図４は、マルチカメラＡ〜Ｄによって同時撮影された各系統の画像データの中から逐次選択された画像データを時系列に並べる編成処理（自動切換処理）を説明するための図である。
すなわち、この編成処理（自動切換処理）は、マルチカメラＡ〜Ｄに対応する各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択して画像切り換えを行うことにより各選択画像を時系列に並べるための編成処理であり、マルチカメラＡ〜Ｄによる撮影時に自動編成撮影操作が行われた際に実行開始されたり、その撮影画像データの再生時に自動編成再生操作が行われた際に実行開始されたりする。

図中、横方向（左右方向）に整列しているマス目の各列Ａ１、Ａ２…、Ｂ１、Ｂ２…、Ｃ１、Ｃ２、…Ｄ１、Ｄ２…は、マルチカメラＡ〜Ｄによって同時撮影された各系統の画像データ群を示し、その１マス目は、単位時間（例えば、２秒単位）内の複数フレーム分、例えば、フレームレートが３０ｆｐｓの場合には６０フレーム分の画像データ群を示している。また、その各列の縦方向（上下方向）は、図示のように整列しており、各系統の画像データが１マス目毎にそれぞれ同期している状態であることを示している。制御部１は、このようなマルチカメラＡ〜Ｄに対応する各系統の画像データの中から所定の基準にしたがっていずれかの画像（１マス目分）を切り換えタイミング（上述の２秒単位）毎に逐次選択して画像切り換えを行うと共に、逐次切り換えられた各系統の画像データを時系列に並べる編成処理（自動切換処理）を行うようにしている。なお、図中、太線のマス目は、選択された画像データ群を示している。

図示の例においては、１回目の切り換えタイミング（２秒単位）でカメラＡ対応の画像データ群Ａ１が選択され、同様に２回目の切り換えタイミングでカメラＡ対応の画像データ群Ａ２が選択された場合を示している。そして、３回目の切り換えタイミングでカメラＢ対応の画像データ群Ｂ３が選択され、４回目の切り換えタイミングでカメラＤ対応の画像データ群Ｄ４が選択され、５回目及び６回目の切り換えタイミングでカメラＣ対応の画像データ群Ｃ５、Ｃ６が選択された場合を示している。このようにして時系列に順次並べられた編成後の画像データ群は、Ａ１、Ａ２、Ｂ３、Ｄ４、Ｃ５、Ｃ６、…の並びとなり、音声データに同期して表示されたり、音声データに同期してデータ記憶部Ｍ２に記憶されたりする。

次に、第一実施形態における画像処理装置の動作概念を図５〜図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図５及び図６は、電源投入に応じて実行開始される画像処理装の全体動作（本第一実施形態の特徴的な動作）の概要を説明するためのメインのフローチャートである。
先ず、制御部１は、現在設定中の動作モードを参照し、撮影機能を動作させる撮影モードであるかを調べ（図５のステップＡ１）、撮影モードであれば（ステップＡ１でＹＥＳ）、撮影モードの初期設定として所定のメモリをクリアしたり、撮影条件を初期値に設定したりする初期化処理を行うと共に、その初期設定状時の撮影条件に応じて撮影されたライブビュー画像データを表示させる（ステップＡ２）。この状態において、図４に示した画像編集処理を指示する自動編成撮影操作が行われたかを調べたり（ステップＡ３）、自動編成撮影操作以外の通常の撮影操作が行われたかを調べたり（ステップＡ４）、モード変更操作が行われたかを調べたり（ステップＡ５）、その他の操作が行われたかを調べたりする（ステップＡ６）。

いま、その他の操作として、例えば、露出調整、ズーム調整などを指示する撮影条件設定操作が行われたときには（ステップＡ６でＹＥＳ）、その操作に応じた処理として（ステップＡ７）、露出調整処理、ズーム調整処理などを実行した後、上述のステップＡ３に戻り、操作待ち状態となる。また現在設定中の動作モードを変更するモード変更操作が行われた場合、つまり、撮影モードから再生機能を動作させる再生モードへの切り換えを指示するモード変更操作が行われた場合には（ステップＡ５でＹＥＳ）、後述する図６のフローに移る。

また、自動編成撮影操作以外の通常の撮影操作が行われたときには（ステップＡ４でＹＥＳ）、マルチカメラＡ〜Ｄを同一の撮影条件で一斉駆動（同期駆動）させることにより同時撮影を開始させる（ステップＡ８）。この撮影開始に応じてマルチカメラＡ〜Ｄによって個別撮影された各系統の画像データが切換部１０から上述の取得タイミング毎に順次切り換え出力されると、その各系統の画像データを順次取得する（ステップＡ９）。そして、取得した各系統の画像データを一つの画像ファイル内に時分割に順次記憶（録画）させると共に、集音部６からの音声データを画像データに同期して音声ファイル内に記憶（録音）させる（ステップＡ１０）。

以下、撮影終了を指示する操作が行われたかを調べ（ステップＡ１１）、撮影終了操作が行われるまで上述のステップＡ９に戻って通常の撮影動作を継続するが、撮影終了操作が行われたときには（ステップＡ１１でＹＥＳ）、撮影動作を停止（ステップＡ１２）させた後、上述のステップＡ３に戻って操作待ち状態となる。一方、図４に示した画像編集処理を指示する自動編成撮影操作が行われたときには（ステップＡ３でＹＥＳ）、自動編成・表示処理に移る（ステップＡ１３）。

図７は、自動編成・表示処理（図５のステップＡ１３、図６のステップＡ２３）を詳述するためのフローチャートである。
先ず、制御部１は、現在設定中の動作モードを参照し、撮影機能を動作させる撮影モードかを調べるが（ステップＢ１）、いま、撮影モードであるから（ステップＢ１でＹＥＳ）、マルチカメラＡ〜Ｄを同一の撮影条件で一斉駆動（同期駆動）させることにより同時撮影を開始させる（ステップＢ２）。そして、マルチカメラＡ〜Ｄによって個別撮影された各系統の画像データが切換部１０から上述の取得タイミング毎に順次切り換え出力されると、その各系統の画像データを取得しながら（ステップＢ３）、上述の切り換えタイミング（例えば、２秒単位）に達したかを調べる（ステップＢ４）。

すなわち、フレームレートが３０ｆｐｓの場合には、系列毎に６０フレーム分の画像データ群を取得したか、つまり、切り換えタイミング（例えば、２秒単位）に達したかを調べ、切り換えタイミングに達するまで画像データの取得動作を継続する。また、切り換えタイミングに達したときには（ステップＢ４でＹＥＳ）、取得した各系統の画像データの中から所定の基準にしたがって、例えば、特定被写体の状態にしたがっていずれかの画像データを逐次選択して画像データの切り換えを逐次行う画像選択切換処理に移る（ステップＢ５）。

図８は、画像選択切換処理（図７のステップＢ５）を詳述するためのフローチャートである。
先ず、制御部１は、各系統の画像データを順次解析することにより（ステップＣ１）、いずれかの系統の画像データ内に特定被写体（人物）が含まれているかを認識する人物認識処理を行う（ステップＣ２）。この場合、フレーム単位毎に撮影画像を解析しながら特定被写体（人物）の特徴部分、例えば、顔、身体の輪郭や人物を形成するバーツ（頭、胴体、手足、目、口、鼻など）の形や位置関係などを総合的に判断して、特定被写体（人物）を検出すると共に、複数フレームにわたって連続的に登場する同一被写体を追尾しながら人物であるかを判断するようにしている。このような人物認識処理は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

人物認識の結果、いずれの系統の画像内にも特定被写体（人物）が含まれていなければ（ステップＣ３でＮＯ）、予めユーザ指定により優先すべきカメラ（例えば、１台目のカメラＡ）が任意に指定されている場合には、その優先カメラに対応する系統の画像データを選択（ステップＣ４）した後、図８のフローから抜ける。また、いずれかの系統の画像データ内に人物が含まれていれば（ステップＣ４でＹＥＳ）、その人物の変化量を検出し（ステップＣ５）、所定量以上の変化があるか、例えば、会議において人物の口の部分が動いているか（発言しているか）を調べる（ステップＣ６）。

この場合、同一系統の前後におけるフレームの画像データを比較することによって被写体の変化量を解析する。その結果、各系統の画像データ内の特定被写体（人物）も変化していなければ（ステップＣ６でＮＯ）、上述のステップＣ４に移り、優先カメラ（例えば、カメラＡ）に対応する系統の画像データを選択するが、人物の変化を検出したときには（ステップＣ６でＹＥＳ）、複数系統の画像データ内の人物がそれぞれ変化している場合かを調べる（ステップＣ７）。いま、一つの系統のみの変化であれば（ステップＣ７でＮＯ）、その人物を含む系統の画像データを選択（ステップＣ８）した後、図８のフローから抜ける。

また、複数系統の人物が変化している場合（ステップＣ７でＹＥＳ）、例えば、カメラＡの画像データ内の人物とカメラＢの画像データ内の人物の両方がそれぞれ変化しているときには、次のステップＣ９に移り、予めユーザ操作により任意に指定された処理フラグ（図示省略）を参照し、複数系統の画像データを合成する画像合成が指定されているか、複数系統の画像データのうち人物が大きい方を選択する面積優先が指定されているかを調べる。いま、面積優先が指定されている場合には（ステップＣ９）、人物が変化している複数の系統の画像データのうち、人物の占有面積の大きい方の画像データを選択する（ステップＣ１０）。また、画像合成が指定されている場合には（ステップＣ９）、複数系統の画像データを合成した合成画像データを生成し、この合成画像データを選択する（ステップＣ１１）。この場合、複数の画像内の特定被写体（人物）同士を並べたような合成画像データを生成する。その後、図８のフローから抜ける。

このようにして画像選択切換処理が終わると（図７のステップＢ５）、逐次選択した画像データを時系列に並べる編成処理を行う（ステップＢ６）。なお、図４の例の場合に１回目の切り換えタイミングでは、カメラＡ対応の画像データ群Ａ１が選択されるので、この画像データ群Ａ１が先頭データとして編成される。そして、この選択画像（例えば、画像データ群Ａ１）を表示部５に表示させると共に（ステップＢ７）、データ記憶部Ｍ２に記憶（録画）させる（ステップＢ８）。この場合、選択画像データ（編成画像データ）は、音声データに対応付けて同期して記憶される。この場合、図３（１）に示すように、各系統の画像データを一つの画像ファイル内に時分割に順次記憶させるか、図３（２）に示すように、各系統の画像データを別個の画像ファイルに時分割に割り当てながら順次記憶させる。

次に、撮影終了を指示する操作が行われたかを調べ（ステップＢ９）、撮影終了操作が行われるまで上述のステップＢ３に戻る。以下、切り換えタイミングに達する毎に（ステップＢ３でＹＥＳ）、上述の動作を繰り返す。その結果、図４の例において、２回目の切り換えタイミングではカメラＡ対応の画像データ群Ａ２が選択され、３回目の切り換えタイミングでは、カメラＢ対応の画像データ群Ｂ３が選択され、４回目の切り換えタイミングではカメラＤ対応の画像データ群Ｄ４が選択され、５回目及び６回目の切り換えタイミングではカメラＣ対応の画像データ群Ｃ５、Ｃ６が選択される。

他方、現在設定中の動作モードが再生モードであれば（図５のステップＡ１でＮＯ）、図６のフローに移り、再生モードの初期設定としてメモリをクリアするなどの初期化処理を行うと共に、再生対象を選択させるために画像一覧を表示させる（ステップＡ１４）。そして、図４に示した画像編集処理を指示する自動編成再生操作が行われたかを調べたり（ステップＡ１５）、自動編成再生操作以外の通常の再生操作が行われたかを調べたり（ステップＡ１６）、モード変更操作が行われたかを調べたり（ステップＡ１７）、その他の操作が行われたかを調べたりする（ステップＡ１８）。

いま、その他の操作として、例えば、画像送り、画像拡大などを指示する操作が行われたときには（ステップＡ１８でＹＥＳ）、その操作に応じた処理として（ステップＡ１９）、画像送り処理、画像拡大処理などを行った後、上述のステップＡ１５に戻り、操作待ち状態となる。また現在設定中の動作モードを変更する操作として、再生モードから撮影モードへの切り換えを指示するモード変更操作が行われたときには（ステップＡ１７でＹＥＳ）、図５のフローに移る。

また、通常の再生操作が行われたときには（ステップＡ１６でＹＥＳ）、マルチカメラＡ〜Ｄによって撮影された各系統の画像（例えば、先頭画像）を一覧表示させ、その一覧表示の中からいずれかの系統の画像データ（例えば、カメラＡの系統の画像データ）がユーザ操作により選択されると（ステップＡ２０）、選択された系統の画像データを読み出して表示させる再生動作を開始させる（ステップＡ２１）。そして、再生終了を指示する操作が行われたかを調べ（ステップＡ２２）、再生終了操作が行われるまで再生動作を継続するが、再生終了操作が行われたときには（ステップＡ２２でＹＥＳ）、上述のステップＡ１５に戻って操作待ち状態となる。

また、図４に示した画像編集処理を指示する自動編成再生操作が行われたときには（ステップＡ１５でＹＥＳ）、図７に示す自動編成・表示処理に移る（ステップＡ２３）。この場合、現在設定されている動作モードは、再生モードであるので（図７のステップＢ１でＮＯ）、マルチカメラＡ〜Ｄに対応してデータ記憶部Ｍ２に記憶（録画）されている各系統の画像データを時分割に順次読み出し取得しながら（ステップＢ３）、上述の切り換えタイミング（２秒単位）に達したかを調べる（ステップＢ４）。ここで、フレームレートが３０ｆｐｓの場合には、系列毎に６０フレーム分の画像データ群を取得したか、つまり、切り換えタイミング（例えば、２秒単位）に達したかを調べ、切り換えタイミングに達するまで画像データを取得する動作を継続する。

いま、切り換えタイミングに達したときには（ステップＢ４でＹＥＳ）、取得した各系統の画像データの中から所定の基準（例えば、特定被写体の状態）にしたがっていずれかの画像データを逐次選択して画像切り換えを行う画像選択切換処理に移る（ステップＢ５）。この場合の画像選択切換処理は、上述した図８のフローと同様であるために、その説明は省略するものとする。以下、上述の撮影時の場合と同様に、選択された画像データを時系列に並べる編成処理を行う（ステップＢ６）。そして、この選択画像データを表示部５に表示させると共に（ステップＢ７）、データ記憶部Ｍ２に記憶させる（ステップＢ８）。そして、再生終了を指示する操作が行われたかを調べ（ステップＢ９）、再生終了操作が行われるまで上述のステップＢ３に戻る。以下、切り換えタイミングに達する毎に（ステップＢ４でＹＥＳ）、上述の動作を繰り返す。

以上のように、第一実施形態における制御部１は、マルチカメラＡ〜Ｄによって個別に同時撮影された各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択して画像切り換えを行うと共に、切り換えられた各系統の画像データを時系列に並べる編成処理を行うようにしたので、各系統の画像データの中から適切な画像データを逐次選択する場合に、被写体の状態を問わず、特別な操作を行うこともなく、適切な画像データを逐次選択して時系列に並べることができ、色々な用途や色々な場面での活用が可能となり、利用価値が高く、利便性及び汎用性に富んだものとなる。

各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択する場合に、各系統の画像データをそれぞれ解析し、その解析結果に基づいて画像データ内に特定被写体（例えば、人物）が含まれている画像データを逐次選択するようにしたので、被写体の状態を問わず、適切な画像データを逐次選択することができる。すなわち、例えば、カメラＡ〜Ｄ毎にどのような被写体を撮影するのか、被写体は静止しているか、移動しているのかなど、被写体の状態に関わらず、適切な画像データを逐次選択することができる。

特定被写体が含まれている画像が複数存在している場合に、その被写体の占有面積の大きい方の画像データを逐次選択するようにしたので、画像選択の適切性を確保することができ、色々な状況や場面にも対応可能となる。

特定被写体が含まれている画像が複数存在している場合に、その特定被写体同士を並べた合成画像データを生成し、この合成画像データを切り換え画像として時系列に並べるようにしたので、画像選択の適切性を確保することができ、色々な状況や場面にも対応可能となる。

各系統の画像データをそれぞれ解析する場合に、同一系統の前後の画像データを比較することによって被写体の変化量を解析し、その被写体の変化に基づいて画像データを逐次選択するようにしたので、画像選択の適切性を確保することができ、色々な状況や場面にも対応可能となる。例えば、会議状態に話している人物が撮影された画像データを選択することができる。

マルチカメラＡ〜Ｄによって同時撮影された各系統の画像データをデータ記憶部Ｍ２に記憶（録画）している状態において、画像データの再生時にデータ記憶部Ｍ２に記憶されている各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択して時系列に並べるようにしたので、画像データの撮影時に限らず、再生時であっても編成処理を行うことができ、ユーザにあっては、編成処理された画像データをいつでも確認することが可能となる。

同時撮影された各系統の画像データをデータ記憶部Ｍ２に記憶する場合に、各系統の画像データを一つの画像ファイルとして順次記憶するようにしたので、各系統の画像管理が容易なものとなる。

同時撮影された各系統の画像データをデータ記憶部Ｍ２に記憶する場合に、各系統の画像データを別々の画像ファイルとして順次記憶すると共に、各画像ファイル内の画像同士を同期させるための同期用ファイルを含めて記憶するようにしたので、いずれかの系統の画像データのみを再生対象としてユーザ操作により選択する場合に、その選択を容易に行うことができるほか、別々の画像ファイルであっても再生時にはそれらを容易に同期させることができる。

編成処理によって時系列に並べられた各系統の画像データを順次表示するようにしたので、ユーザにあっては各系統の画像データの中から逐次選択された画像データのみを確認することができる。

マルチカメラＡ〜Ｄによる撮影時に、編成処理を実行してデータ記憶部Ｍ２に記憶するようにしたので、編成処理された画像データをいつでも自由に得ることができる。

マルチカメラＡ〜Ｄは、それらの画角及び撮影方向が所定の撮影対象エリア（例えば、周囲３６０°）を分担して網羅するように設定されているので、カメラ台数が少なくても広範囲を撮影対象エリアとすることができる。

マルチカメラＡ〜Ｄを環状に配置するようにしたので、例えば、会議の場では、テーブルの中央部分に設置したり、楽器演奏の練習の場、芝居の練習、映画の吹き替えの場では、輪になって並んでいる各奏者や役者などの中央部分に設置したりして使用することが可能となる。

マルチカメラＡ〜Ｄは、それらにより撮影された画像同士が重ならない位置にそれぞれ整列配置されているので、例えば、特定被写体が複数の画像（複数のカメラ）に跨って撮影されたような場合でも、重複部分の削除なども後処理が不要となる。

なお、上述した第一実施形態においては、マルチカメラＡ〜Ｄを環状に配置するようにしたが、これに限らず、円弧状、直線状に配置したり、環状、円弧状、直線状を組み合わせて配置したりしてもよい。図９は、マルチカメラＡ〜Ｄを直線状に配置した場合を例示したもので、マルチカメラＡ〜Ｄは、同一の撮影方向、同一の画角で、直線上に等間隔に配置すると共に、その中央部にマイクＥを配置した場合である。

また、上述した第一実施形態においては、被写体（人物）を認識するようにしたが、被写体は人物に限らず、動物、植物、建物などであってもよい。更に、人物の顔の特徴などを考慮して誰が撮影されたのかを認識したり、男性か女性かなどを認識したりするようにしてもよい。この場合、各系統の画像データの中から被写体は誰か、男性であるかなどに応じて画像データを逐次選択するようにすれば、例えば、特定人物の移動に追尾してその人物が含まれている画像データのみに編成したり、会議参加者の中から特定社員が撮影されている画像データのみに編成したり、男性のみの画像データに編成したりすることができ、更に利用価値の高いものとなる。

また、上述した第一実施形態においては、画像データを逐次選択して画像切り換えを行う場合に、特定被写体を認識してその特定被写体が含まれている画像データを逐次選択するようにしたが、特定被写体をユーザ操作により任意に指定しておき、認識された特定被写体が任意に指定された特定被写体の場合に、その指定された特定被写体が含まれている画像データを逐次選択するようにしてもよい。これによって再生時などにおいて、ユーザの希望する特定被写体をその都度変更することが可能となる。

また、上述した第一実施形態においては、画像処理装置に表示部５を備えた構成としたが、表示部５を備えずに、画像データの記録のみを行い、その画像データを外部機器（表示装置）に通信手段を介して送信するようにしてもよい、また、画像データを外部機器（表示装置）にＳＤカードなどの着脱自在な可搬型メモリを介して入力するようにしてもよい。

（第二実施形態）
以下、この発明の第二実施形態について図１０を参照して説明する。
なお、上述した第一実施形態においては、マルチカメラＡ〜Ｄによって撮影された各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択する場合に、各系統の画像データをそれぞれ解析し、その解析結果に基づいて画像内に特定被写体（例えば、人物）が含まれている画像データを逐次選択するようにしたが、この第二実施形態においては、芝居や映画の読み合わせ時の様子をマルチカメラＡ〜Ｄによって撮影しながら、脚本を解読し、その脚本の記述内容に基づいて台詞を話す順番の役者を指定し、その指定した役者が含まれている画像データを逐次選択して切り換えるようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第二実施形態の特徴部分を中心に説明するものとする。

すなわち、第二実施形態においては、先ず、芝居の練習や映画の吹き替えの場で輪になって並んでいる各役者の中央部分に画像処理装置を設置しておく。そして、複数の被写体（役者）の行動計画を順序付けた行動計画情報（脚本）を読み出して、その内容を順次解読しながらその計画進行に合わせて行動する（台詞を話す）被写体（役者）を順次指定する。一方、芝居や映画の読み合わせ時の様子をマルチカメラＡ〜Ｄによって撮影された各系統の画像データを解析して、各画像内の人物（役者）は誰かを認識する。その結果、台詞を話す順番となった役者が含まれている画像データを逐次選択することによって台詞を話している役者の各画像データを時系列に並べた編成画像データを得るようにしている。このように第二実施形態においては、各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択する場合に、脚本の解読結果を所定の基準とし、その基準にしたがって台詞を話す順番となった役者が含まれている画像データを逐次選択するようにしている。

図１０は、第二実施形態において、自動編成・表示処理（図５のステップＡ１３）を詳述するためのフローチャートである。なお、図５は、第二実施形態においても基本的には同様である。
先ず、制御部１は、マルチカメラＡ〜Ｄを同一の撮影条件で一斉駆動（同期駆動）させることにより同時撮影を開始させると共に（ステップＤ１）、脚本の内容をその先頭から読み取る動作を開始させる（ステップＤ２）。そして、脚本の読取内容を文章解析して（ステップＤ３）、台詞部分であるかをチェックし（ステップＤ４）、台詞部分でなければ（ステップＤ４でＮＯ）、上述のステップＤ３に戻るが、台詞部分であれば（ステップＤ４でＹＥＳ）、その台詞を話す順番となった人物（役者）を指定する（ステップＤ５）。その場合、脚本の記載内容と配役表（図示省略）とを照合することにより人物（役者）を指定するようにしている。

そして、マルチカメラＡ〜Ｄによって個別撮影された各系統の画像データが切換部１０から上述の取得タイミング毎に順次切り換え出力されると、その各系統の画像データを取得し（ステップＤ６）、各系統の画像データをそれぞれ解析して（ステップＤ７）、各画像内の人物を認識する人物認識処理を行う（ステップＤ８）。この場合、予め登録されている登録人物と各画像内の人物との特徴を比較することにより各画像内の人物は誰であるかを認識し、その結果、上述のステップＤ５で指定した人物（台詞を話す順番となった役者）が含まれている画像データを選択する（ステップＤ９）。

これによって選択した画像データを時系列に並べる編成処理（ステップＤ１０）を行った後、この選択画像データを表示部５に表示させると共に（ステップＤ１１）、データ記憶部Ｍ２に記憶（録画）させる（ステップＤ１２）。この場合、選択画像は、音声データに同期して記憶される。以下、脚本の最後までその内容を読み取ったか（脚本の終了か）を調べたり（ステップＤ１３）、撮影終了を指示する操作が行われたかを調べたりする（ステップＤ１４）。いま、脚本が終了したり（ステップＤ１３でＹＥＳ）、撮影終了操作が行われたりしたときには（ステップＤ１４でＹＥＳ）、マルチカメラＡ〜Ｄの撮影動作を停止（ステップＤ１５）させた後、図１０のフローから抜けるが、脚本の終了ではなく（ステップＤ１３でＮＯ）、撮影終了操作も行われなければ（ステップＤ１４でＮＯ）、上述のステップＤ３に戻り、脚本の次の部分を読み取り、以下、上述の動作を繰り返す。

以上のように、第二実施形態においては、複数の被写体（役者）の行動計画を順序付けた行動計画情報（脚本）を解読しながらその計画進行に合わせて行動する（台詞を話す）被写体（役者）を順次指定する一方、マルチカメラＡ〜Ｄによって撮影された各系統の画像データを解析して、各画像内の人物（役者）は誰かを認識し、台詞を話す順番となった役者が含まれている画像データを逐次選択するようにしたから、芝居や映画の読み合わせ時に、脚本に基づいて台詞を話している役者の画像データを逐次選択することができ、台詞を話している役者の画像データを時系列に並べた編成画像データを容易に得ることができる。

なお、上述した第二実施形態においては、脚本に基づいて台詞を話している役者の画像データを逐次選択するようにしたが、これに限らず、楽器演奏の練習時でも同様に適用可能である。すなわち、先ず、楽器演奏の場では、輪になって並んでいる各演奏者の中央部分に画像処理装置を設置しておく。そして、複数の被写体（演奏者）の行動計画を順序付けた行動計画情報（楽譜）を解読しながらその計画進行に合わせて行動（演奏）する被写体（演奏者）を順次指定する一方、マルチカメラＡ〜Ｄによって撮影された各系統の画像データを解析し、各画像内の人物（演奏者）は誰かを認識して、演奏する順番の奏者が含まれている画像データを逐次選択するようにすればよい。つまり、楽譜の解読結果を所定の基準とし、演奏する順番の奏者が含まれている画像データを逐次選択すればよい。これによって演奏している奏者の画像データを時系列に並べた編成画像データを容易に得ることができる。

また、上述した第二実施形態においては、マルチカメラＡ〜Ｄによって撮影された各系統の画像データを解析することによって各画像内の人物は誰かを認識するようにしたが、マルチカメラＡ〜Ｄと被写体との対応関係を撮影開始に先立って設定しておけば、上述の人物認識処理は不要となる。すなわち、どのカメラでどの役者を撮影するのかを事前に設定しておけば、脚本を解読しながら台詞を話す順番となった役者を指定した際に、その役者を撮影するカメラを特定することができるので、そのカメラからの画像データを逐次選択すればよい。なお、台詞を話す順番となった役者が指定された場合に、図１０のステップＤ６〜Ｄ９の代替えステップとして、その役者を撮影するカメラを特定してそのカメラから画像データを選択する処理を行うようにすればよい。このようにマルチカメラＡ〜Ｄと被写体との対応関係を撮影開始に先立って設定しておけば、人物認識処理が不要となる。

また、上述した第一・第二実施形態においては、装置本体の筺体全体が中空の円柱形（円筒形）を成した画像処理装置を例示したが、その形状は任意であり、また、マイクＥとして無指向性のマイクを例示したが、マルチカメラＡ〜Ｄに対応してその撮影方向を指向するようにしたマイクであってもよい。

（第三実施形態）
以下、この発明の第三実施形態について図１１及び図１２を参照して説明する。
なお、上述した第一及び第二実施形態においては、装置本体の周側面にマルチカメラＡ〜Ｄを一体的に配置したスタンドアローンタイプの画像処理装置に適用した場合を例示したが、この第三実施形態においては、装置本体とマルチカメラＡ〜Ｄとをそれぞれ別個の筐体となるようにそれぞれ分離した構成で、装置本体とマルチカメラＡ〜Ｄとの間で画像データの送受信を行う通信システム（画像処理システム）に適用したものである。ここで、第一・第三実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第三実施形態の特徴部分を中心に説明するものとする。

図１１は、第三実施形態における通信システム（画像処理システム）を示したブロック図である。
装置本体１１は、図２と同様に制御部１、電源部２、記憶部３、操作部４、表示部５を備えているほか、無線通信部１２を備えている。この無線通信部１２は、高速無線通信システムとして、例えば、無線ＬＡＮ（Local Area Network）を利用するようにしたもので、画像データの高速通信が可能としている。マルチカメラＡ〜Ｄは、別々の筐体内に図示しない制御部、電源部、記憶部、無線通信部などを備えた構成で、それぞれ個々独立しているために図示のように逆Ｌ字型に配置することが可能となる。

図１２（１）は、マルチカメラＡ〜Ｄを環状に配置した例を示し、図１２（２）は、直線状に配置した例を示している。装置本体１１は、第一、第二実施形態の場合と同様に、マルチカメラＡ〜Ｄによって個別に同時撮影された各系統の画像データを無線通信部１２から受信取得した後、この各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択して画像切り換えを行うと共に、切り換えられた各系統の画像データを時系列に並べる編成処理を行う。

このように画像処理システムは、装置本体とマルチカメラＡ〜Ｄを別個の筐体となるようにそれぞれ分離して、装置本体とマルチカメラＡ〜Ｄとの間で画像データの送受信を行うようにしたので、第一・第二実施形態と同様に、被写体の状態を問わず、特別な操作を行うこともなく、適切な画像データを逐次選択して時系列に並べることができ、色々な用途や色々な場面での活用が可能となるほか、マルチカメラＡ〜Ｄをどのような形状にでも配置することが可能となり、更に利便性及び汎用性に富んだものとなる。

なお、上述の第三実施形態においては、高速無線通信として、無線ＬＡＮを利用するようにしたが、これに限らず、また、装置本体とマルチカメラＡ〜Ｄとをケーブル接続するようにしてもよい。

なお、上述した各実施形態においては、特に言及しなかったが、各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択する場合に、その基準をユーザ操作により任意に指定可能としてもよい。つまり、必要に応じて基準を任意に変更可能としてもよい。

また、上述した各実施形態の画像処理装置は、カメラ付きのパーソナルコンピュータ、ＰＤＡ・携帯電話機・音楽プレイヤーなどであってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮影範囲の異なる複数の撮像手段によって撮影された画像データを処理する画像処理装置であって、
前記複数の撮像手段によって個別に同時撮影された各系統の画像データをそれぞれ取得する取得手段と、
前記取得手段により逐次取得される同時撮影された各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択して画像切り換えを行う切換手段と、
前記切換手段により逐次切り換えられた各系統の画像データを時系列に並べる編成処理を行う編成手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記複数の撮像手段により個別に同時撮影された各系統の画像データをそれぞれ解析する解析手段を更に備え、
前記切換手段は、前記解析手段による解析結果に基づいて、前記個別に同時撮影された各系統の画像データの中から画像内に特定被写体が含まれている画像データを逐次選択する、
ようにしたことを特徴とする画像処理装置である。
（請求項３）
請求項３に記載の発明は、請求項２記載の画像処理装置において、
前記切換手段は、前記個別に同時撮影されて各系統の画像データの中で前記特定被写体が含まれている画像が複数存在している場合に、その特定被写体の占有面積の大きい方の画像データを逐次選択する、
ようにしたことを特徴とする画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項２記載の画像処理装置において、
前記切換手段は、前記特定被写体が含まれている画像が複数存在している場合に、その複数の画像データを同時に逐次選択し、
前記切換手段によって複数の画像が同時に選択された場合に、それらの画像内の特定被写体同士を並べた１枚の合成画像データを生成する合成手段を更に備え、
前記編成手段は、前記合成手段により生成された合成画像データを前記切換手段により切り換えられてた画像として時系列に並べる編成処理を行う、
ようにしたことを特徴とする画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項２記載の画像処理装置において、
前記解析手段は、前記複数の撮像手段により個別に撮影された各系統の画像データを解析する場合に、同一系統の前後の画像データを比較することによって前記特定被写体の変化量を解析し、
前記切換手段は、前記解析手段による解析結果、特定被写体の変化量に基づいて画像データを逐次選択する、
ようにしたことを特徴とする画像処理装置である。
（請求項６）
請求項６に記載の発明は、請求項２記載の画像処理装置において、
前記解析手段による解析結果に基づいて画像内の特定被写体を認識する認識手段を更に備え、
前記切換手段は、前記認識手段によって認識された特定被写体が含まれている画像データを逐次選択する、
ようにしたことを特徴とする画像処理装置である。
（請求項７）
請求項７に記載の発明は、請求項２に記載の画像処理装置において、
前記解析手段による解析結果に基づいて画像内の特定被写体を認識する認識手段と、
前記特定被写体を任意に指定する被写体指定手段と、
を更に備え、
前記切換手段は、前記認識手段によって認識された特定被写体が前記被写体指定手段により指定された特定被写体の場合に、その指定された特定被写体が含まれている画像データを逐次選択する、
ようにしたことを特徴とする画像処理装置。
（請求項８）
請求項８に記載の発明は、請求項２に記載の画像処理装置において、
前記解析手段による解析結果に基づいて画像内の特定被写体を認識する認識手段と、
複数の特定被写体の行動計画を順序付けた行動計画情報を解読しながらその計画進行に合わせて行動する特定被写体を順次指定する被写体指定手段を更に備え、
前記切換手段は、前記認識手段によって認識された特定被写体が前記被写体指定手段により指定された特定被写体の場合に、その指定特定被写体が含まれている画像データを逐次選択する、
ようにしたことを特徴とする画像処理装置。
（請求項９）
請求項９に記載の発明は、請求項１に記載の画像処理装置において、
前記複数の撮像手段と特定被写体との対応関係を撮影開始に先立って設定する設定手段と、
複数の特定被写体の行動計画を順序付けた行動計画情報を解読しながらその計画進行に合わせて行動する特定被写体を順次指定する被写体指定手段と、
を更に備え、
前記切換手段は、前記設定手段によって設定された対応関係を参照し、前記被写体指定手段により指定された特定被写体を撮影する前記撮像手段からの画像データを逐次選択する、
ようにしたことを特徴とする画像処理装置。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項９のいずれかに記載の画像処理装置において、
前記取得手段により逐次取得される同時撮影された各系統の画像データを同期して記憶する第一の画像記憶手段を更に備え、
前記切換手段は、画像データの再生時に前記第一の画像記憶手段に記憶されている各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択し、
前記編成手段は、画像データの再生時に前記切換手段により逐次切り換えられた各系統の画像データを時系列に並べる編成処理を行う、
ようにしたことを特徴とする画像処理装置。
（請求項１１）
請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、
前記第一の画像記憶手段は、前記切換手段により逐次切り換えられた各系統の画像データを一つの画像ファイルとして順次記憶する、
ようにしたことを特徴とする画像処理装置。
（請求項１２）
請求項１２に記載の発明は、請求項１０に記載の画像処理装置において、
前記第一の画像記憶手段は、前記切換手段により逐次切り換えられた各系統の画像データを別々の画像ファイルとして順次記憶すると共に、前記各画像ファイル内の画像同士を同期させるための同期用ファイルを含めて記憶する、
ようにしたことを特徴とする画像処理装置。
（請求項１３）
請求項１３に記載の発明は、請求項１〜請求項１２のいずれかに記載の画像処理装置において、
前記編成手段により時系列に並べられた各系統の画像データを順次出力する画像出力手段を更に備える、
ようにしたことを特徴とする画像処理装置。
（請求項１４）
請求項１４に記載の発明は、請求項１〜請求項１３のいずれかに記載の画像処理装置において、
前記複数の撮像手段による撮影時に、前記編成手段により時系列に並べられた各画像データを記憶する第二の画像記憶手段を更に備える、
ようにしたことを特徴とする画像処理装置。
（請求項１５）
請求項１５に記載の発明は、請求項１〜請求項１４のいずれかに記載の画像処理装置において、
前記複数の撮像手段の画角及び撮影方向は、所定の撮影対象エリアを分担して網羅するように設定されている、
ことを特徴とする画像処理装置である。
（請求項１６）
請求項１６に記載の発明は、請求項１５に記載の画像処理装置において、
前記複数の撮像手段は、環状、円弧状、直線状のうち、少なくともそのいずれかの状態で配置されている、
ことを特徴とする画像処理装置である。
（請求項１７）
請求項１７に記載の発明は、請求項１５に記載の画像処理装置において、
前記複数の撮像手段は、それらにより撮影された画像同士が重ならないような位置に整列配置されている、
ことを特徴とする画像処理装置である。
（請求項１８）
請求項１８に記載の発明は、
撮影範囲の異なる複数の撮像手段によって個別に同時撮影された各系統の画像データをそれぞれ取得するステップと、
前記逐次取得される同時撮影された各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択して画像切り換えを行うステップと、
前記逐次切り換えられた各系統の画像データを時系列に並べる編成処理を行うステップと、
を備えることを特徴とする画像処理方法である。
（請求項１９）
請求項１９に記載の発明は、
コンピュータに対して、
撮影範囲の異なる複数の撮像手段によって個別に同時撮影された各系統の画像データをそれぞれ取得する機能と、
前記逐次取得される同時撮影された各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択して画像切り換えを行う機能と、
前記逐次切り換えられた各系統の画像データを時系列に並べる編成処理を行う機能と、
を実現させるためのプログラムである。
（請求項２０）
請求項２０に記載の発明は、
撮影範囲の異なる複数の撮像装置によって撮影された画像データを処理する画像処理システムであって、
前記複数の撮像装置によって個別に同時撮影された各系統の画像データをそれぞれ取得する取得手段と、
前記取得手段によって逐次取得される同時撮影され各系統の画像データの中から所定の基準にしたがっていずれかの画像データを逐次選択して画像切り換えを行う切換手段と、
前記切換手段により逐次切り換えられた各系統の画像データを時系列に並べる編成処理を行う編成手段と、
を備えることを特徴とする画像処理システムである。

１ 制御部
３ 記憶部
４ 操作部
５ 表示部
８ 撮像部
９Ａ、９Ｂ、９Ｃ、９Ｄ バッファ
１０ 切換部
Ａ、Ｂ、Ｃ、Ｄ カメラ
Ｍ１ プログラム記憶部
Ｍ２ データ記憶部

Claims (20)

1. 撮影範囲の異なる複数の撮像手段によって撮影された画像データを処理する画像処理装置であって、
   前記複数の撮像手段によって個別に同時撮影された各系統の画像データを逐次それぞれ取得する取得手段と、
   前記複数の撮像手段によって個別に同時撮影された各系統の画像データを、前記取得手段が画像データを取得する間隔より長い間隔であって、ユーザにより画像の視認が可能な間隔である第１の間隔でそれぞれ解析する解析手段と、
   前記取得手段によって逐次取得される同時撮影された各系統の画像データの中から、前記第１の間隔で解析された結果に基づいて、前記個別に同時撮影された各系統の画像データの中から画像内に特定被写体が含まれている画像データを前記第１の間隔で選択して画像切り換えを行う切換手段と、
   前記切換手段により前記第１の間隔で切り換えられた各系統の画像データを時系列に並べる編成処理を行う編成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記切換手段は、前記個別に同時撮影された各系統の画像データの中で前記特定被写体が含まれている画像が存在しない場合に、予め設定されている優先順位の高い画像データを選択する、
   ようにしたことを特徴とする請求項１記載の画像処理装置。
3. 前記切換手段は、前記個別に同時撮影された各系統の画像データの中で前記特定被写体が含まれている画像が複数存在している場合に、その特定被写体の占有面積の大きい方の画像データを選択する、
   ようにしたことを特徴とする請求項１又は２記載の画像処理装置。
4. 前記切換手段は、前記特定被写体が含まれている画像が複数存在している場合に、その複数の画像データを同時に選択し、
   前記切換手段によって複数の画像が同時に選択された場合に、それらの画像内の特定被写体同士を並べた１枚の合成画像データを生成する合成手段を更に備え、
   前記編成手段は、前記合成手段により生成された合成画像データを前記切換手段により切り換えられた画像として時系列に並べる編成処理を行う、
   ようにしたことを特徴とする請求項１又は２記載の画像処理装置。
5. 前記解析手段は、前記複数の撮像手段により個別に撮影された各系統の画像データを解析する場合に、同一系統の前後の画像データを比較することによって前記特定被写体の変化量を解析し、
   前記切換手段は、前記解析手段による解析結果、特定被写体の変化量に基づいて画像データを選択する、
   ようにしたことを特徴とする請求項１又は２記載の画像処理装置。
6. 前記解析手段による解析結果に基づいて画像内の特定被写体を認識する認識手段を更に備え、
   前記切換手段は、前記認識手段によって認識された特定被写体が含まれている画像データを選択する、
   ようにしたことを特徴とする請求項１又は２記載の画像処理装置。
7. 前記解析手段による解析結果に基づいて画像内の特定被写体を認識する認識手段と、
   前記特定被写体を任意に指定する被写体指定手段と、
   を更に備え、
   前記切換手段は、前記認識手段によって認識された特定被写体が前記被写体指定手段により指定された特定被写体の場合に、その指定された特定被写体が含まれている画像データを選択する、
   ようにしたことを特徴とする請求項１又は２に記載の画像処理装置。
8. 撮影範囲の異なる複数の撮像手段によって撮影された画像データを処理する画像処理装置であって、
   前記複数の撮像手段によって個別に同時撮影された各系統の画像データをそれぞれ取得する取得手段と、
   前記複数の撮像手段によって個別に同時撮影された各系統の画像データをそれぞれ解析する解析手段と、
   前記解析手段による解析結果に基づいて画像内の被写体がどの特定被写体であるかを認識する認識手段と、
   複数の特定被写体の行動計画を順序付けた行動計画情報を解読しながらその計画進行に合わせて行動する特定被写体を順次指定する被写体指定手段と、
   前記認識手段によって認識された特定被写体が前記被写体指定手段により指定された特定被写体の場合に、その指定特定被写体が含まれている画像データを選択して画像切り換えを行う切換手段と、
   前記切換手段により逐次切り換えられた各系統の画像データを時系列に並べる編成処理を行う編成手段と、
   を備えることを特徴とする画像処理装置。
9. 撮影範囲の異なる複数の撮像手段によって撮影された画像データを処理する画像処理装置であって、
   前記複数の撮像手段によって個別に同時撮影された各系統の画像データをそれぞれ取得する取得手段と、
   前記複数の撮像手段各々に異なる特定被写体を対応づけた対応関係を撮影開始に先立って設定する設定手段と、
   複数の特定被写体の行動計画を順序付けた行動計画情報を解読しながらその計画進行に合わせて行動する特定被写体を順次指定する被写体指定手段と、
   前記取得手段により取得される同時撮影された各系統の画像データの中から、前記設定手段によって設定された対応関係を参照し、前記被写体指定手段により指定された特定被写体を撮影する前記撮像手段からの画像データを選択して画像切り換えを行う切換手段と、
   前記切換手段により切り換えられた各系統の画像データを時系列に並べる編成処理を行う編成手段と、
   を備えることを特徴とする画像処理装置。
10. 前記取得手段により取得される同時撮影された各系統の画像データを同期して記憶する第一の画像記憶手段を更に備え、
    前記切換手段は、画像データの再生時に前記第一の画像記憶手段に記憶されている各系統の画像データの中からいずれかの画像データを選択し、
    前記編成手段は、画像データの再生時に前記切換手段により切り換えられた各系統の画像データを時系列に並べる編成処理を行う、
    ようにしたことを特徴とする請求項１〜請求項９のいずれかに記載の画像処理装置。
11. 前記第一の画像記憶手段は、前記切換手段により切り換えられた各系統の画像データを一つの画像ファイルとして順次記憶する、
    ようにしたことを特徴とする請求項１０に記載の画像処理装置。
12. 前記第一の画像記憶手段は、前記切換手段により切り換えられた各系統の画像データを別々の画像ファイルとして順次記憶すると共に、前記各画像ファイル内の画像同士を同期させるための同期用ファイルを含めて記憶する、
    ようにしたことを特徴とする請求項１０に記載の画像処理装置。
13. 前記編成手段により時系列に並べられた各系統の画像データを順次出力する画像出力手段を更に備える、
    ようにしたことを特徴とする請求項１〜請求項１２のいずれかに記載の画像処理装置。
14. 前記複数の撮像手段による撮影時に、前記編成手段により時系列に並べられた各画像データを記憶する第二の画像記憶手段を更に備える、
    ようにしたことを特徴とする請求項１〜請求項１３のいずれかに記載の画像処理装置。
15. 前記複数の撮像手段の画角及び撮影方向は、所定の撮影対象エリアを分担して網羅するように設定されている、
    ことを特徴とする請求項１〜請求項１４のいずれかに記載の画像処理装置。
16. 前記複数の撮像手段は、環状、円弧状、直線状のうち、少なくともそのいずれかの状態で配置されている、
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記複数の撮像手段は、それらにより撮影された画像同士が重ならないような位置に整列配置されている、
    ことを特徴とする請求項１５に記載の画像処理装置。
18. 撮影範囲の異なる複数の撮像手段によって個別に同時撮影された各系統の画像データを逐次それぞれ取得する処理と、
    前記個別に同時撮影された各系統の画像データを、前記画像データを取得する間隔より長い間隔であって、ユーザにより画像の視認が可能な間隔である第１の間隔でそれぞれ解析する処理と、
    前記逐次取得される同時撮影された各系統の画像データの中から、前記第１の間隔で解析された結果に基づいて、前記個別に同時撮影された各系統の画像データの中から画像内に特定被写体が含まれている画像データを前記第１の間隔で選択して画像切り換えを行う処理と、
    前記第１の間隔で切り換えられた各系統の画像データを時系列に並べる編成処理と、
    を備えることを特徴とする画像処理方法。
19. コンピュータに対して、
    撮影範囲の異なる複数の撮像手段によって個別に同時撮影された各系統の画像データを逐次それぞれ取得する機能と、
    前記個別に同時撮影された各系統の画像データを、前記画像データを取得する間隔より長い間隔であって、ユーザにより画像の視認が可能な間隔である第１の間隔でそれぞれ解析する機能と、
    前記逐次取得される同時撮影された各系統の画像データの中から、前記第１の間隔で解析された結果に基づいて、前記個別に同時撮影された各系統の画像データの中から画像内に特定被写体が含まれている画像データを前記第１の間隔で選択して画像切り換えを行う機能と、
    前記第１の間隔で切り換えられた各系統の画像データを時系列に並べる編成処理を行う機能と、
    を実現させるためのプログラム。
20. 撮影範囲の異なる複数の撮像装置によって撮影された画像データを処理する画像処理システムであって、
    前記複数の撮像装置によって個別に同時撮影された各系統の画像データを逐次それぞれ取得する取得手段と、
    前記複数の撮像装置によって個別に同時撮影された各系統の画像データを、前記取得手段が画像データを取得する間隔より長い間隔であって、ユーザにより画像の視認が可能な間隔である第１の間隔でそれぞれ解析する解析手段と、
    前記取得手段によって逐次取得される同時撮影された各系統の画像データの中から、前記解析手段により前記第１の間隔で解析された結果に基づいて、前記個別に同時撮影された各系統の画像データの中から画像内に特定被写体が含まれている画像データを前記第１の間隔で選択して画像切り換えを行う切換手段と、
    前記切換手段により前記第１の間隔で切り換えられた各系統の画像データを時系列に並べる編成処理を行う編成手段と、
    を備えることを特徴とする画像処理システム。

Images