JP6354123B2 - 撮像装置及び画像整列装置 - Google Patents

Description

本発明は、撮像装置、録音装置及び画像整列装置に関するものである。

従来、複数のカメラで撮影された画像データのファイル名が重複することを防ぐ手段として、画像データの撮影日時情報を利用してファイル名をリネームし、記録をするものが開示されている（例えば、特許文献１）。

特開２００６−２４３０６号公報

しかし、複数のカメラにおいて設定された日時情報が異なっていたり（各カメラで管理する時計がずれている場合を含む）、画像データが日時情報を関連付けていなかったりすると、画像データを撮影順に並べることができない。

本発明の課題は、日時情報によらずに、複数のカメラで撮影された画像データを、撮影順に並び替えることが可能な撮像装置及び画像整列装置を提供することである。

本発明は、以下のような解決手段により前記課題を解決する。

第１の発明は、連続的に環境音を録音した環境音データを取得する環境音データ取得部と、画像データと、前記環境音データの一部であって前記画像データの撮像時の音を含む音データとを含む画像ファイルを他の撮像装置から取得する画像ファイル取得部と、複数の前記撮像装置から前記画像ファイル取得部により取得された各々の前記画像ファイルに含まれる前記音データを用いて、複数の前記画像ファイルを前記環境音データに一致する順番に並び替える画像整列部と、を備える撮像装置に関する。
第２の発明は、連続的に環境音を録音した環境音データを取得する環境音データ取得部と、画像データと、前記環境音データの一部であって前記画像データの撮像時の音を含む音データとを含む画像ファイルを他の撮像装置から取得する画像ファイル取得部と、被写体を撮像して第２画像データを出力する撮像部と、前記第２画像データと、前記環境音データの一部であって前記第２画像データの撮像時の音を含む第２音データとを対応付けて、１つの画像ファイルにする画像ファイル作成部と、前記撮像装置から前記画像ファイル取得部により取得された前記画像ファイルに含まれる前記音データと、前記画像ファイル作成部により作成された前記画像ファイルに含まれる前記第２音データとを用いて、複数の前記画像ファイルを前記環境音データに一致する順番に並び替える画像整列部と、を備える撮像装置に関する。
第３の発明は、被写体を撮像して画像データを出力する撮像部と、画像整列部を有する装置が有し、連続的に環境音を録音した環境音データの一部であって前記撮像部による撮像を行う際の音データを取得する音データ取得部と、前記撮像部により出力した前記画像データと、前記音データ取得部により取得した前記音データとを対応付けて、１つの画像ファイルにする画像ファイル作成部と、前記画像整列部を有する装置に前記画像ファイル作成部により作成された前記画像ファイルを送信する送信部と、を備え、前記画像整列部において、前記送信された前記画像ファイルに含まれる前記音データと、前記環境音データと、に基づいて、前記画像ファイルの順番が決定される撮像装置に関する。
第４の発明は、複数の撮像装置が撮像した所定の領域で取得した、連続的に環境音を録音した環境音データを記憶する環境音データ記憶部と、前記複数の撮像装置から取得した、画像データと、前記環境音データの一部であって前記画像データの撮像時の音を含む音データとが対応付けられた画像ファイルを複数記憶する画像ファイル記憶部と、複数の前記画像ファイルに含まれる前記音データの各々が、前記環境音データのどの位置のものであるかを判定する位置判定部と、前記位置判定部により判定された前記環境音データの前記位置の順に、複数の前記画像ファイルを並べ替える画像整列部と、を備える画像整列装置に関する。

本発明によれば、日時情報によらずに、複数のカメラで撮影された画像データを、撮影順に並び替えることが可能な撮像装置及び画像整列装置を提供することができる。

第１実施形態の画像整列システムの全体構成図である。 第１実施形態のカメラの機能ブロック図である。 第１実施形態の録音サーバ及び画像整列サーバの機能ブロック図である。 第１実施形態の画像整列システムでの画像取得時の処理概要図である。 第１実施形態の録音サーバの録音処理のフローチャートである。 第１実施形態の録音サーバでのサンプリングの例を示す図である。 第１実施形態のカメラの撮影処理のフローチャートである。 第１実施形態のカメラに保存される画像ファイルの概念図である。 第１実施形態の画像整列サーバの保存処理のフローチャートである。 第１実施形態の画像整列サーバの記憶部の例を示す図である。 第２実施形態の画像整列システムの全体構成図である。 第２実施形態のカメラの機能ブロック図である。 第２実施形態の画像整列システムでの画像取得時の処理概要図である。 第２実施形態のメモリカードの例を示す図である。

（第１実施形態）
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、第１実施形態の画像整列システム１００の全体構成図である。
画像整列システム１００は、複数台のカメラ１（撮像装置）と、録音サーバ４（録音装置）と、画像整列サーバ７（画像整列装置）とが、通信ネットワークＮを介して通信可能なシステムである。
画像整列システム１００の複数台のカメラ１と、録音サーバ４のマイク部５１（環境音集音部）とは、例えば、コンサート会場（所定領域）に配置されている。

カメラ１は、撮影により出力した画像データと、撮影時の音データとを含む画像ファイルを作成する。
録音サーバ４は、複数台のカメラ１が撮影している所定領域の音（環境音）を取得して、録音データ（環境音データ）を生成する。
画像整列サーバ７は、撮影後に、カメラ１から音データを含む画像ファイルを取得し、録音サーバ４から録音データを取得する。そして、画像整列サーバ７は、画像ファイルに含まれる音データと録音データとを用いて、画像ファイルを整列させる。

次に、画像整列システム１００の機能ブロックについて説明する。
図２は、第１実施形態のカメラ１の機能ブロック図である。
図３は、第１実施形態の録音サーバ４及び画像整列サーバ７の機能ブロック図である。
図２に示すカメラ１は、レンズ部１０、レンズ駆動回路１１、撮像素子１２、画像処理回路１３、操作部２０、制御部３０、記憶部３１、メモリカード３２、表示部３３、無線通信部３４等を有したデジタルカメラである。
レンズ部１０は、カメラ１の前部に設けられ、被写体の光Ａ１を入射し、撮影目的に応じて被写体像を拡大又は縮小して、撮像素子１２へと射出するズーム機能を有したレンズ群である。
レンズ駆動回路１１は、制御部３０の出力信号に基づいて、レンズ部１０を光軸方向に移動させる制御回路である。
撮像素子１２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）である。撮像素子１２は、レンズ部１０から出射した光Ａ１を露光し、電気的な画像信号に変換する素子である。撮像素子１２は、制御部３０の出力信号に基づいて被写体像の撮像を行う。
画像処理回路１３は、撮像素子１２で変換した画像信号を画像データに変換する回路である。画像処理回路１３は、変換した画像データを制御部３０に出力する。なお、撮像素子１２及び画像処理回路１３を、撮像部という。

操作部２０は、カメラ１に設けられ操作用のスイッチ群である。操作部２０は、電源スイッチ２１、レリーズスイッチ２２、メニュースイッチ２３、ＯＫスイッチ２４等を備える。操作部２０の各スイッチは、操作情報を制御部３０に出力する。
電源スイッチ２１は、カメラ１に電源を投入又は遮断するスイッチである。
レリーズスイッチ２２は、被写体像の撮像に係る操作を実行するスイッチである。レリーズスイッチ２２は、半押しスイッチＳＷ１と、全押しスイッチＳＷ２とを有する。
半押しスイッチＳＷ１は、カメラ１の測光、測距等の撮影準備を開始させる（オートフォーカス（ＡＦ）等を実行する）スイッチである。
全押しスイッチＳＷ２は、被写体像の撮像を実行するスイッチである。カメラ１は、レリーズスイッチ２２の操作に基づいて撮影時の音データの取得を指示する。

メニュースイッチ２３は、例えば、連写モードや、セルフタイマモードを設定するためのメニュー画面を表示させるスイッチである。
ＯＫスイッチ２４は、メニュースイッチ２３により表示されたメニュー画面において、表示させたモードに決定するためのスイッチである。

制御部３０は、カメラ１の各部を統括制御する制御回路であり、例えばＣＰＵ等から構成される。制御部３０は、レンズ駆動回路１１、画像処理回路１３、操作部２０、記憶部３１、メモリカード３２、表示部３３、無線通信部３４等と接続される。また、制御部３０は、記憶部３１に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部３０は、音データ取得部３０ａ、画像ファイル作成部３０ｂ等を備える。
音データ取得部３０ａは、無線通信部３４を介して録音サーバ４から音データを取得する制御部である。なお、音データとは、録音サーバ４が録音した録音データの一部を構成するデータのことであり、録音データの中から所定時間のデータを切り取った情報のことである。
画像ファイル作成部３０ｂは、画像処理回路１３が出力した画像データと、音データ取得部３０ａにより取得した音データとを対応付けて、１つの画像ファイルとする制御部である。

記憶部３１は、カメラ１の動作に必要なプログラム、情報等を記憶するための半導体メモリ素子等の記憶装置である。
なお、本発明でいうコンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、カメラ１は、制御部３０、記憶部３１等を備えた情報処理装置であり、本発明のコンピュータの概念に含まれる。
メモリカード３２は、カメラ１で撮影した画像データと音データとが対応付いた画像ファイルを記憶する半導体メモリ等の記憶媒体であり、カメラ１と着脱自在に接続される。
表示部３３は、撮影した画像データを表示したり、カメラ１のメニュー画面を表示したりする液晶モニタ（ＬＣＤ）であり、カメラ１の背面に設けられている。
無線通信部３４は、通信ネットワークＮを介して録音サーバ４や、画像整列サーバ７との間で無線通信を行うためのインタフェース部である。無線通信部３４は、例えば、Ｂｌｕｅｔｏｏｔｈ（ＩＥＥＥ ８０２．１５．１）（登録商標）、無線ＬＡＮ（ＩＥＥＥ ８０２．１１）等の通信規格が使用される。

図３に示す録音サーバ４は、制御部４０、記憶部５０、マイク部５１、操作部５２、表示部５３、無線通信部５４等を有する。
制御部４０は、録音サーバ４の各部を統括制御する制御回路であり、例えばＣＰＵ等から構成される。制御部４０は、記憶部５０、マイク部５１、操作部５２、表示部５３、無線通信部５４等と接続される。また、制御部４０は、記憶部５０に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部４０は、環境音データ取得部４１、サンプリング部４２、音要求受信部４３、音データ送信部４４等を備える。

環境音データ取得部４１は、マイク部５１から出力された環境音データを取得する制御部である。
サンプリング部４２は、環境音データ取得部４１が取得した環境音データをサンプリングして、録音データを生成する制御部である。
音要求受信部４３は、カメラ１から音データ要求（取得要求）を受信する制御部である。
音データ送信部４４は、音データ要求を受信した時点から所定時間の録音データを、音データとしてカメラ１に送信する制御部である。

記憶部５０は、録音サーバ４の動作に必要なプログラム、情報等を記憶するための半導体メモリ素子等の記憶装置である。
なお、本発明でいうコンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、録音サーバ４は、制御部４０、記憶部５０等を備えた情報処理装置であり、本発明のコンピュータの概念に含まれる。
記憶部５０は、録音データ記憶部５０ａを有する。
録音データ記憶部５０ａは、サンプリング部４２により生成した録音データを記憶する。

マイク部５１は、音を集音する装置であり、例えば、マイクロフォンである。マイク部５１は、例えば、コンサート会場の中央部付近に設けられ、コンサート会場全体の音を、効率よく集音する。
操作部５２は、例えば、キーボード、マウス等の入力装置である。
表示部５３は、例えば、液晶パネル等の表示装置である。
無線通信部５４は、カメラ１や、画像整列サーバ７との間で通信を行うためのインタフェース部である。

図３に示す画像整列サーバ７は、制御部７０、記憶部８０、操作部８２、表示部８３、無線通信部８４等を有する。
制御部７０は、画像整列サーバ７の各部を統括制御する制御回路であり、例えばＣＰＵ等から構成される。制御部７０は、記憶部８０、操作部８２、表示部８３、無線通信部８４等と接続される。また、制御部７０は、記憶部８０に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部７０は、画像ファイル取得部７１、録音データ取得部７２（環境音データ取得部）、位置判定部７３、画像整列部７４、ファイル名変更部７５等を備える。

画像ファイル取得部７１は、カメラ１から画像ファイルを取得する制御部である。
録音データ取得部７２は、録音サーバ４から録音データを取得する制御部である。
位置判定部７３は、画像ファイルに含まれる音データが、録音データの時間軸上のどの位置のものであるかを判定する制御部である。
画像整列部７４は、位置判定部７３により判定された時間軸上の位置の先後により、画像ファイルを時間軸の並び（順）になるように整列させる制御部である。
ファイル名変更部７５は、画像整列部７４により整列した画像ファイルの順番になるように、画像ファイルのファイル名を変更する制御部である。

記憶部８０は、画像整列サーバ７の動作に必要なプログラム、情報等を記憶するための半導体メモリ素子等の記憶装置である。
なお、本発明でいうコンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、画像整列サーバ７は、制御部７０、記憶部８０等を備えた情報処理装置であり、本発明のコンピュータの概念に含まれる。
記憶部８０は、画像ファイル記憶部８０ａ、録音データ記憶部８０ｂ（環境音データ取得部）、処理後画像ファイル記憶部８０ｃを有する。
画像ファイル記憶部８０ａは、画像ファイル取得部７１により取得した画像ファイルを記憶する。
録音データ記憶部８０ｂは、録音データ取得部７２により取得した録音データを記憶する。
処理後画像ファイル記憶部８０ｃは、画像ファイル記憶部８０ａに記憶された画像ファイルに対して、画像整列部７４により整列し、ファイル名変更部７５により画像ファイルのファイル名が変更された変更後の画像ファイルを記憶する。

操作部８２は、例えば、キーボード、マウス等の入力装置である。
表示部８３は、例えば、液晶パネル等の表示装置である。
無線通信部８４は、カメラ１や、録音サーバ４との間で通信を行うためのインタフェース部である。

次に、画像整列システム１００での画像取得時のカメラ１と、録音サーバ４との処理について説明する。
図４は、第１実施形態の画像整列システム１００での画像取得時の処理概要図である。
録音サーバ４は、マイク部５１が集音した音（環境音データ）をサンプリングして、録音データを生成する。録音サーバ４は、マイク部５１が集音した都度、録音データを生成し続ける。例えば、コンサート会場では、コンサートの開始から終了までの音を録音して録音データを生成する。当然ながら、録音サーバ４は、録音データのデータ量を削減するために無音区間の録音データを省略するものであってもよい。
カメラ１Ａ及び１Ｂは、撮影処理により画像データを出力する。その際、カメラ１Ａ及び１Ｂは、録音サーバ４との間で通信を行い、録音データの一部である音データを取得する。なお、取得する音データは、画像データを撮影した時刻と略同一の時刻の位置の録音データである。そして、カメラ１Ａ及び１Ｂは、取得した音データを、画像データに対応付けて１つの画像ファイルを生成する。
図４の例では、カメラ１Ａは、撮影を３回行い、カメラ１Ａ内で撮影順になるように画像ファイル名を付している。また、カメラ１Ｂは、撮影を６回行い、カメラ１Ｂ内で撮影順になるように画像ファイル名を付している。カメラ１Ａ及び１Ｂは、各々のカメラ１内で重複しない画像ファイル名を付す。そのため、カメラ１Ａと、カメラ１Ｂとは、図４の例のように、同じ画像ファイル名が付される場合がある。

次に、図４の処理の詳細について説明する。
まず、録音サーバ４の処理について説明する。
図５は、第１実施形態の録音サーバ４の録音処理のフローチャートである。
図６は、第１実施形態の録音サーバ４でのサンプリングの例を示す図である。
図５のステップＳ（以下、「Ｓ」という。）１において、録音サーバ４の制御部４０（環境音データ取得部４１）は、例えば、操作部５２による録音開始の操作を受け付けたことで、マイク部５１が出力した環境音データを取得する。
Ｓ２において、制御部４０（サンプリング部４２）は、環境音データを所定間隔でサンプリングして、録音データを生成する。サンプリング部４２は、取得した環境音データに対して随時サンプリング処理を行う。

図６（ａ）は、環境音データ取得部４１が取得した環境音データの一部を例示したものである。環境音データは、アナログ信号であり、縦軸を音量とし、横軸を時間とした座標軸において、波形グラフで表される。
図６（ｂ）は、サンプリング部４２によりサンプリングした録音データの一例である。録音データは、例えば、１００ｍｓ（ミリ秒）の単位で、環境音データを取り出したものである。録音データは、デジタル信号である。なお、データ量を削減するために、録音データや音データを、各種圧縮方式を用いて圧縮してもよい。
図５に戻り、Ｓ３において、制御部４０（音要求受信部４３）は、カメラ１から音データ要求を受信したか否かを判断する。音データ要求を受信した場合（Ｓ３：ＹＥＳ）には、制御部４０は、処理をＳ４に移す。他方、音データ要求を受信していない場合（Ｓ３：ＮＯ）には、制御部４０は、処理をＳ６に移す。

Ｓ４において、制御部４０は、カメラ１から音データ要求を受信した後、所定時間の録音データを、音データとして取得する。音データは、例えば、カメラ１で撮影が行われてから音データ要求を受信するまでの通信遅延を考慮し、音データ要求を受信する前の録音データが含まれるようにすることもできる。
Ｓ５において、制御部４０（音データ送信部４４）は、取得した音データを、音データ要求をしたカメラ１に送信する。
Ｓ６において、制御部４０は、環境音データの取得を終了するか否かを判断する。環境音データの取得を終了するか否かは、例えば、操作部５２による録音終了の操作を受け付けたか否かにより判断できる。環境音データの取得を終了する場合（Ｓ６：ＹＥＳ）には、制御部４０は、本処理を終了する。他方、環境音データの取得を終了しない場合（Ｓ６：ＮＯ）には、制御部４０は、処理をＳ３に移す。

次に、カメラ１の処理について説明する。
図７は、第１実施形態のカメラ１の撮影処理のフローチャートである。
図８は、第１実施形態のカメラ１に保存される画像ファイルの概念図である。
図７のＳ２１において、カメラ１の制御部３０は、カメラの電源が投入（ＯＮ）された状態であるか否かを判断する。電源ＯＮ状態である場合（Ｓ２１：ＹＥＳ）には、制御部３０は、処理をＳ２４に移す。他方、電源ＯＮ状態ではない場合（Ｓ２１：ＮＯ）には、制御部３０は、処理をＳ２２に移す。
Ｓ２２において、制御部３０は、電源スイッチ２１の操作を受け付けたか否かを判断する。電源スイッチ２１の操作を受け付けた場合（Ｓ２２：ＹＥＳ）には、制御部３０は、処理をＳ２３に移す。他方、電源スイッチの操作を受け付けていない場合（Ｓ２２：ＮＯ）には、制御部３０は、処理をＳ２２に戻す。
Ｓ２３において、制御部３０は、カメラ１の電源を投入する電源ＯＮ処理を行い、カメラ１の各部に電力を供給する。

Ｓ２４において、制御部３０は、電源が投入（ＯＮ）された状態のカメラ１の電源スイッチ２１の操作を受け付けたか否かを判断する。電源スイッチ２１の操作を受け付けた場合（Ｓ２４：ＹＥＳ）には、制御部３０は、処理をＳ２５に移し、電源を遮断（ＯＦＦ）する処理を行った後に、本処理を終了する。他方、電源スイッチ２１の操作を受け付けていない場合（Ｓ２４：ＮＯ）には、制御部３０は、処理をＳ２６に移す。
Ｓ２６において、制御部３０は、メニュースイッチ２３の操作を受け付けたか否かを判断する。メニュースイッチ２３の操作を受け付けた場合（Ｓ２６：ＹＥＳ）には、制御部３０は、処理をＳ２７に移し、メニュー処理を行った後、処理をＳ２４に移す。メニュー処理は、例えば、表示部３３にメニュー画面を表示させ、カメラ１の操作者による選択を受け付けて各種設定を行う。各種設定には、無線通信部３４を介して音データを受信可能にする音による同期モードの設定を含む。他方、メニュースイッチ２３の操作を受け付けていない場合（Ｓ２６：ＮＯ）には、制御部３０は、処理をＳ２８に移す。

Ｓ２８において、制御部３０は、音による同期モードが設定されているか否かを判断する。音による同期モードが設定されている場合（Ｓ２８：ＹＥＳ）には、制御部３０は、処理をＳ２９に移す。他方、音による同期モードが設定されていない場合（Ｓ２８：ＮＯ）には、制御部３０は、処理をＳ３０に移す。
Ｓ２９において、制御部３０は、録音サーバ４に対して接続が確立したか否かを判断する。これは、カメラ１の操作者に、録音サーバ４との接続を確立するか否かを選択させて、通信を確立させてもよい。録音サーバ４に対して接続が確立した場合（Ｓ２９：ＹＥＳ）には、制御部３０は、処理をＳ３１に移す。他方、録音サーバ４に対して接続が確立しない場合（Ｓ２９：ＮＯ）には、制御部３０は、処理をＳ３０に移す。
Ｓ３０において、制御部３０は、いわゆる通常の画像保存処理を設定する。つまり、この場合には、制御部３０は、録音サーバ４に対して音データ要求を送信せず、音データを取得しない。画像ファイルは、音データを含まないものになる。

Ｓ３１において、半押しスイッチＳＷ１が操作されたか（ＯＮか）否かを判断する。半押しスイッチＳＷ１がＯＮである場合（Ｓ３１：ＹＥＳ）には、制御部３０は、処理をＳ３２に移す。他方、半押しスイッチＳＷ１がＯＮではない場合（Ｓ３１：ＮＯ）には、制御部３０は、処理をＳ２４に移す。
Ｓ３２において、制御部３０は、レンズ駆動回路１１を制御してレンズ部１０を駆動し、オートフォーカス（ＡＦ）動作を行う。

Ｓ３３において、制御部３０は、半押しスイッチＳＷ１が継続して操作されているか否かを判断する。半押しスイッチＳＷ１が継続して操作されている場合（Ｓ３３：ＹＥＳ）には、制御部３０は、処理をＳ３４に移す。他方、半押しスイッチＳＷ１が継続して操作されていない場合（Ｓ３３：ＮＯ）には、制御部３０は、処理をＳ２４に移す。
Ｓ３４において、制御部３０は、全押しスイッチＳＷ２が操作されたか否かを判断する。全押しスイッチＳＷ２が操作された場合（Ｓ３４：ＹＥＳ）には、制御部３０は、処理をＳ３５に移す。他方、全押しスイッチＳＷ２が操作されていない場合（Ｓ３４：ＮＯ）には、制御部３０は、処理をＳ３３に移す。

Ｓ３５において、制御部３０は、撮影処理を行い、画像データを取得する。
Ｓ３６において、制御部３０（音データ取得部３０ａ）は、音データの取得を行う。具体的には、音データ取得部３０ａは、録音サーバ４に対して音データ要求を送信する。そして、制御部３０は、録音サーバ４から音データを受信する。
Ｓ３７において、制御部３０は、受信した音データと、取得した画像データとを対応付けて、１つの画像ファイルとしてメモリカード３２に記憶させる。なお、Ｓ３６の音データの取得（音データ要求の送信）は、全押しスイッチＳＷ２が操作された（Ｓ３４：ＹＥＳ）直後、すなわちＳ３５の画像データの取得の前に行ってもよい。あるいは、半押しスイッチＳＷ１が操作された（Ｓ３１：ＹＥＳ）直後に行ってもよい。

図８は、メモリカード３２に記憶された画像ファイル６０を示す。画像ファイル６０は、属性情報部６１と、画像データ部６２と、音データ部６３とを含む。属性情報部６１は、例えば、画像ファイル名や、撮影日時を記憶する。画像データ部６２は、撮影して取得した画像データを記憶する。音データ部６３は、録音サーバ４から受信した音データを記憶する。
図７に戻り、制御部３０は、処理をＳ２４に移す。
なお、Ｓ３０において音による同期モードが設定されていない場合、又は、録音サーバ４との通信が不通時の場合には、制御部３０は、Ｓ３６の処理を行わない。そして、Ｓ３７で制御部３０が作成する画像ファイルは、取得した画像データを含み、音データを含まない。

次に、複数のカメラ１に記憶された画像ファイルを保存して、撮影順に並び替える処理を具体的に説明する。
図９は、第１実施形態の画像整列サーバ７の保存処理のフローチャートである。
図１０は、第１実施形態の画像整列サーバ７の記憶部８０の例を示す図である。
図９のＳ５１において、画像整列サーバ７の制御部７０（録音データ取得部７２）は、通信ネットワークＮを介して録音サーバ４に記憶された録音データを取得して、録音データ記憶部８０ｂに記憶させる。
Ｓ５２において、制御部７０（画像ファイル取得部７１）は、通信ネットワークＮを介して複数のカメラ１に記憶された画像ファイルを取得して、画像ファイル記憶部８０ａに記憶させる。

図１０（ａ）は、画像ファイル記憶部８０ａを示す。画像ファイル記憶部８０ａは、２台のカメラ１Ａ及び１Ｂから取得した画像ファイルを記憶している。画像整列サーバ７は、図４に示すタイミングで撮影したカメラ１Ａ及び１Ｂの画像ファイルを取得している。
図９に戻り、Ｓ５３において、制御部７０は、画像ファイルに音データがあるか否かを確認する。画像ファイルに音データがある場合（Ｓ５３：ＹＥＳ）には、制御部７０は、処理をＳ５４に移す。他方、画像ファイルに音データがない場合（Ｓ５３：ＮＯ）には、制御部７０は、処理をＳ６０に移す。なお、上述の図７で説明したように、カメラ１が録音サーバ４に対して通信可能な状態で撮影を行った場合には、画像ファイルには、音データが存在する。

Ｓ５４において、制御部７０（位置判定部７３）は、音の一致を検出できたか否かを判断する。音の一致を検出するとは、画像ファイルの音データに一致する録音データの時間軸上の位置を検出することをいう。音の一致を検出できた場合（Ｓ５４：ＹＥＳ）には、制御部７０は、処理をＳ５５に移す。他方、音の一致を検出できなかった場合（Ｓ５４：ＮＯ）には、制御部７０は、処理をＳ６０に移す。
Ｓ５５において、制御部７０（位置判定部７３）は、Ｓ５４で検出した、画像ファイルの音データに一致する録音データの位置を取得する。
Ｓ５６において、制御部７０（画像整列部７４）は、録音データの位置による画像ファイルの並べ替えを行う。具体的には、制御部７０は、録音データの一致する時間軸上の位置の順番に、画像ファイルを並べ替える。

Ｓ５７において、制御部７０（ファイル名変更部７５）は、並べ替え後の画像ファイルのファイル名を、並び替え順になるように変更する。ファイル名は、例えば、固有の文字（例えば、「ＤＳＮＣ」）に、並べ替え順に１から順番の番号４桁（４桁未満である場合には、上に「０」を付けて４桁にする。）を結合したものである。
Ｓ５８において、制御部７０は、変更内容を保存する。具体的には、制御部７０は、名ファイル名を変更した画像ファイルを、処理後画像ファイル記憶部８０ｃに記憶させる。その後、制御部７０は、本処理を終了する。
図１０（ｂ）は、処理後画像ファイル記憶部８０ｃを示す。これは、画像ファイルが、図４に示す撮影順に並び替えられており、画像ファイルのファイル名も、撮影順になっている。

図９に戻り、他方、Ｓ６０において、制御部７０は、画像ファイル名が重複するか否かを判断する。画像ファイル名が重複する場合（Ｓ６０：ＹＥＳ）には、制御部７０は、処理をＳ６１に移す。他方、画像ファイル名が重複しない場合（Ｓ６０：ＮＯ）には、制御部７０は、本処理を終了する。
Ｓ６１において、制御部７０は、ユーザによるファイル名の変更を行う。ユーザが画像ファイルを確認して、操作部８２により新しいファイル名を入力することで、制御部７０は、その画像ファイル名を入力されたファイル名に変更する。その後、制御部７０は、処理をＳ５８に移す。

以上、第１実施形態によると、画像整列システム１００は、以下のような効果を有する。
（１）カメラ１は、録音サーバ４が取得した録音データの一部データであって撮影の際の音を含む音データを、録音サーバ４から受信することで取得できる。そして、取得した音データを、画像データに対応付けて１つのファイルにして記憶できる。
録音サーバ４は、常に環境音データを取得しており、サンプリングした録音データの一部である音データを、カメラ１の要求に応じて送信できる。よって、カメラ１の撮影場所によらず、録音サーバ４から音データを取得して、画像データに対応付けができる。カメラ１の撮影場所が異なっても、録音サーバ４が録音した録音データと取得する音やその大きさが異なることがない。よって、Ｓ５４（図９）において音の一致が検出できる可能性が高い。

（２）画像整列サーバ７は、複数のカメラ１から画像ファイルを取得し、画像ファイルに含まれる音データが、録音データのどの位置であるかを判定することによって、複数のカメラ１で撮影した画像ファイルを、時系列に並べ替えることができる。よって、複数の画像ファイルを、日時情報によらず、音データを用いて撮影順に並び替えができる。
そして、画像整列サーバ７は、並び替えた画像ファイルを、並び替えの順番が分かるように、画像ファイル名を変更できる。
画像整列サーバ７は、画像ファイルに含む音データと、録音データとが同じサンプリング間隔でサンプリングされたデータであるので、音データと、録音データとの一致度合いを判定しやすくでき、一致する位置を容易に判断できる。

（第２実施形態）
第２実施形態では、カメラのみを用いて複数のカメラで撮影した画像ファイルを並べ替えるものを説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
図１１は、第２実施形態の画像整列システム２００の全体構成図である。
図１２は、第２実施形態のカメラ２０１の機能ブロック図である。
図１１に示す画像整列システム２００は、複数台のカメラ１と、カメラ２０１（撮像装置）とが、通信ネットワークＮを介して通信可能なシステムである。カメラ２０１は、第１実施形態の録音サーバ４と、画像整列サーバ７の上記機能の一部又は全部を有するカメラと考えることができる。
画像整列システム２００の複数台のカメラ１と、カメラ２０１とは、例えば、コンサート会場に配置されている。

カメラ２０１は、複数台のカメラ１が撮影している所定領域の音を連続的に録音する機能を有する。また、カメラ２０１は、他のカメラ１が撮影した画像ファイルを取得する。そして、カメラ２０１は、録音データを用いて、他のカメラ１から取得した画像ファイルと、カメラ２０１が撮影した画像ファイルとを整列させる機能を有する。
図１２に示すように、カメラ２０１は、レンズ部１０、レンズ駆動回路１１、撮像素子１２、画像処理回路１３、操作部２０、制御部２３０、記憶部３１、メモリカード２３２、表示部３３、無線通信部３４、マイク部２３５（集音部）等を有したデジタルカメラである。
制御部２３０は、音データ取得部２３０ａ、画像ファイル作成部３０ｂ、サンプリング部２３０ｃ、音データ送信部２３０ｄ、画像ファイル取得部２３０ｅ、画像整列部２３０ｆ、ファイル名変更部２３０ｇ等を備える。

音データ取得部２３０ａは、マイク部２３５から出力された環境音データを取得する制御部である。
画像ファイル作成部３０ｂは、画像処理回路１３が出力した画像データと、音データ取得部２３０ａにより取得した環境音データの一部のデータとを対応付けて、１つの画像ファイルとする制御部である。
サンプリング部２３０ｃは、音データ取得部２３０ａが取得した環境音データをサンプリングして、録音データを生成する制御部である。また、サンプリング部２３０ｃは、音データ取得部２３０ａが取得し、画像データに対応付ける環境音データの一部の音データを、環境音データと同じ周波数でサンプリングする。

音データ送信部２３０ｄは、音データ要求を受信した時点から所定時間の録音データを、カメラ１に送信する制御部である。
画像ファイル取得部２３０ｅは、無線通信部３４を介してカメラ１から画像ファイルを取得する制御部である。
画像整列部２３０ｆは、画像ファイルに含まれる音データが、録音データの時間軸上のどの位置のものであるかを判定し、判定された時間軸上の位置の先後により、画像ファイルを時間軸の並び（順）になるように整列させる制御部である。
ファイル名変更部２３０ｇは、画像整列部２３０ｆにより整列した画像ファイルの順番になるように、画像ファイルのファイル名を変更する制御部である。

メモリカード２３２は、録音データ記憶部２３２ａを備える。
録音データ記憶部２３２ａは、サンプリング部２３０ｃにより生成した録音データを記憶する。
マイク部２３５は、音を集音する装置であり、例えば、マイクロフォンである。マイク部２３５は、カメラ２０１の前部に設けられ（図１１参照）、カメラ２０１の周囲の音を集音する。

次に、画像整列システム２００での画像取得時のカメラ２０１と、カメラ１との処理について説明する。
図１３は、第２実施形態の画像整列システム２００での画像取得時の処理概要図である。
カメラ２０１は、マイク部２３５が集音した音をサンプリングして、録音データを生成する。カメラ２０１は、マイク部２３５が集音した都度、録音データを生成し続ける。カメラ２０１の録音データの生成処理は、図５の録音サーバ４による録音処理と同様である。
また、カメラ２０１は、撮影により画像データを出力する。その際、カメラ２０１は、生成した録音データの一部である音データを、画像データに対応付けて１つの画像ファイルを生成する。

他方、カメラ１は、撮影により画像データを出力する。その際、カメラ１は、カメラ２０１との間で無線による通信を行い、録音データの一部である音データを取得して、画像データに対応付けて１つの画像ファイルを生成する。
カメラ２０１と、カメラ１の撮影処理は、図７のカメラ１による撮影処理と同様である。カメラ２０１の場合には、音による同期モードを確認することなく（図７のＳ２８からＳ３０までの処理を行わず）、録音データを生成する処理と並行して、画像データに対応付ける音データを取得する。

次に、複数のカメラ１に記憶された画像ファイルと、カメラ２０１に記憶された画像ファイルとを保存して、撮影順に並び替える処理について説明する。
図１４は、第２実施形態のメモリカード２３２の例を示す図である。
図１４（ａ）は、撮影後に、カメラ１から画像ファイルを取得した際のカメラ２０１のメモリカード２３２を示す。メモリカード２３２は、図１３に示すタイミングでカメラ２０１が自ら撮影した画像ファイルと、カメラ１から取得した画像ファイルとを記憶している。また、メモリカード２３２は、録音データ記憶部２３２ａに、録音データを記憶している。
カメラ２０１の制御部２３０が、メモリカード２３２に記憶された画像ファイルと録音データとから、画像ファイルを撮影順に並び替えて、並び替えた順番に画像ファイル名を変更する処理は、図９の画像整列サーバ７による保存処理と同様である。

図１４（ｂ）は、並び替え処理後のメモリカード２３２を示す。メモリカード２３２には、並び替え前のデータ（図１４（ａ））に加えて（図示せず）、図１３に示す撮影順に、画像ファイルが並び替えられ、画像ファイルのファイル名が撮影順に変更された画像ファイルが記憶されている。

以上、第２実施形態によると、画像整列システム２００は、以下のような効果を有する。
カメラ２０１は、音データを、カメラ１の要求に応じて無線通信によって送信できる。
カメラ２０１は、カメラ１で作成した画像ファイルを取得して、録音データに一致する順番に整列できる。よって、複数のカメラ１及びカメラ２０１に保存された画像ファイルを、録音データに一致する順番に、つまり、時系列に並び替えができる。
カメラ２０１が無線通信機能、録音機能及び画像整列機能を備えていることで、カメラ２０１と、他のカメラ１のみで、画像ファイルを時系列に並び替えることができる。よって、他の装置を必要とせず、簡易な装置で行うことができる。

（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）各実施形態では、カメラは、撮影処理（撮像）の後に音データ要求をすることで、画像データを撮影した時刻と略同一の時刻の位置の録音データを取得するものとして説明した。しかし、これに限らず、撮影時の音データが取得できるものであればよい。例えば、全押しスイッチが押されたことを条件に、音データ要求をしてもよい。あるいは、半押しスイッチが押されたことを条件に、音データ要求をしてもよい。また、所定時間は、例えば、１秒等でもよい。なお、音データの取得は、時間が長いほど、録音データの時間軸上の位置との一致がわかりやすい。

（２）各実施形態では、画像ファイルに含む音データを、画像ファイルの並び替えに使用するものとして説明した。しかし、これに限らず、例えば、画像データを表示する際に、対応付けられた音データを出力してもよい。そうすることで、ユーザは、画像を見ながら、その画像データを取得した際の音を楽しむことができる。
（３）本実施形態では、カメラを例に説明した。しかし、画像データを出力するものであれば、カメラに限らず、カメラ機能を備えた携帯電話機等であってもよい。
（４）本実施形態では、保存処理において、画像ファイルに音データがない場合であって、画像ファイル名が重複する場合に、ユーザによってファイル名を変更するものとして説明した。しかし、これに限らず、画像ファイル名が重複しないように、コンピュータプログラムによって自動的に変更するものであってもよい。

（５）第１実施形態では、録音サーバを例に説明した。しかし、録音サーバに代わり、無線通信機能を有したＩＣレコーダ等の録音機器であってもよい。
（６）第１実施形態では、画像整列サーバが、通信ネットワークを介してカメラ及び録音サーバに接続されているものとして説明した。しかし、画像整列サーバは、通信機能を有さないものでもよい。その場合には、カメラ及び録音サーバが、画像ファイル及び録音データを取り外し可能な記憶媒体に記憶し、画像整列サーバがその記憶媒体を読み取って記憶部に記憶すればよい。
（７）各実施形態では、カメラ１が録音サーバ４、又はカメラ２０１から音データを取得する例を説明した。しかし、カメラ１のマイク部２３５を用いて音データを取得するようにしてもよい。そのように構成すると、録音サーバ４、又はカメラ２０１とカメラ１とが接続されていなくても音データを取得することができる。また、通信遅延による音データの取得時刻の誤差により生じる問題を回避することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。

１，１Ａ，１Ｂ，２０１：カメラ、４：録音サーバ、７：画像整列サーバ、３０，２３０：制御部、３０ａ，２３０ａ：音データ取得部、３０ｂ：画像ファイル作成部、３２，２３２：メモリカード、３４：無線通信部、４２，２３０ｃ：サンプリング部、４４，２３０ｄ：音データ送信部、５１，２３５：マイク部、７３：位置判定部、７４，２３０ｆ：画像整列部、７５，２３０ｇ：ファイル名変更部、８０ａ：画像ファイル記憶部、８０ｂ，２３２ａ：録音データ記憶部、１００，２００：画像整列システム、２３０ｅ：画像ファイル取得部

Claims (6)

1. 連続的に環境音を録音した環境音データを取得する環境音データ取得部と、
   画像データと、前記環境音データの一部であって前記画像データの撮像時の音を含む音データとを含む画像ファイルを他の撮像装置から取得する画像ファイル取得部と、
   複数の前記撮像装置から前記画像ファイル取得部により取得された各々の前記画像ファイルに含まれる前記音データを用いて、複数の前記画像ファイルを前記環境音データに一致する順番に並び替える画像整列部と、
   を備える撮像装置。
2. 連続的に環境音を録音した環境音データを取得する環境音データ取得部と、
   画像データと、前記環境音データの一部であって前記画像データの撮像時の音を含む音データとを含む画像ファイルを他の撮像装置から取得する画像ファイル取得部と、
   被写体を撮像して第２画像データを出力する撮像部と、
   前記第２画像データと、前記環境音データの一部であって前記第２画像データの撮像時の音を含む第２音データとを対応付けて、１つの画像ファイルにする画像ファイル作成部と、
   前記撮像装置から前記画像ファイル取得部により取得された前記画像ファイルに含まれる前記音データと、前記画像ファイル作成部により作成された前記画像ファイルに含まれる前記第２音データとを用いて、複数の前記画像ファイルを前記環境音データに一致する順番に並び替える画像整列部と、
   を備える撮像装置。
3. 被写体を撮像して画像データを出力する撮像部と、
   画像整列部を有する装置が有し、連続的に環境音を録音した環境音データの一部であって前記撮像部による撮像を行う際の音データを取得する音データ取得部と、
   前記撮像部により出力した前記画像データと、前記音データ取得部により取得した前記音データとを対応付けて、１つの画像ファイルにする画像ファイル作成部と、
   前記画像整列部を有する装置に前記画像ファイル作成部により作成された前記画像ファイルを送信する送信部と、を備え、
   前記画像整列部において、前記送信された前記画像ファイルに含まれる前記音データと、前記環境音データと、に基づいて、前記画像ファイルの順番が決定される撮像装置。
4. 複数の撮像装置が撮像した所定の領域で取得した、連続的に環境音を録音した環境音データを記憶する環境音データ記憶部と、
   前記複数の撮像装置から取得した、画像データと、前記環境音データの一部であって前記画像データの撮像時の音を含む音データとが対応付けられた画像ファイルを複数記憶する画像ファイル記憶部と、
   複数の前記画像ファイルに含まれる前記音データの各々が、前記環境音データのどの位置のものであるかを判定する位置判定部と、
   前記位置判定部により判定された前記環境音データの前記位置の順に、複数の前記画像ファイルを並べ替える画像整列部と、
   を備える画像整列装置。
5. 請求項４に記載の画像整列装置において、
   前記画像整列部により並べ替えがされた複数の前記画像ファイルのファイル名を、並び替えた順番になるように変更するファイル名変更部を備えること、
   を特徴とする画像整列装置。
6. 請求項４又は請求項５に記載の画像整列装置において、
   複数の前記画像ファイルの各々に含まれる前記音データ及び前記環境音データ記憶部に記憶された前記環境音データは、同じ所定間隔でサンプリングされたものであること、
   を特徴とする画像整列装置。

Images