JP6586769B2 - 撮像システム、撮像装置、収音装置、撮像方法、収音方法及びプログラム - Google Patents

Description

本発明は、撮像システム、撮像装置、収音装置、撮像方法、収音方法及びプログラムに関する。

カメラで映像を撮影する際、一般にカメラに設けられたマイクにより音声を収音し、撮影した映像と収音した音声とを記録する。カメラから離れた場所で音声を収音し、収音した音声とカメラで撮影した映像とを結合するリモートコントロールシステムが、特許文献１に開示されている。このリモートコントロールシステムは、カメラを離れた位置から操作するリモコンで音声を収音し、収音した音声をリモコンからカメラに送信し、送信された音声をカメラで撮影した映像と結合する。

特開平１１−３３８０４６号公報

ところで、カメラで撮影している映像をスマートフォンなどにライブビューを表示させ、スマートフォンに音声を入力し、入力した音声をカメラに送信し、送信された音声と撮影した映像とを結合すると、ユーザがライブビューを見ながらスマートフォンに入力した音声と撮影した映像とを結合できる。しかし、この場合、映像をカメラからスマートフォンに送信しライブビューを表示すると、スマートフォンは送信されてから遅延してライブビューを表示する。また、スマートフォンから送信した音声をカメラが受信すると、カメラは送信してから遅延して音声を受信する。このため、スマートフォンに入力された音声とカメラで撮影した動画とを結合すると、音声は動画に対して遅延して結合される。

本発明は、上記のような課題を解決するためになされたものであり、撮影した動画と入力した音声とをずれないように結合する撮像システム、撮像装置、収音装置、撮像方法、収音方法及びプログラムを提供することを目的とする。

本発明の目的を達成するため、本発明の第１の観点に係る撮像装置は、
動画を取得する動画取得手段と、
前記動画取得手段が取得した前記動画に第１の識別子を付与する識別子付与手段と、
前記第１の識別子が付与された前記動画を、該動画を表示しながら音声を収音する収音装置に送信する動画送信手段と、
前記収音装置から送信された、前記第１の識別子に対応する第２の識別子が付与された音声を受信する音声受信手段と、
前記動画取得手段による動画の取得終了の指示を検出する検出手段と、
前記検出手段によって取得終了の指示を検出すると、前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる同期手段と、
を備えることを特徴とする。

さらに、本発明の目的を達成するため、本発明の第２の観点に係る撮像システムは、
撮像装置と収音装置とを備える撮像システムであって、
前記撮像装置は、
動画を取得する動画取得手段と、
前記動画取得手段が取得した前記動画に第１の識別子を付与する識別子付与手段と、
前記第１の識別子が付与された前記動画を、該動画を表示しながら音声を収音する収音装置に送信する動画送信手段と、
前記収音装置から送信された、前記第１の識別子に対応する第２の識別子が付与された音声を受信する音声受信手段と、
前記動画取得手段による動画の取得終了の指示を検出する検出手段と、
前記検出手段によって取得終了の指示を検出すると、前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる同期手段と、
を備え、
前記収音装置は、
前記第１の識別子が付与された前記動画を受信する動画受信手段と、
前記動画受信手段が受信した前記動画を表示する表示手段と、
入力された音声を収音する収音手段と、
前記表示手段が前記動画を表示しているときに、前記収音手段が収音した音声に前記第１の識別子に対応する第２の識別子を付与する識別子付与手段と、
前記第２の識別子が付与された音声を前記撮像装置に送信する音声送信手段と、
前記動画取得手段による動画の取得終了の指示を検出する検出手段と、
前記検出手段によって取得終了の指示を検出すると、全ての音声を送信した旨の通知を、前記撮像装置へ送信する送信手段と、
を備え、更に、
前記同期手段は、前記送信手段が送信した前記通知を受信すると、前記通知を前記動画の取得終了の指示とし、前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる、
ことを特徴とする。

さらに、本発明の目的を達成するため、本発明の第３の観点に係る収音装置は、
撮像装置から送信される第１の識別子が付与された動画を受信する動画受信手段と、
前記動画受信手段が受信した前記動画を表示する表示手段と、
入力された音声を収音する収音手段と、
前記表示手段が前記動画を表示しているときに、前記収音手段が収音した音声に前記第１の識別子に対応する第２の識別子を付与する識別子付与手段と、
前記第２の識別子が付与された音声を前記撮像装置に送信する音声送信手段と、
前記動画の取得終了の指示を検出する検出手段と、
前記検出手段によって取得終了の指示を検出すると、全ての音声を送信した旨の通知を、前記撮像装置へ送信する送信手段と、
を備えることを特徴とする。

本発明によれば、撮影した動画と入力した音声とをずれないように結合することができる。

本発明の実施の形態に係る撮像システムの構成を示すブロック図である。 本発明の実施の形態に係るカメラの構成を示すブロック図である。 本発明の実施の形態に係る携帯情報端末の構成を示すブロック図である。 本発明の実施の形態に係るカメラが実行する動画作成処理を示すフローチャートである。 本発明の実施の形態に係るカメラが実行する動画送信処理を示すフローチャートである。 本発明の実施の形態に係る携帯情報端末が実行する音声送信処理を示すフローチャートである。 本発明の実施の形態に係るカメラが処理する画像データとフレーム番号と圧縮した画像データとを示す図である。 本発明の実施の形態に係る携帯情報端末が処理するフレーム番号と圧縮した画像データと音声データとを示す図である。 本発明の実施の形態に係るカメラが処理する動画データとフレーム番号と音声データとを示す図である。 本発明の実施の形態に係るカメラと携帯情報端末との通信を示す図である。

以下、本発明を実施するための形態に係る撮像システムを、図面を参照して説明する。なお、図中同一又は相当する部分は同一符号を付す。

まず、本発明の実施の形態に係る撮像システム１の構成について説明する。本実施の形態に係る撮像システム１は、図１に示すように、カメラ（撮像装置）１００と携帯情報端末（収音装置）２００とを備える。

第１のユーザがカメラ１００を用いて動画を撮像すると、カメラ１００は撮像した動画を離れた位置にある携帯情報端末２００に送信する。携帯情報端末２００は送信された動画を受信し、受信した動画を表示する。第２のユーザが携帯情報端末２００に表示された動画を見ながら実況やコメントの音声を携帯情報端末２００に入力すると、携帯情報端末２００は音声を収音し、収音した音声をカメラ１００に送信する。カメラ１００は携帯情報端末２００から送信された音声を受信し、受信した音声と撮像した動画とを同期させて結合する。

具体的には、カメラ１００は、第１のユーザが撮像した動画を構成する画像データに第１のフレーム番号（第１の識別子）を付与し、画像データを圧縮し、フレーム番号が付与され圧縮された画像データを携帯情報端末２００に送信する。携帯情報端末２００は、カメラ１００から送信された画像データを受信し、受信した画像データをディスプレイ２６０に表示する。第２のユーザは、表示された動画を見ながら実況やコメントの音声を携帯情報端末２００のマイク２３０に入力する。携帯情報端末２００は、入力された音声を第１のフレーム番号に対応する第２のフレーム番号（第２の識別子）を付与してカメラ１００に送信する。カメラ１００は、第２のフレーム番号が付与された音声を受信し、動画に付与された第１のフレーム番号と音声に付与された第１のフレーム番号に対応する第２のフレーム番号とに基づいて、圧縮される前の動画と携帯情報端末２００から送信された音声とを同期させて結合する。以下、カメラ１００の構成について説明する。

カメラ１００は、動画を撮像する装置であり、図２に示すように、制御部１１０と、通信部１２０と、レンズ１３０と、撮像素子１４０と、ＲＯＭ（Read Only Memory）１５０と、ＲＡＭ（Random Access Memory）１６０と、ディスプレイ１７０と、操作部１８０と、を備える。具体的には、カメラ１００は、動画を撮像できるものであれば特に限定されず、例えば４Ｋ解像度（３８４０ピクセル×２１６０ピクセル）で６０ｆｐｓ（Frames Per Second）の動画を撮像できるデジタルカメラなどである。

制御部１１０は、ＣＰＵ（Central Processing Unit）等から構成される。制御部１１０は、ＲＯＭ１５０に記憶されたプログラムに従ってソフトウエア処理を実行することにより、カメラ１００が具備する機能を実現する。制御部１１０は、このような構成により、動画取得部１１１と、識別子付与部１１２と、動画圧縮部１１３と、動画送信部１１４と、音声受信部１１５と、動画・音声結合部１１６として機能する。

動画取得部１１１は、撮像素子１４０から入力された動画を取得する。

識別子付与部１１２は、動画取得部１１１が取得した動画を構成する各コマの画像データに第１のフレーム番号を付与する。第１のフレーム番号は、画像データを識別できるものであれば特に限定されず、例えば、撮影開始からの経過時間やコマ数に基づくものでもよい。第１のフレーム番号は、例えば、タイトルと撮影開始からの時間とコマ数を組み合わせた「ｘｘｘｈｈｍｍｓｓｋｋ」であってもよい。「ｘｘｘ」はタイトルであり、「ｈｈｍｍｓｓ」は撮影開始からの時間、分、秒であり、「ｋｋ」はコマ数である。コマ数は、「００」〜「５９」の整数である。

動画圧縮部１１３は、動画取得部１１１が取得した動画を圧縮する。具体的には、動画圧縮部１１３は、カメラ１００が撮像した動画を携帯情報端末２００にリアルタイムにライブビュー動画を送信できる動画に圧縮する。例えば、動画圧縮部１１３は、４Ｋ解像度の動画をＶＧＡ（Video Graphics Array）の解像度（６４０ピクセル×４８０ピクセル）の動画に圧縮する。

動画送信部１１４は、圧縮され第１のフレーム番号が付与された動画を携帯情報端末２００に送信する。

音声受信部１１５は、携帯情報端末２００から送信された、第１のフレーム番号に対応する第２のフレーム番号が付与された音声を受信する。

動画・音声結合部１１６は、動画取得部１１１が取得した動画と携帯情報端末２００から送信された音声とを同期させて結合する。具体的には、動画・音声結合部１１６は、動画に付与された第１のフレーム番号と音声に付与された第１のフレーム番号に対応する第２のフレーム番号とに基づいて、動画取得部１１１が取得した動画と、携帯情報端末２００から送信された音声と、を同期させる。その後、動画・音声結合部１１６は、同期させた動画と音声とを結合する。

通信部１２０は、携帯情報端末２００と通信するためのものである。通信部１２０が行う通信方法は、携帯情報端末２００と通信できる通信方法であれば限定されず、例えば有線通信や無線通信である。具体的には、通信部１２０は、例えば、IEEE 802.11（Ｗｉ−Ｆｉ（登録商標））、IEEE 802.3（イーサネット（登録商標））、インターネットなどの規格に基づいて通信を行う。

レンズ１３０は、被写体から入射した光を結像する。撮像素子１４０は、レンズ１３０により結像された像を電気信号に変換する。撮像素子１４０は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサから構成される。ＣＭＯＳイメージセンサの代わりにＣＣＤ（Charge-Coupled Device）イメージセンサ等のイメージセンサを用いてもよい。

ＲＯＭ１５０は、フラッシュメモリ等の不揮発性メモリから構成され、上述したように制御部１１０が各種機能を実現するためのプログラムやデータを記憶する。ＲＡＭ１６０は、揮発性メモリから構成され、制御部１１０が各種処理を行うためのプログラムを記憶するための作業領域として用いられる。

ディスプレイ１７０は、液晶ディスプレイから構成され、撮像素子１４０が撮像した画像や制御部１１０から伝達された情報を表示する。操作部１８０は、タッチパネル、キーボード、ボタン、ポインティングデバイス等の、ユーザの操作を受け付ける操作受け付け装置と、操作受け付け装置が受け付けた操作の情報を制御部１１０に伝達する伝達部と、から構成され、ユーザの操作内容をカメラ１００に入力するために用いられる。以上で、カメラ１００の説明を終了する。

携帯情報端末２００は、カメラ１００が撮像した動画を受信し、受信した動画を表示し、第２のユーザが表示された動画を見ながら入力した音声を収音し、収音した音声をカメラ１００に送信する装置である。携帯情報端末２００は、図３に示すように、制御部２１０と、通信部２２０と、マイク２３０と、ＲＯＭ２４０と、ＲＡＭ２５０と、ディスプレイ２６０と、操作部２７０と、を備える。具体的には、携帯情報端末２００は、スマートフォンなどである。以下、携帯情報端末２００の構成について説明する。

制御部２１０は、ＣＰＵ等から構成され、ＲＯＭ２４０に記憶されたプログラムに従ってソフトウエア処理を実行することにより、携帯情報端末２００が具備する機能を実現する。制御部２１０は、このような構成により、動画受信部２１１と、動画表示部２１２、収音部２１３と、識別子付与部２１４と、音声送信部２１５と、して機能する。

動画受信部２１１は、カメラ１００から送信された動画を受信する。具体的には、動画受信部２１１は、通信部２２０を介してカメラ１００から送信された動画を受信する。

動画表示部２１２は、動画受信部２１１が取得した動画をディスプレイ２６０に表示させる。収音部２１３は、マイク２３０を介して音声を収音する。

識別子付与部２１４は、収音部２１３が収音した音声に、カメラ１００から送信された動画を構成する画像データに付与された第１のフレーム番号と対応する第２のフレーム番号を付与する。第２のフレーム番号は、第１のフレーム番号と対応するものであれば特に限定されない。例えば、第１のフレーム番号が「ｘｘｘｈｈｍｍｓｓｋｋ」である場合、第２のフレーム番号は第１のフレーム番号の最後に「ｓ」を追加して「ｘｘｘｈｈｍｍｓｓｋｋｓ」としてもよい。また、第２のフレーム番号は、第１のフレーム番号と同じであってもよい。

音声送信部２１５は、第２のフレーム番号が付与された音声をカメラ１００に送信する。

通信部２２０は、カメラ１００と通信するための通信部である。通信部２２０が行う通信方法は、カメラ１００と通信できる通信方法であれば限定されない。通信部１２０は、例えば、IEEE 802.11、IEEE 802.3、インターネットなどの規格に基づいて通信を行う。

マイク２３０は、音声を電気信号に変換する装置である。マイク２３０は、携帯情報端末２００のマイク入力端子に接続する。また、マイク２３０は、携帯情報端末２００に内蔵しているものを用いてもよい。

ＲＯＭ２４０は、フラッシュメモリ等の不揮発性メモリから構成され、上述したように制御部２１０が各種機能を実現するためのプログラムやデータを記憶する。ＲＡＭ２５０は、揮発性メモリから構成され、制御部２１０が各種処理を行うためのプログラムを記憶するための作業領域として用いられる。

ディスプレイ２６０は、液晶ディスプレイから構成され、カメラ１００から送信された動画や制御部２１０から伝達された情報を表示する。操作部２７０は、タッチパネル、キーボード、ボタン、ポインティングデバイス等の、ユーザの操作を受け付ける操作受け付け装置と、操作受け付け装置が受け付けた操作の情報を制御部２１０に伝達する伝達部と、から構成され、ユーザの操作内容を携帯情報端末２００に入力するために用いられる。

つぎに、カメラ１００が実行する動画作成処理を、フローチャートを用いて説明する。動画作成処理では、カメラ１００は、撮影した動画を携帯情報端末２００に送信する。また、カメラ１００は、携帯情報端末２００から送信された音声を受信し、画像と音声とを同期させて結合する。カメラ１００は、図４に示すように、ユーザによる撮像を開始する操作を受け付け、動画作成処理を開始する。

最初に、識別子付与部１１２は、第１のフレーム番号を初期化する（ステップＳ１０１）。つぎに、動画取得部１１１は、撮像素子１４０が撮像した４Ｋ解像度の動画を取得する（ステップＳ１０２）。つぎに、動画送信部１１４は、後述する動画送信処理を行う（ステップＳ１０３）。

つぎに、音声受信部１１５は、第１のフレーム番号に対応する第２のフレーム番号が付与された音声を受信したか判定する（ステップＳ１０４）。

音声受信部１１５が音声を受信したと判定した場合（ステップＳ１０４；Ｙｅｓ）、音声受信部１１５は、受信した第２のフレーム番号が付与された音声を音声ファイルに記録する（ステップＳ１０５）。つぎに、制御部１１０は、操作部２７０から終了指示が入力されたか判定する（ステップＳ１０６）。

音声受信部１１５が音を受信していないと判定した場合（ステップＳ１０４；Ｎｏ）、制御部１１０は、操作部２７０から撮像を終了する指示が入力されたか判定する（ステップＳ１０６）。

操作部２７０に撮像を終了する指示が入力されていない場合（ステップＳ１０６；Ｎｏ）、ステップＳ１０２に戻る。このように、操作部２７０に撮像を終了する指示が入力されるまでステップＳ１０２からステップＳ１０６の処理を繰り返す。これにより、カメラ１００は、動画を取得し、取得した動画の送信処理を行い、音声を受信し、受信した第２のフレーム番号が付与された音声を音声ファイルに記録する。

操作部２７０に撮像を終了する指示が入力された場合（ステップＳ１０６；Ｙｅｓ）、音声受信部１１５は、音声データを全て受信したか判定する（ステップＳ１０７）。音声データを全て受信したかの判定は、後述する携帯情報端末２００から送信された「音声データを全て送信した旨の通知」を受信したか判定することにより行う。

音声データを全て受信していない場合（ステップＳ１０７；Ｎｏ）、ステップＳ１０４に戻る。このように、音声データを全て受信するまでステップＳ１０４からステップ１０７の処理を繰り返す。

音声を全て受信した場合（ステップＳ１０７；Ｙｅｓ）、動画・音声結合部１１６は、動画と音声とを同期させて結合する（ステップＳ１０８）。具体的には、動画・音声結合部１１６は、動画を構成する画像データに付与された第１のフレーム番号と、音声に付与された第１のフレーム番号に対応する第２のフレーム番号とに基づいて、動画と音声とを同期させる。その後、動画・音声結合部１１６は、同期させた動画と音声とを結合する。

つぎに、カメラ１００が実行する動画送信処理を、フローチャートを用いて説明する。動画送信処理は、動画取得部１１１が取得した動画を構成する画像データに第１のフレーム番号を付与し、動画（画像データ）を圧縮して携帯情報端末２００に送信する。

識別子付与部１１２は、図５に示すように、動画を構成する画像データに第１のフレーム番号を付与する（ステップＳ２０１）。

つぎに、動画圧縮部１１３は、第１のフレーム番号が偶数であるか判定する（ステップＳ２０２）。

第１のフレーム番号が偶数である場合（ステップＳ２０２；Ｙｅｓ）、動画圧縮部１１３は、４Ｋ解像度の画像データをＶＧＡ解像度の画像データに圧縮する（ステップＳ２０３）。つぎに、動画送信部１１４は、第１のフレーム番号が付与され圧縮された画像データを携帯情報端末２００に送信する（ステップＳ２０４）。つぎに、動画取得部１１１は、動画を構成する圧縮前の画像データを第１のフレーム番号と共に画像ファイルに記録する（ステップＳ２０５）。つぎに、識別子付与部１１２は、第１のフレーム番号に１を加算する（ステップＳ２０６）。その後、動画送信処理を終了する。

第１のフレーム番号が奇数である場合（ステップ２０２；Ｎｏ）、上述のステップＳ２０５とステップＳ２０６との処理を行い、その後、動画送信処理を終了する。このように、動画送信処理は、動画を構成する画像データに第１のフレーム番号を付与し、動画（画像データ）を圧縮して携帯情報端末２００に送信する。終了後、動画作成処理に戻り、ステップＳ１０４の処理を行う。

つぎに、情報処理端末２００が実行する音声送信処理を、フローチャートを用いて説明する。音声送信処理は、カメラ１００から送信された画像を表示し、第２のユーザが表示を見ながら情報処理端末２００に入力した音声をカメラ１００に送信する処理を行う。情報処理端末２００は、図６に示すように、ユーザの操作に応じて音声送信処理を開始する。

動画受信部２１１は、カメラ１００から送信された動画を構成する画像データを受信したか判定する（ステップＳ３０１）。

つぎに、動画受信部２１１が動画を構成する画像データを受信した場合（ステップＳ３０１；Ｙｅｓ）、動画表示部２１２は、受信した画像データの画像をディスプレイ２６０に表示する（ステップＳ３０２）。

つぎに、識別子付与部２１４は、第１のフレーム番号に対応する第２のフレーム番号を生成する（ステップＳ３０３）。なお、第２のフレーム番号は、第１のフレーム番号と対応していれば特に限定されず、第１のフレーム番号と同じであってもよい。

画像データを受信していない場合（ステップＳ３０１；Ｎｏ）、またはステップＳ３０３の処理を終了した場合、収音部２１３は、マイク２３０から音声が入力されたか判定する（ステップＳ３０４）。

音声が入力された場合（ステップＳ３０４；Ｙｅｓ）、識別子付与部２１４は、音声データに第２のフレーム番号を付与し、音声送信部２１５は、第２のフレーム番号が付与された音声をカメラ１００に送信する（ステップＳ３０５）。

音声が入力されていない場合（ステップＳ３０４；Ｎｏ）、またはステップＳ３０５の処理を終了した場合、制御部２１０は、カメラ１００の動画作成処理が終了したか、または操作部２７０から終了指示が入力されたか判定する（ステップＳ３０６）。

カメラ１００の動画作成処理が終了してなく、かつ操作部２７０から終了指示が入力されていない場合（ステップＳ３０６；Ｎｏ）、ステップ３０１に戻る。このように、カメラ１００の動画作成処理が終了するか、操作部２７０から終了指示が入力されるまで、ステップＳ３０１からステップＳ３０６までを繰り返す。このことにより、携帯情報端末２００は、受信した動画を表示し、音声を収音し、収音した音声に第２のフレーム番号を付与し、第２のフレーム番号を付与された音声をカメラ１００に送信する。

カメラ１００の動画作成処理が終了したか、操作部２７０から終了指示が入力された場合（ステップＳ３０６；Ｙｅｓ）、音声を全て送信した旨の通知を送信する（ステップＳ３０７）。その後、音声送信処理を終了する。

つぎに、本実施の形態に係るカメラ１００と携帯情報端末２００とが実施する処理を具体例に基づいて図７〜図９を参照しながら説明する。例えば、第１のユーザは、カメラ１００を用いて東京ドーム（登録商標）で野球の試合の４Ｋ−６０ｆｐｓの動画を撮像する。カメラ１００は、動画を圧縮しインターネットの回線を介して自宅の携帯情報端末２００にライブビュー動画を送信する。携帯情報端末２００は、動画を受信し、受信した動画をディスプレイ２６０に表示する。第２のユーザは、ディスプレイ２６０に表示された動画に対して実況やコメントの音声をマイク２３０に入力する。携帯情報端末２００は、マイクに入力された音声を収音し、収音した音声をカメラ１００に送信する。カメラ１００は、圧縮前の４Ｋ−６０ｆｐｓの動画と携帯情報端末２００から送信された音声とを同期させて結合する。

第１のユーザは、カメラ１００を用いて東京ドームで野球の試合の４Ｋ−６０ｆｐｓの動画の撮像を開始する。ここでは、第１のユーザがボールを撮影している場面を説明する。識別子付与部１１２は、第１のフレーム番号を初期化する（ステップＳ１０１；図４）。初期化した第１のフレーム番号は、図７に示すように、「xxxhhmmss01」である。つぎに、動画取得部１１１は、撮像した動画を構成する画像データｐａを取得する（ステップＳ１０２；図４）。つぎに、識別子付与部１１２は、画像データｐａに第１のフレーム番号「xxxhhmmss01」を付与する（ステップＳ２０１；図５）。

つぎに、動画圧縮部１１３は、第１のフレーム番号が偶数であるか判定する（ステップＳ２０２；図５）。「xxxhhmmss01」は、偶数でないので（ステップＳ２０２；Ｎｏ；図５）、圧縮前の画像データｐａを第１のフレーム番号「xxxhhmmss01」と共に画像ファイルに記録する（ステップＳ２０５；図５）。つぎに、識別子付与部１１２は、第１のフレーム番号に１を加算する（ステップＳ２０６；図６）。１を加算したフレーム番号は、「xxxhhmmss02」である。つぎに、音声受信部１１５は、音声を受信したか判定する（ステップＳ１０４；図４）。音声を受信していない場合（ステップＳ１０４；Ｎｏ；図４）、終了指示が入力されたか判定する（ステップＳ１０６；図４）。

終了指示が入力されていない場合（ステップＳ１０６；Ｎｏ；図４）、ステップＳ１０２に戻り、画像データｐｂを取得する（ステップＳ１０２；図４）。つぎに、識別子付与部１１２は、画像データｐｂに第１のフレーム番号「xxxhhmmss02」を付与する（ステップＳ２０１；図５）。つぎに、動画圧縮部１１３は、第１のフレーム番号が偶数であるか判定する（ステップＳ２０２；図５）。

「xxxhhmmss02」は、偶数であるので（ステップＳ２０２；Ｙｅｓ；図５）、動画圧縮部１１３は、画像データｐｂを圧縮する（ステップＳ２０３；図５）。具体的には、図７に示すように、４Ｋ解像度の画像データｐｂをＶＧＡ解像度の画像データｃｂに圧縮する。つぎに、第１のフレーム番号「xxxhhmmss02」が付与された圧縮した画像データｃｂを携帯情報端末２００に送信する（ステップＳ２０４；図５）。つぎに、圧縮前の画像データｐｂを第１のフレーム番号「xxxhhmmss02」と共に画像ファイルに記録する（ステップＳ２０５；図５）。つぎに、第１のフレーム番号に１を加算する（ステップＳ２０６；図６）。

携帯情報端末２００は、図８に示すように、第１のフレーム番号「xxxhhmmss02」が付与された画像データｃｂを受信する。つぎに、携帯情報端末２００は、画像データｃｂの画像をディスプレイ２６０に表示する（ステップＳ３０２；図６）。つぎに、識別子付与部２１３は、第１のフレーム番号「xxxhhmmss02」に対応する第２のフレーム番号「xxxhhmmss02s」を生成する（ステップＳ３０３；図６）。第２のユーザは、携帯情報端末２００に表示された画像データｃｂの画像を見ながらコメントや実況を音声でマイク２３０に入力する。携帯情報端末２００は、音声が入力された場合（ステップＳ３０４；図６）、識別子付与部２１３は音声ａｂに第２のフレーム番号「xxxhhmmss02s」を付与し、第２のフレーム番号「xxxhhmmss02s」が付与された音声ａｂをカメラ１００に送信する（ステップＳ３０５；図６）。

カメラ１００は、音声を受信した場合（ステップＳ１０４；Ｙｅｓ；図４）、図９に示す受信した第２のフレーム番号「xxxhhmmss02s」が付与された音声ａｂを音声ファイルに記録する（ステップＳ１０５；図４）。

その後、カメラ１００は、ステップＳ１０２〜ステップＳ１０６を繰り返し、画像データ（ｐｃ〜ｐｈ…）についても、図７に示すように、撮像した動画の第１のフレーム番号が偶数の画像データ（ｐｄ、ｐｆ、ｐｈ…）を順番に圧縮し、圧縮した画像データ（ｃｄ、ｃｆ、ｃｈ…）に第１のフレーム番号（「xxxhhmmss04」、「xxxhhmmss06」、「xxxhhmmss08」…）を付与して携帯情報端末２００に順番に送信する。携帯情報端末２００は、ステップＳ３０１〜ステップＳ３０６を繰り返し、図８に示すように、第１のフレーム番号（「xxxhhmmss04」、「xxxhhmmss06」、「xxxhhmmss08」…）が付加された画像データ（ｃｄ、ｃｆ、ｃｈ…）を順番に受信し、画像データ（ｃｄ、ｃｆ、ｃｈ…）を順番に表示する。

第２のユーザが携帯情報端末２００に表示された動画を見ながら音声（ａｄ、ａｆ、ａｈ…）を順番に入力すると、携帯情報端末２００は、音声（ａｄ、ａｆ、ａｈ…）を順番に収音し、収音した音声に第１のフレーム番号に対応する第２のフレーム番号（「xxxhhmmss04s」、「xxxhhmmss06s」、「xxxhhmmss08s」…）を付与し、第２のフレーム番号が付与された音声をカメラ１００に送信する。カメラ１００は、図９に示すように、第２のフレーム番号（「xxxhhmmss04s」、「xxxhhmmss06s」、「xxxhhmmss08s」…）が付与された音声（ａｄ、ａｆ、ａｈ…）を順番に受信し、音声ファイルに記録する。

カメラ１００が終了指示を受け付け（ステップＳ１０６；Ｙｅｓ；図４）、音声を全て受信した場合（ステップＳ１０７；Ｙｅｓ；図４）、カメラ１００は、音声ファイルに記録された音声（ａｂ、ａｄ、ａｆ、ａｈ…）と画像ファイルに記録された画像データ（ｐａ〜ｐｈ…）とを同期させて結合する（ステップＳ１０８；図４）。具体的には、画像データ（ｐｂ、ｐｄ、ｐｆ、ｐｈ…）の第１のフレーム番号と、音声（ａｂ、ａｄ、ａｆ、ａｈ…）の第２のフレーム番号に対応する第１のフレーム番号と、に基づいて同期するように結合する。この結果、本実施の形態の撮像システム１は、カメラ１００で撮像された４Ｋ解像度の画像データ（ｐａ〜ｐｈ…）と携帯情報端末２００に入力された音声（ａｂ、ａｄ、ａｆ、ａｈ…）とを同期させて結合する。

図１０に示すように、ネットワークの通信状況により画像データの送信に遅延や送信速度の変動があるなどして、音声データと画像データのタイミングがずれた場合であっても、第１のフレーム番号と第１のフレーム番号に対応する第２のフレーム番号とに基づいて、動画と音声を同期させて結合するため、動画と音声とのずれを防ぐことができる。また、音声と動画のタイミングがずれた場合、音声を伸縮させて動画と同期させる。音声の伸縮は、例えば、音声の無音部分のカット、音程（ピッチ）を保ったままの再生速度変換を行うことにより行う。

上述のように、本実施の形態のカメラ１００は、第１のユーザが撮像した動画を離れた位置にある携帯情報端末２００に送信する。携帯情報端末２００は、送信された動画を表示し、第２のユーザが表示された動画を見ながら入力した実況やコメントの音声をカメラ１００に送信する。カメラ１００は、撮像した動画と携帯情報端末２００から送信された音声とを同期させて結合する。

より具体的には、本実施の携帯の撮像システム１は、動画に付与された第１のフレーム番号と、音声に付与された第１のフレーム番号に対応する第２のフレーム番号とに基づいて、音声と動画とを同期させて結合する。このため、動画と音声とにずれが生じない。これに対して、動画に第１のフレーム番号が付与されない場合、カメラから携帯情報端末にライブビューの動画を送信し、携帯情報端末に表示されたライブビュー動画を見た第２のユーザが入力した実況やコメントの音声をカメラに送信し、カメラが撮像した動画と携帯情報端末から送信された音声とを結合する。この場合、カメラから携帯情報端末に動画を送信するときに遅延があると、携帯情報端末に表示される動画のライブビューが遅延する。遅延した動画のライブビューを見ながら入力された実況やコメントの音声をカメラに送信し、動画と音声を結合すると、動画に対して音声が遅れて録音され、音声は動画に対して遅延して結合される。

カメラ１００から携帯情報端末２００に画像データを圧縮して送信するため、少ないデータ量で動画を送信できる。このため、通信回線の通信速度が遅い場合であっても、カメラ１００から携帯情報端末２００に動画を送信することができる。

（変形例）
上述の実施の形態では、撮像装置は、デジタルカメラなどのカメラ１００を用いる場合を説明したが、撮像装置は、動画の撮像機能と通信機能とを有するものであれば特に限定されない。例えば、撮像装置は、スマートフォンなどの携帯情報端末であってもよい。また、収音装置としてスマートフォンなどの携帯情報端末２００を用いる場合を説明したが、通信機能と画像の表示機能と音声の入力機能を有するものであれば特に限定されない。例えば、収音装置は、音声の入力機能を有するパーソナルコンピュータやタブレット端末などであってもよい。

また、第１の識別子として第１のフレーム番号を用いる場合を説明したが、第１の識別番号は、画像データを識別できるものであれば特に限定されない。また、カメラ１００が撮影したときに動画に付与される撮影開始からの経過時間やリアルタイムを第１の識別子として用いてもよい。
また、第１の識別子は、画像データの各フレームに付与する場合を説明したが、特定のフレームのみ若しくは先頭フレームのみに付与してもよい。

また、カメラ１００から携帯情報端末２００に画像データを送信する際、４Ｋ解像度の画像データをＶＧＡ解像度の画像データに圧縮する場合を説明したが、圧縮前と圧縮後の解像度は特に限定されない。カメラ１００と携帯情報端末２００との通信速度により、通信速度が遅い場合は圧縮比を高くし、通信速度が速い場合は圧縮比を低くしてもよい。また、カメラ１００から携帯情報端末２００に動画を圧縮せずに送信してもよい。

また、カメラ１００から携帯情報端末２００に画像データを送信する際、画像データを６０ｆｐｓから３０ｆｐｓに変更して送信する場合を説明したが、送信する際の単位時間あたりのフレーム数は特に限定されない。例えば、カメラ１００から携帯情報端末２００に画像データを６０ｆｐｓのまま送信してもよい。

また、カメラ１００は、携帯情報端末２００から音声を全て受信した後、動画と音声とを結合する場合について説明したが、カメラ１００は、携帯情報端末２００から音声を受信するごとに、受信した音声と動画とを結合してもよい。

また、カメラ１００が撮影しながら音声を収音し、カメラ１００が撮影した動画にカメラ１００が録音した音声をさらに結合してもよい。この場合、カメラ１００が撮影しながら録音した音声と、携帯情報端末２００から送信された音声とを別のトラックに記録してもよく、同じトラックに記録してもよい。

また、携帯情報端末２００からカメラ１００に音声を送信する場合、音声を圧縮して送信してもよい。音声は、例えばＡＡＣ（Advanced Audio Coding）、ＭＰ３（MPEG-1 Audio Layer-3）の規格に基づいて圧縮されてもよい。また、携帯情報端末２００からカメラ１００に音声を送信する場合、頻度は特に限定されないが、例えば、１００ｍｓ毎であってもよい。音声を圧縮して送信する場合は、ＡＡＣのフレーム（１０２４サンプル）、またはＭＰ３のフレーム（１１５２サンプル）毎に送信してもよい。

また、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成される撮像装置が実行する動画作成処理及び動画送信処理を行う中心となる部分は、専用のシステムによらず、通常の情報携帯端末、パーソナルコンピュータなどを用いて実行可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）等）に格納して配布し、当該コンピュータプログラムを情報携帯端末などにインストールすることにより、前記の処理を実行する情報端末を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常の情報処理端末などがダウンロード等することで情報処理装置を構成してもよい。

また、撮影装置の機能を、ＯＳ（Operating System）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
動画を取得する動画取得手段と、
前記動画取得手段が取得した前記動画に第１の識別子を付与する識別子付与手段と、
前記第１の識別子が付与された前記動画を、該動画を表示しながら音声を収音する収音装置に送信する動画送信手段と、
前記収音装置から送信された、前記第１の識別子に対応する第２の識別子が付与された音声を受信する音声受信手段と、
前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる同期手段と、
を備えることを特徴とする撮像装置。

（付記２）
前記同期手段により同期させた前記動画と前記音声とを結合させる結合手段を備える、
ことを特徴とする付記１に記載の撮像装置。

（付記３）
前記第１の識別子が付与された前記動画を圧縮し圧縮動画を作成する動画圧縮手段を備え、
前記動画送信手段は、前記動画圧縮手段が圧縮した前記圧縮動画を前記収音装置に送信する、
ことを特徴とする付記１又は２に記載の撮像装置。

（付記４）
前記第２の識別子は、前記第１の識別子と同じである、
ことを特徴とする付記１乃至３の何れかに記載の撮像装置。

（付記５）
前記同期手段は、前記音声を伸縮させて前記動画と同期させる、
ことを特徴とする付記１乃至４の何れかに記載の撮像装置。

（付記６）
動画を取得する動画取得ステップと、
前記動画取得ステップにおいて取得した前記動画に第１の識別子を付与する識別子付与ステップと、
前記第１の識別子が付与された前記動画を、該動画を表示しながら音声を収音する収音装置に送信する動画送信ステップと、
前記収音装置から送信された、前記第１の識別子に対応する第２の識別子が付与された音声を受信する音声受信ステップと、
前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる同期ステップと、
を備えることを特徴とする撮像方法。

（付記７）
コンピュータを、
動画を取得する動画取得手段、
前記動画取得手段が取得した前記動画に第１の識別子を付与する識別子付与手段、
前記第１の識別子が付与された前記動画を、該動画を表示しながら音声を収音する収音装置に送信する動画送信手段、
前記収音装置から送信された、前記第１の識別子に対応する第２の識別子が付与された音声を受信する音声受信手段、
前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる同期手段、
として機能させるためのプログラム。

（付記８）
撮像装置と収音装置とを備える撮像システムであって、
前記撮像装置は、
動画を取得する動画取得手段と、
前記動画取得手段が取得した前記動画に第１の識別子を付与する識別子付与手段と、
前記第１の識別子が付与された前記動画を、該動画を表示しながら音声を収音する収音装置に送信する動画送信手段と、
前記収音装置から送信された、前記第１の識別子に対応する第２の識別子が付与された音声を受信する音声受信手段と、
前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる同期手段と、を備え、
前記収音装置は、
前記第１の識別子が付与された前記動画を受信する動画受信手段と、
前記動画受信手段が受信した前記動画を表示する表示手段と、
入力された音声を収音する収音手段と、
前記表示手段が前記動画を表示しているときに、前記収音手段が収音した音声に前記第１の識別子に対応する第２の識別子を付与する識別子付与手段と、
前記第２の識別子が付与された音声を前記撮像装置に送信する音声送信手段と、を備える、
ことを特徴とする撮像システム。

（付記９）
撮像装置から送信される第１の識別子が付与された動画を受信する動画受信手段と、
前記動画受信手段が受信した前記動画を表示する表示手段と、
入力された音声を収音する収音手段と、
前記表示手段が前記動画を表示しているときに、前記収音手段が収音した音声に前記第１の識別子に対応する第２の識別子を付与する識別子付与手段と、
前記第２の識別子が付与された音声を前記撮像装置に送信する音声送信手段と、
を備えることを特徴とする収音装置。

（付記１０）
撮像装置から送信される第１の識別子が付与された動画を受信する動画受信ステップと、
前記動画受信ステップで受信した前記動画を表示する表示ステップと、
入力された音声を収音する収音ステップと、
前記表示ステップで前記動画を表示しているときに、前記収音ステップで収音した音声に前記第１の識別子に対応する第２の識別子を付与する識別子付与ステップと、
前記第２の識別子が付与された音声を前記撮像装置に送信する音声送信ステップと、
を備えることを特徴とする収音方法。

（付記１１）
コンピュータを、
撮像装置から送信される第１の識別子が付与された動画を受信する動画受信手段、
前記動画受信手段が受信した前記動画を表示する表示手段、
入力された音声を収音する収音手段、
前記表示手段が前記動画を表示しているときに、前記収音手段が収音した音声に前記第１の識別子に対応する第２の識別子を付与する識別子付与手段、
前記第２の識別子が付与された音声を前記撮像装置に送信する音声送信手段、
として機能させるプログラム。

１…撮像システム、１００…カメラ、１１０…制御部、１１１…動画取得部、１１２…識別子付与部、１１３…動画圧縮部、１１４…動画送信部、１１５…音声受信部、１１６…動画・音声結合部、１２０…通信部、１３０…レンズ、１４０…撮像素子、１５０…ＲＯＭ、１６０…ＲＡＭ、１７０…ディスプレイ、１８０…操作部、２００…携帯情報端末、２１０…制御部、２１１…動画受信部、２１２…動画表示部、２１３…収音部、２１４…識別子付与部、２１５…音声送信部、２２０…通信部、２３０…マイク、２４０…ＲＯＭ、２５０…ＲＡＭ、２６０…ディスプレイ、２７０…操作部

Claims (11)

1. 動画を取得する動画取得手段と、
   前記動画取得手段が取得した前記動画に第１の識別子を付与する識別子付与手段と、
   前記第１の識別子が付与された前記動画を、該動画を表示しながら音声を収音する収音装置に送信する動画送信手段と、
   前記収音装置から送信された、前記第１の識別子に対応する第２の識別子が付与された音声を受信する音声受信手段と、
   前記動画取得手段による動画の取得終了の指示を検出する検出手段と、
   前記検出手段によって取得終了の指示を検出すると、前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる同期手段と、
   を備えることを特徴とする撮像装置。
2. 前記同期手段により同期させた前記動画と前記音声とを結合させる結合手段を備える、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の識別子が付与された前記動画を圧縮し圧縮動画を作成する動画圧縮手段を備え、
   前記動画送信手段は、前記動画圧縮手段が圧縮した前記圧縮動画を前記収音装置に送信する、
   ことを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記第２の識別子は、前記第１の識別子と同じである、
   ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記同期手段は、前記音声を伸縮させて前記動画と同期させる、
   ことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 動画を取得する動画取得ステップと、
   前記動画取得ステップにおいて取得した前記動画に第１の識別子を付与する識別子付与ステップと、
   前記第１の識別子が付与された前記動画を、該動画を表示しながら音声を収音する収音装置に送信する動画送信ステップと、
   前記収音装置から送信された、前記第１の識別子に対応する第２の識別子が付与された音声を受信する音声受信ステップと、
   前記動画取得ステップによる動画の取得終了の指示を検出する検出ステップと、
   前記検出ステップにおいて取得終了の指示を検出すると、前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる同期ステップと、
   を含むことを特徴とする撮像方法。
7. コンピュータを、
   動画を取得する動画取得手段、
   前記動画取得手段が取得した前記動画に第１の識別子を付与する識別子付与手段、
   前記第１の識別子が付与された前記動画を、該動画を表示しながら音声を収音する収音装置に送信する動画送信手段、
   前記収音装置から送信された、前記第１の識別子に対応する第２の識別子が付与された音声を受信する音声受信手段、
   前記動画取得手段による動画の取得終了の指示を検出する検出手段、
   前記検出手段によって取得終了の指示を検出すると、前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる同期手段、
   として機能させるためのプログラム。
8. 撮像装置と収音装置とを備える撮像システムであって、
   前記撮像装置は、
   動画を取得する動画取得手段と、
   前記動画取得手段が取得した前記動画に第１の識別子を付与する識別子付与手段と、
   前記第１の識別子が付与された前記動画を、該動画を表示しながら音声を収音する収音装置に送信する動画送信手段と、
   前記収音装置から送信された、前記第１の識別子に対応する第２の識別子が付与された音声を受信する音声受信手段と、
   前記動画取得手段による動画の取得終了の指示を検出する検出手段と、
   前記検出手段によって取得終了の指示を検出すると、前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる同期手段と、
   を備え、
   前記収音装置は、
   前記第１の識別子が付与された前記動画を受信する動画受信手段と、
   前記動画受信手段が受信した前記動画を表示する表示手段と、
   入力された音声を収音する収音手段と、
   前記表示手段が前記動画を表示しているときに、前記収音手段が収音した音声に前記第１の識別子に対応する第２の識別子を付与する識別子付与手段と、
   前記第２の識別子が付与された音声を前記撮像装置に送信する音声送信手段と、
   前記動画取得手段による動画の取得終了の指示を検出する検出手段と、
   前記検出手段によって取得終了の指示を検出すると、全ての音声を送信した旨の通知を、前記撮像装置へ送信する送信手段と、
   を備え、更に、
   前記同期手段は、前記送信手段が送信した前記通知を受信すると、前記通知を前記動画の取得終了の指示とし、前記動画に付与された前記第１の識別子と前記音声に付与された前記第１の識別子に対応する前記第２の識別子とに基づいて、前記動画と前記音声とを同期させる、
   ことを特徴とする撮像システム。
9. 撮像装置から送信される第１の識別子が付与された動画を受信する動画受信手段と、
   前記動画受信手段が受信した前記動画を表示する表示手段と、
   入力された音声を収音する収音手段と、
   前記表示手段が前記動画を表示しているときに、前記収音手段が収音した音声に前記第１の識別子に対応する第２の識別子を付与する識別子付与手段と、
   前記第２の識別子が付与された音声を前記撮像装置に送信する音声送信手段と、
   前記動画の取得終了の指示を検出する検出手段と、
   前記検出手段によって取得終了の指示を検出すると、全ての音声を送信した旨の通知を、前記撮像装置へ送信する送信手段と、
   を備えることを特徴とする収音装置。
10. 撮像装置から送信される第１の識別子が付与された動画を受信する動画受信ステップと、
    前記動画受信ステップで受信した前記動画を表示する表示ステップと、
    入力された音声を収音する収音ステップと、
    前記表示ステップで前記動画を表示しているときに、前記収音ステップで収音した音声に前記第１の識別子に対応する第２の識別子を付与する識別子付与ステップと、
    前記第２の識別子が付与された音声を前記撮像装置に送信する音声送信ステップと、
    前記動画の取得終了の指示を検出する検出ステップと、
    前記検出ステップにおいて取得終了の指示を検出すると、全ての音声を送信した旨の通知を、前記撮像装置へ送信する送信ステップと、
    を含むことを特徴とする収音方法。
11. コンピュータを、
    撮像装置から送信される第１の識別子が付与された動画を受信する動画受信手段、
    前記動画受信手段が受信した前記動画を表示する表示手段、
    入力された音声を収音する収音手段、
    前記表示手段が前記動画を表示しているときに、前記収音手段が収音した音声に前記第１の識別子に対応する第２の識別子を付与する識別子付与手段、
    前記第２の識別子が付与された音声を前記撮像装置に送信する音声送信手段、
    前記動画の取得終了の指示を検出する検出手段、
    前記検出手段によって取得終了の指示を検出すると、全ての音声を送信した旨の通知を、前記撮像装置へ送信する送信手段、
    として機能させるプログラム。

Images