JP6398694B2

JP6398694B2 - 無線ｌａｎ機能を備えた携帯機器及び記録システム

Info

Publication number: JP6398694B2
Application number: JP2014257847A
Authority: JP
Inventors: 進中村
Original assignee: Teac Corp
Current assignee: Teac Corp
Priority date: 2014-12-19
Filing date: 2014-12-19
Publication date: 2018-10-03
Anticipated expiration: 2034-12-19
Also published as: JP2016119561A

Description

本発明は携帯機器、特に無線ＬＡＮ機能を備えた携帯機器及びこれを用いた記録システムに関する。

従来から、いわゆるアフレコ（アフターレコーディング）を行う技術が各種提案されている。

特許文献１には、映像ファイルと音声ファイルを別々にメモリに記憶し、確認動作やアフレコ動作等の処理を行った後に、保存動作時に映像ファイルと音声ファイルを多重化して記録する携帯通信機器が記載されている。

特許文献２には、映像信号と第1オーディオ信号が多重化されたＡＶ多重化ファイルに対し、時刻情報に基づいて第１オーディオ信号を第２オーディオ信号に置き換えることが記載されている。

特開２００３−０７８８６３号公報特開２００３−１９９０４５号公報

ところで、近年ではスマートフォンの高機能化が進み、動画撮影機能も液晶パネルの高精度化（画素数の向上）に伴い、ビデオカメラ専用機で撮影した動画と遜色ない画質を得ることが可能となっている。

しかしながら、スマートフォンの動画機能は、映像の高画質化に重きが置かれており、録音されるオーディオ信号の音質向上は十分なレベルに至っていないのが実情である。従って、特に音質に重きを置くユーザからは、オーディオ信号は専用の録音装置により高音質で録音し、スマートフォンで撮影した動画のオーディオ信号を置換したいとのニーズがますます高まっている。

本発明は、専用の編集ソフトをインストールしたコンピュータを用いることなく、簡易にスマートフォン等の携帯機器で撮影した動画のオーディオ信号を高音質化し得る装置及び記録システムを提供することにある。

本発明は、無線ＬＡＮモジュールと、動画を撮影する撮影手段と、前記撮影時の第１オーディオ信号を入力する入力手段と、前記動画の映像信号及び第１オーディオ信号を多重化して動画ファイルを構成する処理手段とを備え、前記処理手段は、前記無線ＬＡＮモジュールを介して、前記動画撮影時に別個の録音装置で録音された第２オーディオ信号を受信した場合に、前記動画ファイルから前記映像信号と前記第１オーディオ信号を分離し、前記映像信号と前記第２オーディオ信号を多重化して動画ファイルを再構成し、さらに、前記第１オーディオ信号と受信した前記第２オーディオ信号の波形を時間軸に対応させて並列表示する表示手段と、前記時間軸における第１オーディオ信号と前記第２オーディオ信号の同期ポイントを手動で調整可能な調整手段とを有することを特徴とする。

また、本発明は、ポータブル録音装置と携帯機器からなる記録システムであって、前記携帯機器は、第１無線ＬＡＮモジュールと、動画を撮影する撮影手段と、前記撮影時の第１オーディオ信号を入力する第１入力手段と、前記動画の映像信号及び第１オーディオ信号を多重化して動画ファイルを構成する第１処理手段とを備え、前記ポータブル録音装置は、第２無線ＬＡＮモジュールと、前記撮影時の第２オーディオ信号を入力する第２入力手段と、前記第２オーディオ信号を記録媒体に記録する第２処理手段とを備え、前記第１処理手段は、前記第１無線ＬＡＮモジュール及び前記第２無線ＬＡＮモジュールを介して前記ポータブル録音装置から前記第２オーディオ信号を受信した場合に、前記動画ファイルから前記映像信号と前記第１オーディオ信号を分離し、前記映像信号と前記第２オーディオ信号を多重化して動画ファイルを再構成し、前記携帯機器はさらに、前記第１オーディオ信号と受信した前記第２オーディオ信号の波形を時間軸に対応させて並列表示する表示手段と、前記時間軸における第１オーディオ信号と前記第２オーディオ信号の同期ポイントを手動で調整可能な調整手段とを有することを特徴とする。

また、本発明は、ポータブル録音装置と携帯機器からなる記録システムであって、前記携帯機器は、第１無線ＬＡＮモジュールと、動画を撮影する撮影手段と、前記撮影時の第１オーディオ信号を入力する第１入力手段と、前記動画の映像信号及び第１オーディオ信号を多重化して動画ファイルを構成する第１処理手段と、前記ポータブル録音装置に時刻情報を送信する時刻情報送信手段と、前記ポータブル録音装置に録音コマンドを送信するコマンド送信手段とを備え、前記ポータブル録音装置は、第２無線ＬＡＮモジュールと、前記携帯機器から送信された前記時刻情報を受信する時刻情報受信手段と、前記携帯機器から送信された前記録音コマンドを受信するコマンド受信手段と、前記撮影時の第２オーディオ信号を入力する第２入力手段と、受信した前記時刻情報を用いて前記第２オーディオ信号を一時的に記憶するバッファメモリと、前記録音コマンドを受信した場合に、前記録音コマンドの受信時刻よりも所定時間分だけ前の第２オーディオ信号を前記バッファメモリから読み出して記録媒体への記録を開始する第２処理手段とを備え、前記第１処理手段は、前記第１無線ＬＡＮモジュール及び前記第２無線ＬＡＮモジュールを介して前記ポータブル録音装置から前記記録媒体に記録された第２オーディオ信号を受信した場合に、前記動画ファイルから前記映像信号と前記第１オーディオ信号を分離し、前記映像信号と前記第２オーディオ信号の同期を確立し、前記映像信号と前記第２オーディオ信号を多重化して動画ファイルを再構成することを特徴とする。

本発明によれば、専用の編集ソフトをインストールしたコンピュータを用いることなく、簡易にスマートフォン等の携帯機器で撮影した動画のオーディオ信号を高音質化することができる。

実施形態のシステム構成図である。実施形態のスマートフォンの構成図である。実施形態の処理フローチャートである。実施形態のシステムコントローラの機能ブロック図である。実施形態の同期ポイントの説明図である。

以下、図面に基づき本発明の実施形態について、スマートフォンを例にとり説明する。但し、本発明は、無線ＬＡＮ機能及び動画撮影機能を備えた任意の携帯機器に適用可能であり、必ずしもスマートフォンに限定されない。

図１は、本実施形態のシステム構成図である。ポータブル録音再生装置（以下、単に録音再生装置と称する）１０は、無線ＬＡＮ機能を備えた携帯機器と無線接続する。本実施形態では、無線ＬＡＮとしてＷｉ−Ｆｉ接続を例示する。Ｗｉ−Ｆｉモジュールを備えたスマートフォンは公知である。

録音再生装置１０は、公知の録音再生機能を備え、内蔵マイクやライン入力端子から入力されたオーディオ信号を処理してＳＤカード等の記録媒体に記録し、かつ、ＳＤカードに記録されたオーディオ信号を再生して内蔵スピーカから出力する。また、録音再生装置１０は、Ｗｉ−Ｆｉモジュールを備え、スマートフォン１２との間でＷｉ−Ｆｉ接続する。録音再生装置１０とスマートフォン１２との間のＷｉ−Ｆｉ接続は、基本的には１対１接続であるが、必要に応じて１対多接続でもよい。

録音再生装置１０のユーザは、所望の楽曲パートを演奏したオーディオ信号、あるいはライブ等でのバンド演奏のオーディオ信号を録音再生装置１０の内蔵マイクあるいはライン入力端子に入力して録音する。図１では、ギター等の楽器１４が示されているが、これ以外の任意のパート、例えばベースパート、ヴォーカルパート、ドラムパート等でもよい。録音再生装置１０は、オーディオ信号を入力してＳＤカード等の記録媒体に記録して録音する。

スマートフォン１２は、Ｗｉ−Ｆｉモジュールを備え、録音再生装置１０とＷｉ−Ｆｉ接続する。また、スマートフォン１２は、カメラモジュールを備え、静止画あるいは動画を撮影してＳＤカード等の記録媒体に記録する。さらに、ユーザは、スマートフォン１２にインストールされた所定のアプリケーションを起動し、このアプリケーションを操作して、録音再生装置１０の動作を制御する。すなわち、アプリケーションを操作することでスマートフォン１２を録音再生装置１０のリモコンとして機能させ、録音再生装置１０の録音開始や録音停止、再生開始や再生停止等を指示する。

図１に示すように、スマートフォン１２は、楽器１４が演奏されるバンド演奏等の動画を撮影し、その映像信号及びオーディオ信号（以下、スマートフォン１２で動画撮影時に取得されるオーディオ信号を第１オーディオ信号と称する）を記録媒体に記録する。

他方、録音再生装置１０は、同じバンド演奏を録音し、そのオーディオ信号（以下、録音再生装置１０で録音されるオーディオ信号を第２オーディオ信号と称する）を記録媒体に記録する。録音再生装置１０の内蔵マイクは、録音すべき音源にあわせてＡーＢ方式とＸ−Ｙ方式を切り替えて使用できる可動型単一指向性ステレオコンデンサマイク等、スマートフォン１２の内蔵マイクよりも高機能であり、かつ、サンプリング周波数及び量子化ビット数も相対的に高く、スマートフォン１２よりも高音質で録音することが可能である。なお、録音再生装置１０のライン入力端子に高性能な外部マイクを接続し、外部マイクから入力されるオーディオ信号を録音しても、高音質録音を行うことが可能である。

スマートフォン１２と録音再生装置１０がＷｉ−Ｆｉ接続されると、録音再生装置１０はスマートフォン１２に対し、録音した第２オーディオ信号をＷｉ−Ｆｉ接続経由で送信する。スマートフォン１２は、録音再生装置１０から送信された第２オーディオ信号を受信し、動画撮影時に取得した第１オーディオ信号と置換する。すなわち、スマートフォン１２にインストールされた所定のアプリケーション（少なくともオーディオ信号の置換が可能な編集アプリケーション）により録音再生装置１０に対して第２オーディオ信号の送信を要求し、録音再生装置１０はこの要求に応じて第２オーディオ信号をスマートフォン１２に送信する。スマートフォン１２の所定のアプリケーションは、映像信号と第１オーディオ信号が所定フォーマット（ＭＰＥＧフォーマットや３ＧＰＰフォーマット等）で多重化された動画ファイルから映像信号と第１オーディオ信号を分離し、第１オーディオ信号を第２オーディオ信号で置換して、映像信号と第２オーディオ信号を所定のフォーマットで多重化する。この際、スマートフォン１２の所定のアプリケーションは、映像信号と第２オーディオ信号との同期ポイントを確立し、この同期ポイントを用いて多重化することで置換に伴う時間的ずれの発生を抑制する。

図２は、スマートフォン１２の構成ブロック図である。スマートフォン１２は、Ｗｉ−Ｆｉモジュール２０、カメラモジュール２２、内蔵マイク２４、内蔵スピーカ３０、ディスプレイ３２、操作ボタン３４、システムコントローラ３６、及びＳＤコネクタ４２を備える。

Ｗｉ−Ｆｉモジュール２０は、無線ＬＡＮモジュールであり、録音再生装置１０とのＷｉ−Ｆｉ接続及びデータ送受を行うモジュールである。Ｗｉ−Ｆｉモジュール２０は、操作ボタン３４の操作に応じて起動し、録音再生装置１０とのＷｉ−Ｆｉ接続を確立する。また、Ｗｉ−Ｆｉモジュール２０は、録音再生装置１０に対してコマンドを送信し、コマンドに応じて録音再生装置１０から受信した第２オーディオ信号をシステムコントローラ３６に供給する。また、Ｗｉ−Ｆｉモジュール２０は、録音再生装置１０から受信した録音再生装置１０のステータス情報をシステムコントローラ３６に供給してもよい。

カメラモジュール２２は、操作ボタン３４の操作に応じたシステムコントローラ３６からの指令により、静止画あるいは動画を撮影する。カメラモジュール２２は、静止画あるいは動画を撮影して得られた映像信号をインタフェース（Ｉ／Ｆ）２６に出力する。

内蔵マイク２４は、モノラル、あるいはＲチャンネルとＬチャンネルのステレオマイクであり、カメラモジュール２２で動画撮影時の第１オーディオ信号を入力し、インタフェース（Ｉ／Ｆ）２６に出力する。

インタフェース（Ｉ／Ｆ）２６は、映像信号及び第１オーディオ信号をコーデック（ＣＯＤＥＣ）２８に出力する。

コーデック（ＣＯＤＥＣ）２８は、入力された映像信号及びオーディオ信号をデジタル信号に変換し、圧縮及び符号化してシステムコントローラ３６に供給する。また、デジタル化され圧縮符号化された映像信号あるいはオーディオ信号を伸長復号化し、映像信号をディスプレイ３２に出力し、オーディオ信号を内蔵スピーカ３０に出力する。伸長・復号化したオーディオ信号を図示しないイヤホンジャックに出力してもよい。

ディスプレイ３２は、ＬＣＤパネルあるいは有機ＥＬパネル等から構成され、スマートフォン１２の各種情報を表示するとともに、撮影した静止画や動画を表示する。

操作ボタン３４は、スマートフォン１２の動作を指示するボタンである。操作ボタン３４は、物理的なボタンおよび／またはディスプレイ３２に表示されたタッチアイコンで構成される。操作ボタン３４には、Ｗｉ−Ｆｉのオン／オフを切り替えるＷｉ−Ｆｉボタン、カメラモジュール２２を起動するボタン、静止画／動画を切り替えるボタン、アフレコを実行するボタンが含まれる。ここで、本実施形態における「アフレコ」とは、既述したように、録音再生装置１０で録音した第２オーディオ信号を受信し、映像信号と第１オーディオ信号から構成される動画に含まれる当該第１オーディオ信号を第２オーディオ信号で置換して、映像信号と第２オーディオ信号からなる動画を再構成する処理を意味する。

システムコントローラ３６は、プロセッサ及びメモリで構成され、スマートフォン１２の各部を制御する。システムコントローラ３６は、ＲＯＭ３８に記録された処理プログラムに従い、ＲＡＭ４０をワーキングメモリとして用いて各種処理を実行する。各種処理には、Ｗｉ−Ｆｉモジュール２０の起動／オフ、録音再生装置１０との接続確立、カメラモジュール２２の起動及び制御、静止画あるいは動画の映像信号の処理、内蔵マイク２４から入力されたオーディオ信号の処理、映像信号及びオーディオ信号のＳＤカードへの記録、映像信号及びオーディオ信号の再生、アフレコ処理が含まれる。システムコントローラ３６は、複数のプロセッサを備えていてもよく、ＰＬＤ（プログラマブルロジックデバイス）と協働してもよい。

ＳＤコネクタ４２には、ＳＤカードが装着される。システムコントローラ３６は、映像信号及びオーディオ信号から構成される動画データをＳＤカードに記録する。また、ＳＤカードに記録されている静止画ファイルあるいは動画ファイルを読み出し、コーデック（ＣＯＤＥＣ）２８を介して映像信号をディスプレイ３２に出力し、オーディオ信号を内蔵スピーカ３０に出力する。

なお、録音再生装置１０は、無線ＬＡＮモジュール、オーディオ信号を入力する内蔵マイク（あるいはライン入力端子）、オーディオ信号を処理してＳＤカード等の記録媒体に記録するコントローラを備える。スマートフォン１２と録音再生装置１０の各部の構成を区別するために、スマートフォン１２側の無線ＬＡＮモジュール、内蔵マイク、システムコントローラ３６をそれぞれ第１無線ＬＡＮモジュール、第１入力手段、第１処理手段と称し、録音再生装置１０側の無線ＬＡＮモジュール、内蔵マイク（あるいはライン入力端子）、コントローラをそれぞれ第２無線ＬＡＮモジュール、第２入力手段、第２処理手段と称する。

図３は、本実施形態におけるアフレコ処理のフローチャートである。スマートフォン１２のカメラモジュール２２を起動して動画を撮影すると（Ｓ１０１）、映像信号及び第１オーディオ信号をそれぞれ処理して多重化し、ＳＤカードに記録する（Ｓ１０２）。例えば、動画をＭＰＥＧ規格で記録するときには、映像信号及び第１オーディオ信号をそれぞれ符号化し、パケットに分割し、映像パケット及びオーディオパケットを順次切り替えて時分割多重化する。各パケットにはヘッダが付加され、当該ヘッダに映像／オーディオの種類を識別するための識別情報、及び時刻情報が含まれる。識別情報はstream_idとして定義され、時刻情報はTime Stampとして定義される。

次に、システムコントローラ３６は、アフレコ処理を実行するか否かを判定する（Ｓ１０３）。ユーザが操作ボタン３４を操作してアフレコ処理を指示すると（Ｓ１０３でＹＥＳ）、システムコントローラ３６は、Ｗｉ−Ｆｉ接続経由で録音再生装置１０から第２オーディオ信号の録音ファイルを受信する（Ｓ１０４）。

次に、システムコントローラ３６は、ＳＤカードから操作ボタン３４で指示された動画ファイルを読み出し（Ｓ１０５）、読み出した動画ファイルを構成する映像信号と第１オーディオ信号を分離する（Ｓ１０６）。各パケットのヘッダには映像／オーディオの種類を識別する情報stream_idが含まれているから、この情報を用いて映像信号と第１オーディオ信号を分離する。

次に、システムコントローラ３６は、映像信号と第２オーディオ信号を多重化するための時間基準となる同期ポイントを設定し（Ｓ１０７）、設定した同期ポイントに基づいて第１オーディオ信号を第２オーディオ信号で置換して映像信号と多重化する（Ｓ１０８）。従って、
アフレコ前の動画ファイル＝映像信号＋第１オーディオ信号
であるところ、
アフレコ後の動画ファイル＝映像信号＋第２オーディオ信号
となる。これに伴い、アフレコ前後で動画ファイルの名称を変更してもよい。例えば、アフレコ前の動画ファイルが「141120_0000.mp4」であるところ、アフレコ後の動画ファイルを「141120_0000-1.mp4」とする等である。同期ポイントは、映像信号と第２オーディオ信号を同期させるための時刻情報であるが、本実施形態では、映像信号と第２オーディオ信号を直接比較するのではなく、第１オーディオ信号と第２オーディオ信号を比較し、両信号の類似度に基づいて検出する。類似度は、両信号の畳み込み演算により算出され得る。

第２オーディオ信号を用いて動画ファイルを再構成した後、システムコントローラ３６は、アフレコ後の動画ファイルをＳＤカードに記録する（Ｓ１０９）。

以下、システムコントローラ３６でのアフレコ処理についてより詳細に説明する。

図４は、システムコントローラ３６の機能ブロック図である。システムコントローラ３６は、機能ブロックとして、分離部３６１、比較部３６２、同期ポイント検出部３６３、及び多重化部３６４を備える。

分離部３６１は、動画ファイルを構成する映像信号と第１オーディオ信号を入力し、各パケットのヘッダに含まれる識別情報を用いて映像信号と第１オーディオ信号を分離する。映像信号はそのまま多重化部３６４に供給され、第１オーディオ信号は比較部３６２に供給される。

比較部３６２は、分離部３６１からの第１オーディオ信号と、Ｗｉ−Ｆｉ接続経由で録音再生装置１０から受信した第２オーディオ信号を入力し、両者を比較する。すなわち、比較部３６２は、圧縮符号化された第１オーディオ信号を伸長復号化して元のオーディオ信号を生成するとともに、第２オーディオ信号についても同様に伸長復号化して元のオーディオ信号を生成する。なお、第２オーディオ信号は、録音再生装置１０で録音されたものであるから必ずしも第１オーディオ信号のフォーマットと同一であるとは限らない。従って、システムコントローラ３６は、第２オーディオ信号のフォーマット情報を録音再生装置１０から受信し、このフォーマット情報に基づいて第２オーディオ信号波形を生成する。そして、比較部３６２は、第１オーディオ信号と第２オーディオ信号を比較する。具体的には、両信号の畳み込み（コンボリューション）を演算し、あるいは相互相関関数を演算して両信号の類似度を算出する。なお、２つの信号はともに離散値であるため、畳み込み演算は、畳み込み積分ではなく畳み込み和が実行される。第１オーディオ信号のサンプリング周波数と第２オーディオ信号のサンプリング周波数が異なる場合には、両信号のサンプル数を同一とすべく第２オーディオ信号のサンプル数を間引き処理してもよい（通常、録音再生装置１０のサンプリング周波数の方がスマートフォン１２よりも高い）。

同期ポイント検出部３６３は、比較部３６２で演算された類似度（あるいは相関）を用いて、類似度が最も大きくなる時間タイミングを同期ポイントとして検出する。この同期ポイントは、第１オーディオ信号と第２オーディオ信号の同期ポイントであるが、映像信号と第１オーディオ信号は元々同期されているから、第１オーディオ信号と第２オーディオ信号の同期ポイントは、そのまま映像信号と第２オーディオ信号の同期ポイントとして機能する。すなわち、比較部３６２及び同期ポイント検出部３６３は、映像信号と第２オーディオ信号の同期を確立するために、映像信号と第２オーディオ信号を比較するのではなく、映像信号と同期している第１オーディオ信号を用い、第１オーディオ信号を介して映像信号と第２オーディオ信号の同期を確立するといえる。同期ポイント検出部３６３は、検出した同期ポイントを多重化部３６４に供給する。

図５は、第１オーディオ信号の波形１００と第２オーディオ信号の波形２００の模式図である。第１オーディオ信号と第２オーディオ信号は、ともに同一の音源から生じたものであるから一定の相関ないし類似性を有する。但し、スマートフォン１２の内蔵マイクと録音再生装置１０の内蔵マイクの性能差等に起因して、両波形には差異が生じる。２つの信号波形が最も一致するポイントが第１オーディオ信号における時刻ｔ１と第２オーディオ信号における時刻ｔ２であるとすると、この（ｔ１，ｔ２）が同期ポイントとして検出される。

多重化部３６４は、分離部３６１から供給された映像信号（圧縮符号化された映像信号）と第２オーディオ信号（圧縮符号化された第２オーディオ信号）を多重化する。この際、同期ポイント検出部３６３で検出された同期ポイントに基づき多重化する。具体的には、第２オーディオ信号のパケットのヘッダに、同期ポイントを基準として時刻情報を付加して映像信号のパケットと時分割多重化する。例えば、第２オーディオ信号のパケットを第２オーディオパケット１、第２オーディオパケット２、第３オーディオパケット３、・・とし、同期ポイントに該当するパケットが第２オーディオパケット２であるとすると、第２オーディオパケット２のヘッダに、映像信号の最初のパケットに付加された時刻情報と同一の時刻情報を付加し、以後、この時刻情報を基準として後続の第２オーディオ信号のパケットのヘッダに映像信号と同様に時刻情報を設定して多重化する。なお、ＭＰＥＧ規格では、時刻情報Time Stampには復号の開始時刻を示すＤＴＳと、表示・発音の時刻を示すＰＴＳがあるが、これらをともに同期ポイントに基づいて設定する。

このようにして第２オーディオ信号のパケットのヘッダに含まれる時刻情報を映像信号のパケットに含まれる時刻情報と同期させるため、アフレコ後の動画ファイルを再生しても、映像信号と第２オーディオ信号の時間的ずれはなく、かつ、録音再生装置１０で録音した高音質のオーディオを楽しむことができる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されず、種々の変形が可能である。

例えば、本実施形態では、映像信号と第２オーディオ信号の同期を確立するために、第１オーディオ信号に着目して第１オーディオ信号と第２オーディオ信号の類似度から映像信号と第２オーディオ信号の同期を確立しているが、第１オーディオ信号と第２オーディオ信号の波形の相関に変えて、第１オーディオ信号及び第２オーディオ信号に含まれる特定周波数成分、例えばヴォーカルの信号成分に着目し、これらヴォーカルの信号成分の類似度から映像信号と第２オーディオ信号の同期を確立してもよい。

また、本実施形態では、第１オーディオ信号と第２オーディオ信号の類似度を畳み込み演算により算出しているが、これはあくまで一例であり、２つの信号の類似度ないし相関を算出する公知の演算手法を用いることが可能である。本実施形態では、第１オーディオ信号と第２オーディオ信号をともに離散値として扱い類似度を算出しているが、第１オーディオ信号及び第２オーディオ信号それぞれの元のアナログ信号波形同士を比較してもよい。

また、スマートフォン１２から時刻情報を録音再生装置１０にＷｉ−Ｆｉ接続経由で送信し、録音再生装置１０ではスマートフォン１２から受信した時刻情報を用いて第２オーディオ信号を録音してもよい。この場合、映像信号と第２オーディオ信号は共通の時刻情報を有しているため、システムコントローラ３６はこの時刻情報を用いて映像信号と第２オーディオ信号を多重化できる。但し、録音再生装置１０がスマートフォン１２からのコマンドを受信して録音を開始する場合には、スマートフォン１２による動画撮影タイミングと録音再生装置１０による録音タイミングには時間的にずれが生じるおそれがある。この場合、録音再生装置１０がスマートフォン１２と連携した録音モード（録音待機状態）にあるときに、バッファメモリを用いて所定時間分のオーディオ信号の先取り録音をするように設定しておき、スマートフォン１２から受信したコマンドに応じ、動画撮影タイミングに一致するオーディオ信号をバッファメモリから読み出して録音を開始するようにすればよい。

また、本実施形態において、映像信号と第２オーディオ信号の同期を確立するモードとして、第１オーディオ信号と第２オーディオ信号の類似度を用いるモード、両信号の特定周波数成分（例えばヴォーカル成分）の類似度を用いるモード、スマートフォン１２から送信される時刻情報を用いるモードを操作ボタン３４の操作によりユーザが適宜選択できるように構成してもよい。

また、本実施形態において、複数の録音再生装置１０で同一バンド演奏の異なる楽曲パートを録音し、これらをスマートフォン１２に送信し、スマートフォン１２でミックスダウンして最終的な第２オーディオ信号を生成し、これを映像信号と多重化してもよい。この場合にも、各録音再生装置１０から送信される第２オーディオ信号と動画ファイルに含まれる第１オーディオ信号を比較して同期ポイントを検出すればよい。

また、本実施形態では、無線接続としてＷｉ−Ｆｉ接続を例示したが、ブルートゥース等を用いてもよい。

また、本実施形態では、スマートフォン１２で録音した第１オーディオ信号よりも録音再生装置１０で録音した第２オーディオ信号の方が相対的に高音質であることを前提としているが、スマートフォン１２の所定のアプリケーションが第１オーディオ信号と第２オーディオ信号を選択的に再生してユーザが互いに聴き比べることができるようにし、ユーザが第２オーディオ信号を選択した場合にアフレコ処理を実行してもよい。また、図５に示す第１オーディオ信号の波形１００と第２オーディオ信号の波形２００を時間軸に対応させて並列表示し、選択波形の時間軸（同期ポイント）を手動で微調整できるようにしてもよい。自動実行処理の結果に満足できないユーザ、あるいはあえて同期ポイントをずらしたい（衛星中継のような動画にしたい）ユーザには必要な機能ということができる。

１０録音再生装置、１２スマートフォン、１４楽器、２０Ｗｉ−Ｆｉモジュール、２２カメラモジュール、２４内蔵マイク、３０内蔵スピーカ、３２ディスプレイ、３４操作ボタン、３６システムコントローラ、４２ＳＤコネクタ。

Claims

無線ＬＡＮモジュールと、
動画を撮影する撮影手段と、
前記撮影時の第１オーディオ信号を入力する入力手段と、
前記動画の映像信号及び第１オーディオ信号を多重化して動画ファイルを構成する処理手段と、
を備え、
前記処理手段は、前記無線ＬＡＮモジュールを介して、前記動画撮影時に別個の録音装置で録音された第２オーディオ信号を受信した場合に、前記動画ファイルから前記映像信号と前記第１オーディオ信号を分離し、前記映像信号と前記第２オーディオ信号を多重化して動画ファイルを再構成し、さらに、
前記第１オーディオ信号と受信した前記第２オーディオ信号の波形を時間軸に対応させて並列表示する表示手段と、
前記時間軸における第１オーディオ信号と前記第２オーディオ信号の同期ポイントを手動で調整可能な調整手段と、
を有することを特徴とする無線ＬＡＮ機能を備えた携帯機器。
ポータブル録音装置と携帯機器からなる記録システムであって、
前記携帯機器は、
第１無線ＬＡＮモジュールと、
動画を撮影する撮影手段と、
前記撮影時の第１オーディオ信号を入力する第１入力手段と、
前記動画の映像信号及び第１オーディオ信号を多重化して動画ファイルを構成する第１処理手段と、
を備え、
前記ポータブル録音装置は、
第２無線ＬＡＮモジュールと、
前記撮影時の第２オーディオ信号を入力する第２入力手段と、
前記第２オーディオ信号を記録媒体に記録する第２処理手段と、
を備え、
前記第１処理手段は、前記第１無線ＬＡＮモジュール及び前記第２無線ＬＡＮモジュールを介して前記ポータブル録音装置から前記第２オーディオ信号を受信した場合に、前記動画ファイルから前記映像信号と前記第１オーディオ信号を分離し、前記映像信号と前記第２オーディオ信号を多重化して動画ファイルを再構成し、
前記携帯機器はさらに、
前記第１オーディオ信号と受信した前記第２オーディオ信号の波形を時間軸に対応させて並列表示する表示手段と、
前記時間軸における第１オーディオ信号と前記第２オーディオ信号の同期ポイントを手動で調整可能な調整手段と、
を有することを特徴とする記録システム。
ポータブル録音装置と携帯機器からなる記録システムであって、
前記携帯機器は、
第１無線ＬＡＮモジュールと、
動画を撮影する撮影手段と、
前記撮影時の第１オーディオ信号を入力する第１入力手段と、
前記動画の映像信号及び第１オーディオ信号を多重化して動画ファイルを構成する第１処理手段と、
前記ポータブル録音装置に時刻情報を送信する時刻情報送信手段と、
前記ポータブル録音装置に録音コマンドを送信するコマンド送信手段と、
を備え、
前記ポータブル録音装置は、
第２無線ＬＡＮモジュールと、
前記携帯機器から送信された前記時刻情報を受信する時刻情報受信手段と、
前記携帯機器から送信された前記録音コマンドを受信するコマンド受信手段と、
前記撮影時の第２オーディオ信号を入力する第２入力手段と、
受信した前記時刻情報を用いて前記第２オーディオ信号を一時的に記憶するバッファメモリと、
前記録音コマンドを受信した場合に、前記録音コマンドの受信時刻よりも所定時間分だけ前の第２オーディオ信号を前記バッファメモリから読み出して記録媒体への記録を開始する第２処理手段と、
を備え、
前記第１処理手段は、前記第１無線ＬＡＮモジュール及び前記第２無線ＬＡＮモジュールを介して前記ポータブル録音装置から前記記録媒体に記録された第２オーディオ信号を受信した場合に、前記動画ファイルから前記映像信号と前記第１オーディオ信号を分離し、前記映像信号と前記第２オーディオ信号の同期を確立し、前記映像信号と前記第２オーディオ信号を多重化して動画ファイルを再構成する
ことを特徴とする記録システム。