JP4539594B2

JP4539594B2 - 再生録音装置

Info

Publication number: JP4539594B2
Application number: JP2006088833A
Authority: JP
Inventors: 菊池　　健
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2006-03-28
Filing date: 2006-03-28
Publication date: 2010-09-08
Anticipated expiration: 2026-03-28
Also published as: JP2007265522A

Description

この発明は、デジタルオーディオデータの再生に同期してデジタル録音した場合の再生データと録音データとの同期をとる技術に関する。

近年、インターネットを介して、利用者自身が演奏した演奏データのファイルを交換し、互いに合奏するシステムが提案されている（たとえば非特許文献１）。

このようなシステムは、以下のように利用される。インターネット上のサーバに、ある演奏者が演奏した演奏データファイルがアップロードされている。他の演奏者がこのファイルをダウンロードして再生する。そして、この再生に合わせて自分も演奏し、この自分の演奏を録音した演奏データファイルを、改めてサーバにアップロードする。
"MP3 レコーダーヤマハ SoundSketcher"、［online］、ヤマハ株式会社、［平成１８年３月２２日検索］、インターネット＜URL：http://www.yamaha.co.jp/sskt/＞ http://www.yamaha.co.jp/sskt/

上記のような形態のインターネットを介した合奏を行う場合、演奏者は、ダウンロードした他の演奏者の演奏ファイルの再生をスタートするのに同期して録音をスタートさせ、再生される他人の演奏に合わせて、自分が演奏することにより、自分自身の演奏による演奏データファイルを作成する。

しかし、このシステムでは、以下の問題点があった。

（１）パソコンがデジタルオーディデータの再生と演奏した楽音信号の録音を同期してスタートさせたとしても、再生プログラムのスタートと録音プログラムの実際のスタートタイミングは、微妙に異なる。このため、既存のデータと新たに録音したデータとの先頭部分のマージンが異なり、同じ曲（の異なるパート）を演奏したものとして、これを同時に再生したとしても（またはこれら２つのオーディオデータをマージしたとしても）、演奏がずれてしまうという問題点があった。

（２）デジタルオーディオデータを再生するＤ／Ａコンバータのクロックと音声信号をデジタル化するＡ／Ｄコンバータのクロックは、同じサンプリング周波数（たとえば４４．１ｋＨｚや４８ｋＨｚ）に設定されていても、微妙に異なる場合が多い（たとえば、０．１％程度）。同じオーディオボードのＤ／ＡとＡ／Ｄでも異なる場合が多いうえに、Ｄ／Ａは内蔵のオーディオボード、Ａ／ＤはＵＳＢ接続のオーディオ機器を用いた場合などはよりこの差異が顕著に発生してしまう。このため、演奏を聴きながらテンポを合わせて演奏して録音したとしても、再生クロックと録音クロックの周波数が微妙に異なっているため、データ長が異なり、一緒に再生した場合（またはマージした場合）に、（最初はよいが）徐々に音ずれが生じ、最後は大きく２つのファイル（パート）の音がずれてしまうという問題点があった。

また、再生クロックの周波数と録音クロックの周波数が異なるため、再生される演奏音に正確に音程（周波数）を合わせて演奏しても、微妙にその音程がずれてしまい、同時に再生した場合にはうなりを生じてしまうという問題点があった。

この発明は、上記のように再生ファイルのスタートとずれてスタートした録音ファイル再生ファイルと異なるクロックで録音された録音ファイルが再生ファイルと同期するように補正できる再生録音装置を提供することを目的とする。

この発明は、デジタルオーディオデータをアナログオーディオ信号に変換するＤ／Ａコンバータと、アナログオーディオ信号をデジタルオーディオデータに変換するＡ／Ｄコンバータと、前記Ｄ／Ａコンバータを用いてデジタルオーディオデータを再生する再生手段と、前記Ａ／Ｄコンバータを用いてアナログオーディオ信号をデジタルオーディオ変換して録音する録音手段と、を備え、
前記再生手段による再生動作と前記録音手段による録音動作が行われているとき、前記Ｄ／Ａコンバータにデコードしたサンプリングデータ数を定期的に問い合わせて記録するとともに、前記Ａ／Ｄコンバータにエンコードしたサンプリングデータ数を定期的に問い合わせて記録する再生録音管理手段と、前記再生手段による再生動作と前記録音手段による録音動作が終了したのち、前記Ｄ／ＡコンバータとＡ／Ｄコンバータのクロック周波数のずれおよび前記再生手段による再生動作と前記録音手段による録音動作のスタートタイミングのずれを算出し、前記クロック周波数のずれおよび前記スタートタイミングのずれを解消すべく前記録音手段が録音したデータを補正する補正手段と、を備えたことを特徴とする。

この発明は、前記再生手段が再生するデジタルオーディオデータは、インターネットを介してサーバからダウンロードされた演奏データファイルであることを特徴とする。

この発明は、前記補正された録音データは、インターネットを介して前記サーバにアップロードされることを特徴とする。

この発明は、前記録音データは、前記演奏データファイルにマージされたのち、このマージされたデータが前記サーバにアップロードされることを特徴とする。

この発明によれば、Ｄ／ＡコンバータとＡ／Ｄコンバータのクロック周波数のずれおよび録音手段による録音動作と再生手段による再生動作のスタートタイミングのずれを録音手段が録音したデータを補正することによって解消できるため、再生したデジタルオーディオデータと録音した録音データを正確に同期したものにすることができる。

また、録音データ側を修正することにより、再生と録音が繰り返されても最初に存在したオーディオデータ（演奏データファイル）が基準になるため、何世代も再生録音が繰り返されても、全ての録音データで最初のオーディオデータのクロック周波数とタイミングで同期をとることができる。

図１はこの発明が適用された再生・録音システムの構成を示す図である。
ユーザが使用するパーソナルコンピュータ３がインターネット２に接続されている。インターネット２には、サーバ１が接続されている。サーバ１には、他のパーソナルコンピュータ（不図示）の利用者が演奏した演奏データファイル１００が登録されている。パーソナルコンピュータ３は、デジタルオーディオデータをアナログ信号に変換して出力するオーディオ出力部４、アナログの音声信号をデジタルデータに変換して入力するオーディオ入力部５を有している。この図では、オーディオ出力部４は、内蔵のオーディオボードであり、オーディオ入力部５は、ＵＳＢ接続のオーディオ機器である。オーディオ出力部４はＤ／Ａコンバータを内蔵しており、オーディオ入力部５はＡ／Ｄコンバータを内蔵している。

オーディオ出力部４には、スピーカ７が接続されている。オーディオ入力部５にはマイク８が接続されている。また、パーソナルコンピュータ３にはキーボードやマウス等の操作部６が接続されている。

パーソナルコンピュータ３は、ＣＰＵ，メモリ等の各種ハードウェアおよびＣＰＵが実行する各種ソフトウェアによって機能的に実現される以下の動作部を備えている。
すなわち、パーソナルコンピュータ３は、インターネット２を介してサーバ１と通信するためのインターネット通信部３０、インターネットからダウンロードしたファイルや後述の録音部３３が録音したファイル等を記憶する記憶部３１、インターネットからダウンロードしたオーディオデータファイルを読み出してオーディオ出力部４に入力して再生する再生部３２、オーディオ入力部５から入力されたオーディオデータを録音する録音部３３、および、録音部３３が録音したオーディオデータファイルである生録音ファイルと再生部が再生したオーディオデータファイルである再生ファイルとの同期をとる同期編集部３４を備えている。同期編集部３４は、再生部３２および録音部３３の同時スタートおよび処理サンプリングデータ数を管理する再生録音管理部３４Ａと再生・録音の終了後に録音済のファイルを補正する補正部３４Ｂからなっている。

利用者は、上記構成のパーソナルコンピュータ３を利用して、楽曲の再生や録音を行う。まず、利用者は、インターネット２を介してサーバ１から他者が録音したオーディオデータファイルである演奏データファイル１００をダウンロードする。そして、この演奏データファイル１００を再生ファイルとしてパーソナルコンピュータ３で再生しながら、これに合わせて自分自身も楽器を演奏し、この演奏を録音する。

たとえば、このパーソナルコンピュータ３の利用者はギターの演奏者であり、サーバ１に記憶されている演奏データファイルは、ある楽曲のドラムパートの演奏を録音した演奏データファイルである。利用者は、パーソナルコンピュータ３で演奏データファイルを再生して、そのドラム演奏を聴きながら、これに合わせてギターを演奏し、この演奏をパーソナルコンピュータ３に録音させる。

パーソナルコンピュータ３は、マイク８から入力され、オーディオ入力部５でデジタル信号に変換された楽音を再生ファイル（演奏データファイル１００）の再生と同期して録音する。再生・録音の動作が終了すると、この録音したオーディオデータを生録音ファイルとして保存する。

再生ファイルの再生動作は再生部３２が実行し、生録音ファイルの録音動作は録音部３３が実行する。この再生動作と録音動作の同期スタートは同期編集部３４によって制御される。

こののち、同期編集部３４が、今回録音された生録音ファイルを、インターネット２を経由してサーバ１からダウンロードされた演奏データファイル１００（再生ファイル）に完全に同期させるための同期補正処理を実行する。

以下、生録音ファイルと再生ファイルとのずれ、および、これを補正する同期補正処理について説明する。
図２は、パーソナルコンピュータ３の同期再生録音機能を説明する図である。再生動作と録音動作を同期して行う場合、パーソナルコンピュータ３は、再生部３２の再生ファイル５０を再生する再生動作５２と、録音部３３のマイク８から入力された楽音信号を録音する録音動作５４を同時にスタートさせる（５１）が、スタートのトリガが同時に発生しても、このトリガから再生動作５２が実際に起動するまでの再生タイムラグと録音動作５４が実際に起動するまでの録音タイムラグが異なる。この再生タイムラグと録音タイムラグの時間差であるオフセットが、再生ファイル５０と生録音ファイル５５のオーディオデータのずれ（録音動作のスタートタイミングのずれ）となって残る。

また、再生動作でＤ／Ａ変換を実行するオーディオ出力部４のクロック周波数と、録音動作でＡ／Ｄ変換を実行するオーディオ入力部５のクロック周波数は、（同じサンプリング周波数に設定されていても）若干のずれがあり、このクロックずれにより同じ時間再生・録音してもそのファイル長（サンプリングデータ数）が徐々に差がついてゆく。たとえば、クロック周波数に０．１パーセントのずれがあった場合、１０分で０．６秒のずれが生じ、人間の聴覚でもはっきりずれていることが分かる状態になる。

このずれをグラフで表すと、図３のようになる。この図ではトリガが発生してからＴｐのタイムラグで再生動作がスタートし、トリガが発生してからＴｒ（＞Ｔｐ）のタイムラグで録音動作がスタートしている。また、時間ｔに対するサンプル数（アドレス）ｓの進度もＡ／Ｄ変換とＤ／Ａ変換のサンプリングクロックの誤差のために僅かに異なる。再生アドレス進度をＡｐ，録音アドレス進度をＡｒで表わすと、時間Ｔの時間で処理されるサンプリングデータ数の差Ｄは、Ｄ＝（Ａｐ−Ａｒ）Ｔとなる。

そこで、録音時および録音後に以下のような処理をして上記ずれ（クロック周波数のずれおよび録音スタートタイミングのずれ）を解消する。図４は、このずれを解消する処理を説明する図である。

再生ファイル５０を再生する再生動作５２と生録音ファイル５５を生成する録音動作５４が同時に実行される。この再生・録音動作中に定期的に処理したサンプリングデータ数を再生録音管理部３４Ａが再生動作５２（オーディオ出力部４）および録音動作５４（オーディオ入力部５）に問い合わせる。一般的なパーソナルコンピュータのオーディオボードには、処理したサンプリングデータ数を問い合わせる関数が設定されている。この関数を用いて、オーディオ出力部４とオーディオ入力部５に対して定期的に再生したサンプリングデータ数と録音したサンプリングデータ数とを問い合わせ、このサンプリングデータ数ｓ(i) を問い合わせた時刻ｔ(i) とともに記憶しておく（６０）。ここで、ｉは問い合わせ順序を示す引数である。

再生動作・録音動作の終了後、補正部３４Ｂは、修正値推定処理（６１）で、サンプリングデータ数ｓ(i) と時刻ｔ(i) との組み合わせを一次関数で近似する。これは、たとえば、サンプリングデータ数ｓ(i) と時刻ｔ(i) との組み合わせを座標平面上にプロットして、図３のグラフを求めるような処理である。

図３のグラフにおいて、再生ファイル５０のアドレスＳｐは、Ｓｐ＝Ａｐ（ｔ−Ｔｐ）で表され、生録音ファイル５５のアドレスＳｒは、Ｓｒ＝Ａｒ（ｔ−Ｔｒ）で表される。

ここで、補正部３４Ｂは、アドレス進度を補正するために、生録音ファイル５５をＡｐ／Ａｒ倍にリサンプリング処理する（６２）。このリサンプリング処理は、サンプリングデータの補間によって行う。このリサンプリング処理により、生録音ファイル５５のアドレス進度を再生ファイル５０と同じＡｒとすることができ、再生ファイルと録音ファイルが同じ進度で進行するようになる。

次に、補正部３４Ｂは、再生ファイル５０と生録音ファイル５５の先頭部分のオフセットを解消するために、生録音ファイル５５の先頭のＴｒ−Ｔｐ分のサンプリングデータを削除する（６３）。もし、ＴｐがＴｒよりも大きい場合には、Ｔｐ−Ｔｒ分の無音区間を録音ファイルの先頭に付加する。これで、再生ファイルと録音ファイルを同時にスタートさせた場合に、再生ファイルの演奏と録音ファイルの演奏が同時にスタートする。

このように補正した録音ファイルを補正済録音ファイル６４として記憶部３１に保存する。
以上の処理は、パーソナルコンピュータ３の同期編集部３４が実行する。これにより、今回新たに録音した録音ファイルが再生ファイルと完全に同期したものになり、一緒に再生した場合にずれることなく同期して再生されるようになる。

上記処理で作成された補正後録音ファイルを、サーバ１からダウンロードした再生ファイルにマージしたデジタルオーディオファイルを作成し、これを演奏データファイル１００として、改めてサーバ１にアップロードするようにしてもよい。

また、この実施形態では、サーバ１から演奏データファイルをダウンロードしてパーソナルコンピュータ３で再生するようにしているが、サーバ１が演奏データファイルのデジタルオーディオデータをパーソナルコンピュータ３に対してストリーミングで送信するようにしてもよい。

また、この実施形態では、利用者の演奏をパーソナルコンピュータ３で録音およびタイミング補正するようにしているが、生録音ファイルおよび経過時間と処理サンプリングデータ数の情報ををそのままサーバ１にアップロードし、サーバ１がタイミング補正をするようにしてもよい。また、パーソナルコンピュータ３からサーバ１に対して演奏のデジタルオーディオデータをリアルタイムにストリーミングでアップロードし、サーバ１が録音およびタイミング補正をするようにしてもよい。

この発明の実施形態であるパーソナルコンピュータを含む再生・録音システムの構成を示す図前記パーソナルコンピュータの同期再生録音機能を説明する図再生動作と録音動作のずれをグラフ化した図前記パーソナルコンピュータの前記ずれの補正処理を説明する図

符号の説明

１…サーバ
２…インターネット
３…パーソナルコンピュータ
４…オーディオ出力部
５…オーディオ入力部
６…操作部
７…スピーカ
８…マイク
３０…インターネット通信部
３１…記憶部
３２…再生部
３３…録音部
３４…同期編集部
３４Ａ…再生録音管理部
３４Ｂ…補正部
６０…再生録音管理処理
６１…補正値推定処理
６２…リサンプリング処理
６３…オフセット解消処理
６４…補正済録音ファイル

Claims

デジタルオーディオデータをアナログオーディオ信号に変換するＤ／Ａコンバータと、
アナログオーディオ信号をデジタルオーディオデータに変換するＡ／Ｄコンバータと、
前記Ｄ／Ａコンバータを用いてデジタルオーディオデータを再生する再生手段と、
前記Ａ／Ｄコンバータを用いてアナログオーディオ信号をデジタルオーディオ変換して録音する録音手段と、
を備え、
前記再生手段による再生動作と前記録音手段による録音動作が行われているとき、前記Ｄ／Ａコンバータにデコードしたサンプリングデータ数を定期的に問い合わせて記録するとともに、前記Ａ／Ｄコンバータにエンコードしたサンプリングデータ数を定期的に問い合わせて記録する再生録音管理手段と、
前記再生手段による再生動作と前記録音手段による録音動作が終了したのち、前記Ｄ／ＡコンバータとＡ／Ｄコンバータのクロック周波数のずれおよび前記再生手段による再生動作と前記録音手段による録音動作のスタートタイミングのずれを算出し、前記クロック周波数のずれおよび前記スタートタイミングのずれを解消すべく前記録音手段が録音した録音データを補正する補正手段と、
を備えた再生録音装置。
前記再生手段が再生するデジタルオーディオデータは、インターネットを介してサーバからダウンロードされた演奏データファイルである請求項１に記載の再生録音装置。
前記補正された録音データは、インターネットを介して前記サーバにアップロードされる請求項２に記載の再生録音装置。
前記録音データは、前記演奏データファイルにマージされたのち、このマージされたデータが前記サーバにアップロードされる請求項３に記載の再生録音装置。