JP6155633B2

JP6155633B2 - マルチトラック録音装置

Info

Publication number: JP6155633B2
Application number: JP2012280874A
Authority: JP
Inventors: 青嶌　新治; 新治青嶌
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2012-12-25
Filing date: 2012-12-25
Publication date: 2017-07-05
Anticipated expiration: 2032-12-25
Also published as: JP2014127734A

Description

この発明は、楽音を再生しつつ、元の楽音に新たな音を別トラックとして録音するマルチトラック録音装置に関する。

従来、記録媒体に記録された楽音データを再生しつつ、元の楽音データに新たな音をミキシングして録音する多重録音装置が提案されている（例えば特許文献１を参照）。

特許文献１に示されているように、多重録音装置には、再生した楽音を出力するための音声出力端子、およびマイクを接続して音声信号を入力するための音声入力端子が設けられている。ユーザは、再生した楽音をモニタ音として聴きながら演奏または歌唱を行い、録音を行う。

ただし、音声出力端子にスピーカを接続して楽音を聴きながら録音を行うと、スピーカから出力された楽音がマイクに収音されてしまい、元の楽音と新たな音が混ざって録音されてしまうという問題がある。そこで、ユーザは、音声出力端子にヘッドフォンを接続し、ヘッドフォンを介してモニタ音を聴きながら演奏または歌唱を行う。これにより、ユーザの演奏音または歌唱音だけがマイクで収音され、多重録音装置に入力される。入力された演奏音または歌唱音は、元の楽音データにミキシングされて録音される。この際、入力された演奏音または歌唱音は、再生された楽音とは別の新たなトラックとして録音される。このようにして、マルチトラック録音がなされる。

特開２００９−１７１０９９号公報

しかし、ヘッドフォンは長時間の装着が苦痛である。特に、ヘッドフォンの音質を向上させるほど、ヘッドフォン自体が大きく、かつ重くなり、苦痛感が増す。また、ヘッドフォンで聴く音は、実際の演奏音とは異なるため、元の楽音に合わせて演奏を行うことが難しい。

一方で、スピーカで楽音を聴きながら録音を行うと、スピーカから出力された楽音が新たなトラックに混ざってしまうという課題がある。

そこで、この発明は、スピーカで楽音を出力した場合であっても演奏音または歌唱音だけを新たなトラックとして録音することができるマルチトラック録音装置を提供することを目的とする。

本発明のマルチトラック録音装置は、スピーカおよびマイクが接続されるマルチトラック録音装置であって、楽音を再生する再生手段と、前記再生手段が再生した楽音に係る楽音信号を前記スピーカに出力する出力手段と、前記マイクが収音した音信号を入力する入力手段と、前記出力手段から出力された楽音信号に係る音が音響空間を経て回帰した回帰成分を、前記入力手段が入力した音信号から除去する回帰音除去手段と、前記回帰成分を除去した後の音信号を前記再生手段の再生した楽音に新たなトラックとして重畳して録音する録音手段と、を備えたことを特徴とする。

このように、マルチトラック録音装置は、スピーカからマイクに至る回帰成分のみ除去することで、スピーカで楽音を出力した場合であっても演奏音または歌唱音だけを録音することができる。

また、回帰音除去手段は、前記音響空間の伝達関数を推定し、前記出力手段から出力される楽音信号を推定した伝達関数でフィルタ処理して擬似回帰音を生成する適応型フィルタと、前記擬似回帰音を前記入力手段が入力した音信号から減算する減算部と、を備え、マルチトラック録音装置は、前記再生手段が前記楽音を再生している場合に前記適応型フィルタの適応処理を停止させる制御手段をさらに備えることが好ましい。

この構成では、スピーカからマイクに至る音響空間の伝達関数を推定した適応型フィルタにより、回帰成分を抑制する。伝達関数の推定手法は、減算後の信号を参照信号とした場合に、スピーカへ出力する楽音信号に基づいて、当該参照信号ができるだけ小さくなるようにフィルタ係数を算出する。ここで、参照信号には、抑制しきれなかった回帰成分のみが含まれることが伝達関数の推定を精度よく行うために理想的な状態である。しかし、マルチトラック録音装置のユーザは、スピーカから出力された楽音をモニタ音として聴きながら演奏または歌唱を行うため、マイクから入力された音信号には演奏音または歌唱音の信号が含まれる。この場合、適応型フィルタに入力される参照信号には回帰成分以外の信号が含まれるため、適応処理を続けると実際の音響空間の伝達関数とは異なるフィルタとして適応することになり、十分に回帰成分を抑制することができない可能性がある。そこで、マルチトラック録音装置は、再生音が出力されているときには演奏音または歌唱音も入力されているものとして、適応型フィルタの適応処理を停止させる。

特に、適応処理を停止させるより前に、スピーカから楽音（例えばホワイトノイズ等）を出力させ、適応型フィルタのフィルタ係数を音響空間の伝達関数に同定させておくことが望ましい。これにより、理想的なフィルタ係数を維持し、回帰成分のみを抑制してマルチトラック録音を行うことができる。

本発明によれば、スピーカで楽音を出力した場合であっても演奏音または歌唱音だけを新たなトラックとして重畳することができる。

マルチトラック録音システムの構成を示す概略図である。録音再生装置の構成を示すブロック図である。エコーキャンセラの構成を示すブロック図である。制御部の動作を示したフローチャートである。帯域制限フィルタを備えた録音再生装置の構成を示すブロック図である。

図１は、本発明のマルチトラック録音装置の構成を示す概略図である。図１に示すマルチトラック録音システムは、録音再生装置２、当該録音再生装置２に接続されるスピーカＳＰ、およびマイクＭＩＣを備えている。

録音再生装置２は、本発明のマルチトラック録音装置に相当する。録音再生装置２は、楽音を再生し、当該再生した楽音に係る楽音信号をスピーカＳＰに出力する。ユーザは、（演奏者）は、スピーカＳＰから出力された楽音をモニタ音として聴きながら楽器１の演奏を行う。あるいは、ユーザは、楽器１の演奏に代えて（または楽器１を演奏しながら）歌唱を行う。マイクＭＩＣは、周囲の音を収音し、当該収音した音に係る音信号を録音再生装置２に出力する。

図２は、録音再生装置２の構成を示すブロック図である。録音再生装置２は、再生部２１、エコーキャンセラ２２、録音部２３、制御部２４、操作部２５、Ｄ／Ａ変換部（図中のＤ／Ａ）２６、増幅部（図中のＡＭＰ）２７、増幅部（図中のＡＭＰ）２８、およびＡ／Ｄ変換部（図中のＡ／Ｄ）を備えている。

ユーザが操作部２５を用いて楽音の再生を指示すると、制御部２４は、再生部２１に楽音の再生を指示するとともに録音部２３に録音を指示する。

再生部２１は、制御部２４の指示にしたがって、ユーザがモニタ音として聴くための楽音を再生する。例えば、再生部２１は、内蔵メモリ（不図示）に記憶されているオーディオデータ（ＰＣＭデータやＭＰ３等のエンコードデータ）を読み出し、デジタル楽音信号を生成する。デジタル楽音信号は、エコーキャンセラ２２を経てＤ／Ａ変換部２６でアナログ楽音信号に変換される。アナログ楽音信号は、増幅部２７で増幅され、スピーカＳＰに出力される。

スピーカＳＰから出力された楽音は、音響空間を経てマイクＭＩＣに収音される。また、ユーザが楽器１を演奏した演奏音もマイクＭＩＣで収音される。マイクＭＩＣで収音された音に係るアナログ音信号は、フロントエンドの増幅部２８で増幅され、Ａ／Ｄ変換部２９でデジタル音信号に変換される。デジタル音信号は、エコーキャンセラ２２を経て録音部２３に入力される。録音部２３は、再生部２１から出力されたデジタル楽音信号とエコーキャンセラ２２から出力されたデジタル音信号をミキシングして録音する。この際、エコーキャンセラ２２から入力されたデジタル音信号は、再生されたデジタル楽音信号とは別の新たなトラックとして録音される。このようにして、マルチトラック録音がなされる。

図３は、エコーキャンセラ２２の構成を示すブロック図である。エコーキャンセラ２２は、フィルタ部２２１、係数更新部２２２、およびポストプロセッサ２２３を備えている。

フィルタ部２２１は、所定のフィルタ係数を有するデジタルフィルタ（ＦＩＲフィルタ）であり、再生部２１から入力されたデジタル楽音信号をフィルタ処理し、スピーカＳＰからマイクＭＩＣに至る回帰成分を擬似した擬似回帰音を生成する。フィルタ部２２１のフィルタ係数は、スピーカＳＰからマイクＭＩＣに至る音響空間の伝達関数を推定したものである。

フィルタ部２２１は、スピーカＳＰの出力可能な周波数帯域（例えば５０Ｈｚ〜２０ｋＨｚの帯域）をカバーできるタップ数を有していればよいが、理想的には、再生部２１が出力するデジタル楽音信号に対応するタップ数を有することが好ましい。例えば、再生部２１が出力するデジタル楽音信号のサンプリング周波数が４８ｋＨｚである場合において、スピーカＳＰからマイクＭＩＣに至る直接音のうち数十Ｈｚ〜２４ｋＨｚの周波数帯域をカバーするためには、フィルタ部２２１のタップ数が１０００以上必要になる。室内の反射音や残響音等も擬似するためには、さらに多数のタップが必要になる。

なお、スピーカＳＰから出力される楽音は、ユーザがモニタ音として聴くためのものであり、高音質である必要はなく、例えば２００Ｈｚ〜１０ｋＨｚ程度の周波数帯域をカバーしていれば十分である。そこで、図５の録音再生装置１Ａのように、エコーキャンセラ２２の前段に帯域制限フィルタ５１を接続し、再生部２１から入力されるデジタル楽音信号を所定帯域に制限し、フィルタ部２２１のタップ数を減らすことも可能である。

フィルタ部２２１でフィルタ処理されて生成された擬似回帰音は、ポストプロセッサ２２３に出力される。ポストプロセッサ２２３は、マイクＭＩＣで収音された音（上記デジタル音信号）から擬似回帰音を減算する。

このようにして、マイクＭＩＣで収音された音のうち、スピーカＳＰからマイクＭＩＣに至る回帰成分が抑制される。回帰成分が抑制された後のデジタル音信号は、録音部２３に出力されるとともに、係数更新部２２２にも出力される。

係数更新部２２２は、再生部２１から出力されたデジタル楽音信号および上記ポストプロセッサ２２３から出力されたデジタル音信号を入力し、音響空間の伝達関数を推定してフィルタ部２２１のフィルタ係数を更新する。すなわち、係数更新部２２２は、回帰成分が抑制された後のデジタル信号を参照信号として、当該参照信号ができるだけ小さくなるようなフィルタ係数を推定する。推定のアルゴリズムとしては、例えば、ＬＭＳ法を適用することができる。ＬＭＳ法では、参照信号をｅ（ｋ）とすると、当該ｅ（ｋ）の２乗平均値Ｊ＝Ｅ［ｅ（ｋ）^２］（ただし、Ｅ［・］は期待値）を最小にするようなフィルタ係数を演算により求める。このようにして、フィルタ部２２１から出力される擬似回帰音を回帰成分に近似させることができる。

ここで、抑制しきれなかった回帰成分のみが参照信号に含まれていれば、ある程度時間が経過すると、フィルタ部２２１のフィルタ係数が実際の音響空間の伝達関数に同定され、擬似回帰音が実際の回帰成分にほぼ一致する。この場合、マイクＭＩＣで収音した音のうち、スピーカＳＰからマイクＭＩＣに至る回帰成分のみ除去することができる。したがって、録音再生装置２は、スピーカＳＰから楽音を出力した場合であっても、楽器１の演奏音だけを録音することができる。よって、新たなトラックには、楽器１の演奏音だけを録音することができる。これにより、ユーザは、ヘッドフォンを装着せずにモニタ音を聞きながらマルチトラック録音を行うことができる。

ただし、参照信号には、除去しきれなかった回帰成分だけでなく、楽器１の演奏音も含まれる。この場合、参照信号には回帰成分以外の信号が含まれるため、上記の適応処理を続けると、フィルタ部２２１には、実際の音響空間の伝達関数とは異なるフィルタ係数が設定されることになり、十分に回帰成分を抑制することができない可能性がある。

そこで、録音再生装置２は、ある程度時間が経過して理想的な状態となったフィルタ係数を維持するために、スピーカＳＰから再生した楽音が出力されているときにはマイクＭＩＣに演奏音も入力されるものとして、適応型フィルタの適応処理を停止させる。

図４は、制御部２４の動作を示すフローチャートである。まず、制御部２４は、ユーザが操作部２５を操作して、録音再生の指示を行ったか否かを判断する（ｓ１１）。録音再生の指示がなされるまではこの判断を繰り返す。

制御部２４は、録音再生の指示を受け付けた場合、初期測定を行う（ｓ１２）。初期測定は、例えば再生部２１にホワイトノイズ等の測定音を出力させ、フィルタ部２２１のフィルタ係数を理想的な状態に近づける処理である。

その後、制御部２４は、係数更新部２２２にフィルタ係数の更新を停止させ、フィルタ部２２１のフィルタ係数を固定するとともに、楽音の再生を開始する（ｓ１３）。そして、制御部２４は、操作部２５から再生の停止を指示されたり、楽音の再生が終了したりして、ユーザの演奏が終了したと判断した場合（ｓ１４）。係数更新部２２２のフィルタ係数の更新を再開させ、フィルタ部２２１のフィルタ係数の固定を解除する（ｓ１５）。

なお、ｓ１２で用いる測定音は、ホワイトノイズに限らず、例えばユーザから再生を指示された楽音を用いてもよい。例えば、制御部２４は、再生部２１にユーザから再生を指示された楽音を所定時間出力させる。その後、制御部２４は、ｓ１３において、フィルタ係数を固定するとともに、再生を指示された楽音を最初から出力させる。あるいは、制御部２４は、ユーザから再生が指示された場合に直ちに楽音を再生させ、所定時間経過後に、適応処理を停止させる態様も可能である。

ＭＩＣ…マイク
ＳＰ…スピーカ
１…楽器
２…録音再生装置
２１…再生部
２２…エコーキャンセラ
２３…録音部
２４…制御部
２５…操作部
２６…Ｄ／Ａ変換部
２７…増幅部
２８…増幅部
２９…Ａ／Ｄ変換部

Claims

スピーカおよびマイクが接続されるマルチトラック録音装置であって、
楽音を再生する再生手段と、
前記再生手段が再生した楽音に係る楽音信号を前記スピーカに出力する出力手段と、
前記マイクが収音した音信号を入力する入力手段と、
前記出力手段から出力された楽音信号に係る音が音響空間を経て回帰した回帰成分を、前記入力手段が入力した音信号から除去する回帰音除去手段と、
前記回帰成分を除去した後の音信号を前記再生手段の再生した楽音に新たなトラックとして重畳して録音する録音手段と、
を備えたマルチトラック録音装置。
請求項１に記載のマルチトラック録音装置であって、
前記回帰音除去手段は、前記音響空間の伝達関数を推定し、前記出力手段から出力される楽音信号を推定した伝達関数でフィルタ処理して擬似回帰音を生成する適応型フィルタと、
前記擬似回帰音を前記入力手段が入力した音信号から減算する減算部と、
を備え、
前記再生手段が前記楽音を再生している場合に前記適応型フィルタの適応処理を停止させる制御手段をさらに備えたことを特徴とするマルチトラック録音装置。
請求項２に記載のマルチトラック録音装置であって、
前記制御手段は、前記適応処理を停止させるより前に、前記スピーカから楽音を出力させ、前記適応型フィルタのフィルタ係数を前記音響空間の伝達関数に同定させることを特徴とするマルチトラック録音装置。