JP7432225B2

JP7432225B2 - 音再生記録装置、及びプログラム

Info

Publication number: JP7432225B2
Application number: JP2020007962A
Authority: JP
Inventors: 誉今
Original assignee: CLEPSEADRA, INC.
Current assignee: CLEPSEADRA, INC.
Priority date: 2020-01-22
Filing date: 2020-01-22
Publication date: 2024-02-16
Anticipated expiration: 2040-01-22
Also published as: JP2021118365A

Description

本発明は、音再生記録装置、及びプログラムに関する。

近年、バイノーラル録音が注目されている。バイノーラル録音とは、人の両耳の鼓膜に伝わる音を録音する技術である。バイノーラル録音には、例えば両耳の外耳道内に設置されたマイクが使用される。バイノーラル録音された音を、イヤホン又はヘッドホン等により再生することで、あたかもその場に居合わせたかのような立体感及び臨場感のある音を再現することができる。

バイノーラル録音に関する技術の一例として、下記特許文献１には、録音時の環境と再生時の環境との間の、耳の形などの身体的特徴の相違を埋めるために、再生時に補正処理を行う技術が開示されている。

国際公開第２０１７／１９５６１６号

しかし、上記特許文献１に記載の技術を含め、従来では、再現対象の音以外の音が発生している環境でバイノーラル録音することは考慮されていなかった。換言すると、バイノーラル録音には、その場で聞こえる全ての音を録音し再生する、といった制約が課されていた。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、バイノーラル録音の自由度を向上させることが可能な仕組みを提供することにある。

上記課題を解決するために、本発明のある観点によれば、ユーザに対し音を再生する音再生部と、前記ユーザの両耳付近の音を取得する音取得部と、第１の音響信号を前記音再生部に入力して前記第１の音響信号に基づく音を前記音再生部により再生すると共に、前記音取得部により取得された音を示す第２の音響信号を記録する処理を制御する制御部と、を備える、音再生記録装置が提供される。

前記制御部は、前記第１の音響信号の特徴を示す第１のメタ情報をさらに記録してもよい。

前記第１の音響信号は、第３の音響信号を少なくとも一部の区間に含み、前記第１のメタ情報は、前記第３の音響信号、又は前記第３の音響信号を識別するための識別情報を含んでもよい。

前記第１の音響信号は、第３の音響信号を少なくとも一部の区間に含み、前記第１のメタ情報は、前記第１の音響信号において前記第３の音響信号が含まれる区間を示す情報を含んでもよい。

前記制御部は、記録された前記第２の音響信号から、前記第１の音響信号に基づく音に対応する成分を、前記第１のメタ情報に基づいて除去してもよい。

前記制御部は、前記第１の音響信号をさらに記録してもよい。

前記制御部は、記録された前記第２の音響信号から、前記第１の音響信号に基づく音に対応する成分を、記録した前記第１の音響信号に基づいて除去してもよい。

前記制御部は、前記音再生部に適用される設定を示す設定情報をさらに記録してもよい。

前記制御部は、記録された前記第２の音響信号から、前記第１の音響信号に基づく音に対応する成分を、前記設定情報に基づいて除去してもよい。

前記制御部は、前記第２の音響信号が記録される区間において、前記音再生部以外の音源から発生した音の特徴を示す第２のメタ情報をさらに記録してもよい。

前記第２のメタ情報は、前記第２の音響信号が記録される区間において、前記音再生部以外の音源から音が発生した区間を示す情報を含んでもよい。

前記制御部は、記録された前記第２の音響信号から、前記音再生部以外の音源から発生した音に対応する成分を、前記第２のメタ情報に基づいて除去してもよい。

前記音再生部以外の音源から発生した音は、前記ユーザの話声であってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、第１の音響信号をユーザに対し音を再生する音再生部に入力して前記第１の音響信号に基づく音を前記音再生部により再生すると共に、ユーザの両耳付近の音を取得する音取得部により取得された音を示す第２の音響信号を記録する処理を制御する制御部、として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、バイノーラル録音の自由度を向上させることが可能な仕組みが提供される。

本発明の一実施形態に係る音再生記録装置の構成の一例を示すブロック図である。本実施形態に係る第１及び第３の音響信号の波形の一例を説明するための図である。本実施形態に係る音再生記録装置により実行される第１の音響信号の記録処理の流れの一例を示すフローチャートである。本実施形態に係る音再生記録装置により実行される、記録された第１の音響信号に基づく再生音の除去処理の流れの一例を示すフローチャートである。本実施形態に係る音再生記録装置により実行されるメタ情報の記録処理の流れの一例を示すフローチャートである。本実施形態に係る音再生記録装置により実行される、記録されたメタ情報に基づく再生音の除去処理の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜＜１．技術的課題＞＞
従来、バイノーラル録音は、録音時に聞こえる全ての音を録音し再生することで、録音時の空間をそのまま再現することを目的としていた。そのため、再現対象外の音を鳴っている空間では、バイノーラル録音することは困難であった。再現対象外の音までも録音し、そのまま再現してしまうためである。

再現対象外の音として、スピーカ又はヘッドホン等の音出力装置から再生される音である、再生音が挙げられる。バイノーラル録音時に、再生音を再生することが望ましいユースケースは多々考えられる。

再生音は、トレーニング目的で再生され得る。一例として、ユーザがメトロノームの音をイヤホンでモニターしながら楽器を演奏している様子をバイノーラル録音するユースケースが考えられる。従来のバイノーラル録音では、ユーザの演奏音にメトロノームの音が重なって録音され、そのまま再生されてしまうので、ユーザの演奏音のみを再生することは困難であった。他の一例として、誰かとのアンサンブル演奏を想定し、事前にバイノーラル録音された他者の演奏音を再生しながら楽器を演奏する様子をバイノーラル録音するユースケースが考えられる。従来のバイノーラル録音では、ユーザの演奏音に他者の演奏音が重なって録音され、そのまま再生されてしまうので、ユーザの演奏音のみを再生することは困難であった。

他にも、再生音は、ユーザに情報を通知する目的で再生され得る。バイノーラル録音時にも、バッテリー残量の低下、及び記憶部の空き容量不足等の、ユーザに通知すべき事態が発生し得る。バイノーラル録音時は極力頭を動かさない方がよいので、視覚的な通知手段は好ましくない。他方、聴覚的な通知手段が使用された場合、ユーザに情報を通知する目的で再生される再生音（以下、通知音とも称する）が録音され、そのまま再生されてしまうので、通知音以外の、本来再現すべき音を再現することが困難であった。例えば、コンサート会場で演奏をバイノーラル録音中に通知音が鳴った場合、音場を損ねる録音になってしまっていた。さらに、例えばバイノーラル録音中にバッテリー残量低下を知らせる通知音が鳴った場合、通知音を含む録音データを再生すると通知音もまた鳴ってしまう。その場合、再生時にバッテリー残量が低下したのか、録音時にバッテリー残量が低下したのかを、判別することも困難であった。

なお、再生音は、予め録音されていてもよいし、バイノーラル録音時にリアルタイムに発生してよい。予め録音される再生音の一例は、メトロノームの音、事前にバイノーラル録音された他者の演奏音、及び通知音である。バイノーラル録音時にリアルタイムに発生する再生音の一例は、ユーザ以外の第三者からの、ユーザがどう動くべきかを指示する話声である。かかる話声は、例えば、無線通信を介してストリーミング再生される。

再生音以外にも、再現対象外の音が存在し得る。再現対象外の音のうち、再生音以外の音の一例は、ユーザの話声である。バイノーラル録音中にユーザが発話すると、話声が頭部を伝搬して鼓膜に伝わる音が記録されてしまう。そのため、空間を再現する目的でバイノーラル録音が行われる場合、ユーザ本人の発話は推奨されておらず、ユーザはバイノーラル録音中に話すことが困難であった。

以上説明したように、バイノーラル録音時には、再生音を再生すること、及びユーザが発話することが推奨されない点で、不自由さがあった。そこで、本実施形態では、バイノーラル録音中に再生音を再生すること、及びユーザが発話することが許容される、自由度の高いバイノーラル録音の仕組みを提供する。

＜＜２．構成例＞＞
図１は、本発明の一実施形態に係る音再生記録装置１の構成の一例を示すブロック図である。図１に示すように、本実施形態に係る音再生記録装置１は、音取得部１０（１０Ａ～１０Ｄ）、音再生部２０（２０Ａ及び２０Ｂ）、記憶部３０、及び制御部４０を含む。

（１）音取得部１０
音取得部１０は、音を取得する機能を有する。図１に示すように、音取得部１０Ａは、マイク１１、マイクアンプ１２、及びＡＤＣ（Analog Digital Converter）１３を含む。音取得部１０Ｂ～音取得部１０Ｄも同様である。

マイク１１は、周囲の空間に鳴る音をアナログ信号に変換し、変換後のアナログ信号をマイクアンプ１２に出力する。マイクアンプ１２は、マイク１１から入力されたアナログ信号を増幅し、増幅後のアナログ信号をＡＤＣ１３に出力する。ＡＤＣ１３は、マイクアンプ１２から入力されたアナログ信号をデジタル信号に変換し、変換後のデジタル信号を制御部４０に出力する。

音取得部１０Ａ及び音取得部１０Ｂは、ユーザの両耳の鼓膜付近の音を取得する。例えば、音取得部１０Ａ及び音取得部１０Ｂは、ユーザの両耳の外耳道入り口と鼓膜との間の外耳道内の音を取得する。音取得部１０Ａのマイク１１、及び音取得部１０Ｂのマイク１１は、ユーザの両耳の外耳道に挿入可能な一対の小型マイクとして構成され得る。マイクアンプ１２及びＡＤＣ１３の配置は特に限定されず、もちろん外耳道に挿入されなくてもよい。

音取得部１０Ｃ及び音取得部１０Ｄは、ユーザの周辺の音を取得する。とりわけ、音取得部１０Ｃ及び音取得部１０Ｄは、音再生部２０以外の音源から発生した音を取得する。音再生部２０以外の音源を、以下では外部音源とも称する。外部音源から発生した音を、以下では外部音とも称する。外部音の一例は、ユーザの話声である。例えば、音取得部１０Ｃのマイク１１、及び音取得部１０Ｄのマイク１１は、ユーザの首元の左右対称な位置に配置される一対のマイクとして構成され得る。外部音の他の一例としては、音再生記録装置１以外の音源からの音（例えば、他のユーザの話声、及び特定の演奏者の演奏音等）が挙げられる。マイク１１の位置は、対象とする外部音に応じて適宜変更されてよい。マイクアンプ１２及びＡＤＣ１３の配置は特に限定されない。

以下では、音取得部１０Ａ及び音取得部１０Ｂを、第１の音取得部１０とも称する。また、音取得部１０Ｃ及び音取得部１０Ｄを、第２の音取得部１０とも称する。音取得部１０Ａ～音取得部１０Ｄを特に区別する必要がない場合、これらを単に音取得部１０とも称する。

（２）音再生部２０
音再生部２０は、ユーザに対し音を再生する機能を有する。図１に示すように、音再生部２０は、スピーカ２１、アンプ２２、及びＤＡＣ（Analog Digital Converter）２３を含む。

ＤＡＣ２３は、制御部４０から入力されたデジタル信号をアナログ信号に変換し、変換後のアナログ信号をアンプ２２に出力する。アンプ２２は、ＤＡＣ２３から入力されたアナログ信号を増幅し、増幅後のアナログ信号をスピーカ２１に出力する。スピーカ２１は、アンプ２２から入力されたアナログ信号を音に変換し、周囲の空間に放出する。

音再生部２０は、第１の音取得部１０が音を取得する空間に対して音を再生する。即ち、音再生部２０により再生された音は、第１の音取得部１０により取得され得る。音再生部２０は、少なくとも、第１の音取得部１０との相対的な位置関係が固定された位置に配置されることが望ましい。後述する再生音を除去する処理において、音再生部２０から第１の音取得部１０までのインパルス応答の逆特性が利用されるためである。一例として、スピーカ２１は、ユーザの両耳付近で音を再生するヘッドホン又はイヤホンとして構成される。

（３）記憶部３０
記憶部３０は、音再生記録装置１の動作のための各種情報を記憶する機能を有する。記憶部３０は、フラッシュメモリ等の所定の記録媒体に対してデータの記録再生を行う装置として構成される。

（４）制御部４０
制御部４０は、演算処理装置及び制御装置として機能し、各種プログラムに従って音再生記録装置１内の動作全般を制御する。制御部４０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。なお、制御部４０は、使用するプログラム及び演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

＜＜３．技術的特徴＞＞
＜３．１．バイノーラル録音時に再生した再生音への対策＞
（１）概要
音再生記録装置１は、第１の音響信号を音再生部２０に入力して第１の音響信号に基づく音（即ち、再生音）を音再生部２０により再生すると共に、第１の音取得部１０により取得された音を示す第２の音響信号を記録する処理を制御する。第１の音響信号とは、音再生部２０（より正確には、ＤＡＣ２３）に入力されるデジタル信号である。第２の音響信号とは、第１の音取得部１０（より正確には、ＡＤＣ１３）から出力されるデジタル信号である。即ち、第２の音響信号は、バイノーラル録音された音のデータである。

音再生記録装置１は、第２の音響信号を記憶部３０に記憶する。さらに、音再生記録装置１は、第２の音響信号を記録する処理において、第１の音響信号に関する処理を行う。第１の音響信号に関する処理としては、第１の処理又は第２の処理が実行される。これらの処理の詳細について、以下に詳しく説明する。

（２）第１の処理
（２．１）第１の音響信号の記録
音再生記録装置１は、第１の音響信号をさらに記録する。詳しくは、音再生記録装置１は、第２の音響信号が記録される区間において、音再生部２０に入力される第１の音響信号を、第２の音響信号と共に記憶部３０に記憶する。

（２．２）第１の音響信号に基づく再生音の除去
音再生記録装置１は、記録された第２の音響信号から、第１の音響信号に基づく音（即ち、再生音）に対応する成分を、記録した第１の音響信号に基づいて除去する。詳しくは、音再生記録装置１は、音再生部２０から第１の音取得部１０までのインパルス応答の逆特性をＦＩＲ（Finite Impulse Response）フィルタの係数として、記録した第１の音響信号に畳み込む。そして、音再生記録装置１は、ＦＩＲフィルタ係数を畳み込んだ第１の音響信号を、第２の音響信号から減算する。これにより、第２の音響信号から再生音に対応する成分を除去することができる。

音再生記録装置１は、再生音に対応する成分を除去した第２の音響信号を音再生部２０に入力して音を再生してもよい。再生される音は、再現対象外である再生音は含まれない。よって、再現対象の音のみを再現することが可能となる。

（２．３）効果
第１の処理によれば、再現対象外である再生音が鳴っている空間においてバイノーラル録音した場合に、再現対象の音のみを再現することが可能となる。よって、バイノーラル録音中に、メトロノームをモニターしたり、他者の演奏音を再生したり、通知音が鳴った場合であっても、再生時には、これらの再生音を除去した、再現対象の音のみを再現することができる。

また、第１の処理によれば、第１の音響信号と第２の音響信号とが別々に記録されるので、第１の音響信号を除去する度合いを再生時に調整することが可能となる。例えば、再生音に対応する成分を一部残しながら第２の音響信号から除去することで、再現対象の音と共に、再生音を薄く再生することも可能となる。

（３）第２の処理
（３．１）メタ情報の記録
音再生記録装置１は、第１の音響信号の特徴を示すメタ情報（第１のメタ情報に相当）をさらに記録する。詳しくは、音再生記録装置１は、第２の音響信号が記録される区間において、音再生部２０に入力される第１の音響信号の特徴を示すメタ情報を、第２の音響信号と共に記憶部３０に記憶する。メタ情報を説明するための前提として、第３の音響信号についてまず説明する。

第１の音響信号は、第３の音響信号を少なくとも一部の区間に含んでいてもよい。第３の音響信号は、第１の音響信号の少なくとも一部の区間の音響信号である。第１の音響信号は、複数の異なる区間の各々に、第３の音響信号を含んでいてもよい。第１の音響信号及び第３の音響信号の一例を、図２を参照しながら説明する。

図２は、本実施形態に係る第１及び第３の音響信号の波形の一例を説明するための図である。図２に示すグラフ５０の横軸は時間であり、縦軸は振幅である。区間５１の波形は、第１の音響信号の波形である。他方、区間５３の波形は、第３の音響信号の波形である。例えば、メトロノームのひとつひとつの音が第３の音響信号に対応し、繰り返し鳴る複数のメトロノームの音全体が第１の音響信号に対応する。

メタ情報は、第３の音響信号、又は第３の音響信号を識別するための識別情報を含んでいてもよい。第３の音響信号を識別するための識別情報の一例は、第３の音響信号を示すＩＤである。第３の音響信号を識別するための識別情報の他の一例は、第３の音響信号が記憶部３０に記憶されている場合、記憶部３０における第３の音響信号のメモリ位置を示す情報である。

メタ情報は、第１の音響信号において第３の音響信号が含まれる区間を示す情報を含んでいてもよい。第３の音響信号が含まれる区間を示す情報の一例は、第３の音響信号に基づく音の再生時刻、及び再生終了時刻である。なお、第３の音響信号に基づく音の再生時刻及び再生終了時刻は、第３の音響信号の音再生部２０への入力開始時刻及び入力終了時刻とも換言される。第３の音響信号が含まれる区間を示す情報の他の一例は、第３の音響信号の再生速度を示す情報である。再生速度を示す情報としては、早送りなどのトリックプレイの内容を示す情報、及びメトロノームのテンポを示す情報等が挙げられる。

（３．２）メタ情報に基づく再生音の除去
音再生記録装置１は、記録された第２の音響信号から、第１の音響信号に基づく音（即ち、再生音）に対応する成分を、メタ情報に基づいて除去する。詳しくは、音再生記録装置１は、第１の音響信号を、メタ情報に含まれる、第３の音響信号又は第３の音響信号を識別するための識別情報、及び第１の音響信号において第３の音響信号が含まれる区間を示す情報に基づいて再現する。次に、音再生記録装置１は、音再生部２０から第１の音取得部１０までのインパルス応答の逆特性をＦＩＲフィルタの係数として、再現した第１の音響信号に畳み込む。そして、音再生記録装置１は、ＦＩＲフィルタ係数を畳み込んだ第１の音響信号を、第２の音響信号から減算する。これにより、第２の音響信号から再生音に対応する成分を除去することができる。

（３．３）効果
第２の処理によれば、第１の処理と同様の効果が奏される。

さらに、メタ情報は、第１の音響信号よりも典型的にはデータ量が少ない。従って、第２の処理は、上述した第１の処理と比較して少ない記憶量で、第１の処理と同様の効果を奏することができる。

（４）音再生部２０の設定情報を用いる処理
音再生部２０の設定情報を用いる処理は、上述した第１の処理、又は第２の処理において実行される処理である。

（４．１）設定情報の記録
音再生記録装置１は、音再生部２０に適用される設定を示す設定情報をさらに記録してもよい。詳しくは、音再生記録装置１は、第２の音響信号が記録される区間において、音再生部２０に適用される設定を示す設定情報を、第２の音響信号と共に、記憶部３０に記憶する。なお、第１の処理に関しては、音再生記録装置１は、設定情報を、第１の音響信号及び第２の音響信号と共に記録する。他方、第２の処理に関しては、音再生記録装置１は、設定情報を、メタ情報及び第２の音響信号と共に記録する。音再生部２０に適用される設定の一例は、アンプゲイン値、及びイコライザの設定等の、エフェクトの設定である。第２の音響信号が記録される区間において、音再生部２０に適用される設定が変化する場合、設定情報は、変化前後の設定、及び変化時刻を示す情報を含む。

（４．２）設定情報に基づく再生音の除去
音再生記録装置１は、記録された前記第２の音響信号から、第１の音響信号に基づく音（即ち、再生音）に対応する成分を、設定情報に基づいて除去する。詳しくは、第１の処理において記録された、又は第２の処理において再現された第１の音響信号に、設定情報により示されるエフェクトの効果を適用した上で、ＦＩＲフィルタの係数を畳み込む。そして、音再生記録装置１は、ＦＩＲフィルタ係数を畳み込んだ第１の音響信号を、第２の音響信号から減算する。これにより、バイノーラル録音時の音再生部２０の設定を加味して、第２の音響信号から再生音に対応する成分を除去することができる。

（５）処理の流れ
（５．１）第１の処理
図３は、本実施形態に係る音再生記録装置１により実行される第１の音響信号の記録処理の流れの一例を示すフローチャートである。図３に示すように、まず、音再生記録装置１は、第１の音響信号及び第２の音響信号の記録を開始する（ステップＳ１０２）。次いで、音再生記録装置１は、録音を終了するか否かを判定する（ステップＳ１０４）。

録音を終了しないと判定した場合（ステップＳ１０４：ＮＯ）、音再生記録装置１は、音再生部２０の設定が変化したか否かを判定する（ステップＳ１０６）。音再生部２０の設定が変化したと判定した場合（ステップＳ１０６：ＹＥＳ）、音再生記録装置１は、変化後の設定、及び変化した時刻を、設定情報として記録する（ステップＳ１０８）。その後、処理はステップＳ１０４に戻る。音再生部２０の設定が変化していないと判定された場合（ステップＳ１０６：ＮＯ）もまた、処理はステップＳ１０４に戻る。

一方で、録音を終了すると判定した場合（ステップＳ１０４：ＹＥＳ）、音再生記録装置１は、終了処理を行う（ステップＳ１１０）。終了処理は、第１の音響信号及び第２の音響信号の記録を終了すること、及び記録した各信号を所定のフォーマットに従ったファイルに書き出すことを含む。

図４は、本実施形態に係る音再生記録装置１により実行される、記録された第１の音響信号に基づく再生音の除去処理の流れの一例を示すフローチャートである。図４に示すように、まず、音再生記録装置１は、記録された第１の音響信号及び第２の音響信号の各々を、再生バッファ分読み込む（ステップＳ２０２）。

次いで、音再生記録装置１は、音再生部２０から第１の音取得部１０までのインパルス応答の逆特性をＦＩＲフィルタの係数として、読み込まれた第１の音響信号に畳み込む（ステップＳ２０４）。次に、音再生記録装置１は、ＦＩＲフィルタ係数を畳み込んだ第１の音響信号を、読み込まれた第２の音響信号から減算する（ステップＳ２０６）。次いで、音再生記録装置１は、第１の音響信号を減算済みの第２の音響信号を再生バッファに書き込む（ステップＳ２０８）。そして、音再生記録装置１は、再生バッファに書き込まれた信号を音再生部２０に入力して、再現対象の音を再生する（ステップＳ２１０）。

次に、音再生記録装置１は、再生を終了するか否かを判定する（ステップＳ２１２）。再生を終了しないと判定された場合（ステップＳ２１２：ＮＯ）、処理はステップＳ２０２に戻る。再生を終了すると判定された場合（ステップＳ２１２：ＹＥＳ）、処理は終了する。

（５．２）第２の処理
図５は、本実施形態に係る音再生記録装置１により実行されるメタ情報の記録処理の流れの一例を示すフローチャートである。図５に示すように、まず、音再生記録装置１は、第２の音響信号の記録を開始する（ステップＳ３０２）。次いで、音再生記録装置１は、録音を終了するか否かを判定する（ステップＳ３０４）。

録音を終了しないと判定した場合（ステップＳ３０４：ＮＯ）、音再生記録装置１は、再生音が再生されたか否かを判定する（ステップＳ３０６）。再生音が再生されたと判定した場合（ステップＳ３０６：ＹＥＳ）、音再生記録装置１は、再生音又は再生音の識別情報、及び再生音の再生時刻等のメタ情報、並びに再生音再生時の音再生部２０の設定を示す設定情報を記録する（ステップＳ３０８）。その後、処理はステップＳ３０４に戻る。再生音が再生されていないと判定された場合（ステップＳ３０６：ＮＯ）もまた、処理はステップＳ３０４に戻る。

一方で、録音を終了すると判定した場合（ステップＳ３０４：ＹＥＳ）、音再生記録装置１は、終了処理を行う（ステップＳ３１０）。終了処理は、第２の音響信号の記録を終了すること、及び記録した信号を所定のフォーマットに従ったファイルに書き出すことを含む。

図６は、本実施形態に係る音再生記録装置１により実行される、記録されたメタ情報に基づく再生音の除去処理の流れの一例を示すフローチャートである。図６に示すように、まず、音再生記録装置１は、記録された第２の音響信号を、再生バッファ分読み込む（ステップＳ４０２）。

次に、音再生記録装置１は、メタ情報を参照して、再生音の再生時刻に達したか否かを判定する（ステップＳ４０４）。再生音の再生時刻に達したと判定された場合（ステップＳ４０４：ＹＥＳ）、音再生記録装置１は、メタ情報により示される第３の音響信号を読み込む（ステップＳ４０６）。そして、音再生記録装置１は、読み込んだ第３の音響信号にＦＩＲフィルタ処理を適用し、第２の音響信号から減算する（ステップＳ４０８）。ここでの処理は、上述したステップＳ２０４及びＳ２０６と同様である。次いで、音再生記録装置１は、第３の音響信号を減算済みの第２の音響信号を再生バッファに書き込む（ステップＳ４１０）。その後、処理はステップＳ４１４に進む。再生音の再生時刻に達していないと判定された場合（ステップＳ４０４：ＮＯ）、音再生記録装置１は、読み込んだ第２の音響信号を再生バッファに書き込む（ステップＳ４１２）。その後、処理はステップＳ４１４に進む。

ステップＳ４１４において、音再生記録装置１は、再生バッファに書き込まれた信号を音再生部２０に入力して、再現対象の音を再生する（ステップＳ４１２）。次に、音再生記録装置１は、再生を終了するか否かを判定する（ステップＳ４１６）。再生を終了しないと判定された場合（ステップＳ４１６：ＮＯ）、処理はステップＳ４０２に戻る。再生を終了すると判定された場合（ステップＳ４１６：ＹＥＳ）、処理は終了する。

＜３．２．バイノーラル録音時に発生した外部音への対策＞
音再生記録装置１は、バイノーラル録音時に再生した再生音への対策と同様の処理を、バイノーラル録音時に発生した外部音への対策として実行することができる。

（１）概要
音再生記録装置１は、第１の音取得部１０により取得された音を示す第２の音響信号を記録する処理において、外部音源から発生した外部音を示す第４の音響信号に関する処理を行う。第４の音響信号とは、第２の音取得部１０（より正確には、ＡＤＣ１３）から出力されるデジタル信号である。即ち、第４の音響信号は、外部音のデータである。かかる処理により、第２の音響信号から外部音に対応する成分を除去して再生することが可能となる。具体的な処理内容について、以下に詳しく説明する。

（２）第３の処理
音再生記録装置１は、上述した第１の処理と同様にして、第４の音響信号を記録し、第４の音響信号に基づいて外部音を除去してもよい。かかる構成により、外部音に関し、第１の処理と同様の効果が奏される。

（３）第４の処理
音再生記録装置１は、上述した第２の処理と同様にして、第４の音響信号のメタ情報（第２のメタ情報に相当）を記録し、メタ情報に基づいて外部音を除去してもよい。メタ情報は、外部音の特徴を示す情報であるとも捉えられる。かかる構成により、外部音に関し、第２の処理と同様の効果が奏される。以下、第４の処理に関し詳しく説明する。

（３．１）メタ情報の記録
音再生記録装置１は、第２の音響信号が記録される区間において、外部音の特徴を示すメタ情報をさらに記録する。詳しくは、音再生記録装置１は、第２の音響信号が記録される区間において発生した外部音の特徴を示すメタ情報を、第２の音響信号と共に記憶部３０に記憶する。

メタ情報は、第２の音響信号が記録される区間において、外部音が発生した区間を示す情報を含んでいてもよい。外部音が発生した区間を示す情報の一例は、外部音の発生時刻、及び終了時刻である。

音再生記録装置１は、第４の音響信号に基づいて、外部音が発生した区間を推定する。例えば、音再生記録装置１は、第４の音響信号に、予め設定した外部音源の存在範囲内の位置から発生した音の成分が含まれる期間を、外部音が発生した区間として推定する。外部音源の存在範囲は、第２の音取得部１０の位置を基準とする、相対的な方向及び距離のいずれか一方の範囲として設定される。音再生記録装置１は、バイノーラルキューを用いて、第４の音響信号に含まれる音の音源位置を推定する。バイノーラルキューは、チャネル間のレベル差、時間差及び相関等に基づいて、音源の方向及び距離を推定する技術である。例えば、音再生記録装置１は、音取得部１０Ｃにより取得された音と音取得部１０Ｄにより取得された音との間のレベル差、時間差及び相関に基づいて、第４の音響信号に含まれる音の音源位置を推定する。そして、音再生記録装置１は、推定した音源位置が予め設定された外部音源の存在範囲に含まれる区間を、外部音が発生した区間として推定する。

メタ情報は、外部音を識別するための識別情報を含んでいてもよい。外部音を識別するための識別情報は、外部音源の識別情報であってもよい。メタ情報は、外部音の音圧を示す情報等の、その他の特徴を示す情報を含んでいてもよい。

（３．２）メタ情報に基づく外部音の除去
音再生記録装置１は、記録された前記第２の音響信号から、外部音に対応する成分を、メタ情報に基づいて除去する。詳しくは、音再生記録装置１は、第４の音響信号を、メタ情報に含まれる、外部音の識別情報、外部音の音圧、及び外部音が発生した区間を示す情報に基づいて再現する。そして、音再生記録装置１は、外部音源から第１の音取得部１０までのインパルス応答の逆特性をＦＩＲフィルタの係数として、再現した第４の音響信号に畳み込む。そして、音再生記録装置１は、ＦＩＲフィルタ係数を畳み込んだ第４の音響信号を、第２の音響信号から減算する。これにより、第２の音響信号から外部音に対応する成分を除去することができる。

音再生記録装置１は、外部音に対応する成分を除去した第２の音響信号を音再生部２０に入力して音を再生してもよい。再生される音は、再現対象外である外部音は含まれない。よって、再現対象の音のみを再現することが可能となる。

＜＜４．補足＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、再生音及び外部音の除去処理が、第２の音響信号の記録時ではなく再生時に実行される例を説明したが、本発明はかかる例に限定されない。再生音及び外部音の除去処理は、第２の音響信号の記録時に実行されてもよい。即ち、音再生記録装置１は、第の音取得部１０により取得された第２の音響信号から、再生音及び外部音の成分を除去した音響信号を、記録してもよい。

例えば、上記実施形態では、音取得部１０Ａ及び音取得部１０Ｂが、ユーザの両耳の鼓膜付近の音を取得するものと説明したが、本発明はかかる例に限定されない。音取得部１０Ａ及び音取得部１０Ｂは、ユーザの両耳付近の音を取得する任意の構成を取り得る。例えば、音取得部１０Ａ及び音取得部１０Ｂは、ユーザの両耳の外耳道入り口より外側に配置され、ユーザの両耳の外耳付近の音を取得してもよい。

例えば、上記実施形態では、第１の音取得部１０と第２の音取得部１０とが別々に設けられるものと説明したが、本発明はかかる例に限定されない。第１の音取得部１０及び第２の音取得部１０は、同一であってもよい。

例えば、上記実施形態では、音再生部２０が音出力装置である例を説明したが、本発明はかかる例に限定されない。例えば、振動に起因する音が再生音であってもよく、その場合、音再生部２０は振動出力装置である。その場合、メタ情報は、振動のパターン（波形）を示す情報、及び振動が出力される区間を示す情報等を含み得る。また、設定情報は、振動の強度を示す情報を含み得る。

また、バイノーラル録音時に再生した再生音への対策、及びバイノーラル録音時に発生した外部音への対策は、組み合わせて実行されてもよい。

なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

１音再生記録装置
１０音取得部
１１マイク
１２マイクアンプ
１３ＡＤＣ
２０音再生部
２１スピーカ
２２アンプ
２３ＤＡＣ
３０記憶部
４０制御部

Claims

ユーザに対し音を再生する音再生部と、
前記ユーザの両耳付近の音を取得する音取得部と、
第１の音響信号を前記音再生部に入力して前記第１の音響信号に基づく音を前記音再生部により再生すると共に、前記音取得部により取得された音を示す第２の音響信号を記録する処理を制御する制御部と、
を備え、
前記制御部は、
前記第１の音響信号の特徴を示す第１のメタ情報をさらに記録し、
記録された前記第２の音響信号から、前記第１の音響信号に基づく音に対応する成分を、前記第１のメタ情報に基づいて除去する、
音再生記録装置。
前記第１の音響信号は、第３の音響信号を少なくとも一部の区間に含み、
前記第１のメタ情報は、前記第３の音響信号、又は前記第３の音響信号を識別するための識別情報を含む、請求項１に記載の音再生記録装置。
前記第１の音響信号は、第３の音響信号を少なくとも一部の区間に含み、
前記第１のメタ情報は、前記第１の音響信号において前記第３の音響信号が含まれる区間を示す情報を含む、請求項１又は２に記載の音再生記録装置。
前記制御部は、前記第１の音響信号をさらに記録する、請求項１に記載の音再生記録装置。
前記制御部は、記録された前記第２の音響信号から、前記第１の音響信号に基づく音に対応する成分を、記録した前記第１の音響信号に基づいて除去する、請求項４に記載の音再生記録装置。
前記制御部は、前記音再生部に適用される設定を示す設定情報をさらに記録する、請求項１～５のいずれか一項に記載の音再生記録装置。
前記制御部は、記録された前記第２の音響信号から、前記第１の音響信号に基づく音に対応する成分を、前記設定情報に基づいて除去する、請求項６に記載の音再生記録装置。
前記制御部は、前記第２の音響信号が記録される区間において、前記音再生部以外の音源から発生した音の特徴を示す第２のメタ情報をさらに記録する、請求項１～７のいずれか一項に記載の音再生記録装置。
前記第２のメタ情報は、前記第２の音響信号が記録される区間において、前記音再生部以外の音源から音が発生した区間を示す情報を含む、請求項８に記載の音再生記録装置。
前記制御部は、記録された前記第２の音響信号から、前記音再生部以外の音源から発生した音に対応する成分を、前記第２のメタ情報に基づいて除去する、請求項８又は９に記載の音再生記録装置。
前記音再生部以外の音源から発生した音は、前記ユーザの話声である、請求項８～１０のいずれか一項に記載の音再生記録装置。
コンピュータを、
第１の音響信号をユーザに対し音を再生する音再生部に入力して前記第１の音響信号に基づく音を前記音再生部により再生すると共に、ユーザの両耳付近の音を取得する音取得部により取得された音を示す第２の音響信号を記録する処理を制御する制御部、
として機能させ、
前記制御部は、
前記第１の音響信号の特徴を示す第１のメタ情報をさらに記録し、
記録された前記第２の音響信号から、前記第１の音響信号に基づく音に対応する成分を、前記第１のメタ情報に基づいて除去する、
プログラム。