JP7028613B2 - オーディオプロセッサおよびオーディオ再生装置 - Google Patents

Description

本発明は、オーディオ再生に関する。

多くのオーディオプレイヤーはイコライザの機能を搭載し、ユーザの好みに応じて、オーディオ信号の周波数特性をマニュアルで調節可能となっている。また、楽曲のジャンルに応じて、周波数特性を自動設定する技術が提案されている。

また特許文献１には、複数のイコライザ設定（周波数特性）を用意しておき、あるジャンルについて、各イコライザ設定の再生時間を保持しておき、再生時間が長いイコライザ設定がユーザの嗜好に適合しているものと推定する技術が開示される。

特開２００８－１４６７０２号公報 特開２０１６－１５７０８４号公報

すなわち、従来技術は、複数のイコライザ設定からユーザの嗜好およびジャンルやアーティストに適合したひとつを選択するものである。予め用意されたイコライザ設定（プリセット）のなかに真にユーザの嗜好に適合したものが存在することは保証されていない。

また従来技術では、イコライザの設定を、楽曲毎に最適化するものであり、ジャンルを問わないイコライザ設定を生成することはできない。

本発明は係る状況に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、従来とは異なる自動イコライジング技術の提供にある。

本発明のある態様はオーディオプロセッサに関する。オーディオプロセッサは、マルチバンドイコライザと、再生中のオーディオ信号を複数の帯域に分割し、各帯域に含まれる信号にもとづいて、マルチバンドイコライザの周波数特性を動的に設定するコントローラと、を備える。

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

さらに、この項目（課題を解決するための手段）の記載は、本発明の欠くべからざるすべての特徴を説明するものではなく、したがって、記載されるこれらの特徴のサブコンビネーションも、本発明たり得る。

本発明によれば、従来よりも柔軟にユーザの嗜好に適合したイコライザの設定が可能となる。

実施の形態に係るオーディオ再生装置のブロック図である。 オーディオプロセッサのブロック図である。 図２のオーディオプロセッサの動作の一例を説明する図である。 図２のオーディオプロセッサの動作の別の一例を説明する図である。 一実施例に係るコントローラのブロック図である。 うなりを説明する図である。 変形例１に係るゲイン生成部のブロック図である。 変形例４に係るオーディオプロセッサのブロック図である。

（実施の形態の概要）
本明細書に開示される一実施の形態は、オーディオプロセッサに関する。オーディオプロセッサは、マルチバンドイコライザと、再生中のオーディオ信号を複数の帯域に分割し、各帯域に含まれる信号にもとづいて、マルチバンドイコライザの周波数特性を動的に設定するコントローラと、を備える。

たとえば低域が多く含まれる楽曲が長く再生されると、そのユーザは低域の強い再生を好むものと推定できるため、コントローラは、イコライザの低音のゲインを増大してもよい。このオーディオプロセッサによれば、複数のプリセットの中から選択するのではなく、新たなイコライザ設定を自動生成することができるため、従来よりもユーザの嗜好に合わせたオーディオ再生が可能となる。

複数の帯域の数と、マルチバンドイコライザのバンド数は等しくてもよい。

コントローラは、ニューラルネットワークのアルゴリズムにもとづいてマルチバンドイコライザの複数のバンドのゲインを生成してもよい。

ニューラルネットワークの中間層（隠れ層）は、複数の帯域の２つにより生成されるうねりの周波数に対応するユニットを含んでもよい。

ニューラルネットワークの中間層のユニットには、再生中のオーディオ信号に関する情報（プロパティ）が供給されてもよい。この情報は、再生時間、評価値、ジャンルなどを含んでもよい。

マルチバンドイコライザの各バンドのゲインは時間に対して減衰特性を有してもよい。これによりある帯域のゲインが上がりすぎたり、下がりすぎるといった過制御を防止できる。

（実施の形態）
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

本明細書において、「部材Ａが、部材Ｂと接続された状態」とは、部材Ａと部材Ｂが物理的に直接的に接続される場合のほか、部材Ａと部材Ｂが、電気的な接続状態に本質的な影響を及ぼさず、あるいは機能を阻害しない他の部材を介して間接的に接続される場合も含む。

同様に、「部材Ｃが、部材Ａと部材Ｂの間に設けられた状態」とは、部材Ａと部材Ｃ、あるいは部材Ｂと部材Ｃが直接的に接続される場合のほか、電気的な接続状態に本質的な影響を及ぼさず、あるいは機能を阻害しない他の部材を介して間接的に接続される場合も含む。

図１は、実施の形態に係るオーディオ再生装置１００のブロック図である。オーディオ再生装置１００は、テレビ、ポータブルオーディオプレイヤ、スマートフォンやタブレットコンピュータなどの電子機器に搭載される。

オーディオ再生装置１００は、音源１０２、オーディオＩＣ（Integrated Circuit）２００、パワーアンプ１０４、電気音響変換素子１０６を備える。図１では１チャンネルのモノラルで示すがその限りでなく、ステレオ、あるいはマルチチャンネルのオーディオシステムにも本発明は適用可能である。

音源１０２は、デジタルオーディオ信号Ｓ１を生成する。オーディオＩＣ２００はデジタルオーディオ信号Ｓ１にさまざまな信号処理を施し、アナログオーディオ信号Ｓ２に変換して出力する。パワーアンプ１０４は、アナログオーディオ信号Ｓ２を増幅し、スピーカやヘッドホンである電気音響変換素子１０６を駆動する。

オーディオＩＣ２００は、インタフェース回路２１０、オーディオプロセッサ３００、Ｄ／Ａコンバータ２２０、ボリューム回路２３０を備える。インタフェース回路２１０は、デジタルオーディオ信号Ｓ１を受信する。オーディオプロセッサ３００は、インタフェース回路２１０が受信したデジタルオーディオ信号Ｓ３にさまざまな信号処理を施す。オーディオプロセッサ３００は、デジタルイコライザ３１０を含み、デジタルオーディオ信号の周波数特性を調節する。そのほかオーディオプロセッサ３００は、ラウドネス回路、トーンコントロール回路、デジタルボリューム回路、ステレオ－モノラル変換回路などを含んでもよい。

Ｄ／Ａコンバータ２２０は、オーディオプロセッサ３００による信号処理を経たオーディオ信号Ｓ４をアナログオーディオ信号Ｓ５に変換する。ボリューム回路２３０は、ユーザが設定したボリューム値に応じたゲインでアナログオーディオ信号Ｓ５を増幅し、オーディオ信号Ｓ２を出力する。

以上がオーディオ再生装置１００の全体構成である。続いてオーディオプロセッサ３００について詳細に説明する。

図２は、オーディオプロセッサ３００のブロック図である。図２には、イコライザ（図１のイコライザ回路３１０）に関連するブロックのみが示される。オーディオプロセッサ３００は、マルチバンドイコライザ３２０およびコントローラ３３０を備える。

マルチバンドイコライザ３２０は、周波数特性が可変に構成されたデジタルフィルタであり、デジタルオーディオ信号Ｓ３をイコライジングする。フィルタはＩＩＲ（Infinite Impulse Response）であるとＦＩＲ（Finite Impulse Response）であるとを問わない。マルチバンドイコライザ３２０のバンド数Ｎは特に限定されず、Ｎ＝３，５，１０，１３，３１等をとることができる。

コントローラ３３０は、オーディオプロセッサ３００におけるオーディオ再生中に、動的、適応的にマルチバンドイコライザ３２０の周波数特性を変化させる。

より具体的にはコントローラ３３０は、マルチバンドイコライザ３２０に供給される再生中のオーディオ信号Ｓ３を複数の帯域ｆ_１～ｆ_Ｍに分割し、各帯域ｆ_１～ｆ_Ｍに含まれる信号にもとづいて、マルチバンドイコライザ３２０の周波数特性を動的に設定する。

コントローラ３３０における帯域の分割数Ｍは、マルチバンドイコライザ３２０のバンド数Ｎと同じであってもよいし、異なっていてもよい。

コントローラ３３０は、バンドパスフィルタ３３２およびゲイン生成部３４０を含む。バンドパスフィルタ３３２は、オーディオ信号Ｓ３を複数の帯域ｆ_ｉｎ１～ｆ_ｉｎＭに分割する。

ゲイン生成部３４０は、複数の帯域ｆ_ｉｎ１～ｆ_ｉｎＭに含まれる成分にもとづいてマルチバンドイコライザ３２０の複数のバンドｆ_ｏｕｔ１～ｆ_ｏｕｔＮのゲインｇ_１～ｇ_Ｎを生成する。

説明の簡潔化のため、Ｍ＝Ｎとする。以下、ゲインの生成について説明する。

たとえばゲイン生成部３４０は、ある程度長い期間の再生の結果、ある帯域ｆ_ｉｎｊ（１≦ｊ≦Ｍ）に含まれる成分（同じく符号ｆ_ｉｎｊを付す）が大きい傾向が見いだされると、それに対応するマルチバンドイコライザ３２０のバンドのゲインｇ_ｊを増大させる。

あるバンドのゲインは、対応する帯域の信号を３分以上、あるいは５分以上、１０分以上、あるいは２０分以上にわたり測定した結果にもとづいて更新される。この点において、数ｍｓの時定数で動作するＡＧＣ回路におけるアタック、リカバリー動作とは明確に異なる。各バンドパスフィルタ３３２の後段には、各帯域の波形を平滑化あるいは積分するローパスフィルタあるいは積分器を設けてもよい。ローパスフィルタや積分器の時定数は、ゲインの更新周期を考慮して設計すればよい。

一例として、ユーザがロックなどの低音あるいは重低音を多く含む楽曲（トラック）を頻繁に再生すると、低音あるいは重低音の帯域のゲインが増大していく。

以上がオーディオプロセッサ３００の構成である。続いてその動作を説明する。図３は、図２のオーディオプロセッサ３００の動作の一例を説明する図である。ここでは簡単のために、３バンドのイコライジング（Ｍ＝Ｎ＝３）について説明する。ｆ_ｉｎ１～ｆ_ｉｎ３はオーディオ信号Ｓ３に含まれる各帯域の波形を示しており、ｆ_ｉｎ１はバス、ｆ_ｉｎ２はミッド、ｆ_ｉｎ３はトレブルに対応する。ｆ_ｉｎ１～ｆ_ｉｎ３は、各帯域の成分を数秒程度の時定数を有する移動平均フィルタで平滑化した波形であってもよい。

初期状態では、すべてのバンドのゲインｇ_１～ｇ_３は等しいものとする。いくつものトラックが再生される過程において、オーディオ信号Ｓ３には、バス帯域ｆ_ｉｎ１に相対的に大きな信号成分が含まれている。したがってマルチバンドイコライザ３２０のバスバンドのゲインｇ_３が時間とともに増大していく。

またオーディオ信号Ｓ３には、ミッド帯域ｆ_ｉｎ２の信号成分は相対的に小さい傾向があり、したがってマルチバンドイコライザ３２０のミッドバンドのゲインｇ_２が時間とともに低下していく。

またオーディオ信号Ｓ３には、トレブル帯域ｆ_ｉｎ３の信号成分は中間的な大きさであり、したがってマルチバンドイコライザ３２０のトレブルバンドのゲインｇ_３は、初期値からほとんど変化しない。

図４は、図２のオーディオプロセッサ３００の動作の別の一例を説明する図である。図４では、数分～数時間の時間間隔でゲインが更新される。あるいはゲインをトラックとトラックの間の無音部分において更新してもよい。

以上がオーディオプロセッサ３００の動作の一例である。本実施の形態におけるイコライジングは、従来のそれとは大きく異なる。

すなわち従来技術では、イコライザの設定を複数のプリセットから選択するものであった。したがって従来では複数のプリセットの中にユーザの好みに合ったものが存在しない場合もあり得た。これに対して本実施の形態によれば、複数のプリセットからの選択ではなく、そのユーザに適したイコライザ設定を新たに生成することができる。

また従来技術では、これから再生しようとするトラックのジャンル、そのトラックの過去の再生時間や再生回数、評価などにもとづいてイコライザを設定した。これに対して本実施の形態では、これから再生しようとするトラックではななく、過去に再生したトラックの情報にもとづいて、マルチバンドイコライザ３２０の周波数特性を生成する。

続いてコントローラ３３０の具体的な構成例を説明する。

図５は、一実施例に係るコントローラ３３０のブロック図である。コントローラ３３０は、ニューラルネットワークのアルゴリズムにもとづいて、マルチバンドイコライザ３２０の複数のバンドのゲインを生成する。ゲイン生成部３４０は、入力層３４２および出力層３４６を含む。入力層３４２は、３つの帯域ｆ_ｉｎ１～ｆ_ｉｎ３に対応する３個のユニット（出力ユニット）ｆ１ｉｎ～ｆ３ｉｎを含む。各入力ユニットは、対応する帯域の成分が所定の条件を満たすと発火する（たとえば値１を出力）。

入力層３４２のユニットｆ１ｉｎ～ｆ３ｉｎの出力は、対応する出力層３４６のユニット（出力ユニット）ｆ１ｏｕｔ～ｆ３ｏｕｔに入力される。出力ユニットｆ＃ｏｕｔは、複数の入力の状態にもとづいて、対応するゲインｇ_＃を生成する（＃＝１，２，・・）。一般的には、各ユニットにおいて、複数の入力Ｘ_１，Ｘ_２…に統合荷重Ｗ_１，Ｗ_２…を乗算し、それらを加算したネット値ｕ＝ΣＸ_ｉＷ_ｉが生成される。そしてネット値ｕを微分可能な関数ｆ（ｕ）に入力することで出力を得る。各ユニットの統合荷重は、学習によって決定することができる。

コントローラ３３０は、中間層（隠れ層）３４４をさらに含むことができる。コントローラ３３０は、うなり（ビート）による擬似的な音を考慮して、ゲインを生成してもよい。図６は、うなりを説明する図である。縦軸は人間の脳が音を知覚する感度（利得）を表す。１００Ｈｚと１５０Ｈｚは、同時に再生される２つのトーンを示す。人間の脳は、２つのトーンを同時に聴いたとき、それらに加えて、実際には再生されていないそれらの和周波２５０Ｈｚと差周波５０Ｈｚのトーンを知覚する。特に差周波に相当するトーンを最も強く知覚する。

図５に戻る。中間層３４４のユニット（中間ユニット）ｆ４は、２つの周波数ｆ_ｉｎ１、ｆ_ｉｎ２の差周波ｆ_４に対応付けられ、２つの周波数成分が所定の条件を満たすと発火する。中間ユニットＵＨ１の出力は、出力ユニットｆ３ｏｕｔに供給される。ｆ５は、２つの周波数ｆ_ｉｎ２、ｆ_ｉｎ３の差周波ｆ_５に対応付けられ、その出力は、出力ユニットｆ１ｏｕｔに供給される。

中間層においてうねりの周波数を考慮することで、人間の脳の特性を考慮したゲイン設定が可能となる。

以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

（変形例１）
図７は、変形例１に係るゲイン生成部３４０Ａのブロック図である。入力層３４２のユニットｆ１ｉｎ～ｆ３ｉｎには、対応する帯域の成分に加えて、再生中のオーディオ信号（トラック）に関する情報Ｓ６を入力してもよい。オーディオ信号に関する情報Ｓ６は、ユーザのそのトラックに対する評価、そのトラックのジャンル、そのトラックの再生回数、そのトラックの総再生時間などを含むことができる。

（変形例２）
ジャンルに応じたプリセットを用意しておき、プリセットをベース（初期値）として、そこから各バンドのゲインを変化させてもよい。

（変形例３）
マルチバンドイコライザ３２０の各バンドのゲインは時間に関して減衰特性を有してもよい。たとえばゲイン生成部３４０は、所定の時間が経過する度に、あるいは１トラックの再生が終了するたびに、ゲインの値を、所定値（たとえば０．１ｄＢ）だけ、初期値に近づける処理を行ってもよい。これにより、ある特定のバンドのゲインが上がりすぎたり、下がりすぎるといった過制御を防止できる。ゲイン生成部３４０をニューラルネットワークで構成する場合、ネットワーク内の各荷重に時間的な減衰特性を持たせてもよい。

（変形例４）
図８は、変形例４に係るオーディオプロセッサ３００Ｂのブロック図である。オーディオプロセッサ３００Ｂにはマイク１０８が接続される。Ａ／Ｄコンバータ３５０は、マイク１０８の出力をデジタル信号に変換する。感情推定部３５２は、Ａ／Ｄコンバータ３５０の出力信号を解析しユーザの感情を推定する。たとえばマイク１０８が取得した音声に、ユーザの鼻歌が含まれる場合、ユーザの感情が高ぶっていると推定される。あるいは、ユーザの声質にもとづいて、ユーザの感情を推定することができる。感情推定部３５２は、感情を数値化し、ゲイン生成部３４０に出力する。たとえば感情の数値は、ニューラルネットワークの入力層に供給してもよい。

（変形例５）
図５では、３層のニューラルネットワークを例示したがその限りでなく、中間層をさらに増やしてもよい。

実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

１００ オーディオ再生装置
１０２ 音源
１０４ パワーアンプ
１０６ 電気音響変換素子
２００ オーディオＩＣ
２１０ インタフェース回路
２２０ Ｄ／Ａコンバータ
２３０ ボリューム回路
３００ オーディオプロセッサ
３１０ イコライザ回路
３２０ マルチバンドイコライザ
３３０ コントローラ
３３２ バンドパスフィルタ
３４０ ゲイン生成部
３４２ 入力層
３４４ 中間層
３４６ 出力層

Claims (9)

1. マルチバンドイコライザと、
   再生中のオーディオ信号を複数の帯域に分割し、各帯域に含まれる信号にもとづいて、前記マルチバンドイコライザの周波数特性を動的に設定するコントローラと、
   を備え、
   前記コントローラは、ニューラルネットワークのアルゴリズムにもとづいて前記マルチバンドイコライザの複数のバンドのゲインを生成し、
   前記ニューラルネットワークの中間層は、前記複数の帯域の２つにより生成されるうねりの周波数に対応するユニットを含むことを特徴とするオーディオプロセッサ。
2. 前記複数の帯域の数と、前記マルチバンドイコライザのバンド数は等しいことを特徴とする請求項１に記載のオーディオプロセッサ。
3. 前記コントローラは、前記オーディオ信号のある帯域に含まれる成分が大きいほど、前記マルチバンドイコライザの対応するバンドのゲインを増加させることを特徴とする請求項１または２に記載のオーディオプロセッサ。
4. 前記ニューラルネットワークの中間層のユニットには、前記再生中のオーディオ信号の情報が供給されることを特徴とする請求項１から３のいずれかに記載のオーディオプロセッサ。
5. マルチバンドイコライザと、
   再生中のオーディオ信号を複数の帯域に分割し、各帯域に含まれる信号にもとづいて、前記マルチバンドイコライザの周波数特性を動的に設定するコントローラと、
   を備え、
   前記コントローラは、ニューラルネットワークのアルゴリズムにもとづいて前記マルチバンドイコライザの複数のバンドのゲインを生成し、
   前記ニューラルネットワークの中間層のユニットには、前記再生中のオーディオ信号の情報が供給されることを特徴とするオーディオプロセッサ。
6. 前記マルチバンドイコライザの各バンドのゲインは減衰特性を有することを特徴とする請求項１から５のいずれかに記載のオーディオプロセッサ。
7. 前記コントローラは、ユーザの状態を測定するマイクからの情報にもとづいて、前記マルチバンドイコライザの周波数特性を設定することを特徴とする請求項１から６のいずれかに記載のオーディオプロセッサ。
8. 前記マイクからの情報は、ユーザの鼻歌、前記ユーザの声質の少なくとも一方を含むことを特徴とする請求項７に記載のオーディオプロセッサ。
9. 請求項１から８のいずれかに記載のオーディオプロセッサを備えることを特徴とするオーディオ再生装置。

Images