JP4306708B2 - オーディオ信号処理装置 - Google Patents

オーディオ信号処理装置 Download PDF

Info

Publication number
JP4306708B2
JP4306708B2 JP2006259162A JP2006259162A JP4306708B2 JP 4306708 B2 JP4306708 B2 JP 4306708B2 JP 2006259162 A JP2006259162 A JP 2006259162A JP 2006259162 A JP2006259162 A JP 2006259162A JP 4306708 B2 JP4306708 B2 JP 4306708B2
Authority
JP
Japan
Prior art keywords
audio signal
period
volume level
content
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006259162A
Other languages
English (en)
Other versions
JP2008076985A (ja
Inventor
栄二 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2006259162A priority Critical patent/JP4306708B2/ja
Priority to US11/903,775 priority patent/US8737629B2/en
Publication of JP2008076985A publication Critical patent/JP2008076985A/ja
Application granted granted Critical
Publication of JP4306708B2 publication Critical patent/JP4306708B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/1752Masking
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/32Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K3/00Jamming of communication; Counter-measures
    • H04K3/40Jamming having variable characteristics
    • H04K3/42Jamming having variable characteristics characterized by the control of the jamming frequency or wavelength
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K3/00Jamming of communication; Counter-measures
    • H04K3/40Jamming having variable characteristics
    • H04K3/43Jamming having variable characteristics characterized by the control of the jamming power, signal-to-noise ratio or geographic coverage area
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K3/00Jamming of communication; Counter-measures
    • H04K3/40Jamming having variable characteristics
    • H04K3/45Jamming having variable characteristics characterized by including monitoring of the target or target signal, e.g. in reactive jammers or follower jammers for example by means of an alternation of jamming phases and monitoring phases, called "look-through mode"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K3/00Jamming of communication; Counter-measures
    • H04K3/80Jamming or countermeasure characterized by its function
    • H04K3/82Jamming or countermeasure characterized by its function related to preventing surveillance, interception or detection
    • H04K3/825Jamming or countermeasure characterized by its function related to preventing surveillance, interception or detection by jamming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K2203/00Jamming of communication; Countermeasures
    • H04K2203/10Jamming or countermeasure used for a particular application
    • H04K2203/12Jamming or countermeasure used for a particular application for acoustic communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、オーディオ信号の処理技術に関する。
ホールや喫茶店などにおいては、たとえば近接したエリアごとに異なった音声コンテンツ(情報や音楽など)を提供する必要性が生じることがある。そのような場合にスピーカをエリアごとに設置すると、それぞれの音声コンテンツが周囲のエリアにまで洩れてしまうという問題が生じる。上記の問題に対し、従来はスピーカの配置やコンテンツの音量レベルを調整したり、エリアの境界に遮音壁を設置したりするなどの対策がとられてきた。
たとえば特許文献1には、パラメトリックスピーカを使って指向性を持った音響空間を形成する音像定位方式と呼ばれる技術が開示されている。また、特許文献2には、周囲のノイズに対して逆位相になるように生成された音を発生させることでノイズを低減させるアクティブノイズコントロールと呼ばれる技術が開示されている。また、特許文献3には、ノイズと音響特性が似た音を発生することによりノイズが低減する、いわゆるマスキング効果を利用して、自動車において車内にまで届くギアのノイズを低減する技術が開示されている。
特開平5−345549号公報 特開平7−319479号公報 特開2005−343401号公報
たとえば特許文献3におけるギアの音については、その音響特性を予め特定しておくことによって、そのノイズをマスクするに好適なマスキングサウンドを予め定めておくことができる。しかしながら、上述したホールや喫茶店などにおいては、エリア毎にユーザの所望に応じた音声コンテンツが再生されるため、マスキングサウンドの特性などを予め定めておくことはできない。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、異なる音声コンテンツを近接したエリアにおいて放音する際に、コンテンツが周囲のエリアに洩れてお互いに影響を及ぼしあうことを抑制する技術を提供することにある。
本発明に係るオーディオ信号処理装置の第1の実施形態は、複数のオーディオ信号を受取る受取手段と、前記受取手段が受取った特定のオーディオ信号を除く他のオーディオ信号の各々について無音となる期間を特定する処理期間特定手段と、前記処理期間特定手段が前記他のオーディオ信号のいずれかについて無音期間と特定した期間において、前記特定のオーディオ信号の音量レベルを下げる音量レベル調整手段と、前記音量レベル調整手段により音量レベルを調整された前記特定のオーディオ信号を出力する出力手段とを備えることを特徴とする。
また本発明に係るオーディオ信号処理装置の第2の実施形態は、複数のオーディオ信号を受取る受取手段と、前記受取手段が受取った特定のオーディオ信号を除く他のオーディオ信号の各々について無音となる期間を特定する処理期間特定手段と、前記処理期間特定手段が前記他のオーディオ信号のいずれかについて無音期間と特定した期間において、前記特定のオーディオ信号の予め定められた周波数帯域成分を除去する処理、または、前記特定のオーディオ信号の周波数特性前記他のオーディオ信号を合成して生成されるオーディオ信号周波数特性に近づける正を行う周波数特性補正手段と、前記周波数特性補正手段により周波数特性を補正された前記特定のオーディオ信号を出力する出力手段とを備えることを特徴とする。
また本発明に係るオーディオ信号処理装置の第3の実施形態は、複数のオーディオ信号を受取る受取手段と、前記受取手段が受取った特定のオーディオ信号について無音となる期間を特定する処理期間特定手段と、前記処理期間特定手段が特定のオーディオ信号について無音期間と特定した期間において、前記特定のオーディオ信号に対して第2のオーディオ信号を生成するオーディオ信号生成手段と、前記特定のオーディオ信号および前記第2のオーディオ信号を重畳して出力する出力手段とを備えることを特徴とする。
また本発明に係るオーディオ信号処理装置の第4の実施形態は、複数のオーディオ信号を受取る受取手段と、前記受取手段が受取った前記複数のオーディオ信号の各々について有音となる期間を特定する処理期間特定手段と、前記処理期間特定手段が前記複数のオーディオ信号の全てついて有音期間と特定した期間において、前記受取手段が受取った特定のオーディオ信号の音量レベルを前記複数のオーディオ信号の音量レベルの平均値へ近づけるように調整する音量レベル調整手段と、前記音量レベル調整手段により音量レベルを調整された前記特定のオーディオ信号を出力する出力手段とを備えることを特徴とする。
また本発明に係るオーディオ信号処理装置の第5の実施形態は、上記第4の実施形態において、前記音量レベル調整手段は、前記受取手段が受取った特定のオーディオ信号の音量レベルを、前記複数のオーディオ信号の各々が出力される出力位置同士の距離と、当該複数のオーディオ信号の音量レベルとに応じて調整することを特徴とする。
また本発明に係るオーディオ信号処理装置の第6の実施形態は、複数のオーディオ信号を受取る受取手段と、前記受取手段が受取った前記複数のオーディオ信号の各々について有音となる期間を特定する処理期間特定手段と、前記処理期間特定手段が、前記複数のオーディオ信号の全てついて有音期間と特定した期間において、予め定められた周波数帯域ごとに前記受取手段が受取った特定のオーディオ信号の音量レベルと当該特定のオーディオ信号を除く他のオーディオ信号を合成して生成されるオーディオ信号の音量レベルとの比を算出する算出手段と、前記算出手段により算出された比に応じて第2のオーディオ信号を生成するオーディオ信号生成手段と、前記特定のオーディオ信号および前記第2のオーディオ信号を重畳して出力する出力手段とを備えることを特徴とする。
また本発明に係るオーディオ信号処理装置の好ましい態様として、上記第3または第6の実施形態において、前記オーディオ信号生成手段は、前記他のオーディオ信号を合成して生成されるオーディオ信号と位相が逆である前記第2のオーディオ信号を生成することを特徴とする。
また本発明に係るオーディオ信号処理装置の好ましい態様として、上記第1ないし第3いずれかに記載の実施形態において、前記処理期間特定手段は、前記受取手段が受取った前記複数のオーディオ信号の音量レベルを検出する音量レベル検出手段と、前記音量レベル検出手段が検出した音量レベルが所定のレベルを所定時間以上継続して下回る期間を無音期間として特定する特定手段を具備することを特徴とする。
また本発明に係るオーディオ信号処理装置の好ましい態様として、上記第4ないし第6いずれかに記載の実施形態において、前記処理期間特定手段は、前記受取手段が受取った前記複数のオーディオ信号の音量レベルを検出する音量レベル検出手段と、前記音量レベル検出手段が検出した音量レベルが所定のレベルを上回る期間を有音期間として特定する特定手段を具備することを特徴とする。
また本発明に係るオーディオ信号処理装置の好ましい態様として、上記第1ないし第3いずれかに記載の実施形態において、前記処理期間特定手段は、前記複数のオーディオ信号に付加されている無音期間を示すデータを受信し、当該データから前記複数のオーディオ信号の無音期間を特定する特定手段を具備することを特徴とする。
また本発明に係るオーディオ信号処理装置の好ましい態様として、上記第4ないし第6いずれかに記載の実施形態において、前記処理期間特定手段は、前記複数のオーディオ信号に付加されている有音期間を示すデータを受信し、当該データから前記複数のオーディオ信号の有音期間を特定する特定手段を具備することを特徴とする。
本発明によれば、異なる音声コンテンツを近接したエリアにおいて放音する際に、コンテンツが周囲のエリアに洩れてお互いに影響を及ぼしあうことを抑制することができる。
以下、本発明の実施形態について図面を用いて説明する。
(A:第1実施形態)
(A−1:第1実施形態の構成)
図1は、本発明に係るオーディオ信号処理システムが設置されたホール200の概観を示す図である。図1に示すように、ホール200は、15メートル四方で天井の高さは3メートルである。ホール200には、テーブル500A、500B、および500Cの3つのテーブルが、各々の中心間の距離が7メートルになるように互いに離されて設置されている。各テーブルには、イス600A、600B、および600Cが4脚ずつ設置されている。また、テーブル500A、500B、および500Cの各々の上方には、照明300A、300B、および300Cが天井から釣り下げられ設置されている。照明の電球は“かさ”で覆われている。
なお、本実施形態では、ホール200が15メートル四方であり、高さが3mである場合について説明するが、ホールの大きさがこのような値に限定されるものではないことは言うまでもない。また、本実施形態では、ホール200に3つのテーブルがお互いに7メートルずつ離されて正三角形状に配置される場合について説明するが、ホール内に配置されるテーブルの数は2つか、または4つ以上であっても勿論良く、テーブルの配置もそのような様式に限られない。また、各テーブルに配置されるイスの数も4に限定されるものではなく、また、テーブル毎にイスの数が異なっていても勿論良い。
さて、テーブル500A、500B、および500Cの周囲には、オーディオ信号処理システム1を構成する各種機器が以下のように設置されている。テーブル500Aの上にはオーディオ信号生成装置10Aが設置されており、テーブル500Aの下には音響特性検出装置20Aが設置されており、音響特性検出装置20Aはオーディオ信号生成装置10Aと接続されている。テーブル500Aの上方に設置された照明300Aのかさの内側には、オーディオ信号処理装置30Aおよびスピーカ400Aが設置されており、オーディオ信号処理装置30Aはスピーカ400Aと接続されている。
図2は、以上のオーディオ信号処理システム1の構成を示すブロック図である。この図に示すオーディオ信号生成装置10A、音響特性検出装置20A、オーディオ信号処理装置30A、およびスピーカ400Aを、以下ユニットAと呼ぶ。図1において、テーブル500Bおよび500Cについても、上記同様にユニットBおよびユニットCがそれぞれ設置されている。
なお以下では、テーブル500A、500Bおよび500Cの各々を区別する必要がない場合には、「テーブル500」と表記する。同様に上記のイス、照明、オーディオ信号生成装置、音響特性検出装置、オーディオ信号処理装置、およびスピーカについても、その各々を区別する必要がない場合には、「イス600」、「照明300」、「オーディオ信号生成装置10」、「音響特性検出装置20」、「オーディオ信号処理装置30」、および「スピーカ400」と表記する。また逆に、以下の説明中において、オーディオ信号生成装置10、音響特性検出装置20、オーディオ信号処理装置30の各内部構成について、いずれのテーブルに設置された装置に属するものであるかを表す必要がある場合には符号にアルファベットを付し、区別する必要がない場合には符号にアルファベットを付さない。
オーディオ信号生成装置10は、たとえば携帯型オーディオ装置であり、その記憶手段(図示省略)に記憶された音声や楽曲などのコンテンツを表すデジタル方式のオーディオ信号を、接続された音響特性検出装置20に出力する。なお、オーディオ信号生成装置10A、10B、および10Cから出力されるオーディオ信号を、以下ではそれぞれコンテンツA、B、およびCと呼ぶ。
なお、「コンテンツ」とは、オーディオ信号生成装置10が出力する一連のオーディオ信号を指す。例えば、オーディオ信号生成装置10Aに、楽曲A−1、楽曲A−2、…と複数の楽曲が格納され、それらの楽曲が数秒間の曲間を挟みながら順次再生される場合、曲間を含む全ての楽曲をまとめてコンテンツAと呼ぶ。従ってコンテンツAの終了とは、オーディオ信号生成装置10Aに含まれる全ての楽曲が終了し終わった段階や、オーディオ信号生成装置10の電源が落とされた場合を指し、例えば楽曲A−1が終了し曲間を挟んで引き続き楽曲A−2がある場合などは含まれない。
次に、音響特性検出装置20の機能構成について説明する。図3は、音響特性検出装置20の構成を示したブロック図である。音響特性検出装置20は、信号処理遅延回路21、音声分析回路22、コンテンツ識別子付加部23、無線発信部24、および受信部25を有する。
受信部25は、オーディオ信号生成装置10が出力したオーディオ信号を受取り、信号処理遅延回路21および音声分析回路22へ出力する。
信号処理遅延回路21は、受信部25からオーディオ信号を受け取り記憶する。
音声分析回路22は、受信部25からオーディオ信号を受け取り、該オーディオ信号からコンテンツの音響特性を特定する。
ここで音響特性とは、コンテンツの音量レベルおよび周波数特性に関する。音声分析回路22は、コンテンツの音量レベルを以下のようにして検出する。図5は、コンテンツAの時刻0から時刻t6における音量レベルの経時的変化を示したグラフである。実線は、音声分析回路22が受信部25から受取るコンテンツAの音量レベルである。音声分析回路22は、音量レベルを示す曲線の包絡線(envelope:図5破線)を示すエンベロープ信号を生成する。
コンテンツ識別子付加部23は、オーディオ信号に対しコンテンツ識別子(いずれのオーディオ信号生成装置10から出力されたコンテンツであるかを一意に識別する識別子であり、本実施例では音響特性検出装置20にそれぞれ付与された識別子)を付加する。
無線発信部24は、オーディオ信号、音響特性、およびコンテンツ識別子を無線電波に変換して一まとまりの信号として発信する(以下、近距離無線通信と呼ぶ)。
次に、オーディオ信号処理装置30について説明する。図4は、オーディオ信号処理装置30の構成を示したブロック図である。オーディオ信号処理装置30は、無線受信部31、距離情報入力部32、オーディオ信号改変部33、オーディオ信号付加部34、D/Aコンバータ35、および出力部36を有する。
無線受信部31は、無線発信部24が発信した信号を受信し、その信号をオーディオ信号改変部33およびオーディオ信号付加部34に出力する。なお、近距離無線通信において、発信された信号は距離と共に減衰するため、無線受信部31は特定の距離の範囲内にある無線発信部24から出力された信号のみを受信することができる。本実施例において上記特定の距離はおよそ8mであり、無線受信部31は、オーディオ信号処理システム1に含まれる全ての音響特性検出装置20から発信される信号を受信する。
無線受信部31は、無線発信部24から信号を受信すると、受信した信号に含まれるコンテンツ識別子を判別する。その信号が上記無線受信部31と同じユニットに属する音声信号検出装置20から発信された信号である場合には、受信した信号に含まれる全ての情報(オーディオ信号、音響特性、およびコンテンツ識別子)を受信する。一方、そのコンテンツが異なるユニットに属する音声信号検出装置20から発信されたものである場合には、音響特性に関するデータとコンテンツ識別子のみを受信する。すなわち具体的には、例えば無線受信部31Aは、コンテンツAのオーディオ信号、音響特性、およびコンテンツ識別子と、コンテンツBの音響特性、およびコンテンツ識別子と、コンテンツCの音響特性、およびコンテンツ識別子を受信する。
距離情報入力部32は、表示手段(図示省略)および入力手段(図示省略)を有する。表示手段はオーディオ信号処理システム1の管理者に対し、各スピーカ400間の距離を入力するよう促し、入力手段は管理者により入力された距離に関するデータを、オーディオ信号改変部33およびオーディオ信号付加部34に出力する。本実施例では、コンテンツAとB、コンテンツAとC、およびコンテンツBとCについて、それぞれのコンテンツが再生されるスピーカ間の距離は7mと入力される。
オーディオ信号改変部33は、無線受信部31が受信した音響特性に基づき、受信したコンテンツ(同じユニットに属するオーディオ信号生成装置10が出力したコンテンツ)のオーディオ信号に対し、音量レベルの調整および周波数特性の補正を行う。オーディオ信号付加部34は、無線受信部31が受信した音響特性に基づき、受信したコンテンツに対しマスキングサウンドの付加処理を行う。以上に挙げたオーディオ信号改変部33およびオーディオ信号付加部34が施す音響処理については後に詳述する。
D/Aコンバータ35は、オーディオ信号改変部33およびオーディオ信号付加部34により音響処理されたオーディオ信号をアナログ信号に変換する。
出力部36は、D/Aコンバータ35により変換されたオーディオ信号をホール200に設置されたスピーカ400に出力する。
以上がオーディオ信号処理装置30のハードウェア構成である。
次いで、オーディオ信号処理装置30がコンテンツに施す音響処理について説明する。なお、以下ではオーディオ信号処理装置30AがコンテンツAに施す処理について説明するが、オーディオ信号処理装置30Bおよび30Cが実行する音響処理については、オーディオ信号処理装置30Aの実行する処理と同様であり、ここではその説明は省略する。
本実施形態においてオーディオ信号処理装置30が行う音響処理には(1)音量レベルの調整、(2)周波数特性の補正、(3)マスキングサウンドの付加の3種類がある。
まず(1)音量レベルの調整について説明する。コンテンツAの音量レベルの調整は、コンテンツAが有音であり、コンテンツA以外のコンテンツ(コンテンツBおよびC)のいずれかが無音である期間が検出された場合に行われる。ここで無音とは、音量レベルが予め定められた規定値Vを予め定められた時間を超えて下回る状態であり、有音とは、上記の無音以外の状態である。
図6(A)は、コンテンツAのある時刻における音量レベルの経時的変化を示したグラフである。一点破線で示されたグラフは、音響処理を施される前のコンテンツAの音量レベルである。
オーディオ信号改変部33Aは、ますコンテンツBおよびCにおいて無音期間の有無を判定する。ここでは、コンテンツBにおいて、時刻tsからteまでが無音であるとする。オーディオ信号改変部33Aは、無音期間が開始する時刻tsにおいて処理前の音量レベルに係数kを乗じた音量レベルとなるように音量レベルを調整する。
図6(B)は、d/dに応じた係数kの値を模式的に示したグラフである。ここでdは単位がm(メートル)の定数である。本実施形態においてdは、ホール200において所定の音量のコンテンツが減衰して音量が半減する距離が設定される。dはスピーカ400Aと無音期間が検出されたコンテンツが再生されるスピーカ400との距離(m)である。図中dABはスピーカ400Aとスピーカ400Bの間の距離を示す。図6(B)に示すように、係数kは、d/dの値と正の相関を持ちdが大きくなるにつれて値が1に漸近する関数である。なお、上記係数kの関数および定数dは一例であり、上記の関数や値に限定するものではない。要は、dが大きいほど係数kが高い値となれば良い。
コンテンツBが無音である間は、コンテンツAの音量レベルは、処理前の音量レベルに係数k(dAB/d)を乗算した値に調整される。
コンテンツBの無音期間が時刻teに終了すると、オーディオ信号改変部33Aは音量レベル調整処理を終えコンテンツAの音量レベルを処理前の音量レベルにする。
以上のように音量レベルが調整されることにより、コンテンツAは図6(A)において実線で示される音量レベルに調整される。
この場合、係数kの関数および定数dは、ホール200の音響特性などを考慮してユーザが適宜設定を変更することができるようになっている。
以上のように、あるコンテンツが無音であるとき、その周囲のコンテンツ、特に近接したエリアで再生されているコンテンツの音量レベルを、距離に負の相関関係を持たせた重み付けをして低く抑えることにより、無音のコンテンツの聴取者が周囲のコンテンツに意識を逸らすことを抑制することができる。
次に(2)周波数特性の補正について説明する。
オーディオ信号改変部33はいわゆるイコライザー機能を備え、周波数特性の補正を行う。ここで周波数特性の補正とは、処理の対象となるオーディオ信号から、予め決められた周波数帯域成分(たとえば周囲のエリアまで洩れ聞こえる傾向の高い帯域や人間の注意を惹きやすい帯域に属する)の音圧を低減することである。
また、上記周波数帯域成分の低減に加え、各コンテンツの周波数特性を近づける処理を行う。オーディオ信号改変部33は、受信したコンテンツの音響特性に含まれる周波数特性を比較し、コンテンツ同士の周波数特性が類似したものになるよう、周波数特性の補正を行う。
この周波数特性の補正により、同時に放音される他のコンテンツの聴取に影響を及ぼしやすいコンテンツを、他のエリアに影響を及ぼしにくい特性を持ったコンテンツにすることができる。
次に(3)マスキングサウンドの付加について説明する。ノイズが聞こえているときに、そのノイズと近い周波数を持つ別の音(マスキングサウンド)が存在すると、ノイズが聞こえにくくなるという現象が知られ、その現象は一般にマスキング効果と呼ばれている。マスキング効果は、マスキングサウンドとノイズの周波数が近いほど、また、マスキングサウンドの音量レベルがノイズの音量レベルに対して相対的に高いほど、顕著になることが知られている。本実施形態では、このマスキング効果を利用して、他のエリアから聞こえてくるコンテンツによる影響を抑制している。
コンテンツAに対するマスキングサウンドの付加処理は、コンテンツAが無音である期間が検出された場合に行われる。図7(A)に示されるコンテンツAの音量レベルを用いて説明する。なお、図7には、音声分析回路22により検出された音量レベルが示されている。
オーディオ信号改変部33Aは、まずコンテンツAにおいて無音期間の有無を判定する。コンテンツAの音量レベルが無音である部分を検出されると、オーディオ信号付加部34Aは以下の処理を行う。コンテンツAの無音期間の開始および終了時刻を検出する。コンテンツAは、時刻t4からt5にかけて無音であることから、該期間にコンテンツAと共にマスキングサウンドを予め決められた一定音量で再生する。
なお、付加するマスキングサウンドの音量は、オーディオ信号処理システム1の管理者により予め設定された値に調整される。しかし、音量レベルは、(無音である)コンテンツAの周囲で再生されているコンテンツの音量や、それらのコンテンツを再生するスピーカ400とスピーカ400Aとの距離を考慮して設定しても良い。また、実際にテーブル500Aにノイズの音量レベルの測定手段(図示省略)を設け、該測定手段で実際に発生しているノイズの音量を測定し、その測定結果に基づいてマスキングサウンドの音量レベルを調整しても良い。
以上の処理がコンテンツAに施される結果、コンテンツAが無音部分であるときに、コンテンツAと共にマスキングサウンドが再生され、該コンテンツの聴取者が他のエリアからのノイズに対し意識を向けてしまうことを抑制することができる。
さて、本実施形態で用いられるマスキングサウンドは、川のせせらぎ音などであり、その音源はオーディオ信号処理システム1の管理者などにより予めオーディオ信号処理装置30に格納されている。
なお、マスキングサウンドの種類としては、上記川のせせらぎ音以外にも当該ホール200のコマーシャル、BGM(バックグラウンドミュージック)などでも良い。要は、洩れ聞こえてくる他のコンテンツをマスキング効果により聞こえにくくする音声であればどのような音声でも良い。
(A−2:第1実施形態の動作)
次に、オーディオ信号処理システム1の動作を説明する。なお、以下ではホール200においてコンテンツA、B、およびCが同時に放音されており、ユニットA、B、およびCにおいてそれぞれコンテンツA、B、およびCに対して並行して音響処理が施され再生されている場合について説明する。以下の説明では、ユニットAがコンテンツAに施す音響処理ついてのみ取り上げて説明する。コンテンツBおよびCに関してはコンテンツAと同様であるため説明を省略する。
図8は、オーディオ信号処理システムが行う音響処理を示したフローチャートである。まずオーディオ信号生成装置10Aは、オーディオ信号を出力する。音響特性検出装置20Aの受信部25Aは、出力されたオーディオ信号を受け取り(ステップSA100)、該オーディオ信号を信号処理遅延回路21Aおよび音声分析回路22Aに出力する。音声分析回路22Aは、該オーディオ信号からその音響特性(音量レベルおよび周波数特性)を特定する(ステップSA200)。次にコンテンツ識別子付加部23Aは、音響特性が検出されたオーディオ信号に対しコンテンツ識別子を付加する。そのようにして生成された信号は、無線発信部24Aにより無線電波としてホール200内に発信される。発信されたコンテンツAの無線電波は、近接するオーディオ信号処理装置30A、30B、および30Cに達する。
無線受信部31Aは無線発信部24から信号を受信する。図1に示すオーディオ信号処理システム1においては、無線受信部31Aは、無線発信部24A、24B、および24Cから発信された信号を受信する。無線受信部31Aは、受信した信号に含まれるコンテンツ識別子を判別することにより、受信した各信号がコンテンツAのものであるかどうかを判定する。無線受信部31Aが、受取った信号がコンテンツAのものであると判定した場合には、受信した信号に含まれる全ての情報(オーディオ信号、音響特性、およびコンテンツ識別子)を受取る。一方、無線受信部31Aが、受取った信号がコンテンツAのものではないと判定した場合には、音響特性とコンテンツ識別子のみを受信する。本動作例において無線受信部31Aは、コンテンツAのオーディオ信号、音響特性、およびコンテンツ識別子と、コンテンツBおよびCの音響特性、およびコンテンツ識別子を受信する。
無線受信部31Aは上記の信号を受信し、該データをオーディオ信号改変部33Aおよびオーディオ信号付加部34Aに出力する。オーディオ信号改変部33Aおよびオーディオ信号付加部34Aは、距離情報入力部32Aを介して受取ったスピーカ400Aとその他のスピーカ400の距離に関するデータ、およびコンテンツAのオーディオ信号、コンテンツA、B、およびCの音響特性を元に、コンテンツAに対してステップSA300以下の処理、すなわち音量レベルの調整(ステップSA300)、周波数特性の補正(ステップSA400)およびマスキングサウンドの付加(ステップSA500)を行う。上記3種類の音響処理を終えると、オーディオ信号処理装置30はコンテンツAが継続しているかどうか判断する(ステップSA600)。コンテンツAが継続している場合は、ステップSA600の判定結果は“Yes”となり、コンテンツAの続きの部分についてステップSA100以下の処理を行う。一方コンテンツAが終了した場合は、ステップSA600の判定結果は“No”となり、ユニットAは処理を終了する。
以下、ステップSA300、400および500の音響処理について、図7に示すコンテンツA、B、およびCを例にとり具体的に説明する。図7に示すグラフ(A)、(B)、および(C)は、時刻0からt6におけるコンテンツA、B、およびCの音量レベル(以下、それぞれvA、vB、およびvCと表す)を示している。図中実線は、音声分析回路22により検出された音量レベルであり、一点破線は音量レベルの有音/無音の判断基準となる規定値Vを示す。コンテンツAは時刻t4からt5の間、コンテンツBは時刻t2からt3の間、音量レベルが規定値Vを下回り、その期間が予め定められた時間を越えることから、該期間無音であると判断される。
始めに、ステップSA300の音量レベルの調整処理について説明する。図10は、オーディオ信号改変部33が音量レベルの調整を行う際の処理の流れを示したフローチャートである。オーディオ信号改変部33Aは、受信した音響特性からコンテンツBまたはCに曲間などの無音部分があるかどうかを判定する(ステップSA310)。ステップSA310の判定結果が“No”である間はステップSA310が繰り返される。コンテンツBまたはCに無音部分が検出された場合には、ステップSA310の判定結果は“Yes”となり、続いてステップSA320に進む。図7において、時刻0からt2においては、コンテンツBおよびCいずれのコンテンツも有音であり、ステップSA310の判定結果は“No”となる。時刻t2からt3においては、コンテンツBが無音と判定されることから、ステップSA310の判定結果は“Yes”となる。
続くステップSA320において、オーディオ信号改変部33Aは、時刻t2からt3においては、コンテンツAの音量レベルをvA*k(dAB/d)に調整する。続くステップSA330において、無音であるコンテンツ(この場合、コンテンツB)の無音期間が終了し、有音であるかどうか判定する。コンテンツBが継続して無音である場合は、ステップSA330の判定結果は“No”であり、引き続きコンテンツAの音量レベルは低く抑えられる。コンテンツBが有音である場合には、ステップSA330の判定結果は“Yes”となり、オーディオ信号改変部33Aは音量レベルの調整処理を終了し、コンテンツAの音量レベルは本来のレベルに戻る。
時刻t3以降は、コンテンツBおよびCに無音部分は無いため、ステップSA310の判定結果は“No”となり、音量レベルの調整処理は行われない。
以上に説明した音量レベルの調整が行われた結果、図7(A)に破線で示された音量レベルを示すコンテンツAのオーディオ信号が生成される。その結果、コンテンツに無音部分があるときには、その周囲で再生されるコンテンツの音量レベルは低く抑えられる。
次に、ステップSA400の周波数特性の補正について説明する。
オーディオ信号改変部33Aは、無線受信部31Aから受取ったコンテンツAのオーディオ信号から、周囲のエリアまで洩れ聞こえる傾向の高い低音域成分や人間の注意を惹きやすい帯域の音圧を低減する。また、上記の特定周波数帯域成分の低減に加え、各コンテンツの周波数特性を近づける処理を行う。すなわち、オーディオ信号改変部33Aは、無線受信部31Aが受信したコンテンツA以外のコンテンツの音響特性に含まれる周波数特性を参照し、コンテンツAの周波数特性がそれらの周波数特性に類似したものになるよう、周波数特性の補正を行う。
周波数特性の補正を施されたコンテンツは、周囲のエリアに洩れ聞こえにくい性質を持つばかりでなく、洩れ聞こえてしまったコンテンツも人間の注意を惹く傾向の低い音響特性に処理されている。従って、周囲のエリアの聴取者が、本処理を施されたコンテンツによって、そのエリアで放音されているコンテンツから意識をそらせてしまうことを抑制することができる。
最後に、ステップSA500のマスキングサウンドの付加処理について図11を用いて説明する。図11は、オーディオ信号付加部34がコンテンツに対して施すマスキングサウンドの付加処理の流れを示したフローチャートである。まずオーディオ信号付加部34Aは、コンテンツAの音響特性から、コンテンツAの無音部分の有無を判定する(ステップSA510)。無音部分が検出された場合、ステップSA510の判定結果は“Yes”となり、ステップSA520へ進む。一方、無音部分が無い場合には、ステップSA510が繰り返される。ステップSA520において、オーディオ信号付加部34Aは、該当する無音期間に継続してマスキングサウンドを付加する(ステップSA520)。
図7において、コンテンツAは時刻0からt4までは有音であるため、その期間はステップSA510の判定結果は“No”となり、ステップSA510が繰り返される。時刻t4において、コンテンツAが無音となることが検出されることから、ステップSA510の判定結果は“Yes”となり、ステップSA520へ進む。ステップSA520において、オーディオ信号付加部34Aは、時刻t4からマスキングサウンドをコンテンツAに対して付加する。
続くステップSA530において、オーディオ信号付加部34Aは、コンテンツAの無音期間が終了し、有音であるかどうか判定する。継続して無音期間が継続している場合には、ステップSA530の判定結果は“No”となり、マスキングサウンドを引き続き一定音量で付加する。一方、無音期間が終了した場合には、ステップSA530の判定結果は“Yes”となり、処理を終了し、コンテンツAの無音期間が終了した時刻以降はマスキングサウンドを付加しない。
さて、図7において、時刻t4からt5においては、コンテンツAは継続して無音であることから、ステップSA530の判定結果は“No”となり、継続してコンテンツAにマスキングサウンドが付加される。時刻t5において、無音期間が終了することから、ステップSA530の判定結果は“Yes”となり、マスキングサウンドの音量レベルは時刻t5まで付加されて処理は終了する。
以上が、ユニットAによりコンテンツAに施される音響処理の動作である。各コンテンツが以上に説明した音響処理を施されることにより、各コンテンツの聴取者は自身に向けられたコンテンツが無音である期間に、他のエリアから洩れ聞こえてくるコンテンツに気をとられることが抑制されるといった効果を奏する。
(B:第2実施形態)
以下では、本発明の第2実施形態について説明する。
(B−1:第2実施形態の構成)
第2実施形態のハードウェア構成は、第1実施形態の構成と同様であるため説明を省略するが、オーディオ信号処理装置30のソフトウェアモジュールによる音響処理内容は異なるため、その点について以下では説明する。
第2実施形態においてコンテンツに施される音響処理も、(1)音量レベルの調整、(2)周波数特性の補正、(3)マスキングサウンドの付加の3種類である。ただし、各音響処理内容は第1実施形態と異なる。
以下でも、第1実施形態の説明同様、ユニットAがコンテンツAに施す音響処理について説明する。コンテンツBおよびCに対する音響処理はコンテンツAに対する処理と同様であるため、説明を省略する。
まず(1)音量レベルの調整について説明する。オーディオ信号処理装置30Aによる音量レベルの調整は、無線受信部31Aが信号を受信したコンテンツがいずれも有音である期間に行われる。
オーディオ信号改変部33Aは、各コンテンツについての音響特性を参照し、それらの各時刻における音量レベル(ここでは時刻tにおけるコンテンツA、B、およびCの音量レベルをvAt、vBtおよびvCtと表す)を検出する。そしてvAt、vBtおよびvCtの平均値X(Xt=(vAt+vBt+vCt)/3)とvAtとの差である、ΔvAt=Xt−vAtを算出し、以下の(数1)で規定される値(vAt*)にコンテンツAの音量レベルを調整する。
(数1)
vAt*=Xt+αΔvAt
ここでαは0<α<1を満たす係数であり、オーディオ信号処理システム1の管理者は適宜値を設定することができるが、本実施形態においてはα=0.5とする。
このようにオーディオ信号改変部33AがコンテンツAの音量レベルを調整することにより、コンテンツAの音量レベルはコンテンツAおよびテーブル500A付近で再生されるコンテンツの音量レベルの平均値に近い値に調整される。すなわち、平均値より高い音量レベルのコンテンツの音量レベルは低く抑えられ、逆に平均値より低い音量レベルのコンテンツの音量レベルは高く引き上げられる。
次に(2)周波数特性の補正については、無線受信部31Aが信号を受信したコンテンツのいずれも有音である期間に行われることを除いては、第1実施形態と同様であるため、説明を省略する。
次に(3)マスキングサウンドの付加について説明する。第1実施形態においては、コンテンツの無音部分に対してマスキングサウンドを付加することにより、他のエリアのコンテンツによるノイズを打ち消す場合について説明した。本実施形態においては、コンテンツAの有音部にマスキングサウンドを付加して、コンテンツAが有音であっても他のエリアのコンテンツによるノイズをマスキングする場合について説明する。
まずオーディオ信号付加部34Aは、無線受信部31Aが受取った音響特性を参照し、全てのコンテンツの音量レベルが有音である期間を特定する。オーディオ信号付加部34Aは、該当する期間のコンテンツAに付加するマスキングサウンドを後述するように生成し、コンテンツAのオーディオ信号に付加する。
本実施形態で用いられるマスキングサウンドは、ホワイトノイズ(白色雑音)の周波数特性を改変することにより生成されるサウンド信号である。以下では、マスキングサウンドを生成する方法を、図9を用いて説明する。
図9(A)には、ある時刻において、他のエリアのコンテンツ(この場合、コンテンツBおよびC)によりテーブルA付近に生じるノイズの周波数帯域ごとの音量レベルが示されている。図9(B)には、コンテンツAについて、図9(A)と同じ時刻における周波数帯域ごとの音量レベルが示されている。オーディオ信号付加部34Aは、周波数帯域ごとに、(ノイズの音量レベル)/(コンテンツの音量レベル)の比の値を算出する。算出した比の値を周波数帯域ごとに示したグラフが図9(C)である。次に、オーディオ信号付加部34Aは、周波数帯域ごとの比の値を、最大の値が1となるように標準化する。すなわち、全ての周波数帯域における比の値を、最大値(この場合、2)を示す周波数帯域(この場合、aおよびb)の値で除する。そのように算出された値を周波数帯域ごとに示したグラフが図9(D)であり、各周波数におけるグラフの値を、その周波数帯域における「係数」とし、管理者により予め定められた音量レベルのホワイトノイズにおける各周波数帯域に上記係数を乗算して得たサウンド信号を、本発明で用いるマスキングサウンドとする。そのように設定されたマスキングサウンドは、自分のエリアのコンテンツをマスキングすることなく、他のエリアにおけるコンテンツによるノイズを効果的にマスキングするサウンドとしては好適な周波数特性を有する。
以上の処理の結果、音響特性を受取ったいずれのコンテンツも有音部分であるときに、コンテンツAと共にマスキングサウンドが再生され、該コンテンツの聴取者が他のエリアからのノイズに対し意識を向けてしまうことを抑制する。
なお、マスキングサウンドは以上のように生成されたサウンド信号に限定されるものではなく、他の方法で人工的に作成された音や、録音された環境音を代わりに用いても良い。この場合、環境音はホール200やその他の場所で予め録音されたものを用いても良いし、別途設けられた録音装置(図示省略)でコンテンツ再生中にホール200の環境音を録音し、それを用いても良い。
(B−2:第2実施形態の動作)
以下では、本発明に係るオーディオ信号処理システム1の動作について説明する。本動作例においても第1実施形態同様、オーディオ信号処理システム1は図8に示されたフローチャートに従って各コンテンツの音響処理を行う。ただし本動作例においては、フローチャート中ステップSA300ないし500における処理内容が第1実施形態における動作例と異なるため、以下ではステップSA300ないし500を中心に説明する。
なお、以下でもオーディオ信号処理装置30AがコンテンツAに施す音響処理について説明するが、コンテンツBおよびCに対する音響処理もユニットBおよびCにより同様に行われる。
図12(A)、(B)、および(C)に示すグラフは、それぞれコンテンツA、B、およびCの音量レベルを示している。縦軸はコンテンツの音量レベルを、横軸は時刻(コンテンツの再生開始時からの経過時間)を示す。図中実線は音響処理前のオーディオ信号から検出された音量レベルを、破線は音響処理後の音量レベルを示す。
図12(A)に示されているように、音響処理前のコンテンツAの音量レベルは、時刻0からt1、および時刻t2からt5においてはvA=4であり、時刻t1からt2においてvA=10を示す。コンテンツBの音量レベルは、時刻0からt3、および時刻t4からt5においてはvB=6であり、時刻t3からt4においてvB=3である。また、コンテンツCの音量レベルは、時刻0からt5まで一定でvC=5である。
まず、ステップSA300の音量レベルの調整について説明する。図16は、オーディオ信号改変部33の行う音量レベルの調整処理の手順を示したフローチャートである。まず、オーディオ信号改変部33Aは、受取ったオーディオ信号の音量レベルが全て有音であるかどうか判定する(ステップSB310)。図12において、時刻0からt1においては、コンテンツA、B、およびCの音量レベルはそれぞれvA=4、vB=6およびvC=5であるから、「無音」のコンテンツは無いので、ステップSB310の判定結果は“Yes”となり、ステップSB320へ進む。なお、ステップSB310の判定結果が“No”である場合には、ステップSB310が繰り返される。次にオーディオ信号改変部33Aは、受取った音響特性から各コンテンツの音量レベルの平均値(この場合、X=5)を算出する(ステップSB320)。次にオーディオ信号改変部33Aは、(数1)に従ってコンテンツAの処理後の音量レベルを算出し、算出された値に音量レベルを調整する(ステップSB330)。その結果、この場合にはコンテンツA、B、およびCの処理後の音量レベルはvA*=4.5、vB*=5.5、およびvC*=5と算出される。
同様にして、時刻t1からt2においては、コンテンツA、B、およびCの音量レベルはそれぞれvA=10、vB=6およびvC=5であり、それらの平均値は7である。その結果、コンテンツA、B、およびCの処理後の音量レベルはvA*=8.5、vB*=6.5、およびvC*=6となる。時刻t2以降のコンテンツについても、以上に説明した手順で同様に音量レベルの調整が行われ、図12に破線で表された音量レベルを示すオーディオ信号が生成される。
以上に説明したように、例えば時刻t1からt2における音響処理のように、コンテンツAの音量レベルが極端に高くなり、コンテンツBおよびCの音量レベルは変わらないとき、コンテンツAの音量レベルは処理前の音量レベルほどには高くならず、他のエリアに洩れ聞こえるノイズを軽減することができる。一方コンテンツBおよびCの音量レベルは高く調整され、コンテンツBおよびCの聴取者は、高い音量レベルを示すコンテンツAに由来するノイズに意識をそらすことなく、自身に向けられたコンテンツを聴取することができる。
次にステップSA400の周波数特性の補正については、無線受信部31Aが信号を受信したコンテンツのいずれも有音である期間に行われることを除いては、第1実施形態における同処理と同様であるため、説明を省略する。
最後に、ステップSA500のマスキングサウンドの付加処理について図13のフローチャートを用いて説明する。オーディオ信号付加部34Aは、全てのコンテンツが有音である期間が存在するかどうか判定する(ステップSB510)。ステップSB510の判定結果が“Yes”である場合、オーディオ信号付加部34Aは各コンテンツの音響特性から、いずれのコンテンツも有音である期間を特定する(ステップSB520)。ステップSB530において、コンテンツA、B、およびCの周波数特性から、コンテンツAの該期間に対して付加するマスキングサウンドの周波数特性を、上述した手順で決定する。次にコンテンツAの該当する部分に対しマスキングサウンドを付加する(ステップSB540)。なお、ステップSB510において全てのコンテンツが有音である期間が存在しない場合は、ステップSB510の判定結果は“No”となり、ステップSB520以降の処理は行われない。
以上の動作を、図7に示されたコンテンツA、B、およびCについて具体的に説明する。時刻0からt2において、オーディオ信号処理装置30Aが受信するコンテンツ(コンテンツA、B、およびC)の音量レベルは有音であることから、該期間においてステップSB510の判定結果は“Yes”となり、オーディオ信号付加部34Aは、全てのコンテンツが有音である期間は時刻0からt2であると判断する(ステップSB520)。次にオーディオ信号付加部34Aは、ステップSB530において、上述した方法すなわちコンテンツA以外のコンテンツをマスキングし、コンテンツAをマスキングしない音響特性を有するマスキングサウンドを生成し、生成したマスキングサウンドをコンテンツAの該時刻のオーディオ信号に対して付加する(ステップSB540)。
図7において、時刻t2からt3、および時刻t4からt5においては、それぞれコンテンツB、コンテンツAが無音期間であることから、ステップSB510の判定結果は“No”となり、該期間において、コンテンツAに対してマスキングノイズの付加処理は行われない。
また、時刻t3からt4、時刻t5からt6においては、いずれのコンテンツも有音であることから、上記時刻0からt2における処理と同様の手順で、コンテンツAにはマスキングノイズの付加処理が行われる。
(変形例)
以上、本発明の実施形態について説明したが、本発明は以下のように種々の態様で実施することができる。また、以下の態様を組み合わせて用いてもよいことは勿論である。
(1)第1実施形態では、受信したいずれかのコンテンツが無音である期間においてオーディオ信号処理装置30が行う処理について記載し、一方第2実施形態においては、いずれのコンテンツも有音である期間に行う処理について記載したが、両実施形態に示した処理をあわせて用いても良い。
(2)上記実施形態においては、各コンテンツのオーディオ信号から音量レベルを検出し、検出した音量レベルに基づいて制御を行った。しかし、コンテンツのチャプター情報などが記されたタイムコードが手に入る場合などには、オーディオ信号処理装置30にタイムコード取得手段(図示省略)を設け、予めコンテンツの無音部分がどのタイミングで現れるのかがわかっている場合には、その情報に基づいて制御を行うようにしても良い。
(3)第1実施形態においては、川のせせらぎ音などのマスキングサウンドを用い、第2実施形態においては、ホワイトノイズを改変したマスキングノイズを用いる場合について説明したが、用いる音声の種類は上記の逆の組み合わせでも良いし、それらマスキングサウンドとマスキングノイズを併用しても良い。
(4)上記実施形態において、マスキングサウンドと合わせて、もしくはマスキングサウンドの代わりに、アクティブノイズコントロールサウンドを付加しても良い。アクティブノイズコントロールサウンドとは、ノイズに対して音圧が同振幅である逆位相の音であり、相互干渉によりノイズを低減させる特性を有する。従来の吸音現象や共鳴現象などを利用した消音技術とは異なり、能動的にノイズを打ち消す。その場合、オーディオ信号付加部34は、上記マスキングサウンドを付加する期間にアクティブノイズコントロールサウンドのオーディオ信号をコンテンツに付加するとよい。
具体的には、オーディオ信号付加部34は、他のユニットのオーディオ信号生成装置10が出力したオーディオ信号を合成して生成される音声コンテンツとは位相が逆の音声であるアクティブノイズコントロールサウンドのオーディオ信号を生成する。生成されたオーディオ信号は、コンテンツの無音部分のオーディオ信号と合成され再生される。その結果、他のエリアのコンテンツによるノイズが積極的に打ち消され、聴取者は自身に向けられたコンテンツから意識をそらされることが抑制される。
(5)上記実施形態においては、マスキングサウンドの音量レベルが矩形波状になるように、マスキングサウンドのON/OFFの制御をする場合について説明した。また、音量レベルの調整処理においては、処理区間の始めと終わりには処理対象のコンテンツの音量レベルが非連続的に変化する場合について説明した。しかし、マスキングサウンドのON/OFFや音量レベルの調整の際に、マスキングサウンドやコンテンツの音量レベルにフェードイン・フェードアウトの効果を付しても良い。
(6)上記実施形態においては、オーディオ信号処理装置30は上記複数の音響処理全てを行うことができ、その全ての処理を順次行う場合について説明した。しかし、行う音響処理はそれら音響処理の一部分であっても良い。例えば、オーディオ信号処理装置30がコンテンツの音量レベルの調整処理のみを行ったとしても、該コンテンツが他のエリアに影響を及ぼしてしまうことを抑制する効果が十分にある。
(7)上記実施形態においては、マスキングサウンドのオーディオ信号が無音のコンテンツのオーディオ信号と合成された後に、同じスピーカから再生される場合について説明したが、オーディオ信号同士の合成を行わず、それぞれを近接して設置された別々のスピーカから再生しても良い。
(8)上記実施形態においては、マスキングサウンドの付加処理にあたり、コンテンツの無音部分または有音部分にマスキングサウンドを重ねあわせた。しかし、マスキングサウンドを重ねあわせるコンテンツ部分の選択を行わず、コンテンツの音量レベルに連動して継続してマスキングサウンドの音量レベルを制御しても良い。具体的には、コンテンツの音量レベルが低いときにはマスキングサウンドの音量レベルを高くするというように、コンテンツの音量レベルとマスキングサウンドの音量レベルに負の相関を持たせるように制御すればよい。
(9)上記実施形態においては、時刻ごとに各コンテンツの音量レベルと規定値を比較し、その比較結果に基づいて各種音響処理を行った。しかし、コンテンツを複数の区間に区切ってその区間ごとに各コンテンツの音量レベルの平均値を算出し、その平均値を規定値と比較し、その比較結果に基づいて音響処理を行っても良い。
(10)上記実施形態においては、ホール200においてスピーカ400A、400Bおよび400Cが近距離(7m)で配置されている場合について説明した。従って、無線発信部24から発信された電波は、全てのユニットのオーディオ信号処理装置30により受信された。しかし、例えば図14に示すように、ホール200の角に配置された扇形のテーブル500Dに対し、ユニットA、B、C同様の構成からなるユニットDを設置し、オーディオ信号処理システム1を構成した場合、テーブルの組み合わせにより電波の届く距離を越えることから、上述の音響距離には以下のような変更点が生じる。
すなわち、無線発信部24Dの発した信号は無線受信部31Aおよび31Dのみにより受信される。また、無線受信部31Dは、無線発信部24Aおよび24Dが発した信号のみ受信し、無線発信部24Bおよび無線発信部24Cが発した信号は受信しない。その結果、オーディオ信号処理装置30Dは、コンテンツAおよびDに係る情報のみに基づいて音響処理を行い、オーディオ信号処理装置30Aは、コンテンツA、B、C、およびDに係る情報に基づいて音響処理を行う。
(11)上記第1実施形態においては、マスキングサウンドの付加処理において、川のせせらぎ音など特定の音源を用いる場合について説明した。しかし、予め記憶装置に記憶させておいた複数のマスキングサウンドから、他のエリアにおけるコンテンツの周波数特性や楽曲のジャンルと類似した周波数特性を有するマスキングサウンドを選択する機能をオーディオ信号付加部34に持たせるようにしても良い。また、図示せぬ操作部を介してオーディオ信号処理システム1の管理者がマスキングサウンドの種類を適宜変更することができるようにしても良い。
(12)上記第2実施形態において、オーディオ信号改変部33に対して、環境中の暗騒音を測定しオーディオ信号改変部33やオーディオ信号付加部34に通知する機能を有する暗騒音測定手段(図示省略)を設けて以下に挙げる処理を行っても良い。
1つ目は、周囲のコンテンツや環境音による暗騒音が大きい場合には、全てのコンテンツの音量レベルを所定の割合だけ上昇させ、逆に暗騒音が小さい場合には、全てのコンテンツの音量レベルを所定の割合だけ減少させる処理を行う。
2つ目には、マスキングノイズを付加するにあたり、周囲の暗騒音の音量レベルが低い時にはマスキングノイズの音量レベルを上げ、逆に音量レベルが高いときはレベルを下げる。
(13)上記実施形態2においては、(数1)に表される式により音量レベルの調整を行ったが、もちろん調整方法は(数1)の式やパラメータの値に限定されるものではない。要は、処理前に各コンテンツ間にある音量レベルの格差が小さくなるように調整を行えば良い。また上記実施形態においては、オーディオ信号の音量レベルの総和が一定になるように各音量レベルの調整を行ったが、オーディオ信号の音量レベルの総和には、ある程度の許容範囲を設けてもよい。
(14)上記実施形態においては、ホール200においてスピーカ400A、400Bおよび400Cが互いに等しい距離で配置されている場合について説明した。従って、スピーカ400の組み合わせごとに距離が異なることの影響については考慮しなかった。しかし、スピーカが3つであっても正三角形状ではない配置の場合、およびスピーカ400が4つ以上配置されている場合には、スピーカ400同士の距離がその組み合わせごとに異なる。そのような場合には、オーディオ信号処理装置30が上記音響処理を実行する際に各スピーカの配置が及ぼす影響を音響処理方法に反映させても良い。具体的には、たとえば第2実施形態において音量レベルの調整を行うにあたり、以下に示すようにスピーカ同士の距離に応じて各コンテンツの音量レベルの重み付けをしても良い。
図15(A)に示すように、テーブルA、B、およびCが設置され、テーブルごとに設置されたスピーカから放音されるコンテンツA、B、およびCのある時刻における音量レベルをそれぞれvA、vBおよびvCとする。AB、AC、BCはそれぞれのテーブル同士の距離を示す。ここでは、上述した音量レベルの調整において、調整後の音量レベルが以下の(数2)で規定されるようにオーディオ信号処理装置30は各コンテンツの音量レベルの調整を行う。
(数2)
vA*=vA+α{(−vA+vC)/AC+(−vA+vB)/AB}
vB*=vB+α{(−vB+vA)/AB+(−vB+vC)/BC}
vC*=vC+α{(−vC+vB)/BC+(−vC+vA)/AC}
さて、(数2)においてαは個々の状況に応じてオーディオ信号処理装置30の操作者により設定される値であるが、ここでは0.1とする。
ここで、図15(B)に表されるように、AB=1、AC=10、BC=10となるようにテーブルが配置されている場合について考える。まず、時刻t1において、全てのコンテンツの音量レベルが1の場合、オーディオ信号処理装置30により音量レベルの調整がなされても音量レベルに変化はない。次に、時刻t2において、コンテンツAの音量レベルが10、コンテンツBおよびCの音量レベルが共に1である場合、調整後の音量レベルは、vA*=9.01、vB*=1.9、vC*=1.09と算出される。また、時刻t3において、コンテンツCの音量レベルが10、コンテンツAおよびBの音量レベルが共に1である場合、調整後の音量レベルは、vA*=1.09、vB*=1.09、vC*=9.82と算出される。以上の結果は図15(C)のテーブルにまとめられている。
(数2)のように、各スピーカ間の距離を音響処理に反映することにより、遠く離れたエリアのコンテンツが及ぼしあう影響を軽く扱い、近接したエリアのコンテンツが及ぼしあう影響に重みをつけて扱うことができ、より効果的に音響処理を行うことができる。なお、(数2)はあくまでも一例であり、各コンテンツの重み付けを行うことができれば、その他の方法を用いても良い。
(15)オーディオ信号処理装置30には、生成されたマスキングサウンドの音量レベルおよび周波数特性を改変するマスキングサウンド調整手段(図示省略)が設けられており、オーディオ信号処理システム1の管理者はマスキングサウンド調整手段を介して任意のマスキングサウンドの音響特性を適宜設定することができる。
(16)オーディオ信号生成装置10は、上記実施形態のように、携帯型オーディオ装置に限定されるものではなく、CDドライブや、ラジオの電波受信部や、マイクなどの音声入力機器などであっても良い。要するに、オーディオ信号生成装置10はオーディオ信号を出力する装置であればよい。また、オーディオ信号生成装置10が、マイクなどのようにアナログ方式のオーディオ信号を出力する機器である場合には、A/Dコンバータによって該オーディオ信号をデジタル方式に変換した上で音響特性検出装置20に出力すると良い。
(17)音響特性検出装置20およびオーディオ信号処理装置30は、ハードウェアモジュールから成る。しかし、それらの装置に付与された各機能をソフトウェアモジュールにより実現しても良い。
(18)上記実施形態において示した3種類の音響処理は、実施形態に示す順とは異なる順で行っても良いし、複数の音響処理を並行して行っても良い。
(19)上記実施形態では、音声分析回路22は音量レベルを示す曲線の包絡線(envelope)を生成し、該包絡線を上記音響特性における音量レベルのデータとする場合について説明した。しかし、音声分析回路22の行う音量レベルの検出方法は上記の方法に限定されず、コンテンツを複数の期間に区切って、その期間ごとに音量レベルの平均値を出すなどしても良いし、勿論受信部25から受信したオーディオ信号の音量レベルをそのまま音響特性のデータとして用いても良い。
実施形態に係るオーディオ信号処理システム1が設置されたホール200の全体構成を示した図である。 実施形態に係るオーディオ信号処理システム1の概略構成を示したブロック図である。 音響特性検出装置20の構成を示したブロック図である。 オーディオ信号処理装置30の構成を示したブロック図である。 音量レベルの検出を行う方法を説明するための図である。 音量レベルの調整処理を説明するための図である。 ある時間帯における複数のコンテンツの音量レベルを模式的に示したグラフである。 オーディオ信号処理装置30の行う音響処理の手順を示したフローチャートである。 マスキングサウンドの生成法を説明するための図である。 オーディオ信号処理装置30の行う音量レベルの調整処理の手順を示したフローチャートである。 第1実施形態においてオーディオ信号処理装置30の行うマスキングサウンド付加処理の手順を示したフローチャートである。 ある時間帯における複数のコンテンツの音量レベルを模式的に示したグラフである。 第2実施形態においてオーディオ信号処理装置30の行うマスキングサウンド付加処理の手順を示したフローチャートである。 ホール200におけるテーブル500の配置の一例を示したブロック図である。 音量レベルの調整法を説明するための図である。 オーディオ信号処理装置30の行う音量レベルの調整処理の手順を示したフローチャートである。
符号の説明
1…オーディオ信号処理システム、10…オーディオ信号生成装置、20…音響特性検出装置、21…信号処理遅延装置、22…音声分析回路、23…コンテンツ識別子付加部、24…無線発信部、25…受信部、30…オーディオ信号処理装置、31…無線受信部、32…距離情報入力部、33…オーディオ信号改変部、34…オーディオ信号付加部、35…D/Aコンバータ、36…出力部、200…ホール、300…照明、400…スピーカ、500…テーブル、600…イス

Claims (11)

  1. 複数のオーディオ信号を受取る受取手段と、
    前記受取手段が受取った特定のオーディオ信号を除く他のオーディオ信号の各々について無音となる期間を特定する処理期間特定手段と、
    前記処理期間特定手段が前記他のオーディオ信号のいずれかについて無音期間と特定した期間において、前記特定のオーディオ信号の音量レベルを下げる音量レベル調整手段と、
    前記音量レベル調整手段により音量レベルを調整された前記特定のオーディオ信号を出力する出力手段と
    を備えたオーディオ信号処理装置。
  2. 複数のオーディオ信号を受取る受取手段と、
    前記受取手段が受取った特定のオーディオ信号を除く他のオーディオ信号の各々について無音となる期間を特定する処理期間特定手段と、
    前記処理期間特定手段が前記他のオーディオ信号のいずれかについて無音期間と特定した期間において、前記特定のオーディオ信号の予め定められた周波数帯域成分を除去する処理、または、前記特定のオーディオ信号の周波数特性前記他のオーディオ信号を合成して生成されるオーディオ信号周波数特性に近づける正を行う周波数特性補正手段と、
    前記周波数特性補正手段により周波数特性を補正された前記特定のオーディオ信号を出力する出力手段と
    を備えたオーディオ信号処理装置。
  3. 複数のオーディオ信号を受取る受取手段と、
    前記受取手段が受取った特定のオーディオ信号について無音となる期間を特定する処理期間特定手段と、
    前記処理期間特定手段が特定のオーディオ信号について無音期間と特定した期間において、前記特定のオーディオ信号に対して第2のオーディオ信号を生成するオーディオ信号生成手段と、
    前記特定のオーディオ信号および前記第2のオーディオ信号を重畳して出力する出力手段と
    を備えたオーディオ信号処理装置。
  4. 複数のオーディオ信号を受取る受取手段と、
    前記受取手段が受取った前記複数のオーディオ信号の各々について有音となる期間を特定する処理期間特定手段と、
    前記処理期間特定手段が前記複数のオーディオ信号の全てついて有音期間と特定した期間において、前記受取手段が受取った特定のオーディオ信号の音量レベルを前記複数のオーディオ信号の音量レベルの平均値へ近づけるように調整する音量レベル調整手段と、
    前記音量レベル調整手段により音量レベルを調整された前記特定のオーディオ信号を出力する出力手段と
    を備えたオーディオ信号処理装置。
  5. 前記音量レベル調整手段は、前記受取手段が受取った特定のオーディオ信号の音量レベルを、前記複数のオーディオ信号の各々が出力される出力位置同士の距離と、当該複数のオーディオ信号の音量レベルとに応じて調整すること
    を特徴とする請求項4に記載のオーディオ信号処理装置。
  6. 数のオーディオ信号を受取る受取手段と、
    前記受取手段が受取った前記複数のオーディオ信号の各々について有音となる期間を特定する処理期間特定手段と、
    前記処理期間特定手段が、前記複数のオーディオ信号の全てついて有音期間と特定した期間において、予め定められた周波数帯域ごとに前記受取手段が受取った特定のオーディオ信号の音量レベルと当該特定のオーディオ信号を除く他のオーディオ信号を合成して生成されるオーディオ信号の音量レベルとの比を算出する算出手段と、
    前記算出手段により算出された比に応じて第2のオーディオ信号を生成するオーディオ信号生成手段と、
    前記特定のオーディオ信号および前記第2のオーディオ信号を重畳して出力する出力手段と
    を備えたオーディオ信号処理装置。
  7. 記オーディオ信号生成手段は、前記他のオーディオ信号を合成して生成されるオーディオ信号と位相が逆である前記第2のオーディオ信号を生成すること
    を特徴とする請求項3または6に記載のオーディオ信号処理装置。
  8. 記処理期間特定手段は、
    前記受取手段が受取った前記複数のオーディオ信号の音量レベルを検出する音量レベル検出手段と、
    前記音量レベル検出手段が検出した音量レベルが所定のレベルを所定時間以上継続して下回る期間を無音期間として特定する特定手段を具備すること
    を特徴とする請求項1ないし3いずれかに記載のオーディオ信号処理装置。
  9. 前記処理期間特定手段は、
    前記受取手段が受取った前記複数のオーディオ信号の音量レベルを検出する音量レベル検出手段と、
    前記音量レベル検出手段が検出した音量レベルが所定のレベルを上回る期間を有音期間として特定する特定手段を具備すること
    を特徴とする請求項4ないし6いずれかに記載のオーディオ信号処理装置。
  10. 記処理期間特定手段は、
    前記複数のオーディオ信号に付加されている無音期間を示すデータを受信し、当該データから前記複数のオーディオ信号の無音期間を特定する特定手段を具備すること
    を特徴とする請求項1ないし3いずれかに記載のオーディオ信号処理装置。
  11. 記処理期間特定手段は、
    前記複数のオーディオ信号に付加されている有音期間を示すデータを受信し、当該データから前記複数のオーディオ信号の有音期間を特定する特定手段を具備すること
    を特徴とする請求項4ないし6いずれかに記載のオーディオ信号処理装置。
JP2006259162A 2006-09-25 2006-09-25 オーディオ信号処理装置 Expired - Fee Related JP4306708B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006259162A JP4306708B2 (ja) 2006-09-25 2006-09-25 オーディオ信号処理装置
US11/903,775 US8737629B2 (en) 2006-09-25 2007-09-24 Audio signal processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006259162A JP4306708B2 (ja) 2006-09-25 2006-09-25 オーディオ信号処理装置

Publications (2)

Publication Number Publication Date
JP2008076985A JP2008076985A (ja) 2008-04-03
JP4306708B2 true JP4306708B2 (ja) 2009-08-05

Family

ID=39303134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006259162A Expired - Fee Related JP4306708B2 (ja) 2006-09-25 2006-09-25 オーディオ信号処理装置

Country Status (2)

Country Link
US (1) US8737629B2 (ja)
JP (1) JP4306708B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318234B2 (en) 2017-08-09 2019-06-11 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2294573B1 (en) * 2008-06-30 2023-08-23 Constellation Productions, Inc. Methods and systems for improved acoustic environment characterization
JP5790021B2 (ja) * 2011-02-23 2015-10-07 ヤマハ株式会社 音声出力システム
DE102011076484A1 (de) * 2011-05-25 2012-11-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Tonwiedergabevorrichtung mit hörszenariosimulation
JP5637130B2 (ja) * 2011-12-26 2014-12-10 コニカミノルタ株式会社 音響出力装置
US10027303B2 (en) * 2012-11-13 2018-07-17 Snell Advanced Media Limited Management of broadcast audio loudness
FR3007881B1 (fr) * 2013-06-28 2016-03-25 Devinant R&D Installation de masquage acoustique
CN105635498B (zh) * 2015-12-30 2018-08-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN109429147B (zh) * 2017-08-30 2021-01-05 美商富迪科技股份有限公司 电子装置与电子装置的控制方法
US11171621B2 (en) * 2020-03-04 2021-11-09 Facebook Technologies, Llc Personalized equalization of audio output based on ambient noise detection

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170299A (ja) 1990-11-02 1992-06-17 Matsushita Electric Ind Co Ltd 指向性制御スピーカシステム
JPH05345549A (ja) 1992-06-16 1993-12-27 Matsushita Electric Ind Co Ltd 車両用音響装置
JPH07319479A (ja) 1994-05-24 1995-12-08 Sekisui Chem Co Ltd 能動的消音装置
US5699437A (en) * 1995-08-29 1997-12-16 United Technologies Corporation Active noise control system using phased-array sensors
JP3719690B2 (ja) 1995-12-20 2005-11-24 富士通テン株式会社 車載用音響装置
JPH1092054A (ja) 1996-09-19 1998-04-10 Sony Corp 情報記録再生装置
JPH11213635A (ja) 1998-01-21 1999-08-06 Nippon Columbia Co Ltd 記録再生装置
US6420975B1 (en) * 1999-08-25 2002-07-16 Donnelly Corporation Interior rearview mirror sound processing system
JP3473517B2 (ja) 1999-09-24 2003-12-08 ヤマハ株式会社 指向性拡声装置
JP3993751B2 (ja) 2000-03-30 2007-10-17 富士通株式会社 テキスト情報読み上げ装置と、これを組み込んだ音楽音声再生装置、媒体、およびプログラム
CN100397781C (zh) * 2000-08-14 2008-06-25 清晰音频有限公司 声音增强系统
JP3597803B2 (ja) 2001-07-16 2004-12-08 株式会社コナミコンピュータエンタテインメントスタジオ 音量制御プログラム、音量制御方法及びビデオゲーム装置
US20030219133A1 (en) * 2001-10-24 2003-11-27 Acentech, Inc. Sound masking system
JP2003307997A (ja) 2002-04-15 2003-10-31 Sony Corp 語学教育システム、音声データ処理装置、音声データ処理方法、音声データ処理プログラム、及び記憶媒体
JP3992596B2 (ja) 2002-11-19 2007-10-17 日本電信電話株式会社 音声再生方法、音声再生装置および音声再生プログラム
JP3852413B2 (ja) 2003-02-21 2006-11-29 ヤマハ株式会社 指向性拡声装置
EP1494364B1 (en) * 2003-06-30 2018-04-18 Harman Becker Automotive Systems GmbH Device for controlling audio data output
JP4336552B2 (ja) 2003-09-11 2009-09-30 グローリー株式会社 マスキング装置
JP4349123B2 (ja) 2003-12-25 2009-10-21 ヤマハ株式会社 音声出力装置
JP4449536B2 (ja) 2004-03-30 2010-04-14 ヤマハ株式会社 音量制御装置
JP2005343401A (ja) 2004-06-07 2005-12-15 Nissan Motor Co Ltd ノイズマスキング装置
JP2006053435A (ja) 2004-08-13 2006-02-23 Sony Corp 音響制御装置及び音響制御方法
JP3871690B2 (ja) 2004-09-30 2007-01-24 松下電器産業株式会社 音楽コンテンツ再生装置
JP4642443B2 (ja) 2004-11-26 2011-03-02 オリンパスイメージング株式会社 マルチビジョンプロジェクターシステム
JP2007019980A (ja) 2005-07-08 2007-01-25 Matsushita Electric Ind Co Ltd オーディオ静音化装置
US20070297620A1 (en) * 2006-06-27 2007-12-27 Choy Daniel S J Methods and Systems for Producing a Zone of Reduced Background Noise
JP2009143495A (ja) * 2007-12-17 2009-07-02 Fujitsu Ten Ltd 音響制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318234B2 (en) 2017-08-09 2019-06-11 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof

Also Published As

Publication number Publication date
US8737629B2 (en) 2014-05-27
US20080089524A1 (en) 2008-04-17
JP2008076985A (ja) 2008-04-03

Similar Documents

Publication Publication Date Title
JP4306708B2 (ja) オーディオ信号処理装置
KR100829567B1 (ko) 청각특성을 이용한 저음 음향 신호 보강 처리 방법 및 장치
RU2595912C2 (ru) Аудиосистема и способ для нее
JP6866470B2 (ja) エンターテイメントオーディオ処理
WO2014030560A1 (ja) 音声処理装置および方法、並びにプログラム
JP2016131404A (ja) 音響装置、音量制御方法、音量制御プログラム及び記録媒体
US9264812B2 (en) Apparatus and method for localizing a sound image, and a non-transitory computer readable medium
JP2005252538A (ja) 音声明瞭度改善装置及び音声明瞭度改善方法
JP2010164970A (ja) オーディオシステム及びその出力制御方法
JP2007288713A (ja) 音響再生装置
CN101563938A (zh) 处理音频数据的设备和方法
JP2009021843A (ja) 音響信号処理装置及び音響信号処理方法
JP4568536B2 (ja) 測定装置、測定方法、プログラム
US8675882B2 (en) Sound signal processing device and method
US11579840B2 (en) Method for adjusting sound playback and portable device thereof
JP2007043231A (ja) 自動音量制御装置
JP2010213330A (ja) 測定方法、測定装置、プログラム
JP2009077378A (ja) 音声信号処理装置及び方法
JP5194614B2 (ja) 音場形成装置
RU2106075C1 (ru) Пространственная звуковоспроизводящая система
JPS63314099A (ja) 音響機器の騒音補償装置
JP5734928B2 (ja) 音場制御装置及び音場制御方法
JP2012100117A (ja) 音響処理装置及び方法
JP5170218B2 (ja) オーディオ信号処理装置
KR100636247B1 (ko) 자동 라우드니스 제어 시스템 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140515

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees