JPWO2006030692A1 - 音像定位装置 - Google Patents

音像定位装置 Download PDF

Info

Publication number
JPWO2006030692A1
JPWO2006030692A1 JP2006535818A JP2006535818A JPWO2006030692A1 JP WO2006030692 A1 JPWO2006030692 A1 JP WO2006030692A1 JP 2006535818 A JP2006535818 A JP 2006535818A JP 2006535818 A JP2006535818 A JP 2006535818A JP WO2006030692 A1 JPWO2006030692 A1 JP WO2006030692A1
Authority
JP
Japan
Prior art keywords
sound image
band
image localization
control filter
direction determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006535818A
Other languages
English (en)
Other versions
JP4684234B2 (ja
Inventor
飯田 一博
一博 飯田
元邦 伊藤
元邦 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006535818A priority Critical patent/JP4684234B2/ja
Publication of JPWO2006030692A1 publication Critical patent/JPWO2006030692A1/ja
Application granted granted Critical
Publication of JP4684234B2 publication Critical patent/JP4684234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Diaphragms For Electromechanical Transducers (AREA)
  • Golf Clubs (AREA)

Abstract

【課題】 多くの受聴者が容易に正しく音像定位することのできる音像定位装置を提供する。【解決手段】 方向決定帯域情報記憶部11には、予め算出された各方向ごとの方向決定帯域が記憶されていて、制御フィルタ算出部12は、目標位置情報を入力されると、目標位置情報に対応した方向決定帯域を方向決定帯域情報記憶部11から読み出し、マスキングを考慮した感覚レベルの最大値が読み出した方向決定帯域と一致するように制御フィルタ係数を算出し、音像定位処理部13に出力する。音像定位処理部13は、制御フィルタ算出部12から制御フィルタ係数が入力されると、入力された音源信号に入力された制御フィルタ係数を畳み込んで音像定位処理を行い、音像定位された音響信号である音像定位信号を図示しないヘッドホンやスピーカなどの音響再生装置に出力する。

Description

本発明は、三次元空間の任意の位置に音像を生じさせる音像定位装置に関するものである。
従来、スピーカやヘッドホンなどの音響再生装置を用い、三次元空間内の任意の位置に音像を定位させる技術については数多く研究されている。
これらの研究により音像を定位させたい位置から受聴者の耳までの音響伝達特性を忠実に再現し、音源信号に畳み込んで受聴者に提示することにより、所望の位置に音像を定位させることが可能であることが明らかになっている。
この音響伝達特性とは、壁などでの反射、回折、散乱等による伝達特性を表す空間伝達関数や、受聴者の頭部や胴体での反射、回折、散乱等による伝達特性を表す頭部伝達関数などに分けられる。
このうち頭部伝達関数を用いた音像定位については、受聴者の頭部伝達関数を忠実に再現し、音源信号に畳み込んで受聴者に提示することによって任意の位置に音像を定位させることができることが明らかになっている(例えば、非特許文献1参照)。
この頭部伝達関数を用いた従来の音像定位装置では、受聴者固有の頭部伝達関数を正確に測定し、これを忠実に再現して音像定位を行うものや、標準的な頭部伝達関数をあらゆる受聴者に対して共通に用いて音像定位を行うものがある。
図15は、従来の音像定位装置を示すブロック図である。
図15において、従来の音像定位装置は、音像を定位させたい方向ごとに作成された頭部伝達関数を記憶しておく頭部伝達関数記憶部61と、音像を定位させる目標位置情報に基づき頭部伝達関数を選択する頭部伝達関数選択部62と、選択された頭部伝達関数に基づいて音像定位処理を行って出力する音像定位処理部63とを備えている。
ここで、頭部伝達関数記憶部61に記憶する頭部伝達関数は、受聴者固有のものでもよいし、あらゆる受聴者に対して共通に用いる標準的なものであってもよい。
このような音像定位装置において、入力された音源信号は、入力された目標位置情報に基づいて選択された頭部伝達関数を畳み込まれて、音像定位された音響信号である音像定位信号としてヘッドホンやスピーカなどの音響再生装置に出力される。
このように、従来の音像定位装置においては、受聴者固有の、あるいは標準的な頭部伝達関数を用いて、音像定位を行うことができる。
イェンス ブラウエルト・森本政之・後藤敏幸編著「空間音響」鹿島出版会、昭和61年7月10日
しかしながら、従来の頭部伝達関数を用いる音像定位装置においては、3つの問題点がある。
第1に、頭部伝達関数には個人差があり、本人のものではない頭部伝達関数を用いた場合には目標とする位置に正しく音像定位させることができない場合があることが明らかになっている。したがって、標準的な頭部伝達関数をあらゆる受聴者に対して共通に用いる音像定位装置では、正しく音像定位できない受聴者が発生してしまうという問題があった。特にこの場合、音像の前後および上下方向の位置が、目標位置とは異なることが明らかになっている。
第2に、頭部伝達関数を測定するためには特殊な装置等が必要であり、あらゆる受聴者に対して本人の頭部伝達関数を測定することは現実的に不可能であり、受聴者本人の頭部伝達関数を用いる音像定位装置は容易には作成できないという問題があった。
第3に、入力された音源信号に、目標位置とは異なる位置に音像を定位させる音像定位の手がかり情報が含まれている場合、音像定位処理を行っても目標位置に正しく音像定位させることができない場合があるという問題があった。
本発明は、従来の問題を解決するためになされたもので、多くの受聴者が容易に正しく音像定位することのできる音像定位装置を提供することを目的とする。
本発明の音像定位装置は、方向決定帯域に関する情報を記憶する方向決定帯域情報記憶手段と、入力された目標位置に対応する前記方向決定帯域を前記方向決定帯域情報記憶手段から読み出し、読み出した前記方向決定帯域とマスキングを考慮した感覚レベルとに基づいて制御フィルタ係数を算出する制御フィルタ算出手段と、入力された音源信号に対して前記制御フィルタ係数を用いて音像定位処理を行う音像定位処理手段とを備える構成を有している。
この構成により、本発明の音像定位装置は、入力された目標位置に対応する方向決定帯域とマスキングを考慮した感覚レベルとに基づいて制御フィルタ係数が算出され、算出された制御フィルタ係数を用いて音像定位処理が行われる。したがって、頭部伝達関数を用いずに、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記マスキングを考慮した感覚レベルが最大値をとる周波数を、前記目標位置に対応する方向決定帯域と一致させるように前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、マスキングを考慮した感覚レベルの最大値をとる周波数を目標位置に対応する方向決定帯域と一致させるように制御フィルタ係数が算出される。したがって、頭部伝達関数を用いずに、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、頭部伝達関数を記憶する頭部伝達関数記憶手段を備え、前記制御フィルタ算出手段は、前記頭部伝達関数記憶手段から取得した頭部伝達関数と、前記マスキングを考慮した感覚レベルと、前記目標位置に対応する方向決定帯域とに基づいて前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、頭部伝達関数と入力された目標位置に対応する方向決定帯域とマスキングを考慮した感覚レベルとに基づいて制御フィルタ係数が算出され、算出された制御フィルタ係数を用いて音像定位処理が行われる。したがって、目標位置対応に頭部伝達関数を用意せずに、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記頭部伝達関数に基づいて算出した前記マスキングを考慮した感覚レベルが最大値をとる周波数を、前記目標位置に対応する方向決定帯域と一致させるように前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、頭部伝達関数が、マスキングを考慮した感覚レベルと目標位置に対応する方向決定帯域により補正されて制御フィルタ係数が算出される。したがって、標準の頭部伝達関数を用意するだけで、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記マスキングを考慮した感覚レベルと、前記目標位置に対応する方向決定帯域との少なくとも1つを複数の帯域に分割し、各帯域ごとの帯域レベルまたは帯域情報に基づいて前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、マスキングを考慮した感覚レベルと、目標位置に対応する方向決定帯域との少なくとも1つが複数の帯域に分割され、各帯域ごとに制御フィルタ係数が算出される。したがって、より単純な周波数特性の制御フィルタ係数を算出することで音像を定位させることができ、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記頭部伝達関数と、前記マスキングを考慮した感覚レベルと、前記目標位置に対応する方向決定帯域との少なくとも1つを複数の帯域に分割し、各帯域ごとの帯域レベルまたは帯域情報に基づいて前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、頭部伝達関数と、マスキングを考慮した感覚レベルと、目標位置に対応する方向決定帯域との少なくとも1つが複数の帯域に分割され、各帯域ごとに制御フィルタ係数が算出される。したがって、より単純な周波数特性の制御フィルタ係数を算出することで音像を定位させることができ、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記音源信号の周波数特性に基づき、前記目標位置に対応する方向決定帯域以外の帯域にあるマスキングを考慮した感覚レベルの最大値を抑圧するように前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、音源信号の方向決定帯域以外の帯域のレベルのピークが抑圧される。したがって、どんな音源信号に対しても正しく音像定位させることができる。
さらに、前記制御フィルタ算出手段は、前記音源信号の周波数特性に基づき、前記目標位置に対応する方向決定帯域以外の帯域にあるマスキングを考慮した感覚レベルと予め設定された値とを比較し、予め設定された値より大きい帯域のマスキングを考慮した感覚レベルは抑圧するように前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、音源信号の方向決定帯域以外の帯域のレベルのピークが抑圧される。したがって、どんな音源信号に対しても正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記音源信号の周波数特性を複数の帯域に分割し、各帯域ごとの帯域レベルまたは帯域情報に基づいて前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、音源信号の周波数特性が複数の帯域に分割され、各帯域ごとに制御フィルタ係数が算出される。したがって、より単純な周波数特性の制御フィルタ係数を算出することで音像を定位させることができ、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記制御フィルタ係数として、前記目標位置に対応する方向決定帯域の両端の帯域のうち、少なくとも一方の帯域を抑圧する制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、より簡単な制御フィルタ係数を算出することで音像を定位させることができ、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記制御フィルタ係数を複数の帯域に分割し、各帯域ごとに前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、制御フィルタ係数が複数の帯域に分割されて算出される。したがって、より単純な周波数特性の制御フィルタ係数を算出することで音像を定位させることができ、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記方向決定帯域情報記憶手段は、受聴者の特徴により分類された複数の受聴者群ごとに前記方向決定帯域情報を記憶し、入力された受聴者の情報に基づいて前記受聴者群ごとの方向決定帯域情報から適合する前記方向決定帯域情報を前記方向決定帯域情報記憶手段に選択させる方向決定帯域情報選択手段を備える構成としてもよい。
この構成により、本発明の音像定位装置は、受聴者の特徴に適合した方向決定帯域情報が選択され、制御フィルタ係数が算出される。したがって、より多くの人に対して容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記方向決定帯域情報記憶手段は、受聴者の身体的特徴により分類された複数の受聴者群ごとに前記方向決定帯域情報を記憶する構成としてもよい。
この構成により、本発明の音像定位装置は、受聴者の身体的特徴に適合した方向決定帯域情報が選択され、制御フィルタ係数が算出される。したがって、より多くの人に対して容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記方向決定帯域情報選択手段は、入力された受聴者の画像データから前記身体的特徴を抽出し、抽出した前記身体的特徴に基づいて前記受聴者群ごとの方向決定帯域情報から適合する前記方向決定帯域情報を前記方向決定帯域情報記憶手段に選択させる構成としてもよい。
この構成により、本発明の音像定位装置は、入力された受聴者の画像データから身体的特徴が抽出され、抽出された身体的特徴に適合した方向決定帯域情報が選択され、制御フィルタ係数が算出される。したがって、より多くの人に対して容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、入力される音源信号を周波数分析し、前記音源信号に含まれる、前記目標位置とは異なる位置に音像を定位させる音像定位の手がかり情報を抑圧することにより前記音源信号を補正する音源信号補正手段を備え、前記音像定位処理手段は、前記音源信号補正手段により補正された前記音源信号に対して音像定位処理を行う構成を有してもよい。
この構成により、本発明の音像定位装置は、音源信号を周波数分析し、いずれかの部分でレベルのピークがある場合は、そのレベルを抑圧してから、算出された制御フィルタ係数を畳み込んでいるので、音源信号によらず容易に目標位置に音像を定位させることができる。
また、本発明の音像定位装置は、前記音源信号補正手段は、入力される音源信号を周波数分析し、帯域ごとに音源信号の帯域レベルと予め設定された値とを比較し、帯域レベルが予め設定された値より大きいと判断された帯域があればその帯域の帯域レベルを抑圧することにより前記音源信号を補正する構成を有してもよい。
この構成により、本発明の音像定位装置は、音源信号を周波数分析し、いずれかの部分でレベルのピークがある場合は、そのレベルを抑圧してから、算出された制御フィルタ係数を畳み込んでいるので、音源信号によらず容易に目標位置に音像を定位させることができる。
また、本発明の音像定位装置は、前記音源信号補正手段は、入力される音源信号を周波数分析し、帯域ごとに音源信号のマスキングを考慮した感覚レベルを算出し、感覚レベルと予め設定した値を比較し、感覚レベルが予め設定された値より大きいと判断された帯域の感覚レベルを抑圧することにより前記音源信号を補正する構成を有してもよい。
この構成により、本発明の音像定位装置は、音源信号を周波数分析し、いずれかの部分でレベルのピークがある場合は、そのレベルを抑圧してから、算出された制御フィルタ係数を畳み込んでいるので、音源信号によらず容易に目標位置に音像を定位させることができる。
また、本発明の音像定位装置は、前記方向決定帯域情報記憶手段と前記制御フィルタ算出手段は音像定位補助装置を構成し、前記音像定位補助装置は前記音像定位処理手段と通信をして前記音像定位処理手段に前記フィルタ係数を伝達することを特徴とする構成を有してもよい。
この構成により、本発明の音像定位装置は、音像定位処理手段と音像定位補助装置とを独立して構成し、音像定位補助装置は算出したフィルタ係数を遠隔から音像定位処理手段に提供することができるので、受聴者が耳などに装着する部分を小型化することができる。
本発明によれば、マスキングを考慮した感覚レベルと方向決定帯域とに基づき目標位置に音像を生じさせる制御フィルタ係数を算出することにより、多くの受聴者が容易に正しく音像定位することができる。
本発明の第1の実施の形態における音像定位装置のブロック図 本発明の第2の実施の形態における音像定位装置のブロック図 本発明の第3の実施の形態における音像定位装置のブロック図 本発明の第3の実施の形態の他の態様における音像定位装置のブロック図 本発明の第4の実施の形態における音像定位装置のブロック図 本発明の第4の実施の形態の第1の他の態様における音像定位装置のブロック図 本発明の第4の実施の形態の第2の他の態様における音像定位装置のブロック図 本発明の第5の実施の形態における音像定位装置のブロック図 本発明の第5の実施の形態の第1の他の態様における音像定位装置のブロック図 本発明の第5の実施の形態の第2の他の態様における音像定位装置のブロック図 本発明の第5の実施の形態の第3の他の態様における音像定位装置のブロック図 頭部伝達関数より算出した帯域レベルと方向決定帯域の例を示す図 頭部伝達関数より算出したマスキングを考慮した感覚レベルと方向決定帯域の例を示す図 制御フィルタ係数の例を示す図 従来の音像定位装置のブロック図
符号の説明
11 方向決定帯域情報記憶部(方向決定帯域情報記憶手段)
12 制御フィルタ算出部(制御フィルタ算出手段)
13 音像定位処理部(音像定位処理手段)
21 方向決定帯域情報記憶部(方向決定帯域情報記憶手段)
22 方向決定帯域情報選択部(方向決定帯域情報選択手段)
31 制御フィルタ算出部(制御フィルタ算出手段)
32 頭部伝達関数記憶部(頭部伝達関数記憶手段)
41、42 制御フィルタ算出部(制御フィルタ算出手段)
51 音源信号補正部(音源信号補正手段)
61 頭部伝達関数記憶部
62 頭部伝達関数選択部
63 音像定位処理部
まず、本発明の基本となる音像定位のための手がかり情報に関する理論について説明する。
背景技術で述べたように、頭部伝達関数を忠実に再現すれば、任意の位置に音像を定位させることが可能であることから、音像定位のための手がかり情報が頭部伝達関数の中に含まれていると考えられている。
上述の非特許文献1によれば、音像定位のための手がかり情報のうち、主に前後および上下方向の定位に関わる手がかり情報が、頭部伝達関数の振幅スペクトルに含まれていると考えられており、音像定位のための手がかり情報を解明するための研究も数多く行われている。
その一例として、Blauert(″Sound localization in the median plane,″Acustica,vol.22,pp.205−213,1969/70)は、狭帯域ノイズを正中面内から提示すると、生じる音像の方向は音源方向と関係なく、刺激の中心周波数に依存して知覚されることを示した。Blauertは、このような音像方向を決定する周波数帯域のことを方向決定帯域(Directional Band)と定義した。
さらに、音源が広帯域信号の場合にも、頭部伝達関数の卓越周波数帯域(Boosted Band)に依存して音像方向が知覚され、その方向は方向決定帯域の方向と一致するとの仮説を示した。
しかしながら、Blauertが示した方向決定帯域は、全被験者の実験結果を足し合わせたものであり、同様に卓越周波数帯域についても、頭部伝達関数の平均値に基づいたものである。したがって、頭部伝達関数の個人差については考慮されておらず、方向決定帯域と頭部伝達関数の関係が明確に示されたとはいえない。
本発明者は、方向決定帯域と頭部伝達関数の卓越周波数帯域との関連について被験者ごとに分析を行った。その結果、5kHz以上の周波数帯域においては、頭部伝達関数の卓越周波数帯域と、その方向の方向決定帯域が異なることを明らかにした。
一例として、ある被験者の頭部伝達関数より算出した帯域レベルと、後方の方向決定帯域を図12に示す。各線は、正中面内で正面を0度とし、上方向に30度ずつ音源の位置を変えたときの帯域レベルを示す。
この被験者は、11.2kHzが後方(図中180の線)の方向決定帯域であるが、この帯域では、図からも明らかなように、正面からやや上方(図中30の線)の帯域レベルが卓越しており、Blauertの仮説と一致しない。
このような不一致が生じた理由として、Blauertの仮説では、聴覚現象の一つであるマスキングを考慮していないことが考えられる。マスキングとは、日本音響学会による「音響用語辞典」(コロナ社)によると、ある音の最小可聴値が、他の音の存在によって上昇する現象とされている。特に、ある周波数成分の音が、この周波数成分の周辺、特により高い周波数の音をマスクする現象について、従来数多くの研究により明らかにされている。このマスキングに関しては、既に著名な文献として、ムーアによる「聴覚心理学概論」(誠信書房)が挙げられる。
頭部伝達関数に関しても、特に5kHz以上の周波数帯域において鋭い山や谷が生じるため、マスキングの影響が無視できないと考えられる。
そこで本発明者は、頭部伝達関数より、マスキングを考慮した感覚レベルを算出し、方向決定帯域との関係を解明することを試みた。感覚レベルとは、前出の「音響用語辞典」によると、音の強さのレベルを、その音の最小可聴値を基準として表したものと定義されている。マスキングを考慮した感覚レベルは、以下の手順により算出する。
まず、頭部伝達関数の各周波数成分が周辺周波数に及ぼすマスキング量を個別に算出する。これらを全て足し合わせることにより総マスキング量を算出する。マスキングを考慮した感覚レベルは、頭部伝達関数の各周波数成分のレベルから、総マスキング量のレベルを引くことで求める。
一例として、図13に図12の被験者の頭部伝達関数より算出したマスキングを考慮した感覚レベルと、後方の方向決定帯域を示す。なお、ここでは、ISO/IEC MPEG−1 Psychoacoustic Model(ISO/IEC 11172−3:1993(E))を参考に算出した750Hzの等間隔の帯域ごとの感覚レベルを示す。図12において、被験者の頭部伝達関数より算出した帯域レベルからマスキングの影響を補正して得られた帯域レベルがこのマスキングを考慮した感覚レベルに相当する。
図12の場合と異なり、後方(図中180の線)の数値が11625Hzで最大(5kHz以上の周波数帯域において)となっており、後方の方向決定帯域11.2kHzにほぼ一致する。
このように、本発明者は、音像定位の前後および上下方向の手がかり情報は、頭部伝達関数より算出されるマスキングを考慮した感覚レベルと、方向決定帯域との関係により説明できるとの結論に達した。より具体的には、ある方向の頭部伝達関数より算出されるマスキングを考慮した感覚レベルが最大となる帯域と、その方向の方向決定帯域が一致するということである。
以上の結果を踏まえると、任意の前後および上下方向に音像定位させるためには、必ずしも受聴者本人の頭部伝達関数は必要でなく、マスキングを考慮した感覚レベルと、方向決定帯域とを考慮して制御フィルタ係数を算出すればよいという結論が導かれる。より具体的には、制御フィルタ係数より算出されるマスキングを考慮した感覚レベルが最大となる周波数と、音像を定位させたい位置の方向決定帯域が一致するように制御フィルタ係数を算出すればよい。
また、たとえ頭部伝達関数が受聴者間で異なっていても、上記マスキングを考慮した感覚レベルと方向決定帯域との関係が同じであれば、共通の制御フィルタ係数を用いて同様な音像定位を行うことができることから、多くの受聴者が正しく音像定位することのできる音像定位装置を容易に実現できるといえる。
なお、従来技術(例えば、特許第3388235号)によると、音像の左右方向(上記特許において上昇角に相当)は、両耳間時間差および両耳間レベル差を用いることにより、前後および上下方向(上記特許において上方角に相当)とは独立に制御できることが明らかになっている。従って、本発明の音像定位装置に、上記両耳間時間差および両耳間レベル差を用いて音像の左右方向を制御する機能を付加することにより、三次元空間内の任意の位置に音像を定位させることが可能であることは明白である。
以下、本発明の実施の形態について、図面を参照して説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態の音像定位装置を示す図である。
図1において、本実施の形態の音像定位装置は、方向決定帯域の情報を記憶しておく方向決定帯域情報記憶手段を構成する方向決定帯域情報記憶部11と、入力された目標位置情報に対応した方向決定帯域の情報を方向決定帯域情報記憶部11から読み出して、読み出した方向決定帯域の情報に基づいて制御フィルタ係数を算出する制御フィルタ算出手段を構成する制御フィルタ算出部12と、入力された音源信号に対して、制御フィルタ算出部12が算出した制御フィルタ係数を用いて音像定位処理を行い、音像定位信号を出力する音像定位処理手段を構成する音像定位処理部13とを備えている。
このような音像定位装置において、方向決定帯域情報記憶部11には、予め算出された各方向ごとの方向決定帯域に関する情報が記憶されている。
そして、制御フィルタ算出部12は、目標位置情報を入力されると、目標位置情報に対応した方向決定帯域を方向決定帯域情報記憶部11から読み出し、マスキングを考慮した感覚レベルの最大値が読み出した方向決定帯域と一致するように制御フィルタ係数を算出する。
例えば、図14に示すように、方向決定帯域の両端の帯域を抑圧するフィルタであれば、方向決定帯域におけるマスキング量は減少するので、方向決定帯域におけるマスキングを考慮した感覚レベルは大きくなり、方向決定帯域に対応する位置に音像を定位させることができる。なお、方向決定帯域の両端の帯域のうちいずれか一方だけを抑圧するようにしても同様の効果が得られる。
制御フィルタ算出部12は、このようにして算出した制御フィルタ係数を音像定位処理部13に出力する。
音像定位処理部13は、制御フィルタ算出部12から制御フィルタ係数が入力されると、入力された音源信号に入力された制御フィルタ係数を畳み込んで音像定位処理を行い、音像定位された音響信号である音像定位信号を図示しないヘッドホンやスピーカなどの音響再生装置に出力する。
このように本実施の形態においては、目標位置の方向決定帯域から、この方向決定帯域でマスキングを考慮した感覚レベルが最大となるように制御フィルタ係数を算出し、算出した制御フィルタ係数を音源信号に畳み込んで音像定位を行っているので、測定に手間のかかる、またデータ量の多い頭部伝達関数を用いなくても容易に目標位置に音像を定位させることができる。
また、多くの人に適合する方向決定帯域を方向決定帯域情報記憶部11に記憶しておけば、多くの受聴者に正しく音像定位させることができる。
(第2の実施の形態)
次に、図2は本発明の第2の実施の形態の音像定位装置を示す図である。なお、本実施の形態は、上述の第1の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
本実施の形態の音像定位装置は、受聴者の身体的特徴等の受聴者情報に基づき、方向決定帯域が変化する要因となるような受聴者の特徴の情報を作成し出力する方向決定帯域情報選択手段を構成する方向決定帯域情報選択部22を備え、方向決定帯域情報記憶手段を構成する方向決定帯域情報記憶部21が、方向決定帯域が変化する要因となるような受聴者の特徴ごとに複数の方向決定帯域情報を記憶していて、方向決定帯域情報選択部22が出力する受聴者の特徴の情報に適合する方向決定帯域の情報を選択することを特徴としている。
具体的には、方向決定帯域情報記憶部21には、方向決定帯域が変化する要因となるような受聴者の特徴(例えば、耳の大きさや顔の輪郭など)を分類項目として、分類項目の特徴ごとに、予め算出された各方向ごとの方向決定帯域(方向決定帯域情報)が記憶されている。
方向決定帯域情報選択部22には、受聴者の身体的特徴を示す(顔や全身などの)画像情報が受聴者情報として入力され、方向決定帯域情報選択部22は、この画像情報から予め設定された方向決定帯域情報記憶部21に記憶されている方向決定帯域情報の分類項目となる方向決定帯域が変化する要因となるような受聴者の特徴(耳の大きさや顔の輪郭や身長など)を抽出し、受聴者の特徴の情報として方向決定帯域情報記憶部21に出力する。
方向決定帯域情報記憶部21は、入力された受聴者の特徴の情報に適合する方向決定帯域情報から、制御フィルタ算出部12の要求により、指定された方向の方向決定帯域を出力する。
制御フィルタ算出部12は、上述の実施の形態と同様に、入力された目標位置に対応する方向決定帯域を読み出し、制御フィルタ係数を算出して音像定位処理部13に出力する。
音像定位処理部13は、上述の実施の形態と同様に、制御フィルタ算出部12から制御フィルタ係数が入力されると、入力された音源信号に入力された制御フィルタ係数を畳み込んで出力する。
このように本実施の形態においては、方向決定帯域が変化する要因となるような受聴者の特徴ごとに方向決定帯域情報を複数用意し、受聴者の身体的特徴等の受聴者情報から方向決定帯域が変化する要因となるような受聴者の特徴を抽出し、抽出した受聴者の特徴に適合する方向決定帯域情報の方向決定帯域でマスキングを考慮した感覚レベルが最大となるように制御フィルタ係数を算出し、算出した制御フィルタ係数を音源信号に畳み込んで音像定位を行っているので、多くの受聴者に正しく音像定位させることができる。
なお、本実施の形態においては、受聴者情報として画像情報を入力し、画像情報から受聴者の特徴を抽出するようにしたが、方向決定帯域情報選択部22が、方向決定帯域が変化する要因となるような特徴点の項目(例えば、耳の大きさや顔の輪郭や身長など)を提示し、受聴者に各項目での自分の特徴を入力させ、入力された特徴に対応した方向決定帯域情報から指定された方向の方向決定帯域を選択するようにしてもよい。
また、受聴者の身体的特徴ではなく、音像定位に影響する聴覚的な特徴(例えば、方向決定帯域の違いなど)を分類項目としてもよい。
(第3の実施の形態)
次に、図3は本発明の第3の実施の形態の音像定位装置を示す図である。なお、本実施の形態は、上述の第1の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
本実施の形態の音像定位装置は、頭部伝達関数を記憶しておく頭部伝達関数記憶部32を備え、制御フィルタ算出手段を構成する制御フィルタ算出部31が、頭部伝達関数記憶手段を構成する頭部伝達関数記憶部32に記憶している頭部伝達関数からマスキングを考慮した感覚レベルを算出し、算出した感覚レベルの最大値が方向決定帯域情報記憶部11から読み出した方向決定帯域と一致するように頭部伝達関数を補正して制御フィルタ係数を算出することを特徴としている。
具体的には、上述の実施の形態と同様に、方向決定帯域情報記憶部11には、予め算出された各方向ごとの方向決定帯域が記憶されている。
頭部伝達関数記憶部32には、標準的な頭部伝達関数が記憶されている。
そして、制御フィルタ算出部31は、目標位置情報を入力されると、目標位置情報に対応した方向決定帯域を方向決定帯域情報記憶部11から読み出し、頭部伝達関数記憶部32から頭部伝達関数を読み出し、読み出した頭部伝達関数からマスキングを考慮した感覚レベルを算出し、算出した感覚レベルの最大値が読み出した方向決定帯域と一致するように頭部伝達関数を補正して制御フィルタ係数を算出して出力する。
音像定位処理部13は、上述の実施の形態と同様に、制御フィルタ算出部31から制御フィルタ係数が入力されると、入力された音源信号に入力された制御フィルタ係数を畳み込んで出力する。
このように本実施の形態においては、頭部伝達関数から算出したマスキングを考慮した感覚レベルの最大値が方向決定帯域と一致するように頭部伝達関数を補正して制御フィルタ係数を算出しているので、頭部伝達関数に含まれる個人差を方向決定帯域を基に補正することができ、多くの受聴者に正しく音像定位させることができる。
本実施の形態の他の態様としては、図4に示すように、方向決定帯域情報記憶部11の替わりに上述の第2の実施の形態の方向決定帯域情報記憶部21及び方向決定帯域情報選択部22を設けるようにする。このように構成することによって、頭部伝達関数に含まれる個人差を受聴者の特徴に対応した方向決定帯域を基に補正することができ、多くの受聴者に正しく音像定位させることができる。
なお、本実施の形態においては、標準的な頭部伝達関数を頭部伝達関数記憶部32に記憶したが、あらゆる方向に共通の特徴を含む全方向共通の頭部伝達関数を記憶するようにしてもよいし、上述の第2の実施の形態の方向決定帯域情報記憶部21のように、受聴者の特徴によって分類して複数の頭部伝達関数を記憶するようにしてもよい。
(第4の実施の形態)
次に、図5は本発明の第4の実施の形態の音像定位装置を示す図である。なお、本実施の形態は、上述の第1の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
本実施の形態の音像定位装置は、制御フィルタ算出手段を構成する制御フィルタ算出部41に音源信号が入力され、制御フィルタ算出部41は、音源信号から算出されるマスキングを考慮した感覚レベルに含まれる方向決定帯域以外での最大値を抑圧するような制御フィルタ係数を算出することを特徴としている。
具体的には、上述の実施の形態と同様に、方向決定帯域情報記憶部11には、予め算出された各方向ごとの方向決定帯域が記憶されている。
そして、制御フィルタ算出部41は、目標位置情報を入力されると、目標位置情報に対応した方向決定帯域を方向決定帯域情報記憶部11から読み出し、入力される音源信号からマスキングを考慮した感覚レベルを算出し、読み出した方向決定帯域以外の帯域で最大値があれば、その最大値を抑圧するように、かつ、上記マスキングを考慮した感覚レベルの最大値が読み出した方向決定帯域と一致するように制御フィルタ係数を算出して出力する。
音像定位処理部13は、上述の実施の形態と同様に、制御フィルタ算出部41から制御フィルタ係数が入力されると、入力された音源信号に入力された制御フィルタ係数を畳み込んで出力する。
このように本実施の形態においては、音源信号を分析し、目標位置の方向決定帯域以外の帯域でマスキングを考慮した感覚レベルの最大値がある場合は、その最大値を抑圧するように制御フィルタ係数を算出しているので、音源信号によらず容易に目標位置に音像を定位させることができる。
本実施の形態の第1の他の態様としては、図6に示すように、方向決定帯域情報記憶部11の替わりに上述の第2の実施の形態の方向決定帯域情報記憶部21及び方向決定帯域情報選択部22を設けるようにする。このように構成することによって、多くの受聴者に正しく音像定位させることができる。
本実施の形態の第2の他の態様としては、図7に示すように、上述の第3の実施の形態の頭部伝達関数記憶部32を備え、制御フィルタ算出手段を構成する制御フィルタ算出部42が、上述の第3の実施の形態同様、頭部伝達関数記憶部32に記憶している頭部伝達関数のマスキングを考慮した感覚レベルの最大値が方向決定帯域情報記憶部11から読み出した方向決定帯域と一致するように頭部伝達関数を補正して制御フィルタ係数を算出するようにする。このように構成することによって、多くの受聴者に正しく音像定位させることができる。
なお、本実施の形態においては、音源信号からマスキングを考慮した感覚レベルが、目標位置に対応する方向決定帯域とは異なる帯域で最大となれば、その最大値を抑圧するようにしたが、目標位置に対応する方向決定帯域とは異なる帯域において上記マスキングを考慮した感覚レベルと予め設定された値とを比較し、予め設定された値より大きいと判断された帯域のマスキングを考慮した感覚レベルは抑圧するようにしてもよい。
また、上記の方法に限らず、音源信号に含まれる、目標位置とは異なる位置に音像を定位させるような、音像定位の手がかり情報を抑圧する処理を設けてもよい。
(第5の実施の形態)
次に、図8は本発明の第5の実施の形態の音像定位装置を示す図である。なお、本実施の形態は、上述の第1の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
本実施の形態の音像定位装置は、入力される音源信号を周波数分析し、全帯域で音源信号の帯域レベルと予め設定された値を比較し、帯域レベルが予め設定された値より大きいと判断された帯域があればその帯域の帯域レベルを抑圧し、出力する音源信号補正手段を構成する音源信号補正部51を備えることを特徴とする。
具体的には、上述の実施の形態と同様に、方向決定帯域情報記憶部11には、予め算出された各方向ごとの方向決定帯域が記憶されている。
制御フィルタ算出部12は、上述の実施の形態と同様に、入力された目標位置に対応する方向決定帯域を読み出し、制御フィルタ係数を算出して音像定位処理部13に出力する。
音源信号補正部51は、入力される音源信号を周波数分析し、全帯域で音源信号の帯域レベルと予め設定された値を比較し、帯域レベルが予め設定された値より大きいと判断された帯域があれば、その帯域の帯域レベルを、例えば予め設定された値以下になるように抑圧して音像定位処理部13に出力する。
音像定位処理部13は、上述の実施の形態と同様に、制御フィルタ算出部12から制御フィルタ係数が入力されると、入力された音源信号(音源信号補正部51が補正した音源信号)に入力された制御フィルタ係数を畳み込んで出力する。
このように本実施の形態においては、音源信号を周波数分析し、いずれかの部分でレベルのピークがある場合は、そのレベルを抑圧してから、算出された制御フィルタ係数を畳み込んでいるので、音源信号によらず容易に目標位置に音像を定位させることができる。
なお、本実施の形態においては、音源信号の予め設定された値より大きいレベルの帯域を抑圧するようにしたが、音源信号のマスキングを考慮した感覚レベルを算出し、感覚レベルと予め設定した値を比較し、感覚レベルが予め設定された値より大きいと判断された帯域の感覚レベルを抑圧するようにしてもよい。
また、音源信号補正部51に制御フィルタ算出部12から目標位置の方向決定帯域を入力させ、入力された方向決定帯域以外の帯域での最大値を抑圧するようにしてもよい。
また、上記の方法に限らず、音源信号に含まれる、目標位置とは異なる位置に音像を定位させるような、音像定位の手がかり情報を抑圧する処理を設けてもよい。
また、帯域を複数に分割し、帯域ごとに抑圧をかけるための閾値を設けるようにしてもよい。
本実施の形態の第1の他の態様としては、図9に示すように、方向決定帯域情報記憶部11の替わりに上述の第2の実施の形態の方向決定帯域情報記憶部21及び方向決定帯域情報選択部22を設けるようにする。このように構成することによって、多くの受聴者に正しく音像定位させることができる。
本実施の形態の第2の他の態様としては、図10に示すように、上述の第3の実施の形態の制御フィルタ算出部31と頭部伝達関数記憶部32とを備え、制御フィルタ算出部31が、上述の第3の実施の形態同様、頭部伝達関数記憶部32に記憶している頭部伝達関数のマスキングを考慮した感覚レベルの最大値が方向決定帯域情報記憶部11から読み出した方向決定帯域と一致するように頭部伝達関数を補正して制御フィルタ係数を算出するようにする。このように構成することによって、多くの受聴者に正しく音像定位させることができる。
本実施の形態の第3の他の態様としては、図11に示すように、上述の従来の音像定位装置における方向決定帯域情報記憶部61、頭部伝達関数選択部62および音像定位処理部63を設けるようにする。このように構成することによって、従来の音像定位装置と同様の方式であっても、多くの受聴者に対して目標位置に正しく音像定位させることができる。
このように本実施の形態においては、入力される音源信号を周波数分析し、全帯域で音源信号の帯域レベルと予め設定された値を比較し、帯域レベルが予め設定された値より大きいと判断された帯域があればその帯域の帯域レベルを抑圧し、出力する音源信号補正部51を備えているので、入力された音源信号に、例えば目標位置とは異なる位置に音像を定位させる音像定位の手がかり情報が含まれたとしても、目標位置に正しく音像定位させることができる。
なお、「聴覚心理学概論」によれば、人間の聴覚は「聴覚フィルタ」と呼ばれる帯域通過フィルタと類似した機能を有し、耳に入力される信号の周波数成分に対して、ある種の平滑化を行っていることが明らかになっている。つまり、上述の各実施の形態において、制御フィルタ算出部は、入力される音源信号の周波数特性、頭部伝達関数、マスキングを考慮した感覚レベル、方向決定帯域に関して、その周波数成分の詳細までは考慮しなくても、聴覚上は十分な精度の制御フィルタ係数を算出することができるといえる。
したがって、制御フィルタ算出部は、入力される音源信号の周波数特性、頭部伝達関数、マスキングを考慮した感覚レベル、方向決定帯域のうち少なくとも一つを複数の帯域に分割し、各帯域ごとの帯域レベルあるいは帯域情報を基に制御フィルタ係数を算出してもよい。また、制御フィルタ係数を各帯域ごとに算出してもよい。
また、制御フィルタ算出部は、必要な制御フィルタ係数を予め算出しておき、目標位置に応じて制御フィルタ係数を選択し、音像定位処理部に出力してもよい。
また、上述の各実施の形態において、音像定位処理部を除いた各部を、制御フィルタ算出を行う音像定位補助装置としてもよいし、通信等により制御フィルタ情報を提供する音像定位情報サーバとしてもよい。このように構成することによって、本発明の音像定位装置は、音像定位処理部と音像定位補助装置とを独立して構成し、音像定位補助装置は算出したフィルタ係数を遠隔から音像定位処理部に提供することができるので、受聴者が耳などに装着する部分を小型化することができる。
また、第5の実施の形態における音源信号補正部51を、独立した音源信号補正装置としてもよい。
以上のように、本発明にかかる音像定位装置は、多くの受聴者が容易に正しく音像定位することができるという効果を有し、携帯電話、ゲーム機、CD(Compact Disc)プレーヤなどの音声再生を行う装置全般において、三次元空間の任意の位置に音像を生じさせる場合に有用である。
本発明は、三次元空間の任意の位置に音像を生じさせる音像定位装置に関するものである。
従来、スピーカやヘッドホンなどの音響再生装置を用い、三次元空間内の任意の位置に音像を定位させる技術については数多く研究されている。
これらの研究により音像を定位させたい位置から受聴者の耳までの音響伝達特性を忠実に再現し、音源信号に畳み込んで受聴者に提示することにより、所望の位置に音像を定位させることが可能であることが明らかになっている。
この音響伝達特性とは、壁などでの反射、回折、散乱等による伝達特性を表す空間伝達関数や、受聴者の頭部や胴体での反射、回折、散乱等による伝達特性を表す頭部伝達関数などに分けられる。
このうち頭部伝達関数を用いた音像定位については、受聴者の頭部伝達関数を忠実に再現し、音源信号に畳み込んで受聴者に提示することによって任意の位置に音像を定位させることができることが明らかになっている(例えば、非特許文献1参照)。
この頭部伝達関数を用いた従来の音像定位装置では、受聴者固有の頭部伝達関数を正確に測定し、これを忠実に再現して音像定位を行うものや、標準的な頭部伝達関数をあらゆる受聴者に対して共通に用いて音像定位を行うものがある。
図15は、従来の音像定位装置を示すブロック図である。
図15において、従来の音像定位装置は、音像を定位させたい方向ごとに作成された頭部伝達関数を記憶しておく頭部伝達関数記憶部61と、音像を定位させる目標位置情報に基づき頭部伝達関数を選択する頭部伝達関数選択部62と、選択された頭部伝達関数に基づいて音像定位処理を行って出力する音像定位処理部63とを備えている。
ここで、頭部伝達関数記憶部61に記憶する頭部伝達関数は、受聴者固有のものでもよいし、あらゆる受聴者に対して共通に用いる標準的なものであってもよい。
このような音像定位装置において、入力された音源信号は、入力された目標位置情報に基づいて選択された頭部伝達関数を畳み込まれて、音像定位された音響信号である音像定位信号としてヘッドホンやスピーカなどの音響再生装置に出力される。
このように、従来の音像定位装置においては、受聴者固有の、あるいは標準的な頭部伝達関数を用いて、音像定位を行うことができる。
イェンス ブラウエルト・森本政之・後藤敏幸編著「空間音響」鹿島出版会、昭和61年7月10日
しかしながら、従来の頭部伝達関数を用いる音像定位装置においては、3つの問題点がある。
第1に、頭部伝達関数には個人差があり、本人のものではない頭部伝達関数を用いた場合には目標とする位置に正しく音像定位させることができない場合があることが明らかになっている。したがって、標準的な頭部伝達関数をあらゆる受聴者に対して共通に用いる音像定位装置では、正しく音像定位できない受聴者が発生してしまうという問題があった。特にこの場合、音像の前後および上下方向の位置が、目標位置とは異なることが明らかになっている。
第2に、頭部伝達関数を測定するためには特殊な装置等が必要であり、あらゆる受聴者に対して本人の頭部伝達関数を測定することは現実的に不可能であり、受聴者本人の頭部伝達関数を用いる音像定位装置は容易には作成できないという問題があった。
第3に、入力された音源信号に、目標位置とは異なる位置に音像を定位させる音像定位の手がかり情報が含まれている場合、音像定位処理を行っても目標位置に正しく音像定位させることができない場合があるという問題があった。
本発明は、従来の問題を解決するためになされたもので、多くの受聴者が容易に正しく音像定位することのできる音像定位装置を提供することを目的とする。
本発明の音像定位装置は、方向決定帯域に関する情報を記憶する方向決定帯域情報記憶手段と、入力された目標位置に対応する前記方向決定帯域を前記方向決定帯域情報記憶手段から読み出し、読み出した前記方向決定帯域とマスキングを考慮した感覚レベルとに基づいて制御フィルタ係数を算出する制御フィルタ算出手段と、入力された音源信号に対して前記制御フィルタ係数を用いて音像定位処理を行う音像定位処理手段とを備える構成を有している。
この構成により、本発明の音像定位装置は、入力された目標位置に対応する方向決定帯域とマスキングを考慮した感覚レベルとに基づいて制御フィルタ係数が算出され、算出された制御フィルタ係数を用いて音像定位処理が行われる。したがって、頭部伝達関数を用いずに、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記マスキングを考慮した感覚レベルが最大値をとる周波数を、前記目標位置に対応する方向決定帯域と一致させるように前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、マスキングを考慮した感覚レベルの最大値をとる周波数を目標位置に対応する方向決定帯域と一致させるように制御フィルタ係数が算出される。したがって、頭部伝達関数を用いずに、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、頭部伝達関数を記憶する頭部伝達関数記憶手段を備え、前記制御フィルタ算出手段は、前記頭部伝達関数記憶手段から取得した頭部伝達関数と、前記マスキングを考慮した感覚レベルと、前記目標位置に対応する方向決定帯域とに基づいて前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、頭部伝達関数と入力された目標位置に対応する方向決定帯域とマスキングを考慮した感覚レベルとに基づいて制御フィルタ係数が算出され、算出された制御フィルタ係数を用いて音像定位処理が行われる。したがって、目標位置対応に頭部伝達関数を用意せずに、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記頭部伝達関数に基づいて算出した前記マスキングを考慮した感覚レベルが最大値をとる周波数を、前記目標位置に対応する方向決定帯域と一致させるように前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、頭部伝達関数が、マスキングを考慮した感覚レベルと目標位置に対応する方向決定帯域により補正されて制御フィルタ係数が算出される。したがって、標準の頭部伝達関数を用意するだけで、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記マスキングを考慮した感覚レベルと、前記目標位置に対応する方向決定帯域との少なくとも1つを複数の帯域に分割し、各帯域ごとの帯域レベルまたは帯域情報に基づいて前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、マスキングを考慮した感覚レベルと、目標位置に対応する方向決定帯域との少なくとも1つが複数の帯域に分割され、各帯域ごとに制御フィルタ係数が算出される。したがって、より単純な周波数特性の制御フィルタ係数を算出することで音像を定位させることができ、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記頭部伝達関数と、前記マスキングを考慮した感覚レベルと、前記目標位置に対応する方向決定帯域との少なくとも1つを複数の帯域に分割し、各帯域ごとの帯域レベルまたは帯域情報に基づいて前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、頭部伝達関数と、マスキングを考慮した感覚レベルと、目標位置に対応する方向決定帯域との少なくとも1つが複数の帯域に分割され、各帯域ごとに制御フィルタ係数が算出される。したがって、より単純な周波数特性の制御フィルタ係数を算出することで音像を定位させることができ、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記音源信号の周波数特性に基づき、前記目標位置に対応する方向決定帯域以外の帯域にあるマスキングを考慮した感覚レベルの最大値を抑圧するように前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、音源信号の方向決定帯域以外の帯域のレベルのピークが抑圧される。したがって、どんな音源信号に対しても正しく音像定位させることができる。
さらに、前記制御フィルタ算出手段は、前記音源信号の周波数特性に基づき、前記目標位置に対応する方向決定帯域以外の帯域にあるマスキングを考慮した感覚レベルと予め設定された値とを比較し、予め設定された値より大きい帯域のマスキングを考慮した感覚レベルは抑圧するように前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、音源信号の方向決定帯域以外の帯域のレベルのピークが抑圧される。したがって、どんな音源信号に対しても正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記音源信号の周波数特性を複数の帯域に分割し、各帯域ごとの帯域レベルまたは帯域情報に基づいて前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、音源信号の周波数特性が複数の帯域に分割され、各帯域ごとに制御フィルタ係数が算出される。したがって、より単純な周波数特性の制御フィルタ係数を算出することで音像を定位させることができ、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記制御フィルタ係数として、前記目標位置に対応する方向決定帯域の両端の帯域のうち、少なくとも一方の帯域を抑圧する制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、より簡単な制御フィルタ係数を算出することで音像を定位させることができ、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記制御フィルタ算出手段は、前記制御フィルタ係数を複数の帯域に分割し、各帯域ごとに前記制御フィルタ係数を算出する構成としてもよい。
この構成により、本発明の音像定位装置は、制御フィルタ係数が複数の帯域に分割されて算出される。したがって、より単純な周波数特性の制御フィルタ係数を算出することで音像を定位させることができ、容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記方向決定帯域情報記憶手段は、受聴者の特徴により分類された複数の受聴者群ごとに前記方向決定帯域情報を記憶し、入力された受聴者の情報に基づいて前記受聴者群ごとの方向決定帯域情報から適合する前記方向決定帯域情報を前記方向決定帯域情報記憶手段に選択させる方向決定帯域情報選択手段を備える構成としてもよい。
この構成により、本発明の音像定位装置は、受聴者の特徴に適合した方向決定帯域情報が選択され、制御フィルタ係数が算出される。したがって、より多くの人に対して容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記方向決定帯域情報記憶手段は、受聴者の身体的特徴により分類された複数の受聴者群ごとに前記方向決定帯域情報を記憶する構成としてもよい。
この構成により、本発明の音像定位装置は、受聴者の身体的特徴に適合した方向決定帯域情報が選択され、制御フィルタ係数が算出される。したがって、より多くの人に対して容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、前記方向決定帯域情報選択手段は、入力された受聴者の画像データから前記身体的特徴を抽出し、抽出した前記身体的特徴に基づいて前記受聴者群ごとの方向決定帯域情報から適合する前記方向決定帯域情報を前記方向決定帯域情報記憶手段に選択させる構成としてもよい。
この構成により、本発明の音像定位装置は、入力された受聴者の画像データから身体的特徴が抽出され、抽出された身体的特徴に適合した方向決定帯域情報が選択され、制御フィルタ係数が算出される。したがって、より多くの人に対して容易に正しく音像定位させることができる。
また、本発明の音像定位装置は、入力される音源信号を周波数分析し、前記音源信号に含まれる、前記目標位置とは異なる位置に音像を定位させる音像定位の手がかり情報を抑圧することにより前記音源信号を補正する音源信号補正手段を備え、前記音像定位処理手段は、前記音源信号補正手段により補正された前記音源信号に対して音像定位処理を行う構成を有してもよい。
この構成により、本発明の音像定位装置は、音源信号を周波数分析し、いずれかの部分でレベルのピークがある場合は、そのレベルを抑圧してから、算出された制御フィルタ係数を畳み込んでいるので、音源信号によらず容易に目標位置に音像を定位させることができる。
また、本発明の音像定位装置は、前記音源信号補正手段は、入力される音源信号を周波数分析し、帯域ごとに音源信号の帯域レベルと予め設定された値とを比較し、帯域レベルが予め設定された値より大きいと判断された帯域があればその帯域の帯域レベルを抑圧することにより前記音源信号を補正する構成を有してもよい。
この構成により、本発明の音像定位装置は、音源信号を周波数分析し、いずれかの部分でレベルのピークがある場合は、そのレベルを抑圧してから、算出された制御フィルタ係数を畳み込んでいるので、音源信号によらず容易に目標位置に音像を定位させることができる。
また、本発明の音像定位装置は、前記音源信号補正手段は、入力される音源信号を周波数分析し、帯域ごとに音源信号のマスキングを考慮した感覚レベルを算出し、感覚レベルと予め設定した値を比較し、感覚レベルが予め設定された値より大きいと判断された帯域の感覚レベルを抑圧することにより前記音源信号を補正する構成を有してもよい。
この構成により、本発明の音像定位装置は、音源信号を周波数分析し、いずれかの部分でレベルのピークがある場合は、そのレベルを抑圧してから、算出された制御フィルタ係数を畳み込んでいるので、音源信号によらず容易に目標位置に音像を定位させることができる。
また、本発明の音像定位装置は、前記方向決定帯域情報記憶手段と前記制御フィルタ算出手段は音像定位補助装置を構成し、前記音像定位補助装置は前記音像定位処理手段と通信をして前記音像定位処理手段に前記フィルタ係数を伝達することを特徴とする構成を有してもよい。
この構成により、本発明の音像定位装置は、音像定位処理手段と音像定位補助装置とを独立して構成し、音像定位補助装置は算出したフィルタ係数を遠隔から音像定位処理手段に提供することができるので、受聴者が耳などに装着する部分を小型化することができる。
本発明によれば、マスキングを考慮した感覚レベルと方向決定帯域とに基づき目標位置に音像を生じさせる制御フィルタ係数を算出することにより、多くの受聴者が容易に正しく音像定位することができる。
まず、本発明の基本となる音像定位のための手がかり情報に関する理論について説明する。
背景技術で述べたように、頭部伝達関数を忠実に再現すれば、任意の位置に音像を定位させることが可能であることから、音像定位のための手がかり情報が頭部伝達関数の中に含まれていると考えられている。
上述の非特許文献1によれば、音像定位のための手がかり情報のうち、主に前後および上下方向の定位に関わる手がかり情報が、頭部伝達関数の振幅スペクトルに含まれていると考えられており、音像定位のための手がかり情報を解明するための研究も数多く行われている。
その一例として、Blauert("Sound localization in the median plane," Acustica, vol. 22, pp.205-213, 1969/70)は、狭帯域ノイズを正中面内から提示すると、生じる音像の方向は音源方向と関係なく、刺激の中心周波数に依存して知覚されることを示した。Blauertは、このような音像方向を決定する周波数帯域のことを方向決定帯域(Directional Band)と定義した。
さらに、音源が広帯域信号の場合にも、頭部伝達関数の卓越周波数帯域(Boosted Band)に依存して音像方向が知覚され、その方向は方向決定帯域の方向と一致するとの仮説を示した。
しかしながら、Blauertが示した方向決定帯域は、全被験者の実験結果を足し合わせたものであり、同様に卓越周波数帯域についても、頭部伝達関数の平均値に基づいたものである。したがって、頭部伝達関数の個人差については考慮されておらず、方向決定帯域と頭部伝達関数の関係が明確に示されたとはいえない。
本発明者は、方向決定帯域と頭部伝達関数の卓越周波数帯域との関連について被験者ごとに分析を行った。その結果、5kHz以上の周波数帯域においては、頭部伝達関数の卓越周波数帯域と、その方向の方向決定帯域が異なることを明らかにした。
一例として、ある被験者の頭部伝達関数より算出した帯域レベルと、後方の方向決定帯域を図12に示す。各線は、正中面内で正面を0度とし、上方向に30度ずつ音源の位置を変えたときの帯域レベルを示す。
この被験者は、11.2kHzが後方(図中180の線)の方向決定帯域であるが、この帯域では、図からも明らかなように、正面からやや上方(図中30の線)の帯域レベルが卓越しており、Blauertの仮説と一致しない。
このような不一致が生じた理由として、Blauertの仮説では、聴覚現象の一つであるマスキングを考慮していないことが考えられる。マスキングとは、日本音響学会による「音響用語辞典」(コロナ社)によると、ある音の最小可聴値が、他の音の存在によって上昇する現象とされている。特に、ある周波数成分の音が、この周波数成分の周辺、特により高い周波数の音をマスクする現象について、従来数多くの研究により明らかにされている。このマスキングに関しては、既に著名な文献として、ムーアによる「聴覚心理学概論」(誠信書房)が挙げられる。
頭部伝達関数に関しても、特に5kHz以上の周波数帯域において鋭い山や谷が生じるため、マスキングの影響が無視できないと考えられる。
そこで本発明者は、頭部伝達関数より、マスキングを考慮した感覚レベルを算出し、方向決定帯域との関係を解明することを試みた。感覚レベルとは、前出の「音響用語辞典」によると、音の強さのレベルを、その音の最小可聴値を基準として表したものと定義されている。マスキングを考慮した感覚レベルは、以下の手順により算出する。
まず、頭部伝達関数の各周波数成分が周辺周波数に及ぼすマスキング量を個別に算出する。これらを全て足し合わせることにより総マスキング量を算出する。マスキングを考慮した感覚レベルは、頭部伝達関数の各周波数成分のレベルから、総マスキング量のレベルを引くことで求める。
一例として、図13に図12の被験者の頭部伝達関数より算出したマスキングを考慮した感覚レベルと、後方の方向決定帯域を示す。なお、ここでは、ISO/IEC MPEG-1 Psychoacoustic Model(ISO/IEC 11172-3:1993(E))を参考に算出した750Hzの等間隔の帯域ごとの感覚レベルを示す。図12において、被験者の頭部伝達関数より算出した帯域レベルからマスキングの影響を補正して得られた帯域レベルがこのマスキングを考慮した感覚レベルに相当する。
図12の場合と異なり、後方(図中180の線)の数値が11625Hzで最大(5kHz以上の周波数帯域において)となっており、後方の方向決定帯域11.2kHzにほぼ一致する。
このように、本発明者は、音像定位の前後および上下方向の手がかり情報は、頭部伝達関数より算出されるマスキングを考慮した感覚レベルと、方向決定帯域との関係により説明できるとの結論に達した。より具体的には、ある方向の頭部伝達関数より算出されるマスキングを考慮した感覚レベルが最大となる帯域と、その方向の方向決定帯域が一致するということである。
以上の結果を踏まえると、任意の前後および上下方向に音像定位させるためには、必ずしも受聴者本人の頭部伝達関数は必要でなく、マスキングを考慮した感覚レベルと、方向決定帯域とを考慮して制御フィルタ係数を算出すればよいという結論が導かれる。より具体的には、制御フィルタ係数より算出されるマスキングを考慮した感覚レベルが最大となる周波数と、音像を定位させたい位置の方向決定帯域が一致するように制御フィルタ係数を算出すればよい。
また、たとえ頭部伝達関数が受聴者間で異なっていても、上記マスキングを考慮した感覚レベルと方向決定帯域との関係が同じであれば、共通の制御フィルタ係数を用いて同様な音像定位を行うことができることから、多くの受聴者が正しく音像定位することのできる音像定位装置を容易に実現できるといえる。
なお、従来技術(例えば、特許第3388235号)によると、音像の左右方向(上記特許において上昇角に相当)は、両耳間時間差および両耳間レベル差を用いることにより、前後および上下方向(上記特許において上方角に相当)とは独立に制御できることが明らかになっている。従って、本発明の音像定位装置に、上記両耳間時間差および両耳間レベル差を用いて音像の左右方向を制御する機能を付加することにより、三次元空間内の任意の位置に音像を定位させることが可能であることは明白である。
以下、本発明の実施の形態について、図面を参照して説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態の音像定位装置を示す図である。
図1において、本実施の形態の音像定位装置は、方向決定帯域の情報を記憶しておく方向決定帯域情報記憶手段を構成する方向決定帯域情報記憶部11と、入力された目標位置情報に対応した方向決定帯域の情報を方向決定帯域情報記憶部11から読み出して、読み出した方向決定帯域の情報に基づいて制御フィルタ係数を算出する制御フィルタ算出手段を構成する制御フィルタ算出部12と、入力された音源信号に対して、制御フィルタ算出部12が算出した制御フィルタ係数を用いて音像定位処理を行い、音像定位信号を出力する音像定位処理手段を構成する音像定位処理部13とを備えている。
このような音像定位装置において、方向決定帯域情報記憶部11には、予め算出された各方向ごとの方向決定帯域に関する情報が記憶されている。
そして、制御フィルタ算出部12は、目標位置情報を入力されると、目標位置情報に対応した方向決定帯域を方向決定帯域情報記憶部11から読み出し、マスキングを考慮した感覚レベルの最大値が読み出した方向決定帯域と一致するように制御フィルタ係数を算出する。
例えば、図14に示すように、方向決定帯域の両端の帯域を抑圧するフィルタであれば、方向決定帯域におけるマスキング量は減少するので、方向決定帯域におけるマスキングを考慮した感覚レベルは大きくなり、方向決定帯域に対応する位置に音像を定位させることができる。なお、方向決定帯域の両端の帯域のうちいずれか一方だけを抑圧するようにしても同様の効果が得られる。
制御フィルタ算出部12は、このようにして算出した制御フィルタ係数を音像定位処理部13に出力する。
音像定位処理部13は、制御フィルタ算出部12から制御フィルタ係数が入力されると、入力された音源信号に入力された制御フィルタ係数を畳み込んで音像定位処理を行い、音像定位された音響信号である音像定位信号を図示しないヘッドホンやスピーカなどの音響再生装置に出力する。
このように本実施の形態においては、目標位置の方向決定帯域から、この方向決定帯域でマスキングを考慮した感覚レベルが最大となるように制御フィルタ係数を算出し、算出した制御フィルタ係数を音源信号に畳み込んで音像定位を行っているので、測定に手間のかかる、またデータ量の多い頭部伝達関数を用いなくても容易に目標位置に音像を定位させることができる。
また、多くの人に適合する方向決定帯域を方向決定帯域情報記憶部11に記憶しておけば、多くの受聴者に正しく音像定位させることができる。
(第2の実施の形態)
次に、図2は本発明の第2の実施の形態の音像定位装置を示す図である。なお、本実施の形態は、上述の第1の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
本実施の形態の音像定位装置は、受聴者の身体的特徴等の受聴者情報に基づき、方向決定帯域が変化する要因となるような受聴者の特徴の情報を作成し出力する方向決定帯域情報選択手段を構成する方向決定帯域情報選択部22を備え、方向決定帯域情報記憶手段を構成する方向決定帯域情報記憶部21が、方向決定帯域が変化する要因となるような受聴者の特徴ごとに複数の方向決定帯域情報を記憶していて、方向決定帯域情報選択部22が出力する受聴者の特徴の情報に適合する方向決定帯域の情報を選択することを特徴としている。
具体的には、方向決定帯域情報記憶部21には、方向決定帯域が変化する要因となるような受聴者の特徴(例えば、耳の大きさや顔の輪郭など)を分類項目として、分類項目の特徴ごとに、予め算出された各方向ごとの方向決定帯域(方向決定帯域情報)が記憶されている。
方向決定帯域情報選択部22には、受聴者の身体的特徴を示す(顔や全身などの)画像情報が受聴者情報として入力され、方向決定帯域情報選択部22は、この画像情報から予め設定された方向決定帯域情報記憶部21に記憶されている方向決定帯域情報の分類項目となる方向決定帯域が変化する要因となるような受聴者の特徴(耳の大きさや顔の輪郭や身長など)を抽出し、受聴者の特徴の情報として方向決定帯域情報記憶部21に出力する。
方向決定帯域情報記憶部21は、入力された受聴者の特徴の情報に適合する方向決定帯域情報から、制御フィルタ算出部12の要求により、指定された方向の方向決定帯域を出力する。
制御フィルタ算出部12は、上述の実施の形態と同様に、入力された目標位置に対応する方向決定帯域を読み出し、制御フィルタ係数を算出して音像定位処理部13に出力する。
音像定位処理部13は、上述の実施の形態と同様に、制御フィルタ算出部12から制御フィルタ係数が入力されると、入力された音源信号に入力された制御フィルタ係数を畳み込んで出力する。
このように本実施の形態においては、方向決定帯域が変化する要因となるような受聴者の特徴ごとに方向決定帯域情報を複数用意し、受聴者の身体的特徴等の受聴者情報から方向決定帯域が変化する要因となるような受聴者の特徴を抽出し、抽出した受聴者の特徴に適合する方向決定帯域情報の方向決定帯域でマスキングを考慮した感覚レベルが最大となるように制御フィルタ係数を算出し、算出した制御フィルタ係数を音源信号に畳み込んで音像定位を行っているので、多くの受聴者に正しく音像定位させることができる。
なお、本実施の形態においては、受聴者情報として画像情報を入力し、画像情報から受聴者の特徴を抽出するようにしたが、方向決定帯域情報選択部22が、方向決定帯域が変化する要因となるような特徴点の項目(例えば、耳の大きさや顔の輪郭や身長など)を提示し、受聴者に各項目での自分の特徴を入力させ、入力された特徴に対応した方向決定帯域情報から指定された方向の方向決定帯域を選択するようにしてもよい。
また、受聴者の身体的特徴ではなく、音像定位に影響する聴覚的な特徴(例えば、方向決定帯域の違いなど)を分類項目としてもよい。
(第3の実施の形態)
次に、図3は本発明の第3の実施の形態の音像定位装置を示す図である。なお、本実施の形態は、上述の第1の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
本実施の形態の音像定位装置は、頭部伝達関数を記憶しておく頭部伝達関数記憶部32を備え、制御フィルタ算出手段を構成する制御フィルタ算出部31が、頭部伝達関数記憶手段を構成する頭部伝達関数記憶部32に記憶している頭部伝達関数からマスキングを考慮した感覚レベルを算出し、算出した感覚レベルの最大値が方向決定帯域情報記憶部11から読み出した方向決定帯域と一致するように頭部伝達関数を補正して制御フィルタ係数を算出することを特徴としている。
具体的には、上述の実施の形態と同様に、方向決定帯域情報記憶部11には、予め算出された各方向ごとの方向決定帯域が記憶されている。
頭部伝達関数記憶部32には、標準的な頭部伝達関数が記憶されている。
そして、制御フィルタ算出部31は、目標位置情報を入力されると、目標位置情報に対応した方向決定帯域を方向決定帯域情報記憶部11から読み出し、頭部伝達関数記憶部32から頭部伝達関数を読み出し、読み出した頭部伝達関数からマスキングを考慮した感覚レベルを算出し、算出した感覚レベルの最大値が読み出した方向決定帯域と一致するように頭部伝達関数を補正して制御フィルタ係数を算出して出力する。
音像定位処理部13は、上述の実施の形態と同様に、制御フィルタ算出部31から制御フィルタ係数が入力されると、入力された音源信号に入力された制御フィルタ係数を畳み込んで出力する。
このように本実施の形態においては、頭部伝達関数から算出したマスキングを考慮した感覚レベルの最大値が方向決定帯域と一致するように頭部伝達関数を補正して制御フィルタ係数を算出しているので、頭部伝達関数に含まれる個人差を方向決定帯域を基に補正することができ、多くの受聴者に正しく音像定位させることができる。
本実施の形態の他の態様としては、図4に示すように、方向決定帯域情報記憶部11の替わりに上述の第2の実施の形態の方向決定帯域情報記憶部21及び方向決定帯域情報選択部22を設けるようにする。このように構成することによって、頭部伝達関数に含まれる個人差を受聴者の特徴に対応した方向決定帯域を基に補正することができ、多くの受聴者に正しく音像定位させることができる。
なお、本実施の形態においては、標準的な頭部伝達関数を頭部伝達関数記憶部32に記憶したが、あらゆる方向に共通の特徴を含む全方向共通の頭部伝達関数を記憶するようにしてもよいし、上述の第2の実施の形態の方向決定帯域情報記憶部21のように、受聴者の特徴によって分類して複数の頭部伝達関数を記憶するようにしてもよい。
(第4の実施の形態)
次に、図5は本発明の第4の実施の形態の音像定位装置を示す図である。なお、本実施の形態は、上述の第1の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
本実施の形態の音像定位装置は、制御フィルタ算出手段を構成する制御フィルタ算出部41に音源信号が入力され、制御フィルタ算出部41は、音源信号から算出されるマスキングを考慮した感覚レベルに含まれる方向決定帯域以外での最大値を抑圧するような制御フィルタ係数を算出することを特徴としている。
具体的には、上述の実施の形態と同様に、方向決定帯域情報記憶部11には、予め算出された各方向ごとの方向決定帯域が記憶されている。
そして、制御フィルタ算出部41は、目標位置情報を入力されると、目標位置情報に対応した方向決定帯域を方向決定帯域情報記憶部11から読み出し、入力される音源信号からマスキングを考慮した感覚レベルを算出し、読み出した方向決定帯域以外の帯域で最大値があれば、その最大値を抑圧するように、かつ、上記マスキングを考慮した感覚レベルの最大値が読み出した方向決定帯域と一致するように制御フィルタ係数を算出して出力する。
音像定位処理部13は、上述の実施の形態と同様に、制御フィルタ算出部41から制御フィルタ係数が入力されると、入力された音源信号に入力された制御フィルタ係数を畳み込んで出力する。
このように本実施の形態においては、音源信号を分析し、目標位置の方向決定帯域以外の帯域でマスキングを考慮した感覚レベルの最大値がある場合は、その最大値を抑圧するように制御フィルタ係数を算出しているので、音源信号によらず容易に目標位置に音像を定位させることができる。
本実施の形態の第1の他の態様としては、図6に示すように、方向決定帯域情報記憶部11の替わりに上述の第2の実施の形態の方向決定帯域情報記憶部21及び方向決定帯域情報選択部22を設けるようにする。このように構成することによって、多くの受聴者に正しく音像定位させることができる。
本実施の形態の第2の他の態様としては、図7に示すように、上述の第3の実施の形態の頭部伝達関数記憶部32を備え、制御フィルタ算出手段を構成する制御フィルタ算出部42が、上述の第3の実施の形態同様、頭部伝達関数記憶部32に記憶している頭部伝達関数のマスキングを考慮した感覚レベルの最大値が方向決定帯域情報記憶部11から読み出した方向決定帯域と一致するように頭部伝達関数を補正して制御フィルタ係数を算出するようにする。このように構成することによって、多くの受聴者に正しく音像定位させることができる。
なお、本実施の形態においては、音源信号からマスキングを考慮した感覚レベルが、目標位置に対応する方向決定帯域とは異なる帯域で最大となれば、その最大値を抑圧するようにしたが、目標位置に対応する方向決定帯域とは異なる帯域において上記マスキングを考慮した感覚レベルと予め設定された値とを比較し、予め設定された値より大きいと判断された帯域のマスキングを考慮した感覚レベルは抑圧するようにしてもよい。
また、上記の方法に限らず、音源信号に含まれる、目標位置とは異なる位置に音像を定位させるような、音像定位の手がかり情報を抑圧する処理を設けてもよい。
(第5の実施の形態)
次に、図8は本発明の第5の実施の形態の音像定位装置を示す図である。なお、本実施の形態は、上述の第1の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
本実施の形態の音像定位装置は、入力される音源信号を周波数分析し、全帯域で音源信号の帯域レベルと予め設定された値を比較し、帯域レベルが予め設定された値より大きいと判断された帯域があればその帯域の帯域レベルを抑圧し、出力する音源信号補正手段を構成する音源信号補正部51を備えることを特徴とする。
具体的には、上述の実施の形態と同様に、方向決定帯域情報記憶部11には、予め算出された各方向ごとの方向決定帯域が記憶されている。
制御フィルタ算出部12は、上述の実施の形態と同様に、入力された目標位置に対応する方向決定帯域を読み出し、制御フィルタ係数を算出して音像定位処理部13に出力する。
音源信号補正部51は、入力される音源信号を周波数分析し、全帯域で音源信号の帯域レベルと予め設定された値を比較し、帯域レベルが予め設定された値より大きいと判断された帯域があれば、その帯域の帯域レベルを、例えば予め設定された値以下になるように抑圧して音像定位処理部13に出力する。
音像定位処理部13は、上述の実施の形態と同様に、制御フィルタ算出部12から制御フィルタ係数が入力されると、入力された音源信号(音源信号補正部51が補正した音源信号)に入力された制御フィルタ係数を畳み込んで出力する。
このように本実施の形態においては、音源信号を周波数分析し、いずれかの部分でレベルのピークがある場合は、そのレベルを抑圧してから、算出された制御フィルタ係数を畳み込んでいるので、音源信号によらず容易に目標位置に音像を定位させることができる。
なお、本実施の形態においては、音源信号の予め設定された値より大きいレベルの帯域を抑圧するようにしたが、音源信号のマスキングを考慮した感覚レベルを算出し、感覚レベルと予め設定した値を比較し、感覚レベルが予め設定された値より大きいと判断された帯域の感覚レベルを抑圧するようにしてもよい。
また、音源信号補正部51に制御フィルタ算出部12から目標位置の方向決定帯域を入力させ、入力された方向決定帯域以外の帯域での最大値を抑圧するようにしてもよい。
また、上記の方法に限らず、音源信号に含まれる、目標位置とは異なる位置に音像を定位させるような、音像定位の手がかり情報を抑圧する処理を設けてもよい。
また、帯域を複数に分割し、帯域ごとに抑圧をかけるための閾値を設けるようにしてもよい。
本実施の形態の第1の他の態様としては、図9に示すように、方向決定帯域情報記憶部11の替わりに上述の第2の実施の形態の方向決定帯域情報記憶部21及び方向決定帯域情報選択部22を設けるようにする。このように構成することによって、多くの受聴者に正しく音像定位させることができる。
本実施の形態の第2の他の態様としては、図10に示すように、上述の第3の実施の形態の制御フィルタ算出部31と頭部伝達関数記憶部32とを備え、制御フィルタ算出部31が、上述の第3の実施の形態同様、頭部伝達関数記憶部32に記憶している頭部伝達関数のマスキングを考慮した感覚レベルの最大値が方向決定帯域情報記憶部11から読み出した方向決定帯域と一致するように頭部伝達関数を補正して制御フィルタ係数を算出するようにする。このように構成することによって、多くの受聴者に正しく音像定位させることができる。
本実施の形態の第3の他の態様としては、図11に示すように、上述の従来の音像定位装置における方向決定帯域情報記憶部61、頭部伝達関数選択部62および音像定位処理部63を設けるようにする。このように構成することによって、従来の音像定位装置と同様の方式であっても、多くの受聴者に対して目標位置に正しく音像定位させることができる。
このように本実施の形態においては、入力される音源信号を周波数分析し、全帯域で音源信号の帯域レベルと予め設定された値を比較し、帯域レベルが予め設定された値より大きいと判断された帯域があればその帯域の帯域レベルを抑圧し、出力する音源信号補正部51を備えているので、入力された音源信号に、例えば目標位置とは異なる位置に音像を定位させる音像定位の手がかり情報が含まれたとしても、目標位置に正しく音像定位させることができる。
なお、「聴覚心理学概論」によれば、人間の聴覚は「聴覚フィルタ」と呼ばれる帯域通過フィルタと類似した機能を有し、耳に入力される信号の周波数成分に対して、ある種の平滑化を行っていることが明らかになっている。つまり、上述の各実施の形態において、制御フィルタ算出部は、入力される音源信号の周波数特性、頭部伝達関数、マスキングを考慮した感覚レベル、方向決定帯域に関して、その周波数成分の詳細までは考慮しなくても、聴覚上は十分な精度の制御フィルタ係数を算出することができるといえる。
したがって、制御フィルタ算出部は、入力される音源信号の周波数特性、頭部伝達関数、マスキングを考慮した感覚レベル、方向決定帯域のうち少なくとも一つを複数の帯域に分割し、各帯域ごとの帯域レベルあるいは帯域情報を基に制御フィルタ係数を算出してもよい。また、制御フィルタ係数を各帯域ごとに算出してもよい。
また、制御フィルタ算出部は、必要な制御フィルタ係数を予め算出しておき、目標位置に応じて制御フィルタ係数を選択し、音像定位処理部に出力してもよい。
また、上述の各実施の形態において、音像定位処理部を除いた各部を、制御フィルタ算出を行う音像定位補助装置としてもよいし、通信等により制御フィルタ情報を提供する音像定位情報サーバとしてもよい。このように構成することによって、本発明の音像定位装置は、音像定位処理部と音像定位補助装置とを独立して構成し、音像定位補助装置は算出したフィルタ係数を遠隔から音像定位処理部に提供することができるので、受聴者が耳などに装着する部分を小型化することができる。
また、第5の実施の形態における音源信号補正部51を、独立した音源信号補正装置としてもよい。
以上のように、本発明にかかる音像定位装置は、多くの受聴者が容易に正しく音像定位することができるという効果を有し、携帯電話、ゲーム機、CD(Compact Disc)プレーヤなどの音声再生を行う装置全般において、三次元空間の任意の位置に音像を生じさせる場合に有用である。
本発明の第1の実施の形態における音像定位装置のブロック図 本発明の第2の実施の形態における音像定位装置のブロック図 本発明の第3の実施の形態における音像定位装置のブロック図 本発明の第3の実施の形態の他の態様における音像定位装置のブロック図 本発明の第4の実施の形態における音像定位装置のブロック図 本発明の第4の実施の形態の第1の他の態様における音像定位装置のブロック図 本発明の第4の実施の形態の第2の他の態様における音像定位装置のブロック図 本発明の第5の実施の形態における音像定位装置のブロック図 本発明の第5の実施の形態の第1の他の態様における音像定位装置のブロック図 本発明の第5の実施の形態の第2の他の態様における音像定位装置のブロック図 本発明の第5の実施の形態の第3の他の態様における音像定位装置のブロック図 頭部伝達関数より算出した帯域レベルと方向決定帯域の例を示す図 頭部伝達関数より算出したマスキングを考慮した感覚レベルと方向決定帯域の例を示す図 制御フィルタ係数の例を示す図 従来の音像定位装置のブロック図
符号の説明
11 方向決定帯域情報記憶部(方向決定帯域情報記憶手段)
12 制御フィルタ算出部(制御フィルタ算出手段)
13 音像定位処理部(音像定位処理手段)
21 方向決定帯域情報記憶部(方向決定帯域情報記憶手段)
22 方向決定帯域情報選択部(方向決定帯域情報選択手段)
31 制御フィルタ算出部(制御フィルタ算出手段)
32 頭部伝達関数記憶部(頭部伝達関数記憶手段)
41、42 制御フィルタ算出部(制御フィルタ算出手段)
51 音源信号補正部(音源信号補正手段)
61 頭部伝達関数記憶部
62 頭部伝達関数選択部
63 音像定位処理部

Claims (18)

  1. 方向決定帯域に関する情報を記憶する方向決定帯域情報記憶手段と、入力された目標位置に対応する前記方向決定帯域を前記方向決定帯域情報記憶手段から読み出し、読み出した前記方向決定帯域とマスキングを考慮した感覚レベルとに基づいて制御フィルタ係数を算出する制御フィルタ算出手段と、入力された音源信号に対して前記制御フィルタ係数を用いて音像定位処理を行う音像定位処理手段とを備えることを特徴とする音像定位処理装置。
  2. 前記制御フィルタ算出手段は、前記マスキングを考慮した感覚レベルが最大値をとる周波数を、前記目標位置に対応する方向決定帯域と一致させるように前記制御フィルタ係数を算出することを特徴とする請求項1に記載の音像定位装置。
  3. 頭部伝達関数を記憶する頭部伝達関数記憶手段を備え、前記制御フィルタ算出手段は、前記頭部伝達関数記憶手段から取得した頭部伝達関数と、前記マスキングを考慮した感覚レベルと、前記目標位置に対応する方向決定帯域とに基づいて前記制御フィルタ係数を算出することを特徴とする請求項1に記載の音像定位装置。
  4. 前記制御フィルタ算出手段は、前記頭部伝達関数に基づいて算出した前記マスキングを考慮した感覚レベルが最大値をとる周波数を、前記目標位置に対応する方向決定帯域と一致させるように前記制御フィルタ係数を算出することを特徴とする請求項3に記載の音像定位装置。
  5. 前記制御フィルタ算出手段は、前記マスキングを考慮した感覚レベルと、前記目標位置に対応する方向決定帯域との少なくとも1つを複数の帯域に分割し、各帯域ごとの帯域レベルまたは帯域情報に基づいて前記制御フィルタ係数を算出することを特徴とする請求項1または請求項2に記載の音像定位装置。
  6. 前記制御フィルタ算出手段は、前記頭部伝達関数と、前記マスキングを考慮した感覚レベルと、前記目標位置に対応する方向決定帯域との少なくとも1つを複数の帯域に分割し、各帯域ごとの帯域レベルまたは帯域情報に基づいて前記制御フィルタ係数を算出することを特徴とする請求項3または請求項4に記載の音像定位装置。
  7. 前記制御フィルタ算出手段は、前記音源信号の周波数特性に基づき、前記目標位置に対応する方向決定帯域以外の帯域にあるマスキングを考慮した感覚レベルの最大値を抑圧するように前記制御フィルタ係数を算出することを特徴とする請求項1から請求項6のいずれかに記載の音像定位装置。
  8. 前記制御フィルタ算出手段は、前記音源信号の周波数特性に基づき、前記目標位置に対応する方向決定帯域以外の帯域にあるマスキングを考慮した感覚レベルと予め設定された値とを比較し、予め設定された値より大きい帯域のマスキングを考慮した感覚レベルは抑圧するように前記制御フィルタ係数を算出することを特徴とする請求項1から請求項6のいずれかに記載の音像定位装置。
  9. 前記制御フィルタ算出手段は、前記音源信号の周波数特性を複数の帯域に分割し、各帯域ごとの帯域レベルまたは帯域情報に基づいて前記制御フィルタ係数を算出することを特徴とする請求項7または請求項8に記載の音像定位装置。
  10. 前記制御フィルタ算出手段は、前記制御フィルタ係数として、前記目標位置に対応する方向決定帯域の両端の帯域のうち、少なくとも一方の帯域を抑圧する制御フィルタ係数を算出することを特徴とする請求項1から請求項9のいずれかに記載の音像定位装置。
  11. 前記制御フィルタ算出手段は、前記制御フィルタ係数を複数の帯域に分割し、各帯域ごとに前記制御フィルタ係数を算出することを特徴とする請求項1から請求項10のいずれかに記載の音像定位装置。
  12. 前記方向決定帯域情報記憶手段は、受聴者の特徴により分類された複数の受聴者群ごとに前記方向決定帯域情報を記憶し、入力された受聴者の情報に基づいて前記受聴者群ごとの方向決定帯域情報から適合する前記方向決定帯域情報を前記方向決定帯域情報記憶手段に選択させる方向決定帯域情報選択手段を備えることを特徴とする請求項1から請求項11のいずれかに記載の音像定位装置。
  13. 前記方向決定帯域情報記憶手段は、受聴者の身体的特徴により分類された複数の受聴者群ごとに前記方向決定帯域情報を記憶することを特徴とする請求項12に記載の音像定位装置。
  14. 前記方向決定帯域情報選択手段は、入力された受聴者の画像データから前記身体的特徴を抽出し、抽出した前記身体的特徴に基づいて前記受聴者群ごとの方向決定帯域情報から適合する前記方向決定帯域情報を前記方向決定帯域情報記憶手段に選択させることを特徴とする請求項13に記載の音像定位装置。
  15. 入力される音源信号を周波数分析し、前記音源信号に含まれる、前記目標位置とは異なる位置に音像を定位させる音像定位の手がかり情報を抑圧することにより前記音源信号を補正する音源信号補正手段を備え、前記音像定位処理手段は、前記音源信号補正手段により補正された前記音源信号に対して音像定位処理を行うことを特徴とする請求項1から請求項14のいずれかに記載の音像定位装置。
  16. 前記音源信号補正手段は、入力される音源信号を周波数分析し、帯域ごとに音源信号の帯域レベルと予め設定された値とを比較し、帯域レベルが予め設定された値より大きいと判断された帯域があればその帯域の帯域レベルを抑圧することにより前記音源信号を補正することを特徴とする請求項15に記載の音像定位装置。
  17. 前記音源信号補正手段は、入力される音源信号を周波数分析し、帯域ごとに音源信号のマスキングを考慮した感覚レベルを算出し、感覚レベルと予め設定した値を比較し、感覚レベルが予め設定された値より大きいと判断された帯域の感覚レベルを抑圧することにより前記音源信号を補正することを特徴とする請求項15に記載の音像定位装置。
  18. 前記方向決定帯域情報記憶手段と前記制御フィルタ算出手段は音像定位補助装置を構成し、前記音像定位補助装置は前記音像定位処理手段と通信をして前記音像定位処理手段に前記フィルタ係数を伝達することを特徴とする請求項1に記載の音像定位装置。
JP2006535818A 2004-09-16 2005-09-08 音像定位装置 Active JP4684234B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006535818A JP4684234B2 (ja) 2004-09-16 2005-09-08 音像定位装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004270316 2004-09-16
JP2004270316 2004-09-16
PCT/JP2005/016524 WO2006030692A1 (ja) 2004-09-16 2005-09-08 音像定位装置
JP2006535818A JP4684234B2 (ja) 2004-09-16 2005-09-08 音像定位装置

Publications (2)

Publication Number Publication Date
JPWO2006030692A1 true JPWO2006030692A1 (ja) 2008-05-15
JP4684234B2 JP4684234B2 (ja) 2011-05-18

Family

ID=36059945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006535818A Active JP4684234B2 (ja) 2004-09-16 2005-09-08 音像定位装置

Country Status (6)

Country Link
US (1) US8005245B2 (ja)
EP (1) EP1791394B1 (ja)
JP (1) JP4684234B2 (ja)
CN (1) CN101065990A (ja)
AT (1) ATE533315T1 (ja)
WO (1) WO2006030692A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007119330A1 (ja) * 2006-03-13 2007-10-25 Matsushita Electric Industrial Co., Ltd. 音像定位装置
US9015051B2 (en) * 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
EP2315458A3 (en) * 2008-04-09 2012-09-12 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating filter characteristics
JP4849121B2 (ja) * 2008-12-16 2012-01-11 ソニー株式会社 情報処理システムおよび情報処理方法
JP5499513B2 (ja) * 2009-04-21 2014-05-21 ソニー株式会社 音響処理装置、音像定位処理方法および音像定位処理プログラム
EP2326108B1 (en) * 2009-11-02 2015-06-03 Harman Becker Automotive Systems GmbH Audio system phase equalizion
FR2958825B1 (fr) * 2010-04-12 2016-04-01 Arkamys Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques
US9030545B2 (en) * 2011-12-30 2015-05-12 GNR Resound A/S Systems and methods for determining head related transfer functions
KR102160248B1 (ko) 2012-01-05 2020-09-25 삼성전자주식회사 다채널 음향 신호의 정위 방법 및 장치
CN105264914B (zh) 2013-06-10 2017-03-22 株式会社索思未来 音频再生装置以及方法
CN104064191B (zh) * 2014-06-10 2017-12-15 北京音之邦文化科技有限公司 混音方法及装置
WO2016136341A1 (ja) * 2015-02-25 2016-09-01 株式会社ソシオネクスト 信号処理装置
CN104853283A (zh) * 2015-04-24 2015-08-19 华为技术有限公司 一种音频信号处理的方法和装置
EP3389285B1 (en) * 2015-12-10 2021-05-05 Sony Corporation Speech processing device, method, and program
JP6799391B2 (ja) * 2016-06-15 2020-12-16 矢崎総業株式会社 車両用方向提示装置
JP2017224167A (ja) * 2016-06-15 2017-12-21 矢崎総業株式会社 車両用方向提示装置
JP6926640B2 (ja) * 2017-04-27 2021-08-25 ティアック株式会社 目標位置設定装置及び音像定位装置
EP3713255A4 (en) 2017-11-14 2021-01-20 Sony Corporation SIGNAL PROCESSING DEVICE AND METHOD AND PROGRAM
US11418901B1 (en) * 2021-02-01 2022-08-16 Harman International Industries, Incorporated System and method for providing three-dimensional immersive sound
CN113238189B (zh) * 2021-05-24 2023-03-10 清华大学 基于阵列测量和稀疏先验信息的声源辨识方法、系统
CN115967887B (zh) * 2022-11-29 2023-10-20 荣耀终端有限公司 一种处理声像方位的方法和终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231500A (ja) * 1994-02-17 1995-08-29 Matsushita Electric Ind Co Ltd 音像位置の上下方向への制御方法
JPH0937400A (ja) * 1995-07-20 1997-02-07 Victor Co Of Japan Ltd 音像定位制御装置
JPH09247799A (ja) * 1996-03-04 1997-09-19 Fujitsu Ltd 線形予測係数を用いた立体音響処理装置
JPH10174200A (ja) * 1996-12-12 1998-06-26 Yamaha Corp 音像定位方法及び装置
JP2002218598A (ja) * 2001-01-12 2002-08-02 Matsushita Electric Ind Co Ltd 音像定位装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55141898A (en) * 1979-04-20 1980-11-06 Matsushita Electric Ind Co Ltd Control unit for up and down feeling of sound image
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
KR0175515B1 (ko) * 1996-04-15 1999-04-01 김광호 테이블 조사 방식의 스테레오 구현 장치와 방법
US6035045A (en) * 1996-10-22 2000-03-07 Kabushiki Kaisha Kawai Gakki Seisakusho Sound image localization method and apparatus, delay amount control apparatus, and sound image control apparatus with using delay amount control apparatus
JP3521900B2 (ja) * 2002-02-04 2004-04-26 ヤマハ株式会社 バーチャルスピーカアンプ
JP2004135023A (ja) 2002-10-10 2004-04-30 Sony Corp 音響出力装置、音響出力システム、音響出力方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231500A (ja) * 1994-02-17 1995-08-29 Matsushita Electric Ind Co Ltd 音像位置の上下方向への制御方法
JPH0937400A (ja) * 1995-07-20 1997-02-07 Victor Co Of Japan Ltd 音像定位制御装置
JPH09247799A (ja) * 1996-03-04 1997-09-19 Fujitsu Ltd 線形予測係数を用いた立体音響処理装置
JPH10174200A (ja) * 1996-12-12 1998-06-26 Yamaha Corp 音像定位方法及び装置
JP2002218598A (ja) * 2001-01-12 2002-08-02 Matsushita Electric Ind Co Ltd 音像定位装置

Also Published As

Publication number Publication date
JP4684234B2 (ja) 2011-05-18
EP1791394A1 (en) 2007-05-30
US20090034772A1 (en) 2009-02-05
ATE533315T1 (de) 2011-11-15
CN101065990A (zh) 2007-10-31
EP1791394A4 (en) 2009-10-28
US8005245B2 (en) 2011-08-23
EP1791394B1 (en) 2011-11-09
WO2006030692A1 (ja) 2006-03-23

Similar Documents

Publication Publication Date Title
JP4684234B2 (ja) 音像定位装置
CN106664497B (zh) 音频再现系统和方法
KR101480258B1 (ko) 미리 계산된 참조 곡선을 이용한 입력 신호 분해 장치 및 방법
RU2595943C2 (ru) Аудиосистема и способ оперирования ею
EP3132617B1 (en) An audio signal processing apparatus
KR101532505B1 (ko) 분해기를 이용하여 출력 신호를 생성하는 장치 및 방법
US8958583B2 (en) Spatially constant surround sound system
JP2019152861A (ja) 集中レベルに基づく、知覚される周囲音の制御
US10798517B2 (en) Out-of-head localization filter determination system, out-of-head localization filter determination device, out-of-head localization filter determination method, and program
US20080219454A1 (en) Sound Image Localization Apparatus
JP7208365B2 (ja) 仮想3dオーディオを現実の室内に適応させる装置及び方法
US10412530B2 (en) Out-of-head localization processing apparatus and filter selection method
US9781528B2 (en) System for objective qualification of listener envelopment of a loudspeaker-room environment
CN104581477A (zh) 具有象限声音定位的电子听力保护器
EP2484127B1 (en) Method, computer program and apparatus for processing audio signals
US20200301653A1 (en) System and method for processing audio between multiple audio spaces
US20080247556A1 (en) Objective quantification of auditory source width of a loudspeakers-room system
CN105075294B (zh) 音频信号处理装置
US20190394583A1 (en) Method of audio reproduction in a hearing device and hearing device
Jenny et al. Can I trust my ears in VR? Literature review of head-related transfer functions and valuation methods with descriptive attributes in virtual reality
EP3944640B1 (en) Out-of-head localization filter determination system, out-of-head localization filter determination method, and computer readable medium
JP2024015980A (ja) 頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法、及び頭部伝達関数調整装置
JP2024125727A (ja) クラスタリング装置、及びクラスタリング方法
CN117793609A (zh) 一种声场渲染方法和装置
Schlesinger et al. Improving speech intelligibility based on a conjunction of multiple perceptual models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4684234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350