JP5903758B2 - 信号処理装置および方法、プログラム、並びにデータ記録媒体 - Google Patents

信号処理装置および方法、プログラム、並びにデータ記録媒体 Download PDF

Info

Publication number
JP5903758B2
JP5903758B2 JP2010201078A JP2010201078A JP5903758B2 JP 5903758 B2 JP5903758 B2 JP 5903758B2 JP 2010201078 A JP2010201078 A JP 2010201078A JP 2010201078 A JP2010201078 A JP 2010201078A JP 5903758 B2 JP5903758 B2 JP 5903758B2
Authority
JP
Japan
Prior art keywords
mapping
audio signal
signal
weight
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010201078A
Other languages
English (en)
Other versions
JP2012060379A (ja
Inventor
辻　実
実 辻
徹 知念
徹 知念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010201078A priority Critical patent/JP5903758B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to BR112012010517A priority patent/BR112012010517A2/pt
Priority to CN2011800044042A priority patent/CN102598505A/zh
Priority to AU2011299934A priority patent/AU2011299934A1/en
Priority to US13/505,443 priority patent/US8903098B2/en
Priority to PCT/JP2011/070283 priority patent/WO2012033099A1/ja
Priority to EP11823574.6A priority patent/EP2615736B1/en
Priority to CA2778776A priority patent/CA2778776A1/en
Priority to MX2012005074A priority patent/MX2012005074A/es
Priority to RU2012117806/08A priority patent/RU2012117806A/ru
Publication of JP2012060379A publication Critical patent/JP2012060379A/ja
Priority to US14/528,205 priority patent/US9584081B2/en
Application granted granted Critical
Publication of JP5903758B2 publication Critical patent/JP5903758B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G1/00—Details of arrangements for controlling amplification
    • H03G1/0005—Circuits characterised by the type of controlling devices operated by a controlling current or voltage signal
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G1/00—Details of arrangements for controlling amplification
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/002—Volume compression or expansion in amplifiers in untuned or low-frequency amplifiers, e.g. audio amplifiers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/007—Volume compression or expansion in amplifiers of digital or coded signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Description

本発明は信号処理装置および方法、プログラム、並びにデータ記録媒体に関し、特に、事前の分析による付加情報を必要とせずに、オーディオ信号の再生レベルをより簡単かつ効果的に強調できるようにした信号処理装置および方法、プログラム、並びにデータ記録媒体に関する。
例えば、音声の音量のダイナミックレンジが大きい映画コンテンツや音楽コンテンツを、小型スピーカを内蔵したポータブル機器で再生する場合、全体的に音声の音量が小さくなるだけでなく、特に音量の小さなセリフなどは、聞こえにくくなる。
そこで、これらのコンテンツの音声をより聞こえ易くするための技術として、ノーマライズや自動ゲイン制御技術があるが、充分に長いデータの先読みを行わないと、音量制御が聴感上不安定になってしまう。
また、音量のダイナミックレンジのコンプレッション処理により、音声の音量の小さい部分をブーストし、音量の大きな部分をコンプレッションする技術もある。しかしながら、コンプレッション処理では、音量のブーストとコンプレッションの特性を汎用的なものとすると、音声の高い強調効果を得ることは困難であり、高い効果を得るためには、コンテンツ毎にその特性を変える必要がある。
例えば、ダイアログノーマライズで指定された音圧レベルを基準として、それよりも小さい音圧レベルの信号をブーストし、大きな音圧レベルの信号をコンプレッションする技術がある。ところが、この技術では、充分な効果を得るために、オーディオ信号の符号化時にダイアログノーマライズのための音圧レベルと、ブーストおよびコンプレッションの特性の指定が必要となる。
さらに、音声の音量のダイナミックレンジをコンプレッションする場合に、オーディオ信号の絶対値の平均値により定まる係数をオーディオ信号に乗算することで、オーディオ信号の小さい音をより聞こえ易くする技術も提案されている（例えば、特許文献１参照）。
特開平０５−２７５９５０号公報
ところで、近年、映画や音楽、自己録コンテンツなど、様々な種類のコンテンツが小型スピーカを内蔵したポータブル機器で再生されるようになってきている。しかしながら、そのようなコンテンツには、上述した符号化時などの事前分析による、効果的な音量制御のための付加情報を有していないものも多い。そのため、コンテンツのオーディオ信号に、事前の分析で得られた付加情報が付加されていない場合であっても、効果的に音量制御を行なう技術が必要となる。
そこで、上述した特許文献１に記載の技術を用いれば、オーディオ信号に対する事前の分析を必要とせずに、コンプレッション処理により、急激な音の大きさの変化を抑えつつ、オーディオ信号の小さい音をより聞こえ易くすることができるようになる。しかしながら、この技術ではオーディオ信号の再生レベルを充分に強調することはできなかった。
例えば、特許文献１に記載の技術では、オーディオ信号を定数倍することで振幅を減衰させるだけであるので、振幅変換の特性の自由度が低く、効果的にオーディオ信号の再生レベルを強調できるとはいえなかった。また、この技術は、オーディオ信号の振幅変換により、音量のダイナミックレンジを狭くする場合にしか用いることができず、音量のダイナミックレンジを変えずに振幅変換を行なったり、音量のダイナミックレンジをより広くしたりすることはできなかった。
本発明は、このような状況に鑑みてなされたものであり、事前の分析による付加情報を必要とせずに、オーディオ信号の再生レベルをより簡単かつ効果的に強調できるようにするものである。
本発明の第１の側面の信号処理装置は、オーディオ信号の特性を分析する分析手段と、予め定められた互いに異なる線形関数または非線形関数に基づいて、前記オーディオ信号を振幅変換する複数のマッピング処理手段と、複数の前記マッピング処理手段のそれぞれにより、互いに異なる関数に基づいて振幅変換された複数の信号のそれぞれに対して、前記オーディオ信号の特性の分析結果の値が小さいほど、前記互いに異なる関数のうちのより急峻に変化する関数の重みがより大きくなるように、前記分析結果に基づいて重みを乗算する重み付け制御手段と、前記重みが乗算された複数の前記信号を加算して出力信号を生成する加算手段とを備える。
前記分析手段には、前記オーディオ信号の所定区間に含まれるサンプルの平均的なサンプル値を示す値を前記分析結果として算出させることができる。
前記分析結果を、前記所定区間に含まれるサンプルのサンプル値の二乗平均平方根または移動平均値とすることができる。
前記分析手段には、複数のチャンネルごとに前記オーディオ信号に対する振幅変換が行なわれて、各チャンネルの前記出力信号が生成される場合、前記複数のチャンネルの前記オーディオ信号に基づいて、全チャンネルで共通する１つの前記分析結果を算出させることができる。
前記重みを、前記オーディオ信号の１サンプルごとに前記分析結果により定めるようにすることができる。
前記重みを、前記オーディオ信号の２以上である所定数の連続するサンプルごとに前記分析結果により定めるようにすることができる。
本発明の第１の側面の信号処理方法またはプログラムは、オーディオ信号の特性を分析し、予め定められた互いに異なる線形関数または非線形関数に基づいて、それぞれ前記オーディオ信号を振幅変換し、互いに異なる複数の関数に基づいて振幅変換された複数の信号のそれぞれに対して、前記オーディオ信号の特性の分析結果の値が小さいほど、前記互いに異なる複数の関数のうちのより急峻に変化する関数の重みがより大きくなるように、前記分析結果に基づいて重みを乗算し、前記重みが乗算された複数の前記信号を加算して出力信号を生成するステップを含む。
本発明の第１の側面においては、オーディオ信号の特性が分析され、予め定められた互いに異なる線形関数または非線形関数に基づいて、それぞれ前記オーディオ信号が振幅変換され、互いに異なる複数の関数に基づいて振幅変換された複数の信号のそれぞれに対して、前記オーディオ信号の特性の分析結果の値が小さいほど、前記互いに異なる複数の関数のうちのより急峻に変化する関数の重みがより大きくなるように、前記分析結果に基づいて重みが乗算され、前記重みが乗算された複数の前記信号が加算されて出力信号が生成される。
本発明の第２の側面のデータ記録媒体には、オーディオ信号の特性を分析し、予め定められた互いに異なる線形関数または非線形関数に基づいて、それぞれ前記オーディオ信号を振幅変換し、互いに異なる複数の関数に基づいて振幅変換された複数の信号のそれぞれに対して、前記オーディオ信号の特性の分析結果の値が小さいほど、前記互いに異なる複数の関数のうちのより急峻に変化する関数の重みがより大きくなるように、前記分析結果に基づいて重みを乗算し、前記重みが乗算された複数の前記信号を加算することで得られた出力信号が記録される。
本発明の第１の側面および第２の側面によれば、事前の分析による付加情報を必要とせずに、オーディオ信号の再生レベルをより簡単かつ効果的に強調することができる。
本発明を適用したオーディオ信号処理装置の一実施の形態の構成例を示す図である。 変換処理を説明するフローチャートである。 マッピング関数の一例を示す図である。 マッピング関数の一例を示す図である。 マッピング関数の一例を示す図である。 オーディオ信号処理装置の他の構成例を示す図である。 変換処理を説明するフローチャートである。 オーディオ信号処理装置の他の構成例を示す図である。 変換処理を説明するフローチャートである。 マッピング関数の一例を示す図である。 オーディオ信号処理装置の他の構成例を示す図である。 変換処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、図面を参照して、本発明を適用した実施の形態について説明する。
〈第１の実施の形態〉
［オーディオ信号処理装置の構成］
図１は、本発明を適用したオーディオ信号処理装置の一実施の形態の構成例を示す図である。
このオーディオ信号処理装置１１は、例えばビデオ信号とオーディオ信号からなるコンテンツを再生する携帯型の再生装置に設けられ、入力されたオーディオ信号に対して、再生レベルが強調されるように振幅変換を行い、振幅変換されたオーディオ信号を出力する。なお、以下では、特にオーディオ信号処理装置１１に入力されるオーディオ信号を入力信号と称し、入力信号を振幅変換して得られたオーディオ信号を出力信号と称することとする。
オーディオ信号処理装置１１は、分析部２１、マッピング処理部２２、出力部２３、およびドライブ２４から構成される。
分析部２１は、供給された入力信号の特性を分析し、その分析結果を示すマッピング制御情報をマッピング処理部２２に供給する。
マッピング処理部２２は、分析部２１から供給されたマッピング制御情報を用いて、供給された入力信号に対するマッピング処理を行い、入力信号の再生レベルを強調する。マッピング処理では、入力信号に対する線形または非線形の振幅変換が行なわれる。マッピング処理部２２は、マッピング処理により得られた出力信号を出力部２３に供給する。
出力部２３は、マッピング処理部２２から供給された出力信号を、後段の音声出力部等に出力したり、ドライブ２４に供給したりする。ドライブ２４は、出力部２３から供給された出力信号を、ドライブ２４に着脱自在な記録媒体であるリムーバブルメディア２５に記録する。
［変換処理の説明］
次に、図１のオーディオ信号処理装置１１の動作について説明する。
オーディオ信号処理装置１１は、入力信号が供給されると変換処理を行って、出力信号を生成し、出力する。以下、図２のフローチャートを参照して、オーディオ信号処理装置１１による変換処理について説明する。
ステップＳ１１において、分析部２１は、供給された入力信号の特性を分析し、マッピング制御情報を生成する。
具体的には、例えば分析部２１は次式（１）の演算を行なって、入力信号のｎ番目のサンプルについての二乗平均平方根RMS(n)を、ｎ番目のサンプルのマッピング制御情報として算出する。
Figure 0005903758
なお、式（１）において、ｘ（ｍ）は、入力信号のｍ番目のサンプルのサンプル値（入力信号の値）を示している。また、式（１）においては、入力信号の値、つまり入力信号の各サンプルのサンプル値は、−１≦ｘ（ｍ）≦１となるように正規化されているものとする。
したがって二乗平均平方根RMS(n)は、ｎ番目のサンプルを中心とするＮ個の連続するサンプルからなる区間について、その区間に含まれるサンプルのサンプル値の二乗平均値の平方根の対数をとり、これにより得られた値に定数「２０」を乗算することで得られる。
このようにして得られた二乗平均平方根RMS(n)の値は、処理対象となっている入力信号のｎ番目のサンプルを中心とする特定区間の各サンプルのサンプル値の絶対値が小さいほど、小さくなる。つまり、入力信号の処理対象のサンプルを含む特定区間全体の音声の音量が小さいほど、二乗平均平方根RMS(n)は小さくなる。
分析部２１は入力信号を分析してマッピング制御情報が得られると、マッピング制御情報をマッピング処理部２２に供給する。
ステップＳ１２において、マッピング処理部２２は、分析部２１から供給されたマッピング制御情報を用いて、供給された入力信号に対するマッピング処理を行い、出力信号を生成する。
具体的には、マッピング処理部２２は、入力信号のｎ番目のサンプルのサンプル値ｘを、次式（２）に示す非線形のマッピング関数ｆ（ｘ）に代入して振幅変換する。つまり、サンプル値ｘをマッピング関数ｆ（ｘ）に代入して得られた値が、出力信号のｎ番目のサンプルのサンプル値とされる。
Figure 0005903758
なお、式（２）において入力信号のサンプル値ｘは、−１から１までの値となるように正規化されているものとする。また、式（２）において、αは制御因子を示しており、この制御因子αはマッピング制御情報の値により定まる数値である。
式（２）によれば、サンプル値ｘが−１以上かつ−０．５未満である場合、マッピング関数ｆ（ｘ）は、(2-α)x-(α-1)となり、サンプル値ｘが−０．５以上０．５以下である場合、マッピング関数ｆ（ｘ）は、αxとなる。また、サンプル値ｘが０．５より大きく、かつ１以下である場合、マッピング関数ｆ（ｘ）は、(2-α)x+(α-1)となる。
さらに、例えば制御因子αは、次式（３）により定まる値とされる。
Figure 0005903758
すなわち、マッピング制御情報である二乗平均平方根RMS(n)の値が−３０より大きく０以下である場合には、制御因子αの値は、(RMS(n)/-30)+1とされる。このとき、制御因子αのとり得る値の範囲は１≦α＜２となり、二乗平均平方根RMS(n)が大きいほど、制御因子αの値は小さくなる。また、二乗平均平方根RMS(n)の値が−３０以下である場合、制御因子αの値は「２」とされる。
したがって、入力信号に基づく音声の音量が全体的に小さいほど、つまり二乗平均平方根RMS(n)が小さいほど、制御因子αは大きくなり、その結果、図３に示すようにマッピング関数ｆ（ｘ）の傾きは大きくなる。
なお、図３において、横軸は入力信号のサンプル値ｘを示しており、縦軸はマッピング関数ｆ（ｘ）の値を示している。また、直線ｆ１１、曲線ｆ１２、および曲線ｆ１３は、それぞれ制御因子αが「1.0」、「1.4」、および「1.8」であるときのマッピング関数ｆ（ｘ）を表している。
図３から分かるように、入力信号に基づく音声の音量が全体的に小さいほど、より急峻に変化するマッピング関数ｆ（ｘ）が用いられて、入力信号の振幅変換が行なわれる。つまり、音声の音量が全体的に小さいほど、マッピング関数ｆ（ｘ）において、サンプル値ｘの変化に対するｆ（ｘ）の変化量が大きくなる。
例えば、制御因子αが「1.0」であり、直線ｆ１１に示されるマッピング関数ｆ（ｘ）は、入力信号のサンプル値が、そのまま出力信号のサンプル値とされる。これに対し、制御因子αが「1.8」であり、曲線ｆ１３に示されるマッピング関数ｆ（ｘ）では、入力信号のサンプル値ｘが−０．５以上０．５以下である区間において、マッピング関数の傾きが、直線ｆ１１に示されるマッピング関数の傾きよりも大きくなっている。
このように、入力信号の音声の音量が全体的に小さいほど、サンプル値ｘ＝０を含むサンプル値ｘの大部分の区間において、より急峻に変化する特性のマッピング関数ｆ（ｘ）が用いられ、入力信号の振幅変換が行なわれる。
したがって、入力信号の音声が全体として音量の小さい区間では、音量の小さい音声はより音量が大きい音声に変換されるように、入力信号が振幅変換され、入力信号の再生レベルが強調される。これにより、音量のダイナミックレンジの大きな映画等のコンテンツを、小型スピーカを内蔵する携帯型の機器で再生する場合においても、従来は聞こえにくかった小さい音も、入力信号に対するマッピング処理により聞こえ易くすることができる。
また、入力信号の音声が全体として音量の大きな区間においても、その中のサンプル値ｘが小さな信号に対しては、適度に急峻な特性のマッピング関数ｆ（ｘ）が用いられ、入力信号の振幅変換が行なわれる。
したがって、入力信号の音声が全体として音量の大きな区間においても、その中の小さな音声は大きい音声に変換されるように、入力信号が振幅変換され、入力信号の再生レベルが強調される。これにより、従来から比較的大きく再生されていた音も、さらに大きく聞こえるようになる。
しかも、オーディオ信号処理装置１１では、入力信号に対して事前に分析を行なって、入力信号に振幅変換のための付加情報を付加したり、入力信号を長区間、先読みし、読み込んだ入力信号に対する解析を行なってから振幅変換したりする必要はない。
また、制御因子αにより非線形なマッピング関数ｆ（ｘ）を変化させることで、より自由度の高い振幅変換を実現することができる。つまり、入力信号の特定区間全体の特性に応じて、最も効果的な特性の非線形関数をマッピング関数とすることで、処理対象のサンプルが含まれる区間の特性だけでなく、そのサンプルのサンプル値の大きさも考慮した振幅変換を行なうことができる。
例えば、上述した特許文献１に記載の技術では、オーディオ信号の値によらず、オーディオ信号の絶対値の平均値により定まる定数が、オーディオ信号に乗算される。つまり、オーディオ信号のサンプルは、そのサンプルの振幅の大小に関わらず、常に定数倍されることになる。
そのため、比較的音量が小さい音声に合わせて、その音声の音量がより大きくなるように、オーディオ信号に乗算される定数の算出方法を定めると、大きい音量の音声については、オーディオ信号に定数を乗算しても、適切な音量とならない場合もある。
これに対して、オーディオ信号処理装置１１では、マッピング関数を非線形関数とすれば、サンプルの振幅（サンプル値）が大きい場合には振幅を大きく変化させず、サンプルの振幅が小さい場合には振幅を大きく増加させるなど、自由度の高い振幅変換が可能となる。これにより、音量の小さい音声は、より音量の大きい音声に変換するとともに、もともと音量の大きい音声は、あまり音量が変化しないようにするなど、効果的にオーディオ信号の再生レベルを強調することができる。
さらに、マッピング関数ｆ（ｘ）を適切に設定することで、振幅変換により、音声の音量のダイナミックレンジをより広げるようにしたり、そのままとしたり、あるいはダイナミックレンジをより狭くしたりすることができる。
このように、オーディオ信号処理装置１１では、簡単かつ効果的にオーディオ信号の再生レベルを強調することができる。
図２のフローチャートの説明に戻り、マッピング処理部２２は、マッピング処理により出力信号を生成すると、得られた出力信号を出力部２３に供給する。
ステップＳ１３において、出力部２３は、マッピング処理部２２から供給された出力信号を後段に出力し、変換処理は終了する。また、出力部２３は、必要に応じて出力信号をドライブ２４に供給し、ドライブ２４は、供給された出力信号をリムーバブルメディア２５に記録する。
以上のように、オーディオ信号処理装置１１は、入力信号の特性を分析し、その分析結果に応じて変化するマッピング関数を用いて、入力信号に対するマッピング処理を行い、出力信号を生成する。
入力信号の分析で得られるマッピング制御情報としての二乗平均平方根RMS(n)は、入力信号の所定区間の平均的なサンプル値の大きさ、つまり所定区間における各サンプルの振幅の分布を示している。例えば、二乗平均平方根RMS(n)が小さい場合、入力信号には振幅の小さいサンプルが多く含まれ、逆に二乗平均平方根RMS(n)が大きい場合、入力信号には振幅の大きいサンプルが多く含まれる。
オーディオ信号処理装置１１では、二乗平均平方根RMS(n)を用いて、より効果的な特性のマッピング関数を生成し、マッピング処理を行うことで、入力信号を簡単に理想的な振幅の分布を有する出力信号に変換することができる。
〈変形例１〉
なお、以上においては、各区間が直線となる関数をマッピング関数として用いると説明したが、より滑らかな曲線の関数がマッピング関数として用いられてもよい。そのような場合、例えば、次式（４）に示される非線形関数がマッピング関数とされる。
Figure 0005903758
なお、式（４）において、ｘは入力信号のサンプルのサンプル値を示しており、入力信号のサンプル値ｘは、−１から１までの値となるように正規化されているものとする。また、式（４）における制御因子αは、次式（５）により定められる。
Figure 0005903758
すなわち、マッピング制御情報である二乗平均平方根RMS(n)の値が−３０より大きく０以下である場合には、制御因子αの値は、(RMS(n)/-30)×5+5とされる。このとき、制御因子αのとり得る値の範囲は５≦α＜１０となり、二乗平均平方根RMS(n)が大きいほど、制御因子αの値は小さくなる。また、二乗平均平方根RMS(n)の値が−３０以下である場合、制御因子αは１０とされる。
したがって、入力信号に基づく音声の音量が全体的に小さく、二乗平均平方根RMS(n)が小さいほど、制御因子αは大きくなり、その結果、図４に示すようにマッピング関数ｆ（ｘ）は急峻に変化するものとなる。
なお、図４において、横軸は入力信号のサンプル値ｘを示しており、縦軸はマッピング関数ｆ（ｘ）の値を示している。また、曲線ｆ２１乃至曲線ｆ２３は、それぞれ制御因子αが「５」、「７」、および「１０」であるときのマッピング関数ｆ（ｘ）を表している。
図４から分かるように、入力信号に基づく音声の音量が全体的に小さいほど、全体的にサンプル値ｘの変化に対するｆ（ｘ）の変化量が大きいマッピング関数ｆ（ｘ）が用いられて、入力信号の振幅変換が行なわれる。すなわち、入力信号に基づく音声の音量が全体的に小さいほど、サンプル値ｘ＝０を含むサンプル値ｘの大部分の区間において、より急峻に変化するマッピング関数ｆ（ｘ）が用いられる。
このように、式（４）に示すマッピング関数と、式（５）に示す制御因子αを用いた場合も、式（２）のマッピング関数および式（３）の制御因子αを用いた場合と同様に、二乗平均平方根RMS(n)が小さいほど、マッピング関数はより急峻な特性となる。この場合も、入力信号の事前分析や先読みを必要とせずに、より簡単かつ効果的にオーディオ信号の再生レベルを強調し、また、従来、聞こえにくかった小さい音を、より聞こえ易くするとともに、従来、比較的大きかった音も、さらに聞こえ易くすることができるようになる。
〈変形例２〉
また、上述した式（４）のマッピング関数は指数関数であるため、コンピュータやDSP（Digital Signal Processor）等でマッピング処理の演算を行なうと、一般的に演算量が大きくなってしまう。そこで、例えば次式（６）に示す３次関数をマッピング関数として採用すれば、演算量を少なくし、より迅速にマッピング処理を行うことができるようになる。
Figure 0005903758
なお、式（６）において、ｘは入力信号のサンプルのサンプル値を示しており、入力信号のサンプル値ｘは、−１から１までの値となるように正規化されているものとする。また、式（６）における制御因子αは、次式（７）により定められる。
Figure 0005903758
すなわち、マッピング制御情報である二乗平均平方根RMS(n)の値が−０．９以上かつ０以下である場合、制御因子αは「100」とされ、二乗平均平方根RMS(n)の値が−３０より大きく−０．９より小さい場合には、制御因子αの値は、-30/RMS(n)×3とされる。このとき、制御因子αのとり得る値の範囲は３＜α＜１００となり、二乗平均平方根RMS(n)が大きいほど、制御因子αの値は大きくなる。また、二乗平均平方根RMS(n)の値が−３０以下である場合、制御因子αは「3.0」とされる。
したがって、入力信号に基づく音声の音量が全体的に小さく、二乗平均平方根RMS(n)が小さいほど、制御因子αは小さくなり、その結果、図５に示すようにマッピング関数ｆ（ｘ）は急峻に変化するものとなる。
なお、図５において、横軸は入力信号のサンプル値ｘを示しており、縦軸はマッピング関数ｆ（ｘ）の値を示している。また、曲線ｆ３１乃至曲線ｆ３３は、それぞれ制御因子αが「100」、「5」、および「3」であるときのマッピング関数ｆ（ｘ）を表している。
図５から分かるように、入力信号に基づく音声の音量が全体的に小さいほど、全体的にサンプル値ｘの変化に対するｆ（ｘ）の変化量が大きいマッピング関数ｆ（ｘ）が用いられて、入力信号の振幅変換が行なわれる。
このように、式（６）に示すマッピング関数と、式（７）に示す制御因子αを用いた場合も、式（２）のマッピング関数および式（３）の制御因子αを用いた場合と同様に、二乗平均平方根RMS(n)が小さいほど、マッピング関数はより急峻な特性となる。この場合も、入力信号の事前分析や先読みを必要とせずに、より簡単かつ効果的にオーディオ信号の再生レベルを強調し、また、従来、聞こえにくかった小さい音を、より聞こえ易くするとともに、従来、比較的大きかった音も、さらに聞こえ易くすることができるようになる。
なお、マッピング関数ｆ（ｘ）は、−１≦ｘ≦１であるサンプル値ｘに対して、−１≦ｆ（ｘ）≦１となる関数であれば、どのような関数であってもよい。
また、以上においては、制御因子αを定めるためのマッピング制御情報として、二乗平均平方根RMS(n)を用いる例について説明したが、マッピング制御情報は、他の要素であってもよいし、複数の要素が組み合わされてマッピング制御情報とされてもよい。例えば、入力信号の所定区間のサンプルのサンプル値の移動平均値や、所定区間におけるサンプルのゼロクロス数、入力信号のトーナリティを示す値などをマッピング制御情報としてもよい。すなわち、マッピング関数や制御因子、マッピング制御情報は、処理の効果が高く、マッピング処理により聴感上適した音声が得られるものが用いられるようにすればよい。
また以上においては、入力信号の１サンプルごとにマッピング制御情報やマッピング関数の制御因子αを算出して、マッピング処理を行うと説明したが、連続する２以上のサンプルごとにマッピング制御情報や制御因子αを算出し、マッピング処理を行ってもよい。例えば、そのような場合、１つのサンプルについて算出されたマッピング制御情報や制御因子が、連続する所定数のサンプルに対して継続して用いられる。
さらに、出力信号の出力先のデバイス等に応じて、マッピング制御情報や制御因子の算出方法を変化させ、オーディオ信号の再生レベルの強調具合を調整するようにしてもよい。具体的には、例えば制御因子αを算出するのに異なる式を用いるなど、制御因子αとマッピング制御情報との関係を変化させればよい。
〈第２の実施の形態〉
［オーディオ信号処理装置の構成］
ところで、オーディオ信号である入力信号のチャンネル数が２以上である場合、チャンネルごとに独立して入力信号の特性の分析やマッピング処理を行うと、出力信号に基づく音声のチャンネル間の音量のバランスが変化してしまうことがある。
そのため、全チャンネルの入力信号に対して、同一の分析とマッピング処理が行われることが望ましい。そこで、全チャンネルの入力信号に対して特性の分析を行い、その分析結果から得られた１つのマッピング制御情報を用いてマッピング処理を行うようにしてもよい。そのような場合、オーディオ信号処理装置は、例えば図６に示すように構成される。
図６のオーディオ信号処理装置５１は、分析部２１、マッピング処理部２２、マッピング処理部６１、出力部２３、およびドライブ２４から構成される。なお、図６において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
オーディオ信号処理装置５１には、例えば、映画等のコンテンツを構成する左チャンネルのオーディオ信号と右チャンネルのオーディオ信号とが、入力信号として供給される。すなわち、左チャンネルの入力信号が分析部２１およびマッピング処理部２２に供給され、右チャンネルの入力信号が分析部２１およびマッピング処理部６１に供給される。
分析部２１は、供給された左右のチャンネルの入力信号に対して、それぞれ特性の分析を行い、得られた２つの分析結果に基づいてマッピング制御情報を生成して、マッピング処理部２２およびマッピング処理部６１に供給する。
マッピング処理部６１は、分析部２１から供給されたマッピング制御情報を用いて、供給された右チャンネルの入力信号に対してマッピング処理を行い、右チャンネルの出力信号を生成する。なお、マッピング処理部６１ではマッピング処理部２２と同様の処理が行われる。マッピング処理部６１は、マッピング処理により得られた右チャンネルの出力信号を、出力部２３に供給する。
このように、オーディオ信号処理装置５１では、マッピング処理部２２とマッピング処理部６１とで、共通のマッピング制御情報が用いられて、マッピング処理が行われる。
出力部２３は、マッピング処理部２２およびマッピング処理部６１から供給された左右のチャンネルの出力信号を、後段に出力したり、ドライブ２４に供給してリムーバブルメディア２５に記録させたりする。
［変換処理の説明］
次に、図７のフローチャートを参照して、オーディオ信号処理装置５１による変換処理について説明する。
ステップＳ４１において、分析部２１は、供給された左右のチャンネルの入力信号の特性を分析する。例えば、分析部２１は上述した式（１）の演算を行なって、左チャンネルの二乗平均平方根RMS(n)と、右チャンネルの二乗平均平方根RMS(n)とを算出する。
ステップＳ４２において、分析部２１は、入力信号の特性の分析結果に基づいて、マッピング制御情報を生成し、マッピング処理部２２およびマッピング処理部６１に供給する。例えば、分析部２１は、左チャンネルの二乗平均平方根RMS(n)と、右チャンネルの二乗平均平方根RMS(n)との平均値を求め、得られた平均値をマッピング制御情報とする。
なお、左チャンネルの二乗平均平方根RMS(n)と、右チャンネルの二乗平均平方根RMS(n)とのうちの大きいほうの値が、そのままマッピング制御情報とされるようにしてもよい。また、左チャンネルの入力信号のサンプルと、右チャンネルの入力信号のサンプルとが用いられて、１つの二乗平均平方根RMS(n)等がマッピング制御情報として算出されてもよい。
ステップＳ４２の処理が行われて、マッピング制御情報が生成されると、その後、ステップＳ４３およびステップＳ４４の処理が行われて変換処理は終了するが、これらの処理は図２のステップＳ１２およびステップＳ１３の処理と同様であるため、その説明は省略する。
但し、ステップＳ４３では、マッピング処理部２２およびマッピング処理部６１において、マッピング制御情報が用いられ、同一のマッピング関数および制御因子により、それぞれ左チャンネルの出力信号と右チャンネルの出力信号とが生成される。
このようにして、オーディオ信号処理装置５１は、左右のチャンネルの入力信号の特性を分析して、左右のチャンネルで共通のマッピング制御情報を生成し、得られたマッピング制御情報を用いて、各チャンネルで同一のマッピング処理を行う。このように、左右のチャンネルで共通のマッピング制御情報を用いて、各チャンネルの入力信号に対して同一のマッピング処理を行うことで、チャンネル間の音量のバランスを変えることなく、オーディオ信号の再生レベルを強調することができる。
なお、以上においては、左右の２つのチャンネルの入力信号が入力される場合について説明したが、入力信号は３以上のチャンネルから構成されていてもよい。そのような場合においても、全チャンネルで共通のマッピング制御情報が生成される。
〈第３の実施の形態〉
［オーディオ信号処理装置の構成］
また、以上においては、１つのマッピング関数を用いて出力信号を生成すると説明したが、線形または非線形のマッピング関数を複数用意し、マッピング制御情報に応じて、それらのマッピング関数を選択的に用いて出力信号を生成するようにしてもよい。そのような場合、例えば、マッピング制御情報に応じて、複数のマッピング関数の出力を重み付け加算して出力信号とすることで、出力信号の生成に用いるマッピング関数の切り替えにより生じる出力の変化を滑らかにすることができる。
このように、複数のマッピング関数を用いて出力信号を生成する場合、オーディオ信号処理装置は、例えば図８に示す構成とされる。
すなわち、オーディオ信号処理装置９１は、分析部２１、マッピング処理部１０１−１乃至マッピング処理部１０１−Ｍ、重み付け制御部１０２、加算部１０３、出力部２３、およびドライブ２４から構成される。なお、図８において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
マッピング処理部１０１−１乃至マッピング処理部１０１−Ｍは、それぞれ異なるマッピング関数を用いて、供給された入力信号に対してマッピング処理を行い、その結果得られた出力信号を重み付け制御部１０２に供給する。なお、以下、マッピング処理部１０１−１乃至マッピング処理部１０１−Ｍを個々に区別する必要のない場合、単にマッピング処理部１０１とも称する。
重み付け制御部１０２は、マッピング処理部１０１から供給された出力信号に、分析部２１から供給されたマッピング制御情報により定まる重みである按分率を乗算し、加算部１０３に供給する。すなわち、重み付け制御部１０２は、乗算部１１１−１乃至乗算部１１１−Ｍを備えている。乗算部１１１−１乃至乗算部１１１−Ｍは、マッピング処理部１０１−１乃至マッピング処理部１０１−Ｍから供給された出力信号に、マッピング制御情報により定まる按分率α１乃至按分率αＭを乗算し、加算部１０３に供給する。
なお、以下、乗算部１１１−１乃至乗算部１１１−Ｍを個々に区別する必要のない場合、単に乗算部１１１とも称する。
加算部１０３は、乗算部１１１から供給されたＭ個の出力信号を加算し、その結果得られた最終的な出力信号を出力部２３に供給する。
［変換処理の説明］
次に、図９のフローチャートを参照して、オーディオ信号処理装置９１による変換処理について説明する。
ステップＳ７１において、分析部２１は供給された入力信号の特性を分析し、マッピング制御情報を生成する。例えば、分析部２１は、上述した式（１）の演算を行なって、入力信号のｎ番目のサンプルについての二乗平均平方根RMS(n)を、マッピング制御情報として算出し、重み付け制御部１０２に供給する。
ステップＳ７２において、マッピング処理部１０１は、供給された入力信号に対してマッピング処理を行い、得られた出力信号を乗算部１１１に供給する。
例えば、オーディオ信号処理装置９１に、４つのマッピング処理部１０１−１乃至マッピング処理部１０１−４が設けられているとする。この場合、マッピング処理部１０１−１乃至マッピング処理部１０１−４は、次式（８）乃至式（１１）に示すマッピング関数ｆ１（ｘ）乃至マッピング関数ｆ４（ｘ）を用いて、供給された入力信号に対するマッピング処理を行う。つまり、入力信号のｎ番目のサンプルのサンプル値ｘをマッピング関数に代入して得られた値が、出力信号のｎ番目のサンプルのサンプル値とされる。
Figure 0005903758
なお、式（８）乃至式（１１）において、ｘは入力信号のサンプルのサンプル値を示しており、式（８）乃至式（１１）では、入力信号のサンプル値ｘは、−１から１までの値となるように正規化されているものとする。
これらのマッピング関数ｆ１（ｘ）乃至マッピング関数ｆ４（ｘ）は、図１０に示すように、マッピング関数ｆ４（ｘ）乃至マッピング関数ｆ１（ｘ）の順番で、より急峻に変化する特性の関数となっている。
なお、図１０中、左上、右上、左下、および右下には、それぞれマッピング関数ｆ１（ｘ）乃至マッピング関数ｆ４（ｘ）が示されている。また、図１０において、横軸は入力信号のサンプル値ｘを示しており、縦軸はマッピング関数の値を示している。
例えば、図中、左上に示されるマッピング関数ｆ１（ｘ）＝ｘは、線形な一次関数であり、入力信号のサンプル値ｘが、そのまま出力信号のサンプル値とされる。また、マッピング関数ｆ２（ｘ）乃至マッピング関数ｆ４（ｘ）は非線形な指数関数であり、マッピング関数ｆ４（ｘ）乃至マッピング関数ｆ２（ｘ）の順番で、サンプル値ｘ＝０を含むサンプル値ｘの大部分の区間において、より急峻に変化する特性を有している。すなわち、マッピング関ｆ４（ｘ）乃至マッピング関数ｆ２（ｘ）の順番で、サンプル値ｘの変化に対する、マッピング関数の出力の変化量が大きくなっている。
図９のフローチャートの説明に戻り、ステップＳ７３において、重み付け制御部１０２は、分析部２１から供給されたマッピング制御情報に基づいて、マッピング処理部１０１から供給された出力信号に重みとしての按分率を乗算する。
例えば、オーディオ信号処理装置９１に、４つのマッピング処理部１０１−１乃至マッピング処理部１０１−４が設けられているとする。この場合、重み付け制御部１０２は、マッピング制御情報としての二乗平均平方根RMS(n)に基づいて、次式（１２）に示す演算を行い、マッピング関数ｆ１（ｘ）乃至マッピング関数ｆ４（ｘ）に対する按分率α１乃至按分率α４を算出する。
Figure 0005903758
すなわち、二乗平均平方根RMS(n)が−１２より大きく、かつ０以下である場合、按分率α１＝1-RMS(n)/-12とされ、按分率α２＝1-α1とされ、按分率α３＝按分率α４＝０とされる。ここで、按分率α２におけるα1は、按分率α１の値を示している。
また、二乗平均平方根RMS(n)が−２４より大きく、−１２以下である場合、按分率α１＝按分率α４＝０とされ、按分率α２＝1-(RMS(n)+12)/-12とされ、按分率α３＝1-α２とされる。ここで、按分率α３におけるα２は、按分率α２の値を示している。
さらに、二乗平均平方根RMS(n)が−３２より大きく、−２４以下である場合、按分率α１＝按分率α２＝０とされ、按分率α３＝1-(RMS(n)+24)/-12とされ、按分率α４＝1-α３とされる。ここで、按分率α４におけるα３は、按分率α３の値を示している。二乗平均平方根RMS(n)が−３２以下である場合、按分率α１＝按分率α２＝按分率α３＝０とされ、按分率α４＝１とされる。
このように、重み付け制御部１０２は、二乗平均平方根RMS(n)が小さいほど、つまり入力信号に基づく音声の音量が全体的に小さいほど、より急峻に変化するマッピング関数の重みがより大きくなるように、按分率α１乃至按分率α４を算出する。逆に、二乗平均平方根RMS(n)が大きく、入力信号に基づく音声の音量が大きい区間では、より緩やかに変化する特性のマッピング関数の重みが大きくなるように、按分率が求められる。
したがって、入力信号の音声の音量が小さい区間では、より急峻に変化するマッピング関数に重きが置かれて、入力信号の振幅変換が行なわれることになる。
このようにして、各マッピング関数に対する按分率が算出されると、乗算部１１１−１乃至乗算部１１１−４は、マッピング処理部１０１−１乃至マッピング処理部１０１−４から供給された出力信号に按分率α１乃至按分率α４を乗算し、加算部１０３に供給する。
なお、以上においては、マッピング処理部１０１において出力信号が生成された後、それらの出力信号に乗算される按分率が算出されると説明したが、按分率が算出されてからマッピング処理が行われるようにしてもよい。
そのような場合、例えばマッピング制御情報に基づいて、按分率α１乃至按分率αＭが求められ、これらの按分率のうち、「０」でない按分率が乗算される出力信号のみがマッピング処理により生成される。すなわち、値が「０」となる按分率に対応するマッピング関数を用いるマッピング処理部１０１では、入力信号に対するマッピング処理が行われない。このように、値が「０」でない按分率が乗算される出力信号のみを生成するようにすれば、より演算量を少なくし、迅速に最終的な出力信号を得ることができる。
また、演算により按分率を算出すると説明したが、マッピング制御情報の値と、その値により定まる按分率α１乃至按分率αＭの値とが対応付けられて記録されているテーブルを予め用意し、テーブル引きにより各按分率を取得するようにしてもよい。
ステップＳ７４において、加算部１０３は、乗算部１１１−１乃至乗算部１１１−Ｍから供給された出力信号を加算して、１つの最終的な出力信号を生成する。
このように、互いに異なる複数のマッピング関数を用いて得られた出力信号を、按分率を用いて重み付き加算することにより、近似的に１つのマッピング関数を用いた入力信号の振幅変換を実現することができる。例えば、按分率α１と按分率α２を「０」とし、按分率α３と按分率α４を「０」ではない所定値とすれば、マッピング関数ｆ３（ｘ）とマッピング関数ｆ４（ｘ）の間の特性を有するマッピング関数を用いた振幅変換を実現することができる。
オーディオ信号処理装置９１では、入力信号の各区間の特性に応じて、近似的に生成されるマッピング関数を動的に変化させることで、より自由度の高い振幅変換を実現することができる。すなわち、入力信号の区間ごとに、各区間の特性に応じて近似的にマッピング関数を生成することで、オーディオ信号処理装置１１における場合と同様に、区間の特性だけでなく、処理対象のサンプルのサンプル値も考慮した振幅変換を行なうことができる。
また、マッピング関数を適切に選択することで、振幅変換により、音声の音量のダイナミックレンジをより広げるようにしたり、そのままとしたり、あるいはダイナミックレンジをより狭くしたりすることができる。
ステップＳ７４の処理が行われると、その後、ステップＳ７５の処理が行われて変換処理は終了するが、ステップＳ７５の処理は図２のステップＳ１３の処理と同様であるので、その説明は省略する。
このようにして、オーディオ信号処理装置９１は、互いに異なる複数のマッピング関数を用いて入力信号に対するマッピング処理を行い、得られた複数の出力信号を、入力信号の特性の分析結果により得られる按分率で重み付き加算し、最終的な出力信号とする。
このように、入力信号の特性の分析結果に応じて、マッピング関数を選択的に用いてマッピング処理を行い、出力信号を生成することで、入力信号の事前分析や先読みを必要とせずに、簡単かつ効果的にオーディオ信号の再生レベルを強調することができる。また、従来、聞こえにくかった小さい音を、より聞こえ易くするとともに、従来、比較的大きかった音も、さらに聞こえ易くすることができるようになる。
なお、オーディオ信号処理装置９１においても、出力信号の出力先のデバイス等に応じて、マッピング制御情報や按分率の算出方法を変化させ、オーディオ信号の再生レベルの強調具合を調整するようにしてもよい。
また、以上においては、入力信号の１サンプルごとにマッピング制御情報や按分率を算出して、出力信号を生成すると説明したが、連続する２以上のサンプルごとにマッピング制御情報や按分率を算出するようにしてもよい。
〈第４の実施の形態〉
［オーディオ信号処理装置の構成］
また、図８では、オーディオ信号としての入力信号が１チャンネルの場合について説明したが、入力信号が複数チャンネルとされてもよい。例えば、２つのチャンネルの入力信号が入力される場合、オーディオ信号処理装置は、図１１に示す構成とされる。
図１１のオーディオ信号処理装置１４１は、分析部２１、マッピング処理部１０１−１乃至マッピング処理部１０１−Ｍ、重み付け制御部１０２、加算部１０３、マッピング処理部１５１−１乃至マッピング処理部１５１−Ｍ、重み付け制御部１５２、加算部１５３、出力部２３、およびドライブ２４から構成される。なお、図１１において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
オーディオ信号処理装置１４１には、例えば、映画等のコンテンツを構成する左チャンネルのオーディオ信号と右チャンネルのオーディオ信号とが、入力信号として供給される。すなわち、左チャンネルの入力信号が分析部２１およびマッピング処理部１０１−１乃至マッピング処理部１０１−Ｍに供給され、右チャンネルの入力信号が分析部２１およびマッピング処理部１５１−１乃至マッピング処理部１５１−Ｍに供給される。
分析部２１は、供給された左右のチャンネルの入力信号に対して、それぞれ特性の分析を行い、得られた２つの分析結果に基づいてマッピング制御情報を生成して、重み付け制御部１０２および重み付け制御部１５２に供給する。
マッピング処理部１５１−１乃至マッピング処理部１５１−Ｍは、それぞれマッピング処理部１０１−１乃至マッピング処理部１０１−Ｍが用いるマッピング関数と同じマッピング関数を用いて、供給された入力信号に対してマッピング処理を行う。また、マッピング処理部１５１−１乃至マッピング処理部１５１−Ｍは、マッピング処理により得られた出力信号を、重み付け制御部１５２に供給する。なお、以下、マッピング処理部１５１−１乃至マッピング処理部１５１−Ｍを個々に区別する必要のない場合、単にマッピング処理部１５１とも称する。
重み付け制御部１５２は、重み付け制御部１０２と同じ動作を行う。すなわち、重み付け制御部１５２を構成する乗算部１６１−１乃至乗算部１６１−Ｍは、乗算部１１１−１乃至乗算部１１１−Ｍに対応しており、マッピング処理部１５１−１乃至マッピング処理部１５１−Ｍから供給された出力信号に、按分率α１乃至按分率αＭを乗算し、加算部１５３に供給する。なお、以下、乗算部１６１−１乃至乗算部１６１−Ｍを個々に区別する必要のない場合、単に乗算部１６１とも称する。
加算部１５３は、乗算部１６１から供給されたＭ個の出力信号を加算し、その結果得られた最終的な出力信号を出力部２３に供給する。
［変換処理の説明］
次に、図１２のフローチャートを参照して、オーディオ信号処理装置１４１による変換処理について説明する。
ステップＳ１０１において、分析部２１は、供給された左右のチャンネルの入力信号の特性を分析する。例えば、分析部２１は上述した式（１）の演算を行なって、左チャンネルの二乗平均平方根RMS(n)と、右チャンネルの二乗平均平方根RMS(n)とを算出する。
ステップＳ１０２において、分析部２１は、入力信号の特性の分析結果に基づいて、マッピング制御情報を生成し、重み付け制御部１０２および重み付け制御部１５２に供給する。例えば、分析部２１は、左チャンネルの二乗平均平方根RMS(n)と、右チャンネルの二乗平均平方根RMS(n)との平均値を求め、得られた平均値をマッピング制御情報とする。
ステップＳ１０２の処理が行われて、マッピング制御情報が生成されると、その後、ステップＳ１０３乃至ステップＳ１０６の処理が行われて変換処理は終了するが、これらの処理は図９のステップＳ７２乃至ステップＳ７５の処理と同様であるため、その説明は省略する。
但し、ステップＳ１０３乃至ステップＳ１０５では、マッピング処理部１０１でマッピング処理が行われ、得られた出力信号に乗算部１１１で按分率が乗算されるとともに、加算部１０３で、按分率が乗算された出力信号が加算されて、左チャンネルの最終的な出力信号とされる。同様に、マッピング処理部１５１でマッピング処理が行われ、得られた出力信号に乗算部１６１で按分率が乗算されるとともに、加算部１５３で、按分率が乗算された出力信号が加算されて、右チャンネルの最終的な出力信号とされる。
このようにしてオーディオ信号処理装置１４１は、左右のチャンネルの入力信号の特性を分析して、左右のチャンネルで共通のマッピング制御情報を生成し、得られたマッピング制御情報を用いて、マッピング関数ごとに左右のチャンネルで共通の按分率を算出する。このように、左右のチャンネルで共通のマッピング制御情報を用いて、各マッピング関数について、左右のチャンネルで共通の按分率を算出することで、チャンネル間の音量のバランスを変えることなく、オーディオ信号の再生レベルを強調することができる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１１ オーディオ信号処理装置， ２１ 分析部， ２２ マッピング処理部， ６１ マッピング処理部， １０１−１乃至１０１−Ｍ，１０１ マッピング処理部， １０２ 重み付け制御部， １０３ 加算部， １５１−１乃至１５１−Ｍ，１５１ マッピング処理部， １５２ 重み付け制御部， １５３ 加算部

Claims (9)

  1. オーディオ信号の特性を分析する分析手段と、
    予め定められた互いに異なる線形関数または非線形関数に基づいて、前記オーディオ信号を振幅変換する複数のマッピング処理手段と、
    複数の前記マッピング処理手段のそれぞれにより、互いに異なる関数に基づいて振幅変換された複数の信号のそれぞれに対して、前記オーディオ信号の特性の分析結果の値が小さいほど、前記互いに異なる関数のうちのより急峻に変化する関数の重みがより大きくなるように、前記分析結果に基づいて重みを乗算する重み付け制御手段と、
    前記重みが乗算された複数の前記信号を加算して出力信号を生成する加算手段と
    を備える信号処理装置。
  2. 前記分析手段は、前記オーディオ信号の所定区間に含まれるサンプルの平均的なサンプル値を示す値を前記分析結果として算出する
    請求項１に記載の信号処理装置。
  3. 前記分析結果は、前記所定区間に含まれるサンプルのサンプル値の二乗平均平方根または移動平均値である
    請求項２に記載の信号処理装置。
  4. 前記分析手段は、複数のチャンネルごとに前記オーディオ信号に対する振幅変換が行なわれて、各チャンネルの前記出力信号が生成される場合、前記複数のチャンネルの前記オーディオ信号に基づいて、全チャンネルで共通する１つの前記分析結果を算出する
    請求項１に記載の信号処理装置。
  5. 前記重みは、前記オーディオ信号の１サンプルごとに前記分析結果により定められる
    請求項１に記載の信号処理装置。
  6. 前記重みは、前記オーディオ信号の２以上である所定数の連続するサンプルごとに前記分析結果により定められる
    請求項１に記載の信号処理装置。
  7. オーディオ信号の特性を分析する分析手段と、
    予め定められた互いに異なる線形関数または非線形関数に基づいて、前記オーディオ信号を振幅変換する複数のマッピング処理手段と、
    複数の前記マッピング処理手段のそれぞれにより、互いに異なる関数に基づいて振幅変換された複数の信号のそれぞれに対して、前記オーディオ信号の特性の分析結果の値が小さいほど、前記互いに異なる関数のうちのより急峻に変化する関数の重みがより大きくなるように、前記分析結果に基づいて重みを乗算する重み付け制御手段と、
    前記重みが乗算された複数の前記信号を加算して出力信号を生成する加算手段と
    を備える信号処理装置の信号処理方法であって、
    前記分析手段が、前記オーディオ信号の特性を分析し、
    複数の前記マッピング処理手段が、前記オーディオ信号を振幅変換し、
    前記重み付け制御手段が、前記分析結果に基づいて前記重みを、振幅変換された前記信号に乗算し、
    前記加算手段が、前記重みが乗算された前記信号を加算して前記出力信号を生成する
    ステップを含む信号処理方法。
  8. オーディオ信号の特性を分析し、
    予め定められた互いに異なる線形関数または非線形関数に基づいて、それぞれ前記オーディオ信号を振幅変換し、
    互いに異なる複数の関数に基づいて振幅変換された複数の信号のそれぞれに対して、前記オーディオ信号の特性の分析結果の値が小さいほど、前記互いに異なる複数の関数のうちのより急峻に変化する関数の重みがより大きくなるように、前記分析結果に基づいて重みを乗算し、
    前記重みが乗算された複数の前記信号を加算して出力信号を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
  9. オーディオ信号の特性を分析し、
    予め定められた互いに異なる線形関数または非線形関数に基づいて、それぞれ前記オーディオ信号を振幅変換し、
    互いに異なる複数の関数に基づいて振幅変換された複数の信号のそれぞれに対して、前記オーディオ信号の特性の分析結果の値が小さいほど、前記互いに異なる複数の関数のうちのより急峻に変化する関数の重みがより大きくなるように、前記分析結果に基づいて重みを乗算し、
    前記重みが乗算された複数の前記信号を加算する
    ことで得られた出力信号が記録されたデータ記録媒体。
JP2010201078A 2010-09-08 2010-09-08 信号処理装置および方法、プログラム、並びにデータ記録媒体 Expired - Fee Related JP5903758B2 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2010201078A JP5903758B2 (ja) 2010-09-08 2010-09-08 信号処理装置および方法、プログラム、並びにデータ記録媒体
MX2012005074A MX2012005074A (es) 2010-09-08 2011-09-06 Dispositivo y metodo de procesamiento de señal, programa y medio de grabacion de datos.
AU2011299934A AU2011299934A1 (en) 2010-09-08 2011-09-06 Signal processing device and method, program, and data recording medium
US13/505,443 US8903098B2 (en) 2010-09-08 2011-09-06 Signal processing apparatus and method, program, and data recording medium
PCT/JP2011/070283 WO2012033099A1 (ja) 2010-09-08 2011-09-06 信号処理装置および方法、プログラム、並びにデータ記録媒体
EP11823574.6A EP2615736B1 (en) 2010-09-08 2011-09-06 Signal processing device and method, program, and data recording medium
BR112012010517A BR112012010517A2 (pt) 2010-09-08 2011-09-06 aparelho e método de processamento de sinal, programa. e, meio de gravação de dados
CN2011800044042A CN102598505A (zh) 2010-09-08 2011-09-06 信号处理装置和方法、程序以及数据记录介质
RU2012117806/08A RU2012117806A (ru) 2010-09-08 2011-09-06 Устройство и способ обработки сигналов, программа и носитель информации
CA2778776A CA2778776A1 (en) 2010-09-08 2011-09-06 Signal processing apparatus and method, program, and data recording medium
US14/528,205 US9584081B2 (en) 2010-09-08 2014-10-30 Signal processing apparatus and method, program, and data recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010201078A JP5903758B2 (ja) 2010-09-08 2010-09-08 信号処理装置および方法、プログラム、並びにデータ記録媒体

Publications (2)

Publication Number Publication Date
JP2012060379A JP2012060379A (ja) 2012-03-22
JP5903758B2 true JP5903758B2 (ja) 2016-04-13

Family

ID=45810697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010201078A Expired - Fee Related JP5903758B2 (ja) 2010-09-08 2010-09-08 信号処理装置および方法、プログラム、並びにデータ記録媒体

Country Status (10)

Country Link
US (2) US8903098B2 (ja)
EP (1) EP2615736B1 (ja)
JP (1) JP5903758B2 (ja)
CN (1) CN102598505A (ja)
AU (1) AU2011299934A1 (ja)
BR (1) BR112012010517A2 (ja)
CA (1) CA2778776A1 (ja)
MX (1) MX2012005074A (ja)
RU (1) RU2012117806A (ja)
WO (1) WO2012033099A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101261212B1 (ko) 2004-10-26 2013-05-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 신호 처리 방법 및 장치
TWI447709B (zh) 2010-02-11 2014-08-01 Dolby Lab Licensing Corp 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
JP5903758B2 (ja) * 2010-09-08 2016-04-13 ソニー株式会社 信号処理装置および方法、プログラム、並びにデータ記録媒体
CN103325380B (zh) 2012-03-23 2017-09-12 杜比实验室特许公司 用于信号增强的增益后处理
US9588134B2 (en) * 2012-05-10 2017-03-07 Infineon Technologies Ag Increased dynamic range sensor
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
US9401152B2 (en) 2012-05-18 2016-07-26 Dolby Laboratories Licensing Corporation System for maintaining reversible dynamic range control information associated with parametric audio coders
ITTO20120530A1 (it) * 2012-06-19 2013-12-20 Inst Rundfunktechnik Gmbh Dynamikkompressor
KR102251763B1 (ko) 2013-01-21 2021-05-14 돌비 레버러토리즈 라이쎈싱 코오포레이션 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩
KR102056589B1 (ko) 2013-01-21 2019-12-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 상이한 재생 디바이스들에 걸친 라우드니스 및 동적 범위의 최적화
CN116665683A (zh) 2013-02-21 2023-08-29 杜比国际公司 用于参数化多声道编码的方法
CN107093991B (zh) 2013-03-26 2020-10-09 杜比实验室特许公司 基于目标响度的响度归一化方法和设备
CN105190618B (zh) 2013-04-05 2019-01-25 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
JP2015050685A (ja) * 2013-09-03 2015-03-16 ソニー株式会社 オーディオ信号処理装置および方法、並びにプログラム
JP6476192B2 (ja) 2013-09-12 2019-02-27 ドルビー ラボラトリーズ ライセンシング コーポレイション 多様な再生環境のためのダイナミックレンジ制御
CN110675883B (zh) 2013-09-12 2023-08-18 杜比实验室特许公司 用于下混合音频内容的响度调整
CN105142067B (zh) 2014-05-26 2020-01-07 杜比实验室特许公司 音频信号响度控制
JP6314662B2 (ja) * 2014-05-29 2018-04-25 オンキヨー株式会社 音声信号処理装置およびそのプログラム
US10453467B2 (en) 2014-10-10 2019-10-22 Dolby Laboratories Licensing Corporation Transmission-agnostic presentation-based program loudness
US10461712B1 (en) * 2017-09-25 2019-10-29 Amazon Technologies, Inc. Automatic volume leveling

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5839422B2 (ja) * 1978-07-27 1983-08-30 ケイディディ株式会社 標本化関数形等化器
US4991218A (en) * 1988-01-07 1991-02-05 Yield Securities, Inc. Digital signal processor for providing timbral change in arbitrary audio and dynamically controlled stored digital audio signals
DE3886740D1 (de) * 1988-06-07 1994-02-10 Itt Ind Gmbh Deutsche Digitale Deemphasisschaltung.
JP3227743B2 (ja) * 1991-10-30 2001-11-12 ヤマハ株式会社 倍音付与回路
JPH05234249A (ja) * 1992-02-26 1993-09-10 Pioneer Electron Corp オーディオ信号処理装置
JPH05275950A (ja) * 1992-03-27 1993-10-22 Matsushita Electric Ind Co Ltd 音響信号ダイナミックレンジ圧縮装置
JPH07131270A (ja) * 1993-11-05 1995-05-19 Tamura Seisakusho Co Ltd 音声制御装置
JPH07288899A (ja) * 1994-04-15 1995-10-31 Matsushita Electric Ind Co Ltd 音場再生装置
US6097824A (en) * 1997-06-06 2000-08-01 Audiologic, Incorporated Continuous frequency dynamic range audio compressor
US5727068A (en) * 1996-03-01 1998-03-10 Cinema Group, Ltd. Matrix decoding method and apparatus
GB9616755D0 (en) * 1996-08-09 1996-09-25 Kemp Michael J Audio effects synthesizer with or without analyser
US5898340A (en) * 1996-11-20 1999-04-27 Chatterjee; Manjirnath A. High power efficiency audio amplifier with digital audio and volume inputs
US6044341A (en) * 1997-07-16 2000-03-28 Olympus Optical Co., Ltd. Noise suppression apparatus and recording medium recording processing program for performing noise removal from voice
FR2766992B1 (fr) * 1997-08-01 2000-12-29 France Telecom Procede de simulation d'amplificateur non lineaire a memoire d'enveloppe
US6058076A (en) * 1997-12-08 2000-05-02 Komninos; Nikolaos I. Signal detector and method for detecting signals having selected frequency characteristics
CA2358203A1 (en) * 1999-01-07 2000-07-13 Tellabs Operations, Inc. Method and apparatus for adaptively suppressing noise
US6965676B1 (en) * 1999-10-19 2005-11-15 Texas Instruments Incorporated Volume-responsive loudness compensation circuits, systems, and methods
US20020131611A1 (en) * 2001-03-13 2002-09-19 Hoover Alan Anderson `Audio surround sound power management switching
CA2341834C (en) * 2001-03-21 2010-10-26 Unitron Industries Ltd. Apparatus and method for adaptive signal characterization and noise reduction in hearing aids and other audio devices
ATE318062T1 (de) * 2001-04-18 2006-03-15 Gennum Corp Mehrkanal hörgerät mit übertragungsmöglichkeiten zwischen den kanälen
JP3457293B2 (ja) * 2001-06-06 2003-10-14 三菱電機株式会社 雑音抑圧装置及び雑音抑圧方法
TW200303001A (en) * 2001-11-09 2003-08-16 Sharp Kk Liquid crystal display device
AU2002367490A1 (en) * 2002-01-24 2003-09-02 Koninklijke Philips Electronics N.V. A method for decreasing the dynamic range of a signal and electronic circuit
JP4024557B2 (ja) * 2002-02-28 2007-12-19 株式会社半導体エネルギー研究所 発光装置、電子機器
JP4296753B2 (ja) * 2002-05-20 2009-07-15 ソニー株式会社 音響信号符号化方法及び装置、音響信号復号方法及び装置、並びにプログラム及び記録媒体
WO2004044895A1 (en) * 2002-11-12 2004-05-27 Koninklijke Philips Electronics N.V. Method and apparatus for generating audio components
JP2004288046A (ja) * 2003-03-24 2004-10-14 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP4216107B2 (ja) * 2003-03-31 2009-01-28 Ｋｄｄｉ株式会社 アダプティブアレーアンテナシステムおよび重み係数算出制御方法
US7336732B1 (en) * 2004-07-28 2008-02-26 L-3 Communications Titan Corporation Carrier frequency detection for signal acquisition
JP2005129221A (ja) * 2004-11-29 2005-05-19 Fujitsu Ten Ltd 出力レベル調整装置
JP4896449B2 (ja) * 2005-06-29 2012-03-14 株式会社東芝 音響信号処理方法、装置及びプログラム
JP5227794B2 (ja) * 2005-06-30 2013-07-03 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
JP2007067868A (ja) * 2005-08-31 2007-03-15 Victor Co Of Japan Ltd 低音増幅デジタル信号処理装置
CN101258773A (zh) * 2005-09-01 2008-09-03 唯听助听器公司 控制助听器中带分离压缩器的方法和设备
TWI344751B (en) * 2006-07-07 2011-07-01 Yamaha Corp Automatic gain control circuit
EP2063418A4 (en) * 2006-09-15 2010-12-15 Panasonic Corp AUDIO CODING DEVICE AND AUDIO CODING METHOD
EP2080419A1 (en) * 2006-10-31 2009-07-22 Koninklijke Philips Electronics N.V. Control of light in response to an audio signal
WO2008069594A1 (en) * 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8335685B2 (en) * 2006-12-22 2012-12-18 Qnx Software Systems Limited Ambient noise compensation system robust to high excitation noise
EP2109861B1 (en) * 2007-01-10 2019-03-13 Koninklijke Philips N.V. Audio decoder
EP1968205A1 (en) * 2007-02-28 2008-09-10 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Signal quality determination in cable networks
DE102007033877B3 (de) * 2007-07-20 2009-02-05 Siemens Audiologische Technik Gmbh Verfahren zur Signalverarbeitung in einer Hörhilfe
CN101355829B (zh) * 2007-07-25 2013-08-21 鹏智科技(深圳)有限公司 减小噪音影响的发声设备测试装置及测试方法
JP5345067B2 (ja) * 2007-10-30 2013-11-20 クラリオン株式会社 聴覚感度補正装置
GB2455742B (en) * 2007-12-19 2011-11-02 Wolfson Microelectronics Plc Dynamic range controller
WO2009086174A1 (en) * 2007-12-21 2009-07-09 Srs Labs, Inc. System for adjusting perceived loudness of audio signals
JP5295238B2 (ja) * 2008-07-11 2013-09-18 クラリオン株式会社 音響処理装置
US8085952B2 (en) * 2008-11-22 2011-12-27 Mao-Liang Liu Combination equalizer and calibrator circuit assembly for audio system
TWI503816B (zh) * 2009-05-06 2015-10-11 Dolby Lab Licensing Corp 調整音訊信號響度並使其具有感知頻譜平衡保持效果之技術
JP5365363B2 (ja) * 2009-06-23 2013-12-11 ソニー株式会社 音響信号処理システム、音響信号復号装置、これらにおける処理方法およびプログラム
US8660676B2 (en) * 2009-10-16 2014-02-25 Microsoft Corporation Mitigating the impact of nonlinear echos by dynamic range compression
US8699720B2 (en) * 2010-02-18 2014-04-15 Walter Ka Wai Chu Headphones with distortion-free loudness limiting and dynamic equalization device
US9167339B2 (en) * 2010-07-07 2015-10-20 Iii Holdings 4, Llc Hearing damage limiting headphones
JP5903758B2 (ja) * 2010-09-08 2016-04-13 ソニー株式会社 信号処理装置および方法、プログラム、並びにデータ記録媒体
JP2012235310A (ja) * 2011-04-28 2012-11-29 Sony Corp 信号処理装置および方法、プログラム、並びにデータ記録媒体
JP2013102411A (ja) * 2011-10-14 2013-05-23 Sony Corp 音声信号処理装置、および音声信号処理方法、並びにプログラム

Also Published As

Publication number Publication date
MX2012005074A (es) 2012-06-12
US20150049874A1 (en) 2015-02-19
EP2615736A4 (en) 2016-02-10
AU2011299934A1 (en) 2012-05-10
US20130156206A1 (en) 2013-06-20
RU2012117806A (ru) 2013-11-10
EP2615736B1 (en) 2018-08-08
US8903098B2 (en) 2014-12-02
CN102598505A (zh) 2012-07-18
EP2615736A1 (en) 2013-07-17
JP2012060379A (ja) 2012-03-22
WO2012033099A1 (ja) 2012-03-15
BR112012010517A2 (pt) 2017-12-05
US9584081B2 (en) 2017-02-28
CA2778776A1 (en) 2012-03-15

Similar Documents

Publication Publication Date Title
JP5903758B2 (ja) 信号処理装置および方法、プログラム、並びにデータ記録媒体
JP2012235310A (ja) 信号処理装置および方法、プログラム、並びにデータ記録媒体
JP4747835B2 (ja) オーディオ再生の効果付加方法およびその装置
US20110002467A1 (en) Dynamic enhancement of audio signals
TWI505263B (zh) 錄音資料之適應性動態範圍增加技術
JP5149991B2 (ja) 音声再生装置、音声再生方法及びプログラム
JP5012995B2 (ja) オーディオ信号処理装置及びオーディオ信号処理方法
US9413316B2 (en) Asymmetric polynomial psychoacoustic bass enhancement
JP2015050685A (ja) オーディオ信号処理装置および方法、並びにプログラム
KR20120052999A (ko) 스피커의 인지성 소리 강도를 증가시키는 시스템
JP2013102411A (ja) 音声信号処理装置、および音声信号処理方法、並びにプログラム
JP2004214843A (ja) デジタルアンプ及びそのゲイン調整方法
US20130166050A1 (en) Meta-Parameter Control for Digital Audio Data
JP2012104992A (ja) 再生装置、再生方法、提供装置および再生システム
JP2012129730A (ja) 音響特性調整装置、音響特性調整方法およびコンピュータプログラム
JP4706666B2 (ja) 音量制御装置及びコンピュータプログラム
US20190074805A1 (en) Transient Detection for Speaker Distortion Reduction
US8300835B2 (en) Audio signal processing apparatus, audio signal processing method, audio signal processing program, and computer-readable recording medium
Vickers The Non-flat and Continually Changing Frequency Response of Multiband Compressors
JP5375861B2 (ja) オーディオ再生の効果付加方法およびその装置
WO2020157888A1 (ja) 周波数帯域拡張装置、周波数帯域拡張方法、及び周波数帯域拡張プログラム
JP4739887B2 (ja) オーディオ再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160229

R151 Written notification of patent or utility model registration

Ref document number: 5903758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees