JP5531988B2 - 音量制御装置、音量制御方法、および音量制御プログラム - Google Patents

音量制御装置、音量制御方法、および音量制御プログラム Download PDF

Info

Publication number
JP5531988B2
JP5531988B2 JP2011046120A JP2011046120A JP5531988B2 JP 5531988 B2 JP5531988 B2 JP 5531988B2 JP 2011046120 A JP2011046120 A JP 2011046120A JP 2011046120 A JP2011046120 A JP 2011046120A JP 5531988 B2 JP5531988 B2 JP 5531988B2
Authority
JP
Japan
Prior art keywords
excessive
band
distribution information
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011046120A
Other languages
English (en)
Other versions
JP2012182774A (ja
Inventor
丈嗣 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2011046120A priority Critical patent/JP5531988B2/ja
Priority to EP12001393.3A priority patent/EP2495997B1/en
Priority to US13/410,954 priority patent/US8995686B2/en
Publication of JP2012182774A publication Critical patent/JP2012182774A/ja
Application granted granted Critical
Publication of JP5531988B2 publication Critical patent/JP5531988B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/39Aspects relating to automatic logging of sound environment parameters and the performance of the hearing aid during use, e.g. histogram logging, or of user selected programs or settings in the hearing aid, e.g. usage logging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/35Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using translation techniques
    • H04R25/356Amplitude, e.g. amplitude shift or compression

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、補聴器や集音器など音響信号を集音し増幅する音量制御装置および音量制御方法に関する。
難聴者においては、小さい音が聞きづらいだけではなく、快適に受容できる音のレベルが限定され、感知できうる音のレベルに達した後、さらなる音量増加に伴い比較的すぐにうるさく感じる場合がある。このような補充現象が観察される難聴が存在することが知られている。このため難聴の種類によっては単にマイクで集音した音を増幅装置に入力し、増幅装置のボリュームを上げて可聴なレベルまで音量を上げてイヤホンなどで増幅した音を聞かせる装置では、音源の音量変化に伴い音量が過大になる恐れがある。
そのため、補聴器等の難聴者向けの聴覚補助装置は、個人の聴覚特性に合わせ増幅特性を設定する必要があり、専門家によるフィッティングが必要となるなど調整が難しくなっている理由の一つとなっている。
そこで、従来、注文式補聴器を難聴者が購入する際、難聴者の聴力特性に注文式補聴器の音響特性を合わせる注文式補聴器等の音響特性チェック装置(例えば、特許文献1参照。)や、最小可聴値から不快閾値までの聴力データを被験者に聞かせることによりその利用者個人に適合した音質を提供するようにした補聴器調整装置や補聴器が提案されている(例えば、特許文献2参照。)。
特開昭62−125800号公報 特開2001−204098号公報
しかしながら、特許文献1,2の音声制御装置では、テスト用の聴力データを実際に利用者に聞かせるようにしているので、被験者である利用者の負担が大きい、という課題がある。
また、測定に用いられる聴力データと実際に生活の中でうるさいと感じる音に含まれる周波数成分の構成比率による感じ方の違いがある。このため、限定されたテスト音を聞かせるテスト装置による測定だけでは、許容できる最大音量を帯域毎に特定することは難しく、良好な結果が期待できない、という課題もある。
また、全帯域に渡ってダイナミックレンジを圧縮することで過大音量を回避しようとするとノイズに目的音が埋もれて聞きにくくなったり、表現に乏しい音になることがある。
そこで、本発明は、このような課題を解決するために、利用者にテスト用の聴力データを聴かせることなく、実生活の中で利用者が過大と感じた帯域の音声の最大出力レベルを調整することができる、音量制御装置および音量制御方法を提供することを目的とする。
前記課題を解決するため、本発明の音量制御装置は、入力音声を音声信号S1に変換する音声入力部(11)と、前記音声信号の帯域を分割する帯域分割部(12)と、本装置からの出力音声を利用者が過大であると判断した場合にその利用者の操作により過大出力通知情報を出力する過大出力通知部(13)と、前記帯域分割部(12)によって分割された前記音声信号の帯域毎に、前記過大出力通知情報が出力されていない場合における前記利用者の可聴信号分布情報と、前記過大出力通知情報が出力された場合における前記利用者の過大信号分布情報とを算出し、算出した前記可聴信号分布情報と前記過大信号分布情報とに基づいて補正帯域を決定する補正帯域決定部(14)と、前記帯域分割部(12)からの帯域が分割された前記音声信号のうち前記補正帯域決定部(14)によって決定された補正帯域の音声信号のみ音量を制御して出力音声とする音声出力制御部(15)と、を備えたことを特徴とする音量制御装置である。
ここで、前記補正帯域決定部(14)は、前記帯域分割部(12)によって分割された前記音声信号の帯域毎に、前記過大出力通知情報が出力されていない場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す可聴信号分布情報を算出する可聴信号分布情報算出部(141)と、前記可聴信号分布情報算出部(141)によって算出された前記可聴信号分布情報を記憶する可聴信号分布情報記憶部(142)と、前記帯域分割部(12)によって分割された前記音声信号の帯域毎に、前記過大出力通知情報が出力された場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す過大信号分布情報を算出する過大信号分布情報算出部(143)と、前記過大信号分布情報算出部(143)によって算出された前記過大信号分布情報を記憶する過大信号分布情報記憶部(144)と、前記帯域分割部(12)によって分割された前記音声信号の帯域毎に、前記可聴信号分布情報記憶部(142)に記憶された前記可聴信号分布情報における前記発生頻度と、前記過大信号分布情報記憶部(144)に記憶された前記過大信号分布情報における前記発生頻度とを比較し、前記可聴信号分布情報における前記発生頻度より前記過大信号分布情報における前記発生頻度の方が大きい場合、その帯域を補正帯域として決定する頻度比較補正帯域決定部(145)と、を備えたようにしても良い。
また、前記可聴信号分布情報記憶部(142)および前記過大信号分布情報記憶部(144)は、それぞれ、記憶している前記可聴信号分布情報および前記過大信号分布情報を、古いものから順次削除する、ようにしても良い。
また、前記頻度比較補正帯域決定部(145)は、前記帯域分割部(12)によって分割された前記音声信号の帯域毎に、所定の最大可聴音量レベル近傍で、前記可聴信号分布情報における前記発生頻度と前記過大信号分布情報における前記発生頻度とを比較し、前記可聴信号分布情報における前記発生頻度より前記過大信号分布情報における前記発生頻度の方が大きい場合、その帯域を補正帯域として決定する、ようにしても良い。
また、前記音声出力制御部(15)は、前記補正帯域決定部(14)によって決定された補正帯域の音声信号において前記所定の最大可聴音量レベルを超える部分を所定のリミッターカーブに従って可聴音量レベルまで引き下げることにより音量を制御して出力すると共に、前記過大出力通知部(13)から前記過大出力通知情報を受ける度に、前記所定の最大可聴音量レベルをより低く設定する、ようにしても良い。
また、前記音声出力制御部(15)は、前記補正帯域決定部(14)によって決定された補正帯域の音声信号において前記所定の最大可聴音量レベルを超える部分に対し、所定の圧縮率を乗算することによりダイナミックレンジを圧縮することにより音量を制御して出力すると共に、前記過大出力通知部(13)から前記過大出力通知情報を受ける度に、前記ダイナミックレンジの圧縮率を大きく設定する、ようにしても良い。
また、本発明の音量制御装置は、入力音声を音声信号に変換する音声入力部(11)と、前記音声信号を高速フーリエ変換してフーリエ係数を出力する高速フーリエ変換部(12’)と、本装置からの出力音声を利用者が過大であると判断した場合にその利用者の操作により過大出力通知情報を出力する過大出力通知部(13)と、前記高速フーリエ変換部(12’)からの前記フーリエ係数に基づいて前記過大出力通知情報が出力されていない場合における前記利用者の可聴信号分布情報と、前記過大出力通知情報が出力された場合における前記利用者の過大信号分布情報とを算出すると共に、算出した前記可聴信号分布情報と前記過大信号分布情報とに基づいて補正帯域を決定する補正帯域決定部(14)と、前記高速フーリエ変換部(12’)からの前記フーリエ係数のうち前記補正帯域決定部(14)によって決定された補正帯域に含まれるフーリエ係数の音声信号のみ音量を制御して出力音声とする音声出力制御部(15’)と、を備えたことを特徴とする音量制御装置である。
また、本発明の音量制御方法は、入力音声を音声信号に変換するステップと、前記音声信号の帯域を分割するステップと、本装置からの出力音声を利用者が過大であると判断した場合にその利用者の操作によって過大出力通知情報が出力されるか否かを判断するステップと、前記音声信号の帯域毎に、前記過大出力通知情報が出力されていない場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す可聴信号分布情報を算出するステップと、前記音声信号の帯域毎に、前記過大出力通知情報が出力された場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す過大信号分布情報を算出するステップと、前記音声信号の帯域毎に、前記可聴信号分布情報と前記過大信号分布情報とを比較し、その比較結果に基づいて補正帯域を決定するステップと、前記補正帯域の音声信号のみ音量を制御して出力音声とするステップと、を備えたことを特徴とする音量制御方法である。
本発明の音量制御装置および音量制御方法によれば、利用者にテスト用の聴力データを聴かせることなく、実生活の中で利用者が過大と感じた帯域の音声の最大出力レベルを調整することができる。
実施形態1の音声制御装置の構成例を示すブロック図である。 実施形態1の音声制御装置を構成する各構成要素の動作例を示すフローチャートである。 実施形態1の頻度比較補正帯域決定部145における可聴信号分布情報S4と過大信号分布情報S5の比較の一例を示す図である。 実施形態1の音声出力制御部のダイナミックレンジ圧縮部による最大可聴レベルの引き下げによって変化するゲイン特性(増幅特性)の変化の例を示す図である。 実施形態1の音声出力制御部のダイナミックレンジ圧縮部による最大可聴レベルの引き下げによって変化するゲイン特性(増幅特性)の変化の他の例を示す図である。 実施形態2の音声制御装置の構成例を示すブロック図である。
以下、本発明に係る音声制御装置の実施形態1,2について説明する。なお、以下に説明する本発明に係る音声制御装置の実施形態1、2では、難聴者等が使用する補聴器や集音器等を一例として説明する。
まず、本発明に係る音声制御装置の実施形態1について説明する。
図1において、実施形態1の音声制御装置1は、音声入力部11と、帯域分割部12と、過大出力通知部13と、補正帯域決定部14と、音声出力制御部15と、を有する。
音声入力部11は、入力音声を音声信号S1に変換して帯域分割部12へ出力するものである。
帯域分割部12は、音声入力部11によって変換して出力された音声信号S1を所定の周波数帯域毎に分割して帯域分割音声信号S2として出力するものである。
過大出力通知部13は、本装置1を使用した利用者が、本装置1を介し利用者の耳に実際に入る出力音声を過大と判断した場合に、利用者のボタン操作等により過大出力通知情報S3を補正帯域決定部14へ出力するものである。
補正帯域決定部14は、帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、過大出力通知部13から過大出力通知情報S3が出力されていない場合における利用者の後述する可聴信号分布情報S4と、過大出力通知部13から過大出力通知情報S3が出力された場合における後述する過大信号分布情報S5とを算出し、算出した可聴信号分布情報S4と過大信号分布情報S5とに基づいて補正帯域を決定するものである。
ここで、本実施形態1の補正帯域決定部14は、可聴信号分布情報算出部141と、可聴信号分布情報記憶部142と、過大信号分布情報算出部143と、過大信号分布情報記憶部144と、頻度比較補正帯域決定部145とを有している。
可聴信号分布情報算出部141は、帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、過大出力通知部13から過大出力通知情報S3が出力されていない場合における所定単位時間、すなわちフレーム毎のパワーである信号レベル値を算出する。そして、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す可聴信号分布情報S4を算出し、可聴信号分布情報記憶部142に記憶するものである。ここで、可聴信号分布情報算出部141は、過大出力通知情報S3が出力されていない場合における可聴信号分布情報S4を算出する際、所定計測時間内に同一信号レベル値を有するフレーム数をカウントし、所定の母数で正規化して発生頻度とする。所定の母数とは、例えば、本実施形態1の可聴信号分布情報記憶部142が所定の時間を経過した可聴信号分布情報S4を古いものから順次削除する場合における、所定の時間の時間幅をフレーム時間幅で除したものに相当する。
可聴信号分布情報記憶部142は、可聴信号分布情報算出部141によって算出された可聴信号分布情報S4を記憶するものである。ここで、本実施形態1の可聴信号分布情報記憶部142は、所定の時間を経過した可聴信号分布情報S4を古いものから順次削除することで、利用環境が変わった際に古い可聴信号分布情報S4の影響を受け過ぎることを回避するようにしている。なお、可聴信号分布情報記憶部142は、所定の時間を経過した可聴信号分布情報S4を古いものから順次削除せずに、加重平均等を利用して古い可聴信号分布情報S4の影響を少なくするようにしても勿論良い。
過大信号分布情報算出部143は、帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、過大出力通知部13から過大出力通知情報S3が出力された場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す過大信号分布情報S5を算出し、過大信号分布情報記憶部144に記憶するものである。ここで、過大信号分布情報算出部143は、過大出力通知情報S3が出力された場合における過大信号分布情報S5を算出する際、後述する図3に示すように、所定計測時間内に同一信号レベル値を有するフレーム数をカウントし、所定の母数で正規化して発生頻度とする。所定の母数は、本実施形態1の過大信号分布情報記憶部144が所定の時間を経過した過大信号分布情報S5を古いものから順次削除する場合における、所定の時間の時間幅をフレーム時間幅で除したものに相当する。
過大信号分布情報記憶部144は、過大信号分布情報算出部143によって算出された過大信号分布情報S5を記憶するものである。ここで、本実施形態1の過大信号分布情報記憶部144は、可聴信号分布情報記憶部142と同様に、所定の時間を経過した可聴信号分布情報S4を古いものから順次削除することで、利用環境が変わった際に古い過大信号分布情報S5の影響を受け過ぎることを回避するようにしている。なお、過大信号分布情報記憶部144は、可聴信号分布情報記憶部142と同様に、所定の時間を経過した過大信号分布情報S5を古いものから順次削除せずに、加重平均等を利用して古い過大信号分布情報S5の影響を少なくするようにしても勿論良い。
頻度比較補正帯域決定部145は、帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、可聴信号分布情報記憶部142に記憶された可聴信号分布情報S4における発生頻度と、過大信号分布情報記憶部144に記憶された過大信号分布情報S5における発生頻度とを比較する。そして、可聴信号分布情報S4における発生頻度より過大信号分布情報S5における発生頻度の方が大きい場合、その帯域分割音声信号S2の帯域を補正帯域として決定し、補正帯域決定情報S6として音声出力制御部5へ出力するものである。具体的には、図3を参照して後述する。
また、音声出力制御部15は、帯域分割部12からの帯域が分割された帯域分割音声信号S2のうち、補正帯域決定部14からの補正帯域決定情報S6に基づいて、音量を制御する補正帯域の帯域分割音声信号S2のみ音量を制御して出力音声とするものである。ここで、本実施形態1の音声出力制御部15は、ダイナミックレンジ圧縮部151と、信号合成部152と、音声出力部153とを有する。
次に、以上のように構成された本発明に係る音声制御装置の実施形態1の動作を、図2のフローチャートを参照して説明する。
まず、図示を省略する電源がオンになったこと等を契機として、音声制御装置1は動作を開始し、そして、外部から補聴器または集音器等の音声制御装置1の音声に音声が入力すると、音声入力部11は、入力音声を音声信号S1に変換して帯域分割部12に出力する(ステップ200)。
帯域分割部12は、音声入力部11を介し入力された音声信号S1を帯域分割して、帯域分割音声信号S2として、補正帯域決定部14および音声出力制御部15に出力する(ステップ210)。
ここで、補正帯域決定部14には、図1に示すように過大出力通知部13が接続されている。過大出力通知部13は、補聴器または集音器等の音声制御装置1を利用する利用者が、その音声制御装置1から過大出力が出力されたと感じたときにボタン操作等をすると、過大出力通知情報S3を補正帯域決定部14や音声出力制御部15に対し出力する。
補正帯域決定部14は、過大出力通知部13から過大出力通知情報S3が出力され、入力するか否かを判断する(ステップ220)。
ここで、過大出力通知部13から過大出力通知情報S3が出力されてなく、補正帯域決定部14に過大出力通知情報S3が入力していない場合(ステップ220“NO”)、補正帯域決定部14では、可聴信号分布情報算出部141が帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、過大出力通知部13から過大出力通知情報S3が出力されていない場合における可聴信号分布情報S4を算出して(ステップ230)、可聴信号分布情報記憶部142に記憶する。具体的には、可聴信号分布情報算出部141は、帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、過大出力通知部13から過大出力通知情報S3が出力されていない間、所定単位時間(例えば、1mm秒。)であるフレーム毎に、各帯域分割音声信号S2の信号レベル値を算出する。そして、所定計測時間(例えば、数秒〜数十秒)内に同一信号レベル値を有するフレーム数をカウントする。可聴信号分布情報算出部141は、そのカウント値を所定の母数により正規化して可聴信号の発生頻度として可聴信号分布情報S4を算出する。可聴信号分布情報S4は、後述する図3のように横軸を信号レベル値として縦軸に発生頻度をとった可聴信号の発生頻度の分布を示す。
これに対し、利用者の操作に基づいて過大出力通知部13から過大出力通知情報S3が出力され、補正帯域決定部14に入力した場合(ステップ220“YES”)、補正帯域決定部14では、過大信号分布情報算出部143が帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、過大出力通知部13から過大出力通知情報S3が出力された場合における利用者の過大信号分布情報S5を算出して(ステップ240)、過大信号分布情報記憶部144に記憶する。具体的には、過大信号分布情報算出部143は、帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、過大出力通知部13から過大出力通知情報S3が出力されている間、可聴信号分布情報算出部141と同様に、所定単位時間(例えば、1mm秒。)であるフレーム毎に、各帯域分割音声信号S2の信号レベル値を算出する。そして、所定計測時間(例えば、数秒〜数十秒)内に同一信号レベル値を有するフレーム数をカウントする。過大信号分布情報算出部143は、そのカウント値を所定の母数により正規化して過大信号の発生頻度として過大信号分布情報S5を算出する。過大信号分布情報S5は、後述する図3のように横軸を信号レベル値として縦軸に発生頻度をとった過大信号の発生頻度の分布を示す。
次に、補正帯域決定部14では、頻度比較補正帯域決定部145が、帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、可聴信号分布情報記憶部142に記憶された可聴信号分布情報S4における発生頻度と、過大信号分布情報記憶部144に記憶された過大信号分布情報S5における発生頻度とを比較して、その比較結果に基づいて補正帯域を決定する(ステップ250)。なお、頻度比較補正帯域決定部145は、このようにして決定した補正帯域を、補正帯域情報S6として音声出力制御部15へ出力する。
図3では、横軸に信号レベル、縦軸に発生頻度をとり、可聴信号分布情報S4と過大信号分布情報S5とを示している。
前述したように、可聴信号分布情報S4および過大信号分布情報S5は、それぞれ、可聴信号分布情報算出部141および過大信号分布情報算出部143によって、所定単位時間(例えば、1mm秒。)であるフレーム毎に、各帯域分割音声信号S2の信号レベル値を算出する。そして、所定計測時間(例えば、数秒〜数十秒)内に同一信号レベル値を有するフレーム数をカウントし、そのカウント値を所定の母数により正規化する。横軸に正規化した信号レベル値をとり、縦軸に正規化した発生頻度をとった可聴信号および過大信号の発生頻度の分布情報である。
ここで、本実施形態1では、頻度比較補正帯域決定部145は、帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、図3に示すように、可聴信号分布情報S4と過大信号分布情報S5とを、ユーザに応じた所定の最大可聴レベル1近傍において比較する。頻度比較補正帯域決定部145は、所定の最大可聴レベル1近傍において可聴信号分布情報S4の発生頻度よりも過大信号分布情報S5の発生頻度の方が大きい場合に、その帯域分割音声信号S2の帯域を補正帯域として決定する。
そして、補正帯域決定部14の頻度比較補正帯域決定部145から音声出力制御部15へ補正帯域情報S6が出力されると、音声出力制御部15では、まず、ダイナミックレンジ圧縮部151が後述するダイナミックレンジのゲイン特性(増幅特性)の変更処理を行う(ステップ260)。そして、その補正帯域情報S6に基づいて、補正帯域情報S6が指定した補正帯域の帯域分割音声信号S2のみダイナミックレンジを後述する図4や図5等に示すように圧縮して、該当する補正帯域の最大可聴レベル1を最大可聴レベル2まで引き下げる(ステップ270)。つまり、ダイナミックレンジ圧縮部151は、利用者の操作に基づいて過大出力通知部13から過大出力通知情報S3が出力され、補正帯域決定部14に入力する度に、ステップ260にて後述するダイナミックレンジのゲイン特性の変更処理を行う。そして、ステップ270により変更処理後のゲイン特性に基づいて補正帯域の帯域分割音声信号S2のみダイナミックレンジを圧縮する。
図4および図5は、それぞれ、音声出力制御部15のダイナミックレンジ圧縮部151による最大可聴レベルの引き下げによって変化するゲイン特性(増幅特性)の変化の例を示す図である。なお、図4および図5において、横軸は補正帯域情報S6が指定した補正帯域の帯域分割音声信号S2の入力レベルであり、縦軸はその出力レベルである。
図4の例において、音声出力制御部15のダイナミックレンジ圧縮部151は、補正帯域情報S6によって指定された補正帯域の帯域分割音声信号S2のみ、利用者に応じた所定の最大可聴レベル1を上限としてリミッターを動作させ、ゲイン特性に基づいて最大可聴レベル1から最大可聴レベル2までダイナミックレンジを引き下げる。ここで、図4に示す場合、ダイナミックレンジ圧縮部151は、利用者の操作に基づいて過大出力通知部13から過大出力通知情報S3が出力される度に、ステップ260の処理によりゲイン特性を大きく変更して、最大可聴レベル1から最大可聴レベル2への引き下げ幅を大きくして、少しずつ最大可聴レベル2の値を小さくしていく。なお、図4における最大可聴レベル1とは、図3における最大可聴レベル1と同じである。
また、図5の例において、音声出力制御部15のダイナミックレンジ圧縮部151は、補正帯域情報S6が指定した補正帯域の帯域分割音声信号S2のみ、最大可聴レベル1を上限としてリミッターを動作させ、図4に示すように最大可聴レベル2までダイナミックレンジを引き下げると共に、さらに、所定の圧縮率を乗算することにより帯域分割音声信号S2のゲイン特性の傾きを変化させる。ここで、図5に示す場合、ダイナミックレンジ圧縮部151は、利用者の操作に基づいて過大出力通知部13から過大出力通知情報S3が出力される度に、ステップ260の処理により所定の圧縮率等のゲイン特性を大きく変更して、少しずつ最大可聴レベル2の値を小さくしていくと共に、帯域分割音声信号S2のゲイン特性の傾きを変化させていくことになる。なお、図5における最大可聴レベル1とは、図4における最大可聴レベル1と同様に、図3における最大可聴レベル1と同じである。
これにより、図4および図5に示す両場合とも、過大出力通知部13から過大出力通知情報S3が出力される度に、音声出力制御部15のダイナミックレンジ圧縮部151は、徐々に、最大可聴レベル2が引き下げられる。このため、急激に音量が下がることがなくなり、この点で本装置の使用勝手や使用感が向上する。なお、音声出力制御部15のダイナミックレンジ圧縮部151は、補正帯域情報S6が指定した補正帯域の帯域分割音声信号S2のみ、利用者が過大と感じない音量までダイナミックレンジを引き下げれば良く、その方法は図4および図5に限定されるものではない。また、音声出力制御部15のダイナミックレンジ圧縮部151にてダイナミックレンジ圧縮のゲイン特性を更新できるように、過大出力通知部13から、直接、ダイナミックレンジ圧縮部151に過大出力通知情報S3が出力されるように構成しても勿論よい。
次に、信号合成部152は、ダイナミックレンジ圧縮部151によってダイナミックレンジが圧縮された補正帯域の帯域分割音声信号S7と、ダイナミックレンジが圧縮されずそのままである補正帯域以外の帯域分割音声信号S2とを合成して(ステップ280)、合成音声信号S8として音声出力部153へ出力する。
すると、音声出力部153は、信号合成部152からの合成音声信号S8を入力して、出力音声に変換して利用者の耳等にイヤホン等を介して出力する(ステップ290)。
従って、本実施形態1の音声制御装置1によれば、補正帯域決定部14が帯域分割部12によって分割された各帯域の帯域分割音声信号S2毎に、過大出力通知部13からの過大出力通知情報S3が出力されていない場合における利用者の可聴信号分布情報S4と過大出力通知情報S3が出力された場合における利用者の過大信号分布情報S5とを算出し、算出した可聴信号分布情報S4と過大信号分布情報S5とに基づいて補正帯域を決定し、音声出力制御部15が補正帯域の音声信号が過大な音量にならないようにその補正帯域のダイナミックレンジを圧縮して出力するので、利用者にテスト用の聴力データを聴かせることなく、実生活の中で利用者が過大と感じた帯域の音声の最大出力レベルを調整することができる。
特に、本実施形態1の音量制御装置1では、音声出力制御部15のダイナミックレンジ圧縮部151は、利用者の操作に基づいて過大出力通知部13から過大出力通知情報S3が出力される度に、ダイナミックレンジのゲイン特性の変更処理を行って、変更処理後のゲイン特性に基づいて補正帯域の帯域分割音声信号S2のみダイナミックレンジを圧縮するようにしたので、利用者による過大出力通知情報S3の出力回数に応じて、徐々に、最大可聴レベル2やゲイン特性の傾きが下がることになる。その結果、本実施形態1の音量制御装置1によれば、実際の利用環境において本装置の利用者が随時うるさいと感じる音を徐々に学習してダイナミックレンジの圧縮を行うことが可能となり、従来の調整方法では難しかった利用者の主観に基づいた閾値の決定を徐々に行って、より利用環境に適合したダイナミックレンジ圧縮処理を行うことができる。
次に、図6を参照して、本発明に係る音声制御装置の実施形態2について説明する。なお、図6において、図1に示す実施形態1の音声制御装置1と同一の構成要素には、同一符号を付して説明する。
実施形態2の音声制御装置2は、音声入力部11と、高速フーリエ変換(FFT)部12’と、過大出力通知部13と、補正帯域決定部14と、音声出力制御部15’と、を有する。そして、本実施形態2の音声出力制御部15’は、ダイナミックレンジ圧縮部151と、逆高速フーリエ変換(IFFT)部152’と、音声出力部153とを有する。
つまり、実施形態2の音声制御装置2は、図1に示す実施形態1の音声制御装置1における帯域分割部12および信号合成部152の代わりに、高速フーリエ変換部12’および逆高速フーリエ変換部152’を設けたもので、それ以外の構成要素は、実施形態1の音声制御装置1のものと同一である。すなわち、図1に示す実施形態1の音声制御装置1では、帯域分割部12が音声信号S1をその周波数帯域毎に分割してダイナミックレンジを圧縮する補正帯域を決定するようにしていたが、本実施形態2の音声制御装置2では、高速フーリエ変換部12’が音声信号S1をフーリエ変換して、複数の周波数成分の波形成分であるフーリエ係数S2’に分けてダイナミックレンジを圧縮する補正帯域を決定するようにしたものである。
そのため、本実施形態2の音声制御装置2では、音声入力部11から入力音声信号S1が高速フーリエ変換部12’に入力すると、高速フーリエ変換部12’は入力された音声信号S1からフーリエ係数S2’を得て、補正帯域決定部14ならびに音声出力制御部15へ出力する。
過大出力通知部13から過大出力通知情報S342を受信していない時には、可聴信号分布情報算出部141は、入力されたフーリエ係数S2’から実施形態1と同様に信号レベル値を算出して、所定計測時間(例えば、数秒〜数十秒)内に同一信号レベル値を有するフレーム数をカウントする。そして、可聴信号分布情報算出部141は、そのカウント値を所定の母数により正規化して可聴信号の発生頻度として可聴信号分布情報S4を算出し、可聴信号分布情報記憶部142に記録されている可聴信号分布情報S4を更新する。
一方、補正帯域決定部14は、利用者の操作により過大出力通知部13から過大出力通知情報S342が出力され受信すると、入力されたフーリエ係数S2’の信号レベル値を算出して、同様にして過大信号分布情報S5を算出し、過大信号分布情報記憶部144に記録されている過大信号分布情報S5を更新する。
そして、補正帯域決定部14では、頻度比較補正帯域決定部145が、実施形態1の場合と同様に、過大信号分布情報S5と可聴信号分布情報S4を比較して、所定の最大可聴レベル1近傍において可聴信号分布情報S4よりも過大信号分布情報S5が大きい頻度を示す帯域を補正対象とする補正帯域を決定して、決定した補正帯域情報S6を音声出力制御部15’へ出力する。
すると、音声出力制御部15では、まずダイナミックレンジ圧縮部151が、補正帯域決定部14からの補正帯域情報S6に基づいて、高速フーリエ変換部12’からのフーリエ係数S2’における補正帯域であると判断された周波数帯域のフーリエ係数S2’のみ、実施形態1の場合と同様に、最大可聴レベル1を最大可聴レベル2等に引き下げる等してダイナミックレンジを圧縮して、フーリエ係数S7’としてIFFT部152へ出力する。
逆高速フーリエ変換(IFFT)部152’は、ダイナミックレンジ圧縮部151によって補正帯域のみダイナミックレンジが圧縮されたフーリエ係数S7’を、逆高速フーリエ変換して時間軸上の音声信号S8に戻し、音声出力部153へ出力する。すると、音声出力部153は、実施形態1と同様に、その音声信号S8に基づいて出力音声S9を出力する。
従って、実施形態2の音声制御装置2では、図1に示す実施形態1の音声制御装置1における帯域分割部12および信号合成部152の代わりに、高速フーリエ変換部12’および逆高速フーリエ変換部152’を設けた。このため、実施形態1の音声制御装置1と同様に、利用者にテスト用の聴力データを聴かせることなく、実生活の中で利用者が過大と感じた帯域の音声の最大出力レベルを調整することができる。また、過大出力通知情報S3が出力される度にダイナミックレンジのゲイン特性の変更処理を行うことにより、より利用環境に適合したダイナミックレンジ圧縮処理を行うことができる。
最後に、上述の実施形態は、本発明の一例である。このため、本発明は上述の実施形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
1,2 音声制御装置
11 音声入力部
12 帯域分割部
13 過大出力通知部
14 補正帯域決定部
141 可聴信号分布情報算出部
142 可聴信号分布情報記憶部
143 過大信号分布情報算出部
144 過大信号分布情報記憶部
145 頻度比較補正帯域決定部
15,15’ 音声出力制御部
151 ダイナミックレンジ圧縮部
152 信号合成部
153 音声出力部
12’ 高速フーリエ変換(FFT)部
152’ 逆高速フーリエ変換(IFFT)部

Claims (9)

  1. 入力音声を音声信号に変換する音声入力部と、
    前記音声信号の帯域を分割する帯域分割部と、
    利用者の操作により過大出力通知情報を出力する過大出力通知部と、
    前記帯域分割部によって分割された前記音声信号の帯域毎に、前記過大出力通知情報が出力されていない場合における前記利用者の可聴信号分布情報と、前記過大出力通知情報が出力された場合における前記利用者の過大信号分布情報とを算出し、算出した前記可聴信号分布情報と前記過大信号分布情報とに基づいて補正帯域を決定する補正帯域決定部と、
    前記帯域分割部からの帯域が分割された前記音声信号のうち前記補正帯域決定部によって決定された補正帯域の音声信号の音量を制御して出力音声とする音声出力制御部と、
    を備えたことを特徴とする音量制御装置。
  2. 請求項1記載の音量制御装置において、
    前記補正帯域決定部は、
    前記帯域分割部によって分割された前記音声信号の帯域毎に、前記過大出力通知情報が出力されていない場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す可聴信号分布情報を算出する可聴信号分布情報算出部と、
    前記可聴信号分布情報算出部によって算出された前記可聴信号分布情報を記憶する可聴信号分布情報記憶部と、
    前記帯域分割部によって分割された前記音声信号の帯域毎に、前記過大出力通知情報が出力された場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す過大信号分布情報を算出する過大信号分布情報算出部と、
    前記過大信号分布情報算出部によって算出された前記過大信号分布情報を記憶する過大信号分布情報記憶部と、
    前記帯域分割部によって分割された前記音声信号の帯域毎に、前記可聴信号分布情報記憶部に記憶された前記可聴信号分布情報における前記発生頻度と、前記過大信号分布情報記憶部に記憶された前記過大信号分布情報における前記発生頻度とを比較し、前記可聴信号分布情報における前記発生頻度より前記過大信号分布情報における前記発生頻度の方が大きい場合、その帯域を補正帯域として決定する頻度比較補正帯域決定部と、
    を備えたことを特徴とする音量制御装置。
  3. 請求項2記載の音量制御装置において、
    前記可聴信号分布情報記憶部および前記過大信号分布情報記憶部は、それぞれ、
    記憶している前記可聴信号分布情報および前記過大信号分布情報を、古いものから順次削除する、
    ことを特徴とする音量制御装置。
  4. 請求項2または請求項3記載の音量制御装置において、
    前記頻度比較補正帯域決定部は、
    前記帯域分割部によって分割された前記音声信号の帯域毎に、所定の最大可聴音量レベル近傍で、前記可聴信号分布情報における前記発生頻度と前記過大信号分布情報における前記発生頻度とを比較し、前記可聴信号分布情報における前記発生頻度より前記過大信号分布情報における前記発生頻度の方が大きい場合、その帯域を補正帯域として決定する、
    ことを特徴とする音量制御装置。
  5. 請求項4に記載の音量制御装置において、
    前記音声出力制御部は、
    前記補正帯域決定部によって決定された補正帯域の音声信号において前記所定の最大可聴音量レベルを超える部分を所定のリミッターカーブに従って可聴音量レベルまで引き下げることにより音量を制御して出力すると共に、前記過大出力通知部から前記過大出力通知情報を受ける度に、前記所定の最大可聴音量レベルをより低く設定する、
    ことを特徴とする音量制御装置。
  6. 請求項4記載の音量制御装置において、
    前記音声出力制御部は、
    前記補正帯域決定部によって決定された補正帯域の音声信号において前記所定の最大可聴音量レベルを超える部分に対し、所定の圧縮率を乗算することによりダイナミックレンジを圧縮することにより音量を制御して出力すると共に、前記過大出力通知部から前記過大出力通知情報を受ける度に、前記ダイナミックレンジの圧縮率を大きく設定する、
    ことを特徴とする音量制御装置。
  7. 入力音声を音声信号に変換する音声入力部と、
    前記音声信号を高速フーリエ変換してフーリエ係数を出力する高速フーリエ変換部と、
    利用者の操作により過大出力通知情報を出力する過大出力通知部と、
    前記高速フーリエ変換部からの前記フーリエ係数に基づいて前記過大出力通知情報が出力されていない場合における前記利用者の可聴信号分布情報と、前記過大出力通知情報が出力された場合における前記利用者の過大信号分布情報とを算出すると共に、算出した前記可聴信号分布情報と前記過大信号分布情報とに基づいて補正帯域を決定する補正帯域決定部と、
    前記高速フーリエ変換部からの前記フーリエ係数のうち前記補正帯域決定部によって決定された補正帯域に含まれるフーリエ係数の音声信号のみ音量を制御して出力音声とする音声出力制御部と、
    を備えたことを特徴とする音量制御装置。
  8. 入力音声を音声信号に変換するステップと、
    前記音声信号の帯域を分割するステップと、
    利用者の操作によって過大出力通知情報が出力されるか否かを判断するステップと、
    前記音声信号の帯域毎に、前記過大出力通知情報が出力されていない場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す可聴信号分布情報を算出するステップと、
    前記音声信号の帯域毎に、前記過大出力通知情報が出力された場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す過大信号分布情報を算出するステップと、
    前記音声信号の帯域毎に、前記可聴信号分布情報と前記過大信号分布情報とを比較し、その比較結果に基づいて補正帯域を決定するステップと、
    前記補正帯域の音声信号の音量を制御して出力音声とするステップと、
    を備えたことを特徴とする音量制御方法。
  9. コンピュータに、
    入力音声を音声信号に変換するステップと、
    前記音声信号の帯域を分割するステップと、
    利用者の操作によって過大出力通知情報が出力されるか否かを判断するステップと、
    前記音声信号の帯域毎に、前記過大出力通知情報が出力されていない場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す可聴信号分布情報を算出するステップと、
    前記音声信号の帯域毎に、前記過大出力通知情報が出力された場合における所定フレーム毎の信号レベル値を算出して、所定計測時間内に同一信号レベル値を有するフレーム数の発生頻度の分布を示す過大信号分布情報を算出するステップと、
    前記音声信号の帯域毎に、前記可聴信号分布情報と前記過大信号分布情報とを比較し、その比較結果に基づいて補正帯域を決定するステップと、
    前記補正帯域の音声信号の音量を制御して出力音声とするステップと、
    を実行させることを特徴とする音量制御プログラム。
JP2011046120A 2011-03-03 2011-03-03 音量制御装置、音量制御方法、および音量制御プログラム Active JP5531988B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011046120A JP5531988B2 (ja) 2011-03-03 2011-03-03 音量制御装置、音量制御方法、および音量制御プログラム
EP12001393.3A EP2495997B1 (en) 2011-03-03 2012-03-01 Sound volume control device, sound volume control method, and sound volume control program
US13/410,954 US8995686B2 (en) 2011-03-03 2012-03-02 Sound volume control device, sound volume control method, and sound volume control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011046120A JP5531988B2 (ja) 2011-03-03 2011-03-03 音量制御装置、音量制御方法、および音量制御プログラム

Publications (2)

Publication Number Publication Date
JP2012182774A JP2012182774A (ja) 2012-09-20
JP5531988B2 true JP5531988B2 (ja) 2014-06-25

Family

ID=45851354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011046120A Active JP5531988B2 (ja) 2011-03-03 2011-03-03 音量制御装置、音量制御方法、および音量制御プログラム

Country Status (3)

Country Link
US (1) US8995686B2 (ja)
EP (1) EP2495997B1 (ja)
JP (1) JP5531988B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9462381B2 (en) 2014-05-28 2016-10-04 Apple Inc. Intelligent dynamics processing
WO2016011288A1 (en) 2014-07-16 2016-01-21 Eariq, Inc. System and method for calibration and reproduction of audio signals based on auditory feedback

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0640607B2 (ja) * 1985-04-02 1994-05-25 クラリオン株式会社 音響信号再生機器の音質改善装置
JPS62125800A (ja) 1985-11-26 1987-06-08 Matsushita Electric Ind Co Ltd 注文式補聴器等の音響特性チエツク機器
JP2904272B2 (ja) * 1996-12-10 1999-06-14 日本電気株式会社 ディジタル補聴器、及びその補聴処理方法
DE69712801T2 (de) * 1997-12-23 2002-11-07 Widex As Vaerloese Dynamische automatische verstärkungssteuerung in einem hörhilfegerät
JP3894695B2 (ja) 2000-01-21 2007-03-22 松下電器産業株式会社 補聴器調整装置及び、その補聴器
US6651040B1 (en) * 2000-05-31 2003-11-18 International Business Machines Corporation Method for dynamic adjustment of audio input gain in a speech system
US6914987B2 (en) * 2001-12-19 2005-07-05 Visteon Global Technologies, Inc. Audio amplifier with voltage limiting in response to spectral content
JP2006303825A (ja) * 2005-04-19 2006-11-02 Funai Electric Co Ltd テレビ受像機
EP2215857B1 (en) * 2007-11-29 2019-11-13 Widex A/S Hearing aid and a method of managing a logging device
JP2009147701A (ja) * 2007-12-14 2009-07-02 Panasonic Corp 振幅制御装置、携帯電話装置、および振幅制限方法
US8885851B2 (en) * 2008-02-05 2014-11-11 Sony Corporation Portable device that performs an action in response to magnitude of force, method of operating the portable device, and computer program
CN102257728B (zh) * 2008-10-17 2014-11-26 夏普株式会社 音频信号调节设备及音频信号调节方法
JP5223595B2 (ja) * 2008-10-29 2013-06-26 ヤマハ株式会社 音声処理回路及び音声処理方法
KR100974153B1 (ko) * 2010-02-10 2010-08-04 심윤주 보청기 자동 피팅방법

Also Published As

Publication number Publication date
EP2495997B1 (en) 2015-08-19
JP2012182774A (ja) 2012-09-20
EP2495997A1 (en) 2012-09-05
US20120224720A1 (en) 2012-09-06
US8995686B2 (en) 2015-03-31

Similar Documents

Publication Publication Date Title
JP6436934B2 (ja) 動的閾値を用いた周波数帯域圧縮
US9319814B2 (en) Method for fitting a hearing aid device with active occlusion control to a user
JP4649546B2 (ja) 補聴器
JP6123503B2 (ja) 音声補正装置、音声補正プログラム、および、音声補正方法
JP2002536930A (ja) 適応ダイナミックレンジ最適化サウンドプロセッサ
JP5151762B2 (ja) 音声強調装置、携帯端末、音声強調方法および音声強調プログラム
WO2009055281A2 (en) Hearing aid apparatus
WO2021103260A1 (zh) 耳机的控制方法以及耳机
KR20150020810A (ko) 청각 기기 및 양이 청각 모델을 이용한 청각 기기의 피팅 방법
WO2011055489A1 (ja) 補聴器
US20140064529A1 (en) Apparatus and method of shielding external noise for use in hearing aid device
JP5531988B2 (ja) 音量制御装置、音量制御方法、および音量制御プログラム
JP2009296297A (ja) 音声信号処理装置および方法
WO2012098856A1 (ja) 補聴器、及び、補聴器の制御方法
JP2004179965A (ja) 補聴器の自動増幅特性調整装置
TW201822191A (zh) 語音信號處理裝置及語音信號處理方法
JP4811475B2 (ja) 録音装置、録音方法、音声信号補正回路及びプログラム
JP2012216978A (ja) 信号処理装置及び信号処理方法
JP4077436B2 (ja) 補聴器調整システム及び補聴器調整装置
JP2008227681A (ja) 音響特性補正システム
JP2008224816A (ja) カラオケ装置
JP2003304599A (ja) 補聴器の調整方法と補聴器
JP6930167B2 (ja) 音響機器、音響機器制御方法及びプログラム
JP4141682B2 (ja) 音響再生装置、音響再生プログラムおよび音響再生方法
KR100632236B1 (ko) 보청기의 증폭도 맞춤 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140407

R150 Certificate of patent or registration of utility model

Ref document number: 5531988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150