JP4856559B2 - 受信音声再生装置 - Google Patents

受信音声再生装置 Download PDF

Info

Publication number
JP4856559B2
JP4856559B2 JP2007019840A JP2007019840A JP4856559B2 JP 4856559 B2 JP4856559 B2 JP 4856559B2 JP 2007019840 A JP2007019840 A JP 2007019840A JP 2007019840 A JP2007019840 A JP 2007019840A JP 4856559 B2 JP4856559 B2 JP 4856559B2
Authority
JP
Japan
Prior art keywords
frequency characteristic
value
frequency
characteristic
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007019840A
Other languages
English (en)
Other versions
JP2008187509A (ja
Inventor
幸弘 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2007019840A priority Critical patent/JP4856559B2/ja
Priority to US12/007,442 priority patent/US8145476B2/en
Publication of JP2008187509A publication Critical patent/JP2008187509A/ja
Application granted granted Critical
Publication of JP4856559B2 publication Critical patent/JP4856559B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、受信音声再生装置に関する。
従来から、通信端末等の受信音声を、操作者にとって聞きやすい音声に変換して出力する通信端末の技術がある。例えば、特許第３２８６９２４号公報（特許文献１）には、受信した音声信号の感度周波数特性を調整する機能を備えた移動通信用端末機の技術が開示されている。特許文献１によれば、感度周波数特性を調整するためにディジタルフィルタを用い、そのディジタルフィルタの特性を設定するためのタップ係数を、予め複数種類用意する。これにより、屋外の周囲騒音の大きい場所で使用する場合や、老人性難聴者が使用する場合等においても、受信再生音声が聞き易くなるように調整することができる。
特許第３２８６９２４号公報
しかしながら、上記特許文献１に開示されている移動通信用端末機の技術では、周波数毎に乗じる係数の値を設定しているため、受信された音声に対する係数の値が適切では無い場合に、通信端末等の操作者にとって聞きづらい音声が出力されることがある。
例えば、受信した音声の周波数において高域部分の出力値が大きい場合に、受信音声の周波数の高域が強調されるような係数が設定されていると、聞きづらい音声が出力される。
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、受信音声の周波数特性に関わらず、聞き易い音声を出力する受信音声再生装置を提供することを目的としている。
上記目的を達成するために、本発明の受信音声再生装置は次の如き構成を採用した。
本発明の受信音声再生装置は、受信された音声信号に基づくディジタル音声信号を、所定の周波数帯域毎に分解して得られた周波数特性である第一の周波数特性を取得する特性取得手段と、所定の周波数帯域毎の周波数特性である第二の周波数特性の値を設定する設定手段と、前記第一の周波数特性の値と前記第二の周波数特性の値との差に基づき、周波数帯域毎のゲインを演算する演算手段と、前記ディジタル音声信号に対し、該ディジタル音声信号の周波数帯域毎に対応する前記ゲインを乗ずることにより、前記ディジタル音声信号の周波数特性を変更する特性変更手段とを有する構成とすることができる。
これにより、受信音声の周波数特性に関わらず、聞き易い音声を出力する受信音声再生装置を提供することができる。
また、上記目的を達成するために、本発明の受信音声再生装置は、さらに、前記周波数特性は、周波数の所定の帯域内における、所定の周波数帯域毎の、前記ディジタル音声信号の大きさであるように構成することができる。
これにより、所定の周波数毎に設定された大きさに応じてゲインを設定して、出力する音声信号の周波数特性を変更することができる。
また、上記目的を達成するために、本発明の受信音声再生装置は、さらに、互いに異なる複数の前記第二の周波数特性の値を保持する保持手段を有し、前記設定手段は、前記保持手段が保持する第二の周波数特性の値のうち、一の第二の周波数特性の値を設定するように構成することができる。
これにより、予め複数の周波数特性の値を保持することにより、好適な周波数特性を選択して設定することができる。
また、上記目的を達成するために、本発明の受信音声再生装置は、さらに、前記設定手段が設定する前記一の第二の周波数特性の値の選択を入力する選択入力手段を有する構成とすることができる。
これにより、操作者が好適な周波数特性を選択することができる。
また、上記目的を達成するために、本発明の受信音声再生装置は、さらに、前記第二の周波数特性の値を入力する特性入力手段を有する構成とすることができる。
これにより、操作者が好適な周波数特性の値を入力することができる。
また、上記目的を達成するために、本発明の受信音声再生装置は、さらに、前記演算手段は、前記第一の周波数特性の値と、前記第二の周波数特性の値との、間の値に対するゲインを演算するように構成することができる。
これにより、入力された音声受信信号の周波数特性を含む出力音声信号を得ることができる。
本発明の受信音声再生装置によれば、受信音声の周波数特性に関わらず、聞き易い音声を出力する受信音声再生装置を提供することが可能になる。
以下、本発明の実施の形態を図面に基づき説明する。
〔第一の実施の形態〕
図１は、本発明の一実施の形態に係る受信音声再生装置の機能構成の例である。図１の受信音声再生装置１は、音声信号を受信し、その周波数特性を好適に変換した後、音声として出力する。受信音声再生装置１は、例えば、特性取得手段１１０、設定手段１２０、演算手段１３０、及び、特性変更手段１４０を有する。受信音声再生装置１は、さらに、保持手段１５０、入力手段１６０、受信手段１７０、アナログ−ディジタル（以下、「Ａ／Ｄ」という）変換手段１８０、又は、ディジタルアナログ（以下、「Ｄ／Ａ」という）変換手段１９０を有してもよい。
特性取得手段１１０は、受信音声再生装置１が受信した音声信号の周波数特性を取得する手段である。特性取得手段１１０は、例えば、ディジタル信号に変換された音声信号の周波数特性を、所定の周波数帯域毎のディジタル音声信号の大きさとして取得してもよい。特性取得手段１１０は、また例えば、所定の時間間隔毎に、音声信号の周波数特性を、離散フーリエ変換又はその高速化アルゴリズムである高速フーリエ変換等の周波数分解処理により、取得してもよい。
設定手段１２０は、例えば、操作者等が所望する、好適な周波数特性の値を設定する手段である。設定手段１２０によって設定される周波数特性の値は、例えば、所定の周波数帯域毎のディジタル音声信号の大きさであってもよい。設定手段１２０によって設定される周波数特性に基づき、後述する演算手段１３０又は特性変更手段１４０が、受信音声再生装置１が出力する音声信号の周波数特性の値が変更する。なお、設定手段１２０によって設定される周波数特性は、例えば、受信音声再生装置１が出力する音声信号の周波数特性であってもよい。
設定手段１２０は、また例えば、後述する演算手段１３０が演算した差の割合に基づく処理を行う場合に、その割合を設定してもよい。
演算手段１３０は、特性取得手段１１０によって取得された周波数特性（以下、「第一の周波数特性」という）の値と、設定手段１２０によって取得された周波数特性（以下、「第二の周波数特性」という）の値との、差を求め、さらに、求めた差に基づき、特性変更手段１４０がディジタル音声信号の周波数特性を、選択入力手段１６１等で選択された所定の周波数特性となるように変更する際のゲインを求める。演算手段１３０が求めるゲインは、例えば、ディジタル音声信号の周波数特性が、第二の周波数特性と同一になるようにされている。
ところで、受信音声再生装置１が出力する音声信号が、全て、第二の周波数特性を有するような構成の場合には、例えば、個々の人によって異なるはずの人声が、全て同一の周波数特性となってしまうため、音声信号を聴く者が、誰の声であるのかを判別することが困難になるという不具合が考えられる。そこで、演算手段１３０が求めるゲインは、また例えば、第一の周波数特性の値と、第一の周波数特性の値に差の５０％の値を加えた値と、の比であってもよい。これにより、受信音声再生装置１が出力する音声信号が、第一の周波数特性を含むことができ、例えば、個々の人によって異なる人声の周波数特性をそれぞれ区別することができる。なお、第一の周波数特性の値に加える差の割合は、必ずしも５０％に限らない。例えば、設定手段１２０によってその割合を設定できる構成であってもよい。
特性変更手段１４０は、演算手段１３０によって演算されたゲインに基づき、ディジタル音声信号の周波数特性を変更する手段である。特性変更手段１４０は、例えば、ディジタル音声信号に対してディジタルフィルタ処理を行うことにより、周波数特性を変更する。
保持手段１５０は、設定手段１２０によって設定される第二の周波数特性の値を保持する手段である。保持手段１５０は、複数の第二の周波数特性の値を保持してもよく、後述する入力手段１６０等から入力された指示に基づき、それらの第二の周波数特性の値の中から、一の第二の周波数特性を設定手段１２０に対して出力する。
なお、保持手段１５０が保持する第二の周波数特性の値は、周波数の高域成分が少なく低域成分が多い、例えば、老齢者向けの周波数特性に対応する値であってもよい。
入力手段１６０は、受信音声再生装置１に対する処理の指示等が入力される手段である。入力手段１６０は、例えば、選択入力手段１６１、又は、特性入力手段１６２を有する。選択入力手段１６１は、保持手段１５０によって保持される複数の第二の周波数特性の値の中から、設定手段１２０が設定する第二の周波数特性の値の選択を入力する手段である。
受信音声再生装置１は、操作者が、選択入力手段１６１によって入力を行うために、第二の周波数特性の値のリスト又は第二の周波数特性の値の選択の入力を促す画面を表示する表示手段を有してもよく、また、そのリストの画面又は入力を促す画面を生成する画面生成手段を有してもよい。
特性入力手段１６２は、第二の周波数特性の値を入力する手段である。特性入力手段１６２によって操作者が第二の周波数特性の値を入力するために、受信音声再生装置１は、第二の周波数特性の値の入力を促す画面を表示する表示手段を有していてもよく、また、その入力を促す画面を生成する画面生成手段を有していてもよい。
特性入力手段１６２から入力された第二の周波数特性の値は、設定手段１２０によって設定されてもよく、また、保持手段１５０によって保持された後、選択等されることにより、設定手段１２０によって設定されてもよい。
受信手段１７０は、音声信号を受信する手段であり、Ａ／Ｄ変換手段１８０は、受信手段によって受信された音声信号がアナログ信号の場合に、ディジタル音声信号に変換する手段である。
Ｄ／Ａ変換手段１９０は、特性変更手段１４０によって周波数特性を変更されたディジタル音声信号を、アナログ信号に変換する手段である。Ｄ／Ａ変換手段１９０によって変換された音声信号が、受信音声再生装置１から出力されることにより、操作者等が音声を聴くことができる。
なお、図１では、特性取得手段１１０等は、ディジタル音声信号に対する処理を行っているが、本発明の実施の形態は図１の例に限らず、アナログ音声信号に対する処理を行う構成であってもよい。
（ディジタル方式携帯電話受信装置の例）
図２は、図１の機能構成を有するディジタル方式携帯電話受信装置の例である。図２のディジタル方式携帯電話受信装置１０は、例えば、アンテナ２０、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）受信部１７、ディジタル信号抽出回路１８、ディジタル信号処理装置１１、演算器１３、ディジタル信号処理装置１４、入力装置１６、Ｄ／Ａ変換器１９、アンプ２１、及び、スピーカー２２を有する。
アンテナ２０は無線電波を受信する装置であり、ＲＦ受信部１７は、アンテナによって受信される電波からアナログ音声信号を取得する装置である。ディジタル信号抽出回路１８は、ＲＦ受信部１７によって取得されたアナログ音声信号を、所定の周期でサンプリングすることにより、ディジタル音声信号を抽出する。
ディジタル信号処理装置１１は、ディジタル信号抽出回路１８によって抽出されたディジタル音声信号の周波数特性を取得する。ディジタル信号処理装置１１は、例えば、離散フーリエ変換等のディジタルフィルタ処理によって、ディジタル音声信号を周波数分解することにより、ディジタル音声信号の周波数特性を取得する。なお、ディジタル信号抽出回路１８とディジタル信号処理装置１１は、一の回路又は装置として構成されてもよい。これにより、信号が伝達する際の遅延や信号を一時的に蓄積するためのバッファ等を減らすことができる。
入力装置１６は、ディジタル方式携帯電話受信装置１０が出力する音声信号に係る周波数特性の値を入力する。
演算器１３は、ディジタル信号処理装置１１によって取得されたディジタル音声信号の周波数特性の値と、入力装置１６によって入力された周波数特性の値との差を求める。演算器１３は、さらに、演算された差に基づいて、ディジタル信号処理装置１４がディジタル音声信号を補正処理する際の補正量を演算してもよい。
補正量は、例えば、演算された差の全てを補正するための値であり、また例えば、演算された差の一部を補正するための値であってもよい。補正量は、また例えば、補正前のディジタル音声信号の周波数特性の値と補正後のディジタル音声信号の周波数特性の値との比であるゲインであってもよい。
ディジタル信号処理装置１４は、演算器１３によって演算された補正量を、ディジタル音声信号に反映させる。ディジタル信号処理装置１４は、例えば、ディジタル音声信号に対してディジタルフィルタ処理を行うことにより、補正を行う。なお、ディジタルフィルタの係数等は、演算器１３によって演算された値である。
Ｄ／Ａ変換器１９は、ディジタル信号処理装置１４によって補正されたディジタル音声信号を、アナログ音声信号に変換する手段である。Ｄ／Ａ変換器１９が出力するアナログ音声信号は、アンプ２１によって増幅されスピーカー２２から出力される。なお、アンプ２１は、ディジタル信号処理装置１４と一の装置として構成されてもよく、その場合には、ディジタル信号処理装置１４において、周波数帯域毎のゲインのそれぞれに、さらに、アンプ２１によって増幅されるゲインが加えられる。
（コンピュータ等による実現）
なお、受信音声再生装置１又はその構成要素は、例えばパーソナルコンピュータ（ＰＣ）等で実現されてもよい。以上に示した実施形態の動作処理は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行及び処理されてもよい。
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
本発明の一実施の形態に係る受信音声再生装置の機能構成の例。 本実施の形態に係る受信音声再生装置の機能構成を有するディジタル方式携帯電話受信装置の例
符号の説明
１ 受信音声再生装置
１０ ディジタル方式携帯電話受信機
１１、１４ ディジタル信号処理装置
１３ 演算器
１６ 入力装置
１７ ＲＦ受信部
１８ ディジタル信号抽出回路
１９ Ｄ／Ａ変換器
２０ アンテナ
２１ アンプ
２２ スピーカー
１１０ 特性取得手段
１２０ 設定手段
１３０ 演算手段
１４０ 特性変更手段
１５０ 保持手段
１６０ 入力手段
１６１ 選択入力手段
１６２ 特性入力手段
１７０ 受信手段
１８０ Ａ／Ｄ変換手段
１９０ Ｄ／Ａ変換手段

Claims (5)

  1. 受信された音声信号に基づくディジタル音声信号を、所定の周波数帯域毎に分解して得られた周波数特性である第一の周波数特性を取得する特性取得手段と、
    所定の周波数帯域毎の周波数特性である第二の周波数特性の値を設定する設定手段と、
    前記第一の周波数特性の値と前記第二の周波数特性の値との差に基づき、周波数帯域毎のゲインを演算する演算手段と、
    前記ディジタル音声信号に対し、該ディジタル音声信号の前記周波数帯域毎に対応する前記ゲインを乗ずることにより、前記ディジタル音声信号の周波数特性を変更する特性変更手段と、有し、
    前記演算手段は、前記第一の周波数特性の値と、前記第二の周波数特性の値との、間の値に対するゲインを演算することを特徴とする受信音声再生装置。
  2. 前記周波数特性は、周波数の所定の帯域内における、所定の周波数帯域毎の、前記ディジタル音声信号の大きさであることを特徴とする請求項１記載の受信音声再生装置。
  3. 互いに異なる複数の前記第二の周波数特性の値を保持する保持手段を有し、
    前記設定手段は、前記保持手段が保持する第二の周波数特性の値のうち、一の第二の周波数特性の値を設定することを特徴とする請求項１記載の受信音声再生装置。
  4. 前記設定手段が設定する前記一の第二の周波数特性の値の選択を入力する選択入力手段を有することを特徴とする請求項３記載の受信音声再生装置。
  5. 前記第二の周波数特性の値を入力する特性入力手段を有することを特徴とする請求項１記載の受信音声再生装置。
JP2007019840A 2007-01-30 2007-01-30 受信音声再生装置 Expired - Fee Related JP4856559B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007019840A JP4856559B2 (ja) 2007-01-30 2007-01-30 受信音声再生装置
US12/007,442 US8145476B2 (en) 2007-01-30 2008-01-10 Received voice playback apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007019840A JP4856559B2 (ja) 2007-01-30 2007-01-30 受信音声再生装置

Publications (2)

Publication Number Publication Date
JP2008187509A JP2008187509A (ja) 2008-08-14
JP4856559B2 true JP4856559B2 (ja) 2012-01-18

Family

ID=39668960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007019840A Expired - Fee Related JP4856559B2 (ja) 2007-01-30 2007-01-30 受信音声再生装置

Country Status (2)

Country Link
US (1) US8145476B2 (ja)
JP (1) JP4856559B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160031A (ja) * 2010-01-29 2011-08-18 Ricoh Co Ltd 音声音楽再生装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3054905B2 (ja) 1993-05-26 2000-06-19 住友林業株式会社 柱と柱の接合構造
JP3286924B2 (ja) 1994-04-25 2002-05-27 富士通株式会社 移動通信用端末機
JPH09326844A (ja) * 1996-06-03 1997-12-16 Mitsubishi Electric Corp 騒音低減通話装置及び騒音低減通話方法
JP3266178B2 (ja) * 1996-12-18 2002-03-18 日本電気株式会社 音声符号化装置
JP3236268B2 (ja) * 1999-01-13 2001-12-10 埼玉日本電気株式会社 音声補正装置及び音声補正機能付き移動機
JP3788564B2 (ja) 1999-08-19 2006-06-21 株式会社リコー メロディ音発生装置
JP2001086200A (ja) * 1999-09-09 2001-03-30 Matsushita Electric Ind Co Ltd 携帯電話装置および受話信号の周波数特性変更設定方法
JP3415505B2 (ja) * 1999-09-14 2003-06-09 エヌイーシーアクセステクニカ株式会社 電話装置とその入力音声調整方法
JP2001224098A (ja) * 2000-02-14 2001-08-17 Pioneer Electronic Corp オーディオシステムにおける音場補正方法
US20040013272A1 (en) * 2001-09-07 2004-01-22 Reams Robert W System and method for processing audio data
JP2002223268A (ja) * 2001-01-29 2002-08-09 Mitsubishi Electric Corp 音声制御装置およびこれを用いた携帯電話機
EP1282335B1 (en) * 2001-07-30 2008-08-27 Matsushita Electric Industrial Co., Ltd. Sound reproduction device
JP2005223887A (ja) * 2004-01-06 2005-08-18 Pioneer Electronic Corp 音響特性調整装置
JP2006333396A (ja) * 2005-05-30 2006-12-07 Victor Co Of Japan Ltd 音声信号拡声装置
KR100739776B1 (ko) * 2005-09-22 2007-07-13 삼성전자주식회사 입체 음향 생성 방법 및 장치

Also Published As

Publication number Publication date
US20080183464A1 (en) 2008-07-31
JP2008187509A (ja) 2008-08-14
US8145476B2 (en) 2012-03-27

Similar Documents

Publication Publication Date Title
CN101388216B (zh) 声音处理装置、控制增益的装置和方法
US7486797B2 (en) Audio correcting apparatus
JP4649546B2 (ja) 補聴器
EP2811485A1 (en) Sound correcting apparatus, sound correcting program, and sound correcting method
US10277750B2 (en) Method and system for improving echo in hands-free call of mobile terminal
US20130202131A1 (en) Signal processing apparatus, signal processing method, program,signal processing system, and communication terminal
JP5151762B2 (ja) 音声強調装置、携帯端末、音声強調方法および音声強調プログラム
CN101140760A (zh) 一种声音信号采集处理系统及方法
JP2009020291A (ja) 音声処理装置および通信端末装置
JP5903921B2 (ja) ノイズ低減装置、音声入力装置、無線通信装置、ノイズ低減方法、およびノイズ低減プログラム
KR101253708B1 (ko) 보청장치의 외부 소음을 차폐하는 방법
US11647344B2 (en) Hearing device with end-to-end neural network
US8254590B2 (en) System and method for intelligibility enhancement of audio information
WO2016177204A1 (zh) 噪音处理的方法及装置
US20090141912A1 (en) Object sound extraction apparatus and object sound extraction method
JP2008148179A (ja) 音声信号処理装置および自動利得制御装置における雑音抑圧処理方法
US7424119B2 (en) Voice matching system for audio transducers
JP4856559B2 (ja) 受信音声再生装置
US11445307B2 (en) Personal communication device as a hearing aid with real-time interactive user interface
JP3794881B2 (ja) 補聴装置
JP2012163682A (ja) 音声処理装置及び方法
CN111785290B (zh) 麦克风阵列语音信号处理方法、装置、设备及存储介质
CN110022514B (zh) 音频信号的降噪方法、装置、系统及计算机存储介质
TWI533289B (zh) 用於降噪的電子裝置、調校系統與方法
CN101651872A (zh) 多功能无线通信装置及其使用的音频调整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111028

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4856559

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees