JP4606706B2 - 携帯電話端末 - Google Patents

携帯電話端末 Download PDF

Info

Publication number
JP4606706B2
JP4606706B2 JP2003179932A JP2003179932A JP4606706B2 JP 4606706 B2 JP4606706 B2 JP 4606706B2 JP 2003179932 A JP2003179932 A JP 2003179932A JP 2003179932 A JP2003179932 A JP 2003179932A JP 4606706 B2 JP4606706 B2 JP 4606706B2
Authority
JP
Japan
Prior art keywords
stereo
microphone
speaker
signal
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003179932A
Other languages
English (en)
Other versions
JP2005020189A (ja
Inventor
善政 磯崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2003179932A priority Critical patent/JP4606706B2/ja
Publication of JP2005020189A publication Critical patent/JP2005020189A/ja
Application granted granted Critical
Publication of JP4606706B2 publication Critical patent/JP4606706B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Telephone Set Structure (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Stereophonic Arrangements (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ステレオ内蔵電話装置に関する。
【0002】
【従来の技術】
従来、携帯電話などを含む電話装置は、モノラル音のみによる通話を行うものである。したがって、従来の電話装置から出力される音声は、臨場感に乏しく味気ないものであった。また、従来の電話装置では、出力される音声の明瞭度が低いので、通話が困難となることが度々生じていた。また、従来においては、臨場感のある電話通話を行うために、ステレオ信号を受信して左右の音声信号を生成し、その左右の音声信号を左右のスピーカに送出するステレオ電話装置が提案されている(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開平6−268722号公報
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来のステレオ電話装置は、ステレオのマイク(右マイク及び左マイク)とステレオのスピーカ(右スピーカ及び左スピーカ)を備えているが、右マイクで拾った音声信号を右スピーカで出し、左マイクで拾った音声信号で左スピーカで出すというものである。
【0005】
したがって、従来のステレオ電話装置は、ただ単に2つのマイクと2つのスピーカとを備えている電話としか実際には機能せず、臨場感のある電話通話などを行うには不充分であった。特に、携帯電話などに上記従来のステレオ電話装置を適用する場合は、2つのマイク同士及び2つのスピーカ同士は近接して配置されるので、臨場感のある電話通話などを実現することは困難である。
【0006】
本発明は、上記問題を解決するためになされたもので、電話通話における臨場感を向上させることができ、電話通話音などの明瞭度を向上させることができるステレオ内蔵電話装置を提供するものである。
【0007】
【課題を解決するための手段】
上記課題を解決するため、この発明は以下の構成を有する。
ち、ステレオ内蔵電話装置に係る発明は、少なくとも右マイク及び左マイクを有してなるステレオマイクと、少なくとも右スピーカ及び左スピーカを有してなるステレオスピーカと、通信網を介して信号を送受信する通信手段と、前記通信手段が受信した信号に含まれる音声信号を立体音場処理して前記ステレオスピーカに出力する立体音場処理手段とを有することを特徴とする。
【0008】
また、本発明は、ステレオ内蔵電話装置ペリクル装着装置において、前記立体音場処理手段が、前記通信手段が受信した信号に含まれる音声信号をサラウンド処理して前記ステレオスピーカに出力するサラウンド処理部を有することを特徴とする。
【0009】
また、本発明は、ステレオ内蔵電話装置において、前記サラウンド処理部が、複数のフィルタを有してなるものであって、該複数のフィルタがクロストークキャンセル回路として接続されてなるものであることを特徴とする。
【0010】
また、本発明は、ステレオ内蔵電話装置において、前記通信手段が、前記ステレオマイクを介して入力された左チャンネル及び右チャンネルの音声信号を通信相手に送信することを特徴とする。
【0011】
また、本発明は、ステレオ内蔵電話装置において、前記ステレオマイクを介して入力された左チャンネル及び右チャンネルの音声信号をサンプリングして取り込むステレオサンプリング手段と、前記ステレオサンプリング手段がステレオサンプリングして生成した音声波形データを素材として、所望の楽曲データを作成する楽曲生成手段とをさらに有することを特徴とする。
【0012】
【発明の実施の形態】
以下、図面を参照し、本発明の実施形態について説明する。
図1は、本発明の実施形態に係るステレオ内蔵電話装置の構成例を示すブロック図である。本実施形態に係るステレオ内蔵電話装置は、携帯電話及びPHSなどの携帯通信端末に限らず、固定電話機などにも適用することができる。
【0013】
ステレオ内蔵電話装置1は、通信部11、ROM12、CPU13、通常時マイク14、音声処理部15、左マイク16、右マイク17、左スピーカ18、右スピーカ19、RAM20、表示部21、入力部22、バイブレータ23、音源24、音源用スピーカ25及びイヤースピーカ26を備えている。
【0014】
通信部11は、アンテナ及び変復調部などからなる通信手段であり、通信網を介して信号を送受信するものである。ROM12は、CPU13の動作を規定するプログラムなどを記憶している不揮発性メモリである。例えば、ROM12は、各種通信制御プログラム、立体音場処理のためのプログラム、楽曲再生のためのプログラムなどの制御プログラム、およびプリセットされている楽曲ファイル又は各種定数データなどを記憶している。CPU13は、ステレオ内蔵電話装置1全体の制御を行う中央処理装置である。通常時マイク14は、通常のモノラルの通話をするときに用いられるマイクである。
【0015】
音声処理部15は、通話のために音声信号の符号化・複合化を行うとともに、左マイク16及び右マイク17から入力された音声信号を同時にサンプリングして取り込む機能を有する。ここで、音声信号の符号化・複合化は、例えばCELP(Code-Excited Linear Prediction:符号励振型線形予測方式)符号方式、VSELP(Vector Sum Excited Linear Predictive coding)、ADPCM(Adaptive Differential PCM)などによるステレオサンプリング手段を用いることが好ましい。
【0016】
また、音声処理部15は、通信部11が受信した信号に含まれる音声信号などを立体音場処理して左スピーカ18及び右スピーカ19に出力する立体音場処理手段としての機能も有している。なお、音声処理部15が立体音場処理の対象とする信号は通信部11が受信した信号に含まれる音声信号に限らず、ROM12又はRAM20などに記憶されているデータに基づいて生成された音声信号などをかかる立体音場処理の対象としてもよい。
【0017】
左マイク16は、ステレオ信号における左チャンネル用の音声信号を取り込むマイクである。右マイク17は、ステレオ信号における右チャンネル用の音声信号を取り込むマイクである。左マイク16及び右マイク17として指向性のあるマイクを用いることにより、左右の音をある程度選択的に取り込むことができる。ただし、ステレオ効果を増大させるためには、左マイク16と右マイク17との間隔は可能な限り大きくすることが好ましい。
【0018】
左スピーカ18は、ステレオ信号における左チャンネル用の音声信号を音として出力するスピーカである。右スピーカ19はステレオ信号における右チャンネル用の音声信号を音として出力するスピーカである。左スピーカ18と右スピーカ19との間隔も、ステレオ効果を増大させるために可能な限り大きくすることが好ましい。
【0019】
RAM20は、CPU13などのワークエリアとして使用されるとともに、楽曲ファイル又は音色データなどの各種データを記憶する。表示部21は、液晶表示装置などからなる表示手段である。入力部22は、複数の操作ボタンなどからなる入力手段である。バイブレータ23は、着信があったことなどを振動で知らせるものである。音源24は、音源データを有し、RAM20などに記憶された楽曲ファイルに基づいて楽曲(例えば着信メロディ)を再生するものである。音源用スピーカ25は、音源24によって再生された楽曲を音として出力する。イヤースピーカ26は、音声処理部15から出力された通話のために音声信号などを音として出力する。
【0020】
そして、音声処理部15は、立体音場処理手段として機能するサラウンド処理部31と、A/Dコンバータ32と、D/Aコンバータ33と、ステレオエコーキャンセラー34とで構成されている。サラウンド処理部31は、通信部11が受信した信号などに含まれる音声信号をサラウンド処理するものである。D/Aコンバータ33は、サラウンド処理部31の出力信号(ステレオ信号)をデジタル信号からアナログ信号に変換して左スピーカ18及び右スピーカ19に出力する。
ステレオエコーキャンセラー34は、左マイク16及び右マイク17を介して入力された音声信号から左スピーカ18と右スピーカ19によるエコーを取り除き、A/Dコンバータ32へ出力する。A/Dコンバータ32は、通常時マイク14またはステレオエコーキャンセラー34を介して入力された音声信号(アナログ信号)をデジタル信号に変換する。このデジタル信号は、音声処理部15でステレオ信号とされて通信部11から通話先の電話機に送信される。
【0021】
次に、音声処理部15におけるサラウンド処理部31の詳細について図2を参照して説明する。図2は、サラウンド処理部31の構成例を示すブロック図である。サラウンド処理部31は、第1フィルタ41、第2フィルタ42、第2フィルタ43及び第1フィルタ44からなる4つのフィルタで構成されている。第1フィルタ41と第1フィルタ44とは同一のフィルタであり、第2フィルタ42と第2フィルタ43とは同一のフィルタである。そして、第2フィルタ42及び第2フィルタ43は、入力した信号を反転処理して出力する。
【0022】
ステレオ信号における左チャンネル信号Lchは、第1フィルタ41及び第2フィルタ43に入力される。ステレオ信号における右チャンネル信号Rchは、第1フィルタ44及び第2フィルタ42に入力される。そして、第1フィルタ41の出力と第2フィルタ42の出力とが加算されて、サラウンド処理部31の左チャンネル出力となる。また、第1フィルタ44の出力と第2フィルタ43の出力とが加算されて、サラウンド処理部31の右チャンネル出力となる。
【0023】
このように、サラウンド処理部31は、各チャンネルの信号に、反対側チャンネルの信号を反転処理した後加算しているので、クロストークキャンセル回路として機能する。なお、クロストークキャンセルとは、左(右)スピーカから出力された音波が右(左)耳に入るというクロストークを削除することである。
【0024】
さらに、サラウンド処理部31をなす第1フィルタ41,44及び第2フィルタ42,43は、特表2000−50661号公報に記載の音響再生システム(ステレオダイポール方式)に基づく頭部伝達係数をフィルタ係数とするものであることが好ましい。ステレオダイポール方式は、AAL社又はダイマジック社が提唱している技術である。
このようにすると、左スピーカ18と右スピーカ19とを近接して配置しても(例えば携帯電話に内蔵しても)、空間の任意位置に仮想音源(左スピーカ18’及び右スピーカ19’)を配置することができ、さらに広がり感及び臨場感のあるステレオ再生が可能となる。
【0025】
図3は、上記ステレオダイポール方式の効果を示す模式図である。図3に示すように、サラウンド処理部31のステレオダイポール方式により、左スピーカ18及び右スピーカ19の仮想音源が左スピーカ18’及び右スピーカ19’となり、仮想的に左スピーカ18と右スピーカ19との間隔が大きくなる。
【0026】
図4は、本実施形態に係るステレオ内蔵電話装置1を携帯電話に適用した例を示す外観模式図である。図4に示すように、左スピーカ18と右スピーカ19との間隔は極めて小さいが、上記クロストークキャンセル機能によりクロストークを低減することができるとともに、上記ステレオダイポール方式により左スピーカ18と右スピーカ19との間隔を仮想的に広げることができる。
なお、図4に示すステレオ内蔵電話装置1において、左スピーカ18及び右スピーカ19と左マイク16及び右マイク17とを逆の配置にしてもよい。
【0027】
次に、本実施形態に係るステレオ内蔵電話装置1の動作例について説明する。ステレオ内蔵電話装置1は、ハンズフリーモードとすることで、ステレオ会話機能が有効になるものとする。また、ステレオ内蔵電話装置1は、例えば図4に示す携帯電話として構成されているものとする。
先ず、ステレオ内蔵電話装置1をハンズフリーモードとする。すると、ステレオ内蔵電話装置1の通常時マイク14及びイヤースピーカ26の機能が停止し、ステレオマイクである左マイク16及び右マイク17とステレオスピーカである左スピーカ18及び右スピーカ19との機能が有効となる。なお、通常時は、左マイク16及び右マイク17を着信メロディ又は鑑賞用の楽曲のステレオ再生に使用することができる。
【0028】
左マイク16及び右マイク17で抽出されたそれぞれの音声信号は、音声処理部15のA/Dコンバータ32でデジタル信号に変換され、左チャンネル及び右チャンネルの音声データとして通信部11より相手側端末へ送信される。相手側端末では、左チャンネル及び右チャンネルの音声データを受信してステレオ再生することができる。
【0029】
一方、相手側端末から送信されてきた信号は通信部11で受信される。その受信信号に含まれる左チャンネル及び右チャンネルの音声データは、音声処理部15のサラウンド処理部31へ入力される。
すると、左チャンネル及び右チャンネルの音声データは、サラウンド処理部31の図2に示すようなフィルタ回路によって処理された後、D/Aコンバータ33に入力される。D/Aコンバータ33は、左チャンネル及び右チャンネルの音声データをそれぞれアナログ信号(音声信号)に変換し、左チャンネルの音声信号を左スピーカ18へ、右チャンネルの音声信号を右スピーカ19へそれぞれ出力する。
【0030】
これらにより、本実施形態のステレオ内蔵電話装置1によれば、通話内容などをステレオ音声データとして相手側端末へ送信でき、相手側端末から送信されてきたステレオ音声データについてステレオ再生できる。すなわち、本実施形態のステレオ内蔵電話装置1は、相手側端末とステレオ音声で会話などをすることができる。
【0031】
さらに、本実施形態のステレオ内蔵電話装置1によれば、上記ステレオ音声での会話などにおいて、クロストークを低減でき、かつ、ステレオダイポール方式により左スピーカ18と右スピーカ19との間隔を仮想的に広げてステレオ再生することができる。したがって、本実施形態に係るステレオ内蔵電話装置1は、携帯電話に左スピーカ18と右スピーカ19とを近接して内蔵させながら、明確な3D音場再生をすることができ、電話通話における臨場感及び明瞭度を格段に向上させることができる。
【0032】
そこで、本実施形態に係るステレオ内蔵電話装置1によれば、コンパクトな構成でありながら、騒音の大きい場所においても快適に通話などを行うことができ、聴覚の弱いユーザであっても快適に通話などを行うことができる。また、本実施形態に係るステレオ内蔵電話装置1によれば、通話の明瞭度を高く、相手の声を聞き分けやすいので、3人以上によって同時に通話することも良好に実行することができる。また、本実施形態のステレオ内蔵電話装置をテレビ電話に適用することで、映像に合ったステレオ音声を聞くことができるため、より臨場感のあるテレビ電話を楽しむことができる。
【0033】
また、本実施形態に係るステレオ内蔵電話装置1は、左マイク16及び右マイク17の2つのマイクからの入力音声をステレオサンプリングして取り込むステレオサンプリング手段を備えるものとしてもよい。このステレオサンプリング手段の具体例について次に説明する。
例えばステレオの左チャンネルに対応する左マイク16から入力された音声信号については、A/Dコンバータ32において所定のサンプリング周期でサンプリングし、デジタルデータに変換する。また、同時に、他方のチャンネルである右チャンネルに対応する右マイク17から入力された音声信号については、A/Dコンバータ32において所定のサンプリング周期でサンプリングし、デジタルデータに変換する。A/Dコンバータ32から出力されたデジタルデータは、RAM20の所定領域にステレオの音声波形データ(左チャンネルデータ、右チャンネルデータ)として記憶される。
【0034】
RAM20に記憶されたステレオの音声波形データは、例えば着信メロディ又は保留音などのための楽曲データを作成するときの素材として用いてもよい。このようにすれば、各ユーザの個性を豊かに表した臨場感ある着信メロディ又は保留音などをステレオ内蔵電話装置1により簡易に作成することが可能となる。
【0035】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上記実施形態では、ステレオ内蔵電話装置の一例として携帯電話を挙げて説明したが、本発明はこれに限定されるものではなく、例えば、IP(インターネット・プロトコル)電話、チャットシステム、通信端末として機能するノート型パーソナルコンピュータ、PDA(Personal Digital Assistance)または腕時計などに本発明を適用することもできる。
【0036】
【発明の効果】
以上説明したように、本発明によれば、電話通話における臨場感を向上させることができ、電話通話音などの明瞭度を向上させることができる。
【図面の簡単な説明】
【図1】 本発明の実施形態に係るステレオ内蔵電話装置を示すブロック図である。
【図2】 本発明の実施形態に係るステレオ内蔵電話装置におけるサラウンド処理部を示すブロック図である。
【図3】 同上のサラウンド処理部で行われるステレオダイポール方式による信号処理の効果を示す模式図である。
【図4】 本発明の実施形態に係るステレオ内蔵電話装置を携帯電話に適用した例の外観模式図である。
【符号の説明】
1…ステレオ内蔵電話装置、11…通信部、12…ROM、13…CPU、14…通常時マイク、15…音声処理部、16…左マイク、17…右マイク、18…左スピーカ、19…右スピーカ、20…RAM、21…表示部、22…入力部、23…バイブレータ、24…音源、25…音源用スピーカ、26…イヤースピーカ、31…サラウンド処理部、32…A/Dコンバータ、33…D/Aコンバータ、34…ステレオエコーキャンセラー、41,44…第1フィルタ、42,43…第2フィルタ

Claims (3)

  1. 表示部と、
    モノラルによる通常通話を行うためのモノラルマイクとモノラルスピーカと、
    前記表示部と同一の筐体に配置され、左右の音を選択的に取り込む指向性を有する右マイクと左マイクとからなるステレオマイクと、
    前記表示部と同一の筐体の側壁に配置される右スピーカ及び左スピーカを有してなるステレオスピーカと、
    通信網を介して信号を送受信する通信手段と、
    複数のフィルタを有し、該複数のフィルタがクロストークキャンセル回路として接続され、前記通信手段が受信した信号に含まれる音声信号をサラウンド処理して前記ステレオスピーカに出力する立体音場処理手段とを備える携帯電話端末であって、
    前記モノラルマイクとモノラルスピーカの機能を停止し、前記ステレオマイクとステレオスピーカの機能を有効として、相手側端末と通話するモードが選択されると、前記通信手段は、前記右マイクと左マイクのそれぞれが取り込んだステレオの音声信号を同時にサンプリングした音声信号を入力して左チャンネルと右チャンネルの音声信号として送信するとともに、前記立体音場処理手段は、前記通信手段が受信した左チャンネルと右チャンネルの音声信号に対してサラウンド処理を行い前記ステレオスピーカに出力することを特徴とする携帯電話端末。
  2. 前記ステレオマイクは、前記ステレオスピーカに対して前記筐体の内側に配置されていることを特徴とする請求項1に記載の携帯電話端末。
  3. 前記表示部を備える第1の筐体と、入力部を備える第2の筐体とからなることを特徴とする請求項1または2に記載の携帯電話端末。
JP2003179932A 2003-06-24 2003-06-24 携帯電話端末 Expired - Fee Related JP4606706B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003179932A JP4606706B2 (ja) 2003-06-24 2003-06-24 携帯電話端末

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003179932A JP4606706B2 (ja) 2003-06-24 2003-06-24 携帯電話端末

Publications (2)

Publication Number Publication Date
JP2005020189A JP2005020189A (ja) 2005-01-20
JP4606706B2 true JP4606706B2 (ja) 2011-01-05

Family

ID=34181126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003179932A Expired - Fee Related JP4606706B2 (ja) 2003-06-24 2003-06-24 携帯電話端末

Country Status (1)

Country Link
JP (1) JP4606706B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4344342B2 (ja) 2005-05-27 2009-10-14 ホシデン株式会社 携帯電子機器
DE102011103267A1 (de) * 2011-05-26 2012-11-29 Marcus Cathomen Tragbarer Computer mit einer Klaviatur

Also Published As

Publication number Publication date
JP2005020189A (ja) 2005-01-20

Similar Documents

Publication Publication Date Title
US7953456B2 (en) Acoustic echo reduction in mobile terminals
CN1469618A (zh) 蜂窝电话终端
US8488820B2 (en) Spatial audio processing method, program product, electronic device and system
CN1943268A (zh) 带有用于声音的响亮再现的装置的通信单元
JPH10200989A (ja) イヤホン
US20220286538A1 (en) Earphone device and communication method
EA013670B1 (ru) Способ и устройство для приема, передачи и воспроизведения звуковых событий для приложений связи
WO2011148570A1 (ja) 聴覚ディスプレイ装置及び方法
JP5417821B2 (ja) 音声信号再生装置、携帯電話端末
JPH09233198A (ja) 全二重音声会議電話のためのソフトウエアベースのブリッジ方法及び装置
JP4606706B2 (ja) 携帯電話端末
JP4027009B2 (ja) 送受話器
CN113611272A (zh) 基于多移动终端的扬声方法、装置及存储介质
JP2523366B2 (ja) 音声再生方式
EP1275269B1 (en) A method of audio signal processing for a loudspeaker located close to an ear and communications apparatus for performing the same
KR970056594A (ko) 핸드프리 보청 전화기
JP2002027029A (ja) 通信端末装置
JP3773917B2 (ja) 携帯通信装置、通信方法
JP2007124679A (ja) 個人携帯用端末機における通話背景音提供方法
JP2006157558A (ja) 携帯端末装置
JP2006174198A (ja) 音声再生端末、音声再生方法、音声再生プログラム、及び音声再生プログラムの記録媒体
CN113612881B (zh) 基于单移动终端的扬声方法、装置及存储介质
JP2004343566A (ja) 移動電話端末及びプログラム
EP1810489A1 (en) A method, a program product and telephone
JPS5966294A (ja) 片耳送受話の電話機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070814

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080425

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080509

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080801

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101006

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees