JP3555870B2 - System and method for correcting received voice of mobile phone radio - Google Patents
System and method for correcting received voice of mobile phone radio Download PDFInfo
- Publication number
- JP3555870B2 JP3555870B2 JP2000323426A JP2000323426A JP3555870B2 JP 3555870 B2 JP3555870 B2 JP 3555870B2 JP 2000323426 A JP2000323426 A JP 2000323426A JP 2000323426 A JP2000323426 A JP 2000323426A JP 3555870 B2 JP3555870 B2 JP 3555870B2
- Authority
- JP
- Japan
- Prior art keywords
- caller
- weight coefficient
- utterance
- unit
- reception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【産業上の利用分野】
本発明は携帯電話無線機に関する。特に、本発明は、通話時に通話相手の音声明瞭性を高めて通話品質を向上するための携帯電話無線機の受信音声補正システムに関する。
【0002】
【従来の技術】
特開2000−209698号公報に、本願発明者により、使用者の年齢による聴覚の変化に合わせて、音声の周波数特性及びレベルを補正する移動機が開示されている。
上記補正を行う移動機について、さらなる課題について以下に説明を行う。
【0003】
近年では、日本国内においても、携帯電話無線機を所有する外国人も増えてきている。
また、W−CDMA(Wideband Code Division Multiple Access)、GSM(Global System forMobile Communications)等の携帯電話無線機も導入されるにつれて、他言語の人々との通話の機会も多くなってきている。
【0004】
言語にはそれぞれ特徴があり、周波数帯域や抑揚等に違いがあり、使用言語により聴覚特性も異なることが知れている。
例えば、英語は日本語と比較し抑揚が多く、周波数帯域が広いため、特に2.5kHz異常の高域成分が聞き取りにくい傾向にあるという第1の問題がある。逆に、英語のテープの高域成分(2.5kHz以上)を減衰させた場合、オリジナルのテープより単語の聞き取りがしやすくなることが一般に知られている。
【0005】
また、性別による音声の周波数特性について男性の声の場合、一般に音声ホルマントが女性と比較し低音にあるため、女性と比較して明瞭性の低い、こもったような聞こえとなることが多いという第2の問題がある。
また、通話相手の送話音声の大きさに応じて、通話時にキー操作により受信音声レベルを調整する必要があるが、この調整は煩雑であるという第3の問題がある。
【0006】
【発明が解決しょうとする課題】
したがって、本発明は上記問題点に鑑みて、使用言語と聴覚の周波数特性の相違、性別による発声の周波数特性の相違、通話相手に対する送話音声の大きさの相違に対して通話時に通話相手の音声の明瞭性を高めて通話品質を向上できる携帯電話無線機の受信音声補正システム及び方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明は前記問題点を解決するために、通話相手の氏名、電話番号を登録する電話帳を有する携帯電話無線機の受信音声補正システムにおいて、受信信号の周波数帯域を分割し分割された周波数帯域のレベルに受信信号重み係数を乗算して受信信号を補正する受信信号補正部と、前記電話帳の氏名、電話番号に対応して、通話相手が使用する日本語、種々の外国語に関する使用言語の情報、通話相手の性別の情報、通話相手の発声の大小の情報を受信パラメータとして予め保持する受信パラメータ保持部と、前記受信信号補正部で分割される周波数帯域に対して、日本語、種々の外国語に対する重み係数、女性、男性に対する重み係数、発声の大小に対する重み係数を保持する重み係数保持部と、受信信号に含まれる電話番号から前記受信パラメータ保持部に保持されている通話相手の発呼者の受信パラメータを検索する発呼者検索部と、前記発呼者の検索された受信パラメータの情報に基づいて前記重み係数保持部から日本語、種々の外国語を使用する通話者の使用言語、通話者の性別、通話者の発声の大小を確認し、確認した通話者の使用言語の重み係数、通話者の性別の重み係数、通話者の発声の大小の重み係数を選択し、選択された使用言語の重み係数、性別の重み係数、発声の大小の重み係数を乗算して受信信号重み係数を求め、前記受信信号重み係数を受信信号補正部に設定する重み係数設定部とを備えることを特徴とする携帯電話無線機の受信音声補正システムを提供する。
【0008】
この手段により、使用言語と聴覚の周波数特性の相違、性別による発声の周波数特性の相違、通話相手に対する送話音声の大きさの相違に対して通話時に通話相手の音声の明瞭性を高めて通話品質を向上できる。
好ましくは、前記受信信号補正部及び前記重み係数設定部がDSPで構成される。
【0009】
この手段により、高速にデータを処理することが可能になり、さらに、小型を図ることが可能になる。
好ましくは、前記受信信号補正部は、前記受信信号の周波数帯を複数に分割する複数のBPFを有し、複数の前記BPFは、可聴周波数範囲を心理音響学における聴覚の臨界帯域に基づいて作られたバルク尺度で分割された周波数帯域を有する。さらに、好ましくは、前記受信信号補正部は、前記乗算器には、複数の前記BPFの後段に乗算器をそれぞれ設け、受信信号を補正するための前記受信信号重み係数が乗算係数として設定される。
【0010】
これらの手段により、可聴周波数帯域において、受信信号の補正を容易に行うことが可能になる。
好ましくは、前記携帯電話無線機に設けられる操作部により、前記受信パラメータ保持部には通話相手の使用言語、性別、発声の特徴が受信パラメータとして設定され、さらに、好ましくは、前記携帯電話無線機に設けられる操作部により、使用言語、性別、発声の特徴毎に、前記重み係数保持部には前記受信信号補正部で分割された周波数帯域のレベルを補正するための重み係数が設定される。
【0011】
これらの手段により、ユーザにとって、通話相手の設定、追加、変更に対して、受信パラメータの設定が容易に行われ、さらに、受信パラメータに対して、重み係数の設定が容易に行われる。
好ましくは、前記重み係数保持部には、前記使用言語については通話相手が英語を話す外国人の場合には高周波域の成分を減衰させ、前記性別については通話相手が男性の場合には女性よりも高周波域の成分を高め、前記発声の特徴については発声が大きい場合には全周波数帯域のレベルを減衰させ、発声が小さい場合には全周波数帯域のレベルを高めるように重み係数が設定される。
【0012】
この手段により、通話相手毎に通話時の音声の明瞭性を高めて通話品質を向上できる。
さらに、本発明は、通話相手の氏名、電話番号を登録する電話帳を有する携帯電話無線機の受信音声補正方法において、受信信号の周波数帯域を分割し分割された周波数帯域のレベルに受信信号重み係数を乗算して受信信号を補正する工程と、前記電話帳の氏名、電話番号に対応して、通話相手が使用する日本語、種々の外国語に関する使用言語の情報、通話相手の性別の情報、通話相手の発声の大小の情報を受信パラメータとして予め保持する工程と、前記受信信号補正部で分割される周波数帯域に対して、日本語、種々の外国語に対する重み係数、女性、男性に対する重み係数、発声の大小に対する重み係数を保持する工程と、受信信号に含まれる電話番号から前記受信パラメータ保持部に保持されている通話相手の発呼者の受信パラメータを検索する工程と、前記発呼者の検索された受信パラメータの情報に基づいて前記重み係数保持部から日本語、種々の外国語を使用する通話者の使用言語、通話者の性別、通話者の発声の大小を確認し、確認した通話者の使用言語の重み係数、通話者の性別の重み係数、通話者の発声の大小の重み係数を選択し、選択された使用言語の重み係数、性別の重み係数、発声の大小の重み係数を乗算して受信信号重み係数を求め、前記受信信号重み係数を受信信号に乗算する工程とを備えることを特徴とする携帯電話無線機の受信音声補正方法を提供する。
【0013】
この手段により、上記発明と同様に、使用言語と聴覚の周波数特性の相違、性別による発声の周波数特性の相違、通話相手に対する送話音声の大きさの相違に対して通話時に通話相手の音声の明瞭性を高めて通話品質を向上できる。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図1は本発明に係る携帯電話無線機の概略構成のブロック図を示す図である。本図に示すように、先ず、携帯電話無線機にはCPU(中央演算装置)11が設けられ、CPU11は、基地局等の無線回線接続、通話チャンネルの切り換えなどに関する携帯電話無線機全体を制御するとともに本発明の通話に関係する種々の演算処理及び音声補正の処理を行う。
【0015】
さらに、CPU11には無線部12が接続され、無線部12は、受信信号を復調し、送信信号を変調して、基地局との通信を行う。
さらに、CPU11には操作部13が接続され、操作部13はキーボード等からなり、情報の入力に使用される。
さらに、CPU11には表示部14が接続され、表示部14はLCD(Liquid Crystal Display)からなり、メニュー表示、機能表示、電話番号表示等を行う。
【0016】
さらに、CPU11及び無線部12にはDSP(ディジタル信号処理部)15が接続され、DSP15は、無線部12から受信信号を入力し、無線部12に送信信号を出力し、特に、無線部12からの受信信号の周波数特性、レベルを通信相手の使用言語、性別、発声の大きさの特徴に合わせた可聴周波数領域に補正する処理機能を有する。DSPを用いることにより、処理を高速にでき、小型化を図ることが可能になる。
【0017】
さらに、CPU11及びDSP15にはメモリ16が接続され、メモリ16は、通話相手の名前、電番号のデータ、さらに、通話相手毎に異なる使用言語、性別、発声の大きさの特徴により受信信号特性を変化させるための受信パラメータのデータ、受信パラメータに対応して周波数帯域毎に音声の補正を行うための重み係数等のデータを格納する。
【0018】
DSP15にはD/A(ディジタル・アナログ)・A/D(アナログ・ディジタル)コンバータ17が接続され、D/A・A/Dコンバータ17はDSP15から出力される受信信号をディジタルからアナログに変換し、入力される送信信号をアナログからディジタルに変換してDSP15に出力する。
D/A・A/Dコンバータ17にはマイクロフォン増幅器(MIC AMP)18が接続され、マイクロフォン増幅器18は送信信号を増幅し、D/A・A/Dコンバータ17に出力する。
【0019】
D/A・A/Dコンバータ17にはレシーバ増幅器(REC AMP)20が接続され、レシーバ増幅器20はD/A・A/Dコンバータ17からの受信信号を増幅する。
マイクロフォン増幅器18にはマイクロフォン19が接続され、マイクロフォン19は送話音を送信信号に変換する。
【0020】
レシーバ増幅器20にはスピーカ21が接続され、スピーカ21は受信信号を受話音に変換する。
図2は図1の主要部の詳細ブロックを示す図であり、図3は図2の電話帳16A及び受信パラメータ保持部16Bを説明する図である。本図2に示すように、メモリ16には、電話帳16A、受信パラメータ保持部16B、重み係数保持部16Cが設けられる。
【0021】
本図3に示すように、電話帳16Aは、通話相手となる氏名、電話番号の情報が保持する。さらに、受信パラメータ保持部16Bは、電話帳16の通話相手となる氏名に対応して、通話相手の使用する言語、例えば、日本語、英語等の情報、さらに、男女の性別の情報、さらに、発声の特徴、例えば発声のレベルについて、大、普通、小等の情報を保持する。
【0022】
これらの情報は、操作部13からCPU11を経由して入力される。
さらに、図2に戻り、CPU11には発呼者検索部11Aが設けられ、発呼者検索部11Aは、無線部12から入力された通話相手の電話番号で、メモリ16の電話帳16Aを検索する。
さらに、DSP15には帯域通過フィルタ又は周波数帯域分割手段(BPF)51、重み係数設定部52、補正手段53が設けられる。
【0023】
BPF51は、無線部12から入力される受信信号の可聴周波数範囲を心理音響学における聴覚の臨界帯域幅に基づいてバルク(Bark)尺度を用いて複数の帯域に分割する帯域通過フィルタである。
図4は図2のBPF51の特性を説明する図である。本図4に示すように、バルク尺度とは、心理音響学において聴覚を0から15.5kHzまでの周波数範囲を聴覚の臨界帯域幅に基づいて作られた尺度であり、0から24バルクまでの臨界帯域に分割されている。
【0024】
BPF51は、0から24バルクまでの臨界帯域のうち、音声信号の周波数範囲である300から3700Hzまでを3から17バルクまでの15個に分割した聴覚特性に近いフィルタを擬似的に構成している。
さらに、図2に示すように、補正手段53は、上述したBPF51で分割された各帯域に対して、重み付け補正を行い、補正された受信信号をD/A・A/Dコンバータ17に出力する。
【0025】
なお、D/A・A/Dコンバータ17からの送信信号はDSP15を通過して無線部12に向かう。
図5は図2のBPF51、補正手段53の構成例を示す図である。本図に示すように、BPF51には複数のBPF101、102、103、…、115が設けられ、BPF101、102、103、…、115は、無線部12からの出力信号を入力し、図4のバルク3、4、5、…、17にそれぞれ対応する周波数特性を有する。
【0026】
補正手段53には乗算器201、202、203、…、215が設けられ、乗算器201、202、203、…、215はBPF101、102、103、…、115の出力に、受信信号重み係数D101、D102、D103、…、D115をそれぞれ乗算する。
乗算器201、202、203、…、215の出力には加算器216が接続され、加算器216は、乗算器201、202、203、…、215の出力を加算し、D/A・A/Dコンバータ17に受信信号として出力する。
【0027】
乗算器201、202、203、…、215の受信信号重み係数D101、D102、D103、…、D115は重み係数設定部52により設定される。
これにより、可聴周波数帯において、受信信号の補正を容易に行うことが可能になる。
図6は図2の重み係数保持部16Cを説明する図である。本図に示すように、重み係数保持部16Cには、BPF101、102、103、…、115のそれぞれの出力に関して、通話相手の使用言語の重み係数Ai(i=101〜115)、性別の重み係数Bi(i=101〜115)、特徴(発声の大きさ)の重み係数Ci(i=101〜115)が保持される。
【0028】
使用言語の重み係数Aiは「日本語」の場合を標準として、Ai=1(i=101〜115)、である。
性別の重み係数Biは「女性」の場合を標準として、Bi=1(i=101〜115)である。
特徴(発声の大きさ)の重み係数Ciは「普通」の場合を標準として、Bi=1(i=101〜115)である。
【0029】
使用言語が「英語」の場合には、一例として、BPF113〜115(バルク15〜17)に対する重み係数を0.5倍に低下させ、高域の成分を減衰させる。これは、日本人のユーザに対して、英語の会話に含まれる2.5kHz以上の高周波成分を取り除き、聞き取りを容易にし、通話時の明瞭性を高めるためである。
【0030】
次に、性別が「男」の場合には、一例として、BPF111〜115(バルク13〜17)に対する重み係数を2倍に増加させ、高周波域の成分を高める。これは、性別による音声ホルマントの存在する周波数に着目して重み係数を設定することで明瞭性を高めることを可能にするためである。すなわち、例えば、男性の発声の場合一般に音声ホルマントが女性と比較し、低音にあるため、女性と比較し、明瞭性の低い、こもったような聞こえとなることが多いためである。
【0031】
次に、発声の特徴(発声の大きさ)が「大」の場合には、一例として、0.5倍(Bi=0.5;i=101〜115)に低下させる。
発声の特徴(発声の大きさ)が「小」の場合には、一例として、2倍(Bi=2;i=101〜115)に増加させる。
このように、通話時に個人の発声の特徴(発声の大小)に合わせ、全周波数帯域のレベルを調整することで通話時の受話音声レベルをある一定の幅に調整することができるため、通話時の音量調整等の操作を行う必要を無くすためである。
【0032】
重み係数保持部16Cに保持される重み係数は操作部13からCPU11を経由して入力され、又は変更される。
次に、図2に戻り、DSP15の重み係数設定部52には、重み係数選択部52A、重み係数演算部52Bが設けられる。
重み係数選択部52Aは、CPU11の発呼者検索部11Aから発呼者の検索情報を入力し、メモリ16の受信パラメータ保持部16Bに基づいて、受信パラメータ、つまり使用言語、性別、特徴について、重み係数保持部16Cから重み係数を選択する。
【0033】
重み係数演算部52Bは、重み係数選択部52Aにより選択された受信パラメータに対してメモリ16の重み係数保持部16Cから重み係数を読み出し、受信信号重み係数D101、D102、D103、…、D115を、以下のように、演算する。
Di=Ai×Bi×Ci(i=101〜115)
【0034】
重み係数設定部52は、重み係数演算部52Bにより演算された受信信号重み係数D101、D102、D103、…、D115をDSP15の補正手段53の乗算器201、202、203、…、215にそれぞれ設定する。
図7は電話帳16A、受信パラメータ保持部16Bへの入力動作を説明するフローチャートである。本図に示すように、ステップS201において、CPU11は携帯電話無線機が待ち受け状態にあることを確認する。
【0035】
ステップS202において、CPU11は、操作部13により電話帳入力キーの押下を監視する。
ステップS203において、CPU11は、電話帳16Aの機能が起動したことを確認する。
ステップS204において、CPU11は、操作部13より通話相手の名前が入力されることを確認する。
【0036】
ステップS205において、CPU11は、操作部13より通話相手の電話番号が入力されることを確認する。
ステップS206において、CPU11は、操作部13より通話相手の使用言語が入力されることを確認する。
ステップS207において、CPU11は、操作部13より通話相手の性別が入力されることを確認する。
【0037】
ステップS208において、CPU11は、操作部13より通話相手の発声特徴、発声のレベルの大、普通、小の情報が入力されることを確認する。
ステップS209において、CPU11は、入力された通話相手の名前、電話番号をメモリ16の電話帳16Aに保持させ、入力された通話相手の使用言語、性別、発声の特徴を受信パラメータとして受信パラメータ保持部16Bに保持させる。
【0038】
ステップS210において、CPU11は、待ち受け状態に移行することを確認し、動作を終了する。
図8は重み係数保持部16Cへの入力動作を説明するフローチャートである。本図に示すように、ステップS211において、CPU11は、携帯電話無線機が待ち受け状態にあることを確認する。
【0039】
ステップS212において、CPU11は、操作部13の入力キーが押下されたか否かを確認する。
ステップS213において、CPU11は定数入力機能が起動したことを確認する。
ステップS214において、CPU11は、操作部13により重み係数保持部16Cへの重み係数の入力、又重み係数の変更を確認する。
【0040】
ステップS215において、CPU11は、重み係数保持部16Cに重み係数を保持させる。
ステップS216において、携帯電話無線機が待ち受け状態に移行したかを判断する。
図9は重み係数設定部52の動作を説明するフローチャートである。本図に示すように、ステップS221において、CPU11は、携帯電話無線機が待ち受け状態にあることを確認する。
【0041】
ステップS222において、CPU11は、着呼を確認する。
ステップS223において、CPU11は、発呼者検索部11Aにより、電話帳16Aに発呼者の電話番号が登録されているか否かを判断する。
ステップS224において、上記登録がある場合には、重み係数設定部52の重み係数選択部52Aは、メモリ16の受信パラメータ保持部16Bを参照し、重み係数保持部16Cから発呼者の言語パラメータAの重み係数を選択する。重み係数演算部52Bは、重み係数選択部52Aにより選択された重み係数Ai(i=101〜115)を入力する。
【0042】
ステップS225において、重み係数選択部52Aは、受信パラメータ保持部16Bを参照し、重み係数保持部16Cから発呼者の性別パラメータBの重み係数を選択する。重み係数演算部52Bは、重み係数選択部52Aにより選択された重み係数Bi(i=101〜115)を入力する。
【0043】
ステップS226において、重み係数選択部52Aは、受信パラメータ保持部16Bを参照し、重み係数保持部16Cから発呼者の発声特徴パラメータCの重み係数を選択する。重み係数演算部52Bは、重み係数選択部52Aにより選択された重み係数Ci(i=101〜116)を入力する。
【0044】
ステップS227において、i=101を設定し、重み係数演算部52Bは、入力された重み係数Ai、Bi、Ciを用いて、以下のように、受信信号重み係数Diの演算を行う。
ステップS228において、
受信信号重み係数Di
=Ai×Bi×Ci
を演算する。
【0045】
ステップS229において、
i=115
が成立するか否かを判断する。
ステップS230において、i≠115ならば、
i=i+1
として、ステップS228に進む。
【0046】
ステップS231において、i=115ならば、
重み係数演算部52Bは、受信信号重み係数Di(i=101〜115)を補正手段53の乗算器201、202、203、…、215に設定する。
以上の説明は、携帯電話無線機について行ったが、さらに、本発明は、PHS(パーソナルハンディホンシステム)、ディジタル家庭用電話機等の通信機器にそのまま用いることが可能である。
【0047】
また、他言語の補正手段をテレビジョン、ステレオなどのオーディオ・ビデオ機器に利用することで、他言語の放送を補正することができ、会話の明瞭性を高めることが可能になる。
【0048】
【発明の効果】
以上説明したように、本発明によれば、電話帳の氏名、電話番号に対応して、通話相手の使用言語、性別、発声の特徴を受信パラメータとして保持し、パラメータ保持部に保持されている使用言語、性別、発声の特徴毎に、分割された周波数帯域のレベルを補正するための重み係数を保持し、受信信号に含まれる電話番号から通話相手の発呼者を検索し、発呼者の検索情報に基づいて使用言語、性別、発声の特徴毎に重み係数を選択し、選択された重み係数を演算して受信信号重み係数を演算して求め、受信信号重み係数を受信信号に乗算させるようにしたので、使用言語と聴覚の周波数特性、の相違、性別による発声の周波数特性の相違、通話相手に対する送話音声の大きさの相違に対して通話時の明瞭性を高めて通話品質を向上できる。
【0049】
例えば、聴覚特性は使用言語により異なることが一般に知られている。具体的には、英語は日本語と比較し、周波数帯域が広いため(特に、2.5kHz以上の高周波成分が多い)、日本人は欧米人と比較し、2.5kHz以上の高周波成分が聞き取りにくい傾向にある。日本人の場合、この聴覚特性により英語テープの高周波成分(2.5kHz以上)を減衰させた場合、オリジナルのテープより英語の聞き取りが容易になる事実が一般に知られている。
【0050】
上記の事実を利用すること、つまり、通話相手の使用言語が英語の場合、DSP内にあるBPFにて分割された受信用音声信号の高周波域を減衰させることにより、明瞭性を高めることが可能となる。
他言語においても、日本語との周波数特性相違を考慮したパラメータを設定することで明瞭性を高めることが可能となる。
【0051】
次に、性別による音声補正では、性別による音声ホルマントの存在する周波数に着目しパラメータを設定することで明瞭性を高めることが可能になる。
例えば、男性の発声の場合一般に音声ホルマントが女性と比較して低音にあるため、女性と比較して低い、こもったような聞こえとなることが多い。この周波数特性の相違を補正するようなパラメータを構成することで、通話時の明瞭性を高めることが可能になる。
【0052】
さらに、発声の特徴に関する補正では、通話時に各個人の発声の特徴(発声の大、小)に合わせ、全周波数帯域のレベルを調整することで、通話時の受話音声レベルをある一定の幅に調整することができるため、通話時の音量調整等の操作を行う必要が無くなる。
【図面の簡単な説明】
【図1】本発明に係る携帯電話無線機の概略構成のブロック図を示す図である。
【図2】図1の主要部の詳細ブロックを示す図である。
【図3】図2の電話帳16A及び受信パラメータ保持部16Bを説明する図である。
【図4】図2のBPF51の特性を説明する図である。
【図5】図2のBPF51、補正手段53の構成例を示す図である。
【図6】図2の重み係数保持部16Cを説明する図である。
【図7】電話帳16A、受信パラメータ保持部16Bへの入力動作を説明するフローチャートである。
【図8】重み係数保持部16Cへの入力動作を説明するフローチャートである。
【図9】重み係数設定部52の動作を説明するフローチャートである。
【符号の説明】
11…CPU
11A…発呼者検索部
12…無線部
13…操作部
14…表示部
15…DSP
16…メモリ
16A…電話帳
16B…パラメータ保持部
16C…重み係数保持部
17…D/A・A/Dコンバータ
18…マイクロフォン増幅器
19…マイクロフォン
20…レシーバ増幅器
21…スピーカ
51、101〜115…BPF
52…重み係数設定部
52A…重み係数選択部
52B…重み係数演算部
53…補正手段
201〜215…乗算器
216…加算器[0001]
[Industrial applications]
The present invention relates to a mobile phone radio. In particular, the present invention relates to a received voice correction system for a mobile phone radio for improving voice clarity of a call partner during a call and improving call quality.
[0002]
[Prior art]
Japanese Patent Application Laid-Open No. 2000-209698 discloses a mobile device that corrects the frequency characteristics and level of voice according to changes in hearing due to the age of the user.
A further problem will be described below for a mobile device that performs the above correction.
[0003]
In recent years, the number of foreigners who own mobile phone radios in Japan has been increasing.
In addition, with the introduction of mobile phone wireless devices such as W-CDMA (Wideband Code Division Multiple Access) and GSM (Global System for Mobile Communications), there are more opportunities for communication with people in other languages.
[0004]
It is known that each language has its own characteristics, has a difference in frequency band, intonation, and the like, and has different auditory characteristics depending on the language used.
For example, English has a first problem in that it has a greater inflection and a wider frequency band than Japanese, and in particular, tends to be difficult to hear a high-frequency component having an abnormal frequency of 2.5 kHz. Conversely, it is generally known that when a high-frequency component (2.5 kHz or more) of an English tape is attenuated, words can be heard more easily than an original tape.
[0005]
In addition, regarding the frequency characteristics of voices by gender, in the case of male voices, voice formants are generally lower in tone than females, so they often sound less clear and muffled than females. There are two problems.
Further, it is necessary to adjust the received voice level by key operation during a telephone call according to the volume of the transmitted voice of the other party, but there is a third problem that this adjustment is complicated.
[0006]
[Problems to be solved by the invention]
Accordingly, the present invention has been made in view of the above-described problems, and it has been found that the difference in the frequency characteristics of the language used and the sense of hearing, the difference in the frequency characteristics of the utterance due to gender, and the difference in the volume of the voice transmitted to the other It is an object of the present invention to provide a system and method for correcting a received voice of a mobile phone radio, which can improve voice clarity and improve call quality.
[0007]
[Means for Solving the Problems]
SUMMARY OF THE INVENTION In order to solve the above-mentioned problems, the present invention provides a receiving voice correction system for a mobile phone radio having a telephone directory for registering the name of a call partner and a telephone number. A received signal correction unit that corrects a received signal by multiplying the level of the received signal by a received signal weighting coefficient, and corresponding to the name and telephone number of the telephone directory, Japanese language used by the other party, information on the language used for various foreign languages, gender information of the other party, information on the size of the utterance of the other party As receiving parameters In advance A reception parameter holding unit to hold, For the frequency band divided by the received signal correction unit, a weighting factor for Japanese, various foreign languages, a weighting factor for female and male, and a weighting factor for the magnitude of utterance are held. From the weight coefficient holding unit and the telephone number included in the received signal The reception parameter of the caller of the other party stored in the reception parameter storage unit is A caller search section for searching; Based on the information of the searched reception parameter of the caller, the weight coefficient holding unit checks the language used by the caller who uses Japanese and various foreign languages, the gender of the caller, and the magnitude of the utterance of the caller. Then, the weight coefficient of the language used by the confirmed caller, the weight coefficient of the caller's gender, and the weight coefficient of the caller's utterance are selected, and the weight coefficient of the selected use language, the gender weight coefficient, and the utterance The received signal weighting factor is obtained by multiplying the weighting factor of the large and small, and the received signal weighting factor is set in the received signal correcting unit. And a weight coefficient setting unit.
[0008]
By this means, the language used and the frequency characteristics of hearing Sex With respect to the difference, the difference in the frequency characteristics of the utterance depending on the gender, and the difference in the volume of the transmitted voice to the other party, the clarity of the voice of the other party can be improved at the time of the phone call, thereby improving the communication quality.
Preferably, the reception signal correction unit and the weight coefficient setting unit are configured by a DSP.
[0009]
By this means, data can be processed at high speed, and furthermore, downsizing can be achieved.
Preferably, the reception signal correction unit has a plurality of BPFs for dividing a frequency band of the reception signal into a plurality of parts, and the plurality of BPFs make an audible frequency range based on a critical auditory band in psychoacoustics. Frequency band divided by the specified bulk scale. Still preferably, in the reception signal correction unit, the multiplier is provided with a multiplier after each of the plurality of BPFs, and the reception signal weight coefficient for correcting a reception signal is set as a multiplication coefficient. .
[0010]
With these means, it is possible to easily correct the received signal in the audible frequency band.
Preferably, the operating unit provided in the mobile phone radio sets the language used, the gender, and the utterance characteristics of the other party as reception parameters in the reception parameter holding unit, and more preferably, the mobile phone radio. The weighting factor for correcting the level of the frequency band divided by the reception signal correcting unit is set in the weighting factor holding unit for each language, gender, and utterance feature by the operating unit provided in the control unit.
[0011]
With these means, the user can easily set the reception parameters for the setting, addition, and change of the other party, and can easily set the weighting factors for the reception parameters.
Preferably, the weighting factor holding unit attenuates high-frequency components when the caller is a foreigner who speaks English for the language used, and females when the caller is male for the gender. The weighting factor is set so as to increase the components of the high-frequency range, attenuate the level of the entire frequency band when the utterance is large, and increase the level of the entire frequency band when the utterance is small. .
[0012]
By this means, it is possible to improve the clarity of the voice at the time of the call for each of the callers, thereby improving the call quality.
Further, the present invention provides a method for correcting a received voice of a mobile phone radio having a telephone directory for registering a name and a telephone number of a communication partner, dividing a frequency band of a received signal and assigning a weight of the received signal to a level of the divided frequency band. Step of correcting the received signal by multiplying the coefficient, corresponding to the name of the telephone directory, the telephone number, Japanese language used by the other party, information on the language used for various foreign languages, gender information of the other party, information on the size of the utterance of the other party As receiving parameters In advance Holding, For the frequency band divided by the received signal correction unit, Japanese, a weighting factor for various foreign languages, a weighting factor for women and men, a step of holding a weighting factor for the magnitude of the utterance, , From the phone number included in the received signal The reception parameter of the caller of the other party stored in the reception parameter storage unit is Searching, Based on the information of the searched reception parameter of the caller, the weight coefficient holding unit checks the language used by the caller who uses Japanese and various foreign languages, the gender of the caller, and the magnitude of the utterance of the caller. Then, the weight coefficient of the language used by the confirmed caller, the weight coefficient of the caller's gender, and the weight coefficient of the caller's utterance are selected, and the weight coefficient of the selected use language, the gender weight coefficient, and the utterance Multiplying the received signal weighting factor by multiplying a large and small weighting factor, and multiplying the received signal by the received signal weighting factor; The present invention provides a method for correcting a received voice of a mobile phone radio, comprising:
[0013]
By this means, similar to the above invention, the language used and the frequency characteristics of the auditory sense Sex With respect to the difference, the difference in the frequency characteristics of the utterance depending on the gender, and the difference in the volume of the transmitted voice to the other party, the clarity of the voice of the other party can be improved at the time of the phone call, thereby improving the communication quality.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of a mobile phone radio according to the present invention. As shown in the figure, first, a CPU (Central Processing Unit) 11 is provided in the mobile phone radio, and the
[0015]
Further, a
Further, an
Further, a
[0016]
Further, a DSP (digital signal processing unit) 15 is connected to the
[0017]
Further, a
[0018]
A D / A (digital / analog) / A / D (analog / digital)
A microphone amplifier (MIC AMP) 18 is connected to the D / A / A /
[0019]
A receiver amplifier (REC AMP) 20 is connected to the D / A / A /
A
[0020]
A
FIG. 2 is a diagram showing a detailed block of a main part of FIG. 1, and FIG. 3 is a diagram for explaining the
[0021]
As shown in FIG. 3, the
[0022]
These pieces of information are input from the
Further, returning to FIG. 2, the
Further, the
[0023]
The
FIG. 4 is a diagram illustrating characteristics of the
[0024]
The
Further, as shown in FIG. 2, the
[0025]
Note that the transmission signal from the D / A / A /
FIG. 5 is a diagram illustrating a configuration example of the
[0026]
The correction means 53 is provided with
An output of the
[0027]
., D115 of the
This makes it possible to easily correct the received signal in the audible frequency band.
FIG. 6 is a diagram for explaining the weight coefficient holding unit 16C of FIG. As shown in the figure, the weighting factor holding unit 16C stores weighting factors Ai (i = 101 to 115) of the language used by the communication partner for each output of the
[0028]
The weighting coefficient Ai of the language used is Ai = 1 (i = 101 to 115) with the case of "Japanese" as a standard.
The gender weighting coefficient Bi is Bi = 1 (i = 101 to 115) with the case of “female” as a standard.
The weight coefficient Ci of the feature (loudness) is Bi = 1 (i = 101 to 115) with the case of “normal” as a standard.
[0029]
When the language used is “English”, as an example, the weighting factors for the
[0030]
Next, when the gender is “male”, as an example, the weighting factors for the
[0031]
Next, when the feature of the utterance (loudness of the utterance) is “large”, for example, it is reduced to 0.5 times (Bi = 0.5; i = 101 to 115).
When the feature of the utterance (the magnitude of the utterance) is “small”, for example, it is increased to twice (Bi = 2; i = 101 to 115).
In this way, by adjusting the level of the entire frequency band in accordance with the characteristics of the individual utterance (loudness of the utterance) during the call, the received voice level during the call can be adjusted to a certain width. This is to eliminate the necessity of performing operations such as volume adjustment of the camera.
[0032]
The weighting factor held in the weighting factor holding unit 16C is input from the
Next, returning to FIG. 2, the weight
The weighting
[0033]
The weighting
Di = Ai × Bi × Ci (i = 101 to 115)
[0034]
The weighting
FIG. 7 is a flowchart for explaining an input operation to the
[0035]
In step S202, the
In step S203, the
In step S204, the
[0036]
In step S205, the
In step S206, the
In step S207, the
[0037]
In step S208, the
In step S209, the
[0038]
In step S210, the
FIG. 8 is a flowchart for explaining the input operation to the weight coefficient holding unit 16C. As shown in the figure, in step S211, the
[0039]
In step S212, the
In step S213, the
In step S214, the
[0040]
In step S215, the
In step S216, it is determined whether the mobile phone radio has transitioned to a standby state.
FIG. 9 is a flowchart illustrating the operation of the weight
[0041]
In step S222, the
In step S223, the
In step S224, if there is the above registration, the weighting
[0042]
In step S225, the weighting
[0043]
In step S226, the weighting
[0044]
In step S227, i = 101 is set, and the weight
In step S228,
Received signal weighting factor Di
= Ai × Bi × Ci
Is calculated.
[0045]
In step S229,
i = 115
Is determined.
In step S230, if i ≠ 115,
i = i + 1
To step S228.
[0046]
In step S231, if i = 115,
The weight
Although the above description has been made with respect to a portable telephone radio, the present invention can be used as it is for a communication device such as a PHS (Personal Handy Phone System), a digital home telephone, or the like.
[0047]
In addition, by using the correction means of another language for an audio / video device such as a television and a stereo, it is possible to correct a broadcast of another language and to improve the clarity of conversation.
[0048]
【The invention's effect】
As described above, according to the present invention, in accordance with the name and telephone number of the telephone directory, the language, gender, and utterance characteristics of the other party are stored as reception parameters, and are stored in the parameter storage unit. Holds weighting factors for correcting the level of the divided frequency band for each language, gender, and utterance feature, searches for the caller of the other party from the telephone number included in the received signal, and Weighting factors are selected for each language, gender, and utterance feature based on the search information, and the selected weighting factors are calculated to calculate the received signal weighting factors. The received signal weighting factors are multiplied by the received signal weighting factors. In order to improve the clarity during the call, the difference between the language used and the frequency characteristics of the auditory sense, the difference in the frequency characteristics of the utterance due to gender, and the difference in the volume of the transmitted voice to the other party are improved. Can be improved.
[0049]
For example, it is generally known that auditory characteristics differ depending on the language used. Specifically, because English has a wider frequency band than Japanese (especially many high-frequency components of 2.5 kHz or more), Japanese listen to high-frequency components of 2.5 kHz or more compared to Westerners. It tends to be difficult. In the case of Japanese, it is generally known that when the high-frequency component (2.5 kHz or more) of an English tape is attenuated by the auditory characteristics, English is easier to hear than the original tape.
[0050]
By utilizing the above fact, that is, when the language used by the other party is English, it is possible to enhance the clarity by attenuating the high frequency range of the receiving audio signal divided by the BPF in the DSP. It becomes.
Even in other languages, clarity can be improved by setting parameters in consideration of the frequency characteristic difference from Japanese.
[0051]
Next, in voice correction based on gender, it is possible to improve clarity by paying attention to frequencies at which voice formants based on gender exist and setting parameters.
For example, in the case of a male utterance, the sound formant generally has a lower pitch than that of a female, so that it often sounds low and full as compared with a female. By configuring a parameter that corrects this difference in frequency characteristics, clarity during a call can be improved.
[0052]
In addition, in the correction of utterance characteristics, the level of the entire frequency band is adjusted in accordance with the characteristics of each individual utterance (large or small utterance) during a call so that the received voice level during the call can be adjusted to a certain width. Since the adjustment can be performed, it is not necessary to perform operations such as volume adjustment during a call.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a mobile phone wireless device according to the present invention.
FIG. 2 is a diagram showing a detailed block of a main part of FIG. 1;
FIG. 3 is a diagram illustrating a
FIG. 4 is a diagram illustrating characteristics of the
5 is a diagram illustrating a configuration example of a
FIG. 6 is a diagram illustrating a weight coefficient holding unit 16C of FIG. 2;
FIG. 7 is a flowchart illustrating an input operation to a
FIG. 8 is a flowchart illustrating an input operation to a weight coefficient holding unit 16C.
FIG. 9 is a flowchart illustrating an operation of a weight
[Explanation of symbols]
11 CPU
11A: Caller search section
12 Radio section
13 ... operation unit
14 Display unit
15 ... DSP
16 ... Memory
16A: Phone book
16B: Parameter holding unit
16C: weight coefficient holding unit
17 ... D / A / A / D converter
18 ... Microphone amplifier
19 ... Microphone
20 ... Receiver amplifier
21 ... Speaker
51, 101 to 115 ... BPF
52 ... weight coefficient setting unit
52A: weight coefficient selection unit
52B ... weight coefficient calculation unit
53 ... Correction means
201-215 ... Multiplier
216 ... Adder
Claims (8)
受信信号の周波数帯域を分割し分割された周波数帯域のレベルに受信信号重み係数を乗算して受信信号を補正する受信信号補正部と、
前記電話帳の氏名、電話番号に対応して、通話相手が使用する日本語、種々の外国語に関する使用言語の情報、通話相手の性別の情報、通話相手の発声の大小の情報を受信パラメータとして予め保持する受信パラメータ保持部と、
前記受信信号補正部で分割される周波数帯域に対して、日本語、種々の外国語に対する重み係数、女性、男性に対する重み係数、発声の大小に対する重み係数を保持する重み係数保持部と、
受信信号に含まれる電話番号から前記受信パラメータ保持部に保持されている通話相手の発呼者の受信パラメータを検索する発呼者検索部と、
前記発呼者の検索された受信パラメータの情報に基づいて前記重み係数保持部から日本語、種々の外国語を使用する通話者の使用言語、通話者の性別、通話者の発声の大小を確認し、確認した通話者の使用言語の重み係数、通話者の性別の重み係数、通話者の発声の大小の重み係数を選択し、選択された使用言語の重み係数、性別の重み係数、発声の大小の重み係数を乗算して受信信号重み係数を求め、前記受信信号重み係数を受信信号補正部に設定する重み係数設定部とを備えることを特徴とする携帯電話無線機の受信音声補正システム。In a receiving voice correction system of a mobile phone radio having a telephone directory for registering the name and telephone number of a call partner,
A reception signal correction unit that divides the frequency band of the reception signal and multiplies the level of the divided frequency band by a reception signal weight coefficient to correct the reception signal;
According to the name and telephone number of the telephone directory, Japanese language used by the other party, information on the language used in various foreign languages, information on the gender of the other party, information on the size of the utterance of the other party as the reception parameter. A reception parameter holding unit that holds in advance ,
For the frequency band divided by the received signal correction unit, Japanese, weighting factors for various foreign languages, weighting factors for women and men, weighting factor holding unit for holding a weighting factor for the magnitude of utterance ,
A caller search unit that searches for a reception parameter of a caller of a communication partner held in the reception parameter holding unit from a telephone number included in a reception signal;
Based on the information of the searched reception parameter of the caller, the weight coefficient holding unit checks the language used by the caller who uses Japanese and various foreign languages, the gender of the caller, and the magnitude of the utterance of the caller. Then, the weight coefficient of the language used by the confirmed caller, the weight coefficient of the caller's gender, and the weight coefficient of the caller's utterance are selected, and the weight coefficient of the selected use language, the gender weight coefficient, and the utterance A weighting factor setting unit for obtaining a received signal weighting factor by multiplying the weighting factor by a large and small, and setting the received signal weighting factor in a received signal correcting unit .
受信信号の周波数帯域を分割し分割された周波数帯域のレベルに受信信号重み係数を乗算して受信信号を補正する工程と、
前記電話帳の氏名、電話番号に対応して、通話相手が使用する日本語、種々の外国語に関する使用言語の情報、通話相手の性別の情報、通話相手の発声の大小の情報を受信パラメータとして予め保持する工程と、
前記受信信号補正部で分割される周波数帯域に対して、日本語、種々の外国語に対する重み係数、女性、男性に対する重み係数、発声の大小に対する重み係数を保持する工程と、
受信信号に含まれる電話番号から前記受信パラメータ保持部に保持されている通話相手の発呼者の受信パラメータを検索する工程と、
前記発呼者の検索された受信パラメータの情報に基づいて前記重み係数保持部から日本語、種々の外国語を使用する通話者の使用言語、通話者の性別、通話者の発声の大小を確認し、確認した通話者の使用言語の重み係数、通話者の性別の重み係数、通話者の発声の大小の重み係数を選択し、選択された使用言語の重み係数、性別の重み係数、発声の大小の重み係数を乗算して受信信号重み係数を求め、前記受信信号重み係数を受信信号に乗算する工程とを備えることを特徴とする携帯電話無線機の受信音声補正方法。In the method for correcting the received voice of a mobile phone radio having a telephone directory for registering the name and telephone number of the other party,
Dividing the frequency band of the received signal and multiplying the level of the divided frequency band by the received signal weighting factor to correct the received signal,
According to the name and telephone number of the telephone directory, Japanese language used by the other party, information on the language used in various foreign languages, information on the gender of the other party, information on the size of the utterance of the other party as the reception parameter. Holding in advance ;
For the frequency band divided by the received signal correction unit, Japanese, a weighting factor for various foreign languages, a weighting factor for women and men , a step of holding a weighting factor for the magnitude of the utterance ,
A step of searching for a reception parameter of a caller of a communication partner held in the reception parameter holding unit from a telephone number included in a reception signal,
Based on the information of the searched reception parameter of the caller, the weight coefficient holding unit checks the language used by the caller who uses Japanese and various foreign languages, the gender of the caller, and the magnitude of the utterance of the caller. Then, the weight coefficient of the language used by the confirmed caller, the weight coefficient of the caller's gender, and the weight coefficient of the caller's utterance are selected, and the weight coefficient of the selected use language, the gender weight coefficient, and the utterance Obtaining a received signal weight coefficient by multiplying the received signal weight coefficient by a large and small weight coefficient, and multiplying the received signal by the received signal weight coefficient .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000323426A JP3555870B2 (en) | 2000-10-24 | 2000-10-24 | System and method for correcting received voice of mobile phone radio |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000323426A JP3555870B2 (en) | 2000-10-24 | 2000-10-24 | System and method for correcting received voice of mobile phone radio |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002135364A JP2002135364A (en) | 2002-05-10 |
JP3555870B2 true JP3555870B2 (en) | 2004-08-18 |
Family
ID=18801093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000323426A Expired - Fee Related JP3555870B2 (en) | 2000-10-24 | 2000-10-24 | System and method for correcting received voice of mobile phone radio |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3555870B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005164988A (en) * | 2003-12-03 | 2005-06-23 | Xanavi Informatics Corp | Frequency switching device and information processing apparatus |
KR100735261B1 (en) * | 2005-12-26 | 2007-07-03 | 삼성전자주식회사 | Wireless terminal and a method for outputting voice data using that |
JP2007184820A (en) * | 2006-01-10 | 2007-07-19 | Kenwood Corp | Receiver, and method of correcting received sound signal |
JP4826424B2 (en) * | 2006-10-17 | 2011-11-30 | 日本電気株式会社 | Telephone terminal, call control method and program using the same |
JP5292345B2 (en) * | 2010-03-25 | 2013-09-18 | クラリオン株式会社 | Sound reproduction device having automatic sound quality adjustment function and hands-free telephone device incorporating the same |
WO2017025107A2 (en) * | 2015-11-22 | 2017-02-16 | Al-Shalash Taha Kais Taha | Talker language, gender and age specific hearing device |
WO2018167960A1 (en) * | 2017-03-17 | 2018-09-20 | ヤマハ株式会社 | Speech processing device, speech processing system, speech processing method, and speech processing program |
-
2000
- 2000-10-24 JP JP2000323426A patent/JP3555870B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002135364A (en) | 2002-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3236268B2 (en) | Voice correction device and mobile device with voice correction function | |
US6212496B1 (en) | Customizing audio output to a user's hearing in a digital telephone | |
US20070053528A1 (en) | Method and apparatus for automatic volume control in an audio player of a mobile communication terminal | |
US7042986B1 (en) | DSP-enabled amplified telephone with digital audio processing | |
JP5151762B2 (en) | Speech enhancement device, portable terminal, speech enhancement method, and speech enhancement program | |
RU2568281C2 (en) | Method for compensating for hearing loss in telephone system and in mobile telephone apparatus | |
US20050175185A1 (en) | Audio bandwidth extending system and method | |
US20040131206A1 (en) | User selectable sound enhancement feature | |
JP2010524407A (en) | Dynamic volume adjustment and band shift to compensate for hearing loss | |
KR20090094330A (en) | Methods and devices for adaptive ringtone generation | |
RU2424632C2 (en) | Device for radio communication with two-way audio signal | |
JP2009020291A (en) | Speech processor and communication terminal apparatus | |
JP3555870B2 (en) | System and method for correcting received voice of mobile phone radio | |
JP2013048386A (en) | Portable electronic apparatus, voice output method, and voice output program | |
EP1687783B1 (en) | Method and device for generating an alert signal based on a sound metric for a noise signal | |
GB2394632A (en) | Adjusting audio characteristics of a mobile communications device in accordance with audiometric testing | |
KR100705163B1 (en) | portable termial and signal transmission method for service the background music | |
JP3769433B2 (en) | Communication terminal | |
JP5726446B2 (en) | Portable electronic devices | |
KR100700595B1 (en) | Mobile terminal for adjusting acoustic features and method thereof | |
US10748548B2 (en) | Voice processing method, voice communication device and computer program product thereof | |
JP3094987B2 (en) | Voice communication device | |
JP2002218045A (en) | Hearing aid processor for portable ratio apparatus, and portable radio apparatus | |
EP1357733A1 (en) | Audio bandwidth extending system and method | |
TWI578753B (en) | A method of processing voice during phone communication and electronic device thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040507 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100521 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |