JP5023390B2 - 携帯端末、参照信号出力回路、及びコンピュータプログラム - Google Patents

携帯端末、参照信号出力回路、及びコンピュータプログラム Download PDF

Info

Publication number
JP5023390B2
JP5023390B2 JP2007178637A JP2007178637A JP5023390B2 JP 5023390 B2 JP5023390 B2 JP 5023390B2 JP 2007178637 A JP2007178637 A JP 2007178637A JP 2007178637 A JP2007178637 A JP 2007178637A JP 5023390 B2 JP5023390 B2 JP 5023390B2
Authority
JP
Japan
Prior art keywords
signal
reference signal
output
microphones
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007178637A
Other languages
English (en)
Other versions
JP2009017378A (ja
Inventor
和之 滝澤
敦 小池
グンティダー ロットウィブンチャイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to JP2007178637A priority Critical patent/JP5023390B2/ja
Publication of JP2009017378A publication Critical patent/JP2009017378A/ja
Application granted granted Critical
Publication of JP5023390B2 publication Critical patent/JP5023390B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Description

本発明は、エコー抑制機能を備えた携帯端末、エコー抑制用の参照信号を出力する参照信号出力回路、及びコンピュータプログラムに関する。
従来、複数のマイクを利用してアレイマイクを構成し、アレイマイクで取得した音声から周囲の雑音を除去し、例えば話者の声などの、目的の音のみを取得する音声分離技術(例えば、非特許文献1)が存在する。
また、スピーカから再生される通話相手の音声をマイクが取得し、取得された音声が相手に戻り、エコーが生じることがある。特許文献1に記載されているように、このエコーを打ち消す機能(エコーキャンセラ機能)が通話システムにおいて用いられている。
そして、目的の音のみを取得する音声分離技術は、エコーキャンセラ機能と組み合わせて、電話会議システムやテレビ電話システムなどに利用される。
特開平8−9005号公報 戸上真人、天野明雄、新庄広、鴨志田亮太、"人間共生ロボット EMIEWの聴覚機能"、人工知能学会、p.59-64、2005/10/14
しかしながら、2軸ヒンジやスライド機構付の接続部などで上側筐体と下側筐体とを接続した携帯端末に、アレイマイクを用いた雑音除去機能及びエコーキャンセラ機能を搭載する場合、端末サイズの制約からマイクとスピーカとを上側筐体又は下側筐体の何れか一方に全てを実装できるとは限らない。ユーザーの使用スタイルとしては常に端末を同じ状態で利用するわけではなく、端末を開いて縦向きで手に持って利用したり、端末を閉じて横向きで机に置いたりするなど、端末の使用形状を変更しながらユーザーに適した状態で利用したりする。
エコーキャンセラ機能を実現するためには、エコーと同じ音声を参照信号とし、これをA/D(アナログ/デジタル)変換して、信号処理部に供給する必要がある。しかし、携帯電話のように低コスト、実装スペース削減が求められる製品では、マイク数やマイクからの音声信号が入力されるA/D変換器や信号処理部の入力ポートの数等の、ハードウエア量を増やしたくないという要望がある。
この問題を解決する一手法として、音声入力チャンネルの1つ(例えば、A/D変換器の入力ポートの1つ)をエコーキャンセラ参照信号入力用に利用したりすることが考えられる。
しかし、携帯端末の場合、上述の通り、端末の利用形状が変われば、マイクの相対位置も変わってしまう。このため、エコーキャンセラ参照信号用に入力チャンネルを固定してしまった場合、端末の使用形状によっては、音源定位等を用いた雑音除去のために必要となるマイクからの音声入力の一部を使用できないことになり、雑音除去性能が低下してしまう。
本発明は、上記問題点に鑑みてなされたもので、使用スタイルに拠らず、携帯端末の使用時の雑音除去性能及びエコーキャンセラ性能の低下を防ぐ携帯端末、参照信号出力回路、及びコンピュータプログラムを提供することを目的とする。
また、本発明は、ハードウエア量を抑えつつ、参照信号の供給を可能とすることを目的とする。
上記目的を達成するため、本発明の第1の観点に係る携帯端末は、
互いに相対位置が変更される複数の筐体と、
複数の前記筐体に配置され、話者の音声信号を取得する複数のマイクと、
前記話者の通話相手の音声信号を、通話相手へ戻るエコーを抑制するための参照信号として取得する参照信号取得手段と、
複数の前記筐体の相対位置を検出する検出手段と、
前記検出手段により検出された複数の前記筐体の相対位置に基づいて、複数の前記マイクにより取得される複数の前記音声信号のうち、切り替え対象とする前記音声信号を選択する選択手段と、
前記選択手段により選択された前記音声信号を前記参照信号取得手段により取得された前記参照信号に切り替え、前記選択手段により選択されていない前記音声信号とともに出力する選択出力手段と、
前記選択出力手段から出力された前記参照信号に基づいて、前記選択出力手段から出力された前記音声信号に含まれるエコーを除去する機能を備える信号処理回路と、
を備えることを特徴とする。
前記選択手段は、例えば、複数の前記マイクにより取得される複数の音声信号のうち、切り替え対象とする音声信号を1つ選択する。
前記選択出力手段は、例えば、前記選択手段により選択された音声信号と前記参照信号取得手段により取得された参照信号とを切り替える複数のスイッチを備えてもよい。
例えば、前記信号処理回路は、前記エコーを除去した音声信号を用いて、話者の位置を判別する位置判別手段を備え、前記選択手段は、前記検出手段によって検出された筐体の相対位置に応じて、前記位置判別手段による特定方向の話者の位置を判別するために必要な音声信号以外の音声信号を切り替え対象として選択する。
本発明の第2の観点に係る参照信号出力回路は、
互いの相対位置が変更可能で、それぞれ、音声に対応する音声信号を出力する複数のマイクと、
複数の前記マイクが取得する音声に含まれるエコーの原因となる音に対応する信号を、エコー抑制用の参照信号として取得する参照信号取得手段と、
複数の前記マイクの相対位置を検出する検出手段と、
前記検出手段により検出された複数のマイクの相対位置に基づいて、複数の前記マイクから出力された複数の音声信号のうち、切り替え対象とする音声信号を選択する選択手段と、
前記選択手段により選択された前記音声信号を前記参照信号取得手段により取得された前記参照信号に切り替え、前記選択手段により選択されていない前記音声信号と共にエコー抑制機能を備える信号処理回路へ出力する信号出力手段と、
を備えることを特徴とする。
本発明の第3の観点に係るコンピュータプログラムは、
コンピュータを、
互いの相対位置が変更可能で、それぞれ、音声に対応する音声信号を出力する複数のマイクの相対位置を検出する相対位置検出手段と、
複数の前記マイクが取得する音声に含まれるエコーの原因となる音に対応する信号を、エコー抑制用の参照信号として取得する参照信号取得手段と、
前記検出手段により検出された複数のマイクの相対位置に基づいて、複数の前記マイクから出力された複数の音声信号のうち、切り替え対象とする音声信号を選択する選択手段と、
前記選択手段により選択された前記音声信号を前記参照信号取得手段により取得された前記参照信号に切り替え、前記選択手段により選択されていない前記音声信号と共にエコー抑制機能を備える信号処理回路へ出力する信号出力手段、
として機能させることを特徴とする。
本発明によれば、ハードウエア量を増大させることなく、参照信号を供給することが可能となる。
(実施形態1)
以下、本発明の実施形態1について図1〜5を参照して詳細に説明する。
図1は、本実施形態に係る携帯電話100の構成図である。同図に示すように、携帯電話100は、アレイマイク部1と、音声入出力IF部2と、雑音エコー除去部3と、通話処理部4と、から構成される。
アレイマイク部1は、複数のマイクで構成され、音声を取得し、アナログの音声信号を出力する。例えば、アレイマイク部1はモノラルマイク10、11、12、13で構成され、各マイクは音声を取得し、音声入出力IF部2へそれぞれアナログのマイク信号(音声信号)Sig1、Sig2、Sig3、Sig4を出力する。
音声入出力IF部2は、主として音声信号の入出力を行う制御IFであり、複数のA/D(アナログ/デジタル)変換器と、スイッチと、第1D/A変換器24と、制御IF25と、から構成される。
A/D(アナログ/デジタル)変換器の数は、アレイマイク部1からの音声信号に基づく数である。図1の構成では、アレイマイク部1から4つのモノラルのアナログ音声信号が出力され、これらをデジタル変換するので、音声入出力IF部2は、ステレオ入力に対応した2つの変換器(第1A/D変換器20及び第2A/D変換器21)を備える。
携帯電話100が備えるべきスイッチの回路構成やスイッチの数について説明する。マイクの位置関係が変更された場合、アレイマイク部1において、雑音除去機能の低下が少ないマイク(例えば、垂直方向の推定に使用されるマイク)の位置が変わる。そこで、最初に、マイクの配置が複数のパターンに変化するとき、どの状態でスイッチの制御を行うかを定める。次に、スイッチを制御する状態において、エコーキャンセラ参照信号に置換しても、雑音除去に影響のないマイクを定める。そして、切り替えてもよい(切り替えてエコーキャンセラ参照信号を代わりに出力できる)マイクの数や出力すべきエコーキャンセラ参照信号の数に基づいてスイッチの回路構成やスイッチの数を決定する。
例えば、携帯電話100のマイクの配置は、携帯電話が開いたり閉じたりする場合に変更される。この携帯電話100の端末形状が開いた状態と閉じた状態とでスイッチの制御を行う場合、モノラルマイク10又は13が音源の垂直方向の推定に使用され、雑音除去に影響の少ないマイクである。そこで、モノラルマイク10又は13の何れかを選択してエコーキャンセラ参照信号と切り替える。そして、出力すべきエコーキャンセラ参照信号は1つである。この場合、例えば、2入力1出力のスイッチとして機能する回路を2つ有する部品を1個、或いは2入力1出力のスイッチとして機能する部品を2個(第1SW22及び第4SW23)設ける。
第1A/D変換器20は、音声信号のA/D(アナログ/デジタル)変換を行う回路や部品である。第1A/D変換器20は、ステレオ入力に対応しており、第1SW22から出力された音声信号がLチャネルに入力され、モノラルマイク11から出力されたマイク信号Sig2(音声信号)がRチャネルに入力される。そして、第1A/D変換器20は、入力されたアナログの音声信号をステレオのデジタル音声信号に変換して雑音エコー除去部3に出力する。
第2A/D変換器21は、音声信号のA/D(アナログ/デジタル)変換を行う回路や部品である。例えば、第2A/D変換器21は、ステレオ入力に対応しており、モノラルマイク12から出力されたマイク信号Sig3がLチャネルに入力され、第4SW23から出力された音声信号がRチャネルに入力される。第2A/D変換器21は、入力されたアナログの音声信号をステレオのデジタル音声信号に変換して雑音エコー除去部3に出力する。
第1SW22は、2入力1出力のスイッチとして機能する部品である。第1SW22は、2つの入力端子a及びbを備え、モノラルマイク10から出力されるマイク信号Sig1が入力端子aに入力され、後述するエコーキャンセラ参照信号Sig5が入力端子bに入力される。第1SW22は、後述する切替制御信号Sig6に従って入力先をa側又はb側に切り替え、切り替えた入力端子に入力される信号は第1A/D変換器20へ出力される。
第4SW23は、2入力1出力のスイッチとして機能する部品である。第4SW23は、2つの入力端子a及びbを備え、モノラルマイク13から出力されるマイク信号Sig4が入力端子aに入力され、後述するエコーキャンセラ参照信号Sig5が入力端子bに入力される。第4SW23は、後述する切替制御信号Sig7に従って入力先をa側又はb側に切り替え、切り替えた入力端子に入力される信号は第2A/D変換器21へ出力される。
第1D/A変換器24は、音声信号のD/A(デジタル/アナログ)変換を行う回路や部品であり、雑音エコー除去部3で雑音除去及びエコーキャンセラ処理されてクリアになったデジタル音声信号が入力され、この信号をD/A変換して通話処理部4へ出力する。
制御IF25は、第1CPU30の制御に従い、第1SW22及び第4SW23へ、それぞれ切替制御信号Sig6及びSig7を出力する。
ここで、切替制御信号Sig6、Sig7は、制御IF25が第1SW22、第4SW23を制御するための信号であって、各スイッチにおいて入力端子a、bのうち、どちらの端子を選択して切り替えるかを指示する情報が付加される。
上記の構成により、音声入出力IF部2は、アレイマイク部1で取得したマイク信号Sig1、Sig4とエコーキャンセラ参照信号Sig5とを、第1SW22及び第4SW23で切り替える。また、音声入出力IF部2は、アナログの音声信号をA/D変換し、雑音エコー除去部3へ出力する。さらに、音声入出力IF部2は、雑音エコー除去部3から出力されたクリアなデジタル音声信号をD/A変換して通話処理部4へ出力する。
雑音エコー除去部3は、取得音声の雑音除去を行うための信号処理を行うように構成された信号処理回路である。例えば、雑音エコー除去部3は、音声入出力IF部2より入力された、音声信号から雑音を除去し、エコーキャンセラ参照信号Sig5を使用してエコーを打ち消す。図1に示すように、雑音エコー除去部3は、第1CPU30と、キャッシュ31と、メモリ32と、シリアルインターフェース33と、CPU_IF34と、内部バス35と、から構成される。
第1CPU30は、通話相手の音声(エコーキャンセラ参照信号Sig5)と、その音声から生じるエコー(マイク信号Sig1〜Sig4に含まれている)とから両者の関係を逐次学習し、どのようなエコーが生じるのかを推定する。第1CPU30は、推定したエコーをマイク信号Sig1〜Sig4から減算処理することで、音声信号のエコーを除去する。
また、第1CPU30は、例えば、非特許文献1等に記載された音源定位法により、音源の位置(方向)を推定し、ノイズを抑圧する。
通常であれば、第1CPU30は、携帯電話100が図2に示すように開いた状態では、モノラルマイク10、11を音源の水平方向の位置(向き)の推定に使用し、モノラルマイク10、13を音源の垂直方向の推定に使用し、モノラルマイク11,12を音源の前後方向の位置の推定に使用する。また、携帯電話100が図4に示すように閉じた状態では、モノラルマイク11,13を水平方向の位置の推定に使用し、モノラルマイク10、12を垂直方向の位置の推定に使用し、モノラルマイク11,12を前後方向の位置の推定に使用する。
しかし、本実施形態においては、専用のA/D変換器及び入力ポート等を設けることなく、エコーキャンセラ参照信号Sig5を入力可能とするため、4つのマイク10〜13からのマイク信号Sig1〜Sig4のうち、1の信号をエコーキャンセルエコーキャンセラ参照信号Sig5に切り替えてA/D変換器20,21に供給する。このため、ノイズ除去の観点より、音源の水平方向の位置の推定を常に可能とし、携帯電話100が図2に示すように開いた状態では、モノラルマイク10、11を水平方向の位置(向き)推定に使用し、モノラルマイク11,12を前後方向の推定に使用し、垂直方向の位置の推定は行わない。また、携帯電話100が図4に示すように閉じた状態では、モノラルマイク11,13を音源の水平方向の推定に使用し、モノラルマイク11,12を前後方向の推定に使用し、垂直方向の位置の推定は行わない。
第1CPU30は、雑音除去及びエコーキャンセラ処理を行うために、第1SW22及び第4SW23の切り替えるべき入力端子を判別する。
具体的には、第1CPU30は、CPU_IF34を介して供給される端末形状に応じて、図2に示す開状態では、第1SW22にマイク信号Sig1を選択させ、第4SW23にエコーキャンセラ参照信号Sig5を選択させるように判別し、図4に示す閉状態では、第1SW22にエコーキャンセラ参照信号Sig5を選択させ、第4SW23にマイク信号Sig4を選択させるように判別する。
キャッシュ31は、メモリ32より高速なキャッシュメモリであり、メモリ32は、キャッシュ31より低速なメインメモリである。これらは第1CPU30の処理を高速化するために階層化されたメモリであり、各種のプログラムやデータが格納される。
シリアルインターフェース33は、デジタルデータを1ビットずつ連続的に転送する通信チャネルであり、内部バス35と音声入出力IF部2との間でデジタルデータの受け渡しを行う。
CPU_IF34は、内部バス35と通話処理部4との間でデータやコマンドの受け渡しを行う。例えば、後述するエコーキャンセラ参照信号入力切替通知Sig8の受け渡しを行う。
内部バス35は、第1CPU30、キャッシュ31、メモリ32、シリアルインターフェース33、及びCPU_IF34を接続し、これらの間でデータ及びコマンドの転送を行うための共通のチャネルである。
上記の構成により、雑音エコー除去部3は、音声入出力IF部2より入力された音声信号に含まれているエコーをエコーキャンセラ参照信号を利用して除去(抑圧)し、さらに、音源の位置(向き)を特定し、して雑音を除去(抑圧)する。また、雑音エコー除去部3は、音声入出力IF部2及び通話処理部4とデジタルデータの受け渡しを行う。
通話処理部4は、主に携帯電話100が電話として機能するための通話に係わる処理を行う回路又は部品である。通話処理部4は、アンテナ40と、無線通信部41と、コーデック42と、第3A/D変換器43と、第2D/A変換器44と、スピーカ45と、第2CPU46と、判定部47と、から構成される。
アンテナ40は、例えばモノポールアンテナ等で構成され、基地局等から送信された電波を受信し、音声信号を乗せた電波を発信するために使用される。
無線通信部41は、アンテナ40で受信した電波を高周波電気信号に変換して音声信号としてコーデック42に出力し、コーデック42から入力された音声信号を電波に変換する回路又は部品である。
コーデック42は、音声信号の圧縮や冗長化などの符号化と符号化された信号の復調とを行う回路や部品であり、第3A/D変換器43から出力されたデジタル音声信号を符号化して無線通信部41に出力し、また、無線通信部41からの符号化されたデジタル音声信号を復調して第2D/A変換器44へ出力する。
第3A/D変換器43は音声信号のA/D変換を行う回路や部品であり、音声入出力IF部2から出力されたアナログの音声信号をA/D変換してコーデック42へ出力する。
第2D/A変換器44は、音声信号のD/A(デジタル/アナログ)変換を行う回路や部品であり、コーデック42から出力されたデジタル音声信号(通話の際に相手から送られてきた音声信号)をD/A変換してスピーカ45へ出力する。また、第2D/A変換器44は、D/A変換した音声信号をエコーキャンセラ参照信号Sig5として第1SW22及び第4SW23のそれぞれのb端子へ出力する。
テレビ電話などの電話機能を使用時にはスピーカ45から再生される通話相手の音声がアレイマイク部1に取得され、通話相手の音声がエコーEとして相手に戻ってしまう。そこで、エコーキャンセラ処理によりエコーEを打ち消すことが必要となるが、エコーEを打ち消すためには、エコーEと同じ音声を示す音声信号が参照信号として必要となる。そこで、エコーEの抑制のため、第2D/A変換器44は、D/A変換した通話相手からの音声信号をエコーキャンセラ参照信号Sig5として第1SW22及び第4SW23へ出力する。
スピーカ45は、第2D/A変換器44から出力される電気信号(音声信号)を音声に変換して通話相手の音声を再生する。
第2CPU46は、通話処理部4全体を制御する処理装置である。また、形状判定部から端末の形状の判定結果を示す情報を受信し、判定結果に基づきエコーキャンセラ参照信号入力切替通知Sig8を発行し、音声入出力IF部2へ出力する。
エコーキャンセラ参照信号入力切替通知Sig8は、第1SW22又は第4SW23を制御するための信号であり、2つのスイッチのうちエコーキャンセラ参照信号Sig5をどちらのスイッチの出力信号から取得するかを指示する情報が付加される。
判定部47は、端末の形状の状態を判定し、端末状態に関する情報を第2CPU46へ通知する。例えば、判定部47は後述するヒンジ部5の動きを検知することで、端末が開いているか閉じているのかを端末状態として判定する。
例えば、判定部47は、接地された接点を有する回転子であるヒンジと、開いた状態と閉じた状態に対応する固定接点を有するロータリースイッチと、固定接点と接続され、各々が異なった抵抗値を有する複数個の抵抗と、複数個の抵抗の一方の端子に接続された基準電圧と、から構成される。携帯電話100が開いたり閉じたりした場合、ヒンジの回転角が変化し、ヒンジの有する接点と固定接点とが接触する。そして、固定端子に接続された抵抗による基準電圧からの電圧降下を検出することで、判定部47は携帯電話100の形状変化を検出する。
上記の構成により、通話処理部4は、アンテナ40で受信した電波を無線通信部41が電気信号に変換することで相手の話者からの音声信号を取得し、取得した音声信号をコーデック42で復調し、第2D/A変換器44でD/A変換してスピーカ45から出力する。また、通話処理部4は、第2D/A変換器44からの音声信号(相手の話者からの音声信号)をエコーキャンセラ参照信号Sig5として音声入出力IF部2へ出力する。音声入出力IF部2から出力されたクリアな音声信号は、第3A/D変換器43でA/D変換し、コーデック42で符号化してアンテナ40から発信する。
上述した構成により、携帯電話100は、通話処理部4が受信した相手の話者の音声をスピーカ45で再生し、相手の話者からの音声信号をエコーキャンセラ参照信号Sig5として使用する。携帯電話100は、アレイマイク部1から出力される音声信号とエコーキャンセラ参照信号Sig5とを音声入出力IF部2に入力する。携帯電話100は、端末形状に応じてエコーキャンセラ参照信号Sig5とアレイマイク部1からのマイク信号Sig1、Sig4とを切り替えて音声入出力IF部2で取得する。そして、携帯電話100は雑音エコー除去部3で、雑音を除去し、エコーEを抑制したクリアな音声信号を音声処理部4から発信する。
モノラルマイク10〜13及びスピーカ45が携帯電話100のどの位置に配置されるかを、図2〜図4を参照して説明する。図2は、携帯電話100を開いて使用する場合マイク10〜13とスピーカ45との配置である。この端末状態は、例えば、屋外などでユーザーが携帯電話100を手に持ってテレビ電話機能を使用する場合の状態である。図2(a)は、携帯電話100を開いて斜め前から見た外形図であり、同図(b)は、携帯電話100を開いて斜め後ろから見た外形図である。同図(a)、(b)に示すように、携帯電話100は、ヒンジ部5と、上側筐体6と、下側筐体7と、から構成される。
ヒンジ部5は上側筐体6と下側筐体7とを接続する部材であり、例えば、2軸ヒンジを使用し、携帯電話100を開いたり、閉じて折りたたんだりすることができほか、図2に示すように開いた状態でさらに、図3(a)に示すように上側筐体6を回転させ、図3(b)に示すように上側筐体6を180度回転させた後、図4に示すように再度折りたたむことができる。
上側筐体6は、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)等から構成されるディスプレイを備えた部材であり、このディスプレイに操作画面等が表示される。ディスプレイを備えた面を表面、この表面と対向する面を裏面とする。
下側筐体7は、操作ボタン等を備えた部材であり、携帯電話100をユーザーが操作するために使用される。操作ボタン等を備えた面を表面、この表面と対抗する面を裏面とする。
スピーカ45は、下側端末7に実装され、アレイマイク部1はスピーカ45の実装されている筐体と同じ筐体に実装されるが、アレイマイク部1を構成するモノラルマイク10〜13のうち、少なくとも1個のモノラルマイクは、ヒンジ部5を可動することにより、その配置が変更されるような場所に配置されている。
例えば、携帯電話100を開いた状態でユーザーから見たとき、図2(a)に示すように、モノラルマイク10は、下側筐体7の表面においてユーザーから見て左側に配置する。モノラルマイク11は、下側筐体7のモノラルマイク10の位置からユーザーが視線を横方向に水平移動した位置であって表面の右側に配置する。同図(b)に示すように、モノラルマイク12は、下側筐体7の裏面において、モノラルマイク11の真裏に配置される。また、スピーカ45は、下側筐体7の裏面に実装される。同図(a)に示すように、モノラルマイク13は、モノラルマイク10の位置からユーザーが視線を垂直移動した位置であって上側筐体6の表面の左側に配置される。
携帯電話100が開いた状態では、モノラルマイク13の位置は音源の垂直方向の推定に使用されるので、このマイクからの出力をエコーキャンセラ参照信号Sig5に切り替えても他のマイクに比べ音源方向の推定や雑音除去に影響が少ない。そこで、アレイマイク1において、音声の取り込みを行うマイクをモノラルマイク10〜12とし、モノラルマイク13はエコーキャンセラ参照信号Sig5の取り込みに使用する。
次に、図4を参照して、携帯電話100を閉じて使用する場合のモノラルマイク10〜13及びスピーカ45の配置について説明する。この端末状態は、例えば、レストランのテーブルなど、平らな場所においてテレビ電話を行う場合などの状態である。元々のモノラルマイク10〜13の配置は図2と同じだが、携帯電話100を使用するスタイルが異なるため、ユーザーからは、モノラルマイク10〜13の配置が異なって見える。
図4(a)は、携帯電話100を閉じた状態で上側端末6をユーザーが見たときの携帯電話100の外形図である。同図(b)は、携帯電話100を閉じた状態で下側端末7をユーザーが見たときの携帯電話100の外形図である。
図4(a)に示すように、携帯電話100を閉じた状態で上側端末6をユーザーから見たとき、ユーザーが視認できるのは上側筐体6に配置されているモノラルマイク13となる。ヒンジ部5を左側に置くとして、モノラルマイク13は上側筐体6の表面の上側に配置される。モノラルマイク11は、モノラルマイク13と同じ高さの下側筐体7の上側にあり、上側筐体6及び下側筐体7に挟まれた位置に配置される。
図4(b)に示すように、モノラルマイク12は、下側筐体7の裏面であって、モノラルマイク11の真裏に配置される。モノラルマイク10は、モノラルマイク11からユーザーが視線を縦方向に垂直移動した、下側筐体7の下側にあり、モノラルマイク11と同様、上側筐体6及び下側筐体7に挟まれた位置に配置される。
図4のように、携帯電話100を閉じてテレビ電話機能を使用する場合、モノラルマイク10の位置は音源の垂直方向の推定に使用されるので、このマイクをエコーキャンセラ参照信号Sig5の取得のために除去しても、他のマイクに比べ音源方向の推定や雑音除去に影響が少ない。そこで、アレイマイク1において、音声の取り込みを行うマイクをモノラルマイク11〜13とし、モノラルマイク10はエコーキャンセラ参照信号Sig5の取り込みに使用する。
次に携帯電話100の動作について説明する。
図5は、本発明に係る携帯電話100の端末形状の状態に応じて、エコーキャンセラ参照信号Sig5の入力先の切替制御を行うための制御フローである。
携帯電話100の電源が投入され、テレビ電話等の音声系アプリケーションが開始されると、携帯電話100は図5に示す制御フロー(エコーキャンセラ参照信号出力処理)を実行する。
第2CPU46は、判定部47に端末形状の判定を行わせる(ステップS100)。第2CPU46は、判定部47から判定結果を取得し、携帯電話100が開いた状態であるか否かを判別する(ステップS101)。
このステップS101の端末状態の判定は、テレビ電話アプリケーションなどの音声系アプリケーションが動作中であっても可能であり、動的にエコーキャンセラ参照信号Sig5の入力先の切り替え制御が可能である。
ステップS101で携帯電話100が開いた状態であると判別された場合(ステップS101:YES)、第2CPU46は、エコーキャンセラ参照信号Sig5を第4SW23から取得するように指示する情報を付加したエコーキャンセラ参照信号入力切替通知Sig8を発行し、このSig8を第1CPU30に出力する(ステップS102)。
Sig8が入力された第1CPU30は、Sig8に基づいてシリアルインターフェース33を介して、制御IF25に、a側を選択するよう指示する情報を付加した切替制御信号Sig6を第1SW22へ出力させ、b側を選択するよう指示する情報を付加した切替制御信号Sig7を第4SW23へ出力させる。第1SW22及び第4SW23は、Sig6、Sig7に従って、それぞれa側、b側を選択するように切り替わる(ステップS103)。
ステップS101で携帯電話100が閉じた状態であると判別された場合(ステップS101:NO)、第2CPU46は、エコーキャンセラ参照信号Sig5を第1SW22の出力信号から取得するように指示する情報を付加したエコーキャンセラ参照信号入力切替通知Sig8を発行し、このSig8を第1CPU30に出力する(ステップS104)。
Sig8が入力された第1CPU30は、Sig8に基づいてシリアルインターフェース33を介して、制御IF25に、b側を選択するよう指示する情報を付加した切替制御信号Sig6を第1SW22へ出力させ、a側を選択するよう指示する情報を付加した切替制御信号Sig7を第4SW23へ出力させる。第1SW22及び第4SW23は、Sig6、Sig7に従って、それぞれb側、a側に切り替わる(ステップS105)。
ステップS103又はステップS105の後、第1A/D変換器20及び第2A/D変換器21は、マイク信号Sig2、Sig3と第1SW22及び第4SW23からの出力信号(音声信号及びエコーキャンセラ参照信号Sig5)とを取り込み、A/D変換して雑音エコー除去部3へ出力する。第1CPU30は、音声入出力IF部2から出力された音声信号及びエコーキャンセラ参照信号Sig5を取得する(ステップS106)。
第1CPU30は、取得した音声信号に対しエコーキャンセラ参照信号Sig5を利用してエコーキャンセラ処理を行い、音声信号の雑音除去処理を行い、処理後の音声信号を第3A/D変換器43へ出力する(ステップS107)。ステップS107の後、携帯電話100はエコーキャンセラ参照信号出力処理を終了する。
本発明に係る携帯端末及びプログラムによれば、端末形状が変化しても、エコーキャンセラ参照信号Sig5の入力先を動的に切り替えるので、エコーキャンセラ処理が安定して行われ、ユーザーは安心してテレビ電話機能を使用することができる。また、雑音除去に影響の少ないマイクからの音声信号を切り替えて、エコーキャンセラ参照信号を取得するため、雑音除去性能が低下しにくい。
また、制御IF25は、モノラルマイク10〜13から出力された音声信号Sig1〜4のうち、切り替え対象とする音声信号を1つ選択している。このため、エコーキャンセラ処理のために潰すマイクが最小限でよく、雑音除去性能が低下しにくい。
音声入出力IF部2は、制御IF25により選択された音声信号Sig1〜4と第2D/A変換器44から出力されたエコーキャンセラ参照信号Sig5と切り替える複数のスイッチ(22、23)を備える。このため、これらのスイッチを制御することで、雑音除去に影響の少ないマイクからの音声信号を切り替えて、エコーキャンセラ参照信号を取得でき、雑音除去機能の低下を防ぐことができる。
雑音エコー除去部3において、第1CPU30は、エコーを除去した音声信号を用いて話者の位置を判別する。また、第1CPU30は、検出された上側筐体6及び下側筐体7の相対位置に応じて、話者の位置を判別するために必要な音声信号以外の音声信号(例えば、音源の垂直方向の推定のための音声信号)を切り替え対象として選択する。このため、切り替えによっても音源定位法による音源の位置(方向)の推定に影響が少なく、雑音除去機能が低下しにくい。
モノラルマイク10〜13は互いの相対位置が変更可能で、それぞれ、音声に対応する音声信号Sig1〜4を出力する。第2D/A変換器44は、モノラルマイク1〜4が取得する音声に含まれるノイズ音に対応する信号をノイズ音抑制用のエコーキャンセラ参照信号Sig5として取得する。判定部47は、モノラルマイク10〜13の相対位置を検出する。判定部47により検出された複数のマイクの相対位置に基づいて、制御IF25は、モノラルマイク10〜13から出力された複数の音声信号Sig1〜4のうち、切り替え対象とする音声信号を1つ以上選択する。音声入出力IF部2は、制御IF25により選択された前記音声信号を第2D/A変換器44により取得されたエコーキャンセラ参照信号Sig5に切り替え、制御IF25により選択されていない音声信号と共にノイズ抑制機能を備えるエコー雑音除去部3へ出力する。これらの回路によって、雑音除去に影響の少ないマイクからの音声信号を切り替えて、エコーキャンセラ参照信号を取得し、雑音除去性能の低下を防ぐことができる。
(実施形態2)
実施形態1に係る携帯電話100では、図1に示すように、2入力1出力のスイッチとして機能する部品を2個(第1SW22、第4SW23)備え、各スイッチを別々の切替制御信号(Sig6、Sig7)で制御していたが、2入力1出力スイッチとして機能する回路を2つ有する部品を1個設け、2系統の音声信号Sig1、Sig4とエコーキャンセラ参照信号Sig5とを1本の切替制御信号で切り替えることもできる。実施形態2に係る携帯電話100aは、音声信号とエコーキャンセラ参照信号とを1本の切替制御信号で切り替えることを特徴としている。
図6に、本実施形態に係る携帯電話100aの構成図を示す。同図に示すように携帯電話100aは、第1SW22及び第4SW23の代わりに第5SW26を備えるほかは、実施形態1に係る携帯電話100と同様の構成である。
第5SW26は、内部に2入力1出力スイッチとして機能する回路を2つ有する電子部品である。この2個の回路は、第1CPU30によって、制御IF25を介して切り替え制御が行われるが、そのための切替制御信号Sig9は1本である。各々のスイッチの入力端子は、1a、1bと2a、2bとし、a側又はb側に切り替えるように指示する情報を付加した切替制御信号Sig9により、入力端子a側(1aと2a)を選択したり、入力端子b側(1bと2b)を選択したりすることができる。
第5SWの各入力端子(1a、1b、2a、2b)には、マイクからの音声信号Sig1、Sig4とエコーキャンセラ参照信号Sig5とが接続(供給)される。エコーキャンセラ参照信号Sig5は、1本の切替制御信号Sig9によって排他的に選択されなければならないので、例えば、モノラルマイク10から出力されるマイク信号Sig1を入力端子1aに、モノラルマイク13から出力されるマイク信号Sig4を入力端子2bに接続し、エコーキャンセラ参照信号Sig5を1bと2aに接続する。そして、入力端子1a又は1bに入力される信号は、第1A/D変換器20のLチャネルに出力され、入力端子2a又は2bに入力される信号は、第2A/D変換器21のRチャネルに出力される。
また、エコーキャンセラ参照信号入力切替通知Sig8には、第5SW26をa側又はb側に切り替えるように指示する情報が付加される。
次に、図7を参照して、携帯電話100aの制御フローを説明する。
図7に示すように、携帯電話100aの制御フローは、ステップS102〜S105の代わりにステップS200〜S203を実行する以外は、図5に示した実施形態1に係る制御フローと同様の構成である。
ステップS101で端末状態が開状態であると判別された場合(ステップS101:YES)、第2CPU46は、第5SW26をa側に切り替えるように指示する情報を付加したエコーキャンセラ参照信号入力切替通知Sig8を発行し、第1CPU30に出力する(ステップS200)。
Sig8が入力された第1CPU30は、シリアルインターフェース33を介して、制御IF25にa側に切り替えるように指示する情報を付加した切替制御信号Sig9を第5SW26へ出力させる。第5SW26は、Sig9に従ってa側に切り替わる(ステップS201)。
端末状態が閉状態であると判別された場合(ステップS101:NO)、第2CPU46は、第5SW26をb側に切り替えるように指示する情報を付加したエコーキャンセラ参照信号入力切替通知Sig8を発行し、第1CPU30に出力する(ステップS202)。
Sig8が入力された第1CPU30は、シリアルインターフェース33を介して、制御IF25にb側を指示する情報を付加した切替制御信号Sig9を第5SW26へ出力させる。第5SW26は、Sig9に従ってb側に切り替わる(ステップS203)。
ステップS201又はS203の後、携帯電話100aはステップS106を実行する。
本実施形態に係る携帯電話100aによれば、切替制御信号Sig9が1本でよいため、マイク信号Sig1、Sig4とエコーキャンセラ参照信号Sig5との切り替え制御を簡素化できる。
(実施形態3)
実施形態1に係る携帯電話100では、図1に示すように、切替制御信号Sig6とSig7とは、音声入出力IF部2の制御IF25から出力されていたが、第2CPU46が出力することもできる。実施形態3に係る携帯電話100bは、切替制御信号Sig6とSig7を第2CPU46が直接出力することを特徴としている。
図8に、実施形態3に係る携帯電話100bの構成図を示す。同図に示すように、本実施形態に係る携帯電話100bは、CPU_IF34を備えず、第2CPU46が切替制御信号Sig6及びSig7を第1SW22及び第4SW23へ出力するほかは、実施形態1に係る携帯電話100と同様の構成である。
次に、図9を参照して、携帯電話100bの制御フローを説明する。図5に示した制御フローと同じ動作については説明を省略する。
図9に示すように、携帯電話100bの制御フローは、ステップS102〜S105の代わりにステップS300及びS301を実行する以外は、図5に示した実施形態1に係る制御フローと同様の構成である。
ステップS101で端末状態が開状態であると判別された場合(ステップS101:YES)、第2CPU46は、a側を選択するように指示する信号を付加した切替制御信号Sig6を第1SW22に出力する。また、第2CPU46は、b側を選択するように指示する信号を付加した切替制御信号Sig7を第4SW23へ出力する。第1SW22、第4SW23は、Sig6、Sig7に従って、それぞれa側、b側に切り替わる(ステップS300)。
ステップS101で端末状態が閉状態であると判別された場合(ステップS101:NO)、第2CPU46は、b側を選択するように指示する信号を付加した切替制御信号Sig6を第1SW22に出力する。また、第2CPU46は、a側を選択するように指示する信号を付加した切替制御信号Sig7を第4SW23へ出力する。第1SW22、第4SW23は、Sig6、Sig7に従って、それぞれb側、a側に切り替わる(ステップS301)
ステップS300又はS301の後、携帯電話100bは、ステップS106を実行する。
本実施形態に係る携帯電話100bによれば、第1CPU30を介さないため、端末状態の判定がなされてから、第1SW22及び第4SW23を切り替えるまでの時間を短縮できる。
なお、上記の実施形態では、2軸ヒンジを備える携帯電話に本発明を適用しているが、本発明は携帯電話への適用に限定されるものでない。端末のユーザーが、使用スタイルに応じて端末の形状を変更可能な場合に、端末形状によって配置が変更されるような位置にマイクが備えられた電子装置全般に適用できる。端末筐体に可動部を有するのであれば、例えば、ノートパソコン、PDA(Personal Digital Assistance)などにも本発明を適用できる。
また、デジタルビデオカメラやデジタルスチールカメラなどを使用する電話会議システムやテレビ電話システム等の通話システムにも本発明を適用できる。例えば、図1に示す判定部47は、モノラルマイク10〜13との間の配置を判定する。判定部47の判定した配置に基づき、モノラルマイク10〜13のうち、雑音除去に影響の少ないマイク信号の代わりにエコーキャンセラ参照信号Sig5が入力されるように、制御IF25が切替制御信号(Sig6、Sig7等)を出力する。
マイクは、4個に限らず、5個以上設けてもよいし、モノラルマイクに限らない。A/D変換器の数もマイクの数に応じて適宜追加することができる。
また、エコーキャンセラ参照信号Sig5と切り替える音声信号を出力するマイクの選択は、雑音除去に影響のない位置のマイクであれば、上記実施形態で示したマイクに限定されない。例えば、音声を取り込むマイクの配置された筐体(下側筐体7)と異なる筐体(上側筐体6)に配置されたマイクを選択しなければならないわけでなく、下側筐体7に配置されているマイクをエコーキャンセラ参照信号Sig5との切り替えに用いてもかまわない。
上記実施形態における部品は回路で実現してもよいし、回路や部品は、その一部又は全部をソフトウェアにより実現してもよいことは勿論である。
また、上述のエコーキャンセラ参照信号出力処理の機能を、OS(Operating System)とアプリケーションとの分担、またはOSとアプリケーションとの協働により実現する場合などには、アプリケーション部分のみを記録媒体やストレージに格納してもよい。
また、搬送波にエコーキャンセラ参照信号出力処理を実行するプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上のサーバに前記プログラムを格納し、ネットワークを介して前記プログラムを配信してもよい。そして、このプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成してもよい。
本発明の実施形態1に係る携帯電話の構成図である。 (a)本発明の実施形態1に係る携帯電話が開いた状態における、アレイマイクの実装位置の一例を示す図である。(b)本発明の実施形態1に係る携帯電話が開いた状態における、アレイマイクの実装位置の一例を示す図である。 (a)本発明の実施形態1に係る携帯電話の上側筐体が回転した状態を示す図である。(b)本発明の実施形態1に係る携帯電話の上側筐体が180度回転した状態を示す図である。 (a)本発明の実施形態1に係る携帯電話が閉じた状態における、アレイマイクの実装位置の一例を示す図である。(b)本発明の実施形態1に係る携帯電話が閉じた状態における、アレイマイクの実装位置の一例を示す図である。 本発明の実施形態1に係る制御フローの一例を示す図である。 本発明の実施形態2に係る携帯電話の構成図である。 本発明の実施形態2に係る制御フローの一例を示す図である。 本発明の実施形態3に係る携帯電話の構成図である。 本発明の実施形態3に係る制御フローの一例を示す図である。
符号の説明
1・・・アレイマイク部、2・・・音声入出力IF部、3・・・雑音エコー除去部、4・・・通話処理部、5・・・ヒンジ部、6・・・上側筐体、7・・・下側筐体、10、11、12、13・・・モノラルマイク、20・・・第1A/D変換器、21・・・第2A/D変換器、22、23、26・・・スイッチ(SW)、24・・・第1D/A変換器、25・・・制御IF、30・・・第1CPU、31・・・キャッシュ、32・・・メモリ、33・・・シリアルインターフェース、34・・・CPU_IF、35・・・内部バス、40・・・アンテナ、41・・・無線通信部、42・・・コーデック、43・・・第3A/D変換器、44・・・第2D/A変換器、45・・・スピーカ、46・・・第2CPU、47・・・判定部、100・・・携帯電話

Claims (6)

  1. 互いに相対位置が変更される複数の筐体と、
    複数の前記筐体に配置され、話者の音声信号を取得する複数のマイクと、
    前記話者の通話相手の音声信号を、通話相手へ戻るエコーを抑制するための参照信号として取得する参照信号取得手段と、
    複数の前記筐体の相対位置を検出する検出手段と、
    前記検出手段により検出された複数の前記筐体の相対位置に基づいて、複数の前記マイクにより取得される複数の前記音声信号のうち、切り替え対象とする前記音声信号を選択する選択手段と、
    前記選択手段により選択された前記音声信号を前記参照信号取得手段により取得された前記参照信号に切り替え、前記選択手段により選択されていない前記音声信号とともに出力する選択出力手段と、
    前記選択出力手段から出力された前記参照信号に基づいて、前記選択出力手段から出力された前記音声信号に含まれるエコーを除去する機能を備える信号処理回路と、
    を備えることを特徴とする携帯端末。
  2. 前記選択手段は、複数の前記マイクから出力された前記音声信号のうち、切り替え対象とする前記音声信号を1つ選択する、
    ことを特徴とする請求項1に記載の携帯端末。
  3. 前記選択出力手段は、前記選択手段により選択された前記音声信号と前記参照信号取得手段により取得された前記参照信号とを切り替える複数のスイッチを備える、
    ことを請求項1又は2に記載の携帯端末。
  4. 前記信号処理回路は、前記エコーを除去した音声信号を用いて、話者の位置を判別する位置判別手段を備え、
    前記選択手段は、前記検出手段によって検出された筐体の相対位置に応じて、前記位置判別手段による特定方向の話者の位置を判別するために必要な音声信号以外の音声信号を切り替え対象として選択する、
    ことを請求項1、2又は3に記載の携帯端末。
  5. 互いの相対位置が変更可能で、それぞれ、音声に対応する音声信号を出力する複数のマイクと、
    複数の前記マイクが取得する音声に含まれるエコーの原因となる音に対応する信号を、エコー抑制用の参照信号として取得する参照信号取得手段と、
    複数の前記マイクの相対位置を検出する検出手段と、
    前記検出手段により検出された複数のマイクの相対位置に基づいて、複数の前記マイクから出力された複数の音声信号のうち、切り替え対象とする音声信号を選択する選択手段と、
    前記選択手段により選択された前記音声信号を前記参照信号取得手段により取得された前記参照信号に切り替え、前記選択手段により選択されていない前記音声信号と共にエコー抑制機能を備える信号処理回路へ出力する信号出力手段と、
    を備えることを特徴とする参照信号出力回路。
  6. コンピュータを、
    互いの相対位置が変更可能で、それぞれ、音声に対応する音声信号を出力する複数のマイクの相対位置を検出する検出手段と、
    複数の前記マイクが取得する音声に含まれるエコーの原因となる音に対応する信号を、エコー抑制用の参照信号として取得する参照信号取得手段と、
    前記検出手段により検出された複数のマイクの相対位置に基づいて、複数の前記マイクから出力された複数の音声信号のうち、切り替え対象とする音声信号を選択する選択手段と、
    前記選択手段により選択された前記音声信号を前記参照信号取得手段により取得された前記参照信号に切り替え、前記選択手段により選択されていない前記音声信号と共にエコー抑制機能を備える信号処理回路へ出力する信号出力手段、
    として機能させるコンピュータプログラム。
JP2007178637A 2007-07-06 2007-07-06 携帯端末、参照信号出力回路、及びコンピュータプログラム Expired - Fee Related JP5023390B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007178637A JP5023390B2 (ja) 2007-07-06 2007-07-06 携帯端末、参照信号出力回路、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007178637A JP5023390B2 (ja) 2007-07-06 2007-07-06 携帯端末、参照信号出力回路、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2009017378A JP2009017378A (ja) 2009-01-22
JP5023390B2 true JP5023390B2 (ja) 2012-09-12

Family

ID=40357683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007178637A Expired - Fee Related JP5023390B2 (ja) 2007-07-06 2007-07-06 携帯端末、参照信号出力回路、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP5023390B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438969B2 (ja) * 1994-11-17 2003-08-18 三洋電機株式会社 携帯電話機
JP4348706B2 (ja) * 2002-10-08 2009-10-21 日本電気株式会社 アレイ装置および携帯端末
JP4873913B2 (ja) * 2004-12-17 2012-02-08 学校法人早稲田大学 音源分離システムおよび音源分離方法、並びに音響信号取得装置
JP4220488B2 (ja) * 2005-03-31 2009-02-04 株式会社東芝 携帯端末装置

Also Published As

Publication number Publication date
JP2009017378A (ja) 2009-01-22

Similar Documents

Publication Publication Date Title
JP4379505B2 (ja) 携帯端末装置
US8559611B2 (en) Audio signal routing
US8060165B2 (en) Portable terminal
US20070287380A1 (en) Wireless Hybrid Headset
JP2004336091A (ja) 折り畳み式携帯通信装置
US20100007711A1 (en) vPhone (video phone), V3Phone (video, voice,vehicular phone) and V3Phone Console for vehicular and portable wireless communication,entertainment, global positioning, and video conferencing
GB2558009A (en) Audio transfer
JP2006217321A (ja) ヘッドセット、および通信システム
JP2009010593A (ja) 携帯通信端末
US20090088222A1 (en) Mobile phone
KR100810354B1 (ko) 게임 겸용 휴대 단말기
KR101694424B1 (ko) 휴대 단말기의 시분할 다중 접속 노이즈 제거 장치 및 방법
US7668324B2 (en) Folding electronic device
KR20050046560A (ko) 카메라가 장착된 전화기 장치
US20060067547A1 (en) Stereo portable electronic device
BRPI0715573A2 (pt) processo e dispositivo para aquisiÇço, transmissço e reproduÇço de eventos sonoros para aplicaÇÕes em comunicaÇço
CN103684301B (zh) 放大器单元及具备该放大器单元的便携式电子设备
JP4055816B1 (ja) 信号アダプタ
JP5023390B2 (ja) 携帯端末、参照信号出力回路、及びコンピュータプログラム
JP2004166159A (ja) カメラ付き携帯電話装置
CN2831637Y (zh) 移动电话的外接扩音系统
JP2006157410A (ja) 通信端末および通話形態の制御方法
JP2004228920A (ja) 携帯通信端末
KR100713353B1 (ko) 휴대 장치
KR200189835Y1 (ko) 다용도 음성신호 입출력 보조장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100308

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120601

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees