JP4344718B2 - Telephone device - Google Patents
Telephone device Download PDFInfo
- Publication number
- JP4344718B2 JP4344718B2 JP2005198915A JP2005198915A JP4344718B2 JP 4344718 B2 JP4344718 B2 JP 4344718B2 JP 2005198915 A JP2005198915 A JP 2005198915A JP 2005198915 A JP2005198915 A JP 2005198915A JP 4344718 B2 JP4344718 B2 JP 4344718B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- party
- echo canceller
- function
- call
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
- Interconnected Communication Systems, Intercoms, And Interphones (AREA)
Description
本発明は、ネットワークを介した通話システムに関する。 The present invention relates to a call system via a network.
従来ネットワークを介し通話装置を用いた会話においては、お互いにスムーズな会話をするために、エコーが少ないことが望ましい。そのためエコーをキャンセルするエコーキャンセル装置が設けられていることが多い。 Conventionally, in a conversation using a communication device via a network, it is desirable that there are few echoes in order to have a smooth conversation with each other. For this reason, an echo canceling device for canceling the echo is often provided.
エコーキャンセルをしない場合には、スピーカーから出力された自分の音声がマイクに入力され、自分の声が通話者に戻っていってしまう。これがエコーであり、自分の話した音声が相手の通話装置を経由して自分に戻って聞こえる状況が起こり、会話がしづらい状況となる。エコーキャンセル装置自体は公知であるため、動作に関する説明は省略する。 If echo cancellation is not performed, the user's own voice output from the speaker is input to the microphone, and his voice returns to the caller. This is an echo, and a situation occurs in which the voice spoken by the user can be heard back to the user via the other party's call device, making the conversation difficult. Since the echo canceling device itself is known, a description of the operation is omitted.
また、通話装置を用いて通話をする場合には、話し始める前にお互いが声をかけて自分の声が相手に聞こえているかを確認するのが一般的である。また、通話の途中でも相手が黙っているために声が聞こえていないと不安になり、会話を中断して聞こえているかどうかを確認することもある。そのため、会話が不自然に途切れてしまうことがある。 Also, when making a call using a call device, it is common to confirm whether or not the other party can hear his / her voice before speaking. In addition, even if the call is in progress, the other party is silent, so if you can't hear the voice, you may be anxious and check whether you can hear it by interrupting the conversation. As a result, the conversation may be interrupted unnaturally.
従来から、送信側の音声が、パケットとして相手側に到達したことを相手側の装置が送信側の装置に向けて応答パケットにより返し送信側がこの応答パケットを受け取ることにより相手側に音声パケットが到達していることを感知する技術がある(特許文献1参照)。 Conventionally, the voice on the sending side has arrived at the other side as a packet. The other side device returns a response packet to the sending side device, and when the sending side receives this response packet, the voice packet arrives at the other side. There is a technique for detecting that this is happening (see Patent Document 1).
特許文献1に記載の技術は、相手側装置に音量感知手段を設けることにより、上述のように、送信側の音声がパケットとして相手側に届き、相手側のスピーカーから音として出力され、出力された音が相手側のマイクにより入力され、上記音量感知手段により音の大きさを検出し、検出した音量データを応答パケットとして送信側に返信し、送信側が返信された応答パケットを受け取ることにより相手側に音声が出力され、その音量をユーザに通知することを特徴としている。
In the technique described in
前述したように、ネットワークを介し上記通話装置を用いた通話の場合には、自分の音声が相手に届いているかどうかがわからないため、話し始める前にお互いが声をかけて自分の声が相手に聞こえているか否かを確認するのが一般的であった。また、通話の途中でも相手が黙っていると相手の声が聞こえていないことで不安になり、会話を中断して、聞こえている否かを確認することもある。そのため、会話が不自然に途切れてしまうことになる。 As mentioned above, in the case of a call using the above communication device via a network, since it is not known whether or not his / her voice has arrived at the other party, each person speaks before starting to speak and his / her voice is sent to the other party. It was common to check if it was heard. In addition, if the other party is silent during the call, the other party's voice is not heard, so that the conversation is interrupted and whether or not the voice is heard may be confirmed. As a result, the conversation is interrupted unnaturally.
上記特許文献1では、情報化されたパケットにより音声が到達していることが確認できるが、確認するためには何らかの表示装置等が必要であり、表示装置を備えていない通話装置では確認ができないという問題がある。
In the above-mentioned
本発明に係る通話装置は、音声入力部から入力される音声を通話相手の機器に送信し、通話相手の機器から送信された音声を受信して音声出力部から出力し、前記音声出力部から出力された音声が前記音声入力部から入力されることにより通話相手の機器に送信されるエコーを低減するエコーキャンセラー機能を備える通話装置であって、通話を開始してから所定時間、前記エコーキャンセラーの機能を抑止又は抑制することを特徴とする。 The call device according to the present invention transmits the voice input from the voice input unit to the counterpart device, receives the voice transmitted from the counterpart device, and outputs the voice from the voice output unit, from the voice output unit a communication device comprising an echo canceller function of reducing echoes are sent to the communication partner of the device by the sound output is inputted from the voice input unit, the predetermined from the start of the passage talk time, the echo It is characterized by inhibiting or suppressing the function of the canceller.
また、音声入力部から入力される音声を通話相手の機器に送信し、通話相手の機器から送信された音声を受信して音声出力部から出力し、前記音声出力部から出力された音声が前記音声入力部から入力されることにより通話相手の機器に送信されるエコーを低減するエコーキャンセラー機能を備える通話装置であって、通話中に前記音声出力部からの音声に無音状態が発生した場合、無音状態が解消してから所定時間、前記エコーキャンセラーの機能を抑止又は抑制することを特徴とする。 Also, the voice input from the voice input unit is transmitted to the other party's device, the voice transmitted from the other party's device is received and output from the voice output unit, and the voice output from the voice output unit is A call device having an echo canceller function for reducing echoes transmitted to the other party's device by being input from the voice input unit, and when a silent state occurs in the voice from the voice output unit during a call, The function of the echo canceller is suppressed or suppressed for a predetermined time after the silent state is resolved.
また、本発明に係る通話装置は、音声入力部から入力される音声を通話相手の機器に送信し、通話相手の機器から送信された音声を受信して音声出力部から出力し、前記音声出力部から出力された音声が前記通話相手の機器の音声入力部により受信された受信音声によるエコーを低減するエコーキャンセラー機能を備える通話装置であって、通話開始時に、前記通話相手の機器に対して、前記通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止するよう指示するエコーキャンセラー機能抑止指示を行なうことを特徴とする。また、本発明に係る通話装置は、通話中に前記音声出力部からの音声に無音状態が発生した場合、無音状態が解消した際に、前記通話相手の機器に対して、該通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止するよう指示するエコーキャンセラー機能抑止指示を行なうことを特徴とする。 Further, the call device according to the present invention transmits the voice input from the voice input unit to the counterpart device, receives the voice transmitted from the counterpart device, outputs the voice from the voice output unit, and outputs the voice output. Is a call device having an echo canceller function for reducing echo due to received voice received by the voice input unit of the other party's device, when the call is started , An echo canceller function suppression instruction is provided to instruct to temporarily suppress the function of the echo canceller provided in the device of the other party . In addition, when a silent state occurs in the voice from the voice output unit during a call, the calling device according to the present invention is configured such that when the silent state is resolved , the calling partner device An echo canceller function suppression instruction is provided to instruct to temporarily suppress the function of the echo canceller provided in the system.
上記構成により、前記通話装置を利用した会話中に会話のとぎれが生じたことを自動的に検出することにより、会話全体の中で適宜音声到達の確認が可能となる。 With the above-described configuration, it is possible to appropriately confirm the arrival of voice in the entire conversation by automatically detecting that the conversation is interrupted during the conversation using the call device.
また、前記通話装置は、通話相手の機器にエコーキャンセラー機能抑止指示を行なった後、所定時間経過後、通話相手の機器に、エコーキャンセラー機能抑止解除指示を行なうことを特徴とする。また、前記通話装置は、通話相手の機器に抑止する時間データを含めたエコーキャンセラー機能抑止指示を行うことを特徴とする。 Further, the call device is characterized in that, after giving an echo canceller function suppression instruction to the call partner device, after a predetermined time has elapsed, an echo canceller function suppression release instruction is issued to the call partner device. Further, the call device is characterized in that an instruction to suppress echo canceller function including time data to be suppressed is given to the device of the call partner .
本発明の別の観点によれば、音声入力部から入力される音声を通話相手の機器に送信し、通話相手の機器から送信された音声を受信して音声出力部から出力し、前記音声出力部から出力された音声が前記音声入力部から入力されることにより通話相手の機器に送信されるエコーを低減するエコーキャンセラー機能を備える通話装置であって、通話相手の機器からのエコーキャンセラー機能抑止指示(ユーザ指示データを含む)に基づき、一時的に前記エコーキャンセラーの機能を抑止し、通話相手の機器は、出力した送信音声が入力して受信音声に含まれるエコーを低減するエコーキャンセラーを備え、通話相手の機器に、通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止するよう指示するエコーキャンセラー機能抑止指示(ユーザ指示データを含む)を行ない、当該通信装置のエコーキャンセラーの機能を抑止している間は、通話相手の機器に、通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止又は抑制するよう指示を行なわないことを特徴とする。 According to another aspect of the present invention, the voice input from the voice input unit is transmitted to the other party's device, the voice transmitted from the other party's device is received and output from the voice output unit, and the voice output A speech device having an echo canceller function for reducing echoes transmitted to the counterpart device when the voice output from the speech input unit is input from the voice input unit, and suppressing the echo canceller function from the counterpart device Based on the instruction (including user instruction data), the function of the echo canceller is temporarily suppressed, and the other party's device includes an echo canceller that receives the output transmission voice and reduces the echo contained in the reception voice. Instructs the other party's device to temporarily suppress the echo canceller function of the other party's device. (Including user instruction data) and the echo canceller function of the communication device is temporarily suppressed or suppressed on the counterpart device. This is characterized in that no instruction is given.
また、音声入力部から入力される音声を通話相手の機器に送信し、通話相手の機器から送信された音声を受信して音声出力部から出力し、前記音声出力部から出力された音声が前記通話相手の機器の音声入力部により受信された受信音声によるエコーを低減するエコーキャンセラー機能を備える通話相手の機器に対して、通話相手の機器に、通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止するよう指示するエコーキャンセラー機能抑止指示(ユーザ指示データ)を行ない、通話相手の機器に、通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止又は抑制するよう指示を行なっている間は、当該通信装置のエコーキャンセラーの機能を抑止又は抑制しないことを特徴とする。 Also, the voice input from the voice input unit is transmitted to the other party's device, the voice transmitted from the other party's device is received and output from the voice output unit, and the voice output from the voice output unit is The function of the echo canceller provided in the other party's device is added to the other party's device against the other party's device that has an echo canceller function that reduces echo due to the received voice received by the voice input unit of the other party's device. An echo canceller function suppression instruction (user instruction data) for instructing temporary suppression is issued, and an instruction is given to the counterpart device to temporarily suppress or suppress the echo canceller function of the counterpart device. During this period, the function of the echo canceller of the communication apparatus is not suppressed or suppressed.
これにより双方の通話装置に備えられている前記エコーキャンセル装置が同時に抑止された場合に生じる音声の通話装置間でのループ現象を防止し、通話の伝達確認が可能となっている。 As a result, it is possible to prevent a loop phenomenon between voice communication devices, which occurs when the echo cancellation devices provided in both communication devices are simultaneously suppressed, and to confirm the transmission of the call.
本発明によれば、通話者の音声が相手側の通話装置で出力された音として通話者の通話装置で確認できるので、確実に相手側の通話装置に自分の音声が到達し出力されていることがわかる。そのため、相手に音声の到達を確認する必要がなくスムーズな会話を行うことが可能となる。また、音による確認が可能のため、表示装置を備えていない通話装置でも有効である。 According to the present invention, since the voice of the caller can be confirmed by the caller's call device as the sound output from the caller of the other party, the user's voice is surely reached and output to the caller of the other party. I understand that. Therefore, it is not necessary to confirm the arrival of voice to the other party, and a smooth conversation can be performed. In addition, since confirmation by sound is possible, it is effective even for a communication device that does not include a display device.
以下、本発明の実施の形態による通話装置について図面を参照しつつ説明を行なう。まず、本発明の第1の実施の形態による通話装置について図面を参照しながら説明を行なう。 Hereinafter, a call device according to an embodiment of the present invention will be described with reference to the drawings. First, a call device according to a first embodiment of the present invention will be described with reference to the drawings.
図1は、本実施の形態による通話装置の一構成例を示す図である。図1に示すように、本実施の形態による通話装置1は、マイクロフォン5とスピーカ6とを有し、これらに対してエコーを抑制するためのエコーキャンセル装置3が備えられている。エコーキャンセル装置3により、会話の音声がループしないようになっている。さらに、通話装置1は、通話制御装置7を備えており、通話制御装置7は、通話の発呼・着呼、データのネットワークへの送信・受信、その他必要な制御を行う。さらに、ユーザの入力手段として、スイッチ2を備えている。指示データ送信装置4は、スイッチ2の入力により指示データを、通話制御装置7及びネットワーク8を介して相手側通話装置(図示せず)に送信する。
FIG. 1 is a diagram illustrating a configuration example of a call device according to the present embodiment. As shown in FIG. 1, the
図8は、指示データの構成例を示す図である。図8に示すように、指示データ10は、「指示ID」10aと「Holdデータ」10bとを含んでいる。「指示ID」10aは、エコーキャンセル装置3を有効にするか無効にするかを指定するIDである。「Holdデータ」10bは、エコーキャンセル装置3を無効に保持する時間を示すデータである。「指示ID」10aは表1に示す値をとり、それぞれの値で制御を決定する。表1は、指示データに含まれる指示IDの値に対応する指示を示す表である。
FIG. 8 is a diagram illustrating a configuration example of instruction data. As shown in FIG. 8, the
表1に示すように、値01の内容はHoldデータの時間を無効にする。値02は、エコーキャンセラー装置の機能を有効にする。値03は、エコーキャンセラー装置の機能を無効にする。表2は、指示データに含まれるHOLDデータの意味を示す表である。
As shown in Table 1, the content of the
「Holdデータ」は表2に示す値をとりうる。「Holdデータ」が‘0’の場合は、通話装置自身に予め設定された時間を示す。「Holdデータ」が‘0’以外の値の場合は、その値に対応した時間を示す。「Holdデータ」の値が‘1’から‘n’の場合は、表3に示したテーブルに対応したT1からTnの時間を示す。例えば「Holdデータ」の値が‘4’の場合は、表3からわかるようにT4秒の時間を示す。 “Hold data” can take the values shown in Table 2. When “Hold data” is “0”, it indicates a time set in advance in the communication device itself. When “Hold data” is a value other than “0”, a time corresponding to the value is indicated. When the value of “Hold data” is “1” to “n”, the time from T1 to Tn corresponding to the table shown in Table 3 is shown. For example, when the value of “Hold data” is “4”, as can be seen from Table 3, the time is T4 seconds.
表4は、「HOLDデータ」の値に対応する時間の一例を示す。例えば、「Holdデータ」の値が‘6’の場合、表4に示される対応表から‘6’に対応する値‘2.0’が選択され、対応時間が2秒であることを示す。 Table 4 shows an example of the time corresponding to the value of “HOLD data”. For example, when the value of “Hold data” is “6”, the value “2.0” corresponding to “6” is selected from the correspondence table shown in Table 4 and the corresponding time is 2 seconds.
図1に戻り、エコーキャンセル制御手段9は、指示データを受信すると指示データの内容にしたがってエコーキャンセル装置3を無効となるように制御する。
Returning to FIG. 1, when the echo cancellation control means 9 receives the instruction data, the echo cancellation control means 9 controls the
かかる処理に関して、図9に示すフローチャート図に基づいて詳細に説明する。処理を開始すると最初に、エコーキャンセル制御手段9は受信した指示データ10の中から「指示ID」を調べ指示IDの値を取り出す(ステップS1)。次に「指示ID」の値が‘1’か否かを判定する(ステップS2)。「指示ID」が‘1’であれば(Yes)ステップS3へ進み、‘1’でない場合には(No)ステップS4に進む。ステップS3において、受信した指示データ10の中から「Holdデータ」を調べその値を取り出す。次いで、「Holdデータ」の値が‘0’か否かを判定する(ステップS5)。「Holdデータ」の値が‘0’であれば(Yes)ステップS7に進み、「Holdデータ」の値が‘0’でない場合には(No)ステップS6に進む。
Such processing will be described in detail based on the flowchart shown in FIG. When the process is started, the echo cancellation control means 9 first checks the “instruction ID” from the received
ステップS6では、「Holdデータ」の値から前述した表3に示したテーブルに対応した時間だけエコーキャンセル装置3を無効にするように制御する。またここでは、「Holdデータ」の値にある係数を乗算して得られた値の時間だけエコーキャンセル装置3を無効にするように制御しても良い。例えば、係数を0.1に設定した場合、制御する時間を0.1秒単位にすることができる。表3に示したテーブルを使うことにより一定間隔の時間以外も指定することができる。その一例が表4である。表4に示すように、徐々に時間を大きくすることもできる。
In step S6, control is performed so as to invalidate the
ステップS7では、通話装置1自身に予め設定されている時間だけエコーキャンセル装置3を無効にするように制御する。ステップS8では、無効(抑止又は抑制を含む)にされているエコーキャンセル装置3を有効に制御を行う。抑制の場合には、その度合いを調整する調整機能を設けるのが好ましい。ステップS4では、「指示ID」の値が‘2’か否かを判定する(ステップS4)。「指示ID」の値が‘2’であればステップS8へ進み、「指示ID」の値が‘2’でない場合にはステップS9に進む。ステップS9では、「指示ID」の値が‘3’か否かを判定する。「指示ID」の値が‘3’であればステップS10へ進み、「指示ID」の値が‘3’でない場合には処理を終了する(エンド)。ステップS10に進んだ場合には、エコーキャンセル装置3を無期限で無効にするように制御する。
In step S7, control is performed so that the
図3では相手方の様子が見えている。これは、例えばテレビ会議のような映像を使った通話装置にも本実施の形態が利用可能なことを示している。上記の処理の流れをふまえて、図3を参照しつつ本発明の実施の形態による通話装置について詳細に説明する。まず始めに、通話者が話し始める際に通話者(話し手側)18aがスイッチ2を押して話す (i)。このスイッチ2が押されると、ユーザ指示送信装置4は、ユーザ指示データ10を通話相手の機器に送信する。それと共に通話者の音声も通話制御装置7を通して伝送される (ii)。
In FIG. 3, the other party can be seen. This indicates that the present embodiment can also be used for a communication device using video such as a video conference. Based on the flow of the above processing, the telephone device according to the embodiment of the present invention will be described in detail with reference to FIG. First, when the caller starts speaking, the caller (speaker side) 18a presses the
ユーザ指示データ10が通話相手の機器のエコーキャンセル制御手段9により受信され、このエコーキャンセル制御手段9が図9に示すフローチャート図にしたがって、エコーキャンセル装置3を制御して無効状態にする。この際、伝送された音声データは、スピーカー6で出力され、その音声がマイク5に回り込んで入力される(iii)。
The
図2に示すように、通常であれば、回り込んだ音声(エコー)はエコーキャンセル装置3により抑制されるため話し手側に伝わることはない。本実施の形態においては、エコーキャンセル装置3がエコーキャンセル制御手段9によって一定期間だけ無効にされているため、音声の一部(会話が「こんにちは。」であれば、例えばその一部である「こん」)がエコーとして返る(iv)。このように、音声の一部だけがエコーとして返ってくるように構成したことにより、通話者は、相手側の端末に自分の音声が届いているかどうかを確認することができる(v)。
As shown in FIG. 2, normally, since the sneak sound (echo) is suppressed by the
図2は、通常の会話時の様子を示す図であり、図3に対応する図である。図2に示すように、映像がお互いに見えるTV電話のようなシステムにおいても、映像がつながってお互いが見えているのがわかっていても、音声がきちんと相手方に届いているかまでを判断することは難しい。ここで、指示データ10に含まれる時間だけエコーキャンセル装置3を無効となるように制御する代わりに、通話者がスイッチ2を押している間だけエコーキャンセル装置3が無効となるように制御することもできる。
FIG. 2 is a diagram illustrating a state during normal conversation, and corresponds to FIG. 3. As shown in Fig. 2, even in a system such as a TV phone where the images can be seen from each other, even if the images are connected and it is known that they can see each other, it is necessary to judge whether the sound has reached the other party properly. Is difficult. Here, instead of controlling the
例えば、図12及び表1に示すように、送信装置4はスイッチ2が押されたときだけエコーキャンセル装置3の動作を無効とする旨の指示データ16(図12(b))を送信し、スイッチ2を押す動作が解除された場合にエコーキャンセル装置3の動作の無効を解除する指示データ17(図12(c))を送信するようにしても良い。同様に、エコーキャンセル制御手段9は、無効を解除する指示データを受信すると、図9のフローチャート図に沿ってエコーキャンセル装置3の無効を解除する。このように構成することにより、通話者がスイッチ2を押している間だけエコーキャンセル機能を制御することを可能とすることができる。
For example, as shown in FIG. 12 and Table 1, the
以上に説明したように、本実施の形態による通話装置によれば、エコーキャンセル機能を設けるとともに、適宜、エコーキャンセル機能の動作及びその解除を行うことができるため、例えば、通話の一部だけを意図的にエコーさせることにより、エコーの影響を低減するとともに、相手側の反応を推測することができるという利点がある。 As described above, according to the calling device according to the present embodiment, the echo canceling function is provided, and the operation of the echo canceling function and the cancellation thereof can be performed as appropriate. By intentionally echoing, there is an advantage that the influence of the echo can be reduced and the reaction of the other party can be estimated.
次に、本発明の第2の実施の形態による通話装置について図面を参照しつつ説明を行なう。図7は、本実施の形態による通話装置の一構成例を示す機能ブロック図である。図7に示す通話装置は、図1に示す通話装置におけるスイッチ2の代わりに無音状態検出装置11を備えることを特徴とする。無音検出装置11は、図4に示すように、通話者Aと通話者Bとの会話の合間に生じる一定時間以上の無音状態(無音期間)が解消する瞬間Aを検出する機能を有している。図4においては、無音期間が継続した後に通話者Aが「それで、…」という発話を行った場合に、その発話が行われた最初の時点を検出する。指示データ送信装置4は、前述のスイッチ2の代わりに無音状態検出装置11が瞬間Aを検出したときに、指示データを送信する。より具体的には、図4に示すように、通話者Aと通話者Bとの会話が一旦途切れて、通話者Aの無音状態が6秒間続いたとする。その後に、再び通話者Aが話を始める。この時、無音状態検出装置11の無音状態の設定が5秒だとすると、無音状態検出装置11は通話者Aが話し始めた時を検出し指示データ送信装置4への指示データの送信を要求する。
Next, a call device according to a second embodiment of the present invention will be described with reference to the drawings. FIG. 7 is a functional block diagram showing a configuration example of the call device according to the present embodiment. The call device shown in FIG. 7 includes a silent
指示データ送信装置4は、受けた送信要求により通話相手の機器のエコーキャンセル装置3を無効するための指示データを送信する。指示データを送信し一定時間経過した後に、指示データ送信装置4は、通話相手の機器のエコーキャンセル装置3を有効にするための指示データ17を送信する。
The instruction
このように通話者が入力手段によって指示データを送信するための指示を行わなくても、会話の状況に基づいて音声の伝達を確認することができる。 Thus, even if the caller does not give an instruction for transmitting the instruction data by the input means, it is possible to confirm the transmission of the voice based on the situation of the conversation.
通常、無音検出を行うにはまず音のある状態を検出してから、無音状態に変化してその状態が継続することが必要である。そのような検出方法では、通話開始直後は検出できない。そこで、通話開始直後は特別な状態として無音状態検出装置11をあらかじめ設定しておく。その特別な状態とは、無音状態を検出した状態である。このように設定することにより、通話開始時の最初の会話音声で、指示データの送信が可能となる。
Usually, in order to detect silence, it is necessary to detect a sound state first, then change to a silence state and continue that state. Such a detection method cannot be detected immediately after the start of a call. Therefore, immediately after the start of the call, the silent
次に、本発明の第3の実施の形態による通話装置について図面を参照しつつ説明を行う。本実施の形態による通話装置は、図15に示すように、無音状態検出装置11の検出結果をエコーキャンセル制御手段9に伝えるように構成されている。上記第2の実施の形態に記載したように、無音状態検出装置11は、一定時間以上の無音状態が解除された瞬間を検出するが、本実施の形態においては、無音状態の後の通話開始に関する検出結果を、指示データ送信装置4ではなくエコーキャンセル制御手段9に伝えることを特徴とする。この際、無音状態を検出対象は、通話装置の音声入力部(マイク5)からの音声でなく通話相手からの音声である。
Next, a call device according to a third embodiment of the present invention will be described with reference to the drawings. As shown in FIG. 15, the call device according to the present embodiment is configured to transmit the detection result of the silent
ここで、通話相手からの音声が途切れて無音状態が例えば6秒続いた後に、会話が開始されたものとする。上記一定時間を5秒に設定してあると仮定すると、この条件を満たす。従って、6秒後に通話相手が話し始めた際に、無音状態検出装置11は、エコーキャンセル制御手段9に結果を出力する。尚、4秒後に話し始めた時には、設定時間の5秒よりも短い時間で話が始まったため、無音状態検出装置11はエコーキャンセル制御手段9に検出結果を出力しない。この検出結果は、指示データ10と同じ構成にしておけば良い。
Here, it is assumed that the conversation is started after the voice from the call partner is interrupted and a silent state continues for 6 seconds, for example. Assuming that the predetermined time is set to 5 seconds, this condition is satisfied. Therefore, when the other party starts talking after 6 seconds, the silent
次に、エコーキャンセル制御手段9は、第2の実施の形態に記載したように、指示データ10を受信してエコーキャンセル装置3の制御を行う代わりに、無音状態検出装置11からの検出結果に基づいてエコーキャンセル装置3の制御を行う。ここで、無音状態検出装置11からの検出結果にしたがって、エコーキャンセル制御手段9は、エコーキャンセル装置3を無効にするように制御を行い、検出結果に含まれる指定時間の後に無効にした制御を解除する。
Next, as described in the second embodiment, the echo
また、第2の実施の形態において説明したように、通話開始直後においても無音状態検出装置11が検出動作をできるようにすれば、通話開始直後においてもエコーキャンセル装置3を制御することが可能となる。
Further, as described in the second embodiment, if the silent
このように構成することで、通話者が入力をすること無くエコーキャンセル装置3を制御することができ、また、通話相手側においても、エコーキャンセル機能を制御するために入力することなく、会話音声の確認を行うことができる。
With this configuration, the
次に、本発明の第4の実施の形態による通話装置について、図面を参照しながら説明を行う。図6は、双方の端末が第1の実施の形態に記載された構成を有している通話装置の一構成例を示す図である。例えば、通話者Aと通話者Bとが同時にそれぞれの通話装置1に備えられてあるスイッチ2を押したとする。この場合には、ユーザ指示データ10は、通話者B側に向かって、ユーザ指示データ14(図12(a))は通話者A側に向かってそれぞれ送信される。それぞれの通話装置においてユーザ指示データ10・14を受け取ったエコーキャンセル制御手段9が、エコーキャンセル装置3が無効となるように制御を行う。この状態で通話者Aが話し始めると、音声がループして会話が行ないにくい。これを回避する手段について、以下に詳しく説明を行なう。
Next, a call device according to a fourth embodiment of the present invention will be described with reference to the drawings. FIG. 6 is a diagram illustrating a configuration example of a call device in which both terminals have the configuration described in the first embodiment. For example, it is assumed that the caller A and the caller B simultaneously press the
通話装置1が通話相手の機器から指示データ14(図12(a))を受信した場合に、エコーキャンセル制御手段9は、図9に示したフローチャートに基づく処理に加えて図10に示すフローチャートに基づく処理を行なう。エコーキャンセル制御手段9は、指示データを受信したか否かを判別する(ステップS11)。受信した場合には(Yes)、ステップS12に進む。受信していない場合には処理を終了する。ここでは、受信しているためステップS12に進む。
When the
次に、受信した指示データの値が‘1’か否かを判別する(ステップS12)。受信した指示データの値が‘1’であれば無効にする指示であるため、ステップS13に進む。受信した指示データの値が‘1’でない場合には処理を終了する。ステップS13では、送信禁止フラグを‘1’にする。次いで、ステップS14では、受信した指示データ14(図12(a))の「Holdデータ」の値を取り出す。ここでは、‘4’の値が得られる。ステップS15では、ステップS14において得られた時間だけ待つ。ここでは、ステップS14において得られた値が‘4’であるためT4秒間だけ待つ。ステップS16では、ステップS13で‘1’にした送信禁止フラグを‘0’にクリアする。これにより、処理を終了する。
Next, it is determined whether or not the value of the received instruction data is “1” (step S12). If the value of the received instruction data is “1”, the instruction is invalidated, and the process proceeds to step S13. When the value of the received instruction data is not “1”, the process is terminated. In step S13, the transmission prohibition flag is set to “1”. Then, in step S14, it fetches the value of "H old data"
ここで、通話相手から指示データ14を受信すると、前述したように一定期間送信禁止フラグが立つ。この間、通話者の通話装置のエコーキャンセル装置3は機能が無効となっている。この状態の時に、通話者がスイッチ2により通話相手の機器を制御しようとしても、図11に示すフローチャートに沿って処理されるため、指示データ送信装置4は送信を行わない。すなわち、送信禁止フラグが立っているか否かをステップS17において判定し、立っていなければ(No)ステップS18において指示データを作成し送信し、処理を終了する(エンド)。ステップS17において送信禁止フラグが立っていれば(Yes)、ステップS19に進み指示データを送信せずに終了する(エンド)。
Here, when the
以上のように構成することにより、それぞれの通話装置のエコーキャンセル機能が同時に無効になることがないようにすることができるという利点がある。また、通話相手にエコーキャンセル機能を無効にする指示データを送信した後に、通話相手から自分のエコーキャンセル機能を無効にする指示データを受信するケースを回避するために、以下のように構成を工夫した。 By configuring as described above, there is an advantage that the echo canceling functions of the respective communication devices can be prevented from being invalidated at the same time. In addition, to avoid the case of receiving instruction data for disabling your own echo cancellation function from the other party after sending the instruction data to disable the echo cancellation function to the other party, devise the following configuration did.
すなわち、指示データ送信装置4において、指示データを送信する処理と同時に図13に示すフローチャートに沿って処理を行うようにする。すなわち、指示データ送信装置4が指示データ14(図12(a))を送信する際、図13のフローチャートに従った処理を行う。図13に示すように、ステップS21において、指示データを送信したか否かを判別する。ここでは、無効を指示する指示データを送信しているため、ステップS22へ進む。指示データを送信していなければ、処理を終了する。ステップS22では、送信した指示データが無効を指示するものか否かを判別する。ここでは、指示データ14は‘1’であるため無効を指示するものであり、ステップS23へ進む。指示データ14(図12(a))が‘1’でなない場合には処理を終了する。ステップS23では、制御禁止フラグを‘1’にする。ステップS24では、指示データにある「holdデータ」の値を取り出す。ここでは、指示データ14の「holdデータ」の値は‘4’であるため、‘4’が得られる。その後にステップS25に進む。ステップS25では、ステップS24で得られた値に相当する時間だけ時間待ちを行なう。ここで、ステップS24で得られた値は‘4’であるため、T4秒間の時間待ちを行なう。その後にステップS26に進む。ステップS26では、ステップS23で‘1’に設定した制御禁止フラグを‘0’にクリアする。
That is, the instruction
この制御禁止フラグが‘1’に設定されている間は、通話相手の機器からエコーキャンセル装置3を無効にする指示データ14を受信してもエコーキャンセル制御手段9は図14に示すフローチャート図に沿った処理により、エコーキャンセル装置3を無効とする制御を行わない。
While this control prohibition flag is set to “1”, even if the
図14に示すフローチャート図は、図10に示したフローチャート図において、ステップS30とステップS31との処理を追加したものである。その他の処理は全て同じであるためその説明を省略する。ステップS30とステップS31では、前述の制御禁止フラグが‘1’であるか否かの判別を行なう。もし、制御禁止フラグが‘0’であれば、処理の続きを行ない、‘1’であれば、処理全体を終了する。 The flowchart shown in FIG. 14 is obtained by adding steps S30 and S31 to the flowchart shown in FIG. Since other processes are all the same, description thereof is omitted. In step S30 and step S31, it is determined whether or not the above-described control prohibition flag is “1”. If the control prohibition flag is “0”, the process is continued. If it is “1”, the entire process is terminated.
本実施の形態では、制御禁止フラグが‘1’の時にこの処理が実施されるため、このステップS30において判別されて処理が終了する。従って、エコーキャンセル制御手段9は、エコーキャンセル装置3を無効にする制御を行なわない。
In this embodiment, since this process is performed when the control prohibition flag is “1”, the determination is made in step S30 and the process ends. Accordingly, the echo cancellation control means 9 does not perform control for invalidating the
以上のように構成することにより、双方の通信装置のエコーキャンセル装置3が同時に無効とならないように制御される。
With the configuration as described above, the
次に、本発明の第5の実施の形態による通話装置について、図面を参照しながら説明を行う。図1に示す通話装置1において、音声の到達を確認する場合に、人の声でなくある特定の音を利用するように構成しても良い。例えば、通話装置1に図示しない機械音発生装置を備える。機械音発生装置で発生させるある特定の音とは、例えば1kHzの正弦波又はある帯域のノイズなど機械的に発生できる音を含む。また、あらかじめ記録された音の再生音を対象とすることもできる。
Next, a call device according to a fifth embodiment of the present invention will be described with reference to the drawings. The
以下に、さらに詳しく説明する。第1の実施の形態と同様に、確認のために通話者がスイッチ2を押す。このスイッチ2と連動して機械音発生装置が特定の音を発生し、通話制御装置7を介して通話相手側に音を送る。また同時にユーザ指示データ10が第1の実施の形態と同様に送信される。この特定の音は、第1の実施の形態での通話者の音声と同様にエコーとして通話相手から送り返されて、通話者のスピーカから出力される。この音を通話者が確認することにより音声到達を確認することができる。
This will be described in more detail below. Similar to the embodiment of the first implementation, the caller presses a
さらに、上記特定の音を検出する特定音検出装置を通話装置1に設ける。このように、通話装置に機械音(特定音)発生装置と、特定音検出装置とを設けることにより、機械的にエコーで返ってきた特定の音を検出することが可能となる。ここで、検出装置の検出結果に対する表示装置を設けることにより、通話者は特定の音を聞くことなく表示を確認することができ、音声の到達を確認することができる。ここで、表示装置は、LED光による表示又はアイコンなど液晶画面への表示を行うことができる。
Further, a specific sound detection device that detects the specific sound is provided in the
さらに、変形例として、通話装置1が相手側からの操作により音声出力の制御が可能な機能を備えている。そこに該特定の音の音量を検出する装置を通話装置1に設けることもできる。本変形例によれば、第1の実施の形態に記載した例と同じように、エコーとして返ってきた音により、上記音量検出装置の結果に基づいて相手側の音声出力を制御し最適な音量にすることが可能になる。尚、この際に、音声出力を制御するのではなく、音声入力の感度を制御することによっても同様の効果を得ることができる。
Furthermore, as a modified example, the
以上に説明したように、本発明の各実施の形態による通話装置によれば、通話者の音声が相手側の通話装置で出力された音として通話者の通話装置で確認できるため、相手側の通話装置に自分の音声が到達し出力されていることを知ることができる。従って、相手に音声が到達しているか否かを確認する必要がなく、スムーズな会話を行うことが可能となる。また、音による確認が可能のため、表示装置などを備えていない通話装置においても利用可能である。 As described above, according to the call device according to each embodiment of the present invention, the caller's voice can be confirmed by the caller's call device as the sound output from the caller's call device. It is possible to know that his / her voice has arrived at the communication device and is being output. Therefore, it is not necessary to confirm whether or not the voice has reached the other party, and a smooth conversation can be performed. Further, since confirmation by sound is possible, it can also be used in a call device that does not include a display device.
本発明は、携帯電話機、一般的な電話機、テレビ電話機、その他の会話が絡む電子機器に適用可能である。 The present invention can be applied to a mobile phone, a general phone, a video phone, and other electronic devices involving conversation.
1…通信端末
2…スイッチ
3…エコーキャンセル装置
4…ユーザ指示データ送信装置
5…マイク
6…スピーカー
7…通話制御装置
8…ネットワーク
9…エコーキャンセル制御装置
10…ユーザ指示データ
11…無音検出装置
14…ユーザ指示データ
15…音声データ
16…ユーザ指示データ
17…ユーザ指示データ
18…TV画面
DESCRIPTION OF
Claims (9)
通話を開始してから所定時間だけ前記エコーキャンセラーの機能を抑止又は抑制することを特徴とする通話装置。 The voice input from the voice input unit is transmitted to the other party's device, the voice transmitted from the other party's device is received and output from the voice output unit, and the voice output from the voice output unit is the voice input A communication device having an echo canceller function for reducing echoes transmitted to the device of the other party of the call by being input from the unit,
A call device characterized in that the function of the echo canceller is suppressed or suppressed for a predetermined time after a call is started.
通話中に前記音声出力部からの音声に無音状態が発生した場合に、無音状態が解消してから所定時間だけ、前記エコーキャンセラーの機能を抑止又は抑制することを特徴とする通話装置。 The voice input from the voice input unit is transmitted to the other party's device, the voice transmitted from the other party's device is received and output from the voice output unit, and the voice output from the voice output unit is the voice input A communication device having an echo canceller function for reducing echoes transmitted to the device of the other party of the call by being input from the unit,
When a silent state occurs in the voice from the voice output unit during a call, the call device is characterized in that the function of the echo canceller is suppressed or suppressed for a predetermined time after the silent state is resolved.
通話開始時に、前記通話相手の機器に対して、該通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止するよう指示するエコーキャンセラー機能抑止指示を行なうことを特徴とする通話装置。 The voice input from the voice input unit is transmitted to the other party's device, the voice transmitted from the other party's device is received and output from the voice output unit, and the voice output from the voice output unit is the other party A call device having an echo canceller function for reducing echo due to received voice received by the voice input unit of the device,
During a call initiated, the relative call partner devices, vent talking partner device through talking device you and performs an echo canceller function inhibition instruction that instructs to temporarily inhibit the function of the echo canceller having .
通話中に前記音声出力部からの音声に無音状態が発生した場合、無音状態が解消した際に、前記通話相手の機器に対して、該通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止するよう指示するエコーキャンセラー機能抑止指示を行なうことを特徴とする通話装置。 The voice input from the voice input unit is transmitted to the other party's device, the voice transmitted from the other party's device is received and output from the voice output unit, and the voice output from the voice output unit is the other party A call device having an echo canceller function for reducing echo due to received voice received by the voice input unit of the device,
When a silent state occurs in the voice from the voice output unit during a call, when the silent state is resolved , the function of the echo canceller provided in the counterpart device is temporarily provided to the counterpart device. passing story apparatus you and performs an echo canceller function inhibition instruction that instructs to suppress the.
前記通話相手の機器からのユーザ指示データを含むエコーキャンセラー機能抑止指示に基づき、一時的に前記エコーキャンセラーの機能を抑止し、
通話相手の機器は、出力した送信音声が入力して受信音声に含まれるエコーを低減するエコーキャンセラーを備え、
通話相手の機器に、通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止するよう指示するユーザ指示データを含むエコーキャンセラー機能抑止指示を行ない、
当該通話装置のエコーキャンセラーの機能を抑止又は抑制している間は、前記通話相手の機器に、該通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止又は抑制する指示を行なわない
ことを特徴とする通話装置。 The voice input from the voice input unit is transmitted to the other party's device, the voice transmitted from the other party's device is received and output from the voice output unit, and the voice output from the voice output unit is the other party For the other party's device that has an echo canceller function that reduces echo due to the received voice received by the voice input unit of
Based on the echo canceller function suppression instruction including user instruction data from the other party device, temporarily suppress the function of the echo canceller,
The other party's device is equipped with an echo canceller that reduces the echo contained in the received audio when the output transmission audio is input,
Instruct the other party's device to suppress echo canceller function including user instruction data that instructs to temporarily suppress the echo canceller function of the other party's device,
While arresting or suppressing the function of the echo canceller of the communication talking device, the device of the communication partner, is not performed temporarily arresting or inhibiting direct the functions of the echo canceller device is provided with a vent talking partner A call device characterized by that.
前記通話相手の機器からのユーザ指示データを含むエコーキャンセラー機能抑止指示に基づき、一時的にエコーキャンセラーの機能を抑止又は抑制し、
前記通話相手の機器は、出力した送信音声が入力して受信音声に含まれるエコーを低減するエコーキャンセラーを備え、
前記通話相手の機器に、該通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止又は抑制するよう指示するユーザ指示データを含むエコーキャンセラー機能抑止指示を行ない、
前記通話相手の機器に、該通話相手の機器が備えたエコーキャンセラーの機能を一時的に抑止するよう指示を行なっている間は、当該通話装置のエコーキャンセラーの機能を抑止又は抑制しないことを特徴とする通話装置。 The voice input from the voice input unit is transmitted to the other party's device, the voice transmitted from the other party's device is received and output from the voice output unit, and the voice output from the voice output unit is the voice input A communication device having an echo canceller function for reducing echoes transmitted to the device of the other party of the call by being input from the unit,
Based on the echo canceller function suppression instruction including the user instruction data from the other party device, temporarily suppress or suppress the function of the echo canceller,
The device of the other party is equipped with an echo canceller that reduces the echo contained in the received voice when the output transmission voice is input,
An instruction to inhibit echo canceller function including user instruction data for instructing the counterpart device to temporarily inhibit or suppress the function of the echo canceller included in the counterpart device,
The device of the communication partner, while performing an instruction to temporarily inhibit the function of the echo canceller device is provided with a vent talking partner, not to suppress or inhibit the function of the echo canceller of the communication talking device A featured telephone device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005198915A JP4344718B2 (en) | 2005-07-07 | 2005-07-07 | Telephone device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005198915A JP4344718B2 (en) | 2005-07-07 | 2005-07-07 | Telephone device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007019833A JP2007019833A (en) | 2007-01-25 |
JP4344718B2 true JP4344718B2 (en) | 2009-10-14 |
Family
ID=37756593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005198915A Expired - Fee Related JP4344718B2 (en) | 2005-07-07 | 2005-07-07 | Telephone device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4344718B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5245884B2 (en) * | 2009-02-06 | 2013-07-24 | ヤマハ株式会社 | Voice communication system and voice communication apparatus |
JPWO2022131018A1 (en) * | 2020-12-17 | 2022-06-23 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01109951A (en) * | 1987-10-23 | 1989-04-26 | Nec Corp | Acoustic echo canceller with external control function |
JPH0420150A (en) * | 1990-05-15 | 1992-01-23 | Nec Corp | Test control system for transmission line |
JPH04253455A (en) * | 1991-01-30 | 1992-09-09 | Nec Corp | Test system for isdn subscriber line |
JP3300526B2 (en) * | 1994-04-12 | 2002-07-08 | 松下電器産業株式会社 | Telephone equipment |
JP2918025B2 (en) * | 1996-04-24 | 1999-07-12 | 日本電気株式会社 | 2-wire audio conference device |
JPH10164187A (en) * | 1996-10-03 | 1998-06-19 | Kokusai Electric Co Ltd | Portable terminal equipment |
JPH114481A (en) * | 1997-06-11 | 1999-01-06 | Kokusai Electric Co Ltd | Portable terminal equipment |
JP2002043985A (en) * | 2000-07-25 | 2002-02-08 | Matsushita Electric Ind Co Ltd | Acoustic echo canceller device |
JP3967161B2 (en) * | 2002-03-20 | 2007-08-29 | 日立オムロンターミナルソリューションズ株式会社 | Communication response system |
JP2004186870A (en) * | 2002-12-02 | 2004-07-02 | Nippon Telegr & Teleph Corp <Ntt> | Video conference method, processing method of user terminal, user terminal, program, and recording medium |
JP2004228771A (en) * | 2003-01-21 | 2004-08-12 | Fujikura Ltd | Media converter, loop testing method, and loop test program |
JP4022160B2 (en) * | 2003-03-24 | 2007-12-12 | 京セラ株式会社 | Wireless communication terminal and wireless communication system |
-
2005
- 2005-07-07 JP JP2005198915A patent/JP4344718B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007019833A (en) | 2007-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20140307868A1 (en) | Headset system with microphone for ambient sounds | |
US20070082612A1 (en) | Listening assistance function in phone terminals | |
JP4344718B2 (en) | Telephone device | |
JP4400490B2 (en) | Loudspeaker equipment, loudspeaker system | |
US7319748B2 (en) | Device and method for suppressing echo in telephones | |
JP2019176230A (en) | Hand set | |
JP5265587B2 (en) | Call device and call method | |
JPH08335977A (en) | Loudspeaking device | |
WO2018207482A1 (en) | Utterance control device, electronic apparatus, program and control method for utterance control device | |
JP2011163725A (en) | Remote controller for water heater | |
JP3388704B2 (en) | Communication terminal device | |
JPH10290282A (en) | Hands-free control circuit | |
JPH11275243A (en) | Loud speaker type interphone system | |
JP2001268213A (en) | Voice communication device | |
JP2018139361A (en) | Speech processing unit | |
JP2018098704A (en) | Howling prevention method during hands-free speech | |
JP3591335B2 (en) | Communication system, communication control device, and communication terminal device | |
JP2020178295A (en) | Telephone set | |
JP2006287431A (en) | Telephone device | |
JP2008205543A (en) | Mobile telephone apparatus | |
JP5650036B2 (en) | Intercom system | |
JP3450935B2 (en) | Facsimile machine | |
JP5304493B2 (en) | Telephone equipment | |
JP2007306451A (en) | Handsfree telephone | |
JP2008263357A (en) | Telephone device with opposite-party holding sound monitoring function |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090713 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |