JP4667811B2

JP4667811B2 - Voice communication apparatus and voice communication method

Info

Publication number: JP4667811B2
Application number: JP2004281472A
Authority: JP
Inventors: 泰彦沼上
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2004-09-28
Filing date: 2004-09-28
Publication date: 2011-04-13
Anticipated expiration: 2024-09-28
Also published as: JP2006100933A

Description

本発明は、ＶｏＩＰ（Voice over Internet Protocol）技術を用いたインターネット電話等に用いて好適な音声通信装置、音声通信方法に関する。 The present invention relates to a voice communication apparatus and a voice communication method suitable for use in an Internet telephone using VoIP (Voice over Internet Protocol) technology.

近年、ＶｏＩＰ技術を用いたインターネット電話（以下、ＩＰ電話と称する）が、通話料金の安さなどの理由から普及してきている。このＩＰ電話は、音声をパケット化してインターネット等のインターネットプロトコル（ＩＰ；Internet Protocol）網を介して転送することにより実現される。そして、その音声パケット化機能を有する音声通信装置が実用化されている。音声通信装置は、アナログ入力された音声をディジタル化した後に符号化し、音声符号化信号を周期的にパケットに分割して送信する。音声符号化方式として、例えばＩＴＵ−Ｔ（国際電気通信連合）勧告Ｇ．７１１に準拠した方式を使用した場合、符号化後の信号は１秒あたり６４キロビットのデータ量となる。このような音声符号化信号をパケット伝送する場合、パケット化時の分割等によるオーバーヘッドが生じるために、１秒あたり１００キロビット程度の伝送帯域を要することになる。
また、ＶｏＩＰ技術については例えば特許文献１にも記載されている。
特開２００４−２２８８５７号公報 In recent years, Internet telephones using VoIP technology (hereinafter referred to as IP telephones) have become popular for reasons such as low call charges. This IP telephone is realized by packetizing voice and transferring it through an Internet Protocol (IP) network such as the Internet. A voice communication apparatus having the voice packetization function has been put into practical use. The voice communication apparatus digitizes analog input voice and then encodes it, and periodically divides the voice encoded signal into packets and transmits the packets. For example, ITU-T (International Telecommunication Union) Recommendation G. When a method compliant with 711 is used, the encoded signal has a data amount of 64 kilobits per second. When such a voice encoded signal is transmitted in packets, overhead due to division or the like at the time of packetization occurs, and therefore a transmission band of about 100 kilobits per second is required.
The VoIP technology is also described in Patent Document 1, for example.
JP 2004-228857 A

上述したような音声パケットを伝送する伝送路上の輻輳等により、十分な伝送帯域が確保できなかったときは、受信されるパケットは送信時の周期よりも長い周期で到着したり、一部のパケットが伝送途中で廃棄されて到着しなかったり、あるいはその両方の現象が発生する。これらの現象が軽微である場合、再生された音声は、若干の品質劣化が生じるものの聞き取ることは可能である。 When a sufficient transmission bandwidth cannot be secured due to congestion on the transmission path for transmitting voice packets as described above, the received packet arrives at a cycle longer than the cycle at the time of transmission, or some packets Are discarded during transmission and do not arrive, or both. If these phenomena are minor, the reproduced audio can be heard although some quality degradation occurs.

しかし、図８に示される例のように、パケットが送信周期（図８では１０ｍｓ）よりも著しく長い周期（図８では１００ｍｓ）で到着した場合、そのままのタイミングで再生しても聞き取れる音声とはならない。このような場合、到着間隔が間延びしているだけであり、パケットは廃棄されていないので、聞き取り可能な音声として再生するために必要な量の音声信号が揃えば、聞き取り可能な音声として再生することができる。図８の概念図の例では、入力音声「こんにちは」に対応する９個のパケットが送信周期よりも著しく長い周期で到着しているが、廃棄はされていない。したがって、少なくとも「こんにちは」に対応する９個のパケットに係る音声信号が揃えば、「こんにちは」の部分については聞き取り可能な音声として再生することができる。 However, as in the example shown in FIG. 8, when a packet arrives at a period (100 ms in FIG. 8) that is significantly longer than the transmission period (10 ms in FIG. 8), Don't be. In such a case, the arrival interval is just extended, and the packet is not discarded, so if there are enough audio signals to play as audible audio, it will be played back as audible audio. be able to. In the example conceptual diagram of FIG. 8, although nine packets corresponding to the input speech "Hello" has arrived at a significantly longer period than the transmission period, not disposal. Accordingly, aligning the audio signal according to the nine packets corresponding to at least "Hello" is able to reproduce as the sound of audible to the portion of the "Hello".

このために受信バッファを備えてパケットを蓄積し、一定の遅延時間を与えてから、パケットを受信バッファから読み出して音声再生することが考えられる。しかしながら、従来の伝送遅延ゆらぎ吸収用の受信バッファでは、固定的に遅延時間を与えることになるので、長期間に渡って到着周期が間延びするような場合に対処するためには、非常に長い遅延時間を固定的に与えることになり通話品質上からその実現には問題がある。 For this purpose, it is conceivable that a packet is stored with a reception buffer, a certain delay time is given, and then the packet is read from the reception buffer and reproduced. However, in the conventional reception buffer for absorbing the transmission delay fluctuation, a fixed delay time is given. Therefore, in order to cope with the case where the arrival period is extended over a long period of time, a very long delay is required. There is a problem in the realization of the call quality because the time is given fixedly.

本発明は、このような事情を考慮してなされたもので、その目的は、パケットが送信周期よりも著しく長い周期で到着する場合に、無用な音声遅延を生じさせることなく、有用な音声信号の蓄積を実行し、該蓄積された音声信号を使用して音声再生を行うことにより、通話品質の向上を図ることができる音声通信装置、音声通信方法を提供することにある。 The present invention has been made in view of such circumstances, and its purpose is to provide a useful audio signal without causing unnecessary audio delay when a packet arrives at a period significantly longer than the transmission period. The voice communication apparatus and the voice communication method are capable of improving the call quality by executing the voice reproduction using the stored voice signal.

上記の課題を解決するために、本発明に係る音声通信装置は、音声信号が格納されたパケットを受信し、該受信信号を使用して音声再生を行う音声通信装置において、受信信号を蓄積するための記憶手段と、パケットの到着周期を検出する到着周期検出手段と、前記検出された到着周期が所定の周期よりも長い場合に、前記記憶手段による蓄積動作を開始するとともに受信信号による音声再生動作を停止する制御手段と、パケットの連続廃棄数を検出する連続廃棄数検出手段と、を備え、前記制御手段は、前記記憶手段による蓄積動作中において、前記検出された連続廃棄数が所定値よりも大きいことを判定すると、前記記憶手段による蓄積動作を停止するとともに受信信号による音声再生動作を再開することを特徴とする。 In order to solve the above problems, an audio communication apparatus according to the present invention stores a received signal in an audio communication apparatus that receives a packet in which an audio signal is stored and performs audio reproduction using the received signal. Storage means, an arrival period detection means for detecting the arrival period of a packet, and when the detected arrival period is longer than a predetermined period, an accumulation operation by the storage means is started and voice reproduction by a received signal is performed Control means for stopping the operation, and continuous discard number detection means for detecting the number of consecutive discards of packets, wherein the control means is configured such that the detected number of consecutive discards is a predetermined value during the accumulation operation by the storage means. If it is determined that it is greater than the threshold value, the storage operation by the storage means is stopped and the sound reproduction operation by the received signal is restarted.

本発明に係る音声通信方法は、音声信号が格納されたパケットを受信し、該受信信号を使用して音声再生を行う音声通信装置の音声通信方法において、パケットの到着周期が所定の周期よりも長い場合に、受信信号の蓄積を開始するとともに受信信号による音声再生を停止し、前記受信信号の蓄積中に、パケットの連続廃棄数が所定値よりも大きくなった場合、前記受信信号の蓄積を停止するとともに受信信号による音声再生を再開することを特徴とする。 The voice communication method according to the present invention is a voice communication method of a voice communication apparatus that receives a packet in which a voice signal is stored and performs voice reproduction using the received signal, wherein the packet arrival period is longer than a predetermined period. When it is long, accumulation of the received signal is started and sound reproduction by the received signal is stopped, and when the number of consecutive packets discarded during the accumulation of the received signal becomes larger than a predetermined value, the accumulation of the received signal is stopped. It is characterized in that the audio reproduction by the received signal is resumed while stopping.

本発明によれば、パケットの到着周期が所定の周期よりも長周期であることを音声信号の蓄積動作開始条件に含めているので、パケットが送信周期よりも著しく長い周期で到着する場合以外には音声信号の蓄積を実行せず、無用な音声遅延を防止するとともに有用な音声信号の蓄積を実行することができる。これにより、該蓄積された有用な音声信号を使用して音声再生を行うことが可能となり、通話品質の向上を図ることができる。 According to the present invention, since the voice signal accumulation operation start condition includes that the arrival period of the packet is longer than a predetermined period, the packet arrives at a period significantly longer than the transmission period. Does not perform the accumulation of audio signals, can prevent unnecessary audio delays and can accumulate useful audio signals. As a result, it is possible to perform voice reproduction using the accumulated useful voice signal, and to improve the call quality.

以下、図面を参照し、本発明の一実施形態について説明する。
図１は、本発明の一実施形態に係る音声通信装置を備えたＩＰ電話端末１ａ（１ｂ）によりＩＰ電話を実現するＩＰ電話システムの構成例を示すブロック図である。図２は、図１に示すＩＰ電話端末１ａ（１ｂ）の構成を示すブロック図である。
図１において、ＩＰ電話端末１ａ（１ｂ）は、ＩＰ電話用の通信端末であり、ローカルエリアネットワーク（ＬＡＮ）３ａ（３ｂ）に接続されている。ルータ２ａ（２ｂ）は、通信回線を介してインターネット４と接続し、ＬＡＮ３ａ（３ｂ）とインターネット４との間で相互にパケットの転送を行う。これにより、ＩＰ電話端末１ａと１ｂは、インターネット４を介してパケット通信を行い、音声信号を相互に送受してＩＰ電話を実現する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration example of an IP telephone system that realizes an IP telephone by using an IP telephone terminal 1a (1b) including a voice communication apparatus according to an embodiment of the present invention. FIG. 2 is a block diagram showing a configuration of IP telephone terminal 1a (1b) shown in FIG.
In FIG. 1, an IP telephone terminal 1a (1b) is an IP telephone communication terminal, and is connected to a local area network (LAN) 3a (3b). The router 2a (2b) is connected to the Internet 4 via a communication line, and transfers packets between the LAN 3a (3b) and the Internet 4. Thereby, the IP telephone terminals 1a and 1b perform packet communication via the Internet 4, and realize an IP telephone by transmitting and receiving voice signals to and from each other.

図２において、ＩＰ電話端末１ａ（１ｂ）は、本実施形態に係る音声通信装置１０を備える。音声通信装置１０には、話者が通話に使用するマイク３１とスピーカ３２とが接続される。 In FIG. 2, an IP telephone terminal 1a (1b) includes a voice communication device 10 according to the present embodiment. The voice communication apparatus 10 is connected to a microphone 31 and a speaker 32 that are used by a speaker for a call.

図２の音声通信装置１０において、Ａ−Ｄ変換部１１はマイク３１から入力されたアナログ音声信号をディジタル音声信号に変換して出力する。音声符号化部１２はＡ−Ｄ変換部１１から入力されたディジタル音声信号を符号化して出力する。ＲＴＰ（Real-time Transport Protocol）パケット送信処理部１３は、音声符号化部１２から入力された音声符号化信号を１フレーム分ごとにパケット化して出力する。パケット化はＲＴＰに従う。又、１フレームは例えば１０ｍｓの長さであり、この場合、パケット送信間隔は１０ｍｓである。 In the voice communication device 10 of FIG. 2, the AD converter 11 converts an analog voice signal input from the microphone 31 into a digital voice signal and outputs the digital voice signal. The voice encoding unit 12 encodes and outputs the digital voice signal input from the A / D conversion unit 11. The RTP (Real-time Transport Protocol) packet transmission processing unit 13 packetizes and outputs the speech encoded signal input from the speech encoding unit 12 for each frame. Packetization follows RTP. One frame is, for example, 10 ms long, and in this case, the packet transmission interval is 10 ms.

ＵＤＰ（User Datagram Protocol）／ＩＰ処理部１４は、ＵＤＰ及びＩＰに従ってパケットの送信及び受信の処理を行う。ネットワークインタフェース１５は、ＬＡＮ３ａ（３ｂ）に接続するためのインタフェースであり、ＬＡＮ３ａ（３ｂ）と接続してパケットを入出力する。ＲＴＰパケット送信処理部１３から出力されたＲＴＰパケットは、ＵＤＰ／ＩＰ処理部１４によりＩＰパケットとしてネットワークインタフェース１５に出力され、ネットワークインタフェース１５からＬＡＮ３ａ（３ｂ）へ出力される。 A UDP (User Datagram Protocol) / IP processing unit 14 performs packet transmission and reception processing according to UDP and IP. The network interface 15 is an interface for connecting to the LAN 3a (3b), and inputs and outputs packets by connecting to the LAN 3a (3b). The RTP packet output from the RTP packet transmission processing unit 13 is output to the network interface 15 as an IP packet by the UDP / IP processing unit 14, and is output from the network interface 15 to the LAN 3a (3b).

ＬＡＮ３ａ（３ｂ）から入力されたＩＰパケットは、ネットワークインタフェース１５を介してＵＤＰ／ＩＰ処理部１４に入力される。ＵＤＰ／ＩＰ処理部１４は、入力されたＩＰパケットからＲＴＰパケットを取得してＲＴＰパケット受信処理部１６へ出力する。
ＲＴＰパケット受信処理部１６は、入力されたＲＴＰパケットをＲＴＰに従って分解することで音声符号化信号を取得し、音声復号部１７へ出力する。また、ＲＴＰパケット受信処理部１６は、パケットの受信情報を再生制御部２１へ通知する。この受信情報は、連続して受信したパケットの到着間隔を示す情報およびパケットの損失数を示す情報などを含んでいる。 An IP packet input from the LAN 3a (3b) is input to the UDP / IP processing unit 14 via the network interface 15. The UDP / IP processing unit 14 acquires an RTP packet from the input IP packet and outputs it to the RTP packet reception processing unit 16.
The RTP packet reception processing unit 16 obtains a speech encoded signal by decomposing the input RTP packet according to RTP, and outputs the speech encoded signal to the speech decoding unit 17. In addition, the RTP packet reception processing unit 16 notifies the reproduction control unit 21 of packet reception information. This reception information includes information indicating the arrival interval of continuously received packets, information indicating the number of lost packets, and the like.

音声復号部１７は、入力された音声符号化信号を復号してディジタル音声信号を音声蓄積部１９を介してＤ−Ａ変換部１８へ出力する。Ｄ−Ａ変換部１８は、入力されたディジタル音声信号をアナログ信号に変換して出力する。この出力されたアナログ音声信号はスピーカ３２に入力され、音声として再生される。なお、音声符号化部１２および音声復号部１７は、例えばＩＴＵ−Ｔ勧告Ｇ．７２９で規定されている音声符号化方式を使用する。 The voice decoding unit 17 decodes the input voice encoded signal and outputs a digital voice signal to the DA conversion unit 18 via the voice storage unit 19. The DA converter 18 converts the input digital audio signal into an analog signal and outputs the analog signal. The output analog audio signal is input to the speaker 32 and reproduced as audio. The voice encoding unit 12 and the voice decoding unit 17 are, for example, ITU-T recommendation G.264. The speech encoding method defined in 729 is used.

音声蓄積部１９は、音声復号部１７からのディジタル音声信号を蓄積するためのメモリを備えている。音声蓄積部１９は、再生制御部２１からの指示に従って、音声復号部１７からのディジタル音声信号をメモリに蓄積する動作およびメモリからディジタル音声信号を読み出してＤ−Ａ変換部１８へ出力する動作を行う。音声蓄積部１９においてメモリに蓄積する動作が行われていないときは、音声復号部１７からのディジタル音声信号は、音声蓄積部１９を介してただちにＤ−Ａ変換部１８へ出力され、音声として再生される。一方、音声復号部１７からのディジタル音声信号をメモリに蓄積する動作を行っており、且つ、メモリからディジタル音声信号を読み出していない状態では、Ｄ−Ａ変換部１８への入力信号がないために、音声再生動作は停止する。
また、音声蓄積部１９は、メモリの蓄積量を検出する。この蓄積量は、再生制御部２１から読み出すことができる。 The voice storage unit 19 includes a memory for storing the digital voice signal from the voice decoding unit 17. The sound accumulating unit 19 performs an operation for accumulating the digital audio signal from the audio decoding unit 17 in the memory and an operation for reading the digital audio signal from the memory and outputting it to the DA conversion unit 18 in accordance with an instruction from the reproduction control unit 21. Do. When the operation of accumulating in the memory is not performed in the audio accumulating unit 19, the digital audio signal from the audio decoding unit 17 is immediately output to the DA conversion unit 18 via the audio accumulating unit 19 and reproduced as audio. Is done. On the other hand, when the digital audio signal from the audio decoding unit 17 is stored in the memory and the digital audio signal is not read from the memory, there is no input signal to the DA conversion unit 18. The audio playback operation stops.
The voice storage unit 19 detects the storage amount of the memory. This accumulated amount can be read from the reproduction control unit 21.

再生制御部２１は、ＲＴＰパケット受信処理部１６から通知される受信情報及び音声蓄積部１９から通知される蓄積量に基づいて、音声蓄積部１９の動作を制御する。また、再生制御部２１は、その動作制御内容に応じて、信号発生部２０に対する信号発生指示を行う。
信号発生部２０は、再生制御部２１からの指示に従って所定のディジタル音声信号を発生し、Ｄ−Ａ変換部１８へ出力する。このディジタル音声信号は、Ｄ−Ａ変換部１８によってアナログ化された後にスピーカ３２から再生出力される。 The reproduction control unit 21 controls the operation of the voice accumulation unit 19 based on the reception information notified from the RTP packet reception processing unit 16 and the accumulation amount notified from the voice accumulation unit 19. Further, the reproduction control unit 21 gives a signal generation instruction to the signal generation unit 20 in accordance with the operation control content.
The signal generation unit 20 generates a predetermined digital audio signal in accordance with an instruction from the reproduction control unit 21 and outputs it to the DA conversion unit 18. This digital audio signal is analogized by the DA converter 18 and then reproduced and output from the speaker 32.

次に、図３を参照して、上記した音声通信装置１０の音声再生に係る動作を説明する。図３は、本実施形態に係る音声再生制御フローを示すフローチャートである。
ＲＴＰパケット受信処理部１６は、連続して受信したパケットの到着間隔を算出する。さらに、受信パケットのＲＴＰヘッダ中のシーケンス番号に基づいて、連続して受信した２つのパケット間で損失しているパケットの個数（損失パケット数）を算出する。ＲＴＰパケット受信処理部１６は、それら算出した到着間隔と損失パケット数を再生制御部２１へ通知する。再生制御部２１は、ＲＴＰパケット受信処理部１６から通知された到着間隔及び損失パケット数を使用して音声再生制御処理を行う。 Next, with reference to FIG. 3, an operation related to the audio reproduction of the audio communication apparatus 10 described above will be described. FIG. 3 is a flowchart showing an audio reproduction control flow according to the present embodiment.
The RTP packet reception processing unit 16 calculates the arrival interval of continuously received packets. Further, based on the sequence number in the RTP header of the received packet, the number of lost packets (number of lost packets) between two consecutively received packets is calculated. The RTP packet reception processing unit 16 notifies the reproduction control unit 21 of the calculated arrival interval and the number of lost packets. The playback control unit 21 performs voice playback control processing using the arrival interval and the number of lost packets notified from the RTP packet reception processing unit 16.

図３において、再生制御部２１は、音声蓄積部１９における蓄積動作および音声再生動作の状態を判断する（ステップＳ１）。この判断の結果、音声蓄積部１９において蓄積動作が停止中であり、且つ音声再生動作中である場合は（ステップＳ１がＹＥＳ）、ステップＳ２へ進む。 In FIG. 3, the reproduction control unit 21 determines the state of the accumulation operation and the audio reproduction operation in the audio accumulation unit 19 (step S1). As a result of this determination, if the accumulation operation is stopped in the sound accumulation unit 19 and the sound reproduction operation is being performed (YES in step S1), the process proceeds to step S2.

次いで、ステップＳ２では、再生制御部２１は、ＲＴＰパケット受信処理部１６から通知された到着間隔に基づいた到着周期がパケットの送信周期と比べて所定値α以上長くなっているか否かを判定する。この判定には、微小な変動の影響を排除するために、パケット到着周期についての１秒間の移動平均値を用いる。所定値αとしては、パケットは１０ｍｓ周期で送信されているので、例えば１０ｍｓ程度の値に設定する。ステップＳ２の判定の結果、到着周期が「送信周期＋所定値α」以上である場合（ステップＳ２がＹＥＳ）はステップＳ３へ進み、「送信周期＋所定値α」未満である場合（ステップＳ２がＮＯ）は処理を終了する。 Next, in step S2, the reproduction control unit 21 determines whether or not the arrival cycle based on the arrival interval notified from the RTP packet reception processing unit 16 is longer than the packet transmission cycle by a predetermined value α or more. . For this determination, a moving average value for 1 second with respect to the packet arrival period is used in order to eliminate the influence of minute fluctuations. The predetermined value α is set to a value of about 10 ms, for example, since the packet is transmitted at a cycle of 10 ms. As a result of the determination in step S2, if the arrival cycle is equal to or greater than “transmission cycle + predetermined value α” (YES in step S2), the process proceeds to step S3, and if it is less than “transmission cycle + predetermined value α” (step S2 is NO) terminates the process.

次いで、ステップＳ３では、再生制御部２１は、パケットがバースト的に廃棄されているか否かを判定する。この判定ではバースト廃棄度を用いる。バースト廃棄度とは、単位時間当たり、例えば１秒の期間において、廃棄されたパケットの前後に連続して受信した２つのパケットの時間間隔の最小値Ｔｍｉｎと、パケット送信間隔との比として定義する。 Next, in step S3, the reproduction control unit 21 determines whether or not the packet is discarded in a burst manner. This determination uses the burst discard degree. The burst discard degree is defined as the ratio between the minimum value Tmin of the time interval between two packets continuously received before and after the discarded packet and the packet transmission interval per unit time, for example, in a period of 1 second. .

図４は、バースト廃棄度について説明するための概念図である。図４（１）では、パケットの送信間隔が示されており、１０ｍｓ周期でパケットＰ１〜Ｐ１１が送信されている。図４（２）では、パケットＰ１〜Ｐ１１のうち、パケットＰ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９が廃棄された場合が示されている。この図４（２）の場合、最小値Ｔｍｉｎは２０ｍｓ、パケット送信間隔は１０ｍｓであるので、バースト廃棄度は「２０ｍｓ／１０ｍｓ＝２」となる。また、図４（３）では、パケットＰ１〜Ｐ１１のうち、パケットＰ４〜Ｐ８が連続して廃棄された場合が示されている。この図４（３）の場合、最小値Ｔｍｉｎは６０ｍｓ、パケット送信間隔は１０ｍｓであるので、バースト廃棄度は「６０ｍｓ／１０ｍｓ＝６」となる。再生制御部２１は、ＲＴＰパケット受信処理部１６から通知された到着間隔と損失パケット数とに基づいて、最小値Ｔｍｉｎを算出する。 FIG. 4 is a conceptual diagram for explaining the burst discard degree. In FIG. 4A, the packet transmission interval is shown, and packets P1 to P11 are transmitted in a cycle of 10 ms. FIG. 4 (2) shows a case where packets P2, P4, P6, P8, and P9 are discarded among the packets P1 to P11. In the case of FIG. 4B, since the minimum value Tmin is 20 ms and the packet transmission interval is 10 ms, the burst discard degree is “20 ms / 10 ms = 2”. FIG. 4 (3) shows a case where packets P4 to P8 are successively discarded among the packets P1 to P11. In the case of FIG. 4 (3), the minimum value Tmin is 60 ms and the packet transmission interval is 10 ms, so the burst discard rate is “60 ms / 10 ms = 6”. The reproduction control unit 21 calculates the minimum value Tmin based on the arrival interval and the number of lost packets notified from the RTP packet reception processing unit 16.

ステップＳ３の判定の結果、バースト廃棄度つまり、単位時間当たりのパケットの連続廃棄が所定値β以上である場合（ステップＳ３がＹＥＳ）は、バースト的に廃棄されていると判定し、ステップＳ４へ進む。一方、所定値β未満である場合（ステップＳ２がＹＥＳ）は処理を終了する。 As a result of the determination in step S3, when the burst discard degree, that is, when the continuous discard of packets per unit time is equal to or greater than the predetermined value β (step S3 is YES), it is determined that the burst is discarded, and the process proceeds to step S4 move on. On the other hand, if it is less than the predetermined value β (step S2 is YES), the process is terminated.

次いで、ステップＳ４では、再生制御部２１は、音声蓄積部１９に対して、蓄積動作の開始及び読み出しの停止を指示する。これにより音声再生動作が停止する。次いで、再生制御部２１は、信号発生部２０に対して音声再生の停止を報知する旨を指示する。この指示により信号発生部２０は該当する所定のディジタル信号を発生してＤ−Ａ変換部１８へ出力する。これにより、音声再生の停止を報知する例えばブザー音Ｖ２がスピーカ３２から再生出力される（ステップＳ５）。 Next, in step S4, the playback control unit 21 instructs the sound storage unit 19 to start a storage operation and stop reading. As a result, the sound reproduction operation is stopped. Next, the reproduction control unit 21 instructs the signal generation unit 20 to notify the stop of audio reproduction. In response to this instruction, the signal generator 20 generates a corresponding predetermined digital signal and outputs it to the DA converter 18. Thereby, for example, the buzzer sound V2 for notifying the stop of the sound reproduction is reproduced and output from the speaker 32 (step S5).

一方、ステップＳ１の判断の結果、音声蓄積部１９において蓄積動作中であり、且つ読み出しが停止中であるために音声再生動作が停止中である場合は（ステップＳ１がＮＯ）、ステップＳ６へ進む。 On the other hand, if the result of the determination in step S1 is that the storage operation is being performed in the sound storage unit 19 and the sound reproduction operation is stopped because reading is stopped (step S1 is NO), the process proceeds to step S6. .

ステップＳ６では、再生制御部２１は、パケットの連続廃棄数が所定値δより大きいか否かを判定する。パケットの連続廃棄数には、ＲＴＰパケット受信処理部１６から通知された損失パケット数を使用する。この判定の結果、連続廃棄数が所定値δよりも大きい場合は（ステップＳ６がＹＥＳ）、通信の一時断と判断し、ステップＳ９へ進む。なお、所定値δとしては、パケット送信間隔が１０ｍｓの場合、例えば１００パケットに設定する。この場合、１秒間の通話断によって音声再生が再開される。
ステップＳ９では、再生制御部２１は、音声蓄積部１９に対して、蓄積動作の停止及び読み出しの開始を指示する。これにより音声再生動作が再開される。 In step S6, the reproduction control unit 21 determines whether or not the number of consecutive packets discarded is greater than a predetermined value δ. The number of lost packets notified from the RTP packet reception processing unit 16 is used as the number of consecutive packets discarded. If the result of this determination is that the number of consecutive discards is greater than the predetermined value δ (YES in step S6), it is determined that communication has been temporarily interrupted, and processing proceeds to step S9. The predetermined value δ is set to 100 packets, for example, when the packet transmission interval is 10 ms. In this case, the audio reproduction is resumed when the call is interrupted for one second.
In step S9, the reproduction control unit 21 instructs the audio storage unit 19 to stop the accumulation operation and start reading. As a result, the sound reproduction operation is resumed.

一方、ステップＳ６の判定の結果、連続廃棄数が所定値δ以下である場合には（ステップＳ６がＮＯ）、ステップＳ７へ進む。 On the other hand, if the result of determination in step S6 is that the number of consecutive discards is equal to or less than the predetermined value δ (step S6 is NO), the process proceeds to step S7.

ステップＳ７では、再生制御部２１は、音声蓄積部１９から蓄積量を読み出し、所定量に到達しているか否かを判断する。この判断の結果、所定量に到達している場合は（ステップＳ７がＹＥＳ）、ステップＳ９に進み、上記した音声蓄積部１９に対する指示を行って音声再生動作を再開する。なお、上記ステップＳ７で用いる蓄積量の閾値には、蓄積動作によって音声蓄積部１９内のメモリの容量をオーバーする前に蓄積動作を停止可能な値を設定する。 In step S7, the reproduction control unit 21 reads the accumulation amount from the audio accumulation unit 19, and determines whether or not the predetermined amount has been reached. As a result of the determination, if the predetermined amount has been reached (YES in step S7), the process proceeds to step S9, where an instruction is given to the audio storage unit 19 to restart the audio reproduction operation. Note that the threshold value of the accumulation amount used in step S7 is set to a value at which the accumulation operation can be stopped before the memory capacity in the sound accumulation unit 19 is exceeded by the accumulation operation.

一方、ステップＳ７の判断の結果、所定量に未到達である場合には（ステップＳ７がＮＯ）、ステップＳ８へ進む。 On the other hand, if the predetermined amount has not been reached as a result of the determination in step S7 (NO in step S7), the process proceeds to step S8.

ステップＳ８では、再生制御部２１は、上記ステップＳ２及びＳ３の判定処理を行い、双方の判定条件を共に満足しているか否かを判断する。この判断の結果、満足していれば（ステップＳ８がＹＥＳ）、処理を終了し、蓄積動作及び再生停止をそのまま継続する。 In step S8, the reproduction control unit 21 performs the determination processes in steps S2 and S3, and determines whether or not both determination conditions are satisfied. If the result of this determination is satisfied (YES in step S8), the process is terminated, and the accumulation operation and the reproduction stop are continued as they are.

一方、ステップＳ８の判断の結果、ステップＳ２及びＳ３の判定条件のいずれか１つでも満足していなければ（ステップＳ８がＮＯ）、ステップＳ９に進み、上記した音声蓄積部１９に対する指示を行って音声再生動作を再開する。 On the other hand, as a result of the determination in step S8, if any one of the determination conditions in steps S2 and S3 is not satisfied (NO in step S8), the process proceeds to step S9, and an instruction is given to the voice storage unit 19 described above. Restart the audio playback operation.

次いで、ステップ１０では、再生制御部２１は、信号発生部２０に対して音声再生停止の報知を停止する旨を指示する。この指示により信号発生部２０はディジタル信号の発生を停止する。これにより、音声再生停止の報知音（例えばブザー音）の再生出力が停止する。 Next, in step 10, the reproduction control unit 21 instructs the signal generation unit 20 to stop the notification of the audio reproduction stop. In response to this instruction, the signal generator 20 stops the generation of the digital signal. As a result, the reproduction output of the sound reproduction stop notification sound (for example, a buzzer sound) is stopped.

図５は、本実施形態による音声再生動作を説明するための概念図である。図５において、送話者が発した音声Ｖ１ａ「こんにちはおげんきですか」は、パケット送信間隔１０ｍｓごとの音声信号に分割されて各々パケットＰ１ａ〜Ｐ２１ａに格納される。パケットＰ１ａ〜Ｐ２１ａは、送話者のＩＰ電話端末１ａから送信され、インターネット４を介して受話者のＩＰ電話端末１ｂへ伝送される。 FIG. 5 is a conceptual diagram for explaining an audio reproduction operation according to the present embodiment. 5, the talker speech V1a "Hello How are you" emitted is stored in each packet P1a~P21a is divided into the audio signal for each packet transmission interval 10 ms. The packets P1a to P21a are transmitted from the sender's IP telephone terminal 1a and transmitted to the receiver's IP telephone terminal 1b via the Internet 4.

ここで、１パケット当たりのデータ量が３００ｂｉｔであるとすると、１秒間に１００パケットが送信されるので、各パケットが送信間隔１０ｍｓを維持して伝送されるためには、少なくとも３０ｋｂｉｔ／ｓｅｃ以上の伝送速度を常に保証することが必要となる。しかし、インターネット４上のトラヒック状況等により一時的に所望の伝送速度が得られない場合、それぞれのパケットは遅延が増大しながら到着する。図５の例では、３ｋｂｉｔ／ｓｅｃの伝送速度でパケットＰ１ａ〜Ｐ９ａが伝送されている。これらパケットＰ１ａ〜Ｐ９ａは、経路の途中で廃棄されることなく、平均１００ｍｓ間隔で到着する。一方、パケットＰ１０ａ〜Ｐ２１ａは、インターネット４の経路途中での輻輳等により廃棄されている。このパケットＰ１０ａ〜Ｐ２１ａのように、パケットが連続的に廃棄されることを上記バースト廃棄と称する。 Here, if the data amount per packet is 300 bits, 100 packets are transmitted per second. Therefore, in order to transmit each packet with a transmission interval of 10 ms, at least 30 kbit / sec or more is required. It is necessary to always guarantee the transmission speed. However, if a desired transmission rate cannot be obtained temporarily due to traffic conditions on the Internet 4, each packet arrives with an increased delay. In the example of FIG. 5, packets P1a to P9a are transmitted at a transmission rate of 3 kbit / sec. These packets P1a to P9a arrive at an average interval of 100 ms without being discarded in the middle of the route. On the other hand, the packets P <b> 10 a to P <b> 21 a are discarded due to congestion in the middle of the route of the Internet 4. Like the packets P10a to P21a, continuous discard of packets is referred to as burst discard.

図５の時刻ｔ１の時点では、パケットの到着間隔は１００ｍｓであり、平均到着間隔は１００ｍｓと算出される。各パケットにはシーケンス番号が格納されており、受信したパケットとその１つ前に受信したパケットの双方のシーケンス番号を比較し、その差が１であるか否かを判定することにより、パケットの廃棄を検出することができる。パケットの廃棄が検出された場合、シーケンス番号の差を損失パケット数（連続廃棄数）として得る。
図５では、時刻ｔ１から、受信パケットＰ１ａ〜Ｐ９ａに格納された音声「こんにちは」の音声信号が蓄積開始されると共に音声再生が停止され、音声再生停止を報知するブザー音が受話者に対して出力され始める。 At time t1 in FIG. 5, the arrival interval of packets is 100 ms, and the average arrival interval is calculated as 100 ms. A sequence number is stored in each packet. By comparing the sequence numbers of both the received packet and the packet received immediately before it, whether or not the difference is 1 is determined. Discard can be detected. When packet discard is detected, the difference in sequence number is obtained as the number of lost packets (number of consecutive discards).
In Figure 5, from time t1, the audio reproduction is stopped together with the audio signal of the audio "Hello" stored in the received packet P1a~P9a starts accumulating, with respect to the buzzer sound listener to notify the audio reproduction stopping Output begins.

図５の時刻ｔ２の時点では、パケットＰ１０ａ〜Ｐ２１ａの連続廃棄が検出されて、音声信号の蓄積が停止されると共に音声再生が再開される。これにより、蓄積された音声Ｖ１ｂ「こんにちは」が再生出力され、受話者に聞き取られる。 At time t2 in FIG. 5, the continuous discard of the packets P10a to P21a is detected, the accumulation of the audio signal is stopped, and the audio reproduction is resumed. As a result, the stored voice V1b "Hello" is reproduced output, is heard in the listener.

ここで、ネットワーク上でパケットが廃棄される過程について考察する。
一般に、インターネット上においてパケットは、ルータと呼ばれるパケット転送装置を経由して転送される。ルータは、入り回線から入力されたパケットを、その振り分け先を判断して所定の出回線へ出力する。出回線にてパケットを送信中の場合は、待ち行列バッファに出力パケットを蓄積し、送信中パケットの送信終了後、順次、待ち行列バッファから出力パケットを読み出して出回線に出力する。しかし、待ち行列バッファに蓄積される速度の方が出回線の伝送速度よりも大きい状態が続くと、待ち行列バッファがあふれるので、ルータは振り分けるパケットを廃棄する。 Here, consider the process of discarding packets on the network.
Generally, on the Internet, a packet is transferred via a packet transfer device called a router. The router determines the distribution destination of the packet input from the incoming line and outputs it to a predetermined outgoing line. When a packet is being transmitted on the outgoing line, the output packet is stored in the queue buffer, and after the transmission of the packet being transmitted is completed, the output packet is sequentially read from the queue buffer and output to the outgoing line. However, if the rate accumulated in the queue buffer continues to be higher than the transmission rate of the outgoing line, the queue buffer overflows, and the router discards the distributed packet.

そのルータにおける廃棄の方法には様々な方法が考えられているが、（１）待ち行列バッファ内のパケット全てを廃棄する方法、（２）バッファが満杯のときに振り分けようとしたパケットを廃棄する方法、などが一般的である。 There are various methods of discarding in the router. (1) A method of discarding all packets in the queue buffer, (2) A packet to be distributed when the buffer is full is discarded. The method is common.

（１）の廃棄方法によりパケットが廃棄される場合、上記図５に示されるように、バッファに蓄積可能な状態では出回線の伝送速度不足による遅延が発生するものの廃棄されずにパケットが転送されるが（パケットＰ１ａ〜Ｐ９ａに対応）、バッファ全体がクリアされたときにバッファ内に在ったパケットは全て廃棄される（パケットＰ１０ａ〜Ｐ２１ａに対応）。このバッファ全体のクリアによって大きなバースト廃棄が発生する。 When the packet is discarded by the discard method (1), as shown in FIG. 5, the packet is transferred without being discarded although a delay due to insufficient transmission speed of the outgoing line occurs in a state where it can be stored in the buffer. However (corresponding to the packets P1a to P9a), all the packets existing in the buffer when the entire buffer is cleared are discarded (corresponding to the packets P10a to P21a). This clearing of the entire buffer causes a large burst discard.

（２）の廃棄方法によりパケットが廃棄される場合、図６に示されるように、歯抜け状にパケットが廃棄される。この図６のような場合、受話者のＩＰ電話端末１ｂで受信されたパケットの音声信号を蓄積して再生したとしても、音声信号が歯抜け状態となっているので、受話者が聞き取ることは難しい。 When a packet is discarded by the discard method (2), the packet is discarded in a tooth-missing manner as shown in FIG. In the case as shown in FIG. 6, even if the voice signal of the packet received by the receiver's IP telephone terminal 1b is stored and reproduced, the voice signal is in a missing state, so that the listener can hear it. difficult.

上述した実施形態では、パケットの到着周期が所定の周期（送信周期＋所定値）よりも長周期であった場合において、パケットがバースト的に廃棄されていることを蓄積動作開始条件とし、この蓄積動作開始条件が満足されているときは受信された音声信号を蓄積すると共に音声再生を停止している。つまり、上記（１）の廃棄方法によりパケットが廃棄される場合には、廃棄されずに到着したパケットは比較的に損失することなく連続して到着するので、受信した音声信号を蓄積してから再生する。これにより、受話者が聞き取り可能な音声として再生することができ、通話品質の向上を図ることができる。 In the above-described embodiment, when the arrival period of a packet is longer than a predetermined period (transmission period + predetermined value), the accumulation operation start condition is that the packet is discarded in bursts. When the operation start condition is satisfied, the received audio signal is accumulated and the audio reproduction is stopped. That is, when a packet is discarded by the discard method of (1) above, packets that arrive without being discarded arrive continuously without relatively loss. Reproduce. Thereby, it can reproduce | regenerate as an audio | voice which a listener can hear, and can aim at the improvement of call quality.

そして、パケットがバースト的に廃棄されておらず、上記蓄積動作開始条件が満足されないときには、受信された音声信号を蓄積せずにその受信のタイミングで再生する。つまり、上記（２）の廃棄方法によりパケットが廃棄される場合には、歯抜け状にパケットが廃棄されるために音声信号が歯抜け状態となっているので、蓄積してから再生したとしても聞き取り可能な音声として再生できる可能性が低い。このことから、受信した音声信号を蓄積せずに、受信したタイミングで再生する。なお、上記したバースト廃棄度の閾値βは、パケット送信間隔が１０ｍｓの場合、例えば５０に設定する。 When the packet is not discarded in bursts and the accumulation operation start condition is not satisfied, the received audio signal is reproduced without being accumulated. In other words, when a packet is discarded by the discard method (2) above, since the packet is discarded in the form of a missing tooth, the audio signal is in a missing state. It is unlikely that it can be played as audible audio. For this reason, the received audio signal is reproduced at the received timing without being accumulated. Note that the above-described burst discard threshold β is set to 50, for example, when the packet transmission interval is 10 ms.

上述したように本実施形態によれば、パケットの到着周期が所定の周期よりも長周期であることを音声信号の蓄積動作開始条件に含めているので、パケットが送信周期よりも著しく長い周期で到着する場合以外には音声信号の蓄積を実行せず、無用な音声遅延を防止するとともに有用な音声信号の蓄積を実行することができる。これにより、該蓄積された有用な音声信号を使用して音声再生を行うことが可能となり、通話品質の向上を図ることができる。 As described above, according to the present embodiment, since the voice signal storage operation start condition includes that the arrival period of the packet is longer than a predetermined period, the packet has a period significantly longer than the transmission period. Audio signals are not accumulated except when they arrive, and unnecessary audio delays can be prevented and useful audio signals can be accumulated. As a result, it is possible to perform voice reproduction using the accumulated useful voice signal, and to improve the call quality.

以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、パケットの到着周期が所定の周期よりも長周期であることのみを音声信号の蓄積動作開始条件としてもよい。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope not departing from the gist of the present invention.
For example, the voice signal accumulation operation start condition may be only that the arrival period of the packet is longer than a predetermined period.

また、所定のタイマー時間を計時するタイマを備え、このタイムアウトにより蓄積動作を停止するようにしてもよい。 Further, a timer for measuring a predetermined timer time may be provided, and the accumulation operation may be stopped by this timeout.

また、音声再生停止中において音声再生を再開することを判断した場合、図７に示されるように、まず音声再生の再開を報知し、次いで音声再生を再開するようにしてもよい。この場合、再生制御部２１は、音声再生の再開を判断すると、信号発生部２０に対して音声再生の再開を報知する旨を指示する。この指示により信号発生部２０は該当する所定のディジタル信号を発生してＤ−Ａ変換部１８へ出力する。これにより、音声再生の再開を予告する例えばメッセージＶ３がスピーカ３２から再生出力される。また、メッセージＶ３のように、これから再生する音声が何秒前に受信しはじめた音声かを報知するようにしてもよい。 Further, when it is determined that the sound reproduction is to be resumed while the sound reproduction is stopped, as shown in FIG. 7, the resumption of the sound reproduction may be notified first, and then the sound reproduction may be resumed. In this case, when the reproduction control unit 21 determines to resume the audio reproduction, the reproduction control unit 21 instructs the signal generation unit 20 to notify the resumption of the audio reproduction. In response to this instruction, the signal generator 20 generates a corresponding predetermined digital signal and outputs it to the DA converter 18. Thereby, for example, the message V3 for notifying the resumption of the audio reproduction is reproduced and output from the speaker 32. Further, as in the message V3, it may be notified of how many seconds ago the sound to be reproduced starts to be received.

なお、受話者に対する報知は、上記した音声によるものに限定されない。例えば、ランプ点灯や画面表示などの視覚的に報知するようにしてもよい。
また、本発明は、無線環境を含むネットワークシステムにも対応可能である。例えば、携帯電話ネットワークに接続可能な端末を音声通信装置として利用可能である。 Note that the notification to the listener is not limited to the above-described voice. For example, visual notification such as lamp lighting or screen display may be made.
The present invention can also be applied to a network system including a wireless environment. For example, a terminal that can be connected to a mobile phone network can be used as a voice communication device.

本発明の一実施形態に係る音声通信装置を備えたＩＰ電話端末１ａ（１ｂ）によりＩＰ電話を実現するＩＰ電話システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the IP telephone system which implement | achieves IP telephone by IP telephone terminal 1a (1b) provided with the audio | voice communication apparatus which concerns on one Embodiment of this invention. 図１に示すＩＰ電話端末１ａ（１ｂ）の構成を示すブロック図である。It is a block diagram which shows the structure of IP telephone terminal 1a (1b) shown in FIG. 本発明の一実施形態に係る音声再生制御フローを示すフローチャートである。It is a flowchart which shows the audio | voice reproduction | regeneration control flow which concerns on one Embodiment of this invention. バースト廃棄度について説明するための概念図である。It is a conceptual diagram for demonstrating a burst discard degree. 本発明の一実施形態に係る音声再生動作を説明するための概念図である。It is a conceptual diagram for demonstrating the audio | voice reproduction | regeneration operation | movement which concerns on one Embodiment of this invention. パケット廃棄の一例を説明するための概念図である。It is a conceptual diagram for demonstrating an example of packet discard. 本発明の他の実施形態に係る音声再生動作を説明するための概念図である。It is a conceptual diagram for demonstrating the audio | voice reproduction | regeneration operation | movement which concerns on other embodiment of this invention. 従来の音声通信装置による音声再生動作を説明するための概念図である。It is a conceptual diagram for demonstrating the audio | voice reproduction | regeneration operation | movement by the conventional audio | voice communication apparatus.

Explanation of symbols

１ａ，１ｂ…ＩＰ電話端末、４…インターネット、１０…音声通信装置、１１…Ａ−Ｄ変換部、１２…音声符号化部、１３…ＲＴＰパケット送信処理部、１４…ＵＤＰ／ＩＰ処理部、１５…ネットワークインタフェース、１６…ＲＴＰパケット受信処理部、１７…音声復号部、１８…Ｄ−Ａ変換部、１９…音声蓄積部、２０…信号発生部、２１…再生制御部、３１…マイク、３２…スピーカ。

DESCRIPTION OF SYMBOLS 1a, 1b ... IP telephone terminal, 4 ... Internet, 10 ... Voice communication apparatus, 11 ... A-D conversion part, 12 ... Voice encoding part, 13 ... RTP packet transmission process part, 14 ... UDP / IP process part, 15 DESCRIPTION OF SYMBOLS ... Network interface, 16 ... RTP packet reception process part, 17 ... Audio | voice decoding part, 18 ... DA conversion part, 19 ... Voice storage part, 20 ... Signal generation part, 21 ... Playback control part, 31 ... Microphone, 32 ... Speaker.

Claims

In a voice communication apparatus that receives a packet in which an audio signal is stored and performs audio reproduction using the received signal,
Storage means for accumulating received signals;
An arrival period detection means for detecting an arrival period of the packet;
When the detected arrival period is longer than a predetermined period, a control unit that starts an accumulation operation by the storage unit and stops an audio reproduction operation by a received signal;
A continuous discard number detecting means for detecting a continuous discard number of packets;
With
The control means includes
During the accumulation operation by the storage means, if it is determined that the detected number of consecutive discards is larger than a predetermined value, the accumulation operation by the storage means is stopped and the sound reproduction operation by the received signal is restarted. Voice communication device.

In a voice communication method of a voice communication device that receives a packet in which a voice signal is stored and performs voice reproduction using the received signal,
When the arrival period of the packet is longer than the predetermined period, the accumulation of the received signal is started and the sound reproduction by the received signal is stopped.
When the number of consecutive packets discarded during storage of the received signal becomes larger than a predetermined value, the storage of the received signal is stopped and voice reproduction by the received signal is restarted.