JP4188190B2 - Information multiplexer, audio processing device, information demultiplexer, reception processing device, telephone terminal, node, telephone system, information multiplexing method, information separation method, information multiplexing program, information separation program, and recording medium recording the program - Google Patents
Information multiplexer, audio processing device, information demultiplexer, reception processing device, telephone terminal, node, telephone system, information multiplexing method, information separation method, information multiplexing program, information separation program, and recording medium recording the program Download PDFInfo
- Publication number
- JP4188190B2 JP4188190B2 JP2003329682A JP2003329682A JP4188190B2 JP 4188190 B2 JP4188190 B2 JP 4188190B2 JP 2003329682 A JP2003329682 A JP 2003329682A JP 2003329682 A JP2003329682 A JP 2003329682A JP 4188190 B2 JP4188190 B2 JP 4188190B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- silence
- information
- information data
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Time-Division Multiplex Systems (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、音声データと、音声データとは異なる情報データとの通信を行う電話システムに関するものである。特に、本発明は、音声データを無音圧縮した無音圧縮データと上記情報データとにおける多重化および分離に関するものである。 The present invention relates to a telephone system that performs communication between voice data and information data different from the voice data. In particular, the present invention relates to multiplexing and separation of silence compressed data obtained by silence compression of audio data and the information data.
従来の電話システムは、モデム等のデータ通信アダプタを利用することにより、音声データ通信だけでなく非音声データ通信を行うことができる。しかしながら、通常、1つの通信回線において、音声データ通信と非音声データ通信とを同時に行うことはできない。そこで、下記の特許文献1・2に記載のように、有音か無音かを検出し、有音時に音声データ通信を、無音時に非音声データ通信をそれぞれ切り替えて行うことが提案されている。
A conventional telephone system can perform not only voice data communication but also non-voice data communication by using a data communication adapter such as a modem. However, normally, voice data communication and non-voice data communication cannot be performed simultaneously in one communication line. Therefore, as described in
一方、現在普及し始めている第3世代携帯電話システムでは、W−CDMA(Wideband Code Division Multiple Access)等のデジタル無線通信方式が利用されており、その音声コーデック処理として、高圧縮率と高音質とを兼ね備えた音声アルゴリズムが実装されている。上記音声コーデック処理では、音声の情報量を可能な限り削減するために、無音時に無音圧縮処理を実施しており、これにより、通常の音声処理よりも少ない情報量となる音声処理を実現している。 On the other hand, in the third generation mobile phone systems that have begun to spread, digital wireless communication systems such as W-CDMA (Wideband Code Division Multiple Access) are used. As the audio codec processing, high compression rate and high sound quality are achieved. A voice algorithm that combines In the above audio codec processing, in order to reduce the amount of audio information as much as possible, silence compression processing is performed during silence, thereby realizing audio processing with a smaller amount of information than normal audio processing. Yes.
上記音声コーデック処理を、W−CDMA方式の音声通話を例として示す。W−CDMA方式の音声通話では、音声コーデック処理としてAMR(Adaptive Multi Rate:適応可変レート)処理の実装が必須であり、無音圧縮処理の実装も必須となっている。図14は符号器側(送信側)のAMR処理部の概略構成を示しており、図15は、復号器側(受信側)のAMR処理部の概略構成を示している。なお、図中の実線は音声データの流れを示し、破線はその他の各種情報の流れを示している。 The voice codec process will be described by taking a W-CDMA voice call as an example. In a voice call of the W-CDMA system, it is essential to implement an AMR (Adaptive Multi Rate) process as a voice codec process, and it is also necessary to implement a silence compression process. FIG. 14 shows a schematic configuration of an AMR processing unit on the encoder side (transmission side), and FIG. 15 shows a schematic configuration of an AMR processing unit on the decoder side (reception side). The solid line in the figure indicates the flow of audio data, and the broken line indicates the flow of other various information.
図14に示すように、符号器側のAMR処理部100は、音声入力部101、AMR符号部102、無音検出部103、SID(Silence Descriptor)フレーム作成部104、符号化ビット列生成部105、および音声符号データ出力部106を備える構成である。音声入力部101は、AMR処理部100の外部から入力される音声データを受信し、AMR符号部102に送信する。
As shown in FIG. 14, the encoder-side
AMR符号部102は、音声入力部101からの音声データを無音検出部103およびSIDフレーム作成部104に送信する。また、AMR符号部102は、無音検出部103から無音状態の検出を通知する無音検出データを受信し、受信した無音検出データに基づいて、有音状態の音声データを符号化し、符号化された音声データを符号化ビット列生成部105に送信する。
The
無音検出部103は、音声入力部101からAMR符号部102を介して音声データを受信し、受信した音声データが無音状態であるか否かを検出する。無音状態であることを検出した場合には、上記無音検出データをAMR符号部102およびSIDフレーム作成部104に送信する。
The
SIDフレーム作成部104は、音声入力部101からAMR符号部102を介して音声データを受信するとともに、無音検出部103から上記無音検出データを受信する。受信した無音検出データに基づいて、無音状態の音声データに対して無音時のデータを作成する。作成された無音時のデータを符号化ビット列生成部105に送信する。なお、無音時のデータの詳細に関しては後述する。
The SID
符号化ビット列生成部105は、AMR符号部102から有音時の符号化された音声データを受信するとともに、SIDフレーム作成部104から無音時のデータを受信して、AMRフォーマットに従ったデータ列であるAMR音声データを生成する。生成したAMR音声データを音声符号データ出力部106に送信する。音声符号データ出力部106は、符号化ビット列生成部105からAMR音声データを受信して、AMR処理部100の外部へ出力する。
The encoded bit
図15に示すように、復号器側のAMR処理部110は、音声符号データ入力部111、データ列解析部112、AMR復号部113、エラーフレーム・ロストフレーム処理部114、CNG(Comfort Noise Generation)生成部115、および復号音声出力部116を備える構成である。音声符号データ入力部111は、AMR処理部110の外部から入力されるAMR音声データを受信し、データ列解析部112に送信する。
As shown in FIG. 15, an
データ列解析部112は、音声符号データ入力部部111からのAMR音声データのフレーム構成を解析する。解析の結果、有音時のデータである場合には、AMR復号部113に対し有音であることを通知すると共にAMR音声データを送信する。一方、無音時のデータである場合には、CNG生成部115に対し無音であることを通知すると共にAMR音声データを送信する。その他、エラーフレームである場合またはデータを含んでいない場合には、それぞれの場合である旨をエラーフレーム・ロストフレーム処理部114に通知する。
The data
エラーフレーム・ロストフレーム処理部114は、データ列解析部112からの通知を受け取ると、エラーフレーム処理またはロストフレーム処理を行って、対応する音声データの生成をAMR復号部113に指示する。CNG生成部115は、データ列解析部112から通知およびAMR音声データを受け取ると、無音状態の音声データを生成してAMR復号部113に送信する。
When the error frame / lost
AMR復号部113は、データ列解析部112から通知およびAMR音声データを受け取ると、有音状態のAMR音声データを復号化して、有音状態の音声データを生成する。また、AMR復号部113は、CNG生成部115から無音状態の音声データを受信する。また、AMR復号部113は、エラーフレーム・ロストフレーム処理部114からの指示に基づき音声データを生成する。これらの音声データを復号音声出力部116に送信する。復号音声出力部116は、AMR復号部113から音声データを受信して、AMR処理部110の外部へ出力する。
When the
次に、AMR処理における無音処理の詳細について図16〜図19に基づいて説明する。なお、AMR処理における無音処理に関しては、下記の非特許文献1に詳細に記載されている。
Next, the details of the silence process in the AMR process will be described with reference to FIGS. The silent processing in the AMR processing is described in detail in
図16は、AMR処理において、有音状態から無音状態になったときのフレーム構成を示している。同図において、1つのアルファベットは、1フレームのAMR音声データを表しており、各アルファベットS・F・U・Nで示されるフレームは、それぞれ下記の情報を有している。
S(有音フレーム):音声情報、
F(SID_FIRSTフレーム):無音時情報(連続無音状態の先頭一回目で送る情報)、
U(SID_UPDATEフレーム):無音時情報(連続無音状態の二回目以降で送る情報)、
N(NO_DATAフレーム):データ無し。
FIG. 16 shows a frame structure when the sound state is changed to the silent state in the AMR process. In the figure, one alphabet represents one frame of AMR audio data, and the frames indicated by the alphabets S, F, U, and N each have the following information.
S (sound frame): voice information,
F (SID_FIRST frame): Silence information (information sent at the beginning of the continuous silence state),
U (SID_UPDATE frame): Silence information (information sent after the second continuous silence),
N (NO_DATA frame): No data.
AMR処理の仕様では、図16に示されるように、有音判定から無音判定に切り替って連続的な無音状態と判断した場合には、下記のフレームを順番に送出する。なお、無音判定から有音判定に切り替る場合には、直ちに有音処理に復帰して音声フレームSを送出する。
1)7個の音声フレームS、
2)1個のSID_FIRSTフレームF、
3)3個のNO_DATAフレームN、
4)1個のSID_UPDATEフレームU、
5)7個のNO_DATAフレームN、
6)以下、有音判定になるまで、4)から繰り返す。
In the specification of AMR processing, as shown in FIG. 16, when it is determined that there is a continuous silence state from the sound determination to the silence determination, the following frames are transmitted in order. When switching from silent determination to voice determination, the voice frame S is sent immediately after returning to the voice processing.
1) 7 audio frames S,
2) One SID_FIRST frame F,
3) 3 NO_DATA frames N,
4) One SID_UPDATE frame U,
5) 7 NO_DATA frames N,
6) Hereinafter, repeat from 4) until sound determination is made.
このように、SIDフレームF・Uは、所定の間隔で送信されることになる。なお、この間隔は音声コーデックに依存し、等間隔であるとは限らない。 Thus, the SID frames F · U are transmitted at a predetermined interval. Note that this interval depends on the audio codec and is not necessarily equal.
図17は、各種フレームのビット数を表形式で示している。同図では、左側から順番に、フレームタイプ(Frame Type)、AMRコーデックモード(AMR codec mode)、ビット総数(Total number of bits)、およびクラス(Class)A〜Cの欄がそれぞれ設けられている。また、フレームタイプ(Frame Type)0〜7は、種々の伝送速度(4.75kbps〜12.2kbps)で伝送される音声フレームにそれぞれ対応しており、フレームタイプ8は、SIDフレームF・Uに対応しており、フレームタイプ15は、NO_DATAフレームNに対応している。
FIG. 17 shows the number of bits of various frames in a table format. In the figure, columns of a frame type, an AMR codec mode, a total number of bits, and classes AC are provided in order from the left side. .
図17に示されるように、AMR処理では、AMRコーデックモードごとに、1フレーム当りのデータ量(ビット長)が異なっている。したがって、1フレーム当りのデータ量を検出することにより、AMRコーデックモードを判別することができる。 As shown in FIG. 17, in the AMR process, the data amount (bit length) per frame differs for each AMR codec mode. Therefore, the AMR codec mode can be determined by detecting the data amount per frame.
また、図17に示されるように、例えば、12.2kbpsモードにおける音声フレームSはビット長が244ビットであり、無音時におけるSIDフレームF・Uはビット長が39ビットであり、無音時におけるNO_DATAフレームNはビット長が0ビットである。 Also, as shown in FIG. 17, for example, the audio frame S in the 12.2 kbps mode has a bit length of 244 bits, the silent SID frame F · U has a bit length of 39 bits, and NO_DATA in the silent state. The frame N has a bit length of 0 bits.
このため、有音状態から無音状態に切り替わるときには、図16に示されるように、伝送されるデータ量が著しく減少する、すなわち無音圧縮されることになる。なお、同図において伝送データ量に記載の数値は、1フレームあたりのビット数である。 For this reason, when switching from the voiced state to the silent state, as shown in FIG. 16, the amount of transmitted data is significantly reduced, that is, the sound is compressed. In the figure, the numerical value described in the transmission data amount is the number of bits per frame.
例えば、音声フレームSのデータ伝送速度を12.2kpbsとすると、無音状態が継続する場合には、1個のSID_UPDATEフレームUと7個のNO_DATAフレームNとが伝送されるから、データ伝送速度は平均0.24kbps(=12.2×(39×1+0×7)/(244×8))となる。 For example, if the data transmission rate of the voice frame S is 12.2 kpbs, when the silent state continues, one SID_UPDATE frame U and seven NO_DATA frames N are transmitted. 0.24 kbps (= 12.2 × (39 × 1 + 0 × 7) / (244 × 8)).
なお、図18は、SIDフレームに関して、SID_FIRSTフレームFおよびSID_UPDATEフレームUのフォーマットをそれぞれ示している。図示のように、SID_FIRSTフレームFおよびSID_UPDATEフレームUにおける最初のビットが、SIDのタイプを示す識別子であるSTI(SID Type Indicator)であるので、最初のビットを参照することにより、SID_FIRSTフレームFおよびSID_UPDATEフレームUの何れであるかを判別することができる。 FIG. 18 shows the formats of the SID_FIRST frame F and the SID_UPDATE frame U with respect to the SID frame. As shown in the figure, since the first bit in the SID_FIRST frame F and the SID_UPDATE frame U is an STI (SID Type Indicator) that is an identifier indicating the type of SID, the SID_FIRST frame F and SID_UPDATE are referred to by referring to the first bit. It is possible to determine which of the frames U is.
なお、図17に示されるように、各フレーム内のデータ構造は、ビットの重要度に応じてクラスA〜Cにクラス分けされている。図19は、各クラスに対応して行われるエラー訂正用コーディングおよびCRC(巡回冗長検査)をそれぞれ示している。図示のように、各クラスで誤り訂正および誤り検出の処理が異なっている。 As shown in FIG. 17, the data structure in each frame is classified into classes A to C according to the importance of bits. FIG. 19 shows error correction coding and CRC (cyclic redundancy check) performed corresponding to each class. As shown in the figure, the error correction and error detection processes are different for each class.
また、携帯電話端末の無線送信処理部においては、AMR音声データに対応する無線送信処理が行われる。具体的には、音声フレームSに関しては、クラスA〜Cのそれぞれに分割し、各クラスに応じたチャネルコーディング処理が行われる。また、SIDフレームF・Uに関しては、クラスAに応じたチャネルコーディング処理が行われる。また、携帯電話端末の無線受信処理部においては、無線データの復号時におけるデータ量の判定がそのまま有音・無音の判定として使用される。
上述のように、最近の第3世代携帯電話システム等では、無音圧縮処理により、電話システムの提供するデータ伝送速度に比較し、音声データの平均データ伝送速度を低減する効果がある。一方、音声コーデック処理において、このデータ伝送速度の差を利用して他の情報データを送信する手順は、現在のところ想定されていない。このため、他の情報データを送信するには、音声コーデック処理を行う手段とは別に、例えば上記特許文献1・2に記載されたデータ多重化手段を定義する必要がある。
As described above, recent third-generation mobile phone systems and the like have an effect of reducing the average data transmission rate of voice data as compared with the data transmission rate provided by the telephone system by silent compression processing. On the other hand, in the audio codec processing, a procedure for transmitting other information data using the difference in data transmission speed is not assumed at present. For this reason, in order to transmit other information data, it is necessary to define, for example, the data multiplexing means described in
しかしながら、上記特許文献1・2に記載されたデータ多重化手段では、無音状態であるときに所定の間隔ごとに無音識別子(SIDフレーム)を送信することができず、無音圧縮処理に対応することができない。このため、無音圧縮処理を行う電話システムに利用することができない。
However, the data multiplexing means described in
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、無音圧縮処理を行う電話システムにおいても、他の情報データの多重化・分離を行うことができる情報マルチプレクサ・情報デマルチプレクサ等を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an information multiplexer / information decoder that can multiplex / separate other information data even in a telephone system that performs silence compression processing. To provide a multiplexer or the like.
上記課題を解決するために、本発明に係る情報マルチプレクサは、音声データを無音圧縮した無音圧縮データと、上記音声データとは異なる情報データとを多重化する情報マルチプレクサであって、上記無音圧縮データは、声を出していない無音状態の音声データ部分である無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に変換したものであり、上記無音識別子を検出する検出手段と、該検出手段の検出結果に基づいて、上記無音圧縮データ部分における上記無音識別子同士の間に、上記情報データを組み込む組込み手段を備えることを特徴としている。 In order to solve the above problems, an information multiplexer according to the present invention is an information multiplexer that multiplexes silence-compressed data obtained by silence-compressing sound data and information data different from the sound data, the silence-compressed data Is a silence data portion that is a silent voice data portion that is not producing a voice, and is converted into a silence compression data portion that includes the silence identifier indicating the silence state at predetermined intervals, and the silence identifier is detected. And a means for incorporating the information data between the silence identifiers in the silence compressed data portion based on the detection result of the detection means.
さらに、本発明に係る情報マルチプレクサは、上記の構成において、上記組込み手段にて上記情報データが組み込まれた無音圧縮データ部分は、複数のフレームからなり、上記無音識別子を含むフレームは、上記情報データの一部を含むフレームと比べて、データ構造が異なることを特徴としている。 Further, in the information multiplexer according to the present invention, in the above configuration, the silence compression data portion in which the information data is incorporated by the incorporation means includes a plurality of frames, and the frame including the silence identifier includes the information data Compared with a frame including a part of the data structure, the data structure is different.
さらに、本発明に係る情報マルチプレクサは、上記の構成において、上記組込み手段は、同じ情報データを繰返し組み込むことを特徴としている。 Furthermore, the information multiplexer according to the present invention is characterized in that, in the above configuration, the incorporation means repeatedly incorporates the same information data.
さらに、本発明に係る情報マルチプレクサは、上記の構成において、上記組込み手段による上記無音圧縮データと上記情報データとの多重化を制御する多重化制御手段をさらに備えることを特徴としている。 Furthermore, the information multiplexer according to the present invention is characterized in that, in the above-described configuration, the information multiplexer further includes multiplexing control means for controlling multiplexing of the silence compressed data and the information data by the incorporating means.
また、本発明に係る音声処理デバイスは、入力された音声データを無音圧縮する無音圧縮手段と、該無音圧縮手段にて無音圧縮された音声データである無音圧縮データと、上記音声データとは異なる情報データとを多重化する多重化手段とを備える音声処理デバイスであって、上記無音圧縮手段は、入力された音声データ部分が、声を出していない無音状態の音声データ部分である無音データ部分であることを検出する無音検出手段と、上記音声データにおいて、上記無音検出手段にて検出された無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に置き換える置換え手段とを備えており、上記多重化手段は、上記置換え手段から、上記無音圧縮データ部分における上記無音識別子の位置情報を取得し、取得された位置情報に基づいて、上記無音圧縮データ部分における上記無音識別子同士の間に、上記情報データを組み込む組込み手段とを備えることを特徴としている。 Also, the audio processing device according to the present invention is different from the audio data in the audio data compression unit, the audio data compressed by the audio compression unit, and the audio data compressed by the audio compression unit. An audio processing device comprising multiplexing means for multiplexing information data, wherein the silent compression means is a silent data portion in which the input voice data portion is a silent voice data portion that is not producing a voice In the audio data, the silence data portion detected by the silence detection device is replaced with a silence compression data portion including a silence identifier indicating the silence state at predetermined intervals. Replacement means, and the multiplexing means obtains position information of the silence identifier in the silence compressed data portion from the replacement means. And, based on the obtained position information, between each other the silent identifier in the silence compression data part, it is characterized by comprising a built-in means for incorporating the information data.
さらに、本発明に係る音声処理デバイスは、上記の構成において、上記無音圧縮手段は、入力された音声データの符号化を行う音声符号化手段をさらに備えることを特徴としている。 Furthermore, the speech processing device according to the present invention is characterized in that, in the above configuration, the silence compression means further comprises speech encoding means for encoding input speech data.
また、本発明に係る情報デマルチプレクサは、音声データを無音圧縮した無音圧縮データと、上記音声データとは異なる情報データとを多重化した多重化データを各々のデータに分離する情報デマルチプレクサであって、上記無音圧縮データは、声を出していない無音状態の音声データ部分である無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に変換したものであり、上記多重化データは、上記無音識別データ部分における上記無音識別子同士の間に、上記情報データを組み込んだものであり、上記多重化データから上記無音識別子を検出する検出手段と、該検出手段の検出結果に基づいて、上記無音識別データ同士の間から上記情報データを分離する分離手段とを備えることを特徴としている。 The information demultiplexer according to the present invention is an information demultiplexer for separating multiplexed data obtained by multiplexing silence-compressed data obtained by silently compressing audio data and information data different from the audio data into respective data. The silence compression data is obtained by converting a silence data portion, which is a silence state voice data portion not producing a voice, into a silence compression data portion including a silence identifier indicating the silence state at predetermined intervals. The multiplexed data is obtained by incorporating the information data between the silence identifiers in the silence identification data portion, and detecting means for detecting the silence identifier from the multiplexed data; and Separation means for separating the information data from between the silence identification data based on a detection result. .
さらに、本発明に係る情報デマルチプレクサは、上記の構成において、上記多重化データは複数のフレームからなり、上記無音識別子を含むフレームと、上記情報データの一部を含むフレームとのデータ構造が異なることを利用して、上記検出手段は上記無音識別子を含むフレームを検出し、上記分離手段は上記情報データの一部を含むフレームを分離することを特徴としている。 Furthermore, in the information demultiplexer according to the present invention, in the above configuration, the multiplexed data is composed of a plurality of frames, and the data structure of the frame including the silence identifier is different from the frame including a part of the information data. By utilizing this, the detection means detects a frame including the silence identifier, and the separation means separates a frame including a part of the information data.
さらに、本発明に係る情報デマルチプレクサは、上記の構成において、上記多重化データは、同じ情報データを繰返し組み込んだデータであり、上記分離手段にて分離された情報データの繰返し部分を照合する照合手段をさらに備えることを特徴としている。 Furthermore, the information demultiplexer according to the present invention is the above configuration, wherein the multiplexed data is data in which the same information data is repeatedly incorporated, and collation for collating repeated portions of the information data separated by the separation means It is characterized by further providing a means.
さらに、本発明に係る情報デマルチプレクサは、上記の構成において、上記多重化データから分離された上記情報データの出力を制御する情報データ出力制御手段を備えることを特徴としている。 Furthermore, an information demultiplexer according to the present invention is characterized in that, in the above configuration, an information data output control means for controlling the output of the information data separated from the multiplexed data is provided.
また、本発明に係る受信処理デバイスは、音声データを無音圧縮した無音圧縮データと、上記音声データとは異なる情報データとを多重化した多重化データの受信処理を行う受信処理手段と、該受信処理手段にて受信処理された多重化データを各々のデータに分離する分離手段とを備える受信処理デバイスであって、上記無音圧縮データは、声を出していない無音状態の音声データ部分である無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に変換したものであり、上記多重化データは、上記無音識別データ部分における上記無音識別子同士の間に、上記情報データを組み込んだものであり、上記受信処理手段は、上記多重化データの各部の受信レートを判定する受信レート判定手段をさらに備えており、上記分離手段は、上記受信レート判定手段にて判定された受信レートの相違に基づいて、上記無音圧縮データおよび上記情報データに分離するものであることを特徴としている。 Further, the reception processing device according to the present invention includes a reception processing means for performing a reception process of multiplexed data obtained by multiplexing silence-compressed data obtained by silently compressing audio data and information data different from the audio data, and the reception processing unit A reception processing device including separation means for separating the multiplexed data received and processed by the processing means into each data, wherein the silence compression data is a silence data portion that is a silent voice data portion that is not producing a voice The data portion is converted into a silence compressed data portion including a silence identifier indicating the silence state at predetermined intervals, and the multiplexed data is between the silence identifiers in the silence identification data portion. Information data is incorporated, and the reception processing means further includes reception rate determination means for determining the reception rate of each part of the multiplexed data. And, said separating means based on the difference of the determined reception rate at the reception rate determining means, and characterized in that the separation in the silence compression data and the information data.
また、本発明に係る電話端末は、音声データを無音圧縮する無音圧縮手段と、該無音圧縮手段にて無音圧縮された無音圧縮データと、上記音声データとは異なる情報データとを多重化する上記構成の情報マルチプレクサと、該情報マルチプレクサにて多重化された多重化データを送信する送信手段と、多重化データを受信する受信手段と、該受信手段にて受信した多重化データを上記無音圧縮データおよび上記情報データに分離する上記構成の情報デマルチプレクサまたは上記構成の受信処理デバイスと、該情報デマルチプレクサにて分離された無音圧縮データを元の音声データに復元する音声復元手段とを備えることを特徴としている。 Further, the telephone terminal according to the present invention multiplexes the silence compression means for silently compressing the voice data, the silence compression data silence-compressed by the silence compression means, and information data different from the voice data. An information multiplexer having a structure, a transmitting means for transmitting multiplexed data multiplexed by the information multiplexer, a receiving means for receiving multiplexed data, and the multiplexed data received by the receiving means for converting the silence compressed data And an information demultiplexer configured as described above that separates into the information data or a reception processing device configured as described above, and an audio restoration means that restores the silence-compressed data separated by the information demultiplexer into the original audio data. It is a feature.
さらに、本発明に係る電話端末は、上記の構成において、上記無音圧縮手段および上記情報マルチプレクサに代えて、上記構成の音声処理デバイスを備えることを特徴としている。 Furthermore, the telephone terminal according to the present invention is characterized in that, in the above configuration, the audio processing device having the above configuration is provided instead of the silence compression means and the information multiplexer.
また、本発明に係るノードは、上記構成の電話端末と通信可能なノードであって、上記電話端末から多重化データを受信する受信手段と、該受信手段にて受信した多重化データを上記無音圧縮データおよび上記情報データに分離する上記構成の情報デマルチプレクサまたは上記構成の受信処理デバイスと、上記無音圧縮データと、上記音声データとは異なる情報データとを多重化する上記構成の情報マルチプレクサと、該情報マルチプレクサにて多重化された多重化データを上記電話端末に送信する送信手段とを備えることを特徴としている。 The node according to the present invention is a node capable of communicating with the telephone terminal having the above-described configuration, and includes a receiving means for receiving multiplexed data from the telephone terminal, and the multiplexed data received by the receiving means as the silence. An information demultiplexer configured as described above that separates into compressed data and the information data or a reception processing device configured as described above, an information multiplexer configured as described above that multiplexes the silent compressed data and information data different from the audio data, And transmitting means for transmitting the multiplexed data multiplexed by the information multiplexer to the telephone terminal.
また、本発明に係る電話システムは、上記構成の電話端末を、通信ネットワークを介して接続していることを特徴としている。 The telephone system according to the present invention is characterized in that the telephone terminals having the above-described configuration are connected via a communication network.
さらに、本発明に係る電話システムは、上記の構成において、上記通信ネットワークは、上記構成のノードを含むことを特徴としている。 Furthermore, the telephone system according to the present invention is characterized in that, in the above configuration, the communication network includes a node having the above configuration.
また、本発明に係る情報多重化方法は、音声データを無音圧縮した無音圧縮データと、上記音声データとは異なる情報データとを多重化する情報多重化方法であって、上記無音圧縮データは、声を出していない無音状態の音声データ部分である無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に変換したものであり、上記無音圧縮データ部分から上記無音識別子を検出する検出ステップと、該検出ステップの検出結果に基づき、上記無音圧縮データ部分における上記無音識別子同士の間に、上記情報データを組み込む組込みステップとを含むことを特徴としている。 The information multiplexing method according to the present invention is an information multiplexing method for multiplexing silence compressed data obtained by silently compressing voice data and information data different from the voice data, wherein the silence compressed data is: A silence data portion that is a sound data portion in a silent state that is not producing a voice is converted into a silence compressed data portion that includes a silence identifier indicating the silence state at predetermined intervals. The method includes a detection step of detecting a silence identifier, and a step of incorporating the information data between the silence identifiers in the silence compression data portion based on a detection result of the detection step.
また、本発明に係る情報分離方法は、音声データを無音圧縮した無音圧縮データと、上記音声データとは異なる情報データとを多重化した多重化データを各々のデータに分離する情報分離方法であって、上記無音圧縮データは、声を出していない無音状態の音声データ部分である無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に変換したものであり、上記多重化データは、上記無音識別データ部分における上記無音識別子同士の間に、上記情報データを組み込んだものであり、上記多重化データから上記無音識別子を検出する検出ステップと、該検出ステップによる検出結果に基づいて、上記無音識別データ同士の間から上記情報データを分離する分離ステップとを含むことを特徴としている。 Also, the information separation method according to the present invention is an information separation method for separating multiplexed data obtained by multiplexing silence-compressed data obtained by silence-compressing voice data and information data different from the voice data into respective data. The silence compression data is obtained by converting a silence data portion, which is a silence state voice data portion not producing a voice, into a silence compression data portion including a silence identifier indicating the silence state at predetermined intervals. The multiplexed data is obtained by incorporating the information data between the silence identifiers in the silence identification data portion, and a detection step of detecting the silence identifier from the multiplexed data, and the detection step And a separation step of separating the information data from between the silence identification data based on a detection result.
また、本発明に係る情報多重化プログラムは、上記構成の情報マルチプレクサを動作させるための情報多重化プログラムであって、コンピュータを上記各手段として機能させるための情報多重化プログラムであることを特徴としている。 An information multiplexing program according to the present invention is an information multiplexing program for operating the information multiplexer having the above configuration, and is an information multiplexing program for causing a computer to function as each of the above means. Yes.
また、本発明に係る情報分離プログラムは、上記構成の情報デマルチプレクサを動作させるための情報分離プログラムであって、コンピュータを上記各手段として機能させるための情報分離プログラムであることを特徴としている。 An information separation program according to the present invention is an information separation program for operating the information demultiplexer having the above-described configuration, and is an information separation program for causing a computer to function as each means.
また、本発明に係るコンピュータ読取り可能な記録媒体は、上記情報多重化プログラム、または上記情報分離プログラムが記録されていることを特徴としている。 A computer-readable recording medium according to the present invention is characterized in that the information multiplexing program or the information separation program is recorded.
上記のように、本発明に係る情報マルチプレクサは、上記無音識別子を検出する検出手段と、該検出手段の検出結果に基づいて、上記無音圧縮データ部分における上記無音識別子同士の間に、上記情報データを組み込む組込み手段を備える構成である。 As described above, the information multiplexer according to the present invention includes a detection unit that detects the silence identifier, and the information data between the silence identifiers in the silence compression data portion based on a detection result of the detection unit. It is the structure provided with the incorporating means which incorporates.
上記の構成によると、組込み手段は、検出手段が検出した無音識別子同士の間に情報データを組み込んでいる。これにより、情報データを多重化しても所定の間隔毎に無音識別子が含まれるから、無音圧縮処理を行う電話システムにおいても、情報データの多重化を実現できるという効果を奏する。 According to the above configuration, the incorporating means incorporates information data between the silence identifiers detected by the detecting means. As a result, even if the information data is multiplexed, the silence identifier is included at every predetermined interval, so that it is possible to realize multiplexing of the information data even in the telephone system that performs the silence compression process.
なお、組込み手段は、有音状態から無音状態に切り替わる最初の無音識別子から情報データを組み込んでも良いし、上記最初の無音識別子から所定回数または所定時間経過後の無音識別子から情報データを組み込んでも良い。 The incorporation means may incorporate the information data from the first silence identifier that switches from the voiced state to the silent state, or may incorporate the information data from the first silent identifier a predetermined number of times or after a predetermined time has elapsed. .
また、上記情報マルチプレクサは、無音圧縮処理を含む音声符号化処理を行う音声符号化手段に設けても良いし、データを送信用データに変換する送信処理手段に設けても良い。 The information multiplexer may be provided in a voice encoding unit that performs a voice encoding process including a silence compression process, or may be provided in a transmission processing unit that converts data into transmission data.
さらに、本発明に係る情報マルチプレクサは、上記の構成において、上記組込み手段にて上記情報データが組み込まれた無音圧縮データ部分は、複数のフレームからなり、上記無音識別子を含むフレームは、上記情報データの一部を含むフレームと比べて、データ構造が異なる構成である。 Further, in the information multiplexer according to the present invention, in the above configuration, the silence compression data portion in which the information data is incorporated by the incorporation means includes a plurality of frames, and the frame including the silence identifier includes the information data Compared with a frame including a part of the data structure, the data structure is different.
ここで、データ構造が異なる例としては、フレームのビット長が異なることや、CRCが異なることが挙げられる。 Here, examples of different data structures include different frame bit lengths and different CRCs.
上記の構成によると、データ構造から、無音識別子を含むフレームであるか情報データの一部を含むフレームであるかを容易に識別することができる。したがって、情報データが多重化された多重化データから情報データを容易に分離できるという効果を奏する。 According to said structure, it can identify easily from the data structure whether it is a flame | frame containing a silence identifier or a frame containing a part of information data. Therefore, there is an effect that the information data can be easily separated from the multiplexed data in which the information data is multiplexed.
さらに、本発明に係る情報マルチプレクサは、上記の構成において、上記組込み手段は、同じ情報データを繰返し組み込む構成である。 Furthermore, the information multiplexer according to the present invention is configured such that, in the above configuration, the incorporation means repeatedly incorporates the same information data.
上記の構成によると、同じ情報データを繰返し組み込むことにより、情報データを確実に伝送できるという効果を奏する。なお、情報データを繰返し組み込んでも良いし、情報データの一部を繰返し組み込んでも良い。 According to said structure, there exists an effect that information data can be transmitted reliably by incorporating the same information data repeatedly. Information data may be repeatedly incorporated, or part of information data may be incorporated repeatedly.
さらに、本発明に係る情報マルチプレクサは、上記の構成において、上記組込み手段による上記無音圧縮データと上記情報データとの多重化を制御する多重化制御手段をさらに備える構成である。 Furthermore, the information multiplexer according to the present invention is a configuration further comprising multiplexing control means for controlling multiplexing of the silence compressed data and the information data by the incorporating means in the above configuration.
この多重化を制御する具体例としては、上記組込み手段に上記情報データを提供するか否かを制御したり、上記組込み手段が上記無音圧縮データに上記情報データを組み込むか否かを制御したりすることが挙げられる。 Specific examples of controlling this multiplexing include controlling whether to provide the information data to the incorporating means, and controlling whether the incorporating means incorporates the information data into the silence compressed data. To do.
上記の構成によると、多重化制御手段は、情報データが多重化されて出力されるか否かを制御できるので、情報が勝手に出力されることを防止できる。 According to the above configuration, the multiplexing control means can control whether or not the information data is multiplexed and output, so that information can be prevented from being output without permission.
また、本発明に係る音声処理デバイスは、入力された音声データ部分が、声を出していない無音状態の音声データ部分である無音データ部分であることを検出する無音検出手段と、上記音声データにおいて、上記無音検出手段にて検出された無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に置き換える置換え手段とを上記無音圧縮手段が備えており、上記多重化手段が、上記置換え手段から、上記無音圧縮データ部分における上記無音識別子の位置情報を取得し、取得された位置情報に基づいて、上記無音圧縮データ部分における上記無音識別子同士の間に、上記情報データを組み込む組込み手段とを備える構成である。 In addition, the speech processing device according to the present invention includes a silence detection means for detecting that the input speech data portion is a silence data portion that is a silent speech data portion that is not producing a voice, and the speech data The silence compression means comprises a replacement means for replacing the silence data portion detected by the silence detection means with a silence compressed data portion including a silence identifier indicating the silence state at predetermined intervals, and the multiplexing compression means Obtaining means acquires position information of the silence identifier in the silence compressed data portion from the replacement means, and based on the acquired position information, the information between the silence identifiers in the silence compressed data portion is obtained. And a built-in means for incorporating data.
上記の構成によると、組込み手段は、置換え手段から取得した、無音圧縮データ部分における無音識別子の位置情報に基づいて、無音識別子同士の間に情報データを組み込んでいる。これにより、情報データを多重化しても所定の間隔毎に無音識別子が含まれるから、無音圧縮処理を行う音声処理デバイスで、情報データの多重化を実現できるという効果を奏する。 According to the above configuration, the incorporating means incorporates the information data between the silence identifiers based on the position information of the silence identifier in the silence compressed data portion obtained from the replacement means. As a result, even if the information data is multiplexed, a silence identifier is included at every predetermined interval. Therefore, it is possible to realize multiplexing of the information data by a voice processing device that performs a silence compression process.
さらに、本発明に係る音声処理デバイスは、上記の構成において、上記無音圧縮手段は、入力された音声データの符号化を行う音声符号化手段をさらに備える構成である。 Furthermore, the speech processing device according to the present invention is configured such that, in the above configuration, the silence compression means further includes speech encoding means for encoding input speech data.
上記の構成によると、音声符号化手段が音声データの符号化を行うので、音声データを効率よくかつ確実に伝送するという効果を奏する。 According to said structure, since an audio | voice encoding means encodes audio | voice data, there exists an effect of transmitting audio | voice data efficiently and reliably.
なお、音声符号化手段は、無音圧縮された音声データの符号化を行ってもよい。また、音声符号化手段は、有音状態の音声データ部分に対してのみ符号化を行うこともできる。 Note that the speech encoding means may encode speech data that has been silence-compressed. The speech encoding means can also encode only the speech data portion in a voiced state.
また、本発明に係る情報デマルチプレクサは、上記多重化データから上記無音識別子を検出する検出手段と、該検出手段の検出結果に基づいて、上記無音識別データ同士の間から上記情報データを分離する分離手段とを備える構成である。 The information demultiplexer according to the present invention separates the information data from between the silence identification data based on a detection means for detecting the silence identifier from the multiplexed data and a detection result of the detection means. And a separating means.
上記の構成によると、分離手段は、検出手段が検出した無音識別子同士の間に組み込まれた情報データを多重化データから分離するので、多重化データから情報データの分離を実現できるという効果を奏する。 According to the above configuration, since the separating unit separates the information data incorporated between the silence identifiers detected by the detecting unit from the multiplexed data, there is an effect that the separation of the information data from the multiplexed data can be realized. .
なお、上記情報デマルチプレクサは、音声復号処理を行う音声復号手段に設けても良いし、送信用データを元のデータに変換する受信処理手段に設けても良い。 The information demultiplexer may be provided in a voice decoding unit that performs a voice decoding process, or may be provided in a reception processing unit that converts transmission data into original data.
さらに、本発明に係る情報デマルチプレクサは、上記の構成において、上記多重化データは複数のフレームからなり、上記無音識別子を含むフレームと、上記情報データの一部を含むフレームとのデータ構造が異なることを利用して、上記検出手段は上記無音識別子を含むフレームを検出し、上記分離手段は上記情報データの一部を含むフレームを分離する構成である。 Furthermore, in the information demultiplexer according to the present invention, in the above configuration, the multiplexed data is composed of a plurality of frames, and the data structure of the frame including the silence identifier is different from the frame including a part of the information data. Accordingly, the detection means detects a frame including the silence identifier, and the separation means separates a frame including a part of the information data.
上記の構成によると、データ構造から、無音識別子を含むフレームであるか情報データの一部を含むフレームであるかを容易に識別することができる。したがって、情報データが多重化された多重化データから情報データを容易に分離できるという効果を奏する。 According to said structure, it can identify easily from the data structure whether it is a flame | frame containing a silence identifier or a frame containing a part of information data. Therefore, there is an effect that the information data can be easily separated from the multiplexed data in which the information data is multiplexed.
さらに、本発明に係る情報デマルチプレクサは、上記の構成において、上記多重化データは、同じ情報データを繰返し組み込んだデータであり、上記分離手段にて分離された情報データの繰返し部分を照合する照合手段をさらに備える構成である。 Furthermore, the information demultiplexer according to the present invention is the above configuration, wherein the multiplexed data is data in which the same information data is repeatedly incorporated, and collation for collating repeated portions of the information data separated by the separation means It is the structure further provided with a means.
上記の構成によると、照合手段により情報データの繰返し部分を判別することができる。したがって、送信側が、情報データを確実に伝えるために情報データを繰返し送信した場合にも対処できるという効果を奏する。 According to said structure, the repeating part of information data can be discriminate | determined by a collation means. Therefore, it is possible to cope with a case where the transmission side repeatedly transmits information data in order to reliably transmit the information data.
さらに、本発明に係る情報デマルチプレクサは、上記の構成において、上記多重化データから分離された上記情報データの出力を制御する情報データ出力制御手段を備える構成である。 Furthermore, the information demultiplexer according to the present invention is configured to include information data output control means for controlling the output of the information data separated from the multiplexed data in the above configuration.
この情報データの出力を制御する具体例としては、分離手段が情報データを分離するか否かを制御したり、分離した情報データを出力するか否かを制御したり、情報データが符号化されていれば、分離した情報データを復号するか否かを制御したりすることが挙げられる。 Specific examples of controlling the output of the information data include controlling whether or not the separating means separates the information data, controlling whether or not the separated information data is output, and encoding the information data. If so, it is possible to control whether or not to decode the separated information data.
上記の構成によると、情報データ出力制御手段が情報データを出力するか否かを制御できるので、例えばコンピュータウィルスなどのような所望しない情報データの取得を制御することができる。 According to said structure, since it can control whether an information data output control means outputs information data, acquisition of undesired information data like a computer virus etc. can be controlled, for example.
また、本発明に係る受信処理デバイスは、上記受信処理手段が、上記多重化データの各部の受信レートを判定する受信レート判定手段をさらに備えており、上記分離手段は、上記受信レート判定手段にて判定された受信レートの相違に基づいて、上記無音圧縮データおよび上記情報データに分離するものである構成である。 In the reception processing device according to the present invention, the reception processing means further includes a reception rate determination means for determining a reception rate of each part of the multiplexed data, and the separation means is included in the reception rate determination means. Based on the difference in the reception rates determined in this way, the silence compressed data and the information data are separated.
上記の構成によると、分離手段は、受信レートの相違に基づいて、無音圧縮データおよび情報データに分離している。これにより、無音圧縮された音声データに情報データが多重化された多重化データの分離を実現できるという効果を奏する。 According to said structure, the isolation | separation means is isolate | separated into silence compression data and information data based on the difference in a reception rate. As a result, it is possible to realize separation of multiplexed data in which information data is multiplexed with silence-compressed audio data.
また、本発明に係る電話端末は、上記無音圧縮手段にて無音圧縮された無音圧縮データと情報データとを多重化する上記構成の情報マルチプレクサと、該情報マルチプレクサにて多重化された多重化データを送信する送信手段と、多重化データを受信する受信手段と、該受信手段にて受信した多重化データを上記無音圧縮データおよび上記情報データに分離する上記構成の情報デマルチプレクサまたは上記構成の受信処理デバイスと、該情報デマルチプレクサにて分離された無音圧縮データを元の音声データに復元する音声復元手段とを備える構成である。 The telephone terminal according to the present invention includes an information multiplexer configured as described above, wherein the silence compression data silenced by the silence compression means and information data are multiplexed, and multiplexed data multiplexed by the information multiplexer. An information demultiplexer having the above configuration or receiving the above configuration that separates the multiplexed data received by the receiving unit into the silence-compressed data and the information data. It is a structure provided with a processing device and the audio | voice decompression | restoration means to decompress | restore the silence compression data isolate | separated by this information demultiplexer into the original audio | voice data.
上記の構成によると、電話端末は、無音圧縮データおよび情報データを多重化して送信するとともに、多重化データを無音圧縮データおよび情報データに分離することができるので、通話中に情報データを送受できるという効果を奏する。 According to the above configuration, the telephone terminal can multiplex and transmit the silence compressed data and the information data, and can separate the multiplexed data into the silence compressed data and the information data, so that the information data can be transmitted and received during a call. There is an effect.
なお、上記無音圧縮手段および上記情報マルチプレクサに代えて、上記構成の音声処理デバイスを備えることもできる。 Instead of the silence compression means and the information multiplexer, an audio processing device having the above configuration can be provided.
また、本発明に係るノードは、上記電話端末から多重化データを受信する受信手段と、該受信手段にて受信した多重化データを上記無音圧縮データおよび上記情報データに分離する上記構成の情報デマルチプレクサまたは上記構成の受信処理デバイスと、上記無音圧縮データおよび上記情報データを多重化する上記構成の情報マルチプレクサと、該情報マルチプレクサにて多重化された多重化データを上記電話端末に送信する送信手段とを備える構成である。 The node according to the present invention includes a receiving means for receiving multiplexed data from the telephone terminal, and an information data having the above configuration for separating the multiplexed data received by the receiving means into the silence compressed data and the information data. Multiplexer or reception processing device having the above structure, information multiplexer having the above structure for multiplexing the silence compression data and the information data, and transmission means for transmitting the multiplexed data multiplexed by the information multiplexer to the telephone terminal It is the structure provided with.
上記の構成によると、ノードは、電話端末からの多重化データを無音圧縮データおよび情報データに分離するとともに、無音圧縮データおよび情報データを多重化して電話端末送信することができる。したがって、電話端末間で通話中に、電話端末とノードとの間で情報データを送受できるという効果を奏する。 According to the above configuration, the node can multiplex multiplexed data from the telephone terminal into silence compressed data and information data, and multiplex the silence compressed data and information data to transmit to the telephone terminal. Therefore, there is an effect that information data can be transmitted and received between the telephone terminal and the node during a telephone call between the telephone terminals.
同様に、本発明に係る電話システムは、上記構成の複数の電話端末を通信ネットワークを介して接続することにより、通話中に情報データを送受できるという効果を奏する。 Similarly, the telephone system according to the present invention has an effect that information data can be transmitted and received during a call by connecting a plurality of telephone terminals having the above configuration via a communication network.
また、上記構成の電話システムに上記構成のノードを含むことにより、電話端末間で通話中に、電話端末とノードとの間で情報データを送受できるという効果を奏する。 In addition, by including the node having the above configuration in the telephone system having the above configuration, it is possible to transmit and receive information data between the telephone terminal and the node during a call between the telephone terminals.
また、本発明に係る情報多重化方法は、上記無音圧縮データ部分から上記無音識別子を検出する検出ステップと、該検出ステップの検出結果に基づき、上記無音圧縮データ部分における上記無音識別子同士の間に、上記情報データを組み込む組込みステップとを含む方法である。 The information multiplexing method according to the present invention includes a detection step of detecting the silence identifier from the silence compression data portion, and between the silence identifiers in the silence compression data portion based on a detection result of the detection step. And a built-in step of incorporating the information data.
上記の方法によると、組込みステップにより、検出手段が検出した無音識別子同士の間に情報データが組み込まれる。これにより、情報データを多重化しても所定の間隔毎に無音識別子が含まれるから、無音圧縮処理を行う電話システムにおいても、情報データの多重化を実現できるという効果を奏する。 According to the above method, the information data is incorporated between the silence identifiers detected by the detection means in the incorporation step. As a result, even if the information data is multiplexed, the silence identifier is included at every predetermined interval, so that it is possible to realize multiplexing of the information data even in the telephone system that performs the silence compression process.
また、本発明に係る情報分離方法は、上記多重化データから上記無音識別子を検出する検出ステップと、該検出ステップによる検出結果に基づいて、上記無音識別データ同士の間から上記情報データを分離する分離ステップとを含む方法である。 Also, the information separation method according to the present invention separates the information data from the silence identification data based on a detection step of detecting the silence identifier from the multiplexed data and a detection result of the detection step. And a separation step.
上記の方法によると、検出ステップによって検出された無音識別子同士の間に組み込まれた情報データが、分離ステップによって多重化データから分離されるので、多重化データから情報データの分離を実現できるという効果を奏する。 According to the above method, since the information data incorporated between the silence identifiers detected by the detection step is separated from the multiplexed data by the separation step, it is possible to realize separation of the information data from the multiplexed data Play.
なお、上記情報マルチプレクサにおける各手段を、情報多重化プログラムによりコンピュータ上で実行させることができる。また、上記情報デマルチプレクサにおける各手段を、情報分離プログラムによりコンピュータ上で実行させることができる。さらに、上記情報多重化プログラムまたは上記情報分離プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記情報多重化プログラムまたは上記情報分離プログラムを実行させることができる。 Each means in the information multiplexer can be executed on a computer by an information multiplexing program. Each means in the information demultiplexer can be executed on a computer by an information separation program. Furthermore, by storing the information multiplexing program or the information separation program in a computer-readable recording medium, the information multiplexing program or the information separation program can be executed on any computer.
〔実施の形態1〕
本発明の一実施形態について図1〜図3に基づいて以下に説明する。図1は、本実施形態における送信側のAMR処理部の概略構成を示しており、図2は、受信側のAMR処理部の概略構成を示している。なお、図中の実線は音声データおよび情報データの流れを示し、破線はその他各種情報の流れを示している。送信側および受信側のAMR処理部10・20は、携帯電話端末などの電話端末に設けることもできるし、携帯電話端末と無線通信を行う基地局やメールサーバなどのように、通信ネットワーク上のノードに設けることもできる。
[Embodiment 1]
An embodiment of the present invention will be described below with reference to FIGS. FIG. 1 shows a schematic configuration of an AMR processing unit on the transmission side in the present embodiment, and FIG. 2 shows a schematic configuration of an AMR processing unit on the reception side. In addition, the solid line in a figure shows the flow of audio | voice data and information data, and the broken line has shown the flow of other various information. The
図1に示すように、送信側のAMR処理部(情報マルチプレクサ、音声処理デバイス)10は、音声入力部11、AMR符号部(検出手段、無音圧縮手段、音声符号化手段)12、無音検出部(無音検出手段)13、SIDフレーム作成部(置換え手段)14、符号化ビット列生成部(無音圧縮手段)15、情報データ入力部16、情報データ変換処理部17、情報データ多重部(組込み手段)18、および音声符号データ出力部19を備える構成である。なお、音声入力部11、無音検出部13、SIDフレーム作成部14、符号化ビット列生成部15、および音声符号データ出力部19は、図14に示される従来の音声入力部101、無音検出部103、SIDフレーム作成部104、符号化ビット列生成部105、音声符号データ出力部106とそれぞれ同様に機能するので、その説明を省略する。
As shown in FIG. 1, an AMR processing unit (information multiplexer, speech processing device) 10 on the transmission side includes a
AMR符号部12は、音声入力部11からの音声データを無音検出部13およびSIDフレーム作成部14に送信する。また、AMR符号部12は、無音検出部13から無音状態の検出を通知する無音検出データを受信し、受信した無音検出データに基づいて、有音状態の音声データを符号化し、符号化された音声データを符号化ビット列生成部105に送信する。さらに、AMR符号部12は、受信した無音検出データに基づいて、SIDフレーム(無音識別子)の位置やSIDの種類などのSID情報を情報データ変換処理部17および情報データ多重部18に通知する。
The
情報データ入力部16は、AMR処理部10の外部から入力される情報データを受信し、情報データ変換処理部17に送信する。ここで、情報データには、音声データとは別に伝えるべきデータであれば、任意のデータを利用することができる。例えば、携帯電話端末間では、電子メール、ファイル転送用データ、メッセージ交換用テキストデータなどが挙げられる。また、携帯電話端末と基地局との間では、他の端末からまたは他の端末への電子メール、テレビジョン(TV)放送における文字放送(Teletext)のような、登録ユーザのための報知データ、端末の位置情報などのようなキャリア側の制御データなどが挙げられる。
The information
情報データ変換処理部17は、情報データ入力部16から情報データを受信して所定のフォーマットに変換する。また、情報データ変換処理部17は、AMR符号部12からSID情報を受け取り、受け取ったSID情報に基づいて、変換された情報データを分割して情報データ多重部18に送信する。
The information data
情報データ多重部18は、AMR符号部12からSID情報を受け取らない場合、またはAMR符号部12からSID情報を受け取っても情報データ変換処理部17から情報データを受信していない場合には、符号化ビット列生成部15からAMR音声データを受信して音声符号データ出力部19に送信する。また、情報データ多重部18は、AMR符号部12からSID情報を受け取るとともに、情報データ変換処理部17から情報データを受信する場合には、受け取ったSID情報に基づいて、SIDフレームF・Uの間に情報データを組み込むことにより、AMR音声データおよび情報データを多重化して、多重化データを音声符号データ出力部19に送信する。
If the information
上記の構成において、音声入力部11に入力された音声データは、無音検出部13にて無音状態であるか有音状態であるかが検出される。有音状態であれば、AMR符号部12にて符号化され、符号化ビット列生成部15にて音声フレームSに変換される。一方、無音状態であれば、SIDフレーム生成部14にて生成されたSIDフレームF・UとNO_DATAフレームNとに変換される。符号化ビット列生成部15にて変換されたフレームS・F・U・Nは、情報データ多重部18に送信される。
In the above configuration, the sound data input to the
一方、情報データ入力部16に入力された情報データは、情報データ変換処理部17にて所定のフォーマットに変換された後、SID情報の通知に基づいて情報データ多重部18に送信される。情報データ多重部18にて、SID情報に基づいて、NO_DATAフレームNを情報データフレームIに置換し、音声符号データ出力部19を介してAMR処理部10の外部に出力される。
On the other hand, the information data input to the information
図3は、多重化データのフレーム構成を示している。同図において、フレームS・F・Uは従来と同様であり、フレームIが情報データを含むものである。図示のように、本実施形態における多重化データは、SIDフレームF・Uの間に、情報データフレームIが組み込まれている。 FIG. 3 shows a frame structure of multiplexed data. In the figure, frames S, F, and U are the same as in the prior art, and frame I includes information data. As illustrated, in the multiplexed data in the present embodiment, an information data frame I is incorporated between SID frames F and U.
なお、情報データフレームIのビット長は、図3に示される伝送データ量例1のように、SIDフレームF・Uと同じ39ビットであってもよい。この場合でも、SIDフレームF・Uの位置が定まっているので、情報データフレームIの検出および分離が可能である。また、情報データフレームIのビット長は、同図に示される伝送データ量例2のように、音声フレームSおよびSIDフレームF・Uとは異なるビット長k・m・nであってもよい。この場合、1フレームのビット数を検出することにより、情報データフレームIの検出および分離が可能である。 Note that the bit length of the information data frame I may be 39 bits, which is the same as the SID frame F · U, as in the transmission data amount example 1 shown in FIG. Even in this case, since the position of the SID frame F · U is fixed, the information data frame I can be detected and separated. Further, the bit length of the information data frame I may be a bit length k · m · n different from the audio frame S and the SID frame F · U as in the transmission data amount example 2 shown in FIG. In this case, the information data frame I can be detected and separated by detecting the number of bits of one frame.
図16に示されるように、AMRによる音声コーデック処理では、SID_FIRSTフレームF以降、SID_UPDATEフレームUの間隔は、最初が3フレーム、その次以降が7フレームと定められており、データが正しく伝送されている限りはSIDフレームの位置が保証されている。したがって、情報データ多重部18は、受け取ったSID情報からSIDフレームの位置を把握することにより、SIDフレームF・Uの間に情報データフレームIを組み込むことができ、AMR音声データおよび情報データの多重化を実現することができる。
As shown in FIG. 16, in the audio codec processing by AMR, after the SID_FIRST frame F, the interval of the SID_UPDATE frame U is determined to be 3 frames at the beginning and 7 frames after the SID_UPDATE frame U, and data is transmitted correctly. As long as it is, the position of the SID frame is guaranteed. Therefore, the information
なお、図3に示される伝送データ量例1の場合では、音声フレームSのデータ伝送速度を12.2kpbsとすると、無音状態が継続する場合には、1個のSID_UPDATEフレームUと7個の情報データフレームIとが伝送されるから、データ伝送速度は平均1.95kbps(=12.2×(39×8)/(244×8))となる。 In the case of the transmission data amount example 1 shown in FIG. 3, if the data transmission rate of the voice frame S is 12.2 kpbs, and if the silent state continues, one SID_UPDATE frame U and seven pieces of information Since the data frame I is transmitted, the average data transmission rate is 1.95 kbps (= 12.2 × (39 × 8) / (244 × 8)).
次に、受信側のAMR処理部(情報デマルチプレクサ)20について説明する。図2に示すように、受信側のAMR処理部20は、音声符号データ入力部21、情報データ検出部(検出手段、分離手段、照合手段)22、情報データ復号処理部23、情報データ出力部24、データ列解析部25、AMR復号部26、エラーフレーム・ロストフレーム処理部27、CNG生成部28、および復号音声出力部29を備える構成である。なお、音声符号データ入力部21、データ列解析部25、AMR復号部26、エラーフレーム・ロストフレーム処理部27、CNG生成部28、および復号音声出力部29は、図15に示される従来の音声符号データ入力部111、データ列解析部112、AMR復号部113、エラーフレーム・ロストフレーム処理部114、CNG生成部115、および復号音声出力部116とそれぞれ同様に機能するので、その説明を省略する。
Next, the AMR processing unit (information demultiplexer) 20 on the receiving side will be described. As shown in FIG. 2, the
情報データ検出部22は、音声符号データ入力部21から受信した多重化データから情報データを検出して分離する。具体的には、SIDフレームF・Uを検出することにより、情報データフレームIを検出して分離したり、1フレーム当りのビット長を検出することにより情報データフレームIを検出して分離したりすることができる。また、情報データ検出部22は、分離した情報データフレームIを情報データ復号処理部23に送信するとともに、多重化データ、または多重化データから情報データフレームIを分離したデータをデータ列解析部25に送信する。
The information
情報データ復号処理部23は、情報データ検出部22から受信した情報データフレームIを復号し、復号した情報データを情報データ出力部24に送信する。情報データ出力部24は、受信した情報データをAMR処理部20の外部に出力する。
The information data
上記の構成において、音声符号データ入力部21に入力された多重化データは、情報データ検出部22にて情報データフレームIが検出されて分離され、分離された情報データフレームIは、情報データ復号処理部23にて復号されて、情報データ出力部24を介して出力される。
In the above configuration, the multiplexed data input to the voice code
一方、多重化データから情報データフレームIが分離されたAMR音声データは、データ列解析部25にて各フレームが解析される。フレームがエラーフレームやロストフレームであれば、エラーフレーム・ロストフレーム処理部27にて適当に処理され、AMR復号部26に指示し、AMR復号部26にて対応する音声データを生成する。一方、フレームがSIDフレームF・Uであれば、CNG生成部28にて無音状態の音声データを生成してAMR復号部26に送信する。その他、フレームが音声フレームFであれば、AMR復号部26にて通常の音声復号処理が行われて音声データが生成される。これらの音声データが、AMR復号部26から復号音声出力部29を介して外部に出力される。
On the other hand, each frame of the AMR audio data obtained by separating the information data frame I from the multiplexed data is analyzed by the data
したがって、情報データ検出部22が、SIDフレームF・Uを検出したり、1フレームのビット長を検出したりすることにより、情報データフレームIを検出できるので、多重化データから情報データの分離を実現することができる。
Therefore, since the information
〔実施の形態2〕
次に、本発明の別の実施形態について、図4〜図9に基づいて説明する。本実施形態の携帯電話端末は、図1および図2に示されるAMR処理部10・20を組み込んだものである。図4は、携帯電話端末の要部の概略構成を示している。図示のように、携帯電話端末の送信側ブロック30は、音声コーデック処理ブロック(無音圧縮手段)31、情報データ入力部32、無線送信処理部33、および無線データ送信部(送信手段)34を備える構成である。また、無線送信処理部33は、情報データ変換処理部35、情報データ多重部(情報マルチプレクサ)36、チャネルコーディング処理部37、およびデータ変調部38を備える構成である。
[Embodiment 2]
Next, another embodiment of the present invention will be described with reference to FIGS. The cellular phone terminal of this embodiment incorporates the
音声コーデック処理ブロック31は、図1に示される音声入力部11、AMR符号部12、無音検出部13、SIDフレーム生成部14、および符号化ビット列生成部15と同様に機能する。また、情報データ入力部32、情報データ変換処理部35、および情報データ多重部36は、図1に示される情報データ入力部16、情報データ変換処理部17、および情報データ多重部18としてそれぞれ機能する。
The speech
したがって、送信側ブロック30の外部から入力される音声データおよび情報データは、図1に示されるAMR処理部10と同様に、音声コーデック処理ブロック31、情報データ入力部32、情報データ変換処理部35、および情報データ多重部36によって多重化される。多重化データは、チャネルコーディング処理部37およびデータ変調部38にて、無線送信に適した形式に変換され、無線データ送信部34にて無線送信されて、電話回線網39を伝送することになる。なお、チャネルコーディング処理部37では、CRCの付加処理、多段インタリーブ処理、畳み込み処理、レートマッチング処理、他無線とのマルチプレクス処理などが行われる。
Therefore, the audio data and information data input from the outside of the
一方、図4に示されるように、携帯電話端末の受信側ブロック(受信処理デバイス)40は、無線データ受信部(受信手段)41、無線受信処理部(受信処理手段)42、音声コーデック処理ブロック(音声復元手段)43、および情報データ出力部44を備える構成である。また、無線受信処理部42は、データ復調部45、チャネルコーディング処理部46、受信レート判定部(受信レート判定手段)47、情報データ検出部(分離手段、情報デマルチプレクサ)48、および情報データ復号処理部49を備える構成である。
On the other hand, as shown in FIG. 4, the reception side block (reception processing device) 40 of the mobile phone terminal includes a wireless data reception unit (reception unit) 41, a wireless reception processing unit (reception processing unit) 42, and an audio codec processing block. (Voice restoration means) 43 and an information
電話回線網39を伝送した多重化データは、無線データ受信部41にて無線受信され、データ復調部45およびチャネルコーディング処理部46にて元の形式に変換されて、受信レート判定部47に送信される。受信レート判定部47は、受信した各フレームの伝送速度を判定し、判定した伝送速度に基づいて、受信したフレームが適切なフレームであるか否かを判断する。適切なフレームであると判断した場合には、受信にしたフレームを情報データ検出部48に送信する。一方、不適切な(NG)フレームであると判定した場合には、受信したフレームを破棄する。なお、フレームを破棄した場合、アプリケーション側で再送要求を行うようにすることもできる。
The multiplexed data transmitted through the
したがって、情報データフレームIのビット長が、図17に記載の各フレームのビット長に該当しない場合には、受信レート判定部47がNGフレームと判定することになる。これを防止するため、本実施形態では、受信レート判定部47は、情報データフレームIも適切なフレームであると判定するように変更する必要がある。なお、図3に示される伝送データ量例1のように、情報データのビット長がSIDフレームF・Uのビット長と同じ39ビットであれば、受信レート判定部47の変更は不要である。
Therefore, when the bit length of the information data frame I does not correspond to the bit length of each frame shown in FIG. 17, the reception
情報データ検出部48、情報データ復号処理部49、および情報データ出力部44は、図2に示される情報データ検出部22、情報データ復号処理部23、および情報データ出力部24と同様に機能する。また、音声コーデック処理ブロック43は、図2に示されるデータ列解析部25、AMR復号部26、エラーフレーム・ロストフレーム処理部27、CNG生成部28、および復号音声出力部29と同様に機能する。
The information
したがって、受信レート判定部47が送信した多重化データは、情報データ検出部48にて情報データフレームIが分離され、分離された情報データフレームIは、情報データ復号処理部23にて復号され、復号された情報データが情報データ出力部24を介して出力される。一方、多重化データから情報データフレームIが分離されたAMR音声データは、音声コーデック処理ブロック43にて音声データに変換されて出力される。
Therefore, in the multiplexed data transmitted by the reception
したがって、本実施形態の携帯電話端末は、通話中に音声データおよび情報データを多重化して送信できるとともに、受信した多重化データを音声データおよび情報データに分離することができる。したがって、1つの電話回線で音声データと情報データとを同時に通信することができる。 Therefore, the mobile phone terminal of this embodiment can multiplex and transmit voice data and information data during a call, and can separate the received multiplexed data into voice data and information data. Therefore, voice data and information data can be simultaneously communicated with one telephone line.
なお、本実施形態では、受信レート判定部47および情報データ検出部48が分離しているが、情報データフレームIのビット長が他のフレームとは異なる場合には、伝送速度により情報データフレームIを検出して分離できるので、受信レート判定部47および情報データ検出部48を1つにまとめることができる。
In this embodiment, the reception
また、情報データの多重化に関する機能を、音声データの符号化処理を行う音声コーデック処理ブロックにて実行することもできる。具体的には、図4に示される送信側ブロック30の音声コーデック処理ブロック31、情報データ入力部32、情報データ変換処理部35、および情報データ多重部36を、図5に示される送信側ブロック50の音声コーデック処理ブロック(音声処理デバイス)51にまとめることができる。この場合、無線送信処理部52は、情報データの多重化に関する機能が不要となるから、従来の無線送信処理部を利用することができる。
Further, a function related to multiplexing of information data can be executed by an audio codec processing block that performs encoding processing of audio data. Specifically, the audio
同様に、情報データの分離に関する機能を、音声データの復号処理を行う音声コーデック処理ブロックにて実行することもできる。具体的には、図4に示される受信側ブロック40の情報データ検出部48、情報データ復号処理部49、情報データ出力部44、および音声コーデック処理ブロック43を、図5に示される受信側ブロック55の音声コーデック処理ブロック57にまとめることができる。この場合、無線受信処理部56は、受信レート判定部47が情報データフレームIをNGフレームと判定すること無いように、受信レート判定部47を変更するのみで、従来の無線受信処理部を利用することができる。
Similarly, a function related to separation of information data can be executed by an audio codec processing block that performs decoding processing of audio data. Specifically, the information
また、情報データフレームを検出する方法としては、以下の方法が考えられる。図6は、CRCを含むデータ構造を示している。通常の処理では、同図(a)に示されるように、データ部のデータ全て(例えば、39ビット)が無線処理部33・42のCRC処理対象となっている。したがって、同図(b)に示されるように、CRC処理対象としてダミーのデータを例えば1ビット追加することにより、CRC演算が変更される。したがって、情報データフレームにダミーのデータを追加することにより、多重化データの中から情報データフレームの検出を無線処理部42にて行うことができる。
Further, as a method for detecting the information data frame, the following methods are conceivable. FIG. 6 shows a data structure including CRC. In the normal processing, as shown in FIG. 5A, all data (for example, 39 bits) in the data portion is a CRC processing target of the
なお、CRC演算を変更する方法としては、他にも逆方向の使用や、反転するなど、種々の方法が考えられ、これらの方法で情報データフレームの検出を実行することもできる。 In addition, as a method for changing the CRC calculation, various methods such as reverse use and inversion can be considered, and detection of an information data frame can also be executed by these methods.
図7は、CRC判定処理を変更して情報データフレーム等を検出する処理の流れを示している。受信レート判定部47は、レート判定のためにCRC判定を実施する。まず、通常のCRC判定を行い、CRCが一致した場合には(S1でYES)、音声フレームと判断して、音声処理系での処理を行う。
FIG. 7 shows a flow of processing for detecting an information data frame or the like by changing the CRC determination processing. The reception
一方、CRCが一致しない場合には(S1でNO)、情報データフレームに関するCRC判定を行い、CRCが一致した場合には(S2でYES)、情報データフレームと判断して情報データ処理を行う。一方、CRCが一致しない場合には(S2でNO)、エラーフレームと判断してエラー処理を行う。 On the other hand, if the CRCs do not match (NO in S1), the CRC determination regarding the information data frame is performed. If the CRCs match (YES in S2), the information data frame is determined to be processed. On the other hand, if the CRCs do not match (NO in S2), the error frame is determined to be an error frame.
図8は、CRC判定処理を変更すること無く情報データフレーム等を検出する処理の流れを示している。まず、CRC判定を行い、CRCが一致しない場合には(S3でNO)、エラーフレームと判断してエラー処理を行う。一方、CRCが一致する場合には(S3でYES)、SIDデータが正常であり、かつSIDタイミングが正常であるか否かを判断し、正常である場合には(S4でYES)、音声データフレームと判断して音声処理系での処理を行い、正常ではない場合には(S4でNO)、情報データフレームと判断して情報データ処理を行う。 FIG. 8 shows a flow of processing for detecting an information data frame or the like without changing the CRC determination processing. First, CRC determination is performed. If the CRC does not match (NO in S3), it is determined as an error frame and error processing is performed. On the other hand, if the CRC matches (YES in S3), it is determined whether the SID data is normal and the SID timing is normal. If normal (YES in S4), the voice data If it is determined to be a frame, the processing in the audio processing system is performed.
図9(a)(b)は、同一の情報データを繰返し組み込む例を示している。このように、同一の情報データを繰り返すことを予め定義しておくことにより、同一の情報データが繰返し転送されるから、情報データを確実に転送することができる。 FIGS. 9A and 9B show examples in which the same information data is repeatedly incorporated. As described above, by repeating the same information data in advance, the same information data is repeatedly transferred, so that the information data can be reliably transferred.
〔実施の形態3〕
次に、本発明のさらに別の実施形態について、図10に基づいて説明する。本実施形態の携帯電話システムは、図4または図5に示される携帯電話端末(移動端末)を含むものである。図10は、携帯電話システムの要部の概略構成を示している。図示のように、本実施形態の携帯電話システムは、2つの移動端末60・63と、各移動端末60・63と無線通信を行う基地局61・62を備える構成である。基地局61・62同士の通信は既存の電話回線網を介して行われる。
[Embodiment 3]
Next, still another embodiment of the present invention will be described with reference to FIG. The mobile phone system of this embodiment includes the mobile phone terminal (mobile terminal) shown in FIG. 4 or FIG. FIG. 10 shows a schematic configuration of a main part of the mobile phone system. As shown in the figure, the mobile phone system according to the present embodiment includes two
本実施形態では、一方の移動端末60は、図4または図5に示される移動端末であり、情報データの多重化および分離が可能となっている。なお、他方の移動端末63は、従来と同様の移動端末である。また、本実施形態では、移動端末60と無線通信を行う基地局61(ノード)は、図1および図2に示されるAMR処理部10・20を備えており、移動端末60と同様に情報データの多重化および分離が可能となっている。なお、移動端末63と無線通信を行う基地局62は、従来と同様の基地局である。
In the present embodiment, one
上記の構成によると、移動端末60・63の間で音声通話を行う場合には、移動端末および基地局60〜63の間では音声データが送受信されている。このとき、移動端末60および基地局61は、互いに情報データの多重化および分離が可能であるから、情報データを組み込んだ音声データの送受信が可能である。
According to the above configuration, when performing a voice call between the
したがって、移動端末60・63同士の通話中に、移動端末60および基地局61との間で情報データの送受信が可能である。これにより、例えば、基地局61から移動端末60への報知情報やサービス情報の通知、メールの送信などを行うことができ、また、移動端末60から基地局61へのサービス要望発生の通知などを行うことができ、音声通話のみでは実現できないサービスが可能となる。
Therefore, information data can be transmitted and received between the
〔実施の形態4〕
次に、本発明のさらに別の実施形態について、図11に基づいて説明する。本実施形態の携帯電話システムは、図10に示す携帯電話システムに比べて、基地局61に代えて、従来と同様の基地局65としている点と、従来の移動端末63に代えて、図4または図5に示される移動端末66としている点とが異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の機能を有する構成には、同一の符号を付して、その説明を省略する。
[Embodiment 4]
Next, still another embodiment of the present invention will be described with reference to FIG. Compared with the mobile phone system shown in FIG. 10, the mobile phone system of this embodiment uses a
上記の構成によると、両方の移動端末60・66は、情報データの多重化および分離が可能となっている。したがって、移動端末60・66の間で音声通話を行う場合に、移動端末60・66は、それぞれ情報データを組み込んだ音声データの送受信が可能である。なお、基地局62・65では、音声データと認識して、従来と同様に送受信を行うことになる。
According to the above configuration, both
したがって、移動端末60・66同士の通話中に、移動端末60・66同士の間で情報データの送受信が可能である。これにより、例えば、移動端末から移動端末への報知情報やサービス情報の通知、サービス要望発生の通知、メールの送受信、ファイルの転送など、音声通話のみでは実現できないサービスが可能となる。
Therefore, it is possible to transmit and receive information data between the
〔実施の形態5〕
次に、本発明の他の実施形態について、図12および図13に基づいて説明する。本実施形態のAMR処理部は、図1および図2に示されるAMR処理部10・20に比べて、情報データの多重化および分離に関する処理の実行を制御する構成が設けられている点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の機能を有する構成には、同一の符号を付して、その説明を省略する。
[Embodiment 5]
Next, another embodiment of the present invention will be described with reference to FIGS. The AMR processing unit of this embodiment is different from the
図12は、本実施形態のAMR処理部70の概略構成を示している。AMR処理部70は、図1に示されるAMR処理部10に比べて、情報データ対応制御部(多重化制御手段)71が、情報データ変換処理部72の実行と、情報データ多重部73における情報データの多重化の実行とが制御されている点が異なり、その他の構成は同様である。
FIG. 12 shows a schematic configuration of the AMR processing unit 70 of the present embodiment. Compared with the
これにより、本実施形態のAMR処理部70を備えた端末やノードでは、情報データ対応制御部71が情報データを送信するか否かを制御することができ、情報データが勝手に送信されることを防止できる。また、本実施形態のAMR処理部70をキャリア側に設けることにより、キャリア側の資源が端末で勝手に利用されることを防止できる。
Thereby, in the terminal or node provided with the AMR processing unit 70 of this embodiment, it is possible to control whether or not the information data
図13は、本実施形態のAMR処理部80の概略構成を示している。AMR処理部80は、図2に示されるAMR処理部20に比べて、情報データ対応制御部(情報データ出力制御手段)81が、情報データ検出部82における情報データの分離の実行と、情報データ復号処理部83の実行とが制御されている点が異なり、その他の構成は同様である。
FIG. 13 shows a schematic configuration of the
これにより、本実施形態のAMR処理部80を備えた端末やノードでは、情報データ対応制御部81が情報データを受信するか否かを制御することができる。これにより、例えばコンピュータウィルスなどのような所望しない情報データの受け取りを拒否することができる。
Thereby, in the terminal or node provided with the
なお、電話端末やノードに設けられるAMR処理部10・20・70・80、送信側処理ブロック30・50、および受信側処理ブロック40・55は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
The
すなわち、電話端末やノードは、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit )、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ記録装置10の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記データ記録装置10に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
That is, a telephone terminal or a node has a central processing unit (CPU) that executes instructions of a control program that realizes each function, a read only memory (ROM) that stores the program, and a random access memory (RAM) that expands the program And a storage device (recording medium) such as a memory for storing the program and various data. An object of the present invention is a recording medium on which a program code (execution format program, intermediate code program, source program) of a control program of the
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フレキシブルディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。 Examples of the recording medium include a tape system such as a magnetic tape and a cassette tape, a disk system including a magnetic disk such as a flexible disk / hard disk and an optical disk such as a CD-ROM / MO / MD / DVD / CD-R, and an IC card. A card system such as an optical card (including a memory card) or a semiconductor memory system such as a mask ROM / EPROM / EEPROM / flash ROM can be used.
また、電話端末やノードを通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態でも実現され得る。 Further, a telephone terminal or a node may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited. For example, the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available. Further, the transmission medium constituting the communication network is not particularly limited. For example, even in the case of wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL line, infrared rays such as IrDA and remote control, Bluetooth, It can also be used with radio such as 802.11 radio, HDR, mobile phone network, satellite line, and terrestrial digital network. The present invention can also be realized in the form of a carrier wave or a data signal sequence in which the program code is embodied by electronic transmission.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、さらに、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims. Further, the present invention can be obtained by appropriately combining technical means disclosed in different embodiments. Embodiments are also included in the technical scope of the present invention.
本発明により、現行の音声コーデック処理、あるいは電話システムそのものに変更を加えず、すなわち大きな改変コストをかけることなく、情報データの授受が可能となる。これにより、デジタル無線端末あるいは無音圧縮処理を搭載する他の携帯端末における新たなサービス提供が可能となる。 According to the present invention, it is possible to exchange information data without changing the current voice codec processing or the telephone system itself, that is, without incurring a large modification cost. This makes it possible to provide a new service in a digital wireless terminal or other portable terminal equipped with a silence compression process.
51 音声コーデック処理ブロック(音声処理デバイス)
61 基地局(ノード)
71 情報データ対応制御部(多重化制御手段)
81 情報データ対応制御部(情報データ出力制御手段)
F・U SIDフレーム(無音識別子)
51 Audio codec processing block (Audio processing device)
61 Base station (node)
71 Information Data Corresponding Control Unit (Multiplexing Control Unit)
81 Information Data Corresponding Control Unit (Information Data Output Control Unit)
F ・ U SID frame (silent identifier)
Claims (21)
上記無音圧縮データは、声を出していない無音状態の音声データ部分である無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に変換したものであり、
上記無音識別子を検出する検出手段と、
該検出手段の検出結果に基づいて、上記無音圧縮データ部分における上記無音識別子同士の間に、上記情報データを組み込む組込み手段を備え、
上記組込み手段にて上記情報データが組み込まれた無音圧縮データ部分は、複数のフレームからなり、
上記無音識別子を含むフレームは、上記情報データの一部を含むフレームと比べて、CRC(巡回冗長検査)のデータ構造、または、SID(Silence Descriptor)タイミングが異なることを特徴とする情報マルチプレクサ。 An information multiplexer that multiplexes silence-compressed data obtained by silence-compressing sound data and information data different from the sound data,
The silence compression data is a silence data portion that is a voice data portion in a silent state that is not producing a voice converted into a silence compression data portion that includes a silence identifier indicating the silence state at predetermined intervals.
Detecting means for detecting the silence identifier;
Incorporating means for incorporating the information data between the silence identifiers in the silence compressed data portion based on the detection result of the detection means ,
The silence compression data part in which the information data is incorporated by the incorporation means is composed of a plurality of frames.
An information multiplexer characterized in that a frame including the silence identifier has a different CRC (Cyclic Redundancy Check) data structure or SID (Silence Descriptor) timing than a frame including a part of the information data .
通常のCRC判定でCRCが一致しない場合には、情報データフレームに関するCRC判断を行い、If the CRC does not match in the normal CRC determination, perform a CRC determination on the information data frame,
情報データフレームに関するCRCが一致した場合には情報データフレームと判断して情報データ処理を行い、If the CRC for the information data frame matches, it is determined as an information data frame and information data processing is performed.
情報データフレームに関するCRCが一致しない場合には、エラーフレームと判断してエラー処理を行うCRC判定処理を行う受信レート判定部をさらに備えることを特徴とする請求項1に記載の情報マルチプレクサ。The information multiplexer according to claim 1, further comprising: a reception rate determination unit that performs a CRC determination process of determining an error frame and performing an error process when CRCs related to the information data frame do not match.
CRCが一致しない場合には、エラーフレームと判断してエラー処理を行い、If the CRC does not match, it is determined as an error frame and error processing is performed.
CRCが一致する場合には、SIDデータが正常であり、かつSIDタイミングが正常であるか否かを判断し、If the CRC matches, determine whether the SID data is normal and the SID timing is normal,
SIDタイミングが正常である場合には、音声データフレームと判断して音声処理系での処理を行い、If the SID timing is normal, it is determined as an audio data frame and processing in the audio processing system is performed.
SIDタイミングが正常でない場合には、情報データフレームと判断して情報データ処理を行うIf the SID timing is not normal, it is determined as an information data frame and information data processing is performed.
ことを特徴とする請求項1に記載の情報マルチプレクサ。The information multiplexer according to claim 1.
上記無音圧縮手段は、The silent compression means is
入力された音声データ部分が、声を出していない無音状態の音声データ部分である無音データ部分であることを検出する無音検出手段と、Silence detection means for detecting that the input voice data portion is a silent data portion that is a silent voice data portion that does not speak,
上記音声データにおいて、上記無音検出手段にて検出された無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に置き換える置換え手段とを備えており、A replacement means for replacing the silence data portion detected by the silence detection means in the audio data with a silence compressed data portion including the silence identifier indicating the silence state at predetermined intervals;
上記多重化手段は、The multiplexing means is
上記置換え手段から、上記無音圧縮データ部分における上記無音識別子の位置情報を取得し、取得された位置情報に基づいて、上記無音圧縮データ部分における上記無音識別子同士の間に、上記情報データを組み込む組込み手段とを備え、Incorporating position information of the silence identifier in the silence compressed data portion from the replacement means, and incorporating the information data between the silence identifiers in the silence compressed data portion based on the acquired position information Means and
上記組込み手段にて上記情報データが組み込まれた無音圧縮データ部分は、複数のフレームからなり、The silence compression data part in which the information data is incorporated by the incorporation means is composed of a plurality of frames.
上記無音識別子を含むフレームは、上記情報データの一部を含むフレームと比べて、CRCのデータ構造、または、SIDタイミングが異なることを特徴とする音声処理デバイス。An audio processing device, wherein a frame including the silence identifier has a different CRC data structure or SID timing than a frame including a part of the information data.
上記無音圧縮データは、声を出していない無音状態の音声データ部分である無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に変換したものであり、The silence compression data is a silence data portion that is a voice data portion in a silent state that is not producing a voice converted into a silence compression data portion that includes a silence identifier indicating the silence state at predetermined intervals.
上記多重化データは、上記無音識別データ部分における上記無音識別子同士の間に、上記情報データを組み込んだものであり、The multiplexed data is obtained by incorporating the information data between the silence identifiers in the silence identification data portion,
上記多重化データから上記無音識別子を検出する検出手段と、Detecting means for detecting the silence identifier from the multiplexed data;
該検出手段の検出結果に基づいて、上記無音識別データ同士の間から上記情報データを分離する分離手段とを備え、Separation means for separating the information data from between the silence identification data based on the detection result of the detection means;
上記多重化データは複数のフレームからなり、The multiplexed data consists of a plurality of frames,
上記無音識別子を含むフレームと、上記情報データの一部を含むフレームとのデータ構造が異なることを利用して、上記検出手段は上記無音識別子を含むフレームを検出し、上記分離手段は上記情報データの一部を含むフレームを分離し、Utilizing the fact that the data structure of the frame including the silence identifier is different from the frame including a part of the information data, the detection means detects the frame including the silence identifier, and the separation means is the information data. Separate the frame containing part of the
上記無音識別子を含むフレームは、上記情報データの一部を含むフレームと比べて、CRCのデータ構造、または、SIDタイミングが異なることを特徴とする情報デマルチプレクサ。An information demultiplexer characterized in that a frame including the silence identifier has a different CRC data structure or SID timing than a frame including a part of the information data.
上記分離手段にて分離された情報データの繰返し部分を照合する照合手段をさらに備えることを特徴とする請求項8に記載の情報デマルチプレクサ。 The multiplexed data is data in which the same information data is repeatedly incorporated,
9. The information demultiplexer according to claim 8 , further comprising collating means for collating repeated portions of the information data separated by the separating means.
上記無音圧縮データは、声を出していない無音状態の音声データ部分である無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に変換したものであり、
上記多重化データは、上記無音識別データ部分における上記無音識別子同士の間に、上記情報データを組み込んだものであり、
上記受信処理手段は、上記多重化データの各部の受信レートを判定する受信レート判定手段をさらに備えており、
上記分離手段は、上記受信レート判定手段にて判定された受信レートの相違に基づいて、上記無音圧縮データおよび上記情報データに分離し、
上記多重化データは複数のフレームからなり、
上記無音識別子を含むフレームと、上記情報データの一部を含むフレームとのデータ構造が異なることを利用して、上記検出手段は上記無音識別子を含むフレームを検出し、上記分離手段は上記情報データの一部を含むフレームを分離し、
上記無音識別子を含むフレームは、上記情報データの一部を含むフレームと比べて、CRCのデータ構造、または、SIDタイミングが異なることを特徴とする受信処理デバイス。 Receiving processing means for receiving multiplexed data obtained by multiplexing silence-compressed data obtained by silence-compressing audio data and information data different from the audio data; and multiplexed data received by the receiving processing means A reception processing device comprising separation means for separating the data into each data,
The silence compression data is a silence data portion that is a voice data portion in a silent state that is not producing a voice converted into a silence compression data portion that includes a silence identifier indicating the silence state at predetermined intervals.
The multiplexed data is obtained by incorporating the information data between the silence identifiers in the silence identification data portion,
The reception processing means further includes reception rate determination means for determining a reception rate of each part of the multiplexed data,
The separation means separates the silence compression data and the information data based on the difference in the reception rates determined by the reception rate determination means ,
The multiplexed data consists of a plurality of frames,
Utilizing the fact that the data structure of the frame including the silence identifier is different from the frame including a part of the information data, the detection means detects the frame including the silence identifier, and the separation means is the information data. Separate the frame containing part of the
The reception processing device , wherein a frame including the silence identifier has a different CRC data structure or SID timing than a frame including a part of the information data .
該無音圧縮手段にて無音圧縮された無音圧縮データと、上記音声データとは異なる情報データとを多重化する請求項1に記載の情報マルチプレクサと、
該情報マルチプレクサにて多重化された多重化データを送信する送信手段と、
多重化データを受信する受信手段と、
該受信手段にて受信した多重化データを上記無音圧縮データおよび上記情報データに分離する請求項8に記載の情報デマルチプレクサまたは請求項11に記載の受信処理デバイスと、
該情報デマルチプレクサにて分離された無音圧縮データを元の音声データに復元する音声復元手段とを備える電話端末。 Silence compression means for silently compressing audio data;
The information multiplexer according to claim 1, wherein the silence compression data silence-compressed by the silence compression means and information data different from the audio data are multiplexed.
Transmitting means for transmitting multiplexed data multiplexed by the information multiplexer;
Receiving means for receiving multiplexed data;
The information demultiplexer according to claim 8 or the reception processing device according to claim 11, wherein the multiplexed data received by the receiving means is separated into the silence compression data and the information data.
A telephone terminal comprising voice restoration means for restoring the silence-compressed data separated by the information demultiplexer to the original voice data.
上記電話端末から多重化データを受信する受信手段と、
該受信手段にて受信した多重化データを上記無音圧縮データおよび上記情報データに分離する請求項8に記載の情報デマルチプレクサまたは請求項11に記載の受信処理デバイスと、
上記無音圧縮データと、上記音声データとは異なる情報データとを多重化する請求項1に記載の情報マルチプレクサと、
該情報マルチプレクサにて多重化された多重化データを上記電話端末に送信する送信手段とを備えることを特徴とするノード。 A node capable of communicating with the telephone terminal according to claim 12 or 13,
Receiving means for receiving multiplexed data from the telephone terminal;
The information demultiplexer according to claim 8 or the reception processing device according to claim 11, wherein the multiplexed data received by the receiving means is separated into the silence compression data and the information data.
The information multiplexer according to claim 1, wherein the silence compression data and information data different from the audio data are multiplexed.
A node comprising: transmission means for transmitting multiplexed data multiplexed by the information multiplexer to the telephone terminal.
上記無音圧縮データは、声を出していない無音状態の音声データ部分である無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に変換したものであり、
上記無音圧縮データ部分から上記無音識別子を検出する検出ステップと、
該検出ステップの検出結果に基づき、上記無音圧縮データ部分における上記無音識別子同士の間に、上記情報データを組み込む組込みステップとを含み、
上記組込みステップにて上記情報データが組み込まれた無音圧縮データ部分は、複数のフレームからなり、
上記無音識別子を含むフレームは、上記情報データの一部を含むフレームと比べて、CRCのデータ構造、または、SIDタイミングが異なることを特徴とする情報多重化方法。 An information multiplexing method for multiplexing silence-compressed data obtained by silence-compressing sound data and information data different from the sound data,
The silence compression data is a silence data portion that is a voice data portion in a silent state that is not producing a voice converted into a silence compression data portion that includes a silence identifier indicating the silence state at predetermined intervals.
Detecting the silence identifier from the silence compressed data portion;
Based on the detection result of the detecting step, between the adjacent the silent identifier in the silence compression data part, viewed contains a built-in step of incorporating the information data,
The silence compression data part in which the information data is incorporated in the incorporation step is composed of a plurality of frames.
An information multiplexing method, wherein a frame including the silence identifier has a different CRC data structure or SID timing than a frame including a part of the information data .
上記無音圧縮データは、声を出していない無音状態の音声データ部分である無音データ部分を、上記無音状態を示す無音識別子を所定の間隔ごとに含む無音圧縮データ部分に変換したものであり、
上記多重化データは、上記無音識別データ部分における上記無音識別子同士の間に、上記情報データを組み込んだものであり、
上記多重化データから上記無音識別子を検出する検出ステップと、
該検出ステップによる検出結果に基づいて、上記無音識別データ同士の間から上記情報データを分離する分離ステップとを含み、
上記組込みステップにて上記情報データが組み込まれた無音圧縮データ部分は、複数のフレームからなり、
上記無音識別子を含むフレームは、上記情報データの一部を含むフレームと比べて、CRCのデータ構造、または、SIDタイミングが異なることを特徴とする情報分離方法。 An information separation method for separating multiplexed data obtained by multiplexing silence-compressed data obtained by silence-compressing voice data and information data different from the voice data, into each data,
The silence compression data is a silence data portion that is a voice data portion in a silent state that is not producing a voice converted into a silence compression data portion that includes a silence identifier indicating the silence state at predetermined intervals.
The multiplexed data is obtained by incorporating the information data between the silence identifiers in the silence identification data portion,
A detection step of detecting the silence identifier from the multiplexed data;
Based on the detection result of the detecting step, it sees contains a separation step of separating the information data from between the silent identification data with each other,
The silence compression data part in which the information data is incorporated in the incorporation step is composed of a plurality of frames.
An information separation method, wherein a frame including the silence identifier has a different CRC data structure or SID timing than a frame including a part of the information data .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003329682A JP4188190B2 (en) | 2003-09-22 | 2003-09-22 | Information multiplexer, audio processing device, information demultiplexer, reception processing device, telephone terminal, node, telephone system, information multiplexing method, information separation method, information multiplexing program, information separation program, and recording medium recording the program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003329682A JP4188190B2 (en) | 2003-09-22 | 2003-09-22 | Information multiplexer, audio processing device, information demultiplexer, reception processing device, telephone terminal, node, telephone system, information multiplexing method, information separation method, information multiplexing program, information separation program, and recording medium recording the program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005101709A JP2005101709A (en) | 2005-04-14 |
JP4188190B2 true JP4188190B2 (en) | 2008-11-26 |
Family
ID=34458866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003329682A Expired - Fee Related JP4188190B2 (en) | 2003-09-22 | 2003-09-22 | Information multiplexer, audio processing device, information demultiplexer, reception processing device, telephone terminal, node, telephone system, information multiplexing method, information separation method, information multiplexing program, information separation program, and recording medium recording the program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4188190B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI297987B (en) * | 2004-11-23 | 2008-06-11 | Miracom Technology Co Ltd | The apparatus for providing data service between mobile and mobile in wireless communication system |
CN101507349B (en) * | 2006-08-22 | 2012-08-22 | 株式会社Ntt都科摩 | Radio resource opening/controlling method, radio base station and mobile station |
CN101810041B (en) * | 2007-08-24 | 2013-09-11 | 上海贝尔股份有限公司 | Method for scheduling resource, network element and user equipment |
MX2010002087A (en) * | 2007-08-24 | 2010-03-26 | Alcatel Lucent | Method for scheduling resource, network element and user equipment. |
US8483130B2 (en) * | 2008-12-02 | 2013-07-09 | Qualcomm Incorporated | Discontinuous transmission in a wireless network |
-
2003
- 2003-09-22 JP JP2003329682A patent/JP4188190B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005101709A (en) | 2005-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW423237B (en) | Unequal error protection for perceptual audio coders | |
CN1154285C (en) | Flexible method of error protection in communications systems | |
EP1946517B1 (en) | Audio data packet format and decoding method thereof and method for correcting mobile communication terminal codec setup error and mobile communication terminal performing same | |
JP6523249B2 (en) | Method and apparatus for compressing packet header | |
JP3532476B2 (en) | Video data transmitting and receiving apparatus and method | |
CN1333384C (en) | Methods and systems for compression of stored audio | |
JP3675480B2 (en) | Method and apparatus for speech transmission in a mobile communication system | |
JP2007279761A (en) | Apparatus for encoding/decoding scalable lossless audio and method therefor | |
US9123328B2 (en) | Apparatus and method for audio frame loss recovery | |
CN108847248B (en) | Bluetooth device audio processing method, system, readable storage medium and Bluetooth device | |
JPWO2003021905A1 (en) | Receiving apparatus and receiving method in CDMA communication system | |
TWI297987B (en) | The apparatus for providing data service between mobile and mobile in wireless communication system | |
CN100536587C (en) | Method for retransmitting vocoded data | |
JP4188190B2 (en) | Information multiplexer, audio processing device, information demultiplexer, reception processing device, telephone terminal, node, telephone system, information multiplexing method, information separation method, information multiplexing program, information separation program, and recording medium recording the program | |
CN101322375B (en) | Audio data packet format and decoding method thereof and method for correcting mobile communication terminal codec setup error and mobile communication terminal performance same | |
CN1265352C (en) | Method and apparatus to perform speech recognition over a voice channel | |
JPH1056480A (en) | Multimedia multiplex communication system | |
EP2450882A1 (en) | Multiple description audio coding and decoding method, device and system | |
TW435024B (en) | Method for transmitting digital application data | |
JPH1065655A (en) | Multimedia communication method/system | |
JPH1155226A (en) | Data transmitting device | |
JP4065383B2 (en) | Audio signal transmitting apparatus, audio signal receiving apparatus, and audio signal transmission system | |
JPH07283757A (en) | Sound data communication equipment | |
JP2008016981A (en) | Data communication device | |
KR101497507B1 (en) | Voice data transmitting apparatus and voice data receiving apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080304 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080909 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080910 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |