JP4718499B2 - Audio transmission apparatus and audio transmission method - Google Patents

Audio transmission apparatus and audio transmission method Download PDF

Info

Publication number
JP4718499B2
JP4718499B2 JP2007039453A JP2007039453A JP4718499B2 JP 4718499 B2 JP4718499 B2 JP 4718499B2 JP 2007039453 A JP2007039453 A JP 2007039453A JP 2007039453 A JP2007039453 A JP 2007039453A JP 4718499 B2 JP4718499 B2 JP 4718499B2
Authority
JP
Japan
Prior art keywords
voice
packet
packets
audio
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007039453A
Other languages
Japanese (ja)
Other versions
JP2008205807A (en
Inventor
和也 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Priority to JP2007039453A priority Critical patent/JP4718499B2/en
Publication of JP2008205807A publication Critical patent/JP2008205807A/en
Application granted granted Critical
Publication of JP4718499B2 publication Critical patent/JP4718499B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、デジタル音声データを複数の伝送路を用いて伝送し、受信側で1つの正常なデジタル音声データを無瞬断で選択し、出力する音声伝送装置に関するものである。   The present invention relates to an audio transmission apparatus that transmits digital audio data using a plurality of transmission paths, and selects and outputs one normal digital audio data without interruption on the receiving side.

デジタル音声データが重畳されたHD(High Definition)映像データやSD(Standard Definition)映像データ等のデジタル映像データを伝送するデジタル映像伝送システムでは、伝送の信頼性を高めるためにデジタル映像データを複数の伝送路を介して伝送する冗長構成を用いる場合がある。   In a digital video transmission system that transmits digital video data such as HD (High Definition) video data and SD (Standard Definition) video data on which digital audio data is superimposed, multiple digital video data are transmitted to improve transmission reliability. In some cases, a redundant configuration is used for transmission via a transmission line.

図1に、2つの伝送路でデジタル映像データを送信する冗長構成を採用したデジタル映像伝送システムの例を示す。図1に示すデジタル映像伝送システムは、映像送出装置1と映像受信装置3を備えている。映像送出装置1は、データ分岐部11、及びデータ送出部12、13を備えており、映像受信装置3は、データ受信部31、32、及びデータ選択部33を備えている。   FIG. 1 shows an example of a digital video transmission system adopting a redundant configuration in which digital video data is transmitted through two transmission paths. The digital video transmission system shown in FIG. 1 includes a video transmission device 1 and a video reception device 3. The video transmission device 1 includes a data branching unit 11 and data transmission units 12 and 13, and the video reception device 3 includes data reception units 31 and 32 and a data selection unit 33.

映像送出装置1に入力されたデジタル映像データはデータ分岐部11において同じ2つのデジタル映像データに分岐され、一方はデータ送出部12により伝送路5に送出され、他方はデータ送出部13により伝送路7に送出される。   The digital video data input to the video transmission device 1 is branched into the same two digital video data in the data branching unit 11, one of which is transmitted to the transmission path 5 by the data transmission unit 12 and the other is transmitted to the transmission path by the data transmission unit 13. 7 is sent out.

伝送路5に送出されたデジタル映像データは映像受信装置3のデータ受信部31で受信され、データ選択部33に送られる。また、伝送路7に送出されたデジタル映像データは映像受信装置3のデータ受信部32で受信され、データ選択部33に送られる。データ選択部33は、データ受信部31から受け取ったデジタル映像データとデータ受信部32から受け取ったデジタル映像データのうちの1つのデジタル映像データを選択し、出力する。   The digital video data sent to the transmission line 5 is received by the data receiver 31 of the video receiver 3 and sent to the data selector 33. The digital video data sent to the transmission line 7 is received by the data receiving unit 32 of the video receiving device 3 and sent to the data selecting unit 33. The data selection unit 33 selects and outputs one digital video data out of the digital video data received from the data reception unit 31 and the digital video data received from the data reception unit 32.

例えば2つの伝送路のうちの伝送路5で伝送されたデジタル映像データを映像受信装置5で選択して出力している場合に、伝送路5の障害や装置故障等により選択しているほうのデジタル映像データにエラーが発生した場合には、データ選択部33において伝送路7で伝送されたデジタル映像データを出力するように切り替えを行う。   For example, when digital video data transmitted through the transmission line 5 out of two transmission lines is selected and output by the video reception device 5, the one selected due to a failure in the transmission line 5 or a device failure When an error occurs in the digital video data, the data selection unit 33 performs switching so that the digital video data transmitted through the transmission path 7 is output.

上記の例はデジタル映像データの伝送システムの例であるが、デジタル音声データのみを伝送する伝送システムにおいても図1に示した構成と同じ冗長構成を用いることができる。なお、本明細書及び特許請求の範囲において、「デジタル音声データ」はデジタル映像データに重畳されて伝送されるデジタル音声データを含むものである。   Although the above example is an example of a digital video data transmission system, the same redundant configuration as that shown in FIG. 1 can be used in a transmission system that transmits only digital audio data. In the present specification and claims, “digital audio data” includes digital audio data transmitted by being superimposed on digital video data.

先行技術文献の例として、複数のデジタル音声データから必要とする音声データを切り替えて使用する技術が記載された特許文献1がある。
特開平08-237216号公報
As an example of the prior art document, there is Patent Document 1 in which a technique of switching and using necessary audio data from a plurality of digital audio data is disclosed.
Japanese Unexamined Patent Publication No. 08-237216

図1に示したような複数の伝送路を用いた冗長構成の伝送システムでは、複数の伝送路間に遅延差がある場合、受信側で現用系から別の系に切り替えを行うと画像及び音声でずれが生じ、連続性を保てずに瞬断が発生してしまうという問題がある。   In a redundant transmission system using a plurality of transmission paths as shown in FIG. 1, if there is a delay difference between the plurality of transmission paths, switching from the active system to another system on the receiving side causes images and audio. There is a problem in that a shift occurs and instantaneous interruption occurs without maintaining continuity.

この問題に関し、デジタル映像データの中の画像データに関しては、例えば画像自体の内容を認識し複数画像間の同一性を判定して複数系間の同期をとる方法が提案されている。しかしながら、音声データに関しては同期を取るための適切な技術は提案されていない。また、複数の音声データに関して同期がとれたとしても次のような問題もある。   Regarding this problem, for image data in digital video data, for example, a method has been proposed in which the contents of an image itself are recognized and the identity between a plurality of images is determined to synchronize between a plurality of systems. However, no appropriate technique for synchronizing audio data has been proposed. Even if a plurality of audio data are synchronized, there are the following problems.

HD映像データのような音声データが重畳されたデジタル映像データでは、映像フレームの音声データ重畳領域に重畳できる音声パケット数は規格において定められている。例えば、1080/59.94iの映像で48kHサンプリングの音声データが重畳される場合、SMPTE299Mの規格上、画像5フレームあたりに重畳される1チャネルペアの音声パケット数は8008個と定められている。従って、例えば機器障害等により画像がフリーズした場合等に映像フレームに重畳する音声パケットが不足した場合にはミュート音声等の固定値データを生成し重畳されることになる。   In digital video data on which audio data such as HD video data is superimposed, the number of audio packets that can be superimposed on the audio data superimposition region of the video frame is defined in the standard. For example, when audio data of 48 kH sampling is superimposed on 1080 / 59.94i video, the number of audio packets of one channel pair to be superimposed per 5 image frames is defined as 8008 according to the SMPTE299M standard. Accordingly, when there are not enough audio packets to be superimposed on the video frame, for example, when the image is frozen due to a device failure or the like, fixed value data such as mute audio is generated and superimposed.

デジタル映像データに重畳される音声データにはチェックサム等の誤り検出符号が付されるが、映像データに重畳される前に、上記ミュート音声等の固定データを生成し、誤り訂正符号を計算し付加された音声パケットを重畳する場合、受信側で上記ミュート音声等を誤り訂正符号のチェックでは、エラーとして検出することができないため、誤り訂正符号のチェックのみでは、他の系の正常な音声データとの区別ができず、正常な音声データを選択することができない。上記の場合以外にも、誤り検出符号では検出できない音声データの異常が発生することはあり得、その場合もその異常を検出し、正常な音声データを選択することはできない。
また、デジタル音声データのみを伝送する伝送システムにおいても、機器障害等によりミュート音声等の固定値データの音声データが生成され、それが誤り検出符号で検出できない場合はあり得、その場合、受信側で正常な音声データを識別して選択することができないという上記と同様の問題が生じる。
The audio data superimposed on the digital video data is given an error detection code such as a checksum, but before being superimposed on the video data, the fixed data such as the mute audio is generated and the error correction code is calculated. When superimposing the added voice packet, the mute voice or the like cannot be detected as an error in the error correction code check on the receiving side. Therefore, the normal voice data of another system can be obtained only by checking the error correction code. Cannot be distinguished, and normal audio data cannot be selected. In addition to the above case, it is possible that an abnormality of the voice data that cannot be detected by the error detection code may occur, and in that case, the abnormality cannot be detected and normal voice data cannot be selected.
In addition, even in a transmission system that transmits only digital audio data, there may be cases where audio data of fixed value data such as mute audio is generated due to equipment failure or the like and cannot be detected by an error detection code. Therefore, there arises a problem similar to the above that normal voice data cannot be identified and selected.

本発明は上記の点に鑑みてなされたものであり、デジタル音声データを複数の伝送路で伝送し、受信側で同期をとることを可能にするとともに、正常なデジタル音声データを無瞬断で選択するための技術を提供することを目的とする。   The present invention has been made in view of the above points, and allows digital audio data to be transmitted through a plurality of transmission lines and synchronized on the receiving side, and normal digital audio data to be transmitted without interruption. The purpose is to provide technology for selection.

上記の課題は、デジタル音声データを複数の伝送路で伝送する冗長デジタル音声伝送方式において使用される音声伝送装置であって、前記複数の伝送路で伝送される各系の音声パケットを取得する音声パケット取得手段と、音声パケット内の特定の周期で存在するビット値を基準とした所定の数の音声パケットを1グループとし、そのグループ内における音声パケットデータの算術値を各系毎に算出する算出手段と、前記算術値が複数の系間で一致するグループの各受信タイミングを用いて複数の系の間で音声パケットの同期を取り、出力する同期手段と、前記同期手段から出力された同期の取れた複数の系の音声パケットの中から1つの系の音声パケットを選択し、出力する選択手段と、を備えた音声伝送装置であり、前記音声伝送装置は、系毎の複数の音声異常検出手段を備え、各音声異常検出手段は、受信した音声パケットが特定のデータパターンを有するか否かを判定する手段を備え、 前記音声伝送装置は、複数の前記音声異常検出手段からの判定結果に基づき、予め定めた数以下の数の系において音声パケットから前記特定のデータパターンが検出され、他の系の対応する音声パケットからは前記特定のデータパターンが検出されなかった場合に、前記予め定めた数以下の数の系の音声パケットに異常があると判定し、当該予め定めた数以下の数の系の音声パケットを前記選択手段において選択しないことを特徴とする音声伝送装置により解決できる。 The above-described problem is an audio transmission apparatus used in a redundant digital audio transmission system that transmits digital audio data through a plurality of transmission paths, and obtains a voice packet of each system transmitted through the plurality of transmission paths. A packet acquisition means and a predetermined number of voice packets based on a bit value existing in a specific cycle in a voice packet are grouped into one group, and an arithmetic value of voice packet data in the group is calculated for each system. means and, using each reception timing group to which the arithmetic values match between a plurality of systems to synchronize voice packets between multiple systems, and synchronization means for outputting, of the synchronized output from the synchronization means Selecting means for selecting and outputting one system voice packet from a plurality of system voice packets taken, the voice transmission apparatus comprising: A plurality of voice abnormality detection means for each system, each voice abnormality detection means comprising means for determining whether or not the received voice packet has a specific data pattern, Based on the determination result from the anomaly detection means, the specific data pattern is detected from voice packets in a predetermined number of systems or less, and the specific data pattern is detected from corresponding voice packets in other systems. If not, it is determined that there is an abnormality in the number of voice packets of the predetermined number or less, and the selection means does not select the number of voice packets of the predetermined number or less. This can be solved by an audio transmission device.

前記選択手段は、選択中の系における音声パケットに異常が検出された場合に、その音声パケットに替えて他の系の対応する音声パケットを選択して出力してもよいし、その音声パケットを含むグループに替えて他の系の対応するグループの音声パケットを選択して出力することとしてもよい。   When an abnormality is detected in the voice packet in the selected system, the selection unit may select and output a voice packet corresponding to another system instead of the voice packet, or the voice packet may be output. It is good also as selecting and outputting the voice packet of the corresponding group of another system instead of the group to include.

本発明によれば、デジタル音声データを複数の伝送路で伝送し、受信側で同期をとることができるので、正常なデジタル音声データを無瞬断で選択する技術を実現できる。   According to the present invention, since digital audio data can be transmitted through a plurality of transmission lines and synchronized on the receiving side, a technique for selecting normal digital audio data without interruption can be realized.

以下、図面を参照して本発明の実施の形態について説明する。   Embodiments of the present invention will be described below with reference to the drawings.

(同期方式の原理について)
デジタル映像データに重畳されるデジタル音声データ、もしくは音声のみを伝送するためのデジタル音声データはパケット化され、誤り検出符号や無効データビットの他にチャネルステータスが付加されている。
(About the principle of the synchronization method)
Digital audio data to be superimposed on digital video data or digital audio data for transmitting only audio is packetized, and a channel status is added in addition to an error detection code and invalid data bits.

このチャネルステータスは、1つの音声パケットに1ビットずつ付加され、その1ビットを連続する複数の音声パケットから抽出することにより1つのチャネルステータスとして識別されるものである。   This channel status is added to one voice packet bit by bit, and is identified as one channel status by extracting the bit from a plurality of continuous voice packets.

例えば、デジタル音声データの伝送規格であるANSI S4.40 (AES-3)規格の場合、1ステレオチャネルの192サンプル(パケット)単位で、24バイトの1つのチャネルステータスとなる。また、チャネルステータスの開始点を示す同期信号としてZフラグと呼ばれる同期ビットが規定されている。本実施の形態ではこの同期ビットを利用して複数経路で伝送されるデジタル音声データの同期をとることとしている。以下、ANSI S4.40 (AES-3)規格の場合について説明するが、本発明は上記と同様の同期ビットを採用するデジタル音声伝送方式であればどのような方式にも適用できるものである。   For example, in the case of the ANSI S4.40 (AES-3) standard, which is a digital audio data transmission standard, one channel status of 24 bytes is obtained in units of 192 samples (packets) of one stereo channel. Further, a synchronization bit called a Z flag is defined as a synchronization signal indicating the start point of the channel status. In this embodiment, digital audio data transmitted through a plurality of paths is synchronized using this synchronization bit. Hereinafter, the ANSI S4.40 (AES-3) standard will be described, but the present invention can be applied to any system as long as the digital audio transmission system adopts the same synchronization bit as described above.

図2に受信側音声伝送装置における同期確立のための処理の概念図を示す。図2では、0〜n系の各伝送路から受信する0系受信音声パケット、1系受信音声パケット、・・・n系受信音声パケットが示されている。
図2に示す処理では、各系統の受信音声パケットにおいて192パケット単位にある同期ビットを基準として1チャネルステータスを構成する範囲の192パケットを1フレームとし、そのフレーム内の音声パケットにおける音声データの総和を計算する。そして、0系受信音声パケットのフレームの先頭タイミング(同期ビットを含む音声パケットの先頭タイミング)を基準にしてそこから前後予め定めた時間内に受信した他の系における各フレームの音声データの総和と、0系受信音声パケットの上記総和とを比較する。そして、総和が一致したフレームを他の系における同一フレームであるとみなし、各系間の同一フレームの先頭タイミング(受信タイミング)の差を用いて各系の音声パケットを同期させて出力する。ここでは最も遅延が大きい系に同期させて各系の音声パケットを出力するようにする。
FIG. 2 shows a conceptual diagram of processing for establishing synchronization in the receiving-side audio transmission apparatus. FIG. 2 shows a 0-system received voice packet, a 1-system received voice packet,..., An n-system received voice packet received from the 0-n transmission lines.
In the processing shown in FIG. 2, in the received voice packets of each system, 192 packets in the range constituting one channel status are defined as one frame based on the synchronization bit in 192 packets, and the sum of the voice data in the voice packets in the frame Calculate The sum of the audio data of each frame in the other system received within a predetermined time before and after the start timing of the frame of the 0-system received voice packet (the start timing of the voice packet including the synchronization bit) , 0 sum of received voice packets is compared with the above sum. Then, the frames having the same sum are regarded as the same frames in the other systems, and the voice packets of each system are synchronized and output using the difference in the start timing (reception timing) of the same frame between the systems. Here, the voice packets of each system are output in synchronization with the system with the longest delay.

なお、図2において、0系Σ(Audio data)mは0系受信音声パケットにおいて同期ビットを含む音声パケットから次の同期ビットを含む音声パケットの直前の音声パケットまでのフレームであってm番目のフレームにおける音声データの総和を示している。また、0系Σ(Audio data)m+1は0系Σ(Audio data)mの次のフレームの音声データの総和を示し、n系Σ(Audio data)mはn系受信音声パケットにおいて同期ビットを含む音声パケットから次の同期ビットを含む音声パケットの直前の音声パケットまでのフレームであってm番目のフレームにおける音声データの総和を示している。   In FIG. 2, 0-series Σ (Audio data) m is a frame from the audio packet including the synchronization bit to the audio packet immediately before the audio packet including the next synchronization bit in the 0-system received audio packet. The sum of audio data in the frame is shown. 0 system Σ (Audio data) m + 1 indicates the sum of audio data of the next frame of 0 system Σ (Audio data) m, and n system Σ (Audio data) m is a synchronization bit in the n system received audio packet. The sum of the audio data in the m-th frame is shown from the audio packet including the frame to the audio packet immediately before the audio packet including the next synchronization bit.

例えば、伝送路が0系と1系の2系統である場合、0系受信音声パケットのm番目フレームの先頭タイミングがTであり、1系受信音声パケットにおいて0系m番目フレームと同一フレームであると判定されたフレームの先頭タイミングがT+tであれば、0系受信パケットを時間tだけバッファリングすることにより時間tだけ遅らせて出力する。これにより、0系と1系において同じ音声パケットを同時に出力でき同期を確立できる。   For example, when the transmission path is two systems of the 0 system and the 1 system, the head timing of the m-th frame of the 0-system received voice packet is T, and the same frame as the 0-system m-th frame in the 1-system received voice packet If the start timing of the frame determined to be T + t, the 0-system received packet is delayed by the time t by buffering it for the time t and output. Thereby, the same voice packet can be simultaneously output in the 0-system and the 1-system, and synchronization can be established.

このような処理を連続して送られる音声パケットの上記フレーム毎に行う。また、フレーム毎に毎回行うのでなく、所定の時間毎に行ってもよい。   Such processing is performed for each frame of voice packets sent continuously. Further, it may be performed every predetermined time instead of every frame.

また、上記の例では、各系受信音声パケットの各フレーム内の音声データの総和を計算し、比較に用いているが、総和ではない算術値を計算し、比較に用いることもできる。例えば、音声パケット毎の音声データの総和を音声パケット数で割った平均値を用いることができる。   In the above example, the sum of the voice data in each frame of each received voice packet is calculated and used for comparison. However, an arithmetic value that is not the sum can be calculated and used for comparison. For example, an average value obtained by dividing the sum of the audio data for each audio packet by the number of audio packets can be used.

また、上記の例では、同期ビットを含む音声パケットから次の同期ビットを含む音声パケットの直前の音声パケットまでの192音声パケット分の算術値を求めているが、同期ビットを含む音声パケットから192より小さい予め定めた数の音声パケットまでのグループにおける算術値を計算し、比較に用いてもよい。   In the above example, the arithmetic value for 192 voice packets from the voice packet including the synchronization bit to the voice packet immediately before the voice packet including the next synchronization bit is obtained. Arithmetic values in groups up to a smaller predetermined number of voice packets may be calculated and used for comparison.

また、上記の例では0系を基準としたが、どの系を基準に用いてもよい。上記のような同期方式を用いることにより、無瞬断で複数系間で音声パケットを切り替えることが可能になる。   In the above example, the 0 system is used as a reference, but any system may be used as a reference. By using the synchronization method as described above, it is possible to switch voice packets between multiple systems without interruption.

(装置構成)
上記の同期方式と音声異常検知機構とを組み合わせることにより、正常な系の受信音声パケットのみを無瞬断で出力することが可能になる。このような同期方式と音声異常検知機構とを組み合わせた音声無瞬断切替装置20(音声伝送装置とも呼ぶことができる)の機能構成例を図3に示す。
(Device configuration)
By combining the synchronization method and the voice abnormality detection mechanism, it is possible to output only normal received voice packets without interruption. FIG. 3 shows a functional configuration example of a voice uninterruptible switching device 20 (also referred to as a voice transmission device) that combines such a synchronization method and a voice abnormality detection mechanism.

図3に示すように、この音声無瞬断切替装置20は各系において音声パケットの異常を検出するとともに同期を取るために必要なデータを出力する音声異常検出部21−0〜21−nと、系間の同期をとって1つの系の音声パケットを選択して出力する音声同期選択部22とを有している。   As shown in FIG. 3, the voice uninterruptible switching device 20 detects voice packet anomalies in each system and outputs voice anomaly detectors 21-0 to 21-n that output data necessary for synchronization. And a voice synchronization selection unit 22 for selecting and outputting a voice packet of one system in synchronization between the systems.

この音声無瞬断切替装置20を音声が映像に重畳されて伝送されるデジタル映像伝送システムに適用する場合には、図4に示すように、音声無瞬断切替装置20の前に音声データと画像データとを分離する分離部25を備え、音声無瞬断切替装置20の後に音声データと画像データを多重してデジタル映像データを出力する多重部24とを備える。また、画像無瞬断切替装置26が備えられる。なお、多重部24は必要に応じて備えられるものである。   When the audio uninterruptible switching device 20 is applied to a digital video transmission system in which audio is superimposed and transmitted, as shown in FIG. A separation unit 25 that separates image data is provided, and a multiplexing unit 24 that multiplexes audio data and image data and outputs digital video data after the audio uninterruptible switching device 20 is provided. Further, an image uninterruptible switching device 26 is provided. The multiplexing unit 24 is provided as necessary.

図4に示す構成においては、分離部25が複数系統から受信したそれぞれのデジタル映像データを音声データと画像データに分離し、音声無瞬断切替装置20と画像無瞬断切替装置26に供給し、音声無瞬断切替装置20と画像無瞬断切替装置26がそれぞれ正常な系の音声と画像を選択し、多重部24に供給する。多重部24は供給された音声データと画像データを多重化してデジタル映像データとして出力する。なお、音声と画像とを分離/多重する際には音声と映像間で同期が取られるものとする。   In the configuration shown in FIG. 4, the separation unit 25 separates each digital video data received from a plurality of systems into audio data and image data, and supplies them to the audio uninterruptible switching device 20 and the image uninterruptible switching device 26. The voice uninterruptible switching device 20 and the image uninterruptible switching device 26 select normal audio and images, respectively, and supply them to the multiplexing unit 24. The multiplexing unit 24 multiplexes the supplied audio data and image data and outputs them as digital video data. It should be noted that when the audio and the image are separated / multiplexed, the audio and the video are synchronized.

図5に音声異常検出部21の機能構成例を示す。図5に示すように、音声異常検出部21はミュートデータ等の特定のデータパターン(全て0もしくは全て1)が検出されたときにエラー通知を行う特定データパターン検出部211と、誤り検出符号等の既存のエラーチェック方法により音声パケットのエラーを検出するエラー検出部212と、図1で説明した同期方式に対応する和等の算術値を算出してその算術値とフレームの先頭タイミングを出力する同期用データ生成出力部213とを備えている。   FIG. 5 shows an example of the functional configuration of the voice abnormality detection unit 21. As shown in FIG. 5, the audio abnormality detection unit 21 includes a specific data pattern detection unit 211 that performs error notification when a specific data pattern (all 0s or all 1s) such as mute data is detected, an error detection code, and the like. An error detection unit 212 that detects an error in a voice packet by using the existing error check method, calculates an arithmetic value such as a sum corresponding to the synchronization method described in FIG. 1, and outputs the arithmetic value and the start timing of the frame And a synchronization data generation / output unit 213.

図6に音声同期選択部22の機能構成例を示す。図6に示すように、音声同期選択部22は、各系毎のバッファ部221−0〜221−n、読み出し部222、選択部223、一致音声判定部224、及び音声異常判定部225を有している。   FIG. 6 shows a functional configuration example of the voice synchronization selection unit 22. As shown in FIG. 6, the audio synchronization selection unit 22 includes a buffer unit 221-0 to 221-n, a reading unit 222, a selection unit 223, a matching audio determination unit 224, and an audio abnormality determination unit 225 for each system. is doing.

バッファ部221は各系の受信音声パケットを一時的に蓄積し、読み出し部222は一致音声判定部324からの信号に基づき各系統の音声パケットを同期させて読み出す。また、選択部223は音声異常判定部225からの信号に基づき、複数系統の音声パケットの中から1つの系の映像を無瞬断で選択して出力する。   The buffer unit 221 temporarily stores the received voice packets of each system, and the reading unit 222 reads out the voice packets of each system in synchronization based on the signal from the coincidence voice determining unit 324. Further, the selection unit 223 selects and outputs one system video from a plurality of audio packets without instantaneous interruption based on the signal from the audio abnormality determination unit 225.

一致音声判定部224は、図1に示したような音声データの一致判定を行い、各系における一致した音声フレームの先頭タイミングを出力する。そして、読み出し部222が、各系における先頭タイミングの差に応じてバッファからの読み出しタイミングを調整することにより同期を取る。   The coincidence sound determination unit 224 performs coincidence determination of the sound data as shown in FIG. 1, and outputs the start timing of the coincident sound frame in each system. Then, the reading unit 222 synchronizes by adjusting the read timing from the buffer according to the difference in the head timing in each system.

また、音声異常判定部225は、各音声異常検出部21からの異常判定結果を受信し、異常である系を判定し、その系を選択部223に出力する。   Further, the audio abnormality determination unit 225 receives the abnormality determination result from each audio abnormality detection unit 21, determines an abnormal system, and outputs the system to the selection unit 223.

通常のエラーチェック処理により検出されたエラーについてはそのままエラーが発生した系を出力すればよいが、特定データパターンを用いた異常判定の結果については、1系統毎にみると音声の特徴により特定データパターンが検出されたとしても異常でない場合がある。そこで、ある1つの系で特定データパターンが検出されたとの判定結果を得た場合に、他の全ての系で対応する音声パケットに特定データパターンが検出されなかった場合に上記系の音声パケットが異常であると判定する。つまり、複数の系で特定データパターンが得られた場合には、音声の特徴によるものであると判定し、音声の異常であると判断しない。例えば、2系統の場合であれば、1つの系で特定データパターンが検出され、他の系で検出されていない場合に、当該系の音声パケットが異常であると判定し、2系統の両方で特定データパターンが検出された場合はその特定データパターンについては異常であると判定しない。   For errors detected by normal error check processing, the system in which the error has occurred may be output as it is. However, as for the result of abnormality determination using a specific data pattern, specific data depends on the characteristics of the sound when viewed for each system. Even if a pattern is detected, it may not be abnormal. Therefore, when a determination result is obtained that a specific data pattern has been detected in a certain system, and the specific data pattern is not detected in the corresponding voice packet in all other systems, Judged to be abnormal. That is, when a specific data pattern is obtained in a plurality of systems, it is determined that it is due to the characteristics of the sound, and it is not determined that the sound is abnormal. For example, in the case of two systems, when a specific data pattern is detected in one system and not detected in another system, it is determined that the voice packet of the system is abnormal, and in both systems When a specific data pattern is detected, it is not determined that the specific data pattern is abnormal.

また、2系統より多い系統の場合、予め定めた数以下の数の系において特定データパターンが検出され、その他の系における対応する音声パケットにおいて特定データパターンが検出されなかった場合に、前記予め定めた数以下の数の系の音声が異常であると判定してもよい。例えば、4系統ある場合に、2系統以下の系のみで特定データパターンが検出された場合に、当該系の音声パケットに異常があると判定する。   Further, in the case of more than two systems, the predetermined data pattern is detected in a system of a predetermined number or less, and the specific data pattern is not detected in the corresponding voice packet in the other system, the predetermined data pattern is detected. It may be determined that the number of voices of the number less than that number is abnormal. For example, in the case where there are four systems, when a specific data pattern is detected only in two or less systems, it is determined that there is an abnormality in the voice packet of the system.

なお、図5に示すエラー通知には、エラーが検出された音声パケットの先頭タイミングが含まれ、図6に示す音声異常判定部225では、一致音声判定部224からの一致音声フレームの先頭タイミングの情報を用いることにより対応する音声パケットを識別できる。また、一致音声判定部224からの一致フレームの先頭タイミングの情報を用いることにより、読み出し部222と同期して選択部223に対して異常判定結果の信号を送出する。また、エラー検出及び特定データパターン検出を、読み出し部222から出力された同期がとれた音声パケットに対して行うこととしてもよい。   Note that the error notification shown in FIG. 5 includes the start timing of the voice packet in which the error is detected, and the voice abnormality determination unit 225 shown in FIG. 6 indicates the start timing of the matching voice frame from the matching voice determination unit 224. By using the information, the corresponding voice packet can be identified. Further, by using the information on the start timing of the matching frame from the matching voice determination unit 224, a signal indicating the abnormality determination result is transmitted to the selection unit 223 in synchronization with the reading unit 222. Further, error detection and specific data pattern detection may be performed on the synchronized voice packet output from the reading unit 222.

音声異常判定部225から音声パケットに異常がある系の情報を受信した選択部223は、異常であると判定された系を除いた系の音声パケットを選択して出力する。異常であると判定された系を除いた系が複数ある場合には、例えば、予め定めた系、外部から指定された系、もしくは任意に選択した系の音声パケットを出力する。本実施の形態の方式によれば、系統間での同期が取られているので、ある系が選択されている最中にその系に異常が検出された場合に、他の系へ無瞬断で切替えることが可能である。   The selection unit 223 that has received the information of the system in which the voice packet is abnormal from the voice abnormality determination unit 225 selects and outputs the voice packet of the system excluding the system determined to be abnormal. When there are a plurality of systems other than the system determined to be abnormal, for example, voice packets of a predetermined system, a system designated from the outside, or an arbitrarily selected system are output. According to the method of the present embodiment, since synchronization between systems is taken, if an abnormality is detected in a system while a system is selected, there is no instantaneous interruption to another system. It is possible to switch with.

特定データパターンを検出して系の切り替えを行う場合の例を図7、図8を参照して説明する。図7、図8に示す例は2系統の場合の例であり、上述した方法により0系受信音声パケットと1系受信音声パケット間での同期が取られている状態を示している。   An example in which a specific data pattern is detected and system switching is performed will be described with reference to FIGS. The example shown in FIGS. 7 and 8 is an example in the case of two systems, and shows a state in which synchronization between the 0-system received voice packet and the 1-system received voice packet is achieved by the method described above.

図7に示す例では、音声パケット毎に切り替えを行っており、選択部223において0系を現用系として選択しているときに、0系の3番目の音声パケットで特定データパターンが検出され、1系の3番目の音声パケットでは特定データパターンが検出されなかったので、0系の3番目の音声パケットのみを1系の音声パケットに切り替えて出力している。   In the example illustrated in FIG. 7, switching is performed for each voice packet, and when the selection unit 223 selects the 0 system as the active system, a specific data pattern is detected in the third voice packet of the 0 system, Since the specific data pattern was not detected in the third voice packet of the 1 system, only the third voice packet of the 0 system is switched to the 1 system voice packet and output.

図8に示す例では、192音声パケットからなるフレーム単位で切り替えを行っており、選択部223において0系を現用系として選択しているときに、0系の3番目の音声パケットで特定データパターンが検出され、1系の3番目の音声パケットでは特定データパターンが検出されなかったので、特定データパターンが検出された音声パケットを含む0系のフレームを1系のフレームに切り替えて出力している。   In the example shown in FIG. 8, switching is performed in units of frames consisting of 192 voice packets, and when the selection unit 223 selects the 0 system as the active system, a specific data pattern is used for the third voice packet of the 0 system. Is detected, and the specific data pattern is not detected in the third voice packet of the 1 system. Therefore, the 0 system frame including the audio packet in which the specific data pattern is detected is switched to the 1 system frame and output. .

図3に示す音声無瞬断切替装置20は、複数系統のデジタル音声データを伝送ネットワークから受信する受信装置の内部に備えてもよいし、外部に備えてもよい。また、同期を取ることのみを目的とする場合には、図3の音声無瞬断切替装置20の構成から音声異常判定に関する構成と、選択部223を除いた装置構成としてもよい。その場合、当該装置は、複数の伝送路で伝送される各系の音声パケットを取得する音声パケット取得手段と、音声パケット内の特定の周期で存在するビット値を基準とした所定の数の音声パケットを1グループとし、そのグループ内における音声パケットデータの算術値を各系毎に算出する算出手段と、前記算術値が複数の系間で一致するグループの各受信タイミングを用いて複数の系の間で音声パケットの同期を取り、出力する同期手段とを備える装置となる。   The voice uninterruptible switching device 20 shown in FIG. 3 may be provided inside a receiving device that receives digital audio data of a plurality of systems from a transmission network, or may be provided outside. Further, in the case where only the purpose is to achieve synchronization, a configuration relating to the audio abnormality determination and the device configuration excluding the selection unit 223 from the configuration of the audio uninterruptible switching device 20 in FIG. In this case, the apparatus includes a voice packet acquisition unit that acquires voice packets of each system transmitted through a plurality of transmission paths, and a predetermined number of voices based on a bit value existing in a specific cycle in the voice packet. A packet is defined as one group, and a calculation means for calculating an arithmetic value of voice packet data in the group for each system, and each reception timing of a group in which the arithmetic value matches between a plurality of systems is used. It becomes an apparatus provided with the synchronization means which synchronizes a voice packet between them and outputs it.

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。   The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.

冗長構成を採用したデジタル映像伝送システムの例を示す図である。It is a figure which shows the example of the digital video transmission system which employ | adopted the redundant structure. 同期確立のための処理を説明するための図である。It is a figure for demonstrating the process for synchronization establishment. 音声無瞬断切替装置20の機能構成の例を示す図である。It is a figure which shows the example of a function structure of the audio | voice uninterruptible switching device. 音声無瞬断切替装置20をデジタル映像伝送に適用する場合の構成例を示す図である。It is a figure which shows the structural example in the case of applying the audio | voice uninterruptible switching apparatus 20 to digital video transmission. 音声異常検出部21の機能構成の例を示す図である。FIG. 3 is a diagram illustrating an example of a functional configuration of a voice abnormality detection unit 21. 音声同期選択部22の機能構成の例を示す図である。3 is a diagram illustrating an example of a functional configuration of a voice synchronization selection unit 22. FIG. 特定データパターンを検出して系の切り替えを行う場合の例1を示す図である。It is a figure which shows Example 1 in the case of switching a system by detecting a specific data pattern. 特定データパターンを検出して系の切り替えを行う場合の例2を示す図である。It is a figure which shows Example 2 in the case of switching a system by detecting a specific data pattern.

符号の説明Explanation of symbols

1 映像送出装置
3 映像受信装置
5、7 伝送路
11 データ分岐部
12、13 データ送出部
31、32 データ受信部
33 データ選択部
21 音声異常検出部
22 音声同期選択部
24 多重部
25 分離部
26 画像無瞬断切替装置
211 特定データパターン検出部
212 エラー検出部
213 同期用データ生成出力部
221 バッファ部
222 読み出し部
223 選択部
224 一致音声判定部
225 音声異常判定部
DESCRIPTION OF SYMBOLS 1 Video transmission apparatus 3 Video reception apparatuses 5 and 7 Transmission path 11 Data branch part 12, 13 Data transmission part 31, 32 Data reception part 33 Data selection part 21 Audio | voice abnormality detection part 22 Audio | voice synchronization selection part 24 Multiplexing part 25 Separation part 26 Image uninterruptible switching device 211 Specific data pattern detection unit 212 Error detection unit 213 Synchronization data generation output unit 221 Buffer unit 222 Reading unit 223 Selection unit 224 Matching voice determination unit 225

Claims (4)

デジタル音声データを複数の伝送路で伝送する冗長デジタル音声伝送方式において使用される音声伝送装置であって、
前記複数の伝送路で伝送される各系の音声パケットを取得する音声パケット取得手段と、
音声パケット内の特定の周期で存在するビット値を基準とした所定の数の音声パケットを1グループとし、そのグループ内における音声パケットデータの算術値を各系毎に算出する算出手段と、
前記算術値が複数の系間で一致するグループの各受信タイミングを用いて複数の系の間で音声パケットの同期を取り、出力する同期手段と、
前記同期手段から出力された同期の取れた複数の系の音声パケットの中から1つの系の音声パケットを選択し、出力する選択手段と、を備えた音声伝送装置であり、
前記音声伝送装置は、系毎の複数の音声異常検出手段を備え、各音声異常検出手段は、受信した音声パケットが特定のデータパターンを有するか否かを判定する手段を備え、
前記音声伝送装置は、複数の前記音声異常検出手段からの判定結果に基づき、予め定めた数以下の数の系において音声パケットから前記特定のデータパターンが検出され、他の系の対応する音声パケットからは前記特定のデータパターンが検出されなかった場合に、前記予め定めた数以下の数の系の音声パケットに異常があると判定し、当該予め定めた数以下の数の系の音声パケットを前記選択手段において選択しない
ことを特徴とする音声伝送装置。
An audio transmission device used in a redundant digital audio transmission system for transmitting digital audio data through a plurality of transmission paths,
Voice packet acquisition means for acquiring voice packets of each system transmitted through the plurality of transmission paths;
A calculation means for setting a predetermined number of voice packets based on bit values existing in a specific period in the voice packet as one group, and calculating an arithmetic value of voice packet data in the group for each system;
Synchronizing means for synchronizing and outputting voice packets between a plurality of systems using each reception timing of a group in which the arithmetic value matches between the systems,
Selecting means for selecting one voice packet from a plurality of synchronized voice packets output from the synchronizing means, and outputting the selected voice packet;
The voice transmission device includes a plurality of voice abnormality detection means for each system, each voice abnormality detection means includes means for determining whether or not a received voice packet has a specific data pattern,
The voice transmission device detects the specific data pattern from voice packets in a system of a predetermined number or less based on determination results from the plurality of voice abnormality detection means, and the corresponding voice packets of other systems When the specific data pattern is not detected, it is determined that there is an abnormality in the number of voice packets of the predetermined number or less, and the number of voice packets of the number or less of the predetermined number is determined. An audio transmission apparatus , wherein the selection means does not select .
前記選択手段は、選択中の系における音声パケットに異常が検出された場合に、その音声パケットに替えて他の系の対応する音声パケットを選択して出力することを特徴とする請求項に記載の音声伝送装置。 It said selection means, when an abnormality is detected in the audio packet in the system being selected, in claim 1, characterized in that selects and outputs a corresponding speech packets of other systems in place of the voice packet The audio transmission device according to the description. 前記選択手段は、選択中の系における音声パケットに異常が検出された場合に、その音声パケットを含むグループに替えて他の系の対応するグループの音声パケットを選択して出力することを特徴とする請求項に記載の音声伝送装置。 The selection means, when an abnormality is detected in a voice packet in a selected system, selects and outputs a voice packet of a corresponding group in another system instead of the group including the voice packet. The voice transmission device according to claim 1 . デジタル音声データを複数の伝送路で伝送する冗長デジタル音声伝送方式において使用される音声伝送装置が実行する音声伝送方法であって、
前記複数の伝送路で伝送される各系の音声パケットを取得する音声パケット取得ステップと、
音声パケット内の特定の周期で存在するビット値を基準とした所定の数の音声パケットを1グループとし、そのグループ内における音声パケットデータの算術値を各系毎に算出する算出ステップと、
前記算術値が複数の系間で一致するグループの各受信タイミングを用いて複数の系の間で音声パケットの同期を取り、出力する同期ステップと、
前記同期ステップにより出力された同期の取れた複数の系の音声パケットの中から1つの系の音声パケットを選択し、出力する選択ステップと、を備えた音声伝送方法であり、
前記音声伝送装置は、系毎の複数の音声異常検出手段を備え、各音声異常検出手段は、受信した音声パケットが特定のデータパターンを有するか否かを判定する手段を備え、
前記音声伝送装置は、複数の前記音声異常検出手段からの判定結果に基づき、予め定めた数以下の数の系において音声パケットから前記特定のデータパターンが検出され、他の系の対応する音声パケットからは前記特定のデータパターンが検出されなかった場合に、前記予め定めた数以下の数の系の音声パケットに異常があると判定し、当該予め定めた数以下の数の系の音声パケットを前記選択ステップにおいて選択しない
ことを特徴とする音声伝送方法。
An audio transmission method executed by an audio transmission device used in a redundant digital audio transmission system for transmitting digital audio data through a plurality of transmission paths,
A voice packet acquisition step of acquiring voice packets of each system transmitted through the plurality of transmission paths;
A calculation step of setting a predetermined number of voice packets based on bit values existing in a specific cycle in the voice packet as one group, and calculating an arithmetic value of voice packet data in the group for each system;
A synchronization step of synchronizing and outputting voice packets between a plurality of systems using each reception timing of a group in which the arithmetic value is matched between the systems;
A selection step of selecting and outputting one system voice packet from a plurality of synchronized system voice packets output by the synchronization step, and a voice transmission method comprising:
The voice transmission device includes a plurality of voice abnormality detection means for each system, each voice abnormality detection means includes means for determining whether or not a received voice packet has a specific data pattern,
The voice transmission device detects the specific data pattern from voice packets in a system of a predetermined number or less based on determination results from the plurality of voice abnormality detection means, and the corresponding voice packets of other systems When the specific data pattern is not detected, it is determined that there is an abnormality in the number of voice packets of the predetermined number or less, and the number of voice packets of the number or less of the predetermined number is determined. A voice transmission method , wherein no selection is made in the selection step .
JP2007039453A 2007-02-20 2007-02-20 Audio transmission apparatus and audio transmission method Active JP4718499B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007039453A JP4718499B2 (en) 2007-02-20 2007-02-20 Audio transmission apparatus and audio transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007039453A JP4718499B2 (en) 2007-02-20 2007-02-20 Audio transmission apparatus and audio transmission method

Publications (2)

Publication Number Publication Date
JP2008205807A JP2008205807A (en) 2008-09-04
JP4718499B2 true JP4718499B2 (en) 2011-07-06

Family

ID=39782826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007039453A Active JP4718499B2 (en) 2007-02-20 2007-02-20 Audio transmission apparatus and audio transmission method

Country Status (1)

Country Link
JP (1) JP4718499B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0454738A (en) * 1990-06-22 1992-02-21 Nippon Telegr & Teleph Corp <Ntt> Receiving end switching transmission system
JPH06104709A (en) * 1992-09-18 1994-04-15 Fujitsu Ltd Fixed pattern detecting circuit
JPH08139710A (en) * 1994-11-14 1996-05-31 Fujitsu Ltd Phase difference absorbing method and circuit for duplex transmission line
JPH10150424A (en) * 1996-11-19 1998-06-02 Hitachi Ltd Frame synchronization method and multiplexer using it
JPH11266218A (en) * 1998-03-17 1999-09-28 Fujitsu Ltd Phase controller and phase control method
JP2000332741A (en) * 1999-05-18 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> Communication apparatus
JP2003101579A (en) * 2001-09-26 2003-04-04 Mitsubishi Electric Corp Transmitter
JP2005101857A (en) * 2003-09-24 2005-04-14 Fujitsu Ltd Synchronizing circuit of frame phase of parallel packet signals
JP2005130284A (en) * 2003-10-24 2005-05-19 Nippon Telegr & Teleph Corp <Ntt> Method and device for receiving packet
JP2005318395A (en) * 2004-04-30 2005-11-10 Oki Electric Ind Co Ltd Radio network system, packet loss reducing method for radio network system and radio communications apparatus

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0454738A (en) * 1990-06-22 1992-02-21 Nippon Telegr & Teleph Corp <Ntt> Receiving end switching transmission system
JPH06104709A (en) * 1992-09-18 1994-04-15 Fujitsu Ltd Fixed pattern detecting circuit
JPH08139710A (en) * 1994-11-14 1996-05-31 Fujitsu Ltd Phase difference absorbing method and circuit for duplex transmission line
JPH10150424A (en) * 1996-11-19 1998-06-02 Hitachi Ltd Frame synchronization method and multiplexer using it
JPH11266218A (en) * 1998-03-17 1999-09-28 Fujitsu Ltd Phase controller and phase control method
JP2000332741A (en) * 1999-05-18 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> Communication apparatus
JP2003101579A (en) * 2001-09-26 2003-04-04 Mitsubishi Electric Corp Transmitter
JP2005101857A (en) * 2003-09-24 2005-04-14 Fujitsu Ltd Synchronizing circuit of frame phase of parallel packet signals
JP2005130284A (en) * 2003-10-24 2005-05-19 Nippon Telegr & Teleph Corp <Ntt> Method and device for receiving packet
JP2005318395A (en) * 2004-04-30 2005-11-10 Oki Electric Ind Co Ltd Radio network system, packet loss reducing method for radio network system and radio communications apparatus

Also Published As

Publication number Publication date
JP2008205807A (en) 2008-09-04

Similar Documents

Publication Publication Date Title
US8874058B2 (en) Stream signal transmission device and transmission method
KR20130051859A (en) Camera system, signal delay amount adjusting method and program
EP0796018A2 (en) Packet multiplexing system
EP0761049B1 (en) Data communication system having channel switching means
JP4698622B2 (en) Video abnormality detection device, video transmission device, video abnormality detection method, and video transmission method
JP4724679B2 (en) Packet transfer apparatus and packet transfer method
JP4718499B2 (en) Audio transmission apparatus and audio transmission method
JP2000261394A (en) System and method for multiplexing transmission for tributary signal
US7161963B2 (en) Frame multiplexer
JP4871785B2 (en) Broadcast TS switching device, memory device, and broadcast TS switching system
JP2004194234A (en) Method, device and system for transmitting data
US8005356B2 (en) Video transmission system of a ring network
JP3945688B2 (en) Frame synchronization method
JP2002335297A (en) Signal distribution transmitter and signal synthesis receiver
JP4455738B2 (en) Multiplexing method and apparatus
JP2009089284A (en) Packet transmission system, packet transmitter, and timing synchronization route redundancy method used therefor
JP2776302B2 (en) Auxiliary signal transmission system with redundant configuration
JP2727778B2 (en) High-speed line termination circuit
JP2009010753A (en) Hit-less switching type transmission apparatus
JP4832465B2 (en) Media multiplexing transmission system and multiplexing apparatus
JPH04291892A (en) Multi-point video conference controller
JP3343904B2 (en) Transmission line switching system
JP5533433B2 (en) Transmission device with uninterruptible switching function and transmission path uninterrupted switching method
JP2013168785A (en) Uninterruptible transmission device
JP2002064510A (en) Atm cell transmission system, atm cell transmission device, atm cell transmission method, and cell assembling /disassembling apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110331

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4718499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250