JP7179128B1 - Wireless communication device and wireless communication system - Google Patents

Wireless communication device and wireless communication system Download PDF

Info

Publication number
JP7179128B1
JP7179128B1 JP2021112279A JP2021112279A JP7179128B1 JP 7179128 B1 JP7179128 B1 JP 7179128B1 JP 2021112279 A JP2021112279 A JP 2021112279A JP 2021112279 A JP2021112279 A JP 2021112279A JP 7179128 B1 JP7179128 B1 JP 7179128B1
Authority
JP
Japan
Prior art keywords
audio signal
signal
unit
noise
wireless communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021112279A
Other languages
Japanese (ja)
Other versions
JP2023008600A (en
Inventor
二郎 國分
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alinco Inc
Original Assignee
Alinco Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alinco Inc filed Critical Alinco Inc
Priority to JP2021112279A priority Critical patent/JP7179128B1/en
Application granted granted Critical
Publication of JP7179128B1 publication Critical patent/JP7179128B1/en
Publication of JP2023008600A publication Critical patent/JP2023008600A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Telephone Function (AREA)

Abstract

【課題】高精度で音声期間を検出して無線送信を開始することができる。【解決手段】無線通信装置は、入力される音声信号をしきい値と比較して、比較結果信号である音声検出信号を出力する音声信号検出部と、入力される音声信号に従って無線搬送波を変調して無線信号を送信する変調送信部と、音声検出信号に基づいて、変調送信部を送信状態にするように制御する制御部とを備える。無線通信装置は、入力される音声信号からノイズをキャンセルするように音声信号処理を行って変調送信部に出力するノイズキャンセル部を備える。音声信号検出部はノイズキャンセル部の後段に設けられ、ノイズキャンセル部からの音声信号をしきい値と比較して音声検出信号を出力する。ノイズキャンセル部は、人間の音声の特徴パラメータを用いて学習され、復調された音声信号からノイズを含む非音声期間であるか否かを判定する深層学習モデル部を用いて、ノイズキャンセル処理を行う。【選択図】図1A voice period can be detected with high accuracy and wireless transmission can be started. A wireless communication device includes a voice signal detector that compares an input voice signal with a threshold value and outputs a voice detection signal that is a comparison result signal, and modulates a radio carrier according to the input voice signal. and a control unit for controlling the modulation transmission unit to be in a transmission state based on the voice detection signal. A wireless communication apparatus includes a noise canceller that performs audio signal processing to cancel noise from an input audio signal and outputs the processed audio signal to a modulation transmitter. The audio signal detection section is provided after the noise cancellation section, compares the audio signal from the noise cancellation section with a threshold value, and outputs an audio detection signal. The noise cancellation unit performs noise cancellation processing using a deep learning model unit that is learned using characteristic parameters of human speech and determines whether or not it is a non-speech period containing noise from the demodulated speech signal. . [Selection drawing] Fig. 1

Description

本発明は、例えばVOX(Voice Operated Transmitter)回路を有する無線通信装置及び、複数の無線通信装置を含む無線通信システムに関する。 The present invention relates to a wireless communication device having, for example, a VOX (Voice Operated Transmitter) circuit and a wireless communication system including a plurality of wireless communication devices.

従来技術に係る無線通信装置において、VOX回路が設けられている。ここで、VOX回路は、音声の有無に応じて送信信号の出力をオン・オフ制御する回路であって、例えば音声を検出したときのみ無線信号を送信し、マイクロホン周辺が無音のときは無線信号を送信せず、無線通信装置を受信状態になるように制御する。 A VOX circuit is provided in a wireless communication device according to the prior art. Here, the VOX circuit is a circuit that controls ON/OFF of the output of the transmission signal according to the presence or absence of voice. is not transmitted, and the wireless communication device is controlled to be in a reception state.

例えば特許文献1では、音声区間を高精度に検出して、通話品質の向上を図るために、以下の構成を有する音声区間検出装置が提案されている。この音声区間検出装置において、周波数分布算出部は、入力信号の周波数分布を算出し、平坦さ算出部は周波数分布から周波数分布の平坦さを算出する。例えば、周波数分布の平均を求め、周波数分布と平均値との差分の総和を、周波数分布の平坦さとする。さらに、音声/雑音判定部は、周波数分布の平坦さとしきい値とを比較して、音声か雑音かを判定し、入力信号の音声区間を検出する。 For example, Patent Literature 1 proposes a voice segment detection device having the following configuration in order to detect voice segments with high accuracy and improve call quality. In this voice interval detection device, the frequency distribution calculator calculates the frequency distribution of the input signal, and the flatness calculator calculates the flatness of the frequency distribution from the frequency distribution. For example, the average of the frequency distribution is obtained, and the sum of the differences between the frequency distribution and the average is used as the flatness of the frequency distribution. Furthermore, the voice/noise determination unit compares the flatness of the frequency distribution with a threshold value to determine whether the signal is voice or noise, and detects the voice section of the input signal.

特許第3963850号公報Japanese Patent No. 3963850

図7A及び図7Bは従来例に係る制御部110を有する無線機100の動作例を示すブロック図である。ここで、音声信号検出部17はいわゆるVOX回路を構成する。図7A及び図7Bに示すように、従来例に係る無線機100に搭載しているVOX回路である音声信号検出部17では、例えばマイクロホン12からの音声信号を増幅し、フィルタリングし、整流し、その音声信号レベルを所定のしきい値と比較して、前記音声信号レベルがしきい値以上であるときに無線送信を開始するように構成されている。この従来例の場合において、風切り音や周囲の騒音等で本来のマイクロホン12からの音声信号と誤認識して誤送信を開始する場合が多発していた(図7B)。従って、上記の理由から、従来例に係るVOX回路はこれまで屋外や騒音の多い現場での運用は不可能とされてきた。 7A and 7B are block diagrams showing an operation example of the wireless device 100 having the control section 110 according to the conventional example. Here, the audio signal detector 17 constitutes a so-called VOX circuit. As shown in FIGS. 7A and 7B, the audio signal detector 17, which is a VOX circuit mounted in the conventional wireless device 100, amplifies, filters, rectifies, and converts the audio signal from the microphone 12, for example. The audio signal level is compared with a predetermined threshold and radio transmission is initiated when the audio signal level is equal to or greater than the threshold. In the case of this conventional example, there have been many cases in which erroneous transmission is started due to erroneous recognition of an audio signal from the original microphone 12 due to wind noise, ambient noise, etc. (FIG. 7B). Therefore, for the above reasons, it has been said that the conventional VOX circuit cannot be used outdoors or in a noisy field.

すなわち、従来例に係る音声区間検出装置を有する無線通信装置においても、例えば風切り音や周囲の騒音等で、本来のマイクロホンからの音声と誤検出して無線送信を開始することが多発し、音声区間の検出精度はいまだ低いという問題点があった。 That is, even in a wireless communication device having a conventional voice interval detection device, wind noise, ambient noise, and the like frequently cause erroneous detection of voice from the original microphone and start wireless transmission. There is a problem that the detection accuracy of the interval is still low.

本発明の目的は以上の問題点を解決し、従来例に比較して高精度で音声期間を検出して無線送信を開始することができる無線通信装置及び、複数の無線通信装置を含む無線通信システムを提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to solve the above-described problems, and to provide a wireless communication device capable of detecting a voice period and starting wireless transmission with higher accuracy than the conventional example, and wireless communication including a plurality of wireless communication devices. It is to provide a system.

本発明の一態様に係る無線通信装置は、
入力される音声信号を所定の第1のしきい値と比較して、比較結果信号である第1の音声検出信号を出力する第1の音声信号検出部と、
前記入力される音声信号に従って無線搬送波を変調して無線信号を無線送信する変調送信部と、
前記第1の音声検出信号に基づいて、前記変調送信部を送信状態にするように制御する制御部とを備える無線通信装置において、
前記入力される音声信号からノイズをキャンセルするように音声信号処理を行って前記変調送信部に出力するノイズキャンセル部を備え、
前記第1の音声信号検出部は前記ノイズキャンセル部の後段に設けられ、前記ノイズキャンセル部からの音声信号を前記第1のしきい値と比較して、比較結果信号である第1の音声検出信号を出力し、
前記ノイズキャンセル部は、人間の音声の特徴パラメータを用いて学習され、前記入力される音声信号からノイズを含む非音声期間であるか否かを判定する深層学習モデル部を用いて、ノイズキャンセル処理を行い、
前記無線通信装置は、
入力される音声信号を所定の第2のしきい値と比較して、比較結果信号である第2の音声検出信号を出力する第2の音声信号検出部をさらに備え、
前記制御部は、前記第1の音声検出信号に先だって入力される前記第2の音声検出信号に基づいて、前記変調送信部の無線送信を開始するように制御する。
A wireless communication device according to an aspect of the present invention includes:
a first audio signal detector that compares an input audio signal with a predetermined first threshold value and outputs a first audio detection signal that is a comparison result signal;
a modulation transmitter that modulates a radio carrier wave according to the input audio signal and radio-transmits the radio signal;
A wireless communication device comprising: a control unit that controls the modulation transmission unit to be in a transmission state based on the first voice detection signal,
A noise canceling unit that performs audio signal processing so as to cancel noise from the input audio signal and outputs it to the modulation transmission unit;
The first audio signal detection unit is provided after the noise canceling unit, compares the audio signal from the noise canceling unit with the first threshold value, and performs first audio detection as a comparison result signal. output a signal,
The noise cancellation unit learns using a feature parameter of human speech, and uses a deep learning model unit that determines whether or not it is a non-speech period containing noise from the input speech signal, and performs noise cancellation processing. and
The wireless communication device
further comprising a second audio signal detection unit that compares an input audio signal with a predetermined second threshold value and outputs a second audio detection signal that is a comparison result signal;
The controller controls the modulation transmitter to start radio transmission based on the second voice detection signal input prior to the first voice detection signal.

従って、本発明に係る無線通信装置によれば、前記入力される音声信号からノイズをキャンセルするように音声信号処理を行って前記変調送信部に出力するノイズキャンセル部を備え、前記第1の音声信号検出部は前記ノイズキャンセル部の後段に設けられ、前記ノイズキャンセル部からの音声信号を前記第1のしきい値と比較して、比較結果信号である第1の音声検出信号を出力するように構成した。これにより、従来例に比較して高精度で音声期間を検出して無線送信を開始することができる。 Therefore, according to the wireless communication device of the present invention, the noise canceling unit performs audio signal processing so as to cancel noise from the input audio signal and outputs the audio signal to the modulation transmitting unit, A signal detection section is provided after the noise cancellation section, compares the audio signal from the noise cancellation section with the first threshold value, and outputs a first audio detection signal that is a comparison result signal. configured to As a result, it is possible to detect the voice period and start radio transmission with higher accuracy than in the conventional example.

実施形態1に係る無線機1の構成例を示すブロック図である。1 is a block diagram showing a configuration example of a wireless device 1 according to Embodiment 1; FIG. 図1のノイズキャンセル部14の構成例を示すブロック図である。2 is a block diagram showing a configuration example of a noise cancellation unit 14 of FIG. 1; FIG. 図2の深層学習モデル部35の構成例を示すブロック図である。3 is a block diagram showing a configuration example of a deep learning model unit 35 of FIG. 2; FIG. 実施形態2に係る無線機1Aの構成例を示すブロック図である。FIG. 10 is a block diagram showing a configuration example of a wireless device 1A according to Embodiment 2; 図4の制御部10Aによって実行されるVOXモードの送信制御処理の第1の部分を示すフローチャートである。FIG. 5 is a flow chart showing a first part of VOX mode transmission control processing executed by the control unit 10A of FIG. 4; FIG. 図4の制御部10Aによって実行されるVOXモードの送信制御処理の第2の部分を示すフローチャートである。FIG. 5 is a flow chart showing a second part of the VOX mode transmission control process executed by the control unit 10A of FIG. 4; FIG. 図1の無線機1の動作例を示す各信号のタイミングチャートである。2 is a timing chart of each signal showing an operation example of the wireless device 1 of FIG. 1; 図4の無線機1Aの動作例1を示す各信号のタイミングチャートである。5 is a timing chart of each signal showing an operation example 1 of the wireless device 1A of FIG. 4; 図4の無線機1Aの動作例2を示す各信号のタイミングチャートである。5 is a timing chart of each signal showing an operation example 2 of the wireless device 1A of FIG. 4; 従来例に係る無線機100の動作例1を示すブロック図である。FIG. 11 is a block diagram showing an operation example 1 of the wireless device 100 according to the conventional example; 従来例に係る無線機100の動作例2を示すブロック図である。FIG. 11 is a block diagram showing an operation example 2 of the radio device 100 according to the conventional example; 図1の無線機1の動作例1を示すブロック図である。2 is a block diagram showing an operation example 1 of the wireless device 1 of FIG. 1; FIG. 図1の無線機1の動作例2を示すブロック図である。2 is a block diagram showing an operation example 2 of the wireless device 1 of FIG. 1; FIG. 図1の無線機1の動作例3を示すブロック図である。3 is a block diagram showing an operation example 3 of the wireless device 1 of FIG. 1; FIG. 図4の無線機1Aの動作例1を示すブロック図である。5 is a block diagram showing an operation example 1 of the wireless device 1A of FIG. 4; FIG.

以下、本発明に係る実施形態及び変形例について図面を参照して説明する。なお、同一又は同様の構成要素については同一の符号を付している。 Hereinafter, embodiments and modifications according to the present invention will be described with reference to the drawings. In addition, the same code|symbol is attached|subjected about the same or similar component.

(実施形態1)
図1は実施形態に係る無線機1の構成例を示すブロック図である。図1において、無線機1は無線通信装置の一例であって、受信アンテナ21と、受信復調部22と、音声信号増幅器23と、スピーカ24と、制御部10と、PTT(Push To Talk)キー11A及びVOXモードキー11Bを含む操作部11と、マイクロホン12と、音声信号増幅器13と、ノイズキャンセル部14と、変調送信部15と、送信アンテナ16と、音声信号検出部17とを備えて構成される。ここで、PTTキー11Aは発声音声を送信したいときにオンされ、VOXモードキー11BはVOX回路の一例である音声信号検出部17を用いたVOXモード(例えば音声を検出したときのみ無線信号を送信し、マイクロホン周辺が無音のときは無線信号を送信せず、無線通信装置を受信状態になるように制御するモードである)で送受信したいときにオンされ、制御部10はVOXモードで変調送信部15及び受信復調部22の動作を制御する。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration example of a wireless device 1 according to an embodiment. In FIG. 1, a wireless device 1 is an example of a wireless communication device, and includes a receiving antenna 21, a receiving demodulator 22, an audio signal amplifier 23, a speaker 24, a control unit 10, and a PTT (Push To Talk) key. 11A and VOX mode key 11B; a microphone 12; an audio signal amplifier 13; a noise canceling unit 14; a modulation transmission unit 15; be done. Here, the PTT key 11A is turned on when it is desired to transmit voice, and the VOX mode key 11B is a VOX mode using the voice signal detector 17, which is an example of a VOX circuit (for example, a wireless signal is transmitted only when voice is detected). However, when there is no sound around the microphone, no radio signal is transmitted, and the radio communication apparatus is controlled to be in a receiving state). 15 and the operation of the reception demodulator 22.

ここで、実施形態に係る無線機1は例えば特定小電力無線通信システムのための特定小電力無線局の無線通信装置の一例である。本実施形態では、無線機1はその送信部において、VOX回路である音声信号検出部17の前段に、深層学習モデル部35(図3)を利用してノイズキャンセル処理を行って例えばFM(周波数変調)又はPM(位相変調)においてノイズ軽減で特に有効である、ノイズキャンセル部14を備えたことを特徴としている。また、複数の無線機1により無線通信システムを構成する。 Here, the wireless device 1 according to the embodiment is an example of a wireless communication device of a specified low-power wireless station for a specified low-power wireless communication system, for example. In this embodiment, the wireless device 1 performs noise cancellation processing using the deep learning model unit 35 (FIG. 3) at the front stage of the audio signal detection unit 17, which is a VOX circuit, in the transmission unit, for example, FM (frequency modulation) or PM (phase modulation), which is particularly effective in reducing noise. Also, a plurality of wireless devices 1 constitute a wireless communication system.

図1において、受信アンテナ21により受信された無線信号は受信復調部22に入力される。受信復調部22は、受信された無線信号を低雑音増幅、低域周波数変換、中間周波増幅等を行った後、例えばFM(周波数変調)又はPM(位相変調)などの所定の復調方式で音声信号に復調して音声信号増幅器23を介してスピーカ24に出力する。 In FIG. 1, a radio signal received by a receiving antenna 21 is input to a receiving demodulator 22 . After performing low-noise amplification, low-frequency conversion, intermediate frequency amplification, etc. on the received radio signal, the reception demodulation unit 22 demodulates the received radio signal by a predetermined demodulation method such as FM (frequency modulation) or PM (phase modulation). The signal is demodulated and output to the speaker 24 via the audio signal amplifier 23 .

マイクロホン12は入力される音声を音声信号に変換して音声信号増幅器13を介してノイズキャンセル部14に出力する。ノイズキャンセル部14は人間の音声により深層学習された深層学習モデル部35(図3)を用いて、入力される音声信号から音声信号期間のみ当該音声信号を通過させることで、ノイズをキャンセルするように音声信号処理を行った後、変調送信部15及び音声信号検出部17に出力する。音声信号検出部17はコンパレータを含むVOX回路の一例であって、入力される音声信号を所定のしきい値と比較し、入力される音声信号が前記しきい値以上であるときにHレベルの音声検出信号(比較結果信号)S1を制御部10に出力する一方、入力される音声信号が前記しきい値未満であるときにLレベルの音声検出信号(比較結果信号)S1を制御部10に出力する。 The microphone 12 converts an input voice into a voice signal and outputs the voice signal to the noise cancellation section 14 via the voice signal amplifier 13 . The noise canceling unit 14 uses a deep learning model unit 35 (FIG. 3) that has been deep-learned using human speech, and allows the input audio signal to pass through only during the audio signal period, thereby canceling noise. After performing audio signal processing, it outputs to the modulation transmission section 15 and the audio signal detection section 17 . The audio signal detector 17 is an example of a VOX circuit including a comparator. A voice detection signal (comparison result signal) S1 is output to the control unit 10, and an L level voice detection signal (comparison result signal) S1 is sent to the control unit 10 when the input voice signal is less than the threshold value. Output.

制御部10は例えばCPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサ等で構成され、PTTキー11Aがオンされたときに、変調送信部15を動作させ、変調送信部15は入力される音声信号に従って無線搬送波を前記所定の変調方式で変調した後、変調された無線搬送波である無線信号を、高域周波数変換しかつ電力増幅した後、送信アンテナ16から送信する。また、制御部10は、VOXモードで変調送信部15及び受信復調部22の動作を制御し、すなわち、音声信号検出部17からのHレベルの音声検出信号S1に応答して変調送信部15をオンして送信状態とし、Lレベルの音声検出信号S1に応答して変調送信部15をオフして送信停止状態とする。 The control unit 10 is composed of a processor such as a CPU (Central Processing Unit) or DSP (Digital Signal Processor). After modulating the radio carrier wave according to the predetermined modulation method according to the received voice signal, the radio signal, which is the modulated radio carrier wave, is transmitted from the transmission antenna 16 after high frequency conversion and power amplification. In addition, the control unit 10 controls the operations of the modulation transmission unit 15 and the reception demodulation unit 22 in the VOX mode, that is, in response to the H-level audio detection signal S1 from the audio signal detection unit 17, the control unit 10 controls the modulation transmission unit 15. It is turned on to enter a transmission state, and in response to the L-level voice detection signal S1, the modulation transmission section 15 is turned off to enter a transmission stop state.

なお、本実施形態では、無線機1は送信周波数と受信周波数とが異なる同時通話方式での動作について説明したが、本発明はこれに限られず、無線機1は送信周波数と受信周波数とを同一の周波数を使用する場合は、制御部10は、PTTキー11Aがオンされたとき又はHレベルの音声検出信号S1に応答して受信復調部22の動作を停止させる。 In this embodiment, the wireless device 1 operates in a simultaneous call system in which the transmission frequency and the reception frequency are different, but the present invention is not limited to this, and the wireless device 1 uses the same transmission frequency and reception frequency. frequency is used, the control unit 10 stops the operation of the reception demodulation unit 22 when the PTT key 11A is turned on or in response to the H level voice detection signal S1.

次いで、図2を参照して、深層学習モデル部35を用いた図1のノイズキャンセル部14の構成及び動作について以下に説明する。 Next, with reference to FIG. 2, the configuration and operation of the noise cancellation unit 14 of FIG. 1 using the deep learning model unit 35 will be described below.

図2は図1のノイズキャンセル部14の構成例を示すブロック図である。 FIG. 2 is a block diagram showing a configuration example of the noise cancellation section 14 of FIG.

ここで、「音素」という用語は、特定の言語において1つの単語を他の単語から区別する音の単位を意味し、「振動レート」という用語は、各秒におけるデジタル化された振動データの0と1の間の移動の数を意味し、「振動計数値(VC)」という用語は、各フレーム内のデジタル化された振動データの値の合計を意味する。また、「振動パターン」とは、時間軸に沿った所定のフレーム数ごとに算出された振動数の総和のデータ分布を意味する。深層学習モデル部35では、異なる振動パターン、すなわち異なる振動計数値の総和(VS値)のデータ分布の違いを考慮して、ノイズキャンセル処理を行っており、振動レートは振動計数値に類似しているが、振動レートが大きいほど、振動計数値も大きくなる。 Here, the term "phoneme" refers to the unit of sound that distinguishes one word from another in a particular language, and the term "vibration rate" refers to the zero point of the digitized vibration data at each second. and 1, and the term "vibration count (VC)" refers to the sum of the values of the digitized vibration data within each frame. Further, the "vibration pattern" means the data distribution of the sum of the vibration frequencies calculated for each predetermined number of frames along the time axis. In the deep learning model unit 35, noise cancellation processing is performed in consideration of different vibration patterns, that is, differences in the data distribution of the sum of different vibration count values (VS values), and the vibration rate is similar to the vibration count value. However, the higher the vibration rate, the higher the vibration count.

音声信号の振幅と振動レートは共に観測可能である。ノイズキャンセル部14の特徴は、音声信号の振幅と振動率に応じて音声イベントを検出することである。また、別の特徴は、デジタル化された振動データの振動計数値の総和を、あらかじめ定義されたフレーム数分だけ計測することで、音声と、非音声/無音を区別することである。もう一つの特徴は、入力される音声信号データのストリームをその振動パターンによって異なる音素に分類することである。別の特徴は、下流の処理部をトリガするように、入力される音声信号データストリームから最初の起動音素を正しく区別することであり、それによって、処理部を含む計算システムの電力消費等の計算コストを節約することである。 Both the amplitude and vibration rate of the speech signal are observable. A feature of the noise cancellation unit 14 is to detect audio events according to the amplitude and vibration rate of the audio signal. Another feature is to distinguish between speech and non-speech/silence by measuring the sum of the vibration count values of the digitized vibration data for a predefined number of frames. Another feature is to classify the input audio signal data stream into different phonemes according to their vibration patterns. Another feature is the correct discrimination of the first activation phoneme from the incoming audio signal data stream to trigger downstream processing units, thereby calculating power consumption, etc. of the computing system containing the processing units. It is to save costs.

図2において、ノイズキャンセル部14は音声イベント検出を用いてノイズキャンセル処理を行うものであって、音声信号前置処理部38と、AD変換器39と、音声信号処理部30とを備えて構成される。ここで、音声信号前置処理部38は、アナログ音声信号に対して、ハイパスフィルタリング、ローパスフィルタリング、増幅又はそれらの組み合わせ等を含む、音声信号前置処理を行って、処理後のアナログ音声信号をAD変換器39に出力する。すなわち、音声信号前置処理部38は、マイクロホン12からの音声信号に対して、人間の音声信号の所定のレベル範囲であって、所定の帯域幅のみを通過させる。次いで、AD変換器39は、所定の基準電圧Vref及び許容電圧Vadm(<Vref)に従って、アナログ音声信号をデジタル音声信号にAD変換して音声信号処理部30の入力インターフェース36に出力する。 In FIG. 2, the noise cancellation unit 14 performs noise cancellation processing using audio event detection, and includes an audio signal preprocessing unit 38, an AD converter 39, and an audio signal processing unit 30. be done. Here, the audio signal preprocessing unit 38 performs audio signal preprocessing, including high-pass filtering, low-pass filtering, amplification, or a combination thereof, on the analog audio signal, and outputs the processed analog audio signal. Output to AD converter 39 . That is, the audio signal pre-processing unit 38 allows the audio signal from the microphone 12 to pass only within a predetermined level range of human audio signals and in a predetermined bandwidth. Next, the AD converter 39 AD-converts the analog audio signal into a digital audio signal according to a predetermined reference voltage Vref and an allowable voltage Vadm (<Vref), and outputs the digital audio signal to the input interface 36 of the audio signal processing section 30 .

本実施形態において、AD変換器39において、基準電圧Vrefよりも小さい許容電圧Vadmは、基準電圧Vrefと組み合わせて、第1のしきい値電圧Vth1(=Vref+Vadm))及び第2のしきい値電圧Vth2(=Vref-Vadm)を形成するために使用され、AD変換器39は、第1のしきい値電圧Vth1及び第2のしきい値電圧Vth2に基づいて、第1のしきい値電圧Vth1以上又は第2のしきい値電圧Vth2以下のノイズに対してAD変換を実行せず、その間の音声信号に対してAD変換を実行することで、入力されるアナログ音声信号のノイズ及び干渉を除去することができる。ここで、例えばVref=1.0V,Vadm=0.01Vとすると、静かな環境では振動データの振動数が少なく,音声環境では振動データの振動数が多いことが理解できる。なお、本実施形態において、「フレームサイズ」とは、各フレーム内のデジタル化された振動データに対応するサンプリングポイントの数を意味し、「音素ウィンドウTw」とは、各音素の音声特徴量を収集するための時間を意味する。好ましい実施形態では、各フレームの継続時間Tfは例えば0.1~1ミリ秒(ms)であり、音素ウィンドウTwは例えば約0.3秒である。さらに好ましい実施形態では、各フレーム内のデジタル化された振動データに対応するサンプリングポイントの数は例えば1~16の範囲である。 In the present embodiment, in the AD converter 39, the allowable voltage Vadm smaller than the reference voltage Vref is combined with the reference voltage Vref to obtain the first threshold voltage Vth1 (=Vref+Vadm)) and the second threshold voltage Vth2 (=Vref−Vadm), and the AD converter 39 converts the first threshold voltage Vth1 based on the first threshold voltage Vth1 and the second threshold voltage Vth2. Noise and interference in the input analog audio signal are removed by not performing AD conversion on noise above or below the second threshold voltage Vth2, but by performing AD conversion on the audio signal between them. can do. Here, if Vref=1.0 V and Vadm=0.01 V, for example, it can be understood that the frequency of vibration data is low in a quiet environment, and the frequency of vibration data is high in a voice environment. In this embodiment, the “frame size” means the number of sampling points corresponding to the digitized vibration data in each frame, and the “phoneme window Tw” means the speech feature amount of each phoneme. Means time to collect. In a preferred embodiment, the duration Tf of each frame is eg 0.1-1 milliseconds (ms) and the phoneme window Tw is eg about 0.3 seconds. In a further preferred embodiment, the number of sampling points corresponding to the digitized vibration data within each frame ranges, for example, from 1-16.

音声信号を分析する場合、ほとんどの音声信号は短期間で安定しているので、通常、短期分析の方法が採用される。例えば、AD変換器39で使用されるサンプリング周波数fsが16000であり、各フレームの継続時間Tfが1msであると仮定すると、フレームサイズはfs×1/1000=16サンプルポイントとなる。 When analyzing speech signals, the method of short-term analysis is usually adopted since most speech signals are stable in a short period of time. For example, assuming that the sampling frequency fs used by the AD converter 39 is 16000 and the duration Tf of each frame is 1 ms, the frame size is fs×1/1000=16 sample points.

図2において、音声信号処理部30は例えばコンピュータデバイスで構成され、
(1)ノイズキャンセルなどの所定の音声信号処理を実行するCPU(Central Processing Unit)31と、
(2)CPU31の基本処理を実行するオペレーティングシステム及び前記音声信号処理のプログラム、並びに当該プログラムを実行するために必要なデータ等を格納するROM(Read Only Memory)32と、
(3)CPU31の基本処理を実行するオペレーティングシステム及び前記音声信号処理のプログラムの実行時に、処理中のデータ等を格納するRAM(Read Access Memory)33と、
(4)前記音声信号処理を実行するために必要な後述する設定データ等を格納する不揮発性のEEPROM(Electrically Erasable Programmable Memory)34と、
(5)例えばニューラルネットワークなどで構成され、人間の音声信号データに基づいて深層学習されて入力される音声信号データに対して、ノイズを除去して実質的に音声信号のみを抽出して出力する深層学習モデル部35と、
(6)AD変換器39から入力される音声信号データを、後段の信号仕様値に変換するための所定の信号変換処理を行ってCPU31に出力する入力インターフェース36と、
(7)深層学習モデル部35によりノイズが除去された音声信号データを、後段の信号仕様値に変換するための所定の信号変換処理を行って端子T12、音声ラインL2等を介して無線機1に出力する出力インターフェース37と、
を備えて構成される。
In FIG. 2, the audio signal processing unit 30 is configured by, for example, a computer device,
(1) A CPU (Central Processing Unit) 31 that executes predetermined audio signal processing such as noise cancellation;
(2) a ROM (Read Only Memory) 32 that stores an operating system that executes the basic processing of the CPU 31, the audio signal processing program, and data necessary for executing the program;
(3) a RAM (Read Access Memory) 33 for storing data being processed when the operating system for executing the basic processing of the CPU 31 and the program for the audio signal processing are executed;
(4) a non-volatile EEPROM (Electrically Erasable Programmable Memory) 34 for storing later-described setting data necessary for executing the audio signal processing;
(5) For example, it is composed of a neural network, etc., and removes noise from voice signal data that is input after deep learning based on human voice signal data, and extracts and outputs substantially only the voice signal. a deep learning model unit 35;
(6) an input interface 36 that performs a predetermined signal conversion process for converting audio signal data input from the AD converter 39 into a signal specification value in the subsequent stage and outputs the result to the CPU 31;
(7) The audio signal data from which noise has been removed by the deep learning model unit 35 is subjected to a predetermined signal conversion process for converting it into a signal specification value in the subsequent stage, and the wireless device 1 is transmitted through the terminal T12, the audio line L2, etc. an output interface 37 that outputs to
configured with

ここで、EEPROM34は例えば、一連の振動計数値VC、振動計数値の総和VS、振動計数値の総和VSf、振動計数値の総和VSp(後述する)、及びすべての特徴ベクトルの音声特徴値を記憶する。なお、EEPROM34は外部メモリなどの記憶装置であってもよい。音声信号処理部30に適用される音声イベント検出方法は、音声イベントを捕捉するために、CPU31によってランタイム中に実行される。fs=16000、Tf=1ms、Tw=0.3sと仮定して、音声イベント検出を実行する。 Here, the EEPROM 34 stores, for example, a series of vibration count values VC, a sum of vibration count values VS, a sum of vibration count values VSf, a sum of vibration count values VSp (to be described later), and sound feature values of all feature vectors. do. Note that the EEPROM 34 may be a storage device such as an external memory. The audio event detection method applied to the audio signal processor 30 is executed during runtime by the CPU 31 to capture audio events. Audio event detection is performed assuming fs=16000, Tf=1 ms, and Tw=0.3 s.

CPU31は、具体的には、処理対象である現在のフレーム(すなわち、1ms以内)の振動データ値の総和を計算して、振動計数値VCを取得し、その後、時点Tjにおける現在のフレームのVC値をEEPROM34に格納する。ここで、x個のフレームの振動計数値VCを加算して、時点Tjにおける現在のフレームの振動計数値の総和VSを得る。x個のフレームには現在のフレームが含まれる。一実施形態では、CPU31は、時点Tjにおける現在のフレームの振動計数値VCと、その直前(x-1)個のフレームの振動計数値の総和VSpとを加算して、時点Tjにおけるx個のフレームの振動計数値の総和VS(=VC+VSp)を得る。 Specifically, the CPU 31 calculates the sum of the vibration data values of the current frame (that is, within 1 ms) to be processed, acquires the vibration count value VC, and then obtains the VC of the current frame at time Tj. Store the value in EEPROM 34 . Here, the vibration count values VC of x frames are added to obtain the sum of the vibration count values VS of the current frame at time Tj. x frames includes the current frame. In one embodiment, the CPU 31 adds the vibration count value VC of the current frame at the time Tj and the sum VSp of the vibration count values of the (x−1) frames immediately before that frame to obtain the x number of vibration count values at the time Tj. Obtain the sum VS (=VC+VSp) of the vibration count values of the frame.

なお、変形例では、CPU31は、時点Tjにおける現在のフレームの振動計数値VC、その直後のy個のフレームの振動計数値の総和VSf、及びその直前の(x-y-1)個のフレームの振動計数値の総和VSpを加算して、時点Tjにおけるx個のフレームの振動計数値の総和VS(=VC+VSf+VSp)を得るが、yはゼロ以上である。CPU31は、VS、VSf及びVSpの値をEEPROM34に格納する。好ましい実施形態では、x個のフレーム(音素ウィンドウTw)の継続時間(x×Tf)は、約0.3秒である。さらに好ましい実施形態では、x個のフレームのデジタル化された振動データに対応するサンプリングポイントの数は、x~16xの範囲にある。 In the modified example, the CPU 31 outputs the vibration count value VC of the current frame at the time Tj, the total sum VSf of the vibration count values of the y frames immediately after that, and the (xy-1) frames immediately before that. to obtain the sum of vibration counts VS (=VC+VSf+VSp) of x frames at time Tj, where y is greater than or equal to zero. The CPU 31 stores the values of VS, VSf and VSp in the EEPROM 34 . In the preferred embodiment, the duration of x frames (phoneme window Tw) (x×Tf) is approximately 0.3 seconds. In a further preferred embodiment, the number of sampling points corresponding to x frames of digitized vibration data is in the range of x to 16x.

一般的に、音声信号データについては、同じ音素では振動計数値VCの振動パターンが類似しているが、異なる音素ではVS値の振動パターンが全く異なる。従って、振動計数値VCの振動パターンを利用して、音素を区別することができる。特に、例えば鶏又は猫の鳴き声と、人間の音声とは、振動計数値VCの周波数分布に関して全く異なり、人間の音声の振動計数値VCのほとんどは40以下に分布していることが既知である。 In general, with respect to speech signal data, the vibration patterns of the vibration count values VC are similar for the same phoneme, but the vibration patterns of the VS values are completely different for different phonemes. Therefore, the vibration pattern of the vibration count value VC can be used to distinguish between phonemes. In particular, for example, the barking of a chicken or a cat and human speech are completely different in terms of the frequency distribution of the vibration coefficient VC, and it is known that most of the vibration coefficient VC of human speech is distributed below 40. .

学習フェーズにおいて、音声信号処理部30のCPU31は、まず、所定の音声信号データ収集方法を複数回実行して、複数の音素に対する複数の特徴ベクトルを収集し、複数の特徴ベクトルに対応するラベルを付加して、複数のラベル付き学習例を形成する。その後、起動音素を含む異なる音素に対する複数のラベル付き学習例を、深層学習モデル部35の学習に適用する。最後に、学習された深層学習モデル部35(音声信号データの予測モデルを構成する)を作成して、入力される音声信号データのストリームが起動音素を含むかどうかを分類する。音声信号処理部30の起動音素として、所定の音素が指定されている場合、深層学習モデル部35は、少なくとも当該指定された音素を含む異なる音素についての複数のラベル付き学習例で学習される。 In the learning phase, the CPU 31 of the speech signal processing unit 30 first executes a predetermined speech signal data collection method a plurality of times to collect a plurality of feature vectors corresponding to a plurality of phonemes, and labels corresponding to the plurality of feature vectors. Append to form multiple labeled training examples. A plurality of labeled training examples for different phonemes, including the starting phoneme, are then applied to training the deep learning model unit 35 . Finally, a trained deep learning model unit 35 (constituting a predictive model for the speech signal data) is created to classify whether the incoming speech signal data stream contains the activation phoneme. When a predetermined phoneme is specified as a starting phoneme for the audio signal processing unit 30, the deep learning model unit 35 is trained with a plurality of labeled training examples for different phonemes including at least the specified phoneme.

すなわち、学習段階では、ラベル付けされた学習例のセットを使用して深層学習モデル部35を学習し、それによって深層学習モデル部35が、ラベル付けされた学習例の各フレームの3つの音声特徴量(例えば、(VSj,TDj,TGj))に基づいて、j=0~299の間で、所定の起動音素を認識するようにする。学習段階の終わりに、学習された深層学習モデル部35は、当該起動音素に対応する学習されたスコアを提供し、学習されたスコアは、次に、入力される音声信号データのストリームをランタイムで分類するための基準として使用される。なお、VSj,TDj,TGjは以下のように定義される。
(1)VSj:フレームjの振動計数値の総和(VS値);
(2)TDj:フレームjにおいて、ゼロではない振動計数値の総和(VS値)の時間期間;及び
(3)TGj;フレームjにおける、ゼロではない振動計数値の総和(VS値)間の時間ギャップ(時間隙間)。
That is, in the training phase, the deep learning model portion 35 is trained using a set of labeled training examples, whereby the deep learning model portion 35 learns the three audio features of each frame of the labeled training examples. Based on the quantity (eg, (VSj, TDj, TGj)), we try to recognize a given activation phoneme between j=0-299. At the end of the learning phase, the trained deep learning model unit 35 provides a learned score corresponding to the activation phoneme, which is then converted at runtime to the incoming audio signal data stream. Used as criteria for classification. VSj, TDj, and TGj are defined as follows.
(1) VSj: sum of vibration count values (VS value) of frame j;
(2) TDj: the time period of the sum of non-zero vibration counts (VS values) at frame j; and (3) TGj: the time between the sums of non-zero vibration counts (VS values) at frame j. Gap (time gap).

深層学習モデル部35を学習するために、教師付き学習に関連する様々な機械学習技術を使用することができ、例えば、サポートベクターマシン(SVM)法、ランダムフォレスト法、畳み込みニューラルネットワーク法などを利用できる。教師付き学習では、複数のラベル付けされた学習例を使用して関数計算部(すなわち、深層学習モデル部35)が作成され、その各例は、入力特徴ベクトルとラベル付けされた出力からなる。学習されたとき、深層学習モデル部35は、対応するスコア又は予測値を生成するために、新しいラベルのない例に適用することができる。 Various machine learning techniques related to supervised learning can be used to train the deep learning model portion 35, such as support vector machine (SVM) methods, random forest methods, convolutional neural network methods, etc. can. In supervised learning, a function calculator (i.e., deep learning model portion 35) is created using a plurality of labeled training examples, each of which consists of an input feature vector and a labeled output. When trained, deep learning model portion 35 can be applied to new unlabeled examples to generate corresponding scores or predictions.

図3は図2の深層学習モデル部35の詳細構成例を示すブロック図である。 FIG. 3 is a block diagram showing a detailed configuration example of the deep learning model unit 35 of FIG.

深層学習モデル部35は、例えば、図3に示すように、ニューラルネットワークを用いて実装される。ここで、ニューラルネットワークは、1つの入力層41と、少なくとも1つであり好ましくは複数の中間層42と、1つの出力層43を含む。入力層41には3つの入力ニューロン51,52,53があり、各入力ニューロン51,52,53は、特徴ベクトルの各フレームの3つのオーディオ特徴値(すなわち、VSj,TDj,TGj)に対応する。また、中間層42は、各入力ニューロン51,52,53に関連する重み係数と各ニューロンのバイアス係数を有するニューロン61~74で構成される。学習フェーズのサイクルを通じて中間層42の各ニューロン61~74の重み係数とバイアス係数を変更することにより,ニューラルネットワークを学習して,所定の種類の入力に対する予測値を報告するようにすることができる。さらに、出力層43は、音素に対応する1つの予測値(具体的には、音声期間であるか、ノイズを含む非音声期間であるかを示す)を提供する1つの出力ニューロン81を含む。 The deep learning model unit 35 is implemented using a neural network, as shown in FIG. 3, for example. Here, the neural network comprises one input layer 41 , at least one and preferably several intermediate layers 42 and one output layer 43 . The input layer 41 has three input neurons 51, 52, 53, each input neuron 51, 52, 53 corresponding to three audio feature values (i.e., VSj, TDj, TGj) for each frame of the feature vector. . The intermediate layer 42 is also composed of neurons 61-74 having weight coefficients associated with each input neuron 51, 52, 53 and bias coefficients for each neuron. By changing the weighting and biasing factors of each neuron 61-74 of the hidden layer 42 through cycles of the learning phase, the neural network can be trained to report a predicted value for a given type of input. . In addition, the output layer 43 includes one output neuron 81 that provides one prediction value corresponding to a phoneme (specifically indicating whether it is a speech period or a non-speech period containing noise).

以上説明したように、本実施形態によれば、ノイズキャンセル部14において、深層学習モデル部35は、人間の音声の特徴パラメータを用いて学習され、入力される音声信号からノイズを含む非音声期間であるか否かを判定する。そして、音声信号処理部30のCPU31は、深層学習モデル部35の前記判定に基づいて、入力される音声信号からノイズを含む非音声期間を通過させないようにノイズキャンセル処理を行って、前記ノイズキャンセル処理後の音声信号を出力する。ここで、深層学習モデル部35は、人間の音声の特徴パラメータを入力とし、入力される音声信号からノイズを含む非音声期間であるか否かを判定する判定結果を出力とする、図3のニューラルネットワークにより構成される。 As described above, according to the present embodiment, in the noise cancellation unit 14, the deep learning model unit 35 is learned using the feature parameters of human speech, and the non-speech period including noise is obtained from the input speech signal. It is determined whether or not. Then, the CPU 31 of the audio signal processing unit 30 performs noise cancellation processing so as not to pass the non-speech period containing noise from the input audio signal based on the determination of the deep learning model unit 35, and performs the noise cancellation. Outputs the processed audio signal. Here, the deep learning model unit 35 receives as input the characteristic parameters of human speech, and outputs the determination result of determining whether or not the input speech signal is a non-speech period containing noise. It consists of a neural network.

図8A及び図8Bはそれぞれ図1の無線機1の動作例1,2を示すブロック図である。 8A and 8B are block diagrams showing operation examples 1 and 2 of the wireless device 1 of FIG. 1, respectively.

本実施形態では、無線機1はその送信部において、VOX回路である音声信号検出部17の前段にノイズキャンセル部14を備えたので、音声信号検出部17により音声のみによってその一定レベル以上を検出することで送信状態になる(図8A)。これに対して、風切り音又は騒音では、音声信号検出部17は一定のレベル以上の音声信号を検出しないので、送信状態にならない(図8B)。従って、本実施形態によれば、ノイズキャンセル部14により、音声区間の検出精度を大幅に向上させて、従来例のように例えば風切り音や周囲の騒音等で本来のマイクロホン12からの音声と誤検出して無線送信を開始することを有効的に防止することができ、従来例に比較して高精度で音声期間を検出して無線送信を開始することができる。 In the present embodiment, the wireless device 1 includes the noise cancellation section 14 in the transmitting section in front of the audio signal detection section 17, which is a VOX circuit. By doing so, it becomes a transmission state (FIG. 8A). On the other hand, with wind noise or noise, the audio signal detector 17 does not detect an audio signal above a certain level, so the transmission state is not established (FIG. 8B). Therefore, according to the present embodiment, the noise canceling unit 14 greatly improves the detection accuracy of the speech period, and the sound from the microphone 12 is not mistaken for the original speech due to wind noise, ambient noise, etc., as in the conventional example. It is possible to effectively prevent the detection and the start of wireless transmission, and it is possible to detect the voice period and start the wireless transmission with higher accuracy than in the conventional example.

さらに、本実施形態では、無線機1はその送信部において、例えばFM(周波数変調)又はPM(位相変調)においてノイズ軽減で特に有効である、ノイズキャンセル部14を備える。これにより、無線通話を行う無線通信装置において、従来技術に比較して、人間の発話音声を有効的に出力するようにノイズキャンセルを行うことができる。送信側でノイズキャンセル部14を備えることで、送信側以降の回路及び装置(例えば、無線中継装置など)における音声信号において有効的にノイズを除去できる。 Furthermore, in the present embodiment, the radio 1 includes a noise cancellation section 14 in its transmission section, which is particularly effective in reducing noise in, for example, FM (Frequency Modulation) or PM (Phase Modulation). As a result, in a wireless communication device that performs wireless communication, noise cancellation can be performed so as to effectively output a human uttered voice, compared to the conventional technology. By providing the noise canceling unit 14 on the transmission side, noise can be effectively removed from the audio signal in circuits and devices (for example, wireless relay devices) on and after the transmission side.

次いで、実施形態1における問題点について以下に説明する。 Next, problems in the first embodiment will be explained below.

図6Aは実施形態1に係る無線機1の動作例を示す各信号のタイミングチャートであり、図9は当該無線機1の動作例3を示すブロック図である。 6A is a timing chart of each signal showing an operation example of the wireless device 1 according to Embodiment 1, and FIG. 9 is a block diagram showing an operation example 3 of the wireless device 1. FIG.

ノイズキャンセル部14は、A/D変換、D/A変換やメモリの書き込み/読み出し等の処理を行うため、入力信号に対して出力信号は必ず遅延が発生し、音声期間検出時間T1が生じる。従って、図6Aに示すように、ノイズキャンセル部14の音声期間検出時間T1(t1~t2)のために、ノイズキャンセル部14からの音声信号出力が遅延し、また、音声信号検出部17のレベル検出時間T2(一般的に<T1(コンパレータの動作時間はCPU等の動作時間に比較して短いため);t2~t3)のために、音声信号検出部17からの音声信号出力が遅延する。このとき、変調送信部15から送信されて受信を行う別の受信機の受信部において、少なくとも時間T2だけ音声信号の頭切れが発生する可能性がある。この問題点を解決するための実施形態2について以下に説明する。 Since the noise canceling unit 14 performs processing such as A/D conversion, D/A conversion, memory writing/reading, etc., the output signal is always delayed with respect to the input signal, and the voice period detection time T1 occurs. Therefore, as shown in FIG. 6A, the audio signal output from the noise canceling unit 14 is delayed due to the audio period detection time T1 (t1 to t2) of the noise canceling unit 14, and the level of the audio signal detecting unit 17 Due to the detection time T2 (generally <T1 (because the operation time of the comparator is shorter than the operation time of the CPU, etc.); t2 to t3), the audio signal output from the audio signal detector 17 is delayed. At this time, there is a possibility that the beginning of the voice signal will be truncated for at least time T2 in the receiving section of another receiver that receives the signal transmitted from the modulation transmitting section 15 . A second embodiment for solving this problem will be described below.

なお、図6Aにおいて、ノイズキャンセル部14の音声期間検出時間T1a(≒T1;t4~t5)のために、マイクロホン12への音声信号がなくなって時点t4からもノイズキャンセル部14からの音声信号の出力端が遅延する。 In FIG. 6A, due to the voice period detection time T1a (≈T1; t4 to t5) of the noise canceling unit 14, the voice signal from the noise canceling unit 14 will continue to be output from time t4 when the voice signal to the microphone 12 disappears. The output end is delayed.

(実施形態2)
図4は実施形態2に係る無線機1Aの構成例を示すブロック図である。図4において、実施形態2に係る無線機1Aは、実施形態1に係る図1の無線機1に比較して以下の相違点を有する。
(1)音声信号増幅器13の後段であって、ノイズキャンセル部14の前段に音声信号検出部18をさらに備える。
(2)制御部10に代えて、図5A及び図5BのVOXモードの送信制御処理を実行する制御部10Aを備える。なお、制御部10Aは、ノイズキャンセル部14及び音声信号検出部17の解析において、無線信号を受信してから「音声信号なし」と判断するまでの所定時間T12(図6Cのt22~t23;T12は回路設計の段階で予め決定される)だけ待機するためのタイマを内蔵した。
以下、相違点について説明する。
(Embodiment 2)
FIG. 4 is a block diagram showing a configuration example of the wireless device 1A according to the second embodiment. 4, the wireless device 1A according to the second embodiment has the following differences compared to the wireless device 1 of FIG. 1 according to the first embodiment.
(1) An audio signal detection section 18 is further provided in the stage after the audio signal amplifier 13 and in the stage before the noise cancellation section 14 .
(2) Instead of the control unit 10, a control unit 10A for executing the VOX mode transmission control process shown in FIGS. 5A and 5B is provided. In the analysis of the noise canceling unit 14 and the audio signal detecting unit 17, the control unit 10A determines that "there is no audio signal" after receiving the wireless signal for a predetermined time T12 (t22 to t23 in FIG. 6C; T12 (predetermined at the circuit design stage).
Differences will be described below.

図4において、音声信号検出部18はコンパレータを含み、音声信号増幅器13からの音声信号を所定のしきい値(当該しきい値は、音声信号検出部17のしきい値と同一であってもよいし、例えば音声信号検出部18のしきい値が音声信号検出部17のしきい値よりも小さくなり、もしくは大きくなり、異なるように設定してもよい)と比較し、入力される音声信号が前記しきい値以上であるときにHレベルの音声検出信号(比較結果信号)S2を制御部10Aに出力する一方、入力される音声信号が前記しきい値未満であるときにLレベルの音声検出信号(比較結果信号)S2を制御部10Aに出力する。 4, the audio signal detector 18 includes a comparator, and the audio signal from the audio signal amplifier 13 is detected by a predetermined threshold (even if the threshold is the same as the threshold of the audio signal detector 17). Alternatively, for example, the threshold value of the audio signal detection unit 18 may be set to be smaller or larger than the threshold value of the audio signal detection unit 17, and may be set differently). is equal to or greater than the threshold value, an H-level voice detection signal (comparison result signal) S2 is output to the control unit 10A, while an L-level voice signal is output to the control unit 10A when the input voice signal is less than the threshold value. A detection signal (comparison result signal) S2 is output to the control section 10A.

制御部10Aは、PTTキー11Aがオンされたときに、変調送信部15を動作させ、変調送信部15は入力される音声信号に従って無線搬送波を前記所定の変調方式で変調した後、変調された無線搬送波である無線信号を、高域周波数変換しかつ電力増幅した後、送信アンテナ16から送信する。また、制御部10Aは、VOXモードで変調送信部15及び受信復調部22の動作を制御するときに、図5A及び図5Bの送信制御処理を実行する。 The control unit 10A operates the modulation transmission unit 15 when the PTT key 11A is turned on, and the modulation transmission unit 15 modulates the radio carrier wave according to the predetermined modulation method in accordance with the input audio signal. A radio signal, which is a radio carrier wave, is transmitted from the transmission antenna 16 after high-frequency conversion and power amplification. Further, the control section 10A executes the transmission control processing shown in FIGS. 5A and 5B when controlling the operations of the modulation transmission section 15 and the reception demodulation section 22 in the VOX mode.

図5A及び図5Bは図4の制御部10Aによって実行されるVOXモードの送信制御処理を示すフローチャートである。なお、検出フラグF2は、音声検出信号S2がHレベルになったか、Lレベルになったかを示すフラグである。 5A and 5B are flow charts showing VOX mode transmission control processing executed by the control section 10A of FIG. The detection flag F2 is a flag indicating whether the voice detection signal S2 has become H level or L level.

図5AのステップS1の初期設定処理では、送信停止中であり、検出フラグF2をLレベルに設定し、音声検出信号S1,S2はLレベルにあり、タイマをリセットする。ステップS2において、音声信号検出部18から音声検出信号S2を受信したか否かが判断され、YESのときはステップS5に進む一方、NOのときはステップS3に進む。ステップS3では、検出フラグF2をLレベルにセットし、ステップS4でタイマをリセットした後、ステップS2に戻る。 In the initialization process of step S1 in FIG. 5A, transmission is being stopped, the detection flag F2 is set to L level, the voice detection signals S1 and S2 are at L level, and the timer is reset. In step S2, it is determined whether or not the voice detection signal S2 has been received from the voice signal detector 18. If YES, the process proceeds to step S5, and if NO, the process proceeds to step S3. In step S3, the detection flag F2 is set to L level, and after resetting the timer in step S4, the process returns to step S2.

ステップS5では、検出フラグF2はLレベルか否かが判断され、YESのときはステップS6に進む一方、NOのときは図5BのステップS11に進む。ステップS6において、検出フラグF2をHレベルにセットし、ステップS7で制御部10Aは変調送信部15を送信状態にすることで送信開始し、ステップS8でタイマに時間T12をセットしてカウントを開始し、図5BのステップS11に進む。 In step S5, it is determined whether or not the detection flag F2 is at L level. If YES, the process proceeds to step S6, and if NO, the process proceeds to step S11 in FIG. 5B. In step S6, the detection flag F2 is set to H level, in step S7 the control section 10A puts the modulation transmission section 15 into the transmission state to start transmission, and in step S8 time T12 is set in the timer to start counting. and proceed to step S11 in FIG. 5B.

図5BのステップS11では、音声信号検出部17から音声検出信号S1を受信したか否かが判断され、YESのときはステップS12に進む一方、NOのときはステップS15に進む。ステップS12で、タイマを強制的にカウントの満了状態にした後、ステップS13で変調送信部15は送信中か否かが判断され、YESのときはステップS11に戻る一方、NOのときはステップS14に進む。ステップS14では、制御部10Aは変調送信部15を送信状態にすることで無線送信を開始し、ステップS11に戻る。 In step S11 of FIG. 5B, it is determined whether or not the voice detection signal S1 has been received from the voice signal detection unit 17. If YES, the process proceeds to step S12, and if NO, the process proceeds to step S15. At step S12, after the timer is forcibly set to the state of expiration of the count, at step S13, it is determined whether or not the modulation transmission unit 15 is transmitting. If YES, the process returns to step S11. proceed to In step S14, the control section 10A starts radio transmission by setting the modulation transmission section 15 to the transmission state, and returns to step S11.

ステップS15では、タイマのカウントが満了したか否かが判断され、YESのときはステップS16に進む一方、NOのときは図5AのステップS2に戻る。次いで、ステップS16では、変調送信部15は送信中か否かが判断され、YESのときはステップS17に進む一方、NOのときは図5AのステップS2に戻る。ステップS17で制御部10Aは変調送信部15を送信停止状態にすることで送信を停止させた後、図5AのステップS2に戻る。 In step S15, it is determined whether or not the count of the timer has expired. If YES, the process proceeds to step S16, and if NO, the process returns to step S2 in FIG. 5A. Next, in step S16, it is determined whether or not the modulation transmitter 15 is transmitting. If YES, the process proceeds to step S17. If NO, the process returns to step S2 in FIG. 5A. In step S17, the control unit 10A stops transmission by putting the modulation transmission unit 15 into a transmission stop state, and then returns to step S2 in FIG. 5A.

図6Bは図4の無線機1Aの動作例1(マイクロホン12に人間の音声のみが入力されたとき)を示す各信号のタイミングチャートである。また、図6Cは図4の無線機1Aの動作例2(マイクロホン12にノイズ又は騒音のみが入力されたとき)を示す各信号のタイミングチャートである。 FIG. 6B is a timing chart of each signal showing operation example 1 (when only human voice is input to the microphone 12) of the wireless device 1A of FIG. FIG. 6C is a timing chart of each signal showing operation example 2 (when noise or only noise is input to the microphone 12) of the wireless device 1A of FIG.

図4の実施形態2では、ノイズキャンセル部14の前段に別の音声信号検出部18を設けたことを特徴としている。図6Bに示すように、CPU等で構成されるノイズキャンセル部14の信号処理時間T1(t1~t3)は、コンパレータで構成される音声信号検出部18の音声を検出し送信開始するまでの遅延時間T11(t1~T11)に比較して十分に長く、ノイズキャンセル後の音声検出信号S1が出力される(t3)前に、変調送信部15が時刻t11で無線送信を開始することができる。これにより、変調送信部15から送信されて受信を行う別の受信機の受信部において、「音声信号」を頭切れなく受信音として出力することができる(図6Bの101)。 Embodiment 2 of FIG. 4 is characterized in that another audio signal detection section 18 is provided in the preceding stage of the noise cancellation section 14 . As shown in FIG. 6B, the signal processing time T1 (t1 to t3) of the noise canceling unit 14 composed of a CPU or the like is the delay from the time the audio signal detection unit 18 composed of a comparator detects the sound to the start of transmission. Sufficiently longer than time T11 (t1 to T11), the modulation transmitter 15 can start wireless transmission at time t11 before the voice detection signal S1 after noise cancellation is output (t3). As a result, the receiving unit of another receiver that receives the signal transmitted from the modulation transmitting unit 15 can output the "audio signal" as a received sound (101 in FIG. 6B).

言い換えれば、実施形態2では、ノイズキャンセル部14の前段の音声信号検出部18の入力端で音声信号とノイズを問わずあらかじめ無線送信を開始する。その後、ノイズキャンセル部14のノイズキャンセルの解析が完了してノイズキャンセル部14から音声信号が出力される。このときすでに送信しているため、頭切れなく無線送信が可能となる(図6B)。 In other words, in the second embodiment, wireless transmission is started in advance at the input terminal of the audio signal detection unit 18 in the preceding stage of the noise cancellation unit 14 regardless of the audio signal and noise. After that, the noise canceling analysis of the noise canceling unit 14 is completed, and an audio signal is output from the noise canceling unit 14 . Since the transmission has already been performed at this time, wireless transmission can be performed smoothly (FIG. 6B).

また、マイクロホン12にノイズ又は騒音のみが入力されたときの図6Cでも、ノイズキャンセル部14の前段の音声信号検出部18の入力端で音声とノイズを問わずあらかじめ無線送信を開始する。その後、音声信号検出部17の入力端で音声信号が検出されない場合であっても、音声信号なしでノイズのみとみなし判断して送信を停止する。その際一時的に送信する(T12)が、送信される変調音声信号は無いため、受信側の無線機の復調音は無音のままである(T13(=T12))。 Also in FIG. 6C when noise or only noise is input to the microphone 12, the input terminal of the audio signal detection unit 18 preceding the noise canceling unit 14 starts wireless transmission in advance regardless of whether it is voice or noise. After that, even if the audio signal is not detected at the input end of the audio signal detector 17, it is determined that there is no audio signal and only noise, and the transmission is stopped. At that time, the signal is temporarily transmitted (T12), but since there is no modulated voice signal to be transmitted, the demodulated sound of the wireless device on the receiving side remains silent (T13 (=T12)).

図10は図4の無線機1Aの動作例1を示すブロック図である。 FIG. 10 is a block diagram showing an operation example 1 of the wireless device 1A of FIG.

以上説明したように、実施形態2によれば、ノイズキャンセル部14の前段に別の音声信号検出部18を設けたので、図10に示すように、ノイズキャンセル後の音声検出信号S1が出力される前に、変調送信部15が無線送信を開始することができる。これにより、変調送信部15から送信されて受信を行う別の受信機の受信部において、「音声信号」を頭切れなく受信音として出力することができる。 As described above, according to the second embodiment, since the separate audio signal detection unit 18 is provided before the noise canceling unit 14, the noise-cancelled audio detection signal S1 is output as shown in FIG. before the modulation transmitter 15 can start radio transmission. As a result, the receiving section of another receiver that receives the signal transmitted from the modulation transmitting section 15 can output the "audio signal" as a received sound smoothly.

以上詳述したように、本発明に係る無線通信装置によれば、無線機1はその送信部において、VOX回路である音声信号検出部17の前段にノイズキャンセル部14を備えたので、音声信号検出部17により音声のみによってその一定レベル以上を検出することで送信状態になる(図8A)。これに対して、風切り音又は騒音では、音声信号検出部17は一定のレベル以上の音声信号を検出しないので、送信状態にならない(図8B)。従って、ノイズキャンセル部14により、音声信号区間の検出精度を大幅に向上させて、従来例のように例えば風切り音や周囲の騒音等で本来のマイクロホン12からの音声と誤検出して無線送信を開始することを有効的に防止することができ、従来例に比較して高精度で音声期間を検出して無線送信を開始することができる。 As described in detail above, according to the wireless communication apparatus of the present invention, the wireless device 1 includes the noise canceling section 14 in the transmitting section before the audio signal detecting section 17, which is a VOX circuit. When the detection unit 17 detects a certain level or higher only from the sound, the transmission state is set (FIG. 8A). On the other hand, with wind noise or noise, the audio signal detector 17 does not detect an audio signal above a certain level, so the transmission state is not established (FIG. 8B). Therefore, the noise canceling unit 14 greatly improves the detection accuracy of the voice signal section, and radio transmission is performed by erroneously detecting the voice from the original microphone 12 due to wind noise, ambient noise, etc., as in the conventional example. It is possible to effectively prevent the start, and to detect the voice period with higher accuracy than the conventional example and start the wireless transmission.

また、ノイズキャンセル部14の前段に別の音声信号検出部18を設けたので、図10に示すように、ノイズキャンセル後の音声検出信号S1が出力される前に、無線送信を開始することができる。これにより、受信を行う別の受信機の受信部において、「音声信号」を頭切れなく受信音として出力することができる。 Further, since another audio signal detection unit 18 is provided in the preceding stage of the noise canceling unit 14, as shown in FIG. 10, wireless transmission can be started before the noise-cancelled audio detection signal S1 is output. can. As a result, the receiving unit of another receiver that performs reception can output the "audio signal" as a received sound smoothly.

1,1A 無線機
10,10A 制御部
11 操作部
11A PTTキー
11B VOXモードキー
12 マイクロホン
13 音声信号増幅器
14 ノイズキャンセル部
15 変調送信部
16 送信アンテナ
17,18 音声信号検出部
21 受信アンテナ
22 受信復調部
23 音声信号増幅器
24 スピーカ
30 音声信号処理部
31 CPU
32 ROM
33 RAM
34 EEPROM
35 深層学習モデル部
36 入力インターフェース
37 出力インターフェース
38 音声信号前置処理部
39 AD変換器
41 入力層
42 中間層
43 出力層
51~81 ニューロン
100 無線機
110 制御部
1, 1A Wireless device 10, 10A Control unit 11 Operation unit 11A PTT key 11B VOX mode key 12 Microphone 13 Audio signal amplifier 14 Noise cancellation unit 15 Modulation transmission unit 16 Transmission antennas 17, 18 Audio signal detection unit 21 Reception antenna 22 Reception demodulation Unit 23 Audio signal amplifier 24 Speaker 30 Audio signal processing unit 31 CPU
32 ROMs
33 RAM
34 EEPROMs
35 deep learning model unit 36 input interface 37 output interface 38 audio signal preprocessing unit 39 AD converter 41 input layer 42 intermediate layer 43 output layers 51 to 81 neuron 100 wireless device 110 control unit

Claims (7)

入力される音声信号を所定の第1のしきい値と比較して、比較結果信号である第1の音声検出信号を出力する第1の音声信号検出部と、
前記入力される音声信号に従って無線搬送波を変調して無線信号を無線送信する変調送信部と、
前記第1の音声検出信号に基づいて、前記変調送信部を送信状態にするように制御する制御部とを備える無線通信装置において、
前記入力される音声信号からノイズをキャンセルするように音声信号処理を行って前記変調送信部に出力するノイズキャンセル部を備え、
前記第1の音声信号検出部は前記ノイズキャンセル部の後段に設けられ、前記ノイズキャンセル部からの音声信号を前記第1のしきい値と比較して、比較結果信号である第1の音声検出信号を出力し、
前記ノイズキャンセル部は、人間の音声の特徴パラメータを用いて学習され、前記入力される音声信号からノイズを含む非音声期間であるか否かを判定する深層学習モデル部を用いて、ノイズキャンセル処理を行い、
前記無線通信装置は、
入力される音声信号を所定の第2のしきい値と比較して、比較結果信号である第2の音声検出信号を出力する第2の音声信号検出部をさらに備え、
前記制御部は、前記第1の音声検出信号に先だって入力される前記第2の音声検出信号に基づいて、前記変調送信部の無線送信を開始するように制御する、無線通信装置。
a first audio signal detector that compares an input audio signal with a predetermined first threshold value and outputs a first audio detection signal that is a comparison result signal;
a modulation transmitter that modulates a radio carrier wave according to the input audio signal and radio-transmits the radio signal;
A wireless communication device comprising: a control unit that controls the modulation transmission unit to be in a transmission state based on the first voice detection signal,
A noise canceling unit that performs audio signal processing so as to cancel noise from the input audio signal and outputs it to the modulation transmission unit;
The first audio signal detection unit is provided after the noise canceling unit, compares the audio signal from the noise canceling unit with the first threshold value, and performs first audio detection as a comparison result signal. output a signal,
The noise cancellation unit learns using a feature parameter of human speech, and uses a deep learning model unit that determines whether it is a non-speech period containing noise from the input speech signal, and performs noise cancellation processing. and
The wireless communication device
further comprising a second audio signal detection unit that compares an input audio signal with a predetermined second threshold value and outputs a second audio detection signal that is a comparison result signal;
The wireless communication device , wherein the controller controls the modulation transmitter to start wireless transmission based on the second voice detection signal input prior to the first voice detection signal .
前記変調送信部は、入力される音声信号に従って無線搬送波を周波数変調方式又は位相変調方式で変調する、請求項1記載の無線通信装置。 2. The radio communication apparatus according to claim 1 , wherein said modulating transmission unit modulates a radio carrier wave according to a frequency modulation method or a phase modulation method according to an input audio signal. 前記ノイズキャンセル部は、前記深層学習モデル部の前記判定に基づいて、入力される音声信号からノイズを含む非音声期間を通過させないようにノイズキャンセル処理を行って、前記ノイズキャンセル処理後の音声信号を出力する音声信号処理部を備える、
請求項1又は2に記載の無線通信装置。
The noise cancellation unit, based on the determination of the deep learning model unit, performs noise cancellation processing so as not to pass a non-speech period containing noise from the input audio signal, and the audio signal after the noise cancellation processing. provided with an audio signal processing unit that outputs
The radio communication device according to claim 1 or 2 .
前記ノイズキャンセル部は、
前記音声信号処理部の前段に設けられ、入力される音声信号に対して、人間の音声信号の所定のレベル範囲であって、所定の帯域幅のみを通過させる音声信号前置処理部をさらに備える、請求項に記載の無線通信装置。
The noise cancellation unit is
Further comprising an audio signal pre-processing unit provided in the preceding stage of the audio signal processing unit for passing only a predetermined bandwidth within a predetermined level range of a human audio signal to an input audio signal. 4. The wireless communication device of claim 3 .
前記深層学習モデル部は、人間の音声の特徴パラメータを入力とし、入力される音声信号からノイズを含む非音声期間であるか否かを判定する判定結果を出力とする、所定のニューラルネットワークにより構成される、請求項1~のうちのいずれか1つに記載の無線通信装置。 The deep learning model unit is composed of a predetermined neural network that receives characteristic parameters of human speech as an input and outputs a judgment result that determines whether or not the input speech signal is a non-speech period containing noise. The radio communication device according to any one of claims 1 to 4 , wherein 前記無線通信装置は、特定小電力無線通信システムのための無線通信装置である特定小電力無線局である、請求項1~のうちのいずれか1つに記載の無線通信装置。 The wireless communication device according to any one of claims 1 to 5 , wherein said wireless communication device is a specified low power radio station which is a wireless communication device for a specified low power wireless communication system. 請求項1~のうちのいずれか1つに記載の複数の無線通信装置を含む、無線通信システム。 A wireless communication system comprising a plurality of wireless communication devices according to any one of claims 1-6 .
JP2021112279A 2021-07-06 2021-07-06 Wireless communication device and wireless communication system Active JP7179128B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021112279A JP7179128B1 (en) 2021-07-06 2021-07-06 Wireless communication device and wireless communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021112279A JP7179128B1 (en) 2021-07-06 2021-07-06 Wireless communication device and wireless communication system

Publications (2)

Publication Number Publication Date
JP7179128B1 true JP7179128B1 (en) 2022-11-28
JP2023008600A JP2023008600A (en) 2023-01-19

Family

ID=84227628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021112279A Active JP7179128B1 (en) 2021-07-06 2021-07-06 Wireless communication device and wireless communication system

Country Status (1)

Country Link
JP (1) JP7179128B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116631456A (en) * 2023-07-21 2023-08-22 江西红声技术有限公司 Sound control communication processing method, earphone, storage medium and computer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017090789A (en) 2015-11-13 2017-05-25 日本電信電話株式会社 Voice recognition device, voice recognition method, and voice recognition program
JP2018185552A (en) 2017-04-24 2018-11-22 公益財団法人鉄道総合技術研究所 Image analysis apparatus, image analysis method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266380A (en) * 1993-03-12 1994-09-22 Toshiba Corp Speech detecting circuit
JPH10326100A (en) * 1997-05-26 1998-12-08 Kokusai Electric Co Ltd Voice recording method, voice reproducing method, and voice recording and reproducing device
JPH10341486A (en) * 1997-06-10 1998-12-22 Saitama Nippon Denki Kk Digital portable telephone set
JPH11205430A (en) * 1998-01-20 1999-07-30 Kobe Steel Ltd Telephone set having voice dial function

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017090789A (en) 2015-11-13 2017-05-25 日本電信電話株式会社 Voice recognition device, voice recognition method, and voice recognition program
JP2018185552A (en) 2017-04-24 2018-11-22 公益財団法人鉄道総合技術研究所 Image analysis apparatus, image analysis method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116631456A (en) * 2023-07-21 2023-08-22 江西红声技术有限公司 Sound control communication processing method, earphone, storage medium and computer

Also Published As

Publication number Publication date
JP2023008600A (en) 2023-01-19

Similar Documents

Publication Publication Date Title
US6001131A (en) Automatic target noise cancellation for speech enhancement
US10381021B2 (en) Robust feature extraction using differential zero-crossing counts
US6993481B2 (en) Detection of speech activity using feature model adaptation
CN104867495B (en) Sound recognition apparatus and method of operating the same
US9721560B2 (en) Cloud based adaptive learning for distributed sensors
KR100636317B1 (en) Distributed Speech Recognition System and method
EP2381702B1 (en) Systems and methods for own voice recognition with adaptations for noise robustness
WO2010140358A1 (en) Hearing aid, hearing assistance system, walking detection method, and hearing assistance method
US11437021B2 (en) Processing audio signals
US20150063575A1 (en) Acoustic Sound Signature Detection Based on Sparse Features
JP3878482B2 (en) Voice detection apparatus and voice detection method
KR101340520B1 (en) Apparatus and method for removing noise
US20150066498A1 (en) Analog to Information Sound Signature Detection
JP7179128B1 (en) Wireless communication device and wireless communication system
CN111916068A (en) Audio detection method and device
JPH10210075A (en) Method and device for detecting sound
CN111145763A (en) GRU-based voice recognition method and system in audio
EP1153387B1 (en) Pause detection for speech recognition
US11120795B2 (en) Noise cancellation
CN113314121B (en) Soundless voice recognition method, soundless voice recognition device, soundless voice recognition medium, soundless voice recognition earphone and electronic equipment
US20210201928A1 (en) Integrated speech enhancement for voice trigger application
JP7221335B2 (en) wireless communication device
CN110197663B (en) Control method and device and electronic equipment
JP2003241788A (en) Device and system for speech recognition
JP2023001754A (en) Wireless communication device and wireless communication system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221115

R150 Certificate of patent or registration of utility model

Ref document number: 7179128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150