KR102207157B1 - Sound communication apparatus and method for controlling the same - Google Patents

Sound communication apparatus and method for controlling the same Download PDF

Info

Publication number
KR102207157B1
KR102207157B1 KR1020190125420A KR20190125420A KR102207157B1 KR 102207157 B1 KR102207157 B1 KR 102207157B1 KR 1020190125420 A KR1020190125420 A KR 1020190125420A KR 20190125420 A KR20190125420 A KR 20190125420A KR 102207157 B1 KR102207157 B1 KR 102207157B1
Authority
KR
South Korea
Prior art keywords
sound wave
data
wave communication
communication unit
unit
Prior art date
Application number
KR1020190125420A
Other languages
Korean (ko)
Other versions
KR20200143198A (en
Inventor
김준홍
원민후
김동은
Original Assignee
주식회사 아이시냅스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이시냅스 filed Critical 주식회사 아이시냅스
Publication of KR20200143198A publication Critical patent/KR20200143198A/en
Application granted granted Critical
Publication of KR102207157B1 publication Critical patent/KR102207157B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B11/00Transmission systems employing sonic, ultrasonic or infrasonic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은, 입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 제 2 음파 통신 유니트(10R)를 포함하는 음파 통신 장치 및 이의 제어 방법을 제공한다.In the present invention, at least one first sound wave communication unit 10T for outputting input data through a speaker 61 in a sound wave communication method, and the first sound wave communication unit 10T and the relative position thereof are arranged to be variable, and the A sound wave communication device including a second sound wave communication unit 10R for receiving and outputting the data from sound waves output from a speaker 61 through a microphone sensor 51 and a control method thereof are provided.

Figure R1020190125420
Figure R1020190125420

Description

음파 통신 장치 및 이의 제어 방법{SOUND COMMUNICATION APPARATUS AND METHOD FOR CONTROLLING THE SAME}Sound wave communication device and its control method {SOUND COMMUNICATION APPARATUS AND METHOD FOR CONTROLLING THE SAME}

본 발명은 음파 통신을 이용하는 음파 통신 장치 및 그 방법에 관한 것으로서, 보다 상세하게는, 서로 상대 거리 변동 가능한 위치를 점유하는 송신측 음파 통신 유니트와 수신측 음파 통신 유니트 간의 비가청 대역의 음파 통신을 이루는 음파 통신 장치 및 이의 제어 방법에 대한 것이다. The present invention relates to a sound wave communication device and method thereof using sound wave communication, and more particularly, to a sound wave communication in an inaudible band between a transmission side sound wave communication unit and a reception side sound wave communication unit occupying positions that can change relative distances from each other. The present invention relates to a sound wave communication device and a control method thereof.

비가청 사운드(sound) 통신기술은 인간의 청력에 의하여 들려지지 않는 고주파 대역의 음파(音波)에 디지털 데이터를 실어 기기간의 통신을 수행하는 기술로서 이러한 비가청 사운드 통신기술을 스마트 응원도구 또는 스마트 토이 등 다양한 일상 생활의 영역에 사용되는 기기에 활용할 수 있는 방안이 요구되는데, 가정용에서의 활용성에 대한 필요성 이외에도 활용 범위는 산업 다양한 분야에 논의가 활발히 이루어지고 있다. Inaudible sound communication technology is a technology that performs communication between devices by loading digital data on high-frequency sound waves that are not heard by human hearing. Such inaudible sound communication technology is used as a smart cheering tool or a smart toy. There is a need for a method that can be used in devices used in various areas of daily life, such as, and in addition to the need for utility at home, the scope of use is actively being discussed in various fields of industry.

한편, 산업 생산 설비의 자동화로 인하여 장치 간의 통신을 위하여 요구되는 I/O 모듈에 대한 필요성 및 수요는 급격히 증대되고 있다. I/O 모듈은 산업용 시장에서 매우 많이 사용되는데, 통상적으로 산업 생산 설비, 즉 컨베이어 벨트 내지 컨베이어 벨트 라인 상의 운반 대차 등의 여러 산업 생산 설비 등에 사용된다. On the other hand, due to automation of industrial production facilities, the need and demand for I/O modules required for communication between devices are rapidly increasing. I/O modules are very widely used in the industrial market, and are generally used in industrial production facilities, that is, various industrial production facilities such as conveyor belts or conveying carts on a conveyor belt line.

종래의 경우 유선 I/O 모듈의 비중이 훨씬 높았다. 산업용 공정중에서, 특히 장비가 이동하는 공정에서는, 종래의 유선 모듈의 경우 접속이 용이하지 않을 수 있고, 특정 공정에서의 접속 문제가 발생하는 경우 전체 생산 라인의 셧다운으로 생산성의 문제가 수반되고, 유선의 물리적 접속 구조로 인하여 유지보수의 문제가 발생하였다. In the conventional case, the proportion of wired I/O modules was much higher. In industrial processes, especially in the process of moving equipment, in the case of a conventional wired module, connection may not be easy, and if a connection problem occurs in a specific process, the shutdown of the entire production line entails a productivity problem. Maintenance problems occurred due to the physical connection structure of

예를 들어 대표적인 컨베이어벨트 생산 라인인 자동차 생산 라인 등 다양한 생산 라인 상에서, 종래의 유선 방식 I/O 모듈은 접촉 방식으로 해당 작업자 내지 작업 로봇 등의 작업 주체가 배치된 스테이션 위치로 운반 대차가 이동 위치하는 경우 물리적인 접속 방식을 통하여 통신 모듈 간의 접속이 이루어지고 이러한 유선 물리적 접속 방식은 설치 및 유지 보수의 어려움이 존재하고, 안전 사고 방지를 위한 갑작스런 정지 상태 발생시 접속 모듈의 손상이 발생하거나 이러한 접속 과정 상에서의 물리적 오류발생 가능성이 농후하였다. For example, on various production lines such as automobile production lines, which are representative conveyor belt production lines, the conventional wired I/O module uses a contact method to move the transport truck to the station location where the operator or work subject such as the work robot is placed. In this case, connection between communication modules is made through a physical connection method, and this wired physical connection method has difficulty in installation and maintenance, and damage to the connection module occurs when a sudden stop state occurs to prevent safety accidents or such connection process. The possibility of physical error in the phase was rich.

이러한 물리적 접속의 문제를 해소하기 위하여, 근래 무선 I/O 모듈에 대한 수요 및 이에 따른 연구 개발 생산도 활발히 이루어지고 있다. 예를 들어, 지그비, WIFI, BLE 등의 무선 방식의 접속 통신 구조의 경우 작업 스테이션과 운반 대차 간의 무선 통신을 통한 통신 접속을 이루어 물리적 접속을 배제하여 상기 접속 및 물리적 타격 이슈를 배제 가능하였다. In order to solve this problem of physical access, demand for wireless I/O modules and research and development production according to the demand for wireless I/O modules have been actively conducted. For example, in the case of a wireless connection communication structure such as ZigBee, WIFI, BLE, etc., the connection and physical damage issues can be excluded by excluding physical access by establishing a communication connection through wireless communication between a work station and a transport truck.

다만, 무선 I/O 모듈의 경우 페어링(Pairing)한 모듈끼리의 통신을 수행하는 제품으로 구성되는데, 무선 모듈을 적용하려는 시도가 이루어졌으나 페어링에 대한 문제점 이슈가 수반된다. 즉, 무선 모듈을 페어링 하는 과정 중 페어링 대상 모듈을 감지하기 어렵다는 문제점이 수반되었다. 예를 들어, 산업 생산 설비 현장의 작업 환경에 수반되는 문제점, 즉 금속성 산업 현장 환경 하에서 무선 모듈 간의 무선 통신 페어링이 원활하게 이루어지지 않아 발생하는 통신 불량 내지 이와 같은 통신 불량 문제를 최소화시키기 위하여 복잡하거나 고가의 장비들을 추가로 설치함으로써 이에 따른 설치 비용이 급증하는 문제점이 수반되었다. However, in the case of a wireless I/O module, it is composed of a product that performs communication between paired modules, and an attempt to apply a wireless module has been made, but problems related to pairing are involved. In other words, there is a problem that it is difficult to detect a pairing target module during the process of pairing the wireless module. For example, in order to minimize a problem accompanying the work environment of an industrial production facility site, that is, a communication failure caused by not smoothly pairing wireless communication between wireless modules under a metallic industrial site environment, or this communication failure problem, By installing additional expensive equipment, there was a problem in which the installation cost increased rapidly.

본 발명은 상기와 같은 종래의 제반 문제점을 해소하고자 창안된 것으로서,인간의 청력에 의하여 들려지지 않는 고주파 대역의 음파(音波)에 디지털 데이터를 실어 산업 생산 설비에서도 통신을 수행하는 비가청 사운드 통신기술을 활용하여 데이터의 전송을 이루는 음파 통신 장치 및 이의 제어 을 제공한다.The present invention is invented to solve the problems of the prior art as described above, and is a non-audible sound communication technology that carries out communication even in industrial production facilities by loading digital data on sound waves in a high frequency band that are not heard by human hearing. It provides a sound wave communication device for transmitting data and its control using

상기와 같은 기술적 과제를 달성하기 위한 본 발명은, 입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 제 2 음파 통신 유니트(10R)를 포함하는 음파 통신 장치를 제공한다.The present invention for achieving the above technical problem, at least one first sound wave communication unit (10T) for outputting the input data in a sound wave communication method through the speaker 61, and the first sound wave communication unit (10T) It provides a sound wave communication device including a second sound wave communication unit 10R that is disposed so as to be able to change its relative position to and receives the data from the sound wave output from the speaker 61 through the microphone sensor 51 and outputs it.

상기 음파 통신 장치에 있어서, 상기 제 1 음파 통신 유니트(10T)는, 입력 데이터를 비가청 고주파 대역의 음파에 실어서 상기 스피커(61)를 통하여 상기 제 2 음파 통신 유니트(10R) 측으로 송출하는 음파 송출부(140)를 포함할 수도 있다. In the sound wave communication device, the first sound wave communication unit 10T loads input data onto sound waves of an inaudible high frequency band and transmits the sound waves to the second sound wave communication unit 10R through the speaker 61. It may also include a transmission unit 140.

상기 음파 통신 장치에 있어서, 상기 음파송출부(140)는, 상기 스피커(61)를 통하여 송출되는 음파의 잔향음 제거를 위하여 데이터의 진법을 변경할 수도 있다. In the sound wave communication device, the sound wave transmission unit 140 may change the base method of data to remove the reverberation sound of the sound wave transmitted through the speaker 61.

상기 음파 통신 장치에 있어서, 상기 음파송출부(140)는, 전송할 데이터를 비가청 음파 전송에 적합하도록 디지털 형성(변환)하는 디지털신호생성부(141); 상기 디지털신호생성부(141)에서 변환된 디지털 데이터를 인코딩시키는 디지털신호인코딩부(142); 상기 디지털신호인코딩부(142)에서 인코딩된 데이터를 신호 처리하여 음파 데이터로 변환시키는 고주파생성부(143); 변환된 고주파를 페이드 처리하는 고주파 필터링부(144);를 포함하여 구성될 수도 있다. In the sound wave communication device, the sound wave transmission unit 140 comprises: a digital signal generation unit 141 for digitally forming (converting) data to be transmitted so as to be suitable for transmission of inaudible sound waves; A digital signal encoding unit 142 for encoding the digital data converted by the digital signal generating unit 141; A high frequency generator 143 for converting the data encoded by the digital signal encoding unit 142 into sound wave data by signal processing; It may be configured to include a; high frequency filtering unit 144 for fading the converted high frequency.

상기 음파 통신 장치에 있어서, 상기 디지털신호 생성부(141)에서 입력 데이터는 사전 설정 진법(radix)으로 디지털 변환될 수도 있다. In the sound wave communication device, the input data from the digital signal generator 141 may be digitally converted into a preset radix.

상기 음파 통신 장치에 있어서, 상기 디지털신호인코딩부(142)는 잔향음 제거를 위하여 입력 데이터의 진법을 변경하는 구성을 취할 수도 있다. In the sound wave communication apparatus, the digital signal encoding unit 142 may be configured to change the base method of input data to remove reverberation sound.

상기 음파 통신 장치에 있어서, 잔향음 제거를 위한 상기 입력 데이터(inputi)의 진법 변환은: In the sound wave communication device, the base system conversion of the input data (inputi) for removing reverberant sound is:

Figure 112019103296319-pat00001
Figure 112019103296319-pat00001

과 같은 관계식을 통하여 진법 변환된 데이터(encodedi)가 산출될 수도 있다. Base-converted data (encodedi) may be calculated through a relational expression such as.

상기 음파 통신 장치에 있어서, 상기 고주파 생성부(143)는 고주파 음원이 시작됨과 음원이 끝남을 알리는 데이터를 추가할 수도 있다. In the sound wave communication device, the high frequency generator 143 may add data indicating that the high frequency sound source starts and the sound source ends.

상기 음파 통신 장치에 있어서, 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 간에 다수의 입력 센서로부터의 입력 데이터가 존재하되, 각각의 입력 데이터에 대하여 사전 설정된 주파수 범위로 주파수 할당 가능하고, 각각의 입력 데이터는 상기 고주파생성부(143)에서 각각의 음파 데이터로 변환되되, 상기 음파 송출부(140)는 상기 각각의 음파 데이터를 통합하는 음파 믹서와 같은 고주파 및 음원 합성부를 더 포함할 수도 있다. In the sound wave communication device, input data from a plurality of input sensors exist between the first sound wave communication unit 10T and the second sound wave communication unit 10R, but each input data is in a preset frequency range. Frequency assignment is possible, and each input data is converted into respective sound wave data by the high frequency generator 143, and the sound wave transmission unit 140 synthesizes high frequency and sound sources such as a sound wave mixer that integrates the respective sound wave data. It may contain more wealth.

상기 음파 통신 장치에 있어서, 상기 제 2 음파 통신 유니트(10R)는, 상기 제 1 음파 통신 유니트(10T)의 음파 송출부(140)로부터 송출된 고주파 대역의 음파를 수신하는 마이크로폰센서(51)를 포함하는 입력부(50)를 구비하고, 수신된 고주파 대역의 음파에 포함된 입력 데이터를 해석하여 디지털데이터로 디코딩하는 음파수신부(210)를 포함할 수도 있다. In the sound wave communication device, the second sound wave communication unit 10R includes a microphone sensor 51 for receiving a sound wave in a high frequency band transmitted from the sound wave transmission unit 140 of the first sound wave communication unit 10T. It may include a sound wave receiving unit 210 having an input unit 50 to include it, and decoding input data included in the received high-frequency sound wave into digital data.

상기 음파 통신 장치에 있어서, 상기 음파수신부(210)는, 마이크로폰센서로부터 수신한 데이터를 단수/복수개의 높은 이득(gain)을 가지는 대역주파수 증폭필터를 거쳐서 증폭할 수도 있다. In the sound wave communication apparatus, the sound wave receiving unit 210 may amplify data received from a microphone sensor through a single/plural band frequency amplification filter having a high gain.

상기 음파 통신 장치에 있어서, 상기 음파수신부(210)는, 상기 대역주파수 증폭필터는 OPAMP 증폭 회로일 수도 있다. In the sound wave communication device, the sound wave receiving unit 210 may be an OPAMP amplifier circuit.

상기 음파 통신 장치에 있어서, 상기 음파수신부(210)는, 수신된 입력 데이터를 신호 처리하여 스펙트로그램(Spectrogram) 형태의 데이터로 저장할 수도 있다. In the sound wave communication device, the sound wave receiving unit 210 may signal-process the received input data and store it as data in the form of a spectrogram.

상기 음파 통신 장치에 있어서, 상기 음파수신부(210)가 데이터에 시작 신호가 있는지 확인하고, 시작 신호가 없을 경우 연산을 중단하고, 시작 신호가 감지되면, 상기 스펙트로그램(Spectrogram) 형태의 입력 데이터에서 잔향음을 제거하고 최종 처리된 주파수 신호를 해석할 수도 있다. In the sound wave communication device, the sound wave receiver 210 checks whether there is a start signal in the data, stops the operation if there is no start signal, and when a start signal is detected, the input data in the form of a spectrogram It is also possible to remove the reverberation and analyze the final processed frequency signal.

상기 음파 통신 장치에 있어서, 상기 음파수신부(210)는, 상기 신호의 시작을 감지하기 위하여, 스펙트로그램(Spectrogram)에서 가장 신호가 센 인덱스를 검출하고, 인덱스의 검출을 수행하기 위하여 시작 신호의 해당 주파수 대역에서 신호 세기와 시작 신호가 아닌 주파수 대역의 신호 세기를 동시에 측정하여 두 값 사이의 비율을 구하고, 두 신호 세기의 비율이 지정된 값 이상이고, 지정된 값 이상인 상태가 지정된 시간 이상 유지된다면 입력 데이터 신호가 시작되었다고 판단하는 구성을 취할 수도 있다. In the sound wave communication device, the sound wave receiver 210 detects an index with the highest signal in a spectrogram in order to detect the start of the signal, and the corresponding start signal in order to detect the index. Input data if the ratio between the two values is obtained by simultaneously measuring the signal strength in the frequency band and the signal strength in the frequency band other than the starting signal, and if the ratio of the two signal strengths is greater than or equal to the specified value and is maintained for a specified time or longer. You can also take a configuration that determines that the signal has started.

상기 음파 통신 장치에 있어서, 상기 스펙트로그램 상 상기 입력 데이터의 단위 데이터는 사전 설정된 개수의 데이터 프래그먼트(BLF)로 구성되는 단위 데이터 길이(BL)를 구비하고, 상기 음파 수신부(210)는, 상기 입력 데이터 신호의 시작이 감지되는 경우에 어느 시간(x)에서부터 상기 입력 데이터의 상기 단위 데이터 길이(BL) 단위로 정렬시, 어느 시간(x) 이후의 나머지 영역에 대하여 단위 데이터 길이(BL) 단위로 상기 스펙트로그램 중 동일 시간 대의 데이터 프래그먼트(BLF)에 대한 가장 신호가 큰 인덱스의 동일 개수의 최대값의 합을 어느 시간(x)을 사전 설정 크기(상기 데이터 프래그먼트(BLF))만큼 증분시켜 산출했을 때 제일 큰 값을 형성하는 어느 시간(x)이 시작 지점으로 설정될 수도 있다. In the sound wave communication device, the unit data of the input data on the spectrogram has a unit data length BL composed of a preset number of data fragments BLF, and the sound wave receiving unit 210 includes the input When the start of a data signal is detected, when sorting from a certain time (x) in the unit data length (BL) of the input data, the remaining area after a certain time (x) in unit data length (BL) Among the spectrograms, the sum of the maximum values of the same number of indexes with the largest signal for the data fragments (BLF) in the same time period was calculated by incrementing a predetermined time (x) by a preset size (the data fragment (BLF)). A time (x) forming the largest value may be set as the starting point.

상기 음파 통신 장치에 있어서, 상기 정렬된 데이터의 상기 단위 데이터 길이(BL)만큼 후속하는 후속 데이터에 대하여 상기 정렬된 데이터에 사전 설정 감쇠율(echoGain)로 감쇠시켜 잔향음을 제거할 수도 있다. In the sound wave communication apparatus, reverberation may be removed by attenuating the aligned data with a preset attenuation rate (echoGain) for subsequent data following the unit data length BL of the aligned data.

상기 음파 통신 장치에 있어서, 잔향음 제거된 후, 상기 정렬된 데이터(encodedi)의 진법 변환은:In the sound wave communication device, after the reverberation sound is removed, the base system conversion of the aligned data (encodedi) is:

Figure 112019103296319-pat00002
Figure 112019103296319-pat00002

과 같은 관계식을 통하여 잔향음 제거 진법 역변환된 데이터(outputi)가 산출될 수도 있다. Inversely transformed data outputi may be calculated through a relational expression such as

상기 음파 통신 장치에 있어서, 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R)는 상호간 거리를 반영한 거리 인덱스를 고려하여 통신 연결이 이루어질 수도 있다. In the sound wave communication device, the first sound wave communication unit 10T and the second sound wave communication unit 10R may be connected to each other in consideration of a distance index reflecting a distance between them.

본 발명의 다른 일면에 따르면, 본 발명은 입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)를 구비하는 제 1 음파 통신 그룹과, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함하는 제 2 음파 통신 그룹을 구비하는 음파 통신 장치를 제공한다. According to another aspect of the present invention, the present invention provides a first sound wave communication group including at least one first sound wave communication unit 10T for outputting input data through a speaker 61 in a sound wave communication method, and the first At least one second sound wave communication unit 10R that is arranged to be able to change its relative position with the sound wave communication unit 10T and receives and outputs the data from the sound wave output from the speaker 61 through the microphone sensor 51. It provides a sound wave communication device having a second sound wave communication group including.

상기 음파 통신 장치에 있어서, 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R)는 상호간 거리를 반영한 거리 인덱스를 고려하여 통신 연결이 이루어질 수도 있다. In the sound wave communication device, the first sound wave communication unit 10T and the second sound wave communication unit 10R may be connected to each other in consideration of a distance index reflecting a distance between them.

상기 음파 통신 장치에 있어서, 상기 제 2 음파 통신 유니트가 복수 개가 구비되고, 상기 거리 인덱스는 상기 제 2 음파 통신 유니트(10R)가 수신하는 신호를 세기를 기반으로 정렬되고 최대 세기 값을 제외한 사전 설정 값을 기준으로 산출되고, 상기 복수 개의 제 2 음파 통신 유니트 중 최대 거리 인덱스를 구비하되, 산출된 거리 인덱스가 사전 설정 거리 인덱스 이상인 제 2 음파 통신 유니트와 상기 제 1 음파 통신 유니트가 통신 연결될 수도 있다. In the sound wave communication apparatus, a plurality of the second sound wave communication units are provided, and the distance index is arranged based on the strength of the signal received by the second sound wave communication unit 10R, and a preset value excluding a maximum strength value A second sound wave communication unit calculated based on a value and having a maximum distance index among the plurality of second sound wave communication units, but the calculated distance index is equal to or greater than a preset distance index, and the first sound wave communication unit may be communication-connected. .

상기 음파 통신 장치에 있어서, 상기 사전 설정 값은 세기를 기반으로 정렬된 신호 중 하위 50% 이하의 값 중 선택될 수도 있다. In the sound wave communication apparatus, the preset value may be selected from values of a lower 50% or less among signals arranged based on intensity.

상기 음파 통신 장치에 있어서, 상기 제 2 음파 통신 유니트가 복수 개가 구비되고, 상기 제 1 음파 통신 유니트(10T) 및 상기 제 2 음파 통신 유니트(10R)는 모두 음파 송수신이 가능할 수도 있다. In the sound wave communication device, a plurality of second sound wave communication units may be provided, and both the first sound wave communication unit 10T and the second sound wave communication unit 10R may be capable of transmitting and receiving sound waves.

상기 음파 통신 장치에 있어서, 상기 제 2 음파 통신 유니트(10R)는 거리 측정 음파를 사전 설정 측정 주기(T)로 송신하고, 상기 제 1 음파 통신 유니트(10T)는 상기 제 2 음파 통신 유니트(10R)로부터의 거리 측정 음파를 수신하는 경우 수신 후 사전 설정 측정 주기(T) 후에 반송 거리 측정 음파를 송신하고, 상기 제 2 음파 통신 유니트(10R)는 상기 제 1 음파 통신 유니트(10T)의 상기 반송 거리 측정 음파를 수신하여 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 간의 사이 거리를 측정할 수도 있다. In the sound wave communication device, the second sound wave communication unit 10R transmits a distance measurement sound wave at a preset measurement period T, and the first sound wave communication unit 10T is the second sound wave communication unit 10R. When receiving a distance measurement sound wave from ), the carrier distance measurement sound wave is transmitted after a preset measurement period (T) after reception, and the second sound wave communication unit 10R is the carrier of the first sound wave communication unit 10T. Distance measurement A distance between the first sound wave communication unit 10T and the second sound wave communication unit 10R may be measured by receiving the sound wave.

본 발명의 또 다른 일면에 따르면, 본 발명은 입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함하는 음파 통신 장치를 제공하는 제공 단계(S1)와, 상기 제 1 음파 통신 유니트(10T)의 음파송출부(140)가 상기 입력 데이터를 비가청 고주파 대역의 음파에 실어서 상기 스피커(61)를 통하여 상기 제 2 음파 통신 유니트(10R)에 송출하는 음파 송출 단계(S10)와, 상기 제 2 음파 통신 유니트(10R)의 음파수신부(210)가 상기와 같이 음파송출단계를 통하여 송출된 고주파 대역의 입력 데이터를 마이크로폰센서로 수신하고, 수신된 고주파 대역의 음파에 포함된 입력 데이터를 분석하여 디지털데이터를 복호화하는 음파수신단계(S20)를 포함하는 음파 통신 장치 제어 방법을 제공한다. According to another aspect of the present invention, the present invention provides at least one first sound wave communication unit 10T for outputting input data through a speaker 61 in a sound wave communication method, the first sound wave communication unit 10T, and Provides a sound wave communication device including at least one second sound wave communication unit 10R disposed to be able to change relative position and receiving and outputting the data from the sound wave output from the speaker 61 through the microphone sensor 51 In the providing step (S1), the sound wave transmission unit 140 of the first sound wave communication unit 10T loads the input data onto sound waves of an inaudible high frequency band, and communicates the second sound wave through the speaker 61 The sound wave transmission step (S10) transmitted to the unit 10R, and the sound wave receiving unit 210 of the second sound wave communication unit 10R transmits the input data of the high frequency band transmitted through the sound wave transmission step as described above to the microphone sensor. It provides a method for controlling a sound wave communication device including a sound wave receiving step (S20) of receiving and decoding digital data by analyzing input data included in the received sound wave of a high frequency band.

상기 음파 통신 장치 제어 방법에 있어서, 상기 음파 송출 단계(S10)는: 상기 제 1 음파 통신 유니트(10T)의 음파 송출부(140)의 디지털 신호 생성부(141)에서 전송할 상기 입력 데이터를 비가청 음파 전송에 적합하도록 디지털 데이터 형태로 준비 형성되는 디지털 데이터 생성 단계(S11)와, 상기 음파 송출부(140)의 디지털신호인코딩부(142)에서 준비된 디지털 데이터를 인코딩시키는 디지털 데이터 인코딩 단계(S13)와, 상기 음파 송출부(140)의 고주파생성부(143)에서 인코딩된 데이터를 신호 처리하여 음파 데이터로 변환시키는 음파 변환 단계(S16)와, 상기 스피커(61)를 통하여 음파통신 방식으로 음파 출력되는 음파 출력 단계(S19)를 포함할 수도 있다. In the sound wave communication device control method, the sound wave transmission step (S10): Inaudible the input data to be transmitted from the digital signal generation unit 141 of the sound wave transmission unit 140 of the first sound wave communication unit 10T A digital data generation step (S11) prepared and formed in a digital data format suitable for sound wave transmission, and a digital data encoding step (S13) of encoding digital data prepared by the digital signal encoding unit 142 of the sound wave transmission unit 140 A sound wave conversion step (S16) of converting data encoded by the high frequency generator 143 of the sound wave transmission unit 140 into sound wave data by signal processing (S16), and a sound wave output through a sound wave communication method through the speaker 61 It may also include a sound wave output step (S19).

상기 음파 통신 장치 제어 방법에 있어서, 상기 디지털 데이터 생성 단계(S11)에서 상기 입력 데이터는 사전 설정 진법(radix)으로 디지털 변환이 이루어질 수도 있다. In the sound wave communication device control method, in the digital data generation step (S11), the input data may be digitally converted to a preset radix.

상기 음파 통신 장치 제어 방법에 있어서, 상기 디지털 데이터 인코딩 단계(S13)에서 잔향음 제거를 위하여 상기 디지털화된 입력 데이터를 잔향음 제거를 위하여 진법 변환시킬 수도 있다. In the method of controlling the sound wave communication device, in the digital data encoding step (S13), the digitized input data may be base-converted to remove the reverberant sound.

상기 음파 통신 장치 제어 방법에 있어서, 상기 디지털 데이터 인코딩 단계(S13)에서 상기 잔향음 제거를 위한 상기 디지털화된 입력 데이터(inputi)의 진법 변환을 통하여 진법 변환된 데이터(encodedi)가 산출되고, 상기 진법 변환은: In the sound wave communication device control method, in the digital data encoding step (S13), base code converted data (encodedi) is calculated through base code conversion of the digitized input data (inputi) for removing the reverberant sound, and the base code The conversion is:

Figure 112019103296319-pat00003
Figure 112019103296319-pat00003

과 같은 관계식을 통하여 가 산출될 수도 있다. May be calculated through a relational expression such as

상기 음파 통신 장치 제어 방법에 있어서, 상기 음파 변환 단계(S16)는: 상기 인코딩된 입력 데이터의 전후에 시작과 끝을 알리는 알림 데이터를 추가하는 시종 데이터 추가 단계(S161)와, 상기 인코딩된 입력 데이터를 주파수 도메인으로 변환하는 주파수 도메인 변환 단계(S163)와, 상기 주파수 도메인 변환된 입력 데이터를 출력 가능한 음파 형태로 변환하는 시간 도메인 변환 단계(S165)를 포함할 수도 있다. In the method of controlling the sound wave communication device, the sound wave conversion step (S16) includes: a starting data adding step (S161) of adding notification data indicating a start and an end before and after the encoded input data, and the encoded input data A frequency domain conversion step (S163) of converting the frequency domain to the frequency domain, and a time domain conversion step (S165) of converting the frequency domain converted input data into an output sound wave form may be included.

상기 음파 통신 장치 제어 방법에 있어서, 상기 음파 송출부(140)의 고주파 필터링부(144)에서 상기 음파 변환 단계(S16)에서 변화된 고주파가 페이드 처리되는 음파 필터링 단계(S17)가 더 포함될 수도 있다. In the method of controlling the sound wave communication device, a sound wave filtering step (S17) of fading the high frequency changed in the sound wave conversion step (S16) in the high frequency filtering unit 144 of the sound wave transmitting unit 140 may be further included.

상기 음파 통신 장치 제어 방법에 있어서, 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 간에 다수의 입력 센서로부터의 입력 데이터가 존재하되, 각각의 입력 데이터에 대하여 사전 설정된 주파수 범위로 주파수 할당한 주파수 할당 단계(S15)와, 상기 음파 송출부(140)의 고주파 및 음원 합성부(145)에서 음파 출력 단계(S19) 전에 상기 각각의 사전 설정된 주파수 범위로 주파수 할당된 음파 데이터가 통합되는 음파 믹싱 단계(S18)가 더 구비될 수도 있다. In the sound wave communication device control method, input data from a plurality of input sensors exist between the first sound wave communication unit 10T and the second sound wave communication unit 10R, but a preset frequency for each input data The sound wave data frequency-allocated to each of the preset frequency ranges before the frequency allocation step (S15) in which a frequency is allocated to the range, and the sound wave output step (S19) in the high frequency and sound source synthesizer 145 of the sound wave transmission unit 140 A sound wave mixing step (S18) in which is integrated may be further provided.

상기 음파 통신 장치 제어 방법에 있어서, 상기 음파수신단계(S20)는: 상기 마이크로폰센서(51)를 통하여 음파 데이터 형태의 고주파 대역의 입력 데이터를 포함하는 음파 신호를 감지하는 음파 신호 수신 단계(S21)와, 상기 수신된 음파 신호에서 해당 음파 데이터를 포함하는 주파수를 분리하여 음파 데이터를 신호 처리하는 주파수 분리 신호 처리 단계(S23)와, 상기 분리된 음파 신호 중 음파 데이터를 디지털 데이터로 변환하는 디지털 데이터 디코딩 단계(S24)와, 상기 디지털 데이터로 디코딩된 신호의 정합성을 확인하는 디지털 데이터 정합성 확인 단계(S25)와, 상기 정합성이 확인된 디지털 데이터를 출력하는 디지털 데이터 출력 단계(S26)를 포함할 수도 있다. In the sound wave communication device control method, the sound wave receiving step (S20) comprises: a sound wave signal receiving step (S21) of detecting a sound wave signal including input data of a high frequency band in the form of sound wave data through the microphone sensor 51 And, a frequency separation signal processing step (S23) of processing sound wave data by separating a frequency including the corresponding sound wave data from the received sound wave signal, and digital data for converting sound wave data of the separated sound wave signals into digital data It may include a decoding step (S24), a digital data consistency check step (S25) for checking the consistency of the signal decoded into the digital data, and a digital data output step (S26) for outputting the digital data whose consistency is confirmed. have.

상기 음파 통신 장치 제어 방법에 있어서, 상기 주파수 분리 신호 처리 단계(S23)는: 상기 수신된 음파 신호에서 해당 음파 데이터 형태의 입력 데이터를 주파수 신호 데이터로 변환하고 스펙트로그램(Spectrogram) 형태의 데이터로 생성 저장하는 주파수 신호 데이터 변환 단계(S231)와, 상기 주파수 신호 데이터 변환 단계(S231)에서 변환된 입력 데이터의 시작 여부를 확인 정렬 신호 처리하는 주파수 신호 데이터 처리 단계(S233)를 포함할 수도 있다. In the sound wave communication device control method, the frequency-separated signal processing step (S23): converts input data in the form of corresponding sound wave data from the received sound wave signal into frequency signal data, and generates data in a spectrogram form. It may include a frequency signal data conversion step (S231) to store and a frequency signal data processing step (S233) of processing an alignment signal to check whether the input data converted in the frequency signal data conversion step (S231) starts.

상기 음파 통신 장치 제어 방법에 있어서, 상기 주파수 신호 데이터 변환 단계(S231)는: 상기 수신된 음파 신호에서 해당 음파 데이터 형태의 입력 데이터를 주파수 도메인 변환하여 주파수 신호 데이터를 형성하는 주파수 도메인 변환 단계(S2311)와, 상기 변환된 주파수 신호 데이터를 스펙트로그램(Spectrogram) 형태 변환하는 주파수 신호 스펙트로그램 변환 단계(S2313)를 포함할 수도 있다. In the sound wave communication device control method, the frequency signal data conversion step (S231) comprises: a frequency domain conversion step of forming frequency signal data by frequency domain conversion of input data in a corresponding sound wave data form from the received sound wave signal (S2311) ), and a frequency signal spectrogram conversion step (S2313) of converting the converted frequency signal data into a spectrogram form.

상기 음파 통신 장치 제어 방법에 있어서, 상기 주파수 신호 데이터 처리 단계(S233)는: 상기 주파수 신호 데이터 변환 단계(S231)에서 변환된 입력 데이터의 시작 여부를 확인하는 주파수 신호 데이터 시작 확인 단계(S2331)와, 상기 주파수 신호 데이터 시작 확인 단계(S2331)에서 시작 여부가 확인되는 경우, 상기 스펙트로그램(Spectrogram)에서 데이터 비트 별로 구분하는 주파수 신호 데이터 정렬 단계(S2333)와, 상기 정렬된 데이터의 단위 데이터 길이(BL)만큼 후속하는 후속 데이터에 대하여 상기 정렬된 데이터에 사전 설정 감쇠율(echoGain)로 감쇠시켜 잔향음을 제거하는 잔향음 제거 단계(S2335)와, 상기 잔향음이 제거된 데이터를 사전 설정된 방식으로 정규화시키는 데이터 복원 단계(S2337)와, 상기 정규화된 데이터로부터 데이터 비트별 에너지 세기를 구하여 데이터 비트 값을 산출하는 데이터 평가 단계(S2339)를 포함할 수도 있다. In the sound wave communication device control method, the frequency signal data processing step (S233) comprises: a frequency signal data start checking step (S2331) of checking whether the input data converted in the frequency signal data conversion step (S231) starts or not; If the frequency signal data start checking step (S2331) confirms whether or not it starts, the frequency signal data sorting step (S2333) for dividing each data bit in the spectrogram, and the unit data length of the sorted data ( A reverberation sound removal step (S2335) of removing reverberation by attenuating the sorted data with a preset attenuation rate (echoGain) for subsequent data following BL), and normalizing the data from which the reverberation sound is removed in a preset manner. A data restoration step (S2337) of performing the normalized data, and a data evaluation step (S2339) of calculating a data bit value by obtaining an energy intensity for each data bit from the normalized data may be included.

상기 음파 통신 장치 제어 방법에 있어서, 상기 주파수 신호 데이터 시작 확인 단계(S2331)는: 상기 스펙트로그램(Spectrogram)에서 신호 세기가 가장 센 인덱스를 검출하고, 시작 신호의 해당 주파수 대역에서의 신호 세기(spectrum(index,start_freq))와, 시작 신호가 아닌 주파수 대역의 신호 세기를 측정하여 두 신호 세기로 시작 신호 세기 비율(start signal ration(index))를 산출하고, 상기 시작 신호 세기 비율(start signal ration(index))이 사전 설정 저장된 사전 설정 신호 세기 비율(ssrs) 이상인 상태의 유지 지속 시간을 산출하는 시작 신호 세기 비율 및 유지 지속 시간 산출 단계(S23311)와, 상기 시작 신호 세기 비율(start signal ration(index))과 사전 설정 저장된 사전 설정 신호 세기 비율(ssrs)을 그리고 유지 지속 시간과 사전 설정 저장된 사전 설정 유지 지속 시간을 비교하여, 시작 여부를 판단하는 시작 신호 여부 판단 단계(S23313)을 포함할 수도 있다. In the method of controlling the sound wave communication device, the step of confirming the start of the frequency signal data (S2331) includes: detecting an index having the highest signal strength in the spectrogram, and detecting a signal strength in a corresponding frequency band of the start signal. (index,start_freq)) and the signal strength of a frequency band other than the start signal are measured to calculate a start signal strength ratio (start signal ration(index)) with two signal strengths, and the start signal strength ratio (start signal ration( index)) is a start signal intensity ratio and a maintenance duration calculation step (S23311) of calculating a maintenance duration time of a state equal to or greater than a preset stored preset signal intensity ratio (ssrs), and the start signal intensity ratio (index )) and a preset stored preset signal strength ratio (ssrs), and comparing the maintenance duration time with the preset stored preset maintenance duration time to determine whether to start or not (S23313). .

상기 음파 통신 장치 제어 방법에 있어서, 상기 스펙트로그램 상 상기 입력 데이터의 단위 데이터는 사전 설정된 개수의 데이터 프래그먼트(BLF)로 구성되는 단위 데이터 길이(BL)를 구비하고, 상기 주파수 신호 데이터 정렬 단계(S2333)에서, 상기 입력 데이터 신호의 시작이 감지되는 경우에 어느 시간(x)에서부터 상기 입력 데이터의 상기 단위 데이터 길이(BL) 단위로 정렬하는 경우, 어느 시간(x) 이후의 나머지 영역에 대하여 단위 데이터 길이(BL) 단위로 상기 스펙트로그램 중 동일 시간 대의 데이터 프래그먼트(BLF)에 대한 가장 신호가 큰 인덱스의 동일 개수의 최대값의 합을 어느 시간(x)을 사전 설정 크기(상기 데이터 프래그먼트(BLF))만큼 증분시켜 산출했을 때 제일 큰 값을 형성하는 어느 시간(x)이 시작 지점으로 설정될 수도 있다. In the sound wave communication device control method, the unit data of the input data on the spectrogram has a unit data length BL composed of a preset number of data fragments BLF, and the frequency signal data alignment step (S2333 ), when the start of the input data signal is detected, when the input data is aligned in the unit data length (BL) unit from a certain time (x), unit data for the remaining area after a certain time (x) In the length (BL) unit, the sum of the maximum values of the same number of indexes with the largest signal for the data fragment (BLF) in the same time period among the spectrograms is a predetermined time (x) as a preset size (the data fragment (BLF) A certain time (x) that forms the largest value when calculated by incrementing by) may be set as the starting point.

상기 음파 통신 장치 제어 방법에 있어서, 상기 주파수 신호 데이터 정렬 단계(S2333)는: 상기 어느 시간(x)에서부터 동일 데이터 프래그먼트(BLF) 중 가장 신호가 큰 데이터 프래그먼트(BLF)의 인덱스인 맥스 에너지 인덱스(MaxEnergyIndex(x))를 산출하는 맥스에너지인덱스 산출 단계(S23331)와, 상기 맥스 에너지 인덱스(MaxEnergyIndex(x)) 중에서 상기 단위 데이터 길이(BL) 단위로 동일한 인덱스의 개수인 새임카운트(SameCount(val,x))를 산출하는 새임카운드 산출 단계(S23333)와, 상기 단위 데이터 길이(BL) 단위로 상기 스펙트로그램의 상기 어느 시간(x) 이후 나머지 영역에 대하여 상기 새임카운트(SameCount(val,x))의 최대값의 합인 맥스리피트카운터(MaxRepeatCounter(x))를 산출하는 맥스리피트카운터 산출 단계(S23335)와, 어느 시간(x)을 사전 설정 크기(상기 데이터 프래그먼트(BLF))만큼 증분시켜 상기 맥스리피트카운터 산출 단계를 산출하여 도출되는 복수 개의 맥스리피트카운터(MaxRepeatCounter(x)) 중 최대 맥스리피트카운터(MaxRepeatCounter(x))를 형성하는 어느 지점(x)을 시작 지점으로 설정하고 해당 어느 지점(x)의 인덱스를 시작 인덱스(StartIndex)로 설정하는 시작 인덱스 산출 단계(S23337)을 포함할 수도 있다. In the sound wave communication device control method, the frequency signal data alignment step (S2333) includes: a max energy index, which is an index of a data fragment (BLF) having the largest signal among the same data fragments (BLF) from a certain time (x) ( The Max Energy Index calculation step (S23331) of calculating MaxEnergyIndex(x)), and a new count (SameCount(val), which is the number of the same index in the unit data length BL) among the MaxEnergyIndex(x) x)), the new im count calculation step (S23333) of calculating the new im count (SameCount(val, x)) for the remaining area after the certain time (x) of the spectrogram in the unit data length (BL). The max repeat counter calculation step (S23335) of calculating a max repeat counter (MaxRepeatCounter(x)) that is the sum of the maximum values of ), and the max by incrementing a certain time (x) by a preset size (the data fragment (BLF)). Among the plurality of MaxRepeatCounter(x) derived by calculating the repeat counter calculation step, a point (x) forming the maximum MaxRepeatCounter(x) is set as the starting point, and the corresponding point (x A start index calculation step (S23337) of setting the index of) to the start index (StartIndex) may be included.

상기 음파 통신 장치 제어 방법에 있어서, 상기 디지털 데이터 디코딩 단계(S24)에서, In the sound wave communication device control method, in the digital data decoding step (S24),

Figure 112019103296319-pat00004
Figure 112019103296319-pat00004

과 같은 관계식을 통하여 정렬 후 잔향음이 제거된 데이터(encodedi)의 진법 변환이 실행되어 잔향음 제거 진법 역변환된 데이터(outputi)가 산출될 수도 있다. Base conversion of the data (encodedi) from which the reverberation sound has been removed after alignment is performed through the relational expression such as, and the inversely-transformed data (outputi) from which the reverberation sound is removed may be calculated.

상기 음파 통신 장치 제어 방법에 있어서, 상기 음파수신단계(S20)는: 상기 마이크로폰센서(51)를 통하여 음파 데이터 형태의 고주파 대역의 입력 데이터를 포함하는 음파 신호를 감지하는 음파 신호 수신 단계(S21)와, 상기 수신된 음파 신호에서 해당 음파 데이터를 포함하는 주파수를 분리하여 음파 데이터를 신호 처리하는 주파수 분리 신호 처리 단계(S23)와, 상기 분리된 음파 신호 중 음파 데이터를 디지털 데이터로 변환하는 디지털 데이터 디코딩 단계(S24)와, 상기 디지털 데이터로 디코딩된 신호의 정합성을 확인하고 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 상호간 거리를 반영한 거리 인덱스로부터 정밀성을 판단하여 통신 연결 여부를 확인하는 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)와, 상기 정합성이 확인된 디지털 데이터를 출력하는 디지털 데이터 출력 단계(S26)를 포함할 수도 있다. In the sound wave communication device control method, the sound wave receiving step (S20) comprises: a sound wave signal receiving step (S21) of detecting a sound wave signal including input data of a high frequency band in the form of sound wave data through the microphone sensor 51 And, a frequency separation signal processing step (S23) of processing sound wave data by separating a frequency including the corresponding sound wave data from the received sound wave signal, and digital data for converting sound wave data of the separated sound wave signals into digital data In the decoding step (S24), the consistency of the signal decoded as the digital data is checked, and the precision is determined from the distance index reflecting the distance between the first sound wave communication unit 10T and the second sound wave communication unit 10R. It may include a digital data consistency and precision checking step (S25a) of checking whether or not the connection has been made, and a digital data outputting step (S26) of outputting the digital data whose consistency is confirmed.

상기 음파 통신 장치 제어 방법에 있어서, 상기 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)는: 상기 디코딩된 디지털 데이터의 체크섬을 확인하는 체크섬 확인 단계(S251a)와, 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리를 산출하는 거리 산출 단계(S252)와, 상기 체크섬 확인 단계(S251a)에서 확인된 상기 체크섬이 적합한지 판단하는 체크섬 적합 판단 단계(S253)와, 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리인 거리 인덱스와 사전 설정 거리(ds)를 비교하는 거리 적합 판단 단계(S254)를 포함할 수도 있다. In the sound wave communication device control method, the digital data consistency and precision checking step (S25a) comprises: a checksum checking step (S251a) of checking a checksum of the decoded digital data, the first sound wave communication unit (10T), and A distance calculation step (S252) of calculating a distance between the second sound wave communication units (10R), a checksum suitability determination step (S253) of determining whether the checksum checked in the checksum verification step (S251a) is appropriate, and the A distance fit determination step (S254) of comparing a distance index, which is a distance between the first sound wave communication unit 10T and the second sound wave communication unit 10R, and a preset distance ds may be included.

상기 음파 통신 장치 제어 방법에 있어서, 상기 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)는: 상기 디코딩된 디지털 데이터의 체크섬을 산출 확인하는 체크섬 확인 단계(S251a)와, 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스 (DI)를 산출하는 거리 인덱스 (DI) 산출 단계(S252a)와, 상기 체크섬 확인 단계(S251a)에서 산출 확인된 상기 체크섬이 적합한지 판단하는 체크섬 적합 판단 단계(S253)와, 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스(DI)와 사전 설정 거리 인덱스(DIs)를 비교하는 거리 적합 판단 단계(S254a)를 포함할 수도 있다. In the sound wave communication device control method, the digital data consistency and precision checking step (S25a) comprises: a checksum checking step (S251a) of calculating and confirming a checksum of the decoded digital data; and the first sound wave communication unit (10T) A distance index (DI) calculation step (S252a) for calculating a distance index (DI) between the and the second sound wave communication unit 10R, and determining whether the checksum calculated and verified in the checksum verification step (S251a) is appropriate. A checksum suitability determination step (S253) and a distance suitability determination step of comparing a distance index DI and a preset distance index DIs between the first sound wave communication unit 10T and the second sound wave communication unit 10R. It may also include (S254a).

상기 음파 통신 장치 제어 방법에 있어서, 상기 제 2 음파 통신 유니트가 복수 개가 구비되고, 상기 거리 인덱스는 상기 제 2 음파 통신 유니트(10R)가 수신하는 신호를 세기를 기반으로 정렬되고 최대 세기 값을 제외한 사전 설정 값을 기준으로 산출되고, 상기 거리 적합 판단 단계(S254a)에서, 산출된 거리 인덱스가 사전 설정 거리 인덱스 이상인 제 2 음파 통신 유니트와 상기 제 1 음파 통신 유니트가 통신 연결될 수도 있다. In the sound wave communication device control method, a plurality of second sound wave communication units are provided, and the distance index is aligned based on the strength of the signal received by the second sound wave communication unit 10R, excluding a maximum strength value. A second sound wave communication unit calculated based on a preset value and having a calculated distance index equal to or greater than a preset distance index and the first sound wave communication unit may be communicatively connected in the distance suitability determination step S254a.

상기 음파 통신 장치 제어 방법에 있어서, 상기 거리 인덱스는 아래 수학식을 통하여 산출될 수도 있다. In the method for controlling the sound wave communication device, the distance index may be calculated through the following equation.

(수학식)(Equation)

Figure 112019103296319-pat00005
Figure 112019103296319-pat00005

여기서, 어레이(array = strength of data signal)는 입력 데이터의 데이터 비트의 신호 세기 배열이고, 어레이 정렬(sorted_array = sort(array,descend))은 어레이의 순서 정렬임.Here, the array (array = strength of data signal) is an array of signal strengths of the data bits of the input data, and the array sort (sorted_array = sort(array,descend)) is the order of the array.

상기 음파 통신 장치 제어 방법에 있어서, 상기 사전 설정 값은 세기를 기반으로 정렬된 신호 중 하위 50% 이하의 값 중 선택될 수도 있다. In the method for controlling the sound wave communication device, the preset value may be selected from values of a lower 50% or less among signals arranged based on intensity.

상기 음파 통신 장치 제어 방법에 있어서, 상기 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)는: 상기 디코딩된 디지털 데이터의 체크섬을 산출 확인하는 체크섬 확인 단계(S251a)와, 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스인 TOF 거리(DTOF)를 산출하는 TOF 거리 인덱스 산출 단계(S252b)와, 상기 체크섬 확인 단계(S251a)에서 확인된 상기 체크섬이 적합한지 판단하는 체크섬 적합 판단 단계(S253)와, 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스(DTOF)와 사전 설정 거리 인덱스(Ds)를 비교하는 거리 적합 판단 단계(S254b)를 포함할 수도 있다. In the sound wave communication device control method, the digital data consistency and precision checking step (S25a) comprises: a checksum checking step (S251a) of calculating and confirming a checksum of the decoded digital data; and the first sound wave communication unit (10T) A TOF distance index calculation step (S252b) of calculating a TOF distance (DTOF), which is a distance index between the and the second sound wave communication unit 10R, and determining whether the checksum confirmed in the checksum verification step (S251a) is appropriate. A checksum suitability determination step (S253) and a distance suitability determination step of comparing a distance index DTOF between the first sound wave communication unit 10T and the second sound wave communication unit 10R and a preset distance index Ds It may also include (S254b).

상기 음파 통신 장치 제어 방법에 있어서, 상기 제 2 음파 통신 유니트가 복수 개가 구비되고, 상기 제 1 음파 통신 유니트(10T) 및 상기 제 2 음파 통신 유니트(10R)는 모두 음파 송수신이 가능할 수도 있다. In the sound wave communication device control method, a plurality of the second sound wave communication units are provided, and both the first sound wave communication unit 10T and the second sound wave communication unit 10R may transmit and receive sound waves.

상기 음파 통신 장치 제어 방법에 있어서, 상기 제 2 음파 통신 유니트(10R)에서 거리 측정 음파를 사전 설정 측정 주기(T)로 송신하는 거리 측정 마스터 음파 신호 송신 단계(S2521b)와, 상기 제 1 음파 통신 유니트(10T)가 상기 거리 측정 음파를 수신하는 거리 측정 마스터 음파 신호 수신 단계(S2522b)와, 상기 제 1 음파 통신 유니트(10T)가 상기 제 2 음파 통신 유니트(10R)로부터의 거리 측정 음파를 수신하는 경우 수신 후 사전 설정 측정 주기(T) 후에 반송 거리 측정 음파를 송신하는 거리 측정 슬레이브 음파 신호 송신 단계(S2523b)와, 상기 제 2 음파 통신 유니트(10R)가 상기 반송 거리 측정 음파를 수신하는 거리 측정 슬레이브 음파 신호 수신 단계(S2524b)와, 상기 제 2 음파 통신 유니트(10R)에서 상기 반송 거리 측정 음파의 송신 시간(trans) 및 수신 시간(trecv)와 사전 설정 주기를 이용하여 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 간의 사이 거리를 산출하는 거리 인덱스 산출 단계(S2526b)를 포함할 수도 있다. In the sound wave communication device control method, the distance measurement master sound wave signal transmission step (S2521b) of transmitting a distance measurement sound wave in a preset measurement period (T) in the second sound wave communication unit 10R, and the first sound wave communication A distance measurement master sound wave signal reception step (S2522b) in which the unit 10T receives the distance measurement sound wave, and the first sound wave communication unit 10T receives the distance measurement sound wave from the second sound wave communication unit 10R. In this case, a distance measurement slave sound wave signal transmission step (S2523b) of transmitting a carrier distance measurement sound wave after a preset measurement period (T) after reception, and a distance at which the second sound wave communication unit 10R receives the carrier distance measurement sound wave The first sound wave communication using the measurement slave sound wave signal reception step (S2524b) and the transmission time (trans) and reception time (trecv) of the carrier distance measurement sound wave in the second sound wave communication unit 10R, and a preset period A distance index calculation step (S2526b) of calculating a distance between the unit 10T and the second sound wave communication unit 10R may be included.

상기와 같이 구성되는 본 발명의 음파통신을 이용하는 음파 통신 장치 및 그 방법의 효과는 다음과 같다. The effects of the sound wave communication device and method using sound wave communication of the present invention configured as described above are as follows.

첫째, 종래 RF 통신방식 또는 WIFI/BLE 통신방식에서 사용되는 통신 모듈 대신 마이크로폰 센서를 사용하기 때문에 음파 통신 유니트를 구비하는 음파 통신 장치의 가격을 낮출 수 있는 효과가 있다.First, since a microphone sensor is used instead of a communication module used in a conventional RF communication method or a WIFI/BLE communication method, there is an effect of lowering the price of a sound wave communication device having a sound wave communication unit.

둘째, 철재 구조의 빔 등이 배치되는 산업 현장에서도 종래 RF 등의 무선 통신으로 인한 통신 상의 제약을 해소하여 보다 정확한 입력 데이터의 송수신을 통한 작업 강인성을 확보할 수도 있다. Second, even in an industrial site where a beam of a steel structure is arranged, it is possible to secure work robustness through more accurate transmission and reception of input data by solving the communication restrictions due to wireless communication such as RF.

셋째, 산업 현장에 사용되는 경우, 무선 통신을 위한 복잡한 부가 설비의 장착을 불필요하게 함으로써, 설치 비용 및 기간이 절감되는 효과가 있다. Third, when used in an industrial site, there is an effect of reducing the installation cost and period by making the installation of complex additional equipment for wireless communication unnecessary.

셋째, 잔향음에 대한 문제를 해결함으로써 신속하고 안정적인 통신이 가능한 효과를 가진다.Third, it has the effect of enabling fast and stable communication by solving the problem of reverberation sound.

넷째, 통신 연결의 정합성과 더불어 거리 관련 정보를 이용하여 통신 연결의 정밀성을 높여 복수 개의 음파 통신 유니트 간의 통신 연결 여부의 원활한 조정이 가능하고 공정내 적용시 장비간 페어링에 대한 복잡한 설정을 불필요하게 하여 사용 편의성 및 신속성을 증진시킬 수도 있다. Fourth, by using distance-related information as well as the consistency of the communication connection, it is possible to smoothly adjust the communication connection between a plurality of sonic communication units by increasing the precision of the communication connection. It can also improve ease of use and speed.

다섯번째, 음파만으로로 거리 정보의 취득하고 통신을 가능하게 함으로써, 자동차 라인 공정처럼 철제 구조물이 많은 환경에서 기존 전파 통신이 갖는 통신 품질 저하 문제를 방지할 수도 있다. Fifth, by obtaining distance information and enabling communication with only sound waves, it is possible to prevent the problem of communication quality deterioration of existing radio communication in an environment with many steel structures such as automobile line processes.

도 1 은 본 발명의 음파통신을 이용하는 음파 통신 장치의 블럭다이어그램,
도 2 는 본 발명의 음파 통신 장치의 음파 통신 유니트의 송수신측 구성예의 개략도이다.
도 3 및 도 4는 본 발명의 음파 통신 장치의 제어 방법의 흐름도이다.
도 5는 마이크포폰센서 및 스피커의 이득 관련 선도이다.
도 6은 잔향음의 형성 상태를 나타내는 개략도이다.
도 7은 본 발명의 음파 통신 장치의 송출측 음파 통신 유니트에서 고주파의 음원을 스피커로 송출하고, 수신측 음파 통신 유니트의 마이크로폰센서로 수신한 데이터를 시간에 따른 주파수의 변화를 나타내는 스펙트로그램(Spectrogram)으로 변형한 그래프이다.
도 8은 본 발명의 음파 통신 장치의 제어 방법의 흐름도이다.
도 9는 본 발명의 음파 통신 장치의 제어 방법의 입력 데이터의 양단에 시작 및 끝 신호가 추가된 최종 신호를 분석한 결과를 나타내는 그래프이다.
도 10은 본 발명에서 사용되는 주파수 대역의 할당 상태를 나타내는 선도이다.
도 11은 본 발명의 음파 통신 장치가 사용하는 주파수 대역의 할당 상태를 설명하는 개략도이다.
도 11a는 페이드처리를 위한 윈도우가 사용된 주파수를 나타내는 도면이다.
도 12는 대역주파수 증폭필터를 거쳐서 증폭하는 구성도이다.
도 13은 단말 SDK Core 신호 해석 플로우의 도면이다.
도 14 내지 도 17b는 본 발명의 제어 방법의 흐름도이다.
도 18은 스펙트로그램 분석을 수행한 예를 도시한 도면이다.
도 19 내지 23은 스펙트로그램의 데이터 정렬 과정을 나타내는 선도이다.
도 24는 스펙트로그램(Spectrogram)에 대한 복원을 위한 정규화 알고리즘을 수행한 결과를 나타내는 도면이다.
도 25는 스펙트로그램에 대한 데이터 비트별 최대의 에너지를 갖는 값을 적색 그림으로 나타낸 도면이다.
도 26 및 도 27은 송신측 음파 통신 유니트와 수신측 음파 통신 유니트의 거리 관계를 나타내는 선도이다. '
도 28 및 도 29는 음파 통신 장치의 산업 현장의 사용예의 사시도 및 평면도이다.
도 30 내지 도 33은 본 발명의 제어 방법의 흐름도이다.
도 34는 충격음이 발생한 경우의 스펙트로그램의 선도이다.
도 35는 거리 인덱스를 산출하기 위한 해당 데이터 비트가 표시된 스펙트로그램의 선도이다.
도 36은 해당 데이터 비트의 세기별 정렬 상태를 나타내는 선도이다.
도 37은 복수 개의 수신측 음파 통신 유니트와 송신측 음파 통신 유니트의 거리 관계이 상태도이다.
도 38 및 도 39는 반송파를 이용한 거리 측정의 과정을 설명하는 흐름도이다.
도 40 및 도 41은 반송파의 송수신측 반영 상태를 설명하는 상태도이다.
도 42 및 도 43은 본 발명의 음파 통신 장치의 다른 산업 현장에서의 사용일예의 선도이다.
도 44는 본 발명의 음파 통신 장치의 다른 산업 현장에서의 사용일예의 선도이다.
1 is a block diagram of a sound wave communication device using sound wave communication of the present invention,
Fig. 2 is a schematic diagram of a configuration example of a transmission/reception side of a sound wave communication unit of the sound wave communication device of the present invention.
3 and 4 are flowcharts of a method for controlling a sound wave communication device of the present invention.
5 is a diagram illustrating a gain-related diagram of a microphone sensor and a speaker.
6 is a schematic diagram showing a state in which reverberation sound is formed.
7 is a spectrogram showing a change in frequency over time by transmitting a high-frequency sound source to a speaker from a transmitting-side sound wave communication unit of the sound wave communication device of the present invention, and receiving data received by a microphone sensor of the receiving-side sound wave communication unit. ).
8 is a flowchart of a method for controlling a sound wave communication device of the present invention.
9 is a graph showing a result of analyzing a final signal to which start and end signals are added to both ends of input data in the control method of the sound wave communication device of the present invention.
10 is a diagram showing an allocation state of a frequency band used in the present invention.
11 is a schematic diagram for explaining an allocation state of a frequency band used by the sound wave communication device of the present invention.
11A is a diagram showing a frequency at which a window for fade processing is used.
12 is a block diagram of amplification through a band frequency amplification filter.
13 is a diagram of a terminal SDK Core signal analysis flow.
14 to 17B are flowcharts of a control method according to the present invention.
18 is a diagram illustrating an example of performing spectrogram analysis.
19 to 23 are diagrams illustrating a spectrogram data alignment process.
24 is a diagram showing a result of performing a normalization algorithm for restoration of a spectrogram.
25 is a diagram showing a value having the maximum energy per data bit for a spectrogram in red.
26 and 27 are diagrams showing a distance relationship between a transmitting-side acoustic wave communication unit and a receiving-side acoustic wave communication unit. '
28 and 29 are perspective views and plan views of examples of use of the sound wave communication device in an industrial site.
30 to 33 are flowcharts of a control method according to the present invention.
34 is a diagram of a spectrogram when an impact sound occurs.
35 is a diagram of a spectrogram in which corresponding data bits are displayed for calculating a distance index.
36 is a diagram showing an alignment state of corresponding data bits by strength.
Fig. 37 is a state diagram showing a distance relationship between a plurality of receiving-side acoustic wave communication units and a transmitting-side acoustic wave communication unit.
38 and 39 are flowcharts illustrating a process of measuring a distance using a carrier wave.
40 and 41 are state diagrams for explaining a state of reflecting a carrier wave on the transmitting and receiving side.
42 and 43 are diagrams illustrating an example of using the sound wave communication device of the present invention in another industrial site.
44 is a diagram showing an example of use of the acoustic wave communication device of the present invention in another industrial site.

이하, 도면을 참조하여 본 발명의 음파통신을 이용하는 음파 통신 장치 및 그 방법의 구성을 설명한다.Hereinafter, a configuration of a sound wave communication apparatus and method using sound wave communication of the present invention will be described with reference to the drawings.

단, 개시된 도면들은 당업자에게 본 발명의 사상이 충분하게 전달될 수 있도록 하기 위한 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 태양으로 구체화될 수도 있다.However, the disclosed drawings are provided as an example for sufficiently transferring the spirit of the present invention to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other aspects.

또한, 본 발명 명세서에서 사용되는 용어에 있어서 다른 정의가 없다면, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.In addition, unless otherwise defined in terms of the terms used in the present specification, they have the meanings commonly understood by those of ordinary skill in the art to which the present invention belongs, and the gist of the present invention in the following description and accompanying drawings Detailed descriptions of known functions and configurations that may be unnecessarily obscure will be omitted.

본 발명의 일실시예에 따른 음파 통신 장치는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함한다. A sound wave communication device according to an embodiment of the present invention includes at least one first sound wave communication unit 10T and at least one second sound wave communication unit 10R.

본 발명의 일실시예에 따른 음파 통신 장치는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함하는데, 제 1 음파 통신 유니트(10T)는 입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력 가능하고, 제 2 음파 통신 유니트(10R)는 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 스피커(61)로부터 출력되는 음파로부터 입력 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력한다(도 2 (a) 참조). A sound wave communication device according to an embodiment of the present invention includes at least one first sound wave communication unit 10T and at least one second sound wave communication unit 10R, wherein the first sound wave communication unit 10T is input Data can be output in a sound wave communication method through the speaker 61, and the second sound wave communication unit 10R is arranged to be able to change its relative position with the first sound wave communication unit 10T, and from sound waves output from the speaker 61 Input data is received through the microphone sensor 51 and outputted (see FIG. 2(a)).

즉, 제 1 음파 통신 유니트(10T)는 입력 데이터를 인코딩하여 음파 송출부(140)에서 변환하고 스피커(61)를 통하여 음파통신 방식으로 출력 가능하고, 제 2 음파 통신 유니트(10R)는 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 스피커(61)로부터 출력되는 음파로부터 입력 데이터를 마이크로폰 센서(51)를 통하여 수신하여 음파 수신부(210)에서 변환하고 디코딩하여 출력한다. 여기서, 입력 데이터는 I/O 데이터나 아날로그 데이터 또는 디지털 데이터일 수도 있는 등 사용 및 설계 환경에 따라 다양한 선택 적용이 가능하다. That is, the first sound wave communication unit 10T encodes the input data, converts it in the sound wave transmission unit 140, and outputs the sound wave communication method through the speaker 61, and the second sound wave communication unit 10R is the first The sound wave communication unit 10T and the relative position thereof are arranged to be variable, and input data from the sound wave output from the speaker 61 is received through the microphone sensor 51, converted by the sound wave receiving unit 210, decoded, and output. Here, the input data may be I/O data, analog data, or digital data, and various selection and application are possible according to use and design environments.

여기서, 본 발명의 음파 통신 장치의 경우 적어도 하나 이상의 제 1 음파 통신 유니트가 형성하는 제 1 음파 통신 유니트 그룹을 형성하고, 적어도 하나 이상의 제 2 음파 통신 유니트가 형성하는 제 2 음파 통신 유니트 그룹을 형성하는 구조를 취할 수 있는데, 본 실시예에서는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함하는 경우를 중심으로 설명한다. Here, in the case of the sound wave communication device of the present invention, a first sound wave communication unit group formed by at least one first sound wave communication unit is formed, and a second sound wave communication unit group formed by at least one second sound wave communication unit is formed. In this embodiment, at least one first sound wave communication unit 10T and at least one second sound wave communication unit 10R will be described.

또한, 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R)는 각각 하기되는 음파 송출부(140) 또는 음파 수신부(210)를 구비하여 어느 하나는 송신 기능을 다른 하나는 수신 기능을 수행하는 한 쌍의 구성을 취할 수도 있고(도 2(a) 참조), 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R)는 음파 송출부(140)와 음파 수신부(210)를 각각 모두 구비하여 동일한 구성(도 2 (b) 참조)을 취할 수도 있는 등 다양한 변형이 가능한다. 본 실시예에서는 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R)가 동일한 구성을 이루는 실시예를 중심으로 설명하나, 앞서 기술한 바와 같이 각각의 송수신 기능을 조합 배치가 가능하다. In addition, the first sound wave communication unit 10T and the second sound wave communication unit 10R each have a sound wave transmitting unit 140 or a sound wave receiving unit 210 to be described below, so that one of them has a transmission function and the other is a reception function. It may take a configuration of a pair to perform (refer to Fig. 2(a)), and the first sound wave communication unit 10T and the second sound wave communication unit 10R include a sound wave transmitting unit 140 and a sound wave receiving unit 210 Various modifications are possible, such as having all of them and having the same configuration (see Fig. 2(b)). In the present embodiment, the first sound wave communication unit 10T and the second sound wave communication unit 10R will be described with reference to an embodiment of the same configuration, but as described above, each transmission/reception function can be combined and arranged.

먼저, 제 1 음파 통신 유니트(10T)와, 제 2 음파 통신 유니트(10R), 즉 음파 통신 유니트(10)는 음파 송출부(140)와 음파 수신부(210)를 포함하고, 제어부(20)와 저장부(30)와 연산부(40)와 입력부(50)와 출력부(60)와 통신부(70)와 감지부(80)를 포함할 수 있다. 여기서, 음파 송출부(140)와 음파 수신부(210)는 모듈화되어 각각의 독립 제어 구조를 취할 수도 있는데, 본 실시예에서는 제어부(20), 저장부(30) 및 연산부(40)를 구비하는 경우를 일예로 기술하나 본 발명이 이에 국한되는 것은 아니다. First, the first sound wave communication unit 10T, the second sound wave communication unit 10R, that is, the sound wave communication unit 10 includes a sound wave transmitting unit 140 and a sound wave receiving unit 210, and the control unit 20 and A storage unit 30, an operation unit 40, an input unit 50, an output unit 60, a communication unit 70, and a detection unit 80 may be included. Here, the sound wave transmitting unit 140 and the sound wave receiving unit 210 may be modularized to take respective independent control structures. In this embodiment, when the control unit 20, the storage unit 30, and the operation unit 40 are provided Although described as an example, the present invention is not limited thereto.

제어부(20)는 음파 통신 유니트(10)의 다른 구성요소와 연결되어 제어 신호를 인가하고, 저장부(30)에는 음파 통신을 위한 사전 설정 데이터가 저장되고 음파 통신 과정 상에서의 송출 내지 수신되는 데이터의 저장을 실행하고, 연산부(40)는 제어부(20)의 연산 제어 신호에 따라 소정의 신호 처리를 위한 연산 과정을 실행한다. 제어부 및 연산부와 저장부는 전체 음파 통신 장치의 제어 과정 상 사용될 수도 있고, 경우에 따라 이러한 신호 처리 내지 통합 제어 기능이 각각의 음파 송출부 내지 음파 수신부 등의 모듈에 내장되는 구성을 취할 수도 있고 병존하는 구성을 취할 수도 있는 등 설계 사양에 따라 다양한 변형이 가능하다. The control unit 20 is connected to other components of the sound wave communication unit 10 to apply a control signal, and the storage unit 30 stores preset data for sound wave communication, and transmitted or received data during the sound wave communication process. Is stored, and the operation unit 40 executes an operation process for processing a predetermined signal according to the operation control signal of the control unit 20. The control unit, the operation unit, and the storage unit may be used for the control process of the entire sound wave communication device, and in some cases, such signal processing or integrated control functions may be built into modules such as each sound wave transmitter or sound wave receiver, or coexist. Various modifications are possible according to design specifications, such as being able to take configuration.

입력부(50)는 마이크로폰 센서(51)를 포함하고, 신호입력부(53)와 입력 표시부(55)를 포함할 수 있다. 신호입력부(53)는 다양한 신호의 입력을 위한 유/무선 입력 포트로 형성될 수 있고, 입력 표시부(55)는 신호 입력부(53)의 입력 상태를 표시하는 LED 등의 형태로 구현될 수도 있고 별도의 디스플레이 형태로 구현될 수도 있는 등 다양한 구성이 가능하다. The input unit 50 includes a microphone sensor 51, and may include a signal input unit 53 and an input display unit 55. The signal input unit 53 may be formed as a wired/wireless input port for inputting various signals, and the input display unit 55 may be implemented in the form of an LED that displays the input state of the signal input unit 53 or separately. Various configurations are possible, such as being implemented in the form of a display.

출력부(60)는 스피커(61)를 포함하고, 신호출력부(63)와 출력표시부(65)를 포함한다. 스피커(61)는 입력된 데이터를 음파 통신 방식으로 이격된 거리에 배치되는 다른 음파 통신 유니트의 마이크로폰 센서(51)를 향하여 음파를 출력한다. 신호출력부(63)는 디지털 데이터 신호 내지 경우에 따라 A/D 컨버터가 구비되는 경우 아날로그 신호 형태로 출력하기 위한 유/무선 신호출력포트로 형성될 수 있고, 출력 표시부(65)는 신호 출력부(63)의 출력 상태를 표시하는 LED 등의 형태로 구현될 수도 있고 별도의 디스플레이 형태로 구현될 수도 있는 등 다양한 구성이 가능하다. The output unit 60 includes a speaker 61, and includes a signal output unit 63 and an output display unit 65. The speaker 61 outputs a sound wave to the microphone sensor 51 of another sound wave communication unit disposed at a distance apart from the input data through a sound wave communication method. The signal output unit 63 may be formed as a wired/wireless signal output port for outputting a digital data signal or an analog signal when an A/D converter is provided, and the output display unit 65 is a signal output unit. Various configurations are possible, such as being implemented in the form of an LED that displays the output state of (63) or a separate display form.

또한, 입력부(50)와 출력부(60)는 개별 모듈 단위로 형성될 수도 있으나, 경우에 따라 입력부(50)의 마이크로폰 센서(51)와 출력부(60)의 스피커(61)가 음향 통신 모듈(sound communication module;SCM)의 형태로 일체형으로 조합 구성될 수도 있고, 신호입력부(53)와 입력 표시부(55)와 신호출력부(63)와 출력표시부(65)가 인터페이스 모듈(Interface Modul,IFM)의 개별 일체형 형태로 조합 구성될 수도 있는 등 설계 사양에 따라 다양한 변형이 가능하다. 신호 입출력의 연결 내지 통신은 RS-485, CAN, Ethernet일 수도 있다.In addition, the input unit 50 and the output unit 60 may be formed in individual modules, but in some cases, the microphone sensor 51 of the input unit 50 and the speaker 61 of the output unit 60 are an acoustic communication module. (Sound communication module; SCM) may be integrated in combination, and the signal input unit 53, the input display unit 55, the signal output unit 63, and the output display unit 65 are interface modules (Interface Modul, IFM). ), it can be combined in an individual integral form, and various modifications are possible according to design specifications. The connection or communication of signal input/output may be RS-485, CAN, or Ethernet.

경우에 따라 필요시 별도의 통신부(70)가 더 구비될 수도 있는데, 통신부(70)는 음파 통신 유니트(10)가 외부 장치와의 통신을 위한 구성요소로서, 유선 통신부(71)와 무선 통신부(73)를 포함하는데, 경우에 따라 별도의 근거리 무선 통신부 등을 포함할 수도 있다. In some cases, if necessary, a separate communication unit 70 may be further provided. The communication unit 70 is a component for communication with an external device by the sound wave communication unit 10, and includes a wired communication unit 71 and a wireless communication unit ( 73), but in some cases, a separate short-range wireless communication unit may be included.

통신부가 사용하는 통신, 통신망 내지 통신 네트워크는 예를 들어, 셀룰러 통신 프로토콜로서, 예를 들어 LTE, LTE-A, 5G, WCDMA, CDMA, UMTS, Wibro, GSM 중 적어도 하나를 포함할 수 있고, 통신 네트워크는 유선 및 무선 등과 같은 통신 유형을 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN;Personal Area Network), 근거리 통신망(LAN;Local Area Network), 도시권 통신망(MAN;Metropolitan Area Network_, 광역 통신망(WAN;Wide Area Network) 등 다양한 통신망으로 구현될 수 있고, 통신, 통신망, 통신 네트워크는 공지의 월드와이드웹(WWW;World Wide Web)일 수도 있고, 적외선(Infrared Data Association;IrDA) 또는 블루투스(Bluetooth) 내지 저전력 블루투스(Bluetooth Lowenergy)와 RF 무선 통신을 다양한 통신 방법을 포함할 수도 있는 등 설계 사양에 따라 적절한 선택 조정이 이루어질 수 있다. The communication, communication network or communication network used by the communication unit is, for example, a cellular communication protocol, and may include at least one of, for example, LTE, LTE-A, 5G, WCDMA, CDMA, UMTS, Wibro, GSM, and communication The network can be configured regardless of the type of communication such as wired and wireless, and a short-range communication network (PAN), a local area network (LAN), a metropolitan area network (MAN), a wide area communication network (WAN). ;Wide Area Network) can be implemented in a variety of communication networks, communication, communication network, communication network may be a known World Wide Web (WWW), infrared (Infrared Data Association (IrDA)) or Bluetooth (Bluetooth) To Bluetooth Lowenergy and RF wireless communication may include various communication methods, and appropriate selection adjustment may be made according to design specifications.

감지부(80)는 주변 환경 내지 주변 상태 내지 음파 통신 유니트 자체의 변화를 감지하기 위한 구성요소로서, 근접 센서, 거리 센서 등과 같이 음파 통신 유니트가 배치되는 환경에 필요한 다양한 설계 사양에 따라 다양한 선택이 가능하다. The sensing unit 80 is a component for detecting changes in the surrounding environment, surrounding conditions, or the sound wave communication unit itself, and various selections are available according to various design specifications required for the environment in which the sound wave communication unit is placed, such as a proximity sensor and a distance sensor. It is possible.

송신 기능을 수행하는 음파 통신 유니트(10), 즉 제 1 음파 통신 유니트(10T)는 음파 송출부(140)를 포함하는데, 음파 송출부(140)는 입력 데이터를 비가청 고주파 대역의 음파에 실어서 스피커(61)를 통하여 수신 기능을 수행하는 음파 통신 유니트(10), 즉 제 2 음파 통신 유니트(10R) 측으로 송출한다. The sound wave communication unit 10 performing the transmission function, that is, the first sound wave communication unit 10T, includes a sound wave transmission unit 140, and the sound wave transmission unit 140 transmits input data to sound waves in the inaudible high frequency band. Then, the sound wave communication unit 10 performing a reception function, that is, the second sound wave communication unit 10R, is transmitted through the speaker 61.

음파 송출부(140)는 디지털신호생성부(141)와 디지털신호인코딩부(142)와 고주파생성부(143)와 고주파 필터링부(144)를 포함한다. The sound wave transmitting unit 140 includes a digital signal generating unit 141, a digital signal encoding unit 142, a high frequency generating unit 143 and a high frequency filtering unit 144.

디지털신호생성부(141)는 전송할 데이터를 비가청 음파 전송에 적합하도록 디지털 형성 변환한다. 즉, 디지털신호생성부(141)는 전송할 데이터인 입력 데이터를 디지털 신호 형태로 변환하는 과정 중, 데이터 전송의 오류 체크 확인을 위한 체크섬이 추가되고 진법 변경이 실행된다. The digital signal generator 141 digitally converts the data to be transmitted so as to be suitable for transmission of inaudible sound waves. That is, in the process of converting input data, which is data to be transmitted, into a digital signal form, the digital signal generator 141 adds a checksum for checking an error in data transmission and performs a base code change.

보다 상세하게는, 상기 디지털신호생성부(141)는 데이터 정합성 확인을 위하여 체크섬을 추가하고, 체크섬이 추가된 데이터를 필요한 진법으로 변경한다.In more detail, the digital signal generator 141 adds a checksum to check data consistency, and changes the data to which the checksum is added to a required base.

본 발명의 실시예는 4bytes 의 데이터를 7진수의 형태로 전송하나, 전송할 데이터의 바이트(bytes)나 사용될 진법은 본 실시예에서의 7진수와 8진수의 변환 진법 형태에 국한되지 않고, 설계 사양에 따라 다양한 변형이 가능하다. The embodiment of the present invention transmits 4 bytes of data in the form of a 7 number, but the bytes of the data to be transmitted or the base to be used are not limited to the converted base format of the 7 and octal numbers in this embodiment. Various modifications are possible according to the.

통상적으로, 도 5에 도시된 바와 같이, 비가청 사운드 통신은 18kHz 이상의 비가청 대역을 사용하여 통신을 수행한다.Typically, as shown in FIG. 5, the inaudible sound communication performs communication using an inaudible band of 18 kHz or more.

이때, 44100Hz의 샘플링 레이트로 제작된 고주파 음원은 나이퀴스트 이론상 22kHz의 주파수까지 사용할 수 있으나, 일반적으로, 스피커(61)나 마이크로폰센서(51)는 18kHz 이상에서 낮은 이득률을 가지도록 설계되어 있다.At this time, the high-frequency sound source produced at a sampling rate of 44100 Hz can be used up to a frequency of 22 kHz in Nyquist theory, but in general, the speaker 61 or the microphone sensor 51 is designed to have a low gain ratio above 18 kHz. .

그러므로, 비가청 사운드 통신에서 사용되는 주파수가 너무 높으면, 스피커(61)나 마이크로폰센서(51)의 주파수 응답 곡선에 따라 전송 신호 세기가 약해져서 전송 성공률이 감소하게 된다.Therefore, if the frequency used in the inaudible sound communication is too high, the transmission signal strength is weakened according to the frequency response curve of the speaker 61 or the microphone sensor 51, so that the transmission success rate decreases.

따라서, 본 발명의 실시예에 따르면, 본 발명은 비가청 음파 전송에 적합하도록 디지털데이터가 18-20kHz의 주파수를 가지도록 하였다.Accordingly, according to an embodiment of the present invention, the present invention allows digital data to have a frequency of 18-20 kHz so as to be suitable for transmission of inaudible sound waves.

아울러, 디지털신호 생성부(141)에서 입력 데이터는 사전 설정 진법(radix)으로 디지털 변환시킨다. 본 발명의 디지털신호생성부(141)는 좁은 주파수 대역에서 효과적으로 데이터를 전송하기 위하여 5bytes 의 디지털데이터를 15 개의 7 진수 형태로 변형된다. 하지만, 본 변형될 진수나 한번에 전송할 바이트(bytes)는 어플리케이션이나 사용되는 스피커(61), 마이크로폰 센서(51)의 성능에 따라 변경가능하다.In addition, the digital signal generator 141 digitally converts the input data into a preset radix. The digital signal generator 141 of the present invention transforms 5 bytes of digital data into 15 hex numbers in order to effectively transmit data in a narrow frequency band. However, the actual number to be modified or bytes to be transmitted at a time can be changed according to the application or performance of the speaker 61 and microphone sensor 51 used.

디지털신호인코딩부(142)는 디지털신호생성부(141)에서 변환된 디지털 데이터를 인코딩시킨다. 본 발명의 디지털신호인코딩부(142)에서는 디지털신호 생성부(141)에서 7진수로 변형된 데이터를 잔향음에 강하게 변경되도록 하기 위하여 8진수로 다시 변경된다. The digital signal encoding unit 142 encodes the digital data converted by the digital signal generating unit 141. In the digital signal encoding unit 142 of the present invention, the data transformed into a seven number by the digital signal generating unit 141 is changed back to an octal number in order to strongly change the reverberation sound.

데이터가 포함된 음파가 음파 통신 유니트(10), 즉 제 1 음파 통신 유니트(10T)의 스피커(61)를 통하여 출력되면, 직접적으로 이격된 다른 음파 통신 유니트, 즉 제 2 음파 통신 유니트(10R)의 마이크로폰 센서(51)에 도달하는 직접음 외에 벽 등에 부딛혀서 발생하는 반사음도 마이크로폰센서(61)에 도달하게 된다(도 6 참조). 또한, 반사음 외에 스피커(61)의 느린 응답 속도에 의한 영향도 받게 된다. When the sound wave containing data is output through the sound wave communication unit 10, that is, the speaker 61 of the first sound wave communication unit 10T, another sound wave communication unit that is directly spaced apart, that is, the second sound wave communication unit 10R In addition to the direct sound that reaches the microphone sensor 51 of, the reflected sound generated by hitting a wall or the like also reaches the microphone sensor 61 (see FIG. 6). In addition, in addition to the reflected sound, it is affected by the slow response speed of the speaker 61.

도 7은 고주파의 음파를 제 1 음파 통신 유니트(10T)의 스피커(61)를 통하여 송출하고, 제 2 음파 통신 유니트(10R)의 마이크로폰센서(51)로 수신한 데이터를 시간에 따른 주파수의 변화를 나타내는 스펙트로그램(Spectrogram)으로 변형한 그래프이다.7 is a change in frequency over time by transmitting high-frequency sound waves through the speaker 61 of the first sound wave communication unit 10T, and receiving data received by the microphone sensor 51 of the second sound wave communication unit 10R It is a graph transformed into a spectrogram representing.

상기 그래프에서 청색 부분은 해당 시간 및 주파수에서 신호가 감지되지 않았음을 나타내며, 황색 부분은 신호가 강하게 감지되었음을 나타낸다.In the graph, a blue part indicates that no signal was detected at a corresponding time and frequency, and a yellow part indicates that a signal was strongly detected.

상기 그래프에서 직접음은 실제로 제 1 음파 통신 유니트(10T)의 스피커(61)로 송출된(혹은, 송출되었음이 기대되는) 부분의 파형인데, 해당 직접음이 원하는 구간보다 길어지는 것을 확인할 수 있으며, 이러한 현상은 반사음 때문에 발생한다.In the graph, the direct sound is actually a waveform of the portion transmitted to the speaker 61 of the first sound wave communication unit 10T (or is expected to be transmitted), and it can be seen that the direct sound is longer than the desired section. , This phenomenon occurs due to the reflected sound.

디지털신호생성부(141)에서 7 진수로 변형된 데이터는 디지털신호인코딩부(142)에서 잔향음에 강인하게 변경되기 위하여 8 진수로 다시 변경된다.The data transformed into 7 digits in the digital signal generator 141 is changed back to octal digits in order to be robustly changed to the reverberation sound in the digital signal encoding unit 142.

이때, 8 진수로 변경된 데이터는 그 이전 값과 동일한 값을 갖지 않도록 설계되었다. 이는 예전 데이터의 잔향음에 의한 영향을 받지 않기 위함이다.At this time, the data changed to octal is designed not to have the same value as the previous value. This is to avoid being affected by the reverberation sound of the old data.

(수학식 1)(Equation 1)

Figure 112019103296319-pat00006
Figure 112019103296319-pat00006

상기 수학식 1 은 잔향음 제거를 위한 상기 입력 데이터(inputi)의 진법 변환에 사용되는 수식으로, 입력 데이터(inputi)는 수식을 통하여 진법 변환되어 데이터(encodedi)가 산출되는데, 본 실시예에서의 7진수 데이터는 8진수 데이터로 변경된다. Equation 1 is a formula used for base conversion of the input data inputi for removing the reverberation sound, and the input data inputi is base converted through the formula to calculate the data (encodedi). 7-digit data is changed to octal data.

같은 8진수 값이 연속으로 나오지 않게 하기 위하여 출력되는 8진수 데이터(endcodedi)는 8진수로 변환하고자 하는 7진수 데이터(inputi) 에 먼저 변환된 8진수 데이터(endcodedi-1) 와 일을 더한 값과 원래 진법에 1을 더한 값인 8의 모듈러 연산으로 얻어지며, 먼저 변환된 8진수 데이터(endcodedi-1)값이 없는 경우 해당 7진수는 그대로 8진수로 변경된다.In order to prevent the same octal value from appearing consecutively, the output octal data (endcodedi) is the value obtained by adding the first converted octal data (endcodedi-1) to the octal data (inputi) to be converted to octal number. It is obtained by a modular operation of 8, which is the value of adding 1 to the original base. If there is no first converted octal data (endcodedi-1) value, the corresponding 7 number is changed to octal as it is.

일례로, 디지털신호생성부(141)가 0xFC, 0x12, 0x04, 0xAD 의 4bytes를 전송하기 위해서 체크섬을 연산하면 해당 데이터는 예를 들어 0xFC, 0x12, 0x04, 0xAD, 0x41의 5bytes로 변경된다.For example, when the digital signal generator 141 calculates the checksum to transmit 4 bytes of 0xFC, 0x12, 0x04, and 0xAD, the corresponding data is changed into 5 bytes of, for example, 0xFC, 0x12, 0x04, 0xAD, and 0x41.

그리고, 디지털신호생성부(141)에서 5bytes의 데이터를 7진수의 데이터로 환산하면 결과는 [1,4,1,1,3,4,4,5,2,4,2, 6, 1, 3, 5] 이다.And, if the digital signal generator 141 converts 5 bytes of data into 7-digit data, the result is [1,4,1,1,3,4,4,5,2,4,2, 6, 1, 3, 5].

이후, 상기 디저털신호복호부(142)에서 생성된 7진수의 데이터를 잔향음에 의한 영향을 받지 않기 위하여 상기 수학식 1 에 의한 8진수의 데이터인 [1,6,0,2,6,3,0,6,1,6,1,0,2,6,4]로 변경한다.Thereafter, in order not to be affected by the reverberation sound, the data of the octal number according to Equation 1 [1,6,0,2,6, 3,0,6,1,6,1,0,2,6,4].

고주파생성부(143)는 디지털신호인코딩부(142)에서 인코딩된 데이터를 신호 처리하여 음파 데이터로 변환시켜 고주파 주파수 신호를 형성한다. 고주파생성부(143)에서 디지털 인코딩된 입력 데이터가 주파수 도메인 연산과 시간 도메인 연산을 거쳐 음파 통신 가능하도록 스피커를 통한 출력 가능한 형태로 변환한다. The high frequency generator 143 processes the data encoded by the digital signal encoding unit 142 and converts it into sound wave data to form a high frequency frequency signal. The input data digitally encoded by the high frequency generator 143 is converted into a form capable of being output through a speaker to enable sound wave communication through a frequency domain operation and a time domain operation.

고주파생성부(143)는 신호 처리된 입력 데이터가 포함되는 고주파 음파(음원)이 시작됨과 음파가 끝남을 알리는 데이터를 추가하는데, 이는 추후 이격된 다른 음파 통신 유니트(10), 즉 제 2 음파 통신 유니트(10R)의 음파 수신부 측의 신호 처리, 즉 본 실시예에서 하기되는 단말 SDK Core 구성으로 구현되는 음파 수신부 등의 구성요소의 작동시 중요하게 사용된다. The high frequency generator 143 adds data indicating the start of the high frequency sound wave (sound source) including the signal-processed input data and the end of the sound wave, which is later separated from another sound wave communication unit 10, that is, the second sound wave communication It is importantly used in signal processing at the sound wave receiving unit side of the unit 10R, that is, when operating components such as the sound wave receiving unit implemented in the terminal SDK Core configuration described below in this embodiment.

본 이러한 시작과 끝을 알리는 데이터의 추가는 고주파생성부에서 실행되나, 경우에 따라 디지털인코딩부에서 실행될 수도 있는 등 설계 사양에 따라 다양한 변형이 가능하다. This addition of data indicating the start and end is performed by the high frequency generator, but in some cases, it may be performed by the digital encoding unit, and various modifications are possible according to design specifications.

디지털신호복호부(142)는 고주파 음원이 시작됨과 음원이 끝남을 알리는 데이터를 추가한다. 본 실시예에서는 시작됨을 알리는 데이터는 2개의 진수 데이터와 동일한 크기를 갖으며, 고주파 음파 신호의 끝남을 알리는 데이터는 1개의 진수 데이터와 동일한 크기를 갖는데, 본 발명은 다양한 형태의 시작 및 종점을 알리는 다양한 구성이 가능하다. The digital signal decoding unit 142 adds data indicating that the high frequency sound source starts and the sound source ends. In this embodiment, the data indicating the start has the same size as the two decimal data, and the data indicating the end of the high-frequency sound wave signal has the same size as the one decimal data, and the present invention provides various types of start and end points. Various configurations are possible.

도 9에는 디지털신호인코딩부(142)에 의하여 시작 및 끝 신호가 추가된 0xFC, 0x12, 0x04, 0xAD 의 최종 신호를 분석한 결과를 나타내는 그래프가 도시된다. 중간에는 입력 데이터 및 체크섬의 변환되어 음파 변환된 데이터가 그리고 이의 양단에 시작을 알리는 시작 데이터 및 종료 데이터, 즉 시종데이터가 양단에 각각 배치된다. 9 is a graph showing a result of analyzing the final signals of 0xFC, 0x12, 0x04, and 0xAD to which the start and end signals are added by the digital signal encoding unit 142. In the middle, the input data and the sound wave-converted data of the checksum and start data and end data indicating the start, that is, start data, are disposed at both ends thereof.

본 발명의 일실시예에 따른 고주파생성부(143)는 디지털신호인코딩부(142)에서 연산된 8 진수의 데이터를 고주파 주파수로 변환시킨다.The high frequency generator 143 according to an embodiment of the present invention converts octal data calculated by the digital signal encoding unit 142 into a high frequency frequency.

이때, 본 발명의 실시예의 경우에는 기본 샘플링 레이트 44100Hz에 대하여 512 의 분해능을 갖도록 설계되었으며, 각 비트간 주파수 간격은 약 86.13Hz로 구성되나, 이는 일예로 본 발명이 이에 국한되는 것은 아니다. 모든 비트는 주파수 간격의 배수로 구성되어 있으며, 본 발명 실시예의 각 비트별 주파수는 다음의 표 1 과 같다.At this time, in the case of the embodiment of the present invention, it is designed to have a resolution of 512 with respect to the basic sampling rate of 44100Hz, and the frequency interval between each bit is configured to be about 86.13Hz, but this is an example and the present invention is not limited thereto. All bits are composed of multiples of frequency intervals, and frequencies for each bit in the embodiment of the present invention are shown in Table 1 below.

BitBit 주파수frequency 비고Remark 00 18174.0234375Hz18174.0234375Hz 44100/512x21144100/512x211 1One 18260.1562500Hz18260.1562500Hz 44100/512x21244100/512x212 22 18346.2890625Hz18346.2890625Hz 44100/512x21344100/512x213 33 18432.4218750 Hz18432.4218750 Hz 44100/512x21444100/512x214 44 18518.5546875Hz18518.5546875Hz 44100/512x21544100/512x215 55 18604.6875000 Hz18604.6875000 Hz 44100/512x21644100/512x216 66 18690.8203125HZ18690.8203125HZ 44100/512x21744100/512x217 77 18776.9531250 Hz18776.9531 250 Hz 44100/512x21844100/512x218 start bitstart bit 18863.0859375Hz18863.0859375Hz 44100/512x21944100/512x219

다음으로, 고주파 생성부(143)는 주파수 도메인 형태로 연산된 결과는 음원 출력이 가능한 형태로 변환된다. 이때, 주파수 도메인을 시간 도메인으로 변환하는 공식은 다음과 같다.Next, the high frequency generation unit 143 converts the result of the calculation in the form of a frequency domain into a form capable of outputting a sound source. In this case, the formula for converting the frequency domain to the time domain is as follows.

(수학식 2)(Equation 2)

Figure 112019103296319-pat00007
Figure 112019103296319-pat00007

한편, 본 발명의 음파 통신 장치의 음파 통신 유니트에서, 서로 이격되어 상대 위치 변동 가능한 장치에 배치되어 상대 위치 변동되는 서로 다른 내지 서로 다른 그룹의 음파 통신 유니트(10)로서의 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 간에 다수의 입력 센서로부터의 입력 데이터가 존재하되, 각각의 입력 데이터에 대하여 사전 설정된 주파수 범위로 주파수 할당 가능하고, 각각의 입력 데이터는 고주파생성부(143)에서 각각의 음파 데이터로 변환되되, 음파 송출부(140)는 각각의 음파 데이터를 통합하는 음파 믹서와 같은 고주파 및 음원 합성부를 더 포함할 수 있다. On the other hand, in the sound wave communication unit of the sound wave communication device of the present invention, the first sound wave communication unit 10T as the sound wave communication unit 10 of different to different groups that is disposed in a device that is spaced apart from each other and capable of changing a relative position to change the relative position. ) And the second sound wave communication unit 10R, but there is input data from a plurality of input sensors, frequencies can be assigned to a preset frequency range for each input data, and each input data is a high frequency generator 143 In which each sound wave data is converted, the sound wave transmission unit 140 may further include a high frequency and sound source synthesizer such as a sound wave mixer integrating the respective sound wave data.

즉, 본 발명의 음파 통신 장치의 음파 통신 유니트는 입력부/출력부/감지부로 구현되는 다수의 송/수신부를 포함할 수 있는데, 음파 통신 유니트에 포함된 각각의 송/수신부에 적합한 주파수 대역을 설정할 필요성이 요구되는 경우가 있으며, 각각의 주파수 대역은 송신용인지 수신용인지 정의되어야 한다. 음파 통신 유니트에서 사용하는 주파수 대역은 입력부/출력부/감지부로 구현되는 인터페이스부에 연결되어 있는 센서 내지 포트에 순차적으로 할당될 수 있다.That is, the sound wave communication unit of the sound wave communication device of the present invention may include a plurality of transmission/reception units implemented as an input unit/output unit/sensing unit, and a frequency band suitable for each transmission/reception unit included in the sound wave communication unit is set. There are cases where necessity is required, and each frequency band should be defined for transmission or reception. The frequency band used in the sound wave communication unit may be sequentially allocated to sensors or ports connected to an interface unit implemented as an input unit/output unit/sensing unit.

주파수 대역이 송신용인지 수신용인지는 입력부/출력부/감지부로 구현되는 인터페이스부에 구비되어 있는 스위치나 펌웨어 업데이트 등을 통해 설정될 수 있으며, 예를 들어 음파 통신 유니트가 자동차 생산 라인과 같은 산업 설비 공정에 사용되는 경우 산업 설비 공정 내의 설정은 모두 동일해야 한다.Whether the frequency band is for transmission or reception can be set through a switch or firmware update provided in an interface unit implemented as an input unit/output unit/sensing unit.For example, a sound wave communication unit is used in industries such as automobile production lines. When used in an installation process, all settings within the industrial installation process must be the same.

본 발명의 음파 통신 유니트를 포함하는 음파 통신 장치의 음파 송신 및 수신 알고리즘으로서의 음파 통신 장치 제어 방법이 사용되는 경우 1개의 주파수 대역을 사용한다. 한 음파 통신 유니트에서 동시에 송/수신을 수행하거나, 혹은 여러 채널의 송신 혹은 수신을 사용하여 데이터 전송률을 높일 수도 있다. When a method for controlling a sound wave communication device as a sound wave transmission and reception algorithm of a sound wave communication device including the sound wave communication unit of the present invention is used, one frequency band is used. It is also possible to increase the data transmission rate by performing simultaneous transmission/reception in a single sound wave communication unit, or by using transmission or reception of multiple channels.

본 발명의 음파 통신 유니트를 포함하는 음파 통신 장치가 사용되는 장비가 이동하여 음파 통신 유니트 간의 상대 위치 변동이 가능한 공정에서, 음파 통신 유니트가 탑재되는 장비는 이동하는 장비와 고정되어 있는 장비 등 두 개의 종류로 나눌 수 있는데, 예를 들어, 이동하는 장비로서 대차이며, 고정되어 있는 장비로서 설비, 즉 설비 스테이션이다.In a process in which the equipment using the sound wave communication device including the sound wave communication unit of the present invention moves so that the relative position change between the sound wave communication units is possible, the equipment on which the sound wave communication unit is mounted is a moving device and a fixed device. It can be divided into types, for example, a truck as a moving equipment, and a facility as a fixed equipment, that is, a facility station.

이때, 고정되어 있는 장비 내에 삽입되는 장비들은 Device T와 Device R로 구분될 수 있다.At this time, devices inserted into the fixed device can be classified into Device T and Device R.

음파는 주파수 대역이 좁아 유휴 주파수 대역 확보가 어려우므로, 한정된 주파수 대역의 활용이 필수적인데, 예를 들어 3채널의 주파수 대역을 사용할 경우, 공정의 필요에 따라 음파에 적용되는 송.수신 음파 채널을 예를 들어 도 11에 도시된 바와 같이 구성할 수도 있다. 이와 같은 구성을 통하여, 작업자가 공정에 따라 주파수 채널을 설정해 놓으면, Device T나 Device R는 모두 송/수신을 동시에 수행할 수 있다.As the frequency band of sound waves is narrow, it is difficult to secure an idle frequency band. Therefore, it is essential to utilize a limited frequency band. For example, when using a frequency band of three channels, the transmission and reception sound wave channels applied to sound waves are used according to the needs of the process. For example, it may be configured as shown in FIG. 11. Through this configuration, if the operator sets the frequency channel according to the process, both Device T and Device R can simultaneously perform transmission/reception.

주파수 할당이 실행되는 경우 고주파 및 음원 합성부(145)가 다수의 음파를 하나의 음파 데이터로 통합한다. 즉, 다수의 입력부/출력부/감지부의 입출력 센서/포트가 입력부 및 출력부로 구현되는 인터페이스부에 연결되어 있는 경우, 입력 받은 입력 데이터들을 음파 통신 유니트(10)의 출력부(60)의 스피커(61)를 통해 전송해야 한다. 이때, 주파수 할당 시에 할당된 주파수로 고주파생성부에서의 시간 도메인 연산을 통해 생성된 음파(yi(t))는 하나의 데이터로 통합되어야 한다. 이때, 본 발명의 일실시예의 경우 음파의 신호 합이 스피커의 출력범위를 벗어나는 것(Clipping)을 방지하기 위하여, 생성된 각각의 음파들은 고주파 및 음원 합성부(145)를 통해 출력한다(speaker outpu(t)).When frequency allocation is performed, the high frequency and sound source synthesis unit 145 combines a plurality of sound waves into one sound wave data. That is, when input/output sensors/ports of a plurality of input/output/sensing units are connected to an interface unit implemented as an input unit and an output unit, the received input data is transferred to the speaker of the output unit 60 of the sound wave communication unit 10 ( 61). At this time, the sound wave yi(t) generated through a time domain operation in the high frequency generator with a frequency assigned at the time of frequency assignment must be integrated into one data. In this case, in the case of an embodiment of the present invention, in order to prevent the signal sum of the sound waves from exceeding the output range of the speaker (Clipping), each of the generated sound waves is output through the high frequency and sound source synthesis unit 145 (speaker outpu). (t)).

(수학식 3)(Equation 3)

Figure 112019103296319-pat00008
Figure 112019103296319-pat00008

여기서, weight는 가중치인데, 고주파수 대역에서는 스피커나 마이크로폰센서의 주파수 응답곡선이 주파수 대역에 따라 달라질 수 있으므로, 이를 보완하기 위한 가중치를 추가할 수도 있다.Here, the weight is a weight. In the high frequency band, since the frequency response curve of the speaker or microphone sensor may vary depending on the frequency band, a weight to compensate for this may be added.

고주파 필터링부(144)는 변환된 고주파를 페이드 처리한다. 예를 들어, 갑작스럽게 스피커에 신호가 인가되면, 팝핑 노이즈가 발생될 수 있다. 고주파필터링부(144)는 이러한 현상을 방지하기 위하여 음원의 세기가 부드럽게 증가하고 부드럽게 감소하게끔 고주파를 페이드(fade) 처리하는 부분이다. The high frequency filtering unit 144 fades the converted high frequency. For example, when a signal is suddenly applied to a speaker, popping noise may be generated. The high frequency filtering unit 144 is a part that fades high frequencies so that the intensity of the sound source is smoothly increased and decreased smoothly to prevent this phenomenon.

본 발명의 실시예에서는 페이드 처리를 위하여 사인(sin) 함수 형태의 윈도우(window)를 사용하였으나 다른 형태의 윈도우를 사용할 수도 있으며, 도 11a는 페이드처리를 위한 윈도우가 사용된 주파수를 나타내고 있다.In the embodiment of the present invention, a window in the form of a sine function is used for fading processing, but other types of windows may be used, and FIG. 11A shows a frequency at which a window for fading processing is used.

본 발명의 음파 통신 장치의 음파 통신 유니트(10)로 앞서 기술된 음파를 송신 출력하는 음파 통신 유니트(10T)와 상대 위치 변동 가능한 음파 통신 유니트(10R)에는 음파 수신부(210)가 구비된다. 경우에 따라 제 1 음파 통신 유니트(10T)는 음파 수신부 없이 음파 송출부만을 그리고 제 2 음파 통신 유니트(10R)는 음파 송출부 없이 음파 수신부만을 구비하는 구성을 취할 수도 있는 등 설계 사양에 따라 다양한 구성이 가능하나, 앞서 기술한 바와 같이, 본 실시예의 경우 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R)는 실질적으로 동일한 구성을 취하는 경우를 중심으로 설명한다. The sound wave communication unit 10T for transmitting and outputting the previously described sound waves to the sound wave communication unit 10 of the sound wave communication device of the present invention and the sound wave communication unit 10R capable of changing a relative position are provided with a sound wave reception unit 210. In some cases, the first sound wave communication unit (10T) may have a sound wave transmission unit without a sound wave reception unit, and the second sound wave communication unit (10R) may take a configuration including only a sound wave reception unit without a sound wave transmission unit. This is possible, but as described above, in the case of the present embodiment, the first sound wave communication unit 10T and the second sound wave communication unit 10R will be described with a focus on the case of substantially the same configuration.

음파 통신 장치의 음파 통신 유니트는 앞서 기술한 마이크로폰센서(51)를 포함하는 입력부(50)를 구비하는데, 마이크로폰센서(510)를 통하여 음파 통신 송출부 측 음파 통신 유니트(10), 즉 제 1 음파 통신 유니트(10T)의 음파 송출부(140)로부터 송출된 고주파 대역의 음파를 수신할 수 있다. 음파수신부(210)는 이와 같이 수신된 고주파 대역의 음파에 포함된 입력 데이터를 해석하여 디지털데이터로 디코딩한다. The sound wave communication unit of the sound wave communication device includes an input unit 50 including the microphone sensor 51 described above, and the sound wave communication unit 10 on the side of the sound wave communication transmitter through the microphone sensor 510, that is, the first sound wave A high-frequency sound wave transmitted from the sound wave transmitting unit 140 of the communication unit 10T may be received. The sound wave receiving unit 210 interprets the input data included in the sound wave of the high-frequency band thus received and decodes it into digital data.

본 발명 실시예의 음파수신부(210)는 18~20kHz 의 음파 대역은 가지며, 마이크로폰 센서나 스피커의 주파수 응답 곡선에 따라 전송 신호 세기가 약해져서 전송 성공률이 감소하게 되고, 실제 MCU 가 구비한 아날로그-디지털변환(ADC)의 비트 해상도(bit resolution)의 한계로 인하여 신호 해석에도 한계가 있으므로 이러한 한계점을 극복하기 위하여, 경우에 따라 도 12에 도시된 바와 같이, 본 발명 실시예의 음파수신부(210)는 마이크로폰센서로부터 수신한 데이터를 단수/복수개의 높은 이득(gain)을 가지는 대역주파수 증폭필터를 거쳐서 증폭하는 구성을 취할 수도 있다. 본 발명 실시예는 상기 대역주파수 증폭필터로서 아날로그 방식의 OPAMP 증폭 회로를 채용한다.The sound wave receiving unit 210 of the present embodiment has a sound wave band of 18 to 20 kHz, and the transmission signal strength is weakened according to the frequency response curve of the microphone sensor or speaker, so that the transmission success rate decreases, and the analog-to-digital conversion provided by the actual MCU Since there is a limitation in signal analysis due to the limitation of the bit resolution of (ADC), in order to overcome this limitation, in some cases, as shown in FIG. 12, the sound wave receiving unit 210 of the present invention is a microphone sensor. It is also possible to take a configuration in which the data received from is amplified through a band frequency amplification filter having a high gain of a single/plural number. An embodiment of the present invention employs an analog type OPAMP amplifier circuit as the band frequency amplification filter.

이때, 수신 측 음파 통신 유니트(10), 즉 제 2 음파 통신 유니트(10R)의 마이크로폰센서(51)와 송출 측 음파 통신 유니트(10), 즉 제 1 음파 통신 유니트(10T)의 스피커(61)의 거리가 가까운 경우, 그 음압이 커서 여러 단계의 증폭을 거친 최종 신호에 클리핑(cliping)이 발생할 수도 있다.At this time, the receiving-side sound wave communication unit 10, that is, the microphone sensor 51 of the second sound wave communication unit 10R and the transmitting-side sound wave communication unit 10, that is, the speaker 61 of the first sound wave communication unit 10T If the distance of is close, the sound pressure is large, and clipping may occur in the final signal that has undergone several stages of amplification.

따라서, 본 발명 실시예의 음파수신부(210)는 각 증폭필터 단계마다 별도의 아날로그-디지털 변환(ADC)를 수행하고, 마지막 단계부터 이전 단계까지 순차적으로 검색하면서 일정시간 동안 클리핑이 발생하지 않는 제일 높은 크기를 갖는 단계의 신호를 찾도록 구성될 수도 있는 등 다양한 변형이 가능하다. Therefore, the sound wave receiver 210 of the present invention performs a separate analog-to-digital conversion (ADC) for each amplification filter step, and sequentially searches from the last step to the previous step, and the highest level in which clipping does not occur for a certain period of time. Various variations are possible, such as being able to be configured to look for a signal of a step of magnitude.

한편, 송신된 음파 신호를 수신하는데 음파 수신부(210)가 사용된다. 도 13에는 음파 수신부(210)의 신호 흐름에 관한 단말 SDK Core 신호 해석 플로우가 도시된다. 음파수신부(210)는 마이크로폰센서(51)로부터 수신한 데이터를 환 버퍼에 푸쉬(Push)한다. 환 버퍼는 저장부(30)에 포함될 수 있고, 경우에 따라 음파 수신부에 별도로 구비되는 구성을 취할 수도 있는 등 설계 사양에 따라 다양한 변형이 가능하다. Meanwhile, the sound wave receiving unit 210 is used to receive the transmitted sound wave signal. 13 shows a terminal SDK Core signal analysis flow related to the signal flow of the sound wave receiving unit 210. The sound wave receiving unit 210 pushes the data received from the microphone sensor 51 to the ring buffer. The ring buffer may be included in the storage unit 30, and in some cases, various modifications may be made according to design specifications, such as being separately provided in the sound wave receiving unit.

환 버퍼에 저장된 데이터는 연산에 필요한 만큼 팝(Pop)되어 푸리에연산(FFT)을 수행하여 수집된 음파 속에 포함된 음파 데이터로서의 입력 데이터를 주파수 도메인 상에서의 신호로 변환하는데, 환 버퍼에 스펙트로그램(Spectrogram)의 형태로 저장한다. 이와 같은 연산 과정은 제어부(20)의 연산 제어 신호에 따라 연산부(40)에서 실행될 수 있는데, 설계 사양에 따라 별도의 연산부가 음파 수신부(210)에 개별 탑재될 수도 있는 등 다양한 변형이 가능하다. The data stored in the ring buffer is popped as much as necessary for the operation, and the input data as sound wave data included in the collected sound wave is converted into a signal in the frequency domain by performing Fourier operation (FFT). Spectrogram). Such an operation process may be executed by the operation unit 40 according to an operation control signal of the control unit 20, and various modifications are possible, such as that a separate operation unit may be individually mounted on the sound wave receiving unit 210 according to design specifications.

주파수 도메인 변환 연산인 푸리에연산(FFT)은 시간 데이터로부터 주파수를 취득하기 위한 것으로서, 본 발명 실시예에서는 한 번에 1024 개의 샘플을 취득하여 주파수 도메인으로 변환한다. 주파수 도메인으로 변환된 데이터는 512 개의 샘플을 갖는데, 각 샘플은 하기 수학식에 의해 해당 주파수의 신호 세기를 의미한다.The Fourier operation (FFT), which is a frequency domain transform operation, is for obtaining a frequency from time data. In the embodiment of the present invention, 1024 samples are acquired at a time and converted into the frequency domain. The data converted into the frequency domain has 512 samples, and each sample means the signal strength of the corresponding frequency by the following equation.

(수학식 4)(Equation 4)

Figure 112019103296319-pat00009
Figure 112019103296319-pat00009

여기서, 고주파 음원에 해당하는 주파수 대역 샘플만을 취하고 나머지는 버리는 것이 바람직하며, 본 발명 실시예의 주파수 도메인의 샘플 중에서 고주파 음원에 해당하는 샘플의 인덱스(수학식 4 의 i) 는 421 부터 442 까지가 사용되었으나, 이는 일예로서 본 발명이 이에 국한되는 것은 아니며 사양에 따라 다양한 변형이 가능하다. Here, it is preferable to take only the frequency band samples corresponding to the high frequency sound source and discard the rest, and the index of the sample corresponding to the high frequency sound source (i in Equation 4) among the samples in the frequency domain of the embodiment of the present invention is used from 421 to 442. However, this is an example, and the present invention is not limited thereto, and various modifications are possible according to specifications.

음파 수신부(210)에서 주파수 도메인 변환 연산인 푸리에 연산을 수행하고 그 결과를 환 버퍼에 스펙트로그램의 형태로 저장시, 푸리에 연산에서 구한 고주파 음원의 주파수 해석 결과는 시간에 따른 주파수의 변화를 알 수 있는 스펙트로그램의 형태로 변형된다.When the sound wave receiver 210 performs a Fourier operation, which is a frequency domain transformation operation, and stores the result in the form of a spectrogram in the ring buffer, the frequency analysis result of the high-frequency sound source obtained by the Fourier operation can know the change in frequency over time. It is transformed into the form of a spectrogram.

이때, 본 발명의 스펙트로그램(Spectrogram)은 환버퍼의 형태로 제작되었으며, 이를 통해 연산 속도를 증가시킬 수 있게 된다. At this time, the spectrogram of the present invention is manufactured in the form of a ring buffer, and through this, the calculation speed can be increased.

도 18에는 스펙트로그램 분석을 수행한 예를 도시한 것으로서, 0xAB, 0xCD, 0xEF, 0x01 의 4bytes 의 데이터를 가지는 고주파 음원을 출력하고 이를 수신한 결과가 도시된다. 18 shows an example of performing spectrogram analysis, and shows a result of outputting and receiving a high-frequency sound source having 4 bytes of data of 0xAB, 0xCD, 0xEF, and 0x01.

한편, 음파 수신부(210)는 실제 전송되는 입력 데이터가 포함된 음파인지 여부를 확인하고 해당 음파 데이터가 아닌 경우 연산 과정을 중단하게 되는데, 이는 앞서 송신측 음파 통신 유니트(10), 즉 제 1 음파 통신 유니트(10T)의 고주파 생성부(143)에서 디지털 생성 및 디지털인코딩된 입력데이터 및 체크섬 데이터의 전송 데이터 전후에 시종데이터를 부가하는 구성을 취하는데, 이 시종데이터를 음파 수신부(210)가 체크한다. 즉, 고주파 음원은 해당 데이터를 전송하기 전에 시작 신호를 전송하는데, 음파수신부(210)는 시작 신호가 있는지 확인하고, 시작 신호가 없을 경우 연산을 중단한다.On the other hand, the sound wave receiving unit 210 checks whether the sound wave includes the actual transmitted input data, and if it is not the corresponding sound wave data, it stops the calculation process, which is the first sound wave communication unit 10 on the transmitting side, that is, the first sound wave. The high frequency generator 143 of the communication unit 10T takes the configuration of adding start data before and after the transmission data of input data and checksum data digitally generated and digitally encoded, and this start data is checked by the sound wave receiving unit 210 do. That is, the high-frequency sound source transmits a start signal before transmitting the corresponding data, and the sound wave receiver 210 checks whether there is a start signal, and if there is no start signal, the operation is stopped.

음파 수신부(210)는 수신된 음파 데이터에 시작 신호 데이터가 포함된 경우, 즉 시작 신호 데이터가 감지된 경우, 스펙트로그램(Spectrogram) 형태의 데이터에서 잔향음을 제거하여 정확한 데이터를 추출한다. 그리고, 최종 처리된 주파수 신호를 평가하여 올바른 신호로 판단되면 해당 신호를 해석하게 된다. When the received sound wave data includes start signal data, that is, when the start signal data is detected, the sound wave receiver 210 extracts accurate data by removing reverberation sound from spectrogram-type data. And, if the final processed frequency signal is evaluated and determined as a correct signal, the corresponding signal is analyzed.

즉, 음파 수신부(210)는 고주파 신호의 시작을 감지하기 위하여 스펙트로그램(Spectrogram)에서 가장 신호가 센 인덱스를 검출하며, 검출을 강인하게 수행하기 위하여 시작 신호의 해당 주파수 대역에서 신호 세기(spectrum(index, freq))와 시작 신호가 아닌 주파수 대역의 신호 세기를 동시에 측정하고 이의 합을 도출하여 두 값 사이의 비율을 구한다(수학식 5 참조). That is, the sound wave receiving unit 210 detects the index with the highest signal in the spectrogram in order to detect the start of the high-frequency signal, and in order to perform the detection robustly, the signal strength in the corresponding frequency band of the start signal ( index, freq)) and the signal strength of a frequency band other than the start signal are measured at the same time, and the sum is derived to obtain the ratio between the two values (see Equation 5).

(수학식 5)(Equation 5)

Figure 112019103296319-pat00010
Figure 112019103296319-pat00010

만일, 두 신호 세기 관련 요소의 비율이 지정된 값 이상이고, 음파 수신부(210) 내지 제어부(20)는 지정된 값 이상인 상태가 지정된 시간 이상 유지되는지 여부를 판단하여 고주파 신호 중 입력 데이터가 존재 여부 및 신호의 시작 여부를 판단한다. If the ratio of the two signal strength-related factors is greater than or equal to the specified value, the sound wave receiving unit 210 to the control unit 20 determine whether the state above the specified value is maintained for a specified time or longer, To determine whether or not to start.

여기서, 시작 데이터를 확인한 경우를 중심으로 기술되었으나, 고주파 신호의 시작을 감지하는 판단 방법이 신호 종료 데이터를 검출하는 경우에도 동일하게 사용될 수 있다. Here, the description has been made mainly on the case of confirming the start data, but the determination method for detecting the start of the high-frequency signal may be used in the same manner even when the signal end data is detected.

또한, 음파 수신부(210)는 수신된 고주파 대역의 음파에 포함된 입력 데이터를 해석하여 디지털데이터로 디코딩한다. 이러한 일련의 해석 과정을 수행하도록 음파 수신부(210)는 감지된 신호를 데이터 정렬한다. In addition, the sound wave receiving unit 210 interprets input data included in the received high-frequency sound wave and decodes it into digital data. In order to perform a series of analysis processes, the sound wave receiver 210 aligns the detected signals with data.

예를 들어, 스펙트로그램에서 한 개의 비트는 여러 행의 스펙트로그램으로 구현되며, 이러한 행들을 데이터 비트별로 정확하게 나누기 위한 처리가 필요하다.For example, in a spectrogram, one bit is implemented as a spectrogram of several rows, and processing to accurately divide these rows by data bit is required.

본 발명의 일실시예에 따른 음파 통신 장치의 음파 통신 유니트(10) 중 수신 측 음파 통신 유니트, 즉 제 2 음파 통신 유니트(10R)의 음파 수신부(210)는 어느 시간(x) 이후의 나머지 영역에 대하여 단위 데이터 길이(BL) 단위로 스펙트로그램 중 동일 시간 대의 데이터 프래그먼트(BLF)에 대한 가장 신호가 큰 인덱스의 동일 개수의 최대값의 합을 어느 시간(x)을 사전 설정 크기인 데이터 프래그먼트(BLF)만큼 증분시켜 산출했을 때 제일 큰 값을 형성하는 어느 시간(x)을 시작 지점으로 설정한다. Of the sound wave communication unit 10 of the sound wave communication device according to an embodiment of the present invention, the sound wave communication unit on the receiving side, that is, the sound wave reception unit 210 of the second sound wave communication unit 10R is the remaining area after a certain time (x). The sum of the maximum values of the same number of indexes with the largest signal for the data fragment (BLF) in the same time period among the spectrograms in unit data length (BL) is calculated as a data fragment ( When calculated by incrementing by BLF), a certain time (x) that forms the largest value is set as the starting point.

보다 구체적으로, 음파 수신부(210)는 시작 데이터를 체크하여 입력 데이터가 포함된 음파 데이터, 즉 고주파 신호임을 확인하여 신호 처리 과정의 연산이 속계되는데, 신호 처리 과정 상 정확한 입력 데이터를 추출하기 위하여 데이터 프래그먼트(BLF)라 후술되는 스펙트로그램 상의 행에 대한 데이터를 사전 설정된 단위 데이터 길이(BL)만큼 모아 정확하게 구획하는 처리인 데이터 정렬을 음파 수신부(210)가 실행한다. More specifically, the sound wave receiving unit 210 checks the start data and confirms that the sound wave data including the input data, that is, a high-frequency signal, and the operation of the signal processing process is continued. In order to extract the correct input data in the signal processing process, the data The sound wave receiving unit 210 performs data alignment, which is a process of accurately segmenting data for a row on a spectrogram, which will be described later as a fragment BLF, by a predetermined unit data length BL.

음파수신부(210)는 시종 데이터 중 시작 데이터를 확인하여 신호 시작 감지가 이루어지면 일정 기간 동안 데이터를 취득하고, 취득된 데이터가 어떤 인덱스를 기준으로 정렬될 때 가장 큰 에너지를 갖는지 검토하여 정렬 인덱스를 구한다.The sound wave receiving unit 210 checks the start data among data from beginning to end, acquires data for a certain period of time when the signal start detection is made, and examines which index the acquired data has the greatest energy when it is sorted to determine the alignment index. Seek.

도 19에는 음파 수신부(210)가 데이터 정렬을 실행하기 위하여 스펙트로그램 상에서 각 인덱스 별로 에너지를 구하는 방법이 도시된다. 19 illustrates a method of obtaining energy for each index on a spectrogram in order for the sound wave receiving unit 210 to perform data alignment.

즉, 도 19에서 스펙트로그램 상의 데이터를 2차원 배열 SpectArray라 하고, 데이터 한 개의 길이, 즉 한 개이 데이터 비트가 형성하는 단위 데이터 길이를 BL 이라 하고, 음파 통신 유니트 간의 음파 통신이 한번 수행 될 때, 단위 데이터 길이(BL)를 갖는 데이터가 사전 설정된 데이터 개수인 NS개 모여 전송된다. That is, in FIG. 19, the data on the spectrogram is referred to as a two-dimensional array SpectArray, the length of one data, that is, the unit data length formed by each data bit, is referred to as BL, and when sound wave communication between sound wave communication units is performed once, Data having a unit data length (BL) is collected and transmitted in NS, which is a preset number of data.

이때, 맥스인덱스(MaxIndex(array1dim))를 1차원 배열의 값(array1dim) 중 가장 큰 값을 갖는 원소의 인덱스(index) 값이라고 하면, 맥스인덱스(MaxIndex(array1dim))는 다음과 같이 표현된다(수학식 6). At this time, suppose that the max index (MaxIndex(array1dim)) is the index value of the element having the largest value among the values of the one-dimensional array (array1dim), the max index (MaxIndex(array1dim)) is expressed as follows ( Equation 6).

(수학식 6)(Equation 6)

Figure 112019103296319-pat00011
Figure 112019103296319-pat00011

이를 스펙트로그램의 2차원 배열, 즉 2차원 평면 상에서 표현할 경우, 맥스에너지인덱스(MaxEnergyIndex(x))는 스펙트로그램의 2차원 배열에서 x축으로 x번째 어느 지점(x)에 해당하는 y축 데이터 배열의 최대 Index를 구하는 수식(수학식 7)이다.(도 20 참조) When this is expressed on a two-dimensional array of spectrograms, that is, on a two-dimensional plane, MaxEnergyIndex(x) is the y-axis data array corresponding to the x-th point (x) on the x-axis in the two-dimensional array of the spectrogram. It is an equation (Equation 7) to obtain the maximum index of (see Fig. 20).

(수학식 7)(Equation 7)

Figure 112019103296319-pat00012
Figure 112019103296319-pat00012

세임카운트(SameCount())는 맥스에너지인덱스(MaxEnergyIndex) 중에서 어느 지점(x)으로부터 일정구간동안, 즉 사전 설정된 단위 데이터 길이(BL)에 대하여 val값과 같은 것의 개수를 산출하는 것으로 수학식 8로 표현된다.(도 21 및 도 22 참조) SameCount() is a calculation of the number of things equal to the val value for a predetermined period from a point (x) among the MaxEnergyIndex, that is, for a preset unit data length (BL). Is expressed (see Figs. 21 and 22).

(수학식 8)(Equation 8)

Figure 112019103296319-pat00013
Figure 112019103296319-pat00013

맥스리피트카운터(MaxRepeatCounter(x))는 사전 설정된 데이터의 진법을 고려한 주파수 대역 범위에 대하여 어느 지점(x)에서 일정 구간, 즉 단위 데이터 길이(BL)에 대한 세임카운트(SameCount())의 최대값을 어느 지점(x) 이후의 영역에 단위 데이터 길이(BL)만큼씩 이동시키면서 얻은 합을 나타낸다(수학식 9). MaxRepeatCounter(x) is the maximum value of SameCount() for a certain section, that is, unit data length (BL) at a certain point (x) for a range of frequency bands that consider the base of preset data. The sum obtained by moving by the unit data length BL to the area after a certain point x is represented (Equation 9).

(수학식 9)(Equation 9)

Figure 112019103296319-pat00014
Figure 112019103296319-pat00014

여기서, 맥스리피트카운터(MaxRepeatCounter(x))가 최대가 되는 x값을 구하면, 즉 어느 지점(x) 이후의 영역에 대하여 데이터 프래그먼트(BLF)만큼씩 증분시키면서 얻은 맥스리피트카운터(MaxRepeatCounter(x))가 최대가 되는 x 값, 그 값이 시작 인덱스(StartIndex)이다(수학식 10).Here, if the x value at which the MaxRepeatCounter(x) is the maximum is calculated, that is, the MaxRepeatCounter(x) obtained by incrementing by data fragment (BLF) for the area after a certain point (x). Is the maximum value of x, and the value is the start index (Equation 10).

(수학식 10)(Equation 10)

Figure 112019103296319-pat00015
Figure 112019103296319-pat00015

도 23은 음파 수신부(210)가 수행하는 데이터 정렬 과정에서 구해진 신호를 스펙트로그램(Spectrogram)으로 분석한 예인데, 도 18 대비하여, 정확하게 고주파 신호가 있는 영역이 감지되는 모습이 대비적으로 도시된다. 즉, 입력 데이터의 데이터 비트를 구획하는 위치를 정확하게 찾아 이를 기준으로 스펙트로그램 상의 각각의 행이 형성하는 데이터 프래그먼트들을 단위 데이터 길이(BL) 단위로 구획함으로써, 정렬된 스펙트로그램(도 23 참조)에서의 고주파 영역에서의 데이터의 표시는, 마이크로폰센서에서 수집되어 주파수 도메인 연산되어 스펙트로그램(도 18 참조)에서의 고주파 영역에서의 데이터보다 훨씬 선명하게 표시된다. FIG. 23 is an example of analyzing a signal obtained in the data alignment process performed by the sound wave receiver 210 using a spectrogram. Compared to FIG. 18, a state in which a region with a high frequency signal is accurately detected is shown in contrast. . In other words, the data fragments formed by each row on the spectrogram are divided by unit data length (BL) by finding the exact location for dividing the data bits of the input data, based on this, in the aligned spectrogram (see FIG. 23). The display of data in the high-frequency region of is collected by the microphone sensor and calculated in the frequency domain, so that it is displayed much more clearly than the data in the high-frequency region in the spectrogram (see FIG. 18).

본 발명의 음파 수신부(210)는 데이터 정렬의 신호 처리와 더불어 데이터 분석을 실행한다. 즉, 음파 수신부(210)는 신호 처리된 정렬 데이터에서 잔향음을 이루는 데이터를 제거하여 잔향음으로 인한 데이터의 오류 발생을 방지한다. 즉, 본 발명의 음파 수신부(210)는 정렬된 데이터의 단위 데이터 길이(BL)만큼 후속하는 후속 데이터에 대하여 정렬된 데이터에 사전 설정 감쇠율(echoGain)로 감쇠시켜 잔향음을 제거한다. The sound wave receiving unit 210 of the present invention performs data analysis as well as signal processing for data alignment. That is, the sound wave receiving unit 210 removes data constituting the reverberation sound from the signal-processed alignment data to prevent data errors due to the reverberation sound. That is, the sound wave receiving unit 210 of the present invention removes the reverberation sound by attenuating the aligned data with a preset attenuation rate (echoGain) with respect to subsequent data following the unit data length BL of the aligned data.

본 발명의 음파 수신부(210)는 마이크로폰센서(51)를 통하여 스피커(61)로부터 송출된 고주파 음을 수신하는데, 이때 수신 과정 중 송신 측 음파 통신 유니트(10)인 제 1 음파 통신 유니트(10T)의 스피커(61)로부터 출력되는 직접음 외에 공간 상의 다른 물체 등에 의하여 반사음 등도 동시에 수신된다. 그러므로, 고주파 음을 생성할 때, 잔향음에 대한 혼동을 방지하기 위하여, 각 비트별 데이터 값이 연속적으로 동일하게 나오는 경우가 없도록 설계함으로써 상기 스펙트로그램에서 직접음 뒤에 발생하는 잔향음을 감쇄시키더라도 직접음에 대한 인식률에 영향을 미치지 않도록 함이 바람직하며, 본 발명은 이러한 데이터의 손실 발생을 방지하며 잔향음을 감쇄 내지 제거하는 구성을 취한다. The sound wave receiving unit 210 of the present invention receives the high-frequency sound transmitted from the speaker 61 through the microphone sensor 51, at this time, the first sound wave communication unit 10T, which is the sound wave communication unit 10 on the transmitting side during the reception process. In addition to the direct sound output from the speaker 61 of, the reflected sound or the like is simultaneously received by other objects in the space. Therefore, in order to prevent confusion about the reverberation sound when generating high-frequency sound, even if the reverberation sound generated after the direct sound in the spectrogram is attenuated by designing so that the data value for each bit does not appear continuously and equally. It is preferable not to affect the recognition rate for the direct sound, and the present invention is configured to attenuate or eliminate reverberation sound while preventing such data loss from occurring.

데이터 정렬된 스펙트로그램의 선도인 도 23에 도시된 바와 같이, 일부 데이터에 잔향음에 대한 효과가 감지되는 것을 확인할 수 있는데, 본 발명은 고주파 음을 생성할 때, 잔향음에 대한 혼동을 방지하기 위하여, 각 비트별 데이터 값이 연속적으로 동일하게 나오는 경우는 없도록 설계하였는바, 다음과 같은 수학식 11을 통하여 잔향음이 제거될 수 있다. As shown in FIG. 23, which is a diagram of the data-aligned spectrogram, it can be confirmed that the effect on the reverberation sound is detected in some data. The present invention prevents confusion about the reverberation sound when generating high-frequency sound. For this purpose, since the data value for each bit is designed so that it does not appear continuously and equally, the reverberation sound can be removed through Equation 11 below.

(수학식 11)(Equation 11)

Figure 112019103296319-pat00016
Figure 112019103296319-pat00016

즉, 본 발명의 음파 수신부(210)는 정렬된 데이터의 단위 데이터 길이(BL)만큼 후속하는 후속 데이터(Spectrogram(x,y))에 대하여 정렬된 데이터(Spectrogram(x-BL,y))에 사전 설정 감쇠율(echoGain)로 감쇠시켜 잔향음을 제거한다. 후속 데이터(Spectrogram(x,y))를 에코제거데이터(EchoRemoved(x,y))로 대체한다. 여기서, 에코제거데이터(EchoRemoved(x,y))가 음의 값을 갖는다면 0으로 치환한다.That is, the sound wave receiving unit 210 of the present invention applies to the sorted data (Spectrogram(x-BL,y)) with respect to the subsequent data (Spectrogram(x,y)) following the unit data length BL of the sorted data. Attenuation with a preset attenuation rate (echoGain) eliminates reverberation. Subsequent data (Spectrogram(x,y)) is replaced with echo-removed data (EchoRemoved(x,y)). Here, if the echo removed data (EchoRemoved(x,y)) has a negative value, it is replaced with 0.

따라서, 스펙트로그램에서 입력 데이터의 데이터 비트에 해당하는 직접음 뒤에 발생하는 잔향음을 감쇄시키더라도 직접음에 대한 인식률에 영향을 미치지 아니한다. Therefore, even if the reverberation sound generated after the direct sound corresponding to the data bit of the input data in the spectrogram is attenuated, the recognition rate for the direct sound is not affected.

또한, 본 발명의 음파 수신부(210)는 스펙트로그램의 정규화 과정을 수행한다. 즉, 음파수신부(210)는 음원 신호를 보다 정확하게 분석이 필요한 경우, 스펙트로그램의 데이터를 최대한 복원할 수도 있다. In addition, the sound wave receiving unit 210 of the present invention performs a spectrogram normalization process. That is, when it is necessary to more accurately analyze the sound source signal, the sound wave receiver 210 may restore the spectrogram data as much as possible.

데이터 정렬된 스펙트로그램의 도 23에서 두번째 비트나, 마지막 비트는 데이트를 확인하기 어려운데, 이는 순간적인 임펄스(Impulse) 잡음이나, 통신에 사용된 스피커 혹은 마이크로폰 센서 등의 특성 등에 기인할 수 있으며, 음파 데이터로 수신되어 주파수 도메인 연산 변환된 고주파 신호의 스펙트로그램을 보다 정확하게 분석하기 위하여, 스펙트로그램의 데이터를 최대한 복원할 필요가 있다.It is difficult to check the data of the second bit or the last bit in FIG. 23 of the data-aligned spectrogram, which may be due to instantaneous impulse noise or characteristics of a speaker or microphone sensor used for communication, etc., and sound wave data In order to more accurately analyze the spectrogram of the high-frequency signal received and converted in the frequency domain, it is necessary to restore the spectrogram data as much as possible.

그러므로, 모든 신호의 정보가 스펙트로그램에 존재한다는 점과 스펙트로그램에서 한 개의 비트는 여러 행의 스펙트로그램으로 구현되는 점을 감안하여, 이러한 행들을 데이터 비트별로 정확하게 나누기 위하여 스펙트로그램의 데이터프래그먼트 단위의 행별로 정규화 알고리즘을 수행할 수 있다.Therefore, considering that all signal information exists in the spectrogram and that one bit in the spectrogram is implemented as a spectrogram of multiple rows, the data fragment unit of the spectrogram is You can perform the normalization algorithm for each row.

이러한 정규화 알고리즘은 다음의 수학식 12 에 의하여 수행된다.This normalization algorithm is performed by the following equation (12).

(수학식 12)(Equation 12)

Figure 112019103296319-pat00017
Figure 112019103296319-pat00017

도 24는 스펙트로그램(Spectrogram)에 대한 정규화 알고리즘을 수행한 결과로서, 관찰하기 힘들었던 두번째 비트 및 마지막 비트가 보이는 것을 확인할 수 있다. 그러나, 해당 비트가 있는 행에서는 다른 비트들에 비해 상대적인 노이즈가 관찰된다.24 is a result of performing a normalization algorithm for a spectrogram, it can be seen that the second bit and the last bit, which were difficult to observe, are visible. However, relative noise is observed in the row with the corresponding bit compared to other bits.

한편, 음파 수신부(210)는 정렬 및 잔향음 제거와 입력 데이터의 선명성을 위한 정규화와 더불어 디지털 데이터 디코딩을 실행한다. 음파수신부(310)는 정규화 과정을 통하여 복원된 데이터에 기초하여 데이터 비트별각 값에 해당하는 에너지를 구한다.Meanwhile, the sound wave receiving unit 210 performs digital data decoding along with alignment, reverberation removal, and normalization for clarity of input data. The sound wave receiving unit 310 obtains energy corresponding to each value of each data bit based on data restored through a normalization process.

도 25에는 비트별 최대의 에너지를 갖는 값을 적색 그림으로 나타낸 것이며,각 비트별 값을 8진법으로 나타낸 결과이다.In FIG. 25, values having the maximum energy per bit are shown in red, and the values for each bit are shown in octal.

그 결과 [1, 2, 7, 2, 4, 6, 3, 2, 0, 7, 2, 1, 2, 3, 7] 의 15개의 값이 구해지며, 이러한 [1, 2, 7, 2, 4, 6, 3, 2, 0, 7, 2, 1, 2, 3, 7] 의 15개의 값은 음원 인코딩 단계에서 잔향음을 제거하기 위해 특수하게 인코딩된 데이터이다. 이와 같은 데이터를 다시 사전 설정된 진법으로 변환하여 7진법으로 디코딩하기 위해서 다음과 같은 수학식 13 를 사용한다.As a result, 15 values of [1, 2, 7, 2, 4, 6, 3, 2, 0, 7, 2, 1, 2, 3, 7] are obtained, and these [1, 2, 7, 2 , 4, 6, 3, 2, 0, 7, 2, 1, 2, 3, 7] are specially encoded data to remove reverberation in the sound source encoding step. In order to convert such data back into a preset base system and decode it into a 7 base system, the following equation (13) is used.

(수학식 13)(Equation 13)

Figure 112019103296319-pat00018
Figure 112019103296319-pat00018

상기 수학식 13은 8진수 데이터를 7진수 데이터로 변경할 때 사용하는 수식이며, 수학식 1을 통해 7진수 값들을 연속되지 않는 8진수로 변경한 값을 다시 원래의 7진수 값들로 복원하는 수식이다.Equation 13 is a formula used to change octal data to seven digit data, and is a formula for restoring a value obtained by changing the seven digit values to non-contiguous octal digits through Equation 1 back to the original seven digit values. .

사전 선택된 진법(radix)가 7진수인 경우, 7진수 데이터(outputi)는 7진수로 변경하고자 하는 8진수(encodedi)와 이전 8진수 데이터(encodei-1)를 대입하여 얻을 수 있으며, 이전 8진수 데이터(encoded0) 가 없는 경우 해당 8진수 데이터(encoded1)는 그대로 7진수(output0)로 변경된다.If the pre-selected radix is a 7 number, the 7 number data (outputi) can be obtained by substituting the octal number (encodedi) to be changed to the 7 number and the previous octal number data (encodei-1). If there is no data (encoded0), the corresponding octal data (encoded1) is changed to the 7 number (output0) as it is.

예시적으로, 앞서 음파 송출부에서의 디지털 인코딩 시 예시된 경우로 8진수 [1,6,0,2,6,3,0,6,1,6,1,0,2,6,4]인 경우, 이를 상기 수학식으로부터 7진수 [1,4,1,1,3,4,4,5,2,4,2,6,1,3,5]가 디코딩되어 진법 변환이 이루어 데이터의 변경이 이루어진다. Exemplarily, octal numbers [1,6,0,2,6,3,0,6,1,6,1,0,2,6,4] as an exemplified case during digital encoding in the sound wave transmitter In the case of, the seven number [1,4,1,1,3,4,4,5,2,4,2,6,1,3,5] is decoded from the above equation to perform base conversion Changes are made.

다시, 도 25에서의 [1, 2, 7, 2, 4, 6, 3, 2, 0, 7, 2, 1, 2, 3, 7] 의 15개 값은 수학식 6 를 통해 7진법 데이터 [1, 0, 4, 2, 1, 1, 4, 6, 5, 6, 2, 6, 0, 0, 3]의 값으로 변경되고, 이를 Hex 값으로 변경하면 0xAB, 0xCD, 0xEF, 0x01, 0x97 이 된다. Again, 15 values of [1, 2, 7, 2, 4, 6, 3, 2, 0, 7, 2, 1, 2, 3, 7] in FIG. 25 are 7 base data through Equation 6 It is changed to the value of [1, 0, 4, 2, 1, 1, 4, 6, 5, 6, 2, 6, 0, 0, 3], and if it is changed to Hex value, 0xAB, 0xCD, 0xEF, 0x01 , It becomes 0x97.

음파 수신부(210)는 이렇게 구해진 5bytes의 데이터 중 앞 4bytes의 체크섬 값을 구하고, 이 값이 마지막 bytes와 동일한지 판단하여, 만약, 체크섬 결과가 적합하다면 수신한 4bytes 를 SDK(도 13 참조)에 알려준다.The sound wave receiving unit 210 obtains a checksum value of the first 4 bytes among the obtained 5 bytes of data, determines whether this value is the same as the last byte, and informs the SDK (refer to FIG. 13) of the received 4 bytes if the checksum result is appropriate. .

한편, 본 발명의 음파 통신 장치는 송신/수신 측 음파 통신 유니트를 구비하되, 각각의 음파 통신의 연결 여부의 판단이 요구되는 상황을 감지하고 판단하기 위한 구성요소를 더 구비할 수도 있다. On the other hand, the sound wave communication apparatus of the present invention includes a transmission/reception side sound wave communication unit, but may further include a component for detecting and determining a situation requiring determination of whether or not each sound wave communication is connected.

즉, 본 발명의 음파 통신 장치(10)의 송수신측 음파 통신 유니트, 즉 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 간에는 상대 위치 변동이 발생한다. That is, a relative position change occurs between the transmission/reception-side sound wave communication unit of the sound wave communication device 10 of the present invention, that is, the first sound wave communication unit 10T and the second sound wave communication unit 10R.

도 26의 (a) 내지 (c)에 도시된 바와 같이, 제 1 음파 통신 유니트(10T)가 위치 고정되고 제 2 음파 통신 유니트(10R)가 이동할 수도 있고, 도 27의 (a) 내지 (c)에 도시된 바와 같이, 제 1 음파 통신 유니트(10T)가 위치 고정되고 제 2 음파 통신 유니트(10R)가 이동하되 제 2 음파 통신 유니트(10R)가 복수 개가 구비되어 제 2 음파 통신 그룹이 형성되어 상대 위치 변동이 이루어지는 구성을 이룰 수도 있다.26A to 26C, the first sound wave communication unit 10T may be fixed in position and the second sound wave communication unit 10R may be moved, and FIGS. 27A to 27C ), the first sound wave communication unit 10T is fixed in position and the second sound wave communication unit 10R is moved, but a plurality of second sound wave communication units 10R are provided to form a second sound wave communication group. As a result, it is possible to achieve a configuration in which a relative position change occurs.

도 26의 (a) 내지 (c)는 각각 제 2 음파 통신 유니트(10R)가 제 1 음파 통신 유니트(10T)와의 신뢰 가능한 음파 통신 유효 범위의 영역 외부로부터 근접하여 영역 내부로 진입하고 그리고 영역 외부로 다시 벗어나는 각각의 경우에 대한 상대 위치 변동 관계가 도시되고, 도 27의 (a) 내지 (c)는 제 1 음파 통신 유니트(10T)와제 2 음파 통신 유니트(10R)가 1:다 구조에 있어, 각각 제 2 음파 통신 유니트(10R)가 제 1 음파 통신 유니트(10T)와의 신뢰 가능한 음파 통신 유효 범위의 영역 외부로부터 근접하여 영역 내부로 진입하고 그리고 영역 외부로 다시 벗어나고 다른 제 2 음파 통신 유니트(10R)까 제 1 음파 통신 유니트(10T)와의 신뢰 가능한 음파 통신 유효 범위로 진입하는 각각의 경우에 대한 상대 위치 변동 관계가 도시된다.26A to 26C show that the second sound wave communication unit 10R approaches the first sound wave communication unit 10T from outside the effective range of the reliable sound wave communication range and enters the area inside the area. The relative position fluctuation relationship for each case deviating back to is shown, and Figs.27(a) to (c) show that the first sound wave communication unit 10T and the second sound wave communication unit 10R are in a 1: multi structure. , Respectively, the second sound wave communication unit 10R approaches from outside the area of the reliable sound wave communication effective range with the first sound wave communication unit 10T and enters the area inside the area and leaves the area again, and another second sound wave communication unit ( A relative position variation relationship for each case entering into the reliable sound wave communication effective range with the first sound wave communication unit 10T until 10R) is shown.

여기서, 도 27의 상태는 반대로 제 1 음파 통신 유니트(10T)가 복수 개가 구비되어 제 1 음파 통신 유니트 그룹을 형성하는 구성을 취할 수도 있다. 또한, 앞서는 송신측 대 수신측의 1:1 내지 1:다 구조에 대하여 언급하였으나, 본 발명의 제 1 음파 통신 유니트(10T) 및 제 2 음파 통신 유니트(10R)가 각각 복수 개가 구비되어 제 1 음파 통신 유니트 그룹 및 제 2 음파 통신 유니트 그룹을 형성하는 다:다 구성을 취할 수도 있다. 경우에 따라 본 발명의 송신 측 및 수신 측 음파 통신 유니트에는 다중 통신 구조를 이룰 수도 있겠으나, 본 실시예에서는 송신 측 음파 통신 유니트 어느 하나는 수신 측 음파 통신 유니트 어느 하나와만 통신을 이루는 구성을 취한다. Here, in contrast to the state of FIG. 27, a plurality of first sound wave communication units 10T may be provided to form a first sound wave communication unit group. In addition, although the 1:1 to 1:multi structure of the transmitting side versus the receiving side was previously mentioned, a plurality of the first sound wave communication unit 10T and the second sound wave communication unit 10R of the present invention are each provided. The sound wave communication unit group and the second sound wave communication unit group are formed: It may take multiple configurations. In some cases, the transmitting and receiving acoustic wave communication units of the present invention may have multiple communication structures, but in this embodiment, any one of the transmitting acoustic wave communication units communicates only with any one of the receiving acoustic wave communication units. Take it.

도 28 및 도 29에는 음파 통신 장치의 제 1 음파 통신 유니트(10T) 및 제 2 음파 통신 유니트(10R)가 각각 복수 개가 구비되어 제 1 음파 통신 유니트 그룹 및 제 2 음파 통신 유니트 그룹을 형성하는 경우의 예시적 형태로, 산업 현장의 생산 설비 라인의 예시적 사시도 및 평면도가 도시된다. 본 실시예에서 제 1 음파 통신 유니트(10T)의 제 1 음파 통신 유니트 그룹은 공정 로봇(R1,R2)이 배치되는 각각 스테이션(S1,S2) 측에 위치 고정 장착되고, 제 2 음파 통신 유니트(10R)의 제 2 음파 통신 유니트 그룹은 위치 이동하는 컨베이어라인(CV) 상의 공정 타겟(T1,T2)가 배치되는 이동 대차(M1,M2)에 위치 고정 장착된다. 28 and 29 show a case in which a first sound wave communication unit 10T and a second sound wave communication unit 10R of a sound wave communication device are provided to form a first sound wave communication unit group and a second sound wave communication unit group. In an exemplary form of, an exemplary perspective view and a plan view of a production equipment line of an industrial site are shown. In this embodiment, the first sound wave communication unit group of the first sound wave communication unit 10T is fixedly mounted on the station (S1, S2) side where the process robots R1 and R2 are disposed, and the second sound wave communication unit ( The second acoustic communication unit group of 10R) is fixedly mounted on the moving bogies M1 and M2 on which the process targets T1 and T2 are placed on the position-moving conveyor line CV.

이와 같은 공장 설비 상에서의 음파 통신 유니트 간에는 음파 통신을 통한 연결을 체크해야 할 필요성이 요구되며, 본 발명은 이를 직접적 거리 내지 신호의 세기 등을 포함하는 거리적 요소가 반영되는 구성을 취한다. The necessity of checking the connection through sound wave communication between sound wave communication units on such a factory facility is required, and the present invention takes a configuration in which distance factors including a direct distance or signal strength are reflected.

먼저, 본 발명의 음파 통신 유니트(10)의 감지부(80)에는 거리를 감지하는 거리 센서(미도시)가 더 구비될 수도 있다. First, a distance sensor (not shown) for sensing a distance may be further provided in the sensing unit 80 of the sound wave communication unit 10 of the present invention.

즉, 감지부(80)의 거리 센서는 이격된 다른 음파 통신 유니트와의 상대 거리를 감지하여 측정된 거리를 사전 설정 거리와 비교하여 범위 내에 존재하는 경우 통신 여부를 실해하는 구성을 취할 수도 있다. That is, the distance sensor of the sensing unit 80 may detect a relative distance with another sound wave communication unit separated from each other, compare the measured distance with a preset distance, and determine whether or not communication is within the range.

앞선 실시예에서는 별도의 거리 센서를 구비하는 구성을 언급하였으나, 본 발명이 이에 국한되는 것은 아니다. 즉, 음파 통신 유니트가 구비하는 음파 수신부를 통하여 수신되는 음파 데이터를 통하여 음파 통신 유니트 간의 거리 정보로 거리 인덱스(Distance Index,DI)를 형성하고, 사전 설정 거리 인덱스(DIs)와 비교하는 구성을 취할 수도 있다. In the previous embodiment, a configuration including a separate distance sensor has been mentioned, but the present invention is not limited thereto. That is, a distance index (DI) is formed as distance information between the sound wave communication units through the sound wave data received through the sound wave receiving unit of the sound wave communication unit, and compared with a preset distance index (DIs). May be.

앞서, 본 발명은 데이터 정렬된 후 정규화 과정을 거쳐 복원되기 전 스펙트로그램(도 23 참조)의 데이터 중 입력 데이터의 데이터 비트 해당하는 데이터를 세기 크기 순서로 정렬한 후 사전 설정된 범위 이하의 데이터, 즉 선택된 데이터 이하의 작은 세기를 갖는 값을 통하여 거리 인덱스(DI)를 산출한다. 도 25에 도시되는 경우 데이터라고 판단된 부분(빨간색 네모)에 대한 신호 세기를 정규화하기전 도 23의 스펙트로그램으로부터 데이터로부터 취득하고, 해당 신호 세기중에서 가장 적은 신호 세기의 신호를 거리로 환산할 수 있는데, 일부 데이터는 음파의 빠른 변동 등으로 유실될 수 있으므로, 경우에 따라 가장 적은 신호 세기를 바로 사용하기보다는, N번째로 가장 적은 신호를 사용하거나, 혹은 N번째로 가장 적은 신호부터 몇 개의 샘플을 평균내는 방식 등으로 데이터를 안정화 할 수 있다(수학식 14).Previously, the present invention arranges data corresponding to the data bits of the input data among the data of the spectrogram (see FIG. 23) after the data is sorted and then restored through a normalization process, in order of intensity size, and then is less than a preset range. The distance index DI is calculated through a value having an intensity smaller than the selected data. In the case shown in FIG. 25, before normalizing the signal strength for the part determined to be data (red square), it is obtained from the data from the spectrogram of FIG. 23, and the signal with the lowest signal strength among the corresponding signal strengths can be converted into distance. However, some data may be lost due to rapid fluctuations in sound waves, so in some cases, rather than using the lowest signal strength immediately, the Nth lowest signal is used, or the Nth lowest signal is several samples. The data can be stabilized by averaging (Equation 14).

(수학식 14)(Equation 14)

Figure 112019103296319-pat00019
Figure 112019103296319-pat00019

여기서, 어레이(array = strength of data signal)는 데이터 비트의 신호 세기 배열이고, 어레이 정렬(sorted_array = sort(array,descend))은 어레이의 순서 정렬로 본 실시예에서는 높은 순 정렬(하강 정렬)이다. Here, the array (array = strength of data signal) is an array of signal strength of data bits, and the array sort (sorted_array = sort(array,descend)) is the order of the array, and in this embodiment, it is high order (falling sort). .

도 36에 도시된 바와 같이, 데이터를 세기 순서로 하강 나열할 때 상위단이 아닌 최저 내지 하위단의 N이 선택될 수 있다. 본 실시예에서 N는 전체 어레이의 개수(L)의 반보다 큰 값(순서상)으로 세기값으로 하위 50% 이하의 값이 선택될 수 있다. 이와 같이 본 발명은 데이터 신호의 최대 세기의 경우가 아닌 데이터 중 어느 값 특히 하위 50% 이하 내지 최저 값을 채택하여, 음파의 빠른 변동 등으로 일부 데이터가 유실될 수 있는 문제를 해속하기 위하여 가장 적은 신호 세기를 바로 사용하기보다는, 세기의 하강 순서로 N번째로 적은 신호를 사용하거나, 혹은 N번째로 적은 신호부터 몇 개의 샘플을 평균내는 방식 등으로 데이터를 안정화 할 수도 있다.As shown in FIG. 36, when data is descended in order of intensity, N of the lowest to the lowest level may be selected instead of the upper level. In the present embodiment, N is a value (in order) greater than half of the total number of arrays (L), and a value of less than 50% may be selected as an intensity value. As described above, the present invention adopts a certain value, particularly the lower 50% or less, to the lowest value among data, not in the case of the maximum strength of the data signal, so as to solve the problem that some data may be lost due to rapid fluctuation of sound waves, etc. Rather than using the signal strength directly, the data can be stabilized by using the Nth smallest signal in descending order of intensity, or by averaging several samples from the Nth smallest signal.

또한, 앞선 실시예에서는 별도의 거리 센서를 구비하거나 음파의 세기를 선택되는 영역의 세기 값을 기준으로 거리 인덱스를 산출 비교하는 구성을 언급하였으나, 본 발명이 이에 국한되는 것은 아니다. 즉, 적어도 제 2 음파 통신 유니트(10R)가 복수 개가 구비되고, 제 1 음파 통신 유니트(10T) 및 제 2 음파 통신 유니트(10R)는 모두 음파 송수신이 가능한 경우, 제 2 음파 통신 유니트(10R)는 거리 측정 음파를 사전 설정 측정 주기(T)로 송신하고, 제 1 음파 통신 유니트(10T)는 제 2 음파 통신 유니트(10R)로부터의 거리 측정 음파를 수신하는 경우 수신 후 사전 설정 측정 주기(T) 후에 반송 거리 측정 음파를 송신하고, 제 2 음파 통신 유니트(10R)는 제 1 음파 통신 유니트(10T)는 반송 거리 측정 음파를 수신하여 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 간의 사이 거리를 측정한다. In addition, in the previous embodiment, a configuration for calculating and comparing a distance index based on an intensity value of a region in which a separate distance sensor is provided or the intensity of a sound wave is selected was mentioned, but the present invention is not limited thereto. That is, when at least a plurality of second sound wave communication units 10R are provided, and both the first sound wave communication unit 10T and the second sound wave communication unit 10R are capable of transmitting and receiving sound waves, the second sound wave communication unit 10R Transmits the distance measurement sound wave at a preset measurement period (T), and the first sound wave communication unit 10T receives the distance measurement sound wave from the second sound wave communication unit 10R. ) After transmitting the carrier distance measurement sound wave, the second sound wave communication unit 10R receives the first sound wave communication unit 10T and the first sound wave communication unit 10T and the second sound wave communication unit. Measure the distance between (10R).

즉, 음파는 전파신호에 비해 매우 느리게 전송되므로, 시간 지연(Time of Flight)을 사용하여 거리를 측정하기에 상대적으로 용이하다. 초음파의 경우 매우 높은 주파수 영역으로 강한 음파를 송출하기 때문에, 벽에 도달하여 반사되는 반사음을 측정하는 방식으로 거리를 측정하고 있다. 다만, 본 발명에서 사용되는 비가청 대역은 상대적으로 가청대역과 가까운 주파수 영역을 활용하기 때문에 강한 송출을 하는 것은 사람의 안전에 위험할 수 있다. 또한, 초음파 센서의 경우 고가의 비용이 소요되어 본 발명에 탑재되는 마이크나 스피커는 그것을 허용하지도 않는다.That is, since sound waves are transmitted very slowly compared to radio signals, it is relatively easy to measure a distance using a time delay (Time of Flight). Since ultrasonic waves transmit strong sound waves in a very high frequency range, distances are measured by measuring the reflected sound that reaches the wall and is reflected. However, since the inaudible band used in the present invention utilizes a frequency region relatively close to the audible band, strong transmission may be dangerous to human safety. In addition, in the case of an ultrasonic sensor, an expensive cost is required, and the microphone or speaker mounted in the present invention does not allow it.

따라서, 본 발명의 경우, 정밀한 거리 측정을 위하여 TOF기능을 구비할 수도 있다. 수신측 제 2 음파 통신 유니트(10R) 측의 음파 송출부(140)로부터 스피커(61)로부터 거리 측정용 음파를 송신하고, 원래 송신측 제 1 음파 통신 유니트(10T) 측의 마이크로폰센서(51)를 통하여 음파 수신부(210)가 거리 측정용 음파를 수신하면 송신측 제 1 음파 통신 유니트(10T) 측의 음파 송출부(140)에서 스피커(61)를 통하여 가상의 반사음을 송출하도록 한다. 이때 데이터 송신부는 신호 처리 등에 의해 발생되는 지연으로, 즉각적인 가상의 반사음을 송출이 불가한바, TOF를 구현한다. 즉, 수신측 제 2 음파 통신 유니트(10R)는 사전 설정 주기(T)로 음파를 송출한다. 그리고, 수신측 제 2 음파 통신 유니트(10R)에서 송출된 거리 측정용 음파는 송신측 제 1 음파 통신 유니트(10T)가 수신하면, 제 1 음파 통신 유니트(10T)는 수신된 후 사전 설정 주기(T) 후에 반사음을 송출한다.Therefore, in the case of the present invention, a TOF function may be provided for precise distance measurement. The sound wave for distance measurement is transmitted from the speaker 61 from the sound wave transmitting unit 140 on the receiving side second sound wave communication unit 10R side, and the microphone sensor 51 on the original transmitting side first sound wave communication unit 10T side When the sound wave receiving unit 210 receives the sound wave for measuring distance through the sound wave receiving unit 210, the sound wave transmitting unit 140 of the first sound wave communication unit 10T side of the transmitting side transmits a virtual reflected sound through the speaker 61. At this time, the data transmission unit implements TOF because it is not possible to immediately transmit a virtual reflected sound due to a delay generated by signal processing or the like. That is, the second sound wave communication unit 10R on the receiving side transmits sound waves in a preset period T. And, when the distance measurement sound wave transmitted from the second sound wave communication unit 10R on the receiving side is received by the first sound wave communication unit 10T on the sending side, the first sound wave communication unit 10T is received and then a preset period ( T) Afterwards, the reflected sound is transmitted

수신측 제 2 음파 통신 유니트(10R)가 다음 주기에 반사음을 수신하게 되며, 이때, 송출 신호 시간 대비 수신 신호 시간을 측정함으로써, 기기간의 거리를 측정할 수 있는데 다음과 같은 수학식 15로 표현된다. The second sound wave communication unit 10R on the receiving side receives the reflected sound in the next period, and at this time, the distance between devices can be measured by measuring the reception signal time versus the transmission signal time, which is expressed by Equation 15 as follows. .

(수학식 15)(Equation 15)

Figure 112019103296319-pat00020
Figure 112019103296319-pat00020

이때 거리 측정용 신호는 쳐프 신호(Chirp)의 형태로 구현하고, 코릴레이션(Correlation)을 통해 수신 시간을 감지할 수 있다. At this time, the distance measurement signal may be implemented in the form of a chirp signal, and the reception time may be sensed through correlation.

이하에서는, 도면을 참조하여 앞서 기술한 본 발명의 음파 통신 장치의 제어 방법에 대하여 설명한다. Hereinafter, a method for controlling the sound wave communication device of the present invention described above will be described with reference to the drawings.

먼저, 도 3에 도시된 바와 같이 본 발명의 다른 일실시예에 따른 본 발명의 음파 통신 장치 제어 방법은 제공 단계(S1)와 음파 송출 단계(S10)와 음파수신단계(S20)를 포함한다. 제공 단계(S1)에서 적어도 하나 이상의 제 1 음파 통신 유니트와 적어도 하나의 제 2 음파 통신 유니트를 포함하는 음파 통신 장치가 제공되는데, 이에 대한 설명은 상기로 대체한다. First, as shown in FIG. 3, the method for controlling a sound wave communication device of the present invention according to another embodiment of the present invention includes a providing step (S1), a sound wave transmitting step (S10), and a sound wave receiving step (S20). In the providing step S1, a sound wave communication device including at least one first sound wave communication unit and at least one second sound wave communication unit is provided, and the description thereof is replaced with the above.

그런 후, 음파 송출 단계(S10)가 실행된다. 음파 송출 단계(S10)에서 제 1 음파 통신 유니트(10T)의 음파송출부(140)는 입력 데이터를 비가청 고주파 대역의 음파에 실어서 스피커(61)를 통하여 제 2 음파 통신 유니트(10R)에 송출한다. 즉, 입력되는 데이터를 스피커(61)를 통하여 이격되어 배치되는 다른 음파 통신 유니트(10;10R)에 탑재되는 마이크로폰센서(51)를 통하여 감지되어 음파 수신부(210)로 전달되도록 출력하게 한다. Then, the sound wave transmission step (S10) is executed. In the sound wave transmission step (S10), the sound wave transmission unit 140 of the first sound wave communication unit 10T loads the input data onto the sound wave of the inaudible high frequency band, and transmits the input data to the second sound wave communication unit 10R through the speaker 61. Send out. That is, the input data is sensed through the microphone sensor 51 mounted in another sound wave communication unit 10 (10R) that is spaced apart through the speaker 61 and output to be transmitted to the sound wave receiving unit 210.

음파 송출 단계(S10)는 도 4에 도시된 바와 같이, 디지털 데이터 생성 단계(S11)와, 디지털 데이터 인코딩 단계(S13)와, 음파 변환 단계(S16)와, 음파 출력 단계(S19)를 포함한다. The sound wave transmission step (S10) includes a digital data generation step (S11), a digital data encoding step (S13), a sound wave conversion step (S16), and a sound wave output step (S19), as shown in FIG. .

디지털 데이터 생성 단계(S11)에서 제 1 음파 통신 유니트(10T)의 음파 송출부(140)의 디지털 신호 생성부(141)에서 전송할 입력 데이터가 비가청 음파 전송에 적합하도록 디지털 데이터 형태로 준비 형성된다. 입력 데이터는 아날로그 형태의 데이터일 수도 있고 디지털 형태의 데이터일 수도 있는데, 아날로그 형태의 데이터일 경우 디지털 형태로 변환시킨다. In the digital data generation step S11, input data to be transmitted from the digital signal generation unit 141 of the sound wave transmission unit 140 of the first sound wave communication unit 10T is prepared and formed in a digital data format suitable for transmission of inaudible sound waves. . The input data may be analog data or digital data, and if the analog data is converted into digital form.

또한, 디지털 데이터 생성 단계(S11)에서 입력 데이터에는 체크섬이 부가되는데, 이는 추후 제 2 음파 통신 유니트의 음파 수신부 측에서 수신된 데이터의 정합성을 평가하는데 사용될 수 있다. 체크섬이 추가된 입력 데이터는 디지털 데이터 생성 단계(S11)에서 사전 설정 진법(radix)으로 디지털 변환이 이루어진다. 본 실시예에 따른 디지털 데이터 생성 단계(S11)에서는 4bytes의 데이터를 7진법으로의 형태로 변환되었으나, 변환 전후의 데이터의 크기 내지 진법은 설계 사양에 따라 다양한 선택이 가능하다. In addition, in the digital data generation step S11, a checksum is added to the input data, which can be used to evaluate the consistency of the data received by the sound wave receiving unit of the second sound wave communication unit later. The input data to which the checksum has been added is digitally converted to a preset radix in the digital data generation step (S11). In the digital data generation step (S11) according to the present embodiment, 4 bytes of data is converted into a 7-base format, but the size or base of the data before and after the conversion can be variously selected according to design specifications.

디지털 데이터 인코딩 단계(S13)는 음파 송출부(140)의 디지털신호인코딩부(142)에서 준비된 디지털 데이터를 인코딩시킨다. In the digital data encoding step (S13), digital data prepared by the digital signal encoding unit 142 of the sound wave transmitting unit 140 is encoded.

디지털 데이터 인코딩 단계(S13)에서 잔향음 제거를 위하여 상기 디지털화된 입력 데이터를 잔향음 제거를 위하여 진법 변환시킨다. In the digital data encoding step (S13), the digitized input data is base-converted to remove the reverberant sound.

디지털 데이터 인코딩 단계(S13)에서 잔향음 제거를 위한 디지털화된 입력 데이터(inputi)의 진법 변환을 통하여 진법 변환된 데이터(encodedi)가 산출되고, 진법 변환은 앞서 기술된 수학식 1을 통하여 산출된다. In the digital data encoding step (S13), base system-converted data (encodedi) is calculated through base system conversion of digitized input data (inputi) for reverberation removal, and base system conversion is calculated through Equation 1 described above.

음파 변환 단계(S16)에서는 음파 송출부(140)의 고주파생성부(143)에서 인코딩된 데이터가 신호 처리되어 음파 데이터로 변환된다. In the sound wave conversion step S16, data encoded by the high frequency generator 143 of the sound wave transmission unit 140 is signal-processed and converted into sound wave data.

즉, 도 8에 도시된 바와 같이, 본 발명의 일실시예에 다른 음파 변환 단계(S16)는 시종 데이터 추가 단계(S161)와, 주파수 도메인 변환 단계(S163)와, 시간 도메인 변환 단계(S165)를 포함한다. That is, as shown in Fig. 8, the sound wave conversion step (S16) according to the embodiment of the present invention includes the beginning data addition step (S161), the frequency domain conversion step (S163), and the time domain conversion step (S165). Includes.

시종 데이터 추가 단계(S161)에서 인코딩된 입력 데이터의 전후에 시작과 끝을 알리는 알림 데이터를 추가된다. In the beginning data addition step (S161), notification data indicating the start and end of the encoded input data is added.

주파수 도메인 변환 단계(S163)에서 인코딩된 입력 데이터를 주파수 도메인으로 변환된다. The input data encoded in the frequency domain conversion step S163 is converted into the frequency domain.

시간 도메인 변환 단계(S165)에서 주파수 도메인 변환된 입력 데이터를 출력 가능한 음파 형태로 변환한다. In the time domain conversion step (S165), the frequency domain converted input data is converted into an output sound wave form.

이와 같은 신호 처리는 연산부(40)에서 이루어질 수도 이쏙, 음파 송출부(140)에 별도 내장되는 개별 연산부가 실행할 수도 있는 등 설계 사양에 따라 다양한 구성이 가능하다. Such signal processing may be performed by the operation unit 40 or may be performed in various configurations according to design specifications, such as a separate operation unit separately embedded in the sound wave transmission unit 140.

한편, 경우에 따라 음파 필터링 단계(S17)가 더 구비될 수도 있다. 음파 필터링 단계(S17)에서는 음파 송출부(140)의 고주파 필터링부(144)에서 음파 변환 단계(S16)에서 변화된 고주파가 페이드 처리된다. Meanwhile, in some cases, a sound wave filtering step (S17) may be further provided. In the sound wave filtering step (S17), the high frequency changed in the sound wave conversion step (S16) in the high frequency filtering unit 144 of the sound wave transmitting unit 140 is faded.

또한, 주파수 할당 단계(S15)와 음파 믹싱 단계(S18)가 더 구비될 수도 있다. 주파수 할당 단계(S15)에서는 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 간에 다수의 입력 센서로부터의 입력 데이터가 존재하되, 각각의 입력 데이터에 대하여 사전 설정된 주파수 범위로 주파수 할당된다. In addition, a frequency allocation step (S15) and a sound wave mixing step (S18) may be further provided. In the frequency allocation step (S15), input data from a plurality of input sensors exist between the first sound wave communication unit 10T and the second sound wave communication unit 10R, but the frequency is allocated to a preset frequency range for each input data. do.

음파 믹싱 단계(S18)에서는 음파 송출부(140)의 고주파 및 음원 합성부(145)에서 음파 출력 단계(S19) 전에 각각의 사전 설정된 주파수 범위로 주파수 할당된 음파 데이터가 통합된다. In the sound wave mixing step (S18), the high frequency and sound source synthesizer 145 of the sound wave transmitting unit 140 combines the sound wave data assigned frequencies to each preset frequency range before the sound wave output step (S19).

이러한 소정의 과정을 거쳐 신호 처리되어 고주파 음파 데이터로 형성된 입력 데이터는 음파 출력 단계(S19)에서 스피커(61)를 통하여 음파통신 방식으로 수신측 음파 통신 유니트(10), 즉 제 2 음파 통신 유니트(10R) 측으로 음파 출력된다. The input data, which is signal-processed through such a predetermined process and formed as high-frequency sound wave data, is transmitted through the speaker 61 in the sound wave output step (S19), in a sound wave communication method, to the receiving side sound wave communication unit 10, that is, the second sound wave communication unit ( Sound waves are output to the 10R) side.

그런 후, 음파수신단계(S20)가 실행되는데, 음파수신단계(S20)에서 수신측 음파 통신 유니트(10)인 제 2 음파 통신 유니트(10R)의 음파수신부(210)는 음파송출단계(S10)를 통하여 송출된 고주파 대역의 비가청 대역의 고주파 음파인 입력 데이터를 마이크로폰센서로 수신하고, 수신된 고주파 대역의 음파에 포함된 입력 데이터를 분석하여 디지털데이터를 디코딩한다. Then, the sound wave receiving step (S20) is executed, and in the sound wave receiving step (S20), the sound wave receiving unit 210 of the second sound wave communication unit 10R, which is the receiving-side sound wave communication unit 10, is a sound wave transmitting step (S10). Input data, which is a high-frequency sound wave in a high-frequency band in a non-audible band transmitted through the microphone sensor, is received by a microphone sensor, and the digital data is decoded by analyzing the input data included in the received sound wave in the high-frequency band.

먼저, 도 14에 도시된 바와 같이, 음파수신단계(S20)는 음파 신호 수신 단계(S21)와, 주파수 분리 신호 처리 단계(S23)와, 디지털 데이터 디코딩 단계(S24)와, 디지털 데이터 정합성 확인 단계(S25)와, 디지털 데이터 출력 단계(S26)를 포함한다. First, as shown in Fig. 14, the sound wave receiving step (S20) includes a sound wave signal receiving step (S21), a frequency-separated signal processing step (S23), a digital data decoding step (S24), and a digital data consistency check step. (S25) and a digital data output step (S26).

음파 신호 수신 단계(S21)에서 마이크로폰센서(51)를 통하여 음파 데이터 형태의 고주파 대역의 입력 데이터를 포함하는 음파 신호가 감지된다. In the sound wave signal receiving step (S21), a sound wave signal including input data of a high frequency band in the form of sound wave data is detected through the microphone sensor 51.

주파수 분리 신호 처리 단계(S23)에서 수신된 음파 신호에서 해당 음파 데이터를 포함하는 주파수를 분리하여 음파 데이터를 신호 처리된다. 도 15에 도시된 바와 같이, 주파수 분리 신호 처리 단계(S23)는 주파수 신호 데이터 변환 단계(S231)와, 주파수 신호 데이터 처리 단계(S233)를 포함한다. The sound wave data is signal-processed by separating the frequency including the corresponding sound wave data from the sound wave signal received in the frequency separation signal processing step S23. As shown in FIG. 15, the frequency separation signal processing step S23 includes a frequency signal data conversion step S231 and a frequency signal data processing step S233.

주파수 신호 데이터 변환 단계(S231)에서 수신된 음파 신호에서 해당 음파 데이터 형태의 입력 데이터를 주파수 신호 데이터로 변환하고 스펙트로그램(Spectrogram) 형태의 데이터가 생성 저장된다. From the sound wave signal received in the frequency signal data conversion step (S231), input data in the form of corresponding sound wave data is converted into frequency signal data, and data in the form of a spectrogram is generated and stored.

주파수 신호 데이터 처리 단계(S233)에서 주파수 신호 데이터 변환 단계(S231)에서 변환된 입력 데이터의 시작 여부가 확인되고 입력 데이터의 정렬 신호 처리된다. In the frequency signal data processing step (S233), it is checked whether the input data converted in the frequency signal data conversion step (S231) starts, and the input data is subjected to alignment signal processing.

도 16에 도시된 바와 같이, 주파수 신호 데이터 변환 단계(S231)는 주파수 도메인 변환 단계(S2311)와, 주파수 신호 스펙트로그램 변환 단계(S2313)를 포함한다. As shown in FIG. 16, the frequency signal data conversion step S231 includes a frequency domain conversion step S2311 and a frequency signal spectrogram conversion step S2313.

주파수 도메인 변환 단계(S2311)에서 수신된 음파 신호에서 해당 음파 데이터 형태의 입력 데이터를 주파수 도메인 변환하여 주파수 신호 데이터가 형성된다. In the frequency domain conversion step (S2311), frequency signal data is formed by frequency domain conversion of input data in the corresponding sound wave data format from the sound wave signal.

주파수 신호 스펙트로그램 변환 단계(S2313)에서 변환된 주파수 신호 데이터를 스펙트로그램(Spectrogram)로 형태 변환시킨다. The frequency signal data converted in the frequency signal spectrogram conversion step (S2313) is converted into a spectrogram.

도 17에 도시된 바와 같이, 주파수 신호 데이터 처리 단계(S233)는 주파수 신호 데이터 시작 확인 단계(S2331)와, 주파수 신호 데이터 정렬 단계(S2333)와, 잔향음 제거 단계(S2335)와, 데이터 복원 단계(S2337)와, 데이터 평가 단계(S2339)를 포함한다. As shown in FIG. 17, the frequency signal data processing step (S233) includes a frequency signal data start confirmation step (S2331), a frequency signal data alignment step (S2333), a reverberation sound removal step (S2335), and a data restoration step. (S2337) and a data evaluation step (S2339).

주파수 신호 데이터 시작 확인 단계(S2331)에서는 주파수 신호 데이터 변환 단계(S231)에서 변환된 입력 데이터의 시작 여부가 확인된다. In the frequency signal data start checking step (S2331), it is checked whether the input data converted in the frequency signal data conversion step (S231) starts.

주파수 신호 데이터 정렬 단계(S2333)에서는 주파수 신호 데이터 시작 확인 단계(S2331)에서 시작 여부가 확인되는 경우, 스펙트로그램(Spectrogram)에서 데이터 비트 별로 구분한다. In the frequency signal data alignment step (S2333), when the frequency signal data start checking step (S2331) is determined to be started, the data bits are classified in a spectrogram.

그런 후, 잔향음 제거 단계(S2335)에서 정렬된 데이터의 단위 데이터 길이(BL)만큼 후속하는 후속 데이터에 대하여 정렬된 데이터에 사전 설정 감쇠율(echoGain)로 감쇠시켜 잔향음을 제거한다. Thereafter, in the reverberation sound removal step (S2335), the reverberant sound is attenuated by a preset attenuation rate (echoGain) to the aligned data for subsequent data following the unit data length BL of the aligned data.

데이터 복원 단계(S2337)에서 잔향음이 제거된 데이터가 사전 설정된 방식으로 정규화된다. In the data restoration step S2337, the data from which the reverberation sound has been removed is normalized in a preset manner.

데이터 평가 단계(S2339)에서 정규화된 데이터로부터 데이터 비트별 에너지 세기를 구하여 데이터 비트 값이 산출된다. In the data evaluation step S2339, the data bit value is calculated by obtaining the energy intensity for each data bit from the normalized data.

주파수 신호 데이터 시작 확인 단계(S2331)는 도 17a에 도시된 바와 같이, 시작 신호 세기 비율 및 유지 지속 시간 산출 단계(S23311)와, 시작 신호 여부 판단 단계(S23313)를 포함한다. As shown in FIG. 17A, the frequency signal data start checking step S2331 includes a start signal intensity ratio and a sustain duration calculation step S23311, and a start signal determination step S23313.

시작 신호 세기 비율 및 유지 지속 시간 산출 단계(S23311)에서 스펙트로그램(Spectrogram)에서 신호 세기가 가장 센 인덱스가 검출되고, 시작 신호의 해당 주파수 대역에서의 신호 세기(spectrum(index,start_freq))와, 시작 신호가 아닌 주파수 대역의 신호 세기를 측정하여 두 신호 세기로 시작 신호 세기 비율(start signal ration(index))가 산출되는데, 시작 신호 세기 비율(start signal ration(index))이 사전 설정 저장된 사전 설정 신호 세기 비율(ssrs) 이상인 상태의 유지 지속 시간을 산출한다. In the step (S23311) of calculating the start signal strength ratio and the sustain duration time, the index with the highest signal strength is detected in the spectrogram, and the signal strength (spectrum (index, start_freq)) in the corresponding frequency band of the start signal, and By measuring the signal strength of the frequency band other than the start signal, the start signal strength ratio (start signal ration (index)) is calculated from the two signal strengths, and the start signal strength ratio (start signal ratio (index)) is preset and stored. Calculate the maintenance duration of a state that is equal to or greater than the signal intensity ratio (ssrs).

시작 신호 여부 판단 단계(S23313)에서 시작 신호 세기 비율(start signal ration(index))과 사전 설정 저장된 사전 설정 신호 세기 비율(ssrs)를 그리고 유지 지속 시간과 사전 설정 저장된 사전 설정 유지 지속 시간을 비교하여, 시작 여부가 판단된다. In step S23313 of determining whether a start signal is present, the start signal ration (index) and the preset signal strength ratio (ssrs) stored in advance are drawn, and the maintenance duration and the preset maintenance duration are compared. , It is determined whether to start.

한편, 스펙트로그램 상 입력 데이터의 단위 데이터는 사전 설정된 개수의 데이터 프래그먼트(BLF)로 구성되는 단위 데이터 길이(BL)를 구비하는데, 주파수 신호 데이터 정렬 단계(S2333)에서, 입력 데이터 신호의 시작이 감지되는 경우에 어느 시간(x)에서부터 상기 입력 데이터의 상기 단위 데이터 길이(BL) 단위로 정렬하는 경우, 어느 시간(x) 이후의 나머지 영역에 대하여 단위 데이터 길이(BL) 단위로 상기 스펙트로그램 중 동일 시간 대의 데이터 프래그먼트(BLF)에 대한 가장 신호가 큰 인덱스의 동일 개수의 최대값의 합을 어느 시간(x)을 사전 설정 크기(상기 데이터 프래그먼트(BLF))만큼 증분시켜 산출했을 때 제일 큰 값을 형성하는 어느 시간(x)이 시작 지점으로 설정된다. Meanwhile, the unit data of the input data on the spectrogram has a unit data length BL composed of a preset number of data fragments BLF. In the frequency signal data alignment step (S2333), the start of the input data signal is detected. In the case of, when sorting from a certain time (x) in the unit data length (BL) unit of the input data, the rest area after a certain time (x) is the same among the spectrograms in unit data length (BL) units. The largest value is calculated by incrementing a certain time (x) by a preset size (the data fragment (BLF)) by incrementing the sum of the maximum values of the same number of indexes with the largest signal for the data fragment (BLF) in the time zone. The forming time (x) is set as the starting point.

주파수 신호 데이터 정렬 단계(S2333)는 도 17b에 도시된 바와 같이, 맥스에너지인덱스 산출 단계(S23331)와, 새임카운드 산출 단계(S23333)와, 맥스리피트카운터 산출 단계(S23335)와, 시작 인덱스 산출 단계(S23337)를 포함한다. The frequency signal data alignment step (S2333) includes a max energy index calculation step (S23331), a new im count calculation step (S23333), a max repeat counter calculation step (S23335), and a start index calculation as shown in FIG. It includes step S23337.

먼저, 맥스에너지인덱스 산출 단계(S23331)에서 어느 시간(x)에서부터 동일 데이터 프래그먼트(BLF) 중 가장 신호가 큰 데이터 프래그먼트(BLF)의 인덱스인 맥스 에너지 인덱스(MaxEnergyIndex(x))가 산출된다. First, in the max energy index calculation step S23331, a max energy index (MaxEnergyIndex(x)), which is the index of the data fragment BLF having the largest signal among the same data fragments BLF, is calculated from a certain time (x).

새임카운드 산출 단계(S23333)에서 맥스 에너지 인덱스(MaxEnergyIndex(x)) 중에서 단위 데이터 길이(BL) 단위로 동일한 인덱스의 개수인 새임카운트(SameCount(val,x))가 산출된다. In the new im count calculation step S23333, a new im count (SameCount(val,x)), which is the number of the same index in units of the unit data length BL, is calculated among the max energy indexes MaxEnergyIndex(x).

맥스리피트카운터 산출 단계(S23335)에서 단위 데이터 길이(BL) 단위로 스펙트로그램의 어느 시간(x) 이후 나머지 영역에 대하여 새임카운트(SameCount(val,x))의 최대값의 합인 맥스리피트카운터(MaxRepeatCounter(x))가 산출된다. In the max repeat counter calculation step (S23335), the max repeat counter (MaxRepeatCounter) is the sum of the maximum values of the new im count (SameCount(val,x)) for the rest area after a certain time (x) of the spectrogram in unit data length (BL) (x)) is calculated.

시작 인덱스 산출 단계(S23337)에서 어느 시간(x)을 사전 설정 크기(상기 데이터 프래그먼트(BLF))만큼 증분시켜 맥스리피트카운터 산출 단계를 산출하여 도출되는 복수 개의 맥스리피트카운터(MaxRepeatCounter(x)) 중 최대 맥스리피트카운터(MaxRepeatCounter(x))를 형성하는 어느 지점(x)을 시작 지점으로 설정하고 해당 어느 지점(x)의 인덱스가 시작 인덱스(StartIndex)로 설정된다. Among the plurality of MaxRepeatCounters (MaxRepeatCounter(x)) derived by calculating the Max Repeat counter calculation step by incrementing a certain time (x) by a preset size (the data fragment (BLF)) in the start index calculation step S23337 A certain point (x) forming the maximum MaxRepeatCounter(x) is set as a starting point, and the index of that certain point (x) is set as a start index (StartIndex).

디지털 데이터 디코딩 단계(S24)에서 분리된 음파 신호 중 음파 데이터가 디지털 데이터로 변환된다. The sound wave data of the sound wave signals separated in the digital data decoding step S24 is converted into digital data.

즉, 디지털 데이터 디코딩 단계(S24)에서, That is, in the digital data decoding step (S24),

Figure 112019103296319-pat00021
Figure 112019103296319-pat00021

과 같은 관계식을 통하여 정렬 후 잔향음이 제거된 데이터(encodedi)의 진법 변환이 실행되어 잔향음 제거 진법 역변환된 데이터(outputi)가 산출된다.Base conversion of the data (encodedi) from which the reverberation sound has been removed after alignment is performed through a relational expression such as the reverberation sound removal base-conversion data (outputi) is calculated.

디지털 데이터 정합성 확인 단계(S25)에서 디지털 데이터로 디코딩된 신호의 정합성이 확인되고, 정합성 여부는 송신측 음파 통신 유니트 측에 신호를 송출시 디지털 데이터 생성 과정에서 추가된 체크섬을 확인 산출하는 방식을 취한다. 체크섬의 유형은 다양한 변형 방식이 선택될 수 있다. In the digital data consistency check step (S25), the consistency of the signal decoded as digital data is checked, and the consistency is determined by checking and calculating the checksum added in the digital data generation process when the signal is transmitted to the sound wave communication unit of the transmitting side. do. The type of checksum can be selected in various ways.

데이터 출력 단계(S26)에서 정합성이 확인된 디지털 데이터가 출력된다. In the data output step S26, the digital data whose consistency has been confirmed is output.

한편, 앞선 실시예에서는 체크섬을 확인하는 방식과 같은 디지털 데이터의 정합성만을 확인하는 구성만을 구비하였으나, 본 발명의 음파 통신 장치 제어 방법이 이에 국한되는 것은 아니다. 도 30에 도시된 바와 같이, 본 발명의 음파 통신 장치 제어 방법의 음파 수신 단계(S20)는 음파 신호 수신 단계(S21)와, 주파수 분리 신호 처리 단계(S23)와, 디지털 데이터 디코딩 단계(S24)와, 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)와, 디지털 데이터 출력 단계(S26)를 포함하되, 음파 신호 수신 단계(S21)와, 주파수 분리 신호 처리 단계(S23)와, 디지털 데이터 디코딩 단계(S24)와, 디지털 데이터 출력 단계(S26) 이들의 구성은 앞서 기재된 내용과 동일하다. 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)는 디지털 데이터로 디코딩된 신호의 정합성을 확인하고 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 상호간 거리를 반영한 거리 인덱스로부터 정밀성을 판단하여 통신 연결 여부를 확인한다. Meanwhile, in the previous embodiment, only a configuration for checking only the consistency of digital data, such as a method for checking a checksum, is provided, but the method of controlling the sound wave communication device of the present invention is not limited thereto. As shown in Fig. 30, the sound wave reception step (S20) of the sound wave communication device control method of the present invention includes a sound wave signal reception step (S21), a frequency separation signal processing step (S23), and a digital data decoding step (S24). And, including the digital data consistency and precision check step (S25a), and digital data output step (S26), the sound wave signal reception step (S21), the frequency separation signal processing step (S23), and the digital data decoding step (S24) ), and the digital data output step (S26). Their configurations are the same as those described above. In the digital data consistency and precision checking step (S25a), the consistency of the signal decoded as digital data is checked, and the precision is determined from the distance index reflecting the distance between the first sound wave communication unit 10T and the second sound wave communication unit 10R. Check the communication connection.

보다 구체적으로, 도 31에 도시된 바와 같이, 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)는 체크섬 확인 단계(S251a)와, 거리 산출 단계(S252)와, 체크섬 적합 판단 단계(S253)와, 거리 적합 판단 단계(S254)를 포함하는데, 체크섬 확인 단계(S251a)와, 체크섬 적합 판단 단계(S253)는 상기한 내용과 동일하다. More specifically, as shown in FIG. 31, the digital data consistency and precision verification step (S25a) includes a checksum verification step (S251a), a distance calculation step (S252), a checksum suitability determination step (S253), and a distance fit. A determination step (S254) is included. The checksum verification step (S251a) and the checksum suitability determination step (S253) are the same as those described above.

거리 산출 단계(S252)에서 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 사이의 거리가 산출되는데, 앞서 기술된 바와 같이 감지부(80)에 별도의 거리 센서(미도시)가 구비되어 음파 송신측과 수신측 음파 통신 유니트 간의 상대 거리를 검축하고, 거리 적합 판단 단계(S254)에서 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 사이의 거리인 거리 인덱스와 사전 설정 거리(ds)가 비교되어 제 1 음파 유니트와 제 2 음파 통신 유니트가 서로 음파 통신을 이루어야 하는지에 대한 보다 정밀한 판단 과정이 수행된다. In the distance calculation step S252, the distance between the first sound wave communication unit 10T and the second sound wave communication unit 10R is calculated. As described above, a separate distance sensor (not shown) in the sensing unit 80 Is provided to measure the relative distance between the sound wave transmission side and the reception side sound wave communication unit, and a distance index that is the distance between the first sound wave communication unit 10T and the second sound wave communication unit 10R in the distance suitability determination step S254 And a preset distance ds are compared to perform a more precise determination process as to whether the first sound wave unit and the second sound wave communication unit should perform sound wave communication with each other.

한편, 본 발명의 음파 통신 장치의 송수신 측 음파 통신 유니트(10)에 별도의 거리 측정을 위한 별도의 거리 센서가 구비되지 않고 탑재된 입력부/출력부의 마이크로폰센서 및 스피커로 거리 인자가 포함되는 거리 인덱스 내지 실제 거리를 측정하는 방식을 취할 수도 있음은 앞서 기술한 바와 같다. On the other hand, the distance index including the distance factor to the microphone sensor and speaker of the input unit/output unit mounted without a separate distance sensor for measuring a separate distance in the transmitting/receiving sound wave communication unit 10 of the sound wave communication device of the present invention It is as described above that it may take a method of measuring the actual distance.

먼저, 음파 통신으로 수신된 음파 데이터의 세기를 이용하되 세기의 최저값 내지 하위 값을 이용하는 제어 방법을 취한다. 즉, 도 34에 도시된 바와 같이, 실제 산업 현장에서 충격음의 발생이 빈번한데, 세기의 최대값을 기준으로 음파 통신을 통한 거리 가늠을 진행하는 경우 오작동 가능성이 상당히 농후하다. First, a control method using the intensity of sound wave data received through sound wave communication is taken, but using the lowest value or the lower value of the intensity. That is, as shown in FIG. 34, the impact sound is frequently generated in an actual industrial site. However, when distance estimation is performed through sound wave communication based on the maximum value of the intensity, the possibility of malfunction is quite rich.

도 32에 도시된 바와 같이, 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)의 경우 체크섬 확인 단계(S251a)와, 거리 인덱스(DI) 산출 단계(S252a)와, 체크섬 적합 판단 단계(S253)와, 거리 적합 판단 단계(S254a)를 포함한다. As shown in Fig. 32, in the case of the digital data consistency and precision check step (S25a), the checksum check step (S251a), the distance index (DI) calculation step (S252a), the checksum suitability determination step (S253), and the distance It includes a suitability determination step (S254a).

체크섬 확인 단계(S251a)과 체크섬 적합 판단 단계(S253)는 앞서 기술된 내용과 동일하다. The checksum checking step S251a and the checksum suitability determination step S253 are the same as those described above.

거리 인덱스(DI) 산출 단계(S252a)에서 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스(DI)가 산출되는데, 거리 인덱스(DI)는 앞서 기술된 수학식 14을 통하여 산출된다. 산출 과정은 상기한 내용으로 대체한다. In the distance index DI calculating step S252a, a distance index DI between the first sound wave communication unit 10T and the second sound wave communication unit 10R is calculated, and the distance index DI is the above-described equation. It is calculated through 14. The calculation process is replaced by the above.

거리 적합 판단 단계(S254a)에서 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스(DI)와 사전 설정 거리 인덱스(DIs)가 비교된다. 본 실시예에서 사전 설정 거리 인덱스(DIs)는 6.0으로 설정되었으나, 이는 일예로서 적용되는 산업 현장의 환경에 값을 변경이 가능하다. In the distance suitability determination step S254a, the distance index DI between the first sound wave communication unit 10T and the second sound wave communication unit 10R and the preset distance index DIs are compared. In the present embodiment, the preset distance index (DIs) is set to 6.0, but this is an example and the value can be changed in the applied industrial site environment.

도 37에 도시된 바와 같이, 제 1 음파 통신 유니트(10T,A)로부터 음파 데이터의 송신이 이루어지고, 제 2 음파 통신 유니트(10R,B1,B2,B3)는 복수 개가 구비되는데, 사전 설정 거리 인덱스(DIs)를 기준으로 사전 설정 거리 인덱스(DIs)보다 큰 경우에 인식이 가능한 인식 구간으로, 그리고 사전 설정 거리 인덱스(DIs)를 기준으로 사전 설정 거리 인덱스(DIs)보다 작은 경우에 인식이 불가능한 비인식 구간으로 구획된다. As shown in Fig. 37, transmission of sound wave data is performed from the first sound wave communication unit 10T,A, and a plurality of second sound wave communication units 10R, B1, B2, B3 are provided, and a preset distance A recognition section that can be recognized if it is larger than the preset distance index (DIs) based on the index (DIs), and if it is less than the preset distance index (DIs) based on the preset distance index (DIs). It is divided into unrecognized sections.

물론, 복수 개의 제 2 음파 통신 유니트가 인식 구간에 있는 경우 별도의 통신을 통하여 보완할 수도 있으나, 도 28과 도 29에 도시된 바와 같은 실제 산업 현장의 경우 각각의 이동 대차(M1,M2)간에는 사이 거리가 존재하여 사전 설정 거리 인덱스와 이동 대차 간의 사이 거리의 조정을 통하여 복잡한 상황을 방지하는 설게 구성을 취할 수도 있다. Of course, when a plurality of second sound wave communication units are in the recognition section, it may be supplemented through separate communication, but in the case of an actual industrial site as shown in FIGS. 28 and 29, each of the moving trucks M1 and M2 It is also possible to take a design configuration that prevents complicated situations by adjusting the distance between the preset distance index and the moving cart because the distance exists.

도 37에서 각각의 거리 인덱스(DI)는 사전 설정 거리 인덱스(DIs)를 기준으로 B1의 경우 접속 가능한 인식 구간의 영역에 존재하나, B2,B3의 경우 비인식 구간의 영역에 존재함으로써 B1으로 지시되는 제 2 음파 통신 유니트가 제 1 음파 통신 유니트 A1과 연결되고, 다른 B1,B2로 지시되는 제 2 음파 통신 유니트는 접속되지 않는다. In FIG. 37, each distance index DI exists in the area of the accessible recognition section in the case of B1 based on the preset distance index DIs, but in the case of B2, B3, it is indicated as B1 because it exists in the area of the unrecognized section. The second sound wave communication unit to be connected is connected to the first sound wave communication unit A1, and the second sound wave communication unit indicated by the other B1 and B2 is not connected.

본 실시예에서는 인식 구간의 영역에 접근한지가 판단 기준이 되는데, 경우에 따라, 송수신 데이터의 추가를 통하여 복수 개이 음파 수신부 측에서의 거리 인덱스의 값을 정렬하여 사전 설정된 기준에 따라 접속 여부를 결정하는 방식이 실행될 수도 있는 등 다양한 변형이 가능하다. In the present embodiment, the determination criterion is whether the area of the recognition section is approached, and in some cases, a method of determining whether to connect according to a preset criterion by aligning the distance index values at the side of a plurality of sound wave receivers through addition of transmission and reception data. Various variations are possible, such as this may be implemented.

또 한편, 음파의 TOF(Time of Flight) 또는 TOA(Time of Arrival)를 이용하여 제 1 음파 통신 유니트와 제 2 음파 통신 유니트의 거리를 측정하는 방법을 취한다. On the other hand, a method of measuring the distance between the first sound wave communication unit and the second sound wave communication unit is taken using a time of flight (TOF) or a time of arrival (TOA) of sound waves.

TOF를 이용하는 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)는 체크섬 확인 단계(S251a)와, TOF 거리 인덱스 산출 단계(S252b)와, 체크섬 적합 판단 단계(S253)와, 거리 적합 판단 단계(S254b)를 포함한다. Digital data consistency and precision verification step (S25a) using TOF includes a checksum verification step (S251a), a TOF distance index calculation step (S252b), a checksum suitability determination step (S253), and a distance fit determination step (S254b). do.

체크섬 확인 단계(S251a)과 체크섬 적합 판단 단계(S253)는 앞서 기술된 내용과 동일하다. The checksum checking step S251a and the checksum suitability determination step S253 are the same as those described above.

TOF 거리 인덱스 산출 단계(S252b)에서 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스인 TOF 거리(DTOF)가 산출되고, 거리 적합 판단 단계(S254b)에서 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스(DTOF)와 사전 설정 거리 인덱스(Ds)가 비교된다. In the TOF distance index calculation step S252b, the TOF distance DTOF, which is a distance index between the first sound wave communication unit 10T and the second sound wave communication unit 10R, is calculated, and the first in the distance fit determination step S254b. The distance index DTOF between the sound wave communication unit 10T and the second sound wave communication unit 10R is compared with a preset distance index Ds.

이 경우, 수신측의 제 2 음파 통신 유니트가 복수 개가 구비되고, 제 1 음파 통신 유니트(10T) 및 제 2 음파 통신 유니트(10R)는 모두 음파 송수신이 가능하다.In this case, a plurality of second sound wave communication units on the receiving side are provided, and both the first sound wave communication unit 10T and the second sound wave communication unit 10R can transmit and receive sound waves.

도 39에 도시된 바와 같이, 거리 인덱스 산출 단계(S252b)는 거리 측정 마스터 음파 신호 송신 단계(S2512b)와, 거리 측정 마스터 음파 신호 수신 단계(S2522b)와, 거리 측정 슬레이브 음파 신호 송신 단계(S2523b)와, 거리 측정 슬레이브 음파 신호 수신 단계(S2524b)를 포함한다. 39, the distance index calculation step (S252b) includes a distance measurement master sound wave signal transmission step (S2512b), a distance measurement master sound wave signal reception step (S2522b), and a distance measurement slave sound wave signal transmission step (S2523b). And, a distance measurement slave sound wave signal receiving step (S2524b).

거리 측정 마스터 음파 신호 송신 단계(S2512b)에서 제 2 음파 통신 유니트(10R)에서 거리 측정 음파를 사전 설정 측정 주기(T)로 송신한다. In the distance measurement master sound wave signal transmission step (S2512b), the second sound wave communication unit 10R transmits the distance measurement sound wave in a preset measurement period (T).

거리 측정 마스터 음파 신호 수신 단계(S2522b)에서, 제 1 음파 통신 유니트(10T)가 거리 측정 음파가 수신된다. In the distance measurement master sound wave signal reception step (S2522b), the first sound wave communication unit 10T receives the distance measurement sound wave.

거리 측정 슬레이브 음파 신호 송신 단계(S2523b)에서, 제 1 음파 통신 유니트(10T)가 제 2 음파 통신 유니트(10R)로부터의 거리 측정 음파를 수신하는 경우 수신 후 사전 설정 측정 주기(T) 후에 반송 거리 측정 음파가 송신된다. In the distance measurement slave sound wave signal transmission step (S2523b), when the first sound wave communication unit 10T receives the distance measurement sound wave from the second sound wave communication unit 10R, the transport distance after a preset measurement period T after reception The measurement sound wave is transmitted.

거리 측정 슬레이브 음파 신호 수신 단계(S2524b)에서, 제 2 음파 통신 유니트(10R)가 반송 거리 측정 음파가 수신된다. In the distance measurement slave sound wave signal reception step (S2524b), the distance measurement sound wave carried by the second sound wave communication unit 10R is received.

거리 인덱스 산출 단계(S2526b)에서, 제 2 음파 통신 유니트(10R)에서 반송 거리 측정 음파의 송신 시간(trans) 및 수신 시간(trecv)와 사전 설정 주기를 이용하여 제 1 음파 통신 유니트(10T)와 제 2 음파 통신 유니트(10R) 간의 사이 거리가 산출된다. In the distance index calculation step (S2526b), the second sound wave communication unit 10R uses a transmission time (trans) and a reception time (trecv) and a preset period of the carrier distance measurement sound wave and the first sound wave communication unit 10T. The distance between the second sound wave communication units 10R is calculated.

앞선 실시예에서 본 발명의 음파 통신 장치 및 이의 제어 방법이 산업 현장 중 일괄 생산 라인 상에 적용되는 경우에 대하여 도 28 및 도 29에 도시되었는데, 본 발명의 음파 통신 장치 및 이의 제어 방법이 이에 국한되는 것은 아니다. In the previous embodiment, the sound wave communication device and the control method thereof of the present invention are shown in Figs. 28 and 29 with respect to the case where the sound wave communication device and the control method thereof are applied on a batch production line among industrial sites. It does not become.

즉, 도 42에 도시된 바와 같이, 본 발명의 음파 통신 장치 및 이의 제어 방법는 AGV 차량 및 AGV 차량이 소정의 작업을 이루는 작업 스테이션과의 통신 구조를 이루는데 사용될 수도 있다. That is, as shown in FIG. 42, the acoustic wave communication apparatus and control method thereof of the present invention may be used to establish a communication structure between an AGV vehicle and a work station in which the AGV vehicle performs a predetermined task.

또한, 지면 상에 가동하여 송신 측과 수신 측의 상대 위치 변동이 발생하는 경우에 대하여 사용되는 경우만이 아니라, OHT(Overhead Transport) 등의 천장형 이동 물류 장비에 사용될 수도 있다. In addition, it may be used not only for a case where a relative position change occurs between the transmitting side and the receiving side by moving on the ground, but also for a ceiling-type mobile distribution equipment such as OHT (Overhead Transport).

즉, 자동차 생산 라인 이외에도, 반도체 공정의 생산 라인, 물류 작업 현장 내지 병원 공공 기관 등의 서류 전달 등 다양한 산업 분야의 현장에 사용될 수 있다. That is, in addition to the automobile production line, it can be used in various industrial fields such as a production line of a semiconductor process, a distribution work site, or a document delivery to a hospital public institution.

또한, 본 발명에서 음파 통신을 이루는 입력 데이터의 유형도 복잡한 작업 명령에 관련된 데이터일 수도 있으나, 단순한 형태의 데이터일 수도 있는 등 데이터의 유형에 대하여 특별한 한정되지 않는다. In addition, in the present invention, the type of input data forming sound wave communication may be data related to a complex operation command, but may be data in a simple form, and the type of data is not particularly limited.

또한, 음파 통신을 이루는 음파 통신 장치의 송수신 측 음파 통신 유니트의 형태도 특정 유형에 제한되지 않는다. 단위 개별 모듈 타입으로 구현될 수도 있으나, 음파 통신 유니트는 스마트폰, 노트북, 태블릿, 컴퓨터, 스마트워치의 형태로 구현될 수도 있는 등 음파 송출부 내지 음파 수신부의 구성을 이루는 범위에서 다양한 변형이 가능하다. Also, the shape of the sound wave communication unit on the transmission/reception side of the sound wave communication device for making sound wave communication is not limited to a specific type. Although the unit may be implemented as an individual module type, the sound wave communication unit may be implemented in the form of a smartphone, notebook, tablet, computer, or smart watch, and various modifications are possible within the range of the configuration of the sound wave transmitting unit or the sound wave receiving unit. .

즉, 도 44에 도시된 바와 같이, 특정 제조 산업 현장 이외에도 B2C 형태의 소비자가 물건을 구매하는 마트 등에서 각각의 매대에 비가청 대역의 음파를 출력하고, 소비자가 구비하는 스마트폰과의 음파 통신을 통한 물건 구매를 통하여, 직접 물건 운반하지 않고 구매 배송 가능하게 하는 온오프라인 통합 형태의 쇼핑을 실행할 수도 있는 등 다양한 산업 내지 일상 생활에의 적용이 가능하다. That is, as shown in FIG. 44, in addition to a specific manufacturing industry site, a mart, etc., where a B2C type consumer purchases a product, outputs sound waves in an inaudible band to each store, and enables sound wave communication with a smartphone provided by the consumer. It can be applied to various industries or daily life, such as being able to carry out online/offline integrated shopping that enables purchase and delivery without directly transporting the product through the purchase through the product.

10...음파 통신 유니트 20...제어부
30...저장부 40...연산부
50...입력부 51...마이크로폰센서
60...출력부 61...스피커
140...음파 송출부 210...음파 수신부
10...sound wave communication unit 20...control
30... storage section 40... computation section
50...Input 51...Microphone sensor
60...output 61...speaker
140...sound wave transmitter 210...sound wave receiver

Claims (50)

입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 제 2 음파 통신 유니트(10R)를 포함하고,
상기 제 1 음파 통신 유니트(10T)는, 입력 데이터를 비가청 고주파 대역의 음파에 실어서 상기 스피커(61)를 통하여 상기 제 2 음파 통신 유니트(10R) 측으로 송출하는 음파 송출부(140)를 포함하고,
상기 음파송출부(140)는, 전송할 데이터를 비가청 음파 전송에 적합하도록 디지털 형성(변환)하는 디지털신호생성부(141); 상기 디지털신호생성부(141)에서 변환된 디지털 데이터를 인코딩시키는 디지털신호인코딩부(142); 상기 디지털신호인코딩부(142)에서 인코딩된 데이터를 신호 처리하여 음파 데이터로 변환시키는 고주파생성부(143); 변환된 고주파를 페이드 처리하는 고주파 필터링부(144);를 포함하여 구성되고,
상기 디지털신호 생성부(141)에서 입력 데이터는 사전 설정 진법(radix)으로 디지털 변환되고,
상기 디지털신호인코딩부(142)는 잔향음 제거를 위하여 입력 데이터의 진법을 변경하는 구성을 취하고,
잔향음 제거를 위한 상기 입력 데이터(inputi)의 진법 변환은:
Figure 112020086259837-pat00074

과 같은 관계식을 통하여 진법 변환된 데이터(encodedi)가 산출되는 것을 특징으로 하는 음파 통신 장치.
At least one first sound wave communication unit (10T) for outputting input data through a speaker (61) in a sound wave communication method, and the speaker (61) is arranged to be able to change a relative position with the first sound wave communication unit (10T) And a second sound wave communication unit 10R for receiving and outputting the data from the sound wave output from the microphone sensor 51,
The first sound wave communication unit 10T includes a sound wave transmission unit 140 that loads input data on sound waves of an inaudible high frequency band and transmits the input data to the second sound wave communication unit 10R through the speaker 61. and,
The sound wave transmission unit 140 may include a digital signal generation unit 141 for digitally forming (converting) data to be transmitted to be suitable for transmission of inaudible sound waves; A digital signal encoding unit 142 for encoding the digital data converted by the digital signal generating unit 141; A high frequency generator 143 for converting the data encoded by the digital signal encoding unit 142 into sound wave data by signal processing; And a high frequency filtering unit 144 for fading the converted high frequency,
In the digital signal generation unit 141, the input data is digitally converted to a preset radix,
The digital signal encoding unit 142 is configured to change the base of input data to remove reverberation sound,
Base conversion of the input data (inputi) for reverberation removal is:
Figure 112020086259837-pat00074

A sound wave communication device, characterized in that the base code-converted data (encodedi) is calculated through a relational expression such as.
삭제delete 제 1항에 있어서,
상기 음파송출부(140)는, 상기 스피커(61)를 통하여 송출되는 음파의 잔향음 제거를 위하여 데이터의 진법을 변경하는 것을 특징으로 하는 음파 통신 장치.
The method of claim 1,
The sound wave transmission unit (140) is a sound wave communication device, characterized in that to change the base method of the data to remove the reverberation sound of the sound wave transmitted through the speaker (61).
삭제delete 삭제delete 삭제delete 삭제delete 제 1항에 있어서,
상기 고주파 생성부(143)는 고주파 음원이 시작됨과 음원이 끝남을 알리는 데이터를 추가하는 것을 특징으로 하는 음파 통신 장치.
The method of claim 1,
The high frequency generator 143 adds data indicating that a high frequency sound source starts and an end of the sound source.
입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 제 2 음파 통신 유니트(10R)를 포함하고,
상기 제 1 음파 통신 유니트(10T)는, 입력 데이터를 비가청 고주파 대역의 음파에 실어서 상기 스피커(61)를 통하여 상기 제 2 음파 통신 유니트(10R) 측으로 송출하는 음파 송출부(140)를 포함하고,
상기 음파송출부(140)는, 전송할 데이터를 비가청 음파 전송에 적합하도록 디지털 형성(변환)하는 디지털신호생성부(141); 상기 디지털신호생성부(141)에서 변환된 디지털 데이터를 인코딩시키는 디지털신호인코딩부(142); 상기 디지털신호인코딩부(142)에서 인코딩된 데이터를 신호 처리하여 음파 데이터로 변환시키는 고주파생성부(143); 변환된 고주파를 페이드 처리하는 고주파 필터링부(144);를 포함하여 구성되고,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 간에 다수의 입력 센서로부터의 입력 데이터가 존재하되, 각각의 입력 데이터에 대하여 사전 설정된 주파수 범위로 주파수 할당 가능하고,
각각의 입력 데이터는 상기 고주파생성부(143)에서 각각의 음파 데이터로 변환되되, 상기 음파 송출부(140)는 상기 각각의 음파 데이터를 통합하는 고주파 및 음원 합성부를 더 포함하는 것을 특징으로 하는 음파 통신 장치.
At least one first sound wave communication unit (10T) for outputting input data through a speaker (61) in a sound wave communication method, and the speaker (61) is arranged to be able to change a relative position with the first sound wave communication unit (10T) And a second sound wave communication unit 10R for receiving and outputting the data from the sound wave output from the microphone sensor 51,
The first sound wave communication unit 10T includes a sound wave transmission unit 140 that loads input data on sound waves of an inaudible high frequency band and transmits the input data to the second sound wave communication unit 10R through the speaker 61. and,
The sound wave transmission unit 140 may include a digital signal generation unit 141 for digitally forming (converting) data to be transmitted to be suitable for transmission of inaudible sound waves; A digital signal encoding unit 142 for encoding the digital data converted by the digital signal generating unit 141; A high frequency generator 143 for converting the data encoded by the digital signal encoding unit 142 into sound wave data by signal processing; And a high frequency filtering unit 144 for fading the converted high frequency,
Input data from a plurality of input sensors exists between the first sound wave communication unit 10T and the second sound wave communication unit 10R, but a frequency can be assigned to a preset frequency range for each input data,
Each input data is converted into respective sound wave data by the high frequency generator 143, wherein the sound wave transmission unit 140 further comprises a high frequency and sound source synthesizer for integrating the respective sound wave data. Communication device.
제 1항에 있어서,
상기 제 2 음파 통신 유니트(10R)는,
상기 제 1 음파 통신 유니트(10T)의 음파 송출부(140)로부터 송출된 고주파 대역의 음파를 수신하는 마이크로폰센서(51)를 포함하는 입력부(50)를 구비하고, 수신된 고주파 대역의 음파에 포함된 입력 데이터를 해석하여 디지털데이터로 디코딩하는 음파수신부(210)를 포함하는 것을 특징으로 하는 음파 통신 장치.
The method of claim 1,
The second sound wave communication unit 10R,
The first sound wave communication unit 10T includes an input unit 50 including a microphone sensor 51 for receiving a high frequency band sound wave transmitted from the sound wave transmission unit 140, and included in the received high frequency band sound wave A sound wave communication apparatus comprising a sound wave receiving unit 210 that interprets the input data and decodes it into digital data.
제 10항에 있어서,
상기 음파수신부(210)는,
마이크로폰센서로부터 수신한 데이터를 단수/복수개의 높은 이득(gain)을 가지는 대역주파수 증폭필터를 거쳐서 증폭하는 것을 특징으로 하는 음파 통신 장치.
The method of claim 10,
The sound wave receiving unit 210,
A sound wave communication device, characterized in that the data received from the microphone sensor is amplified through a band frequency amplification filter having a high gain of a single/plural number.
제 11항에 있어서,
상기 음파수신부(210)는,
상기 대역주파수 증폭필터는 OPAMP 증폭 회로인 것을 특징으로 하는 음파 통신 장치.
The method of claim 11,
The sound wave receiving unit 210,
The sound wave communication device, characterized in that the band frequency amplification filter is an OPAMP amplifier circuit.
제 10항에 있어서,
상기 음파수신부(210)는, 수신된 입력 데이터를 신호 처리하여 스펙트로그램(Spectrogram) 형태의 데이터로 저장하는 것을 특징으로 하는 음파 통신 장치.
The method of claim 10,
The sound wave receiving unit 210, a sound wave communication device, characterized in that the signal processing of the received input data and storing the data in the form of a spectrogram (Spectrogram).
입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 제 2 음파 통신 유니트(10R)를 포함하고,
상기 제 1 음파 통신 유니트(10T)는, 입력 데이터를 비가청 고주파 대역의 음파에 실어서 상기 스피커(61)를 통하여 상기 제 2 음파 통신 유니트(10R) 측으로 송출하는 음파 송출부(140)를 포함하고,
상기 제 2 음파 통신 유니트(10R)는, 상기 제 1 음파 통신 유니트(10T)의 음파 송출부(140)로부터 송출된 고주파 대역의 음파를 수신하는 마이크로폰센서(51)를 포함하는 입력부(50)를 구비하고, 수신된 고주파 대역의 음파에 포함된 입력 데이터를 해석하여 디지털데이터로 디코딩하는 음파수신부(210)를 포함하고,
상기 음파수신부(210)는, 수신된 입력 데이터를 신호 처리하여 스펙트로그램(Spectrogram) 형태의 데이터로 저장하고,
상기 음파수신부(210)가 데이터에 시작 신호가 있는지 확인하고, 시작 신호가 없을 경우 연산을 중단하고, 시작 신호가 감지되면, 상기 스펙트로그램(Spectrogram) 형태의 입력 데이터에서 잔향음을 제거하고 최종 처리된 주파수 신호를 해석하는 것을 특징으로 하는 음파 통신 장치.
At least one first sound wave communication unit (10T) for outputting input data through a speaker (61) in a sound wave communication method, and the speaker (61) is arranged to be able to change a relative position with the first sound wave communication unit (10T) And a second sound wave communication unit 10R for receiving and outputting the data from the sound wave output from the microphone sensor 51,
The first sound wave communication unit 10T includes a sound wave transmission unit 140 that loads input data on sound waves of an inaudible high frequency band and transmits the input data to the second sound wave communication unit 10R through the speaker 61. and,
The second sound wave communication unit 10R includes an input unit 50 including a microphone sensor 51 for receiving a high frequency band sound wave transmitted from the sound wave transmission unit 140 of the first sound wave communication unit 10T. And a sound wave receiving unit 210 that interprets input data included in the received high-frequency sound wave and decodes it into digital data,
The sound wave receiving unit 210 processes the received input data and stores it as data in a spectrogram form,
The sound wave receiver 210 checks whether there is a start signal in the data, stops the operation if there is no start signal, and when a start signal is detected, removes the reverberation sound from the input data in the form of a spectrogram and performs final processing. A sound wave communication device, characterized in that for analyzing the generated frequency signal.
제 14항에 있어서,
상기 음파수신부(210)는,
상기 신호의 시작을 감지하기 위하여, 스펙트로그램(Spectrogram)에서 가장 신호가 센 인덱스를 검출하고,
인덱스의 검출을 수행하기 위하여 시작 신호의 해당 주파수 대역에서 신호 세기와 시작 신호가 아닌 주파수 대역의 신호 세기를 동시에 측정하여 두 값 사이의 비율을 구하고,
두 신호 세기의 비율이 지정된 값 이상이고, 지정된 값 이상인 상태가 지정된 시간 이상 유지된다면 입력 데이터 신호가 시작되었다고 판단하는 구성을 특징으로 하는 음파 통신 장치.
The method of claim 14,
The sound wave receiving unit 210,
In order to detect the start of the signal, the index with the strongest signal is detected in the spectrogram,
To perform index detection, measure the signal strength in the corresponding frequency band of the start signal and the signal strength in the frequency band other than the start signal at the same time to obtain the ratio between the two values,
A sound wave communication device, comprising: determining that an input data signal has started when a ratio of two signal strengths is greater than or equal to a specified value and a state equal to or greater than the specified value is maintained for a specified time or longer.
제 15항에 있어서,
상기 스펙트로그램 상 상기 입력 데이터의 단위 데이터는 사전 설정된 개수의 데이터 프래그먼트(BLF)로 구성되는 단위 데이터 길이(BL)를 구비하고,
상기 음파 수신부(210)는, 상기 입력 데이터 신호의 시작이 감지되는 경우에 어느 시간(x)에서부터 상기 입력 데이터의 상기 단위 데이터 길이(BL) 단위로 정렬시,
어느 시간(x) 이후의 나머지 영역에 대하여 단위 데이터 길이(BL) 단위로
상기 스펙트로그램 중 동일 시간 대의 데이터 프래그먼트(BLF)에 대한 가장 신호가 큰 인덱스의 동일 개수의 최대값의 합을
어느 시간(x)을 사전 설정 크기(상기 데이터 프래그먼트(BLF))만큼 증분시켜 산출했을 때
제일 큰 값을 형성하는 어느 시간(x)이 시작 지점으로 설정되는 것을 특징으로 하는 음파 통신 장치
The method of claim 15,
The unit data of the input data on the spectrogram has a unit data length BL composed of a preset number of data fragments BLF,
When the sound wave receiving unit 210 is aligned in the unit data length BL of the input data from a certain time (x) when the start of the input data signal is detected,
For the remaining area after a certain time (x), in unit data length (BL)
Among the spectrograms, the sum of the maximum values of the same number of indexes with the largest signal for the data fragment (BLF) in the same time period
When calculated by incrementing a certain time (x) by a preset size (the data fragment (BLF))
A sound wave communication device, characterized in that a certain time (x) forming the largest value is set as a starting point
제 16항에 있어서,
상기 정렬된 데이터의 상기 단위 데이터 길이(BL)만큼 후속하는 후속 데이터에 대하여 상기 정렬된 데이터에 사전 설정 감쇠율(echoGain)로 감쇠시켜 잔향음을 제거하는 것을 특징으로 하는 음파 통신 장치.
The method of claim 16,
And attenuating the aligned data with a preset attenuation rate (echoGain) for subsequent data following the unit data length BL of the aligned data to remove reverberation.
제 17항에 있어서,
잔향음 제거된 후, 상기 정렬된 데이터(encodedi)의 진법 변환은:
Figure 112019103296319-pat00023

과 같은 관계식을 통하여 잔향음 제거 진법 역변환된 데이터(outputi)가 산출되는 것을 특징으로 하는 음파 통신 장치.
The method of claim 17,
After the reverberation is removed, the base conversion of the sorted data (encodedi) is:
Figure 112019103296319-pat00023

A sound wave communication device, characterized in that the data (outputi) converted from the reverberant sound removal base method is calculated through a relational expression such as.
제17항에 있어서,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R)는 상호간 거리를 반영한 거리 인덱스를 고려하여 통신 연결이 이루어지는 것을 특징으로 하는 음파 통신 장치.
The method of claim 17,
The first sound wave communication unit (10T) and the second sound wave communication unit (10R) is a sound wave communication device, characterized in that the communication connection is made in consideration of a distance index reflecting the mutual distance.
입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)를 구비하는 제 1 음파 통신 그룹과, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함하는 제 2 음파 통신 그룹을 구비하고,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R)는 상호간 거리를 반영한 거리 인덱스를 고려하여 통신 연결이 이루어지고,
상기 제 2 음파 통신 유니트가 복수 개가 구비되고, 상기 거리 인덱스는 상기 제 2 음파 통신 유니트(10R)가 수신하는 신호를 세기를 기반으로 정렬되고 최대 세기 값을 제외한 사전 설정 값을 기준으로 산출되고, 상기 복수 개의 제 2 음파 통신 유니트 중 최대 거리 인덱스를 구비하되, 산출된 거리 인덱스가 사전 설정 거리 인덱스 이상인 제 2 음파 통신 유니트와 상기 제 1 음파 통신 유니트가 통신 연결되는 것을 특징으로 하는 음파 통신 장치.
A first sound wave communication group having at least one first sound wave communication unit 10T that outputs input data through a speaker 61 in a sound wave communication method, and a relative position with the first sound wave communication unit 10T can be changed. And a second sound wave communication group including at least one second sound wave communication unit 10R configured to receive and output the data from sound waves output from the speaker 61 through the microphone sensor 51, and
The first sound wave communication unit 10T and the second sound wave communication unit 10R are connected to each other in consideration of a distance index reflecting the mutual distance,
A plurality of the second sound wave communication units are provided, and the distance index is calculated based on a preset value excluding a maximum intensity value and aligned based on the strength of the signal received by the second sound wave communication unit 10R, A second sound wave communication unit having a maximum distance index among the plurality of second sound wave communication units, wherein the calculated distance index is greater than or equal to a preset distance index, and the first sound wave communication unit are connected to each other for communication.
삭제delete 삭제delete 입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)를 구비하는 제 1 음파 통신 그룹과, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함하는 제 2 음파 통신 그룹을 구비하고,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R)는 상호간 거리를 반영한 거리 인덱스를 고려하여 통신 연결이 이루어지고,
상기 제 2 음파 통신 유니트가 복수 개가 구비되고, 상기 거리 인덱스는 상기 제 2 음파 통신 유니트(10R)가 수신하는 신호를 세기를 기반으로 정렬되고 최대 세기 값을 제외한 사전 설정 값을 기준으로 산출되고, 상기 복수 개의 제 2 음파 통신 유니트 중 최대 거리 인덱스를 구비하되, 산출된 거리 인덱스가 사전 설정 거리 인덱스 이상인 제 2 음파 통신 유니트와 상기 제 1 음파 통신 유니트가 통신 연결되고,
상기 사전 설정 값은 세기를 기반으로 정렬된 신호 중 하위 50% 이하의 값 중 선택되는 것을 특징으로 하는 음파 통신 장치.
A first sound wave communication group having at least one first sound wave communication unit 10T that outputs input data through a speaker 61 in a sound wave communication method, and a relative position with the first sound wave communication unit 10T can be changed. And a second sound wave communication group including at least one second sound wave communication unit 10R configured to receive and output the data from sound waves output from the speaker 61 through the microphone sensor 51, and
The first sound wave communication unit 10T and the second sound wave communication unit 10R are connected to each other in consideration of a distance index reflecting the mutual distance,
A plurality of the second sound wave communication units are provided, and the distance index is calculated based on a preset value excluding a maximum intensity value and aligned based on the strength of the signal received by the second sound wave communication unit 10R, A second sound wave communication unit having a maximum distance index among the plurality of second sound wave communication units, wherein the calculated distance index is equal to or greater than a preset distance index, and the first sound wave communication unit are communication-connected,
The preset value is a sound wave communication device, characterized in that selected from among the values of the lower 50% or less among the signals sorted based on the intensity.
제 20항에 있어서,
상기 제 2 음파 통신 유니트가 복수 개가 구비되고, 상기 제 1 음파 통신 유니트(10T) 및 상기 제 2 음파 통신 유니트(10R)는 모두 음파 송수신이 가능한 것을 특징으로 하는 음파 통신 장치.
The method of claim 20,
A plurality of second sound wave communication units are provided, and both the first sound wave communication unit (10T) and the second sound wave communication unit (10R) are capable of transmitting and receiving sound waves.
입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)를 구비하는 제 1 음파 통신 그룹과, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함하는 제 2 음파 통신 그룹을 구비하고,
상기 제 2 음파 통신 유니트가 복수 개가 구비되고, 상기 제 1 음파 통신 유니트(10T) 및 상기 제 2 음파 통신 유니트(10R)는 모두 음파 송수신이 가능하고,
상기 제 2 음파 통신 유니트(10R)는 거리 측정 음파를 사전 설정 측정 주기(T)로 송신하고, 상기 제 1 음파 통신 유니트(10T)는 상기 제 2 음파 통신 유니트(10R)로부터의 거리 측정 음파를 수신하는 경우 수신 후 사전 설정 측정 주기(T) 후에 반송 거리 측정 음파를 송신하고, 상기 제 2 음파 통신 유니트(10R)는 상기 제 1 음파 통신 유니트(10T)의 상기 반송 거리 측정 음파를 수신하여 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 간의 사이 거리를 측정하는 것을 특징으로 하는 음파 통신 장치.
A first sound wave communication group having at least one first sound wave communication unit 10T that outputs input data through a speaker 61 in a sound wave communication method, and a relative position with the first sound wave communication unit 10T can be changed. And a second sound wave communication group including at least one second sound wave communication unit 10R configured to receive and output the data from sound waves output from the speaker 61 through the microphone sensor 51, and
A plurality of second sound wave communication units are provided, and both the first sound wave communication unit 10T and the second sound wave communication unit 10R are capable of transmitting and receiving sound waves,
The second sound wave communication unit 10R transmits a distance measurement sound wave at a preset measurement period T, and the first sound wave communication unit 10T receives the distance measurement sound wave from the second sound wave communication unit 10R. In the case of receiving, a carrier distance measurement sound wave is transmitted after a preset measurement period (T) after reception, and the second sound wave communication unit 10R receives the carrier distance measurement sound wave of the first sound wave communication unit 10T, and the A sound wave communication device, characterized in that measuring a distance between the first sound wave communication unit (10T) and the second sound wave communication unit (10R).
입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함하는 음파 통신 장치를 제공하는 제공 단계(S1)와, 상기 제 1 음파 통신 유니트(10T)의 음파송출부(140)가 상기 입력 데이터를 비가청 고주파 대역의 음파에 실어서 상기 스피커(61)를 통하여 상기 제 2 음파 통신 유니트(10R)에 송출하는 음파 송출 단계(S10)와, 상기 제 2 음파 통신 유니트(10R)의 음파수신부(210)가 상기와 같이 음파송출단계를 통하여 송출된 고주파 대역의 입력 데이터를 마이크로폰센서로 수신하고, 수신된 고주파 대역의 음파에 포함된 입력 데이터를 분석하여 디지털데이터를 복호화하는 음파수신단계(S20)를 포함하고,
상기 음파 송출 단계(S10)는: 상기 제 1 음파 통신 유니트(10T)의 음파 송출부(140)의 디지털 신호 생성부(141)에서 전송할 상기 입력 데이터를 비가청 음파 전송에 적합하도록 디지털 데이터 형태로 준비 형성되는 디지털 데이터 생성 단계(S11)와, 상기 음파 송출부(140)의 디지털신호인코딩부(142)에서 준비된 디지털 데이터를 인코딩시키는 디지털 데이터 인코딩 단계(S13)와, 상기 음파 송출부(140)의 고주파생성부(143)에서 인코딩된 데이터를 신호 처리하여 음파 데이터로 변환시키는 음파 변환 단계(S16)와, 상기 스피커(61)를 통하여 음파통신 방식으로 음파 출력되는 음파 출력 단계(S19)를 포함하고,
상기 디지털 데이터 생성 단계(S11)에서 상기 입력 데이터는 사전 설정 진법(radix)으로 디지털 변환이 이루어지고,
상기 디지털 데이터 인코딩 단계(S13)에서 잔향음 제거를 위하여 상기 디지털 변환된 입력 데이터를 잔향음 제거를 위하여 진법 변환시키고,
상기 디지털 데이터 인코딩 단계(S13)에서 상기 잔향음 제거를 위한 상기 디지털 변환된 입력 데이터(inputi)의 진법 변환을 통하여 진법 변환된 데이터(encodedi)가 산출되고, 상기 진법 변환은:
Figure 112020086259837-pat00024

과 같은 관계식을 통하여 산출되는 것을 특징으로 하는 음파 통신 장치 제어 방법.
At least one first sound wave communication unit (10T) for outputting input data through a speaker (61) in a sound wave communication method, and the speaker (61) is arranged to be able to change a relative position with the first sound wave communication unit (10T) Providing step (S1) of providing a sound wave communication device including at least one second sound wave communication unit 10R receiving and outputting the data from the sound wave output from the microphone sensor 51, and the first sound wave A sound wave transmission step in which the sound wave transmission unit 140 of the communication unit 10T loads the input data onto sound waves of an inaudible high frequency band and transmits the input data to the second sound wave communication unit 10R through the speaker 61 (S10). ), and the sound wave receiving unit 210 of the second sound wave communication unit 10R receives the input data of the high frequency band transmitted through the sound wave transmission step as described above by a microphone sensor, and is included in the received sound wave of the high frequency band. Including a sound wave receiving step (S20) of decoding the digital data by analyzing the input data,
In the sound wave transmission step (S10), the input data to be transmitted from the digital signal generation unit 141 of the sound wave transmission unit 140 of the first sound wave communication unit 10T is converted into a digital data format suitable for transmission of inaudible sound waves. A digital data generation step (S11) that is formed in preparation, a digital data encoding step (S13) of encoding digital data prepared by the digital signal encoding unit 142 of the sound wave transmission unit 140 (S13), and the sound wave transmission unit 140 Including a sound wave conversion step (S16) of converting the data encoded by the high frequency generator 143 of the signal into sound wave data, and a sound wave output step (S19) of outputting sound waves in a sound wave communication method through the speaker 61 and,
In the digital data generation step (S11), the input data is digitally converted to a preset radix,
In the digital data encoding step (S13), in order to remove the reverberation sound, the digitally converted input data is base-converted to remove the reverberation sound,
In the digital data encoding step (S13), base system-converted data (encodedi) is calculated through base system conversion of the digitally converted input data (inputi) for removing the reverberation sound, and the base system conversion is:
Figure 112020086259837-pat00024

A method for controlling a sound wave communication device, characterized in that calculated through a relational expression such as.
삭제delete 삭제delete 삭제delete 삭제delete 제 26항에 있어서,
상기 음파 변환 단계(S16)는:
상기 인코딩된 입력 데이터의 전후에 시작과 끝을 알리는 알림 데이터를 추가하는 시종 데이터 추가 단계(S161)와,
상기 인코딩된 입력 데이터를 주파수 도메인으로 변환하는 주파수 도메인 변환 단계(S163)와,
상기 주파수 도메인 변환된 입력 데이터를 출력 가능한 음파 형태로 변환하는 시간 도메인 변환 단계(S165)를 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 26,
The sound wave conversion step (S16) is:
Starting data adding step (S161) of adding notification data indicating the start and end of the encoded input data,
A frequency domain conversion step (S163) of converting the encoded input data into a frequency domain,
And a time domain conversion step (S165) of converting the frequency domain converted input data into an output sound wave form.
제 31항에 있어서,
상기 음파 송출부(140)의 고주파 필터링부(144)에서 상기 음파 변환 단계(S16)에서 변화된 고주파가 페이드 처리되는 음파 필터링 단계(S17)가 더 포함되는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 31,
And a sound wave filtering step (S17) of fading the high frequency changed in the sound wave conversion step (S16) by the high frequency filtering unit (144) of the sound wave transmission unit (140).
제 31항에 있어서,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 간에 다수의 입력 센서로부터의 입력 데이터가 존재하되, 각각의 입력 데이터에 대하여 사전 설정된 주파수 범위로 주파수 할당한 주파수 할당 단계(S15)와,
상기 음파 송출부(140)의 고주파 및 음원 합성부(145)에서 음파 출력 단계(S19) 전에 상기 각각의 사전 설정된 주파수 범위로 주파수 할당된 음파 데이터가 통합되는 음파 믹싱 단계(S18)가 더 구비되는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 31,
A frequency allocation step in which input data from a plurality of input sensors exist between the first sound wave communication unit 10T and the second sound wave communication unit 10R, and a frequency is allocated to a preset frequency range for each input data ( S15) and,
A sound wave mixing step (S18) in which the sound wave data frequency allocated to each of the preset frequency ranges is integrated before the sound wave output step (S19) in the high frequency and sound source synthesizer 145 of the sound wave transmission unit 140 is further provided. Sound wave communication device control method, characterized in that.
입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함하는 음파 통신 장치를 제공하는 제공 단계(S1)와, 상기 제 1 음파 통신 유니트(10T)의 음파송출부(140)가 상기 입력 데이터를 비가청 고주파 대역의 음파에 실어서 상기 스피커(61)를 통하여 상기 제 2 음파 통신 유니트(10R)에 송출하는 음파 송출 단계(S10)와, 상기 제 2 음파 통신 유니트(10R)의 음파수신부(210)가 상기와 같이 음파송출단계를 통하여 송출된 고주파 대역의 입력 데이터를 마이크로폰센서로 수신하고, 수신된 고주파 대역의 음파에 포함된 입력 데이터를 분석하여 디지털데이터를 복호화하는 음파수신단계(S20)를 포함하고,
상기 음파수신단계(S20)는: 상기 마이크로폰센서(51)를 통하여 음파 데이터 형태의 고주파 대역의 입력 데이터를 포함하는 음파 신호를 감지하는 음파 신호 수신 단계(S21)와, 상기 수신된 음파 신호에서 해당 음파 데이터를 포함하는 주파수를 분리하여 음파 데이터를 신호 처리하는 주파수 분리 신호 처리 단계(S23)와, 상기 분리된 음파 신호 중 음파 데이터를 디지털 데이터로 변환하는 디지털 데이터 디코딩 단계(S24)와, 상기 디지털 데이터로 디코딩된 신호의 정합성을 확인하는 디지털 데이터 정합성 확인 단계(S25)와, 상기 정합성이 확인된 디지털 데이터를 출력하는 디지털 데이터 출력 단계(S26)를 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
At least one first sound wave communication unit (10T) for outputting input data through a speaker (61) in a sound wave communication method, and the speaker (61) is arranged to be able to change a relative position with the first sound wave communication unit (10T) Providing step (S1) of providing a sound wave communication device including at least one second sound wave communication unit 10R receiving and outputting the data from the sound wave output from the microphone sensor 51, and the first sound wave A sound wave transmission step in which the sound wave transmission unit 140 of the communication unit 10T loads the input data onto sound waves of an inaudible high frequency band and transmits the input data to the second sound wave communication unit 10R through the speaker 61 (S10). ), and the sound wave receiving unit 210 of the second sound wave communication unit 10R receives the input data of the high frequency band transmitted through the sound wave transmission step as described above by a microphone sensor, and is included in the received sound wave of the high frequency band. Including a sound wave receiving step (S20) of decoding the digital data by analyzing the input data,
The sound wave receiving step (S20) includes: a sound wave signal receiving step (S21) of detecting a sound wave signal including input data of a high frequency band in the form of sound wave data through the microphone sensor 51, and corresponding to the received sound wave signal. A frequency separation signal processing step (S23) of processing sound wave data by separating a frequency including sound wave data, a digital data decoding step (S24) of converting sound wave data from the separated sound wave signals into digital data, and the digital And a digital data consistency check step (S25) of confirming the consistency of a signal decoded as data, and a digital data output step (S26) of outputting the digital data whose consistency is confirmed.
제 34항에 있어서,
상기 주파수 분리 신호 처리 단계(S23)는:
상기 수신된 음파 신호에서 해당 음파 데이터 형태의 입력 데이터를 주파수 신호 데이터로 변환하고 스펙트로그램(Spectrogram) 형태의 데이터로 생성 저장하는 주파수 신호 데이터 변환 단계(S231)와,
상기 주파수 신호 데이터 변환 단계(S231)에서 변환된 입력 데이터의 시작 여부를 확인 정렬 신호 처리하는 주파수 신호 데이터 처리 단계(S233)를 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 34,
The frequency separation signal processing step (S23) is:
A frequency signal data conversion step (S231) of converting input data in the form of corresponding sound wave data from the received sound wave signal into frequency signal data and generating and storing data in a spectrogram form;
And a frequency signal data processing step (S233) of processing an alignment signal to check whether the input data converted in the frequency signal data conversion step (S231) starts.
제 35항에 있어서,
상기 주파수 신호 데이터 변환 단계(S231)는:
상기 수신된 음파 신호에서 해당 음파 데이터 형태의 입력 데이터를 주파수 도메인 변환하여 주파수 신호 데이터를 형성하는 주파수 도메인 변환 단계(S2311)와,
상기 변환된 주파수 신호 데이터를 스펙트로그램(Spectrogram) 형태 변환하는 주파수 신호 스펙트로그램 변환 단계(S2313)를 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 35,
The frequency signal data conversion step (S231) is:
A frequency domain conversion step (S2311) of forming frequency signal data by frequency domain conversion of input data in the form of corresponding sound wave data from the received sound wave signal;
And a frequency signal spectrogram conversion step (S2313) of converting the converted frequency signal data into a spectrogram form (S2313).
제 35항에 있어서,
상기 주파수 신호 데이터 처리 단계(S233)는:
상기 주파수 신호 데이터 변환 단계(S231)에서 변환된 입력 데이터의 시작 여부를 확인하는 주파수 신호 데이터 시작 확인 단계(S2331)와,
상기 주파수 신호 데이터 시작 확인 단계(S23331)에서 시작 여부가 확인되는 경우, 상기 스펙트로그램(Spectrogram)에서 데이터 비트 별로 구분하는 주파수 신호 데이터 정렬 단계(S2333)와,
상기 정렬된 데이터의 단위 데이터 길이(BL)만큼 후속하는 후속 데이터에 대하여 상기 정렬된 데이터에 사전 설정 감쇠율(echoGain)로 감쇠시켜 잔향음을 제거하는 잔향음 제거 단계(S2335)와,
상기 잔향음이 제거된 데이터를 사전 설정된 방식으로 정규화시키는 데이터 복원 단계(S2337)와,
상기 정규화된 데이터로부터 데이터 비트별 에너지 세기를 구하여 데이터 비트 값을 산출하는 데이터 평가 단계(S2339)를 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 35,
The frequency signal data processing step (S233) is:
A frequency signal data start checking step (S2331) of checking whether the input data converted in the frequency signal data conversion step (S231) starts,
When the frequency signal data start checking step (S23331) determines whether or not it starts, the frequency signal data sorting step (S2333) of dividing each data bit in the spectrogram,
A reverberation sound removal step (S2335) of removing reverberation by attenuating the aligned data at a preset attenuation rate (echoGain) with respect to subsequent data following the unit data length BL of the aligned data;
A data restoration step (S2337) of normalizing the data from which the reverberation sound has been removed in a preset manner,
And a data evaluation step (S2339) of calculating a data bit value by obtaining an energy intensity for each data bit from the normalized data.
제 37항에 있어서,
상기 주파수 신호 데이터 시작 확인 단계(S2331)는:
상기 스펙트로그램(Spectrogram)에서 신호 세기가 가장 센 인덱스를 검출하고, 시작 신호의 해당 주파수 대역에서의 신호 세기(spectrum(index,start_freq))와, 시작 신호가 아닌 주파수 대역의 신호 세기를 측정하여 두 신호 세기로 시작 신호 세기 비율(start signal ration(index))를 산출하고, 상기 시작 신호 세기 비율(start signal ration(index))이 사전 설정 저장된 사전 설정 신호 세기 비율(ssrs) 이상인 상태의 유지 지속 시간을 산출하는 시작 신호 세기 비율 및 유지 지속 시간 산출 단계(S23311)와,
상기 시작 신호 세기 비율(start signal ration(index))과 사전 설정 저장된 사전 설정 신호 세기 비율(ssrs)를 그리고 유지 지속 시간과 사전 설정 저장된 사전 설정 유지 지속 시간을 비교하여, 시작 여부를 판단하는 시작 신호 여부 판단 단계(S23313)을 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 37,
The frequency signal data start checking step (S2331) is:
The index with the highest signal strength is detected in the spectrogram, and the signal strength in the corresponding frequency band of the start signal (spectrum (index, start_freq)) and the signal strength in the frequency band other than the start signal are measured. A start signal intensity ratio (start signal ration (index)) is calculated from the signal intensity, and the maintenance duration of the state in which the start signal intensity ratio (start signal ration (index)) is equal to or greater than a preset stored signal intensity ratio (ssrs) A start signal intensity ratio and a maintenance duration calculation step (S23311) of calculating
A start signal for determining whether to start by comparing the start signal ration (index) and the preset signal strength ratio (ssrs) stored in advance, and the maintenance duration time and the preset maintenance duration time stored in advance. A method for controlling a sound wave communication device, comprising: determining whether or not (S23313).
제 37항에 있어서,
상기 스펙트로그램 상 상기 입력 데이터의 단위 데이터는 사전 설정된 개수의 데이터 프래그먼트(BLF)로 구성되는 단위 데이터 길이(BL)를 구비하고,
상기 주파수 신호 데이터 정렬 단계(S2333)에서, 상기 입력 데이터 신호의 시작이 감지되는 경우에 어느 시간(x)에서부터 상기 입력 데이터의 상기 단위 데이터 길이(BL) 단위로 정렬하는 경우,
어느 시간(x) 이후의 나머지 영역에 대하여 단위 데이터 길이(BL) 단위로
상기 스펙트로그램 중 동일 시간 대의 데이터 프래그먼트(BLF)에 대한 가장 신호가 큰 인덱스의 동일 개수의 최대값의 합을
어느 시간(x)을 사전 설정 크기(상기 데이터 프래그먼트(BLF))만큼 증분시켜 산출했을 때
제일 큰 값을 형성하는 어느 시간(x)이 시작 지점으로 설정되는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 37,
The unit data of the input data on the spectrogram has a unit data length BL composed of a preset number of data fragments BLF,
In the frequency signal data alignment step (S2333), when the start of the input data signal is detected, when the input data is aligned in the unit data length (BL) unit from a certain time (x),
For the remaining area after a certain time (x), in unit data length (BL)
Among the spectrograms, the sum of the maximum values of the same number of indexes with the largest signal for the data fragment (BLF) in the same time period
When calculated by incrementing a certain time (x) by a preset size (the data fragment (BLF))
A method for controlling a sound wave communication device, characterized in that a certain time (x) forming the largest value is set as a starting point.
제 39항에 있어서,
상기 주파수 신호 데이터 정렬 단계(S2333)는:
상기 어느 시간(x)에서부터 동일 데이터 프래그먼트(BLF) 중 가장 신호가 큰 데이터 프래그먼트(BLF)의 인덱스인 맥스 에너지 인덱스(MaxEnergyIndex(x))를 산출하는 맥스에너지인덱스 산출 단계(S23331)와,
상기 맥스 에너지 인덱스(MaxEnergyIndex(x)) 중에서 상기 단위 데이터 길이(BL) 단위로 동일한 인덱스의 개수인 새임카운트(SameCount(val,x))를 산출하는 새임카운드 산출 단계(S23333)와,
상기 단위 데이터 길이(BL) 단위로 상기 스펙트로그램의 상기 어느 시간(x) 이후 나머지 영역에 대하여 상기 새임카운트(SameCount(val,x))의 최대값의 합인 맥스리피트카운터(MaxRepeatCounter(x))를 산출하는 맥스리피트카운터 산출 단계(S23335)와,
어느 시간(x)을 사전 설정 크기(상기 데이터 프래그먼트(BLF))만큼 증분시켜 상기 맥스리피트카운터 산출 단계를 산출하여 도출되는 복수 개의 맥스리피트카운터(MaxRepeatCounter(x)) 중 최대 맥스리피트카운터(MaxRepeatCounter(x))를 형성하는 어느 지점(x)을 시작 지점으로 설정하고 해당 어느 지점(x)의 인덱스를 시작 인덱스(StartIndex)로 설정하는 시작 인덱스 산출 단계(S23337)을 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 39,
The frequency signal data alignment step (S2333) is:
A max energy index calculation step (S23331) of calculating a max energy index (MaxEnergyIndex(x)) which is an index of the data fragment BLF having the largest signal among the same data fragments BLF from a certain time (x);
A new im count calculation step (S23333) of calculating a new im count (SameCount(val,x)), which is the number of the same index in the unit data length BL unit among the MaxEnergyIndex(x),
A MaxRepeatCounter(x), which is the sum of the maximum values of the new im count (SameCount(val,x)) for the remaining area after a certain time (x) of the spectrogram in the unit data length (BL) unit Max repeat counter calculation step (S23335) to be calculated,
The maximum MaxRepeatCounter (MaxRepeatCounter(x)) among a plurality of MaxRepeatCounter(x) derived by calculating the Max Repeat Counter calculation step by incrementing a certain time (x) by a preset size (the data fragment (BLF)) Sound wave communication, characterized in that it comprises a start index calculation step (S23337) of setting a point (x) forming x)) as a starting point and setting the index of the point (x) as a start index (StartIndex) Device control method.
제 34항에 있어서,
상기 디지털 데이터 디코딩 단계(S24)에서,
Figure 112020086259837-pat00025

과 같은 관계식을 통하여
정렬 후 잔향음이 제거된 데이터(encodedi)의 진법 변환이 실행되어 잔향음 제거 진법 역변환된 데이터(outputi)가 산출되는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 34,
In the digital data decoding step (S24),
Figure 112020086259837-pat00025

Through a relational expression such as
A method for controlling a sound wave communication device, characterized in that base conversion of the data (encodedi) from which the reverberation sound has been removed after alignment is performed to calculate the inversely-transformed data (outputi) of the reverberation sound removal base.
입력 데이터를 스피커(61)를 통하여 음파통신 방식으로 출력하는 적어도 하나 이상의 제 1 음파 통신 유니트(10T)와, 상기 제 1 음파 통신 유니트(10T)와 상대 위치 변동 가능하도록 배치되고 상기 스피커(61)로부터 출력되는 음파로부터 상기 데이터를 마이크로폰 센서(51)를 통하여 수신하여 출력하는 적어도 하나 이상의 제 2 음파 통신 유니트(10R)를 포함하는 음파 통신 장치를 제공하는 제공 단계(S1)와, 상기 제 1 음파 통신 유니트(10T)의 음파송출부(140)가 상기 입력 데이터를 비가청 고주파 대역의 음파에 실어서 상기 스피커(61)를 통하여 상기 제 2 음파 통신 유니트(10R)에 송출하는 음파 송출 단계(S10)와, 상기 제 2 음파 통신 유니트(10R)의 음파수신부(210)가 상기와 같이 음파송출단계를 통하여 송출된 고주파 대역의 입력 데이터를 마이크로폰센서로 수신하고, 수신된 고주파 대역의 음파에 포함된 입력 데이터를 분석하여 디지털데이터를 복호화하는 음파수신단계(S20)를 포함하고,
상기 음파수신단계(S20)는:
상기 마이크로폰센서(51)를 통하여 음파 데이터 형태의 고주파 대역의 입력 데이터를 포함하는 음파 신호를 감지하는 음파 신호 수신 단계(S21)와,
상기 수신된 음파 신호에서 해당 음파 데이터를 포함하는 주파수를 분리하여 음파 데이터를 신호 처리하는 주파수 분리 신호 처리 단계(S23)와,
상기 분리된 음파 신호 중 음파 데이터를 디지털 데이터로 변환하는 디지털 데이터 디코딩 단계(S24)와,
상기 디지털 데이터로 디코딩된 신호의 정합성을 확인하고 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 상호간 거리를 반영한 거리 인덱스로부터 정밀성을 판단하여 통신 연결 여부를 확인하는 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)와,
상기 정합성이 확인된 디지털 데이터를 출력하는 디지털 데이터 출력 단계(S26)를 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
At least one first sound wave communication unit (10T) for outputting input data through a speaker (61) in a sound wave communication method, and the speaker (61) is arranged to be able to change a relative position with the first sound wave communication unit (10T) Providing step (S1) of providing a sound wave communication device including at least one second sound wave communication unit 10R receiving and outputting the data from the sound wave output from the microphone sensor 51, and the first sound wave A sound wave transmission step in which the sound wave transmission unit 140 of the communication unit 10T loads the input data onto sound waves of an inaudible high frequency band and transmits the input data to the second sound wave communication unit 10R through the speaker 61 (S10). ), and the sound wave receiving unit 210 of the second sound wave communication unit 10R receives the input data of the high frequency band transmitted through the sound wave transmission step as described above by a microphone sensor, and is included in the received sound wave of the high frequency band. Including a sound wave receiving step (S20) of decoding the digital data by analyzing the input data,
The sound wave receiving step (S20) is:
A sound wave signal receiving step (S21) of detecting a sound wave signal including input data of a high frequency band in the form of sound wave data through the microphone sensor 51,
A frequency separation signal processing step (S23) of signal-processing the sound wave data by separating a frequency including the corresponding sound wave data from the received sound wave signal;
Digital data decoding step (S24) of converting sound wave data of the separated sound wave signals into digital data,
Digital data that checks the consistency of the signal decoded as the digital data and determines whether or not communication is connected by determining precision from a distance index reflecting the distance between the first sound wave communication unit 10T and the second sound wave communication unit 10R The consistency and precision check step (S25a),
And a digital data output step (S26) of outputting the digital data whose consistency has been confirmed.
제 42항에 있어서,
상기 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)는:
상기 디코딩된 디지털 데이터의 체크섬을 확인하는 체크섬 확인 단계(S251a)와,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리를 산출하는 거리 산출 단계(S252)와,
상기 체크섬 확인 단계(S251a)에서 확인된 상기 체크섬이 적합한지 판단하는 체크섬 적합 판단 단계(S253)와,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리인 거리 인덱스와 사전 설정 거리(ds)를 비교하는 거리 적합 판단 단계(S254)를 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 42,
The digital data consistency and precision checking step (S25a) is:
A checksum checking step (S251a) of checking the checksum of the decoded digital data,
A distance calculation step (S252) of calculating a distance between the first sound wave communication unit 10T and the second sound wave communication unit 10R,
A checksum suitability determination step (S253) of determining whether the checksum checked in the checksum confirmation step (S251a) is appropriate, and
And a distance fit determination step (S254) comparing a distance index, which is a distance between the first sound wave communication unit 10T and the second sound wave communication unit 10R, with a preset distance ds. Communication device control method.
제 42항에 있어서,
상기 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)는:
상기 디코딩된 디지털 데이터의 체크섬을 확인하는 체크섬 확인 단계(S251a)와,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스 (DI)를 산출하는 거리 인덱스 (DI) 산출 단계(S252a)와,
상기 체크섬 확인 단계(S251a)에서 확인된 상기 체크섬이 적합한지 판단하는 체크섬 적합 판단 단계(S253)와,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스(DI)와 사전 설정 거리 인덱스(DIs)를 비교하는 거리 적합 판단 단계(S254a)를 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 42,
The digital data consistency and precision checking step (S25a) is:
A checksum checking step (S251a) of checking the checksum of the decoded digital data,
A distance index (DI) calculation step (S252a) of calculating a distance index (DI) between the first sound wave communication unit 10T and the second sound wave communication unit 10R;
A checksum suitability determination step (S253) of determining whether the checksum checked in the checksum confirmation step (S251a) is appropriate, and
And a distance fit determination step (S254a) comparing a distance index DI and a preset distance index DIs between the first sound wave communication unit 10T and the second sound wave communication unit 10R. Sound wave communication device control method.
제 44항에 있어서,
상기 제 2 음파 통신 유니트가 복수 개가 구비되고,
상기 거리 인덱스는 상기 제 2 음파 통신 유니트(10R)가 수신하는 신호를 세기를 기반으로 정렬되고 최대 세기 값을 제외한 사전 설정 값을 기준으로 산출되고,
상기 거리 적합 판단 단계(S254a)에서, 산출된 거리 인덱스가 사전 설정 거리 인덱스 이상인 제 2 음파 통신 유니트와 상기 제 1 음파 통신 유니트가 통신 연결되는 것으로 판단하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 44,
A plurality of the second sound wave communication units are provided,
The distance index is arranged based on the strength of the signal received by the second sound wave communication unit 10R and is calculated based on a preset value excluding a maximum strength value,
In the distance suitability determination step (S254a), it is determined that a second sound wave communication unit having a calculated distance index equal to or greater than a preset distance index and the first sound wave communication unit are communication-connected.
제 45항에 있어서,
상기 거리 인덱스는 아래 수학식을 통하여 산출되는 것을 특징으로 하는 음파 통신 장치 제어 방법.
(수학식)
Figure 112019103296319-pat00026

여기서, 어레이(array = strength of data signal)는 입력 데이터의 데이터 비트의 신호 세기 배열이고, 어레이 정렬(sorted_array = sort(array,descend))은 어레이의 순서 정렬임.
The method of claim 45,
The distance index is a method for controlling a sound wave communication device, characterized in that calculated through the following equation.
(Equation)
Figure 112019103296319-pat00026

Here, the array (array = strength of data signal) is an array of signal strengths of the data bits of the input data, and the array sort (sorted_array = sort(array,descend)) is the order of the array.
제 46항에 있어서,
상기 사전 설정 값은 세기를 기반으로 정렬된 신호 중 하위 50% 이하의 값 중 선택되는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 46,
The preset value is a sound wave communication device control method, characterized in that selected from a value of less than the lower 50% of the signals sorted based on the intensity.
제 42항에 있어서,
상기 디지털 데이터 정합성 및 정밀성 확인 단계(S25a)는:
상기 디코딩된 디지털 데이터의 체크섬을 확인하는 체크섬 확인 단계(S251a)와,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스인 TOF 거리(DTOF)를 산출하는 TOF 거리 인덱스 산출 단계(S252b)와,
상기 체크섬 확인 단계(S251a)확인된 상기 체크섬이 적합한지 판단하는 체크섬 적합 판단 단계(S253)와,
상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 사이의 거리 인덱스(DTOF)와 사전 설정 거리 인덱스(Ds)를 비교하는 거리 적합 판단 단계(S254b)를 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 42,
The digital data consistency and precision checking step (S25a) is:
A checksum checking step (S251a) of checking the checksum of the decoded digital data,
A TOF distance index calculation step (S252b) of calculating a TOF distance DTOF, which is a distance index between the first sound wave communication unit 10T and the second sound wave communication unit 10R,
The checksum confirmation step (S251a) a checksum suitability determination step (S253) of determining whether the checked checksum is appropriate, and
And a distance fit determination step (S254b) of comparing a distance index DTOF between the first sound wave communication unit 10T and the second sound wave communication unit 10R and a preset distance index Ds. Sound wave communication device control method.
제 48항에 있어서,
상기 제 2 음파 통신 유니트가 복수 개가 구비되고,
상기 제 1 음파 통신 유니트(10T) 및 상기 제 2 음파 통신 유니트(10R)는 모두 음파 송수신이 가능한 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 48,
A plurality of the second sound wave communication units are provided,
The first sound wave communication unit (10T) and the second sound wave communication unit (10R) are both capable of transmitting and receiving sound waves.
제 49항에 있어서,
상기 제 2 음파 통신 유니트(10R)에서 거리 측정 음파를 사전 설정 측정 주기(T)로 송신하는 거리 측정 마스터 음파 신호 송신 단계(S2521b)와,
상기 제 1 음파 통신 유니트(10T)가 상기 거리 측정 음파를 수신하는 거리 측정 마스터 음파 신호 수신 단계(S2522b)와,
상기 제 1 음파 통신 유니트(10T)가 상기 제 2 음파 통신 유니트(10R)로부터의 거리 측정 음파를 수신하는 경우 수신 후 사전 설정 측정 주기(T) 후에 반송 거리 측정 음파를 송신하는 거리 측정 슬레이브 음파 신호 송신 단계(S2523b)와,
상기 제 2 음파 통신 유니트(10R)가 상기 반송 거리 측정 음파를 수신하는 거리 측정 슬레이브 음파 신호 수신 단계(S2524b)와,
상기 제 2 음파 통신 유니트(10R)에서 상기 반송 거리 측정 음파의 송신 시간(trans) 및 수신 시간(trecv)와 사전 설정 주기를 이용하여 상기 제 1 음파 통신 유니트(10T)와 상기 제 2 음파 통신 유니트(10R) 간의 사이 거리를 산출하는 거리 인덱스 산출 단계(S2526b)를 포함하는 것을 특징으로 하는 음파 통신 장치 제어 방법.
The method of claim 49,
A distance measurement master sound wave signal transmission step (S2521b) of transmitting a distance measurement sound wave in a preset measurement period (T) in the second sound wave communication unit 10R;
A distance measurement master sound wave signal receiving step (S2522b) in which the first sound wave communication unit 10T receives the distance measurement sound wave,
When the first sound wave communication unit 10T receives the distance measurement sound wave from the second sound wave communication unit 10R, a distance measurement slave sound wave signal that transmits a carrier distance measurement sound wave after a preset measurement period T after reception A transmission step (S2523b),
A distance measurement slave sound wave signal reception step (S2524b) in which the second sound wave communication unit 10R receives the carrier distance measurement sound wave,
The first sound wave communication unit 10T and the second sound wave communication unit using the transmission time (trans) and reception time (trecv) of the carrier distance measurement sound wave in the second sound wave communication unit 10R, and a preset period. And a distance index calculating step (S2526b) of calculating the distance between (10R).
KR1020190125420A 2019-06-14 2019-10-10 Sound communication apparatus and method for controlling the same KR102207157B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190070611 2019-06-14
KR1020190070611 2019-06-14

Publications (2)

Publication Number Publication Date
KR20200143198A KR20200143198A (en) 2020-12-23
KR102207157B1 true KR102207157B1 (en) 2021-01-25

Family

ID=74088965

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190125420A KR102207157B1 (en) 2019-06-14 2019-10-10 Sound communication apparatus and method for controlling the same
KR1020190125421A KR20200143199A (en) 2019-06-14 2019-10-10 Sound communication apparatus and method for controlling the same

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020190125421A KR20200143199A (en) 2019-06-14 2019-10-10 Sound communication apparatus and method for controlling the same

Country Status (1)

Country Link
KR (2) KR102207157B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431392B1 (en) * 2013-09-09 2014-09-25 서울대학교산학협력단 Communication method, communication apparatus, and information providing system using acoustic signal
KR101686969B1 (en) * 2015-06-16 2016-12-21 주식회사 아이시냅스 Method for aerial acoustic communication and system therefor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361657B (en) * 2014-09-22 2016-06-08 三星电子(中国)研发中心 The using method of a kind of intelligence lock and intelligence lock
KR20190013264A (en) * 2017-08-01 2019-02-11 주식회사 아이시냅스 Location determination system and method of smart device using non-audible sound wave

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431392B1 (en) * 2013-09-09 2014-09-25 서울대학교산학협력단 Communication method, communication apparatus, and information providing system using acoustic signal
KR101686969B1 (en) * 2015-06-16 2016-12-21 주식회사 아이시냅스 Method for aerial acoustic communication and system therefor

Also Published As

Publication number Publication date
KR20200143198A (en) 2020-12-23
KR20200143199A (en) 2020-12-23

Similar Documents

Publication Publication Date Title
CN103731219B (en) A kind of bluetooth end properties method of testing and system
US20160360490A1 (en) System-wide uplink band gain control in a distributed antenna system (das), based on per-band gain control of remote uplink paths in remote units
CN102281113B (en) Communication relay device and standing-wave ratio detection device and method thereof
CN1913402A (en) Intelligent method for detecting antenna fault
CA2877935C (en) Configuring signal boosters
EP1737134A3 (en) Adaptive pulse shaping filter based on interference detection
KR101693862B1 (en) System for matching impedence of antenna using greedy algorithm
SE9903348D0 (en) Apparatus and method for detection of foreign bodies in products
CN103546178A (en) Mobile communication device and impedance matching method thereof
CN104050964A (en) Audio signal reduction degree detecting method and system
CN105731098A (en) Bunker charging control system and method
KR102207157B1 (en) Sound communication apparatus and method for controlling the same
CN103227687A (en) Passive multi-step intermodulation tester
KR101832836B1 (en) Apparatus and method for determining dielectric access in portable terminal
KR20220161226A (en) Enhanced receiving sound signal communication apparatus and method for enchancing to receiving sound signal with the same
JP5181985B2 (en) Reception strength measurement method, receiver, and mobile station positioning system
CN111130579A (en) Vehicle-mounted electronic communication system
CN116527796A (en) Method for carrying out high-precision time service on ammeter based on dual-mode communication
CN103517299A (en) Base-station intermodulation signal detection method and system
CN205590010U (en) Feed bin firing control system
JP2009246733A (en) Base station and positioning system
CN206096255U (en) A signal conditioning circuit for RF power reflectometer
KR20170043718A (en) Signal detection apparatus using compressive sensing and method thereof
EP2750297A1 (en) Method and system for input signal conditioning for radio transceiver circuits
GB2536226A (en) Frequency discriminator

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant