KR102454925B1 - 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법 - Google Patents
인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법 Download PDFInfo
- Publication number
- KR102454925B1 KR102454925B1 KR1020220038267A KR20220038267A KR102454925B1 KR 102454925 B1 KR102454925 B1 KR 102454925B1 KR 1020220038267 A KR1020220038267 A KR 1020220038267A KR 20220038267 A KR20220038267 A KR 20220038267A KR 102454925 B1 KR102454925 B1 KR 102454925B1
- Authority
- KR
- South Korea
- Prior art keywords
- leak
- sound
- image
- data
- spectrogram
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 73
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims description 98
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000010801 machine learning Methods 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 45
- 238000012360 testing method Methods 0.000 claims description 40
- 238000013434 data augmentation Methods 0.000 claims description 37
- 238000002372 labelling Methods 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 17
- 238000006748 scratching Methods 0.000 claims description 6
- 230000002393 scratching effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 19
- 238000013135 deep learning Methods 0.000 description 16
- 238000012790 confirmation Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010219 correlation analysis Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 230000007774 longterm Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 239000012530 fluid Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000008399 tap water Substances 0.000 description 1
- 235000020679 tap water Nutrition 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
- G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
- G01M3/24—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using infrasonic, sonic, or ultrasonic vibrations
- G01M3/243—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using infrasonic, sonic, or ultrasonic vibrations for pipes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
- G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
- G01M3/24—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using infrasonic, sonic, or ultrasonic vibrations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/4409—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/4481—Neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/46—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by spectral analysis, e.g. Fourier analysis or wavelet analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/50—Processing the detected response signal, e.g. electronic circuits specially adapted therefor using auto-correlation techniques or cross-correlation techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Mathematical Physics (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Water Supply & Treatment (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Examining Or Testing Airtightness (AREA)
Abstract
본 발명은 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법을 개시한다. 즉, 본 발명은 복수의 관로에서 수집된 복수의 누수음에 대한 다양한 분석을 통해, 사람의 귀에 의해서 부정확하고 경험이나 주관적으로 누수 여부를 판단하는 대신에, 편리하고 정확하게 수집된 누수음으로부터 객관적으로 누수 여부 및 누수 종류를 확인하고, 누수 위치를 간편하게 추정할 수 있다.
Description
본 발명은 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법에 관한 것으로서, 특히 복수의 관로에서 복수의 수집 대상으로부터 복수의 누수음을 수집하고, 수집된 복수의 누수음을 파형 이미지와 FFT 이미지로 각각 변환하고, 변환된 파형 이미지와 FFT 이미지에 대한 분석 기능을 수행하여 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하고, 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램 이미지로 변환하고, 수집된 누수음, 파형 이미지, FFT 이미지 및 변환된 누수음 스펙트로그램 이미지를 근거로 해당 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 수행하고, 데이터 라벨링된 누수음 스펙트로그램 이미지에 데이터 증강 기법을 적용하고, 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 분류하고, 학습 데이터를 입력값으로 인공지능 기반 누수음 판정 모델에 대한 학습을 수행하여 누수 여부를 판별하고, 누수로 판별 시 복수의 스펙트로그램 이미지 간의 상관관계 분석을 수행하여 동일한 관로에서 발생한 최종 누수 발생 위치를 추정하는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법에 관한 것이다.
수돗물, 오일, 가스 등의 유체를 공급하는 배관은 일반적으로 지하에 매설되며, 매설된 배관은 충격, 노후화 등 여러 가지 요인으로 인해 누수가 발생한다.
배관에서 누수가 발생하면 누수에 따라 경제적 손실이 발생할 뿐만 아니라, 발생된 누수를 파악하는데 상당한 시간이 소요된다. 또한, 지속적으로 배관으로부터 흘러나오는 유체는 지반의 약한 부위를 점차 침식시켜 싱크홀을 야기하기도 한다.
본 발명의 목적은 복수의 관로에서 복수의 수집 대상으로부터 복수의 누수음을 수집하고, 수집된 복수의 누수음을 파형 이미지와 FFT 이미지로 각각 변환하고, 변환된 파형 이미지와 FFT 이미지에 대한 분석 기능을 수행하여 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하고, 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램 이미지로 변환하고, 수집된 누수음, 파형 이미지, FFT 이미지 및 변환된 누수음 스펙트로그램 이미지를 근거로 해당 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 수행하고, 데이터 라벨링된 누수음 스펙트로그램 이미지에 데이터 증강 기법을 적용하고, 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 분류하고, 학습 데이터를 입력값으로 인공지능 기반 누수음 판정 모델에 대한 학습을 수행하여 누수 여부를 판별하고, 누수로 판별 시 복수의 스펙트로그램 이미지 간의 상관관계 분석을 수행하여 동일한 관로에서 발생한 최종 누수 발생 위치를 추정하는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법은 수집부에 의해, 관로의 복수의 수집 위치에서 복수의 누수음을 각각 수집하는 단계; 제어부에 의해, 상기 수집된 복수의 누수음을 파형 이미지 및 FFT 이미지로 각각 변환하는 단계; 상기 제어부에 의해, 복수의 누수음에 대한 분석 기능을 수행하여, 전체 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하는 단계; 상기 제어부에 의해, 상기 복수의 누수음별로 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램(spectrogram) 이미지로 각각 변환하는 단계; 및 상기 제어부에 의해, 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 근거로 상기 복수의 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 각각 수행하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 전체 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하는 단계는, 상기 전체 소리 구간 중에서 미리 설정된 간격으로 잡음이 가장 드물게 발생하는 첫 번째 소리 구간을 추출할 수 있다.
본 발명과 관련된 일 예로서 상기 복수의 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 각각 수행하는 단계는, 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 저장부에 미리 저장된 기준 정보와 비교하여, 상기 복수의 누수음 스펙트로그램 이미지가 누수인지, 사용수인지 및 기타인지 여부를 판별하는 과정; 상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지가 누수와 관련 있는 것으로 판별될 때, 상기 복수의 누수음 스펙트로그램 이미지에 대해서 미리 설정된 누수로 데이터 라벨링을 수행하는 과정; 상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지가 사용수와 관련 있는 것으로 판별될 때, 상기 복수의 누수음 스펙트로그램 이미지에 대해서 미리 설정된 사용수로 데이터 라벨링을 수행하는 과정; 및 상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지가 기타와 관련 있는 것으로 판별될 때, 상기 복수의 누수음 스펙트로그램 이미지에 대해서 미리 설정된 기타로 데이터 라벨링을 수행하는 과정을 포함하며, 상기 기타는, TV/라디오에서의 사람 소리, 전기음, 장비 긁는 소리 및 바람 소리 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 기준 정보는, 기준 누수음, 기준 누수 파형 이미지, 기준 누수 FFT 이미지, 기준 누수음 스펙트로그램 이미지, 기준 사용수음, 기준 사용수 파형, 기준 사용수 FFT 이미지, 기준 사용수 스펙트로그램 이미지, 기준 기타음, 기준 기타음 파형 이미지, 기준 기타음 FFT 이미지 및 기준 기타음 스펙트로그램 이미지 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부에 의해, 상기 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지에 데이터 증강 기법을 각각 적용하여, 다수의 스펙트로그램 이미지를 생성하는 단계; 상기 제어부에 의해, 상기 데이터 증강 기법이 적용된 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 각각 분류하는 단계; 상기 제어부에 의해, 상기 분류된 학습 데이터를 근거로 인공지능 기반의 기계 학습을 수행하여, 기계 학습 결과를 근거로 상기 수집된 누수음에 대해서 누수 여부 및 누수 종류를 분류하는 단계; 및 상기 제어부에 의해, 상기 누수 발생 여부 및 상기 누수 종류를 포함하는 정보를 출력하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 수집된 누수음에 대해서 누수 여부 및 누수 종류를 분류하는 단계는, 상기 분류된 학습 데이터를 미리 설정된 인공지능 기반 누수음 판정 모델의 입력값으로 하여 기계 학습을 수행하고, 기계 학습 결과를 근거로 상기 분류된 학습 데이터와 관련해서 관로에서 누수가 발생했는지 여부를 확인하는 과정; 및 상기 학습 데이터와 관련해서 누수가 발생한 것으로 확인될 때, 상기 파형 이미지, 상기 FFT 이미지 및 상기 스펙트로그램 이미지를 근거로 상기 누수음과 관련해서 발생한 누수 종류를 분류하는 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 분류된 테스트 데이터를 근거로 인공지능 기반의 또 다른 기계 학습을 수행하여, 또 다른 기계 학습 결과를 근거로 누수음 판정 모델 및 누수 종류 판정 모델에 대한 정확도를 검증하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 복수의 누수음과 관련한 관로에서 누수가 발생한 것으로 확인될 때, 상기 제어부에 의해, 상기 복수의 스펙트로그램 이미지 간의 상관관계 분석을 수행하여, 상관계수를 계산하는 단계; 상기 제어부에 의해, 상기 계산된 상관계수가 미리 설정된 기준값 이상인지 여부를 판단하는 단계; 상기 판단 결과, 상기 계산된 상관계수가 상기 미리 설정된 기준값 이상일 때, 상기 제어부에 의해, 상기 복수의 스펙트로그램 이미지에 대응하는 복수의 누수음이 서로 같은 관로에서 수집된 것으로 판단하고, 상기 복수의 스펙트로그램 이미지를 근거로 동일한 관로에서 발생한 최종 누수 발생 위치를 추정하는 단계; 및 상기 제어부에 의해, 상기 추정된 최종 누수 발생 위치를 출력하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 복수의 스펙트로그램 이미지를 근거로 동일한 관로에서 발생한 최종 누수 발생 위치를 추정하는 단계는, 다음의 수학식 
및 
중 어느 하나의 수학식을 통해 상기 복수의 누수음을 수집한 A 지점 및 B 지점으로부터의 상기 최종 누수 발생 위치를 추정하며, 여기서, 상기 
는 상기 복수의 누수음 중 어느 하나의 누수음을 측정한 A 지점에서 최종 누수 발생 위치까지의 거리를 나타내고, 상기 
는 상기 복수의 누수음 중 다른 어느 하나의 누수음을 측정한 B 지점에서 최종 누수 발생 위치까지의 거리를 나타내고, 상기 
는 상기 
와 상기 
의 합으로 계산되며 동일 관로에서 상기 복수의 누수음을 각각 측정한 복수의 지점 간의 거리를 나타내고, 상기 
는 상기 A 지점의 잔류 누수 음향 발생 에너지를 나타내고, 상기 
는 상기 B 지점의 잔류 누수 음향 발생 에너지를 나타낼 수 있다.
본 발명의 실시예에 따른 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치는 관로의 복수의 수집 위치에서 복수의 누수음을 각각 수집하는 수집부; 및 상기 수집된 복수의 누수음을 파형 이미지 및 FFT 이미지로 각각 변환하고, 복수의 누수음에 대한 분석 기능을 수행하여, 전체 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하고, 상기 복수의 누수음별로 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램 이미지로 각각 변환하고, 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 근거로 상기 복수의 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 각각 수행하는 제어부를 포함할 수 있다.
본 발명은 복수의 관로에서 복수의 수집 대상으로부터 복수의 누수음을 수집하고, 수집된 복수의 누수음을 파형 이미지와 FFT 이미지로 각각 변환하고, 변환된 파형 이미지와 FFT 이미지에 대한 분석 기능을 수행하여 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하고, 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램 이미지로 변환하고, 수집된 누수음, 파형 이미지, FFT 이미지 및 변환된 누수음 스펙트로그램 이미지를 근거로 해당 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 수행하고, 데이터 라벨링된 누수음 스펙트로그램 이미지에 데이터 증강 기법을 적용하고, 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 분류하고, 학습 데이터를 입력값으로 인공지능 기반 누수음 판정 모델에 대한 학습을 수행하여 누수 여부를 판별하고, 누수로 판별 시 복수의 스펙트로그램 이미지 간의 상관관계 분석을 수행하여 동일한 관로에서 발생한 최종 누수 발생 위치를 추정함으로써, 사람의 귀에 의해서 부정확하고 경험이나 주관적으로 누수 여부를 판단하는 대신에, 편리하고 정확하게 수집된 누수음으로부터 객관적으로 누수 여부 및 누수 종류를 확인하고, 누수 위치를 간편하게 추정할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치의 구성을 나타낸 블록도이다.
도 2 내지 도 4는 본 발명의 실시예에 따른 스펙트로그램 이미지의 예를 나타낸 도이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법을 나타낸 흐름도이다.
도 7 내지 도 8은 본 발명의 실시예에 따른 누수음 수집 과정의 예를 나타낸 도이다.
도 9는 본 발명의 실시예에 따른 파형 이미지의 예를 나타낸 도이다.
도 10은 본 발명의 실시예에 따른 FFT 이미지의 예를 나타낸 도이다.
도 11은 본 발명의 실시예에 따른 누수음 중에서 잡음이 가장 적은 구간을 추출하는 예를 나타낸 도이다.
도 12 내지 도 13은 본 발명의 실시예에 따른 상관계수에 따른 동일한 지점에서 발생하는 누수 여부 판단의 예를 나타낸 도이다.
도 14는 본 발명의 실시예에 따른 스펙트로그램 이미지에서 누수 패턴을 추출하는 예를 나타낸 도이다.
도 15는 본 발명의 실시예에 따른 최종 누수 발생 위치를 추정하는 예를 나타낸 도이다.
도 2 내지 도 4는 본 발명의 실시예에 따른 스펙트로그램 이미지의 예를 나타낸 도이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법을 나타낸 흐름도이다.
도 7 내지 도 8은 본 발명의 실시예에 따른 누수음 수집 과정의 예를 나타낸 도이다.
도 9는 본 발명의 실시예에 따른 파형 이미지의 예를 나타낸 도이다.
도 10은 본 발명의 실시예에 따른 FFT 이미지의 예를 나타낸 도이다.
도 11은 본 발명의 실시예에 따른 누수음 중에서 잡음이 가장 적은 구간을 추출하는 예를 나타낸 도이다.
도 12 내지 도 13은 본 발명의 실시예에 따른 상관계수에 따른 동일한 지점에서 발생하는 누수 여부 판단의 예를 나타낸 도이다.
도 14는 본 발명의 실시예에 따른 스펙트로그램 이미지에서 누수 패턴을 추출하는 예를 나타낸 도이다.
도 15는 본 발명의 실시예에 따른 최종 누수 발생 위치를 추정하는 예를 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)는 수집부(110), 통신부(120), 저장부(130), 표시부(140), 음성 출력부(150) 및 제어부(160)로 구성된다. 도 1에 도시된 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)가 구현될 수도 있다.
상기 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)는 스마트폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치, 인공지능 스피커 등과 같은 다양한 단말기에 적용될 수 있다.
상기 수집부(110)는 관로(또는 배관)에서 복수의 수집 대상(또는 복수의 수집 위치)으로부터 복수의 누수음(또는 복수의 누수음 소리 데이터)을 각각 수집(또는 측정)한다.
즉, 상기 수집부(110)는 수도미터, 밸브(또는 제수변), 소화전 등과 같이, 복수의 관로의 서로 다른 복수의 일측에서 복수의 누수음을 각각 수집한다. 여기서, 상기 제수변은 관이 파열 및 누수방지와 접속공사를 위해 관로의 일부를 필요에 따라 개폐하여 관의 물 흐름을 조정하는 밸브를 나타낸다.
또한, 상기 수집부(110)는 상기 누수음을 측정하기 위한 각종 센서, 마이크 등을 포함한다.
본 발명의 실시예에서는 상기 수집부(110)를 통해 누수음을 수집하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)는 외부에 구성된 누수음 수집 장비(미도시)로부터 수집되는 임의의 배관의 일측에서 수집된 누수음을 상기 통신부(120)를 통해 수신(또는 수집)할 수도 있다.
상기 통신부(120)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 누수음 수집 장비(미도시), 서버(미도시), 다른 단말(미도시) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(120)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 통신부(120)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 통신부(120)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 누수음 수집 장비, 상기 서버, 상기 다른 단말 등과 무선 신호를 송수신한다.
또한, 상기 통신부(120)는 상기 제어부(160)의 제어에 의해, 상기 수집된 누수음 등을 상기 서버, 상기 다른 단말 등에 전송하거나 또는, 상기 누수음 수집 장비로부터 전송되는 누수음 등을 수신한다.
상기 저장부(130)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.
또한, 상기 저장부(130)는 상기 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
즉, 상기 저장부(130)는 상기 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)의 기본적인 기능을 위하여 출고 당시부터 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100) 상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(130)에 저장되고, 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)에 설치되어, 제어부(160)에 의하여 상기 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 상기 저장부(130)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)는 인터넷(internet)상에서 저장부(130)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.
또한, 상기 저장부(130)는 상기 제어부(160)의 제어에 의해 상기 수집된 누수음 등을 저장한다.
상기 표시부(또는 디스플레이부)(140)는 상기 제어부(160)의 제어에 의해 상기 저장부(130)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(140)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(140)는 터치 스크린 일 수 있다.
또한, 상기 표시부(140)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 표시부(140)는 상기 제어부(160)의 제어에 의해 상기 수집된 누수음 등에 대한 정보를 표시한다.
상기 음성 출력부(150)는 상기 제어부(160)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(140)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
또한, 상기 음성 출력부(150)는 상기 제어부(160)에 의해 생성된 안내 음성을 출력한다.
또한, 상기 음성 출력부(150)는 상기 제어부(160)의 제어에 의해 상기 수집된 누수음 등을 출력한다.
상기 제어부(controller, 또는 MCU(microcontroller unit)(160)는 상기 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(160)는 상기 저장부(130)에 저장된 프로그램 및 데이터를 이용하여 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)의 전반적인 제어 기능을 실행한다. 상기 제어부(160)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(130)에 액세스하여, 상기 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(130)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
또한, 상기 제어부(160)는 사전에 수집된 복수의 누수음(또는 소리 데이터/누수음 소리 데이터)을 스펙트로그램 이미지로 변환한 후, 상기 변환된 복수의 스펙트로그램 이미지를 지속적인 기계학습(또는 딥러닝)의 데이터로 활용한다. 여기서, 상기 기계학습을 위한 입력 데이터세트는 상기 변환된 복수의 스펙트로그램 이미지를 미리 설정된 비율(예를 들어 7:3, 8:2 등 포함)로 훈련 세트(train set)와 테스트 세트(test set)로 분할하여, 훈련 및 테스트 기능을 수행할 수 있다. 또한, 상기 기계학습을 위한 입력 데이터세트는 추후 수집되는 누수음을 변환한 스펙트로그램 이미지 등을 포함한다. 또한, 상기 기계학습을 위한 출력 데이터세트는 예측하고 싶은 부분으로, 수집된 누수음을 학습하고, 추후에 이를 예측하여 누수 여부, 누수 발생 시 누수 종류 등을 포함한다.
즉, 상기 제어부(160)는 미리 설정된 학습용 데이터를 통해 누수음 판정 모델에 대해서 특정 로우 데이터와 관련해서 특정 스펙트로그램 이미지에 대해서 누수음 여부를 분류(또는 확인/판단)하기 위한 학습 기능을 수행한다. 이때, 상기 서버(200)는 로우 데이터(또는 스펙트로그램 이미지)를 병렬 및 분산하여 저장하고, 저장된 로우 데이터(또는 학습용 데이터 등 포함) 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터, 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하고, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시하고 적어도 하나의 종류의 기계학습에 기반하여 학습, 훈련 및 테스트를 진행하여 빅데이터를 구축할 수 있다. 이때, 적어도 하나의 종류의 기계학습은 지도 학습(Supervised Learning), 반지도 학습(Semi-Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 및 심층 강화 학습(Deep Reinforcement Learning) 중 어느 하나 또는 적어도 하나의 조합으로 이루어질 수 있다.
또한, 상기 제어부(160)는 상기 학습용 데이터를 통해 누수 종류 판정 모델에 대해서 특정 로우 데이터와 관련해서 특정 스펙트로그램 이미지에 대해서 누수 종류를 분류(또는 확인/판단)하기 위한 학습 기능을 수행한다.
이와 같이, 상기 제어부(160)는 상기 학습용 데이터 등을 통해서 뉴럴 네트워크(Neural Networks) 형태의 상기 누수음 판정 모델, 상기 누수 종류 판정 모델 등에 대해서 학습 기능을 수행한다.
또한, 상기 제어부(160)는 상기 수집된 복수의 누수음을 파형 이미지(Waveform Image)와 FFT 이미지(Fast Fourier Transform Image)로 각각 변환(또는 생성)한다.
즉, 상기 제어부(160)는 상기 수집된 복수의 누수음을 미리 설정된 파형 변환 함수에 적용하여 복수의 누수음별로 파형 이미지로 변환하고, 상기 수집된 복수의 누수음을 미리 설정된 FFT 변환 함수에 적용하여 복수의 누수음별로 FFT 이미지로 변환한다.
또한, 상기 제어부(160)는 복수의 누수음에 대한 분석 기능을 수행하여, 전체 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출(또는 확인)한다.
즉, 상기 제어부(160)는 복수의 누수음별로 분석 기능을 수행하여, 전체 소리 구간 중에서 미리 설정된 간격(또는 구간)(예를 들어 1초)으로 잡음이 가장 드물게 발생하는 첫 번째 소리 구간을 추출(또는 확인)한다. 이때, 상기 제어부(160)는 복수의 누수음별로 분석 기능을 수행하여, 전체 소리 구간 중에서 진폭이 미리 설정된 기준 진폭 범위(또는 기준 주파수 범위) 내에 위치하는(또는 만족하는) 상기 미리 설정된 간격에 해당하는 첫 번째 소리 구간을 추출한다.
본 발명의 실시예에서는, 전체 소리 구간 중에서 상기 미리 설정된 간격으로 잡음이 가장 드물게 발생하는 첫 번째 소리 구간을 추출하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 전체 소리 구간 중에서 상기 미리 설정된 간격으로 잡음이 가장 드물게 발생하는 다수의 소리 구간 중 랜덤하게 어느 하나의 소리 구간(또는 잡음이 가장 드물게 발생하는 소리 구간)을 추출할 수도 있다.
또한, 상기 제어부(160)는 상기 복수의 누수음별로 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램(spectrogram) 이미지(또는 스펙트로그램 이미지)로 각각 변환한다. 이때, 스펙트로그램은 소리나 파동을 시각화하여 파악하기 위한 도구(또는 방식)로, 파형(waveform)과 스펙트럼(spectrum)의 특징이 조합되어 있다. 여기서, 파형에서는 시간축의 변화에 따른 진폭 축의 변화를 확인할 수 있고, 스펙트럼에서는 주파수 축의 변화에 따른 진폭 축의 변화를 확인할 수 있는 반면, 스펙트로그램에서는 시간축과 주파수 축의 변화에 따라 진폭의 차이를 인쇄 농도의 차이 및/또는 표시 색상의 차이로 나타낸다.
또한, 상기 제어부(160)는 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 근거로 해당 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대한 데이터 라벨링을 각각 수행한다. 여기서, 상기 데이터 라벨링은 누수, 사용수(使用水), 기타(예를 들어 TV/라디오에서의 사람 소리, 전기음, 장비 긁는 소리, 바람 소리 등 포함) 등을 포함한다.
예를 들어, 도 2는 누수에 대응하는 스펙트로그램 이미지의 예를 나타내고, 도 3은 사용수에 대응하는 스펙트로그램 이미지의 예를 나타내고, 도 4는 기타음(또는 기타 소리)에 대응하는 스펙트로그램 이미지의 예를 나타낸다.
즉, 상기 제어부(160)는 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 분석하여, 해당 복수의 누수음 스펙트로그램 이미지가 누수인지, 사용수인지, 기타인지 여부를 판별(또는 확인)한다. 이때, 상기 제어부(160)는 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 저장부(130)에 미리 저장된 기준 정보와 비교(또는 유사도 비교)하여, 해당 복수의 누수음 스펙트로그램 이미지가 누수인지, 사용수인지, 기타인지 여부를 판별(또는 확인)할 수 있다. 여기서, 상기 기준 정보는 기준 누수음, 기준 누수 파형 이미지, 기준 누수 FFT 이미지, 기준 누수음 스펙트로그램 이미지, 기준 사용수음, 기준 사용수 파형, 기준 사용수 FFT 이미지, 기준 사용수 스펙트로그램 이미지, 기준 기타음, 기준 기타음 파형 이미지, 기준 기타음 FFT 이미지, 기준 기타음 스펙트로그램 이미지 등을 포함한다. 또한, 상기 기준 기타음은 상기 사람 소리, 상기 전기음, 상기 장비 긁는 소리, 상기 바람 소리 등을 포함하고, 상기 기준 기타음 파형 이미지는 상기 기준 기타음에 대한 파형 이미지를 나타내고, 상기 기준 기타음 FFT 이미지는 상기 기준 기타음에 대한 FFT 이미지를 나타내고, 상기 기준 기타음 스펙트로그램 이미지는 상기 기준 기타음에 대한 스펙트로그램 이미지를 나타낸다.
또한, 상기 제어부(160)는 상기 판별 결과(또는 상기 확인 결과)에 따라, 해당 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대한 데이터 라벨링을 각각 수행한다.
즉, 상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)가 누수와 관련 있는 것으로 판별되는 경우, 상기 제어부(160)는 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대해서 미리 설정된 '누수'로 데이터 라벨링을 수행한다.
또한, 상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)가 사용수와 관련 있는 것으로 판별되는 경우, 상기 제어부(160)는 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대해서 미리 설정된 '사용수'로 데이터 라벨링을 수행한다.
또한, 상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)가 기타와 관련 있는 것으로 판별되는 경우, 상기 제어부(160)는 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대해서 미리 설정된 '기타'로 데이터 라벨링을 수행한다.
또한, 상기 제어부(160)는 인공 지능 기반의 기계 학습 수행 시 모델의 과적합을 방지하고 일반화 성능을 향상시키기 위해서, 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지에 데이터 증강 기법(또는 데이터 첨가 기법: data augmentation method)을 각각 적용하여, 다수의 스펙트로그램 이미지를 생성한다.
또한, 상기 제어부(160)는 상기 데이터 증강 기법이 적용된 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 각각 분류한다. 이때, 상기 제어부(160)는 미리 설정된 비율(예를 들어 학습 데이터 : 테스트 데이터 = 7:3 또는 8:2)로 상기 데이터 증강 기법이 적용된 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 각각 분류할 수 있다.
또한, 상기 제어부(160)는 상기 분류된 학습 데이터(또는 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지 중에서 분류된 학습 데이터)를 근거로 인공지능 기반의 기계 학습을 수행하여, 기계 학습 결과를 근거로 상기 수집된 누수음(또는 해당 누수음과 관련한 관로)에 대해서 누수 여부 및 누수 종류를 분류(또는 확인/판단)한다.
즉, 상기 제어부(160)는 상기 분류된 학습 데이터(또는 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지 중에서 분류된 학습 데이터)를 미리 설정된 인공지능 기반 누수음 판정 모델의 입력값으로 하여 기계 학습(또는 인공지능/딥 러닝)을 수행하고, 기계 학습 결과(또는 인공지능 결과/딥 러닝 결과)를 근거로 상기 분류된 학습 데이터와 관련해서 해당 관로에서 누수가 발생했는지 여부를 확인(또는 판단/분류)한다. 이때, 상기 제어부(160)는 앞서 데이터 라벨링 결과 및 상기 기계 학습 결과를 함께 고려하여, 상기 학습 데이터와 관련한 관로에서 누수가 발생했는지 여부를 확인할 수도 있다.
또한, 상기 학습 데이터(또는 상기 누수음/상기 스펙트로그램 이미지)와 관련해서 누수가 발생한 것으로 확인(또는 판단/분류)되는 경우, 상기 제어부(160)는 상기 파형 이미지, 상기 FFT 이미지, 상기 스펙트로그램 이미지 등을 근거로 상기 누수음과 관련해서 발생한 누수 종류를 분류(또는 확인/판단)한다. 여기서, 상기 누수 종류는 누수(또는 옥외 누수)(예를 들어 배수관, 수도관, 급수관, 수도미터, 제수변 등 집 밖/외부에서 발생하는 누수), 옥내 누수(또는 옥내에서 발생하는 누수) 등을 포함한다.
즉, 상기 학습 데이터(또는 상기 누수음/상기 스펙트로그램 이미지)와 관련해서 누수가 발생한 것으로 확인(또는 판단/분류)되는 경우, 상기 제어부(160)는 상기 학습 데이터를 미리 설정된 인공지능 기반 누수 종류 판정 모델의 입력값으로 하여 다른 기계 학습(또는 다른 인공지능/다른 딥 러닝)을 수행하고, 다른 기계 학습 결과(또는 다른 인공지능 결과/다른 딥 러닝 결과)를 근거로 상기 분류된 학습 데이터와 관련해서 해당 관로에서 발생한 누수 종류를 확인(또는 판단/분류)한다.
또한, 상기 제어부(160)는 상기 누수 발생 여부(예를 들어 누수 발생), 상기 누수 종류(예를 들어 누수, 옥내 누수 등 포함) 등을 포함하는 정보를 표시부(140) 및/또는 음성 출력부(150)를 통해 출력한다.
또한, 상기 학습 데이터(또는 상기 누수음/상기 스펙트로그램 이미지)와 관련해서 누수가 발생하지 않은 것으로 확인(또는 판단/분류)되는 경우, 상기 제어부(160)는 해당 학습 데이터와 관련해서 사용수 상태 또는 기타 상태(또는 누수 미발생/누수가 발생하지 않은 경우)로 분류(또는 확인/판단)한다.
또한, 상기 제어부(160)는 상기 누수 발생 여부(예를 들어 누수 발생, 누수 미발생 등 포함), 누수 발생 시 누수 종류 등을 포함하는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다.
또한, 상기 제어부(160)는 상기 분류된 테스트 데이터(또는 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지 중에서 분류된 테스트 데이터)를 근거로 인공지능 기반의 또 다른 기계 학습을 수행하여, 또 다른 기계 학습 결과를 근거로 해당 누수음 판정 모델 및 누수 종류 판정 모델에 대한 정확도를 검증한다.
즉, 상기 제어부(160)는 상기 분류된 테스트 데이터(또는 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지 중에서 분류된 테스트 데이터)를 상기 미리 설정된 인공지능 기반 누수음 판정 모델의 입력값으로 하여 또 다른 기계 학습(또는 또 다른 인공지능/또 다른 딥 러닝)을 수행하고, 또 다른 기계 학습 결과(또는 또 다른 인공지능 결과/또 다른 딥 러닝 결과)를 근거로 상기 분류된 테스트 데이터와 관련해서 해당 관로에서 누수가 발생했는지 여부를 확인(또는 판단/분류)한다.
또한, 상기 제어부(160)는 상기 학습 데이터에 따른 해당 관로에서 누수가 발생했는지 여부 및 상기 테스트 데이터에 따른 해당 관로에서 누수가 발생했는지 여부를 분석(또는 비교)하여, 해당 인공지능 기반 누수음 판정 모델에 대한 정확도를 검증한다.
또한, 상기 제어부(160)는 상기 분류된 테스트 데이터(또는 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지 중에서 분류된 테스트 데이터)를 상기 미리 설정된 인공지능 기반 누수 종류 판정 모델의 입력값으로 하여 또 다른 기계 학습(또는 또 다른 인공지능/또 다른 딥 러닝)을 수행하고, 또 다른 기계 학습 결과(또는 또 다른 인공지능 결과/또 다른 딥 러닝 결과)를 근거로 상기 분류된 테스트 데이터와 관련해서 해당 관로에서 발생한 누수의 종류를 확인한다.
또한, 상기 제어부(160)는 상기 학습 데이터에 따른 해당 관로에서 확인된 누수의 종류 및 상기 테스트 데이터에 따른 해당 관로에서 확인된 누수의 종류를 분석(또는 비교)하여, 해당 인공지능 기반 누수 종류 판정 모델에 대한 정확도를 검증한다.
또한, 해당 복수의 누수음과 관련한 관로(또는 해당 복수의 스펙트로그램 이미지와 관련한 관로)에서 누수가 발생한 것으로 확인되는 경우 또는, 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대한 데이터 라벨링 수행에 따라 해당 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)와 관련한 관로에서 누수가 발생한 것으로 확인되는 경우, 상기 제어부(160)는 복수의 스펙트로그램 이미지 간의 상관관계 분석을 수행하여, 상관계수를 계산(또는 산출)한다.
또한, 상기 제어부(160)는 상기 계산된(또는 산출된) 상관계수가 미리 설정된 기준값(예를 들어 0.7) 이상인지 여부를 판단(또는 확인)한다.
상기 판단 결과(또는 상기 확인 결과), 상기 계산된 상관계수가 상기 미리 설정된 기준값 미만인 경우, 상기 제어부(160)는 상기 복수의 스펙트로그램 이미지에 대응하는 복수의 누수음이 서로 다른 관로에서 수집된 것으로 판단하고, 전체 과정을 종료한다. 이때, 상기 판단 결과(또는 상기 확인 결과), 상기 계산된 상관계수가 상기 미리 설정된 기준값 미만인 경우, 상기 제어부(160)는 상기 복수의 스펙트로그램 이미지에 대응하는 복수의 누수음이 동일한 관로에서 수집되었지만 서로 다른 시점(또는 시각)에 수집된 것으로 판단하고, 전체 과정을 종료할 수도 있다.
즉, 상기 판단 결과(또는 상기 확인 결과), 상기 계산된 상관계수가 상기 미리 설정된 기준값 미만인 경우, 상기 제어부(160)는 상기 복수의 스펙트로그램 이미지에 대응하는 복수의 누수음이 서로 다른 관로에서 수집된 것으로 판단하고, 앞서 누수음 발생에 대한 정보와 누수 종류에 대한 정보를 제공(또는 출력)하는 선에서 전체 과정을 종료한다.
또한, 상기 판단 결과(또는 상기 확인 결과), 상기 계산된 상관계수가 상기 미리 설정된 기준값 이상인 경우, 상기 제어부(160)는 상기 복수의 스펙트로그램 이미지에 대응하는 복수의 누수음이 서로 같은 관로에서 수집된 것으로 판단(또는 상기 복수의 누수음이 동일 시점의 서로 같은 관로에서 수집된 것으로 판단)하고, 해당 복수의 스펙트로그램 이미지를 근거로 동일한 관로에서 발생한 최종 누수 발생 위치를 추정(또는 계산/산출)한다.
즉, 상기 판단 결과(또는 상기 확인 결과), 상기 계산된 상관계수가 상기 미리 설정된 기준값 이상인 경우, 상기 제어부(160)는 다음의 [수학식 1] 또는 [수학식 2]를 통해 해당 스펙트로그램 이미지(또는 누수음)와 관련한 해당 관로에서 발생한 최종 누수 발생 위치를 추정(또는 계산/산출)한다.
여기서, 상기 
는 상기 복수의 누수음 중 어느 하나의 누수음을 측정한 지점(A 지점)에서 최종 누수 발생 위치까지의 거리를 나타내고, 상기 
는 상기 복수의 누수음 중 다른 어느 하나의 누수음을 측정한 지점(B 지점)에서 최종 누수 발생 위치까지의 거리를 나타내고, 상기 
는 상기 
와 상기 
의 합으로 계산되며 동일 관로에서 상기 복수의 누수음을 각각 측정한 복수의 지점 간의 거리를 나타내고, 상기 
는 해당 A 지점의 잔류 누수 음향 발생 에너지(또는 해당 누수음 스펙트로그램 이미지에서 추출된 누수 패턴과 관련한 평균 강도값/평균 에너지값)를 나타내고, 상기 
는 해당 B 지점의 잔류 누수 음향 발생 에너지(또는 해당 누수음 스펙트로그램 이미지에서 추출된 누수 패턴과 관련한 평균 강도값/평균 에너지값)를 나타낸다. 이때, 상기 누수음 스펙트로그램 이미지에서 추출된 누수 패턴은 해당 누수음 스펙트로그램 이미지 중에서 미리 설정된 조건(예를 들어 특정 기준 에너지 이상/특정 강도값 이상)을 만족하는(또는 충족하는) 패턴(또는 영역)일 수 있다.
또한, 상기 제어부(160)는 상기 추정된(또는 계산된/산출된) 최종 누수 발생 위치를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다.
또한, 상기 제어부(160)는 상기 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)에서 제공하는 다양한 기능을 수행하기 위해서 상기 서버에 회원 가입한 상태일 수 있다.
또한, 상기 제어부(160)는 상기 다양한 기능 수행을 위해서, 구독 기능 수행에 따라 매월(또는 일별/주별/분기별/연도별 등 포함) 일정 비용을 상기 서버 및 결제 서버(미도시)와 연동하여 결제 기능을 수행할 수 있다.
본 발명의 실시예에서는 상기 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치(100)에서 전용 앱 형태 또는 웹 사이트 형태로 다양한 기능(예를 들어 누수음 수집 기능, 누수음에 대한 파형 이미지 변환 기능, 누수음에 대한 FFT 이미지 변환 기능, 누수음에 대한 스펙트로그램 이미지 변환 기능, 분석에 따른 누수 여부 판별 기능, 데이터 증강 기능, 스펙트로그램 이미지를 통한 기계 학습 기능, 누수 여부 및/또는 누수 종류 제공 기능 등 포함)을 수행할 수 있다.
이와 같이, 복수의 관로에서 복수의 수집 대상으로부터 복수의 누수음을 수집하고, 수집된 복수의 누수음을 파형 이미지와 FFT 이미지로 각각 변환하고, 변환된 파형 이미지와 FFT 이미지에 대한 분석 기능을 수행하여 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하고, 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램 이미지로 변환하고, 수집된 누수음, 파형 이미지, FFT 이미지 및 변환된 누수음 스펙트로그램 이미지를 근거로 해당 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 수행하고, 데이터 라벨링된 누수음 스펙트로그램 이미지에 데이터 증강 기법을 적용하고, 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 분류하고, 학습 데이터를 입력값으로 인공지능 기반 누수음 판정 모델에 대한 학습을 수행하여 누수 여부를 판별하고, 누수로 판별 시 복수의 스펙트로그램 이미지 간의 상관관계 분석을 수행하여 동일한 관로에서 발생한 최종 누수 발생 위치를 추정할 수 있다.
이하에서는, 본 발명에 따른 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법을 도 1 내지 도 15를 참조하여 상세히 설명한다.
도 5 내지 도 6은 본 발명의 실시예에 따른 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법을 나타낸 흐름도이다.
먼저, 수집부(110)는 관로(또는 배관)에서 복수의 수집 대상(또는 복수의 수집 위치)으로부터 복수의 누수음(또는 복수의 누수음 소리 데이터)을 각각 수집(또는 측정)한다. 여기서, 상기 수집부(110)는 상기 누수음을 측정하기 위한 각종 센서, 마이크 등을 포함한다.
즉, 상기 수집부(110)는 수도미터, 밸브(또는 제수변), 소화전 등과 같이, 복수의 관로의 서로 다른 복수의 일측에서 복수의 누수음을 각각 수집한다.
일 예로, 도 7 내지 도 8에 도시된 바와 같이, 상기 수집부(110)는 관로에서 주택 내에 구성된 수도미터의 일측으로부터 제 1 누수음을 수집하고, 관로에서 제수변의 일측으로부터 제 2 누수음을 수집한다(S510).
이후, 제어부(160)는 상기 수집된 복수의 누수음을 파형 이미지(Waveform Image)와 FFT 이미지(Fast Fourier Transform Image)로 각각 변환(또는 생성)한다.
즉, 상기 제어부(160)는 상기 수집된 복수의 누수음을 미리 설정된 파형 변환 함수에 적용하여 복수의 누수음별로 파형 이미지로 변환하고, 상기 수집된 복수의 누수음을 미리 설정된 FFT 변환 함수에 적용하여 복수의 누수음별로 FFT 이미지로 변환한다.
일 예로, 도 9 및 도 10에 도시된 바와 같이, 상기 제어부(160)는 상기 수집된 제 1 누수음을 상기 파형 변환 함수 및 상기 FFT 변환 함수에 적용하여 제 1 파형 이미지(900)와 제 1 FFT 이미지(1000)로 변환하고, 상기 수집된 제 2 누수음을 상기 파형 변환 함수 및 상기 FFT 변환 함수에 적용하여 제 2 파형 이미지와 제 2 FFT 이미지로 변환한다(S520).
이후, 상기 제어부(160)는 복수의 누수음에 대한 분석 기능을 수행하여, 전체 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출(또는 확인)한다.
즉, 상기 제어부(160)는 복수의 누수음별로 분석 기능을 수행하여, 전체 소리 구간 중에서 미리 설정된 간격(또는 구간)(예를 들어 1초)으로 잡음이 가장 드물게 발생하는 첫 번째 소리 구간을 추출(또는 확인)한다.
일 예로, 도 11에 도시된 바와 같이, 상기 제어부(160)는 상기 제 1 누수음에 대한 분석 기능을 수행하여, 전체 소리 구간(예를 들어 30초) 중에서 잡음이 가장 드물게 발생하는 처음 1초 동안의 제 1 소리 구간(예를 들어 전체 30초 중 5초 ~ 6초 사이의 구간)(1100)을 추출한다.
또한, 상기 제어부(160)는 상기 제 2 누수음에 대한 분석 기능을 수행하여, 전체 소리 구간(예를 들어 30초) 중에서 잡음이 가장 드물게 발생하는 처음 1초 동안의 제 2 소리 구간(예를 들어 전체 30초 중 5초 ~ 6초 사이의 구간)을 추출한다(S530).
이후, 상기 제어부(160)는 상기 복수의 누수음별로 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램(spectrogram) 이미지(또는 스펙트로그램 이미지)로 각각 변환한다. 이때, 스펙트로그램은 소리나 파동을 시각화하여 파악하기 위한 도구(또는 방식)로, 파형(waveform)과 스펙트럼(spectrum)의 특징이 조합되어 있다. 여기서, 파형에서는 시간축의 변화에 따른 진폭 축의 변화를 확인할 수 있고, 스펙트럼에서는 주파수 축의 변화에 따른 진폭 축의 변화를 확인할 수 있는 반면, 스펙트로그램에서는 시간축과 주파수 축의 변화에 따라 진폭의 차이를 인쇄 농도의 차이 및/또는 표시 색상의 차이로 나타낸다.
일 예로, 상기 제어부(160)는 상기 추출된 제 1 소리 구간을 제 1 스펙트로그램 이미지로 변환하고, 상기 추출된 제 2 소리 구간을 제 2 스펙트로그램 이미지로 변환한다(S540).
이후, 상기 제어부(160)는 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 근거로 해당 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대한 데이터 라벨링을 각각 수행한다. 여기서, 상기 데이터 라벨링은 누수, 사용수, 기타(예를 들어 TV/라디오에서의 사람 소리, 전기음, 장비 긁는 소리, 바람 소리 등 포함) 등을 포함한다.
즉, 상기 제어부(160)는 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 분석하여, 해당 복수의 누수음 스펙트로그램 이미지가 누수인지, 사용수인지, 기타인지 여부를 판별(또는 확인)한다. 이때, 상기 제어부(160)는 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 저장부(130)에 미리 저장된 기준 정보와 비교(또는 유사도 비교)하여, 해당 복수의 누수음 스펙트로그램 이미지가 누수인지, 사용수인지, 기타인지 여부를 판별(또는 확인)할 수 있다. 여기서, 상기 기준 정보는 기준 누수음, 기준 누수 파형 이미지, 기준 누수 FFT 이미지, 기준 누수음 스펙트로그램 이미지, 기준 사용수음, 기준 사용수 파형, 기준 사용수 FFT 이미지, 기준 사용수 스펙트로그램 이미지, 기준 기타음, 기준 기타음 파형 이미지, 기준 기타음 FFT 이미지, 기준 기타음 스펙트로그램 이미지 등을 포함한다. 또한, 상기 기준 기타음은 상기 사람 소리, 상기 전기음, 상기 장비 긁는 소리, 상기 바람 소리 등을 포함하고, 상기 기준 기타음 파형 이미지는 상기 기준 기타음에 대한 파형 이미지를 나타내고, 상기 기준 기타음 FFT 이미지는 상기 기준 기타음에 대한 FFT 이미지를 나타내고, 상기 기준 기타음 스펙트로그램 이미지는 상기 기준 기타음에 대한 스펙트로그램 이미지를 나타낸다.
또한, 상기 제어부(160)는 상기 판별 결과(또는 상기 확인 결과)에 따라, 해당 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대한 데이터 라벨링을 각각 수행한다.
즉, 상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)가 누수와 관련 있는 것으로 판별되는 경우, 상기 제어부(160)는 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대해서 미리 설정된 '누수'로 데이터 라벨링을 수행한다.
또한, 상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)가 사용수와 관련 있는 것으로 판별되는 경우, 상기 제어부(160)는 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대해서 미리 설정된 '사용수'로 데이터 라벨링을 수행한다.
또한, 상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)가 기타와 관련 있는 것으로 판별되는 경우, 상기 제어부(160)는 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대해서 미리 설정된 '기타'로 데이터 라벨링을 수행한다.
일 예로, 상기 제어부(160)는 상기 수집된 제 1 누수음, 상기 변환된 제 1 파형 이미지, 상기 변환된 제 1 FFT 이미지, 상기 변환된 제 1 스펙트로그램 이미지를 분석하여, 해당 제 1 스펙트로그램 이미지가 누수와 관련 있는 것으로 판단될 때, 상기 제 1 스펙트로그램 이미지에 대해서 제 1 데이터 라벨링(예를 들어 누수)을 수행한다.
또한, 상기 제어부(160)는 상기 수집된 제 2 누수음, 상기 변환된 제 2 파형 이미지, 상기 변환된 제 2 FFT 이미지, 상기 변환된 제 2 스펙트로그램 이미지를 분석하여, 해당 제 2 스펙트로그램 이미지가 누수와 관련 있는 것으로 판단될 때, 상기 제 2 스펙트로그램 이미지에 대해서 제 2 데이터 라벨링(예를 들어 누수)을 수행한다(S550).
이후, 상기 제어부(160)는 인공 지능 기반의 기계 학습 수행 시 모델의 과적합을 방지하고 일반화 성능을 향상시키기 위해서, 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지에 데이터 증강 기법(또는 데이터 첨가 기법)을 각각 적용하여, 다수의 스펙트로그램 이미지를 생성한다.
일 예로, 상기 제어부(160)는 상기 제 1 데이터 라벨링된 제 1 누수음 스펙트로그램 이미지에 상기 데이터 증강 기법을 적용하여, 제 1-1 누수음 스펙트로그램 이미지 내지 제 1-10 누수음 스펙트로그램 이미지를 생성한다.
또한, 상기 제어부(160)는 상기 제 2 데이터 라벨링된 제 2 누수음 스펙트로그램 이미지에 상기 데이터 증강 기법을 적용하여, 제 2-1 누수음 스펙트로그램 이미지 내지 제 2-10 누수음 스펙트로그램 이미지를 생성한다(S560).
이후, 상기 제어부(160)는 상기 데이터 증강 기법이 적용된 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 각각 분류한다. 이때, 상기 제어부(160)는 미리 설정된 비율(예를 들어 학습 데이터 : 테스트 데이터 = 7:3 또는 8:2)로 상기 데이터 증강 기법이 적용된 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 각각 분류할 수 있다.
일 예로, 상기 제어부(160)는 상기 데이터 증강 기법이 적용된 제 1-1 누수음 스펙트로그램 이미지 내지 제 1-10 누수음 스펙트로그램 이미지 및 제 2-1 누수음 스펙트로그램 이미지 내지 제 2-10 누수음 스펙트로그램 이미지에 대해서 미리 설정된 7:3 비율에 따라, 상기 제 1-1 누수음 스펙트로그램 이미지 내지 상기 제 1-7 누수음 스펙트로그램 이미지와 상기 제 2-1 누수음 스펙트로그램 이미지 내지 상기 제 2-7 누수음 스펙트로그램 이미지를 학습 데이터로 분류하고, 상기 제 1-8 누수음 스펙트로그램 이미지 내지 상기 제 1-10 누수음 스펙트로그램 이미지와 상기 제 2-8 누수음 스펙트로그램 이미지 내지 상기 제 2-10 누수음 스펙트로그램 이미지를 테스트 데이터로 분류한다(S570).
이후, 상기 제어부(160)는 상기 분류된 학습 데이터(또는 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지 중에서 분류된 학습 데이터)를 근거로 인공지능 기반의 기계 학습을 수행하여, 기계 학습 결과를 근거로 상기 수집된 누수음(또는 해당 누수음과 관련한 관로)에 대해서 누수 여부 및 누수 종류를 분류(또는 확인/판단)한다.
즉, 상기 제어부(160)는 상기 분류된 학습 데이터(또는 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지 중에서 분류된 학습 데이터)를 미리 설정된 인공지능 기반 누수음 판정 모델의 입력값으로 하여 기계 학습(또는 인공지능/딥 러닝)을 수행하고, 기계 학습 결과(또는 인공지능 결과/딥 러닝 결과)를 근거로 상기 분류된 학습 데이터와 관련해서 해당 관로에서 누수가 발생했는지 여부를 확인(또는 판단/분류)한다. 이때, 상기 제어부(160)는 앞서 데이터 라벨링 결과 및 상기 기계 학습 결과를 함께 고려하여, 상기 학습 데이터와 관련한 관로에서 누수가 발생했는지 여부를 확인할 수도 있다.
또한, 상기 학습 데이터(또는 상기 누수음/상기 스펙트로그램 이미지)와 관련해서 누수가 발생한 것으로 확인(또는 판단/분류)되는 경우, 상기 제어부(160)는 상기 파형 이미지, 상기 FFT 이미지, 상기 스펙트로그램 이미지 등을 근거로 상기 누수음과 관련해서 발생한 누수 종류를 분류(또는 확인/판단)한다. 여기서, 상기 누수 종류는 누수(또는 옥외 누수)(예를 들어 배수관, 수도관, 급수관, 수도미터, 제수변 등 집 밖/외부에서 발생하는 누수), 옥내 누수(또는 옥내에서 발생하는 누수) 등을 포함한다.
즉, 상기 학습 데이터(또는 상기 누수음/상기 스펙트로그램 이미지)와 관련해서 누수가 발생한 것으로 확인(또는 판단/분류)되는 경우, 상기 제어부(160)는 상기 학습 데이터를 미리 설정된 인공지능 기반 누수 종류 판정 모델의 입력값으로 하여 다른 기계 학습(또는 다른 인공지능/다른 딥 러닝)을 수행하고, 다른 기계 학습 결과(또는 다른 인공지능 결과/다른 딥 러닝 결과)를 근거로 상기 분류된 학습 데이터와 관련해서 해당 관로에서 발생한 누수 종류를 확인(또는 판단/분류)한다.
또한, 상기 제어부(160)는 상기 누수 발생 여부(예를 들어 누수 발생), 상기 누수 종류(예를 들어 누수, 옥내 누수 등 포함) 등을 포함하는 정보를 표시부(140) 및/또는 음성 출력부(150)를 통해 출력한다.
또한, 상기 학습 데이터(또는 상기 누수음/상기 스펙트로그램 이미지)와 관련해서 누수가 발생하지 않은 것으로 확인(또는 판단/분류)되는 경우, 상기 제어부(160)는 해당 학습 데이터와 관련해서 사용수 상태 또는 기타 상태(또는 누수 미발생/누수가 발생하지 않은 경우)로 분류(또는 확인/판단)한다.
또한, 상기 제어부(160)는 상기 누수 발생 여부(예를 들어 누수 발생, 누수 미발생 등 포함), 누수 발생 시 누수 종류 등을 포함하는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다.
또한, 상기 제어부(160)는 상기 분류된 테스트 데이터(또는 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지 중에서 분류된 테스트 데이터)를 근거로 인공지능 기반의 또 다른 기계 학습을 수행하여, 또 다른 기계 학습 결과를 근거로 해당 누수음 판정 모델 및 누수 종류 판정 모델에 대한 정확도를 검증한다.
즉, 상기 제어부(160)는 상기 분류된 테스트 데이터(또는 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지 중에서 분류된 테스트 데이터)를 상기 미리 설정된 인공지능 기반 누수음 판정 모델의 입력값으로 하여 또 다른 기계 학습(또는 또 다른 인공지능/또 다른 딥 러닝)을 수행하고, 또 다른 기계 학습 결과(또는 또 다른 인공지능 결과/또 다른 딥 러닝 결과)를 근거로 상기 분류된 테스트 데이터와 관련해서 해당 관로에서 누수가 발생했는지 여부를 확인(또는 판단/분류)한다.
또한, 상기 제어부(160)는 상기 학습 데이터에 따른 해당 관로에서 누수가 발생했는지 여부 및 상기 테스트 데이터에 따른 해당 관로에서 누수가 발생했는지 여부를 분석(또는 비교)하여, 해당 인공지능 기반 누수음 판정 모델에 대한 정확도를 검증한다.
또한, 상기 제어부(160)는 상기 분류된 테스트 데이터(또는 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지 중에서 분류된 테스트 데이터)를 상기 미리 설정된 인공지능 기반 누수 종류 판정 모델의 입력값으로 하여 또 다른 기계 학습(또는 또 다른 인공지능/또 다른 딥 러닝)을 수행하고, 또 다른 기계 학습 결과(또는 또 다른 인공지능 결과/또 다른 딥 러닝 결과)를 근거로 상기 분류된 테스트 데이터와 관련해서 해당 관로에서 발생한 누수의 종류를 확인한다.
또한, 상기 제어부(160)는 상기 학습 데이터에 따른 해당 관로에서 확인된 누수의 종류 및 상기 테스트 데이터에 따른 해당 관로에서 확인된 누수의 종류를 분석(또는 비교)하여, 해당 인공지능 기반 누수 종류 판정 모델에 대한 정확도를 검증한다.
일 예로, 상기 제어부(160)는 상기 학습 데이터로 분류된 상기 제 1-1 누수음 스펙트로그램 이미지 내지 상기 제 1-7 누수음 스펙트로그램 이미지를 상기 인공지능 기반 누수음 판정 모델의 입력값으로 하여 기계 학습을 수행하고, 제 1 기계 학습 결과를 근거로 상기 제 1 스펙트로그램 이미지와 관련해서 상기 수도미터가 연결된 제 1 관로에서 누수가 발생한 것으로 확인한다.
또한, 상기 제어부(160)는 상기 학습 데이터로 분류된 상기 제 2-1 누수음 스펙트로그램 이미지 내지 상기 제 2-7 누수음 스펙트로그램 이미지를 상기 인공지능 기반 누수음 판정 모델의 입력값으로 하여 기계 학습을 수행하고, 제 2 기계 학습 결과를 근거로 상기 제 2 스펙트로그램 이미지와 관련해서 제수변이 연결된 제 2 관로에서 누수가 발생한 것으로 확인한다.
또한, 상기 제어부(160)는 상기 학습 데이터로 분류된 상기 제 1-1 누수음 스펙트로그램 이미지 내지 상기 제 1-7 누수음 스펙트로그램 이미지와 상기 제 2-1 누수음 스펙트로그램 이미지 내지 상기 제 2-7 누수음 스펙트로그램 이미지를 상기 인공지능 기반 누수 종류 판정 모델의 입력값으로 하여 기계 학습을 수행하고, 제 3 기계 학습 결과를 근거로 해당 제 1 관로 및 제 2 관로에서 발생한 제 1 누수 종류(예를 들어 옥외 누수)를 확인한다.
또한, 상기 제어부(160)는 상기 누수 발생 여부(예를 들어 누수 발생), 상기 제 1 누수 종류(예를 들어 옥외 누수) 등을 포함하는 정보를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다(S580).
또한, 해당 복수의 누수음과 관련한 관로(또는 해당 복수의 스펙트로그램 이미지와 관련한 관로)에서 누수가 발생한 것으로 확인되는 경우 또는, 상기 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)에 대한 데이터 라벨링 수행에 따라 해당 복수의 누수음 스펙트로그램 이미지(또는 복수의 누수음)와 관련한 관로에서 누수가 발생한 것으로 확인되는 경우, 상기 제어부(160)는 복수의 스펙트로그램 이미지 간의 상관관계 분석을 수행하여, 상관계수를 계산(또는 산출)한다.
일 예로, 상기 제 1 누수음 및 상기 제 2 누수음과 관련한 관로에서 누수가 발생한 것으로 확인될 때, 상기 제어부(160)는 상기 제 1 스펙트로그램 이미지와 상기 제 2 스펙트로그램 이미지에 대해 상관관계 분석을 수행하여 제 1 상관계수를 계산한다(S590).
이후, 상기 제어부(160)는 상기 계산된(또는 산출된) 상관계수가 미리 설정된 기준값(예를 들어 0.7) 이상인지 여부를 판단(또는 확인)한다.
일 예로, 상기 제어부(160)는 상기 계산된 제 1 상관계수가 미리 설정된 기준값인 0.7 이상인지 여부를 판단한다(S600).
상기 판단 결과(또는 상기 확인 결과), 상기 계산된 상관계수가 상기 미리 설정된 기준값 미만인 경우, 상기 제어부(160)는 상기 복수의 스펙트로그램 이미지에 대응하는 복수의 누수음이 서로 다른 관로에서 수집된 것으로 판단하고, 전체 과정을 종료한다. 이때, 상기 판단 결과(또는 상기 확인 결과), 상기 계산된 상관계수가 상기 미리 설정된 기준값 미만인 경우, 상기 제어부(160)는 상기 복수의 스펙트로그램 이미지에 대응하는 복수의 누수음이 동일한 관로에서 수집되었지만 서로 다른 시점(또는 시각)에 수집된 것으로 판단하고, 전체 과정을 종료할 수도 있다.
즉, 상기 판단 결과(또는 상기 확인 결과), 상기 계산된 상관계수가 상기 미리 설정된 기준값 미만인 경우, 상기 제어부(160)는 상기 복수의 스펙트로그램 이미지에 대응하는 복수의 누수음이 서로 다른 관로에서 수집된 것으로 판단하고, 앞서 누수음 발생에 대한 정보와 누수 종류에 대한 정보를 제공(또는 출력)하는 선에서 전체 과정을 종료한다.
일 예로, 도 12에 도시된 바와 같이, 상기 계산된 제 1 상관계수(예를 들어 0.42725)가 상기 미리 설정된 기준값인 0.7 미만일 때, 상기 제어부(160)는 상기 제 1 스펙트로그램 이미지와 상기 제 2 스펙트로그램 이미지 간의 상관성이 약하므로, 상기 제 1 누수음을 수집한 제 1 관로와 상기 제 2 누수음을 수집한 제 2 관로가 동일한 지점에서 발생하는 누수로 판단 불가한 것으로 최종 확인한다(S610).
또한, 상기 판단 결과(또는 상기 확인 결과), 상기 계산된 상관계수가 상기 미리 설정된 기준값 이상인 경우, 상기 제어부(160)는 상기 복수의 스펙트로그램 이미지에 대응하는 복수의 누수음이 서로 같은 관로에서 수집된 것으로 판단(또는 상기 복수의 누수음이 동일 시점의 서로 같은 관로에서 수집된 것으로 판단)하고, 해당 복수의 스펙트로그램 이미지를 근거로 동일한 관로에서 발생한 최종 누수 발생 위치를 추정(또는 계산/산출)한다.
즉, 상기 판단 결과(또는 상기 확인 결과), 상기 계산된 상관계수가 상기 미리 설정된 기준값 이상인 경우, 상기 제어부(160)는 앞선 [수학식 1] 또는 [수학식 2]를 통해 해당 스펙트로그램 이미지(또는 누수음)와 관련한 해당 관로에서 발생한 최종 누수 발생 위치를 추정(또는 계산/산출)한다.
또한, 상기 제어부(160)는 상기 추정된(또는 계산된/산출된) 최종 누수 발생 위치를 상기 표시부(140) 및/또는 상기 음성 출력부(150)를 통해 출력한다.
일 예로, 도 13에 도시된 바와 같이, 상기 계산된 제 1 상관계수(예를 들어 0.80028)가 상기 미리 설정된 기준값인 0.7 이상일 때, 상기 제어부(160)는 상기 제 1 스펙트로그램 이미지 및 상기 제 2 스펙트로그램 이미지 간의 상관성이 강하므로, 상기 제 1 누수음을 수집한 제 1 관로와 상기 제 2 누수음을 수집한 제 2 관로가 동일한 지점에서 발생하는 누수로 판단하고, 앞선 [수학식 1]을 이용해서 상기 제 1 누수음이 측정된 A 지점으로부터의 최종 누수 발생 위치를 계산한다.
여기서, 상기 제어부(160)는 상기 제 1 누수음을 측정한 A 지점과 상기 제 2 누수음을 측정한 B 지점 간의 거리(
)가 150m이고, 도 14에 도시된 바와 같이, 상기 제 1 스펙트로그램 이미지에서 상기 미리 설정된 조건(예를 들어 기준 에너지 이상)을 만족하는 제 1 누수 패턴을 추출하고, 상기 추출된 제 1 누수 패턴에 대해서 제 1 평균 강도값(
)(예를 들어 80)을 계산하고, 상기 제 2 스펙트로그램 이미지에서 상기 미리 설정된 조건을 만족하는 제 2 누수 패턴을 추출하고, 상기 추출된 제 2 누수 패턴에 대해서 제 2 평균 강도값(
)(예를 들어 40)을 계산한다.
또한, 상기 제어부(160)는 상기 계산된 거리(
)(예를 들어 150m), 상기 계산된 제 1 평균 강도값(
)(예를 들어 80), 상기 계산된 제 2 평균 강도값(
)(예를 들어 40)을 상기 [수학식 1]을 
에 대해서 정리한 다음의 [수학식 3]에 대입하여, 상기 
(예를 들어 50m)를 계산한다.
또한, 도 15에 도시된 바와 같이, 상기 제어부(160)는 상기 추정된 최종 누수 발생 위치(1500)를 상기 표시부(140)에 표시한다(S620).
본 발명의 실시예는 앞서 설명된 바와 같이, 복수의 관로에서 복수의 수집 대상으로부터 복수의 누수음을 수집하고, 수집된 복수의 누수음을 파형 이미지와 FFT 이미지로 각각 변환하고, 변환된 파형 이미지와 FFT 이미지에 대한 분석 기능을 수행하여 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하고, 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램 이미지로 변환하고, 수집된 누수음, 파형 이미지, FFT 이미지 및 변환된 누수음 스펙트로그램 이미지를 근거로 해당 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 수행하고, 데이터 라벨링된 누수음 스펙트로그램 이미지에 데이터 증강 기법을 적용하고, 데이터 증강 기법이 적용된 데이터 라벨링된 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 분류하고, 학습 데이터를 입력값으로 인공지능 기반 누수음 판정 모델에 대한 학습을 수행하여 누수 여부를 판별하고, 누수로 판별 시 복수의 스펙트로그램 이미지 간의 상관관계 분석을 수행하여 동일한 관로에서 발생한 최종 누수 발생 위치를 추정하여, 사람의 귀에 의해서 부정확하고 경험이나 주관적으로 누수 여부를 판단하는 대신에, 편리하고 정확하게 수집된 누수음으로부터 객관적으로 누수 여부 및 누수 종류를 확인하고, 누수 위치를 간편하게 추정할 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치
110: 수집부 120: 통신부
130: 저장부 140: 표시부
150: 음성 출력부 160: 제어부
110: 수집부 120: 통신부
130: 저장부 140: 표시부
150: 음성 출력부 160: 제어부
Claims (10)
- 수집부에 의해, 관로의 복수의 수집 위치에서 복수의 누수음을 각각 수집하는 단계;
제어부에 의해, 상기 수집된 복수의 누수음을 파형 이미지 및 FFT 이미지로 각각 변환하는 단계;
상기 제어부에 의해, 복수의 누수음에 대한 분석 기능을 수행하여, 전체 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하는 단계;
상기 제어부에 의해, 상기 복수의 누수음별로 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램(spectrogram) 이미지로 각각 변환하는 단계;
상기 제어부에 의해, 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 근거로 상기 복수의 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 각각 수행하는 단계;
상기 제어부에 의해, 인공 지능 기반의 기계 학습 수행 시 모델의 과적합을 방지하고 일반화 성능을 향상시키기 위해서, 상기 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지에 데이터 증강 기법을 각각 적용하여, 다수의 스펙트로그램 이미지를 생성하는 단계;
상기 제어부에 의해, 상기 데이터 증강 기법이 적용된 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 각각 분류하는 단계;
상기 제어부에 의해, 상기 분류된 학습 데이터를 근거로 인공지능 기반의 기계 학습을 수행하여, 기계 학습 결과를 근거로 상기 수집된 누수음에 대해서 누수 여부 및 누수 종류를 분류하는 단계; 및
상기 제어부에 의해, 상기 누수 발생 여부 및 상기 누수 종류를 포함하는 정보를 출력하는 단계를 포함하며,
상기 수집된 누수음에 대해서 누수 여부 및 누수 종류를 분류하는 단계는,
상기 분류된 학습 데이터를 미리 설정된 인공지능 기반 누수음 판정 모델의 입력값으로 하여 기계 학습을 수행하고, 기계 학습 결과를 근거로 상기 분류된 학습 데이터와 관련해서 관로에서 누수가 발생했는지 여부를 확인하는 과정; 및
상기 학습 데이터와 관련해서 누수가 발생한 것으로 확인될 때, 상기 파형 이미지, 상기 FFT 이미지 및 상기 스펙트로그램 이미지를 근거로 상기 누수음과 관련해서 발생한 누수 종류를 분류하는 과정을 포함하는 것을 특징으로 하는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법. - 제 1 항에 있어서,
상기 전체 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하는 단계는,
상기 전체 소리 구간 중에서 미리 설정된 간격으로 잡음이 가장 드물게 발생하는 첫 번째 소리 구간을 추출하는 것을 특징으로 하는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법. - 제 1 항에 있어서,
상기 복수의 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 각각 수행하는 단계는,
상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 저장부에 미리 저장된 기준 정보와 비교하여, 상기 복수의 누수음 스펙트로그램 이미지가 누수인지, 사용수인지 및 기타인지 여부를 판별하는 과정;
상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지가 누수와 관련 있는 것으로 판별될 때, 상기 복수의 누수음 스펙트로그램 이미지에 대해서 미리 설정된 누수로 데이터 라벨링을 수행하는 과정;
상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지가 사용수와 관련 있는 것으로 판별될 때, 상기 복수의 누수음 스펙트로그램 이미지에 대해서 미리 설정된 사용수로 데이터 라벨링을 수행하는 과정; 및
상기 판별 결과, 상기 복수의 누수음 스펙트로그램 이미지가 기타와 관련 있는 것으로 판별될 때, 상기 복수의 누수음 스펙트로그램 이미지에 대해서 미리 설정된 기타로 데이터 라벨링을 수행하는 과정을 포함하며,
상기 기타는,
TV/라디오에서의 사람 소리, 전기음, 장비 긁는 소리 및 바람 소리 중 적어도 하나를 포함하는 것을 특징으로 하는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법. - 제 3 항에 있어서,
상기 기준 정보는,
기준 누수음, 기준 누수 파형 이미지, 기준 누수 FFT 이미지, 기준 누수음 스펙트로그램 이미지, 기준 사용수음, 기준 사용수 파형, 기준 사용수 FFT 이미지, 기준 사용수 스펙트로그램 이미지, 기준 기타음, 기준 기타음 파형 이미지, 기준 기타음 FFT 이미지 및 기준 기타음 스펙트로그램 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법. - 삭제
- 삭제
- 제 1 항에 있어서,
상기 분류된 테스트 데이터를 근거로 인공지능 기반의 또 다른 기계 학습을 수행하여, 또 다른 기계 학습 결과를 근거로 누수음 판정 모델 및 누수 종류 판정 모델에 대한 정확도를 검증하는 단계를 더 포함하는 것을 특징으로 하는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법. - 제 1 항에 있어서,
상기 복수의 누수음과 관련한 관로에서 누수가 발생한 것으로 확인될 때, 상기 제어부에 의해, 상기 복수의 스펙트로그램 이미지 간의 상관관계 분석을 수행하여, 상관계수를 계산하는 단계;
상기 제어부에 의해, 상기 계산된 상관계수가 미리 설정된 기준값 이상인지 여부를 판단하는 단계;
상기 판단 결과, 상기 계산된 상관계수가 상기 미리 설정된 기준값 이상일 때, 상기 제어부에 의해, 상기 복수의 스펙트로그램 이미지에 대응하는 복수의 누수음이 서로 같은 관로에서 수집된 것으로 판단하고, 상기 복수의 스펙트로그램 이미지를 근거로 동일한 관로에서 발생한 최종 누수 발생 위치를 추정하는 단계; 및
상기 제어부에 의해, 상기 추정된 최종 누수 발생 위치를 출력하는 단계를 더 포함하는 것을 특징으로 하는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법. - 제 8 항에 있어서,
상기 복수의 스펙트로그램 이미지를 근거로 동일한 관로에서 발생한 최종 누수 발생 위치를 추정하는 단계는,
다음의 수학식및
중 어느 하나의 수학식을 통해 상기 복수의 누수음을 수집한 A 지점 및 B 지점으로부터의 상기 최종 누수 발생 위치를 추정하며,
여기서, 상기는 상기 복수의 누수음 중 어느 하나의 누수음을 측정한 A 지점에서 최종 누수 발생 위치까지의 거리를 나타내고, 상기
는 상기 복수의 누수음 중 다른 어느 하나의 누수음을 측정한 B 지점에서 최종 누수 발생 위치까지의 거리를 나타내고, 상기
는 상기
와 상기
의 합으로 계산되며 동일 관로에서 상기 복수의 누수음을 각각 측정한 복수의 지점 간의 거리를 나타내고, 상기
는 상기 A 지점의 잔류 누수 음향 발생 에너지를 나타내고, 상기
는 상기 B 지점의 잔류 누수 음향 발생 에너지를 나타내는 것을 특징으로 하는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 방법.
- 관로의 복수의 수집 위치에서 복수의 누수음을 각각 수집하는 수집부; 및
상기 수집된 복수의 누수음을 파형 이미지 및 FFT 이미지로 각각 변환하고, 복수의 누수음에 대한 분석 기능을 수행하여, 전체 소리 구간 중 잡음이 가장 드물게 발생하는 소리 구간을 추출하고, 상기 복수의 누수음별로 추출된 잡음이 가장 드물게 발생하는 소리 구간을 누수음 스펙트로그램 이미지로 각각 변환하고, 상기 수집된 복수의 누수음, 상기 변환된 복수의 파형 이미지, 상기 변환된 복수의 FFT 이미지 및 상기 변환된 복수의 누수음 스펙트로그램 이미지를 근거로 상기 복수의 누수음 스펙트로그램 이미지에 대한 데이터 라벨링을 각각 수행하고, 인공 지능 기반의 기계 학습 수행 시 모델의 과적합을 방지하고 일반화 성능을 향상시키기 위해서, 상기 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지에 데이터 증강 기법을 각각 적용하여, 다수의 스펙트로그램 이미지를 생성하고, 상기 데이터 증강 기법이 적용된 데이터 라벨링된 복수의 누수음 스펙트로그램 이미지를 학습 데이터와 테스트 데이터로 각각 분류하고, 상기 분류된 학습 데이터를 근거로 인공지능 기반의 기계 학습을 수행하여, 기계 학습 결과를 근거로 상기 수집된 누수음에 대해서 누수 여부 및 누수 종류를 분류하고, 상기 누수 발생 여부 및 상기 누수 종류를 포함하는 정보를 출력하는 제어부를 포함하며,
상기 제어부는,
상기 분류된 학습 데이터를 미리 설정된 인공지능 기반 누수음 판정 모델의 입력값으로 하여 기계 학습을 수행하고, 기계 학습 결과를 근거로 상기 분류된 학습 데이터와 관련해서 관로에서 누수가 발생했는지 여부를 확인하고, 상기 학습 데이터와 관련해서 누수가 발생한 것으로 확인될 때, 상기 파형 이미지, 상기 FFT 이미지 및 상기 스펙트로그램 이미지를 근거로 상기 누수음과 관련해서 발생한 누수 종류를 분류하는 것을 특징으로 하는 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220038267A KR102454925B1 (ko) | 2022-03-28 | 2022-03-28 | 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법 |
| PCT/KR2023/002191 WO2023191307A1 (ko) | 2022-03-28 | 2023-02-15 | 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220038267A KR102454925B1 (ko) | 2022-03-28 | 2022-03-28 | 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102454925B1 true KR102454925B1 (ko) | 2022-10-17 |
Family
ID=83810108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220038267A KR102454925B1 (ko) | 2022-03-28 | 2022-03-28 | 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102454925B1 (ko) |
| WO (1) | WO2023191307A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116577037A (zh) * | 2023-07-12 | 2023-08-11 | 上海电机学院 | 一种基于非均匀频率语谱图的风管泄漏信号检测方法 |
| WO2023191307A1 (ko) * | 2022-03-28 | 2023-10-05 | 주식회사 위플랫 | 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법 |
| KR102671018B1 (ko) * | 2023-05-31 | 2024-05-31 | 배락원 | 상수도 시설물 관리 시스템 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102323013A (zh) * | 2011-05-27 | 2012-01-18 | 长沙理工大学 | 一种阀门泄漏检测装置 |
| WO2015146082A1 (ja) * | 2014-03-26 | 2015-10-01 | 日本電気株式会社 | 漏洩検知装置、漏洩検知方法、およびプログラムを格納する記録媒体 |
| WO2017199455A1 (ja) * | 2016-05-19 | 2017-11-23 | 株式会社 東芝 | 漏水判定装置及び漏水判定方法 |
| KR101876730B1 (ko) | 2017-11-29 | 2018-08-09 | 주식회사 대은계전 | 상수도 누수탐지 감시 시스템 |
| JP2020519909A (ja) * | 2017-07-24 | 2020-07-02 | 厦門快商通科技股▲フン▼有限公司Ｘｉａｍｅｎ Ｋｕａｉｓｈａｎｇｔｏｎｇ Ｔｅｃｈ． Ｃｏｒｐ．， Ｌｔｄ． | 水道管の漏水検知方法 |
| KR20200092503A (ko) * | 2019-01-11 | 2020-08-04 | 오토시맨틱스 주식회사 | 입출력 음향 데이터 기반의 딥러닝을 활용한 하수관 상태 판별 방법 |
| KR20210145472A (ko) * | 2020-05-25 | 2021-12-02 | 주식회사 케이티 | 기계 장치 이상 탐지 방법, 장치 및 컴퓨터 프로그램 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102454925B1 (ko) * | 2022-03-28 | 2022-10-17 | 주식회사 위플랫 | 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법 |
-
2022
- 2022-03-28 KR KR1020220038267A patent/KR102454925B1/ko active IP Right Grant
-
2023
- 2023-02-15 WO PCT/KR2023/002191 patent/WO2023191307A1/ko unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102323013A (zh) * | 2011-05-27 | 2012-01-18 | 长沙理工大学 | 一种阀门泄漏检测装置 |
| WO2015146082A1 (ja) * | 2014-03-26 | 2015-10-01 | 日本電気株式会社 | 漏洩検知装置、漏洩検知方法、およびプログラムを格納する記録媒体 |
| WO2017199455A1 (ja) * | 2016-05-19 | 2017-11-23 | 株式会社 東芝 | 漏水判定装置及び漏水判定方法 |
| JP2020519909A (ja) * | 2017-07-24 | 2020-07-02 | 厦門快商通科技股▲フン▼有限公司Ｘｉａｍｅｎ Ｋｕａｉｓｈａｎｇｔｏｎｇ Ｔｅｃｈ． Ｃｏｒｐ．， Ｌｔｄ． | 水道管の漏水検知方法 |
| KR101876730B1 (ko) | 2017-11-29 | 2018-08-09 | 주식회사 대은계전 | 상수도 누수탐지 감시 시스템 |
| KR20200092503A (ko) * | 2019-01-11 | 2020-08-04 | 오토시맨틱스 주식회사 | 입출력 음향 데이터 기반의 딥러닝을 활용한 하수관 상태 판별 방법 |
| KR20210145472A (ko) * | 2020-05-25 | 2021-12-02 | 주식회사 케이티 | 기계 장치 이상 탐지 방법, 장치 및 컴퓨터 프로그램 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023191307A1 (ko) * | 2022-03-28 | 2023-10-05 | 주식회사 위플랫 | 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법 |
| KR102671018B1 (ko) * | 2023-05-31 | 2024-05-31 | 배락원 | 상수도 시설물 관리 시스템 |
| CN116577037A (zh) * | 2023-07-12 | 2023-08-11 | 上海电机学院 | 一种基于非均匀频率语谱图的风管泄漏信号检测方法 |
| CN116577037B (zh) * | 2023-07-12 | 2023-09-12 | 上海电机学院 | 一种基于非均匀频率语谱图的风管泄漏信号检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023191307A1 (ko) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102454925B1 (ko) | 인공 지능을 이용한 누수 여부 판별 및 누수 위치 추정 장치 및 그 방법 | |
| US11922524B2 (en) | Systems and methods for determining building damage | |
| US11354892B1 (en) | Systems and methods for hail damage verification on rooftops using computer vision and artificial intelligence | |
| CN104421620A (zh) | 泄漏信号分析方法 | |
| US20160356666A1 (en) | Intelligent leakage detection system for pipelines | |
| US11152016B2 (en) | Autonomous intelligent radio | |
| CN101364408A (zh) | 一种声像联合的监控方法及系统 | |
| Liu et al. | A sound monitoring system for prevention of underground pipeline damage caused by construction | |
| CN102981615B (zh) | 手势识别装置及识别方法 | |
| US20160154101A1 (en) | Matching system between convective cell in weather radar image and lightning and control method thereof | |
| CN103196465A (zh) | 一种相敏光时域反射仪传感信号噪声分离及信号提取方法 | |
| EP4233716A3 (en) | Systems and methods for detecting cognitive decline with mobile devices | |
| CN115751203A (zh) | 一种基于红外热像仪的天然气管道泄漏监测系统 | |
| CN105160359A (zh) | 一种基于超声导波的复杂结构损伤协同识别方法 | |
| KR102380541B1 (ko) | 소리 스펙트로그램 이미지를 이용한 설비 고장 진단 장치 및 그 방법 | |
| KR102025588B1 (ko) | 사물 인터넷 기반 지능형 재난 대응 출입통제 방법 | |
| CN112560673A (zh) | 一种基于图像识别的雷声检测方法及系统 | |
| US10139486B2 (en) | System for predicting path of convective cell and control method thereof | |
| CN113074718B (zh) | 一种定位方法、装置、设备及存储介质 | |
| CN108107457B (zh) | 用于获取位置信息的方法和装置 | |
| US20200319291A1 (en) | Method and apparatus for indoor localization | |
| CN104978810A (zh) | 玻璃破碎检测装置、方法及led照明装置 | |
| US20230258704A1 (en) | Fault detection method and system for a subsea electrical line | |
| US20220335253A1 (en) | System and method using machine learning for automated casing and/or tubing inspection log interpretation | |
| CN103780319B (zh) | 基于谱型分析的自适应音频干扰检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |