KR20160147591A - 천식 진단을 위한 청진음 신호의 전처리 방법 및 장치 - Google Patents
천식 진단을 위한 청진음 신호의 전처리 방법 및 장치 Download PDFInfo
- Publication number
- KR20160147591A KR20160147591A KR1020150084575A KR20150084575A KR20160147591A KR 20160147591 A KR20160147591 A KR 20160147591A KR 1020150084575 A KR1020150084575 A KR 1020150084575A KR 20150084575 A KR20150084575 A KR 20150084575A KR 20160147591 A KR20160147591 A KR 20160147591A
- Authority
- KR
- South Korea
- Prior art keywords
- spectrogram
- sound signal
- signal
- module
- stethoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 126
- 208000006673 asthma Diseases 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000007781 pre-processing Methods 0.000 title abstract description 21
- 238000003745 diagnosis Methods 0.000 claims abstract description 42
- 238000001914 filtration Methods 0.000 claims abstract description 42
- 208000003028 Stuttering Diseases 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 208000037656 Respiratory Sounds Diseases 0.000 description 10
- 206010047924 Wheezing Diseases 0.000 description 9
- 230000009466 transformation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002203 pretreatment Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010061218 Inflammation Diseases 0.000 description 2
- 230000000172 allergic effect Effects 0.000 description 2
- 208000010668 atopic eczema Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 230000000968 intestinal effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003434 inspiratory effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/003—Detecting lung or respiration noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/02—Stethoscopes
- A61B7/04—Electric stethoscopes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Pulmonology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 천식 진단을 위한 청진음 신호의 전처리 방법 및 장치에 관한 것으로서, 본 발명에 따른 천식 진단을 위한 청진음 신호의 전처리 방법은 천식 진단 대상으로부터 측정된 청진음 신호를 수신하는 단계, 청진음 신호의 고주파 성분을 필터링하는 단계, 청진음 신호를 시간-주파수 영역으로 변환하여 청진음 신호에 대한 스펙트로그램을 생성하는 단계, 청진음 신호로부터 노이즈가 제거되도록, 스펙트로그램에 기초하여 생성된 필터링된 스펙트로그램 (blurred spectrogram) 을 이용하여 스펙트로그램을 변환하는 단계 및 스펙트로그램의 저주파 성분을 필터링하는 단계를 포함하고, 필터링된 스펙트로그램을 이용하여 청진음 신호에 포함된 노이즈를 제거함으로써, 노이즈 제거를 위해 요구되는 연산량을 감소시킬 수 있는 효과가 있다.
Description
본 발명은 천식 진단을 위한 청진음 신호의 전처리 방법에 관한 것으로서, 보다 상세하게는 천식 진단을 위해 천식 진단 대상의 청진음 신호로부터 노이즈를 제거할 수 있는 전처리 방법에 관한 것이다.
천식이란 기도의 만성적인 알레르기성 염증 반응으로 인한 질환을 의미한다. 천식 환자는 알레르기성 염증 반응으로 인해 기관지가 좁아지면서 호흡곤란, 천명음 (wheezing sound) 이라 하는 쌕쌕거리는 호흡음 및 기침 등의 증상을 나타낸다. 특히, 천식 환자로부터 수집된 청진음을 통해 파악할 수 있는 천명음의 발생은 천식의 진단을 위해 활용되는 대표적인 증상이다. 환자의 천명음에 기초하여 천식 진단을 수행하는 전자적 시스템을 이용하기 위해서는 청진음에 포함된 다양한 노이즈를 제거하는 전처리 과정이 요구된다.
천명음을 검출하기 위해 청진음에 포함된 노이즈를 제거하는 경우, 종래에는 라플라시안 고주파 통과 필터를 이용하여 청진음을 필터링한다. 그러나, 라플라시안 고주파 통과 필터는 영상 처리에서 사용되는 필터로써, 필터링을 위해 요구되는 연산량이 과다하다는 문제점이 있다. 또한, 진폭이 큰 노이즈의 경우 라플라시안 고주파 통과 필터를 통해 필터링되지 않으므로, 진폭이 큰 노이즈를 포함하는 청진음으로부터 천명음을 정확하게 추출하는 것이 어렵다는 문제점이 있다.
따라서, 간소한 연산을 통해 청진음으로부터 천명음을 정확하게 추출할 수 있는 전처리 방법 및 장치의 개발이 요구되었다.
본 발명이 해결하고자 하는 과제는 필터링된 스펙트로그램 (blurred spectrogram) 을 이용하여 청진음 신호에 포함된 노이즈를 제거함으로써, 노이즈의 제거를 위해 요구되는 연산량을 감소시킬 수 있는 천식 진단을 위한 청진음 신호의 전처리 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 이동 평균 차감 기법을 활용하여 청진음 신호에 포함된 노이즈를 제거함으로써, 에너지가 큰 노이즈를 포함하는 청진음 신호로부터 천명음 (wheezing sound) 을 정확하게 추출할 수 있는 천식 진단을 위한 청진음 신호의 전처리 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 청진음 신호로부터 천명음을 추출하기 위해 최적화된 통과 대역을 갖는 필터를 이용함으로써, 청진음 신호로부터 효율적으로 천명음을 추출할 수 있는 천식 진단을 위한 청진음 신호의 전처리 방법 및 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 방법은 천식 진단 대상으로부터 측정된 청진음 신호를 수신하는 단계, 청진음 신호의 고주파 성분을 필터링하는 단계, 청진음 신호를 시간-주파수 영역으로 변환하여 청진음 신호에 대한 스펙트로그램을 생성하는 단계, 청진음 신호로부터 노이즈가 제거되도록, 스펙트로그램에 기초하여 생성된 필터링된 스펙트로그램 (blurred spectrogram) 을 이용하여 스펙트로그램을 변환하는 단계 및 스펙트로그램의 저주파 성분을 필터링하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 다른 특징에 따르면, 청진음 신호는 디지털 오디오 신호인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 고주파 성분은 1000Hz 이상의 주파수 성분인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 변환하는 단계는, 이동 평균 차감 기법을 통해 스펙트로그램을 변환하는 단계인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 이동 평균 차감 기법은 스펙트로그램의 30 프레임 내지 60 프레임에 대한 이동 평균을 이용하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 저주파 성분은 100Hz 이하의 주파수 성분인 것을 특징으로 한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 장치는 천식 진단 대상으로부터 측정된 청진음 신호를 수신하는 수신 모듈, 청진음 신호의 고주파 성분을 필터링하는 저역 통과 필터링 모듈, 청진음 신호를 시간-주파수 영역으로 변환하여 청진음 신호에 대한 스펙트로그램을 생성하는 생성 모듈, 청진음 신호로부터 노이즈가 제거되도록, 스펙트로그램에 기초하여 생성된 필터링된 스펙트로그램 (blurred spectrogram) 을 이용하여 스펙트로그램을 변환하는 변환 모듈 및 스펙트로그램의 저주파 성분을 필터링하는 고역 통과 필터링 모듈을 포함하는 것을 특징으로 한다.
본 발명의 다른 특징에 따르면, 청진음 신호는 디지털 오디오 신호인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 고주파 성분은 1000Hz 이상의 주파수 성분인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 변환 모듈은 이동 평균 차감 기법을 통해 스펙트로그램을 변환하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 이동 평균 차감 기법은 스펙트로그램의 30 프레임 내지 60 프레임에 대한 이동 평균을 이용하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 저주파 성분은 100Hz 이하의 주파수 성분인 것을 특징으로 한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 컴퓨터 판독 가능한 기록 매체는 천식 진단 대상으로부터 측정된 청진음 신호를 수신하고, 청진음 신호의 고주파 성분을 필터링하고, 청진음 신호를 시간-주파수 영역으로 변환하여 청진음 신호에 대한 스펙트로그램을 생성하고, 청진음 신호로부터 노이즈가 제거되도록, 스펙트로그램에 기초하여 생성된 필터링된 스펙트로그램 (blurred spectrogram) 을 이용하여 스펙트로그램을 변환하고, 스펙트로그램의 저주파 성분을 필터링하는 명령어들의 세트를 포함하는 것을 특징으로 한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 필터링된 스펙트로그램 (blurred spectrogram) 을 이용하여 청진음 신호에 포함된 노이즈를 제거함으로써, 노이즈 제거를 위해 요구되는 연산량을 감소시킬 수 있다.
본 발명은 이동 평균 차감 기법을 활용하여 청진음 신호에 포함된 노이즈를 제거함으로써, 에너지가 큰 노이즈를 포함하는 청진음 신호로부터 천명음 (wheezing sound) 을 정확하게 추출할 수 있는 효과가 있다.
본 발명은 청진음 신호로부터 천명음을 추출하기 위해 최적화된 통과 대역을 갖는 필터를 이용함으로써, 청진음 신호로부터 효율적으로 천명음을 추출할 수 있는 천식 진단을 위한 청진음 신호의 전처리 방법 및 장치를 제공할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 장치의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 방법을 설명하기 위한 순서도이다.
도 3a 내지 도 3d는 본 발명의 몇몇 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 방법에 의해 처리되는 청진음 신호의 예시적인 스펙트로그램 (spectrogram) 을 도시한다.
도 2는 본 발명의 일 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 방법을 설명하기 위한 순서도이다.
도 3a 내지 도 3d는 본 발명의 몇몇 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 방법에 의해 처리되는 청진음 신호의 예시적인 스펙트로그램 (spectrogram) 을 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 장치의 개략적인 구성도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 장치 (100) 는 수신 모듈 (110), 저역 통과 필터링 모듈 (120), 생성 모듈 (130), 변환 모듈 (140) 및 고역 통과 필터링 모듈 (150) 을 포함한다.
천식 진단을 위한 청진음 신호의 전처리 장치 (100) 는 천식 진단 대상의 청진음으로부터 노이즈를 제거하여 천명음 (wheezing sound) 을 현출하기 위한 장치이다. 천식 진단을 위한 청진음 신호의 전처리 장치 (100) 는 디지털 음성 신호 처리를 수행할 수 있는 컴퓨팅 디바이스로서 프로세서 및 메모리를 포함하는 컴퓨터, 스마트폰, 노트패드, 노트북 또는 태블릿 “PC” 등의 범용 컴퓨터일 수도 있고, 천식 진단을 위한 전용 단말일 수도 있고, 상술한 단말에 탑재되는 모듈일 수도 있다.
수신 모듈 (110) 은 천식 진단 대상으로부터 측정된 청진음 신호를 수신한다. 수신 모듈 (110) 은 전처리의 대상이 되는 청진음 신호를 수신한다. 청진음 신호는 전자 청진기에 의해 생성된 신호일 수 있다. 천식 진단을 위한 청진음 신호의 전처리 장치 (100) 는 청진음 신호를 생성하기 위한 전자 청진기를 포함할 수도 있다.
저역 통과 필터링 모듈 (120) 은 수신 모듈에 의해 수신된 청진음 신호의 고주파 성분을 필터링한다. 저역 통과 필터링 모듈 (120) 은 저역 통과 필터를 구현하기 위한 명령어를 실행하여 청진음 신호로부터 고주파 성분을 제거할 수 있다.
생성 모듈 (130) 은 저역 통과 필터링 모듈 (120) 에 의해 고주파 성분이 제거된 청진음 신호를 시간-주파수 영역으로 변환하여 청진음 신호에 대한 스펙트로그램 (spectrogram) 을 생성한다. 생성 모듈 (130) 은 스펙트로그램의 생성을 위해 청진음 신호를 프레임별로 분할할 수 있고, 분할된 프레임 각각을 주파수 영역으로 변환할 수 있다.
변환 모듈 (140) 은 청진음 신호로부터 노이즈가 제거되도록, 생성 모듈 (130) 에 의해 생성된 스펙트로그램에 기초하여 생성된 필터링된 스펙트로그램 (blurred spectrogram) 을 이용하여 스펙트로그램을 변환한다. 변환 모듈 (140) 은 청진음 신호에 포함된 천명음 성분을 제외한 다른 성분을 제거한다. 변환 모듈 (140) 은 필터링된 스펙트로그램을 생성하기 위해 이동 평균법 (moving average method) 을 이용할 수 있다.
고역 통과 필터링 모듈 (150) 은 변환 모듈 (140) 에 의해 변환된 스펙트로그램의 저주파 성분을 필터링한다. 고역 통과 필터링 모듈 (150) 은 고역 통과 필터를 구현하기 위한 명령어를 실행하여 스펙트로그램으로부터 저주파 성분을 제거하라 수 있다.
도 1에서는 식별의 편의를 위해 천식 진단을 위한 청진음 신호의 전처리 장치 (100) 내에 수신 모듈 (110), 저역 통과 필터링 모듈 (120), 생성 모듈 (130), 변환 모듈 (140) 및 고역 통과 필터링 모듈 (150) 이 개별적인 구성으로 도시되었으나, 각각의 모듈은 구현 방법 또는 본 발명의 실시예에 따라 하나의 통합적인 형태 또는 분리적 형태로 설계 구현되는 것도 가능하다.
도 2는 본 발명의 일 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 방법을 설명하기 위한 순서도이다. 설명의 편의를 위해 도 1을 참조하여 설명한다.
본 발명의 일 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 방법은 수신 모듈 (110) 이 천식 진단 대상으로부터 측정된 청진음 신호를 수신함으로써 개시된다 (S210).
천식 진단 대상은 천식이 발병할 수 있는 생물로서, 인간 또는 폐를 통해 호흡을 하는 임의의 종의 생물일 수 있다.
청진음 신호는 천식 진단 대상으로부터 청진기 등의 장치를 통해 수집된 청진음을 데이터화한 오디오 신호로서, 천식 환자의 청진음 신호에는 천명음 성분이 포함된다. 청진음 신호에는 천명음 외에 호흡음, 심음, 동맥음, 장잡음 및 혈관음 등이 포함될 수도 있다. 청진음 신호는 전자 청진기 등과 같이 천식 진단 대상의 청진음을 감지할 수 있는 장치에 의해 생성될 수 있고, 생성된 청진음 신호는 디지털 오디오 신호일 수 있다. 청진음 신호를 생성하는 장치는 천식 진단을 위한 청진음 신호의 전처리 장치 (100) 내부에 포함될 수도 있고 외부 장치일 수도 있다.
청진음 신호를 생성하는 장치가 외부 장치인 경우, 수신 모듈 (110) 은 외부 장치와의 통신을 통해 청진음 신호를 수신할 수 있고, 청진음 신호를 생성하는 장치가 천식 진단을 위한 청진음 신호의 전처리 장치 (100) 의 내부 모듈인 경우, 수신 모듈 (110) 은 내부 모듈로부터 청진음 신호를 수신할 수 있다. 청진음 신호가 천식 진단을 위한 청진음 신호의 전처리 장치 (100) 의 메모리에 저장된 경우, 수신 모듈 (110) 은 미리 저장된 청진음 신호를 수신할 수도 있다.
다음으로, 저역 통과 필터링 모듈 (120) 은 청진음 신호의 고주파 성분을 필터링한다 (S220). 청진음 신호에 포함된 천명음 성분은 1000Hz 이하, 더 정확하게는, 500Hz 이하의 주파수 성분으로 이루어진다. 즉, 청진음 신호에 포함된 1000Hz 이상, 더 정확하게는, 500Hz 이상의 주파수 성분은 천명음 성분을 포함하지 않는다. 따라서, 저역 통과 필터링 모듈 (120) 은 1000Hz 이상의 고주파 성분을 제거함으로써, 천식 진단을 위해 요구되지 않는 주파수 영역의 노이즈를 제거할 수 있다. 저역 통과 필터링 모듈 (120) 은 고주파 오디오 신호를 필터링하기 위한 명령어를 실행하여 청진음 신호로부터 고주파 성분을 제거할 수 있다.
저역 통과 필터링 모듈 (120) 은 청진음 신호를 일정한 시간 간격으로 슬라이스하여 프레임으로 분리한 후, 프레임 각각의 고주파 성분을 필터링할 수도 있다. 하나의 프레임의 길이는 10 ms (millisecond) 일 수 있다.
다음으로, 생성 모듈 (130) 은 청진음 신호를 시간-주파수 영역으로 변환하여 청진음 신호에 대한 스펙트로그램을 생성한다 (S230). 청진음 신호에 대한 스펙트로그램을 생성하기 위한 예시적인 실시예는 다음과 같다.
먼저, 생성 모듈 (130) 은 청진음 신호를 일정한 간격으로 분할하여 프레임으로 분리할 수 있다. 하나의 프레임의 길이는 10 ms 일 수 있다.
생성 모듈 (130) 은 청진음 신호의 프레임 각각을 주파수 영역으로 변환할 수 있다. 생성 모듈 (130) 은 프레임을 주파수 영역으로 변환하기 위해 푸리에 변환 또는 고속 푸리에 변환 등과 같은 알고리즘을 이용할 수 있다. 저역 통과 필터링 모듈 (120) 이 청진음 신호를 프레임으로 분리한 후 프레임 각각의 고주파 성분을 필터링한 경우, 생성 모듈 (130) 은, 청진음 신호를 프레임으로 분리하는 과정 없이, 필터링된 프레임 각각을 주파수 영역으로 변환할 수도 있다.
생성 모듈 (130) 은 주파수 영역으로 변환된 프레임을 시간 순으로 재배열하여 청진음 신호에 대한 스펙트로그램을 생성할 수 있다. 스펙트로그램은 파동을 시각화하여 파악하기 위한 그래프로서, 시간 및 주파수의 변화에 따른 파동의 진폭의 크기를 나타낸다. 생성 모듈 (130) 에 의해 생성된 청진음 신호에 대한 스펙트로그램의 제1 축은 시간 축, 제2 축은 주파수 축, 그리고 제3 축은 진폭 축일 수 있다.
다음으로, 변환 모듈 (140) 은 필터링된 스펙트로그램을 이용하여 청진음 신호의 스펙트로그램을 변환한다 (S240). 변환 모듈 (140) 은 청진음 신호로부터 천명음 성분을 제외한 호흡음, 심음, 동맥음, 장잡음 및 혈관음 등과 같은 노이즈를 제거하기 위해 청진음 신호의 스펙트로그램을 변환한다. 변환 모듈 (140) 은 청진음 신호의 스펙트로그램에 기초하여 필터링된 스펙트로그램을 생성한다. 필터링된 스펙트로그램은 이동 평균법에 의해 생성될 수 있다. 변환 모듈 (140) 은 필터링된 스펙트로그램을 이용하여 원본 스펙트로그램을 변환함으로써 노이즈를 제거한다.
본 발명의 일 실시예에 따르면, 변환 모듈 (140) 은 이동 평균 차감 기법을 통해 스펙트로그램을 변환할 수도 있다. 이동 평균 차감 기법을 통해 스펙트로그램을 변환하는 예시적인 실시예는 다음과 같다.
먼저, 변환 모듈 (140) 은 원본 스펙트로그램의 프레임 각각에 대한 이동 평균을 산출함으로써 필터링된 스펙트로그램을 생성한다. 원본 스펙트로그램의 프레임 각각에 대해 이동 평균을 산출하는 경우 원본 스펙트로그램의 각 프레임의 진폭값이 주변 프레임의 진폭값의 영향을 받게 되므로 필터링된 스펙트로그램이 생성될 수 있다. 프레임 각각에 대한 이동 평균은 천식 진단 대상의 한번의 호기 및 한번의 흡기를 포함하는 시간 구간에 대해 산출하는 것이 바람직하다. 변환 모듈 (140) 은 30 프레임 내지 60 프레임의 구간에 대해 이동 평균을 산출할 수 있다.
스펙트로그램의 프레임 각각에 대한 이동 평균값을 산출하기 위한 예시적인 수학식은 다음과 같다.
[수학식 1]
{?(Mean X_0j=1/n ∑_(k=0)^n▒X_kj @Mean X_ij=(n-1)/n Mean X_(i-1j)+1/n ∑_(k=i)^(i+n)▒X_kj )┤
여기서, X_ij는 i번째 프레임의 주파수 j에 대한 스펙트로그램의 진폭을 의미하고, Mean X_ij는 i번째 프레임의 및 주파수 j에 대한 X_ij의 이동 평균, 즉, i번째 프레임의 및 주파수 j에 대한 필터링된 스펙트로그램의 진폭을 의미하고, n은 이동 평균을 구하고자 하는 구간을 의미한다. n은 30 내지 60일 수 있다.
다음으로, 변환 모듈 (140) 은 원본 스펙트로그램의 진폭값과 필터링된 스펙트로그램의 진폭값의 차를 산출함으로써 원본 스펙트로그램을 변환할 수 있다. 원본 스펙트로그램의 진폭값과 필터링된 스펙트로그램의 진폭값의 차를 산출하는 경우, 원본 스펙트로그램의 천명음 성분의 진폭값은 노이즈 성분의 진폭값에 비해 크므로, 필터링된 스펙트로그램의 천명음 성분의 진폭값은 원본 스펙트로그램의 천명음 성분의 진폭값에 비해 작고, 필터링된 스펙트로그램의 노이즈 성분의 진폭값은 원본 스펙트로그램의 노이즈 성분의 진폭값에 비해 크다. 따라서, 원본 스펙트로그램의 진폭값과 필터링된 스펙트로그램의 진폭값의 차를 산출하는 경우 천명음 성분의 진폭값은 0보다 크고 노이즈 성분의 진폭값은 0보다 작다. 따라서, 원본 스펙트로그램의 진폭값과 필터링된 스펙트로그램의 진폭값의 차를 산출하는 경우 0보다 작은 값은 0으로 간주함으로써, 원본 스펙트로그램으로부터 노이즈 성분이 제거될 수 있다.
변환된 스펙트로그램을 나타내는 예시적인 수학식은 다음과 같다.
[수학식 2]
X_ij^'={?(X_ij-Mean X_ij,X_ij-Mean X_ij≥0@0,X_ij-Mean X_ij<0)┤
여기서, X_ij는 i번째 프레임의 주파수 j에 대한 스펙트로그램의 진폭을 의미하고, Mean X_ij는 i번째 프레임의 및 주파수 j에 대한 필터링된 스펙트로그램의 진폭을 의미하고, ?X'?_ij는 i번째 프레임의 및 주파수 j에 대한 변환 모듈 (140) 에 의해 변환된 스펙트로그램의 진폭을 의미한다.
상술한 바와 같이, 이동 평균 차감 기법을 활용하여 청진음 신호에 포함된 노이즈를 제거함으로써, 노이즈를 포함하는 청진음 신호로부터 천명음 (wheezing sound) 을 정확하게 추출할 수 있다.
고역 통과 필터링 모듈 (150) 은 스펙트로그램의 저주파 성분을 필터링한다 (S250). 변환 모듈 (140) 에 의해 스펙트로그램을 변환함으로써 대부분의 노이즈가 제거될 수 있으나, 심음 (heart sound) 은 상대적으로 신호의 진폭이 크므로 변환 모듈 (140) 에 의해 제거되기 어렵다. 따라서, 고역 통과 필터링 모듈 (150) 은 저주파 성분으로 이루어진 심음을 제거하기 위해 스펙트로그램의 저주파 성분을 제거한다. 고역 통과 필터링 모듈 (150) 은 100Hz 이하의 주파수를 갖는 심음을 제거하기 위해 스펙트로그램으로부터 100Hz 이하의 주파수 성분을 필터링할 수 있다. 고역 통과 필터링 모듈 (150) 은 저주파 오디오 신호를 필터링하기 위한 명령어를 실행하여 청진음 신호로부터 저주파 성분을 제거할 수 있다.
고역 통과 필터링 모듈 (150) 은 스펙트로그램을 일정한 시간 간격으로 슬라이스하여 프레임으로 분리한 후, 프레임 각각의 저주파 성분을 필터링할 수도 있다. 하나의 프레임의 길이는 10 ms (millisecond) 일 수 있다.
상술한 바와 같이, 적은 연산량만을 요구하는 기법을 통해 청진음 신호에 포함된 노이즈를 제거함으로써, 청진음 신호에 대한 노이즈 제거를 신속하게 수행할 수 있다.
도 3a 내지 도 3d는 본 발명의 몇몇 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 방법에 의해 처리되는 청진음 신호의 예시적인 그래프 및 스펙트로그램을 도시한다.
도 3a에 도시된 그래프는 천식 진단 대상의 청진음 신호를 도시한 그래프로서, 그래프의 가로 축은 시간 축이고 그래프의 밝기는 청진음 신호의 진폭을 나타낸다. 그래프의 밝기와 진폭의 크기는 비례한다. 도 3a를 참조하면, 청진음 신호는 일부 시간 구간에서 주기적으로 큰 진폭을 갖는다. 다만, 시간 구간의 그래프는 청진음 신호의 특성을 파악하기 어려우므로 청진음 신호의 스펙트로그램의 생성이 요구된다. 생성 모듈은 도 3a에 그래프를 통해 도시된 청진음 신호를 시간-주파수 영역으로 변환하여 도 3b에 도시된 스펙트로그램을 생성한다.
도 3b에 도시된 스펙트로그램은 청진음 신호를 시간-주파수 영역으로 변환하여 생성한 스펙트로그램으로서, 스펙트로그램의 가로 축은 시간 축이고, 세로 축은 주파수 축이며, 스펙트로그램의 밝기는 청진음 신호의 진폭을 나타낸다. 그래프의 밝기와 진폭의 크기는 비례한다. 도 3b를 참조하면, 청진음 신호는 상대적으로 진폭이 큰 고조파 신호 성분을 주기적으로 포함한다. 고조파 신호 성분이 나타나는 시간 구간은 천식 진단 대상의 호기 또는 흡기 구간일 수 있다. 고조파 신호 성분은 천명음 성분에 해당한다. 도 3b에 도시된 바와 같이, 도 3b에 도시된 스펙트로그램에 대응하는 청진음 신호는 천명음 성분 외의 노이즈를 포함하므로, 청진음 신호를 통해 천식을 진단하기 위해서는 노이즈를 제거하는 과정이 요구된다. 변환 모듈은 청진음 신호를 변환하여 노이즈를 제거할 수 있다.
도 3c에 도시된 스펙트로그램은 이동 평균 차감 기법에 의해 노이즈가 제거된 스펙트로그램으로서, 스펙트로그램의 가로 축은 시간 축이고, 세로 축은 주파수 축이며, 스펙트로그램의 밝기는 청진음 신호의 진폭을 나타낸다. 그래프의 밝기와 진폭의 크기는 비례한다. 도 3c를 참조하면, 이동 평균 차감 기법에 의해 노이즈가 제거된 청진음 신호에서 천명음 성분인 고조파 신호 성분을 제외한 나머지 성분의 크기는 최소화된다.
다만, 도 3c의 스펙트로그램 하단에 도시된 바와 같이, 도 3c에 도시된 청진음 신호는 저주파의 심음을 포함하므로, 청진음 신호의 저주파 성분을 제거하여 심음을 제거하는 과정이 요구된다. 고역 통과 필터링 모듈은 청진음 신호를 필터링하여 심음을 제거할 수 있다.
도 3d에 도시된 스펙트로그램은 청진음 신호의 저주파 성분이 필터링된 스펙트로그램으로서, 스펙트로그램의 가로 축은 시간 축이고, 세로 축은 주파수 축이며, 스펙트로그램의 밝기는 청진음 신호의 진폭을 나타낸다. 그래프의 밝기와 진폭의 크기는 비례한다. 도 3d를 참조하면, 도 3d의 스펙트로그램 하단에 도시된 바와 같이 청진음 신호로부터 저주파 성분으로 구성된 심음이 제거된다. 따라서, 본 발명의 일 실시예에 따른 천식 진단을 위한 청진음 신호의 전처리 방법을 통해 청진음 신호로부터 고조파 신호 성분으로 이루어진 천명음 성분을 제외한 노이즈의 대부분이 제거될 수 있다. 상술한 방법을 통해 청진음 신호로부터 노이즈를 제거한 후, 천식 진단 시스템을 통해 진단을 수행하는 경우, 천식 진단의 정확성을 향상시킬 수 있다.
본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 천식 진단을 위한 청진음 신호의 전처리 장치
110 수신 모듈
120 저역 통과 필터링 모듈
130 생성 모듈
140 변환 모듈
150 고역 통과 필터링 모듈
110 수신 모듈
120 저역 통과 필터링 모듈
130 생성 모듈
140 변환 모듈
150 고역 통과 필터링 모듈
Claims (13)
- 천식 진단 대상으로부터 측정된 청진음 신호를 수신하는 단계;
상기 청진음 신호의 고주파 성분을 필터링하는 단계;
상기 청진음 신호를 시간-주파수 영역으로 변환하여 상기 청진음 신호에 대한 스펙트로그램을 생성하는 단계;
상기 청진음 신호로부터 노이즈가 제거되도록, 상기 스펙트로그램에 기초하여 생성된 필터링된 스펙트로그램 (blurred spectrogram) 을 이용하여 상기 스펙트로그램을 변환하는 단계; 및
상기 스펙트로그램의 저주파 성분을 필터링하는 단계를 포함하는 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 방법. - 제 1 항에 있어서,
상기 청진음 신호는 디지털 오디오 신호인 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 방법. - 제 1 항에 있어서,
상기 고주파 성분은 1000Hz 이상의 주파수 성분인 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 방법. - 제 1 항에 있어서,
상기 변환하는 단계는,
이동 평균 차감 기법을 통해 상기 스펙트로그램을 변환하는 단계인 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 방법. - 제 4 항에 있어서,
상기 이동 평균 차감 기법은 상기 스펙트로그램의 30 프레임 내지 60 프레임에 대한 이동 평균을 이용하는 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 방법. - 제 1 항에 있어서,
상기 저주파 성분은 100Hz 이하의 주파수 성분인 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 방법. - 천식 진단 대상으로부터 측정된 청진음 신호를 수신하는 수신 모듈;
상기 청진음 신호의 고주파 성분을 필터링하는 저역 통과 필터링 모듈;
상기 청진음 신호를 시간-주파수 영역으로 변환하여 상기 청진음 신호에 대한 스펙트로그램을 생성하는 생성 모듈;
상기 청진음 신호로부터 노이즈가 제거되도록, 상기 스펙트로그램에 기초하여 생성된 필터링된 스펙트로그램 (blurred spectrogram) 을 이용하여 상기 스펙트로그램을 변환하는 변환 모듈; 및
상기 스펙트로그램의 저주파 성분을 필터링하는 고역 통과 필터링 모듈을 포함하는 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 장치. - 제 7 항에 있어서,
상기 청진음 신호는 디지털 오디오 신호인 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 장치. - 제 7 항에 있어서,
상기 고주파 성분은 1000Hz 이상의 주파수 성분인 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 장치. - 제 7 항에 있어서,
상기 변환 모듈은,
이동 평균 차감 기법을 통해 상기 스펙트로그램을 변환하는 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 장치. - 제 10 항에 있어서,
상기 이동 평균 차감 기법은 상기 스펙트로그램의 30 프레임 내지 60 프레임에 대한 이동 평균을 이용하는 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 장치. - 제 7 항에 있어서,
상기 저주파 성분은 100Hz 이하의 주파수 성분인 것을 특징으로 하는, 천식 진단을 위한 청진음 신호의 전처리 장치. - 천식 진단 대상으로부터 측정된 청진음 신호를 수신하고,
상기 청진음 신호의 고주파 성분을 필터링하고,
상기 청진음 신호를 시간-주파수 영역으로 변환하여 상기 청진음 신호에 대한 스펙트로그램을 생성하고,
상기 청진음 신호로부터 노이즈가 제거되도록, 상기 스펙트로그램에 기초하여 생성된 필터링된 스펙트로그램 (blurred spectrogram) 을 이용하여 상기 스펙트로그램을 변환하고,
상기 스펙트로그램의 저주파 성분을 필터링하는 명령어들의 세트를 포함하는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150084575A KR20160147591A (ko) | 2015-06-15 | 2015-06-15 | 천식 진단을 위한 청진음 신호의 전처리 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150084575A KR20160147591A (ko) | 2015-06-15 | 2015-06-15 | 천식 진단을 위한 청진음 신호의 전처리 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160147591A true KR20160147591A (ko) | 2016-12-23 |
Family
ID=57736360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150084575A Ceased KR20160147591A (ko) | 2015-06-15 | 2015-06-15 | 천식 진단을 위한 청진음 신호의 전처리 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20160147591A (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019190071A1 (ko) * | 2018-03-28 | 2019-10-03 | (주)오상헬스케어 | 호흡 질환 진단 장치 및 방법 |
| WO2022114858A1 (ko) * | 2020-11-26 | 2022-06-02 | 한국과학기술연구원 | 호흡기 질환 센싱 패치 및 시스템, 그리고 호흡기 질환 정보 제공 방법 |
| WO2024101783A1 (ko) * | 2022-11-08 | 2024-05-16 | 재단법인 아산사회복지재단 | 폐음을 이용한 폐기능 검사 장치 및 그 방법 |
-
2015
- 2015-06-15 KR KR1020150084575A patent/KR20160147591A/ko not_active Ceased
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019190071A1 (ko) * | 2018-03-28 | 2019-10-03 | (주)오상헬스케어 | 호흡 질환 진단 장치 및 방법 |
| WO2022114858A1 (ko) * | 2020-11-26 | 2022-06-02 | 한국과학기술연구원 | 호흡기 질환 센싱 패치 및 시스템, 그리고 호흡기 질환 정보 제공 방법 |
| KR20220073521A (ko) * | 2020-11-26 | 2022-06-03 | 한국과학기술연구원 | 호흡기 질환 센싱 패치 및 시스템, 그리고 호흡기 질환 정보 제공 방법 |
| WO2024101783A1 (ko) * | 2022-11-08 | 2024-05-16 | 재단법인 아산사회복지재단 | 폐음을 이용한 폐기능 검사 장치 및 그 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7092777B2 (ja) | 背景雑音環境における咳嗽検出のための方法および装置 | |
| CN104739412B (zh) | 一种对睡眠呼吸暂停进行监测的方法和设备 | |
| US11116478B2 (en) | Diagnosis of pathologies using infrasonic signatures | |
| US20210345991A1 (en) | Diagnosis of pathologies using infrasonic signatures | |
| US10856811B2 (en) | Automated diagnosis-assisting medical devices utilizing rate/frequency estimation | |
| EP2451359B1 (en) | Noise reduction of breathing signals | |
| CN108697328B (zh) | 一种鼾声识别方法及止鼾装置 | |
| Lin et al. | Wheeze recognition based on 2D bilateral filtering of spectrogram | |
| WO2020151169A1 (zh) | 一种电子听诊器的摩擦音干扰自动消除方法 | |
| Banerjee et al. | Segmentation and detection of first and second heart sounds (Si and S 2) using variational mode decomposition | |
| Falk et al. | Modulation filtering for heart and lung sound separation from breath sound recordings | |
| JP5464627B2 (ja) | 軽量な喘鳴検出方法およびシステム | |
| KR20160147591A (ko) | 천식 진단을 위한 청진음 신호의 전처리 방법 및 장치 | |
| McLane et al. | Comprehensive analysis system for automated respiratory cycle segmentation and crackle peak detection | |
| Kumar et al. | Performance analysis of different filters for power line interface reduction in ECG signal | |
| JP2015031889A (ja) | 音響信号分離装置、音響信号分離方法及び音響信号分離プログラム | |
| Tan et al. | EMD-based electrocardiogram delineation for a wearable low-power ECG monitoring device | |
| CN113425276A (zh) | 心率监测方法、耳机及计算机存储介质 | |
| Falk et al. | Spectro-temporal analysis of auscultatory sounds | |
| Jain et al. | An algorithm for automatic segmentation of heart sound signal acquired using seismocardiography | |
| WO2018176919A1 (zh) | 爆裂音识别方法及系统 | |
| US10952625B2 (en) | Apparatus, methods and computer programs for analyzing heartbeat signals | |
| CN109036472A (zh) | 一种改进的病理嗓音基音频率提取方法 | |
| US20220175322A1 (en) | System and Method for Adaptive Interference Suppression | |
| EP2938247B1 (en) | Method and apparatus for reducing motion artifacts in ecg signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20150615 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20160816 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20170213 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20160816 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |