KR102227489B1 - 음원 시각화 장치 및 방법 - Google Patents
음원 시각화 장치 및 방법 Download PDFInfo
- Publication number
- KR102227489B1 KR102227489B1 KR1020190083252A KR20190083252A KR102227489B1 KR 102227489 B1 KR102227489 B1 KR 102227489B1 KR 1020190083252 A KR1020190083252 A KR 1020190083252A KR 20190083252 A KR20190083252 A KR 20190083252A KR 102227489 B1 KR102227489 B1 KR 102227489B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound source
- information
- visualization
- location
- altitude
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012800 visualization Methods 0.000 claims abstract description 92
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 238000012937 correction Methods 0.000 claims description 16
- 238000000926 separation method Methods 0.000 claims description 12
- 238000007794 visualization technique Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 3
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims 1
- 229910052709 silver Inorganic materials 0.000 claims 1
- 239000004332 silver Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8086—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining other position line of source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/20—Position of source determined by a plurality of spaced direction-finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S2205/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S2205/01—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
- G01S2205/06—Emergency
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
음원 시각화 장치 및 방법을 제공한다. 실시예에 따른 음원 시각화 장치는 복수개의 음원감지 센서로 주변 음향, 음원 및 소음을 포함하는 음원신호를 감지하는 음원감지모듈; 감지된 음원신호에서 잡음을 필터링하고, 음원신호를 증폭시키는 전처리 모듈; 전처리 된 음원신호를 분석하여 상기 음원시각화 장치로부터 음원의 이격거리, 방향, 음원강도, 2차원 위치 및 고도정보를 포함하는 음원간이위치를 산출하는 연산모듈; 음원감지 센서 각각에서 감지된 음원의 고도정보를 이용하여 상기 고도정보가 포함된 복수개의 의사평면(Pseudo plane)을 생성하고, 복수개의 평면을 취사선택하고, 선택된 평면으로 획득한 정보를 음원간이위치에 적용하여 3차원 음원위치정보를 생성하는 탐색모듈; 및 3차원 음원 위치정보, 음원고도정보 및 음원강도정보를 포함하는 음원정보를 시스템 호스트로 출력하거나 시각화 신호로 변환하여 디스플레이하는 시각화모듈; 을 포함한다.
Description
음원시각화 장치 및 방법에 대한 것으로 구체적으로, 복수개의 음원감지센서를 통해 음원위치, 고도, 방향, 세기, 이격거리 등 음원정보를 파악하여 음원의 위치와 고도, 세기, 이격거리를 사용자가 시각을 통해 직관적으로 인식하도록 하는 음원 시각화 장치 및 방법에 대한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
자율주행차는 운전자가 핸들, 브레이크, 페달 등을 조작하지 않아도 스스로 주행하는 자동차로서, 센서를 통해 주변 상황을 파악해 장애물을 피하고 목적지까지 최적의 주행 경로를 선택하여 자동으로 주행하는 차량이다. 자율주행 차량에는 고속도로 주행 지원 시스템, 차선이탈 경보 시스템, 차선유지 지원 시스템, 후 측방 경보 시스템, 차량 간의 거리를 일정하게 유지하게 해주는 어드밴스트 스마트 크루즈 컨트롤, 자동 긴급제동 시스템 등이 필수적이다. 자율주행차는 미래 자동차 기술의 핵심으로, 구글 등 다국적기업에서 활발하게 연구 개발하고 있는 분야이다.
자율주행차의 기술개발 단계는 통상적으로 레벨 0에서 레벨 5까지 분류 되어 있다. 자율주행차 기술의 레벨 0은 자율주행과 아무런 관련기술이 없는 단계이고, 레벨 1은 주행시 여전히 운전자의 개입이 필요한 단계이다. 레벨 2는 자동차 스스로 스티어링 휠을 돌리고 가속 및 감속 주행을 수행할 수 있는 단계이고, 레벨 3은 도로 장애물까지 피할 수 있는 단계이다. 레벨 3부터는 운전시 모니터링 기준이 사람에서 시스템으로 넘어간다. 레벨 3부터는 모니터링 기준이 변경되는 만큼 운전자의 주의가 많이 줄어든다. 레벨 4는 다양한 도로 조건과 운전 상황에 대응하는 기술단계이고 레벨 5는 운전면허증 발급이 필요 없어지는 완벽한 자율주행을 구현하는 기술수준이다. 현재 레벨 3, 4 단계의 기술수준을 보유하는 자율주행차량들이 출시되고 있다.
현재 레벨 3단계에 있는 종래 자율주행차 및 무인차 기술에서 장애물 및 차량 주위 객체를 인식하는 과정은 카메라 등 센서를 통해 객체를 시각적으로 인식하는 것이 대부분이다. 하지만, 실제 사람이 운전하는 과정에서는 차량 주변객체를 소리를 통해 인식하기도 하고, 소리를 통해 위급상황을 판단하는 경우도 빈번하다. 예컨대, 물체 소리, 충돌음, 충격음이나 사이렌 소리 등의 응급신호는 운전자가 중요하게 해석해야 하는 음원이다.
하지만 종래에는 운전상황 판단 시 시각적 신호를 이용하는 기술로 개발이 치우쳐 있는 실정이다. 앞으로 레벨 5단계에서 사람이 운전하는 것 같은 완벽한 자율주행 기술을 구현하기 위해서는 자율주행 차량의 음원신호 처리 및 시각화 기술이 필요하다.
복수개의 음원감지 센서를 통해 음원의 방향, 위치, 고도, 세기, 이격거리 등 다양한 음원정보를 인식하고 사용자가 음원의 위치를 직관적으로 빠르게 파악할 수 있도록 시각화 하는 음원 시각화 장치 및 방법을 제공한다.
또한, 음원의 방향과 세기, 위치를 포함하는 음원간이위치정보에서 음원의 고도를 포함시키거나, 음원 고도 정보 및 위치정보를 보정함으로써, 사용자가 주변의 음원위치를 음원 고도 정보를 포함하는 3차원으로 인식할 수 있도록 한다.
또한, 음원의 이동방향, 움직임, 크기와 같은 음원정보를 모두 각각 시각화 하여 음원의 크기와 위험성을 보다 직관적으로 파악할 수 있도록 한다.
실시예에 따른 음원 시각화 장치는 대각선으로 다른 높이에 설치된 복수개의 음원감지 센서로 주변 음향, 음원 및 소음을 포함하는 음원신호를 감지하는 음원감지모듈; 감지된 음원신호에서 잡음을 필터링하고, 음원신호를 증폭시키는 전처리 모듈; 전 처리된 음원신호를 분석하여 음원시각화 장치로부터 음원의 이격거리, 방향, 음원강도, 2차원 위치 및 고도정보를 포함하는 음원간이위치를 산출하는 연산모듈; 음원감지 센서 각각에서 감지된 음원의 고도정보를 이용하여 고도정보가 포함된 복수개의 의사평면(Pseudo plane)을 생성하고, 복수개의 평면을 취사선택 하고, 선택된 평면으로 획득한 고도정보를 음원간이위치에 포함시켜 3차원 음원위치정보를 생성하는 탐색모듈; 및 3차원 음원 위치정보, 음원고도정보 및 음원강도정보를 포함하는 음원정보를 시스템 호스트로 출력하거나, 시각화 신호로 변환하여 디스플레이하는 시각화모듈; 을 포함한다.
다른 실시예에 따른 음원의 시각화 방법은 (A) 음원감지모듈에서 복수개의 음원감지 센서로 주변 음향, 음원 및 소음을 포함하는 음원신호를 감지하는 단계; (B) 전처리모듈에서 감지된 음원신호에서 잡음을 필터링하고, 음원신호를 증폭시키는 단계; (C) 연산모듈에서 전처리 된 음원신호를 분석하여 음원시각화 장치로부터 음원의 이격 거리, 방향, 음원강도, 2차원 위치 및 고도정보를 포함하는 음원간이위치를 산출하는 단계; (D) 탐색모듈에서 상기 음원감지 센서 각각에서 감지된 음원의 고도정보를 이용하여 상기 고도정보가 포함된 복수개의 의사 평면을 생성하고, 상기 복수개의 평면을 취사선택하고, 선택된 평면으로 획득한 고도정보를 음원간이위치에 포함시켜 3차원 음원위치정보를 생성하는 단계; 및 (E) 시각화모듈에서 3차원 음원 위치정보, 음원고도정보 및 음원강도정보를 포함하는 음원정보를 시스템 호스트로 출력하거나, 시각화 신호로 변환하여 디스플레이하는 단계; 를 포함한다.
이상에서와 같은 음원 시각화 장치 및 방법은 음원의 고도, 방향, 사용자와의 거리 및 위치, 세기를 포함하는 다양한 음원정보를 파악할 수 있도록 하여, 사용자 주변 객체의 존재 여부 및 위험신호를 음원을 통해 보다 정확히 파악할 수 있도록 한다.
또한, 자율주행 차량에서는 주변 음원신호를 시각적으로 변환하여 시스템이나 동승 운전자에게 음원 정보를 시각 정보로 제공함으로써, 시스템이나 동승 운전자가 카메라나 시각적으로 인식할 수 없는 주변 객체의 움직임이나 소리에 의한 긴급 상황을 파악할 수 있다.
또한, 음원 감지 센서 각각에 대해 음원위치를 3차원으로 표현하는 의사평면(Pseudo plane)을 생성하고 이를 일치시켜 음원 고도정보를 보정함으로써, 음원이 평면에 존재하지 않는 경우에도 음원 고도 정보까지 정확하게 사용자에게 제공할 수 있도록 한다.
또한, 청력이 약한 사용자 및 노약자에게 실시예에 따른 음원 시각화 장치가 제공되는 경우, 청력이 약한 분들이 음원신호를 시각적으로 파악할 수 있다.
또한, 실시예에 따른 음원 시각화 장치를 노인 운동 보조기구 등에 설치하는 경우, 청력이 상대적으로 약한 노인들이 청각적 정보를 시각적으로 인식할 수 있도록 하여 안전사고를 예방할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 실시예에 따른 음원시각화 장치를 나타낸 도면
도 2는 실시예에 따른 음원 시각화 장치의 데이터 처리 블록을 나타낸 도면
도 3은 실시예에 따른 음원 시각화 장치의 보다 구체적인 데이터 처리블록을 나타낸 도면
도 4는 실시예에 따른 음원 시각화 장치의 시각화 템플렛을 나타낸 도면
도 5는 실시예에 따른 음원정보 시각화 과정을 나타낸 흐름도
도 6은 실시예에 따른 음원 위치정보 생성 및 보정과정을 보다 구체적으로 나타낸 도면
도 7은 실시예에 따른 음원 간이위치산출 및 음원강도파악 과정을 보다 자세히 나타낸 흐름도
도 8은 실시예에 따른 오차 정정 과정을 보다 자세히 설명하기 위한 도면
도 9a는 실시예에 따른 음원간 거리 및 위치보정 연산과정을 설명하기 위한 도면
도 9b는 실시예에 따른 연산모듈에서 음원의 이격거리, 방향, 음원강도, 2차원 위치 및 고도정보를 포함하는 음원 간이 위치를 산출하는 방법과 의사평면의 생성을 설명하기 위한 도면
도 10은 실시예에 따른 음원정보 시각화 과정을 나타낸 흐름도
도 2는 실시예에 따른 음원 시각화 장치의 데이터 처리 블록을 나타낸 도면
도 3은 실시예에 따른 음원 시각화 장치의 보다 구체적인 데이터 처리블록을 나타낸 도면
도 4는 실시예에 따른 음원 시각화 장치의 시각화 템플렛을 나타낸 도면
도 5는 실시예에 따른 음원정보 시각화 과정을 나타낸 흐름도
도 6은 실시예에 따른 음원 위치정보 생성 및 보정과정을 보다 구체적으로 나타낸 도면
도 7은 실시예에 따른 음원 간이위치산출 및 음원강도파악 과정을 보다 자세히 나타낸 흐름도
도 8은 실시예에 따른 오차 정정 과정을 보다 자세히 설명하기 위한 도면
도 9a는 실시예에 따른 음원간 거리 및 위치보정 연산과정을 설명하기 위한 도면
도 9b는 실시예에 따른 연산모듈에서 음원의 이격거리, 방향, 음원강도, 2차원 위치 및 고도정보를 포함하는 음원 간이 위치를 산출하는 방법과 의사평면의 생성을 설명하기 위한 도면
도 10은 실시예에 따른 음원정보 시각화 과정을 나타낸 흐름도
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 실시예에 따른 음원시각화 장치를 나타낸 도면이다.
도 1을 참조하면, 실시예에 따른 음원 시각화 장치는 사용자 주변 음원의 크기, 위치, 방향, 고도를 포함하는 음원정보를 인식하여 음원정보를 시각화 객체로 변환하여 사용자에게 디스플레이한다. 실시예에서는 시계모양의 방사형 시각화 템플렛(a)을 제안하지만, 음원 시각화 템플렛은 도 1에 도시된 예로 한정되는 것은 아니다. 실시예에서 복수개의 음원인식센서에 의해 감지된 음원은 음원의 크기, 방향, 사용자로부터의 거리 등 음원정보의 각 항목이 음원 시각화 템플렛에 해당하는 시각화 객체로 각각 변환되어, 세부적인 음원정보까지 사용자에게 시각적으로 제공될 수 있다. 도 1에 도시된 바와 같이, 음원정보의 시각화 템플렛은 음원시각화 장치의 상부면(A) 또는 측면(B) 등에 디스플레이 될 수 있다.
실시예에 따른 음원 시각화 장치는 자율주행 차량 등 다양한 시스템과 기기에 적용 될 수 있다. 이 경우 음원 시각화 장치는 시스템에 미리 설정된 시각화 템플렛을 통해 음원정보가 표시될 수 있다.
도 2는 실시예에 따른 음원 시각화 장치의 데이터 처리 블록을 나타낸 도면이다.
도 2를 참조하면, 실시예에 따른 음원 시각화 장치는 음원감지모듈(210), 전처리 모듈(230), 연산모듈(250), 탐색모듈(270) 및 시각화 모듈(290)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware),
임베디드 코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
음원감지모듈(210)은 대각선으로 같은 높이 또는 다른 높이에 설치된 복수개의 음원감지 센서로 주변 음향, 음원 및 소음을 포함하는 음원신호를 감지한다. 실시예에서는 4개의 음원감지센서 각각이 주변의 음향, 음원 및 소음을 감지할 수 있다.
전처리 모듈(230)은 감지된 음원신호에서 잡음을 필터링하고, 음원신호를 증폭시킨다. 예컨대, 전처리 모듈(230)은 센서를 통해 수집된 음원의 주파수 및 강도를 파악하여 잡음신호를 필터링하고, 주요한 음원신호를 일정 데시벨 또는 레벨 이상으로 증폭시킬 수 있다.
연산모듈(250)은 전처리된 음원신호를 분석하여 음원의 이격거리, 방향, 음원강도, 2차원 위치 및 간이 고도정보를 포함하는 음원간이위치를 산출한다. 실시예에서 음원간이위치는 전처리 모듈(230)로부터 전달받은 음원신호를 통해 사용자 위치에서 상대적인 음원의 위치, 크기, 음원고도 등을 포함하는 음원 정보를 일차적으로 산출한 것이다.
탐색모듈(270)은 음원감지 센서 각각에서 감지된 음원의 고도정보를 이용하여 복수개의 의사평면을 생성하고, 복수개의 평면을 취사선택하고 선택 된 평면으로 획득한 고도정보를 음원간이위치에 포함시켜 3차원 음원위치정보를 생성한다. 실시예에서 탐색모듈(270)은 연산모듈(250)에서 일차적으로 산출한 음원 고도정보 및 음원 위치정보를 보정한다. 구체적으로 탐색모듈(270)은 센서 각각에서 감지한 음원정보를 이용하여 음원의 위치(x, y) 좌표와 음원의 고도(z) 좌표를 포함하는 의사평면을 생성하고, 센서 각각에서 생성된 평면을 취사선택 하여 음원 고도정보를 보정할 수 있다. 실시예에서는 센서 각각에서 생성된 평면에서, 음원 고도정보인 z 좌표의 평균값, 중간값, 최빈값 이나 시뮬레이션 등을 이용하여 음원 고도정보를 보정할 수 있다. 실시예에서는 보정된 정보를 음원 고도정보로 생성할 수 있다.
시각화 모듈(290)은 3차원 음원 위치정보, 음원고도정보 및 음원강도정보를 포함하는 음원정보를 시스템 호스트로 출력하거나 시각화 템플릿에 대응하는 시각화 신호 및 시각화 객체로 변환하여 디스플레이한다.
도 3은 실시예에 따른 음원 시각화 장치의 보다 구체적인 데이터 처리블록을 나타낸 도면이다.
도 3을 참조하면, 실시예에 따른 연산모듈(250)은 음원강도 연산부(251) 및 음원위치 연산부(253)를 포함하여 구성될 수 있고, 탐색모듈(270)은 음원고도탐색부(271) 및 보정부(273)를 포함하여 구성될 수 있고, 시각화 모듈(290)은 변환부(291), 표시부(293) 및 음원고도 표시부(295)를 포함하여 구성될 수 있다.
연산모듈(250)의 음원강도연산부(251)는 음원감지 센서에서 인식된 음원데이터 및 음원신호의 크기를 파악하고, 파악된 크기에 해당하는 음원강도레벨을 산출한다. 예컨대, 음원강도 연산부(251)는 음원 강도를 파악하고 파악된 음원 강도에 대응하는 음원 강도 레벨을 산출한다. 구체적으로 0-50데시벨은 1레벨, 51-100 데시벨은 2레벨, 101-150데시벨은 3레벨에 대응하도록 음원 강도 레벨을 산출할 수 있고, 음원 강도 레벨의 범위와 간격은 시스템 설계 시 조정될 수 있다. 실시예에서 설정된 음원 레벨 각각은 색, 조명의 밝기(lux), 깜빡임 빈도수와 매칭되어 음원의 강도가 시각적으로 표시될 수 있다.
음원위치 연산부(253)는 음원감지 센서 각각에서 파악된 음원감지신호가 전처리 모듈에서 처리된 음원신호를 분석하여 음원의 발생 위치 및 음원 이동 위치를 연산한다.
탐색모듈(270)의 음원고도 탐색부(271)는 연산된 음원위치정보 및 음원감지 센서 각각에서 감지한 음원정보에 포함된 음원의 고도데이터를 이용하여 음원감지 센서 각각에서 인지한 음원의 고도정보를 표현하는 평면을 생성하고, 생성된 평면에서 정보를 추출하여 음원의 고도를 파악한다.
보정부(273)는 탐색된 음원고도 정보를 음원간이위치 정보에 부가하거나, 생성된 음원위치, 음원거리, 강도 및 음원고도를 보정한다.
시각화모듈(290)의 변환부(291)는 미리 설정된 방사형 등의 시각화 템플렛에 따라 인식된 음원의 방향 및 사용자와 음원간 이격거리를 미리 설정된 시각화 템플렛에 대응하는 시각화 객체로 변환한다. 혹은 보정된 음원정보를 시스템 호스트로 출력한다.
표시부(293)는 인식된 음원의 강도에 대응하는 색 또는 빛의 세기를 매칭하고, 음원의 강도 따라 시각화된 객체의 색 또는 빛의 휘도를 변경하여 표시한다.
음원고도표시부(295)는 파악된 음원 고도를 시각화 템플렛에 대응하는 각도로 변환하여 표시하거나 음원이 변환된 시각화 객체와 함께 음원의 고도정보를 표시한다.
도 4는 실시예에 따른 음원 시각화 장치의 시각화 템플렛을 나타낸 도면이다.
도 4를 참조하면, 실시예에서 음원 시각화 템플렛은 방사형 형태로 구성될 수 있다. 방사형 템플릿의 중심(C)는 사용자 위치를 나타내고, 사용자 위치에 대한 음원위치가 상대적으로 연산되어 시각적 객체 A, B 등으로 표시될 수 있다.
방사형 형태의 시각화 템플릿은 사용자로부터 이격된 음원의 방향과 거리를 시계 방향 및 원의 직경으로 변환하여 상대적으로 표시할 수 있다. 또한, 실시예에서는 충격음, 마찰음 및 특정 강도 이상의 음원에 대해서는 충격표시(D)로 시각화 하거나, 음원의 강도를 색 및 불빛의 깜빡임 빈도 등에 매칭하여 시각화 할 수 있다. 실시예에 따른 방사형 형태의 음원 시각화 템플릿을 이용하는 경우, 자율주행 차량에서는 주변 음원신호를 시각적으로 변환하여 차량에 설치된 호스트 시스템이나 동승 운전자에게 음원 정보를 시각 정보로 제공하여 운전자가 카메라를 통해 인식할 수 없는 주변 객체의 움직임이나 상황을 파악할 수 있도록 한다. 즉, 실시예에 따른 음원 시각화 방법 및 프로그램을 자율주행 차량 등의 시스템이나 기기에 이용하는 경우, 실시예에 따른 시각화 장치에서 제공하는 템플릿과 별개로 음원으로 파악한 주변객체의 위치 정보가 출력될 수 있다. 예컨대, 음원 시각화 프로그램이 설치된 시스템에서 음원정보를 통해 파악된 주변 객체 정보를 시스템 상 기설정된 템플렛을 통해 출력하거나, 음성, 또는 시각적 정보로 출력할 수 있다.
또한, 실시예에 따른 음원 시각화 템플릿 및 음원 시각화 장치를 노인 운동 보조기구 등에 설치하는 경우, 청력이 상대적으로 약한 노인들이 청각적 정보를 시각적으로 인식할 수 있도록 하여 안전사고를 예방할 수 있다.
도 5는 실시예에 따른 음원정보 시각화 과정을 나타낸 흐름도이다.
도 5를 참조하면, S510 단계에서는 음원감지모듈에서 복수개의 음원감지 센서로 주변 음향, 음원 및 소음을 포함하는 음원신호를 감지한다. S530 단계에서는 전처리모듈에서 감지된 음원신호에서 잡음을 필터링하고, 음원신호를 증폭시킨다. S550 단계에서 연산모듈은 전처리된 음원신호를 분석하여 음원시각화 장치로부터 음원의 이격거리, 방향, 음원강도, 2차원 위치 및 고도정보를 포함하는 음원간이위치를 산출하고, 사용자 주변 음원 강도를 파악한다. S570 단계에서 탐색모듈은 음원감지 센서 각각에서 감지된 음원의 고도정보를 이용하여 고도정보가 포함된 복수개의 의사평면을 생성하고, 복수개의 평면을 취사선택하고, 선택된 평면으로 획득한 고도정보를 음원간이위치에 적용 시켜 3차원 음원위치정보를 생성한다. S590 단계에서 시각화 모듈은 3차원 음원 위치정보, 음원고도정보 및 음원강도정보를 포함하는 음원정보를 시각화 신호로 변환하여 디스플레이한다.
도 6은 실시예에 따른 간이 음원 위치정보 생성 및 추출신호 보정과정을 보다 구체적으로 나타낸 도면이다.
도 6을 참조하면, S551 단계에서는 연산모듈에서 각 센서에서 전처리 완료 후 추출된 신호를 조합하여 음원강도를 연산하고, 음원 별 강도 레벨을 생성한다.
S552 단계에서는 연산모듈에서 센서 별로 추출된 음원 신호로 각각의 ITD(Inter-aural Time Difference)를 생성한다. 음원시간차(ITD)는 음원의 위치에 따른 두 센서까지의 경로 차이에 의한 시간 차로서, 주로 수평 방향 음원의 위치를 지각하는데 기여하는 수치이다. 실시예에서는 센서 각각에서 동일한 음원에 대한 ITD를 생성하여 음원과 사용자 간 거리 산출 및 음원 방향과 음원 위치 파악을 보다 정확하게 수행할 수 있도록 한다.
S553 단계에서는 탐색모듈에서 4개의 음향센서에서 입력된 신호를 기준으로 고도에 관한 특성을 배제하고 동일한 수평면으로 가정하여 수평면에서의 방향을 탐색하여 간이위치를 인지한다.
S554 단계에서는 위치탐색으로 인지한 위치로 고도가 포함된 동일 수평면을 생성하여 음원에 대한 고도를 탐색한다.
S555 단계에서는 생성된 간이위치와 간이고도로 각 센서에 대한 평면 일치를 만들어 신호를 추출할 수 있도록 한다. 예컨대, 센서 별 평면 z 좌표를 생성하여, 최빈값, 중간값, 평균값 등으로 평면 일치를 위한 음원 고도 정보를 산출할 수 있다. S557 단계에서는 평면 일치로 재구성된 센서의 위치에서 각 센서의 신호를 재구성하여 신호를 추출한다. S559 단계에서는 추출된 데이터에 대한 검증과 시뮬레이션으로 추출된 신호를 보정하여 출력한다.
도 7은 실시예에 따른 음원 위치정보 생성 및 보정 과정을 보다 자세히 나타낸 흐름도이다.
S575 단계에서는 연산모듈에서 각 센서로부터 생성된 ITD를 이용해 음원 위치를 연산한다.
S577 단계에서는 연산모듈에서 고도연산에서는 생성된 ITD와 위치연산 결과를 이용하여 음원의 고도를 연산한다.
S579 단계에서는 각 센서에서 생성된 ITD와 연산된 음원의 위치 및 고도 정보를 이용하여 사용자사이의 거리를 산출한다.
S581 단계에서는 연산모듈에서 S577 단계의 고도 연산 과정에서 발생한 음원 위치 정보의 오차를 정정하고, S579 단계의 거리연산 과정에서 발생한 음원위치와 사용자 사이의 오차 정보를 정정한다. 오차 정정 완료 후 S590 단계로 진입하여 음원 정보가 시각화 객체로 변환되도록 한다.
도 8은 실시예에 따른 오차 정정 과정을 보다 자세히 설명하기 위한 도면이다.
도 8을 참조하면, S583 단계에서는 연산모듈에서 전처리 후 보정되어 추출된 음원신호를 보정부에서 최종신호로 위치를 보정하여 출력한다.
S585 단계에서는 보정부에서 고도보정은 위치보정으로 인지한 위치로 고도연산 결과를 보정하여 출력한다. S587 단계에서는 보정부에서 위치보정 결과와 고도보정 결과를 반영하여 거리를 보정하여 사용자와 음원간 거리를 보정한다 S589 단계에서는 보정부에서 보정된 결과를 최종 확인하여 결과를 출력한다.
도 9a는 실시예에 따른 음원간 거리 및 위치보정 연산과정을 설명하기 위한 도면이다.
도 9a를 참조하면, 실시예에 따른 음원 시각화 장치에 구비된 음원감지 센서가 A, B, C, D 이고 음원이 S 인 경우, 음원으로부터 각 센서까지의 도달시간과 센서 각각과 음원까지의 거리는 모두 다르게 측정된다. 음속을 340m/s으로 계산하면 각 센서에서 특정 음원이 도달한 시간차를 통해 각 센서와 음원 사이의 거리(a, b, c)를 파악할 수 있다. 센서 D와 센서 C의 ITD 를 파악하면, 거리 b와 음원 s와 점p 사이의 거리를 동일하다고 보고, 거리 y를 산출할 수 있다. 거리 x는 이미 알고 있는 수치 이므로, y와 z가 직각이라고 가정하고 각도 Θ를 산출하여 음원의 방향과 고도를 파악할 수 있다. 도 9에 도시된 각도 Θ를 연산하는 방법은 음원 S가 무한대만큼 이격 되어 있는 것으로 가정하고 각도 Θ를 연산하므로 실시예에서는 음원 S와 각 센서들 사이의 거리를 ITD등의 지표를 통해 y와 z 를 대략적으로 산출하여 각도 Θ를 연산하여 음원의 방향과 고도를 파악할 수 있도록 한다. 또한 실시예에서 음원 고도 및 위치 보정 과정은 y와 z을 재 산출하거나, 재 설정하여 각도 Θ를 보정함으로써, 음원의 고도와 방향을 보정할 수 있다.
도 9b는 실시예에 따른 연산모듈에서 음원의 이격 거리, 방향, 음원강도, 2차원 위치 및 고도정보를 포함하는 음원 간이 위치를 산출하는 방법을 설명하기 위한 도면이다.
실시예에 따른 연산모듈(250)에서 음원강도는 각 센서의 음원신호를 합산하여 검출 할 수 있다. 예컨대, 연산모듈(250)은 음원의 강도 및 기본 방향은 4개 센서의 신호출력을 합산하거나 비교하여 판단하고, 2차원적인 간이 발생위치, 방향 및 이격 거리는 4개의 센서 중 3개가 직각을 이루는 도 9b의 BDC, DCA, CAB나 ABD 센서조합 중에서 산출된 음원의 강도로 선택된 3개의 센서 중에서 얻어지는 2개의 ITD로 3각법에 의하여 산출한다. 실시예에서 이동방향은 주기적인 발생위치의 산출에서 얻어지는 전, 후의 위치를 비교한 결과로 얻어진다. 또한, 상기 센서의 조합에서 대각선으로 설치된 2개의 센서로부터 얻어지는 ITD로 계산되는 거리와 모듈에서 주어진 대각선 거리를 비교하여 음원의 고도정보를 간이적으로 산출할 수 있다.
또한 실시예에서 탐색모듈은 음원의 고도정보를 다음과 같이 획득할 수 있다. 앞서 설명한 바와 같이, 탐색모듈 또한, 음원의 강도 및 기본 방향은 4개 센서의 신호출력을 합산하거나 비교하여 판단하고, 2차원적인 간이 발생위치, 방향 및 이격 거리는 4개의 센서 중 3개가 직각을 이루는 BDC, DCA, CAB나 ABD 센서조합 중에서 선택된 3개의 센서 중에서 얻어지는 2개의 ITD로 3각법에 의하여 산출한다. 이때, 이동방향은 주기적인 발생위치의 산출에서 얻어지는 전, 후의 위치를 비교한 결과로 얻어진다. 또한 상기 센서의 조합에서 대각선으로 설치된 2개의 센서로부터 얻어지는 ITD로 계산되는 거리와 모듈에서 주어진 대각선 거리를 비교하여 음원의 고도정보를 간이적으로 산출할 수 있다. 이후, 탐색모듈은 복수개의 의사평면을 생성하고 생성된 복수개의 평면을 취사선택 후 선택한 평면으로 고도정보를 획득한다. 도 9b에 도시된 바와 같이, 실시예에서는 ADC, 3개의 센서에서 ADC'로 구성되는 평면을 생성하여 선택한 평면으로 획득한 고도정보와 위치정보를 생성한다.
도 10은 실시예에 따른 음원정보 시각화 과정을 나타낸 흐름도이다.
S591 단계에서는 미리 설정된 방사형의 시각화 템플렛에 따라 상기 인식된 음원의 방향 및 사용자와 음원간 이격거리를 미리 설정된 방사형의 시각화 템플렛에 대응하는 시각화 객체로 변환한다.
S593 단계에서는 인식된 음원의 강도에 대응하는 색 또는 빛의 세기를 매칭하고, 상기 음원의 강도 따라 시각화된 객체의 색 또는 빛의 휘도를 변경하여 표시한다.
S595 단계에서는 음원이 변환된 시각화 객체와 함께 음원의 보정된 고도정보를 표시한다. 실시예에서 표시장치는 LED뿐만아니라 LCD, OLED 등을 사용할 수 있다.
이상에서와 같은 음원 시각화 장치 및 방법은 음원의 고도 및 위치, 세기를 포함하는 다양한 음원정보를 파악할 수 있도록 하여, 사용자 주변 객체의 존재 여부 및 위험신호를 음원을 통해 보다 정확히 파악할 수 있다. 또한, 음원 감지 센서 각각에 대해 음원위치를 3차원으로 포함하는 의사평면을 생성하고 이를 일치시켜 음원 고도정보를 보정함으로써, 음원이 평면에 존재하지 않는 경우에도 음원 고도 정보까지 정확하게 사용자에게 제공할 수 있도록 한다.
또한, 실시예에 따른 음원 시각화 장치가 청력이 약한 사용자 및 노약자에게 제공되는 경우, 음원신호를 시각화하여 주벽 객체 및 음원정보를 제공함으로써, 시각화된 청각적 정보를 빠르게 파악할 수 있도록 한다. 아울러, 음원 시각화 과정은 자율주행 차량에 적용되어 차량 주변 객체를 파악하는 데 사용될 수 있다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.
Claims (11)
- 음원 시각화 장치에 있어서,
복수개의 음원감지 센서로 주변 음향, 음원 및 소음을 포함하는 음원신호를 감지하는 음원감지모듈;
상기 감지된 음원신호에서 잡음을 필터링하고, 음원신호를 증폭시키는 전처리 모듈;
전처리된 음원신호를 분석하여 상기 음원시각화 장치로부터 음원의 이격거리, 방향, 음원강도, 2차원 위치 및 고도정보를 포함하는 음원간이위치를 산출하는 연산모듈;
상기 음원감지 센서 각각에서 감지된 음원의 고도정보를 이용하여 상기 고도정보가 반영된 복수개의 의사평면(Pseudo plane)을 생성하고, 상기 복수개의 의사평면을 취사선택하고, 선택된 평면으로 획득한 정보를 음원간이위치에 적용시켜 3차원 음원위치 및 고도정보를 생성하는 탐색모듈; 및
상기 3차원 음원 위치정보, 음원고도정보 및 음원강도정보를 포함하는 음원정보를 미리 설정된 시스템 호스트로 출력하거나 시각화 신호로 변환하여 디스플레이하는 시각화모듈; 을 포함하는 음원 시각화 장치.
- 제 1항에 있어서, 상기 연산모듈은
음원감지 센서에서 인식된 음원데이터 및 음원신호의 크기를 파악하고, 파악된 음원신호의 크기에 해당하는 음원강도레벨을 산출하는 음원강도연산부; 및
상기 음원감지 센서 각각에서 파악된 음원감지신호와 전처리 모듈에서 전달된 음원신호를 분석하여 음원의 발생 위치 및 음원 이동 방향을 연산하는 음원위치 연산부; 를 포함하는 것을 특징으로 하는 음원 시각화 장치.
- 제 1항에 있어서, 상기 탐색모듈은
상기 음원감지 센서 각각에서 감지한 음원정보에 포함된 음원의 고도데이터를 이용하여 음원감지 센서 각각에서 인지한 음원의 고도정보인 z 좌표를 포함하는 의사평면을 생성하고, 상기 생성된 의사평면을 취사선택 하여 음원 고도를 파악하는 음원고도탐색부; 를 포함하는 것을 특징으로 하는 음원 시각화 장치.
- 제 3항에 있어서, 상기 탐색모듈은
음원위치, 음원거리, 및 음원고도를 보정하는 보정부; 를 더 포함하는 것을 특징으로 하는 음원 시각화 장치.
- 제 1항에 있어서, 상기 시각화모듈; 은
미리 설정된 시각화 템플렛에 따라 상기 음원 정보의 방향 및 사용자와 음원간 이격거리를 미리 설정된 시각화 템플렛에 대응하는 시각화 객체로 변환하는 변환부;
음원 정보의 강도에 대응하는 색 또는 빛의 세기를 매칭하고, 상기 음원의 강도 따라 시각화된 객체의 색 또는 빛의 휘도를 변경하여 표시하는 음원세기 표시부; 및
상기 음원이 변환된 시각화 객체와 함께 음원의 보정된 고도정보를 표시하는 음원고도표시부; 를 포함하는 것을 특징으로 하는 음원 시각화 장치.
- 음원의 시각화 방법에 있어서,
(A) 음원감지모듈에서 복수개의 음원감지 센서로 주변 음향, 음원 및 소음을 포함하는 음원신호를 감지하는 단계;
(B) 전처리모듈에서 상기 감지된 음원신호에서 잡음을 필터링하고, 음원신호를 증폭시키는 단계;
(C) 연산모듈에서 전처리된 음원신호를 분석하여 음원의 이격거리, 방향, 음원강도, 2차원 위치 및 고도정보를 포함하는 음원간이위치를 산출하는 단계;
(D) 탐색모듈에서 상기 음원감지 센서 각각에서 감지된 음원의 고도정보를 이용하여 상기 고도정보가 적용된 복수개의 의사평면을 생성하고, 상기 복수개의 의사평면을 취사선택하고, 선택된 의사평면으로 획득한 정보를 음원간이위치에 적용시켜 3차원 음원위치정보를 생성하는 단계; 및
(E) 시각화모듈에서 상기 3차원 음원 위치정보, 음원고도정보 및 음원강도정보를 포함하는 음원정보를 시각화 신호로 변환하여 디스플레이하는 단계; 를 포함하는 음원 시각화 방법.
- 제 6항에 있어서, 상기 (C) 단계; 는
음원감지 센서에서 인식된 음원데이터 및 음원신호의 크기를 파악하고, 파악된 크기에 해당하는 음원강도레벨을 산출하는 단계; 및
상기 음원감지 센서 각각에서 파악된 음원감지신호와 전처리 모듈에서 전달된 음원신호를 분석하여 음원의 발생 위치 및 음원 이동 위치를 연산하는 단계; 를 포함하는 것을 특징으로 하는 음원 시각화 방법.
- 제 6항에 있어서, 상기 (D) 단계; 는
상기 산출된 음원간이위치 및 음원감지 센서 각각에서 감지한 음원정보에 포함된 음원의 고도데이터를 이용하여 음원감지 센서 각각에서 인지한 음원의 고도정보를 반영하는 의사평면을 생성하고, 상기 생성된 의사평면을 취사 선택하여 추출한 정보를 취합하여 센서 음원 고도를 파악하는 단계; 를 포함하는 것을 특징으로 하는 음원 시각화 방법.
- 제 6항에 있어서, 상기 (D) 단계; 는
상기 음원감지 센서 각각에서 감지된 음원의 고도정보로 음원간이위치 정보를 보정하고, 음원위치, 음원거리, 강도 및 음원고도를 보정하는 단계; 를 더 포함하는 것을 특징으로 하는 음원 시각화 방법.
- 제 6항에 있어서, 상기 (E) 단계; 는
미리 설정된 시각화 템플렛에 따라 상기 음원정보의 방향 및 사용자와 음원간 이격거리를 미리 설정된 시각화 템플렛에 대응하는 시각화 객체로 변환하는 단계;
상기 음원정보의 강도에 대응하는 색 또는 빛의 세기를 매칭하고, 상기 음원의 강도 따라 시각화된 객체의 색 또는 빛의 휘도를 변경하는 단계;
상기 음원이 변환된 시각화 객체와 함께 음원의 보정된 고도정보를 표시하는 단계; 를 포함하는 것을 특징으로 하는 음원 시각화 방법.
- 제 10항에 있어서, 상기 (E) 단계; 는
상기 음원이 변환된 시각화 객체와 함께 음원의 보정된 고도정보를 음원 시각화 프로그램이 설치된 시스템에서 출력하는 단계; 를 더 포함하는 것을 특징으로 하는 음원 시각화 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190083252A KR102227489B1 (ko) | 2019-07-10 | 2019-07-10 | 음원 시각화 장치 및 방법 |
| CN202080050101.3A CN114096874A (zh) | 2019-07-10 | 2020-06-10 | 声源可视化装置及方法 |
| US17/623,843 US11927682B2 (en) | 2019-07-10 | 2020-06-10 | Sound source visualization device and method |
| PCT/KR2020/007503 WO2021006491A1 (ko) | 2019-07-10 | 2020-06-10 | 음원 시각화 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190083252A KR102227489B1 (ko) | 2019-07-10 | 2019-07-10 | 음원 시각화 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210007218A KR20210007218A (ko) | 2021-01-20 |
| KR102227489B1 true KR102227489B1 (ko) | 2021-03-15 |
Family
ID=74114008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190083252A KR102227489B1 (ko) | 2019-07-10 | 2019-07-10 | 음원 시각화 장치 및 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11927682B2 (ko) |
| KR (1) | KR102227489B1 (ko) |
| CN (1) | CN114096874A (ko) |
| WO (1) | WO2021006491A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023106575A1 (ko) * | 2021-12-08 | 2023-06-15 | 주식회사 유에스엔케이 | 음원의 위치를 판단할 수 있는 음원센싱장치 및 음원센싱방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102579046B1 (ko) * | 2021-01-29 | 2023-09-15 | 조관희 | 음악에 기초하여 이미지 패턴을 생성하는 방법 및 이를 운용하는 시스템 |
| CN114018499B (zh) * | 2021-09-28 | 2022-09-09 | 雅砻江流域水电开发有限公司 | 一种水电站水车室噪声声源成像方法 |
| CN114279557B (zh) * | 2022-03-02 | 2022-05-17 | 山东卓朗检测股份有限公司 | 一种分布式声学检测设备及其检测方法 |
| CN115019829A (zh) * | 2022-08-09 | 2022-09-06 | 中航信移动科技有限公司 | 用于航班座位显示的数据处理方法、电子设备及存储介质 |
| CN116299181A (zh) * | 2023-03-17 | 2023-06-23 | 成都理工大学 | 一种声源三维空间定位系统 |
| CN117008056B (zh) * | 2023-10-07 | 2024-01-12 | 国网浙江省电力有限公司宁波供电公司 | 一种基于mems确定目标声源的方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101645135B1 (ko) | 2015-05-20 | 2016-08-03 | 단국대학교 산학협력단 | 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS53140079A (en) * | 1977-04-15 | 1978-12-06 | Nippon Hoso Kyokai <Nhk> | Automatic recognizing system for moving sound source |
| KR101014884B1 (ko) | 2008-10-08 | 2011-02-15 | 충남대학교산학협력단 | 음악 인식을 통한 로봇의 동작제어장치 |
| WO2014167700A1 (ja) * | 2013-04-12 | 2014-10-16 | 株式会社日立製作所 | 移動ロボット、及び、音源位置推定システム |
| JP6030032B2 (ja) | 2013-08-30 | 2016-11-24 | 本田技研工業株式会社 | 音響処理装置、音響処理方法、及び音響処理プログラム |
| KR101445367B1 (ko) | 2014-04-01 | 2014-10-02 | 주식회사 다이나맥스 | 이상 음원에 대한 인식율 향상을 통하여 긴급상황 판별 성능을 개선한 지능형 영상감시 시스템 및 이를 이용한 긴급상황 판별방법 |
| JP6532284B2 (ja) | 2015-05-12 | 2019-06-19 | アルパイン株式会社 | 音響特性測定装置、方法およびプログラム |
| KR101793942B1 (ko) * | 2015-11-10 | 2017-11-06 | 주식회사 시스피아 | 음향 수신부를 이용한 음원 추적 장치 및 방법 |
| KR101851360B1 (ko) | 2016-10-10 | 2018-04-23 | 동서대학교산학협력단 | 다채널 스피커 기반 플레이어 적응형 입체사운드 실시간 제공시스템 |
| KR101892028B1 (ko) * | 2016-10-26 | 2018-08-27 | 현대자동차주식회사 | 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량 |
| US10724996B2 (en) * | 2017-03-17 | 2020-07-28 | Kabushiki Kaisha Toshiba | Position location system, position location method, and non-transitory computer readable storage medium |
| JP6926640B2 (ja) | 2017-04-27 | 2021-08-25 | ティアック株式会社 | 目標位置設定装置及び音像定位装置 |
| US10088868B1 (en) * | 2018-01-05 | 2018-10-02 | Merry Electronics(Shenzhen) Co., Ltd. | Portable electronic device for acustic imaging and operating method for the same |
-
2019
- 2019-07-10 KR KR1020190083252A patent/KR102227489B1/ko active IP Right Grant
-
2020
- 2020-06-10 US US17/623,843 patent/US11927682B2/en active Active
- 2020-06-10 WO PCT/KR2020/007503 patent/WO2021006491A1/ko active Application Filing
- 2020-06-10 CN CN202080050101.3A patent/CN114096874A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101645135B1 (ko) | 2015-05-20 | 2016-08-03 | 단국대학교 산학협력단 | 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023106575A1 (ko) * | 2021-12-08 | 2023-06-15 | 주식회사 유에스엔케이 | 음원의 위치를 판단할 수 있는 음원센싱장치 및 음원센싱방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021006491A1 (ko) | 2021-01-14 |
| CN114096874A (zh) | 2022-02-25 |
| US11927682B2 (en) | 2024-03-12 |
| KR20210007218A (ko) | 2021-01-20 |
| US20220357417A1 (en) | 2022-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102227489B1 (ko) | 음원 시각화 장치 및 방법 | |
| EP3128462B1 (en) | Driver assistance apparatus and control method for the same | |
| JP7003660B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JPWO2007069489A1 (ja) | 安全走行支援装置 | |
| KR20180066509A (ko) | 후방 차량의 시각화 정보 제공 장치 및 방법 | |
| KR102635265B1 (ko) | 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법 | |
| US9536157B2 (en) | Method for identification of a projected symbol on a street in a vehicle, apparatus and vehicle | |
| KR20180007412A (ko) | 멀티센서 기반의 융합형 물체 감지 장치 및 방법 | |
| US11847562B2 (en) | Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium | |
| US20220219532A1 (en) | In-vehicle acoustic monitoring system for driver and passenger | |
| WO2021241189A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN108352119A (zh) | 具有车辆到车辆通信能力的用于安静车辆的增强声音生成 | |
| US20230343108A1 (en) | Systems and methods for detecting projection attacks on object identification systems | |
| JP2007263737A (ja) | ナビゲーション装置、方法及びプログラム | |
| KR20190133358A (ko) | 청각장애인을 위한 차량의 경보시스템 및 그 제어방법 | |
| US11685372B2 (en) | Processing unit and processing method for collision warning system, collision warning system, and motorcycle | |
| US11142215B2 (en) | Processing unit and processing method for inter-vehicular distance warning system, inter-vehicular distance warning system, and motorcycle | |
| JP2021149309A (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
| KR102270011B1 (ko) | 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 | |
| JPWO2020039678A1 (ja) | ヘッドアップディスプレイ装置 | |
| JP6974024B2 (ja) | ハザードマップ作成システム、ハザードマップ作成装置及びハザードマップ作成方法 | |
| KR102219339B1 (ko) | 운전 보조 장치 및 이를 이용한 운전 보조 방법 | |
| WO2018139650A1 (ja) | 音声制御装置、音声制御方法、及びプログラム | |
| KR102528759B1 (ko) | 자율 주행 차량의 안전 운전 제어 시스템 및 이의 실행 방법 | |
| EP4357872A1 (en) | Information-generating method, information-generating device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |