KR100911870B1 - 음원 추적 장치 및 그 방법 - Google Patents

Abstract

본 발명은 음원 추적 장치 및 그 방법에 관한 것으로, 특히, 소리신호를 입력하여 증폭하고 대역통과 여파하는 수음부 및 소리신호를 입력하여 디지털 신호로 변환하고 시간차 값을 구하며 시간차 값을 거리차값으로 변환하고 방향을 추적 연산하여 데이터로 출력하는 음원추적부를 포함하는 음원 추적 장치 구성에 의하여, 소리신호의 발생 방향을 추적한 데이터를 제공하고, 분석하여 3 차원의 방위로 표시하며, 연산범위를 최적화하므로 연산속도를 빠르게 하고, 음원의 발생 방향을 레이저로 지적하며, 소리신호가 발생하는 방향을 향하도록 구동하는 효과가 있다.

음원, TDOA, 크로스 코릴레이션, 연산, 채널, 샘플링

Description

음원 추적 장치 및 그 방법{TRACING APPARATUS OF SOUND SOURCE AND METHOD THEREOF}

본 발명은 소리신호의 발생 방향을 추적하는 것으로, 특히, 일정한 레벨 이상으로 수신되는 소리신호를 3 차원 방식으로 분석하여 음원의 발생 방향을 추적하고 데이터로 출력하므로, 로봇 또는 영상으로 음원의 발생방향을 지적 또는 표시하는 음원 추적 장치 및 그 방법에 관한 것이다.

소리신호는 의사 전달, 위험 및 위급한 상황 등의 발생을 알리는 매체 수단으로 사용하고, 그 소리신호의 발생 방향과 세기, 주파수의 높낮이, 발생한 환경의 주변여건 등을 종합 분석하므로 그 정보의 정확한 내용을 확인할 수 있다. 이러한 정보 중에서도 소리신호의 발생방향을 추적하는 것이 정보의 내용에 대처하기 위한 가장 중요한 요소 중에 하나이다. 일례로, 경계 근무자 등은 소리신호가 발생한 방향을 추적하고 해당 환경의 상황을 정확하게 분석하므로 부당 침입자를 구별하는 중요한 정보원으로 사용한다.

소리신호의 발생 방향을 추적하는 방법에는 일반적으로, TDOA(TIME DIFFERENCE OF ARRIVAL) 방법을 사용하며, 이러한 TDOA 방법은 동일한 신호를 다수의 지점에서 각각의 도착 시간 차이를 측정하고, 선택된 알고리즘을 이용하여 계산된 시간차 값을 연산하므로 소리신호가 발생한 방향을 추적하는 방식이다.

종래의 소리신호 또는 음원의 발생방향을 추적하는 기술은 비교적 복잡한 알고리즘을 사용하고, 기술집약적이며 많은 노하우를 포함하고 기술 공개를 꺼리는 동시에 전략적인 측면이 있어 일반적인 접근이 비교적 어려운 문제가 있다. 또한, 응용(APPLICATION)이 간편하거나 용이하지 못한 등의 문제가 있다.

따라서 음원의 발생 방향을 더욱 간단하고 용이하게 추적하며 응용하는 기술을 개발할 필요가 있다.

본 발명은 상기와 같은 종래 기술의 문제점과 필요성을 해소하기 위한 것으로, 각각의 지정된 위치에 설정된 마이크 채널을 통하여 소리신호를 입력하고 TDOA 등의 방식으로 연산하여 추적한 음원의 발생 방향 정보를 데이터로 출력하는 음원 추적 장치 및 그 방법을 제공하는 것이 목적이다.

또한, 본 발명은 음원의 발생 방향 데이터를 입력하고 3 차원의 방위 신호로 분석 및 변환하여 표시하거나 또는, 선택적으로 확보된 현장의 영상 정보에 매핑(MAPPING)하여 표시하는 음원 추적 장치 및 그 방법을 제공하는 것이 목적이다.

또한, 본 발명은 소리신호를 입력하는 마이크 채널의 필요 숫자를 최소로 구비하여 장치의 전체 크기를 작게 하므로 소형화를 가능하게 하는 음원 추적 장치 및 그 방법을 제공하는 것이 목적이다.

또한, 본 발명은 음원 추적을 위한 연산량을 줄여 음원의 발생방향을 신속하게 확인하고 검증을 통하여 정확한 결과를 산출하는 음원 추적 장치 및 그 방법을 제공하는 것이 목적이다.

또한, 본 발명은 음원 발생 방향 데이터를 입력하여 분석하고 음원의 3 차원적 발생 방향을 모터를 구동하므로 기계적으로 추적하여 레이저로 표시하는 음원 추적 장치 및 그 방법을 제공하는 것이 목적이다.

또한, 본 발명은 발생한 소리신호의 주파수와 크기가 포함되는 방향정보를 데이터로 제공하여 다양한 방식으로 응용하도록 하는 음원 추적 장치 및 그 방법을 제공하는 것이 목적이다.

상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 소리신호를 설정된 마이크 채널별로 입력하며 각각 설정된 레벨로 증폭하고 대역통과 여파하는 수음부 및 수음부의 각 마이크 채널별 소리신호를 입력하여 각각 디지털 신호로 변환하고 마이크 채널 그룹별로 소리신호의 시간차 값을 구하며 시간차 값을 거리차값으로 변환하고 소리신호의 발생 방향을 추적 연산하여 데이터로 출력하는 음원추적부를 포함하는 음원 추적 장치 구성을 제시한다.

바람직하게, 음원추적부의 추적 데이터를 입력하고 분석하여 3 차원 영상에 의한 방위 표시와 3 차원 기계적 추적에 의한 레이저 표시가 포함되는 것 중에서 어느 하나 이상을 선택하여 응용하는 응용부를 더 포함하고, 음원추적부는 수음부의 설정된 마이크 채널별로 입력된 소리신호로부터 레벨과 주파수를 검출하며 주변온도를 검출하고, 마이크 채널 그룹별로 입력된 소리신호의 시간차 값을 연산하여 거리차값으로 변환하고 검증하며, 거리차값으로부터 소리신호의 발생 방향을 추적하는 연산을 하는 구성으로 이루어진다.

또한, 수음부는 소리신호를 무지향성의 아날로그로 입력하는 마이크와, 마이크로부터 인가받은 아날로그 소리신호를 증폭하는 증폭부와, 증폭부의 소리신호로부터 가청영역만을 대역통과 여파하는 필터부 및 소리신호가 입력된 주변의 온도를 검출하는 온도검출부를 포함하여 이루어지고, 마이크와 증폭부와 필터부는 설정된 마이크 채널별로 각각 구비되며, 설정된 각 마이크 채널은 일정한 거리를 유지하고, 필터부는 증폭부의 앞, 내부, 뒤 중에서 선택된 어느 하나 이상의 위치에 구비되고 로우패스필터, 하이패스필터, 밴드패스필터 중에서 선택된 어느 하나 이상으로 이루어진다.

또한, 수음부는 소리신호를 무지향성의 아날로그로 입력하는 마이크와, 마이크로부터 인가받은 아날로그 소리신호를 설정된 레벨로 증폭하는 증폭부 및 증폭부의 소리신호로부터 가청영역만을 대역통과 여파하는 필터부를 포함하여 이루어지고, 마이크, 증폭부, 필터부는 설정된 마이크 채널별로 각각 구비되며, 설정된 각 채널은 일정한 거리를 유지하는 구성으로 이루어진다.

또한, 상기 응용부는 음원추적부에 접속하고 데이터를 입력 분석하여 음원 방향으로 구동을 제어하는 구동신호와 레이저 발생을 제어하는 표시신호를 각각 출력하는 동작제어부와, 동작제어부의 표시신호를 인가받고 레이저 신호를 출력하는 레이저부와, 동작제어부의 구동신호를 인가받고 제 1 모터와 제 2 모터 중에서 선택된 어느 하나 이상을 제어된 크기로 정회전과 역회전하는 모터부를 포함하여 이루어진다.

그리고 상기 응용부는 음원추적부에 접속하고 데이터를 입력 분석하여 음원의 방향을 3 차원 영상의 방위신호로 생성하여 출력하는 영상처리부와, 영상처리부의 제어에 의하여 주변의 영상을 촬영하는 촬영부 및 영상처리부의 제어에 의하여 방위신호와 촬영부가 촬영한 영상을 출력하는 표시부를 포함하여 이루어진다.

상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 수음부의 마이크 채널 그룹별로 소리신호를 입력하고 주변온도와 입력된 소리신호의 레벨을 검출하며 음원추적부에 의하여 마이크 채널 그룹별로 입력된 소리신호의 시간차 값을 확인하고 거리차값으로 변환하며 검증하는 단계 및 검증된 거리차값으로 음원의 발생 방향을 추적하는 연산하고 주파수를 검출하며 연산된 추적신호와 검출된 신호를 각각 데이터로 출력하는 단계를 포함하는 구성을 제시한다.

바람직하게, 상기 검증하는 단계는 마이크 채널 그룹별로 소리신호를 입력하고 레벨을 검출하며 주변온도를 측정하는 입력과정 및 마이크 채널 그룹별로 최적화된 연산범위를 결정하며 크로스 코릴레이션을 연산하여 시간차 값을 확인하고 거리차값으로 변환하여 검증을 완료하는 제 1 루틴 과정을 포함하여 이루어진다.

또한, 상기 제 1 루틴과정은 각 마이크 채널을 시간차값 계산을 위한 다수 그룹으로 구분하고 시간차 값을 계산할 마이크 채널 그룹 중에서 어느 하나를 선택하며 크로스 코릴레이션을 연산할 샘플링 단위를 지정하는 그룹과정과, 선택된 마이크 채널 그룹의 첫째 마이크 채널과 둘째 마이크 채널로 입력된 소리신호 레벨을 비교하여 일정한 레벨 이상 차이가 나는 채널이 있으면 크로스 코릴레이션의 연산범위를 해당 마이크 채널의 지정된 샘플링 단위로 최적화하고, 일정한 레벨 이상으로 차이가 나는 채널이 없으면 첫째와 둘째 마이크 채널의 지정된 샘플링 단위로 최적화하는 과정과, 최적화하는 과정의 크로스 코릴레이션 결과 최대값이 연산된 샘플링 단위의 인덱스에 의한 시간차 값을 연산하며 시간차 값을 거리차값으로 변환하고 검증하는 시간차 과정을 포함하여 이루어진다.

또한, 상기 최적화 과정은 선택된 마이크 채널 그룹을 구성하는 첫째 마이크 채널과 둘째 마이크 채널로 입력된 소리신호 레벨을 비교하여 첫째 마이크 채널이 일정한 레벨 이상으로 입력하는지를 확인하는 제 1 판단 과정과, 제 1 판단 과정에서 첫째 마이크 채널이 일정한 레벨 이상으로 소리신호를 입력하면, 첫째 마이크 채널의 지정한 샘플링 단위를 연산범위로 선택하는 제 1 최적화 과정과, 제 1 판단 과정에서 첫째 마이크 채널이 입력한 소리신호가 일정한 레벨 이상이 아닌 것으로 확인되면, 둘째 마이크 채널이 첫째 마이크 채널보다 일정한 레벨 이상으로 소리신호를 입력하는지 확인하는 제 2 판단 과정과, 제 2 판단 과정에서 둘째 마이크 채널이 일정한 레벨 이상으로 소리신호를 입력하면, 둘째 마이크 채널의 지정된 샘플링 단위를 연산범위로 선택하는 제 2 최적화 과정 및 제 2 판단 과정에서 첫째 마이크 채널과 둘째 마이크 채널의 소리신호 입력 레벨이 일정한 레벨 이상으로 차이가 나지 않으면 첫째 마이크 채널과 둘째 마이크 채널의 지정된 샘플링 단위를 연산범위로 선택하는 제 3 최적화 과정을 포함하여 이루어진다.

또한, 상기 시간차 과정은 최적화 과정에서 최적화된 샘플링 단위로 크로스 코릴레이션을 각각 연산하는 과정과, 연산된 크로스 코릴레이션 결과값 중에서 가장 큰 값으로 연산된 인덱스의 거리차값을 선택하는 과정과, 모든 마이크 채널 그룹의 크로스 코릴레이션 연산이 완료되었는지 확인하고 완료되지 않았으면 그룹과정으로 궤환하는 과정과, 모든 마이크 채널 그룹의 크로스 코릴레이션 연산을 완료한 것으로 확인하면 거리차값의 오류를 검증하는 과정을 포함하여 이루어진다.

그리고 상기 출력하는 단계는 거리차값으로 소리신호의 발생 방향을 추적하 는 연산을 진행하는 제 2 루틴 과정과, 추적된 소리신호의 주파수를 검출하는 과정 및 추적된 연산 결과와 검출된 정보를 데이터로 출력하는 과정을 포함하여 이루어진다.

또한, 상기 제 2 루틴 과정은 마이크 채널의 좌표값으로 쌍곡면의 계수값을 구하고 마이크 채널 그룹의 쌍곡면 방향을 결정하며 마이크 1과 마이크 2 채널 그룹의 쌍곡면을 기준 쌍곡면으로 설정하고 나머지 마이크 채널 그룹에 의한 쌍곡면과의 교점을 연산하는 과정 및 연산된 교점은 기준 쌍곡면의 내부에 위치하는지 확인하고, 기준 쌍곡면의 중심점과 직선으로 각각 연결하며, 교점과 연결된 각각의 직선 중에서 선택된 교점 그룹이 형성하는 각도값을 연산하며, 각도 값 중에서 가장 작은 값을 선택하고, 선택된 각도를 이등분하는 연장선의 방향을 음원 발생 방향의 방위로 결정하는 과정을 포함하여 이루어진다.

상기의 본 발명은 음원의 발생 방향을 추적하여 확인된 정보를 데이터로 제공하므로 다양한 용도 중에서 선택하여 적합하게 응용할 수 있는 산업적 이용효과가 있다.

또한, 본 발명은 음원의 발생 방향을 추적하고 분석하여 3 차원의 방위로 표시하므로 발생 방향의 추적이 용이한 사용상 편리한 효과가 있다.

또한, 본 발명은 소리신호를 입력하는 채널별 구성 요소의 숫자를 최소화하므로 전체적인 장치의 크기를 소형화할 수 있는 사용상 편리한 효과가 있다.

또한, 본 발명은 추적된 음원 발생의 방위를 안경 형태의 HMD(HEAD MOUNTED DISPLAY) 장치에 3 차원으로 표시하므로 이동 상태에서도 음원의 발생 방향을 즉시 추적할 수 있는 사용상 편리한 효과가 있다.

또한, 본 발명은 음원의 발생 방향을 확인하는 연산범위를 최적화하여 연산량을 줄이므로 연산속도가 빠르고 정확하며 음원의 발생 방향을 신속하고 정확하게 추적하는 산업적 이용효과가 있다.

또한, 본 발명은 음원이 발생한 것으로 추적된 주변을 촬영하고 3 차원 방위신호와 매핑하여 표시하므로 발생 방향의 추적이 용이한 사용상 편리한 효과가 있다.

또한, 본 발명은 음원의 발생 방향을 레이저로 지적하므로 소리신호가 발생한 방향을 즉시 정확하게 추적할 수 있는 사용상 편리한 효과가 있다.

또한, 본 발명은 음원의 발생 방향을 추적한 데이터를 이용하여 음원 발생 방향으로 회전하도록 로봇을 제어하므로 청각장애자를 돕거나 야간 감시 수단 등으로 응용할 수 있는 산업적 이용효과가 있다.

또한, 본 발명은 입력된 소리신호의 주파수를 분석하고 대응되는 지정 색상으로 구분하여 표시하므로 청각장애인이 소리신호의 주파수를 확인할 수 있는 사용상 편리한 효과가 있다.

또한, 본 발명은 검출된 소리신호의 크기를 분석하고 대응되는 영상으로 표시하므로 소리신호의 크기를 시각적으로 확인하는 사용상 편리한 효과가 있다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

본 발명에서의 디에스피(DIGITAL SIGNAL PROCESSOR: DSP)는 입력된 아날로그 신호를 디지털 신호로 변환하고, 로딩(LOADING)된 알고리즘(ALGORITHM) 또는 프로그램에 의하여 방향별로 입력되는 소리신호의 시간차값을 분석하고 다시 거리차값으로 변환하여 소리신호가 발생된 음원의 방향을 추적하며, 추적된 결과를 출력하는 디지털 신호처리 장치이고, 음원추적부가 그 기능을 하는 것으로 설명한다. 마이크 채널은 소리신호를 입력하고 일정한 레벨로 증폭하며 가청 영역의 주파수 신호만을 통과시키는 구성이고, 마이크 채널 그룹은 2개 이상의 마이크 채널이 모인 그룹(GROUP)이다. 소리신호는 샘플링 단위로 샘플링하며 각각의 샘플링 단위를 인덱스(INDEX)라 한다. 본 발명에서의 샘플링 단위는 66 KHz 이다.

도 1 은 본 발명의 일실시 예에 의한 것으로 음원 추적 장치의 기능 구성도 이고, 도 2 는 본 발명의 일실시 예에 의한 수음부의 상세 기능 구성도 이다.

이하, 도 1 과 도 2 를 참조하여 본 발명의 제 1 실시 예에 의한 음원 추적 장치를 상세히 설명하면, 수음부(100), 음원추적부(200), 응용부(300)를 포함하는 구성이다.

수음부(100)는 임의 지역에서 발생된 소리신호를 설정된 마이크 채널별로 각각 입력하고, 각각 설정된 레벨로 증폭하여 소리신호의 가청영역만을 대역통과 여파하는 것으로, 소리신호를 무지향성의 아날로그 신호로 입력하는 마이크(MIC)(106), 마이크(106)로부터 인가받은 아날로그 소리신호를 설정된 레벨로 증폭하는 증폭(AMP)부(107) 및 증폭부(107)의 소리신호로부터 가청영역만을 대역통과(BAND-PASS) 여파(FILTER)하는 필터부(108), 주변의 온도를 검출하는 온도검출부(109)를 포함하는 구성이다. 증폭부(107)는 증폭률을 높이기 위하여 다단으로 구성될 수 있다. 마이크(106)와 증폭부(107)와 필터부(108)는 하나의 세트(SET)가 되어 제 1 채널부 내지 제 4 채널부(101, 102, 103, 104)를 각각 구성하고, 각 방향의 거리는 서로 다를 수 있으며, 필요에 의하여 선택적으로 제 5 채널부(105)를 추가한다.

도 3 은 본 발명의 일실시 예에 의한 수음부의 마이크 채널별 배치상태 설명도 이다.

이하, 도 3 을 참조하여 본 발명에 의한 마이크(MICROPHONE: MIC) 채널별 배치 상태를 상세히 설명하면, 일례로, 마이크 1(M1)은 제 1 마이크채널(101)을 구성하고, 마이크 2(M2)는 제 2 마이크 채널(102)을 구성하며, 마이크 3(M3)은 제 3 마이크 채널(103)을 구성하고, 마이크 4(M4)는 제 4 마이크 채널(104)을 구성한다. 제 5 마이크 채널(105)을 구성하는 마이크 5(M5)는 필요에 의하여 더 구성할 수 있다.

제 1 마이크 채널(101)의 마이크(M1)와 제 2 마이크 채널(102)의 마이크(M2)가 형성하는 거리 A 와, 제 2 마이크 채널(102)의 마이크(M2)와 제 3 마이크 채널(103)의 마이크(M3)가 형성하는 거리 B 와, 제 3 마이크 채널(103)의 마이크(M3)와 제 1 마이크 채널(101)의 마이크(M1)가 형성하는 거리 C 와, 제 2 마이크 채널(102)의 마이크(M2)와 제 4 마이크 채널(104)의 마이크(M4)가 형성하는 거리 D 각각 다르게 하거나 동일하게 할 수 있으며, 직선을 형성한다. 이러한 거리 A, B, C, D 의 거리차값은 짧을수록 시간차값의 연산량이 줄어들지만, 반대로 정밀도는 떨어지므로 필요에 의하여 최적의 값을 선택하며, 본 발명에서는 일례로 100 밀리미터(mm)를 기준으로 약간씩 차이 나는 길이를 사용한다. 또한, 제 5 마이크 채널(105)의 마이크(M5)를 더 사용하여 정밀도를 높일 수 있다.

즉, 본 발명은 마이크 채널의 숫자를 최소로 줄여 최적화하므로 전체적으로 소형화가 가능하고, 또한 각 마이크 채널 사이의 거리도 필요에 의하여 줄일 수 있다.

첨부된 도 2 와 같이 수음부(100)는 제 1 내지 제 4 마이크 채널(101, 102, 103, 104)로 이루어지고 필요에 의하여 제 5 마이크 채널을 추가할 수 있으며, 선택적으로 온도검출부(109)를 포함하고, 각 마이크 채널은 마이크(106)와 증폭부(107)와 필터부(108)로 구성된다. 마이크(106)는 소리신호를 아날로그(ANALOG)로 입력하는 것으로 무지향성 또는 전지향성이고, 아날로그 소리신호로부터 직류(DC) 성분을 제거하기 위하여 콘덴서를 직렬로 연결한다. 증폭부(107)는 마이크(106)로 부터 직류성분이 제거된 상태로 입력된 아날로그 소리신호를 설정된 레벨(LEVEL)까지 증폭(AMPLIFYING)한다. 증폭과정에서 증폭률을 높이기 위하여 다단으로 반복 증폭할 수 있다. 일례로, 본 발명의 증폭부(107)는 입력신호를 약 2178 배 내지 43560 배 중에서 선택된 어느 하나의 증폭률로 증폭한다. 필터부(108)는 입력된 소리신호와 증폭과정에서 외부로부터 유입되거나 자체적으로 발생되는 불필요한 주파수의 신호 성분을 제거하는 것으로, 소리신호의 가청 대역만을 통과시키고 나머지 대역을 여파하여 차단한다. 대역여파를 위하여 밴드패스 필터를 사용하거나 로우패스 필터와 하이패스 필터를 함께 사용할 수 있고, 한 번만 여파하거나 다단으로 반복 여파할 수 있으며, 증폭부(107)의 앞, 내부 또는 뒤 중에서 선택된 어느 하나 이상에 사용할 수 있다.

본 발명에서는 일례로, 150 Hz 내지 4800 Hz 주파수 영역의 가청 소리신호만을 통과(PASS) 하도록 하고, 150 Hz 이하 및 4800 Hz 이상의 소리신호는 잡음(NOISE)으로 처리하여 차단(CUTOFF)하는 밴드패스 필터의 기능이 되도록 한다.

수음부(100)를 구성하는 제 1 내지 제 4 마이크 채널(101 내지 104)은 소리신호를 입력하여 직류성분을 제거하고, 일정한 레벨로 증폭하는 동시에 가청대역 이외의 소리신호는 여파(FILTER)시켜 제거한 상태에서 음원추적부(200)에 인가하며, 주변 환경의 온도를 측정 또는 검출하여 음원추적부(200)에 인가한다. 일반적으로 공기 중에서의 소리신호 전달 속도는 주변 온도에 영향을 받는다.

음원추적부(200)는 디에스피(DIGITAL SIGNAL PROCESSOR: DSP)로 이루어지고, 로딩(LOADING)된 프로그램(PROGRAM 또는 SOFT WARE)에 의하여 디지털 신호를 처 리(PROCESSING)하는 것으로, 로딩된 프로그램의 종류에 따라 매우 다양하게 응용될 수 있고, 일반적으로 중앙처리장치(CPU)의 기능을 포함한다.

음원추적부(200)는 각 채널별 적정한 레벨로 증폭되어 입력된 아날로그 소리신호를 ADC(ANALOG TO DIGITAL CONVERTING) 처리하여 디지털 신호로 변환하는 동시에 온도신호를 디지털 신호로 변환하고, 소리신호의 주파수(FREQUENCY)와 레벨(LEVEL)을 분석한다. 소리신호의 주파수는 FFT(FAST FOURIER TRANSFORM) 알고리즘으로 처리하여 가장 큰 레벨(LEVEL)의 주파수 값을 대표 주파수 값으로 설정하고, 대표 주파수를 Hz 단위로 확인하며, 레벨 또는 크기는 데시벨(DECIBEL: dB) 단위로 연산한다. 일반적으로 위험하거나 다급한 경우에 발생되는 소리신호일수록 그 주파수가 높고, 레벨이 큰 것으로 분석되므로 대응되는 표시가 필요하다. 본 발명의 음원추적부는 각 채널별로 입력되는 아날로그 소리신호를 일례로, 66KHz의 샘플링 단위로 샘플링하여 디지털 신호로 변환하고, 샘플링되는 각각의 단위는 인덱스(INDEX)이다.

소리신호는 공기의 온도 변화에 따라 공기 중에서 전달되는 속도가 다르므로 소리신호의 입력 시간값을 연산하는 경우, 해당 주변온도를 검출 및 반영하는 것은 반드시 필요하다.

음원추적부(200)는 각 채널별로 입력된 소리신호를 로딩된 크로스 코릴레이션 연산 프로그램(CROSS-CORRELATION ALGORITHM)에 의하여 각 마이크 채널 그룹별 입력한 소리신호의 시간차값을 확인하며, 확인된 시간차값을 거리차값으로 변환하는 연산을 하고, 거리차값을 다시 연산하여 음원이 발생된 방향값을 추적한다.

소리신호의 전달속도는 일반적으로 ‘소리속도 = 331.3 + (0.606 * 현재의 온도) m/s’ 와 같은 수식으로 확인한다. 여기서 331.3은 소리신호가 공기 중에서 전달되는 값이며 확인된 일반적인 값이고, 주변온도에 따라 공기 중 전달속도에 차이가 있으므로 주변 온도값을 측정하여 계수로서 반영한다.

소리신호를 입력하는 각 마이크 채널은 2 개씩 선택되어 하나의 마이크 채널 그룹으로 구분되므로, 다수의 마이크 채널 그룹으로 구별된다.

이와 같은 소리신호는 마이크 채널 그룹별로 크로스 코릴레이션 처리되어 샘플링 단위의 차이를 확인하므로 시간차 값으로 분석된다.

이러한 시간차 값은 ‘거리차 = 샘플링 단위의 개수 차이 * 샘플링 주파수 * 소리속도’와 같은 수식에 의하여 거리차값으로 변환 연산하고, 연산된 거리차값은 검증이 통과될 때까지 반복하여 검증하므로 정확도를 높인다.

즉, 선택된 마이크 채널 그룹의 각 마이크가 입력한 소리신호를 분석하여 음원으로부터의 거리차값을 각각 구하고, 크로스 코릴레이션 알고리즘에 의하여 마이크 채널 그룹에서의 거리차값을 연산하며, 거리차값으로 SOUND SOURCE LOCALIZATION 알고리즘을 수행하여 음원의 방향을 추적한다.

음원추적부(200)는 연산된 음원의 방향 추적신호와 검출된 소리신호의 주파수 및 레벨과 주변온도를 포함하는 필요한 모든 신호를 데이터로 변환하여 출력한다. 이때 데이터는 직렬 또는 병렬 중에서 선택된 어느 하나 이상의 방식으로 출력한다. 본 발명에서는 일례로 직렬(SERIAL) 데이터로 출력한다.

응용부(300)는 필요에 의하여 선택적으로 부가되는 응용(APPLICATION) 기능 부이며, 음원추적부(200)로부터 인가되는 데이터를 분석하여 음원 발생 방향을 지시하도록 모터로 이루어지는 로봇을 구동하고 레이저를 발생하거나, 3 차원의 시각적인 방위로 표시하거나, 회의석상에서 발표자의 방향을 추적하거나, 해당 주변의 영상을 촬영하여 방위 또는 음원을 지적하는 표시를 매핑 상태로 표시하는 등등으로 다양하게 응용된다.

도 4 는 본 발명의 일실시 예에 의한 것으로 소리 발생방향 추적에 의한 제 1 응용부의 상세 기능 구성도 이다.

이하, 도 4 를 참조하여 본 발명의 일실시 예에 의한 것으로, 로봇 응용장치를 상세히 설명하면, 동작제어부(311), 모터부(312), 레이저부(316)를 포함하여 제 1 응용부(310)를 구성한다.

동작제어부(311)는 음원추적부(200)로부터 입력된 방향추적 데이터를 분석하고 각각의 기능부에 적합한 구동신호 및 표시신호를 발생하여 출력한다.

모터부(312)는 동작제어부(311)의 구동신호를 입력하여 모터(MOTOR)를 구동하는 것으로, 일정한 각도를 하나의 스텝(STEP)으로 하여 구동하는 제 1 모터(313)와 제 2 모터(314)를 포함한다. 제 1 및 제 2 모터(313, 314)는 인가되는 구동신호에 의하여 스텝 단위로 정회전 또는 역회전한다. 레이저부(316)는 동작제어부(311)의 표시신호를 입력하여 레이저 신호를 발생 및 출력한다.

즉, 동작제어부(311)로부터 출력되는 구동신호에 의하여 제 1 모터(313)와 제 2 모터(314)가 선택적으로 구동하므로 로봇이 선택된 방향으로 회전하고, 레이 저부(316)는 동작제어부(311)로부터 출력되는 표시신호에 의하여 레이저 신호를 발생 및 출력하므로 추적된 음원의 발생 방향을 지적한다.

따라서 제 1 응용부(310)는 음원추적부(200)로부터 인가되는 데이터를 동작제어부(311)에서 입력 및 분석하고 모터부(312)를 구동하므로 음원의 발생 방향을 향하도록 회전하고, 레이저부(316)는 음원의 확인된 방위를 지적하는 레이저 신호를 출력하므로 소리신호가 발생된 방향을 추적 및 지적하는 로봇(ROBOT)과 같이 동작한다. 즉, 모터부(312)를 구성하는 모터의 종류 및 숫자를 늘리어 정밀하게 구동하므로 제 1 응용부(310)를 로봇으로 응용할 수 있다.

도 5 는 본 발명의 일실시 예에 의한 것으로 소리 발생방향 추적에 의한 제 2 응용부의 상세 기능 구성도 이다.

이하, 도 5 를 참조하여 본 발명의 일실시 예에 의한 것으로 시각화 장치를 상세히 설명하면, 영상처리부(321), 표시부(322), 촬영부(323)를 포함하여 제 2 응용부(320)를 구성한다.

영상처리부(321)는 음원추적부(200)로부터 인가되는 데이터를 분석하여 특히, 소리신호의 발생 방향 추적신호와 주파수 및 레벨 정보를 분석하여, 소리신호가 발생한 방향을 지적하는 3 차원의 방위 신호, 소리신호의 주파수와 크기에 따른 레벨을 색상 또는 기호 등으로 부가한 3 차원의 방위 신호를 발생한다.

영상처리부(321)는 발생된 영상신호를 표시부(322)에 인가하여 시각적으로 표시하도록 한다. 이때, 영상처리부(321)는 선택적으로 촬영부(323)를 제어하여 주 변의 영상을 촬영할 수 있고, 촬영된 영상신호를 인가받은 경우는 3 차원의 방위 신호와 매핑(MAPPING)하여 표시부(322)에 인가하므로 시각적으로 표시되도록 할 수 있다.

이러한 표시부(322)를 안경의 일부로 구성하여 머리에 착용하는 HMD(HEAD MOUNTED DISPLAY) 장치에 적용할 수 있다.

도 6 은 본 발명의 일례에 의한 것으로 연산범위를 최적화하여 연산속도가 향상된 크로스 코릴레이션 연산 알고리즘의 설명도 이다.

일반적으로 크로스 코릴레이션 연산은 m, n 개의 샘플링 채널 데이터를 입력하고, n+m-1 번 연산하여 n+m-1 개의 결과를 출력하므로 처리속도가 매우 느리며 필요한 메모리의 크기가 매우 크다. 그러나 본 발명에서는 크로스 코릴레이션 연산의 범위를 최적화하므로, 연산량이 적은 동시에 출력할 결과의 값이 적고, 연산 처리속도를 빠르도록 향상시켰다.

이하, 도 6 을 참조하여 연산범위의 최적화에 의하여 연산속도가 향상된 본 발명의 연산 알고리즘을 상세히 설명하면, 마이크 채널 그룹을 구성하는 마이크 채널의 소리신호에 대한 샘플링 단위 개수가 10 개인 경우 10+10-1=19와 같이 19번의 연산을 하여야 하였다. 그러나 일례로, 선택된 마이크 채널 그룹의 두 마이크(106) 사이 거리가 100 밀리미터이고, 상온에서의 소리 속도가 346.75m/s 인 경우, 두 마이크 사이에서 발생할 수 있는 최대 시간 차는 (0.1 m) / (346.75 m/s) = 0.28839 ms 이다. 이때, 샘플링 주파수가 1.6 KHz이면 각 샘플링 단위에 의한 인덱스(INDEX)는 1 / 16000 Hz = 0.0625 ms 의 시간간격으로 연산 되므로 차이 날 수 있는 최대 샘플링 단위 또는 인덱스의 개수는 (0.28839 ms) / (0.0625 ms) = 4.61424 개로 연산 된다. 따라서 유효한 크로스 코릴레이션의 인덱스 범위는 -4 ~ +4 까지 9 개로 최적화되었다.

즉, 종래에는 19 번의 크로스 코릴레이션을 연산하여야 하였으나, 본 발명에서는 최적화 되어 샘플링 단위에 의한 인덱스의 개수에 관계없이 모두 9 번의 연산으로 필요한 결과를 얻을 수 있게 되므로 연산 처리속도가 매우 빠르게 향상됨을 확인할 수 있다.

연산된 각 마이크 채널의 샘플링 단위에 의한 인덱스 개수의 차이는 현재온도에서의 음속에 의한 거리 차이값으로 변환한다. 일례로, 2 개의 마이크 채널 사이에서 3 개의 샘플링 단위에 차이가 있는 경우, '소리 발생 방향으로부터 2 개 마이크까지의 거리차이 = 샘플링 단위의 개수 * 샘플링 시간(RATE) * 소리 속도'와 같은 수식으로 연산 된다, 즉, 소리신호가 발생한 방향의 좌표로부터 지정된 2개 마이크 채널까지의 거리 차이값을 구할 수 있다. 이와 같이 구해진 거리차이 값은 검증을 통하여 정확한 값이 연산될 때까지 반복 확인한다. 그러므로 정확도를 높이었다.

도 7 은 본 발명에 의하여 도 3 과 같이 배치된 다수의 마이크가 입력한 소리 신호의 거리차값을 검증하는 방법 설명도 이다.

이하, 도 7을 참조하여 연산된 거리차값의 검증 방법을 상세히 설명하면, 가장 왼쪽의 그림에서 각 마이크 채널별 방향과 음원(SOUND SOURCE)의 발생 위치 사이에 연결한 선에 표시된 숫자는 일례에 의한 것으로, 음원의 좌표로부터 각 마이 크 채널까지의 거리를 표시한다.

일례로 마이크 M1, M2, M3 까지의 거리차를 Da, Db, Dc라고 하면, MAX(Da,Db,Dc) = MID(Da,Db,Dc) + MIN(Da,Db,Dc) 단, Da,Db,Dc >= 0의 조건과 같은 수식이 존재하며, 도 7 에서의 다른 예에 의한 거리차에서도 동일한 수식이 적용된다.

검증할 거리차 1 은 음원으로부터 M1, M2, M3 까지의 각 거리차값은 아래와 같다.

-. Da = | 음원에서 M1 까지의 거리 - 음원에서 M2 까지의 거리 |

-. Db = | 음원에서 M1 까지의 거리 - 음원에서 M3 까지의 거리 |

-. Dc = | 음원에서 M2 까지의 거리 - 음원에서 M3 까지의 거리 |

Da, Db, Dc의 값을 구하면, 최댓값은 나머지 두 값의 합과 같다. 이와 같은 방식으로 검증하고, 검증에서 합격하지 않는 거리차값은 오류가 있으므로 소리신호를 다시 입력하여 TDOA를 다시 연산한다. 즉, 오류가 발생한 거리차값은 사용하지 않고 처음부터 다시 연산하므로 최종 연산된 거리차값의 정확도가 확인되어 정밀도가 높아진다.

이와 같이 구한 거리차값을 SOUND SOURCE LOCALIZATION 알고리즘으로 연산하여 음원(SOUND SOURCE)의 방향을 연산한다.

크로스 코릴레이션 알고리즘으로 연산된 마이크 그룹 1(M1)과 2(M2), 마이크 그룹 2(M1)와 3(M3), 마이크 그룹 3(M2)과 3(M3), 마이크 그룹 4(M3)와 4(M4)에서의 거리차값들을 인자(PARAMETER)로 받으면, 해당 마이크 그룹의 동일한 거리차를 가지는 모든 점들을 2 차원 평면상에 그릴 수 있다.

일례로 M1과 M2의 두 마이크를 초점으로 하여 두 마이크 사이에서 거리차이가 일정한 점들의 자취를 쌍곡선의 자취방정식으로 연산하면 아래 도시된 그림과 같이 두 초점사이의 중점을 기준으로 양쪽에 쌍곡선이 그려진다.

음원에서 마이크 1 까지 거리 ― 음원에서 마이크 2 까지 거리

양쪽에 생기는 쌍곡선 중 거리차값의 부호에 의하여 한쪽 쌍곡선을 제거할 수 있다. 일례로 P 점에서 M1 까지의 거리차값이 5이고, P 점에서 M2 까지의 거리 차값이 10 이면,

- P 점에서 M1 과 M2 까지의 거리차 = P 점에서 M1 까지의 거리차값 ― P 점에서 M2 까지의 거리차값

즉, 5 ― 10 = ―5가 연산 되고, 연산된 결과값이 음수이므로 y축을 기준으로 양쪽에 생기는 쌍곡선 중 오른쪽의 쌍곡선을 제거하여 아래와 같은 그림이 그려진다.

또한, 왼쪽의 쌍곡선 상에서 어느 방향에 음원이 존재하는지를 확인하기 위하여 마이크를 하나 더 추가하고, 이들 사이에 쌍곡선을 하나 더 추가하여 아래와 같은 그림을 그린다.

여기에서 음원(P)으로부터 M2와 M3까지의 거리차는 순서를 고려하여 정의함으로 한쪽 쌍곡선을 제거할 수 있고, 남은 쌍곡선의 교점을 구함으로써 음원의 좌표 P를 확인한다. 그러나 이러한 방식은 2차원 평면상에서 연산하므로 아래의 그림과 같이 Z축이 전혀 고려되지 않아, 음원이 평면을 벗어나는 3차원 공간상에 존재하는 경우는 음원의 방향을 찾아내지 못하는 문제가 있다.

이러한 평면의 2 차원 알고리즘 문제를 해결하기 위해서는 음원의 좌표를 3차원 공간으로 고려해야 한다.

3 차원 공간에서 동일한 거리차를 갖는 모든 점들의 자취를 구하면, 2 차원 쌍곡선을 회전한 모양이 되고, 이를 쌍곡면(HYPERBOLOID)이라 한다. 일례로 마이크 1(M1)과 마이크 2(M2)의 좌표가 각각 (x:-7.1cm, y:0cm, z:0cm), (x:7.1cm, y:0cm, z:0cm)이고, 음원의 좌표를 (x:50cm, y:50cm, z:50cm)라 하고, ‘음원으로부터 마이크 1(M1) 까지의 거리 - 음원으로부터 마이크 2(M2)까지의 거리’를 연산하면, 쌍곡선의 거리차값을 얻을 수 있으며, 이 값이 a 계수가 된다.

이때, M1과 M2 마이크 사이의 거리의 절반을 초점 k 라고 하면, b² = k² ― a² 가 되므로, 계수 b 를 구할 수 있고, 구해진 계수 a 와 b 를 이용하여 쌍곡면의 전체적인 모양이 결정된다.

2차원에서와 마찬가지로 거리차값의 부호를 고려하여 왼쪽의 쌍곡면을 제거하면 3차원 공간상에서 같은 거리차값을 갖는 음원이 존재할 수 있는 모든 점들의 집합은 위의 그림과 같은 쌍곡면이 된다.

이러한 쌍곡면에서 어느 점에 음원이 존재하는 지를 확인하기 위하여 세 번째 마이크(M3)를 일례에 의한 해당 위치(x:-8.75cm, y:-9.4571cm, z=0cm)에 하나 더 추가하여 쌍곡면을 그리면, 아래의 그림과 같은 모양이 된다.

이러한 그림을 왼쪽에서 관찰하면,

위 방향과 아래 방향의 두 곳에서 겹쳐지는 교점이 확인되므로, 어느 방향의 교점이 음원의 정확한 방향인지를 확인하기 위하여서는 네 번째 마이크(M4)에 의한 네 번째 쌍곡면이 필요하다.

이러한 네 번째 쌍곡면을 만들어내기 위하여 추가되는 네 번째 마이크의 좌 표 위치는 일례로 (x:7.1cm, y:0cm, z:8.2cm) 이고, 전체적인 마이크의 배치는 위의 마이크 배치 그림과 같이 되며, 위의 그림과 같이 구성된 네 개의 마이크로, M1-M2, M1-M3, M3-M4 사이에 대하여 음원으로부터의 거리차를 가지고 쌍곡면을 그리면, 아래와 같은 그림이 도시된다.

마이크 M3-M4 사이의 쌍곡면에 의해 위쪽 방향의 교점이 정확한 방향이라고 확인할 수 있으며, 음원의 방향은 세 쌍곡면의 교점을 구함으로써 알 수 있다.

이러한 그림에 사용된 쌍곡면의 X, Y, Z 좌표값을 구하는 방정식을 알고 있으므로, 방정식에 의하여 쌍곡면을 구성하는 모든 점들을 구하고, 이 쌍곡면들의 교점을 구하면 되지만, 3차원의 연속적인 공간에서 이러한 방식으로 접근하는 것은 매우 비효율적이며, 특히, 적은 양의 메모리를 가지고 동작하는 임베디드 환경에서는 동작이 불가능할 수 있다.

그러므로 쌍곡선이 근사화하여 나타낼 수 있는 점근선을 가지고 있듯이, 쌍 곡면 또한, 점근선으로 근사화하여 표현할 수 있다는 점에 착안하여 모든 쌍곡면을 점근선으로 구성된 쌍곡면으로 아래 그림과 같이 대체 한다.

일례로 마이크 1(M1)과 마이크 3(M3) 사이의 쌍곡면에 대한 점근선은 마이크 1(M1)과 마이크 3(M3) 사이의 거리차 a13과 마이크 1(M1)과 마이크 3(M3) 사이 거리의 절반인 k13을 구하면 과 같이 구할 수 있다. x-y 평면상에서 점근선의 방정식은 가 되므로 이것을 구하여 씩 마이크 1-3(M1-M3) 쌍곡면의 중심축을 중심으로 회전시키면 위와 같은 그림을 얻을 수 있다. 이 점근선들과 마이크 1(M1)과 마이크 2(M2) 사이의 쌍곡면의 교점을 구하는 방법을 설명한다.

이러한 그림에서 작은 원으로 보이는 점근선 상에서의 특정한 거리에 위치한 점들을 Test Point로 설정한다. 이러한 Test Point가 마이크 1-2(M1-M2) 사이의 쌍곡면의 내부에 있는지 또는 외부에 있는 지를 확인한다.

두 쌍곡면의 교점은 항상 두 Test Point가 마이크 1-2(M1-M2) 쌍곡면의 내부인 경우와 외부인 경우의 경계에서 존재하므로 이러한 방식으로 두 쌍곡면의 교점을 구할 수 있다.

먼저, Test Point가 마이크 1-2(M1-M2) 쌍곡면의 내부인지 외부인지를 판별하는 방법을 살펴보면,

마이크 1-2(M1-M2) 쌍곡면의 중심을 관통하는 직선 d의 방향벡터를 구한다. 마이크 1,2(M1-M2)는 x 축 상에 존재하므로 마이크 1-2(M1-M2)의 방향벡터는 언제나 (+1,0,0) 또는 (-1,0,0)이 된다. 그리고 3차원 상에서의 점과 직선 사이의 거리 공식을 이용하여 Test Point에서 마이크 1-2(M1-M2) 쌍곡면의 중심축까지의 거리(e)를 구한다.

그리고 Test Point에서 마이크 1-2(M1-M2) 쌍곡면의 원점까지의 거리(f)를 구하면, 피타고라스의 정리에 의해 위의 그림에서 d라고 표기된 원점에서 Test Point가 마이크 1-2(M1-M2) 쌍곡면의 중심축 상으로 사영(projection)된 거리를 구할 수 있다.

이 거리(d)를 알고 있고, 마이크 1-2(M1-M2) 쌍곡면의 x-y 평면상 점근선을 구할 수 있으므로, d 의 길이를 점근선 직선의 공식에 X 인자(PARAMETER)로 대입하여 Test Point가 있는 지점에서, 중심축으로부터 쌍곡면의 외벽까지의 거리(g)를 구할 수 있다. 이제 e 로 표시된 마이크 1-2(M1-M2) 쌍곡면의 중심축에서 Test Point까지의 거리와 g 로 표시된 마이크 1-2(M1-M2) 쌍곡면의 중심축에서 마이크 1-2(M1-M2) 쌍곡면의 외벽까지의 거리를 구하므로, e 선이 g 보다 작으면, 마이크 1-3(M1-M3) 쌍곡면의 Test Point가 마이크 1-2(M1-M2) 쌍곡면의 내부에 있는 것으로 확인하고, 그렇지 않으면 외부에 있는 것으로 판별한다. 이것을 나머지 Test Point 에도 동일하게 모두 적용하여 마이크 1-2(M1-M2) 쌍곡면의 내부에 있는 점들은 파란색으로 표시하고 외부에 있는 점들은 빨간색으로 표시하면 아래의 그림과 같다.

이러한 점들 중에서 빨강색과 파랑색 점의 경계가 되는 점만 추출하면 아래 그림과 같다.

동일한 과정을 마이크 2-3 점근선과 마이크 3-4 점근선에 대하여 동일하게 적용하면, 전체적인 모습은 아래의 그림과 같다.

이것을 확대하여 들여다보면, 아래의 그림과 같이 도시된다.

이와 같이 겹치는 점 또는 교점으로부터 음원의 방향을 알아내기 위하여 마이크 1-2(M1-M2) 쌍곡면의 원점에서 마이크 (1-2, 1-3), (1-2, 2-3), (1-2, 3-4) 사이에서 겹치는 점들까지의 벡터값 들을 구한다.

일례로,

-. 마이크 1-3(M1-M3)의 쌍곡면이 마이크 1-2(M1-M2)의 쌍곡면의 내부로 들어가는 점 ; 1

-. 마이크 1-3(M1-M3)의 쌍곡면이 마이크 1-2(M1-M2)의 쌍곡면의 외부로 나오는 점 ; 2

-. 마이크 2-3(M2-M3)의 쌍곡면이 마이크 1-2(M1-M2)의 쌍곡면의 내부로 들어가는 점 ; 3

-. 마이크 2-3(M2-M3)의 쌍곡면이 마이크 1-2(M1-M2)의 쌍곡면의 외부로 나오는 점 ; 4

-. 마이크 3-4(M1-M2)의 쌍곡면이 마이크 1-2(M1-M2)의 쌍곡면의 내부로 들어가는 점 ; 5

-. 마이크 3-4(M1-M2)의 쌍곡면이 마이크 1-2(M1-M2)의 쌍곡면의 외부로 나오는 점 ; 6

이라고 가정하면, 점 1, 3 과 점 2, 4 는 거의 비슷한 좌표를 나타내므로 두 점들 중 하나와 점 5, 6 을 비교함으로써 음원의 방위를 신속하게 결정한다.

만약 점 1, 2 가 존재하고, 점 5, 6 이 존재하면 마이크 1-2(M1-M2) 쌍곡면의 원점으로부터 점 1, 2, 5, 6 까지의 벡터를 구하고, 이 벡터들 사이의 각도인 1-5, 1-6, 2-5, 2-6 벡터 사이의 각도를 구한다. 그 각도들 중 가장 작은 것을 취 하면 일례로 점 1-6 사이의 각도로 확인된다.

이와 같이 구해진 두 점 1 과 6 의 중심을 이등분한 직선 방향에 음원이 존재하는 것으로 결정한다. 결정된 음원 방향과 동일한 방향을 나타내는 좌표를 얻어냈으므로, 이 점을 사람이 알아보기 쉬운 방위 좌표로 변환한다.

일례로, 음원의 좌표가 (x:50cm, y:50cm, z:50cm)이면, 수직 각도는 카메라 화각에 포함되는 것을 고려하여 atan2(y, z) 함수로 구하고, 수평 각도는 atan2(x, y) 함수로 구한다. 그리고 이 각도들을 수평각은 정면을 기준으로 오른쪽으로 0~359도, 수직각은 정면을 기준으로 위쪽방향으로 0~359도 변환하고, 변환된 각도를 방향추적 데이터 값으로 출력하며, 출력은 일례로, 시리얼 전송 프로토콜을 사용하여 직렬 데이터 통신 방식으로 출력한다.

입력된 소리신호로부터 대표 주파수를 추출하는 연산에는 패스트 푸리에 트 랜스폼(FAST FOURIER TRANSFORM: FFT)으로 연산한다.

응용부(300)를 제 1 응용부(310)와 같이 구성하여 로봇으로 응용하는 경우, 동작제어부(311)는 음원추적부(200)로부터 인가되는 데이터를 입력하고 분석하여, 입력된 소리신호가 일정한 레벨 이상이면, 각도값으로 인가된 데이터를 읽어 계수하고, 계수된 각도값을 구동신호로 하여 모터부(312)에 인가하므로 회전하도록 구동한다.

다른 일례로, 응용부(300)를 제 2 응용부(320)와 같이 구성하여 시각화 장치로 응용하는 경우, 영상처리부(321)에서 연산된 방위각을 표시하는 신호를 생성한다. 또한, 선택적으로 촬영부(323)를 제어하여 음원 발생 지역의 영상을 촬영하고, 방위각 표시 신호와 함께 중첩하여 화소(PIXEL) 단위로 표시부(322)에 직접 출력 할 수 있다.

도 8 은 본 발명의 일례에 의한 것으로 음원 추적 방법의 순서도 이며, 도 9 는 본 발명의 일례에 의한 것으로 제 1 루틴의 순서도 이고, 도 10 은 본 발명의 일례에 의한 것으로 제 2 루틴의 순서도 이다.

이하, 도 8 내지 도 10 을 참조하여 본 발명의 일례에 의한 것으로, 음원 추적 방법을 상세히 설명하면, 검증하는 단계, 출력하는 단계를 포함하는 구성이다.

검증하는 단계는 수음부에 설정된 각 마이크 채널에 의하여 주변에서 발생된 소리신호를 입력하고(S100), 주변온도와 입력된 소리신호의 레벨을 검출한 다(S110).

각 마이크 채널별로 입력한 소리신호는 음원추적부에 의하여 시간차 값으로 확인하며 다시 거리차값으로 변환 연산하고(S120), 연산된 거리차값을 검증한다(S130). 이러한 과정(S120, S130)을 제 1 루틴이라 한다.

제 1 루틴 과정(S120, S130)을 첨부된 도 9 를 참조하여 상세히 설명하면, 시간차값을 계산할 마이크 채널 그룹을 선택하고, 마이크 채널 사이의 거리를 샘플링 단위로 변환하며 크로스 코릴레이션을 연산할 샘플링 단위를 지정한다(S200). 마이크 채널은 일례로, 1:2, 1:3, 1:4, 2:3, 2:4, 3:4의 그룹(GROUP)으로 구분할 수 있다.

선택된 마이크 채널 그룹을 구성하는 마이크 채널 중에서, 첫째 마이크 채널에 입력된 소리신호의 레벨이 둘째 마이크 채널에 입력된 레벨보다 일정한 레벨 이상으로 큰 값인지를 비교하고(S210), 첫째 마이크 채널에 입력된 소리신호의 레벨이 일정한 레벨 이상으로 큰 경우는 크로스 코릴레이션의 연산범위를 첫째 마이크 채널의 최적화된 샘플링 단위를 크로스 코릴레이션의 연산범위로 지정한다(S220).

만일 첫째 마이크 채널의 레벨이 둘째 마이크 채널의 레벨보다 일정한 레벨 이상으로 높지 않은 경우는 반대로, 둘째 마이크 채널의 레벨이 첫째 마이크 채널의 레벨보다 일정한 레벨 이상을 높은지를 비교 판단한다(S230).

이러한 비교 판단에서 둘째 마이크 채널의 레벨이 첫째 마이크 채널의 레벨보다 일정한 레벨 이상으로 높은 경우, 크로스 코릴레이션의 연산범위를 둘째 마이 크 채널의 최적화된 샘플링 단위를 크로스 코릴레이션의 연산범위로 지정한다(S240).

또한, 상기 비교판단(S230)에서 둘째 마이크 채널의 레벨이 일정한 레벨 이상 높지 않은 경우에는 첫째와 둘째 마이크 채널의 최적화된 샘플링 단위를 크로스 코릴레이션(CROSS-CORRELATION)의 연산범위로 지정한다(S250).

이와 같이 최적화된 연산범위에 의하여 크로스 코릴레이션을 연산하고(S260), 연산된 크로스 코릴레이션의 값 중에서 최대값이 나온 샘플링 단위에 의한 인덱스를 시간차 값으로 변환하고 다시 거리차값으로 변환하며(S270), 모든 마이크 채널 그룹의 크로스 코릴레이션 연산이 완료되지 않은 경우는 그룹과정(S200)으로 다시 궤환하여 반복한다(S280).

모든 마이크 채널 그룹의 크로스 코릴레이션 연산이 완료되었으면 변환된 거리차값에 오류가 없는지를 검증하고(S290), 제 1 루틴을 종료하여 메인루틴으로 복귀한다.

이러한 검증의 결과에서 거리차값에 오류가 있는 것으로 확인되면 처음의 검증하는 단계로 진행하여 오류가 없을 때까지 제 1 루틴을 포함하는 모든 과정을 반복한다(S140).

출력하는 단계는 제 2 루틴에 의하여 소리신호가 발생하는 음원의 방향을 추적 연산하고(S150), 음원 방향의 추적을 성공하면 소리신호의 주파수를 검출하며(S160), 추적 연산된 값과 검출된 값들을 데이터로 출력한다(S170).

이러한 제 2 루틴(S150)을 첨부된 도 10 을 참조하여 상세히 설명하면, 각 마이크 채널을 구성하는 마이크의 좌표값에 의하여 쌍곡면의 계수값을 구하고(S300), 각 마이크 채널 그룹의 마이크에 대한 거리차값을 연산하며(S310), 각 마이크 채널 그룹의 쌍곡면 방향을 결정하고, 마이크 1과 2에 의한 채널 그룹의 쌍곡면을 기준 쌍곡면으로 설정한다(S320).

기준쌍곡면과 선택된 3 개 마이크 채널 그룹에 의한 쌍곡면과의 교점을 연산한다(S330). 이 과정에서 기준 쌍곡면의 내부에 위치하는 것으로 확인된 6 개의 교점이 연산된다. 연산된 6 개의 교점과 기준 쌍곡면의 중심점을 연결한다(S340).

이와 같이 연결된 선의 교점 중에서 선택된 마이크 채널 그룹의 교점에 연결된 선 또는 연장선이 형성하는 각도를 연산하고(S350), 연산된 각도 값 중에서 가장 작은 각도의 값을 이등분한 연장선의 방향을 음원이 위치하는 방향의 방위값으로 결정한다(S360).

상기와 같은 구성의 본 발명은 크로스 코릴레이션 연산의 범위를 최적화하는 개량을 통하여 연산량을 줄이고 필요한 메모리의 크기를 줄이므로 장치를 소형화하며, 연산속도를 빠르게 하고, 검증을 통하여 정확도를 높이는 등의 장점이 있다. 또한, 감시, 수색 로봇, 음원 발생방향의 3 차원 방위로 시각적 표시, HMD에 의한 이동 중 음원 발생 방향의 추적, 회의 중 발언자의 위치 추적 등등과 같은 다양한 응용 분야에 적용할 수 있는 장점이 있다.

이상에서 본 발명은 기재된 구체 예에 대해서만 상세히 설명되었지만 본 발 명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.

도 1 은 본 발명의 일실시 예에 의한 것으로 음원 추적 장치의 기능 구성도,

도 2 는 본 발명의 일실시 예에 의한 수음부의 상세 기능 구성도,

도 3 은 본 발명의 일실시 예에 의한 수음부의 채널별 마이크 배치상태 설명도,

도 4 는 본 발명의 일실시 예에 의한 것으로 소리 발생방향 추적에 의한 제 1 응용부의 상세 기능 구성도,

도 5 는 본 발명의 일실시 예에 의한 것으로 소리 발생방향 추적에 의한 제 2 응용부의 상세 기능 구성도,

도 6 은 본 발명의 일례에 의한 것으로 연산범위를 최적화하여 연산속도가 향상된 크로스 코릴레이션 연산 알고리즘의 설명도,

도 7 은 본 발명에 의하여 도 3 과 같이 배치된 다수의 마이크가 입력한 소리 신호의 거리차값을 검증하는 방법 설명도,

도 8 은 본 발명의 일례에 의한 것으로 음원 추적 방법의 순서도,

도 9 는 본 발명의 일례에 의한 것으로 제 1 루틴의 순서도,

그리고

도 10 은 본 발명의 일례에 의한 것으로 제 2 루틴의 순서도 이다.

** 도면의 주요 부분에 대한 부호 설명 **

100 : 수음부 101 : 제 1 채널

102 : 제 2 채널 103 : 제 3 채널

104 : 제 4 채널 105 : 제 5 채널

106 : 마이크 107 : 증폭부

108 : 필터부 109 : 온도검출부

200 : 음원추적부 300 : 응용부

310 : 제 1 응용부 311 : 동작제어부

312 : 모터부 313 : 제 1 모터

314 : 제 2 모터 316 : 레이저부

320 : 제 2 응용부 321 : 영상처리부

322 : 표시부 323 : 촬영부

Claims (12)

1. 삭제
2. 소리신호를 설정된 마이크 채널별로 입력하며 각각 설정된 레벨로 증폭하고 대역통과 여파하는 수음부;

   상기 수음부의 상기 각 마이크 채널별 소리신호를 입력하여 각각 디지털 신호로 변환하고 마이크 채널 그룹별로 소리신호의 시간차값을 구하며 상기 시간차값을 거리차값으로 변환하고 상기 소리신호의 발생 방향을 추적 연산하여 데이터로 출력하는 음원추적부; 및

   상기 음원추적부의 상기 추적 데이터를 입력하고 분석하여 3 차원 영상에 의한 방위 표시와 3 차원 기계적 추적에 의한 레이저 표시가 포함되는 것 중에서 어느 하나 이상을 선택하여 응용하는 응용부; 를 포함하고,

   상기 음원추적부는 상기 수음부의 상기 설정된 마이크 채널별로 입력된 소리신호로부터 레벨과 주파수를 검출하며 주변온도를 검출하고, 마이크 채널 그룹별로 입력된 소리신호의 시간차값을 연산하여 거리차값으로 변환하고 검증하며, 상기 거리차값으로부터 상기 소리신호의 발생 방향을 추적하는 연산을 하는 구성으로 이루어지는 것을 특징으로 하는 음원 추적 장치.
3. 소리신호를 설정된 마이크 채널별로 입력하며 각각 설정된 레벨로 증폭하고 대역통과 여파하는 수음부; 및

   상기 수음부의 상기 각 마이크 채널별 소리신호를 입력하여 각각 디지털 신호로 변환하고 마이크 채널 그룹별로 소리신호의 시간차값을 구하며 상기 시간차값을 거리차값으로 변환하고 상기 소리신호의 발생 방향을 추적 연산하여 데이터로 출력하는 음원추적부; 를 포함하는 음원 추적 장치에 있어서,

   상기 수음부는,

   상기 소리신호를 무지향성의 아날로그로 입력하는 마이크;

   상기 마이크로부터 인가받은 아날로그 소리신호를 증폭하는 증폭부;

   상기 증폭부의 소리신호로부터 가청영역만을 대역통과 여파하는 필터부; 및

   상기 소리신호가 입력된 주변의 온도를 검출하는 온도검출부; 를 포함하여 이루어지고,

   상기 마이크, 증폭부, 필터부는 상기 설정된 마이크 채널별로 각각 구비되며, 상기 설정된 각 마이크 채널은 일정한 거리를 유지하고, 상기 필터부는 상기 증폭부의 앞, 내부, 뒤 중에서 선택된 어느 하나 이상의 위치에 구비되고 로우패스필터, 하이패스필터, 밴드패스필터 중에서 선택된 어느 하나 이상으로 이루어지는 구성을 특징으로 하는 음원 추적 장치.
4. 제 2 항에 있어서, 상기 응용부는,

   상기 음원추적부에 접속하고 상기 데이터를 입력 분석하여 음원 방향으로 구동을 제어하는 구동신호와 레이저 발생을 제어하는 표시신호를 각각 출력하는 동작제어부;

   상기 동작제어부의 상기 표시신호를 인가받고 레이저 신호를 출력하는 레이저부;

   상기 동작제어부의 상기 구동신호를 인가받고 제 1 모터와 제 2 모터 중에서 선택된 어느 하나 이상을 제어된 크기로 정회전과 역회전하는 모터부; 를 포함하여 이루어지는 구성을 특징으로 하는 음원 추적 장치.
5. 제 2 항에 있어서, 상기 응용부는,

   상기 음원추적부에 접속하고 상기 데이터를 입력 분석하여 음원의 방향을 3 차원 영상의 방위신호로 생성하여 출력하는 영상처리부;

   상기 영상처리부의 제어에 의하여 주변의 영상을 촬영하는 촬영부; 및

   상기 영상처리부의 제어에 의하여 상기 방위신호와 상기 촬영부가 촬영한 영상을 출력하는 표시부; 를 포함하여 이루어지는 구성을 특징으로 하는 음원 추적 장치.
6. 삭제
7. 수음부의 마이크 채널 그룹별로 소리신호를 입력하고 주변온도와 입력된 소리신호의 레벨을 검출하며 음원추적부에 의하여 상기 마이크 채널 그룹별로 입력된 소리 신호의 시간차값을 확인하고 거리차값으로 변환하며 검증하는 단계; 및

   상기 검증된 거리차값으로 음원의 발생 방향을 추적하는 연산하고 주파수를 검출하며 연산된 추적신호와 검출된 신호를 각각 데이터로 출력하는 단계; 를 포함하는 음원 추적 방법에 있어서,

   상기 검증하는 단계는,

   상기 마이크 채널 그룹별로 소리신호를 입력하고 레벨을 검출하며 주변온도를 측정하는 입력과정; 및

   상기 마이크 채널 그룹별로 최적화된 연산범위를 결정하며 크로스 코릴레이션을 연산하여 시간차값을 확인하고 거리차값으로 변환하여 검증을 완료하는 제 1 루틴 과정; 을 포함하여 이루어지는 것을 특징으로 하는 음원 추적 방법.
8. 제 7 항에 있어서, 상기 제 1 루틴과정은,

   상기 각 마이크 채널을 시간차값 계산을 위한 다수의 그룹으로 구분하고 시간차값을 계산할 상기 마이크 채널 그룹 중에서 어느 하나를 선택하며 크로스 코릴레이션을 연산할 샘플링 단위를 지정하는 그룹과정;

   상기 선택된 마이크 채널 그룹의 첫째 마이크 채널과 둘째 마이크 채널로 입력된 소리신호 레벨을 비교하여 일정한 레벨 이상 차이나는 채널이 있으면 크로스 코릴레이션의 연산범위를 해당 마이크 채널의 지정된 샘플링 단위로 최적화하고 일정한 레벨 이상으로 차이나는 채널이 없으면 첫째와 둘째 마이크 채널의 지정된 샘플링 단위로 최적화하는 과정;

   상기 최적화하는 과정의 상기 크로스 코릴레이션 결과 최대값이 연산된 상기 샘플링 단위의 인덱스에 의한 시간차값을 연산하며 상기 시간차값을 거리차값으로 변환하고 검증하는 시간차 과정; 을 포함하여 이루어지는 것을 특징으로 하는 음원 추적 방법.
9. 제 8 항에 있어서, 상기 최적화 과정은,

   상기 선택된 마이크 채널 그룹을 구성하는 상기 첫째 마이크 채널과 상기 둘째 마이크 채널로 입력된 상기 소리신호 레벨을 비교하여 상기 첫째 마이크 채널이 상기 일정한 레벨 이상으로 입력하는지를 확인하는 제 1 판단 과정;

   상기 제 1 판단 과정에서 상기 첫째 마이크 채널이 상기 일정한 레벨 이상으로 상기 소리신호를 입력하면, 상기 첫째 마이크 채널의 상기 지정한 샘플링 단위를 연산범위로 선택하는 제 1 최적화 과정;

   상기 제 1 판단 과정에서 상기 첫째 마이크 채널이 입력한 소리신호가 상기 일정한 레벨 이상이 아닌 것으로 확인되면, 상기 둘째 마이크 채널이 상기 첫째 마이크 채널보다 상기 일정한 레벨 이상으로 상기 소리신호를 입력하는지 확인하는 제 2 판단 과정;

   상기 제 2 판단 과정에서 상기 둘째 마이크 채널이 상기 일정한 레벨 이상으로 상기 소리신호를 입력하면, 상기 둘째 마이크 채널의 상기 지정된 샘플링 단위를 연산범위로 선택하는 제 2 최적화 과정; 및

   상기 제 2 판단 과정에서 상기 첫째 마이크 채널과 상기 둘째 마이크 채널의 상기 소리신호 입력 레벨이 상기 일정한 레벨 이상으로 차이가 나지 않으면 상기 첫째 마이크 채널과 둘째 마이크 채널의 상기 지정된 샘플링 단위를 연산범위로 선택하는 제 3 최적화 과정; 을 포함하여 이루어지는 것을 특징으로 하는 음원 추적 방법.
10. 제 8 항에 있어서, 상기 시간차 과정은,

    상기 최적화하는 과정에서 상기 최적화된 상기 샘플링 단위로 상기 크로스 코릴레이션을 각각 연산하는 과정;

    상기 연산된 크로스 코릴레이션 결과값 중에서 가장 큰 값으로 연산된 상기 인덱스의 거리차값을 선택하는 과정;

    상기 모든 마이크 채널 그룹의 상기 크로스 코릴레이션 연산이 완료되었는지 확인하고 완료되지 않았으면 상기 그룹과정으로 궤환하는 과정; 및

    상기 모든 마이크 채널 그룹의 상기 크로스 코릴레이션 연산을 완료한 것으로 확인하면 상기 거리차값의 오류를 검증하는 과정; 을 포함하여 이루어지는 것을 특징으로 하는 음원 추적 방법.
11. 삭제
12. 수음부의 마이크 채널 그룹별로 소리신호를 입력하고 주변온도와 입력된 소리신호의 레벨을 검출하며 음원추적부에 의하여 상기 마이크 채널 그룹별로 입력된 소리 신호의 시간차값을 확인하고 거리차값으로 변환하며 검증하는 단계; 및

    상기 검증된 거리차값으로 음원의 발생 방향을 추적하는 연산하고 주파수를 검출하며 연산된 추적신호와 검출된 신호를 각각 데이터로 출력하는 단계; 를 포함하는 음원 추적 방법에 있어서,

    상기 출력하는 단계는,

    상기 거리차값으로 상기 소리신호의 발생 방향을 추적하는 연산을 진행하는 제 2 루틴 과정;

    상기 추적된 상기 소리신호의 주파수를 검출하는 과정; 및

    상기 추적된 연산 결과와 검출된 정보를 데이터로 출력하는 과정; 을 포함하여 이루어지고,

    상기 제 2 루틴 과정은,

    상기 마이크 채널의 좌표값으로 쌍곡면의 계수값을 구하고 각 마이크 채널 그룹의 쌍곡면 방향을 결정하며 마이크 1과 마이크 2 채널 그룹의 쌍곡면을 기준 쌍곡면으로 설정하고 나머지 마이크 채널 그룹에 의한 쌍곡면과의 교점을 연산하는 과정; 및

    상기 연산된 교점은 상기 기준 쌍곡면의 내부에 위치하는지 확인하고, 상기 기준 쌍곡면의 중심점과 직선으로 각각 연결하며, 상기 교점과 연결된 각각의 직선 중에서 선택된 교점 그룹이 형성하는 각도값을 연산하며, 상기 각도 값 중에서 가장 작은 값을 선택하고, 상기 선택된 각도를 이등분하는 연장선의 방향을 음원 발생 방향의 방위로 결정하는 과정; 을 포함하여 이루어지는 것을 특징으로 하는 음원 추적 방법.

Images