KR20210136569A

KR20210136569A - 경보 장치, 상기 장치를 포함하는 경보 시스템, 및 경보 방법

Info

Publication number: KR20210136569A
Application number: KR1020200054989A
Authority: KR
Inventors: 현동일
Original assignee: 삼성전자주식회사
Priority date: 2020-05-08
Filing date: 2020-05-08
Publication date: 2021-11-17
Also published as: US20210350704A1

Abstract

본 발명의 일 실시예에 따른 경보 장치는, 제1 기준 레벨, 및 상기 복수의 마이크로폰들 각각으로부터 생성되는 음원 신호들 중 적어도 일부에 기초하여 지연 시간 정보들을 생성하는 지연 시간 정보 생성부, 제2 기준 레벨, 및 상기 지연 시간 정보들 중 적어도 일부에 기초하여 위치 파라미터들을 생성하는 위치 파라미터 생성부, 및 상기 위치 파라미터들에 기초하여 상기 음원이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들을 생성하고, 제3 기준 레벨, 및 상기 후보 위치 정보들 중 적어도 일부에 기초하여 최종 위치 정보를 생성하는 음원 위치 정보 생성부를 포함한다.

Description

경보 장치, 상기 장치를 포함하는 경보 시스템, 및 경보 방법{ALARM DEVICE, ALARM SYSTEM INCLUDING THE SAME, AND ALARM METHOD}

본 발명은 경보 장치에 관한 것으로서, 더욱 상세하게는 경보 장치, 상기 장치를 포함하는 경보 시스템, 및 경보 방법에 관한 것이다.

최근 IT 기술이 급속도로 발전함에 따라 첨단 자동차 안전 기술과 융합되는 지능형 자동차에 대한 관심이 증가하고 있다.

차선 이탈 감지 시스템, 차간거리 제어 시스템, 충돌 경보 시스템, 차로 변경 제어 시스템과 같은 첨단 안전 자동차 기술은 지능형 자동차 기술의 기반 기술로서 다양한 연구 및 기술 개발이 이루어지고 있다.

본 발명의 일 목적은 차량의 외부에서 발생되는 음원의 종류에 따라 상기 차량의 내부에 탑승한 운전자에게 시각적 및 청각적 장치를 이용하여 적응적으로 경보를 발생함으로써 상기 운전자가 안전하게 운행할 수 있도록 하는 경보 장치를 제공하는 것이다.

본 발명의 다른 목적은 상기 경보 장치를 포함하는 경보 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은 경보 방법을 제공하는 것이다.

상기 일 목적을 달성하기 위해 본 발명의 일 실시예에 따른 경보 장치는 차량에 설치된 복수의 마이크로폰들을 이용하여 상기 차량의 외부에서 발생되는 음원을 수신하고, 상기 음원의 종류에 따라 상기 차량의 내부에 탑승한 운전자에게 경보를 발생하는 장치로서, 제1 기준 레벨, 및 상기 복수의 마이크로폰들 각각으로부터 생성되는 음원 신호들 중 적어도 일부에 기초하여 지연 시간 정보들을 생성하는 지연 시간 정보 생성부, 제2 기준 레벨, 및 상기 지연 시간 정보들 중 적어도 일부에 기초하여 위치 파라미터들을 생성하는 위치 파라미터 생성부, 및 상기 위치 파라미터들에 기초하여 상기 음원이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들을 생성하고, 제3 기준 레벨, 및 상기 후보 위치 정보들 중 적어도 일부에 기초하여 최종 위치 정보를 생성하는 음원 위치 정보 생성부를 포함한다.

상기 다른 목적을 달성하기 위해 본 발명의 일 실시예에 따른 경보 시스템은 경보 시스템 서버, 및 클라이언트들을 포함하고, 상기 클라이언트들 중 적어도 하나는 경보 장치를 포함하고, 상기 경보 장치는, 제1 기준 레벨, 및 복수의 마이크로폰들 각각으로부터 생성되는 음원 신호들 중 적어도 일부에 기초하여 지연 시간 정보들을 생성하는 지연 시간 정보 생성부, 제2 기준 레벨, 및 상기 지연 시간 정보들 중 적어도 일부에 기초하여 위치 파라미터들을 생성하는 위치 파라미터 생성부, 및 상기 위치 파라미터들에 기초하여 음원이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들을 생성하고, 제3 기준 레벨, 및 상기 후보 위치 정보들 중 적어도 일부에 기초하여 최종 위치 정보를 생성하는 음원 위치 정보 생성부를 포함한다.

상기 또 다른 목적을 달성하기 위해 본 발명의 일 실시예에 따른 경보 방법은 차량에 설치된 복수의 마이크로폰들을 이용하여 상기 차량의 외부에서 발생되는 음원을 수신하고, 상기 음원의 종류에 따라 상기 차량의 내부에 탑승한 운전자에게 경보를 발생하는 방법으로서, 제1 기준 레벨, 및 상기 복수의 마이크로폰들 각각으로부터 생성되는 음원 신호들 중 적어도 일부에 기초하여 지연 시간 정보들을 생성하는 단계, 제2 기준 레벨, 및 상기 지연 시간 정보들 중 적어도 일부에 기초하여 위치 파라미터들을 생성하는 단계, 상기 위치 파라미터들에 기초하여 상기 음원이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들을 생성하는 단계, 제3 기준 레벨, 및 상기 후보 위치 정보들 중 적어도 일부에 기초하여 최종 위치 정보를 생성하는 단계, 및 상기 최종 위치 정보에 기초하여 상기 운전자에게 경보를 발생하는 단계를 포함한다.

본 발명의 실시예들에 포함되는 경보 장치, 상기 장치를 포함하는 경보 시스템, 및 경보 방법은 차량의 외부에서 발생되는 음원의 종류에 따라 차량의 내부에 탑승한 운전자에게 시각적 및 청각적 장치를 이용하여 적응적으로 경보를 발생함으로써 상기 운전자가 안전하게 운행할 수 있도록 한다. 나아가, 제1 내지 제3 기준 레벨을 수신하고, 제1 내지 제3 기준 레벨 각각에 기초하여 상응하는 신호 또는 정보들 중 적어도 일부를 선택한다. 상기 경보 장치, 상기 장치를 포함하는 경보 시스템, 및 경보 방법은 상기 선택에 따라 상기 신호 또는 상기 정보들 중 일부만을 대상으로 후속하는 처리들을 수행함으로써 전력 소모를 줄일 수 있다.

도 1은 본 발명의 일 실시예에 따른 경보 장치를 나타내는 블록도이다.
도 2는 도 1의 경보 장치의 동작을 설명하기 위한 도면이다.
도 3은 도 1의 음원 위치 추정부의 일 실시예를 나타내는 블록도이다.
도 4는 도 3의 지연 시간 정보 생성부의 일 실시예를 나타내는 블록도이다.
도 5 및 도 6은 도 4의 음원 신호 제공부가 음원 신호들 중 적어도 일부를 선택하는 과정을 설명하기 위한 도면들이다.
도 7은 지연 시간 정보들을 생성하는 과정에서 계산되는 GCC-PHAT의 출력값의 일 실시예를 나타내는 도면이다.
도 8은 도 3의 위치 파라미터 생성부의 일 실시예를 나타내는 블록도이다.
도 9는 도 8의 지연 시간 정보 수신부가 지연 시간 정보들 중 적어도 일부를 선택하는 과정을 설명하기 위한 도면이다.
도 10은 도 3의 음원 위치 정보 생성부의 일 실시예를 나타내는 블록도이다.
도 11은 도 10의 최종 위치 정보 생성부가 최종 위치 정보들을 생성하는 과정을 설명하기 위한 도면이다.
도 12는 도 1의 음원 재현부의 일 실시예를 나타내는 블록도이다.
도 13은 내부 스피커 이득을 계산하는 과정을 설명하기 위한 도면이다.
도 14는 본 발명의 다른 실시예에 따른 경보 장치를 나타내는 블록도이다.
도 15는 도 14의 음원 위치 추정부의 다른 실시예를 나타내는 블록도이다.
도 16은 도 15의 편차 정보 생성부의 일 실시예를 나타내는 블록도이다.
도 17은 도 16의 편차 정보 생성부가 영상 신호들 중 적어도 일부를 선택하는 과정을 설명하기 위한 도면이다.
도 18은 도 15의 위치 파라미터 생성부가 위치 파라미터들을 생성하는 과정 및 음원 위치 정보 생성부가 최종 위치 정보를 생성하는 과정을 설명하기 위한 도면이다.
도 19는 본 발명의 또 다른 실시예에 따른 경보 장치를 나타내는 블록도이다.
도 20은 본 발명의 또 다른 실시예에 따른 경보 방법을 나타내는 흐름도이다.
도 21, 도 22 및 도 23은 본 발명의 실시예들에 따른 경보 장치에 의한 음원의 종류를 인식하기 위한 딥러닝의 수행에 이용되는 네트워크 구조의 예를 설명하기 위한 도면들이다.
도 24는 본 발명의 실시예들에 따른 경보 장치를 포함하는 클라이언트를 나타내는 블록도이다.
도 25는 본 발명의 실시예들에 따른 경보 장치를 포함하는 경보 시스템을 나타내는 블록도이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이하에서, 설명의 편의를 위해 서로 직교하는 X축, Y축, 및 Z축이 표시된다. X축은 차량의 너비 방향에 해당하고, Y축은 상기 차량의 높이 방향에 해당하며, Z축은 상기 차량의 길이 방향에 해당한다.

도 1은 본 발명의 일 실시예에 따른 경보 장치를 나타내는 블록도이다. 도 2는 도 1의 경보 장치의 동작을 설명하기 위한 도면이다.

도 1 및 도 2를 참조하면, 경보 장치(1000)는 차량(10)의 내부에 설치되어, 차량(10)의 외부에서 발생되는 음원(70)의 종류에 따라 차량(10)의 내부에 탑승한 운전자(50)에게 경보를 발생할 수 있다. 실시예에 따라, 경보 장치(1000)는 차량(10)의 내부에 설치되는 전자 제어 유닛(Electronic Control Unit)(ECU)의 제어 하에 동작할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 2에서 차량(10)의 전방 영역(11) 및 후방 영역(15)이 도시된다. 전방 영역(11)의 좌우측 하단(20-1, 20-7), 전방 영역(11) 및 후방 영역(15)의 경계 하단(20-2, 20-6), 후방 영역(15)의 좌우측 및 중심 하단(20-3, 20-4, 20-5) 각각에 복수의 마이크로폰들(20-1 내지 20-7)이 매설될 수 있다. 그러나, 복수의 마이크로폰들(20-1 내지 20-7)의 수 및 매설된 위치는 예시적인 것으로서, 본 발명의 범위는 이에 한정되지 않는다.

경보 장치(1000)는 음원 위치 추정부(100) 및 음원 재현부(500)를 포함한다.

음원 위치 추정부(100)는 음원 신호들(S[1:7])을 수신한다. 음원 신호들(S[1:7])은 복수의 마이크로폰들(20-1 내지 20-7)에 의해 생성된다. 복수의 마이크로폰들(20-1 내지 20-7)은 차량(10)의 외부에서 발생되는 음원(70)을 수신하여 음원 신호들(S[1:7])을 생성한다.

음원 위치 추정부(100)는 제1 기준 레벨(SLR)을 수신하고, 음원 신호들(S[1:7]) 중 적어도 일부 및 제1 기준 레벨(SLR)에 기초하여 지연 시간 정보들을 생성한다.

음원 위치 추정부(100)는 제2 기준 레벨(GLR)을 수신하고, 상기 지연 시간 정보들 중 적어도 일부 및 제2 기준 레벨(GLR)에 기초하여 위치 파라미터들을 생성한다.

음원 위치 추정부(100)는 상기 위치 파라미터들에 기초하여 음원(70)이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들을 생성한다.

음원 위치 추정부(100)는 제3 기준 레벨(DDR)을 수신하고, 상기 후보 위치 정보들 중 적어도 일부 및 제3 기준 레벨(DDR)에 기초하여 최종 위치 정보(FLI)를 생성한다.

음원 재현부(500)는 음원 위치 추정부(100)로부터 최종 위치 정보(FLI)를 수신한다.

음원 재현부(500)는 최종 위치 정보(FLI)에 기초하여 내부 스피커 이득(SPKG)을 조절하고, 내부 스피커, 헤드업 디스플레이, 또는 내부 디스플레이 장치를 이용하여 운전자(50)에게 적응적으로 경보를 발생한다.

상술한 바와 같이, 경보 장치(1000)는 차량(10)의 외부에서 발생되는 음원(70)의 종류에 따라 차량(10)의 내부에 탑승한 운전자(50)에게 시각적 및 청각적 장치를 이용하여 적응적으로 경보를 발생함으로써 운전자(50)가 안전하게 운행할 수 있도록 한다. 나아가, 경보 장치(1000)는 제1 내지 제3 기준 레벨(SLR, GLR, DDR)을 수신하고, 제1 내지 제3 기준 레벨(SLR, GLR, DDR) 각각에 기초하여 상응하는 신호들 또는 정보들 중 적어도 일부를 선택한다. 경보 장치(1000)는 상기 선택에 따라 상기 신호들 또는 상기 정보들 중 일부만을 대상으로 후속하는 처리들을 수행함으로써 전력 소모를 줄일 수 있다. 보다 구체적인 설명은 후술하기로 한다.

도 3은 도 1의 음원 위치 추정부의 일 실시예를 나타내는 블록도이다.

도 1 내지 도 3을 참조하면, 음원 위치 추정부(100)는 지연 시간 정보 생성부(110), 위치 파라미터 생성부(130), 및 음원 위치 정보 생성부(150)를 포함한다.

지연 시간 정보 생성부(110)는 복수의 마이크로폰들(20-1 내지 20-7) 각각으로부터 음원 신호들(S[1:7])을 수신하고, 외부로부터 제1 기준 레벨(SLR)을 수신한다.

지연 시간 정보 생성부(100)는 제1 기준 레벨(SLR)에 기초하여 음원 신호들(S[1:7]) 중 적어도 일부를 선택함으로써 선택 음원 신호들을 생성한다. 그리고, 상기 선택 음원 신호들을 주파수 영역으로 변환하여 스펙트럼 신호들을 생성한다. 그리고, 상기 스펙트럼 신호들에 대하여 지연 시간 추정 알고리즘을 적용하여 지연 시간 정보들(TDOA)을 생성한다.

위치 파라미터 생성부(130)는 지연 시간 정보 생성부(110)로부터 지연 시간 정보들(TDOA)을 수신하고, 외부로부터 제2 기준 레벨(GLR)을 수신한다.

위치 파라미터 생성부(130)는 제2 기준 레벨(GLR)에 기초하여 지연 시간 정보들(TDOA) 중 일부를 선택함으로써 선택 지연 시간 정보들을 생성한다. 그리고, 상기 선택 지연 시간 정보들에 기초하여 음원의 위치를 추정하기 위한 위치 파라미터들(PPRM)을 생성한다.

음원 위치 정보 생성부(150)는 위치 파라미터 생성부(130)로부터 위치 파라미터들(PPRM)을 수신하고, 외부로부터 제3 기준 레벨(DDR)을 수신한다.

음원 위치 정보 생성부(150)는 위치 파라미터들(PPRM)에 기초하여 음원이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들을 생성하고, 제3 기준 레벨(DDR)에 기초하여 상기 후보 위치 정보들 중 적어도 일부를 선택함으로써, 최종 위치 정보(FLI)를 생성한다.

도 4는 도 3의 지연 시간 정보 생성부의 일 실시예를 나타내는 블록도이다.

도 4를 참조하면, 지연 시간 정보 생성부(110)는 음원 신호 수신부(111), 음원 신호 제공부(113), 및 지연 시간 정보 제공부(115)를 포함한다. 음원 신호 제공부(113)는 소음 레벨 추정부(113a)를 더 포함할 수 있다.

음원 신호 수신부(111)는 음원 신호들(S[1:7])을 수신하고 저장하여 음원 신호 제공부(113)로 전달한다.

음원 신호 제공부(113)는 음원 신호 수신부(111)로부터 음원 신호들(S[1:7])을 수신하고, 외부로부터 제1 기준 레벨(SLR)을 수신한다.

음원 신호 제공부(113)는 제1 기준 레벨(SLR)에 기초하여 음원 신호들(S[1:7]) 중 적어도 일부를 선택한다. 이하에서, 보다 구체적으로 설명하기로 한다.

도 5 및 도 6은 도 4의 음원 신호 제공부가 음원 신호들 중 적어도 일부를 선택하는 과정을 설명하기 위한 도면들이다.

도 5 및 도 6을 참조하면, 음원 신호들(S[1:7]) 각각은 음원(70) 및 복수의 마이크로폰들(20-1 내지 20-7)의 상대적인 위치, 및 차량(10) 주변의 소음 등으로 인하여 서로 다른 크기의 신호 레벨을 나타낼 수 있다.

예를 들어, 도 5에 도시된 바와 같이, 차량(10)의 우측 후방 근처에 음원(70)이 위치하는 경우 복수의 마이크로폰들(20-1 내지 20-7) 중 일부의 마이크로폰들(20-1 내지 20-5)만이 음원 신호들(S[1:5])을 생성할 수 있다.

이 경우, 음원 신호 제공부(113)는 제1 기준 레벨(SLR)에 기초하여 음원 신호들(S[1:5]) 중 적어도 일부만을 선택할 수 있다.

실시예에 따라, 제1 기준 레벨(SLR)은 특수 목적 차량들의 사이렌 또는 일반적인 차량들의 경적음의 세기에 기초하여 미리 설정될 수 있다.

실시예에 따라, 음원 신호 제공부(113)는 음원 신호들(S[1:5]) 각각의 크기의 최대값이 제1 기준 레벨(SLR)보다 큰 음원 신호들만을 선택할 수 있고, 다른 실시예에 따라 음원 신호들(S[1:5]) 각각의 크기의 평균값이 제1 기준 레벨(SLR)보다 큰 음원 신호들만을 선택할 수도 있다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니다.

나아가, 음원 신호 제공부(113)는 소음 레벨 추정부(113a)로부터 차량(10) 주변의 소음의 세기를 나타내는 소음 정보를 수신하여, 음원 신호들(S[1:5]) 각각의 크기가 상기 소음의 크기보다 큰 경우에 한하여 생성되는 음원 신호들만을 선택할 수도 있다.

소음 레벨 추정부(113a)는 음원 신호들(S[1:7]) 각각에 공통적으로 나타나는 신호 성분들에 기초하여 상기 소음 정보를 생성할 수 있다.

다시 도 4를 참조하면, 음원 신호 제공부(113)는 제1 기준 레벨(SLR)에 기초하여 음원 신호들(S[1:7]) 중 적어도 일부를 선택하여 선택 음원 신호들(이하에서, S[1,3,5]인 것으로 가정함)을 생성한다. 그리고, 선택 음원 신호들(S[1,3,5])을 지연 시간 정보 제공부(115)로 전달할 수 있다.

지연 시간 정보 제공부(115)는 음원 신호 제공부(113)로부터 선택 음원 신호들(S[1,3,5])을 수신한다. 그리고, 선택 음원 신호들(S[1,3,5])을 주파수 영역으로 변환하여 스펙트럼 신호들을 생성한다.

실시예에 따라, 상기 주파수 영역으로의 변환은 선택 음원 신호들(S[1,3,5]) 각각에 대하여 시간 윈도잉(time windowing)을 수행하고, 선택 음원 신호들(S[1,3,5]) 중 어느 두 개의 신호들(즉, S[1,3], S[1,5], 및 S[3,5])을 선택하여 선택된 신호들에 대한 단구간 푸리에 변환(Short Time Fourier Transform)(STFT)을 수행함으로써 이루어질 수 있다.

그리고, 상기 스펙트럼 신호들에 대하여 지연 시간 추정 알고리즘을 적용하여 지연 시간 정보들(TDOA)을 생성한다. 이하에서, 보다 구체적으로 설명하기로 한다.

실시예에 따라, 상기 지연 시간 추정 알고리즘은 GCC-PHAT(Generalized Cross Correlation-Phase Transform)일 수 있다. 상기 스펙트럼 신호들에 대하여 GCC-PHAT를 적용하여 구하여지는 출력값은 하기 수학식 1 및 수학식2에 따라 계산될 수 있다.

[수학식 1]

[수학식 2]

여기서,

및

각각은 선택 음원 신호들(S[1,3,5]) 중에서 선택된 두 개의 신호들(예를 들어, S[1,3], S[1,5], 및 S[3,5]) 각각에 대하여 상기 STFT를 수행한 결과값이다.

그리고, 상기

를 최대로 하는

를 계산하여 지연 시간 정보들(TDOA)을 생성할 수 있다. 지연 시간 정보들(TDOA)은 하기 수학식 3에 따라 계산될 수 있다.

[수학식 3]

도 7은 지연 시간 정보들을 생성하는 과정에서 계산되는 GCC-PHAT의 출력값의 일 실시예를 나타내는 도면이다.

도 7에서, 신호들(예를 들어, S[1,3])에 대하여 상기 GCC-PHAT을 적용하여 구하여지는 출력값이 도시된다.

도 7을 참조하면, 신호들(예를 들어, S[1,3])에 대하여 상기

를 최대로 하는

는 60이 된다(단위는 [ms]).

다시 도 3 및 도 4를 참조하면, 지연 시간 정보 제공부(110)는 지연 시간 정보들(TDOA)을 생성하여, 위치 파라미터 생성부(130)로 전달한다.

도 8은 도 3의 위치 파라미터 생성부의 일 실시예를 나타내는 블록도이다.

도 3 및 도 8을 참조하면, 위치 파라미터 생성부(130)는 지연 시간 정보 수신부(131) 및 위치 파라미터 제공부(133)를 포함한다.

지연 시간 정보 수신부(131)는 지연 시간 정보 생성부(110)로부터 지연 시간 정보들(TDOA)을 수신하고, 외부로부터 제2 기준 레벨(GLR)을 수신한다.

지연 시간 정보 수신부(131)는 제2 기준 레벨(GLR)에 기초하여 지연 시간 정보들(TDOA) 중 일부를 선택한다. 이하에서, 보다 구체적으로 설명하기로 한다.

도 9는 도 8의 지연 시간 정보 수신부가 지연 시간 정보들 중 적어도 일부를 선택하는 과정을 설명하기 위한 도면이다.

도 8 및 도 9를 참조하면, 지연 시간 정보들(TDOA)은 선택 음원 신호들(S[1,3,5]) 중에서 선택된 두 개의 신호들(예를 들어, S[1,3], S[1,5], S[3,5]) 각각에 대하여 생성될 수 있다.

이 경우, 지연 시간 정보 수신부(131)는 지연 시간 정보들(TDOA) 중 적어도 일부만을 선택할 수 있다.

실시예에 따라, 제2 기준 레벨(GLR)은 방향성을 가지지 않는 확산 소음에 상기 GCC-PHAT를 적용하여 구하여지는 출력값에 기초하여 미리 설정될 수 있다.

실시예에 따라, 지연 시간 정보 수신부(131)는 지연 시간 정보들(TDOA) 각각의 크기의 최대값이 제2 기준 레벨(GLR)보다 큰 지연 시간 정보들만을 선택할 수 있고, 다른 실시예에 따라 지연 시간 정보들(TDOA) 각각의 크기의 평균값이 제2 기준 레벨(GLR)보다 큰 지연 시간 정보들만을 선택할 수도 있다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니다.

지연 시간 정보 수신부(131)는 제2 기준 레벨(GLR)에 기초하여 지연 시간 정보들(TDOA) 중 적어도 일부를 선택하여 선택 지연 시간 정보들(STDOA)(이하에서, S[1,3], S[3,5] 각각에 대하여 생성된 지연 시간을 포함하는 것으로 가정함)을 생성한다. 그리고, 선택 지연 시간 정보들(STDOA)을 위치 파라미터 제공부(133)로 전달할 수 있다.

위치 파라미터 제공부(133)는 지연 시간 정보 수신부(131)로부터 선택 지연 시간 정보들(STDOA)을 수신한다. 그리고, 선택 지연 시간 정보들(STDOA)에 기초하여 위치 파라미터들(PPRM)을 생성한다.

실시예에 따라, 위치 파라미터들(PPRM)은 선택 지연 시간 정보들(STDOA)에 기초하여 음원의 위치를 모델링하는 직선 또는 곡선의 파라미터들을 포함할 수 있다.

실시예에 따라, 위치 파라미터들(PPRM)은 선택 지연 시간 정보들(STDOA)에 기초하여 생성되는 쌍곡선(예를 들어, S[1,3]의 경우, 22a 및 22b, S[3,5]의 경우 24a 및 24b)의 파라미터들을 포함할 수 있다. 여기서, 위치 파라미터들(PPRM)은 선택 지연 시간 정보들(STDOA)에 포함되는 지연 시간들(즉, S[1,3], S[3,5] 각각에 대하여 생성된 지연 시간)에 상응하는 마이크로폰들(예를 들어, S[1,3]의 경우, 20-1 및 20-3, S[3,5]의 경우 20-3 및 20-5) 각각의 위치 정보, 상기 쌍곡선의 초점의 위치 정보, 및 상기 쌍곡선의 점근선에 관한 정보를 포함할 수 있다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 10은 도 3의 음원 위치 정보 생성부의 일 실시예를 나타내는 블록도이다.

도 10을 참조하면, 음원 위치 정보 생성부(150)는 위치 파라미터 수신부(151), 후보 위치 정보 생성부(153), 및 최종 위치 정보 생성부(155)를 포함한다.

위치 파라미터 수신부(151)는 위치 파라미터 생성부(130)로부터 위치 파라미터들(PPRM)을 수신하여 저장하고, 위치 파라미터들(PPRM)을 후보 위치 정보 생성부(153)로 전달한다.

후보 위치 정보 생성부(153)는 위치 파라미터 수신부(151)로부터 위치 파라미터들(PPRM)을 수신하고, 위치 파라미터들(PPRM)에기초하여 음원이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들(CLI)을 생성한다. 실시예에 따라, 후보 위치 정보들(CLI)은 위치 파라미터들(PPRM)에 기초하여 생성되는 상기 쌍곡선들 간의 교점에 관한 정보를 포함할 수 있다.

후보 위치 정보 생성부(153)는 후보 위치 정보들(CLI)을 최종 위치 정보 생성부(155)로 전달한다.

최종 위치 정보 생성부(155)는 후보 위치 정보 생성부(153)로부터 후보 위치 정보들(CLI)을 수신하고, 외부로부터 제3 기준 레벨(DDR)을 수신한다.

최종 위치 정보 생성부(155)는 제3 기준 레벨(DDR)에 기초하여 후보 위치 정보들(CLI) 중 적어도 일부를 선택하여 최종 위치 정보들(FLI)을 생성한다. 이하에서, 보다 구체적으로 설명하기로 한다.

도 11은 도 10의 최종 위치 정보 생성부가 최종 위치 정보들을 생성하는 과정을 설명하기 위한 도면이다.

도 2 및 도 11을 참조하면, 최종 위치 정보 생성부(155)는 후보 위치 정보들(CLI) 및 운전자(50)의 위치에 기초하여 후보 위치 정보들(CLI)이 포함하는 교점(26)을 시작점으로 하고, 운전자(50)의 위치를 끝점으로 하는 벡터 정보를 생성한다.

실시예에 따라, 제3 기준 레벨(DDR)은 차량(10)이 운행하는 차선과 상기 차선에 인접하는 인접 차선 사이의 거리에 기초하여 미리 설정될 수 있다.

실시예에 따라, 최종 위치 정보 생성부(155)는 상기 벡터 정보에 따른 벡터의 크기가 제3 기준 레벨(DDR)을 초과하는 경우, 최종 위치 정보들(FLI)을 생성하지 않고, 상기 벡터의 크기가 제3 기준 레벨(DDR) 이하인 경우, 상기 벡터 정보를 최종 위치 정보들(FLI)로서 생성할 수 있다.

도 12는 도 1의 음원 재현부의 일 실시예를 나타내는 블록도이다.

도 12를 참조하면, 음원 재현부(500)는 최종 위치 정보 수신부(510) 및 내부 스피커 이득 계산부(530)를 포함한다.

최종 위치 정보 수신부(510)는 최종 위치 정보 생성부(155)로부터 최종 위치 정보(FLI)를 수신하여 저장한다. 그리고, 최종 위치 정보 (FLI)를 내부 스피커 이득 계산부(530)로 출력한다.

내부 스피커 이득 계산부(530)는 최종 위치 정보(FLI)를 수신하고, 외부로부터 스피커 위치 정보(SPI)를 수신한다. 그리고, 최종 위치 정보(FLI) 및 스피커 위치 정보(SPI)에 기초하여 내부 스피커 이득(SPKG)을 계산하여 출력한다. 이하에서, 보다 구체적으로 설명하기로 한다.

도 13은 내부 스피커 이득을 계산하는 과정을 설명하기 위한 도면이다.

도 13에서, 내부 스피커들(즉, 50-1, 50-2, 및 50-3)이 도시된다.

도 13을 참조하면, 스피커 위치 정보(SPI)(즉, 52a, 52b, 및 52c) 각각은 상응하는 내부 스피커들(즉, 50-1, 50-2, 및 50-3)의 위치를 시작점으로 하고, 운전자(50)의 위치를 끝점으로 하는 벡터 정보들을 포함할 수 있다. 이 경우, 내부 스피커 이득(SPKG)은 하기 수학식 4 내지 수학식 6에 따라 계산될 수 있다.

[수학식 4]

[수학식 5]

[수학식 6]

여기서,

는 최종 위치 정보(FLI)가 나타내는 벡터이고,

는 내부 스피커들(즉, 50-1, 50-2, 및 50-3) 각각의 이득이고,

은 스피커 위치 정보(SPI)가 나타내는 벡터이다.

도 14는 본 발명의 다른 실시예에 따른 경보 장치를 나타내는 블록도이다.

도 1 및 도 14에 도시된 경보 장치들(1000, 1000a)에 있어서, 동일한 참조부호를 사용하는 구성요소들은 유사한 기능을 수행하므로, 이하에서 중복되는 설명은 생략하기로 한다.

도 1, 도 2 및 도 14를 참조하면, 경보 장치(1000a)는 음원 위치 추정부(100a) 및 음원 재현부(500)를 포함한다.

음원 위치 추정부(100a)는 차량(10)의 외부에서 발생되는 음원(70)을 차량(10)에 설치된 복수(2 이상)의 마이크로폰들을 이용하여 수신한다. 그리고, 음원 위치 추정부(100a)는 차량(10)의 외부를 촬영하여 얻어지는 외부 영상을 차량(10)에 설치된 복수(2 이상)의 영상 센서들을 이용하여 수신한다. 복수의 마이크로폰들 각각은 음원(70)을 수신하여 음원 신호들(S[1:7])을 생성한다. 복수의 영상 센서들 각각은 상기 외부 영상을 수신하여 영상 신호들(L[1:4])을 생성한다.

음원 위치 추정부(100a)는 제1 기준 레벨(SLR)을 수신하고, 음원 신호들(S[1:7]) 중 적어도 일부 및 제1 기준 레벨(SLR)에 기초하여 지연 시간 정보들을 생성한다. 그리고, 제4 기준 레벨(ILR)을 수신하고, 영상 신호들(L[1:4]) 중 적어도 일부 및 제4 기준 레벨(ILR)에 기초하여 편차 정보(DEVI)를 생성한다.

위치 추정부(100a)는 제2 기준 레벨(GLR)을 수신하고, 상기 지연 시간 정보들 중 적어도 일부, 편차 정보(DEVI), 및 제2 기준 레벨(GLR)에 기초하여 위치 파라미터들을 생성한다.

음원 위치 추정부(100a)는 상기 위치 파라미터들에 기초하여 음원(70)이 존재할 수 있는 위치들을 나타내는 후보 위치 정보를 생성한다.

음원 위치 추정부(100a)는 제3 기준 레벨(DDR)을 수신하고, 상기 후보 위치 정보들 중 적어도 일부 및 제3 기준 레벨(DDR)에 기초하여 최종 위치 정보(FLI)를 생성한다.

음원 재현부(500)는 최종 위치 정보(FLI)에 기초하여 내부 스피커 이득(SPKG)을 조절하여 운전자(50)에게 적응적으로 경보를 발생한다.

도 15는 도 14의 음원 위치 추정부의 다른 실시예를 나타내는 블록도이다.

도 15를 참조하면, 음원 위치 추정부(100a)는 지연 시간 정보 생성부(110), 편차 정보 생성부(120), 위치 파라미터 생성부(130), 및 음원 위치 정보 생성부(150)를 포함한다.

편차 정보 생성부(120)는 복수의 영상 센서들 각각으로부터 영상 신호들(L[1:4])을 수신하고, 외부로부터 제4 기준 레벨(ILR)을 수신한다.

편차 정보 생성부(120)는 제4 기준 레벨(ILR)에 기초하여 영상 신호들(L[1:4]) 중 적어도 일부를 선택함으로써 선택 영상 신호들을 생성한다. 그리고, 상기 선택 영상 신호들에 기초하여 편차 정보들(DEVI)을 생성한다.

위치 파라미터 생성부(130)는 지연 시간 정보 생성부(110)로부터 지연 시간 정보들(TDOA)을 수신하고, 편차 정보 생성부(120)로부터 편차 정보(DEVI)를 수신하며, 외부로부터 제2 기준 레벨(GLR)을 수신한다.

위치 파라미터 생성부(130)는 제2 기준 레벨(GLR)에 기초하여 지연 시간 정보들(TDOA) 중 일부를 선택하고, 편차 정보들(DEVI) 중 일부를 선택함으로써 선택 지연 시간 정보들을 생성한다. 그리고, 상기 선택 지연 시간 정보들에 기초하여 음원의 위치를 추정하기 위한 위치 파라미터들(PPRM)을 생성한다.

도 16은 도 15의 편차 정보 생성부의 일 실시예를 나타내는 블록도이다.

도 16을 참조하면, 편차 정보 생성부(120)는 영상 신호 수신부(121) 및 편차 정보 제공부(125)를 포함한다.

영상 신호 수신부(121)는 영상 신호들(L[1:4])을 수신하고 저장하여 편차 정보 제공부(125)로 전달한다.

편차 정보 제공부(125)는 영상 신호 수신부(121)로부터 영상 신호들(L[1:4])을 수신하고, 외부로부터 제4 기준 레벨(ILR)을 수신한다.

편차 정보 제공부(125)는 제4 기준 레벨(ILR)에 기초하여 영상 신호들(L[1:4]) 중 적어도 일부를 선택한다. 이하에서, 보다 구체적으로 설명하기로 한다.

도 17은 도 16의 편차 정보 생성부가 영상 신호들 중 적어도 일부를 선택하는 과정을 설명하기 위한 도면이다.

도 17에서 차량(10)의 전방 영역 및 후방 영역이 도시된다. 상기 전방 영역의 중심(30-1), 좌우측(30-2, 30-4), 상기 후방 영역의 중심(30-3) 각각에 복수의 영상 센서들(30-1 내지 30-4)이 매설될 수 있다. 그러나, 복수의 영상 센서들(30-1 내지 30-4)의 수 및 매설된 위치는 예시적인 것으로서, 본 발명의 범위는 이에 한정되지 않는다.

도 15 및 도 17을 참조하면, 영상 신호들(L[1:4]) 각각은 음원(70)을 발생시키는 다른 차량 및 복수의 영상 센서들(30-1 내지 30-4)의 상대적인 위치 등으로 인하여 서로 다른 형태의 영상 신호를 나타낼 수 있다.

예를 들어, 도 17에 도시된 바와 같이, 차량(10)의 우측 후방 근처에 음원(70)을 발생시키는 다른 차량이 위치하는 경우 복수의 영상 센서들(30-1 내지 30-4) 중 일부의 영상 센서들(30-1 내지 30-3)만이 상기 다른 차량의 영상을 포함하는 영상 신호들(L[1:3])을 생성할 수 있다.

이 경우, 편차 정보 생성부(125)는 제4 기준 레벨(ILR)에 기초하여 영상 신호들(L[1:4]) 중 적어도 일부(예를 들어, L[1:3])만을 선택할 수 있다.

실시예에 따라, 제4 기준 레벨(ILR)은 인접 차선에 다른 차량이 나타나는 경우에 영상 신호들(L[1:4]) 각각의 평균적인 밝기값의 변화량에 기초하여 미리 설정될 수 있다.

실시예에 따라, 편차 정보 생성부(125)는 영상 신호들(L[1:4]) 각각의 밝기값의 변화가 제4 기준 레벨(ILR)보다 큰 영상 신호들(L[1:3])만을 선택할 수 있다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니다.

편차 정보 생성부(125)는 영상 신호들(L[1:3])에 기초하여 상기 다른 차량과 영상 센서들 간의 거리를 나타내는 편차 정보(DEVI)를 생성할 수 있다.

도 18은 도 15의 위치 파라미터 생성부가 위치 파라미터들을 생성하는 과정 및 음원 위치 정보 생성부가 최종 위치 정보를 생성하는 과정을 설명하기 위한 도면이다.

도 18을 참조하면, 위치 파라미터 생성부(130a)는 지연 시간 정보 생성부(110)로부터 지연 시간 정보들(TDOA)을 수신하고, 편차 정보 생성부(120)로부터 편차 정보(DEVI)를 수신하며, 외부로부터 제2 기준 레벨(GLR)을 수신한다.

위치 파라미터 생성부(130a)는 제2 기준 레벨(GLR), 지연 시간 정보들(TDOA) 및 편차 정보(DEVI)에 기초하여, 음원의 위치를 추정하기 위한 위치 파라미터들(PPRM)을 생성한다.

실시예에 따라, 위치 파라미터들(PPRM)은 지연 시간 정보들(TDOA)에 기초하여 생성되는 쌍곡선 및 편차 정보(DEVI)에 기초하여 생성되는 직선(32)의 파라미터들을 포함할 수 있다. 예를 들어, 위치 파라미터들(PPRM)은 지연 시간 정보들(TDOA)에 포함되는 지연 시간들에 상응하는 마이크로폰들 각각의 위치 정보, 쌍곡선(22b)의 초점의 위치 정보, 및 쌍곡선(22b)의 점근선에 관한 정보를 포함할 수 있다. 나아가, 위치 파라미터들(PPRM)은 편차 정보(DEVI)에 포함되는 상기 다른 차량과 영상 센서들 간의 거리에 관한 정보, 상기 영상 센서들 각각의 위치 정보, 직선(32)의 기울기에 관한 정보를 포함할 수 있다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니다.

음원 위치 정보 생성부(150)는 위치 파라미터 생성부(130a)로부터 위치 파라미터들(PPRM)을 수신하고, 위치 파라미터들(PPRM)에 기초하여 음원(70)이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들을 생성한다. 실시예에 따라, 후보 위치 정보들은 위치 파라미터들(PPRM)에 기초하여 생성되는 쌍곡선(22b) 및 직선(32) 간의 교점을 구함으로써, 생성될 수 있다.

음원 위치 정보 생성부(150)는 제3 기준 레벨(DDR)에 기초하여 상기 후보 위치 정보들 중 적어도 일부를 선택하여 최종 위치 정보들(FLI)을 생성한다.

도 19는 본 발명의 또 다른 실시예에 따른 경보 장치를 나타내는 블록도이다.

도 1, 도 14, 및 도 19에 도시된 경보 장치들(1000, 1000a, 및1000b)에 있어서, 동일한 참조부호를 사용하는 구성요소들은 유사한 기능을 수행하므로, 이하에서 중복되는 설명은 생략하기로 한다.

도 1, 도 2 및 도 19를 참조하면, 경보 장치(1000b)는 음원 위치 추정부(100), 음원 인식부(300) 및 음원 재현부(500b)를 포함한다.

음원 인식부(300)는 음원 신호들(S[1:7])을 수신하고, 음원 위치 추정부(100)로부터 최종 위치 정보(FLI)를 수신한다.

음원 인식부(300)는 음원 신호들(S[1:7]) 및 최종 위치 정보(FLI)에 기초하여 음원 신호들(S[1:7]) 중 최종 위치 정보(FLI)에 가장 근접한 마이크로폰에 상응하는 음원 신호(예를 들어, S3)만을 음원 재현부(500b)로 전달한다.

도 20은 본 발명의 또 다른 실시예에 따른 경보 방법을 나타내는 흐름도이다.

도 20을 참조하면, 본 발명의 또 다른 실시예에 따른 경보 방법에 따라, 제1 기준 레벨, 및 복수의 마이크로폰들 각각으로부터 생성되는 음원 신호들 중 적어도 일부에 기초하여 지연 시간 정보들을 생성한다(S1000).

제2 기준 레벨, 및 상기 지연 시간 정보들 중 적어도 일부에 기초하여 위치 파라미터들을 생성한다(S2000).

위치 파라미터들에 기초하여 음원이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들을 생성한다(S3000).

제3 기준 레벨, 및 후보 위치 정보들 중 적어도 일부에 기초하여 최종 위치 정보를 생성한다(S4000).

최종 위치 정보에 기초하여 운전자에게 경보를 발생한다(S5000).

도 21, 도 22 및 도 23은 본 발명의 실시예들에 따른 경보 장치에 의한 음원의 종류를 인식하기 위한 딥러닝의 수행에 이용되는 네트워크 구조의 예를 설명하기 위한 도면들이다.

도 21을 참조하면, 일반적인 인공 신경망의 네트워크 구조는 입력 레이어(IL), 복수의 히든 레이어들(HL1, HL2, ..., HLn) 및 출력 레이어(OL)를 포함할 수 있다.

입력 레이어(IL)는 i(i는 자연수)개의 입력 노드들(x1, x2, ..., xi)을 포함할 수 있고, 길이가 i인 벡터 입력 데이터(IDAT)가 각 입력 노드에 입력될 수 있다.

복수의 히든 레이어들(HL1, HL2, ..., HLn)은 n(n은 자연수)개의 히든 레이어들을 포함하며, 히든 노드들(h11, h12, h13, ..., h1m, h21, h22, h23, ..., h2m, hn1, hn2, hn3, ..., hnm)을 포함할 수 있다. 예를 들어, 히든 레이어(HL1)는 m(m은 자연수)개의 히든 노드들(h11, h12, h13, ..., h1m)을 포함할 수 있고, 히든 레이어(HL2)는 m개의 히든 노드들(h21, h22, h23, ..., h2m)을 포함할 수 있으며, 히든 레이어(HLn)는 m개의 히든 노드들(hn1, hn2, hn3, ..., hnm)을 포함할 수 있다.

출력 레이어(OL)는 분류할 클래스에 대응하는 j(j는 자연수)개의 출력 노드들(y1, y2, ..., yj)을 포함할 수 있고, 입력 데이터(IDAT)에 대하여 각 클래스 별로 결과(예를 들어, 점수 또는 class score)를 출력할 수 있다. 출력 레이어(OL)는 fully connected 레이어라고 부를 수 있으며, 예를 들어 입력 데이터(IDAT)가 제1 사이렌에 대응할 확률을 수치로 나타낼 수 있다.

도 21에 도시된 네트워크 구조는, 두 개의 노드들 사이에 직선으로 도시된 노드들 간의 연결(branch)과, 도시되지는 않았지만 각 연결에서 사용되는 가중치(weight)를 포함할 수 있다. 이 때, 하나의 레이어 내의 노드들 간에는 연결이 되지 않을 수 있고, 서로 다른 레이어들에 포함되는 노드들은 완전하게 혹은 부분적으로 연결될 수 있다.

도 21의 각 노드(예를 들어, h11)는 이전 노드(예를 들어, x1)의 출력을 입력 받아 연산할 수 있고, 연산 결과를 이후 노드(예를 들어, h21)에 출력할 수 있다. 이 때, 각 노드는 입력된 값을 특정 함수, 예를 들어 비선형 함수에 적용하여 출력할 값을 연산할 수 있다.

일반적으로 신경망의 네트워크 구조는 미리 결정되어 있으며, 노드들 간의 연결에 따른 가중치들은 이미 어떤 클래스에 속할지 정답이 알려진 데이터를 이용하여 적절한 값을 산정하게 된다. 이와 같이 이미 정답이 알려진 데이터들을 '학습 데이터'라고 하고, 가중치를 결정하는 과정을 '학습'이라고 한다. 또한, 독립적으로 학습이 가능한 구조와 가중치의 묶음을 '모델'이라고 가정하고, 가중치가 결정된 모델이 입력 데이터가 어느 클래스에 속할지를 예측하여 그 예측값을 출력하는 것을 '테스트' 과정이라고 한다.

한편, 도 21에 도시된 일반적인 신경망은 각 노드(예를 들어, h11)가 앞쪽 레이어(previous layer)(예를 들어, IL)의 모든 노드들(예를 들어, x1, x2, ..., xi)과 연결되어 있어, 입력 데이터(IDAT)가 영상(또는 음성)인 경우에 영상의 크기가 증가할수록 필요한 가중치의 개수가 기하급수적으로 증가하며, 따라서 영상을 다루기에 적절하지 않을 수 있다. 이에 따라, 신경망에 필터 기술을 병합하여, 신경망이 2차원 영상을 잘 습득할 수 있도록 구현된 컨볼루션(convolutional) 신경망이 연구되고 있다.

도 22를 참조하면, 컨볼루션 신경망의 네트워크 구조는 복수의 레이어들(CONV1, RELU1, CONV2, RELU2, POOL1, CONV3, RELU3, CONV4, RELU4, POOL2, CONV5, RELU5, CONV6, RELU6, POOL3, FC)을 포함할 수 있다.

일반적인 신경망과 다르게, 컨볼루션 신경망의 각 레이어는 가로(또는 폭, width), 세로(또는 높이, height), 깊이(depth)의 3개의 차원을 가질 수 있다. 이에 따라, 각 레이어에 입력되는 데이터 또한 가로, 세로, 깊이의 3개의 차원을 가지는 볼륨 데이터일 수 있다. 예를 들어, 도 3b에서 입력 영상이 가로 32, 세로 32의 크기를 가지고 세 개의 컬러 채널(R, G, B)을 가지는 경우에, 상기 입력 영상에 대응하는 입력 데이터(IDAT)는 32*32*3의 크기를 가질 수 있다. 도 14b의 입력 데이터(IDAT)는 입력 볼륨 데이터 또는 입력 액티베이션 볼륨(activation volume)이라 부를 수 있다.

컨볼루션 레이어들(CONV1, CONV2, CONV3, CONV4, CONV5, CONV6)은 입력에 대한 컨볼루션 연산을 수행할 수 있다. 영상 처리에서 컨볼루션이란 가중치를 갖는 마스크를 이용하여 데이터를 처리하는 것을 의미할 수 있으며, 입력 값과 마스크의 가중치를 곱한 후에 그 합을 출력 값으로 정하는 것을 나타낼 수 있다. 이 때, 마스크를 필터(filter), 윈도우(window) 또는 커널(kernel)이라고 부를 수 있다.

구체적으로, 각 컨볼루션 레이어의 파라미터들은 일련의 학습 가능한 필터들로 이루어져 있을 수 있다. 각 필터는 가로/세로 차원으로는 각 레이어의 전체 크기보다 작지만 깊이 차원으로는 각 레이어의 전체 깊이를 아우를 수 있다. 예를 들어, 각 필터를 입력 볼륨의 가로/세로 차원으로 슬라이딩(정확히는 convolve) 시키며 필터와 입력의 요소들 사이의 내적 연산(dot product)을 수행하여 2차원의 액티베이션 맵(activation map)을 생성할 수 있고, 이러한 액티베이션 맵을 깊이 차원을 따라 쌓아서 출력 볼륨을 생성할 수 있다. 예를 들어, 컨볼루션 레이어(CONV1)가 32*32*3의 크기의 입력 볼륨 데이터(IDAT)에 네 개의 필터들을 제로 패딩(zero-padding)과 함께 적용하면, 컨볼루션 레이어(CONV1)의 출력 볼륨은 32*32*12의 크기를 가질 수 있다 (즉, 깊이 증가).

RELU 레이어들(RELU1, RELU2, RELU3, RELU4, RELU5, RELU6)은 입력에 대한 정정 선형 유닛 연산을 수행할 수 있다. 예를 들어, 정정 선형 유닛 연산은 max(0, x)와 같이 음수에 대해서만 0으로 처리하는 함수를 나타낼 수 있다. 예를 들어, RELU 레이어(RELU1)가 컨볼루션 레이어(CONV1)로부터 제공된 32*32*12의 크기의 입력 볼륨에 정정 선형 유닛 연산을 수행하면, RELU 레이어(RELU1)의 출력 볼륨은 32*32*12의 크기를 가질 수 있다 (즉, 볼륨 유지).

풀링 레이어들(POOL1, POOL2, POOL3)은 입력 볼륨의 가로/세로 차원에 대해 다운 샘플링을 수행할 수 있다. 예를 들어, 2*2 필터를 적용하는 경우에 2*2 영역의 네 개의 입력들을 하나의 출력으로 변환할 수 있다. 구체적으로, 2*2 최대 값 풀링과 같이 2*2 영역의 네 개의 입력들 중 최대 값을 선택하거나, 2*2 평균 값 풀링과 같이 2*2 영역의 네 개의 입력들의 평균 값을 연산할 수 있다. 예를 들어, 풀링 레이어(POOL1)가 32*32*12의 크기의 입력 볼륨에 2*2 필터를 적용하면, 풀링 레이어(POOL1)의 출력 볼륨은 16*16*12의 크기를 가질 수 있다 (즉, 가로/세로 감소, 깊이 유지, 볼륨 감소).

일반적으로 컨볼루션 신경망에서는 하나의 컨볼루션 레이어(예를 들어, CONV1)와 하나의 RELU 레이어(예를 들어, RELU1)가 한 쌍을 형성할 수 있고, 컨볼루션/RELU 레이어들의 쌍이 반복 배치될 수 있으며, 컨볼루션/RELU 레이어들의 쌍이 반복 배치되는 중간 중간에 풀링 레이어를 삽입함으로써, 영상을 줄여나가면서 영상의 특징을 추출할 수 있다.

출력 레이어 또는 fully connected 레이어(FC)는 입력 볼륨 데이터(IDAT)에 대하여 각 클래스 별로 결과를 출력할 수 있다. 예를 들어, 컨볼루션 및 서브 샘플링을 반복 수행함에 따라 2차원 영상에 대응하는 입력 볼륨 데이터(IDAT)가 1차원 행렬(또는 벡터)로 변환될 수 있다. 예를 들어, fully connected 레이어(FC)는 입력 볼륨 데이터(IDAT)가 제1 사이렌(SIREN1), 제2 사이렌(SIREN2), 제3 사이렌(SIREN3), 제1 경적음(HORN1), 제2 경적음(HORN2)에 대응할 확률을 수치로 나타낼 수 있다.

한편, 도시하지는 않았으나, 컨볼루션 신경망에 포함되는 레이어들의 종류 및 개수는 실시예에 따라서 다양하게 변경될 수 있다. 또한, 도시하지는 않았으나, 실시예에 따라서 컨볼루션 신경망은 예측된 결과인 점수(score) 값을 확률 값으로 변환하는 Softmax 레이어, 바이어스(bias)를 추가하는 Bias add 레이어 등을 더 포함할 수 있다.

도 23을 참조하면, 회귀 신경망의 네트워크 구조는 도 23의 좌측에 도시된 특정 노드(N) 또는 셀을 이용한 반복 구조를 포함할 수 있다.

도 23의 우측에 도시된 구조는 좌측에 도시된 회귀 신경망의 반복적인 연결이 펼쳐진(UNFOLD) 것을 나타내며, 회귀 신경망을 "펼친다"는 것은 네트워크를 모든 노드들(NA, NB, NC)을 포함하는 전체 시퀀스에 대해 도시한 것일 수 있다. 예를 들어, 관심 있는 시퀀스 정보가 3개의 단어로 이루어진 문장이라면, 회귀 신경망은 한 단어당 하나의 계층(layer)씩 (recurrent 연결이 없는, 또는 사이클이 없는) 3-layer 신경망 구조로 펼쳐질 수 있다.

회귀 신경망에서, X는 회귀 신경망의 입력값을 나타낸다. 예를 들어, Xt는 시간 스텝(time step) t에서의 입력값이며, Xt-1 및 Xt+1 역시 각각 시간 스텝 t-1 및 t+1에서의 입력값일 수 있다.

회귀 신경망에서, S는 히든 상태(hidden state)를 나타낸다. 예를 들어, St는 시간 스텝 t에서의 히든 상태이며, St-1 및 St+1도 역시 각각 시간 스텝 t-1 및 t+1에서의 히든 상태일 수 있다. 히든 상태는 이전 시간 스텝의 히든 상태 값과 현재 시간 스텝의 입력값에 의해 계산될 수 있다. 예를 들어, St=f(UXt+WSt-1)일 수 있고, 이 때 비선형 함수 f는 tanh나 ReLU가 사용될 수 있으며, 최초의 히든 상태를 계산하기 위한 S-1은 보통 0으로 초기화시킬 수 있다.

회귀 신경망에서, O는 시간 스텝 t에서의 출력값을 나타낸다. 예를 들어, Ot는 시간 스텝 t에서의 출력값이며, Ot-1 및 Ot+1 역시 각각 시간 스텝 t-1 및 t+1에서의 출력값일 수 있다. 예를 들어, 문장에서 다음 단어를 추측하고 싶다면 단어 수만큼의 차원의 확률 벡터가 될 것이다. 예를 들어, Ot=softmax(VSt)일 수 있다.

회귀 신경망에서, 히든 상태는 네트워크의 "메모리" 부분일 수 있다. 다시 말하면, 회귀 신경망은 현재까지 계산된 결과에 대한 "메모리" 정보를 갖고 있다고 볼 수 있다. St는 과거의 시간 스텝들에서 일어난 일들에 대한 정보를 전부 담고 있고, 출력값 Ot는 오로지 현재 시간 스텝 t의 메모리에만 의존할 수 있다. 또한, 각 계층마다의 파라미터 값들이 전부 다른 기존의 신경망 구조와 달리, 회귀 신경망은 모든 시간 스텝에 대해 파라미터 값을 전부 공유하고 있다. 이는 회귀 신경망이 각 스텝마다 입력값만 다를 뿐 거의 똑같은 계산을 하고 있음을 나타내며, 학습해야 하는 파라미터 수를 감소시킬 수 있다.

일 실시예에서, 영상 분류(image classify) 서비스, 생체 정보에 기초한 사용자 인증(authentication) 서비스, 운전 보조 시스템(advanced driver assistance system; ADAS) 서비스, 음성 보조(voice assistant) 서비스, 자동 음성 인식(automatic speech recognition; ASR) 서비스 등과 같은 다양한 서비스 및/또는 어플리케이션이 도 1, 도 14, 및 도 19를 참조하여 상술한 경보 장치에 의해 실행 및 처리될 수 있다.

도 24는 본 발명의 실시예들에 따른 경보 장치를 포함하는 클라이언트를 나타내는 블록도이다.

도 24를 참조하면, 클라이언트(3000)는 프로세서(3100), 경보 장치(3200), 메모리 장치(3300), 통신(connectivity)부(3400), 사용자 인터페이스(3500), 및 파워 서플라이(3600)를 포함한다. 클라이언트(3000)는 도2, 도 5, 도 9, 도 11 등을 참조하여 상술한 차량(10)이 될 수 있다.

프로세서(3100)는 클라이언트 또는 서버(3000)의 전반적인 동작을 제어하며, 운영 체제, 애플리케이션 등을 실행하고, 특정 계산들 또는 태스크들과 같은 다양한 컴퓨팅 기능들을 실행할 수 있다.

통신부(3400)는 외부 장치와 통신을 수행할 수 있다.

메모리 장치(3300)는 프로세서(3100)에 의해 처리되는 데이터를 저장하거나, 동작 메모리(working memory)로서 작동할 수 있다.

사용자 인터페이스(3500)는 키패드, 버튼, 마이크, 터치 스크린 등과 같은 하나 이상의 입력 장치, 및/또는 스피커, 디스플레이 장치 등과 같은 하나 이상의 출력 장치를 포함할 수 있다.

파워 서플라이(3600)는 클라이언트 또는 서버(3000)의 동작 전압을 공급할 수 있다.

경보 장치(3200)는 도 1 등을 참조하여 상술한 경보를 발생할 수 있다.

도 25는 본 발명의 실시예들에 따른 경보 장치를 포함하는 경보 시스템을 나타내는 블록도이다.

도 25를 참조하면, 경보 시스템(5000)은 경보 시스템 서버(5100), 데이터 베이스(5300), 통신 네트워크(5500), 및 클라이언트들(5700-1, 5700-2, 5700-3)을 포함한다.

클라이언트들(5700-1, 5700-2, 5700-3) 중 적어도 하나는 경보 장치들을 포함할 수 있다.

클라이언트들(5700-1, 5700-2, 5700-3)은 통신 기능을 가지는 컴퓨팅 장치 또는 통신 단말기로서, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 장치(mobile internet device)(MID), 인터넷 태블릿, IoT(Internet of Things) 장치, 또는 웨어러블 컴퓨터일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

통신 네트워크(5500)는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 상기 무선 통신망은3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 및 라이파이(LiFi) 중 어느 하나일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따른 경보 장치, 상기 경보 장치를 포함하는 경보 시스템, 및 경보 방법은 차량의 외부에서 발생되는 음원의 종류에 따라 상기 차량의 내부에 탑승한 운전자에게 시각적 및 청각적 장치를 이용하여 적응적으로 경보를 발생함으로써 상기 운전자가 안전하게 운행할 수 있도록 한다. 나아가, 경보 장치는 제1 내지 제4 기준 레벨을 수신하고, 제1 내지 제4 기준 레벨 각각에 기초하여 상응하는 신호 또는 정보들 중 적어도 일부를 선택한다. 상기 경보 장치는 상기 선택에 따라 상기 신호 또는 상기 정보들 중 일부만을 대상으로 후속하는 처리들을 수행함으로써 전력 소모를 줄일 수 있다.

본 발명의 실시예들에 따른 경보 장치, 상기 경보 장치를 포함하는 경보 시스템, 및 경보 방법은 다양한 종류의 차량들에 폭 넓게 적용될 수 있을 것이다. 또한, 본 발명은 상기 차량들의 운전자가 청각 장애인인 경우, 상기 차량들의 내부에 탐승한 청각 장애인에게 시각적 및 청각적 장치를 이용하여 적응적으로 경보를 발생함으로써 상기 운전자가 안전하게 운행할 수 있도록 한다.

상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims

차량에 설치된 복수의 마이크로폰들을 이용하여 상기 차량의 외부에서 발생되는 음원을 수신하고, 상기 음원의 종류에 따라 상기 차량의 내부에 탑승한 운전자에게 경보를 발생하는 방법으로서,
제1 기준 레벨, 및 상기 복수의 마이크로폰들 각각으로부터 생성되는 음원 신호들 중 적어도 일부에 기초하여 지연 시간 정보들을 생성하는 지연 시간 정보 생성부
제2 기준 레벨, 및 상기 지연 시간 정보들 중 적어도 일부에 기초하여 위치 파라미터들을 생성하는 위치 파라미터 생성부 및
상기 위치 파라미터들에 기초하여 상기 음원이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들을 생성하고, 제3 기준 레벨, 및 상기 후보 위치 정보들 중 적어도 일부에 기초하여 최종 위치 정보를 생성하는 음원 위치 정보 생성부를 포함하는, 경보 장치.
제1 항에 있어서,
상기 제1 기준 레벨은 특수 목적 차량들의 사이렌 또는 일반적인 차량들의 경적음의 세기에 기초하여 미리 설정되고,
상기 제2 기준 레벨은 방향성을 가지지 않는 확산 소음에 GCC_PHAT(Generalized Cross Correlation-Phase Transform)를 적용하여 구하여지는 출력값에 기초하여 미리 설정되고,
상기 제3 기준 레벨은 상기 차량이 운행하는 차선과 상기 차선에 인접하는 인접 차선 사이의 거리에 기초하여 미리 설정되는 것을 특징으로 하는 경보 장치.
제1 항에 있어서,
상기 지연 시간 정보 생성부는,
상기 음원 신호들을 수신하여 저장하는 음원 신호 수신부 및
외부로부터 상기 제1 기준 레벨을 수신하고, 상기 제1 기준 레벨에 기초하여 상기 음원 신호들 중 적어도 일부를 선택하는 음원 신호 제공부를 포함하는 것을 특징으로 하는 경보 장치.
제1 항에 있어서,
상기 위치 파라미터 생성부는,
상기 지연 시간 정보들을 수신하고, 외부로부터 상기 제2 기준 레벨을 수신하는 지연 시간 정보 수신부 및
상기 제2 기준 레벨에 기초하여 상기 지연 시간 정보들 중 일부를 선택하는 위치 파라미터 제공부를 포함하는 것을 특징으로 하는 경보 장치.
제1 항에 있어서,
상기 음원 위치 정보 생성부는,
상기 위치 파라미터들을 수신하여 저장하는 위치 파라미터 수신부
상기 위치 파라미터들에 기초하여 음원이 존재할 수 있는 위치들을 나타내는 후보 위치 정보들을 생성하는 후보 위치 정보 생성부 및
상기 제3 기준 레벨에 기초하여 상기 후보 위치 정보들 중 적어도 일부를 선택하는 최종 위치 정보 생성부를 포함하는 것을 특징으로 하는 경보 장치.
제5 항에 있어서,
상기 최종 위치 정보 생성부는,
상기 후보 위치 정보들 및 상기 운전자의 위치에 기초하여 상기 후보 위치 정보들이 포함하는 교점을 시작점으로 하고, 상기 운전자의 위치를 끝점으로 하는 벡터 정보를 생성하는 것을 특징으로 하는 경보 장치.
제6 항에 있어서,
상기 최종 위치 정보 생성부는,
상기 벡터 정보에 따른 벡터의 크기가 상기 제3 기준 레벨을 초과하는 경우, 최종 위치 정보들을 생성하지 않고,
상기 벡터의 크기가 상기 제3 기준 레벨 이하인 경우, 상기 벡터 정보를 상기 최종 위치 정보들로서 생성하는 것을 특징으로 하는 경보 장치.
제1 항에 있어서,
음원 재현부를 더 포함하고,
상기 음원 재현부는
상기 최종 위치 정보를 수신하여 저장하는 최종 위치 정보 수신부; 및
외부로부터 스피커 위치 정보를 수신하고, 상기 최종 위치 정보 및 상기 스피커 위치 정보에 기초하여 내부 스피커 이득을 계산하여 출력하는 내부 스피커 이득 계산부를 포함하는 것을 특징으로 하는 경보 장치.
제1 항에 있어서,
상기 음원 위치 정보 생성부는
복수의 영상 센서들 각각으로부터 영상 신호들을 수신하고, 외부로부터 제4 기준 레벨을 수신하는 편차 정보 생성부를 더 포함하는 것을 특징으로 하는 경보 장치.
제9 항에 있어서,
상기 편차 정보 생성부는,
상기 제4 기준 레벨에 기초하여 상기 영상 신호들 중 적어도 일부를 선택하여 선택 영상 신호들을 생성하고, 상기 선택 영상 신호들에 기초하여 편차 정보들을 생성하는 것을 특징으로 하는 경보 장치.