KR102231771B1 - 사운드 신호를 이용한 이동체의 위치인식 방법 및 장치 - Google Patents

Abstract

본 발명은 이동체가 이동하는 전방 영상을 촬영하는 카메라, 상기 이동체 내에 구비된 방향 지시등의 조작에 의해 발생하는 사운드 정보를 입력하는 마이크, 상기 사운드 정보를 저장하는 메모리, 상기 사운드 정보를 기반으로 형성된 사운드 판단값 및 상기 이동체가 이동하는 이동 경로를 기반으로 형성된 경로 판단값을 비교하여 일치 여부에 따른 제1 경고 신호를 생성하는 프로세서 및 상기 제1 경고 신호를 전달받아 제1 경고 사운드를 출력하는 스피커를 포함하는 사운드 신호를 이용한 이동체의 위치인식 장치가 개시된다.

Description

사운드 신호를 이용한 이동체의 위치인식 방법 및 장치{Method and apparatus for recognizing a position of a mobile robot using a sound signal}

본 발명은 사운드 신호를 이용한 이동체의 위치인식 방법 및 장치에 관한 것이다. 보다 상세하게는, 이동체가 이동하는 위치와 입력되는 사운드의 일치 여부에 따라 경고 사운드를 출력하는 사운드 신호를 이용한 이동체의 위치인식 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순이 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

종래에 이동체는 내부에 설정된 시스템에 의해 이동체의 전방을 촬영하며, 차선 이탈 경보 시스템에 의해 차선을 이탈할 경우 경고 사운드를 출력하였다. 이는 이동체 내부에 설정되어 있는 시스템으로 이동체와 분리되어 다른 이동체로 이동하여 사용이 불가능하였다.

또한, 종래의 이동체는 차선을 이탈하는 경우 경고 사운드를 출력하였으며, 이동체의 방향 지시등과 이동하는 차선이 다를 경우에는 운용자에게 이에 대한 경고를 주지 않았다. 이는 이동체의 운용자 및 상기 이동체의 뒤에서 이동체를 운용하고 있는 운용자 모두에게 위험하며, 사고가 일어날 가능성이 향상되는 문제가 있다. 따라서, 안전한 주행을 하기 위해서는 설정된 방향 지시등과 이동체가 이동하는 경로가 일치하지 않을 경우 경고를 줄 수 있는 장치가 필요하다.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 이동체에 설정된 방향 지시등과 이동체가 이동하는 경로가 일치하지 않을 경우 경고 사운드를 출력하여 이동체의 운용자에게 이를 알려주는 사운드 신호를 이용한 이동체의 위치 인식 방법을 제공하는 것을 목적으로 한다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

상술한 목적을 달성하기 위하여, 이동체가 이동하는 전방 영상을 촬영하는 카메라, 상기 이동체 내에 구비된 방향 지시등의 조작에 의해 발생하는 사운드 정보를 입력하는 마이크, 상기 사운드 정보를 저장하는 메모리, 상기 사운드 정보를 기반으로 형성된 사운드 판단값 및 상기 이동체가 이동하는 전방 영상을 기반으로 형성된 경로 판단값을 비교하여 일치 여부에 따른 제1 경고 신호를 생성하는 프로세서 및 상기 제1 경고 신호를 전달받아 제1 경고 사운드를 출력하는 스피커를 포함하는 사운드 신호를 이용한 이동체의 위치인식 장치를 제시한다.

바람직하게는, 상기 프로세서는 상기 이동체가 이동하기 전에 누르는 방향 지시등의 사운드 정보를 학습하여 상기 사운드 판단값을 추출하는 학습모드를 실행하며, 상기 사운드 정보는 상기 이동체의 종류에 따라 변화하는 것을 특징으로 한다.

바람직하게는, 상기 프로세서는 학습모드에서 상기 마이크에 입력되는 사운드 정보를 상기 방향 지시등의 종류에 따라 분배시키며, 상기 분배된 방향 지시등의 종류에 따른 사운드 정보와 상기 입력된 사운드 정보와 비교하여 상기 사운드 판단값을 출력하는 것을 특징으로 한다.

바람직하게는, 상기 프로세서는 상기 카메라를 통해 촬영되는 전방 영상 또는 외부로부터 입력된 영상 신호에 대한 상기 이동체의 경로를 분석하여 상기 경로 판단값을 추출하는 영상 분석부, 상기 경로 판단값과 상기 사운드 판단값을 비교하여 일치 여부를 판단하는 비교 판단부 및 상기 비교 판단부의 일치 여부에 근거하여 제1 경고 신호의 생성 여부를 판단하여 상기 제1 경고 신호를 생성하는 신호 생성부를 포함한다.

바람직하게는, 상기 프로세서는 상기 사운드 판단값과 상기 경로 판단값이 일치하지 않는 경우, 상기 제1 경고 신호를 상기 스피커로 전달하며, 상기 스피커는 상기 제1 경고 신호에 의해 상기 제1 경고 사운드를 출력하는 것을 특징으로 한다.

바람직하게는, 상기 영상 분석부는 상기 이동체의 위치 및 도로의 차선에 대한 위치 관계를 분석하며, 상기 이동체가 좌측 또는 우측으로 차선을 변경하는지 또는 좌회전, 우회전 하는지 또는 갓길에 차량을 정차 시키는지를 판단하는 위치 판단부 및 상기 이동체의 위치, 속도 및 이동 방향을 기반으로 상기 이동체가 이동하는 상기 이동 경로의 거리 및 이동 시간을 계산하는 이동 계산부를 포함한다.

바람직하게는, 상기 이동체가 이동하는 경로까지의 거리 및 이동 시간 내에서 상기 경로 판단값과 상기 사운드 판단값을 비교하며, 상기 스피커를 통해 상기 제1 경고 사운드를 출력하는 것을 특징으로 한다.

바람직하게는, 상기 신호 생성부는 상기 마이크를 통해 상기 사운드 정보가 입력되지 않을 경우, 상기 제2 경고 신호를 생성하고, 상기 스피커는 상기 제2 경고 신호에 의해 상기 제2 경고 사운드를 출력하며, 상기 스피커는 상기 이동 계산부에서 계산된 이동 시간을 기반으로 상기 제2 경고 사운드를 출력하는 것을 특징으로 한다.

바람직하게는, 상기 스피커는 제1 경고 사운드와 상기 제2 경고 사운드가 서로 상이한 음성으로 출력되도록 형성하는 것을 특징으로 한다.

바람직하게는, 상기 방향 지시등의 사운드 정보는 상기 이동체의 좌회전 또는 우회전, 횡단, 유턴, 서행, 정지 또는 후진을 적어도 하나 포함하며, 상기 프로세서는 상기 마이크에 입력되는 다수의 사운드 중 상기 이동체가 상기 이동하기 전에 누르는 방향 지시등의 상기 사운드 정보를 선별하는 것을 특징으로 한다.

또한, 본 발명은 이동체가 이동하는 전방 영상을 카메라를 통해 촬영하는 단계, 상기 이동체 내에 구비된 방향 지시등의 조작에 의해 발생하는 사운드 정보를 입력하는 단계, 상기 사운드 정보를 저장하는 단계, 상기 사운드 정보를 기반으로 형성된 사운드 판단값 및 상기 이동체가 이동하는 전방 영상을 기반으로 형성된 경로 판단값을 비교하여 일치 여부에 따른 제1 경고 신호를 생성하는 단계 및 상기 제1 경고 신호를 전달받아 제1 경고 사운드를 출력하는 단계를 포함하는 사운드 신호를 이용한 이동체의 위치인식 방법을 제안한다.

바람직하게는, 상기 비교 결과를 생성하는 단계는 상기 이동체가 이동하기 전에 누르는 방향 지시등의 사운드 정보을 학습하여 상기 사운드 판단값을 추출하는 학습모드를 실행하며, 상기 사운드 정보는 상기 이동체의 종류에 따라 변화하는 것을 특징으로 한다.

바람직하게는, 상기 비교 결과를 생성하는 단계는 상기 카메라를 통해 촬영되는 상기 전방 영상 또는 외부로부터 입력된 영상 신호에 대한 상기 이동 경로를 분석하여 상기 경로 판단값을 추출하는 단계, 상기 경로 판단값을 추출하는 단계에서 추출된 경로 판단값과 상기 사운드 판단값을 비교하여 일치 여부를 판단하는 단계 및 상기 일치 여부에 근거하여 제1 경고 신호 생성 여부를 판단하여 제1 경고 신호를 생성하는 단계를 포함한다.

이상에서 설명한 바와 같이 본 발명의 실시 예들에 의하면, 사운드 신호를 이용하여 이동체가 지시하는 이동 경로에서 벗어났을 때, 경고를 줄 수 있으며, 이동체의 운용자가 안정적인 이동을 할 수 있도록 도와줄 수 있다

또한, 본 발명은 이동체 내부에 장착되어 이동체와 함께 이동할 수 있으며, 필요에 의해 이동체와 분리되어 형성될 수 있다. 따라서, 본 발명은 이동체의 내부 또는 외부로 자유로운 이동이 가능할 수 있다.

여기에 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적인 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1은 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치를 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치를 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치의 실시 예를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치가 이동체에 장착된 형상을 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 딥러닝 기반 사운드 판단값과 운용자 기반 경로 판단값을 비교하는 사운드 신호를 이용한 이동체의 위치인식 장치의 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 방법을 나타내는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

도 1은 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치를 나타낸 도면이고, 도 2는 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치를 나타낸 블록도이다. 도 1 및 도 2에서 도시한 바와 같이, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 카메라(100), 마이크(200), 스피커(500), 메모리(300) 및 프로세서(400)를 포함한다. 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 도 1 및 도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

사운드 신호를 이용한 이동체의 위치인식 장치(10)는 이동체 내부에 탈부착이 가능한 장치로서, 이동체 내에서 형성되는 사운드와 이동체가 움직이는 움직임을 비교한다. 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 이동체가 이동하는 방향과 이동체가 이동하는 방향을 지시하기 위해 설정하는 방향 지시등에 의해 형성되는 사운드의 일치 여부를 판단하여, 일치하지 않을 경우 제1 경고 사운드가 출력될 수 있다.

이동체가 이동하는 방향을 지시하기 위한 방향 지시등의 설정은 이동체보다 뒤에 위치하는 또 다른 이동체에 이동하는 방향을 알려주기 위해 설정하는 것이며, 이동하는 방향을 미리 예측하여 사고를 방지하는 효과가 있다. 이동체가 이동하는 방향과 이동체의 방향 지시등의 표시가 일치하지 않을 경우 사고 발생률이 증가할 수 있다. 따라서, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 상기한 상황에서 발생하는 사고를 줄일 수 있도록 잘못된 이동 방향을 설정하였을 경우에 제1 경고 사운드를 출력하여 이동체의 사용자에게 알려줄 수 있다. 또한, 방향 지시등은 모든 차량이 사용하는 표준 기능이다.

이동체는 택시나 승용차가 될 수 있는 차량으로 도 4에 예시적으로 도시되어 있지만, 버스나 트럭 등을 포함한 두 바퀴, 세 바퀴, 네 바퀴 또는 그 이상을 가진 것이나, 가솔린, 디젤의 내연기관 외에 증기기관, 전동기, 가스터빈 등의 원동기를 원동력으로 하는 것 등이 모두 차량에 포함될 수 있다.

본 발명의 일 실시 예에 따르면, 이동체는 차량으로 명시되어 설명할 수 있다.

본 발명의 일 실시 예에 따르면, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 도 1과 같은 형태로 예시하고 있으나 이에 반드시 한정되는 것은 아니며, 이동체의 내부에 탈부착 가능하도록 작은 형상을 형성하고 있으며, 구성요소들의 위치 또한 필요에 의해 변경될 수 있다.

카메라(100)는 사운드 신호를 이용한 이동체의 위치인식 장치(10)의 전면에 위치하여 이동체가 이동하는 전방을 촬영할 수 있다.

본 발명의 일 실시 예에 따르면, 카메라(100)는 사운드 신호를 이용한 이동체의 위치인식 장치(10)의 전면 왼쪽에 위치하는 것으로 도시하였으나, 반드시 이에 한정되는 것은 아니며, 사운드 신호를 이용한 이동체의 위치인식 장치(10)가 이동체에 부착되어 이동체가 이동하는 전방 영상을 촬영할 수 있는 곳에 부착되어 위치할 수 있다.

마이크(200)는 이동체 내에 구비된 방향 지시등의 조작에 의해 발생하는 사운드 정보를 입력할 수 있다. 마이크(200)에 입력되는 사운드 정보는 이동체의 종류에 따라 변화할 수 있다.

본 발명의 일 실시 예에 따르면, 마이크(200)는 사운드 신호를 이용한 이동체의 위치인식 장치(10)의 옆쪽에 위치하는 것으로 도시하고 있으나, 반드시 이에 한정되는 것은 아니며, 이동체가 이동하기 전에 누르는 방향 지시등에서 형성되는 사운드가 입력되는 곳에 위치할 수 있다.

방향 지시등의 사운드 정보는 이동체의 좌회전 또는 우회전, 횡단, 유턴, 서행, 정지 또는 후진을 적어도 하나 포함한다. 방향 지시등의 사운드 정보는 마이크(200)에 입력되는 다수의 사운드 중 이동체가 이동하기 전에 누르는 방향 지시등의 사운드 정보를 프로세서(400)에서 선별할 수 있다.

사운드 신호를 이용한 이동체의 위치인식 장치(10)는 내부에 메모리(300) 및 프로세서(400)를 포함하고 있으며, 카메라(100) 및 마이크(200)를 통해 형성되는 화면 및 사운드 정보를 메모리(300)에 저장하고 프로세서(400)에서 저장된 정보를 분석하여 비교하며, 일치 여부를 판단할 수 있다.

메모리(300)는 마이크(200)를 통해 입력되는 사운드 정보를 저장할 수 있으며, 카메라(100)를 통해 촬영되는 영상을 더 저장할 수 있다. 메모리(300)는 프로세서(400)의 학습모드(440)에서 이동체가 이동하기 전에 누르는 방향 지시등의 사운드를 학습하여 산출된 사운드 판단값을 저장할 수 있다. 사운드 정보는 사운드 신호를 이용한 이동체의 위치인식 장치(10)가 부착된 이동체의 종류에 따라 변화할 수 있으며, 메모리(300)에 다수의 사운드 정보가 저장되어 활용될 수 있다.

메모리(300)는 사운드 신호를 이용한 이동체의 위치인식 장치(10)에서 형성되는 모든 정보를 저장할 수 있으며, 필요에 의해 삭제할 수 있다.

프로세서(400)는 마이크(200)를 통해 입력된 사운드 정보를 기반으로 형성된 사운드 판단값 및 카메라(100)를 통해 촬영된 이동체가 이동하는 전방 영상을 기반으로 형성된 경로 판단값을 비교할 수 있다.

본 발명의 일 실시 예에 따르면, 프로세서(400)는 영상 분석부(410), 비교 판단부(420) 및 신호 생성부(430)를 포함할 수 있다. 프로세서(400)는 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

영상 분석부(410)는 카메라(100)를 통해 촬영되는 전방 영상 또는 외부로부터 입력된 영상 신호에 대한 이동 경로를 분석하여 경로 판단값을 추출할 수 있다.

영상 분석부(410)는 사운드 신호를 이용한 이동체의 위치인식 장치(10)에 내장된 카메라(100) 차량에 위치한 카메라 또는 블랙박스에 내장된 카메라를 통해 획득된 영상 또는 외부로부터 입력된 영상 신호에 대한 프로세싱을 수행할 수 있다.

영상 분석부(410)는 입력된 영상에서 이동체의 위치와, 도로의 차선에 대한 위치 관계 분석을 통해, 차량이 좌측 또는 우측으로 차선 변경을 하는지 또는 좌회전, 우회전을 하는지 또는 갓길에 차량을 정차 시키는지를 판단하는 위치 판단부를 포함할 수 있다. 또한, 영상 분석부(410)는 이동체의 위치, 속도 및 이동 방향을 기반으로 이동체가 이동하는 이동 경로의 거리 및 이동 시간을 계산하는 이동 계산부를 더 포함할 수 있다.

비교 판단부(420)는 영상 분석부(410)에서 이동 경로를 분석하여 출력된 경로 판단값과 사운드 판단값을 비교하여 일치 여부를 판단한다.

본 발명의 일 실시 예에 따르면, 비교 판단부(420)는 이동 계산부에서 계산된 이동 경로까지의 거리 및 이동 시간을 기반으로 경로 판단값과 사운드 판단값을 비교하며, 상기 이동 경로까지의 거리 및 이동 시간이 지나면 일치 여부의 판단을 중지하고 제1 경고 사운드의 출력이 중단될 수 있다.

본 발명의 일 실시 예에 따르면, 비교 판단부(420)는 경로 판단값과 사운드 판단값이 일치하는 경우와 일치하지 않는 경우를 판단하며, 좌 또는 우 방향 지시등, 서행 방향 지시등, 정지 방향 지시등 등에서 형성되는 사운드 정보를 학습하여 형성된 사운드 판단값과 이동체가 좌 또는 우 방향으로 이동, 서행, 정지 등을 수행하는지를 비교하여 두 과정이 일치하는지를 판단한다.

신호 생성부(430)는 비교 판단부(420)의 일치 여부에 근거하여 제1 경고 신호 생성 여부를 판단하여 제1 경고 신호를 생성할 수 있다.

신호 생성부(430)는 비교 판단부(420)에서 경로 판단값과 사운드 판단값이 일치하는 경우 제1 경고 신호를 생성하지 않으며, 경로 판단값을과 사운드 판단값이 일치하지 않는 경우 제1 경고 신호를 생성한다. 신호 생성부(430)에서 생성된 제1 경고 신호는 스피커(500)로 전달될 수 있다.

또한, 신호 생성부(430)는 마이크(200)를 통해 사운드 정보가 입력되지 않을 경우 제2 경고 신호를 생성하고, 스피커(500)로 제2 경고 신호를 전달한다. 스피커(500)는 제2 경고 신호를 받으면, 제2 경고 사운드를 출력한다.

본 실시 예의 프로세서(400)는 딥 러닝(Deep Learning)을 통해 학습을 수행할 수 있으며, 학습모드(440)에 의해 수행한다. 딥 러닝은 사람들이 생각하는 방식을 컴퓨터에 가르치고 여러 가지 비선형 변환을 결합하여 주어진 데이터에서 높은 수준의 추상화를 시도하는 기계 학습 분야이다. 딥 러닝은 학습방법을 수학적으로 모델링한 기계학습 알고리즘으로써, 이동체가 이동하기 위해 형성하는 소리의 특징을 학습할 수 있으며, 학습에 따른 오차를 줄일 수 있다.

본 발명의 일 실시 예에 따른 학습모드(440)는 이동체가 이동하며 형성되는 사운드의 특징을 학습하기 위한 모드로서, 이동체가 움직이기 전에 누르는 좌 또는 우 방향 지시등, 서행 방향 지시등, 정지 방향 지시등 등 차선을 변경하거나 다른 방향으로 움직이기 전 방향을 지시하여 안전한 이동을 하기 위한 안전 장치에 형성되는 사운드를 학습하기 위한 것으로, 반드시 이에 한정되는 것은 아니며, 이동체가 형성하는 모든 사운드를 포함할 수 있다.

학습 모드는 이동 로봇의 양산 과정에서 주로 수행되겠지만, 이동 로봇에 적용된 후 학습 모드를 추가로 수행하는 방식으로 수행될 수 있다. 학습 모드에서, 마이크(200)는 학습을 위한 다양한 종류의 사운드들을 수신한다. 예를 들어, 좌 또는 우 방향 지시등, 서행 방향 지시등, 정지 방향 지시등 등의 안전 장치에서 형성되는 다수의 사운드 정보가 입력되면 이를 사운드에 따라 분배시킨 후 메모리(300)에 저장할 수 있다. 이는 입력되는 좌 또는 우 방향 지시등, 서행 방향 지시등, 정지 방향 지시등 등에서 형성되는 사운드가 입력되면 이동 경로와 비교하여 제1 경고 사운드를 출력할 수 있도록 할 수 있다.

상술 한 바와 같이, 사운드 신호와 영상 신호는 신경망 학습에 앞서 현재의 주행 속성에 대한 정보를 획득하는 과정이 수행되고, 학습데이터는 주행 속성 정보가 사운드 신호, 영상 신호에 각각 추가된 형태로 마련된다.

신경망은 예를 들어, 인공 신경망으로서 딥 러닝을 통해 사운드 신호와 영상신호를 학습한다. 예를 들어, 신경망은 복수개의 컨볼루션 필터링과 풀링을 통해 특징값을 추출하도록 마련될 수 있다. 신경망은 소프트웨어의 형태로 상기 프로세서(400)에서 직접 수행되도록 마련될 수도 있지만, 프로세서(400)와 통신 가능한 외부 기기를 통해 수행되도록 마련될 수 있다. 신경망은 위 학습데이터를 입력 받아, 속성 정보를 갖는 영상 신호를 기준으로, 사운드 신호를 매칭시키는 학습을 수행할 수 있다. 이러한 학습을 통해 특정된 신경망은 실제 이동체의 관점에서 이동체에 저장된 펌웨어 또는 소프트웨어로 구현될 수 있다.

프로세서(400)는 마이크를 통해서 획득된 사운드 신호를 신경망에 입력시키고, 신경망을 거쳐 획득된 사운드 판단값과, 현재 획득된 영상신호에 대하여 획득된 경로 판단값을 비교하고, 비교 결과 불일치할 경우 스피커를 통해 운전자 또는 사용자에게 제1 경고 사운드를 제공할 수 있다. 이는 프로세서(400)의 비교 판단부(420) 및 신호 생성부(430)에서 행해질 수 있다.

본 발명의 일 실시 예에 따른 프로세서(400)는 메모리(300)에 저장된 사운드 정보에 따라 이동체가 좌 또는 우로 이동할 때, 좌 또는 우로 이동하는 방향과 사운드 정보를 비교하여 옳은 방향으로 가고 있는지 다른 방향으로 가고 있는지를 비교할 수 있으며, 사운드 정보와 이동방향의 결과가 같은 경우 스피커(500)에서 제1 경고 사운드를 출력하기 위한 제1 경고 신호를 전송하지 않으며, 사운드 정보와 이동방향의 결과가 다를 경우, 스피커(500)에 제1 경고 사운드를 출력하기 위한 제1 경고 신호를 전송할 수 있다.

본 발명의 또 다른 일 실시 예에 따르면, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 신호 생성부(430)를 통해 생성된 제1 경고 신호에 의해 제1 경고 사운드를 출력하여 이동체의 운용자에게 알리는 것에 한정되지 않으며, 이동체 시트의 진동, 계기판에 표시 등 다양한 방법으로 운용자에게 알릴 수 있다.

스피커(500)는 프로세서(400)에서 사운드 판단값과 경로 판단값을 비교하여 생성된 비교 결과에 따라 제1 경고 신호를 전달받으며, 제1 경고 사운드를 출력할 수 있다.

스피커(500)는 제1 경고 신호에 의해 제1 경고 사운드를 출력하며, 제2 경고 신호에 의해 제2 경고 사운드를 출력한다. 스피커(500)는 영상 분석부(410)의 이동 계산부에서 계산된 이동 시간을 기반으로 제1 경고 사운드 및 제2 경고 사운드를 출력할 수 있다.

스피커(500)는 제1 경고 사운드와 제2 경고 사운드가 이동체의 운용자가 구별할 수 있도록 서로 상이한 음성으로 출력되도록 형성하며, 이동체의 운용자가 어떤 문제에 의해 발생하는 음성인지를 판단할 수 있다. 또한, 스피커(500)는 운용자가 볼륨의 크기를 설정하여, 크거나 작게 조절할 수 있다.

본 발명의 일 실시 예에 따르면, 스피커(500)는 사운드 신호를 이용한 이동체의 위치인식 장치(10)의 윗면에 위치하는 것으로 도시하였으나, 반드시 이에 한정되는 것은 아니며, 사운드 신호를 이용한 이동체의 위치인식 장치(10)에 부착되어 비교 결과에 따른 제1 경고 사운드를 출력하여 이동체를 운용하는 운용자가 제1 경고 사운드를 들을 수 있는 곳에 위치할 수 있다.

본 발명의 일 실시 예에 따르면, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 장착되어 위치할 수 있으며 탈부착이 가능하여 이동체에서 또 다른 이동체로 이동할 수 있으나 반드시 이에 한정되는 것은 아니며, 이동체의 내부에 포함되어 이동체와 분리되지 않으며 이동체의 내부에 위치하는 하나의 구성요소로도 위치할 수 있다.

사운드 신호를 이용한 이동체의 위치인식 장치(10)는 프로세서(400)를 통해 이동체가 이동하기 위한 경로 및 사운드를 비교하는 것뿐만 아니라 이동체에 내장되어 있는 차선 이탈 경고 시스템(Lane Departure Warning System)과 대조하여 검토할 수 있으며, 이중 확인을 통해 오류를 방지할 수 있다. 차선 이탈 경고 시스템은 사운드 신호를 이용한 이동체의 위치인식 장치(10)와 시리얼 인터페이스(Serial Interface)를 통해 차선 이탈 경고 신호를 주고 받는다.

본 발명의 일 실시 예에 따르면, 사운드 신호를 이용한 이동체의 위치인식 장치(10)와 차선 이탈 경고 시스템은 각각의 분석 결과에 따른 경고 신호를 생성하며, 본 발명에서 각각의 경고 신호의 크로스 체크가 행해질 때, 각각의 분석 결과를 통해 산출된 결과에 가중치를 각각 부여한다. 가중치는 사운드 신호를 이용한 이동체의 위치인식 장치(10)의 사운드 판단값 및 경로 판단값에 과반수 이상을 부여하며, 차선 이탈 경고 시스템의 음성에 따른 특징값 및 차선 이탈에 따른 특징값에 과반수 이하를 부여한다. 따라서, 가중치가 부여된 특징값들을 기반으로 크로스체크 하여 신호 생성부(430)에서 제1 경고 신호를 생성 여부를 결정하며, 불일치 할 경우 제1 경고 사운드가 출력된다.

본 발명의 또 다른 일 실시 예에 따르면, 방향 지시등의 사운드 신호에 따른 사운드 기반의 차선 변경 정보와 차량의 주행 환경에 따라 인식되는 차량 주행 환경 정보를 비교하여, 불일치 여부에 대한 확률을 이용하여, 현재 주행이 캐주얼한 것인지 아닌지에 대한 평가의 기준으로 활용할 수 있다. 불일치 여부에 대한 확률은, 기 획득된 사운드 기반의 차선 변경 정보와 차량 주행 환경 정보와 상호 관련성에 대한 정보를 이용하여 일치 또는 불일치 정도를 확률로서 계산하기 위한 확률 계산 모델에 의하여 계산될 수 있다. 여기에서 차량 주행 환경 정보는, i)스티어링 휠의 조작 정보에서 인식되는 회전 정보, ii)스티어링 휠의 조작을 통해서 예측되는 주행 방향 정보, iii)예측된 주행 방향 정보와 주행 차선이 이루는 차선 변경 가능성 정보 및 iv)주행 목적지까지의 경로를 고려하여 차선 변경 가능성을 보정한 보정 정보일 수 있다. ii)정보는 i)정보를 통해 획득된 정보를 바탕으로 계산되는 것이고, iii)정보도 ii)정보를 이용하여 계산되는 것이며, 이하 동일하다.

도 3은 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 방법을 설명하기 위한 예시도이다.

도 3a는 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치(10)를 부착한 이동체가 직진하는 예시도이다.

본 발명의 일 실시 예에 따르면, 이동체는 선을 침범하지 않고 직선으로 가고 있으며, 이러한 경우에는 마이크(200)를 통해 입력되는 사운드 정보가 없으며, 카메라(100)를 통해 이동체의 이동 경로만 촬영되어 메모리(300)에 저장될 수 있다.

따라서, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 프로세서(300)를 통해 경로 판단값과 사운드 판단값의 비교가 형성되지 않으며, 제1 경고 신호가 생성되지 않아 스피커(500)를 통해 제1 경고 사운드는 출력되지 않는다.

도 3b는 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치(10)를 부착한 이동체가 좌측으로 이동하는 예시도이다.

본 발명의 일 실시 예에 따르면, 이동체는 좌측으로 이동을 하기 위해 선을 침범하여 좌측 차선으로 이동하며, 이동체에서 좌측으로 이동을 하기 위한 좌측 방향 지시등을 이용하여 이동체가 이동할 방향을 다른 이동체 운용자에게 알려줄 수 있다.

도 3b를 참조하면, 이동체는 좌측 방향 지시등을 사용하고 있으며, 좌측으로 이동하고 있다. 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 카메라(100)를 통해 이동체의 이동 경로를 촬영하며, 마이크(200)를 통해 좌측 방향 지시등의 사운드 정보를 입력한다. 사운드 신호를 이용한 이동체의 위치인식 장치(10)의 프로세서(400)는 상기 이동 경로 및 입력된 좌측 사운드 정보를 분석하여 분석 결과를 비교하며 일치 여부를 판단하여 일치하는 것을 확인할 수 있다. 결론적으로, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 제1 경고 신호를 생성하지 않으며, 스피커(500)를 통해 제1 경고 사운드는 출력되지 않는다.

도 3c는 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치(10)를 부착한 이동체가 우측으로 이동하는 예시도이다.

본 발명의 일 실시 예에 따르면, 이동체는 우측으로 이동을 하기 위해 선을 침범하여 우측 차선으로 이동하며, 이동 로봇에서 우측으로 이동을 하기 위한 우측 방향 지시등을 이용하여 이동체가 이동할 방향을 다른 이동체 운용자에게 알려줄 수 있다.

도 3c를 참조하면, 이동체는 좌측 방향 지시등을 사용하고 있으며, 우측으로 이동하고 있다. 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 카메라(100)를 통해 이동체의 이동 경로를 촬영하며, 마이크(200)를 통해 좌측 방향 지시등의 사운드 정보를 입력한다. 사운드 신호를 이용한 이동체의 위치인식 장치(10)의 프로세서(400)는 상기 이동 경로 및 입력된 좌측 사운드 정보를 분석하여 산출한 분석 결과를 비교하며 일치 여부를 판단하여 불일치하는 것을 확인할 수 있다. 결론적으로, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 제1 경고 신호를 생성하며, 스피커(500)를 통해 제1 경고 사운드를 출력한다.

따라서, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 프로세서(400)를 통해 설정된 방향 지시등과 이동체가 이동하는 경로를 파악하고 이를 비교하여 방향 지시등과 이동체가 이동하는 경로가 일치하지 않을 경우에 제1 경고 신호를 스피커(500)로 전송하며, 스피커(500)를 통해 제1 경고 사운드가 출력되어 운용자에게 잘못된 경로로 이동하고 있다는 경고를 줄 수 있다.

도 4는 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치가 이동체에 장착된 형상을 나타낸 예시도이다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 차량의 전면 상단에 위치할 수 있으며, 좌 또는 우로 이동하기 위해 이동을 알리는 방향 지시등의 사운드가 마이크(200)를 통해 입력되도록 차량의 운전자와 가까운 위치에 위치할 수 있으며, 스피커(500)를 통해 차량의 탑승자에게 제1 경고 사운드가 들릴 수 있는 곳에 위치할 수 있다.

사운드 신호를 이용한 이동체의 위치인식 장치(10)는 도 4에서 도시한 곳에 위치하는 것으로 한정되지 않으며, 자동차 내부에 위치하며, 외부 환경을 카메라(100)로 촬영할 수 있으며, 자동차에 좌회전, 우회전 등을 하기 위해 누르는 방향 지시등 사운드가 마이크(200)를 통해 입력되고, 스피커(500)를 통해 출력되는 제1 경고 사운드가 자동차를 운전하는 운용자에게 들릴 수 있는 곳에 위치할 수 있다.

또한, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 차량의 내부에 부착되는 것으로 한정되는 것은 아니며, 사운드를 통해 설정된 경로를 확인하며, 사운드와 이동하는 경로를 비교하여 제1 경고 신호를 줄 수 있는 차량의 외부에도 부착될 수 있다.

본 발명의 일 실시 예에 따르면, 사운드 신호를 이용한 이동체의 위치인식 장치(10)의 프로세서(400)는 이동체에 자체적으로 포함되어 있는 주행 보조 기술에 의해 형성되는 제1 경고 사운드와 대조 검토할 수 있으며, 이동체의 이동 경로와 설정된 방향 지시등을 비교하는 것뿐만 아니라 이동체 자체적으로 포함되어 있는 주행 보조 기술과 비교하여 둘 중 어느 하나라도 차이가 나면 프로세서(400)에서 제1 경고 신호를 스피커(500)로 전송하여 제1 경고 사운드를 출력하여 경고를 줄 수 있다.

본 발명의 일 실시 예에 따르면, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 카메라(100)를 통해 전방에 위치하는 객체를 감지할 수 있으며, 기 설정된 거리 이하로 객체가 근접할 경우, 경고 신호를 스피커(500)에 전달하여 제1 경고 사운드 및 제2 경고 사운드와 구별되는 경고 사운드를 출력할 수 있다.

따라서, 본 발명은 이동체를 운용하는 운용자가 방향지시 등 조작 없이 차선을 이탈할 경우 경고 사운드를 출력하여 위험을 방지하며, 운용자가 인식하지 못하는 사각지대에 객체가 위치할 경우에도 경고 사운드를 출력하여 사고를 미연에 방지할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 딥러닝 기반 사운드 판단값과 운용자 기반 경로 판단값을 비교하는 사운드 신호를 이용한 이동체의 위치인식 장치의 예시도이다.

본 발명의 일 실시 예에 따르면, 프로세서(400)는 딥러닝 기반 주행 방향 제어 판단 시 이동체의 운용자 기반 주행 방향 판단을 기반으로 딥러닝 기반 주행 판단에 따라 주행 방향과 주행 방향 지시등이 서로 상이한 경우 제1 경고 사운드를 출력하기 위해 제1 경고 신호를 스피커(500)로 송신하는 것을 수행한다. 즉, 프로세서(400)는 딥러닝 기반으로 주행 제어를 수행할 때, 딥러닝 기반 사운드 판단값과 운용자 기반 경로 판단값을 비교하여 딥러닝 기반 사운드 판단값과 운용자 기반 경로 판단값이 일치하지 않는 경우에 제1 경고 사운드 출력을 제어한다.

학습모드(440)는 인공신경망을 이동체에서 형성되는 방향 지시등에 의한 사운드 정보의 학습을 수행하여 사운드 판단값을 출력하는 것이다.

본 발명의 일 실시 예에 따르면, 학습모드(440)는 초기에 딥러닝 구조를 미리 설정하고 딥러닝 기반 출력제어 파라미터를 설정할 수 있다. 이때, 딥러닝 구조는 딥러닝을 위한 히든레이어(hidden layer)개수, Convolutional Neural Network(SNN) 개수 등의 설정을 의미하고, 딥러닝 기반 출력 제어 파라미터는 이동체에서 형성되는 사운드에 따른 방향 지시등에 대한 출력 사운드 판단값을 의미할 수 있다.

본 발명의 일 실시 예에 따르면, 학습모드(440)에서 Input(입력층)은 마이크(200)를 통해 입력되는 다수의 사운드 정보들일 수 있다. 입력층은 마이크(200)를 통해 다수의 사운드 정보를 받아들여 시스템으로 이를 전송할 수 있다.

입력되는 다수의 사운드 정보들은 사운드 종류에 따라 Hidden(히든층)으로 분류될 수 있다. 예를 들어, 히든층으로 분류되는 사운드는 좌측 방향 지시등에 의한 사운드, 우측 방향 지시등에 의한 사운드, 횡단 방향 지시등에 의한 사운드, 정지 방향 지시등에 의한 사운드 등으로 분류될 수 있다. 히든층은 시스템 안쪽에 자리잡고 있으며, 입력층에서 전달 받은 사운드들을 처리한 뒤 결과를 산출할 수 있다.

Output(출력층)은 입력층에서 입력된 사운드 정보와 히든층에서의 사운드 정보를 비교하여 하나의 출력값을 산출한다. 본 발명의 일 실시 예에 따르면, 출력층에 의한 출력값은 방향 지시등에 의해 형성되는 사운드로서, 사운드 판단값을 산출할 수 있다.

본 발명의 일 실시 예에 따르면, 영상 분석부(510)는 운용자가 조작하여 이동체가 이동하는 전방 영상을 카메라(100)를 통해 촬영하며, 이동 경로를 경로 판단값을 출력한다.

본 발명의 일 실시 예에 따르면, 영상 분석부(510)에서 촬영된 이동체가 이동하는 전방 영상을 기반으로 추출한 경로 판단값은 상기한 학습모드(400)와 같은 딥러닝에 의해 이루어질 수 있다. 경로 판단값 추출은 반드시 이에 한정되는 것은 아니며 영상 분석 시스템, 영상 분석 알고리즘 등 다양한 영상 분석 장치에 의해 이동체의 이동 경로를 추측할 수 있는 과정에 의해 추출될 수 있다.

비교 판단부(420)는 딥러닝 기반 사운드 판단값과 이동체의 운용자 조작 기반으로 이동하는 경로에 따른 경로 판단값이 일치하는 경우, 제1 경고 신호를 생성하지 않을 수 있다. 비교 판단부(420)는 딥러닝 기반 사운드 판단값과 이동체의 운용자 조작 기반으로 이동하는 경로에 따른 경로 판단값이 일치하지 않는 경우, 제1 경고 신호를 생성할 수 있다.

신호 생성부(430)는 비교 판단부(420)로부터 형성된 제1 경고 신호를 최종 출력할 수 있다. 제1 경고 신호는 스피커(500)로 전달되어 제1 경고 사운드를 출력할 수 있다.

도 5a는 본 발명의 일 실시 예에 따른 딥러닝 기반 사운드 판단값과 운용자 기반 경로 판단값이 일치하는 경우의 사운드 신호를 이용한 이동체의 위치인식 장치(10)의 예시도이다.

도 5a를 참조하면, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 학습모드(440)에서 좌회전을 위한 좌측 방향 지시등 사운드를 형성하는 사운드 판단값을 출력한다. 이는 상기한 과정을 거쳐 출력되는 값으로 이동체의 운용자가 이동체를 좌측으로 이동하기 위해 좌측 방향 지시등을 설정한 것을 알 수 있다.

도 5a를 참조하면, 영상 분석부(410)는 이동 로봇이 좌측으로 이동한 것으로 분석하여 좌측 이동을 형성하는 경로 판단값을 출력한다.

비교 판단부(420)는 학습모드(440)에서 출력한 사운드 판단값 및 영상 분석부(510)에서 출력한 경로 판단값을 비교하여 비교 결과가 일치하는 것으로 판단할 수 있다. 두 결과가 일치하면, 신호 생성부(430)는 제1 경고 신호를 생성하지 않으며, 스피커(500)를 통해 제1 경고 사운드는 출력되지 않는다.

도 5b는 본 발명의 일 실시 예에 따른 딥러닝 기반 주행 방향 제어 출력값과 운용자 기반 주행 방향 제어 출력값이 일치하지 않는 경우의 사운드 신호를 이용한 이동체의 위치인식 장치(10)의 예시도이다.

도 5b를 참조하면 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 학습모드(440)에서 좌회전을 위한 좌측 방향 지시등 사운드를 형성하는 사운드 판단값을 출력한다. 이는 상기한 과정을 거쳐 출력되는 값으로 이동체의 운용자가 이동체를 좌측으로 이동하기 위해 좌측 방향 지시등을 설정한 것을 알 수 있다.

도 5a를 참조하면, 영상 분석부(410)는 이동 로봇이 우측으로 이동한 것으로 분석하여 우측 이동을 형성하는 경로 판단값을 출력한다.

비교 판단부(420)는 학습모드(440)에서 출력한 사운드 판단값 및 영상 분석부(510)에서 출력한 경로 판단값을 비교하여 비교 결과가 일치하지 않는 것으로 판단할 수 있다. 두 결과가 일치하지 않으면, 신호 생성부(430)는 제1 경고 신호를 생성하며, 스피커(500)를 통해 제1 경고 사운드가 출력될 수 있다.

도 6은 본 발명의 일 실시 예에 따른 사운드 신호를 이용한 이동체의 위치인식 방법을 나타내는 흐름도이다. 사운드 신호를 이용한 이동체의 위치인식 장치(10)가 수행하는 동작에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.

단계 S610에서, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 이동체가 이동하는 이동 경로를 카메라(100)를 통해 촬영할 수 있다. 또한, 단계 S620에서, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 이동체가 이동하기 전에 누르는 방향 지시등의 사운드 정보를 입력할 수 있다. 상기에서 입력 받은 사운드 정보는 메모리(300)에 저장될 수 있다(S630).

단계 S640에서, 사운드 신호를 이용한 이동체의 위치인식 장치(10)는 사운드 정보를 기반으로 형성된 사운드 판단값 및 이동체가 이동하는 이동 경로를 기반으로 형성된 경로 판단값을 비교하여 비교 결과를 생성할 수 있다. 상기 비교 결과가 생성되면, 상기 비교 결과에 따라 제1 경고 사운드를 스피커(500)를 통해 출력한다(S650).

도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 개재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

10: 사운드 신호를 이한 이동체의 위치인식 장치
100: 카메라 200: 마이크
300: 메모리 400: 프로세서
500: 스피커

Claims (13)

1. 이동체가 이동하는 전방 영상을 촬영하는 카메라;
   상기 이동체 내에 구비된 방향 지시등의 조작에 의해 발생하는 사운드 정보를 입력하는 마이크;
   상기 사운드 정보를 저장하는 메모리;
   상기 사운드 정보를 기반으로 형성된 사운드 판단값 및 상기 이동체가 이동하는 상기 전방 영상을 기반으로 형성된 경로 판단값을 비교하여 일치 여부에 따른 제1 경고 신호를 생성하는 프로세서; 및
   상기 제1 경고 신호를 전달받아 제1 경고 사운드를 출력하는 스피커를 포함하고,
   상기 프로세서는 상기 이동체가 이동하기 전에 누르는 상기 방향 지시등의 상기 사운드 정보를 학습하여 상기 사운드 판단값을 추출하는 학습모드를 실행하며,
   상기 학습모드는 딥러닝 기반의 상기 이동체의 종류에 따라 변화하는 사운드 정보의 학습을 수행하여 상기 사운드 판단값을 출력하고,
   상기 학습모드는 상기 마이크를 통해 입력되는 상기 사운드 정보가 입력되는 입력층, 상기 사운드 정보를 사운드의 종류에 따라 분류하는 히든층 및 상기 입력층에서 입력되는 사운드 정보와 상기 히든층에서 분류된 사운드 정보를 비교하여 상기 사운드 판단값을 추출하는 출력층을 포함하는 것을 특징으로 하는 사운드 신호를 이용한 이동체의 위치인식 장치.
2. 삭제
3. 제1항에 있어서,
   상기 프로세서는 상기 학습모드에서 상기 마이크에 입력되는 상기 사운드 정보를 상기 방향 지시등의 종류에 따라 분배시키며,
   상기 분배된 방향 지시등의 종류에 따른 사운드 정보와 상기 입력된 사운드 정보와 비교하여 상기 사운드 판단값을 출력하는 것을 특징으로 하는 사운드 신호를 이용한 이동체의 위치인식 장치.
4. 제1항에 있어서,
   상기 프로세서는,
   상기 카메라를 통해 촬영되는 상기 전방 영상 또는 외부로부터 입력된 영상 신호에 대해 상기 이동체의 경로를 분석하여 상기 경로 판단값을 추출하는 영상 분석부;
   상기 경로 판단값과 상기 사운드 판단값을 비교하여 일치 여부를 판단하는 비교 판단부; 및
   상기 비교 판단부의 일치 여부에 근거하여 상기 제1 경고 신호를 생성하는 신호 생성부를 포함하는 사운드 신호를 이용한 이동체의 위치인식 장치.
5. 제4항에 있어서,
   상기 프로세서는 상기 사운드 판단값과 상기 경로 판단값이 일치하지 않는 경우, 상기 제1 경고 신호를 상기 스피커로 전달하며,
   상기 스피커는 상기 제1 경고 신호에 의해 상기 제1 경고 사운드를 출력하는 것을 특징으로 하는 사운드 신호를 이용한 이동체의 위치인식 장치.
6. 제4항에 있어서,
   상기 영상 분석부는,
   상기 이동체의 위치 및 도로의 차선에 대한 위치 관계를 분석하며, 상기 이동체가 좌측 또는 우측으로 차선을 변경하는지 또는 좌회전, 우회전 하는지 또는 갓길에 차량을 정차 시키는지를 판단하는 위치 판단부; 및
   상기 이동체의 위치, 속도 및 이동 방향을 기반으로 상기 이동체가 이동하는 상기 경로의 거리 및 이동 시간을 계산하는 이동 계산부를 포함하는 사운드 신호를 이용한 이동체의 위치인식 장치.
7. 제6항에 있어서,
   상기 이동체가 이동하는 경로까지의 거리 및 이동 시간 내에서 상기 경로 판단값과 상기 사운드 판단값을 비교하며, 상기 스피커를 통해 상기 제1 경고 사운드를 출력하는 것을 특징으로 하는 사운드 신호를 이용한 이동체의 위치인식 장치.
8. 제6항에 있어서,
   상기 신호 생성부는 상기 마이크를 통해 상기 사운드 정보가 입력되지 않을 경우, 제2 경고 신호를 생성하고,
   상기 스피커는 상기 제2 경고 신호에 의해 제2 경고 사운드를 출력하며,
   상기 스피커는 상기 이동 계산부에서 계산된 이동 시간을 기반으로 상기 제2 경고 사운드를 출력하는 것을 특징으로 하는 사운드 신호를 이용한 이동체의 위치인식 장치.
9. 제8항에 있어서,
   상기 스피커는 상기 제1 경고 사운드와 상기 제2 경고 사운드가 서로 상이한 음성으로 출력되도록 형성하는 것을 특징으로 하는 사운드 신호를 이용한 이동체의 위치인식 장치.
10. 제1항에 있어서,
    상기 방향 지시등의 상기 사운드 정보는 상기 이동체의 좌회전 또는 우회전, 횡단, 유턴, 서행, 정지 또는 후진을 적어도 하나 포함하며,
    상기 프로세서는 상기 마이크에 입력되는 다수의 사운드 중 상기 이동체가 이동하기 전에 누르는 상기 방향 지시등의 상기 사운드 정보를 선별하는 것을 특징으로 하는 사운드 신호를 이용한 이동체의 위치인식 장치.
11. 이동체가 이동하는 전방 영상을 카메라를 통해 촬영하는 단계;
    상기 이동체 내에 구비된 방향 지시등의 조작에 의해 발생하는 사운드 정보를 마이크를 통해 입력하는 단계;
    상기 사운드 정보를 저장하는 단계;
    상기 사운드 정보를 기반으로 형성된 사운드 판단값 및 상기 이동체가 이동하는 상기 전방 영상을 기반으로 형성된 경로 판단값을 비교하여 일치 여부에 따른 제1 경고 신호를 생성하는 단계; 및
    상기 제1 경고 신호를 전달받아 제1 경고 사운드를 출력하는 단계를 포함하고,
    상기 일치 여부에 따른 제1 경고 신호를 생성하는 단계는 상기 이동체가 이동하기 전에 누르는 상기 방향 지시등의 상기 사운드 정보을 학습하여 상기 사운드 판단값을 추출하는 학습모드를 실행하며,
    상기 학습모드는 딥러닝 기반의 상기 이동체의 종류에 따라 변화하는 사운드 정보의 학습을 수행하여 상기 사운드 판단값을 출력하고,
    상기 학습모드는 상기 마이크를 통해 입력되는 상기 사운드 정보가 입력되는 입력층, 상기 사운드 정보를 사운드의 종류에 따라 분류하는 히든층 및 상기 입력층에서 입력되는 사운드 정보와 상기 히든층에서 분류된 사운드 정보를 비교하여 상기 사운드 판단값을 추출하는 출력층을 포함하는 것을 특징으로 하는 사운드 신호를 이용한 이동체의 위치인식 방법.
12. 삭제
13. 제11항에 있어서,
    상기 일치 여부에 따른 제1 경고 신호를 생성하는 단계는,
    상기 카메라를 통해 촬영되는 상기 전방 영상 또는 외부로부터 입력된 영상 신호에 대한 상기 이동체의 경로를 분석하여 상기 경로 판단값을 추출하는 단계;
    상기 경로 판단값과 상기 사운드 판단값을 비교하여 일치 여부를 판단하는 단계; 및
    상기 일치 여부에 근거하여 상기 제1 경고 신호의 생성 여부를 판단하여 상기 제1 경고 신호를 생성하는 단계를 포함하는 사운드 신호를 이용한 이동체의 위치인식 방법.

Images