KR102502155B1 - 음성 안내를 위한 보행 안내 장치 및 이의 동작 방법 - Google Patents

Abstract

본 발명은 보행 안내 장치 및 이의 동작 방법에 관한 것으로서, 보행자의 보행 가이드를 위한 안내 음성, 음향 신호, 시각 신호, 진동 신호 또는 이들의 조합 신호를 출력하여 보행자를 위한 보행 가이드를 하는 보행 안내 장치는 정의된 감시 영역 내의 좌표 정보를 갖는 영상 신호를 획득하는 촬상부; 상기 정의된 감시 영역의 상기 좌표 정보와 맵핑된 위치 정보를 갖는 레이더 신호를 송수신하는 레이더 센서부; 상기 촬상부로부터 수신된 상기 영상 신호와 상기 레이더 센서부로부터 수신된 상기 레이더 신호를 맵핑하고, 상기 영상신호와 맵핑된 상기 레이더 신호를 이용하여 상기 보행자가 상기 정의된 감시 영역을 통과하는지를 판단하고, 상기 판단 결과를 기반으로 제어 신호를 생성하는 연산 제어부를 포함할 수 있다.

Description

음성 안내를 위한 보행 안내 장치 및 이의 동작 방법{Pedestrian guide device for audio signal guidance and method of operating the same}

본 발명은 보행자 안내 기술에 관한 것으로서, 더욱 상세하게는 음성 안내를 위한 보행 안내 장치 및 이의 동작 방법에 관한 것이다.

도로에는 차량이 이동하면서 보행자의 안전을 위해 교통신호의 지시에 의해 보행자가 횡단보도를 따라 이동할 수 있다. 일부 보행자들이 보행자 대기 라인 또는 횡단보도 라인을 이탈하여 도로를 건너는 경우 차량과 충돌하는 것과 같은 안전상 위험이 발생할 수 있다. 보행자의 안전을 보호하기 위하여, 횡단보도에 설치되는 종래의 보행 안내 장치는 보행자에게 교통신호에 따른 안내 음성을 제공하거나 경보음을 발생시킬 수 있다.

종래의 보행 안내 장치는 단순히 타이머에 의해 안내 음성을 제공하거나 경보음을 발생시키는 것이어서, 횡단보도에서의 사고를 예방하는데 한계가 있다. 구체적으로, 횡단보도의 신호등이 빨간색에서 파란색으로 변경되는 시점에 ‘횡단보도 불이 켜졌습니다. 좌우 살피고 건너세요’ 라는 안내 음성이 출력되며, 기 정의된 시간이 흐른 뒤에 상기 신호등이 곧 파란색에서 빨간색으로 변경됨을 알려주는 경보음이 발생될 수 있다. 따라서, 상기 보행자는 상기 경보음을 통해 횡단보도를 건너면서 신호등이 곧 파란색에서 빨간색으로 변경되는 것을 인지할 수 있다. 그러나, 이 경우 상기 보행자의 검출과 상관없이 안내 음성 및 경보음을 제공함으로써, 상기 보행자가 능동적으로 사고에 대체하기 어려움이 있다.

이를 위해, 카메라를 이용하여 횡단보도를 이동하는 보행자를 검출하고, 상기 검출된 결과를 기반으로 보행자에게 안내 음성을 제공하는 기술이 도입되고 있다. 그러나, 상기 카메라를 이용하여 보행자를 검출하는 방식은 번개, 차량의 헤드라이트 또는 햇볕의 이동차량의 반사등 같은 주변의 갑작스러운 광의 변화가 있을 때 보행자를 검출하는데 오동작하는 문제점이 있다. 이로 인해, 상기 보행자에게 정확한 교통안내 관련 음성을 제공하기 어렵다.

본 발명이 해결하고자 하는 기술적 과제는, 주변 광량의 갑작스러운 변화에 대해 보행자 검출 오동작을 개선시켜 보행자에게 정확한 교통안내 관련 음성을 제공하는 음성 안내를 위한 보행 안내 장치 및 이의 동작 방법을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 다른 기술적 과제는, 교통정보의 다양성을 제공하는 음성 안내를 위한 보행 안내 장치 및 이의 동작 방법을 제공하는 것이다.

본 발명의 일 실시예에 따르면, 보행자의 보행 가이드를 위한 안내 음성, 경보 신호, 시각 신호 또는 이들의 조합 신호를 출력하여 보행자를 위한 보행 가이드를 하는 음성 안내를 위한 보행 안내 장치는 정의된 감시 영역 내의 좌표 정보를 갖는 영상 신호를 획득하는 촬상부; 상기 정의된 감시 영역의 상기 좌표 정보와 맵핑된 위치 정보를 갖는 레이더 신호를 송수신하는 레이더 센서부; 및 상기 영상 신호 및 상기 레이더 신호 중 적어도 하나를 분석하여, 상기 보행자가 상기 정의된 감시 영역을 통과하는지를 판단하고, 상기 판단 결과를 기반으로 제어 신호를 생성하는 연산 제어부를 포함할 수 있다.

일 실시예에서 상기 보행자가 상기 정의된 감시 영역을 통과하는지 여부 판단은 상기 보행자가 상기 영상 신호의 상기 정의된 감시 영역에 대응하는 라인을 통과하는지 여부와 상기 레이더 신호를 통해 검출된 상기 보행자의 위치 정보가 상기 정의된 감시 영역에 대응하는 위치 정보에 포함되는지 여부 중 적어도 하나를 기반으로 수행될 수 있다.

일 실시예에서 상기 연산 제어부는 상기 보행자가 상기 영상 신호의 상기 정의된 감시 영역에 있는지를 확인하고, 상기 영상 신호의 상기 정의된 감시 영역에 상기 보행자가 있을 경우 상기 레이더 신호를 통해 검출된 상기 보행자의 위치 정보가 상기 정의된 감시 영역에 상기 보행자가 있는지를 확인하고, 상기 영상 신호의 상기 정의된 감시 영역과 상기 레이더 신호를 통해 검출된 상기 보행자의 위치 정보가 상기 정의된 감시 영역 상에 모두 상기 보행자가 인식되는 경우에 상기 보행자가 상기 감시 영역의 보행자 정지선을 넘는지를 판단할 수 있다.

일 실시예에서 상기 정의된 감시 영역의 좌표 정보는 2 차원 평면의 x, y 좌표 값이며, 상기 레이더 센서로부터 검출된 위치 정보는 거리 정보와 각도 정보로 표시될 때, 상기 2 차원 평면의 x, y 좌표 값과 상기 거리 정보 및 상기 각도 정보와 일대일 맵핑될 수 있다. 상기 연산 제어부는 상기 획득된 영상 신호로부터 기준 영점을 설정하고, 상기 기준 영점을 중심으로 일직선 상에 이격 배치된 제 1 기준점과 제 2 기준점을 설정하며, 상기 레이더 센서부로부터 검출된 영점 거리 및 영점 각도를 상기 기준 영점으로 보정하고, 상기 영점 거리 및 상기 영점 각도를 기준으로 상기 제 1 기준점에 대응하는 제 1 기준 거리 및 제 1 기준 각도를 설정하고, 상기 제 2 기준점에 대응하는 제 2 기준 거리 및 제 2 기준 각도를 설정할 수 있다. 상기 기준 영점, 상기 제 1 기준점 및 상기 제 2 기준점은 기 설정된 화면비를 갖는다. 상기 촬상부와 상기 레이더 센서부는 일체형으로 구성될 수 있다. 상기 일체형으로 구성된 상기 촬상부와 상기 레이더 센서부는 도로 위를 가로질러 설치된 횡단보도를 관측하도록 기울림각, 고도 및 방위각으로 조절될 수 있다.

상기 연산 제어부는 상기 판단결과 뿐만 아니라 교통신호를 고려하여 안내 음성, 경보 신호, 시각 신호 또는 이들의 조합 신호를 생성할 수 있다. 상기 기 정의된 감시 영역은 횡단보도 라인, 보행자 정지선 및 차량 정지선 중 적어도 하나 이상을 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 촬상부를 통해 제 1 감시 영역을 포함하는 영상 신호를 획득하는 단계; 레이더 센서부를 통해 상기 제 1 감시 영역과 동기화된 제 2 감시 영역 및 상기 제 2 감시 영역의 주변으로 전파를 송수신하는 단계; 상기 촬상부로부터 획득된 상기 제 1 감시 영역 또는 상기 레이더 센서부로부터 검출된 상기 제 2 감시 영역 중 적어도 하나의 영역을 보행자가 통과하는지 판단하는 단계; 상기 판단 결과를 기반으로 안내 음성, 경보 신호, 시각 신호 또는 이들의 조합 신호를 생성하는 단계; 및 상기 안내 음성, 상기 경보 신호 또는 이들의 조합 신호를 출력하는 단계를 포함하는 음성 안내를 위한 보행 안내 장치의 동작 방법이 제공될 수 있다.

상기 영상 신호로부터 추출되는 상기 제 1 감시 영역은 2 차원 평면의 x, y 좌표 값으로 표시되고, 상기 레이더 센서부로부터 검출된 상기 제 2 감시 영역은 거리 정보 및 각도 정보로 표시되며, 상기 2 차원 평면의 x, y 좌표 값은 상기 거리 정보 및 상기 각도 정보와 일대일 매칭될 수 있다.

상기 제 1 감시 영역과 상기 제 2 감시 영역을 동기화하는 단계를 더 포함하며, 상기 동기화하는 단계는 상기 획득된 영상 신호로부터 기준 영점을 설정하고, 상기 기준 영점을 중심으로 일직선 상에 이격 배치된 제 1 기준점과 제 2 기준점을 설정하는 단계; 상기 레이더 센서부로부터 검출된 영점 거리 및 영점 각도를 상기 기준 영점으로 보정하는 단계; 및 상기 영점 거리 및 상기 영점 각도를 기준으로 상기 제 1 기준점에 대응하는 제 1 기준 거리 및 제 1 기준 각도를 설정하고, 상기 제 2 기준점에 대응하는 제 2 기준 거리 및 제 2 기준 각도를 설정하는 단계 포함할 수 있다. 상기 기준 영점, 상기 제 1 기준점 및 상기 제 2 기준점은 기 설정된 화면비를 갖는다. 상기 일체형으로 구성된 상기 촬상부와 상기 레이더 센서부는 도로 위를 가로질러 설치된 횡단보도를 관측하도록 기울림각, 고도 및 방위각으로 조절될 수 있다.

본 발명의 또 다른 실시예에 따르면, 촬상부와 레이더 센서부가 융합된 음성 안내를 위한 보행 안내 장치를 위한 캘리브레이션 방법에 있어서, 복수의 기준점들을 설정하고 상기 복수의 기준점에 각각 피사체를 배치하는 단계; 상기 촬상부를 통해 상기 복수의 기준점에 각각 배치된 피사체를 포함하는 영상 신호를 획득하는 단계; 상기 레이더 센서부를 통해 상기 복수의 기준점에 각각 배치된 피사체의 거리 및 각도를 측정하는 단계; 상기 복수의 기준점 중 어느 하나를 2차원 평면의 기준 영점으로 설정하고, 상기 기준 영점을 상기 기준 영점에 위치한 피사체의 거리 및 각도 정보와 매핑시키는 단계; 및 상기 기준 영점을 제외한 나머지 2차원 평면의 복수의 기준점들을 각각 나머지 2차원 평면의 복수의 기준점들에 위치한 피사체의 거리 및 각도와 매핑시키는 단계를 포함할 있다.

일 실시예에서, 상기 영상 신호의 화면비를 고려하여, 상기 2차원 평면의 모든 점에 대하여 거리 및 각도 정보로 변환하는 단계를 더 포함될 수 있다. 상기 복수의 기준점은 일직선 상에 서로 이격 배치될 수 있다.

본 발명의 일 실시예에 따르면, 촬상부로부터 획득된 제 1 감시 영역 및 제 1 감시 영역과 동기화되어 레이더 센서부로부터 검출된 상기 제 2 감시 영역 중 적어도 하나의 영역을 보행자가 벗어나는지를 판단하여 상기 판단 결과를 기반으로 안내 음성, 경보 신호, 시각 신호 또는 이들의 조합 신호를 생성 및 출력함으로써, 주변 광량의 갑작스러운 변화에 대해 보행자 검출 오동작을 개선시켜 보행자에게 정확한 교통안내 관련 음성을 제공하는 음성 안내를 위한 보행 안내 장치가 제공될 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 전술한 이점을 갖는 음성 안내를 위한 보행 안내 장치의 동작 방법이 제공될 수 있다.

도 1a와 도 1b는 본 발명의 일 실시예에 따른 음성 안내를 위한 보행 안내 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 촬상부와 레이더 센서로 구성된 일체형 모듈의 예시도이다.
도 3a와 도 3b는 본 발명의 일 실시예에 따른 음성 안내를 위한 보행 안내 장치에 의해 정의되는 감시 영역을 설명하기 위한 도면이다.
도 4a와 도 4b는 본 발명의 일 실시예에 따른 감시 영역 내의 보행자의 검출 결과를 기반으로 안내 음성, 경고음 또는 시각적 표시를 하는 예이다.
도 5a 내지 도 5c는 본 발명의 다른 실시예에 따른 음성 안내를 위한 보행 안내 장치에 의해 정의되는 감시 영역(MA)을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 음성 안내를 위한 보행 안내 장치의 동작을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 감시 영역을 설정하기 위한 캘리브레이션 동작을 설명하기 위한 흐름도이다.
도 8a는 본 발명의 실시예에 따른 감시 영역의 2차원 평면을 나타내는 도면이고, 도 8b는 감시 영역을 설정하기 위한 캘리브레이션을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.

도면에서 동일 부호는 동일한 요소를 지칭한다. 또한, 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.

본 명세서에서 사용된 용어는 실시예를 설명하기 위하여 사용되며, 본 발명의 범위를 제한하기 위한 것이 아니다. 또한, 본 명세서에서 단수로 기재되어 있다 하더라도, 문맥상 단수를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이란 용어는 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.

또한, 당해 기술 분야에서 숙련된 자들에게 있어서, 다른 형상에 "인접하여(adjacent)" 배치된 구조 또는 형상은 상기 인접하는 형상에 중첩되거나 하부에 배치되는 부분을 가질 수도 있다.

본 명세서에서, "아래로(below)", "위로(above)", "상부의(upper)", "하부의(lower)", "수평의(horizontal)" 또는 "수직의(vertical)"와 같은 상대적 용어들은, 도면들 상에 도시된 바와 같이, 일 구성 부재, 층 또는 영역들이 다른 구성 부재, 층 또는 영역과 갖는 관계를 기술하기 위하여 사용될 수 있다. 이들 용어들은 도면들에 표시된 방향뿐만 아니라 소자의 다른 방향들도 포괄하는 것임을 이해하여야 한다.

이하에서, 본 발명의 실시예들은 본 발명의 이상적인 실시예들(및 중간 구조들)을 개략적으로 도시하는 단면도들을 참조하여 설명될 것이다. 이들 도면들에 있어서, 예를 들면, 부재들의 크기와 형상은 설명의 편의와 명확성을 위하여 과장될 수 있으며, 실제 구현시, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 된다. 또한, 도면의 부재들의 참조 부호는 도면 전체에 걸쳐 동일한 부재를 지칭한다.

도 1a와 도 1b는 본 발명의 일 실시예에 따른 음성 안내를 위한 보행 안내 장치(10)의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 촬상부와 레이더 센서로 구성된 일체형 모듈의 예시도이다.

도 1a와 도 1b를 참조하면, 음성 안내를 위한 보행 안내 장치(10)는 연산 제어부(100), 촬상부(200), 레이더 센서부(250) 및 출력부(300)를 포함할 수 있다. 비제한적으로 음성 안내를 위한 보행 안내 장치(10)는 보행신호등을 지지하며 고정시키는 지주대에 상기 보행신호등과 같이 고정되어 동작할 수 있으며, 음성 안내를 위한 보행 안내 장치(10)의 구성 요소들은 일부가 서로 이격 배치되어 상기 지주대에 고정될 수 있다.

촬상부(200)는 이미지 센서 및 렌즈로 구성될 수 있으며, 상기 렌즈를 통해 들어온 빛을 디지털 신호로 변환하여 영상 신호를 생성할 수 있다. 선택적으로, 촬상부(200)는 하우징(미도시함) 내부에 위치하되 외부로 노출되는 면을 가지며 회전 모듈과 결합하여 상하좌우 방향으로 이동이 기능하여 촬상부(200)의 고도각 및 방위각 조정이 가능하다. 상기 영상 신호는 제 1 감시 영역을 포함할 수 있다. 상기 제 1 감시 영역은 횡단보도 신호등과 관련된 후술할 도 3a와 도 3b의 횡단보도 라인(CW), 보행자 정지선(SL2) 및 차량 정지선(SL1) 중 적어도 하나 이상을 포함할 수 있다. 또는 도 5a와 도 5b와 같이, 상기 제 1 감시 영역은 횡단보도의 일측면과 타측면에 각각 배치된 보행자 정지선(SL2)를 포함하는 영역일 수 있다.

일 실시예에서, 촬상부(200)는 야간시 또는 우천시와 같은 태양광이 사라지거나 가려지는 경우, 이미지 센서의 찰상 능을 향상시키기 위하여 적외선을 조사하는 적외선 조명부(미도시)를 포함할 수 있다. 이 경우, 상기 이미지 센서도 가시 광선 이외에 적외선을 감지하는 이미지 센서일 수도 있다.

레이더 센서(Radar)(250)는 전파를 사용하여 목표물의 거리, 방향, 각도 및 속도를 측정하는 장치로서, 강한 전자기파를 발사하고 그것이 물체에 맞고 반사되어 되돌아오는 전자파를 분석하여 대상물과의 거리, 각도 및 속도를 측정할 수 있다. 레이더 센서(Radar)(250)에서 방출되는 전파는 비제한적으로 24 GHz 또는 77 GHz 대역을 가질 수 있다. 레이저(빛) 신호를 이용해 주변 사물을 인식하는 라이다 센서는 레이저가 분산되는 날씨(눈·안개)에 물체를 인식하는데 취약하지만 레이더 센서(Radar)는 라이다 센서보다 날씨 환경에 영향을 덜 받는다.

일 실시예에서, 레이더 센서부(250)는 촬상부(200)로부터 촬영된 상기 제 1 감시 영역과 동기화된 제 2 감시 영역 및 상기 제 2 감시 영역의 주변으로 전파를 송수신하여, 제 2 감시 영역 및 상기 제 2 감시 영역의 주변의 대상물과의 거리, 각도 및 속도 중 적어도 하나를 측정할 수 있다. 촬상부(200)의 상기 영상 신호로부터 추출되는 상기 제 1 감시 영역은 2 차원 평면의 x, y 좌표 값으로 표시되고, 레이더 센서부(250)로부터 검출된 상기 제 2 감시 영역은 거리 정보, 각도 정보 및 속도 정보 중 적어도 하나 이상으로 표시될 수 있다. 상기 2 차원 평면의 x, y 좌표 값은 상기 거리 정보 및 상기 각도 정보와 일대일 매칭될 수 있다. 일 실시예에서, 상기 2 차원 평면의 x, y 좌표 값은 상기 거리 정보 및 상기 각도 정보와 일대일 매칭은 후술할 도 6의 캘리브레이션 방법으로 수행될 수 있으며, 상기 캘리브레이션 방법은 공장 초기화 공정 또는 현장 내에 장치를 설치한 후 수행될 수 있다.

연산 제어부(100)는 적어도 하나의 마이크로 프로세서를 포함하며, 촬상부(200)로부터 수신된 상기 영상 신호 및 레이더 센서부(250)로부터 상기 정의된 감시 영역의 상기 좌표 정보와 맵핑된 위치 정보를 갖는 레이더 신호 중 적어도 하나를 분석하여 상기 보행자가 상기 정의된 감시 영역을 통과하는지를 판단하고, 상기 판단 결과를 기반으로 제어 신호를 생성할 수 있다. 상기 제어 신호는 보행자의 보행 가이드를 위한 안내 음성, 경보 신호 같은 음향 신호, 시각 신호, 진동 신호, 음향 신호 또는 이들의 조합 신호를 출력하도록 제어하는 신호일 수 있다.

일 실시예에서, 연산 제어부(100)는 상기 영상 신호의 분석을 통해 객체(예컨대, 보행자)를 검출할 수 있으며, 상기 검출된 보행자가 상기 정의된 감시 영역을 통과하는지 여부를 판단할 수 있다. 또한, 연산 제어부(100)는 상기 레이더 신호를 분석하여 객체(예컨대, 보행자)를 검출할 수 있으며, 상기 검출된 보행자가 상기 정의된 감시 영역을 통과하는지 여부를 판단할 수 있다. 본 발명에서는 상기 영상 신호의 분석 또는 상기 레이더 신호의 분석 중 어느 하나를 이용하여 상기 검출된 보행자가 상기 정의된 감시 영역을 통과하는지 여부를 판단할 수 있다. 따라서 촬상부(200)의 상기 감시 구역을 통과하는 객체(예: 보행자)를 레이더 센서(250)와 동시에 검출함으로써 외부 광의 변화, 번개 등의 환경에서도 상기 보행자가 상기 감시 영역을 통과하는지를 오차 없이 확인할 수 있다.

일 실시예에서, 상기 보행자가 상기 정의된 감시 영역을 통과하는지 여부 판단은 상기 보행자가 상기 영상 신호의 상기 정의된 감시 영역에 대응하는 라인을 통과하는지 여부와 상기 레이더 신호를 통해 검출된 상기 보행자의 위치 정보가 상기 정의된 감시 영역에 대응하는 위치 정보에 포함되는지 여부 중 적어도 하나를 기반으로 수행될 수 있다.

일 실시예에서, 촬상부(200)로부터 획득된 상기 제 1 감시 영역 또는 레이더 센서부(250)로부터 검출된 상기 제 2 감시 영역 중 적어도 하나의 영역을 보행자가 통화하는지를 판단하고 상기 판단 결과를 기반으로 안내 음성, 경보 신호, 시각 신호, 진동 신호, 음향 신호 또는 이들의 조합 신호를 생성할 수 있다. 상기 시각 신호는 현재 횡단보도 신호등과 동기화되어 파란색상의 LED 또는 빨간색상의 LED가 켜지도록 제어하는 신호일 수 있다. 예컨대, 현재 횡단보도 신호등이 파란색 신호인 경우, 파란색의 LED 불빛이 노출되며 현재 횡단보도 신호등이 빨간색 신호인 경우, 빨간색의 LED 불빛이 노출될 수 있다. 연산 제어부(100)는 촬상부(200)로부터 획득된 보행자의 2 차원 평면의 x, y 좌표 값 또는 레이더 센서부(250)로부터 검출된 거리 정보 및 각도 정보로 구성된 좌표 값이 상기 감시 영역의 좌표 값 범위 내에 있는지 비교함으로써, 보행자가 상기 감시 영역을 통과하는지를 판단할 수 있게 된다.

또한, 연산 제어부(100)는 상기 판단결과 뿐만 아니라 교통신호(예컨대, 횡단보도의 신호등, 차량의 신호등)를 고려하여 안내 음성, 경보 신호, 시각 신호, 진동 신호, 음향 신호 또는 이들의 조합 신호를 생성할 수 있다. 다음으로 연산 제어부(100)는 보행자의 감시 영역 이탈 유무에 판단 결과에 기초하여 대응되는 출력 신호를 생성한다. 예컨대, 현재 횡단보도 신호등이 파란색을 유지하는 동안에 보행자가 횡단보도를 일탈하는 경우 보행자에게 횡단보도 일탈을 음성 안내나 경고음으로 상기 보행자에게 횡단보도에서 일탈했음을 알려줄 수 있다. 또는 현재 횡단보도 신호등이 빨간색을 유지하는 동안에 보행자가 횡단보도에 진입하려 할 때 사고 위험을 음성 안내나 경고음으로 상기 보행자에게 인지시킬 수 있다.

일 실시예에서, 연산 제어부(100)는 상기 획득된 영상 신호로부터 기준 영점을 설정하고, 상기 기준 영점을 중심으로 일직선 상에 이격 배치된 제 1 기준점과 제 2 기준점을 설정하며, 상기 레이더 센서부로부터 검출된 영점 거리 및 영점 각도를 상기 기준 영점으로 보정하고, 상기 영점 거리 및 상기 영점 각도를 기준으로 상기 제 1 기준점에 대응하는 제 1 기준 거리 및 제 1 기준 각도를 설정하고, 상기 제 2 기준점에 대응하는 제 2 기준 거리 및 제 2 기준 각도를 설정할 수 있다. 일 실시예에서, 상기 기준 영점, 상기 제 1 기준점 및 상기 제 2 기준점은 기 설정된 화면비를 가질 수 있다.

출력부(300)는 연산 제어부(100)에 의해 생성된 상기 안내 음성, 상기 경보 신호, 진동 신호, 시각 신호, 음향 신호 또는 이들의 조합 신호를 출력할 수 있다. 출력부(300)는 스피커 및 램프(또는 LED 등)를 포함할 수 있다. 상기 조합 신호는 비제한적으로 램프 빛의 감시 영역을 조사하는 것과 동시에 안내 음성, 진동음 또는 경보음 같은 음향음이 출력되는 것을 지칭할 수 있다. 바람직하게, 상기 스피커는 지향성 스피커로서, 안내 음성이 필요한 사용자에게 음성이 출력될 수 있다. 또한, 안내 음성을 대신하여 상기 진동음은 청각 장애자를 위해 사용될 수 있다.

일 실시예에서, 도 1a을 참조하면 선택적으로 음성 안내를 위한 보행 안내 장치(10)는 추적 모듈(400)을 더 포함할 수 있다. 추적 모듈(400)은 촬상부(200)와 레이더 센서부(250) 중 적어도 하나가 기 정의된 감시 영역을 벗어난 다른 영역을 감시하는지를 추적하여, 전술한 촬상부(200)와 레이더 센서부(250)의 방위각 및 고도각이 조정되도록 제어 신호를 출력할 수 있다. 비제한적으로 촬상부(200)와 레이더 센서부(250)의 방위각 및 고도각의 측정은 공지된 기술을 통해 측정될 수 있다.

다른 실시예에서, 도 1b를 참조하면 촬상부(200)와 레이더 센서부(250)의 방위각 및 고도각의 조정은 촬상부(200)와 레이더 센서부(250)와 무선 연결되는 외부 장치(ED)를 통해서 수행될 수 있다. 예컨대, 무선랜 또는 근거리 통신(예: 블루투스 통신, 적외선 통신 등등)을 통해 촬상부(200) 또는 레이더 센서부(250)와 연결되는 외부 장치(ED)는 촬상부(200)와 레이더 센서부(250)의 방위각 및 고도각을 조정할 수 있다. 더하여, 외부 장치(ED)는 전술한 상기 제 1 감시 영역을 설정할 수 있다.

일 실시예에서, 선택적으로, 음성 안내를 위한 보행 안내 장치(10)는 통신 모듈(미도시함)를 포함할 수 있다, 상기 통신 모듈은 원격지 관리자 컴퓨터와 비제한적 예로서 와이파이, 블루투스, 지그비와 같은 무선 통신을 통해 신호를 송수신할 수 있다. 다른 실시예에서, 상기 통신 모듈은 상기 원격지 관리자 컴퓨터와 유선 케이블을 통해 신호를 송수신할 수 있다. 상기 원격지 관리자 컴퓨터는, 비제한적 예로서, 데스크탑, 노트북, 영상 단말기 또는 스마트폰 및 태블릿과 같은 휴대용 단말기와 같이 영상이 출력되면서 영상을 편집할 수 있는 다양한 전자 장치일 수 있다.

일 실시예에서, 선택적으로, 음성 안내를 위한 보행 안내 장치(10)는 상기 음성 안내 및 상기 경보음에 대응하는 음성 파일 또는 소리 파일을 저장매체(미도시함)를 더 포함할 수 있다. 상기 저장부는 메모리 또는 SD 카드일 수 있고, 이에 한정되지 않으며, 정보를 저장할 수 있는 하드 디스크, 씨디롬, 고상디스크(SSD) 또는 자기 테이프와 같은 다양한 저장 매체일 수 있다.

일 실시예에서, 선택적으로, 음성 안내를 위한 보행 안내 장치(10)는 GPS 모듈(미도시함)을 더 포함할 수 있다. 상기 GPS 모듈(미도시함)은 위성신호로부터 시간 정보를 추출하여 연산 제어부(100)에 전달할 수 있다. 연산 제어부(100)는 상기 GPS 모듈로부터 시간 및 위치 정보를 전달받아 횡단보도의 신호등의 정밀한 조작과 전술한 촬상부(200)와 레이더 센서부(250)의 방위각 및 고도각의 조정 또는 상기 보행자가 전술한 상기 감시 영역을 통과하는지를 판단하거나 또는 상기 감시 영역을 벗어나는지를 판단하는데 활용할 수 있다.

일 실시예에서, 선택적으로, 음성 안내를 위한 보행 안내 장치(10)는 바이브레이션 모듈(미도시함)을 더 포함할 수 있다. 상기 바이브레이션 모듈 은 음성 안내를 위한 보행 안내 장치(10)를 지주대에 설치한 후 상기 지주대 흔들림 발생시 촬상부(200)와 레이더 센서부(250)의 오동작을 방지하기 위한 용도로 사용될 수 있다.

전술한 촬상부(200)와 레이더 센서부(250)은 각각 별개의 모듈로서 서로 다른 공간에 이격 배치될 수 있으나, 도 2와 같이 촬상부(200)와 레이더 센서부(250)가 일체형으로 구성될 수도 있다.

도 2를 참조하면, 촬상부(200)와 레이더 센서부(250)가 일체형으로 구성될 수 있으며, 상기 일체형 장치에 선택적으로 전술한 상기 GPS 모듈 또는 상기 추적 모듈을 더 포함할 수 있다. 상기 일체형으로 구성된 촬상부(200)와 레이더 센서부(250)는 후술한 도 3a와 도 3b와 같이, 도로 위를 가로질러 설치된 횡단보도를 포함한 감시 영역을 관측하도록 전술한 회전 모듈(미도시함)에 의해 기울림각, 고도 및 방위각으로 조절될 수 있다.

종래에 카메라로만 횡단보도의 보행자를 검출하는 경우, 날씨 환경에 따라 오동작하는 단점이 있고, 레이더 자체는 보행자의 위치를 특정하기 어려움점이 있으나, 본 발명에서는 날씨 환경에 덜 민감한 레이더 센서부(250)를 촬상부(200)와 일체형으로 구성하여 촬상부(200)와 레이더 센서부(250)의 검출 결과를 동기화 시킴으로써, 번개, 차량의 헤드라이트 또는 햇볕의 이동차량의 반사등 같은 주변의 갑작스러운 광의 변화에 영향을 받지 않고, 횡단보도 내의 보행자의 정밀한 인식이 가능하다.

도 3a와 도 3b는 본 발명의 일 실시예에 따른 음성 안내를 위한 보행 안내 장치에 의해 정의되는 감시 영역(MA)을 설명하기 위한 도면이다. 감시 영역(MA)은 보행자가 차도를 가로질러 건너는 것을 유도하는 횡단보도 라인(CW), 횡단보도 신호등이 빨간색인 경우 보행자가 정지하여 대기하는 보행자 정지선(SL2) 및 차량 신호등이 빨간색인 경우 차량이 정지하여 대기하는 차량 정지선(SL1) 중 적어도 하나 이상을 포함하여 정의될 수 있다.

도 3a를 참조하면, 촬상부(200)와 레이더 센서부(250)의 일체형 장치는 지면에 수직하는 방향(VX)으로 차량 정지선(SL1, 보행자 정지선(SL2) 및 횡단보도 라인(CW) 중 적어도 하나 이상을 포함하는 감시 영역(MA)을 감시할 수 있다. 비제한적으로 음성 안내를 위한 보행 안내 장치(10)의 연산 제어부(100)는 횡단보도 신호등(미도시함)과 함께 수직 지주대(SB1)에 고정되며, 촬상부(200)와 레이더 센서부(250)의 일체형 장치는 수평 지주대(SB2)에 설치될 수 있다. 감시 영역(MA)의 범위는 촬상부(200)와 레이더 센서부(250)의 고도 및 방위각 및 기울기각 중 적어도 하나를 조정하여 정의할 수 있다. 상기 지면으로부터 수직방향으로 촬상부(200)와 레이더 센서부(250)가 멀어질수록 감시 영역(MA)은 커질 수 있다. 여기서 촬상부(200)와 레이더 센서부(250)의 방위각 및 기울기각은 수직방향으로 지면을 향하도록 조정될 수 있다.

도 3b를 참조하면, 촬상부(200)와 레이더 센서부(250)의 일체형 장치는 지면과 소정의 각도(θ)를 이루도록 조정되어 차량 정지선(SL1, 보행자 정지선(SL2) 및 횡단보도 라인(CW) 중 적어도 하나 이상을 포함하는 감시 영역(MA)을 감시할 수 있다.

도 4a와 도 4b는 본 발명의 일 실시예에 따른 감시 영역 내의 보행자의 검출 결과를 기반으로 안내 음성, 경고음 또는 시각적 표시를 하는 예이다.

도 4a를 참조하면, 횡단보도 신호등이 파란신호를 갖는 경우, 전술한 감시 영역(MA)이 파란 빛을 출력하는 램프에 의해 시각적으로 표시되며, 보행자의 감시 영역(MA) 이탈 여부 및 감시 영역(MA)내의 위치 지점에 따라 다양한 음성 안내 또는 경고음이 상기 보행자에게 제공될 수 있다. 예컨대, 횡단보도 신호등이 빨간 신호에서 파란 신호로 변경될 때, 제 1 지점의 보행자(400)에게 ‘횡단보도를 건너세요’라고 음성 안내가 출력되고, 제 2 지점의 보행자(410)에게는 상기 횡단보도의 중간 지점 정도를 건너고 있음을 알려주는 음성 안내가 출력되거나, 제 3 지점의 보행자(420)에게는 횡단보도 신호등이 곧 파란 신호에서 빨간 신호로 변경되는 음성 안내가 제공될 수 있다. 만약 파란 신호 구간 동안에 보행자(430)가 감시 영역(MA)을 벗어날 때, 경고 음성 안내가 보행자(430)에게 제공될 수 있다. 또 다른 실시예에서, 보행자(400, 410, 420)가 감시 영역(MA)을 통과하는지를 판단하여 보행자(400, 410, 420)에 적합한 안내 음성을 제공할 수 있다.

도 4b를 참조하면, 횡단보도 신호등이 빨간 신호를 갖는 경우, 전술한 감시 영역(MA)이 빨간 빛을 출력하는 램프에 의해 시각적으로 표시되며, 보행자(440)가 감시 영역(MA)에 진입하려 할 때 사고 위험을 알리기 위한 음성 안내 또는 경고음이 상기 보행자에게 제공될 수 있다.

도 5a 내지 도 5c는 본 발명의 다른 실시예에 따른 음성 안내를 위한 보행 안내 장치에 의해 정의되는 감시 영역(MA)을 설명하기 위한 도면이다. 감시 영역(MA)은 횡단보도의 일측면에서 보행자가 정지하여 대기하는 보행자 정지선(SL2)를 포함하는 영역으로 정의될 수 있다. 도 5a는 정면에서 바라본 횡단보도의 일측면을 보여주는 도면이고, 도 5a는 정면에 수직하는 평면에서 바라본 횡단보도의 일측면과 타측면을 모두 나타내는 도면이다.

도 5a와 도 5b를 참조하면, 대략 3~4m의 지주대(SB1)에 고정된 촬상부(200)와 레이더 센서부(250)의 일체형 장치는 지면과 소정의 각도(θ1)를 이루도록 조정되어 횡단보도(CL)의 일측면에서 배치된 보행자 정지선(SL2)를 포함하는 감시 영역(MA1)을 감시할 수 있다. 또한, 마찬가지로 촬상부(200')와 레이더 센서부(250')의 일체형 장치는 지면과 소정의 각도의 각도를 이루도록 조정되어 횡단보도(CL)의 타측면에서 배치된 보행자 정지선(SL2')를 포함하는 감시 영역(MA2)을 감시할 수 있다. 바람직하게, 보행자 정지선(SL2')은 외곽 차선(LL)과 시각장애인 점자 블록(B) 사이에 위치할 수 있다. 비제한적으로, 보행자 정지선(SL2')은 시각장애인 점자 블록 라인(B)일 수 있다. 시각장애인 점자 블록 라인(B)은 대략 6~8m 길이를 갖는다.

도 5c는 도 5a에 개시된 감시 영역(MA1)을 기반으로 음성 안내를 송출하는 예를 나타내는 도면이다.

도 5c를 참조하면, 보행자 정지선(SL2)를 포함하는 감시 영역(MA1) 내에 보행자(BB)를 인지하여 객체를 추적함으로써, 보행자(BB)가 감시 영역(MA1) 내의 보행자 정지선(SL2)을 넘는지를 판단할 수 있다. 보행자 정지 신호(예 빨간색 횡단보도 신호등)에서 보행자(BB)가 감시 영역(MA1) 내의 보행자 정지선(SL2)을 넘는다고 판단될 시, ‘보행자 정지 신호선 뒤로 물러나주세요’라는 음성 출력과 함께 LED 조명등에 의해 해당 보행자 또는 감시 영역(MA1)이 조명되어질 수 있다.

이때, 보행자(BB)가 없는데도 차량의 헤드라이트 불빛으로 인해 보행자(BB)가 인지될 수 있어서, 본 발명에서는 정확한 보행자 판단을 위해서 1 차적으로 촬상부(200)에 의해 정의된 감시 영역(MA1) 내에 보행자(BB)가 있는지를 검출하고, 검출되면 이후 2 차적으로 레이더 센서부(250)에 의해 정의된 감시 영역(MA1) 내에 보행자(BB)가 있는지를 검출하여, 검출된 보행자(BB)가 보행자 정지선(SL2)를 넘는지를 판단할 수 있다. 이 경우, 촬상부(200)에 의해 정의된 감시 영역(MA1) 내에 보행자(BB)가 없는데도 보행자(BB)가 잘못 검출되는 경우, 2 차적으로 레이더 센서부(250)에 의해 실제 보행자(BB)가 감시 영역(MA1)에 있는지를 정확하게 판별하여 오류를 개선시킬 수 있다. 제 1 SL2는 촬상부(200)에 의해 정의된 감시 영역(MA1)의 보행자 정지선이며 제 2 SL2는 레이더 센서부(250)에 의해 정의된 감시 영역(MA1)의 보행자 정지선이다. 바람직하게, 제 1 SL2과 제 2 SL2는 동기화된 동일한 영역일 수 있다.

반대로, 비제한적으로, 1 차적으로 레이더 센서부(250)에 의해 정의된 감시 영역(MA1) 내에 보행자(BB)가 있는지를 검출하고 그 결과를 토대로 2 차적으로 촬상부(200)에 의해 정의된 감시 영역(MA1) 내에 보행자(BB)가 있는지를 검출할 수 있다.

또 다른 실시예에서, 동시에 촬상부(200)와 레이더 센서부(250)에 의해 보행자를 검출하여, 그 결과가 상이한 경우 보행자 인식 오류가 있다고 판단하고 동일한 경우 보행자 인식 오류가 없다고 판단할 수 있다. 만약 보행자 인식 오류가 있다고 판단되는 경우, 촬상부(200)와 레이더 센서부(250)에 의해 보행자를 검출 절차를 반복 실행할 수 있다.

일 실시예에서, 전술한 감시 영역(MA, MA1, MA2)은 촬상부(200)로부터 획득된 영상에 사용자가 감시 영역(MA, MA1, MA2)을 마크하거나 표시함으로써 생성될 수 있다. 구체적으로, 사용자가 터치펜, 마우스 또는 키보드 같은 별도의 입력 장치를 통해 화면에 표시되는 영상에 감시 영역(MA, MA1, MA2)을 표시함으로써, 감시 영역(MA, MA1, MA2)이 표시된 가공 영상이 생성될 수 있다. 감시 영역(MA, MA1, MA2)은 직선 및 곡선 등으로 다양하게 나타날 수 있다.

도 6는 본 발명의 실시예에 따른 음성 안내를 위한 보행 안내 장치의 동작을 설명하기 위한 흐름도이다.

도 6을 참조하면, 음성 안내를 위한 보행 안내 장치의 동작 방법은 촬상부를 통해 제 1 감시 영역을 포함하는 영상 신호를 획득하는 단계(S100); 상기 레이더 센서를 통해 상기 제 1 감시 영역과 동기화된 제 2 감시 영역 및 상기 제 2 감시 영역의 주변으로 전파를 송수신하는 단계(S110); 촬상부로부터 획득된 상기 제 1 감시 영역 또는 상기 레이더 센서부로부터 검출된 상기 제 2 감시 영역 중 적어도 하나의 영역을 보행자가 벗어나는지를 판단하는 단계(S130); 상기 판단 결과를 기반으로 안내 음성, 경보 신호, 시각 신호, 진동 신호, 음향 신호 또는 이들의 조합 신호를 생성하는 단계(S130); 및 상기 안내 음성, 상기 경보 신호, 음향 신호 또는 이들의 조합 신호를 출력하는 단계(S140)를 포함할 수 있다.

일 실시예에서, 상기 영상 신호로부터 추출되는 상기 제 1 감시 영역은 2 차원 평면의 x, y 좌표 값으로 표시되고, 상기 레이더 센서부로부터 검출된 상기 제 2 감시 영역은 거리 정보 및 각도 정보로 표시될 수 있다. 또한, 후술할 도 6의 감시 영역을 설정하기 위한 캘리브레이션 동작 방법을 통해 상기 2 차원 평면의 x, y 좌표 값은 상기 거리 정보 및 상기 각도 정보와 일대일 매칭될 수 있다. 상기 캘리브레이션 동작 방법은 공장 초기화 단계에서 수행되거나, 음성 안내를 위한 보행 안내 장치를 기 설치 장소에 배치한 후 수행될 수 있다. 일 실시예에서, 상기 촬상부와 상기 레이더 센서부는 도로 위를 가로질러 설치된 횡단보도를 관측하도록 기울림각, 고도 및 방위각이 조정될 수 있다. 상기 제 1 감시 영역 또는 상기 제 2 감시 영역은 횡단보도 라인, 보행자 정지선 및 차량 정지선 중 적어도 하나를 포함할 수 있다.

일 실시예에서, 판단하는 단계(S130)는 보행자의 감시 영역 이탈에 대한 판단결과 뿐만 아니라 교통신호를 고려하여 안내 음성, 경보 신호, 시각 신호, 진동 신호, 음향 신호 또는 이들의 조합 신호를 생성할 수 있다. 예컨대, 횡단보도 신호등의 색상과 보행자의 감시 영역의 이탈 여부 또는 감시 영역 진입 단계를 고려하여 도 4a와 도 4b와 같이 안내 음성, 경고음, 시각 신호 또는 진동 신호가 생성될 수 있다.

일 실시예에서, 판단하는 단계(S130)는 촬상부로부터 획득된 상기 제 1 감시 영역으로부터 객체가 인식되는 경우, 상기 레이더 센서부로부터 검출된 상기 제 2 감시 영역에 객체가 인식되는지를 판단할 수 있다. 즉, 상기 촬상부에 의해 객체가 인식되면 다음 상기 레이더 센서부로부터 객체가 인식되는지 확인하고, 이후 상기 인식된 객체가 감시 영역의 보행자 정지선을 넘는지를 판단할 수 있다. 이는 야간 시간에 차량의 헤드라이트를 통해 촬상부로부터 획득된 영상에 객체가 없는데도 객체가 있는 것으로 잘못된 판단을 할 수 있으므로 이러한 잘못된 판단을 개선시키기 위해서, 상기 촬상부에 의해 객체가 인식되면 다음 상기 레이더 센서부로부터 객체가 인식되는지 확인하는 것이다.

도 7은 본 발명의 실시예에 따른 감시 영역을 설정하기 위한 캘리브레이션 동작 방법을 설명하기 위한 흐름도이다. 도 8a는 본 발명의 실시예에 따른 감시 영역의 2차원 평면을 나타내는 도면이고, 도 8b는 감시 영역을 설정하기 위한 캘리브레이션을 설명하기 위한 도면이다.

상기 캘리브레이션 동작 방법은 촬상부(200)로부터 복수의 기준점을 포함하는 영상 신호를 획득하고 레이더 센서부(250)로부터 상기 복수의 기준점에 대응하는 검출 신호를 획득하는 단계(S200); 상기 영상 신호로부터 복수의 기준점 중 기준 영점을 설정하는 단계(S210); 상기 기준 영점과 일직선 상에 위치하는 제 1 기준점을 레이더 센서의 제 1 검출 신호와 매핑하는 단계(S220); 상기 기준 영점과 일직선 상에 위치하며 상기 제 1 기준점과 대향하는 제 2 기준점을 레이더 센서의 제 2 검출 신호와 매핑하는 단계(S230); 및 상기 영상 신호의 화면비를 산출하여 2차원 평면 상의 모든 점을 레이더 센서의 검출 신호와 매핑하는 단계(S240)를 포함할 수 있다.

일 실시예에서, 촬상부(200)는 정해진 화면 규격(화면 가로세로비 3:4, 또는 16:9 등)으로 영상 신호를 출력할 수 있으며, 레이더 센서부(250)는 레이더를 안테나로 조사하여 조사되는 일정한 범위 내에서의 피사체로부터의 반사파를 이용하여 상기 피사체와의 거리, 각도 및 속도 정보 중 적어도 하나를 추출할 수 있다. 전술한 바와 같이, 촬상부(200)와 레이더 센서부(250)는 일체형으로 구성될 수 있으며, 도 1a 또는 도 1b에 개시된 음성 안내를 위한 보행 안내 장치(10)는 촬상부(200)와 레이더 센서부(250)의 일체형 모듈을 통해 촬상부(200)의 영상 신호와 레이더 센서부(250)의 피사체와의 거리와 신 각도 정보를 출력할 수 있다. 음성 안내를 위한 보행 안내 장치(10)를 해당 장소에 설치하기 전에 감시 영역을 설정하기 위한 캘리브레이션을 수행할 수 있다. 감시 영역을 설정하기 위한 캘리브레이션을 수행하기 위해 촬상부(200)와 레이더 센서부(250)의 일체형 모듈과 일정 거리를 설정한 다음, 촬상부(200)와 레이더 센서부(250)로부터 영상 신호 또는 검출 신호를 획득할 수 있다. 구체적으로, 후술할 도 7a과 도 7b와 같이 영상 화면의 세 위치, 즉 일직선 상에 위한 기준점 a, b, c 위치에 피사체를 위치시켜 촬상부(200)를 통해 영상 신호를 획득함과 동시에 레이더 센서부(250)의 a, b, c 위치의 피사체와의 거리 및 각도 정보를 획득할 수 있다.

일 실시예에서, 기준점 b는 기준 원점으로 설정될 수 있으며, 상기 기준 원점은 2차원 x, y 좌표 값으로서 (0,0)이 될 수 있다. 이후 서로 대향하는 기준점 a, c 위치의 좌표 값은 각각 (xa, ya), (xc, yc)으로 할당될 수 있다. 기준 영점을 설정하는 단계(S210)에서 2차원 x, y 좌표 값 (0,0)은 대응하는 레이더 센서부로부터 측정된 좌표 값 (0,0)에 대응하는 거리 정보 및 각도 정보(d0, 0°)로 맵핑될 수 있다. 그리고 매핑하는 단계(S220)에서 기준점 a의 (xa, ya) 좌표 값은 대응하는 거리 정보 및 각도 정보(da, θa)로 매핑되며, 매핑하는 단계(S230)에서는 기준점 c의 (xc, yc) 좌표 값은 대응하는 거리 정보 및 각도 정보(dc, θc)로 매핑될 수 있다. 기준점 a, b, c에 대한 캘리브레이션을 완료하게 되면, 기준점 a, b, c와 기준점 a’, b’, c’는 일치될 수 있다.

이후 매핑하는 단계(S240)에서는 영상 화면의 d, e, f 점을 화면비(3:4 또는 16:9, 기타 설정된 비율)를 이용하여 산정하고 레이더 센서부의 검출 범위를 상기 화면비에 맞추어 x, y 평면상 화면 내부의 모든 점에 대해 각각 대응하는 거리 정보 및 각도 정보(dc, θc)로 매핑시킬 수 있다.

이렇게 촬상부(200)로부터의 2차원 평면 좌표 값과 레이더 센서부(250)로부터의 각도 및 거리로 나타내는 좌표 값을 동기화 시킴으로써, 촬상부(200)로부터 획득된 영상에서 감시 구역을 2차원 x,y 좌표 값으로 구할 수 있으며 레이더 센서부(250)도 상기 감시 구역과 맵핑된 각도 및 거리로 나타내는 좌표 값을 감지 할 수 있게 된다. 따라서 촬상부(200)로부터의 감시 구역을 통과하는 보행자를 레이다 센서(250)도 동시에 검출하게 되어 외부 광의 변화, 번개, 진동 등의 영향인지 실제 보행자가 감시 영역을 통과하는지를 레이더 센서부(250)를 통해 확인이 가능하다. 또한, 본 발병은 촬상부(200)를 이용하여 감시 구역을 설정하고 설정된 감시 구역을 레이더 센서부(250)가 감시하다가 보행자의 감시 영역 통과 여부를 알려주는 기능을 추가하도록 하여 촬상부(200)의 약점인 외부 광의 변화, 번개, 진동에 의한 오검출을 개선시킬 수 있다.

일 실시예에서, 현장에서 음성 안내를 위한 보행 안내 장치(10)를 설치할 때 캘리브레이션 거리가 도 7b와 같이 d0와 d1으로 설정되면 레이더 센서(200)는 d1을 정확하게 측정할 수 있으므로 측정되는 거리 정보 d1을 이용하여 저장되어 있는 캘리브레이션 값을 보정함으로써 변화된 설치 환경에서도 좌표를 정확하게 파악하는 할 수 있다. 음성 안내를 위한 보행 안내 장치(10)는 보행자가 감시 구역 통과 여부를 판단하기 위해서 영상에 표시된 라인을 통과하는 것과 레이더 센서부(250)에서 제공되는 위치 값을 참조하여 보행자의 통과 여부를 판단하고 필요한 제어 신호를 제공할 수 있다.

전술한 바와 같이, 본 발명의 음성 안내를 위한 보행 안내 장치는 급격한 광의 변화, 일출, 일몰 시 빛의 산란, 도로의 진동, 설치 기기의 흔들림 등으로 인한 보행자 오검출을 방지하여 보행자에게 정확한 음성 안내를 제공하고 오동작으로 인한 민원을 방지할 수 있다.

또한, 본 발명은 영상과 레이더를 융합하여 센서를 적용함에 보행인의 수, 통과 방향, 감시 구역 내에 보행자의 잔류 정보 등 구체적인 정보를 파악할 수 있어 교통정보와 관련하여 보행자에게 상세한 음성 안내를 제공할 수 있다.

또한, 본 발명은 음성 안내를 위한 보행 안내 장치는 융합센서를 적용하여 설치에 추가되는 공사 없이 짧은 시간에 쉽게 감시 구역 설정을 할 수 있게 하여 설치를 간단하게 할 수 있게 하며 영상 센서 오검출을 방지하여 보행자의 안전을 증진할 수 있다.

이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

10: 음성 안내를 위한 보행 안내 장치 100: 연산 제어부
200: 촬상부 250: 레이더 센서부
300: 출력부 300: 추적 모듈
MA: 감시 영역 CW: 횡단보도 라인
SL1: 차량 정지선 SL2: 보행자 정지선

Claims (17)

1. 보행자의 보행 가이드를 위한 안내 음성, 음향 신호, 시각 신호, 진동 신호 또는 이들의 조합 신호를 출력하여 보행자를 위한 보행 가이드를 하는 보행 안내 장치로서,
   정의된 감시 영역 내의 좌표 정보를 갖는 영상 신호를 획득하는 촬상부;
   상기 정의된 감시 영역의 상기 좌표 정보와 맵핑된 위치 정보를 갖는 레이더 신호를 송수신하는 레이더 센서부; 및
   상기 영상 신호로부터 적어도 하나의 제 1 보행자를 검출하고 상기 레이더 신호로부터 적어도 하나의 제 2 보행자를 검출하여 상기 제 1 보행자와 상기 제 2 보행자를 동기화하고, 상기 동기화된 보행자가 상기 정의된 감시 영역을 통과하는지를 판단하고, 상기 판단 결과를 기반으로 제어 신호를 생성하는 연산 제어부를 포함하며,
   상기 연산 제어부는 상기 촬상부의 상기 영상 신호로부터 상기 제 1 보행자가 검출되고, 상기 레이더 센서의 상기 레이더 신호로부터 상기 제 2 보행자가 검출되지 않을 때, 상기 정의된 감시 영역 내에 보행자가 없는 것으로 판단하고,
   상기 정의된 감시 영역은 횡단보도 라인, 보행자 정지선 및 차량 정지선 중 적어도 하나 이상을 포함하고,
   상기 촬상부와 상기 레이더 센서부는 일체형으로 구성되며 상기 정의된 감시 영역과 관련된 적어도 하나의 신호등과 함께 지주대에 고정되는 보행 안내 장치.
2. 제 1 항에 있어서,
   상기 보행자가 상기 정의된 감시 영역을 통과하는지 여부 판단은
   상기 보행자가 상기 영상 신호의 상기 정의된 감시 영역에 대응하는 라인을 통과하는지 여부와 상기 레이더 신호를 통해 검출된 상기 보행자의 위치 정보가 상기 정의된 감시 영역에 대응하는 위치 정보에 포함되는지 여부 중 적어도 하나를 기반으로 수행되는 보행 안내 장치.
3. 제 2 항에 있어서,
   상기 연산 제어부는
   상기 보행자가 상기 영상 신호의 상기 정의된 감시 영역에 있는지를 확인하고, 상기 영상 신호의 상기 정의된 감시 영역에 상기 보행자가 있을 경우 상기 레이더 신호를 통해 검출된 상기 보행자의 위치 정보가 상기 정의된 감시 영역에 상기 보행자가 있는지를 확인하고, 상기 영상 신호의 상기 정의된 감시 영역과 상기 레이더 신호를 통해 검출된 상기 보행자의 위치 정보가 상기 정의된 감시 영역 상에 모두 상기 보행자가 인식되는 경우에 상기 보행자가 상기 감시 영역의 보행자 정지선을 넘는지를 판단하는 보행 안내 장치.
4. 제 1 항에 있어서,
   상기 정의된 감시 영역의 좌표 정보는 2 차원 평면의 x, y 좌표 값이며,
   상기 레이더 센서부로부터 검출된 위치 정보는 거리 정보와 각도 정보로 표시될 때,
   상기 2 차원 평면의 x, y 좌표 값과 상기 거리 정보 및 상기 각도 정보와 일대일 맵핑되는 보행 안내 장치.
5. 제 1 항에 있어서,
   상기 연산 제어부는
   상기 획득된 영상 신호로부터 기준 영점을 설정하고, 상기 기준 영점을 중심으로 일직선 상에 이격 배치된 제 1 기준점과 제 2 기준점을 설정하며,
   상기 레이더 센서부로부터 검출된 영점 거리 및 영점 각도를 상기 기준 영점으로 보정하고,
   상기 영점 거리 및 상기 영점 각도를 기준으로 상기 제 1 기준점에 대응하는 제 1 기준 거리 및 제 1 기준 각도를 설정하고, 상기 제 2 기준점에 대응하는 제 2 기준 거리 및 제 2 기준 각도를 설정하는 보행 안내 장치.
6. 제 5 항에 있어서,
   상기 기준 영점, 상기 제 1 기준점 및 상기 제 2 기준점은 기 설정된 화면비를 갖는 보행 안내 장치.
7. 제 1 항에 있어서,
   상기 일체형으로 구성된 상기 촬상부와 상기 레이더 센서부는 도로 위를 가로질러 설치된 횡단보도를 관측하도록 기울림각, 고도 및 방위각으로 조절되는 보행 안내 장치.
8. 보행자의 보행 가이드를 위한 안내 음성, 음향 신호, 시각 신호, 진동 신호 또는 이들의 조합 신호를 출력하여 보행자를 위한 보행 가이드를 하는 보행 안내 장치로서,
   정의된 감시 영역 내의 좌표 정보를 갖는 영상 신호를 획득하는 촬상부;
   상기 정의된 감시 영역의 상기 좌표 정보와 맵핑된 위치 정보를 갖는 레이더 신호를 송수신하는 레이더 센서부; 및
   상기 영상 신호로부터 적어도 하나의 제 1 보행자를 검출하고 상기 레이더 신호로부터 적어도 하나의 제 2 보행자를 검출하여 상기 제 1 보행자와 상기 제 2 보행자를 동기화하고, 상기 동기화된 보행자가 상기 정의된 감시 영역을 통과하는지를 판단하고, 상기 판단 결과를 기반으로 제어 신호를 생성하는 연산 제어부를 포함하며,
   상기 연산 제어부는 제 1 시점에 상기 촬상부의 영상 신호로부터 상기 제 1 보행자가 검출되면, 상기 제 1 시점보다 늦은 제 2 시점에 상기 레이더 센서를 활성화하여 상기 제 2 보행자가 검출되는지를 확인하고, 상기 제 1 보행자와 상기 제 2 보행자가 모두 검출되면 상기 정의된 감시 영역 내에 보행자가 있는 것으로 판단하고, 만약 상기 제 2 보행자가 검출되지 않으면 상기 정의된 감시 영역 내에 보행자가 없는 것으로 판단하고,
   상기 연산 제어부는 상기 촬상부의 영상 신호로부터 상기 제 1 보행자가 검출되지 않으면, 상기 정의된 감시 영역 내에 보행자가 없는 것으로 판단하는 보행 안내 장치.
9. 삭제
10. 촬상부를 통해 제 1 감시 영역을 포함하는 영상 신호를 획득하는 단계;
    레이더 센서부를 통해 상기 제 1 감시 영역과 동기화된 제 2 감시 영역 및 상기 제 2 감시 영역의 주변으로 전파를 송수신하는 단계;
    상기 촬상부로부터 획득된 상기 제 1 감시 영역 또는 상기 레이더 센서부로부터 검출된 상기 제 2 감시 영역 중 적어도 하나의 영역을 보행자가 통과하는지 판단하는 단계;
    상기 판단 결과를 기반으로 안내 음성, 경보 신호, 시각 신호 또는 이들의 조합 신호를 생성하는 단계; 및
    상기 안내 음성, 상기 경보 신호 또는 이들의 조합 신호를 출력하는 단계를 포함하며.
    상기 보행자가 통과하는지 판단하는 단계는,
    상기 영상 신호로부터 적어도 하나의 제 1 보행자를 검출하고 상기 레이더 신호로부터 적어도 하나의 제 2 보행자를 검출하여 상기 제 1 보행자와 상기 제 2 보행자를 동기화하는 단계 및
    상기 촬상부의 상기 영상 신호로부터 상기 제 1 보행자가 검출되고, 상기 레이더 센서의 상기 레이더 신호로부터 상기 제 2 보행자가 검출되지 않을 때, 정의된 감시 영역 내에 보행자가 없는 것으로 판단하는 단계를 포함하고,
    상기 정의된 감시 영역은 횡단보도 라인, 보행자 정지선 및 차량 정지선 중 적어도 하나 이상을 포함하고,
    상기 촬상부와 상기 레이더 센서부는 일체형으로 구성되며 상기 정의된 감시 영역과 관련된 적어도 하나의 신호등과 함께 지주대에 고정되는 보행 안내 장치의 동작 방법.
11. 제 10 항에 있어서,
    상기 영상 신호로부터 추출되는 상기 제 1 감시 영역은 2 차원 평면의 x, y 좌표 값으로 표시되고,
    상기 레이더 센서부로부터 검출된 상기 제 2 감시 영역은 거리 정보 및 각도 정보로 표시되며,
    상기 2 차원 평면의 x, y 좌표 값은 상기 거리 정보 및 상기 각도 정보와 일대일 매칭되는 보행 안내 장치의 동작 방법.
12. 제 10 항에 있어서,
    상기 제 1 감시 영역과 상기 제 2 감시 영역을 동기화하는 단계를 더 포함하며,
    상기 동기화하는 단계는
    상기 획득된 영상 신호로부터 기준 영점을 설정하고, 상기 기준 영점을 중심으로 일직선 상에 이격 배치된 제 1 기준점과 제 2 기준점을 설정하는 단계;
    상기 레이더 센서부로부터 검출된 영점 거리 및 영점 각도를 상기 기준 영점으로 보정하는 단계; 및
    상기 영점 거리 및 상기 영점 각도를 기준으로 상기 제 1 기준점에 대응하는 제 1 기준 거리 및 제 1 기준 각도를 설정하고, 상기 제 2 기준점에 대응하는 제 2 기준 거리 및 제 2 기준 각도를 설정하는 단계 포함하는 보행 안내 장치의 동작 방법.
13. 제 12 항에 있어서,
    상기 기준 영점, 상기 제 1 기준점 및 상기 제 2 기준점은 기 설정된 화면비를 갖는 보행 안내 장치의 동작 방법.
14. 제 10 항에 있어서,
    상기 촬상부와 상기 레이더 센서부는 도로 위를 가로질러 설치된 횡단보도를 관측하도록 기울림각, 고도 및 방위각으로 조절되는 보행 안내 장치의 동작 방법.
15. 촬상부와 레이더 센서부가 융합된 보행 안내 장치를 위한 캘리브레이션 방법에 있어서,
    복수의 기준점들을 설정하고 상기 복수의 기준점에 각각 피사체를 배치하는 단계;
    상기 촬상부를 통해 상기 복수의 기준점에 각각 배치된 피사체를 포함하는 영상 신호를 획득하는 단계;
    상기 레이더 센서부를 통해 상기 복수의 기준점에 각각 배치된 피사체의 거리 및 각도를 측정하는 단계;
    상기 복수의 기준점 중 어느 하나를 2차원 평면의 기준 영점으로 설정하고, 상기 기준 영점을 상기 기준 영점에 위치한 피사체의 거리 및 각도 정보와 매핑시키는 단계; 및
    상기 기준 영점을 제외한 나머지 2차원 평면의 복수의 기준점들을 각각 나머지 2차원 평면의 복수의 기준점들에 위치한 피사체의 거리 및 각도와 매핑시키는 단계를 포함하며,
    상기 복수의 기준점은 일직선 상에 서로 이격 배치되는 캘리브레이션 방법.
16. 제 15 항에 있어서,
    상기 영상 신호의 화면비를 고려하여, 상기 2차원 평면의 모든 점에 대하여 거리 및 각도 정보로 변환하는 단계를 더 포함하는 캘리브레이션 방법.
17. 삭제

Images