KR102462982B1 - Cctv 기반 횡단보도 보행자 탐지 정보를 활용하는 스마트 내비게이션 시스템 및 이를 이용한 스마트 내비게이션 방법 - Google Patents

Abstract

스마트 내비게이션 시스템은, 촬영되는 영상 내에서 특정 구간을 사각으로 지정하고, 상기 지정된 사각 구간에서 인식된 보행자의 GPS 좌표 값을 구하는 CCTV; 상기 GPS 좌표 값에 기초하여 보행자 좌표를 산출하고, 상기 보행자 좌표를 운전자 단말기로 전송하는 서버; 및 수신된 상기 보행자 좌표를 출력하는 운전자 단말기를 포함한다.

Description

CCTV 기반 횡단보도 보행자 탐지 정보를 활용하는 스마트 내비게이션 시스템 및 이를 이용한 스마트 내비게이션 방법 {SMART NAVIGATION SYSTEM UTILIZING THE LOCATION INFORMATION OF CROSSWALK PEDESTRIAN DETECTED BY CCTVS}

본 발명은 CCTV 기반 횡단보도 보행자 탐지 정보를 활용하는 스마트 내비게이션 시스템 및 이를 이용한 스마트 내비게이션 방법에 관한 것으로 보다 상세하게는 어린이 보호구역에서 발생할 수 있는 보행자 사고를 예방하는 CCTV 기반 횡단보도 보행자 탐지 정보를 활용하는 스마트 내비게이션 시스템 및 이를 이용한 스마트 내비게이션 방법에 관한 것이다.

어린이 보호구역에선 끊임없이 어린이 보행자 사고가 발생하고 있다. 불규칙적이고 돌발적인 어린이들의 행동 특성 상 갑작스럽게 차도로 튀어나오는 경우를 피하기 힘들기 때문에 운전자는 어린이 보행자의 행동을 미리 예측하고 감지할 수 없다는 큰 위험성을 가지고 있다.

또한, 운전자는 체구가 작은 아이들을 식별하기 쉽지 않고, 정차된 차량에서는 운전자에게 보이지 않는 사각지대가 존재한다. 하지만 사각지대로 인한 어린이 보호구역 교통사고에 대한 완전한 예방 대책이 마련되어 있지 않은 상황이다.

이에 어린이 보호구역 내에서 발생하는 어린이 보행자 교통사고를 예방하고자 스마트 횡단보도, 과속 단속 카메라 설치 확대 등의 방안이 도입되고 있지만, 종래의 기술들은 운전자들에게 경각심을 줄 뿐, 사고 방지를 위한 직접적인 대책으로 보기엔 어렵다.

또한 어린이 보호구역 내 보행자의 정확한 위치 데이터를 얻을 수 있는 가장 간단한 방법은 보행자의 휴대전화를 활용하여 GPS 정보를 얻는 것이다. 하지만 이 경우 보행자의 휴대전화가 통신가능한 상태여야만 GPS 정보를 수집할 수 있고, 어린이 보호구역을 지나가는 보행자의 휴대전화가 인터넷과 연결되어 서버와 통신하는 과정을 거치지 않으면 자신의 GPS 정보를 수신할 수 없는 한계를 가진다.

한국등록특허 제10-1882414호

본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목적은 어린이 보호 구역 내 보행자 보호를 위해 운전자들이 보행자의 위치를 실시간으로 파악할 수 있고 직관적으로 판단할 수 있는 CCTV 기반 횡단보도 보행자 탐지 정보를 활용하는 스마트 내비게이션 시스템 및 이를 이용한 스마트 내비게이션 방법을 제공하는 것이다.

또한 본 발명의 다른 목적은 다중 CCTV에서 다각도에서 찍힌 사람을 추출하여 사물에 의한 사각지대는 물론 사람에 의한 사각지대를 없애 높은 정확도의 보행자 위치를 안내하여 보행자 사고를 예방할 수 있는 CCTV 기반 횡단보도 보행자 탐지 정보를 활용하는 스마트 내비게이션 시스템 및 이를 이용한 스마트 내비게이션 방법을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스마트 내비게이션 시스템은, 촬영되는 영상 내에서 특정 구간을 사각으로 지정하고, 상기 지정된 사각 구간에서 인식된 보행자의 GPS 좌표 값을 구하는 CCTV; 상기 GPS 좌표 값에 기초하여 보행자 좌표를 산출하고, 상기 보행자 좌표를 운전자 단말기로 전송하는 서버; 및 수신된 상기 보행자 좌표를 출력하는 운전자 단말기를 포함한다.

여기서 상기 CCTV는, 상기 지정된 사각 구간의 좌표 및 상기 보행자의 발 끝 픽셀 좌표에 기초하여 상기 보행자의 위치를 상기 GPS 좌표 값으로 변환하는 GPS 좌표 변환부를 포함할 수 있다.

또한 상기 서버는, 상기 GPS 좌표 값을 병합하여 배치한 배열을 상기 보행자의 최종 위치인 보행자 좌표로 산출하는 제1 서버; 및 일정 주기마다 상기 보행자 좌표를 동기화하고, 운전자 단말기가 어린이 보호구역 또는 지정 구역 내에 위치하면 상기 보행자 좌표를 상기 운전자 단말기로 전송하는 제2 서버를 포함할 수 있다.

그리고, 상기 제1 서버는, 서로 다른 GPS 좌표 값들 간의 거리가 일정 거리 이내이면, 상기 서로 다른 GPS 좌표 값들의 평균값을 산출하고, 상기 평균값을 상기 보행자의 최종 GPS 좌표 값으로 병합하여 배치한 배열을 상기 보행자 좌표로 산출할 수 있다.

또한, 상기 제1 서버는, 서로 다른 GPS 좌표 값들 간의 거리가 일정 거리를 초과하면 가장 최근에 전달받은 상기 GPS 좌표 값이 배치된 배열에 상기 일정 거리를 초과하는 상기 GPS 좌표 값을 추가하여 배치한 배열을 상기 보행자 좌표로 산출할 수 있다.

그리고 상기 운전자 단말기는, 차량이 어린이 보호구역 또는 지정구역 내에 위치하면 상기 보행자 좌표를 출력하되, 상기 보행자 좌표에 기초하여 상기 차량과 상기 보행자의 거리가 일정거리 이내이면 경고음을 함께 출력할 수 있다.

또한 상기 제2 서버는, 일정 시간 내에 상기 제1 서버로부터 상기 보행자 좌표가 동기화되지 않으면 저장되어 있는 상기 보행자 좌표를 자동으로 삭제할 수 있다.

한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스마트 내비게이션 방법은, CCTV가 촬영되는 영상 내에서 특정 구간을 사각으로 지정하고, 상기 지정된 사각 구간에서 인식된 보행자의 GPS 좌표 값을 구하는 단계; 제1 서버가 상기 GPS 좌표 값에 기초하여 보행자 좌표를 산출하는 단계; 상기 제1 서버가 상기 보행자 좌표를 제2 서버로 전송하는 단계 및 제2 서버가 상기 보행자 좌표를 저장하고 운전자 단말기로 상기 보행자 좌표를 전송하는 단계를 포함한다.

여기서 상기 GPS 좌표 값에 기초하여 보행자 좌표를 산출하는 단계는, 상기 제1 서버가 서로 다른 GPS 좌표 값들 간의 거리가 일정 거리 이내이면, 상기 서로 다른 GPS 좌표 값들 간의 평균값을 산출하는 단계; 상기 제1 서버가 상기 평균값을 최종 GPS 좌표값으로 병합하여 배치한 배열을 상기 보행자 좌표로 산출하는 단계;를 포함할 수 있다.

또한 상기 GPS 좌표 값에 기초하여 보행자 좌표를 산출하는 단계는, 상기 제1 서버가 서로 다른 GPS 좌표 값들 간의 거리가 일정 거리를 초과하면, 가장 최근에 전달받은 GPS 좌표 값이 배치된 배열에 상기 일정 거리를 초과하는 상기 GPS 좌표 값을 추가하여 배치한 배열을 상기 보행자 좌표로 산출하는 단계를 포함할 수 있다.

그리고, 상기 운전자 단말기가 차량이 어린이 보호구역 또는 지정구역 내에 위치하면 상기 보행자 좌표를 출력하는 단계; 및 상기 운전자 단말기가 상기 보행자 좌표에 기초하여 상기 차량과 상기 보행자의 거리가 일정거리 이내이면 경고음을 출력하는 단계를 포함할 수 있다.

또한, 상기 제2 서버가 상기 보행자 좌표를 저장하고 운전자 단말기로 상기 보행자 좌표를 전송하는 단계는, 제2 서버가 일정 시간 내에 상기 제1 서버로부터 상기 보행자 좌표가 동기화되지 않으면 저장되어 있는 상기 보행자 좌표를 자동으로 삭제하는 단계를 포함할 수 있다.

그리고 상기 보행자의 GPS 좌표 값을 산출하는 단계는, 상기 CCTV가 상기 지정된 사각 구간의 좌표 및 상기 보행자의 발 끝 픽셀 좌표에 기초하여 상기 보행자의 위치를 상기 GPS 좌표 값으로 변환하는 단계를 포함할 수 있다.

상술한 본 발명의 일측면에 따르면, 어린이 보호 구역 내 보행자 보호를 위해 운전자들이 보행자의 위치를 실시간으로 파악할 수 있고 직관적으로 판단할 수 있는 것은 물론, 사물에 의한 사각지대는 물론 사람에 의한 사각지대를 없애 높은 정확도의 보행자 위치를 안내하여 보행자 사고를 예방할 수 있다.

또한 어린이 보호구역 또는 지정 구역 내에 위치한 보행자가 별도의 통신가능한 단말기를 소지하고 있지 않더라도 다중 CCTV를 통해 촬영된 보행자의 위치를 산출함으로써 운전자에게 보행자의 정확한 위치를 안내할 수 있다.

도 1은 본 발명의 일 실시예에 따른 스마트 내비게이션 시스템을 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 CCTV를 설명하기 위한 블록도,
도 3은 본 발명의 일 실시예에 따른 CCTV에서 보행자 GPS 좌표 값을 산출하는 과정을 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른 제1 서버를 설명하기 위한 블록도,
도 5는 본 발명의 일 실시예에 따른 제1 서버에서 수행하는 다중 CCTV 병합 작업(Multiple CCTV Merging Operation)의 알고리즘을 설명하기 위한 도면,
도 6은 본 발명의 일 실시예에 따른 제1 서버에서 수행하는 다중 CCTV 병합 작업을 설명하기 위한 도면,
도 7은 본 발명의 일 실시예에 따른 제1 서버에서 수행하는 다중 CCTV 병합 작업을 설명하기 위한 흐름도,
도 8은 본 발명의 일 실시예에 따른 운전자 단말기에서 보행자의 위치가 표시되는 모습을 설명하기 위한 도면,
도 9는 본 발명의 일 실시예에 따른 운전자 단말기에서 수행하는 동작을 설명하기 위한 흐름도, 그리고,
도 10은 본 발명의 다른 실시예에 따른 CCTV를 설명하기 위한 블록도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 스마트 내비게이션 시스템을 설명하기 위한 도면이다.

본 실시예에 따른 스마트 내비게이션 시스템은 어린이 보호구역에서 발생할 수 있는 보행자 사고를 예방하기 위해 마련되는 것으로, 적어도 하나의 CCTV(Closed Ciruit Television)(100), 제1 서버(200), 제2 서버(300) 및 운전자 단말기(400)를 포함한다. 그리고, CCTV(100), 제1 서버(200), 제2 서버(300) 및 운전자 단말기(400) 각각에는 스마트 내비게이션 시스템을 이용한 스마트 내비게이션 방법을 수행하기 위한 소프트웨어(애플리케이션)가(이) 설치되어 실행되거나 이에 의해 제어될 수 있다.

본 실시예에 따른 CCTV(100)는 적어도 하나 이상 마련되어 어린이 보호 구역은 물론 일반 도로를 촬영할 수 있는 위치에 설치되어 영상을 촬영하며, 촬영하는 영상으로부터 보행자를 인식하고, 인식된 보행자의 위치를 GPS 좌표 값으로 변환하여 제1 서버(200)로 전송할 수 있다. 본 실시예에 따른 CCTV(100)와 관련하여서는 도 2 및 도 3에서 보다 자세히 후술하기로 한다.

한편, 제1 서버(200)는 적어도 하나의 CCTV(100)로부터 전달받은 보행자의 GPS 좌표 값에 기초하여 최종적으로 보행자의 좌표를 산출하기 위해 마련되고, 산출된 보행자 좌표를 제2 서버(300)로 전송할 수 있다.

또한 제1 서버(200)는 복수의 CCTV(100)로부터 보행자의 GPS 좌표 값을 전달받으면 일정 조건에 따라 보행자 GPS 좌표 값을 분석하여 보행자가 동일 인물인지를 판별하고, GPS 좌표 값에 대한 중복을 최소화하도록 병합을 수행할 수 있다. 이러한 제1 서버(200)는 도 4 내지 도 7에서 자세히 후술하기로 한다.

한편, 제2 서버(300)는 제1 서버(200)로부터 보행자 좌표를 전달받아 저장하여 관리하는 데이터베이스 서버로, 운전자 단말기(400)와 일정 주기마다 통신하여 운전자 단말기(400)의 위치정보를 수신하며 이를 기반으로 어린이 보호구역 진입 여부 또는 지정된 구역 진입 여부를 판단한다. 그리고 제2 서버(300)는 어린이 보호구역 또는 지정된 구역 진입 여부에 따라 저장된 보행자 좌표를 운전자 단말기(400)로 전송할 수 있다.

그리고 제2 서버(300)는 제1 서버(200)로부터 일정 시간 이내에 새로운 보행자 좌표가 동기화되지 않으면 어린이 보호구역 또는 보행자를 감지하기 위해 지정된 구역에 보행자가 없는 것으로 간주하여 저장되어 있는 보행자 좌표를 모두 자동으로 삭제할 수 있다. 여기서 일정 시간은 10초로 설정될 수 있다.

물론, 이는 설명의 편의를 위한 예시적 사항으로, 이상의 일정 시간 간격은 차량이 위치한 어린이 보호구역 또는 지정 구역의 길이와 차량의 운행속도에 기초하여 변경될 수 있다.

본 실시예에 따른 스마트 내비게이션 시스템에서는 제1 서버(200) 및 제2 서버(300)가 각각 구성되는 것으로 상정하였으나, 제1 서버(200) 및 제2 서버(300)는 하나의 서버로 통합되어 마련될 수도 있다.

한편 운전자 단말기(400)는 도로를 주행중인 차량을 운전하는 운전자가 소지하거나 차량에 장착된 단말기로, 스마트 내비게이션 방법을 수행하기 위한 소프트웨어(애플리케이션)가(이) 설치되어 실행될 수 있다. 이러한 운전자 단말기(400)에 대해서는 후술하는 도 8 및 도 9에서 자세히 설명하기로 한다.

한편, 도 2는 본 발명의 일 실시예에 따른 CCTV(100)를 설명하기 위한 블록도, 그리고 도 3(a)는 본 발명의 일 실시예에 따른 CCTV(100)에서 보행자 GPS 좌표 값을 산출하는 과정을 설명하기 위한 도면이다.

본 실시예에 따른 CCTV(100)는 보행자가 보행자의 GPS 정보를 수집할 수 있는 별도의 단말기를 구비하지 않더라도 보행자의 GPS 좌표를 산출하여 어린이 보호 구역 내의 도로 또는 일반 도로를 주행 중인 운전자에게 보행자의 위치를 알려주기 위해 마련되며, 이를 위해 통신부(110), 센서부(120), 보행자 인식부(130) 및 GPS 좌표 변환부(140)를 포함할 수 있다.

통신부(110)는 제1 서버(200)로 보행자의 GPS 좌표 값을 전송하기 위해 마련되며, GPS 좌표 값을 전송할 때는 서로 다른 CCTV(100)를 식별하기 위해 자신의 IP 주소를 함께 전송할 수 있다.

센서부(120)는 카메라 센서를 포함하여 설정된 구역의 영상을 촬영하기 위해 마련된다.

한편 보행자 인식부(130)는 센서부(120)에서 촬영된 영상으로부터 보행자를 인식하기 위한 것으로, 구배(gradient)의 방향 성분으로 히스토그램에서 객체의 상태를 추출 분류하는 방식인 hog 알고리즘을 이용해 프레임마다 보행자 객체를 검출한다.

GPS 좌표 변환부(140)는 촬영된 영상에서 인식된 보행자의 발 끝 픽셀 좌표를 기초로 보행자의 위치를 보행자의 GPS 좌표로 변환하기 위해 마련된다.

GPS 좌표 변환부(140)는 센서부(120)에서 촬영되는 영상에서 어린이 보호구역을 사각 구간으로 지정하는데, 여기서 사각 구간이라 함은 보행자를 감지하기 위한 영역으로 본 발명에서는 어린이 보호 구역 내의 횡단보도가 표시된 영역일 수 있으며 이는 필요에 따라 관리자에 의해 설정 및 변경될 수 있다.

즉, 보행자를 인식하고자 하는 영역을 도3 (a)에서와 같이 사각 구간으로 지정하고, 이렇게 지정된 영상의 사각 구간 내의 보행자의 픽셀 좌표를 특정한다. 그리고 GPS 좌표 변환부(140)에는 촬영되는 구역의 특정 지점별 GPS 좌표값이 사전에 저장되거나, 이를 이미지 상의 픽셀별 좌표와 그에 대응되는 실제 공간의 GPS 좌표 간의 관계값이 사전에 저장되어 있을 수 있다.

또한 GPS 좌표 변환부(140)는 getPerspectiveTransform 함수를 사용하며, 이를 통해 변환행렬 M을 구할 수 있다. 변환행렬 M은 다음의 수학식 1과 같이 정의된다.

[수학식 1]

그리고 CCTV 화면 상의 픽셀 좌표와 실제 공간 상의 좌표 간의 차이를 보정하기 위해 기존 차수에서 1개의 차원을 추가한 형태인 동차 좌표계 w를 사용하며 이는 다음의 수학식 2와 같다.

[수학식 2]

예를 들면, 보행자의 발 끝 좌표인 CCTV 화면 상의 픽셀 좌표 (x, y)에 대응하는 동차 좌표는 (wx, wy, w)로 표현하고, 이를 다시 실제 공간 상의 좌표로 바꿀 때는 각 성분을 w로 나누고 높이가 동일하다고 가정하여 w를 떼어 (x/w, y/w) 형태로 표현한다. 원근 변환을 위해 (x, y, 1)의 좌표계가 필요하다. 이 좌표계의 x, y에 인식된 사람의 발 끝 픽셀좌표를 저장한다. 실제 공간 상의 좌표는 다음의 수학식 3 내지 수학식 4와 같이 정의된다.

[수학식 3]

[수학식 4]

따라서 GPS 좌표 변환부(140)는 변환 행렬과 동차 좌표계를 이용한 위 수학식 3과 수학식 4를 통해 사각 구간 내에서의 보행자의 픽셀 좌표에 기초하여 보행자의 위치를 GPS 좌표로 변환하며, 변환된 GPS 좌표를 제1 서버(200)로 전송할 수 있다.

본 실시예에 따른 CCTV(100)는 이상에서와 같은 방식을 통해 보행자를 인식하고, 보행자의 발 끝 픽셀 좌표를 기초로 보행자의 위치를 GPS 좌표 값으로 변환하여 제1 서버(200)로 전달하게 되며, 본 시스템에서의 CCTV(100)는 단일 또는 복수개로 마련될 수 있다.

이러한 단수 또는 복수의 CCTV(100)에 의해 보행자의 GPS 정보를 전송할 수 있는 별도의 단말기를 소지하지 않더라도 촬영되는 영상으로부터 사물에 의한 사각지대는 물론 사람에 의한 사각지대를 없애 높은 정확도로 보행자의 위치를 알 수 있게 된다.

한편, 도 4는 본 발명의 일 실시예에 따른 제1 서버(200)를 설명하기 위한 블록도, 도 5는 본 발명의 일 실시예에 따른 제1 서버(200)에서 수행하는 다중 CCTV 병합 작업(Multiple CCTV Merging Operation)의 알고리즘을 설명하기 위한 도면, 도 6은 본 발명의 일 실시예에 따른 제1 서버(200)에서 수행하는 다중 CCTV 병합 작업을 설명하기 위한 도면, 도 7은 본 발명의 일 실시예에 따른 제1 서버(200)에서 수행하는 다중 CCTV 병합 작업을 설명하기 위한 흐름도, 그리고 도 8은 본 발명의 일 실시예에 따른 운전자 단말기(400)에서 보행자의 위치가 표시되는 모습을 설명하기 위한 도면이다.

본 실시예에 따른 제1 서버(200)는 단수 또는 복수의 CCTV(100)로부터 전달받은 보행자 GPS 좌표 값에 기초하여 최종적으로 보행자의 좌표를 산출하기 위해 마련되며, 통신부(210), 스레드(thread) 생성부(220) 및 보행자 좌표 산출부(230)를 포함하도록 마련된다.

통신부(210)는 CCTV(100)로부터 GPS 좌표 값을 수신하거나, 산출된 보행자 좌표를 제2 서버(300)로 전송하기 위해 마련된다.

스레드 생성부(220)는 제1 서버(200)에 접속하는 클라이언트, 즉 접속하는 CCTV(100)의 개수만큼 스레드를 생성하기 위해 마련된다.

그리고 보행자 좌표 산출부(230)는 전달받은 보행자의 GPS 좌표 값에 기초하여 보행자의 최종 위치인 보행자 좌표를 산출하기 위해 마련되는 것으로, 최종 보행자 좌표인 보행자 GPS 좌표 값을 지도상에 배치시킨 배열을 제2 서버(300)로 전달한다. 이 때 연결된 CCTV(100)가 복수인 경우에는 각 CCTV로부터 전달받은 복수의 GPS 값을 지도상에 배치시켜 배열하되, 일정 조건에 따라 GPS 값을 병합하여 배치한 배열을 최종 보행자 좌표로 산출하여 제2 서버(300)로 전송하게 된다. 즉 제1 서버(200)에서 산출되는 최종 보행자 좌표는 최종적으로 병합된 GPS 좌표 값들이 지도상에 배치된 배열을 의미할 수 있다.

구체적으로 본 실시예에 따른 제1 서버(200)에서 수행되는 다중 CCTV(100) 병합 작업의 알고리즘은 도 5에 도시된 바와 같이 소켓통신된 각 CCTV(100)와 연결되면 접속된 CCTV(100)의 수만큼 스레드를 생성하고, 만약 연결된 CCTV(100)가 한 개인 경우에는 해당 CCTV로부터 전달된 GPS 좌표 값을 지도 상에 위치시킨 배열이 최종 보행자 좌표가 되므로 바로 제2 서버(300)로 전송한다.

반면, 만약 연결된 CCTV(100)가 두 개 이상인 경우에는 서로 다른 CCTV(100)에서 전달받은 보행자들의 GPS 좌표 값들을 지도상에 배치시킨 배열에서, 각 GPS 좌표 값들을 비교하여 일정거리 내에 위치하는 GPS 좌표 값은 같은 보행자로 판단한다. 그리고 같은 보행자로 판단된 각 GPS 좌표 값들 간의 평균값을 동일한 보행자의 최종 GPS 좌표 값으로 병합하여 배치한 배열을 보행자의 최종 보행자 좌표로 산출하여 제2 서버(300)로 전송한다.

또한 제1 서버(200)는 각 GPS 좌표 값들 간의 거리가 일정 거리 내에 위치하지 않는다면, 가장 최근에 연결된 CCTV(100)의 보행자 GPS 좌표 값이 배치된 배열에 일정 거리 내에 위치하지 않는 보행자의 GPS 좌표 값을 추가하는 병합을 수행함으로써 각 GPS 좌표 값들을 배치한 배열을 최종 보행자 좌표로하여 제2 서버(300)로 전송한다. 이때 제1 서버(200)는 병합하는 과정에서 각 CCTV(100)를 구분하는데 수신된 CCTV(100)의 IP 주소를 사용함으로써 보행자 정보는 중복되지 않도록 한다.

구체적으로 도 6에 도시된 바와 같이 시각 T일 때 제1 서버(200)에 A, B 및 C로 총 3개의 CCTV(100)가 접속되어 있다고 가정하고, B-A-C순으로 각 CCTV(100)로부터 제1 서버(200)가 보행자의 GPS 좌표 값을 수신했을 경우, 제1 서버(200)는 먼저 A와 B 로부터 수신된 보행자의 GPS 좌표 값을 지도상에 배치하여 GPS 좌표 값들의 거리를 비교한다. 이를 통해 동일한 보행자로 판단되는 GPS 좌표 값들 간의 평균값을 GPS 좌표 값으로 병합하거나 동일한 보행자가 아닌 것으로 판단되는 GPS 좌표 값을 추가해서 병합한 GPS 좌표 값들을 배치한 새로운 배열 A'를 산출한다. 그리고나서 다시 C로부터 수신된 보행자의 GPS 좌표 값을 배열 A'에 배치하여 상술한 방법과 동일하게 평균값으로 병합하거나 추가하여 병합하여 GPS 좌표 값들을 비교하여 A'와 C 간의 보행자 GPS 좌표 값을 상술한 방법과 동일하게 병합하여 최종 GPS 좌표 값을 배치한 배열 C'를 산출한다. 이후 시각 T의 최종적인 보행자 GPS 좌표 값을 담은 배열 C'가 제2 서버(300)로 전송될 수 있다.

그리고 복수의 CCTV(100) 중에서 A에서 전송된 GPS 좌표 값에 의한 마커 개수가 M개, B에서 전송된 GPS 좌표 값에 의한 마커 개수가 J개, C에서 전송된 GPS 좌표 값에 의한 마커 개수가 N개이고, 마커의 개수가 J>M>N인 경우, 제1 서버(200)에서 보행자의 GPS 좌표 값들을 병합하여 배열되는 최종 보행자 좌표에 기초하여 최종적으로 운전자 단말기(400)의 지도 상에 표시되는 마커의 최대 개수는 J+M+N개이고, 표시되는 마커의 최소 개수는 J개이다.

마커의 개수가 J+M+N개로 표시되는 경우는 각각의 GPS 좌표 값에 해당하는 보행자가 모두 다른 보행자인 경우에 해당되는 것이고, J개로 표시되는 경우는 각각의 GSP 좌표 값에 해당하는 보행자 중 중복되는 보행자를 하나의 마커로 표시하는 경우에 해당될 수 있다.

구체적으로 도 8은 GPS 좌표 값들 간의 거리가 일정거리 이내에 위치한 경우 운전자 단말기(400)에 표시되는 마커의 개수를 설명하기 위한 도면이다. 따라서 도시된 바와 같이 각 CCTV(100)에서 전달받은 각각의 GPS 좌표 값들을 배치하여 배열된 GPS 좌표 값들 간의 거리가 일정거리 이내이므로 모두 동일한 보행자로 인식하게 되고, 이에 따라 운전자 단말기(400)에는 최소 개수인 5개의 마커만 표시되는 것이다.

반면 도 8에서 배열된 GPS 좌표 값들 간의 거리가 기 설정된 일정거리 이내가 아닌 경우에는 모두 다른 보행자로 인식하게 되므로, 도면에는 미도시되었으나 운전자 단말기(400)에 표시되는 마커 개수는 최대 개수인 총 12개로 표시되는 것이다.

이러한 제1 서버(200)에서 수행하는 다중 CCTV 병합 방법은 아래와 같다.

제1 서버(200)가 단수 또는 복수의 CCTV(100)과 연결되면, 스레드 생성부(220)는 연결된 CCTV(100)마다 스레드(thread)를 생성한다(S710).

그러면 보행자 좌표 산출부(230)는 단수 또는 복수의 CCTV(100)로부터 수신된 보행자의 GPS 좌표 값을 지도상에 배치시켜 배열한다(S720). 이 때 도면에는 미도시 되었으나, 만약 보행자 좌표 산출부(230)는 연결된 CCTV(100)가 단수인 경우에는 병합할 GPS 좌표 값이 없으므로 단계 S720를 수행한 이후 보행자 좌표를 제2 서버(300)로 전송하는 단계(S770)로 이동한다.

그리고 보행자 좌표 산출부(230)는 GPS 좌표 값이 배치된 배열에서 서로 다른 CCTV에서 수신된 GPS 좌표 값들 간의 거리를 비교한다(S730).

보행자 좌표 산출부(230)는 GPS 좌표 값들 간의 거리가 일정 거리 이내에 위치하는지 판단한다(S740).

만약 GPS 좌표 값들이 일정 거리 이내에 위치하면(S740-예), 해당 GPS 좌표 값들을 동일한 보행자로 판단하여 일정 거리 이내에 위치하는 GPS 좌표 값들의 평균값을 구하고, 평균값을 최종 GPS 좌표 값으로 병합하여 해당 최종 GPS 좌표 값을 배열한다(S750).

그리고 보행자 좌표 산출부(230)는 보행자 좌표로서 최종 GPS 좌표 값이 배치된 배열을 제2 서버(300)로 전송한다(S770).

반면 GPS 좌표 값들이 일정 거리 이내에 위치하지 않으면(S740-아니오), 해당 GPS 좌표 값들을 각각 다른 보행자로 판단하여 다른 보행자로 판단된 GPS 좌표 값을 가장 최근에 연결된 CCTV(100)로부터 수신한 GPS 좌표 값이 배치된 배열에 추가하여 배열한다(S760).

이후 보행자 좌표 산출부(230)는 보행자 좌표로서 GPS 좌표 값이 추가 배치된 배열을 제2 서버(300)로 전송한다(770).

한편, 도 9는 본 발명의 일 실시예에 따른 운전자 단말기(400)에서 수행하는 동작을 설명하기 위한 흐름도이다.

그리고 운전자 단말기(400)는 실시간으로 제2 서버(300)로 위치 정보를 전송하고, 제2 서버(300)로부터 보행자 좌표를 수신받아 디스플레이에 표시하거나, 스피커를 통해 경고음을 출력할 수 있다.

운전자 단말기(400)에서 보행자 좌표가 디스플레이에 표시되는 경우, 보행자의 위치를 빨간색과 같이 시인성이 뛰어난 색상으로 표시되도록 할 수 있다. 또한 운전자 단말기(400)는 제1 서버(200)에서 산출된 보행자 좌표를 출력할 때 제1 서버(200)에서 서로 다른 보행자로 산출된 보행자 좌표라 하더라도 일정 거리 내에 있는 서로 다른 보행자들은 운전자가 확인하기 쉽게 하나의 점으로 표시하거나, 서로 다른 보행자에 대한 보행자 좌표 각각을 다른 색상으로 표시할 수도 있다. 이러한 설정은 운전자 또는 관리자에 의해 설정될 수 있다.

그리고 운전자 단말기(400)는 차량이 어린이 보호구역 내에 위치한 상태에서 보행자의 위치가 운전자와 일정 거리 이내에 위치하거나 위험구역에 있을 경우에는 운전자가 보행자를 확실하게 인식할 수 있도록 하기 위해 보행자의 위치표시와 함께 경고음을 동시에 출력하도록 한다. 여기서 경고음은 보행자가 근접해 있음을 안내하는 음성이거나 일정 패턴의 소리일 수 있다.

또한 보행자와의 거리 정도에 따라 출력되는 경고음의 크기나 출력빈도를 다르게 설정하여 운전자가 직관적으로 보행자와의 거리를 알 수 있도록 할 수 있다.

예를 들면 보행자와 거리가 1m 이내인 경우에는 스피커에서 출력가능한 최대크기로 경고음이 출력되도록 하거나 보행자와의 거리가 가까워질수록 경고음의 크기가 점진적으로 커지도록 출력할 수 있다.

이를 통해 운전자는 실시간으로 움직이는 보행자의 위치를 알 수 있고, 어린이 보호구역 진입 시 해당 구역 내에 보행자가 위치할 경우 에는 보행자의 위치표시와 함께 경고음이 출력되므로 운전자에게 경감심을 줄 수 있다.

이러한 운전자 단말기(400)에서 수행되는 스마트 내비게이션 방법은 아래와 같아.

먼저 운전자 단말기(400)는 제2 서버(300)로 차량의 위치정보를 전송한다(S910).

만약 운전자 단말기(400)는 차량의 위치가 어린이 보호구역 내에 위치하면(S920-예), 제2 서버(300)와 통신하여 제2 서버(300)로부터 보행자 좌표를 수신한다(S930).

이후 운전자 단말기(400)는 수신된 보행자 좌표를 디스플레이에 표시되는 지도 상에 표시되도록 출력한다(S940).

그리고 운전자 단말기(400)는 출력된 보행자 좌표에 기초하여 보행자와 차량이 가까운지 판단한다(S950).

만약 보행자와 차량이 일정거리 이내에 위치하여 가까운 것으로 판단하면(S950-예), 위험 신호를 출력한다(S960). 여기서 위험신호는 스피커를 통해 출력되는 경고음으로 상술한 바와 같이 안내 음성이거나 일정 패턴의 소리일 수 있다.

이후 운전자 단말기(400)는 다시 제2 서버로 차량의 위치를 전송한다(S970).

그리고 운전자 단말기(400)는 차량이 어린이 보호구역 내에 위치하는지를 판단하고(S980), 여전히 어린이 보호구역 내에 위치하는 것으로 판단되면(S980-예), 제2 서버(300)로부터 보행자 좌표를 전달받는 S930으로 회귀할 수 있다.

반면 운전자 단말기(400)는 어린이 보호구역을 벗어난 것으로 판단되면(S980-아니오), 종료한다.

이에 의해 본 발명의 일 실시예에 따른 스마트 내비게이션 시스템 및 이를 이용한 방법은 다각도에서 지정된 구간을 촬영하는 다중 CCTV를 사용하여 차량, 나무, 사람 등으로 발생할 수 있는 사각지대 문제를 해결할 수 있다. 또한 각 CCTV의 보행자 GPS 좌표 값을 제1 서버(200)에 전송하고, 제1 서버(200)는 수신된 GPS 좌표 값의 다중 CCTV 병합 작업(Multiple CCTV Merging Operation)을 통해 어린이 보호구역 내의 보행자 좌표를 최종적으로 파악 후 제2 서버(300)에 저장함으로써 사각지대 및 단일 CCTV 환경 조건으로 생길 수 있는 문제점을 해결할 수 있는 효과가 있다.

이상에서는 CCTV(100)에서 2D 이미지를 이용해 보행자의 GPS 좌표 값을 산출하는 것으로 상정하였으나, 본 발명의 다른 실시예에 따른 스마트 내비게이션 시스템에서는 CCTV(100)의 GPS 좌표 변환부(140)가 제1 서버(200)에 마련될 수도 있다.

그리고 본 발명의 일 실시예에 따른 스마트 내비게이션 시스템에서는 제1 서버(200)를 CCTV(100)와는 별개의 구성으로 상정하였으나, 제1 서버(200)를 별개로 구성하지 않고 복수의 CCTV(100)들 중 제1 서버(200)역할을 할 수 있는 마스터 CCTV(100)를 지정하여 해당 마스터 CCTV(100)에 스레드 생성부(220) 및 보행자 좌표 산출부(230)가 마련되도록 할 수도 있음은 물론이다.

한편, 도 10은 본 발명의 다른 실시예에 따른 CCTV(100)의 구성을 설명하기 위한 도면으로, 본 발명의 다른 실시예에 따른 스마트 내비게이션 시스템은 보행자의 위치를 GPS 좌표로 변환하는 과정을 다르게 구현할 수도 있다.

이를 위해 다른 실시예에 따른 CCTV(100)는 상술한 일 실시예에 따른 CCTV(100)에 3D 좌표 매핑부(150)를 더 포함할 수 있으며, 이하에서는 3D 좌표 매핑부(150) 및 GPS 좌표 변환부(140)를 중심으로 설명하기로 한다.

3D 좌표 매핑부(150)는 촬영된 영상에서 인식된 사람 즉 보행자의 발 끝 픽셀 좌표를 산출하기 위해 원근 변환(perspective transformation) 과정을 수행하고, 보행자의 발 끝 픽셀 좌표를 GPS 좌표 변환부(140)로 전달한다. 이를 위해 3D 좌표 매핑부(150)에는 촬영되는 구역의 특정 지점별 GPS 좌표값이 사전에 저장되거나, 이를 산출하기 위해 이미지 상의 픽셀별 좌표와 그에 대응되는 실제 공간의 GPS 좌표 간의 관계값이 사전에 저장되어 있을 수 있다.

3D 좌표 매핑부(150)는 센서부(120)에서 촬영되는 영상 프레임에서 어린이 보호구역을 크기와 너비에 제약이 없는 사각 구간을 지정한다.

즉, 보행자의 좌표를 산출하고자 하는 영역을 도3 (a)에서와 같이 사각 구간으로 지정하고, 이렇게 지정된 영상의 사각 구간을 이지미 와핑(image warping) 과정을 거쳐 도 3(b)에 도시된 바와 같이 일정 픽셀 단위를 갖는 프레임으로 변환한다.

지정된 프레임으로부터 보행자의 발 끝 좌표를 특정하고, 이렇게 특정된 발 끝 좌표는 상술한 변환행렬과 동차좌표계를 이용해 구해진 보행자의 픽셀 좌표를 GPS 좌표 변환부(140)로 전달한다.

한편 다른 실시예에 따른 GPS 좌표 변환부(140)는 3D 좌표 매핑부(150)로부터 전달받은 보행자의 픽셀 좌표에 기초하여 보행자의 위치를 GPS 좌표로 변환하며, 변환된 GPS 좌표를 제1 서버(200)로 전송할 수 있다.

GPS 좌표 변환부(140)는 보행자의 픽셀 좌표에 기초하여 보행자의 위치를 GPS 좌표 값으로 변환하기 위해서 사각구간으로 지정된 범위의 픽셀 단위와 실제 공간에서의 가로 세로 간 거리 비를 구한다.

구체적으로 예를 들면 도 3 (a)에 도시된 바와 같이 촬영된 영상에서 (a0, a1), (b0, b1), (c0, c1) 및 (d0, d1)의 지점이 사각 구간으로 지정되면, 도 3(b)에 도시된 바와 같이 설정된 사각 구간이 정해진 픽셀 단위를 갖는 프레임으로 변환되고, 변환된 프레임 내에서의 각 꼭짓점의 좌표와 실제 공간에서의 가로 세로 간 거리 비 즉 픽셀 간 위도 비 및 경도 비를 구한다.

도 3 (b) 및 (c)에 도시된 바와 같이 GPS 좌표 변환부(140)는 이렇게 구해진 거리 비를 이용하여 보행자의 위치를 GPS 좌표 값으로 변환할 수 있다.

구체적으로 살펴보면, 먼저 지정된 사각 구간의 원점(0,0)과 점 H 간의 거리를 구하고, 원점(0,0)과 점 H를 지나는 직선의 방정식을 연립하여 점 H의 픽셀 좌표 값 즉 점 H의 GPS 좌표 값을 구한다.

그리고 나서 보행자의 위치인 점 P와 점 H 간의 거리를 구하고, 점 P와 H를 지나는 직선의 방정식을 연립하여 보행자의 GPS 좌표 값을 구할 수 있게 된다.

여기서 a0~d1은 사각 구간으로 지정된 각 꼭짓점의 실제 공간의 GPS상 좌표이고, f0 및 f1은 보행자의 발 끝 픽셀좌표이며, H는 보행자의 위치 P를 구하기 위한 GPS상 좌표이고, H_x는 H의 x좌표로 경도이고, H_y는 H의 y좌표로 위도를 의미하고 P는 보행자의 GPS 좌표를 의미한다.

이상에서는 본 발명의 다양한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : CCTV 110 : 통신부
120 : 센서부 130 : 보행자 인식부
140 : GPS 좌표 변환부 150 : 3D 좌표 매핑부
200 : 제1 서버 210 : 통신부
220 : 스레드 생성부 230 : 보행자 좌표 산출부
300 : 제2 서버 400 : 운전자 단말기

Claims (13)

1. 촬영되는 영상 내에서 특정 구간을 사각으로 지정하고, 상기 지정된 사각 구간에서 인식된 보행자의 GPS 좌표 값을 구하는 CCTV;
   상기 GPS 좌표 값에 기초하여 보행자 좌표를 산출하고, 상기 보행자 좌표를 운전자 단말기로 전송하는 서버; 및
   수신된 상기 보행자 좌표를 출력하는 운전자 단말기를 포함하고,
   상기 CCTV는,
   상기 지정된 사각 구간의 좌표 및 상기 보행자의 발 끝 픽셀 좌표에 기초하여 상기 보행자의 위치를 상기 GPS 좌표 값으로 변환하는 GPS 좌표 변환부를 포함하며,
   상기 서버는,
   상기 GPS 좌표 값을 병합하여 배치한 배열을 상기 보행자의 최종 위치인 보행자 좌표로 산출하는 제1 서버; 및
   일정 주기마다 상기 보행자 좌표를 동기화하고, 운전자 단말기가 어린이 보호구역 또는 지정 구역 내에 위치하면 상기 보행자 좌표를 상기 운전자 단말기로 전송하는 제2 서버를 포함하는 것을 특징으로 하는 스마트 내비게이션 시스템.
   
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 제1 서버는,
   서로 다른 GPS 좌표 값들 간의 거리가 일정 거리 이내이면, 상기 서로 다른 GPS 좌표 값들의 평균값을 산출하고, 상기 평균값을 상기 보행자의 최종 GPS 좌표 값으로 병합하여 배치한 배열을 상기 보행자 좌표로 산출하는 것을 특징으로 하는 스마트 내비게이션 시스템.
   
5. 제1항에 있어서,
   상기 제1 서버는,
   서로 다른 GPS 좌표 값들 간의 거리가 일정 거리를 초과하면 가장 최근에 전달받은 상기 GPS 좌표 값이 배치된 배열에 상기 일정 거리를 초과하는 상기 GPS 좌표 값을 추가하여 배치한 배열을 상기 보행자 좌표로 산출하는 것을 특징으로 하는 스마트 내비게이션 시스템.
   
6. 제1항에 있어서,
   상기 운전자 단말기는,
   차량이 어린이 보호구역 또는 지정구역 내에 위치하면 상기 보행자 좌표를 출력하되, 상기 보행자 좌표에 기초하여 상기 차량과 상기 보행자의 거리가 일정거리 이내이면 경고음을 함께 출력하는 것을 특징으로 하는 스마트 내비게이션 시스템.
   
7. 제1항에 있어서,
   상기 제2 서버는,
   일정 시간 내에 상기 제1 서버로부터 상기 보행자 좌표가 동기화되지 않으면 저장되어 있는 상기 보행자 좌표를 자동으로 삭제하는 것을 특징으로 하는 스마트 내비게이션 시스템.
   
8. CCTV가 촬영되는 영상 내에서 특정 구간을 사각으로 지정하고, 상기 지정된 사각 구간에서 인식된 보행자의 GPS 좌표 값을 구하는 단계;
   제1 서버가 상기 GPS 좌표 값에 기초하여 보행자 좌표를 산출하는 단계;
   상기 제1 서버가 상기 보행자 좌표를 제2 서버로 전송하는 단계 및
   제2 서버가 상기 보행자 좌표를 저장하고 운전자 단말기로 상기 보행자 좌표를 전송하는 단계를 포함하고,
   상기 보행자의 GPS 좌표 값을 산출하는 단계는,
   상기 CCTV가 상기 지정된 사각 구간의 좌표 및 상기 보행자의 발 끝 픽셀 좌표에 기초하여 상기 보행자의 위치를 상기 GPS 좌표 값으로 변환하는 단계를 포함하며,
   상기 제1 서버가 상기 GPS 좌표 값에 기초하여 보행자 좌표를 산출하는 단계에서는,
   상기 제1 서버가 상기 GPS 좌표 값을 병합하여 배치한 배열을 상기 보행자의 최종 위치인 보행자 좌표로 산출하고,
   상기 제2 서버가 상기 보행자 좌표를 저장하고 운전자 단말기로 상기 보행자 좌표를 전송하는 단계에서는,
   일정 주기마다 상기 보행자 좌표를 동기화하고, 운전자 단말기가 어린이 보호구역 또는 지정 구역 내에 위치하면 상기 보행자 좌표를 상기 운전자 단말기로 전송하는 것을 특징으로 하는 스마트 내비게이션 방법.
   
9. 제8항에 있어서,
   상기 GPS 좌표 값에 기초하여 보행자 좌표를 산출하는 단계는,
   상기 제1 서버가 서로 다른 GPS 좌표 값들 간의 거리가 일정 거리 이내이면, 상기 서로 다른 GPS 좌표 값들 간의 평균값을 산출하는 단계;
   상기 제1 서버가 상기 평균값을 최종 GPS 좌표값으로 병합하여 배치한 배열을 상기 보행자 좌표로 산출하는 단계;를 포함하는 것을 특징으로 하는 스마트 내비게이션 방법.
   
10. 제8항에 있어서,
    상기 GPS 좌표 값에 기초하여 보행자 좌표를 산출하는 단계는,
    상기 제1 서버가 서로 다른 GPS 좌표 값들 간의 거리가 일정 거리를 초과하면, 가장 최근에 전달받은 GPS 좌표 값이 배치된 배열에 상기 일정 거리를 초과하는 상기 GPS 좌표 값을 추가하여 배치한 배열을 상기 보행자 좌표로 산출하는 단계를 포함하는 것을 특징으로 하는 스마트 내비게이션 방법.
    
11. 제8항에 있어서,
    상기 운전자 단말기가 차량이 어린이 보호구역 또는 지정구역 내에 위치하면 상기 보행자 좌표를 출력하는 단계; 및
    상기 운전자 단말기가 상기 보행자 좌표에 기초하여 상기 차량과 상기 보행자의 거리가 일정거리 이내이면 경고음을 출력하는 단계를 포함하는 것을 특징으로 하는 스마트 내비게이션 방법.
    
12. 제8항에 있어서,
    상기 제2 서버가 상기 보행자 좌표를 저장하고 운전자 단말기로 상기 보행자 좌표를 전송하는 단계는,
    제2 서버가 일정 시간 내에 상기 제1 서버로부터 상기 보행자 좌표가 동기화되지 않으면 저장되어 있는 상기 보행자 좌표를 자동으로 삭제하는 단계를 포함하는 것을 특징으로 하는 스마트 내비게이션 방법.
13. 삭제

Images