KR102278644B1 - 차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법 - Google Patents

차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법 Download PDF

Info

Publication number
KR102278644B1
KR102278644B1 KR1020190077929A KR20190077929A KR102278644B1 KR 102278644 B1 KR102278644 B1 KR 102278644B1 KR 1020190077929 A KR1020190077929 A KR 1020190077929A KR 20190077929 A KR20190077929 A KR 20190077929A KR 102278644 B1 KR102278644 B1 KR 102278644B1
Authority
KR
South Korea
Prior art keywords
image data
black box
vehicle black
tracking
estimated
Prior art date
Application number
KR1020190077929A
Other languages
English (en)
Other versions
KR20210001606A (ko
Inventor
김영후
김현수
김현기
Original Assignee
주식회사 아이서티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이서티 filed Critical 주식회사 아이서티
Priority to KR1020190077929A priority Critical patent/KR102278644B1/ko
Publication of KR20210001606A publication Critical patent/KR20210001606A/ko
Application granted granted Critical
Publication of KR102278644B1 publication Critical patent/KR102278644B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

객체추적 방법이 개시된다. 본 발명에 따른 객체추적 방법은 적어도 하나의 차량용 블랙박스 단말의 위치를 확인하는 단계, 사건 신고 접수 센터로부터 사건 접수 정보를 수신하는 단계, 상기 사건 접수 정보에 기초하여 상기 사건의 발생 위치를 확인하는 단계, 상기 확인된 사건 발생 위치로부터 소정의 거리 내 위치하는 상기 차량용 블랙박스 단말에게 차량전송 영상데이터 요청 정보를 전송하는 단계, 상기 소정의 거리 내 있는 차량용 블랙박스 단말로부터 차량전송 영상데이터를 수신하는 단계 및 상기 수신한 차량전송 영상데이터에 기초하여 상기 사건과 관련된 객체를 인식 및 추적하는 단계를 포함한다.

Description

차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법{Object Tracking System and method automatically gathering in vehicle black box image}
본 발명은 객체추적 시스템 및 방법에 관한 것으로서, 구체적으로는 차량의 블랙박스 장치를 이용하여 방범, 범죄 확인 등에 이용할 수 있는 객체추적 시스템 및 방법에 관한 것이다.
차량용 블랙박스 장치는 현재 보편화되어 차량 관련 사고 발생시 과실의 유무나 원인 제공자를 확인하고 검증하는 데 유용하게 사용되고 있다.
한편, 주차장이나 거리에 방범의 목적으로 설치되는 CCTV 역시 범죄 사실의 확인, 피해자와 가해자의 특정, 가해자의 추적 등에 매우 유용하게 이용되고 있으며, 각 개소에 CCTV가 지속적으로 설치되고 있다. 그러나 아직도 CCTV 사각지대가 존재하며, 특히 인적이 드문 곳일수록, 범죄 발생 가능성이 있는 곳일수록 설치가 안된 비율이 높은 지역도 있다.
또한, CCTV가 설치되어 있는 지역이라 하더라도 대체로는 2~3미터 이상의 높이에 설치되어 아래를 내려다보는 각도로 촬영이 되기 때문에 모자를 눌러쓰는 경우 얼굴 확인이 어렵고, 또한 하나의 영역에 설치 위치와 각도가 상이하게 설치된 복수의 CCTV가 구비되지 않는 한 설치된 CCTV가 촬영하지 못하는 사각지대가 존재할 수밖에 없다.
이러한 면 때문에, 주차된 차량내의 블랙박스를 이용하여 CCTV 사각지대를 촬영하여 이를 범죄해결에 이용하려는 시도가 있어왔다. 하지만, 수작업으로 차량 내 블랙박스 영상을 수집하면 미처 수집되지 않는 영상이 있을 수 있고, 또한 어떤 위치의 차량에서 찍힌 영상인지를 구별하기도 어렵고, 어떤 차량이 어떤 영상을 촬영했을 지에 대한 구분조차 어려우므로, 실제의 활용시에 큰 비효율성이 존재하고, 결정적인 증거 영상이 촬영되었더라도 이를 포착하지 못하고 활용하지 못하는 경우가 있다.
따라서, 차량내 CCTV가 촬영한 영상을 효율적으로 분류하고 활용하여 범죄해결이나 미아 찾기 등에 활용할 수 있는 시스템 및 방법이 요구된다.
전술한 문제점을 해결하기 위한 본 발명의 목적은 차량용 블랙박스에 의하여 촬영된 영상으로부터 자동으로 영상을 수집하는 객체추적 시스템 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 통합관제 시스템 및 홈네트워크 시스템과의 연동을 통해 실시간으로 추적 대상 객체 정보를 제공하는 차량용 블랙박스 촬영 영상 이용 객체추적 시스템 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 객체추적 방법은 사건 발생 위치로부터 소정의 거리 내 위치하는 상기 차량용 블랙박스 단말에게 영상데이터 요청 메시지를 전송하는 단계, 상기 차량용 블랙박스 단말로부터 영상데이터를 수신하는 단계 및 상기 영상데이터에 기초하여 상기 사건과 관련된 객체를 인식 및 추적하는 단계를 포함한다.
본 발명의 일 실시예에 따른 객체추적 방법은 상기 수신한 영상데이터를 공간적 및 시간적으로 분류하는 단계를 더 포함한다.
본 발명의 일 실시예에 따른 객체추적 방법은 통합관제 시스템에게 추가 영상데이터 요청 정보를 전송하는 단계, 상기 통합관제 시스템으로부터 추가 영상데이터를 수신하는 단계 및 상기 수신한 추가 영상데이터 및 상기 차량전송 영상데이터에 기초하여 상기 객체를 인식 및 추적하는 단계를 더 포함한다.
상기 통합관제 시스템은 실시간 영상데이터 자동 수집을 지원한다.
상기 객체는 OPEN CV 기술을 이용해 인식한다.
영상데이터 요청 메시지는 상기 차량용 블랙박스 단말의 영상 데이터 취득 시간에 관한 정보를 포함한다.
상기 영상데이터 요청 메시지는 상기 차량용 블랙박스 단말로부터 일정 거리 내 위치하는 네트워크 장치로부터 전송된다.
본 발명의 일 실시예에 따른 객체추적 방법은 차량용 블랙박스 단말이 집합건물 지하주차장에 위치하는 경우, 상기 촬영된 차량전송 영상데이터를 홈 네트워크 시스템으로 전송하는 단계를 더 포함한다.
본 발명의 다른 면에 따른 객체추적 방법은 사건 발생 위치를 확인하는 단계, 확인된 상기 사건 발생 위치로부터 소정의 감지거리 내 위치하는 하나 이상의 차량용 블랙박스 단말에게 영상데이터 요청 메시지를 전송하는 단계, 상기 하나 이상의 차량용 블랙박스 단말로부터 영상데이터를 수신하는 단계, 상기 영상데이터에 기초하여 상기 사건과 관련된 객체를 인식 및 추적하는 단계, 상기 영상데이터에 기초하여 상기 객체의 이동 방향 및 미래 위치를 추정하는 단계, 추정된 상기 미래 위치의 일정 거리 내 위치하는 차량용 블랙박스 단말에게 특정 시간 구간 동안 촬영되는 객체 추정을 위한 추정 영상데이터를 요청하는 단계, 상기 추정된 상기 미래 위치의 일정 거리 내 위치하는 차량용 블랙박스 단말로부터 상기 추정 영상데이터를 수신하는 단계 및 상기 영상데이터 및 추정 영상데이터에 기초하여 상기 객체를 인식 및 추적하는 단계를 포함하고, 통합관제 시스템에게 추가 영상데이터 요청 정보를 전송하는 단계, 상기 통합관제 시스템으로부터 추가 영상데이터를 수신하는 단계 및 상기 추가 영상데이터, 영상데이터, 및 추정 영상 데이터에 기초하여 상기 객체를 인식 및 추적하는 단계를 더 포함하고, 차량용 블랙박스 단말이 집합건물 지하주차장에 위치하는 경우, 상기 영상데이터를 홈 네트워크 시스템으로 전송하는 단계를 더 포함한다. 또한 본 발명의 다른 면에 따른 객체추적 방법은 통합관제 시스템에게 추가 영상데이터 요청 정보를 전송하는 단계, 상기 통합관제 시스템으로부터 추가 영상데이터를 수신하는 단계 및 상기 추가 영상데이터, 영상데이터, 및 추정 영상 데이터 중 적어도 하나에 기초하여 상기 객체를 인식 및 추적하는 단계를 더 포함한다.
본 발명의 일 실시예에 따른 객체인식 서버는 적어도 하나의 차량용 블랙박스 단말에게 영상데이터 요청 메시지를 전송하고, 상기 차량용 블랙박스 단말로부터 영상데이터를 수신하는 통신부, 상기 영상데이터로부터 사건과 관련된 객체를 인식하는 객체 인식부, 상기 인식된 객체를 외부의 객체 정보와 대비하여 동일 객체 여부를 확인하는 매칭부 및 상기 영상데이터에서 인식된 상기 객체가 존재하는 영상 데이터를 추출하는 동일객체 추출부를 포함한다.
상기 동일객체 추출부는 상기 추출된 영상데이터를 시간적 분류 및 공간적 분류 중 적어도 하나를 더 수행한다.
상기 통신부는 통합관제 시스템에게 상기 객체에 대한 촬영 영상을 요청하는 추가 영상데이터 요청 메시지를 전송하고 상기 통합관제 시스템으로부터 추가 영상데이터를 수신한다.
상기 통신부는 사건 신고 접수 센터로부터 사건접수 정보를 수신한다.
또한, 상기 통신부는 홈 네트워크 시스템으로 상기 객체가 포함된 영상데이터를 전송한다.
또한, 상기 객체 인식부는 OPEN CV를 이용해 상기 객체를 인식한다.
본 발명의 일 실시예에 따른 객체인식 서버는 상기 객체의 이동을 추적하는 객체 추적부를 더 포함한다.
본 발명에 따르면, 사건 발생 주변의 차량용 블랙박스에 의하여 촬영되어 확보된 영상을 자동으로 빠짐없이 확보할 수 있고 이들 영상으로부터 사람의 얼굴을 정확하게 인식하고 이 얼굴이 누구의 얼굴인지를 확인할 수 있다.
또한 확인된 얼굴이 존재하는 영상을 추출하여 이를 시공간적으로 분류함으로써, 확인될 얼굴을 가진 자의 시간별 동선과 행동을 용이하게 파악할 수 있다.
결과적으로 본 발명에 따르면 차량용 블랙박스 영상을 범죄 수사 등에 높은 활용도로 이용할 수 있으며, 명확하고 체계적인 증거자료로 활용할 수 있다.
도 1은 본 발명에 따른 차량용 블랙박스 단말과 객체인식 서버를 포함한 객체추적 시스템의 개괄도.
도 2는 본 발명에 따른 얼굴인식의 예시도.
도 3은 본 발명의 일 실시예에 따른 객체추적 시스템을 설명하는 구성도.
도 4는 본 발명의 일 실시예에 따른 객체 인식 및 추적을 설명하는 절차도.
도 5는 본 발명의 일 실시예에 따른 객체추적 시스템을 활용한 객체 추적을 설명하는 개념도.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...장치", "...디바이스", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
또한 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터, 스마트폰과 같은 모바일 기기, 온라인 게임 서비스 제공 서버 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 아래에서 설명할 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 장치에 이용 가능한 메모리 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조물을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되기 위한 프로세스를 생성하여 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하, 첨부도면을 참조하며 본 발명의 구성에 대하여 상세히 설명한다.
그 동안에는 블랙박스 장치에 통신기능의 필요성이 요구되지 않았으나, 본 발명에 따른 블랙박스는 WI-FI 통신을 비롯하여 LTE, 5G, 블루투스, Zigbee 등의 현재 또는 미래의 근거리 및/또는 원거리 통신 모델이 탑재되어 SD메모리카드의 영상정보 저장 용량의 문제점을 해결하고, 영상정보의 보안적인 측면의 중요성에 맞는 기능을 충족한다. 또한 GPS 수신기 등 측위를 위한 장치를 구비한다.
이러한 기능을 토대로 스마트 폰 앱을 통하여 사용자에게 영상을 전달하고, 분석 센터로 용이하게 촬영영상을 전달한다.
본 발명은 도 1에 도시된 바와 같이 통신모듈이 탑재된 차량용 사고기록장치인 블랙박스를 통해 수집된 데이터를 통신 네트워크를 통해 객체인식 서버로 전송하고 서버에 전송된 영상정보 데이터를 얼굴인식기술을 활용하여 객체를 인식하고 탐지하여 특정 범죄로 인해 발생된 피의자 및 미아정보와 매칭하여 객체를 추적할 수 있도록 제공한다.
예컨대, 객체정보를 인식하는 과정에는 도 2와 같이 얼굴의 주요 특징점, 특징선, 특징면, 특징부위를 추출하고 확인하는 얼굴인식기술을 활용하고, 객체를 탐지하는 과정에서는 OPEN CV기술을 활용하여 탐지하게 되며, 범죄 피의자 또는 미아정보 등 특정화된 인물 정보를 외부로부터 제공받아 동일 인물 여부에 관한 매칭 과정은 얼굴인식기술, 그림자를 분석한 키와 몸무게를 추측할 수 있는 알고리즘 기술을 적용하여 분석하고 객체의 색상정보 분석을 기반으로 하는 R,G,B 색상모델링 기술을 활용할 수 있는데, 물론 이에 한정되는 것은 아니다..
본 기술개발은 차량용 블랙박스 제품을 통해 수집된 영상정보로부터 인식, 탐지, 추적된 동일객체 정보를 좀 더 광역의 VMS(Video Management System) 영상정보관리시스템 및 CMS(Central Management System) 중앙관제시스템과도 객체정보를 블록화하여 공유하여 동일객체 정보를 탐지, 추적할 수 있도록 지원한다
이하, 구체적으로 본 발명에 따른 객체 추적 시스템 및 방법의 구성에 대하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 객체추적 시스템을 설명하는 구성도이다.
본 발명에 따른 객체추적 시스템은 통신 기능이 탑재된 차량용 블랙박스 단말(360,390)과, 상기 블랙박스 단말의 위치를 확인하고, 사건 발생 지역 주변의 블랙박스 단말로 영상 송출 요청을 하고, 전송된 영상으로부터 객체를 인식하는 객체인식 서버(300)를 포함한다.
차량용 블랙박스 단말(360,390)은 3G, LTE, 5G 등 원거리 통신 모듈 및/또는 무선LAN과 같은 근거리 통신 모듈을 포함하고, 객체인식 서버(300)로부터의 요청에 응하여 현재 또는 요청한 시간대의 영상을 객체인식 서버(300)로 전송한다.
이를 위해서 블랙박스 단말(360,390)은 차량의 시동이 꺼진 주차 중에도 수신 대기 상태로 있으면서 객체인식 서버(300)의 영상데이터 요청 메시지를 대기하도록 구성하되, 이러한 수신 대기 상태의 전력 소모를 최소화하여 차량 배터리의 수명에 영향이 없거나 미미하도록 함이 바람직하다.
또한, 객체인식 서버(300)가 각 차량의 차량용 블랙박스 단말(360,390)의 위치를 파악할 수 있도록 주행 중에는 물론이고, 시동이 꺼진 직후에도 자신의 위치를 객체인식 서버(300)로 송신하고 대기 모드로 진입하는 것이 바람직하다.
영상데이터의 전송은 객체인식 서버(300)의 영상데이터 요청 메시지에 포함된 시작시간, 종료시간에 따라 해당하는 저장 영상을 송신한다. 또한 객체인식 서버(300)의 요청은 사건 상황이 진행되는 중일 수 있으므로, 객체인식 서버(300)는 시작시간만을 차량전송 영상데이터 요청 정보에 포함시켜 영상데이터 전송을 요구할 수 있는데, 이런 경우에는 별도의 차량전송 영상데이터 종료 요청 정보가 수신되기까지 지속적으로 영상 데이터를 객체인식 서버(300)로 전송한다.
다른 실시예로서, 차량용 블랙박스 단말(360,390)이 블루투스, WiFi, Zigbee 등의 근거리 통신 모듈을 구비하여, 근거리에 있는 AP 또는 호스트 장치(395)로부터 영상데이터 요청 메시지를 받고 이에 응하여 AP 또는 호스트 장치(395)로 영상데이터를 전송하는 방식을 취할 수 있다.
이 경우, 영상데이터를 수신한 AP 또는 호스트(395)는 유선(또는 무선) 네트워크를 거쳐 객체인식 서버(300)로 차량용 블랙박스 단말(360,390)으로부터 수신한 영상데이터를 전송한다.
차량용 블랙박스 단말(360,390)이 전송하는 영상데이터는 촬영시간 및 현재 차량용 블랙박스 단말(360,390)의 위치를 포함한다. 차량용 블랙박스 단말(360,390)의 위치는 행정구역상 주소일 필요는 없고 위도와 경도로 구성된 절대좌표로 특정하면 충분하지만, 절대좌표 이외의 다른 위치 특정 방식을 제한하지 않음은 물론이다.
객체인식 서버(300)는 사건 신고 접수 센터(305)로부터 사건 접수 정보를 수신하면, 해당 사건의 발생 위치를 확인하고 해당 사건의 발생 위치와 일정 거리 내 위치하는 차량의 차량용 블랙박스 단말(360,390)에게 영상 전송 요청 메시지를 송신한다.
객체인식 서버(300)는 객체인식부(310), 매칭부(320), 동일객체 추출부(340)를 포함하고, 수신된 영상 데이터를 분석한다.
객체인식부(310)는 차량용 블랙박스 단말(360,390)에 의하여 촬영된 영상데이터를 수신한 후 적어도 그 일부의 영상데이터로부터 파악되는 영상 내에 존재하는 객체(380를 인식한다. 이하의 본 발명의 실시예들에서의 객체(380)는 사람을 가정하나 이에 한정되는 것은 아니며 차량이나 기타 다른 물체도 가능하다.
매칭부(320)는 인식된 객체(380)를 외부의 객체 정보와 대비하여 동일 객체인지를 확인한다. 이때 객체(380)가 사람이라면 외부의 객체 정보는, 유사 범죄를 저지른 범죄자 얼굴 정보일 수 있고, 만약 발생 사건이 아이 실종의 경우에는 객체(380)는 친인척이나 기타 아이 주변의 인물에 대한 얼굴에 대한 정보(일례로 얼굴 사진)일 수 있다. 객체(380)가 차량이나 기타 다른 물체인 경우 해당 차량이나 물체의 외관 사진이나 차량 번호판과 같은 식별 정보 객체일 수 있다.
동일객체 추출부(340)는 확보된 다른 차량용 블랙박스 단말로부터의 영상데이터에서 상기 동일 객체가 존재하는지 여부를 확인하여 동일 객체가 존재하는 모든 촬영된 영상 데이터를 추출한다.
동일객체 추출부(340)는 추출된 영상 데이터에 대해 시간적 및/또는 공간적으로 분류하는 작업을 수행함이 바람직하다. 특정 객체가 포함된 영상데이터들을 시간적으로 배열하거나 공간적으로 배치하면 해당 특정 객체의 동선과 동작, 다각적인 외관 영상, 습관, 태도를 파악할 수 있고 이로부터 프로파일링 작업도 가능할 수 있다. 본 발명의 일 실시예에 따른 객체인식 서버(300)는 이러한 기능을 수행하기 위한 별도의 모듈이나 장치를 더 포함할 수 있다.
다른 실시예로서, 객체인식 서버(300)는 차량 블랙박스 영상의 수신에 더하여, 통합관제 시스템(CMS; central management system)(397)에게 영상 데이터 전송(추가 영상데이터 요청정보)을 요청한 후 통합관제 시스템(397)이 관리하는 영상데이터(예컨대 인근 지역 CCTV로부터 촬영된 저장 영상 및/또는 실시간 영상; 이하 추가 영상데이터라 칭함)를 수신한다.
이와 같이 통합관제 시스템(397)로부터의 추가영상 데이터를 객체인식 서버(300)의 통신부(330)을 통해 수신해서, 객체 인식부(310)에서 한 통합관제 시스템(397)로부터의 추가영상 데이터에서 객체를 인식하고, 매칭부(320)에서 동일 객체 여부를 확인한 후 동일객체 추출부(340)에서 차량용 블랙박스 단말(360,390)으로부터의 영상데이터와 비교 및/또는 결합하여 객체를 인식한다.
객체인식 서버(300)는 차량용 블랙박스 단말(360,390)이 집합건물(일례로 아파트)의 지하 주차장에 위치하는 경우 수신한 영상데이터를 해당 집합건물의 홈 네트워크 시스템으로 전송할 수 있다. 즉, 객체인식 서버(300)는 집합건물 거주인으로 하여금 홈 네트워크 시스템의 모니터나 그와 연결된 거주인의 스마트폰 앱으로 수신한 영상데이터를 확인하도록 할 수 있다.
객체인식 서버(300)는 객체 위치 추적과 관련된 기능을 수행하는 객체 추적부(345)를 더 포함할 수 있는데, 객체 추적부(345)가 수행하는 방법에 대해서는 뒤에 상세히 설명한다.
이하, 도 4를 참조하여 본 발명의 일 실시예에 따른 객체추적 시스템을 이용한 객체 추적 방법에 대해 설명한다. 도 4의 본 발명의 일 실시예에 따른 객체추적 방법은 도 3의 본 발명의 일 실시예에 객체추적 시스템을 이용해서 객체를 인식하고 추적하는 방법에 대한 것이다,
먼저 객체인식 서버(300)는 객체추적 시스템에 등록된 하나 이상의 차량용 블랙박스 단말(360,390)의 위치를 확인한다. 이를 위해 차량용 블랙박스 단말(360,390)으로부터 단말 위치 정보를 수신한다(S410). 이를 통해 객체인식 서버(300)은 차량용 블랙박스 단말의 위치를 상시 파악해서 사건 발생시 필요 절차를 수행할 수 있다.
전술한 바와 같이 객체인식 서버(300)가 차량용 블랙박스 단말(360,390)의 위치를 확인하는 방식은, 차량이 주행 중에는 지속적으로, 시동이 꺼진 직후에는 한번 자신의 위치를 서버로 송신하고, 서버가 이를 저장하고 있다가 접수된 사건의 발생 위치와 대비하여 확인하는 방식을 취할 수 있다.
객체인식 서버(300)는 사건 신고 접수 센터(305)로부터 사건 접수 정보를 수신한다(S420). 객체인식 서버(300)는 접수된 사건 신고에 기초하여 해당 사건이 발생한 위치를 확인한다(S430).
객체인식 서버(300)는 확인된 사건 발생 위치로부터 소정의 감지거리 내 위치하는 상기 차량용 블랙박스 단말에게 영상데이터 요청 메시지를 전송한다(S440). 소정의 감지거리의 결정은 객체인식 서버(300)가 사건 발생지, 사건의 종류 및 위치 확인된 차량용 블랙박스 단말의 개수 등을 고려하여 결정할 수 있다. 예컨대, 폭행 사건의 경우 사건 발생 시점에서 영상데이터 요청 시점까지 사람이 뛰어서 이동할 수 있는 거리를 고려하여 감지거리를 결정하고, 오토바이 날치기 사건이나 뺑소니 사건의 경우 사건 발생 시점에서 영상데이터 요청 시점까지 오토바이나 차량이 이동할 수 있는 거리를 고려하여 감지거리를 결정한다.
다른 예시로서, 사건 발생 현장 주변의 위치 확인된 차량용 블랙박스 단말이 소정 개수 이상이면 수신되는 영상 데이터의 처리용량을 감안하여 피요청 블랙박스의 수가 소정 개수 이하가 되도록 감지거리를 줄이고 단말이 소정 개수 이하이면 감지거리를 늘여서 소정 개수 이상의 블랙박스에게 요청한다.
또한, 사건 종류에 따라 감지거리를 결정하고 그 감지거리내에 위치한 단말의 숫자가 소정 개수를 넘어서 많은 영상 처리로 인하여 객체인식 서버(300)의 과부하가 예상되는 경우에는 감지거래내에 위치한 단말의 전부가 아니라 적당한 간격으로 이격된 단말들에게만 영상데이터 요청 메시지를 송신하도록 구성할 수 있다.
전술한 바와 같이 영상데이터 요청 메시지는 차량내 설치된 차량용 블랙박스 단말(360,390)에게 영상 촬영을 객체인식 서버(300)에게 전송해달라는 요청 메시지이고, 영상 촬영의 시작 및/종료에 관한 정보를 포함할 수 있다.
객체인식 서버(300)는 해당 차량용 블랙박스 단말(360,390)으로부터 차량전송 영상데이터를 수신한다(S450). 객체인식 서버(300)는 수신한 차량전송 영상데이터에 기초하여 해당 사건과 관련된 객체를 인식하고 추적한다(S480).
한편, 본 발명의 일 실시예에 따른 객체 인식 방법에서는 차량용 블랙박스 단말로부터의 영상 데이터뿐만이 아니라 통합관제 시스템(395)으로부터의 영상 데이터도 같이 이용하여 객체를 인식하고 추적할 수 있다. 즉, 객체인식 서버(300)는 통합관제 시스템(397)이 관리하는 추가 영상데이터를 함께 이용하여 객체인식 및 추적을 수행할 수 있다.
구체적으로, 객체인식 서버(300)는 통합관제 시스템(397)에게 추가 영상데이터 요청 메시지를 전송한다(S360). 추가 영상데이터 요청 메시지는 통합관제 시스템(397)에게 사건 발생 위치 주변의 영상 촬영 장치(CCTV, IP-Camera 등 통합관제 시스템이 제어 및 관리하는 장치)에게 특정 시간에 촬영된 영상데이터 및 특정시간 구간 동안 영상 촬영을 하고 이를 전송하도록 요청한다. 또는 특정 시간부터 계속 영상 촬영을 하고 이를 전송하도록 요청할 수 있다.
객체인식 서버(300)는 통합관제 시스템(397)으로부터 추가영상 데이터를 수신한다(S470). 객체인식 서버(300)는 차량전송 영상데이터 및 추가 영상데이터에 기초하여 객체인식을 수행한다(S480). 즉, 객체인식 서버(300)는 차량전송 영상데이터 및 추가 영상데이터를 비교 및 결합 등을 수행해서 객체인식 및 추적을 수행한다.
한편 객체인식 서버(300)는 차량용 블랙박스 단말이 집합건물 지하주차장에 위치하는 경우, 차량용 블랙박스 단말로부터 전송받은 차량전송 영상데이터를 집합건물의 홈 네트워크 시스템으로 전송할 수 있다. 이를 통해 집합건물 거주인이 홈 네트워크 시스템의 모니터나 그와 연결된 거주인의 스마트폰 앱을 통해 객체에 대한 정보를 받을 수 있다.
다음으로 본 발명의 일 실시예에 따른 객체추적 시스템을 활용한 객체 추적을 설명한다. 도 5는 본 발명의 일 실시예에 따른 객체추적 시스템을 활용한 객체 추적을 설명하는 개념도이다.
도 5의 객체 추적 방법은 도 3의 객체추적 시스템을 활용해서 사건과 관련된 이동 중인 객체를 추적하는 방법에 대한 것이다. 객체추적 시스템의 객체인식 서버(510)는 사건접수 센터로부터 사건을 접수하면 사건 발생 주변의 차량용 블랙박스 단말로부터 영상데이터를 전송받아 객체를 인식한다(또한 통합관제 시스템으로부터도 추가 영상데이터를 전송받아 이를 이용해 객체를 인식할 수 있다).
객체인식 서버(510)는 사건과 관련된 객체로 추정되는(또는 객체에 해당되는) 객체(540)의 이동을 파악할 수 있다. 즉, 어느 시점에 어느 위치에 있는 차량용 블랙박스 단말로부터 온 영상데이터(또는 통합관제 시스템의 추가 영상데이터)에 객체에 대한 영상이 포함되어 있는지를 파악한다. 파악 결과 시간의 경과에 따라 객체가 촬영되는 영상을 송신하는 단말의 위치가 변함으로써 해당 객체(540)가 이동 중인 것으로 파악되면 객체의 미래 이동 위치로 추정되는 곳에 위치하는 차량용 블랙박스 단말(530,550)에게 근처의 통신 기지국(520,560)을 통해 영상데이터 요청 메시지를 사전 전송하여 차량전송 영상데이터 요청 정보에서 지시하는 시간 구간 동안 영상 촬영하며 전송하도록 할 수 있다(이때 전송되는 영상데이터를 추정 영상데이터라 칭함). 즉, 관심 객체의 이동 방향과 속도에 따라 동적으로 블랙박스 영상데이터를 송신하는 차량을 변경하면서 지속적으로 관심 객체를 추적하도록 한다.
한편, 차량용 블랙박스 단말(530, 550)로의 영상데이터 요청 메시지의 전송은 기지국(520, 560)이 외에 다른 경로(근거리 무선 통신용 AP, 주변 차량간의 V2V 통신 등)를 통해 수행될 수 있음은 물론이다.
한편, 전술한 각 구성은 각각이 별도의 장치로 설명되었으나, 이는 설명의 편의와 이해의 증진을 위한 예시적 설명에 불과한 것으로서, 본 발명의 기술적 사상의 범주 내에서 다양한 형태로 구현될 수 있음은 물론이다. 예컨대, 매칭부(320) 및 동일객체 추출부(340)는 하나의 모듈로 통합되어 구현될 수도 있고, 또는 둘이나 그 이상의 장치로 분할하여 구현될 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명의 구성을 바람직한 몇 실시예를 통하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서 본 발명의 권리범위가 이에 한정되는 것은 아니며, 본 발명의 기술 사상의 범주 내에서 전술한 설명으로부터 다양한 변형과 변경이 가능하다.
그러므로, 본 발명의 권리범위는 이하에 기재된 특허청구범위의 기재에 의하여 정하여져야 할 것이다.

Claims (10)

  1. 사건 발생 위치를 확인하는 단계;
    확인된 상기 사건 발생 위치로부터 소정의 감지거리 내 위치하는 하나 이상의 차량용 블랙박스 단말에게 영상데이터 요청 메시지를 전송하는 단계;
    상기 하나 이상의 차량용 블랙박스 단말로부터 영상데이터를 수신하는 단계;
    상기 영상데이터에 기초하여 상기 사건과 관련된 객체를 인식 및 추적하는 단계;
    상기 영상데이터에 기초하여 상기 객체의 이동 방향 및 미래 위치를 추정하는 단계;
    추정된 상기 미래 위치의 일정 거리 내 위치하는 차량용 블랙박스 단말에게 특정 시간 구간 동안 촬영되는 객체 추정을 위한 추정 영상데이터를 요청하는 단계;
    상기 추정된 상기 미래 위치의 일정 거리 내 위치하는 차량용 블랙박스 단말로부터 상기 추정 영상데이터를 수신하는 단계; 및
    상기 영상데이터 및 추정 영상데이터에 기초하여 상기 객체를 인식 및 추적하는 단계를 포함하고,
    통합관제 시스템에게 추가 영상데이터 요청 정보를 전송하는 단계;
    상기 통합관제 시스템으로부터 추가 영상데이터를 수신하는 단계; 및
    상기 추가 영상데이터, 영상데이터, 및 추정 영상 데이터에 기초하여 상기 객체를 인식 및 추적하는 단계를 더 포함하고,
    차량용 블랙박스 단말이 집합건물 지하주차장에 위치하는 경우,
    상기 영상데이터를 홈 네트워크 시스템으로 전송하는 단계를 더 포함하는
    객체추적 방법.
  2. 제1항에 있어서,
    상기 영상데이터를 공간적 및 시간적으로 분류하는 단계를 더 포함하는 객체추적 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 영상데이터 요청 메시지는 상기 차량용 블랙박스 단말의 영상 데이터 취득 시간에 관한 정보를 포함하는, 객체추적 방법.
  5. 제1항에 있어서,
    상기 영상데이터 요청 메시지는 상기 차량용 블랙박스 단말로부터 일정 거리 내 위치하는 네트워크 장치로부터 전송되는, 객체추적 방법.
  6. 삭제
  7. 삭제
  8. 적어도 하나의 차량용 블랙박스 단말에게 영상데이터 요청 메시지를 전송하고, 상기 차량용 블랙박스 단말로부터 영상데이터를 수신하는 통신부;
    상기 영상데이터로부터 사건과 관련된 객체를 인식하는 객체 인식부;
    상기 인식된 객체를 외부의 객체 정보와 대비하여 동일 객체 여부를 확인하는 매칭부;
    상기 영상데이터에서 인식된 상기 객체가 존재하는 영상데이터를 추출하는 동일객체 추출부; 및
    상기 객체의 이동을 추적하는 객체 추적부를 포함하고,
    상기 객체 추적부는 상기 영상데이터에 기초하여 상기 객체의 이동 방향 및 미래 위치를 추정해서 추정된 상기 미래 위치의 일정 거리 내 위치하는 차량용 블랙박스 단말에게 특정 시간 구간 동안 촬영되는 추정 영상데이터를 상기 통신부를 통해 요청해서 상기 추정된 상기 미래 위치의 일정 거리 내 위치하는 차량용 블랙박스 단말로부터 추정 영상데이터를 수신해서 상기 객체 인식부를 이용하여 상기 영상데이터 및 상기 추정 영상데이터에 기초하여 상기 객체를 인식하고 추적하고,
    상기 통신부는 통합관제 시스템에게 추가 영상데이터 요청 정보를 전송하고, 상기 통합관제 시스템으로부터 추가 영상데이터를 수신하고,
    상기 객체 추적부는 상기 추가 영상데이터, 영상데이터, 및 추정 영상 데이터에 기초하여 상기 객체를 인식 및 추적하고,
    상기 차량용 블랙박스 단말이 집합건물 지하주차장에 위치하는 경우,
    상기 영상데이터를 상기 통신부를 통해 홈 네트워크 시스템으로 전송하는
    객체인식 서버.
  9. 삭제
  10. 삭제
KR1020190077929A 2019-06-28 2019-06-28 차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법 KR102278644B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190077929A KR102278644B1 (ko) 2019-06-28 2019-06-28 차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190077929A KR102278644B1 (ko) 2019-06-28 2019-06-28 차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210001606A KR20210001606A (ko) 2021-01-06
KR102278644B1 true KR102278644B1 (ko) 2021-07-16

Family

ID=74128751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077929A KR102278644B1 (ko) 2019-06-28 2019-06-28 차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102278644B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230106793A (ko) * 2022-01-07 2023-07-14 주식회사 이엠비 주차위치 알림 서비스 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101515944B1 (ko) * 2014-03-28 2015-05-04 재단법인대구경북과학기술원 블랙박스를 이용한 시민 안전 보호 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101337554B1 (ko) * 2012-03-20 2013-12-06 (주) 세인 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법
KR101843889B1 (ko) * 2016-09-05 2018-03-30 이대호 Cctv를 이용하는 지능형 자동 추적 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101515944B1 (ko) * 2014-03-28 2015-05-04 재단법인대구경북과학기술원 블랙박스를 이용한 시민 안전 보호 시스템 및 방법

Also Published As

Publication number Publication date
KR20210001606A (ko) 2021-01-06

Similar Documents

Publication Publication Date Title
US10438071B2 (en) Distributed system for mining, correlating, and analyzing locally obtained traffic data including video
KR101626377B1 (ko) Cctv와 차량내 블랙박스를 활용한 빅데이터 기반의 불법 주정차 단속 시스템
US9602711B2 (en) Wearable camera system and recording control method
KR101248054B1 (ko) 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
CN107079088A (zh) 停车和交通分析
Choosri et al. IoT-RFID testbed for supporting traffic light control
KR101525151B1 (ko) 차량 번호판 인식 시스템 및 방법
KR20120066393A (ko) 차량용 영상 기록 및 제공 장치와 이를 이용한 지역 정보 획득 장치 및 방법
KR101459024B1 (ko) 시설물 감시용 보안 시스템
US20220292818A1 (en) Methods and systems for operating a moving platform to determine data associated with a target person or object
KR102297217B1 (ko) 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치
KR20150081838A (ko) 수배차량 검색 장치 및 그 방법
US20210264779A1 (en) Vehicle Identification System
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
KR102054930B1 (ko) 영상 공유 방법 및 이를 위한 장치
KR102183904B1 (ko) 실내위치인식기반 보안관리장치 및 방법
KR102278644B1 (ko) 차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법
KR102309106B1 (ko) 상황 연계형 영상분석장치
JP7281505B2 (ja) 捜査支援システム及び捜査支援方法
KR101372327B1 (ko) 스쿨존 안전관리 시스템 및 그 제공방법
CN113627321A (zh) 基于人工智能的图像识别方法、装置及计算机设备
KR20200063294A (ko) 차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법
KR101453386B1 (ko) 차량 지능형 검색 시스템 및 그 동작방법
KR20220159841A (ko) 건설 현장에서 등록/미등록 차량 출입관리와 탑승자 자동 인지 출입관리를 위한 스마트 현장관리 방법 및 시스템
KR102603969B1 (ko) Cctv 시스템 기반의 주차관리 방법, 및 장치

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant