KR20220107679A - 객체 추적 엣지 컴퓨팅 장치, 그 제어 방법, 및 서버 - Google Patents

객체 추적 엣지 컴퓨팅 장치, 그 제어 방법, 및 서버 Download PDF

Info

Publication number
KR20220107679A
KR20220107679A KR1020210010590A KR20210010590A KR20220107679A KR 20220107679 A KR20220107679 A KR 20220107679A KR 1020210010590 A KR1020210010590 A KR 1020210010590A KR 20210010590 A KR20210010590 A KR 20210010590A KR 20220107679 A KR20220107679 A KR 20220107679A
Authority
KR
South Korea
Prior art keywords
vehicle
information
interest
server
edge computing
Prior art date
Application number
KR1020210010590A
Other languages
English (en)
Inventor
홍윤국
제의규
Original Assignee
주식회사 글로벌브릿지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 글로벌브릿지 filed Critical 주식회사 글로벌브릿지
Priority to KR1020210010590A priority Critical patent/KR20220107679A/ko
Publication of KR20220107679A publication Critical patent/KR20220107679A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

본 개시의 일 실시예에 따른 일 측면에 따르면, 입력 영상을 수신하는 입력 인터페이스; 서버로부터 관심 차량에 대한 정보를 포함하는 관심 차량 정보를 수신하는 제1 통신부; 상기 입력 영상을 저장하는 메모리; 및 제1 기계학습 모델에 상기 입력 영상을 입력하여, 상기 제1 기계학습 모델로부터 상기 입력 영상에 포함된 적어도 하나의 차량에 대한 정보인 검출 차량 정보를 획득하고, 상기 검출 차량 정보 및 상기 입력 영상에 기초하여, 차량 식별 정보를 획득하고, 상기 차량 식별 정보와 상기 관심 차량 정보를 비교하고, 상기 관심 차량 정보와 동일한 차량이 검출된 경우 이벤트 정보를 생성하고, 상기 이벤트 정보를 상기 제1 통신부를 통해 상기 서버로 전송하는 제1 프로세서를 포함하는 엣지 컴퓨팅 장치가 제공된다.

Description

객체 추적 엣지 컴퓨팅 장치, 그 제어 방법, 및 서버 {Edge computing device for tracking object, method for controlling the same, and server}
본 개시의 실시예들은 객체 추적을 위한 엣지 컴퓨팅 장치, 엣지 컴퓨팅 장치 제어 방법, 및 서버에 관한 것이다.
수배 차량, 도주 차량 등을 추적하기 위한 요구가 있다. 기존에는 수배 차량, 도주 차량 등을 추적하기 위해, 경찰이 검문소에서 목표 차량을 찾거나, CCTV(closed-circuit television) 영상을 사람이 탐색하여 목표 차량을 추적하였다. 그러나 이러한 기존의 방식은 다수의 인력과 자원을 요구한다. 또한, 목표 차량의 탐색이 매우 광범위한 지역에서 이루어지기 때문에, 효율성이 현저하게 떨어지는 단점이 있다. 이러한 상황으로 인해, 목표 차량을 효율적으로 추적하기 위한 시스템에 대한 요구가 있다.
본 개시의 실시예들은 CCTV를 이용한 기존의 교통 관제 시스템으로부터 효율적으로 관심 차량을 검출하기 위한 엣지 컴퓨팅 장치, 엣지 컴퓨팅 제어 방법, 및 서버를 제공하기 위한 것이다.
본 개시의 일 실시예에 따른 일 측면에 따르면, 입력 영상을 수신하는 입력 인터페이스; 서버로부터 관심 차량에 대한 정보를 포함하는 관심 차량 정보를 수신하는 제1 통신부; 상기 입력 영상을 저장하는 메모리; 및 제1 기계학습 모델에 상기 입력 영상을 입력하여, 상기 제1 기계학습 모델로부터 상기 입력 영상에 포함된 적어도 하나의 차량에 대한 정보인 검출 차량 정보를 획득하고, 상기 검출 차량 정보 및 상기 입력 영상에 기초하여, 차량 식별 정보를 획득하고, 상기 차량 식별 정보와 상기 관심 차량 정보를 비교하고, 상기 관심 차량 정보와 동일한 차량이 검출된 경우 이벤트 정보를 생성하고, 상기 이벤트 정보를 상기 제1 통신부를 통해 상기 서버로 전송하는 제1 프로세서를 포함하는 엣지 컴퓨팅 장치가 제공된다.
또한, 본 개시의 일 실시예에 따르면, 상기 관심 차량 정보는, 차량 식별 정보, 차량 종류, 차량 모델명, 또는 색상 중 적어도 하나를 포함할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 검출 차량 정보는, 차량 영역 및 속도 중 적어도 하나를 포함할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 제1 프로세서는, 상기 제1 기계학습 모델로부터 생성된 상기 검출 차량 정보에 기초하여, 상기 입력 영상에서 검출된 적어도 하나의 차량 영역 각각에 대한 차량 식별 정보, 차선 정보, 또는 차량 위치 정보 중 적어도 하나를 생성할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 이벤트 정보는, 상기 검출 차량 정보, 상기 차량 식별 정보, 검출 시간, 차량 위치 정보, 또는 주변 차량 정보 중 적어도 하나를 포함할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 제1 프로세서는, 상기 입력 영상에서 운전자 영역 및 조수석 영역을 결정하고, 상기 운전자 영역 및 상기 조수석 영역으로부터 탑승자 영상을 생성하고, 상기 탑승자 영상을 상기 제1 통신부를 통해 상기 서버로 전송할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 제1 프로세서는, 상기 이벤트가 검출된 경우, 검출된 차량에 대응하는 영역인 차량 영역을 크롭하여 생성된 제1 영상 또는 이벤트가 검출된 전체 프레임에 대응하는 제2 영상 중 적어도 하나를 상기 제1 통신부를 통해 상기 서버로 전송할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 제1 프로세서는, 상기 검출된 차량의 전면 유리 영역에 대응하는 박스를 크롭하여 생성된 제3 영상을 상기 제1 통신부를 통해 상기 서버로 전송할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 제1 프로세서는, 상기 입력 영상으로부터 관심 인물을 검출하고, 상기 입력 영상으로부터 관심 인물이 검출된 경우, 상기 관심 인물의 적어도 하나의 예상 경로를 예측하고, 상기 적어도 하나의 예상 경로 주변의 적어도 하나의 다른 엣지 컴퓨팅 장치로 관심 인물 검출 정보를 전송할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 제1 프로세서는, 다른 엣지 컴퓨팅 장치로부터 관심 인물 검출 정보를 수신하면, 소정 시간 구간 동안 객체 검출 정밀도를 증가시킬 수 있다.또한, 본 개시의 일 실시예에 따르면, 상기 제1 프로세서는, 상기 관심 인물이 검출된 경우, 상기 엣지 컴퓨팅 장치 주변의 모바일 장치로 관심 인물이 검출되었다는 정보를 전송할 수 있다.
본 개시의 일 실시예의 다른 측면에 따르면, 입력 영상을 수신하는 단계; 서버로부터 관심 차량에 대한 정보를 포함하는 관심 차량 정보를 수신하는 단계; 제1 기계학습 모델에 상기 입력 영상을 입력하여, 상기 제1 기계학습 모델로부터 상기 입력 영상에 포함된 적어도 하나의 차량에 대한 정보인 검출 차량 정보를 획득하는 단계; 상기 검출 차량 정보와 상기 관심 차량 정보를 비교하는 단계; 상기 비교 결과, 상기 관심 차량 정보와 동일한 차량이 검출된 경우 이벤트 정보를 생성하는 단계; 및 상기 이벤트 정보를 상기 서버로 전송하는 단계를 포함하는 엣지 컴퓨팅 장치 제어 방법이 제공된다.
본 개시의 일 실시예의 또 다른 측면에 따르면, 복수의 엣지 컴퓨팅 장치와 통신하는 제2 통신부; 적어도 하나의 관심 차량 정보를 저장하는 데이터베이스; 상기 복수의 엣지 컴퓨팅 장치 각각으로 상기 적어도 하나의 관심 차량 정보를 전송하고, 상기 복수의 엣지 컴퓨팅 장치 중 적어도 하나로부터 이벤트 정보가 수신되면, 상기 이벤트 정보에 포함된 차량 정보, 시간 정보, 및 위치 정보를 식별하고, 상기 식별된 차량 정보에 대응하는 차량 인디케이터를 지도 데이터 상에 배치하여 차량 추적 정보를 생성하고, 상기 식별된 차량 정보에 대응하는 이벤트 정보가 수신되면, 상기 차량 추적 정보의 상기 지도 데이터 상에서 상기 차량 인디케이터의 위치를 업데이트하는 제2 프로세서; 및 상기 차량 추적 정보를 출력하는 출력 인터페이스를 포함하는, 서버가 제공된다.
또한, 본 개시의 일 실시예에 따르면, 상기 제2 프로세서는, 상기 수신된 이벤트 정보로부터 제1 차량이 식별되면, 상기 제1 차량에 대응하는 위치 트래킹 데이터를 생성하고, 상기 제1 차량에 대응하는 이벤트 정보가 수신되면 상기 위치 트래킹 데이터에서 상기 제1 차량의 현재 위치를 업데이트한다.
또한, 본 개시의 일 실시예에 따르면, 상기 데이터베이스는, 상기 적어도 하나의 관심 차량 정보 중 적어도 일부에 대한 적어도 하나의 수배자 정보를 저장하고, 상기 제2 프로세서는, 상기 엣지 컴퓨팅 장치로부터 상기 이벤트 정보에 대응하는 영상 데이터를 수신하고, 상기 수신된 영상 데이터로부터 상기 적어도 하나의 수배자 정보에 대응하는 얼굴을 검출하고, 상기 적어도 하나의 수배자 정보에 대응하는 얼굴이 검출된 경우, 수배자 얼굴이 검출되었다는 알림 정보를 상기 출력 인터페이스를 통해 출력할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 상기 제2 프로세서는, 상기 제2 통신부를 통해 외부 기관 서버로부터 수배 차량 정보를 수신하고, 상기 수신된 수배 차량 정보에 기초하여 상기 관심 차량 정보를 생성하고, 상기 관심 차량 정보를 상기 데이터베이스에 저장하고, 상기 관심 차량 정보는, 차량 식별 정보, 차량 종류, 차량 모델명, 또는 색상 중 적어도 하나를 포함할 수 있다.
본 개시의 실시예들에 따르면, CCTV를 이용한 기존의 교통 관제 시스템으로부터 효율적으로 관심 차량을 검출하기 위한 엣지 컴퓨팅 장치, 엣지 컴퓨팅 제어 방법, 및 서버를 제공할 수 있는 효과가 있다.
도 1은 본 개시의 일 실시예에 따른 교통 시스템을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 CCTV, 엣지 컴퓨팅 장치, 및 서버를 나타낸 블록도이다.
도 3은 본 개시의 일 실시예에 따른 CCTV와 엣지 컴퓨팅 장치의 설치예를 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 따른 제1 프로세서의 구조를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따른 엣지 컴퓨팅 장치, 서버, 및 CCTV의 동작을 나타낸 흐름도이다.
도 6은 본 개시의 일 실시예에 따라 입력 영상으로부터 수배자 정보를 획득하고 이용하는 구성을 나타낸 도면이다.
도 7은 본 개시의 일 실시예에 따른 서버에서 이벤트 정보를 수신하고 차량 추적 정보를 생성하는 과정을 나타낸 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 위치 트래킹 데이터를 나타낸 도면이다.
도 9는 본 개시의 일 실시예에 따른 차량 추적 정보를 나타낸 도면이다.
도 10a은 본 개시의 일 실시예에 따라 서버에서 수배자 검출 알림 정보를 생성하는 과정을 나타낸 도면이다.
도 10b는 입력 영상으로부터 관심 인물을 검출하는 과정을 나타낸 도면이다.
도 11는 본 개시의 일 실시 예에 따른 엣지 컴퓨팅 장치의 구조를 나타낸 도면이다.
도 12는 본 개시의 일 실시 예에 따른 제1 프로세서의 구조를 나타낸 도면이다.
도 13는 본 개시의 일 실시 예에 따른 영상 처리 과정을 나타낸 도면이다.
도 14은 본 개시의 일 실시 예에 따른 카메라 캘리브레이션 처리를 나타낸 도면이다.
도 15은 본 개시의 일 실시 예에 따른 카메라 캘리브레이션 처리 과정을 나타낸 도면이다.
도 16은 본 개시의 일 실시 예에 따른 객체 검출 처리를 설명하기 위한 도면이다.
도 17는 본 개시의 일 실시 예에 따른 객체 검출 처리(1314)를 나타낸 도면이다.
도 18는 본 개시의 일 실시 예에 따른 트래클렛 정보 생성 처리를 설명하기 위한 도면이다.
도 19은 본 개시의 일 실시 예에 따른 트래클렛 네트워크의 구조를 나타낸 도면이다.
도 20은 본 개시의 일 실시 예에 따른 그래프 모델을 나타낸 도면이다.
도 21는 본 개시의 일 실시 예에 따라 객체 간의 관련성을 산출하는 처리를 나타낸 도면이다.
도 22은 본 개시의 일 실시 예에 따른 그래프 모델 생성 처리 및 클러스터링 처리를 나타낸 도면이다.
도 23은 본 개시의 일 실시예에 따라 입력 영상에서 관심 인물이 검출된 경우의 추가 동작을 설명하기 위한 도면이다.
본 명세서는 본 개시의 청구항의 권리범위를 명확히 하고, 본 개시의 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자가 본 개시의 실시 예들을 실시할 수 있도록, 본 개시의 실시 예들의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 개시의 실시 예들이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 개시의 실시 예들, 및 실시 예들의 작용 원리에 대해 설명한다.
도 1은 본 개시의 일 실시예에 따른 교통 시스템을 나타낸 도면이다.
본 개시의 실시예들에 따른 교통 시스템(10)은 서버(120)와 복수의 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)를 포함한다. 교통 시스템(10)은 기존의 교통 관제 시스템에 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)가 추가된 형태일 수 있다. 본 개시의 실시예들은 교통 시스템(10)을 이용하여 외부 기관 서버(130)에서 추적 중인 관심 차량을 검출하고 추적할 수 있다.
서버(120)는 외부 기관 서버(130)로부터 관심 차량에 대한 정보를 수신한다. 예를 들면, 외부 기관 서버(130)는 경찰청, 검찰청 등의 외부 기관의 서버에 대응될 수 있다. 외부 기관 서버(130)는 추적을 원하는 관심 차량에 대한 정보를 서버(120)로 전송하고, 관심 차량에 대한 추적 요청을 서버(120)로 전송할 수 있다. 서버(120)는 외부 기관 서버(130)에서 수신된 관심 차량에 대한 정보에 대응하는 관심 차량을 검출한 경우, 외부 기관 서버(130)로 검출된 차량에 대한 정보를 전송할 수 있다.
서버(120)는 복수의 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f) 각각과 네트워크(150)를 통해 연결된다. 서버(120)는 복수의 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)와 다양한 종류의 네트워크(150)를 통해 연결될 수 있다. 서버(120)는 복수의 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)로 관심 차량 정보를 전송한다. 관심 차량 정보는 외부 기관 서버(130)에서 수신한 관심 차량에 대한 정보로부터 생성된 정보이다. 관심 차량 정보는 차량 식별 정보, 차량 종류, 차량 모델명, 또는 색상 중 적어도 하나를 포함할 수 있다.
각각의 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)는 적어도 하나의 CCTV(112a, 112b, 112c, 112d, 112e, 및 112f)와 연결된다. 적어도 하나의 CCTV(112a, 112b, 112c, 112d, 112e, 및 112f)는 교통 관제를 위한 소정의 위치에 배치되어 설치될 수 있다. 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)는 적어도 하나의 CCTV(112a, 112b, 112c, 112d, 112e, 및 112f)와 인접한 위치에 배치되고, CCTV(112a, 112b, 112c, 112d, 112e, 및 112f)로부터 입력 영상을 수신하여, 입력 영상을 처리한다. 또한, 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)는 적어도 하나의 CCTV(112a, 112b, 112c, 112d, 112e, 및 112f)를 제어할 수 있다.
각각의 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)는 입력 영상으로부터 관심 차량 정보에 대응하는 관심 차량을 검출한 경우 이벤트 정보를 생성한다. 각각의 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)는 이벤트 정보가 생성된 경우, 서버(120)로 이벤트 정보를 전송한다. 예를 들면, 제3 CCTV(112c)에서 촬영된 영상에서 관심 차량(140c)이 검출된 경우, 제3 엣지 컴퓨팅 장치(110c)는 이벤트 정보를 생성하고, 이벤트 정보를 서버(120)로 전송한다. 만약 제1 엣지 컴퓨팅 장치(110a)에서 제1 CCTV(112a)에 의해 촬영된 영상으로부터 차량(140a)이 검출되더라도, 검출된 차량(140a)이 관심 차량에 대응되지 않는 경우, 제1 엣지 컴퓨팅 장치(110a)는 이벤트 정보를 생성하지 않는다.
일 실시예에 따르면, 각각의 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)는 서버(120)로부터 관심 인물 정보를 수신하고, 입력 영상으로부터 관심 차량 정보에 대응하는 관심 차량을 검출한 경우 이벤트 정보를 생성한다. 각각의 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f)는 이벤트 정보가 생성된 경우, 서버(120)로 이벤트 정보를 전송한다. 예를 들면, 제3 CCTV(112c)에서 촬영된 영상에서 관심 인물(142a)이 검출된 경우, 제3 엣지 컴퓨팅 장치(110c)는 이벤트 정보를 생성하고, 이벤트 정보를 서버(120)로 전송한다. 만약 제1 엣지 컴퓨팅 장치(110a)에서 제1 CCTV(112a)에 의해 촬영된 영상으로부터 사람(142b)이 검출되더라도, 검출된 사람(142b)이 관심 차량에 대응되지 않는 경우, 제1 엣지 컴퓨팅 장치(110a)는 이벤트 정보를 생성하지 않는다.
서버(120)는 엣지 컴퓨팅 장치(110a, 110b, 110c, 110d, 110e, 및 110f) 중 적어도 하나로부터 이벤트 정보를 수신한 경우, 이벤트 정보로부터 검출 차량 정보, 검출, 시간, 및 차량 위치 정보를 획득하여 관심 차량을 추적하는 추적 데이터를 생성한다. 서버(120)는 관심 차량의 추적 데이터를 출력 인터페이스를 통해 출력하거나, 외부 기관 서버(130)로 전송한다.
도 2는 본 개시의 일 실시예에 따른 CCTV, 엣지 컴퓨팅 장치, 및 서버를 나타낸 블록도이다.
본 개시의 일 실시예에 따른 엣지 컴퓨팅 장치(110)는 CCTV(112)로부터 입력 영상을 수신한다. 또한, 엣지 컴퓨팅 장치(110)는 서버(120)로부터 관심 차량 정보를 수신한다. 엣지 컴퓨팅 장치는 입력 영상 및 관심 차량 정보에 기초하여, 입력 영상으로부터 관심 차량 정보에 대응하는 관심 차량을 검출한 경우, 이벤트 정보를 생성하고, 이벤트 정보를 서버(120)로 전송한다.
엣지 컴퓨팅 장치(110)는 입력 인터페이스(210), 제1 프로세서(220), 메모리(230), 및 제1 통신부(240)를 포함한다. 제1 프로세서(220)는 제1 기계학습 모델(222)을 실행하여 제1 기계학습 모델(222)의 동작을 수행한다.
제1 프로세서(220)는 엣지 컴퓨팅 장치(110) 전반의 동작을 제어한다. 제1 프로세서(220)는 하나 또는 그 이상의 프로세서로 구현될 수 있다. 제1 프로세서(220)는 메모리(230)에 저장된 인스트럭션 또는 커맨드를 실행하여 소정의 동작을 수행할 수 있다.
일 실시예에 따르면, 제1 프로세서(220)는 제1 기계학습 모델(222)의 동작을 실행하여, 제1 기계학습 모델(222)의 동작을 수행한다. 예를 들면, 제1 프로세서(220)는 제1 기계학습 모델(222)에 대응하는 명령어들을 수행하여, 제1 기계학습 모델(222)의 동작을 수행할 수 있다.
다른 실시예에 따르면, 제1 프로세서(220)는 서버 등의 외부 장치에서 동작하는 심층 신경망 모델을 이용할 수 있다. 이러한 경우, 제1 프로세서(220)는 심층 신경망 모델로 입력될 입력 영상을 외부 장치로 전송하고, 외부 장치로부터 심층 신경망 모델의 출력을 수신할 수 있다. 이를 위해, 제1 프로세서(220)는 엣지 컴퓨팅 장치(110)에 구비된 제1 통신부(240)를 이용하여 외부 장치와 통신할 수 있다.
제1 기계학습 모델(222)은 하나 이상의 노드 및 노드들 간의 연산 규칙에 기초하여 트레이닝 데이터를 이용하여 학습될 수 있다. 노드의 구조, 레이어의 구조, 및 노드들 간의 연산 규칙은 실시예에 따라 다양하게 결정될 수 있다. 제1 기계학습 모델(222)은 하나 이상의 프로세서, 메모리, 레지스터, 합산 처리부, 또는 곱셈 처리부 등의 하드웨어 리소스를 포함하고, 각 하드웨어 리소스에 적용되는 파라미터 세트에 기초하여 하드웨어 리소스를 동작시킨다. 이를 위해, 제1 기계학습 모델(222)을 동작시키는 제1 프로세서(220)는 제1 기계학습 모델(222)의 각 동작에 대해 하드웨어 리소스를 할당하는 태스크 또는 리소스 관리 처리를 수행할 수 있다. 제1 기계학습 모델(222)은 예를 들면, RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory) 등의 구조를 가질 수 있다.
제1 프로세서(220)는 입력 영상을 입력 받아, 입력 영상으로부터 관심 차량을 검출하고, 관심 차량이 검출된 경우, 이벤트 정보를 생성한다.
제1 프로세서(220)는 제1 기계학습 모델(222)을 실행하고, 제1 기계학습 모델(222)에 입력 영상을 입력하여, 제1 기계학습 모델(222)로부터 입력 영상에 포함된 차량에 대한 정보인 검출 차량 정보를 획득한다. 검출 차량 정보는 차량 영역 및 속도 중 적어도 하나를 포함한다. 차량 영역은 입력 영상에서 검출된 차량에 대응하는 영역을 나타낸다. 예를 들면, 입력 영상에서 검출된 차량에 대응하는 영역이 직사각형 또는 정사각형 형태의 영역으로 정의될 수 있다. 복수의 차량이 검출된 경우, 복수의 차량 각각에 대해 개별적으로 영역이 정의된다. 속도는 입력 영상에서 검출된 각 차량에 대한 속도를 나타낸다.
일 실시예에 따르면, 제1 프로세서(220)는 입력 영상의 제1 프레임 레이트보다 낮은 제2 프레임 레이트로 입력 동영상의 프레임을 샘플링하여, 제1 기계학습 모델(222)에 입력할 수 있다.
일 실시예에 따르면, 제1 프로세서(220)는 제1 기계 학습 모델(222)로부터 생성된 검출 차량 정보 및 입력 영상에 기초하여, 입력 영상에서 검출된 적어도 하나의 차량 영역 각각에 대한 차량 식별 정보, 차선 정보, 또는 차량 위치 정보 중 적어도 하나를 생성한다.
차량 식별 정보는 차량을 식별할 수 있는 정보로, 예를 들면, 차량 번호판의 차량 번호에 대응될 수 있다. 또한 제1 프로세서(220)는 차량 식별 정보에 대한 추가 정보를 생성할 수 있고, 추가 정보는 모델명, 색상, 또는 차종 중 적어도 하나를 포함할 수 있다. 차량 위치 정보는, 검출된 차량의 위치를 나타내는 정보이다. 제1 프로세서(220)는 다양한 종류의 객체 인식 알고리즘, 문자 인식 알고리즘, 또는 영상 처리 알고리즘을 이용하여 입력 영상으로부터 차량 식별 정보를 생성할 수 있다.
차선 정보는 각 차량이 위치한 차선에 대한 정보이다. 제1 프로세서(220)는 입력 영상으로부터 소정의 객체 인식 알고리즘을 이용하여 차선을 검출하고, 검출된 차선을 기준으로, 각 차량의 차선 정보를 생성할 수 있다.
차량 위치 정보는 차량의 위치를 나타내는 정보이다. 일 실시예에 따르면, 차량 위치 정보는, CCTV(112)의 FOV 상에서의 위치를 나타낸다. 이러한 경우, 엣지 컴퓨팅 장치(110)는 CCTV(112)의 위치 정보 및 FOV 상에서의 위치 정보를 생성하여 서버(120)로 전달하고, 서버(120)는 엣지 컴퓨팅 장치(110)로부터 수신된 CCTV의 위치 정보 및 FOV 상에서의 위치 정보에 기초하여, 각 차량의 지리적 위치를 산출한다. 다른 실시예에 따르면, 차량 위치 정보는, CCTV(112)의 위치와, 입력 영상 상에서의 차량의 위치에 기초하여 결정된 지리적 위치를 나타낸다. 예를 들면, 제1 프로세서(220)는 입력 영상을 캘리브레이션(calibration)하고, CCTV(112)의 위치와, 입력 영상 상에서의 위치에 기초하여 차량의 지리적 위치를 결정할 수 있다. 차량의 지리적 위치는 예를 들면, 다양한 종류의 지리 좌표계를 이용하여 정의될 수 있다. 예를 들면, 지리적 위치는 위도와 경도에 의해 정의되는 좌표로 나타낼 수 있다.
또한, 제1 프로세서(220)는 검출된 차량 식별 정보와 관심 차량 정보를 비교하고, 차량 식별 정보가 관심 차량 정보와 일치하는 경우, 이벤트 정보를 생성한다. 복수의 관심 차량 정보가 서버(120)로부터 입력된 경우, 제1 프로세서(220)는 하나의 차량 식별 정보를 복수의 관심 차량 정보 각각과 비교한다.
이벤트 정보는 입력 영상에서 관심 차량 정보에 대응하는 관심 차량이 검출되었다는 정보이다. 이벤트 정보는 검출 차량 정보, 차량 식별 정보, 검출 시간, 차량 위치 정보, 또는 주변 차량 정보 중 적어도 하나를 포함할 수 있다. 제1 프로세서(220)는 입력 영상으로부터 관심 차량이 검출된 경우, 해당 입력 영상에 대응하는 시간 정보를 획득하여, 검출 시간을 정의한다. 주변 차량 정보는 관심 차량에 대응하는 검출된 차량의 주변에 위치한 차량에 대한 정보로서, 차량 식별 번호, 차종, 모델명, 색상, 또는 차선 정보를 포함할 수 있다. 제1 프로세서(220)는 입력 영상에서 관심 차량에 대응하는 차량의 위치에 기초하여, 해당 차량 주변의 소정의 거리 내의 차량을 검출하고, 소정의 거리 내에 위치한 적어도 하나의 차량에 대응하는 주변 차량 정보를 생성할 수 있다.
일 실시예에 따르면, 제1 프로세서(220)는 관심 차량에 대응하는 차량을 블랙박스로 촬영 가능한 차량을 주변 차량으로 정의할 수 있다. 예를 들면, 주변 차량은 관심 차량과 동일 주행 방향의 차량 중 관심 차량의 후방에서 주행 중인 차량, 관심 차량의 주행 방향과 반대 방향으로 주행 중인 차량 중, 관심 차량의 전방에서 주행 중인 차량에 대응할 수 있다.
입력 인터페이스(210)는 적어도 하나의 CCTV(112)로부터 촬영된 입력 영상을 수신한다. 일 실시예에 따르면, 엣지 컴퓨팅 장치(110)는 엣지 컴퓨팅 장치(110) 내에 CCTV(112)를 구비할 수 있다. 이러한 경우, 입력 인터페이스(210)는 엣지 컴퓨팅 장치(110)에 내장된 카메라로부터 입력 영상을 수신한다. 다른 실시예에 따르면, 엣지 컴퓨팅 장치(110)는 엣지 컴퓨팅 장치(110) 외부에 배치된 CCTV(112)와 연결되어, 입력 인터페이스(210)를 통해 입력 영상을 수신할 수 있다.
입력 인터페이스(210)는 외부로부터 영상 데이터를 수신 가능한 소정 규격이 입력 장치, 또는 통신부에 대응될 수 있다. 입력 인터페이스(210)는 입력된 영상 데이터를 제1 프로세서(220) 및 메모리(230)로 전달한다. 입력된 영상 데이터는 입력 영상에 대응된다.
메모리(230)는 입력 영상 및 엣지 컴퓨팅 장치(110)의 동작에 필요한 데이터 및 명령어를 저장한다. 메모리(230)는 동영상을 저장할 수 있는 소정의 저장 매체를 포함할 수 있다. 메모리(230)는 예를 들면, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
제1 통신부(240)는 유선 또는 무선으로 외부 장치와 통신할 수 있다. 제1 통신부(240)는 서버(120)와 통신한다.
제1 통신부(240)는 유선 또는 무선으로 서버(120) 또는 외부 장치와 통신한다. 일 실시예에 따르면, 제1 통신부(240)는 근거리 통신을 수행할 수 있으며, 예를 들면, BCDMA, LoRa(Long Range), 와이선(Wi-SUN), 블루투스, BLE(Bluetooth Low Energy), 근거리 무선 통신 (Near Field Communication), WLAN(와이파이), 지그비(Zigbee), 적외선(IrDA, infrared Data Association) 통신, WFD(Wi-Fi Direct), UWB(ultra wideband), Ant+ 통신 등을 이용할 수 있다. 다른 예로서, 제1 통신부(240)는 이동 통신망, 광통신, 이더넷 등의 광역 통신을 수행할 수 있다. 제1 통신부(240)는 적어도 하나의 근거리 통신 모듈과 적어도 하나의 광역 통신 모듈 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따르면, 제1 프로세서(220)는 제1 통신부(240)를 통해, 서버로(120)로부터 관심 차량 정보를 수신하고, 서버(120)로 이벤트 정보를 송신하도록 제1 통신부(240)를 제어한다. 또한, 일 실시예에 따르면, 제1 프로세서(220)는 CCTV(112)에 의해 촬영된 입력 영상 중 일부 또는 전부를 서버(120)로 전송한다.
일 실시예에 따르면, 제1 프로세서(220)는 CCTV(112)에 의해 촬영된 입력 영상 중 이벤트가 발생한 입력 영상을 서버(120)로 전송할 수 있다. 이러한 경우, 이벤트가 발생한 입력 영상과 이벤트 정보가 서버(120)로 전송된다.
다른 실시예에 따르면, 제1 프로세서(220)는 CCTV(112)에 의해 촬영된 입력 영상을 서버(120)로 전송한다. 이벤트 정보는 입력 영상 중 이벤트가 발생한 프레임에 대한 정보를 포함할 수 있다.
서버(120)는 제2 통신부(250), 제2 프로세서(260), 데이터 베이스(270), 및 출력 인터페이스(280)를 포함한다.
제2 통신부(250)는 유선 또는 무선으로 적어도 하나의 엣지 컴퓨팅 장치(110) 또는 외부 장치와 통신한다. 일 실시예에 따르면, 제2 통신부(250)는 근거리 통신을 수행할 수 있으며, 예를 들면, BCDMA, LoRa(Long Range), 와이선(Wi-SUN), 블루투스, BLE(Bluetooth Low Energy), 근거리 무선 통신 (Near Field Communication), WLAN(와이파이), 지그비(Zigbee), 적외선(IrDA, infrared Data Association) 통신, WFD(Wi-Fi Direct), UWB(ultra wideband), Ant+ 통신 등을 이용할 수 있다. 다른 예로서, 제2 통신부(250)는 이동 통신망, 광통신, 이더넷 등의 광역 통신을 수행할 수 있다. 제2 통신부(250)는 적어도 하나의 근거리 통신 모듈과 적어도 하나의 광역 통신 모듈 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따르면, 제2 프로세서(260)는 제2 통신부(250)를 통해, 엣지 컴퓨팅 장치(110)로 관심 차량 정보를 전송하고, 엣지 컴퓨팅 장치(110)로부터 이벤트 정보를 수신하도록 제2 통신부(250)를 제어한다.
제2 프로세서(260)는 서버(120)의 전반의 동작을 제어한다. 제2 프로세서(260)는 하나 또는 그 이상의 프로세서로 구현될 수 있다. 제2 프로세서(260)는 메모리에 저장된 인스트럭션 또는 커맨드를 실행하여 소정의 동작을 수행할 수 있다.
제2 프로세서(260)는 엣지 컴퓨팅 장치(110)로부터 수신된 이벤트 정보에 기초하여, 관심 차량에 대한 차량 추적 정보를 생성한다. 제2 프로세서(260)는 이벤트 정보가 수신되면, 이벤트 정보에 포함된 차량 정보, 시간 정보, 및 위치 정보를 식별한다. 차량 정보는 차량 식별 정보를 포함한다. 제2 프로세서(260)는 수신된 이벤트 정보에 포함된 차량 식별 정보에 대응하는 관심 차량에 대해 차량 추적 정보를 생성한다. 차량 추적 정보는 시간에 따른 관심 차량의 위치 및 이동을 나타내는 정보로서, 예를 들면, 지도 데이터 상에 차량 인디케이터를 배치한 형태를 가질 수 있다. 제2 프로세서(260)는 지도 데이터 상에서 이벤트 정보에 포함된 위치 정보에 대응하는 위치에 식별된 차량에 대응하는 차량 인디케이터를 배치한다. 또한, 해당 차량 추적 정보에 대응하는 이벤트 정보가 수신되면 시간 정보에 기초하여 차량 인디케이터의 위치를 업데이트한다.
출력 인터페이스(280)는 차량 추적 정보를 출력한다. 출력 인터페이스(280)는 예를 들면, 표시부, 프린터 등의 출력 장치에 대응될 수 있다. 다른 실시예에 따르면, 출력 인터페이스(280)는 다른 장치로 차량 추적 정보를 출력하는 통신 인터페이스에 대응될 수 있다.
데이터베이스(270)는 관심 차량 정보를 저장한다. 데이터베이스(270)는 동영상을 저장할 수 있는 소정의 저장 매체를 포함할 수 있다. 데이터베이스(270)는 예를 들면, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 3은 본 개시의 일 실시예에 따른 CCTV와 엣지 컴퓨팅 장치의 설치예를 나타낸 도면이다.
본 개시의 일 실시예에 따르면, CCTV(112)와 엣지 컴퓨팅 장치(110)는 도로에 인접한 소정의 구조물(310)에 고정되어 설치될 수 있다. CCTV(112)는 도로의 차량(140) 및 사람(142)을 촬영하도록 FOV가 설정되어 배치된다. CCTV(112)는 유선 또는 무선으로 엣지 컴퓨팅 장치(110)로 촬영 영상을 전송한다.
엣지 컴퓨팅 장치(110)는 CCTV(112)와 인접하게 배치된다. 엣지 컴퓨팅 장치(110)는 본 개시의 실시예들에 따른 관심 차량 검출 처리 이외에도, CCTV(112)로부터 수신한 입력 영상에 기초한 과속 차량 모니터링, 불법 주정차 차량 모니터링 등의 다양한 동작을 수행할 수 있다. 엣지 컴퓨팅 장치(110)는 CCTV(112)와 함께 다수로 배치되기 때문에, 용이하게 설치 가능하도록 구현된다.
엣지 컴퓨팅 장치(110)는 이벤트 정보를 생성하여 원격으로 배치된 서버(120)로 전송한다.
도 4는 본 개시의 일 실시예에 따른 제1 프로세서의 구조를 나타낸 도면이다.
본 개시의 일 실시예에 따른 제1 프로세서(220)는 제1 기계학습 모델(222), 후처리부(410), 및 이벤트 분석부(420)를 포함한다. 제1 기계학습 모델(222), 후처리부(410), 및 이벤트 분석부(420)는 소정의 소프트웨어 모듈에 대응될 수 있다. 제1 프로세서(220)는 메모리(230)에 저장된 컴퓨터 프로그램 또는 명령어를 실행하여 소정의 소프트웨어 모듈의 동작을 수행할 수 있다. 도 4에 도시된 소프트웨어 모듈 구조는 본 개시의 일 실시예이며, 제1 프로세서(220)의 소프트웨어 모듈은 다양한 형태로 구현될 수 있다.
제1 기계학습 모델(222)은 입력 영상을 입력 받아, 검출 차량 정보를 생성한다. 검출 차량 정보는 입력 영상에서 검출된 차량 영역에 대한 정보 및 검출된 차량의 속도 정보를 포함한다.
후처리부(410)는 검출 차량 정보 및 입력 영상에 기초하여, 차량 식별 정보를 생성한다. 후처리부(410)는 추가적으로 차선 정보, 차량 위치 정보를 생성할 수 있다. 후처리부(410)는 소정의 객체 인식 알고리즘, 문자 인식 알고리즘, 또는 영상 처리 알고리즘을 이용하여 입력 영상 및 검출 차량 정보에 기초하여 차량 식별 정보를 생성할 수 있다.
후처리부(410)는 입력 영상에서 차량 영역에 대응하는 영역을 추출하고, 차량 영역에서 소정의 객체 인식 알고리즘을 이용하여 번호판 영역을 추출할 수 있다. 후처리부(410)는 번호판 영역으로부터 문자 인식 알고리즘을 이용하여 차량 번호를 인식할 수 있다. 후처리부(410)는 인식된 차량 번호를 이용하여 차량 식별 정보를 생성한다. 또한, 후처리부(410)는 객체 인식 알고리즘을 이용하여 차량 영역에서 검출된 차량의 색상, 모델명, 차종을 인식한다. 차종은 예를 들면, 승용차, 승합차, 버스, 트럭, 오토바이 등으로 인식될 수 있다. 색상 모델명, 차종은 차량 식별 정보에 대한 추가 정보로 출력될 수 있다.
후처리부(410)는 객체 인식 알고리즘을 이용하여 차선을 인식하고, 인식된 차선에 기초하여, 각 검출된 차량에 대한 차선 정보를 생성할 수 있다.
또한, 후처리부(410)는 입력 영상에서 차량 영역의 위치에 기초하여 차량의 위치 정보를 생성할 수 있다. 일 실시예에 따르면, 차량 위치 정보는, CCTV(112)의 FOV 상에서의 위치를 나타낸다. 다른 실시예에 따르면, 차량 위치 정보는, CCTV(112)의 위치와, 입력 영상 상에서의 차량의 위치에 기초하여 결정된 지리적 위치를 나타낸다.
이벤트 분석부(420)는 후처리부(410)로부터 입력된 차량 식별 정보와 서버(120)로부터 수신된 관심 차량 정보에 기초하여 이벤트 정보를 생성하고, 출력한다. 이벤트 분석부(420)는 입력 영상에서 검출된 차량의 차량 식별 정보와 관심 차량 정보를 비교한다. 이벤트 분석부(420)는 검출된 차량의 차량 식별 정보와 관심 차량 정보의 차량 식별 정보가 일치하는 경우, 이벤트 정보를 생성한다.
일 실시예에 따르면, 관심 차량 정보는 차량 식별 정보 외에, 차종, 모델명, 또는 색상 중 적어도 하나를 포함한다. 이벤트 분석부(420)는 검출된 차량의 차종, 모델명, 또는 색상과, 관심 차량 정보에 포함된 차종, 모델명, 또는 색상을 비교하여 검출된 차량 정보를 추가적으로 검증할 수 있다. 예를 들면, 이벤트 분석부(420)는 관심 차량 정보의 차량 식별 정보와 검출된 차량의 차량 식별 정보를 비교하여 동일한 경우, 차종, 모델명, 또는 색상 중 적어도 하나를 추가로 비교하여 검출된 차량이 관심 차량에 대응하는지 여부를 추가적으로 검증한다. 이벤트 분석부(420)는 추가 정보의 비교 결과에 기초하여 검출된 차량의 관심 차량 일치 여부에 대한 신뢰도를 생성하고, 신뢰도 정보를 이벤트 정보에 함께 제공할 수 있다. 차량 식별 정보가 일치하고, 차종, 모델명, 또는 색상 등의 추가 정보가 모두 일치하는 경우, 신뢰도는 90%이상으로 표시되고, 추가 정보 중 일부가 불일치하는 경우 신뢰도는 더 낮게 정의될 수 있다. 예를 들면, 차량 식별 정보가 일치하고, 차종, 모델명이 일치하지만 색상이 불일치하는 경우, 신뢰도는 70%로 정의될 수 있다.
도 5는 본 개시의 일 실시예에 따른 엣지 컴퓨팅 장치, 서버, 및 CCTV의 동작을 나타낸 흐름도이다.
CCTV(112)는 촬영 영상을 엣지 컴퓨팅 장치(110)로 송신한다(S502). 엣지 컴퓨팅 장치(110)는 CCTV(112)로부터 계속해서 촬영 영상을 수신할 수 있다. 엣지 컴퓨팅 장치(110)는 CCTV(112)로부터 촬영 영상을 수신한다(S504). CCTV(112)로부터 수신된 촬영 영상은 입력 영상이 된다.
또한, 서버(120)는 수배 차량 정보를 엣지 컴퓨팅 장치(110)로 송신한다(S506). 서버(120)는 외부 기관 서버(130)로부터 수배 차량 정보를 수신하고, 데이터베이스(270)에 저장할 수 있다. 서버(120)는 저장된 수배 차량 정보를 엣지 컴퓨팅 장치(110)로 전송한다. 수배 차량 정보는 정기적 또는 비정기적으로 엣지 컴퓨팅 장치(110)로 송신될 수 있다. 일 실시예에 따르면, 서버(120)는 기존의 수배 차량에 대한 수배가 종료된 경우, 수배 차량 해제 통보 등의 업데이트 정보를 엣지 컴퓨팅 장치(110)로 송신할 수 있다. 엣지 컴퓨팅 장치(110)는 서버(120)로부터 정기적 또는 비정기적으로 수신된 수배 차량 정보에 기초하여, 저장된 관심 차량 정보를 업데이트한다. 예를 들면, 엣지 컴퓨팅 장치(110)는 새로운 관심 차량이 추가된 경우, 기존의 관심 차량에 대해 수배가 종료된 경우, 관심 차량 정보가 수정된 경우 등에 관심 차량 정보를 업데이트할 수 있다.
엣지 컴퓨팅 장치(110)는 서버(120)로부터 수신된 수배 차량 정보에 기초하여 관심 차량 정보를 생성한다(S508). 서버(120)로부터 송신된 수배 차량 정보는 엣지 컴퓨팅 장치(110)에서 사용되는 관심 차량 정보와 동일한 형식으로 송신될 수 있다. 이러한 경우, 엣지 컴퓨팅 장치(110)는 추가적인 처리 없이 서버(120)로부터 수신한 관심 차량 정보를 메모리에 저장하고 이용할 수 있다. 다른 예로서, 서버(120)로부터 송신된 수배 차량 정보가 엣지 컴퓨팅 장치(110)에서 사용되는 관심 차량 정보와 형식이 다른 경우, 엣지 컴퓨팅 장치(110)는 엣지 컴퓨팅 장치에서 이용 가능한 형식으로 수배 차량 정보를 변환하여 관심 차량 정보를 생성하고, 생성된 관심 차량 정보를 메모리(230)에 저장한다.
다음으로 엣지 컴퓨팅 장치(110)는 제1 입력 영상을 제1 기계학습 모델에 입력하여 검출 차량 정보를 획득한다(S510). 검출 차량 정보는 입력 영상에서 차량에 대응하는 차량 영역과, 검출된 차량의 속도 정보를 포함한다.
다음으로, 엣지 컴퓨팅 장치(110)는 제1 기계학습 모델에서 출력된 검출 차량 정보와, 입력 영상에 기초하여, 차량 식별 정보를 생성한다(S512). 엣지 컴퓨팅 장치(110)는 입력 영상에서 차량 영역에 대응하는 각 영역에 대해, 객체 인식 알고리즘, 문자 인식 알고리즘 등을 이용하여 차량 번호를 인식하고, 차량 식별 정보를 생성할 수 있다.
다음으로 엣지 컴퓨팅 장치(110)는 검출된 차량의 차량 식별 정보와 관심 차량 정보의 차량 식별 정보를 비교한다(S514). 복수의 관심 차량이 존재하고, 각 관심 차량에 대한 관심 차량 정보가 서버(120)로부터 수신된 경우, 엣지 컴퓨팅 장치(110)는 각 차량 식별 정보를 복수의 관심 차량 정보 각각과 비교한다.
엣지 컴퓨팅 장치(110)는 비교 결과, 검출된 차량의 식별 정보가 관심 차량 정보의 차량 식별 정보와 동일한 경우(S516), 이벤트 정보를 생성한다(S518). 이벤트 정보는 관심 차량이 검출되었다는 정보, 차량 식별 정보, 검출 시간 정보, 및 차량 위치 정보를 포함한다. 이외에도 이벤트 정보는 모델명, 색상, 속도, 차선 정보, 또는 주변 차량 정보 등의 추가 정보를 포함할 수 있다.
엣지 컴퓨팅 장치(110)는 생성된 이벤트 정보를 서버(120)로 전송한다(S520).
서버(120)는 엣지 컴퓨팅 장치(110)로부터 수신된 이벤트 정보를 수신한다(S522). 서버(120)는 이벤트 정보가 수신되면, 이벤트 정보에 대응하는 관심 차량에 대한 차량 추적 정보를 생성한다(S524). 차량 추적 정보는 지도 데이터 상에 관심 차량에 대응하는 인디케이터를 차량이 검출된 위치에 배치한 정보이다. 서버(120)는 검출된 차량의 위치 정보가 업데이트되면, 지도 데이터 상에서 인디케이터의 위치를 업데이트하여 차량 추적 정보를 업데이트할 수 있다.
서버(120)는 생성된 차량 추적 정보를 출력한다(S526). 서버(120)는 차량 추적 정보를 출력 인터페이스를 통해 출력하거나, 외부 장치로 전송할 수 있다.
도 6은 본 개시의 일 실시예에 따라 입력 영상으로부터 수배자 정보를 획득하고 이용하는 구성을 나타낸 도면이다.
본 개시의 일 실시예에 따르면, 엣지 컴퓨팅 장치(110)는 입력 영상으로부터 이벤트가 검출되면, 이벤트가 검출된 프레임 영상인 제2 영상(610)을 서버(120)로 전송한다.
일 실시예에 따르면, 엣지 컴퓨팅 장치(110)는 제2 영상(610)에서 관심 차량에 대응하는 차량 영역(612)을 크롭하여 제1 영상(620)을 생성한다. 제1 영상(620)은 제1 기계학습 모델(222)에 의해 정의된 차량 영역에 기초하여 생성될 수 있다. 엣지 컴퓨팅 장치(110)는 관심 차량에 대응하는 제1 영상(620)은 이벤트 정보와 함께 서버(120)로 전송할 수 있다.
다른 실시예에 따르면, 엣지 컴퓨팅 장치(110)는 제2 영상(610)으로부터 차량의 전면 유리 영역(622)에 대응하는 제3 영상을 생성하여 출력한다. 엣지 컴퓨팅 장치(110)의 제1 프로세서(220)는 입력 영상으로부터 이벤트를 검출한 경우, 제2 영상(610)으로부터 객체 인식 알고리즘을 이용하여 전면 유리 영역(622)을 검출한다. 제1 프로세서(220)는 제2 영상(610)의 관심 차량에 대응하는 차량 영역(612) 내에서, 객체의 위치와 형태에 기초하여 전면 유리 영역(622)을 검출할 수 있다. 제1 프로세서(220)는 전면 유리 영역(622)을 포함하는 영역을 직사각형 형태로 크롭하여 제3 영상을 생성하여 출력한다.
또 다른 실시예에 따르면, 엣지 컴퓨팅 장치(110)는 제2 영상(210)으로부터 탑승자 영상(632, 642)을 생성한다.
제1 프로세서(220)는 제2 영상(210)의 차량 영역(612)으로부터 운전자에 대응하는 운전자 영역(624)을 크롭하여 제1 탑승자 영상(632)을 생성한다. 제1 프로세서(220)는 제2 영상(210)의 차량 영역(612)에서, 전면 유리 영역(622)을 검출하고, 전면 유리 영역(622) 내에서 우측 일부 영역을 운전자 영역(624)으로 정의할 수 있다. 제1 프로세서(220)는 운전자 영역(624)을 크롭하여 제1 탑승자 영상(632)을 생성한다.
다른 예로서, 제1 프로세서(220)는 제2 영상(210)의 차량 영역(612)으로부터 운전자 및 조수석 탑승자에 대응하는 탑승자 영역(626)을 크롭하여 제2 탑승자 영상(642)을 생성한다. 제1 프로세서(220)는 제2 영상(210)의 차량 영역(612)에서, 전면 유리 영역(622)을 검출하고, 전면 유리 영역(622) 내에서 운전자 및 조수석 탑승자에 대응하는 영역을 탑승자 영역(626)으로 정의할 수 있다. 제1 프로세서(220)는 탑승자 영역(626)을 크롭하여 제2 탑승자 영상(642)을 생성한다.
엣지 컴퓨팅 장치(110)는 제1 영상(620), 제2 영상(610), 제1 탑승자 영상(632), 또는 제2 탑승자 영상(642)을 생성하여, 서버(120)로 전송한다.
도 7은 본 개시의 일 실시예에 따른 서버에서 이벤트 정보를 수신하고 차량 추적 정보를 생성하는 과정을 나타낸 흐름도이다.
본 개시의 일 실시예에 따르면, 서버(120)는 이벤트 정보를 수신하면(S522), 이벤트 정보에 기초하여 차량 추적 정보를 생성한다(S524). 서버(120)는 이벤트 정보에 포함된 차량 식별 정보, 시간 정보, 및 위치 정보를 식별한다(S702).
서버(120)는 식별된 차량에 대응하는 위치 트래킹 데이터를 생성한다(S704). 위치 트래킹 데이터는, 특정 관심 차량에 대해 시간에 따른 위치를 기록한 데이터이다. 위치 트래킹 데이터는 관심 차량의 위치가 변경되면, 시간에 따른 위치가 추가되면서 업데이트된다. 서버(120)는 식별된 차량에 대한 위치 트래킹 데이터가 없는 경우, 새로운 위치 트래킹 데이터를 생성한다. 서버(120)는 식별된 차량에 대해 기존의 위치 트래킹 데이터가 있는 경우, 기존의 위치 트래킹 데이터를 새로운 이벤트 정보에 기초하여 업데이트한다.
다음으로, 서버(120)는 지도 데이터 상에서, 위치 트래킹 데이터에 대응하는 위치를 식별한다(S706). 서버(120)는 위치 트래킹 데이터의 차량 위치에 대응하는 영역의 지도 데이터를 검색한다. 서버(120)는 지도 데이터를 데이터베이스(270)에 저장된 지도 데이터를 검색하거나, 외부 서버의 지도 데이터를 검색하여, 위치 트래킹 데이터의 차량 위치에 대응하는 영역의 지도 데이터를 검색한다. 서버(120)는 검색된 지도 데이터의 소정 영역에서, 위치 트래킹 데이터에 대응하는 위치를 식별한다. 예를 들면, 위치 트래킹 데이터는 위도 및 경도로 정의된 위치 정보를 포함하고, 위치 정보에 기초하여 지도 데이터 상에서 위치를 식별할 수 있다.
다음으로, 서버(120)는 지도 데이터 상의 식별된 지점에 관심 차량 인디케이터를 배치하여 차량 추적 정보를 생성한다(S708). 차량 추적 정보는 지도 데이터 상에 시간에 따른 관심 차량의 위치를 나타낸 정보이다. 차량 추적 정보는 관심 차량 인디케이터를 소정 위치에 배치하여 시간에 따른 관심 차량의 위치를 나타낼 수 있다.
다음으로, 서버(120)는 이벤트 정보가 수신되면 차량 추적 정보를 업데이트한다(S710). 서버(120)는 새로운 이벤트 정보가 수신되면, S702, S704, S706 단계를 수행한다. 새로운 이벤트 정보에 기초하여 위치 트래킹 데이터가 업데이트되고, 지도 데이터에서 위치 트래킹 데이터에 대응하는 위치가 식별되면, 서버(120)는 업데이트된 위치 트래킹 데이터에 기초하여 차량 추적 정보를 업데이트한다.
도 8은 본 개시의 일 실시예에 따른 위치 트래킹 데이터를 나타낸 도면이다.
서버(120)는 이벤트 정보가 수신되면, 차량 식별 정보, 검출 시간, 및 차량 위치 정보를 식별한다. 서버(120)는 차량 1에 대응하는 차량 식별 정보가 검출되면, 차량 1에 대응하는 제1 위치 트래킹 데이터(810a)를 생성한다. 제1 위치 트래킹 데이터(810a)는 차량 1에 대한 시간에 따른 위치 정보를 나타낸다. 서버(120)는 차량 2에 대응하는 차량 식별 정보가 검출되면, 차량 2에 대응하는 제2 위치 트래킹 데이터(810b)를 생성한다. 제2 위치 트래킹 데이터(810b)는 차량 2에 대한 시간에 다른 위치 정보를 나타낸다.
이벤트 정보는 복수의 엣지 컴퓨팅 장치(110a, 110b, 110c)로부터 수신할 수 있다. 예를 들면, 차량 1에 대응하는 이벤트 정보가, 제1 엣지 컴퓨팅 장치(110a), 제2 엣지 컴퓨팅 장치(110b), 및 제3 엣지 컴퓨팅 장치(110c)로부터 순차적으로 입력될 수 있다. 서버(120)는 각 이벤트 정보로부터 차량 식별 정보를 식별하여, 서로 다른 이벤트 정보가 동일한 차량에 대한 이벤트 정보임을 알 수 있다. 서버(120)는 차량 1에 대한 이벤트 정보가 수신되면, 각 이벤트 정보의 검출 시간에 대응하는 각 시점(t1, t2, t3, t4, t5, 및 t6)에, 각 검출 시간에 대응하는 위치 정보를 기록할 수 있다. 또한 예를 들면 차량 2에 대응하는 이벤트 정보는 제2 엣지 컴퓨팅 장치(110b) 및 제1 엣지 컴퓨팅 장치(110a)로부터 순차적으로 입력될 수 있다. 서버(120)는 차량 2에 대한 이벤트 정보에 기초하여, 제2 위치 트래킹 정보(810b)에 차량 2의 시간에 따른 위치를 기록할 수 있다.
도 9는 본 개시의 일 실시예에 따른 차량 추적 정보를 나타낸 도면이다.
본 개시의 일 실시예에 따른 차량 추적 정보는 위성 사진 상에 관심 차량 인디케이터가 배치된 제1 지도 정보(910)와 도로를 중심으로 재구성된 디지털 지도 상에 관심 차량 인디케이터가 배치된 제2 지도 정보(920, 930)를 포함한다. 서버(120)는 제1 지도 정보(910)와 제2 지도 정보(920, 930)의 쌍을 생성하여, 차량 추적 정보로 출력할 수 있다.
서버(120)는 위치 트래킹 데이터의 차량 위치 정보에 대응하는 위성 사진과 디지털 지도를 검색한다. 서버(120)는 위성 사진에 차량 인디케이터를 배치한 제1 지도 정보(910)를 생성하고, 디지털 지도에 차량 인디케이터를 배치한 제2 지도 정보(920, 930)를 생성한다.
일 실시예에 따르면, 서버(120)는 디지털 지도 상에 시간에 따른 차량의 위치를 나타낸 제2 지도 정보(920)를 생성할 수 있다. 서버(120)는 디지털 지도에 시간에 따른 차량 1의 위치를 나타내는 차량 인디케이터(942)를 배치할 수 있다. 이 때, 서버(120)는 차량 1의 최신 위치를 나타내는 차량 인디케이터(942)와 차량 1의 최신 위치 이전의 위치를 나타내는 차량 인디케이터(944)를 다르게 나타낼 수 있다.
다른 실시예에 따르면, 서버(120)는 디지털 지도 상에 차량 1의 인디케이터(942)와 차량 2의 인디케이터(952)를 함께 나타낼 수 있다. 차량 1의 인디케이터(942)는 차량 1의 최신 위치를 나타내고, 차량 2의 인디케이터(952)는 차량 2의 최신 위치를 나타낸다. 차량 1의 인디케이터(942)는 차량 1의 위치 트래킹 데이터가 업데이트됨에 따라 그 위치가 업데이트된다. 차량 2의 인디케이터(952)는 차량 2의 위치 트래킹 데이터가 업데이트됨에 따라 그 위치가 업데이트된다.
서버(120)는 제1 지도 정보(910)와 제2 지도 정보(920, 930)는 차량 추적 정보로 출력 인터페이스(280)를 통해 출력되거나, 제2 통신부(250)를 통해 외부 장치로 전송될 수 있다.
도 10a은 본 개시의 일 실시예에 따라 서버에서 수배자 검출 알림 정보를 생성하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따르면 서버(120)는 엣지 컴퓨팅 장치(110)로부터 수신한 이벤트 정보에 대응하는 영상 데이터로부터 수배자를 검출할 수 있다. 서버(120)는 이벤트 정보로부터 영상 데이터(1006)가 수신되면 데이터베이스(270)에 저장된 수배자 정보(1004)와 비교한다(1002). 수배자 정보(1004)는 각 수배자에 대해 식별 정보, 얼굴의 모습을 나타내는 얼굴 영상 데이터, 성별, 또는 안경 착용 여부 중 적어도 하나를 포함할 수 있다. 서버(120)는 데이터베이스(270)에 관심 차량 정보 중 적어도 일부에 대해 수배자 정보 저장할 수 있다. 즉, 서버(120)는 모든 관심 차량 정보에 대해 수배자 정보를 저장하는 것은 아니고, 적어도 일부에 대해서 수배자 정보를 저장할 수 있다.
서버(120)는 영상 데이터(1006)에서 검출된 얼굴 영역과, 수배자 정보(1004) 각각의 얼굴 영상 데이터를 비교하여, 수배자를 검출할 수 있다. 예를 들면, 서버(120)는 얼굴 인식 알고리즘을 이용하여, 영상 데이터(1006)의 얼굴과 수배자 정보(1004)의 얼굴의 일치 여부를 판단할 수 있다. 영상 데이터(1006)는 앞서 도 6에서 설명한 제2 영상(610), 제1 영상(620), 또는 탑승자 영상(632, 642)에 대응할 수 있다.
서버(120)는 영상 데이터(1006)와 수배자 정보(1004)의 비교 결과, 영상 데이터(1006)의 얼굴이 수배자 정보(1004)의 얼굴과 일치한다고 판단된 경우, 수배자 검출 알림 정보를 생성한다(1008). 수배자 검출 알림 정보는 검출된 수배자 정보, 엣지 컴퓨팅 장치(110)로부터 수신된 영상 데이터, 일치율, 검출 시간, 및 검출 위치 중 적어도 하나를 포함할 수 있다. 일치율은 영상 데이터(1006)의 얼굴과 수배자 정보(1004)의 얼굴의 일치율을 나타내는 정보이다.
서버(120)는 수배자 검출 알림 정보가 생성되면 출력 인터페이스(280)를 통해 수배자 검출 알림 정보를 출력하거나, 제2 통신부(250)를 통해 외부 장치로 수배자 검출 알림 정보를 전송할 수 있다.
도 10b는 입력 영상으로부터 관심 인물을 검출하는 과정을 나타낸 도면이다.
본 개시의 일 실시예에 따른 엣지 컴퓨팅 장치(110)는 입력 영상(1010)으로부터 사람 얼굴 영역(1012)을 검출한다. 엣지 컴퓨팅 장치(110)는 입력 영상(1010)으로부터 검출된 사람 얼굴 영역(1012)의 얼굴이 관심 인물과 일치하는지 여부를 판단한다.
일 실시예에 따르면, 엣지 컴퓨팅 장치(110)는 서버(120)로부터 관심 인물 정보(1020)를 수신하고, 관심 인물 정보(1020)의 각각의 얼굴과 사람 얼굴 영역(1012)을 비교하여, 사람 얼굴 영역(1012)의 얼굴이 관심 인물에 해당하는지 여부를 판단할 수 있다. 엣지 컴퓨팅 장치(110)는 소정의 얼굴 인식 알고리즘을 이용하여, 입력 영상(1010)의 사람 얼굴 영역(1012)과 관심 인물 정보(1020)의 각각의 얼굴을 비교할 수 있다.
다른 실시예에 따르면, 엣지 컴퓨팅 장치(110)는 얼굴 영역(1012)의 영상 데이터를 서버(120)로 전송한다. 서버(120)는 관심 인물 정보(1020)를 저장한다. 서버(120)는 저장된 관심 인물 정보(1020)와 엣지 컴퓨팅 장치(110)로부터 수신한 얼굴 영역(1012)의 영상 데이터를 비교하여, 입력 영상(1010)의 얼굴 영역(1012)이 관심 인물에 대응하는지 여부를 판단한다. 서버(120)는 입력 영상(1010)의 얼굴 영역(1012)의 사람이 관심 인물에 대응하는 경우, 해당 얼굴 영역(1012)의 영상 데이터를 송부한 엣지 컴퓨팅 장치(110)로, 관심 인물이 검출되었다는 이벤트 정보를 전송할 수 있다.
도 11는 본 개시의 일 실시 예에 따른 엣지 컴퓨팅 장치의 구조를 나타낸 도면이다. 도 11에서는 엣지 컴퓨팅 장치(110a)의 카메라(1110), 제1 프로세서(220a), 메모리(230)를 중심으로 설명하고, 기타 구성은 생략한다.
본 개시에서 제1 프로세서(220a)내에 정의한 블록들은 본 개시의 실시예들을 수행하기 위한 하드웨어 블록 또는 소프트웨어 처리 단위의 일례일 뿐이고, 본 개시에서 개시된 처리 단위 이외에도 다양한 방식으로 본 개시의 실시예들을 수행하는 처리 단위가 정의될 수 있다.
엣지 컴퓨팅 장치(110a)의 제1 프로세서(220a)는 코덱(1120), 샘플러(1130), 제1 기계학습 모델(222), 및 이벤트 분석부(1140)를 포함할 수 있다. 제1 프로세서(220a)의 각 블록은 하드웨어 블록 또는 소프트웨어 블록에 대응될 수 있다. 예를 들면, 제1 프로세서(220a)는 코덱(1120)에 대응하는 전용 프로세서, 또는 제1 기계학습 모델(222)에 대응하는 전용 프로세서를 포함할 수 있다. 도 11의 이벤트 분석부(1140)는 도 4의 이벤트 분석부(420)에 대응될 수 있다.
코덱(1120)은 카메라(1110)로부터 입력된 입력 동영상을 소정의 규격으로 디코딩한다. 코덱(1120)은 예를 들면, AVI, MPEG(Moving Picture Experts Group), MOV, WMV(Window Media Video) 등의 규격을 지원할 수 있다. 코덱(1120)은 입력 동영상을 디코딩하여 복수의 입력 프레임을 생성한다.
샘플러(1130)는 코덱(1120)으로부터 복수의 입력 프레임을 입력 받아, 복수의 입력 프레임에 대한 샘플링 처리를 수행한다. 예를 들면, 샘플러(1130)는 30fps로 입력 프레임을 입력 받아, 3fps로 샘플링할 수 있다. 샘플러(1130)의 샘플링 레이트는 실시 예에 따라 달라질 수 있다.
제1 기계학습 모델(222)은 샘플러(1130)로부터 입력된 복수의 입력 프레임으로부터, 각각의 입력 프레임 내의 객체의 식별 정보 및 속도 정보를 생성하여 출력한다. 복수의 입력 프레임은 소정의 전 처리를 거쳐, 제1 기계학습 모델(222)에서 요구되는 입력 벡터로 변환되고, 입력 벡터가 제1 기계학습 모델(222)로 입력될 수 있다. 예를 들면, 전 처리에서 입력 프레임으로부터 차량에 대응하는 적어도 하나의 객체가 검출되고, 적어도 하나의 객체에 대한 정보가 제1 기계학습 모델(222)로 입력될 수 있다. 제1 기계학습 모델(222)에서 생성된 객체의 식별 정보 및 속도 정보는 입력 프레임에 삽입되어 출력된다. 예를 들면, 입력 프레임의 영상 데이터에, 차량의 영역을 나타내는 박스, 차량의 식별 정보를 나타내는 정보(예를 들면 박스의 컬러), 및 각 차량의 속도가 함께 표시될 수 있다. 제1 프로세서(220a)는 제1 기계학습 모델(222)의 출력에 대한 후 처리를 통해, 객체의 식별 정보 및 속도 정보를 영상 데이터에 삽입할 수 있다.
이벤트 분석부(1140)는 제1 기계학습 모델(222)로부터 생성된 차량 영역 정보 및 속도 정보를 입력 받아, 차량 영역으로부터 차량 식별 정보를 추출한다. 또한, 이벤트 분석부(1140)는 제1 기계학습 모델(222)로부터 검출된 차량의 차량 식별 정보가 관심 차량 정보의 차량 식별 정보와 일치하는지 여부를 판단한다. 이벤트 분석부(1140)는 검출된 차량의 차량 식별 정보와 관심 차량 정보의 차량 식별 정보가 일치하는 경우, 이벤트 정보를 생성하여 출력한다. 일 실시예에 따르면, 이벤트 분석부(1140)는 검출된 차량의 차량 식별 정보와 관심 차량 정보의 차량 식별 정보가 일치하는 이벤트가 발생한 경우, 이벤트 발생 정보를 생성하고, 이벤트가 발생하지 않은 경우, 이벤트 미발생 정보를 생성한다. 엣지 컴퓨팅 장치(110a)는 이벤트가 발생한 경우, 이벤트 발생 정보를 포함하는 이벤트 정보를 생성하여 서버(120)로 전송하고, 이벤트가 발생하지 않은 경우, 이벤트 미발생 정보를 서버(120)로 전송한다.
엣지 컴퓨팅 장치(110a)의 메모리(230)는 코덱(1120)으로부터 복호화되어 생성된 복수의 입력 프레임을 포함하는 입력 영상을 저장한다. 메모리(230)는 입력 영상을 서버(120)로 출력한다.
도 12는 본 개시의 일 실시 예에 따른 제1 프로세서의 구조를 나타낸 도면이다.
본 개시의 일 실시 예에 따른 제1 프로세서(220b)는 샘플러(1130), 전처리부(1210), 제1 기계학습 모델(222), 후처리부(1220), 및 이벤트 분석부(1140)를 포함할 수 있다. 도 12의 샘플러(1130), 제1 기계학습 모델(222), 및 이벤트 분석부(1140)는 앞서 도 11에서 설명한 것과 동일하므로, 도 12에서는 전처리부(1210) 및 후처리부(1220)를 중심으로 설명한다.
전처리부(1210)는 샘플러(1130)로부터 출력된 입력 프레임을 입력 받아, 객체를 검출하고, 객체 정보를 포함하는 입력 벡터를 생성한다. 전처리부(1210)는 입력 프레임으로부터 차량에 대응하는 객체를 생성할 수 있다. 전처리부(1210)는 입력 프레임으로부터 객체의 위치 정보, 객체 영역의 폭 및 높이 정보, 및 외관 정보를 추출하고, 위치 정보, 폭, 높이, 외관 정보를 포함하는 입력 벡터를 생성할 수 있다. 입력 프레임으로부터 복수의 객체가 검출되는 경우, 각 객체에 대해 위치 정보, 폭, 높이, 외관 정보가 생성된다.
일 실시예에 따르면, 전처리부(1210)는 기계학습 모델로 구현될 수 있다. 다른 실시 예에 따르면, 전처리부(1210)는 소정의 객체 검출 알고리즘을 수행하는 소프트웨어 모듈로 구현될 수 있다.
제1 기계학습 모델(222)은 전처리부(1210)에서 생성된 입력 벡터 및 입력 프레임을 입력 받아, 객체의 식별 정보 및 객체의 속도 정보를 생성한다.
후처리부(1220)는 제1 기계학습 모델(222)로부터 출력된 객체의 식별 정보 및 객체의 속도 정보에 기초하여, 각 객체에 대응하는 객체 영역의 영상 데이터를 누적한 복수의 연결선을 생성하고, 복수의 연결선 간의 경로 유사성을 나타내는 관련성 정보를 포함하는 출력 데이터 구조를 생성한다. 각 노드는 각각의 객체에 대응하고, 각 노드에는 객체 영역의 영상 데이터를 잘라서 생성한 영상 데이터가 누적될 수 있다. 출력 데이터 구조는 각 노드를 정의하고, 각 노드 간의 관련성 정보에 따라 각 노드 간의 연결선의 속성을 변경한 모델에 대응될 수 있다.
후처리부(1220)는 그래프 모델에 기초하여, 각 객체의 경로 정보를 추가로 생성할 수 있다. 각 객체의 경로 정보는, 각 객체가 과거의 소정 시간 동안 이동한 궤적을 보여주는 정보이다. 후처리부(1220)는 경로 정보의 유사성에 기초하여 관련성 정보를 생성한다.
이벤트 분석부(1140)는 제1 기계학습 모델(222)에서 생성된 객체의 식별 정보 및 객체의 속도 정보에 기초하여 검출된 차량의 차량 식별 정보와 관심 차량 정보의 차량 식별 정보가 일치하는 경우, 이벤트 정보를 생성하여 출력한다.
도 13는 본 개시의 일 실시 예에 따른 영상 처리 과정을 나타낸 도면이다.
제1 프로세서(220b)는 전처리, 기계학습 모델 처리, 및 후처리 과정을 거쳐 입력 프레임을 처리한다. 도 13에서는 제1 프로세서(220b)에 의해 수행되는, 전처리(1310), 기계학습 모델 처리(1320), 및 후처리(1330) 과정을 설명한다.
본 개시의 일 실시 예에 따르면, 전처리(1310)는 카메라 캘리브레이션(1312), 객체 검출(1314), 및 임베딩 처리(1316)를 포함한다. 기계학습 모델 처리(1320)는 제1 기계학습 모델(222)에 의한 처리를 포함한다. 후처리(1330)는 그래프 모델 생성 처리(1332) 및 클러스터링 처리(1334)를 포함한다.
도 14은 본 개시의 일 실시 예에 따른 카메라 캘리브레이션 처리를 나타낸 도면이다.
카메라 캘리브레이션 처리(1312)는 입력 프레임에 대해 실제 도로 상에서의 거리를 직사각형 형태로 변환하는 처리이다. 카메라 캘리브레이션 처리(1312)는 입력 프레임(1410)에서 도로 상의 동일 거리를 나타내는 기준선(1412a, 1412c) 및 도로 상의 차선 진행 방향을 나타내는 기준선(1412b)를 생성할 수 있다. 일 실시 예에 따르면, 기준선(1412a, 1412b, 및 1412c)은 입력 프레임(1410)에서 검출되는 차선 정보에 기초하여 결정될 수 있다.
다음으로 카메라 캘리브레이션 처리(1312)는 도로 상의 거리를 차선 진행 방향을 기준으로 나타낸 거리 기준 점(1422)들을 생성할 수 있다. 카메라 캘리브레이션 처리(1312)가 수행된 조정 입력 프레임(1420)에 기초하면, 입력 프레임으로부터 객체의 프레임 간 이동 거리를 정확하게 측정할 수 있는 효과가 있다. 또한, 카메라 캘리브레이션 처리(1312)에 의하면, 이벤트 분석부(1140)는 조정 입력 프레임(1420) 내에서 차량 위치를 정의함에 의해, 차량 위치 정보의 정확성을 향상시킬 수 있다.
도 15은 본 개시의 일 실시 예에 따른 카메라 캘리브레이션 처리 과정을 나타낸 도면이다.
본 개시의 일 실시 예에 따르면, 카메라 캘리브레이션 처리(1312)는 입력 동영상의 영상 타입 또는 도로 표시 선에 기초하여 카메라 캘리브레이션 처리(1312)를 수행할 수 있다. 이를 위해, 카메라 캘리브레이션 처리(1312)는 우선 입력 영상(1510)에 기초하여, 영상 타입 또는 도로 표시 선을 식별한다(1512). 영상 타입은 카메라 장비의 종류 및 촬영 구도에 대한 정보를 포함할 수 있다. 도로 표시 선은 차선, 횡단보도, 또는 정지선을 포함할 수 있다. 다음으로, 카메라 캘리브레이션 처리(1312)는 영상 타입 또는 도로 표시 선에 기초하여 카메라 캘리브레이션을 수행한다(1514).
입력 영상(1510)은 다양한 카메라 장비에 이해 촬영되어 획득될 수 있다. 또한, 입력 영상의 촬영 시, 카메라 장비의 촬영 구도도 다양하게 결정될 수 있다. 카메라 캘리브레이션 처리(1312)는 입력 영상을 촬영한 카메라 장비의 종류 또는 촬영 구도 중 적어도 하나 또는 이들의 조합에 대한 정보를 나타내는 영상 타입 정보에 기초하여 카메라 캘리브레이션 처리(1312)를 수행한다.
카메라 장비의 종류는 예를 들면, 고정형 CCTV 카메라, 회전형 CCTV 카메라, 또는 드론 카메라 등을 포함할 수 있다. 촬영 구도는 사선 구도, 정면 구도, 또는 상공 촬영 구도 등을 포함할 수 있다. 카메라 캘리브레이션 처리(1312)는 카메라 장비가 고정형인지, 회전형인지, 이동형(예를 들면, 드론)인지 여부에 따라, 달라질 수 있다. 카메라 장비가 고정형인 경우, 초기의 카메라 캘리브레이션 처리(1312) 이후에 추가적인 카메라 캘리브레이션 처리(1312)가 수행되지 않거나, 소정의 주기(예를 들면, 1시간)로 카메라 캘리브레이션 처리(1312)가 수행될 수 있다. 카메라 장비가 회전형인 경우, 카메라 장비의 회전(예를 들면, 팬, 틸트 등의 동작)이 발생한 경우, 카메라 캘리브레이션 처리(1312)가 수행될 수 있다. 회전형 카메라 장비의 경우, 회전이 발생한 경우 이외에도, 마지막 카메라 캘리브레이션 처리(1312) 이후에 소정의 주기로 카메라 캘리브레이션 처리(1312)가 수행될 수 있다. 드론 카메라와 같은 이동형 카메라 장비의 경우, 실시간으로 카메라 캘리브레이션 처리(1312)가 수행될 수 있고, 예를 들면, 샘플링 처리 이후의 매 입력 프레임마다 카메라 캘리브레이션 처리(1312)가 수행될 수 있다.
또한, 카메라 캘리브레이션 처리(1312)는 촬영 구도에 따라 달라진다. 카메라 캘리브레이션 처리(1312)는 사선 구도, 정면 구도, 또는 상공 촬영 구도인지 여부에 따라 카메라 캘리브레이션 처리(1312)의 기준선(1412a, 1412b, 1412c)에 의해 생성되는 사각형의 형태를 다르게 정의한다.
또한, 카메라 캘리브레이션 처리(1312)는 차선 등의 도로 표시 선에 기초하여 기준선(1412a, 1412b, 1412c)의 방향 및 거리 기준 점(1422)의 배치를 바탕으로 결정할 수 있다.
다시 도 13를 참조하면, 전처리(1310)는 객체 검출 처리(1314)를 포함한다. 객체 검출 처리(1314)는 입력 프레임으로부터 차량에 대응하는 객체를 검출한다.
도 16은 본 개시의 일 실시 예에 따른 객체 검출 처리를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따르면, 객체 검출 처리(1314)는 입력 프레임(1610)으로부터 차량에 대응하는 적어도 하나의 객체(1622)를 검출한다. 객체 검출 처리(1314)는 입력 프레임(1610)에서 검출된 객체에 대해, 객체 영역에 대응하는 블록(1620)을 정의하고, 블록의 기준 점(1624)의 좌표(x, y), 블록(1620)의 폭(w) 및 블록의 높이(h)를 정의한다. 기준 점(1624)은 예를 들면, 블록(1620)의 좌측 상단의 좌표로 정의될 수 있다. 좌표(x, y)는 입력 프레임(1610) 내에서 가로 축 및 세로 축을 기준으로 한 좌표를 나타낸다.
또한, 객체 검출 처리(1314)는 검출된 객체로부터 외관 정보를 생성할 수 있다. 외관 정보는 예를 들면, 객체의 차종(예를 들면, 승용차, 버스, 트럭, SUV(sport utility vehicle) 등), 색상 등의 정보를 포함할 수 있다.
도 17는 본 개시의 일 실시 예에 따른 객체 검출 처리(1314)를 나타낸 도면이다.
본 개시의 일 실시 예에 따르면, 객체 검출 처리(1314)는 순차적으로 입력되는 복수의 입력 프레임으로부터, 프레임 간 중첩 영역 처리(1730) 및 검출된 객체의 외관 유사도 산출 처리(1740)를 수행한다.
프레임 간 중첩 영역 처리(1730)는 시간적으로 인접한 프레임 간의 중첩 영역을 검출하여, 중첩 영역에 대해서 이전 프레임의 처리 결과를 이용한다. 프레임 간 중첩 영역 처리(1730)는 제1 프레임(1732)과, 제1 프레임(1732)의 다음 프레임인 제2 프레임(1734)에서 중첩되는 중첩 영역(1736)을 검출하고, 중첩 영역(1736)에 대해, 제1 프레임(1732)에 대한 객체 검출 처리 결과에 기초하여 제2 프레임(1734)에 대한 객체 검출 처리를 수행한다. 중첩 영역(1736)은 검출된 객체에 기초하여 정의되거나, 영상 유사도에 기초하여 정의될 수 있다.
외관 유사도 산출 처리(1740)는 복수의 입력 프레임으로부터 유사한 외관 정보를 갖는 객체들을 검출한다. 예를 들면, 외관 유사도 산출 처리(1740)는 제1 프레임에서 검출한 객체와 제2 프레임에서 검출한 객체 간의 외관 유사도를 산출한다. 일 실시 예에 따르면, 외관 유사도는 입력 프레임으로부터 CNN을 이용하여 생성된 피처 맵에 기초하여 생성될 수 있다. 다른 실시 예에 따르면, 외관 유사도는 제1 프레임의 객체의 외관 정보 및 제2 프레임의 객체의 외관 정보에 기초하여 산출될 수 있다.
프레임 간 중첩 영역 처리(1730) 및 외관 유사도 산출 처리(1740)에 기초하여 생성된 객체 검출 처리 결과에 기초하여, 트래클렛 정보(V)가 생성된다.
다시 도 13를 참조하면, 전처리(1310)는 객체 검출 처리(1314)의 결과 및 카메라 캘리브레이션 처리(1312)가 수행된 입력 프레임에 기초하여 트래클렛 정보 생성 처리(1316)를 수행한다. 트래클렛 정보 생성 처리(1316)는 객체 검출 처리(1314)의 결과 및 입력 프레임으로부터 제1 기계학습 모델에 입력되는 입력 벡터에 대응하는 트래클렛 정보(1318)를 생성한다.
도 18는 본 개시의 일 실시 예에 따른 트래클렛 정보 생성 처리를 설명하기 위한 도면이다.
트래클렛 정보 생성 처리(1316)는 객체 검출 결과 및 입력 프레임을 입력 받아, 피처 임베딩 처리(1810)를 수행한다. 피처 임베딩 처리(1810)는 객체 검출 결과 및 입력 프레임으로부터 트래클렛 정보(1818)를 생성한다. 트래클렛 정보(1818)는 제1 기계학습 모델에 대응하는 트래클렛 네트워크(1830)로 입력되는 입력 벡터에 대응하는 정보이다. 트래클렛은 트래클렛 네트워크(1830)에서 요구되는 형식으로 검출된 객체의 영역에 대한 영역 정보(1824) 및 외관 정보(1826)를 포함한다. 영역 정보(1824)는 객체 영역에 대응하는 블록의 좌표(x, y), 폭(w), 및 높이(h)를 포함한다. 외관 정보(1826)는 앞서 객체 검출 처리(1814)에서 생성된 외관 정보를 포함한다. 트래클렛 정보(1818)는 한 프레임 내의 각 객체에 대한 정보(1822)를 포함할 수 있다. 트래클렛 정보(1818)는 복수의 객체에 대한 정보를 소정의 형식으로 포함할 수 있다.
다시 도 13를 참조하면, 트래클렛 정보 생성 처리(1316)에 의해 생성된 트래클렛 정보(1318)는 입력 프레임과 함께 기계학습 모델 처리(1320)로 입력된다. 기계학습 모델 처리(1320)는 앞서 설명한 제1 기계학습 모델(222)에 의해 트래클렛 정보 및 입력 프레임을 처리한다.
도 19은 본 개시의 일 실시 예에 따른 트래클렛 네트워크의 구조를 나타낸 도면이다.
트래클렛 네트워크(1900)는 복수의 레이어를 포함하는 DNN 구조를 갖는다. 트래클렛 네트워크(1900)는 CNN 구조와 RNN 구조의 조합을 포함할 수 있다. 트래클렛 네트워크(1900)는 입력 레이어(1910), 복수의 히든 레이어(1920), 및 출력 레이어(1930)를 포함한다.
입력 레이어(1910)는 적어도 하나의 레이어(1914)를 포함한다. 입력 레이어(1910)는 입력 벡터(1912) 및 입력 프레임을 입력 받아, 적어도 하나의 입력 피처 맵(1922)을 생성한다.
적어도 하나의 피처 맵(1922)은 히든 레이어(1920)로 입력되어 처리된다. 히든 레이어(1920)는 소정의 기계학습 알고리즘에 의해 미리 학습되어 생성된다. 히든 레이어(1920)는 적어도 하나의 입력 피처 맵(1922)을 입력 받아, 소정의 액티베이션 처리, 풀링 처리, 선형 처리, 컨벌루션 처리 등을 수행하여, 적어도 하나의 출력 피처 맵(1926)을 생성한다. 일 실시 예에 따르면, 히든 레이어(1920)는 각각의 입력 피처 맵(1922)에 대응하는 처리 레이어를 포함할 수 있다. 피처 맵(1926)은 추가적인 처리를 통해 출력 벡터(1928)의 형태로 변환된다.
출력 벡터(1928)는 출력 레이어(1930)를 통해 트래클렛 네트워크로부터 출력된다.
일 실시예에 따르면, 서버(120)는 제2 기계학습 모델을 포함한다. 서버(120)에 포함되는 제2 기계학습 모델은 트래클렛 네트워크(1900)를 포함한다. 제1 기계학습 모델(222)은 트래클렛 네트워크(1900) 구조에 적어도 하나의 바이패스 경로(1940)가 추가된 구조를 포함한다. 바이패스 경로(1940)의 시작 점과 끝점, 바이패스 경로(1940)의 개수는 실시 예에 따라 달라질 수 있다. 바이패스 경로(1940)가 배치되면, 바이패스 경로의 시작 점에 대응하는 레이어의 출력 값이 바이패스 경로의 끝 점에 대응하는 레이어로 전달되고, 바이패스 경로(1940) 중간의 레이어들에 의한 처리는 수행되지 않고 바이패스 된다. 제1 기계학습 모델(222)은 제2 기계학습 모델의 트래클렛 네트워크(1900)에 바이패스 경로(1940)를 적용하여, 처리량을 줄이고 처리 속도를 현저하게 향상시킬 수 있는 효과가 있다.
서버(120)는 엣지 컴퓨팅 장치(110)로부터 입력 영상을 수신하여, 제2 기계학습 모델을 이용하여 차량 영역을 결정하고, 속도 정보를 생성한다. 일 실시예에 따르면, 엣지 컴퓨팅 장치(110)는 이벤트가 검출된 입력 영상의 입력 프레임 구간을 서버(120)로 전송하고, 서버(120)는 엣지 컴퓨팅 장치(110)로부터 수신된 입력 프레임 구간을 제2 기계학습 모델에 입력하고, 차량 영역 정보 및 속도 정보를 생성하여, 엣지 컴퓨팅 장치(110)로 전송한다. 다른 실시예에 따르면, 엣지 컴퓨팅 장치(110)는 입력 영상 및 이벤트 정보를 서버(120)로 함께 전달하고, 서버(120)는 이벤트가 검출된 입력 프레임 구간에 대해 차량 영역 정보 및 속도 정보를 생성하여, 엣지 컴퓨팅 장치(110)로 전송한다. 엣지 컴퓨팅 장치(110)는 서버(120)로부터 차량 영역 정보 및 속도 정보를 수신하면, 수신된 차량 영역 정보 및 속도 정보로 엣지 컴퓨팅 장치(110)에서 생성된 차량 영역 정보 및 속도 정보를 업데이트한다.
다시 도 13을 참조하면, 기계학습 모델 처리(1320)에 의해 생성된 각 입력 프레임의 객체의 식별 정보, 속도 정보, 및 트래클렛 정보(1318)는 후처리(1330)된다. 후처리(1330)는 그래프 모델 생성 처리(1332) 및 클러스터링 처리(1334)를 포함한다.
도 20은 본 개시의 일 실시 예에 따른 그래프 모델을 나타낸 도면이다.
본 개시의 일 실시 예에 따르면, 그래프 모델 생성 처리(1332)는 객체의 식별 정보, 속도 정보, 및 트래클렛 정보로부터 그래프 모델(2000)을 생성한다. 그래프 모델(2000)은 적어도 하나의 노드(2010) 및 노드(2010) 사이를 연결하는 적어도 하나의 연결선(2020)를 포함한다. 각 노드(2010)에는 동일 객체에 대한 각 프레임에서의 정보가 저장된다. 그래프 모델 생성 처리(1332)는 기계학습 모델에 의해 생성된 객체의 식별 정보에 기초하여 각 노드에 동일 객체에 대한 정보를 식별하여 저장할 수 있다. 예를 들면, 각 노드(2010)는 동일 객체에 대해, 각 프레임에서의 객체 영역 정보, 속도 정보, 또는 영상 데이터(2012) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
각 노드(2010) 사이에 배치된 연결선(2020)는 각 객체 간의 관련성을 나타낸다. 관련성은 각 객체 간의 경로의 유사성을 나타내는 정보이다. 그래프 모델(2000)은 트래클렛 정보(V)와 관련성 정보(E)의 함수인 g(V,E)로 나타낼 수 있다.
도 21는 본 개시의 일 실시 예에 따라 객체 간의 관련성을 산출하는 처리를 나타낸 도면이다.
본 개시의 일 실시 예에 따르면, 후처리(1330)는 관련성 산출 처리(2100)를 포함한다. 관련성 산출 처리(2100)는 트래클렛 정보로부터 서로 다른 두 객체의 트래클렛 정보를 선택하여, 트래클렛 네트워크(2120)로 입력한다. 선택된 서로 다른 두 객체의 트래클렛 정보는 각 객체에 대해 복수의 프레임으로부터 추출한 트래클렛 정보를 포함할 수 있다.
트래클렛 네트워크(2120)는 서로 다른 두 객체에 대해, 경로의 유사도를 산출하여, 관련성 정보(E)를 생성한다. 관련성 정보(E)가 높으면 두 객체의 경로의 유사도가 높고, 관련성 정보(E)가 낮으면 두 객체의 경로의 유사도가 낮다고 판단할 수 있다. 관련성 정보(E)는 0 이상 1 이하의 값으로 정의될 수 있다. 만약 동일 객체에 대한 트래클렛 정보가 트래클렛 네트워크로 입력되면, 관련성 정보(E)는 1이 나오고, 서로 다른 객체의 트래클렛 정보가 트래클렛 네트워크(2120)로 입력되면, 관련성 정보(E)는 1보다 작은 값은 값으로 나올 수 있다.
도 22은 본 개시의 일 실시 예에 따른 그래프 모델 생성 처리 및 클러스터링 처리를 나타낸 도면이다.
그래프 모델 생성 처리(1332)는 앞서 설명한 바와 같이 트래클렛 정보 및 관련성 정보(E)에 기초하여 그래프 모델 생성 처리를 수행한다. 그래프 모델 생성 처리(1332)는 관련성 정보(E)에 기초하여 각 노드 사이의 연결선의 속성을 변경할 수 있다. 예를 들면, 그래프 모델 생성 처리(1332)는 연결선의 두께를 변경하거나 연결선의 색깔을 변경하여 관련성 정보(E)를 연결선에 나타낼 수 있다. 또한, 그래프 모델 생성 처리(1332)는 관련성이 있는 노드를 인접하게 배치하여 관련성 정보(E)에 의해 각 노드를 연결하고, 관련성이 없는 노드는 멀리 배치하여 관련성이 없는 노드 사이에는 연결선을 배치하지 않을 수 있다.
클러스터링 처리(1334)는 관련성 정보(E)에 기초하여 객체들을 클러스터링할 수 있다. 예를 들면, 클러스터링 처리(1334)는 관련성이 높은 객체들을 하나의 클러스터(2210a, 2210b, 2210c)로 정의할 수 있다.
도 23은 본 개시의 일 실시예에 따라 입력 영상에서 관심 인물이 검출된 경우의 추가 동작을 설명하기 위한 도면이다.
본 개시의 일 실시예에 따른 엣지 컴퓨팅 장치(110)는 입력 영상으로부터 관심 인물이 검출된 경우, 관심 인물의 경로를 예측하여, 관심 인물이 검출될 것으로 예상되는 엣지 컴퓨팅 장치(110)에서 소정 시간 동안 객체 인식의 정밀도를 높일 수 있다. 도 23에서 2330a, 2330b는 동일 관심 인물이 검출된 지점을 나타낸다. 도 23에서 관심 인물은 2330a, 2330b의 순서로 이동했다고 가정한다.
엣지 컴퓨팅 장치(110)는 관심 인물이 검출되면, 지도 데이터(2310) 상에서 관심 인물(2330a, 2330b)의 위치를 식별한다. 예를 들면 제3 엣지 컴퓨팅 장치(2320c)에서 관심 인물(2330a, 2330b)이 검출된 경우, 관심 인물(2330a, 2330b)의 이동 경로에 기초하여, 관심 인물(2330a, 2330b)의 다음 이동 경로(2340a, 2340b, 2340c)를 예측한다(2350). 예상 경로(2340a, 2340b, 2340c)는 하나 이상의 경로로 예측될 수 있다.
관심 인물(2330a, 2330b)을 검출한 제3 엣지 컴퓨팅 장치(2320c)는 관심 인물(2330a, 2330b)이 이동할 것으로 예상되는 예상 경로(2340a 2340b, 2340c) 주변의 엣지 컴퓨팅 장치(2320b, 2320d, 2320f)로 관심 인물 검출 정보를 전송한다(2352). 관심 인물 검출 정보는 관심 인물이 검출되었다는 정보, 검출된 관심 인물에 대한 정보를 포함한다. 일 실시예에 따르면, 관심 인물 검출 정보는 제3 엣지 컴퓨팅 장치(2320c)로부터 다른 엣지 컴퓨팅 장치(2320b, 2320d, 2320f)로 직접 전송된다. 다른 실시예에 따르면, 관심 인물 검출 정보는 제3 엣지 컴퓨팅 장치(2320c)로부터 서버(120)로 전송되고, 서버(120)로부터 관심 인물(2330a, 2330b)이 이동할 것으로 예상되는 예상 경로(2340a 2340b, 2340c) 주변의 엣지 컴퓨팅 장치(2320b, 2320d, 2320f)로 전송된다.
관심 인물 검출 정보를 수신한 엣지 컴퓨팅 장치(2320b, 2320d, 2320f)는, 소정 시간동안 객체 인식의 정밀도를 높여서 동작한다. 일 실시예에 따르면, 관심 인물을 검출한 제3 엣지 컴퓨팅 장치(2320c) 또는 서버(120)는, 관심 인물의 예상 경로를 예측하여, 관심 인물의 예상 경로(2340a 2340b, 2340c)에 기초하여 예상 경로(2340a 2340b, 2340c) 상의 각각의 엣지 컴퓨팅 장치(2320b, 2320d, 2320f) 주변에 도달할 시간을 예측한다. 각각의 엣지 컴퓨팅 장치(2320b, 2320d, 2320f)는 관심 인물이 도달할 것으로 예측되는 시간을 포함한 소정의 구간 동안, 객체 인식의 정밀도를 향상시켜서 동작한다. 객체 인식의 정밀도를 향상시키는 동작은 예를 들면, 객체 검출 처리의 프레임 레이트를 증가시키는 동작, 객체 검출 처리의 파라미터를 조절하는 동작 등을 포함할 수 있다.
일 실시예에 따르면, 관심 인물을 검출한 제3 엣지 컴퓨팅 장치(2320c) 또는 서버(120)는 위험 상황을 예방하기 위한 조치를 수행한다(2356). 예를 들면, 제3 엣지 컴퓨팅 장치(2320c) 또는 서버(120)는 주변의 모바일 장치(예를 들면, 통신 단말)로 관심 인물이 검출되었다는 알림 정보를 전송한다. 제3 엣지 컴퓨팅 장치(2320c) 또는 서버(120)는 알림 정보를 제공하여, 관심 인물이 검출된 경로 이외의 다른 경로로 사람들이 이동하도록 유도한다. 다른 예로서, 제3 엣지 컴퓨팅 장치(2320c) 또는 서버(120)는 관심 인물이 검출된 지점 주변의 환경 조건을 변경한다. 예를 들면, 제3 엣지 컴퓨팅 장치(2320c) 또는 서버(120)는 관심 인물이 검출된 지점 주변의 가로등 조도를 증가시켜 환경 조건을 변경한다.
일 실시예에 따르면, 관심 인물을 검출한 제3 엣지 컴퓨팅 장치(2320c) 또는 서버(120)는 예상 경로(2340a 2340b, 2340c) 상의 엣지 컴퓨팅 장치(2320b, 2320d, 2320f)에서도 위험 상황을 예방하기 위한 조치를 수행한다(2356). 예를 들면, 제3 엣지 컴퓨팅 장치(2320c) 또는 서버(120)는 예상 경로(2340a 2340b, 2340c) 상의 엣지 컴퓨팅 장치(2320b, 2320d, 2320f) 주변의 모바일 장치(예를 들면, 통신 단말)로 관심 인물이 검출되었다는 알림 정보를 전송한다. 다른 예로서, 제3 엣지 컴퓨팅 장치(2320c) 또는 서버(120)는 예상 경로(2340a 2340b, 2340c) 주변의 환경 조건을 변경한다. 예를 들면, 제3 엣지 컴퓨팅 장치(2320c) 또는 서버(120)는 예상 경로(2340a 2340b, 2340c)주변의 가로등 조도를 증가시켜 환경 조건을 변경한다. 한편, 개시된 실시 예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시 예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시 예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시 예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (16)

  1. 입력 영상을 수신하는 입력 인터페이스;
    서버로부터 관심 차량에 대한 정보를 포함하는 관심 차량 정보를 수신하는 제1 통신부;
    상기 입력 영상을 저장하는 메모리; 및
    제1 기계학습 모델에 상기 입력 영상을 입력하여, 상기 제1 기계학습 모델로부터 상기 입력 영상에 포함된 적어도 하나의 차량에 대한 정보인 검출 차량 정보를 획득하고, 상기 검출 차량 정보 및 상기 입력 영상에 기초하여, 차량 식별 정보를 획득하고, 상기 차량 식별 정보와 상기 관심 차량 정보를 비교하고, 상기 관심 차량 정보와 동일한 차량이 검출된 경우 이벤트 정보를 생성하고, 상기 이벤트 정보를 상기 제1 통신부를 통해 상기 서버로 전송하는 제1 프로세서를 포함하는 엣지 컴퓨팅 장치.
  2. 제1항에 있어서,
    상기 관심 차량 정보는, 차량 식별 정보, 차량 종류, 차량 모델명, 또는 색상 중 적어도 하나를 포함하는, 엣지 컴퓨팅 장치.
  3. 제1항 있어서,
    상기 검출 차량 정보는, 차량 영역 및 속도 중 적어도 하나를 포함하는, 엣지 컴퓨팅 장치.
  4. 제3항 있어서,
    상기 제1 프로세서는, 상기 제1 기계학습 모델로부터 생성된 상기 검출 차량 정보에 기초하여, 상기 입력 영상에서 검출된 적어도 하나의 차량 영역 각각에 대한 차량 식별 정보, 차선 정보, 또는 차량 위치 정보 중 적어도 하나를 생성하는, 엣지 컴퓨팅 장치.
  5. 제4항에 있어서,
    상기 이벤트 정보는, 상기 검출 차량 정보, 상기 차량 식별 정보, 검출 시간, 차량 위치 정보, 또는 주변 차량 정보 중 적어도 하나를 포함하는, 엣지 컴퓨팅 장치.
  6. 제1항에 있어서,
    상기 제1 프로세서는, 상기 입력 영상에서 운전자 영역 및 조수석 영역을 결정하고, 상기 운전자 영역 및 상기 조수석 영역으로부터 탑승자 영상을 생성하고, 상기 탑승자 영상을 상기 제1 통신부를 통해 상기 서버로 전송하는, 엣지 컴퓨팅 장치.
  7. 제1항에 있어서,
    상기 제1 프로세서는, 상기 이벤트가 검출된 경우, 검출된 차량에 대응하는 영역인 차량 영역을 크롭하여 생성된 제1 영상 또는 이벤트가 검출된 전체 프레임에 대응하는 제2 영상 중 적어도 하나를 상기 제1 통신부를 통해 상기 서버로 전송하는, 엣지 컴퓨팅 장치.
  8. 제1항에 있어서,
    상기 제1 프로세서는, 상기 검출된 차량의 전면 유리 영역에 대응하는 박스를 크롭하여 생성된 제3 영상을 상기 제1 통신부를 통해 상기 서버로 전송하는, 엣지 컴퓨팅 장치.
  9. 제1항에 있어서,
    상기 제1 프로세서는, 상기 입력 영상으로부터 관심 인물을 검출하고, 상기 입력 영상으로부터 관심 인물이 검출된 경우, 상기 관심 인물의 적어도 하나의 예상 경로를 예측하고, 상기 적어도 하나의 예상 경로 주변의 적어도 하나의 다른 엣지 컴퓨팅 장치로 관심 인물 검출 정보를 전송하는, 엣지 컴퓨팅 장치.
  10. 제9항에 있어서,
    상기 제1 프로세서는, 다른 엣지 컴퓨팅 장치로부터 관심 인물 검출 정보를 수신하면, 소정 시간 구간 동안 객체 검출 정밀도를 증가시키는, 엣지 컴퓨팅 장치.
  11. 제9항에 있어서,
    상기 제1 프로세서는, 상기 관심 인물이 검출된 경우, 상기 엣지 컴퓨팅 장치 주변의 모바일 장치로 관심 인물이 검출되었다는 정보를 전송하는, 엣지 컴퓨팅 장치.
  12. 입력 영상을 수신하는 단계;
    서버로부터 관심 차량에 대한 정보를 포함하는 관심 차량 정보를 수신하는 단계;
    제1 기계학습 모델에 상기 입력 영상을 입력하여, 상기 제1 기계학습 모델로부터 상기 입력 영상에 포함된 적어도 하나의 차량에 대한 정보인 검출 차량 정보를 획득하는 단계;
    상기 검출 차량 정보와 상기 관심 차량 정보를 비교하는 단계;
    상기 비교 결과, 상기 관심 차량 정보와 동일한 차량이 검출된 경우 이벤트 정보를 생성하는 단계; 및
    상기 이벤트 정보를 상기 서버로 전송하는 단계를 포함하는 엣지 컴퓨팅 장치 제어 방법.
  13. 복수의 엣지 컴퓨팅 장치와 통신하는 제2 통신부;
    적어도 하나의 관심 차량 정보를 저장하는 데이터베이스;
    상기 복수의 엣지 컴퓨팅 장치 각각으로 상기 적어도 하나의 관심 차량 정보를 전송하고, 상기 복수의 엣지 컴퓨팅 장치 중 적어도 하나로부터 이벤트 정보가 수신되면, 상기 이벤트 정보에 포함된 차량 정보, 시간 정보, 및 위치 정보를 식별하고, 상기 식별된 차량 정보에 대응하는 차량 인디케이터를 지도 데이터 상에 배치하여 차량 추적 정보를 생성하고, 상기 식별된 차량 정보에 대응하는 이벤트 정보가 수신되면, 상기 차량 추적 정보의 상기 지도 데이터 상에서 상기 차량 인디케이터의 위치를 업데이트하는 제2 프로세서; 및
    상기 차량 추적 정보를 출력하는 출력 인터페이스를 포함하는, 서버.
  14. 제13항에 있어서,
    상기 제2 프로세서는, 상기 수신된 이벤트 정보로부터 제1 차량이 식별되면, 상기 제1 차량에 대응하는 위치 트래킹 데이터를 생성하고, 상기 제1 차량에 대응하는 이벤트 정보가 수신되면 상기 위치 트래킹 데이터에서 상기 제1 차량의 현재 위치를 업데이트하는, 서버.
  15. 제13항에 있어서,
    상기 데이터베이스는, 상기 적어도 하나의 관심 차량 정보 중 적어도 일부에 대한 적어도 하나의 수배자 정보를 저장하고,
    상기 제2 프로세서는, 상기 엣지 컴퓨팅 장치로부터 상기 이벤트 정보에 대응하는 영상 데이터를 수신하고, 상기 수신된 영상 데이터로부터 상기 적어도 하나의 수배자 정보에 대응하는 얼굴을 검출하고, 상기 적어도 하나의 수배자 정보에 대응하는 얼굴이 검출된 경우, 수배자 얼굴이 검출되었다는 알림 정보를 상기 출력 인터페이스를 통해 출력하는, 서버.
  16. 제13항에 있어서,
    상기 제2 프로세서는, 상기 제2 통신부를 통해 외부 기관 서버로부터 수배 차량 정보를 수신하고, 상기 수신된 수배 차량 정보에 기초하여 상기 관심 차량 정보를 생성하고, 상기 관심 차량 정보를 상기 데이터베이스에 저장하고,
    상기 관심 차량 정보는, 차량 식별 정보, 차량 종류, 차량 모델명, 또는 색상 중 적어도 하나를 포함하는, 서버.
KR1020210010590A 2021-01-26 2021-01-26 객체 추적 엣지 컴퓨팅 장치, 그 제어 방법, 및 서버 KR20220107679A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210010590A KR20220107679A (ko) 2021-01-26 2021-01-26 객체 추적 엣지 컴퓨팅 장치, 그 제어 방법, 및 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210010590A KR20220107679A (ko) 2021-01-26 2021-01-26 객체 추적 엣지 컴퓨팅 장치, 그 제어 방법, 및 서버

Publications (1)

Publication Number Publication Date
KR20220107679A true KR20220107679A (ko) 2022-08-02

Family

ID=82845822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210010590A KR20220107679A (ko) 2021-01-26 2021-01-26 객체 추적 엣지 컴퓨팅 장치, 그 제어 방법, 및 서버

Country Status (1)

Country Link
KR (1) KR20220107679A (ko)

Similar Documents

Publication Publication Date Title
KR102189262B1 (ko) 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
Ke et al. A smart, efficient, and reliable parking surveillance system with edge artificial intelligence on IoT devices
US10650531B2 (en) Lidar noise removal using image pixel clusterings
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
CN106952303B (zh) 车距检测方法、装置和系统
JP7456536B2 (ja) 移動体追跡システム、移動体追跡方法及びプログラム
KR20180046798A (ko) 실시간 교통 정보 제공 방법 및 장치
CN110264495B (zh) 一种目标跟踪方法及装置
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
US9760783B2 (en) Vehicle occupancy detection using passenger to driver feature distance
KR20200043252A (ko) 차량의 부감 영상 생성 시스템 및 그 방법
CN112465868A (zh) 一种目标检测跟踪方法、装置、存储介质及电子装置
US10922826B1 (en) Digital twin monitoring systems and methods
US20180260401A1 (en) Distributed video search with edge computing
Chen et al. Vision-based road bump detection using a front-mounted car camcorder
US20220189038A1 (en) Object tracking apparatus, control method, and program
CN110781730B (zh) 智能驾驶感知方法及感知装置
KR101939096B1 (ko) 궤적서비스제공장치 및 그 장치의 구동방법
KR20220107679A (ko) 객체 추적 엣지 컴퓨팅 장치, 그 제어 방법, 및 서버
US11727580B2 (en) Method and system for gathering information of an object moving in an area of interest
KR20170019108A (ko) 인식 능력 기반의 카메라 검색 방법 및 장치
CN115174889A (zh) 摄像机的位置偏移检测方法、电子设备和存储介质
JP6979005B2 (ja) 道路側面に並ぶ店舗の訪問者数を推定する訪問者数推定装置、プログラム及び方法
US11153474B2 (en) Automated scope limiting for video analytics
KR101956008B1 (ko) 궤적서비스제공장치 및 그 장치의 데이터구축방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application