KR102448710B1

KR102448710B1 - Method and system for deep learning-based parking management

Info

Publication number: KR102448710B1
Application number: KR1020200121220A
Authority: KR
Inventors: 이혁재; 이록규; 강민석; 조명훈; 구범혁
Original assignee: 엔에이치엔클라우드 주식회사
Priority date: 2020-09-21
Filing date: 2020-09-21
Publication date: 2022-09-29
Also published as: KR20220038879A

Abstract

본 발명의 실시예에 따른 딥러닝 기반 출차관리 방법은, 출차 모니터링 장치에서 딥러닝을 기반으로 출차관리를 수행하는 방법으로서, 출차 영역을 촬영한 비디오 스트림(Video stream)을 획득하는 단계; 상기 획득된 비디오 스트림을 기초로 복수의 프레임(frame) 단위 영상을 획득하는 단계; 딥러닝을 기반으로 상기 프레임 단위 영상 내 출차차량을 검출하는 단계; 상기 검출된 출차차량에 대한 출차차량 정보를 획득하는 단계; 상기 복수의 프레임 단위 영상 각각에 대한 상기 출차차량 정보를 기반으로, 상기 출차차량에 대한 트래킹(tracking) 정보를 획득하는 단계; 상기 획득된 트래킹 정보를 기초로 출차차량 지연상태를 판단하는 단계; 및 상기 지연상태로 판단된 경우, 상기 지연상태에 대한 알람과 대응을 제공하는 단계를 포함한다. A deep learning-based un-parking management method according to an embodiment of the present invention is a method of performing un-parking management based on deep learning in an un-parking monitoring apparatus, comprising: obtaining a video stream of a photographing area; obtaining a plurality of frame unit images based on the obtained video stream; detecting a vehicle taking out in the frame unit image based on deep learning; obtaining vehicle un-parking vehicle information on the detected un-parking vehicle; obtaining tracking information for the un-parking vehicle based on the un-parking vehicle information for each of the plurality of frame-by-frame images; determining a delay state of the vehicle taking out based on the obtained tracking information; and when it is determined that the delay state is present, providing an alarm and a response to the delay state.

Description

DEEP LEARNING-BASED PARKING MANAGEMENT

본 발명은 딥러닝 기반의 출차관리 방법 및 시스템에 관한 것이다. 보다 상세하게는, 딥러닝 뉴럴 네트워크를 기반으로 출차지연을 감지하고 대처하는 딥러닝 기반 출차관리 방법 및 시스템에 관한 것이다. The present invention relates to a method and system for managing a vehicle based on deep learning. More specifically, it relates to a deep learning-based vehicle departure management method and system for detecting and coping with departure delay based on a deep learning neural network.

일반적으로, 건물 준공 시 주차장 시설의 구비가 의무화되고 차량의 수요가 급증함에 따라 주차장 및 주차장에 차량을 주차하는 이용이 증가하였으나, 주차장 관리 인력은 부족한 상황이다. In general, as the provision of parking lot facilities is mandatory at the time of building construction and the demand for vehicles increases, the use of parking vehicles in parking lots and parking lots has increased, but parking lot management manpower is insufficient.

이로 인해, 주차장에 주차 정산원이 상주하는 대신 무인 주차가 가능한 LPR(License Plate Recognition) 시스템을 도입하는 주차장이 증가하고 있다.For this reason, an increasing number of parking lots are introducing an LPR (License Plate Recognition) system that enables unmanned parking instead of a parking settlement agent resident in the parking lot.

무인 주차관리 시스템은, 주차장에 차량이 입차 시 입구 게이트에서 카메라를 이용하여 차량 번호를 인식하고, 출차 시 출구 게이트에서 다시 한번 카메라를 이용하여 차량 번호를 인식한다. The unmanned parking management system recognizes the vehicle number using a camera at the entrance gate when a vehicle enters the parking lot, and recognizes the vehicle number using the camera once again at the exit gate when exiting the parking lot.

그리고 인식된 차량 번호에 해당하는 입차 시간과 출차 시간을 기반으로 주차 요금을 정산함으로써, 주차 정산원이 주차장에 상주하지 않더라도 주차 요금의 정산이 가능하다.And by calculating the parking fee based on the entry time and exit time corresponding to the recognized vehicle number, it is possible to settle the parking fee even if the parking cashier does not reside in the parking lot.

그러나, 기존의 무인 주차관리 시스템은, 주차장으로부터 차량이 출차를 시도할 시, 소정의 문제(예컨대, 정산기 고장 또는 차체 고장 등)로 인하여 지연 상황이 발생하는 경우, 해당 상황을 사용자(예컨대, 운전자 등)가 직접 인터폰 등을 이용해 출차 관리자에게 알려야 하는 불편함이 있다. However, the existing unmanned parking management system, when a vehicle attempts to get out of a parking lot, when a delay situation occurs due to a predetermined problem (eg, a malfunction of the payment machine or a vehicle body, etc.), the user (eg, the driver) etc.) has the inconvenience of having to inform the departure manager directly using an intercom, etc.

이로 인해, 기존의 주차관리 시스템에서는, 지연 문제 상황이 출차 관리자에게 전달되고, 이를 전달받은 관리자가 이에 대한 조치(예를 들면, 차단기 수동 개방 등)를 취하기까지 상당한 시간이 소요됨으로 인하여, 지연 상황에 신속히 대처하는데 한계를 가지고 있다. For this reason, in the existing parking management system, the delay problem situation is transmitted to the exit manager, and it takes a considerable amount of time for the manager to take action (for example, manually opening the circuit breaker, etc.) There is a limit to how quickly it can respond.

또한, 이러한 한계로 인하여, 예를 들어 입차 및 출차를 위해 대기하고 있는 차량이 많은 경우, 주차장 내에서의 혼잡뿐만 아니라, 입차를 위해 건물 밖에서 대기하고 있는 차량들에게까지 영향을 미쳐 건물 주변의 교통 혼잡에 악영향을 미치게 되는 문제가 있다. In addition, due to this limitation, for example, when there are many vehicles waiting for entry and exit, it affects not only congestion in the parking lot but also vehicles waiting outside the building for entry, so that traffic around the building is affected. There is a problem that adversely affects congestion.

KR 10-2018-0060152 AKR 10-2018-0060152 A

본 발명은, 상술된 문제점을 해결하기 위하여 안출된 것으로서, 출차 영역을 촬영하는 카메라 시스템으로부터 획득된 영상을 기초로 딥러닝을 수행하여, 출차 지연상태를 감지하고 대처하는 딥러닝 기반 출차관리 방법 및 시스템을 제공하는데 그 목적이 있다. The present invention has been devised to solve the above-described problems, and a deep learning-based un-parking management method for detecting and coping with a delayed un-parking by performing deep learning based on an image obtained from a camera system for photographing an un-parking area, and The purpose is to provide a system.

다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. However, the technical problems to be achieved by the present invention and embodiments of the present invention are not limited to the technical problems as described above, and other technical problems may exist.

이때, 상기 출차차량을 검출하는 단계는, 차량 신뢰도 점수 파라미터에 기초하여 상기 프레임 단위 영상 내 복수의 오브젝트 중 출차차량 오브젝트를 선정하는 단계를 포함하고, 상기 차량 신뢰도 점수 파라미터는, 상기 프레임 단위 영상 내 오브젝트가 차량으로 분류될 확률을 나타내는 파라미터이다. In this case, the detecting of the un-parking vehicle includes selecting an un-parking vehicle object from among a plurality of objects in the frame-by-frame image based on a vehicle reliability score parameter, and the vehicle reliability score parameter is included in the frame-by-frame image. This parameter indicates the probability that the object is classified as a vehicle.

또한, 상기 출차차량 정보를 획득하는 단계는, 상기 출차차량에 대한 출차차량 이미지, 차량 식별코드 정보, 차량 좌표정보 및 차량 좌표목록 정보 중 적어도 둘 이상을 획득하는 단계를 포함한다. In addition, the obtaining of the un-parking vehicle information may include obtaining at least two or more of an un-parking vehicle image, vehicle identification code information, vehicle coordinate information, and vehicle coordinate list information for the un-parked vehicle.

또한, 상기 트래킹 정보를 획득하는 단계는, 상기 복수의 프레임 단위 영상 내 상기 출차차량 이미지 별로 매칭된 상기 차량 식별코드 정보를 확인하는 단계와, 상기 확인된 차량 식별코드 정보가 동일한 복수의 출차차량 이미지를 제 1 그룹화하는 단계와, 상기 제 1 그룹 내 상기 복수의 출차차량 이미지 별로 매칭된 상기 차량 좌표정보를 확인하는 단계와, 상기 확인된 차량 좌표정보를 기초로 상기 출차차량의 이동량을 추적하는 단계를 포함한다. In addition, the acquiring of the tracking information may include: checking the vehicle identification code information matched for each un-parking vehicle image in the plurality of frame-by-frame images; grouping into a first group, confirming the vehicle coordinate information matched for each image of the plurality of un-parking vehicles in the first group, and tracking the amount of movement of the un-parked vehicle based on the checked vehicle coordinate information includes

또한, 상기 트래킹 정보를 획득하는 단계는, 제 1 프레임 단위 영상에서의 제 1 출차차량 이미지의 상기 출차차량 정보를 기반으로, 상기 제 1 프레임 단위 영상 이후에 촬영되는 제 2 프레임 단위 영상에서 상기 제 1 출차차량 이미지의 상기 차량 좌표정보와 가장 높은 유사도를 가지는 제 2 출차차량 이미지에 동일한 상기 차량 식별코드를 부여하는 단계를 더 포함한다. In addition, the acquiring of the tracking information includes: Based on the un-parking vehicle information of the first un-parking vehicle image in the first frame-by-frame image, the second frame-by-frame image captured after the first frame-by-frame image The method further includes assigning the same vehicle identification code to a second un-parking vehicle image having the highest similarity with the vehicle coordinate information of the first un-parking vehicle image.

또한, 상기 차량 좌표정보를 확인하는 단계는, 상기 출차차량 이미지가 촬영된 시간 순으로 상기 차량 좌표정보를 정렬하여 시간 순 차량 좌표목록을 획득하는 단계를 포함하고, 상기 출차차량의 이동량을 추적하는 단계는, 상기 시간 순 차량 좌표목록에 기초하여 상기 출차차량의 차량 좌표정보 변화량을 산출해 상기 이동량을 추적하는 단계를 포함한다. In addition, the step of confirming the vehicle coordinate information includes obtaining a time order vehicle coordinate list by arranging the vehicle coordinate information in the order of the time at which the un-parking vehicle image was taken, and tracking the amount of movement of the un-parked vehicle. The step may include calculating a change amount of vehicle coordinate information of the vehicle taking out based on the time sequence vehicle coordinate list and tracking the movement amount.

또한, 상기 출차차량 지연상태를 판단하는 단계는, 상기 출차차량의 정지 상태 여부를 판단하는 단계와, 상기 출차차량이 정지 상태라고 판단된 경우, 상기 정지 상태 동안의 경과 시간인 정지 경과시간을 산출하는 단계를 포함한다. In addition, the determining of the delay state of the un-parking vehicle may include determining whether the un-parking vehicle is in a stopped state, and when it is determined that the un-parked vehicle is in a stopped state, calculating an elapsed stop time that is an elapsed time during the stopped state including the steps of

또한, 상기 출차차량 지연상태를 판단하는 단계는, 상기 정지 경과시간 산출 시, 상기 딥러닝에 기초하여 상기 출차차량과 관련된 인체 오브젝트가 감지되면, 상기 인체 오브젝트가 감지되는 동안의 경과 시간을 상기 정지 경과시간에서 제외하는 단계를 더 포함한다. In addition, the determining of the delay state of the un-parking vehicle may include, when calculating the elapsed stop time, when a human body object related to the un-parking vehicle is detected based on the deep learning, stopping the elapsed time during which the human body object is detected It further includes the step of excluding from the elapsed time.

또한, 상기 출차차량 지연상태를 판단하는 단계는, 상기 산출된 정지 경과시간과 소정의 기준 경과시간에 기반하여 상기 지연상태를 판단하는 단계를 더 포함한다. The determining of the delay state of the vehicle taking out may further include determining the delay state based on the calculated elapsed stop time and a predetermined reference elapsed time.

또한, 상기 지연상태에 대한 알람과 대응을 제공하는 단계는, 상기 지연상태를 알림하는 오디오 알람정보 및 디스플레이 알람정보 중 적어도 하나 이상을 포함하는 지연 알람정보와, 상기 지연상태에 대한 대처 기능 동작을 실행하는 지연 알람정보 출력 지시신호 및 차단기 자동개방 지시신호 중 적어도 하나 이상을 포함하는 지연 대응신호 중 어느 하나 이상을 제공하는 단계를 포함한다. In addition, the step of providing an alarm and a response to the delay state includes delay alarm information including at least one of audio alarm information and display alarm information for notifying the delay state, and a coping function operation for the delay state. and providing any one or more of a delay corresponding signal including at least one of a delay alarm information output instruction signal and an automatic breaker automatic opening instruction signal to be executed.

또한, 상기 출차차량 지연상태를 판단하는 단계는, 상기 인체 오브젝트가 감지되는 동안의 경과 시간을 상기 정지 경과시간에서 제외하는 최대 시간을 기설정하는 단계를 더 포함한다. The determining of the delay state of the vehicle taking out may further include presetting a maximum time for excluding an elapsed time during which the human body object is sensed from the elapsed stop time.

또한, 상기 출차차량에 대한 주차료 결제 프로세스의 지연상태를 판단하는 단계와, 상기 결제 프로세스의 지연상태가 발생한 것으로 판단된 경우, 상기 인체 오브젝트가 감지되면 상기 출차차량 지연상태로 판단하는 단계를 더 포함한다. In addition, the method further includes the steps of determining a delay state of the parking fee payment process for the un-parking vehicle, and when it is determined that the delay state of the payment process has occurred, determining the un-parking vehicle delay state when the human body object is detected do.

한편, 본 발명의 실시예에 따른 딥러닝 기반 출차관리 시스템은, 출차 영역을 촬영한 비디오 스트림(Video stream)을 획득하는 카메라 시스템; 및 상기 비디오 스트림에 기반한 딥러닝을 기초로 출차관리 서비스를 제공하는 출차 모니터링 장치를 포함하고, 상기 출차 모니터링 장치는, 상기 비디오 스트림을 기초로 복수의 프레임(frame) 단위 영상을 획득하고, 상기 딥러닝을 기반으로 상기 프레임 단위 영상 내 출차차량을 검출하며, 상기 검출된 출차차량에 대한 출차차량 정보를 획득하고, 상기 복수의 프레임 단위 영상 각각에 대한 상기 출차차량 정보를 기반으로, 상기 출차차량에 대한 트래킹(tracking) 정보를 획득하고, 상기 획득된 트래킹 정보를 기초로 출차차량 지연상태를 판단하며, 상기 지연상태로 판단된 경우, 상기 지연상태에 대한 알람과 대응을 제공한다. On the other hand, the deep learning-based un-parking management system according to an embodiment of the present invention, a camera system for acquiring a video stream (Video stream) of the taking-out area; and an un-parking monitoring device that provides an un-parking management service based on deep learning based on the video stream, wherein the un-parking monitoring device acquires a plurality of frame-based images based on the video stream, and Detects an un-parking vehicle in the frame-by-frame image based on running, obtains un-parking vehicle information on the detected un-parking vehicle, and based on the un-parking vehicle information for each of the plurality of frame-by-frame images, Acquires tracking information for a vehicle, determines a vehicle taking-out delay state based on the obtained tracking information, and provides an alarm and a response to the delay state when it is determined as the delayed state.

본 발명의 실시예에 따른 딥러닝 기반 출차관리 방법 및 시스템은, 출차 영역을 촬영하는 카메라 시스템으로부터 획득된 영상을 기초로 딥러닝을 수행하여 출차 지연상태를 감지하고 대처함으로써, 출차 관리자의 별도의 조치가 없어도 자동으로 출차 지연 상황에 대처하는 기능 동작을 실행할 수 있는 효과가 있다. A deep learning-based un-parking management method and system according to an embodiment of the present invention performs deep learning based on an image obtained from a camera system for photographing an un-parking area to detect and deal with the un-parking delay state, thereby It has the effect of automatically executing a function action to cope with the delay in taking out a vehicle without taking any action.

또한, 본 발명의 실시예에 따른 딥러닝 기반 출차관리 방법 및 시스템은, 출차 지연상태를 실시간으로 감지하고 대응함으로써, 출차 지연 상황에 신속히 대처할 수 있고, 이를 통해 출차 지연 상황으로 인한 출차 영역 주위의 교통 혼잡을 최소화할 수 있는 효과가 있다. In addition, the deep learning-based un-parking management method and system according to an embodiment of the present invention detects and responds to the un-parking delay state in real time, so that it is possible to quickly respond to the un-parking delay situation, and through this, It has the effect of minimizing traffic congestion.

또한, 본 발명의 실시예에 따른 딥러닝 기반 출차관리 방법 및 시스템은, 출차 지연 상황을 신속하게 감지하여 대처함으로써, 사용자(운전자 및/또는 출차 관리자 등)의 편의를 도모할 수 있는 효과가 있다. In addition, the deep learning-based un-parking management method and system according to an embodiment of the present invention has the effect of promoting convenience for users (drivers and/or un-parking managers, etc.) by quickly detecting and responding to a delayed un-parking. .

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다. However, the effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood from the description below.

도 1은 본 발명의 실시예에 따른 딥러닝 기반 출차관리 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 컴퓨팅 디바이스 내부 블록도의 일례이다.
도 3은 본 발명의 실시예에 따른 딥러닝 기반 출차관리 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 프레임 단위 영상에 기반한 딥러닝을 수행하여 출차차량 정보를 획득하는 방법을 설명하기 위한 개념도이다.
도 5는 본 발명의 실시예에 따른 식별코드 매칭 프로세스를 설명하기 위한 개념도이다.
도 6은 본 발명의 실시예에 따른 출차차량에 대한 트래킹 정보를 획득하는 방법의 일례를 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예에 따른 인체 오브젝트 디텍션을 수행하는 방법을 설명하기 위한 도면의 일례이다.
도 8은 본 발명의 실시예에 따른 지연상태 알람을 제공하는 모습의 일례이다. 1 is a conceptual diagram of a deep learning-based vehicle taking-out management system according to an embodiment of the present invention.
2 is an example of an internal block diagram of a computing device according to an embodiment of the present invention.
3 is a flowchart illustrating a deep learning-based car taking-out management method according to an embodiment of the present invention.
4 is a conceptual diagram for explaining a method of acquiring information about a vehicle taking out by performing deep learning based on a frame-by-frame image according to an embodiment of the present invention.
5 is a conceptual diagram for explaining an identification code matching process according to an embodiment of the present invention.
6 is a conceptual diagram for explaining an example of a method of obtaining tracking information for a vehicle taking out according to an embodiment of the present invention.
7 is an example of a diagram for explaining a method of performing human body object detection according to an embodiment of the present invention.
8 is an example of a state in which a delay state alarm is provided according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. Effects and features of the present invention, and a method for achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms. In the following embodiments, terms such as first, second, etc. are used for the purpose of distinguishing one component from another, not in a limiting sense. Also, the singular expression includes the plural expression unless the context clearly dictates otherwise. In addition, terms such as include or have means that the features or components described in the specification are present, and do not preclude the possibility that one or more other features or components will be added. In addition, in the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, since the size and thickness of each component shown in the drawings are arbitrarily indicated for convenience of description, the present invention is not necessarily limited to the illustrated bar.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when described with reference to the drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. .

도 1은 본 발명의 실시예에 따른 딥러닝 기반 출차관리 시스템의 개념도이다. 1 is a conceptual diagram of a deep learning-based vehicle taking-out management system according to an embodiment of the present invention.

도 1을 참조하면, 실시예에 따른 딥러닝 기반 출차관리 시스템은, 출차 모니터링 장치(100) 및 카메라 시스템(500)을 포함할 수 있다. Referring to FIG. 1 , a deep learning-based un-parking management system according to an embodiment may include an un-parking monitoring apparatus 100 and a camera system 500 .

실시예에서, 출차 모니터링 장치(100) 및 카메라 시스템(500)은, 상호 연동하여 출차 영역을 촬영한 영상을 기초로 딥러닝을 수행해 출차 지연상태를 감지하고 대처하는 출차관리 서비스를 제공할 수 있다. In an embodiment, the un-parking monitoring apparatus 100 and the camera system 500 may provide an un-parking management service that detects and copes with the un-parking delay state by performing deep learning based on the image captured in the un-parking area in cooperation with each other. .

자세히, 실시예에서 출차 모니터링 장치(100)는, 카메라 시스템(500)으로부터 출차 영역을 촬영한 비디오 스트림(Video stream)을 획득할 수 있다. In detail, according to an embodiment, the un-parking monitoring apparatus 100 may acquire a video stream obtained by photographing the un-parking area from the camera system 500 .

또한, 출차 모니터링 장치(100)는, 획득된 비디오 스트림을 기초로 프레임(frame) 단위의 영상(프레임 단위 영상)을 획득할 수 있다. Also, the vehicle taking-out monitoring apparatus 100 may acquire a frame-by-frame image (frame-by-frame image) based on the obtained video stream.

또한, 실시예에서 출차 모니터링 장치(100)는, 획득된 프레임 단위 영상을 기반으로 딥러닝을 수행할 수 있고, 이를 통해 출차차량 정보를 획득할 수 있다. Also, in an embodiment, the apparatus 100 for monitoring un-parking may perform deep learning based on the acquired frame-by-frame image, and may acquire information about the un-parking vehicle through this.

여기서, 실시예에 따른 출차차량 정보란, 프레임 단위 영상 내 출차차량을 특정하는 정보로서, 실시예에서 출차차량 이미지, 출차차량 이미지(또는 바운딩 박스) 별로 매칭된 식별코드 정보, 차량 좌표정보 및/또는 차량 좌표목록 등을 포함할 수 있다. Here, the un-parking vehicle information according to the embodiment is information for specifying the un-parking vehicle in the frame unit image, and in the embodiment, the un-parking vehicle image, the un-parking vehicle image (or bounding box) matched identification code information, vehicle coordinate information and / Or it may include a list of vehicle coordinates.

또한, 실시예에서 출차 모니터링 장치(100)는, 획득된 프레임 단위 영상 별 출차차량 정보에 기반하여, 시간의 흐름에 따른 출차차량의 이동량을 기록 및 관찰한 정보인 출차차량 트래킹(tracking) 정보를 획득할 수 있다. In addition, in the embodiment, the un-parking monitoring apparatus 100 records and observes the amount of movement of the un-parked vehicle over time, based on the obtained un-parking vehicle information for each frame-by-frame image. can be obtained

또한, 실시예에서 출차 모니터링 장치(100)는, 획득된 트래킹 정보를 기초로 출차차량 지연상태를 판단할 수 있다. Also, in the embodiment, the un-parking monitoring apparatus 100 may determine the vehicle un-parking delay state based on the obtained tracking information.

또한, 출차 모니터링 장치(100)는, 출차 영역에서 지연상태가 발생하였다고 판단된 경우, 해당 지연상태에 대한 알람 및 대응을 수행할 수 있다. In addition, when it is determined that a delay state has occurred in the un-parking area, the apparatus 100 for monitoring the un-parking may perform an alarm and response to the delay state.

한편, 도 1의 출차 모니터링 장치(100) 및 카메라 시스템(500)은, 네트워크를 통하여 연결될 수 있다. Meanwhile, the vehicle taking-out monitoring apparatus 100 and the camera system 500 of FIG. 1 may be connected through a network.

여기서, 네트워크는, 출차 모니터링 장치(100) 및 카메라 시스템(500) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.Here, the network refers to a connection structure in which information exchange is possible between respective nodes such as the vehicle taking-out monitoring apparatus 100 and the camera system 500, and an example of such a network includes a 3rd Generation Partnership Project (3GPP) network, LTE (Long Term Evolution) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area) Network), Bluetooth (Bluetooth) network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, and the like are included, but are not limited thereto.

- 출차 모니터링 장치(100: car-out monitoring device) - Car-out monitoring device (100: car-out monitoring device)

본 발명의 실시예에 따른 출차 모니터링 장치(100)는, 출차 영역(예컨대, 주차장 출구 측 영역 등)을 촬영한 영상을 기초로 딥러닝을 수행하여 출차 지연상태를 감지하고 대처하는 출차관리 서비스를 제공할 수 있다. The un-parking monitoring apparatus 100 according to an embodiment of the present invention performs deep learning based on an image of an un-parking area (eg, a parking lot exit side area, etc.) to detect and cope with a delayed un-parking management service. can provide

이러한 출차 모니터링 장치(100)는, 실시예에 따라서 출차관리 서비스를 제공하는 컴퓨팅 디바이스(Computing Device: 200, 300) 또는 서버(Server: 400)로 구현될 수 있다. The un-parking monitoring apparatus 100 may be implemented as a computing device 200 or 300 or a server 400 that provides an un-parking management service according to an embodiment.

이하의 실시예에서는, 출차 모니터링 장치(100)를 컴퓨팅 디바이스(200, 300)에 기준하여 설명하나, 실시예에 따라서 서버로 구현될 수도 있는 등 다양한 실시예 또한 가능하다. In the following embodiments, the car taking-out monitoring apparatus 100 will be described with reference to the computing devices 200 and 300 , but various embodiments are also possible, such as being implemented as a server according to embodiments.

실시예에서, 출차 모니터링 장치(100)를 구현하는 컴퓨팅 디바이스(200, 300)는, 출차관리 서비스를 제공하는 출차관리 어플리케이션이 설치된 다양한 타입(예컨대, 모바일 타입 또는 데스크탑 타입)의 컴퓨팅 디바이스를 포함할 수 있다. In an embodiment, the computing devices 200 and 300 implementing the un-parking monitoring apparatus 100 may include various types of computing devices (eg, a mobile type or a desktop type) in which an un-parking management application that provides an un-parking management service is installed. can

1. 모바일 타입 컴퓨팅 디바이스(200: Mobile type computing device)1. Mobile type computing device (200: Mobile type computing device)

본 발명의 실시예에서 모바일 타입 컴퓨팅 디바이스(200)는, 출차관리 어플리케이션이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다. In an embodiment of the present invention, the mobile type computing device 200 may be a mobile device, such as a smart phone or a tablet PC, in which a car taking-out management application is installed.

예를 들어, 모바일 타입 컴퓨팅 디바이스(200)는, 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC) 등이 포함될 수 있다. For example, the mobile type computing device 200 may include a smart phone, a mobile phone, a digital broadcasting terminal, personal digital assistants (PDA), a portable multimedia player (PMP), a tablet PC, and the like. have.

도 2는 본 발명의 실시예에 따른 컴퓨팅 디바이스 내부 블록도의 일례이다. 2 is an example of an internal block diagram of a computing device according to an embodiment of the present invention.

도 2를 참조하면, 예시적인 구현에 따른 모바일 타입 컴퓨팅 디바이스(200)는, 메모리(210), 프로세서 어셈블리(220), 통신 모듈(230), 인터페이스 모듈(240), 입력 시스템(250), 센서 시스템(260) 및 디스플레이 시스템(270)을 포함할 수 있다. 이러한 구성요소들은 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에 포함되도록 구성될 수 있다. Referring to FIG. 2 , a mobile type computing device 200 according to an exemplary implementation includes a memory 210 , a processor assembly 220 , a communication module 230 , an interface module 240 , an input system 250 , and a sensor. system 260 and display system 270 . These components may be configured to be included within the housing of the mobile type computing device 200 .

자세히, 메모리(210)에는, 출차관리 어플리케이션(211)이 저장되며, 출차관리 어플리케이션(211)에는 출차관리 서비스를 구현할 수 있는 환경을 제공하기 위한 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다. In detail, the memory 210 stores the un-parking management application 211, and the un-parking management application 211 stores any one or more of various application programs, data, and commands for providing an environment in which the un-parking management service can be implemented. can

예를 들면, 메모리(210)는, 비디오 스트림, 프레임 단위 영상, 출차차량 정보, 트래킹 정보, 지연 알람정보 및/또는 지연 대응신호 정보 등을 포함할 수 있다. For example, the memory 210 may include a video stream, a frame-by-frame image, vehicle taking out information, tracking information, delay alarm information, and/or delay response signal information.

즉, 메모리(210)는 출차관리 서비스 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다. That is, the memory 210 may store commands and data that may be used to create a vehicle taking-out management service environment.

또한, 메모리(210)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(210)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(210)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다. In addition, the memory 210 may include at least one or more non-transitory computer-readable storage media and a temporary computer-readable storage medium. For example, the memory 210 may be various storage devices such as a ROM, an EPROM, a flash drive, a hard drive, and the like, and a web storage that performs a storage function of the memory 210 on the Internet. may include

프로세서 어셈블리(220)는, 출차관리 서비스 환경을 구현하기 위한 다양한 작업을 수행하기 위해, 메모리(210)에 저장된 출차관리 어플리케이션(211)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다. The processor assembly 220 may include at least one processor capable of executing commands of the taking-out management application 211 stored in the memory 210 in order to perform various tasks for realizing the taking-out management service environment.

실시예에서 프로세서 어셈블리(220)는, 출차관리 서비스를 제공하기 위하여 메모리(210)의 출차관리 어플리케이션(211)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다. In an embodiment, the processor assembly 220 may control the overall operation of the components through the taking-out management application 211 of the memory 210 to provide the taking-out management service.

이러한 프로세서 어셈블리(220)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(220)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다. The processor assembly 220 may include a central processing unit (CPU) and/or a graphics processor unit (GPU). In addition, the processor assembly 220, ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), controllers (controllers) ), micro-controllers, microprocessors, and other electrical units for performing other functions.

통신 모듈(230)은, 다른 컴퓨팅 장치(예컨대, 카메라 시스템(500) 등)와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(230)은, 무선 네트워크를 통해 통신할 수 있다. The communication module 230 may include one or more devices for communicating with other computing devices (eg, the camera system 500 , etc.). The communication module 230 may communicate through a wireless network.

자세히, 통신 모듈(230)은, 출차관리 서비스 환경을 구현하기 위한 컨텐츠 소스를 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다. In detail, the communication module 230 may communicate with a computing device that stores a content source for implementing the taking-out management service environment, and may communicate with various user input components such as a controller that has received a user input.

실시예에서 통신 모듈(230)은, 출차관리 서비스와 관련된 각종 데이터를 카메라 시스템(500) 및/또는 다른 컴퓨팅 디바이스와 송수신할 수 있다. In an embodiment, the communication module 230 may transmit/receive various data related to the taking-out management service with the camera system 500 and/or other computing devices.

이러한 통신 모듈(230)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.Such a communication module 230, the technical standards or communication methods for mobile communication (eg, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), 5G NR (New Radio), WIFI) Alternatively, data may be wirelessly transmitted/received with at least one of a base station, an external terminal, and an arbitrary server on a mobile communication network constructed through a communication device capable of performing a short-range communication method.

센서 시스템(260)은, 이미지 센서(261), 위치 센서(IMU, 263), 오디오 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다. The sensor system 260 may include various sensors, such as an image sensor 261 , a position sensor (IMU) 263 , an audio sensor, a distance sensor, a proximity sensor, and a contact sensor.

이미지 센서(261)는, 모바일 타입 컴퓨팅 디바이스(200) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다. The image sensor 261 may capture images and/or images of the physical space around the mobile type computing device 200 .

실시예에서 이미지 센서(261)는, 출차관리 서비스에 관련된 영상(실시예로, 출차차량을 촬영한 비디오 스트림 등)을 촬영하여 획득할 수 있다. In an embodiment, the image sensor 261 may capture and acquire an image (eg, a video stream in which the vehicle is taken out of) related to the un-parking management service.

또한, 이미지 센서(261)는, 모바일 타입 컴퓨팅 디바이스(200)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 모바일 타입 컴퓨팅 디바이스(200)의 외부를 향해 배치된 카메라를 통해 물리적 공간을 촬영할 수 있다. Also, the image sensor 261 may be disposed on the front and/or rear of the mobile type computing device 200 to acquire an image by photographing the disposed direction side, and may be directed toward the outside of the mobile type computing device 200 . Physical space can be photographed through the placed camera.

이러한 이미지 센서(261)는, 이미지 센서장치와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(261)는, 이미지 센서장치(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. The image sensor 261 may include an image sensor device and an image processing module. Specifically, the image sensor 261 may process a still image or a moving image obtained by an image sensor device (eg, CMOS or CCD).

또한, 이미지 센서(261)는, 영상 처리 모듈을 이용하여 이미지 센서장치를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.Also, the image sensor 261 may process a still image or a moving image obtained through the image sensor device using an image processing module to extract necessary information, and transmit the extracted information to the processor.

이러한 이미지 센서(261)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다. The image sensor 261 may be a camera assembly including at least one camera. The camera assembly may include a general camera that captures a visible light band, and may further include a special camera such as an infrared camera or a stereo camera.

IMU(263)는 모바일 타입 컴퓨팅 디바이스(200)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(230)의 GPS와 같은 위치 통신 모듈(230)과 연동하여, 모바일 타입 컴퓨팅 디바이스(200) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다. The IMU 263 may sense at least one of a motion and an acceleration of the mobile type computing device 200 . For example, it may consist of a combination of various position sensors such as an accelerometer, a gyroscope, and a magnetometer. In addition, by interworking with the location communication module 230 such as GPS of the communication module 230 , spatial information about the physical space around the mobile type computing device 200 may be recognized.

또한, IMU(263)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다. Also, the IMU 263 may detect information for detecting and tracking the user's gaze direction and head movement based on the detected position and direction.

또한, 일부 구현들에서, 출차관리 어플리케이션(211)은 이러한 IMU(263) 및 이미지 센서(261)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다. Further, in some implementations, the taking-out management application 211 may use such an IMU 263 and the image sensor 261 to determine the location and orientation of the user in the physical space or to recognize a feature or object in the physical space. .

오디오 센서(265)는, 모바일 타입 컴퓨팅 디바이스(200) 주변의 소리를 인식할 수 있다. The audio sensor 265 may recognize a sound around the mobile type computing device 200 .

자세히, 오디오 센서(265)는, 모바일 타입 컴퓨팅 디바이스(200) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다. Specifically, the audio sensor 265 may include a microphone capable of detecting a voice input of a user of the mobile type computing device 200 .

실시예에서 오디오 센서(265)는, 출차관리 서비스를 위해 필요한 음성 데이터를 사용자로부터 입력 받을 수 있다. In an exemplary embodiment, the audio sensor 265 may receive voice data required for the taking-out management service from the user.

인터페이스 모듈(240)은, 모바일 타입 컴퓨팅 디바이스(200)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. The interface module 240 may communicatively connect the mobile type computing device 200 with one or more other devices.

자세히, 인터페이스 모듈(240)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다. Specifically, the interface module 240 may include wired and/or wireless communication devices that are compatible with one or more different communication protocols.

이러한 인터페이스 모듈(240)을 통해 모바일 타입 컴퓨팅 디바이스(200)는, 여러 입출력 장치들과 연결될 수 있다. The mobile type computing device 200 may be connected to various input/output devices through the interface module 240 .

예를 들어, 인터페이스 모듈(240)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다. For example, the interface module 240 may be connected to an audio output device such as a headset port or a speaker to output audio.

예시적으로 오디오 출력장치가 인터페이스 모듈(240)을 통해 연결되는 것으로 설명하였으나, 모바일 타입 컴퓨팅 디바이스(200) 내부에 설치되는 실시예도 포함될 수 있다. For example, although it has been described that the audio output device is connected through the interface module 240 , an embodiment in which the audio output device is installed inside the mobile type computing device 200 may also be included.

이러한 인터페이스 모듈(240)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다. Such an interface module 240, a wired / wireless headset port (port), an external charger port (port), a wired / wireless data port (port), a memory card (memory card) port, for connecting a device equipped with an identification module Ports, audio Input/Output (I/O) ports, video I/O (Input/Output) ports, earphone ports, power amplifiers, RF circuits, transceivers and other communication circuits It may be configured to include at least one of.

입력 시스템(250)은 출차관리 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.The input system 250 may detect a user's input (eg, a gesture, a voice command, an operation of a button, or another type of input) related to the taking-out management service.

자세히, 입력 시스템(250)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(261)를 포함할 수 있다. Specifically, the input system 250 may include a button, a touch sensor, and an image sensor 261 that receives user motion input.

또한, 입력 시스템(250)은, 인터페이스 모듈(240)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다. Also, the input system 250 may be connected to an external controller through the interface module 240 to receive a user's input.

디스플레이 시스템(270)은, 출차관리 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다. The display system 270 may output various information related to the taking-out management service as a graphic image.

이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.Such displays include a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. , a three-dimensional display (3D display), may include at least one of the electronic ink display (e-ink display).

이러한 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(271) 상에 터치 센서(273)를 포함할 수 있다. The above components may be disposed within the housing of this mobile type computing device 200 , and the user interface may include a touch sensor 273 on a display 271 configured to receive user touch input.

자세히, 디스플레이 시스템(270)은, 이미지를 출력하는 디스플레이(271)와, 사용자의 터치 입력을 감지하는 터치 센서(273)를 포함할 수 있다.In detail, the display system 270 may include a display 271 that outputs an image and a touch sensor 273 that detects a user's touch input.

예시적으로 디스플레이(271)는 터치 센서(273)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 모바일 타입 컴퓨팅 디바이스(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 모바일 타입 컴퓨팅 디바이스(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.Exemplarily, the display 271 may be implemented as a touch screen by forming a layer structure with each other or integrally formed with the touch sensor 273 . Such a touch screen may function as a user input unit providing an input interface between the mobile type computing device 200 and the user, and may provide an output interface between the mobile type computing device 200 and the user.

2. 데스크탑 타입 컴퓨팅 디바이스(300: Desktop type computing device)2. Desktop type computing device (300: Desktop type computing device)

데스크탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명 중 중복되는 내용은 모바일 타입 컴퓨팅 디바이스(200)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 모바일 타입 컴퓨팅 디바이스(200)와의 차이점을 중심으로 설명한다.Duplicate content in the description of the components of the desktop type computing device 300 will be replaced with the description of the components of the mobile type computing device 200 , and the differences with the mobile type computing device 200 will be described below. explained in the center.

다른 예시에서 데스크탑 타입 컴퓨팅 디바이스(300)는, 출차관리 어플리케이션이 설치된 고정형 데스크탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 출차관리 서비스를 실행하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.In another example, the desktop-type computing device 300 provides an un-parking management service based on wired/wireless communication, such as a fixed desktop PC, a laptop computer, and a personal computer such as an ultrabook, in which an un-parking management application is installed. It may further include a device in which a program for execution is installed.

또한, 데스크탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템을 포함하여, 사용자 입력(예컨대, 터치 입력, 마우스 입력, 키보드 입력, 제스처 입력, 가이드 도구를 이용한 모션 입력 등)을 수신할 수 있다. In addition, the desktop type computing device 300 may receive a user input (eg, a touch input, a mouse input, a keyboard input, a gesture input, a motion input using a guide tool, etc.), including a user interface system .

예시적으로, 데스크탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템을 다양한 통신 프로토콜로 마우스, 키보드, 제스처 입력 컨트롤러, 이미지 센서(예컨대, 카메라) 및 오디오 센서 등 적어도 하나의 장치와 연결되어, 사용자 입력을 획득할 수 있다. Illustratively, the desktop type computing device 300 is connected to at least one device such as a mouse, a keyboard, a gesture input controller, an image sensor (eg, a camera), and an audio sensor using various communication protocols to connect the user interface system to the user input can be obtained.

또한, 데스크탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템을 통해 외부 출력 장치와 연결될 수 있으며, 예컨대, 디스플레이 장치, 오디오 출력 장치 등에 연결될 수 있다. Also, the desktop type computing device 300 may be connected to an external output device through a user interface system, for example, a display device, an audio output device, and the like.

또한, 예시적인 구현에 따른 데스크탑 타입 컴퓨팅 디바이스(300)는, 메모리, 프로세서 어셈블리, 통신 모듈, 유저 인터페이스 시스템 및 입력 시스템을 포함할 수 있다. 이러한 구성요소들은 데스크탑 타입 컴퓨팅 디바이스(300)의 하우징 내에 포함되도록 구성될 수 있다. Further, the desktop type computing device 300 according to the example implementation may include a memory, a processor assembly, a communication module, a user interface system, and an input system. These components may be configured to be included within the housing of the desktop type computing device 300 .

데스크탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명은 모바일 타입 컴퓨팅 디바이스(200)의 구성요소에 대한 설명으로 대체하기로 한다. The description of the components of the desktop type computing device 300 will be replaced with the description of the components of the mobile type computing device 200 .

다만, 본 발명의 실시예에서 도 2에 도시된 구성요소들은, 컴퓨팅 디바이스를 구현하는데 있어 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 컴퓨팅 디바이스는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. However, in the embodiment of the present invention, the components shown in FIG. 2 are not essential for implementing the computing device, so the computing device described in the present specification has more or fewer components than those listed above. can have

또한, 본 발명의 실시예에서 따라서, 컴퓨팅 디바이스에서 수행되는 상술된 각종 기능동작의 일부는, 카메라 시스템(500)에서 수행될 수도 있는 등 다양한 실시예가 가능할 수 있다. In addition, according to an embodiment of the present invention, some of the above-described various functional operations performed in the computing device may be performed in the camera system 500 , and various embodiments may be possible.

- 카메라 시스템(500: Camera Systems) - Camera System (500: Camera Systems)

본 발명의 실시예에 따른 카메라 시스템(500)은, 출차관리 서비스에 필요한 이미지 및/또는 영상을 촬영하여 획득할 수 있다. The camera system 500 according to an embodiment of the present invention may capture and obtain an image and/or an image required for the taking-out management service.

이때, 이하의 실시예에서 카메라 시스템(500)은, 주차장 출구 측 영역에 배치되어 출차관리 서비스에 필요한 이미지 및/또는 영상을 획득한다고 설명되나, 이에 한정되는 것은 아니다. In this case, in the following embodiment, it is described that the camera system 500 is disposed in the area on the exit side of the parking lot to acquire images and/or images required for the taking-out management service, but is not limited thereto.

자세히, 실시예에서 카메라 시스템(500)은, 주차장 출구 측 영역에 위치하는 차량(즉, 출차차량)을 촬영한 비디오 스트림(Video stream)을 획득할 수 있고, 이를 외부의 컴퓨팅 장치(실시예에서, 출차 모니터링 장치(100))로 제공할 수 있다. In detail, in the embodiment, the camera system 500 may acquire a video stream photographing a vehicle (ie, an exiting vehicle) located in the area on the exit side of the parking lot, and it may be obtained by an external computing device (in the embodiment). , the vehicle taking-out monitoring device 100) may be provided.

보다 상세히, 실시예에서 카메라 시스템(500)은, 주차장 출구 측 영역 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다. More specifically, in an embodiment, the camera system 500 may capture images and/or images of the physical space around the area on the exit side of the parking lot.

예시적으로, 카메라 시스템(500)은, 주차장 출구 측 영역에 배치된 CCTV(Closed-Circuit TeleVision) 및/또는 블랙박스 등으로 구현될 수 있다. Illustratively, the camera system 500 may be implemented as a Closed-Circuit Television (CCTV) and/or a black box disposed in the area on the exit side of the parking lot.

실시예에 따라서 카메라 시스템(500)은, 출차차량을 센싱할 수 있는 위치라면 어디에도 배치되어 동작할 수 있다. According to an embodiment, the camera system 500 may be disposed and operated at any location capable of sensing the vehicle taking out.

또한, 실시예에서 카메라 시스템(500)은, 이미지 센서장치와 영상 처리 모듈을 포함할 수 있다. Also, in the embodiment, the camera system 500 may include an image sensor device and an image processing module.

자세히, 카메라 시스템(500)은, 이미지 센서장치(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. Specifically, the camera system 500 may process a still image or a moving image obtained by an image sensor device (eg, CMOS or CCD).

또한, 카메라 시스템(500)은, 영상 처리 모듈을 이용하여 이미지 센서장치를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서 및/또는 외부의 컴퓨팅 장치(실시예로, 출차 모니터링 장치(100) 등)에 전달할 수 있다.In addition, the camera system 500 processes a still image or a moving image obtained through an image sensor device using an image processing module to extract necessary information, and uses the extracted information to a processor and/or an external computing device (embodiment) In this case, it may be transmitted to the vehicle taking-out monitoring device 100, etc.).

이러한 카메라 시스템(500)은, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. The camera system 500 may be a camera assembly including at least one camera.

이때, 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다. In this case, the camera assembly may include a general camera for photographing a visible ray band, and may further include a special camera such as an infrared camera or a stereo camera.

또한, 카메라 시스템(500)은, 감지되는 공간 영역 상의 오브젝트(즉, 실시예에서 출차차량)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. In addition, the camera system 500 may detect at least one of a motion and an acceleration of an object (ie, an un-parked vehicle in the embodiment) on the sensed spatial region.

예를 들어, 카메라 시스템(500)은, 가속도계, 자이로스코프, 자력계, 또는 에너지(빛, 소리 및/또는 진동)를 감지할수 있는 다양한 센서의 조합으로 이루어 질 수 있다. For example, the camera system 500 may be comprised of an accelerometer, a gyroscope, a magnetometer, or a combination of various sensors capable of sensing energy (light, sound, and/or vibration).

또한, 실시예에서 카메라 시스템(500)은, GPS와 같은 위치 통신 모듈과 연동하여, 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다. Also, in an embodiment, the camera system 500 may recognize spatial information about a surrounding physical space by interworking with a location communication module such as GPS.

더하여, 실시예에서 카메라 시스템(500)은, 센싱(촬영)되는 영역에 대한 공간 인식과 함께 해당 공간 내 오브젝트(실시예에서, 출차차량)에 대한 트래킹(Tracking)을 수행할 수 있다. In addition, in an embodiment, the camera system 500 may perform tracking of an object (in an embodiment, an un-cared vehicle) in a corresponding space along with spatial recognition of an area to be sensed (photographed).

자세히, 카메라 시스템(500)은, 감지된 공간 내의 오브젝트의 위치 및/또는 방위(자세) 등에 대한 변화를 추적할 수 있다. In detail, the camera system 500 may track a change in the position and/or orientation (posture) of the object in the sensed space.

그리고 카메라 시스템(500)은, 추적된 변화에 기초하여 해당하는 오브젝트에 대한 트래킹 정보(예컨대, 오브젝트의 위치, 움직임, 방향 및/또는 속도 등에 대한 감지정보 등)를 획득할 수 있다. In addition, the camera system 500 may acquire tracking information (eg, detection information on the position, movement, direction, and/or speed of the object, etc.) for the corresponding object based on the tracked change.

여기서는, 카메라 시스템(500)이 감지된 공간 내 오브젝트에 대한 추적 기능동작을 수행하여 트래킹 정보를 획득한다고 설명하였으나, 실시예에 따라서 컴퓨팅 디바이스가 카메라 시스템(500)으로부터 획득된 영상 정보에 기초하여 추적 기능동작을 수행해 트래킹 정보를 획득할 수도 있는 등 다양한 실시예 또한 가능하다.Here, it has been described that the camera system 500 obtains tracking information by performing a tracking function operation on an object in the sensed space, but according to an embodiment, the computing device tracks based on the image information obtained from the camera system 500 Various embodiments are also possible, such as performing a functional operation to obtain tracking information.

- 딥러닝 기반의 출차관리 방법 - Deep learning-based exit management method

이하, 본 발명의 실시예에 따른 출차 모니터링 장치(100)가 딥러닝을 기반으로 출차관리를 수행하는 방법에 대해 도 3 내지 도 8을 참조하여 상세히 설명한다. Hereinafter, a method in which the vehicle taking-out monitoring apparatus 100 according to an embodiment of the present invention performs un-parking management based on deep learning will be described in detail with reference to FIGS. 3 to 8 .

도 3은 본 발명의 실시예에 따른 딥러닝 기반 출차관리 방법을 설명하기 위한 흐름도이다. 3 is a flowchart illustrating a deep learning-based car taking-out management method according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예에서 출차 모니터링 장치(100)는, 카메라 시스템(500)과 연동하여 주차장 출구 측 영역을 촬영한 비디오 스트림(Video stream)을 획득할 수 있다. (S101) Referring to FIG. 3 , in an embodiment of the present invention, the apparatus 100 for monitoring an exiting vehicle may acquire a video stream obtained by photographing an area at the exit of a parking lot by interworking with the camera system 500 . (S101)

즉, 실시예에서 출차 모니터링 장치(100)는, 주차장 출구 측 영역에 배치된 카메라 시스템(500)(예컨대, CCTV 및/또는 블랙박스 등)으로부터, 해당 영역을 촬영한 비디오 스트림을 획득할 수 있다. That is, in the embodiment, the vehicle taking-out monitoring apparatus 100 may obtain a video stream photographing the corresponding area from the camera system 500 (eg, CCTV and/or black box, etc.) disposed in the area on the exit side of the parking lot. .

또한, 실시예에서 출차 모니터링 장치(100)는, 획득된 비디오 스트림을 기반으로 프레임(frame) 단위 영상을 획득할 수 있다. (S103) Also, according to an embodiment, the apparatus 100 for monitoring the vehicle taking-out may acquire a frame-by-frame image based on the obtained video stream. (S103)

자세히, 출차 모니터링 장치(100)는, 카메라 시스템(500)에서 촬영된 비디오 스트림(즉, 동영상)으로부터, 출차관리 서비스와 관련된 영상처리의 대상이 되는 하나의 프레임 단위 영상을 추출할 수 있다. In detail, the un-parking monitoring apparatus 100 may extract, from a video stream (ie, a moving picture) captured by the camera system 500 , a single frame unit image that is a target of image processing related to the un-parking management service.

그리고 출차 모니터링 장치(100)는, 위와 같이 획득된 프레임 단위 영상에 기반한 딥러닝을 수행하여, 출차차량 정보를 획득할 수 있다. (S105) In addition, the un-parking monitoring apparatus 100 may perform deep learning based on the frame-by-frame image obtained as described above to acquire un-parking vehicle information. (S105)

도 4는 본 발명의 실시예에 따른 프레임 단위 영상에 기반한 딥러닝을 수행하여 출차차량 정보를 획득하는 방법을 설명하기 위한 개념도이다. 4 is a conceptual diagram for explaining a method of acquiring information about a vehicle taking out by performing deep learning based on a frame-by-frame image according to an embodiment of the present invention.

자세히, 도 4를 참조하면, 실시예에서 출차 모니터링 장치(100)는, 이미지 딥러닝 뉴럴 네트워크와 연동하여, 프레임 단위 영상에 기반한 차량 오브젝트 디텍션(Object detection)을 수행할 수 있다. In detail, referring to FIG. 4 , in an embodiment, the apparatus 100 for monitoring a vehicle taking out may perform vehicle object detection based on a frame-by-frame image by interworking with an image deep learning neural network.

이때, 실시예에서 출차 모니터링 장치(100)는, 연동되는 이미지 딥러닝 뉴럴 네트워크를, 입력되는 영상이 포함하는 적어도 하나 이상의 오브젝트 중에서 차량과 관련된 오브젝트를 추출하는데 최적화되도록 트레이닝(training)하여 사용할 수 있다. In this case, in an embodiment, the vehicle taking-out monitoring apparatus 100 may train and use an interlocked image deep learning neural network to be optimized to extract a vehicle-related object from among at least one or more objects included in the input image. .

즉, 출차 모니터링 장치(100)는, 입력 영상 내에서 차량 오브젝트를 디텍션하도록 기학습된 차량 이미지 딥러닝 뉴럴 네트워크와 연동하여, 프레임 단위 영상 내의 차량 오브젝트를 검출하는 차량 오브젝트 디텍션을 수행할 수 있다. That is, the vehicle taking-out monitoring apparatus 100 may perform vehicle object detection for detecting a vehicle object in a frame-by-frame image by interworking with a vehicle image deep learning neural network previously trained to detect a vehicle object in an input image.

예시적으로, 출차 모니터링 장치(100)는, 상술된 차량 이미지 딥러닝 뉴럴 네트워크로서 YOLOv3 검출기(detector)를 사용할 수 있다. 여기서, 참고적으로 YOLOv3 검출기는, 빠른 동작속도와 우수한 검출성능을 가지고 있어 많은 실시간 시스템에 적용되는 대표적인 딥러닝 기반 물체 검출기이다. For example, the vehicle taking-out monitoring apparatus 100 may use a YOLOv3 detector as the vehicle image deep learning neural network described above. Here, for reference, the YOLOv3 detector is a representative deep learning-based object detector applied to many real-time systems because of its fast operation speed and excellent detection performance.

이와 같이, 출차 모니터링 장치(100)는, 차량 오브젝트를 검출하도록 기학습된 이미지 딥러닝 뉴럴 네트워크를 사용해 오브젝트 디텍션을 수행함으로써, 프레임 단위 영상으로부터 감지되는 적어도 하나 이상의 오브젝트 중 차량과 관련된 오브젝트만을 특정하여 검출할 수 있고, 이를 기초로 후술되는 기능 동작을 수행하여 데이터 처리 부하의 감소 및 처리 속도의 향상을 도모할 수 있다. As such, the vehicle taking-out monitoring apparatus 100 performs object detection using an image deep learning neural network previously learned to detect a vehicle object, thereby specifying only the vehicle-related object among at least one or more objects detected from the frame unit image. can be detected, and a functional operation to be described later is performed based on this to reduce data processing load and improve processing speed.

보다 상세히, 실시예에서 출차 모니터링 장치(100)는, 기학습된 차량 이미지 딥러닝 뉴럴 네트워크에 프레임 단위 영상을 입력 데이터로 입력할 수 있다. In more detail, in the embodiment, the vehicle taking-out monitoring apparatus 100 may input a frame-by-frame image to the pre-learned vehicle image deep learning neural network as input data.

이때, 상기 프레임 단위 영상을 입력받은 차량 이미지 딥러닝 뉴럴 네트워크는, 해당 프레임 단위 영상에 기반한 차량 오브젝트 디텍션(Object detection)을 수행할 수 있고, 이를 통해 해당 프레임 단위 영상 내 적어도 하나 이상의 차량 오브젝트를 출력 데이터로 제공할 수 있다. In this case, the vehicle image deep learning neural network that has received the frame-by-frame image may perform vehicle object detection based on the corresponding frame-by-frame image, thereby outputting at least one vehicle object in the corresponding frame-by-frame image. data can be provided.

그리하여, 실시예에서 출차 모니터링 장치(100)는, 상기 차량 이미지 딥러닝 뉴럴 네트워크로부터 해당 프레임 단위 영상 내 적어도 하나 이상의 차량 오브젝트 정보를 획득하여, 프레임 단위 영상 내 출차차량 오브젝트를 검출할 수 있다. Thus, in an embodiment, the apparatus 100 for monitoring un-parking may acquire information on at least one vehicle object in a corresponding frame-by-frame image from the vehicle image deep learning neural network, and detect the un-parking vehicle object in the frame-by-frame image.

이때, 실시예에서 출차 모니터링 장치(100)는, 차량 이미지 딥러닝 뉴럴 네트워크와 연동하여 차량 오브젝트를 검출할 시, 차량 신뢰도 점수(confidence score) 파라미터에 기초하여 프레임 단위 영상 내 복수의 오브젝트 중 출차차량 오브젝트를 선정할 수 있다. At this time, in the embodiment, when detecting a vehicle object in conjunction with a vehicle image deep learning neural network, the apparatus 100 for un-parking a vehicle in an embodiment detects an un-parking vehicle among a plurality of objects in a frame-by-frame image based on a vehicle confidence score parameter. You can select an object.

여기서, 실시예에 따른 차량 신뢰도 점수 파라미터란, 딥러닝에 기초하여 프레임 단위 영상으로부터 감지된 오브젝트가 차량으로 분류될 확률을 나타내는 파라미터일 수 있다. Here, the vehicle reliability score parameter according to the embodiment may be a parameter indicating a probability that an object detected from a frame-by-frame image based on deep learning is classified as a vehicle.

즉, 차량 신뢰도 점수 파라미터는, 프레임 단위 영상 내 차량 오브젝트 감지의 정확도를 증진시키는 요소일 수 있다. That is, the vehicle reliability score parameter may be a factor that improves the accuracy of detecting a vehicle object in a frame-by-frame image.

이러한 신뢰도 점수 파라미터는, 예시적으로 probability(object)*IOU(truth, predict)로 표현될 수 있다. This confidence score parameter may be exemplarily expressed as probability(object)*IOU(truth, predict).

자세히, 실시예에서 차량 모니터링 장치는, 프레임 단위 영상에 기반한 차량 오브젝트 디텍션 수행 시, 해당하는 프레임 단위 영상으로부터 감지되는 복수의 오브젝트 각각에 대한 차량 신뢰도 점수 파라미터 값을, 딥러닝에 기초하여 산출할 수 있다. In detail, in an embodiment, the vehicle monitoring apparatus may calculate, based on deep learning, a vehicle reliability score parameter value for each of a plurality of objects detected from a corresponding frame-by-frame image when performing vehicle object detection based on a frame-by-frame image. have.

또한, 차량 모니터링 장치는, 위와 같이 산출된 복수의 차량 신뢰도 점수 파라미터 값 중, 소정의 기준 신뢰도 파라미터 값을 충족하는 값을 가지는 차량 오브젝트를 출차차량 오브젝트로 선정할 수 있다. Also, the vehicle monitoring apparatus may select a vehicle object having a value satisfying a predetermined reference reliability parameter value from among the plurality of vehicle reliability score parameter values calculated as described above as the un-parking vehicle object.

이와 같이, 차량 모니터링 장치는, 차량 신뢰도 점수 파라미터를 기반으로 프레임 단위 영상 내 출차차량 오브젝트를 검출함으로써, 검출되는 출차차량 오브젝트의 정확도와 신뢰성을 향상시킬 수 있다. As such, the vehicle monitoring apparatus may improve the accuracy and reliability of the detected un-parking vehicle object by detecting the un-parking vehicle object in the frame-by-frame image based on the vehicle reliability score parameter.

또한, 실시예에서 차량 모니터링 장치는, 검출된 출차차량 오브젝트를 나타내는 출차차량 이미지를 획득할 수 있다. Also, in an embodiment, the vehicle monitoring apparatus may acquire an un-parking vehicle image indicating the detected un-parking vehicle object.

이때, 실시예에서 따른 출차차량 이미지는, 해당하는 출차차량 오브젝트에 대한 바운딩 박스(bounding box)에 기초하여 획득될 수 있다. In this case, the un-parking vehicle image according to the embodiment may be obtained based on a bounding box for the corresponding un-parking vehicle object.

여기서, 바운딩 박스란, 프레임 단위 영상에 포함되는 적어도 하나 이상의 오브젝트 각각에 기준하여 설정된 소정의 영역에 대한 경계를 표시하는 박스일 수 있다. Here, the bounding box may be a box indicating a boundary for a predetermined area set based on each of at least one or more objects included in the frame-by-frame image.

예를 들어, 바운딩 박스는, 프레임 단위 영상 내 오브젝트를 에워싸는 소정의 영역을 경계로 표시하는 사각형 박스 등일 수 있다. For example, the bounding box may be a rectangular box indicating a predetermined area surrounding an object in a frame-by-frame image as a boundary.

구체적으로, 실시예에서 차량 모니터링 장치는, 차량 이미지 딥러닝 뉴럴 네트워크와의 연동에 기반하여, 프레임 단위 영상 내에서 출차차량 오브젝트와, 해당 출차차량 오브젝트가 차지하는 소정의 영역을 감지할 수 있다. Specifically, in an embodiment, the vehicle monitoring apparatus may detect an un-parking vehicle object and a predetermined area occupied by the un-caring vehicle object within a frame-by-frame image based on interworking with the vehicle image deep learning neural network.

또한, 차량 모니터링 장치는, 위와 같이 감지된 영역을 기반으로 해당 출차차량 오브젝트에 대한 바운딩 박스를 생성할 수 있다. Also, the vehicle monitoring apparatus may generate a bounding box for the corresponding un-parked vehicle object based on the detected area as described above.

그리고 차량 모니터링 장치는, 생성된 바운딩 박스 내 이미지를 추출하여 출차차량 이미지를 획득할 수 있다. In addition, the vehicle monitoring apparatus may extract an image in the generated bounding box to obtain an image of the vehicle taking out.

또한, 실시예에서 차량 모니터링 장치는, 생성된 바운딩 박스(또는 출차차량 오브젝트 영역이나 출차차량 이미지) 별로 매칭하여, 해당하는 출차차량을 특정하는 식별코드(예컨대, 차량 고유 ID 또는 인덱스 번호 등)를 부여할 수 있다. In addition, in the embodiment, the vehicle monitoring device matches each generated bounding box (or an un-parked vehicle object area or an un-parked vehicle image) to obtain an identification code (eg, vehicle unique ID or index number, etc.) for specifying the corresponding un-parked vehicle. can be given

예를 들면, 차량 모니터링 장치는, 제 1 출차차량의 바운딩 박스(또는 제 1 출차차량 이미지)에 매칭하여, 제 1 출차차량을 특정하는 식별코드로 'score0'을 부여하고, 제 2 출차차량의 바운딩 박스(또는 제 2 출차차량 이미지)에 매칭하여, 제 2 출차차량을 특정하는 식별코드로 'score1'을 부여할 수 있다. For example, the vehicle monitoring device matches the bounding box (or image of the first un-parked vehicle) of the first un-parking vehicle, and assigns 'score0' as an identification code for specifying the first un-outed vehicle, and By matching the bounding box (or the image of the second un-parking vehicle), 'score1' may be assigned as an identification code for specifying the second un-parking vehicle.

또한, 이때 실시예에서 출차 모니터링 장치(100)는, 생성된 바운딩 박스(또는 출차차량 오브젝트 영역이나 출차차량 이미지)의 좌측 상단 꼭지점 좌표정보와, 우측 하단 꼭지점 좌표정보를 포함하는 차량 좌표정보를 획득할 수 있다. Also, in this embodiment, the un-parking monitoring apparatus 100 obtains vehicle coordinate information including the upper-left vertex coordinate information and the lower-right vertex coordinate information of the generated bounding box (or un-parking vehicle object area or un-parking vehicle image). can do.

예를 들면, 출차 모니터링 장치(100)는, 제 1 프레임 단위 영상 내 제 1 출차차량의 바운딩 박스의 좌측 상단 꼭지점 좌표정보인 (x0s, y0s)를 획득하고, 제 1 출차차량의 바운딩 박스의 우측 하단 꼭지점 좌표정보인 (x0e, y0e)를 획득할 수 있다. For example, the un-parking monitoring apparatus 100 obtains (x0s, y0s), which is coordinate information of the upper left vertex of the bounding box of the first un-parking vehicle in the first frame unit image, and the right side of the bounding box of the first un-parking vehicle It is possible to obtain (x0e, y0e), which is the coordinate information of the lower vertex.

더하여, 예시에서 출차 모니터링 장치(100)는, 제 1 프레임 단위 영상 내 제 2 출차차량의 바운딩 박스의 좌측 상단 꼭지점 좌표정보인 (x1s, y1s)를 획득하고, 제 2 출차차량의 바운딩 박스의 우측 하단 꼭지점 좌표정보인 (x1e, y1e)를 획득할 수 있다.In addition, in the example, the un-parking monitoring apparatus 100 obtains (x1s, y1s), which is coordinate information of the upper left vertex of the bounding box of the second un-parking vehicle in the first frame unit image, and the right side of the bounding box of the second un-parking vehicle It is possible to obtain (x1e, y1e), which is the coordinate information of the lower vertex.

또한, 실시예에서 출차 모니터링 장치(100)는, 프레임 단위 영상 내 적어도 하나 이상의 출차차량 오브젝트 각각에 대한 바운딩 박스(또는 출차차량 오브젝트 영역이나 출차차량 이미지) 별 차량 좌표정보를 취합하여 차량 좌표목록을 생성할 수 있다. In addition, in the embodiment, the un-parking monitoring apparatus 100 collects vehicle coordinate information for each bounding box (or un-parking vehicle object area or un-parking vehicle image) for each of at least one un-parking vehicle object in the frame unit image to obtain a list of vehicle coordinates. can create

예를 들면, 출차 모니터링 장치(100)는, 제 1 프레임 단위 영상 내 제 1 출차차량의 제 1 차량 좌표정보(예컨대, (x0s, y0s)/(x0e, y0e)) 와, 제 2 출차차량의 제 2 차량 좌표정보(예컨대, (x1s, y1s)/(x1e, y1e))를 취합해 정렬하여, 제 1 프레임 단위 영상에 대한 차량 좌표목록을 생성할 수 있다. For example, the un-parking monitoring apparatus 100 may include first vehicle coordinate information (eg, (x0s, y0s)/(x0e, y0e)) of the first un-parking vehicle in the first frame unit image, and The second vehicle coordinate information (eg, (x1s, y1s)/(x1e, y1e)) may be collected and arranged to generate a vehicle coordinate list for the first frame unit image.

또한, 실시예에서 차량 모니터링 장치는, 위와 같이 획득된 출차차량 이미지, 출차차량 이미지(또는 바운딩 박스) 별로 매칭된 차량 식별코드 정보, 차량 좌표정보 및/또는 차량 좌표목록 등을 포함하여, 해당 프레임 단위 영상에 대한 출차차량 정보를 생성할 수 있다. In addition, in the embodiment, the vehicle monitoring device includes the vehicle identification code information, vehicle coordinate information and/or vehicle coordinate list, etc. matched for each of the un-parking vehicle image obtained as above, the un-parking vehicle image (or bounding box), and the like, and the corresponding frame It is possible to generate information about the vehicle taking out of the unit image.

도 3을 더 참조하면, 또한 실시예에서 차량모니터링 장치는, 위처럼 획득된 프레임 단위 영상 별 출차차량 정보에 기반하여, 출차차량 트래킹(Tracking) 정보를 획득할 수 있다. (S107) Referring further to FIG. 3 , in an embodiment, the vehicle monitoring apparatus may acquire un-parking vehicle tracking information based on the un-parking vehicle information for each frame-by-frame image obtained as described above. (S107)

여기서, 실시예에 따른 트래킹 정보란, 시간의 흐름에 따른 출차차량의 이동량을 기록 및 관찰한 정보일 수 있다. Here, the tracking information according to the embodiment may be information obtained by recording and observing the amount of movement of the vehicle taking out according to the passage of time.

자세히, 실시예에서 출차 모니터링 장치(100)는, 복수의 각 프레임 단위 영상 내 출차차량 이미지 별 차량 식별코드 정보를 확인할 수 있다. In detail, in the embodiment, the un-parking monitoring apparatus 100 may check vehicle identification code information for each image of the un-parking vehicle in a plurality of frame-by-frame images.

또한, 출차 모니터링 장치(100)는, 동일한 차량 식별코드를 가지는 출차차량 이미지 별로 그룹화를 수행할 수 있다. Also, the un-parking monitoring apparatus 100 may perform grouping for each un-parking vehicle image having the same vehicle identification code.

도 5는 본 발명의 실시예에 따른 식별코드 매칭 프로세스를 설명하기 위한 개념도이다. 5 is a conceptual diagram for explaining an identification code matching process according to an embodiment of the present invention.

이때, 도 5를 참조하면, 실시예에서 출차 모니터링 장치(100)는, 복수의 프레임 단위 영상 내 제 1 출차차량 이미지에 대하여, 동일한 차량 식별코드를 부여하기 위한 매칭(matching) 프로세스를 수행할 수 있다. At this time, referring to FIG. 5 , in the embodiment, the un-parking monitoring apparatus 100 may perform a matching process for assigning the same vehicle identification code to the first un-parking vehicle image in the plurality of frame unit images. have.

자세히, 출차 모니터링 장치(100)는, 제 1 프레임 단위 영상에서의 제 1' 출차차량 이미지(또는 제 1' 출차차량 바운딩 박스)(10)에 대한 출차차량 정보를 기반으로, 이후에 촬영되는 제 2 프레임 단위 영상에서 상기 제 1' 출차차량 이미지의 차량 좌표정보와 가장 높은 유사도를 가지는 제 1'' 출차차량 이미지(또는 제 1'' 출차차량 바운딩 박스)(20)에 동일한 차량 식별코드를 부여할 수 있다. In detail, the un-parking monitoring apparatus 100, based on the un-parking vehicle information on the first 'un-parking vehicle image (or the first 'un-parking vehicle bounding box) 10 in the first frame unit image, In the 2-frame image, the same vehicle identification code is given to the first ''out-loading vehicle image (or the first''-out-loading vehicle bounding box) 20 having the highest degree of similarity with the vehicle coordinate information of the first 'un-parking vehicle image' can do.

이러한 방식으로 실시예에서 차량 모니터링 장치는, 복수의 프레임 단위 영상 내 제 1 출차차량 이미지에 대하여 동일한 차량 식별코드를 부여하는 매칭 프로세스를 수행할 수 있다. In this way, in the embodiment, the vehicle monitoring apparatus may perform a matching process of assigning the same vehicle identification code to the first un-parking vehicle image in the plurality of frame unit images.

또한, 실시예에서 차량 모니터링 장치는, 위와 같이 동일한 차량 식별코드가 부여된 복수의 출차차량 이미지(즉, 제 1 출차차량 이미지들)을 그룹화할 수 있다. Also, in the embodiment, the vehicle monitoring apparatus may group a plurality of un-parking vehicle images (ie, first un-parking vehicle images) to which the same vehicle identification code is assigned as above.

도 6은 본 발명의 실시예에 따른 출차차량에 대한 트래킹 정보를 획득하는 방법의 일례를 설명하기 위한 개념도이다. 6 is a conceptual diagram for explaining an example of a method of obtaining tracking information for a vehicle taking out according to an embodiment of the present invention.

도 6을 참조하면, 또한 실시예에서 출차 모니터링 장치(100)는, 제 1 그룹(즉, 제 1 출차차량 이미지 그룹)(30) 내 복수의 제 1 출차차량 이미지 별 차량 좌표정보를 확인할 수 있다. Referring to FIG. 6 , also in the embodiment, the un-parking monitoring apparatus 100 may check vehicle coordinate information for each image of the plurality of first un-parking vehicles in the first group (ie, the first un-parking vehicle image group) 30 . .

이때, 실시예에서 출차 모니터링 장치(100)는, 제 1 출차차량 이미지 각각에 대응되는 프레임 단위 영상이 촬영된 시간 순으로 차량 좌표정보를 확인 및 정렬할 수 있다. In this case, in the embodiment, the un-parking monitoring apparatus 100 may check and sort the vehicle coordinate information in the order of time in which frame-by-frame images corresponding to each of the first un-parking vehicle images are captured.

그리고 출차 모니터링 장치(100)는, 시간 순으로 정렬된 차량 좌표정보를 취합하여, 제 1 출차차량의 시간의 흐름에 따른 차량 좌표 변화를 확인할 수 있는 제 1 출차차량의 시간 순 차량 좌표목록을 획득할 수 있다. In addition, the un-parking monitoring apparatus 100 collects vehicle coordinate information arranged in chronological order to obtain a chronological vehicle coordinate list of the first un-parking vehicle capable of confirming the change in vehicle coordinates according to the passage of time of the first un-parking vehicle. can do.

또한, 실시예에서 차량 모니터링 장치는, 획득된 제 1 출차차량에 대한 시간 순 차량 좌표목록을 기초로, 시간의 흐름에 따른 제 1 출차차량의 차량 좌표정보 변화량을 추적할 수 있다. Also, in an embodiment, the vehicle monitoring apparatus may track the amount of change in vehicle coordinate information of the first un-parking vehicle over time, based on the obtained time-order vehicle coordinate list for the first un-parking vehicle.

즉, 실시예에서 차량 모니터링 장치는, 시간 순으로 획득되는 복수의 프레임 단위 영상으로부터 제 1 출차차량에 대한 복수의 제 1 출차차량 이미지를 획득할 수 있고, 획득된 복수의 제 1 출차차량 이미지에 대한 차량 좌표정보를 기반으로 시간의 흐름에 따른 제 1 출차차량의 이동량을 추적할 수 있다. That is, in the embodiment, the vehicle monitoring apparatus may obtain a plurality of first un-parking vehicle images for the first un-parking vehicle from a plurality of frame unit images obtained in chronological order, and may It is possible to track the amount of movement of the first exiting vehicle over time based on the vehicle coordinate information.

예를 들면, 차량 모니터링 장치는, 복수의 제 1 출차차량 이미지 각각의 차량 좌표정보를 기초로, 복수의 제 1 출차차량 이미지 각각에 대한 하단 중앙좌표 값, 높이 값 및 너비 값을 산출할 수 있다. For example, the vehicle monitoring apparatus may calculate a lower center coordinate value, a height value, and a width value for each of the plurality of first un-parking vehicle images, based on vehicle coordinate information of each of the plurality of first un-parking vehicle images .

또한, 예시에서 차량 모니터링 장치는, 산출된 값들을 시간 순으로 정렬할 수 있다. Also, in the example, the vehicle monitoring apparatus may sort the calculated values in chronological order.

그리고 예시에서 차량 모니터링 장치는, 위와 같이 정렬된 값들을 기초로 소정의 분석을 수행하여, 제 1 출차차량의 시간에 따른 이동량을 획득할 수 있다. And in an example, the vehicle monitoring apparatus may perform a predetermined analysis based on the values arranged as above to obtain the movement amount of the first un-parked vehicle according to time.

예컨대, 차량 모니터링 장치는, 출차관리 서비스가 선형적인 움직임을 가진다고 가정할 수 있는 저속 운행 차량을 대상으로 하기 때문에, 선형 칼만필터(Kalman filter)를 이용한 추적기법 등을 적용하여 상기 분석을 수행할 수 있다. For example, since the vehicle monitoring device targets a low-speed driving vehicle that can be assumed to have a linear motion, the vehicle monitoring device can perform the analysis by applying a tracking technique using a linear Kalman filter, etc. have.

또한, 실시예에서 차량 모니터링 장치는, 위와 같이 획득된 제 1 출차차량에 대한 이동량 정보와, 해당 이동량 정보를 추적하는 동안의 경과 시간정보(예컨대, 1분 등)를 포함하는 트래킹 정보를 생성할 수 있다. In addition, in the embodiment, the vehicle monitoring device generates tracking information including movement amount information for the first un-parked vehicle obtained as above, and elapsed time information (eg, 1 minute, etc.) while tracking the movement amount information. can

또한, 실시예에서 차량 모니터링 장치는, 획득된 트래킹 정보에 기초하여 출차차량 지연상태를 판단할 수 있다. (S109) In addition, in an embodiment, the vehicle monitoring apparatus may determine the delay state of the vehicle taking out based on the obtained tracking information. (S109)

즉, 실시예에서 차량 모니터링 장치는, 제 1 출차차량에 대한 트래킹 정보를 기반으로, 제 1 출차차량이 소정의 기준 시간(예컨대, 1분 등) 이상 정지상태를 유지하여 출차가 지연되는 상황인 지연상태를 판단할 수 있다. That is, in the embodiment, the vehicle monitoring device maintains a stopped state for more than a predetermined reference time (eg, 1 minute, etc.) based on the tracking information for the first un-parked vehicle, which is a situation in which un-parking is delayed. delay can be determined.

자세히, 실시예로 차량 모니터링 장치는, 트래킹 정보에 기반하여 제 1 출차차량에 대한 정지 여부를 판단할 수 있다. In detail, in an embodiment, the vehicle monitoring apparatus may determine whether to stop the first taking-out vehicle based on the tracking information.

보다 상세히, 실시예에서 차량 모니터링 장치는, 트래킹 정보에 기반하여 획득된 제 1 출차차량의 이동량이, 소정의 기준 이동량(d)(예컨대, 1m 등) 미만인 경우, 해당 제 1 출차차량이 정지 상태라고 판단할 수 있다. More specifically, in the embodiment, when the moving amount of the first un-parking vehicle obtained based on the tracking information is less than a predetermined reference movement amount d (eg, 1 m, etc.) can be judged that

반대로, 실시예에서 차량 모니터링 장치는, 트래킹 정보에 기반하여 획득된 제 1 출차차량의 이동량이, 소정의 기준 이동량(d) 이상인 경우, 해당 제 1 출차차량이 이동 상태라고 판단할 수 있다. Conversely, in the embodiment, when the moving amount of the first un-parking vehicle obtained based on the tracking information is equal to or greater than a predetermined reference movement amount d, the vehicle monitoring apparatus may determine that the first un-parking vehicle is in a moving state.

이때, 실시예에서 차량 모니터링 장치는, 제 1 출차차량이 정지 상태라고 판단된 경우, 해당 정지 상태 동안의 경과 시간을 나타내는 정지 경과시간을 산출할 수 있다. In this case, in the embodiment, when it is determined that the first un-taken vehicle is in a stopped state, the vehicle monitoring apparatus may calculate an elapsed stop time indicating an elapsed time during the stopped state.

또한, 실시예에서 차량 모니터링 장치는, 산출된 정지 경과시간 및 소정의 기준 경과시간(예컨대, 1분 등)에 기반하여, 제 1 출차차량이 지연상태인지 여부를 판단할 수 있다. Also, in an embodiment, the vehicle monitoring apparatus may determine whether the first un-parking vehicle is in a delayed state, based on the calculated elapsed stop time and a predetermined reference elapsed time (eg, 1 minute, etc.).

자세히, 실시예에서 차량 모니터링 장치는, 제 1 출차차량의 정지 경과시간이 소정의 기준 경과시간(예컨대, 1분 등)을 초과하는 경우, 제 1 출차차량이 지연상태라고 판단할 수 있다. In detail, in the embodiment, the vehicle monitoring apparatus may determine that the first un-parking vehicle is in a delayed state when the elapsed time of stopping of the first un-parking vehicle exceeds a predetermined reference elapsed time (eg, 1 minute, etc.).

반면, 실시예에서 차량 모니터링 장치는, 제 1 출차차량의 정지 경과시간이 소정의 기준 경과시간(예컨대, 1분 등) 이하인 경우, 제 1 출차차량이 일시 대기상태라고 판단할 수 있다. On the other hand, in the embodiment, the vehicle monitoring apparatus may determine that the first un-parking vehicle is in a temporary standby state when the elapsed time of stopping the first un-parking vehicle is less than or equal to a predetermined reference elapsed time (eg, 1 minute, etc.).

또한, 실시예에서 차량 모니터링 장치는, 제 1 출차차량이 지연상태라고 판단된 경우, 해당하는 제 1 출차차량을 지연차량으로 설정할 수 있다. Also, in the embodiment, when it is determined that the first un-parking vehicle is in a delayed state, the vehicle monitoring apparatus may set the corresponding first un-parking vehicle as the delayed vehicle.

이와 같이, 차량 모니터링 장치는, 다수의 차량이 출차 시 이용하는 공간에서의 출차 지연차량을 실시간으로 감지함으로써, 소정의 차량에 의한 지연으로 인해 발생되는 출차 장애 문제와 그 파급력을 최소화할 수 있고, 이를 통해 원활하게 동작하는 출차 서비스를 지원함과 동시에 출차 관리의 편의성을 향상시킬 수 있다. In this way, the vehicle monitoring device can minimize the problem of taking-out failure caused by a delay caused by a predetermined vehicle and its ripple effect by detecting in real time a vehicle that is delayed in exiting a space used by a plurality of vehicles when exiting the vehicle. Through this, it is possible to support a smooth-operated car-out service and at the same time improve the convenience of taking-out management.

도 7은 본 발명의 실시예에 따른 인체 오브젝트 디텍션을 수행하는 방법을 설명하기 위한 도면의 일례이다. 7 is an example of a diagram for explaining a method of performing human body object detection according to an embodiment of the present invention.

이때, 도 7을 참조하면, 실시예에서 출차 모니터링 장치(100)는, 제 1 출차차량에 대한 정지 경과시간 산출 시, 제 1 출차차량과 관련된 인체 오브젝트(1)가 감지되는 경우(예를 들면, 제 1 출차차량에 탑승한 운전자가 차량 창문 밖으로 손을 내밀어 정산처리를 수행하는 경우에 감지될 수 있는 상기 운전자의 팔 오브젝트 등), 해당 인체 오브젝트(1)가 감지되는 동안의 경과 시간은, 상기 정지 경과시간에서 제외(차감) 처리할 수 있다. At this time, referring to FIG. 7 , in the embodiment, when the un-parking monitoring apparatus 100 calculates the elapsed stop time for the first un-parking vehicle, when a human body object 1 related to the first un-parking vehicle is detected (for example, , the driver's arm object, which can be detected when the driver in the first exiting vehicle reaches out his hand out of the vehicle window to perform settlement processing), the elapsed time during which the corresponding human body object 1 is detected, It can be excluded (deducted) from the elapsed time of the stop.

자세히, 실시예에서 출차 모니터링 장치(100)는, 이미지 딥러닝 뉴럴 네트워크와 연동하여, 제 1 출차차량 이미지에 기반한 인체 오브젝트(1) 디텍션을 수행할 수 있다. In detail, in the embodiment, the apparatus 100 for monitoring the un-parking may perform detection of the human body object 1 based on the image of the first un-parked vehicle by interworking with the image deep learning neural network.

보다 상세히, 출차 모니터링 장치(100)는, 제 1 출차차량 이미지 내의 제 1 출차차량 오브젝트 이외의 영역에서, 인체의 적어도 일부(예컨대, 사람의 팔 또는 전신 등)를 디텍션하도록 기학습된 인체 이미지 딥러닝 뉴럴 네트워크와 연동하여 인체 오브젝트(1) 디텍션을 수행할 수 있다. In more detail, the un-parking monitoring apparatus 100 is a human body image deep trained to detect at least a part of the human body (eg, a human arm or whole body, etc.) in an area other than the first un-parking vehicle object in the first un-parking vehicle image. The human body object 1 may be detected by interworking with the learning neural network.

예를 들면, 출차 모니터링 장치(100)는, 제 1 출차차량에 탑승한 운전자가 차량 창문 밖으로 손을 내밀어 정산처리를 수행하는 경우, 인체 오브젝트(1) 디텍션을 수행하는 인체 이미지 딥러닝 뉴럴 네트워크를 기반으로, 제 1 출차차량 이미지 내 제 1 출차차량 오브젝트 이외의 영역에서, 상기 운전자의 인체의 적어도 일부(예컨대, 손 오브젝트 등)를 감지할 수 있다. For example, the un-parking monitoring apparatus 100 may provide a human body image deep learning neural network that detects the human body object (1) when the driver in the first un-parking vehicle reaches out his hand out of the vehicle window to perform the settlement process. Based on the image, at least a part of the driver's human body (eg, a hand object, etc.) may be detected in an area other than the first un-parking vehicle object in the first un-parking vehicle image.

또한, 실시예에서 출차 모니터링 장치(100)는, 인체 오브젝트(1) 디텍션을 기초로 소정의 인체 오브젝트(1)가 감지된 경우, 해당 인체 오브젝트(1)가 감지되는 동안의 경과 시간을 산출할 수 있다. In addition, in the embodiment, when a predetermined human body object 1 is detected based on the detection of the human body object 1 , the apparatus 100 for monitoring the vehicle taking out calculates the elapsed time during which the corresponding human body object 1 is detected. can

그리고 출차 모니터링 장치(100)는, 산출된 인체 오브젝트(1) 감지 경과시간을 해당하는 제 1 출차차량에 대한 정지 경과시간 도출 시에 실시간으로 감산 처리할 수 있다. In addition, the un-parking monitoring apparatus 100 may subtract the calculated elapsed time of detection of the human body object 1 in real time when deriving the elapsed stop time for the corresponding first un-parking vehicle.

예를 들어, 출차 모니터링 장치(100)는, 제 1 출차차량의 정지 경과시간을 산출하는 도중에, 제 1 출차차량과 관련된 인체 오브젝트(1)(예컨대, 정산처리를 수행 중인 운전자의 손 오브젝트 등)가 10초 동안 감지되면, 상기 산출 중인 정지 경과시간으로부터 상기 산출된 인체 오브젝트(1) 감지 경과시간인 10초를 실시간으로 감산할 수 있다. For example, while calculating the elapsed stop time of the first un-parking vehicle, the un-parking monitoring apparatus 100 may include a human body object 1 related to the first un-parking vehicle (eg, a driver's hand object, etc.) When is detected for 10 seconds, 10 seconds, which is the calculated elapsed time of detecting the human body 1, may be subtracted from the calculated elapsed time of rest in real time.

즉, 실시예에서 출차 모니터링 장치(100)는, 제 1 출차차량에 대한 지연상태를 판단할 시, 제 1 출차차량에 관련된 인체 오브젝트(1)가 감지되는 동안의 시간을 제외하고, 그 외 나머지 시간을 기초로 제 1 출차차량에 대한 정지 경과시간 산출할 수 있고, 이와 같이 산출된 정지 경과시간을 기초로 제 1 출차차량에 대한 지연상태를 판단할 수 있다. That is, in the embodiment, when the un-parking monitoring apparatus 100 determines the delay state for the first un-parking vehicle, except for a time during which the human body object 1 related to the first un-parking vehicle is detected, the rest The elapsed stop time for the first un-parked vehicle may be calculated based on the time, and a delay state for the first un-parked vehicle may be determined based on the calculated elapsed stop time.

이처럼, 출차 모니터링 장치(100)는, 출차차량과 관련된 인체 오브젝트(1) 디텍션을 수행하고, 이를 기초로 해당 출차차량에 대한 정지 경과시간 및 지연상태를 판단함으로써, 운전자가 정산을 수행하고 있는 등의 상황을 고려하여 출차차량이 온전한 지연상태인지를 보다 명확하게 파악할 수 있고, 이를 통해 보다 정확한 지연상태 정보를 기초로 그에 대한 대처를 수행하게 하여 출차관리 서비스의 퀄리티를 증대시킬 수 있다. As such, the un-parking monitoring apparatus 100 detects the human body object 1 related to the un-parked vehicle, and determines the elapsed time and delay state of the stop for the un-parked vehicle based on this, so that the driver is performing the settlement, etc. It is possible to more clearly determine whether the un-parked vehicle is in a complete delayed state by considering the

또한, 실시예에서 출차 모니터링 장치(100)는, 인체 오브젝트(1)의 감지로 인하여 정지 경과시간으로부터 제외되는 최대 시간을 기설정하여 제한할 수 있다. Also, in the embodiment, the apparatus 100 for monitoring the vehicle taking out may preset and limit the maximum time excluded from the elapsed time of stopping due to the detection of the human body object 1 .

자세히, 실시예에서 출차 모니터링 장치(100)는, 인체 오브젝트(1)가 감지되는 상황이더라도, 기설정된 최대 시간이 더 경과하면 지연 상황으로 판단하기 위하여, 인체 오브젝트(1) 기반 감산시간에 대한 소정의 최대 시간을 설정할 수 있다. In detail, in the embodiment, even in a situation in which the human body object 1 is sensed, the apparatus 100 for monitoring the vehicle taking a predetermined value for the subtraction time based on the human body object 1 in order to determine it as a delayed situation when the preset maximum time has elapsed. You can set the maximum time of

즉, 실시예에서 출차 모니터링 장치(100)는, 인체 오브젝트(1)가 감지되는 시간이 반영되어 산출되는 소정의 정지 경과시간이, 소정의 기준 경과시간(예컨대, 1분 등)과 기설정된 최대 시간이 합산된 총합 시간을 초과하는 경우, 해당 상황을 지연상태로 판단할 수 있다. That is, in the embodiment, in the vehicle taking-out monitoring apparatus 100 , the predetermined elapsed stop time calculated by reflecting the time when the human body object 1 is sensed is a predetermined reference elapsed time (eg, 1 minute, etc.) and a preset maximum When the time exceeds the sum total time, the corresponding situation may be determined as a delayed state.

예를 들면, 출차 모니터링 장치(100)는, 기준 경과시간이 1분이고 인체 오브젝트(1) 기반 감산시간에 대한 최대 시간이 30초로 설정된 경우, 인체 오브젝트(1)가 감지되는 시간이 반영되어 산출되는 소정의 정지 경과시간이, 1분 30초를 초과하는 경우에 해당 상황을 지연상태로 판단할 수 있다. For example, when the reference elapsed time is 1 minute and the maximum time for the subtraction time based on the human body object 1 is set to 30 seconds, the vehicle taking-out monitoring apparatus 100 reflects the time at which the human body object 1 is detected. When the elapsed time of the predetermined stop exceeds 1 minute and 30 seconds, the corresponding situation may be determined as a delayed state.

이를 통해, 출차 모니터링 장치(100)는, 인체 오브젝트(1)가 감지되는 상황이더라도, 무한하게 지연 상황을 방치하지 않고 소정의 시간이 경과하면 해당 상황을 지연상태로 판단하여 추후 이에 대한 알림을 제공할 수 있다. Through this, even in a situation in which the human body object 1 is detected, the vehicle taking-out monitoring apparatus 100 determines the delayed state as a delayed state when a predetermined time elapses without leaving the delayed state indefinitely, and provides a notification for this later. can do.

한편, 다른 실시예에서 출차 모니터링 장치(100)는, 출차관리 시스템 상에서 제 1 출차차량에 대한 주차료 결제가 지연되고 있는 경우, 해당 제 1 출차차량과 관련된 인체 오브젝트(1)가 감지되면 지연상태라고 판단할 수 있다. On the other hand, in another embodiment, when the parking fee payment for the first un-parked vehicle is delayed on the un-parking management system, the un-parking monitoring apparatus 100 indicates a delayed state when the human body object 1 related to the first un-parked vehicle is detected. can judge

자세히, 출차 모니터링 장치(100)는, 제 1 출차차량에 대한 주차료 결제가 진행되어야 하는 상황에서, 해당 결제 프로세스가 소정의 시간 이상으로 지연되는지를 판단할 수 있다. In detail, the un-parking monitoring apparatus 100 may determine whether the corresponding payment process is delayed for a predetermined time or more in a situation where payment of a parking fee for the first un-parked vehicle is to be proceeded.

실시예로, 출차 모니터링 장치(100)는, 제 1 출차차량이 출차 영역 최전방에서 감지된 시점부터, 주차료 결제가 완료되기까지 허용되는 소정의 결제 시간을 설정할 수 있다. In an embodiment, the un-parking monitoring apparatus 100 may set a predetermined payment time allowed from the time when the first un-parking vehicle is detected at the front of the un-parking area until the parking fee payment is completed.

그리고 출차 모니터링 장치(100)는, 제 1 출차차량이 출차 영역 최전방에서 감지된 시각으로부터, 상기 설정된 결제 시간이 경과하면, 해당 상황을 제 1 출차차량에 대한 주차료 결제 프로세스의 지연상태라고 판단할 수 있다. And when the set payment time elapses from the time when the first un-parking vehicle is detected at the front of the un-parking area, the un-parking monitoring device 100 may determine that the situation is a delayed state of the parking fee payment process for the first un-parked vehicle. have.

이때, 출차 모니터링 장치(100)는, 제 1 출차차량에 대한 결제 프로세스 지연상태라고 판단된 경우, 제 1 출차차량에 관련된 인체 오브젝트(1)의 감지 여부를 확인할 수 있다. In this case, when it is determined that the payment process for the first un-parked vehicle is delayed, the un-parking monitoring apparatus 100 may check whether the human body object 1 related to the first un-parked vehicle is detected.

그리고 출차 모니터링 장치(100)는, 위와 같은 결제 지연 상황에서 소정의 인체 오브젝트(1)가 감지되는 경우, 해당 상황을 출차차량 지연상태로 판단할 수 있다. In addition, when the predetermined human body object 1 is detected in the payment delay situation as described above, the un-parking monitoring apparatus 100 may determine the corresponding situation as the un-parking vehicle delay state.

이를 통해, 출차 모니터링 장치(100)는, 특이 상황(예를 들면, 결제 단말의 고장 등)으로 인한 지연 발생 시, 기설정된 기준 경과시간과는 무관하게 지연 상황을 파악하고 대처하게 할 수 있다. Through this, when a delay occurs due to a special circumstance (eg, a failure of the payment terminal, etc.), the vehicle taking-out monitoring apparatus 100 may identify and deal with the delay situation regardless of a preset reference elapsed time.

또한, 실시예에서 출차 모니터링 장치(100)는, 지연차량으로 설정된 출차차량에 대한 지속적인 트래킹을 기반으로, 해당 출차차량에 대한 정지 여부를 지속적으로 모니터링할 수 있다. In addition, in the embodiment, the un-parking monitoring apparatus 100 may continuously monitor whether the un-parking vehicle is stopped based on the continuous tracking of the un-parking vehicle set as the delayed vehicle.

또한, 출차 모니터링 장치(100)는, 위와 같이 지속적인 모니터링을 기초로, 해당 출차차량이 이동 상태로 전환되었다고 판단된 경우, 해당 출차차량에 대한 지연차량 설정을 해제할 수 있다. Also, when it is determined that the corresponding un-parking vehicle is switched to the moving state based on the continuous monitoring as described above, the un-parking monitoring apparatus 100 may release the delay vehicle setting for the corresponding un-parking vehicle.

도 8은 본 발명의 실시예에 따른 지연상태 알람을 제공하는 모습의 일례이다. 8 is an example of a state in which a delay state alarm is provided according to an embodiment of the present invention.

또한, 도 8을 참조하면, 실시예에서 출차 모니터링 장치(100)는, 출차차량에 대한 지연상태가 감지된 경우, 지연상태 알람 및 대응을 수행할 수 있다. (S111)Also, referring to FIG. 8 , in the embodiment, the un-parking monitoring apparatus 100 may perform a delay state alarm and response when a delay state with respect to the un-parking vehicle is detected. (S111)

자세히, 실시예에서 출차 모니터링 장치(100)는, 제 1 출차차량에 대한 지연상태가 감지되면, 해당하는 제 1 출차차량에 대한 지연 알람정보를 생성할 수 있다. In detail, in the embodiment, when a delay state with respect to the first un-parking vehicle is detected, the apparatus 100 for monitoring the un-parking may generate delay alarm information for the corresponding first un-parking vehicle.

여기서, 실시예에 따른 지연 알람정보란, 해당하는 출차 영역(실시예에서, 주차장 출구 측 영역)에서의 지연상태에 대한 정보를 사용자(예컨대, 출차 관리자 및/또는 운전자 등)에게 제공하는 정보로서, 실시예에서 오디오 알람정보 및/또는 디스플레이 알람정보 등을 포함할 수 있다. Here, the delay alarm information according to the embodiment is information that provides information on the delay state in the corresponding exiting area (in the embodiment, the parking lot exit side area) to the user (eg, the exiting manager and/or the driver). , in an embodiment, may include audio alarm information and/or display alarm information.

예를 들면, 출차 모니터링 장치(100)는, 주차장 출구 측 영역의 카메라 시스템(500)으로부터 획득된 비디오 스트림을 기초로, 해당 영역에서의 지연상태가 감지된 경우, 상기 지연상태를 알리는 오디오 알람정보를 생성하여 오디오 센서를 통해 출력할 수 있다. For example, when a delay state in the corresponding area is detected based on the video stream obtained from the camera system 500 in the area on the exit side of the parking lot, the apparatus 100 for monitoring the vehicle exits, audio alarm information notifying the delay state. can be generated and output through the audio sensor.

다른 예시에서, 출차 모니터링 장치(100)는, 상기 영역에서의 지연상태가 감지된 경우, 상기 지연상태를 알리는 디스플레이 알람정보를 생성하여 디스플레이를 통해 출력할 수 있다.In another example, when a delay state in the area is detected, the vehicle taking-out monitoring apparatus 100 may generate display alarm information informing of the delay state and output it through a display.

또한, 실시예에 따라서 출차 모니터링 장치(100)는, 위와 같은 지연 알람정보를 외부의 장치(예컨대, 주차장 출구 측 영역에 배치된 오디오 장치, 타 컴퓨팅 디바이스 및/또는 타 서버 등)에 기반하여 제공할 수도 있다. In addition, according to an embodiment, the apparatus 100 for monitoring the un-parking provides the above delay alarm information based on an external device (eg, an audio device disposed in the area on the exit side of the parking lot, other computing devices, and/or other servers). You may.

실시예에서, 출차 모니터링 장치(100)는, 생성된 지연 알람정보를 외부의 장치로 송신할 수 있고, 상기 지연 알람정보를 수신한 외부의 장치는, 수신된 지연 알람정보를 자체에서 출력할 수 있다. In an embodiment, the vehicle taking-out monitoring device 100 may transmit the generated delayed alarm information to an external device, and the external device receiving the delayed alarm information may output the received delayed alarm information on its own. have.

예를 들면, 출차 모니터링 장치(100)는, 지연상태를 경보하는 오디오 알람정보를 생성하여 출구 측에 배치된 오디오 장치로 송신해 사용자에게 제공할 수 있다. For example, the vehicle taking-out monitoring device 100 may generate audio alarm information for alerting a delay state, transmit it to an audio device disposed on the exit side, and provide it to the user.

또는, 예시적으로 출차 모니터링 장치(100)는, 지연상태를 표시하는 그래픽 이미지를 기초로 디스플레이 알람정보를 생성하여 외부의 타 컴퓨팅 디바이스의 디스플레이를 통해 출력할 수 있다. Alternatively, for example, the vehicle taking-out monitoring apparatus 100 may generate display alarm information based on a graphic image indicating a delay state and output the generated display alarm information through a display of another external computing device.

또한, 실시예에서 출차 모니터링 장치(100)는, 제 1 출차차량에 대한 지연상태가 감지되면, 해당하는 제 1 출차차량에 대한 지연 대응신호를 생성할 수 있다.Also, in the embodiment, when a delay state with respect to the first un-parking vehicle is detected, the apparatus 100 for monitoring the un-parking may generate a delay response signal for the corresponding first un-parking vehicle.

여기서, 실시예에 다른 지연 대응신호란, 감지된 지연상태에 대한 대처를 수행하는 기능 동작을 실행시키는 신호로서, 실시예에서, 지연 알람정보 출력 지시신호 및/또는 차단기 자동개방 지시신호 등을 포함할 수 있다. Here, the delay response signal according to the embodiment is a signal that executes a function operation for performing a response to the detected delay state, and in the embodiment, includes a delay alarm information output instruction signal and/or an automatic breaker opening instruction signal, etc. can do.

자세히, 실시예에서 출차 모니터링 장치(100)는, 주차장 출구 측 영역에서의 지연상태가 감지되면, 소정의 시간이 경과한 뒤 해당 영역에 배치된 차단기를 자동으로 개방시키는 차단기 자동개방 지시신호를 생성할 수 있다. In detail, in the embodiment, when a delay state in the area at the exit of the parking lot is detected, the apparatus 100 for monitoring the vehicle exit generates an automatic opening instruction signal for automatically opening the circuit breaker disposed in the corresponding area after a predetermined time elapses. can do.

또한, 실시예에서 출차 모니터링 장치(100)는, 주차장 출구 측 영역에서의 지연상태가 감지되면, 해당 지연상태에 대하여 생성된 지연 알람정보를 실행시키는 지연 알람정보 출력 지시신호를 생성할 수 있다. In addition, in the embodiment, when a delay state in the area at the exit of the parking lot is detected, the apparatus 100 for monitoring the vehicle taking out may generate a delay alarm information output instruction signal for executing the delay alarm information generated for the delay state.

그리고 출차 모니터링 장치(100)는, 위와 같이 생성된 지연 대응신호를 실행하여 출차차량 지연상태에 대한 알람 및 대응을 수행할 수 있다. In addition, the apparatus 100 for monitoring the un-parking may execute the delay response signal generated as described above to perform an alarm and response to the delay state of the un-parking vehicle.

이와 같이, 출차 모니터링 장치(100)는, 실시간으로 감지되는 출차 지연상태에 대한 알람 및 대응을 수행함으로써, 차량 지연으로 인해 유발되는 출차장애 상황에 선제적으로 신속하게 대처할 수 있고, 이를 통해 출차장애 문제로 인한 손실을 최소화할 수 있다. As such, the un-parking monitoring apparatus 100 can preemptively and quickly respond to an un-parking disorder situation caused by a vehicle delay by performing an alarm and response to the un-parking delay state detected in real time, and through this, Losses due to problems can be minimized.

이상, 본 발명의 실시예에 따른 딥러닝 기반 출차관리 방법 및 시스템은, 출차 영역을 촬영하는 카메라 시스템(500)으로부터 획득된 영상을 기초로 딥러닝을 수행하여 출차 지연상태를 감지하고 대처함으로써, 출차 관리자의 별도의 조치가 없어도 자동으로 출차 지연 상황에 대처하는 기능 동작을 실행할 수 있는 효과가 있다. As described above, the deep learning-based un-parking management method and system according to an embodiment of the present invention performs deep learning based on the image obtained from the camera system 500 for photographing the un-parking area to detect and cope with the un-parking delay state, It has the effect of automatically executing a function action to cope with the delay in taking out a vehicle without a separate action by the exiting manager.

또한, 본 발명의 실시예에 따른 딥러닝 기반 출차관리 방법 및 시스템은, 출차 지연 상황을 신속하게 감지하여 대처함으로써, 사용자(운전자 및/또는 출차 관리자 등)의 편의를 도모할 수 있는 효과가 있다.In addition, the deep learning-based un-parking management method and system according to an embodiment of the present invention has the effect of promoting convenience for users (drivers and/or un-parking managers, etc.) by quickly detecting and responding to a delayed un-parking. .

또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.In addition, the embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and used by those skilled in the art of computer software. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. A hardware device may be converted into one or more software modules to perform processing in accordance with the present invention, and vice versa.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are only examples, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connections or connecting members of the lines between the components shown in the drawings exemplify functional connections and/or physical or circuit connections, and in an actual device, various functional connections, physical connections that are replaceable or additional may be referred to as connections, or circuit connections. In addition, unless there is a specific reference such as “essential” or “importantly”, it may not be a necessary component for the application of the present invention.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.In addition, although the detailed description of the present invention has been described with reference to a preferred embodiment of the present invention, those skilled in the art or those having ordinary knowledge in the art will appreciate the spirit of the present invention described in the claims to be described later. And it will be understood that various modifications and variations of the present invention can be made without departing from the technical scope. Accordingly, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.

Claims

A method of performing exit management based on deep learning in an exit monitoring device, comprising:
obtaining a video stream of a vehicle taking-out area;
obtaining a plurality of frame unit images based on the obtained video stream;
detecting a vehicle taking out in the frame unit image based on deep learning;
obtaining vehicle un-parking vehicle information on the detected un-parking vehicle;
obtaining tracking information for the un-parking vehicle based on the un-parking vehicle information for each of the plurality of frame-by-frame images;
determining a delay state of the vehicle taking out based on the obtained tracking information; and
If it is determined that the delay state, comprising the step of providing an alarm and a response to the delay state,
The step of determining the delay state of the vehicle taking out includes:
Comprising the step of calculating the elapsed stop time that is the elapsed time during the stopped state when the vehicle taking out is in a stopped state,
The step of calculating the elapsed time of the stop,
When at least a part of the body part of the driver of the taking-out vehicle is detected based on the deep learning, excluding the elapsed time during which the at least part of the body part is sensed from the elapsed time of stop,
The step of calculating the elapsed time of the stop,
presetting a maximum time that can be excluded from the elapsed time of the stop;
Further comprising the step of excluding the elapsed time during which the at least some body parts are sensed within the preset maximum time
Deep learning-based exit management method.

The method of claim 1,
The step of detecting the exiting vehicle includes:
Selecting a vehicle taking out object from among a plurality of objects in the frame unit image based on a vehicle reliability score parameter,
The vehicle reliability score parameter is
A parameter indicating the probability that an object in the frame unit image is classified as a vehicle is
Deep learning-based exit management method.

The method of claim 1,
The step of obtaining the vehicle exiting information includes:
Comprising the step of acquiring at least two or more of an un-parking vehicle image, vehicle identification code information, vehicle coordinate information, and vehicle coordinate list information for the un-parking vehicle
Deep learning-based exit management method.

4. The method of claim 3,
The step of obtaining the tracking information includes:
checking the vehicle identification code information matched for each image of the vehicle taking out in the plurality of frame unit images;
a step of first grouping a plurality of un-parked vehicle images having the same identified vehicle identification code information;
checking the vehicle coordinate information matched for each image of the plurality of un-parked vehicles in the first group;
tracking the amount of movement of the vehicle taking out based on the identified vehicle coordinate information
Deep learning-based exit management method.

5. The method of claim 4,
The step of obtaining the tracking information includes:
Based on the un-parking vehicle information of the first un-parking vehicle image in the first frame-by-frame image, in the second frame-by-frame image captured after the first frame-by-frame image, the vehicle coordinate information and the most The method further comprising the step of assigning the same vehicle identification code to a second un-parked vehicle image having a high degree of similarity
Deep learning-based exit management method.

5. The method of claim 4,
The step of confirming the vehicle coordinate information,
and obtaining a time order vehicle coordinate list by arranging the vehicle coordinate information in the order of the time the vehicle taking out image was taken,
The step of tracking the amount of movement of the vehicle taking out includes:
Comprising the step of calculating the vehicle coordinate information change amount of the vehicle taking out based on the time sequence vehicle coordinate list to track the movement amount
Deep learning-based exit management method.

delete

The method of claim 1,
The step of determining the delay state of the vehicle taking out includes:
Further comprising the step of determining the delay state based on the calculated elapsed stop time and a predetermined reference elapsed time
Deep learning-based exit management method.

The method of claim 1,
The step of providing an alarm and response to the delay state,
Delay alarm information including at least one of audio alarm information and display alarm information for notifying the delay state;
Providing any one or more of a delay response signal including at least one of a delay alarm information output indication signal and an automatic breaker automatic opening indication signal for executing a coping function operation for the delay state
Deep learning-based exit management method.

delete

The method of claim 1,
Determining the delay state of the parking fee payment process for the un-parked vehicle, and when it is determined that the delay state of the payment process has occurred, determining the un-parked vehicle delay state when a human body object is detected
Deep learning-based exit management method.

a camera system that acquires a video stream that captures a vehicle taking-out area; and
and a vehicle taking-out monitoring device that provides an exit management service based on deep learning based on the video stream,
The vehicle taking-out monitoring device,
Obtaining a plurality of frame unit images based on the video stream, detecting a vehicle taking out vehicle in the frame unit image based on the deep learning, and obtaining information on the vehicle taking out vehicle for the detected vehicle taking out,
Based on the un-parking vehicle information for each of the plurality of frame-by-frame images, tracking information about the un-parking vehicle is obtained, and the un-parking vehicle delay state is determined based on the obtained tracking information, and the delay state If determined to be, provide an alarm and response to the delay state,
The vehicle taking-out monitoring device,
If the exiting vehicle is in a stopped state, calculating a stop elapsed time that is an elapsed time during the stopped state,
When at least a part of the body part of the driver of the vehicle taking out is sensed based on the deep learning, the elapsed time during which the at least part of the body part is sensed is excluded from the elapsed stop time,
The vehicle taking-out monitoring device,
A maximum time that can be excluded from the elapsed time of the stop is set in advance,
Excluding the elapsed time during which the at least some body parts are sensed within the preset maximum time
Deep learning based exit management system.