KR101877001B1 - Virtual line generation method, system and method for detecting reverse driving of vehicle - Google Patents
Virtual line generation method, system and method for detecting reverse driving of vehicle Download PDFInfo
- Publication number
- KR101877001B1 KR101877001B1 KR1020160038693A KR20160038693A KR101877001B1 KR 101877001 B1 KR101877001 B1 KR 101877001B1 KR 1020160038693 A KR1020160038693 A KR 1020160038693A KR 20160038693 A KR20160038693 A KR 20160038693A KR 101877001 B1 KR101877001 B1 KR 101877001B1
- Authority
- KR
- South Korea
- Prior art keywords
- candidate
- inverse
- backward
- reverse
- virtual lines
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/042—Detecting movement of traffic to be counted or controlled using inductive or magnetic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- G06K2209/15—
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
역주행 검출 시스템은 도로 영상을 촬영하는 카메라, 사용자 입력을 토대로 상기 도로 영상에서의 역주행 방향을 설정하는 파라미터 설정 모듈, 상기 역주행 방향과 교차하는 복수의 가상 라인을 생성하는 가상 라인 생성 모듈, 상기 도로 영상으로부터 추적 객체를 검출하는 객체 검출 모듈, 그리고 상기 추적 객체의 이동 경로가 어느 하나의 가상 라인과 교차하면 상기 추적 객체를 역주행 후보로 선정하고, 상기 역주행 후보의 이동 방향 및 이동거리가 역주행 조건을 만족하면 역주행 상황으로 판정하는 역주행 판정 모듈을 포함할 수 있다. A reverse-run detection system includes a camera for capturing a road image, a parameter setting module for setting an inverse direction in the road image based on a user input, a virtual line generation module for generating a plurality of virtual lines crossing the in- Wherein the traversing object is selected as a traversal candidate when the traversing path of the tracing object intersects with any one of the virtual lines, and when the moving direction and the moving distance of the traversing candidate satisfy a backward running condition And an inverse judgment module for judging that the inverse running situation is present.
Description
실시 예는 가상 라인 생성 방법, 역주행 검출 시스템 및 그 방법에 관한 것이다. Embodiments relate to a virtual line generation method, a backpropagation detection system, and a method thereof.
최근 차량의 급속한 증가로 인해 도로 위에서의 대형 차량 사고 또한 증가하는 추세이다. 특히, 도로에서의 차량 역주행은 대형 사고를 유발하는 주요 요인 중 하나이다. Due to the recent rapid increase in the number of vehicles, accidents on the roads are also increasing. Particularly, reverse driving of a vehicle on the road is one of the main factors causing a large accident.
따라서, 차량의 역주행으로 인한 대형 사고를 방지하기 위해 차량의 역주행을 사전에 감지하여 운전자에게 경고하는 기술에 대한 연구가 진행되고 있다. Therefore, in order to prevent a large accident caused by reverse running of the vehicle, research is being conducted on a technique of warning the driver in advance of the backward running of the vehicle and warn the driver.
그러나, 현재까지 연구된 역주행 감지 기술들은, 노이즈가 많고 복잡한 도로 환경의 특성으로 인해 실제 도로 환경에 적용할 경우 오류가 발생하거나 완벽한 성능을 내기 어려운 문제가 있다. However, the backward movement sensing technologies studied so far have problems in that errors or incomplete performance are difficult to achieve when applied to actual road environments due to the characteristics of high noise and complicated road environments.
실시 예를 통해 해결하려는 과제는 복잡한 도로 환경에서도 안정되게 역주행을 검출할 수 있는 역주행 검출 시스템 및 그 방법을 제공하는 것이다. An object of the present invention is to provide a reverse traverse detection system and a method thereof capable of stably detecting reverse travel even in a complicated road environment.
상기 과제를 해결하기 위한 실시 예에 따른 역주행 검출 시스템은 도로 영상을 촬영하는 카메라, 사용자 입력을 토대로 상기 도로 영상에서의 역주행 방향을 설정하는 파라미터 설정 모듈, 상기 역주행 방향과 교차하는 복수의 가상 라인을 생성하는 가상 라인 생성 모듈, 상기 도로 영상으로부터 추적 객체를 검출하는 객체 검출 모듈, 그리고 상기 추적 객체의 이동 경로가 어느 하나의 가상 라인과 교차하면 상기 추적 객체를 역주행 후보로 선정하고, 상기 역주행 후보의 이동 방향 및 이동거리가 역주행 조건을 만족하면 역주행 상황으로 판정하는 역주행 판정 모듈을 포함할 수 있다. According to another aspect of the present invention, there is provided an inverse movement detection system including a camera for capturing a road image, a parameter setting module for setting an inverse direction in the road image based on a user input, a plurality of virtual lines crossing the in- An object detection module for detecting a tracking object from the road image, and a tracking object selection unit for selecting the tracking object as a backward candidate if the movement path of the tracking object intersects with one of the virtual lines, And an inverse-movement determining module that determines that the vehicle is in an inverse-running state if the moving direction and the moving distance satisfy the inverse running condition.
또한, 실시 예에 따른 역주행 검출 시스템의 역주행 검출 방법은, 카메라를 통해 도로 영상을 획득하는 단계, 사용자 입력을 토대로, 상기 도로 영상에서의 역주행 방향을 설정하는 단계, 상기 역주행 방향과 교차하는 복수의 가상 라인을 생성하는 단계, 상기 도로 영상으로부터 추적 객체를 검출하는 단계, 상기 추적 객체의 이동 경로가 어느 하나의 가상 라인과 교차하면 상기 추적 객체를 역주행 후보로 선정하는 단계, 그리고 상기 역주행 후보의 이동 방향 및 이동거리가 역주행 조건을 만족하면 역주행 상황으로 판정하는 단계를 포함할 수 있다. According to another aspect of the present invention, there is provided a method of detecting a trajectory of an inverse running detection system, comprising: acquiring a road image through a camera; setting an inverse direction in the road image based on a user input; The method includes the steps of generating a virtual line, detecting a tracking object from the road image, selecting the tracking object as an inversion candidate when the movement path of the tracking object intersects with one of the virtual lines, And if the direction and the moving distance satisfy the backward running condition, determining that the backward traveling situation is determined.
또한, 실시 예에 따른 객체 검출 시스템의 가상 라인 생성 방법은, 카메라를 통해 영상을 획득하는 단계, 사용자 입력을 토대로 상기 영상에서의 객체 이동 방향을 설정하는 단계, 사용자 입력을 토대로 상기 영상에서의 객체 감지 영역을 설정하는 단계, 그리고 상기 객체 감지 영역 내에 상기 객체 이동 방향과 교차하는 복수의 가상 라인을 생성하는 단계를 포함하며, 상기 복수의 가상 라인은, 상기 영상 내에서 객체의 이동 경로를 검출하기 위해 사용될 수 있다. According to another aspect of the present invention, there is provided a method for creating a virtual line of an object detection system, comprising: acquiring an image through a camera; setting an object moving direction in the image based on a user input; Generating a plurality of virtual lines that intersect the object moving direction within the object detection area, wherein the plurality of virtual lines detect a moving path of the object in the image, Lt; / RTI >
실시 예에 따르면, 복잡한 도로 환경에서도 안정되게 차량의 역주행을 검출함으로써, 역주행으로 인한 대형 사고를 미연에 방지할 수 있는 효과가 있다. According to the embodiment, it is possible to prevent large accidents due to reverse travel by detecting the reverse travel of the vehicle stably even in a complicated road environment.
도 1은 실시 예에 따른 역주행 검출 시스템을 개략적으로 도시한 것이다.
도 2 및 도 3은 실시 예에 따른 역주행 검출 시스템에서 역주행 감지 영역을 설정하는 예들을 도시한 것이다.
도 4는 실시 예에 따른 역주행 검출 시스템에서 가상 라인들을 생성하는 일 예를 도시한 것이다.
도 5는 실시 예에 따른 역주행 검출 시스템에서 수직 가상 라인을 생성하는 일 예를 도시한 것이다.
도 6은 실시 예에 따른 역주행 검출 시스템에서 역주행 후보를 선정하는 방법을 설명하기 위한 도면이다.
도 7은 실시 예에 따른 역주행 검출 시스템에서 역주행 후보의 역주행 여부를 판정하는 방법을 설명하기 위한 도면이다.
도 8은 실시 예에 따른 역주행 검출 방법을 개략적으로 도시한 것이다. Fig. 1 schematically shows a reverse-run detection system according to an embodiment.
FIG. 2 and FIG. 3 illustrate examples of setting the inverse detection area in the reverse tracking detection system according to the embodiment.
FIG. 4 shows an example of generating virtual lines in the reverse movement detection system according to the embodiment.
FIG. 5 illustrates an example of generating a vertical virtual line in the reverse-running detection system according to the embodiment.
FIG. 6 is a diagram for explaining a method of selecting an inverse candidate in the inverse movement detection system according to the embodiment.
FIG. 7 is a diagram for explaining a method for determining whether or not a reverse candidate is reversed in the reverse-running detection system according to the embodiment.
8 schematically shows a method of detecting the backward movement according to the embodiment.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.
본 발명의 실시 예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly illustrate the embodiments of the present invention, portions that are not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between .
이하, 필요한 도면들을 참조하여 실시 예에 따른 역주행 검출 시스템 및 그 방법에 대해 상세히 설명하기로 한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a system and a method for detecting a reverse movement according to an embodiment will be described in detail with reference to the drawings.
도 1은 실시 예에 따른 역주행 검출 시스템을 개략적으로 도시한 것이다. 도 2 및 도 3은 실시 예에 따른 역주행 검출 시스템에서 역주행 감지 영역을 설정하는 예들을 도시한 도면들로서, 터널 내 일방 통행 도로에서 역주행 감지 영역을 설정하는 예들을 도시한 것이다. Fig. 1 schematically shows a reverse-run detection system according to an embodiment. FIG. 2 and FIG. 3 illustrate examples of setting an inverse detection area in the reverse movement detection system according to the embodiment, and illustrate examples of setting an inverse travel detection area in a one-way road in a tunnel.
도 1을 참조하면, 실시 예에 따른 역주행 검출 시스템(100)은 카메라(110), 디스플레이(120), 사용자 입력부(130), 메모리(140), 출력부(150), 제어부(160) 등을 포함할 수 있다. 도 1에 도시된 구성 요소들은 필수적인 것은 아니어서, 실시 예에 따른 역주행 검출 시스템(100)은 그 보다 더 많거나 더 적은 구성 요소를 포함하도록 구현될 수도 있다. Referring to FIG. 1, the reverse movement detecting system 100 according to the embodiment includes a
카메라(110)는 도로 주변에 배치되어, 도로를 촬영한 도로 영상을 획득할 수 있다. The
디스플레이(120)는 역주행 검출 시스템(100)에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이(120)는 카메라(110)에 의해 촬영되는 도로 영상을 표시할 수 있다.Display 120 may display information processed in inverse tracking system 100. For example, the display 120 may display a road image photographed by the
사용자 입력부(130)는 사용자로부터 사용자 입력을 입력 받는 입력장치를 포함할 수 있다. 사용자 입력부(130)는 터치 패드, 터치 센서, 키패드, 버튼, 조그 스위치, 마우스 등 다양한 형태의 입력장치를 포함할 수 있다. 사용자 입력부(130)가 터치 동작을 감지하는 터치 센서를 포함하는 경우, 터치 센서는 디스플레이(120)와 상호 레이어 구조를 이루어 디스플레이(120)에 대한 터치 입력을 수신할 수 있다. The user input unit 130 may include an input device for receiving a user input from a user. The user input unit 130 may include various types of input devices such as a touch pad, a touch sensor, a keypad, a button, a jog switch, and a mouse. When the user input unit 130 includes a touch sensor that senses a touch operation, the touch sensor may receive a touch input to the display 120 in a mutual layer structure with the display 120.
메모리(140)는 제어부(160)의 동작을 위한 프로그램을 저장할 수 있다. 메모리(140)는 역주행 검출 시스템(100)에 의해 처리되는 데이터들(예를 들어, 도로 영상)을 임시 저장할 수도 있다. The
출력부(150)는 스피커, 램프, 발광 다이오드(LED) 등을 포함할 수 있다. 출력부(150)는 역주행 경고음을 출력하거나, 램프, 발광 다이오드 등의 점멸을 통해 운전자에게 역주행 중임을 경고할 수 있다. The
출력부(150)는 역주행 객중인 객체가 검출되면, 대응하는 역주행 시간을 메모리(150)에 기록하거나, 해당 시간의 영상 저장을 요청하는 제어신호를 생성하여 영상 녹화가 가능한 외부 시스템(예를 들어, 휴대폰, NVR(Network Video Recorder, DVR(Digital Video Recorder), VMS(Video Manage System), 영상 관제 시스템 등)으로 전달 할 수도 있다. The
제어부(160)는 역주행 검출 시스템(100)의 전반적인 동작을 제어한다. The
제어부(160)는 카메라 캘리브레이션 모듈(161), 파라미터 설정 모듈(162), 가상 라인 생성 모듈(163), 객체 추적 모듈(164), 역주행 판정 모듈(165) 등을 포함할 수 있다.The
카메라 캘리브레이션 모듈(161)은 카메라 캘리브레이션을 통해 카메라(110)에 의해 촬영되는 도로 영상의 각 픽셀에 대해 카메라(110)를 기준으로 하는 실제 거리 정보를 포함하는 거리 맵을 생성할 수 있다. The
카메라 캘리브레이션 모듈(161)은 카메라 캘리브레이션을 통해 실제 도로 환경에 대응하는 3차원 공간의 좌표계(월드 좌표계)와 2차원 도로 영상의 좌표계(영상 좌표계) 사이의 변환 관계를 추정할 수 있다. 즉, 도로 영상 내 각 픽셀을 3차원인 도로 환경에서의 각 지점에 매핑시키고, 매핑 결과를 토대로 실제 도로 환경에 대응하는 월드 좌표계와 도로 영상에 대응하는 영상 좌표계 간의 변환 관계를 추정할 수 있다. The
카메라 캘리브레이션 모듈(161)은 좌표계 간의 변환 관계가 추정되면, 이를 토대로 실제 도로 환경에서 각 픽셀에 대응하는 지점과 카메라(110) 간의 거리 정보를 획득할 수 있다. 그리고, 각 픽셀에 대해 획득한 거리 정보를 토대로 도로 영상 내 픽셀들에 대한 거리 맵을 생성할 수 있다. The
파라미터 설정 모듈(162)은 사용자 입력을 토대로 역주행 방향을 설정할 수 있다. 파라미터 설정 모듈(162)은 디스플레이(120)에 대한 터치 입력을 분석하여 역주행 방향을 설정할 수 있다. 파라미터 설정 모듈(162)은 사용자의 마우스 드래그 입력을 분석하여 역주행 방향을 설정할 수도 있다.The
파라미터 설정 모듈(162)은 사용자에 의해 역주행 방향이 설정되면, 도 2에 도시된 바와 같이, 화살표 등 역주행 방향을 나타내는 그래픽 객체(21)를 디스플레이(120)를 통해 도로 영상 위에 중첩하여 표시할 수 있다. 이를 확인한 사용자는 디스플레이(120)를 통해 자신이 설정한 역주행 방향을 확인하고, 수정이 필요한 경우 역주행 방향을 수정하거나 다시 설정할 수 있다. 2, the
파라미터 설정 모듈(162)은 사용자 입력을 토대로 역주행 범위를 설정할 수 있다. 역주행 범위는, 역주행 방향을 기준으로 어느 각도까지를 역주행으로 볼 것인지를 결정하는 파라미터이다. 파라미터 설정 모듈(162)은 디스플레이(120)에 대한 사용자의 터치 입력을 분석하여 역주행 범위를 설정할 수 있다. 파라미터 설정 모듈(162)은 마우스의 드래그 입력 등을 분석하여 역주행 범위를 설정할 수도 있다. 파라미터 설정 모듈(162)은 사용자가 사용자 입력부(130)를 통해 역주행 범위가 입력되면, 이에 대응하여 역주행 범위를 설정할 수도 있다.The
파라미터 설정 모듈(162)은 역주행 범위가 설정되면, 도 2에 도시된 바와 같이, 화살표 등 역주행 범위를 나타내는 그래픽 객체(22, 23)를 디스플레이(120)를 통해 도로 영상 위에 중첩하여 표시할 수 있다. 이를 확인한 사용자는 디스플레이(120)를 통해 자신이 설정한 역주행 범위를 확인하고, 수정이 필요한 경우 역주행 범위를 수정하거나 다시 설정할 수 있다.The
파라미터 설정 모듈(162)은 사용자 입력을 토대로 도로 영상 내에서의 역주행 감지 영역을 설정할 수 있다. The
파라미터 설정 모듈(162)은 사용자 입력부(130)를 통해 도로 영상 내 복수의 지점(또는 픽셀)이 선택되면, 선택된 지점(또는 픽셀)을 꼭지점으로 하는 가상의 영역을 역주행 감지 영역으로 설정할 수 있다. When a plurality of points (or pixels) in the road image are selected through the user input unit 130, the
도 2를 예로 들면, 파라미터 설정 모듈(162)은 사용자 입력부(130)를 통해 도로 영상(5) 내 4개의 지점(P21, P22, P23, P24)이 선택됨에 따라, 4개의 지점을 서로 연결하는 가상의 선분(segment)들(S21, S22, S23, S24)을 생성한다. 이에 따라, 가상의 선분들(S21, S22, S23, S24)을 외곽선으로 하는 가상의 역주행 감지 영역(20)이 생성된다.2, the
파라미터 설정 모듈(162)은 사용자에 의해 역주행 방향이 설정되면, 이를 토대로 가상의 역주행 감지 영역을 자동으로 생성할 수도 있다. The
도 3의 (a)를 예로 들면, 파라미터 설정 모듈(162)은 역주행 방향을 따라서 연장되는 가상의 선분(S35)를 생성한다. 또한, 역주행 방향으로 연장된 가상의 선분(S35)과 직교하는 두 개의 가상 선분들(S31, S33)과, 두 개의 가상 선분들(S31, S33)의 양단을 서로 연결하는 가상 선분들(S32, S34)을 추가로 생성한다. 이에 따라, 가상 선분들(S31, S32, S33, S34)을 외곽선으로 하는 역주행 감지 영역(30)이 자동으로 생성된다. Taking FIG. 3A as an example, the
파라미터 설정 모듈(162)은 도 3에 도시된 바와 같이, 역주행 감지 영역이 자동 생성되는 경우, 사용자 입력을 토대로 역주행 감지 영역을 수정할 수도 있다.As shown in FIG. 3, the
도 3의 (b)를 예로 들면, 파라미터 설정 모듈(162)은 사용자 입력부(130)를 통해 가상 선분들(S31, S32, S33, S34)을 수정하기 위한 사용자 입력이 수신되면, 이를 토대로 가상 선분들(S31, S32, S33, S34)들의 위치를 이동시키거나 길이를 가변시킨다. 가상 선분들(S31, S32, S33, S34)들이 가변됨에 따라, 가상 선분들(S31, S32, S33, S34)들을 외곽선으로 하는 역주행 감지 영역(30)이 갱신된다. 한편, 가상 선분들(S31, S32, S33, S34)들을 수정하는 과정에서, 역주행 방향과 직교하도록 생성된 두 개의 가상 선분들(S31, S33)은 역주행 방향과 항상 직교하도록 수정이 제한될 수 있다. 3B, the
파라미터 설정 모듈(162)은 역주행 감지 영역이 설정되면, 설정된 역주행 감지 영역을 도로 영상 위에 중첩되게 표시할 수 있다. The
도 2를 예로 들면, 파라미터 설정 모듈(162)은, 역주행 감지 영역(20)의 외곽선들(S31, S32, S33, S34)을 나타내는 라인을 도로 영상(5) 위에 그려 넣음으로써, 도로 영상(5)에 역주행 감지 영역(20)을 표시할 수 있다. 2, the
파라미터 설정 모듈(162)은 역주행 감지 영역이 설정되면, 역주행 감지 영역의 영역 정보를 메모리(140)에 저장한다. The
역주행 감지 영역의 영역 정보는, 역주행 감지 영역을 구성하는 각 꼭지점의 좌표 정보를 포함할 수 있다. 도 2를 예로 들면, 역주행 감지 영역의 영역 정보는, 역주행 감지 영역(20)의 꼭지점으로 선택된 지점들(P21, P22, P23, P24)의 좌표 정보를 포함할 수 있다. The area information of the backward movement detection area may include coordinate information of each vertex constituting the backward movement detection area. 2, the area information of the inverse-traveling detection area may include coordinate information of the points P21, P22, P23, and P24 selected as the vertices of the inverse-
역주행 감지 영역의 영역 정보는, 역주행 감지 영역의 외곽선에 해당하는 가상 선분들의 좌표 정보를 포함할 수도 있다. 가상 선분의 좌표 정보는, 가상 선분의 양단에 대응하는 지점들의 좌표 정보를 포함할 수 있다. 도 3을 예로 들면, 역주행 감지 영역의 영역 정보는, 역주행 감지 영역(30)의 외곽선을 이루는 가상 선분들(S31, S32, S33, S34)들의 양단에 대응하는 지점들의 좌표 정보를 포함할 수 있다. The area information of the reverse movement detection area may include coordinate information of the virtual lines corresponding to the outline of the reverse movement detection area. The coordinate information of the virtual line segment may include coordinate information of points corresponding to both ends of the virtual line segment. 3, the area information of the inverse traveling
파라미터 설정 모듈(162)은 역주행 감지 영역의 영역 정보 저장 시, 역주행 감지 영역을 구성하는 각 꼭지점의 좌표 정보를 선분 순서에 따라서 정렬하여 저장할 수 있다. The
가상 라인 생성 모듈(163)은 기준 선분 또는 가상 라인들을 생성하기 위해서 역주행 감지 영역을 구성하는 선분들을 이용한다. 따라서, 파라미터 설정 모듈(162)은 가상 라인 생성 모듈(163)이 메모리(140)에 저장된 감지 영역의 영역 정보로부터, 역주행 감지 영역을 구성하는 각 선분들의 좌표정보를 추출하는 것이 용이하도록 선분 순서에 따라서 각 꼭지점의 좌표 정보를 정렬하여 저장할 수 있다. 도 2를 예로 들면, 파라미터 설정 모듈(162)은 역주행 감지 영역(20)을 구성하는 선분들(S21, S22, S23, S24) 중 어느 하나(예를 들어, 선분 S21)를 시작으로 시계 방향 또는 반시계 방향의 순서로 선분들의 꼭지점 좌표가 정렬되도록 꼭지점 좌표들을 정렬하여 메모리(140)에 저장할 수 있다.The virtual
파라미터 설정 모듈(162)은 역주행 검출에 필요한 파라미터들을 설정할 수 있다. 역주행 검출에 필요한 파라미터는, 가상 라인 개수, 수직 가상 라인 사용 여부, 수직 가상 라인 위치, 연속성(consistency), 부가 감지 조건 등을 포함할 수 있다. The
가상 라인 및 수직 가상 라인은, 추적 객체의 역주행 여부를 판정하기 위한 기준이 되는 가상의 라인들이다. The virtual line and the vertical virtual line are virtual lines that serve as a criterion for determining whether to reverse the tracking object.
연속성은 추적 객체가 얼마만큼의 구간 동안 역주행 조건을 만족시켜야 역주행 상황이 발생한 것으로 판정할지를 나타내는 파라미터이다. 연속성은 시간, 카운터 값, 영상 프레임 개수 등으로 설정될 수 있다. The continuity is a parameter indicating how long the tracing object must satisfy the traversing condition to determine that the traversing situation has occurred. The continuity can be set by time, counter value, number of image frames, and the like.
예를 들어, 연속성이 시간으로 설정된 경우, 추적 객체가 기 설정된 시간 동안 역주행 조건들을 만족시키면 역주행 중인 것으로 최종 판정할 수 있다. 또한, 예를 들어, 연속성이 카운터 값으로 설정된 경우, 추적 객체가 기 설정된 카운터 값 동안 역주행 조건들을 만족시키면 역주행 중인 것으로 최종 판정할 수 있다. 또한, 예를 들어, 연속성이 영상 프레임 개수로 설정된 경우, 기 설정된 개수의 영상 프레임 동안 추적 객체가 역주행 조건들을 만족시키면 역주행 중인 것으로 판정할 수 있다. For example, if the continuity is set to time, the tracing object can be determined to be in reverse if it satisfies the back-running conditions for a predetermined time. Also, for example, if continuity is set to a counter value, it can be determined that the tracking object is in a reverse direction if it satisfies the back-running conditions during a predetermined counter value. Also, for example, if the continuity is set to the number of image frames, it can be determined that the tracking object is in reverse when the tracking object satisfies the backward running conditions during a predetermined number of image frames.
부가 감지 조건은, 추적 객체를 역주행 객체로 판정하기 위한 부가적인 조건들로서, 추적 객체가 카메라(110)로부터 멀어지는(또는 가까워지는) 방향으로 이동하는지 여부, 추적 객체의 이동 방향과 역주행 방향간의 일치도 등을 포함할 수 있다.The additional detection condition is an additional condition for determining the tracking object as an inverse object, and it is determined whether or not the tracking object moves away from (or approaching) the
파라미터 설정 모듈(162)은 사용자 입력을 토대로 역주행 검출에 필요한 각 파라미터들을 설정할 수 있다. The
파라미터 설정 모듈(162)은 사용자 입력을 토대로 민감도를 선택하고, 선택된 민감도에 따라서 역주행 검출에 필요한 파라미터들을 자동으로 설정할 수도 있다. 이 경우, 메모리(140)에는 역주행 검출에 필요한 파라미터들의 설정 값이 민감도에 따라서 다르게 저장된다. 또한, 파라미터 설정 모듈(162)은 사용자 입력에 의해 민감도가 선택되면, 선택된 민감도에 대응하는 파라미터 설정 값들을 메모리(140)로부터 읽어오고, 이를 토대로 파라미터들을 자동으로 설정한다.The
아래 표 1은, 민감도에 따라서 역주행 검출에 필요한 파라미터들의 설정 값이 다르게 설정되는 일 예를 나타낸다.Table 1 below shows an example in which the set values of the parameters necessary for detecting the backward movement are set differently according to the sensitivity.
표 1. 민감도에 따른 파라미터 설정 예Table 1. Example of parameter setting according to sensitivity
표 1에서, 가상 라인 개수는 민감도가 증가할수록 많게 설정되며, 수직 가상 라인의 사용 여부는 민감도에 따라서 달라진다. 또한, 연속성은 민감도가 증가할수록 작게 설정된다.In Table 1, the number of virtual lines is set higher as the sensitivity increases, and the use of vertical virtual lines depends on the sensitivity. Also, the continuity is set to be small as the sensitivity increases.
가상 라인 생성 모듈(163)은 파라미터 설정 모듈(162)에 의해 설정된 파라미터들을 토대로, 추적 객체의 역주행 검출을 위한 가상 라인들을 생성할 수 있다. The virtual
가상 라인 생성 모듈(163)은 역주행 감지 영역 내에 역주행 방향과 교차하는 복수의 가상 라인을 생성할 수 있다. The virtual
가상 라인 생성 모듈(163)은 역주행 감지 영역 내에 가상 라인들을 생성하기 위해, 역주행 감지 영역 내에 기준 선분을 생성한다. 기준 선분은, 역주행 감지 영역을 구성하는 가상 선분들 중, 역주행 방향과 교차하는 두 개의 선분 사이를 연결하는 선분이다. The virtual
기준 선분은 역주행 감지 영역을 역주행 방향을 따라서 가로지르는 선분일 수 있다. 기준 선분은 역주행 방향과 교차하는 두 개의 선분의 중심점들을 서로 연결하는 선분일 수도 있다. The reference line segment may be a line segment traversing the reverse-direction detection region along the reverse direction. The reference line segment may be a line segment connecting the center points of two line segments intersecting with the backward direction.
도 4를 예로 들면, 가상 라인 생성 모듈(163)은 역주행 감지 영역(20)의 외곽선을 구성하는 복수의 선분들(S21, S22, S23, S24) 중 역주행 방향과 교차하는 두 개의 선분(S21, S23)을 선택한다. 그리고, 선택된 두 개의 선분(S21, S23)의 중심점들(P41, P42)을 서로 연결하여 기준 선분(S25)을 생성한다.4, the virtual
가상 라인 생성 모듈(163)은 기준 선분이 생성되면, 기준 선분과 교차하도록 복수의 가상 라인을 생성할 수 있다. 가상 라인 생성 모듈(163)은 기준 선분 상의 복수의 지점을 선택하고, 선택된 지점을 교차하도록 가상 라인들을 생성할 수 있다. When the reference line segment is generated, the virtual
도 4를 예로 들면, 가상 라인 생성 모듈(163)은 기준 선분(S45) 상에 복수의 지점(P41, P42, P43, P44)을 선택하고, 선택된 각 지점(P41, P42, P43, P44)을 지나 기준 선분(S25)과 직교하는 복수의 가상 라인(L41, L42, L43, L44, L45)을 생성할 수 있다. 가상 라인들(L41, L42, L43, L44, L45)은 기준 선분(S25) 상에서 선택된 각 지점(P41, P42, P43, P44)을 지나 역주행 감지 영역(20)을 구성하는 선분들(S42, S44)과 만나도록 연장될 수 있다. 이에 따라, 가상 라인들(L41, L42, L43, L44, L45)은 도로 영상(5) 내 도로의 폭 방향으로 연장되어 형성된다. 4, the virtual
가상 라인 생성 모듈(163)은 기준 선분의 양 끝 지점들을 가상 라인들과 교차하는 지점으로 선택할 수 있다. 도 4를 예로 들면, 가상 라인 생성 모듈(163)은 기준 선분(S25)의 양 끝 지점들(P41, P42)을 가상 라인들(L41, L45)과 교차하는 지점으로 선택할 수 있다. The virtual
가상 라인 생성 모듈(163)은 기준 선분을 등분하는 위치의 지점들을 가상 라인들과의 교차점으로 선택할 수 있다. The virtual
가상 라인 생성 모듈(163)은 카메라 캘리브레이션 모듈(161)을 통해 획득한 거리 맵을 토대로, 도로 상에서 기준 선분의 시작점과 끝점에 대응하는 지점들 간의 실제 거리를 획득하고, 실제 거리를 등분하는 위치에 지점들을 가상 라인들과의 교차점으로 선택할 수 있다. The virtual
가상 라인 생성 모듈(163)은 도로 영상 내 각 픽셀의 좌표를 토대로, 도로 영상 내에서 기준 선분의 유클리디언 길이를 산출하고, 이를 등분하는 위치에 지점들을 가상 라인들과의 교차점으로 선택할 수도 있다. 즉, 가상 라인 생성 모듈(163)은 기준 선분의 시작점 및 끝점 사이의 유클리디언 거리를 산출하고, 이를 등분하는 위치에 지점들을 선택할 수도 있다.The virtual
가상 라인 생성 모듈(163)은 가상 라인 생성 시, 파라미터 설정 모듈(162)에 의해 설정된 가상 라인 개수에 따라서 가상 라인 생성 개수를 조절한다. The virtual
가상 라인 생성 모듈(163)은 가상 라인들이 생성되면, 생성된 가상 라인들의 좌표 정보를 역주행 방향을 따라서 순차적으로 메모리(140)에 저장한다. 또한, 가상 라인 생성 모듈(163)은 각 가상 라인에 라인 번호 등의 식별 정보를 부여하고, 각 라인의 좌표 정보 저장 시 대응하는 식별 정보를 대응시켜 저장할 수도 있다. When the virtual lines are generated, the virtual
가상 라인 생성 모듈(163)은 파라미터 설정 모듈(162)에 의해 수직 가상 라인을 사용하도록 설정되면, 수직 가상 라인들을 추가로 더 생성할 수도 있다. 수직 가상 라인들은 각 가상 라인의 끝점으로부터 시작되어 가상 라인들과 수직인 방향 즉, 도로 면에 대해 수직인 방향으로 연장될 수 있다. The virtual
수직 가상 라인들의 위치는, 사용자에 의해 설정될 수 있다. 파라미터 설정 모듈(162)은 사용자가 사용자 입력부(130)를 통해 가상 라인의 양 끝점 중 적어도 하나에 대해 수직 가상 라인의 생성을 허용하면, 사용자가 수직 가상 라인의 생성을 허용한 위치를 수직 가상 라인의 위치로 설정할 수 있다. The position of the vertical virtual lines can be set by the user.
도 5를 참조하면, 사용자에 의해 가상 라인들(L41, L42, L43, L44, L45)들의 오른쪽 끝점에 대한 수직 가상 라인의 생성이 허용됨에 따라, 가상 라인 생성 모듈(163)은 가상 라인들(L41, L42, L43, L44, L45)들의 오른쪽 끝점으로부터 시작되는 수직 가상 라인들(L51, L52, L53, L54, L55)들을 생성할 수 있다.Referring to FIG. 5, the virtual
역주행 검출 시스템(100)은 추적 객체의 이동 경로를 추적 시, 추적 객체의 특정 부분(예를 들어, 바퀴, 라이트, 번호판 등) 또는 추적 객체로 검출된 영역의 중심점의 이동을 추적한다. 대형 트럭, 대형 버스 등 대형 차량의 경우, 추적 대상이 되는 지점이 상대적으로 높게 나타나 도로 위 즉, 역주행 감지 영역을 벗어나는 상황이 발생할 수 있다. 수직 가상 라인은, 이와 같이 추적 객체에서 이동 경로 추적의 대상이 되는 지점이 역주행 감지 영역을 벗어나는 경우에도 차량의 역주행 여부를 판별하기 위해서 설정된다. The trajectory detection system 100 tracks the movement of the center point of a region detected by a specific part (e.g., a wheel, a light, a license plate, etc.) of the tracking object or a tracking object when tracking the movement path of the tracking object. In the case of large vehicles such as heavy trucks and large buses, the points to be tracked are relatively high, which may result in a situation that the vehicle is out of the detection area of the reverse direction. The vertical virtual line is set so as to discriminate whether or not the vehicle is reversed, even if a point to be traced in the trajectory is out of the traverse direction detection area.
수직 가상 라인의 길이(또는 높이)는, 추적 대상을 검출하기 위한 사이즈 필터의 최대 높이 값에 대응할 수 있다. 사이즈 필터는, 도로 영상에서 차량을 제외한 움직임 객체를 필터링하여 노이즈를 제거하기 위한 필터이다. 사이즈 필터의 최대 높이 값은, 사이즈 필터가 적용되는 도로 영상 내 위치에 따라서 달라질 수 있다. 따라서, 수직 가상 라인의 길이(또는 높이)는 수직 가상 라인이 생성되는 위치에 따라서 달라질 수 있다. The length (or height) of the vertical virtual line may correspond to the maximum height value of the size filter for detecting the tracking object. The size filter is a filter for eliminating noise by filtering motion objects excluding a vehicle from a road image. The maximum height value of the size filter may vary depending on the position in the road image to which the size filter is applied. Thus, the length (or height) of the vertical virtual line may vary depending on the position at which the vertical virtual line is created.
가상 라인 생성 모듈(163)은 수직 가상 라인들이 생성되면, 수직 가상 라인들의 좌표 정보를 역주행 방향을 따라서 순차적으로 메모리(140)에 저장한다. 또한, 가상 라인 생성 모듈(163)은 각 수직 가상 라인에 라인 번호 등의 식별 정보를 부여하고, 각 수직 가상 라인의 좌표 정보 저장 시 대응하는 식별 정보를 대응시켜 저장할 수도 있다. When the vertical virtual lines are generated, the virtual
객체 추적 모듈(164)은 학습 기반 객체 추적 알고리즘, 동적 배경 학습 기반 알고리즘 등을 토대로 도로 영상으로부터 차량에 대응하는 추적 객체를 검출하고, 추적 객체의 이동 경로를 획득할 수 있다. Based on the learning-based object tracking algorithm and the dynamic background learning-based algorithm, the
객체 추적 모듈(164)은 도로 영상을 구성하는 영상 프레임들을 분석하여 도로 영상으로부터 움직임 객체들을 검출한다. 객체 추적 모듈(164)은 도로 영상으로부터 검출된 움직임 객체들에 대해 사이즈 필터 등을 이용한 노이즈 제거 과정을 수행하여, 움직임 객체들 중에서 추적 대상(예를 들어, 차량)에 대응하는 추적 객체를 선택한다. The
사이즈 필터는, 도로 영상으로부터 검출된 움직임 객체들 중 추적 대상을 선택하기 위한 필터이다. 객체 추적 모듈(164)은 움직임 객체가 기 설정된 사이즈(폭, 높이 등) 범위를 벗어나면, 노이즈라 판단하여 추적을 중단한다. 반면에, 움직임 객체가 기 설정된 사이즈 범위를 만족하면 움직임 객체가 추적 대상인 차량인 것으로 판정하고 추적을 시작한다. The size filter is a filter for selecting an object to be tracked among the motion objects detected from the road image. When the motion object is out of the predetermined size (width, height, etc.) range, the
객체 추적 모듈(164)은 도로 영상으로부터 추적 객체가 검출되면, 추적 객체의 특정 부분(예를 들어, 바퀴, 라이트, 번호판 등) 또는 차량으로 검출된 영역의 중심점의 이동을 추적하여, 추적 객체의 이동 경로를 획득한다. The
객체 추적 모듈(164)은 추적 객체의 위치정보를 매 영상 프레임마다 획득하고, 이를 기 설정된 사이즈의 버퍼(미도시)에 저장한다. 객체 추적 모듈(164)에 의해 획득된 위치정보들의 데이터량이 버퍼 사이즈를 초과하는 경우, 가장 오래된 위치 순으로 위치정보가 삭제되고, 새로운 위치정보가 버퍼에 저장된다. 따라서, 버퍼에는 가장 최근에 획득한 기 설정된 개수의 위치정보가 저장될 수 있다.The
역주행 판정 모듈(165)은 도로 영상으로부터 검출된 추적 객체들 중 역주행 후보를 선정할 수 있다. The reverse-run
역주행 판정 모듈(165)은 추적 객체의 이동 경로와 가상 라인과의 교차(line crossing)가 최초 발생 시, 추적 객체를 역주행 후보로 선정할 수 있다. 이 경우, 역주행 판정 모듈(165)은 추적 객체의 이동 경로가 아래 조건들을 만족하면 추적 객체의 이동 경로가 가상 라인과 교차한 것으로 판정할 수 있다. The
역주행 판정 모듈(165)은 객체 추적 모듈(164)에 의해 버퍼에 저장된 복수의 위치정보들 중 가장 오래된 위치정보와 가장 최근의 위치정보를 직선으로 연결하고, 해당 직선이 가상 라인과 교차하는 경우 추적 객체의 이동 경로가 가상 라인과 교차한 것으로 판정할 수 있다.The inverse-
역주행 판정 모듈(165)은 버퍼에 저장된 복수의 위치정보들 중 추적 객체가 가상 라인을 지난 위치에서 검출된 위치정보의 비율이 기 설정된 임계치 이상(예를 들어, 50% 이상)이면 추적 객체의 이동 경로가 가상 라인과 교차한 것으로 판정할 수 있다. 도 6을 예로 들면, 버퍼에 저장된 추적 객체의 위치정보(P601 ~ P610)가 10개일 때, 5개 이상의 위치정보가 가상 라인(L41)을 지나서 검출되었다. 또한, 가장 오래된 위치정보(P601)와 가장 최근에 획득한 위치정보 즉, 현재 위치정보(P610)에 대응하는 지점들을 서로 연결한 직선(S60)이 가상 라인(L41)과 교차한다. 따라서, 역주행 판정 모듈(165)은 대응하는 추적 객체의 이동 경로가 가상 라인과 교차한 것으로 판정할 수 있다. If the ratio of the position information detected at the position where the tracking object crosses the virtual line among the plurality of position information stored in the buffer is equal to or more than a preset threshold value (for example, 50% or more), the reverse- It can be determined that the path crosses the virtual line. For example, in FIG. 6, when the position information (P601 to P610) of the tracking object stored in the buffer is 10, 5 or more pieces of position information have been detected through the virtual line L41. The straight line S60 connecting the oldest position information P601 with the position information obtained most recently, that is, points corresponding to the current position information P610 intersects with the virtual line L41. Therefore, the inverse-
역주행 판정 모듈(165)은 수직 가상 라인이 사용되는 경우, 수직 가상 라인을 이용하여 역주행 후보를 선정할 수도 있다. 역주행 판정 모듈(165)은 추적 객체의 이동 경로와 수직 가상 라인과의 교차가 최초 발생 시, 추적 객체를 역주행 후보로 선정할 수 있다. 이 경우, 역주행 판정 모듈(165)은 추적 객체의 이동 경로가 아래 조건들을 만족하면 추적 객체의 이동 경로가 수직 가상 라인과 교차한 것으로 판정할 수 있다. If the vertical virtual line is used, the inverse-
역주행 판정 모듈(165)은 추적 객체의 현재 위치가 역주행 감지 영역 내에 포함되는 경우 추적 객체의 이동 경로가 수직 가상 라인과 교차한 것으로 판정할 수 있다. 이 경우, 역주행 판정 모듈(165)은 추적 객체에 대응하는 객체 영역이 역주행 감지 영역과 일정 부분 이상 중첩되면, 추적 객체가 역주행 감지 영역 내에 위치하는 것으로 판단할 수 있다. The inverse-
또한, 역주행 판정 모듈(165)은 객체 추적 모듈(164)에 의해 버퍼에 저장된 복수의 위치정보들 중 가장 오래된 위치정보와 가장 최근의 위치정보를 직선으로 연결하고, 해당 직선이 수직 가상 라인과 교차하는 경우 추적 객체의 이동 경로가 수직 가상 라인과 교차한 것으로 판정할 수 있다.In addition, the inverse-
또한, 역주행 판정 모듈(165)은 버퍼에 저장된 복수의 위치정보들 중 추적 객체가 수직 가상 라인을 지난 위치에서 검출된 위치정보의 비율이 기 설정된 임계치 이상(예를 들어, 50% 이상)이면 추적 객체의 이동 경로가 수직 가상 라인과 교차한 것으로 판정할 수 있다.If the ratio of the position information detected at the position where the tracking object passes the vertical virtual line among the plurality of position information stored in the buffer is equal to or more than a predetermined threshold value (for example, 50% or more) It can be determined that the movement path of the object intersects with the vertical virtual line.
역주행 판정 모듈(165)은 역주행 후보가 선정되면, 역주행 후보가 최초 교차한 가상 라인(또는 수직 가상 라인)의 식별 정보를 저장한다. 또한, 버퍼에 저장된 역주행 후보의 위치정보들 중 어느 하나를 기준 위치정보로 저장한다. 기준 위치정보는 역주행 후보의 역주행 판단 시, 역주행 후보의 이동 방향 및 이동 거리를 산출하기 위한 기준이 되는 지점의 위치정보이다. When the backward candidate is selected, the backward
역주행 판정 모듈(165)은 역주행 후보가 최초로 가상 라인(또는 수직 가상 라인)을 지나기 직전에 획득된 위치정보를 기준 위치정보로 저장할 수 있다. 역주행 판정 모듈(165)은 역주행 후보 선정 시점에서 버퍼에 저장된 위치정보들 중 가장 오래된 위치정보를 기준 위치정보로 저장할 수도 있다. 역주행 판정 모듈(165)은 역주행 후보 선정 시점에서 가장 최근에 획득한 위치정보를 기준 위치정보로 저장할 수도 있다. The inverse-
역주행 판정 모듈(165)은 가상 라인과 역주행 후보의 이동 경로 간의 교차점을 기준 위치정보로 저장할 수도 있다. The inverse-
역주행 판정 모듈(165)은 역주행 후보가 선정되면, 도로 영상 내 역주행 후보의 위치정보를 지속적으로 추적하여 역주행 후보의 이동 방향 및 이동 거리를 포함하는 이동 경로를 획득한다. 그리고, 역주행 후보의 이동 방향 및 이동 거리를 토대로 역주행 후보가 역주행 중인지를 최종적으로 판정할 수 있다. When the backward candidate is selected, the backward judging
역주행 판정 모듈(165)은 도로 영상에서 기준 위치정보에 대응하는 지점과 역주행 후보의 현재 위치를 직선으로 연결하여 역주행 후보의 이동 거리 및 이동 방향을 획득할 수 있다. The inverse-
도 7을 예로 들면, 역주행 판정 모듈(165)은 역주행 후보의 기준 위치(P701)에 대응하는 지점과 현재 위치(P702)에 대응하는 지점을 서로 연결하여 역주행 후보의 이동 거리 및 이동 방향을 획득한다.7, the inverse-
역주행 후보의 이동 거리는, 실제 도로 환경에서의 실제 거리로 설정될 수 있다. 이 경우, 역주행 판정 모듈(165)은 거리 맵을 토대로, 역주행 후보의 기준 위치와 현재 위치 사이의 실제 거리를 추정하고, 이를 역주행 후보의 이동 거리로 획득할 수 있다.The moving distance of the inverse candidate can be set to an actual distance in an actual road environment. In this case, based on the distance map, the inverse-
역주행 후보의 이동 거리는, 유클리디언 거리로 설정될 수도 있다. 이 경우, 역주행 판정 모듈(165)은 역주행 후보의 기준 위치와 현재 위치를 역주행 방향에 각각 투영 시킨 후, 역주행 방향에 투영된 위치 간의 유클리디언 거리를 역주행 후보의 이동 거리로 획득할 수 있다. 도 7을 예로 들면, 역주행 판정 모듈(165)은 역주행 후보의 기준 위치(P701) 및 현재 위치(P702)를 역주행 방향으로 연장되는 선분 상에 투영시키고, 역주행 방향으로 연장된 선분에 투영된 두 지점들 간의 유클리디언 거리(d)를 역주행 후보의 이동 거리를 획득한다. The traveling distance of the inversion candidate may be set as the Euclidean distance. In this case, the inverse-
역주행 판정 모듈(165)은 역주행 후보의 이동 방향 및 이동 거리가 소정 구간 이상 기 설정된 역주행 조건을 만족하면 역주행 후보가 역주행 중인 것으로 최종 판단할 수 있다. The inverse-
역주행 판정 모듈(165)은 역주행 후보의 이동 방향과 기 설정된 역주행 방향과의 일치도가 기 설정된 수준 이상이거나, 역주행 후보의 이동 방향이 기 설정된 역주행 범위 이내이면, 해당 역주행 후보가 역주행 중인 것으로 판정할 수 있다.If the degree of agreement between the moving direction of the inversion candidate and the predetermined inversion direction is equal to or greater than a predetermined level or the moving direction of the inversion candidate is within the predetermined inversion range, the
역주행 판정 모듈(165)은 역주행 후보의 이동 거리가 기 설정된 역주행 거리 이상이면, 해당 역주행 후보가 역주행 중인 것으로 판정할 수 있다. The inverse-
역주행 판정 모듈(165)은 역주행 후보의 이동 거리를 비교하는 대신, 역주행 후보가 처음 지난 가상 라인(또는 수직 가상 라인)과 마지막으로 지난 가상 라인(또는 수직 가상 라인) 간의 실제 거리(또는 유클리디언 거리)가 기 설정된 역주행 거리 이상이면, 역주행 후보가 역주행 중인 것으로 판정할 수도 있다. Instead of comparing the travel distance of the inverse candidate, the reverse-run
역주행 판정 모듈(165)은 역주행 후보의 이동 경로가 기 설정된 개수 이상의 가상 라인을 역주행 방향으로 지나는 경우, 역주행 후보가 역주행 중인 것으로 판정할 수도 있다.The inverse-
전술한 구조의 역주행 검출 시스템(100)에서 제어부(160)를 구성하는 카메라 캘리브레이션 모듈(161), 파라미터 설정 모듈(162), 가상 라인 생성 모듈(163), 객체 추적 모듈(164) 및 역주행 판정 모듈(165)은 하나 이상의 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현되는 프로세서에 의해 수행될 수 있다.The
도 8은 실시 예에 따른 역주행 검출 시스템에서의 역주행 검출 방법을 개략적으로 도시한 것이다. 8 schematically shows a method of detecting a reverse run in the reverse run detection system according to the embodiment.
도 8을 참조하면, 역주행 검출 시스템(100)은 카메라 캘리브레이션을 수행하여 카메라(110)를 통해 획득되는 도로 영상의 각 픽셀에 대한 거리 맵을 생성한다(S100).Referring to FIG. 8, the inverse-travel detection system 100 performs camera calibration to generate a distance map for each pixel of the road image obtained through the camera 110 (S100).
상기 S100 단계에서, 역주행 검출 시스템(100)은 카메라 캘리브레이션을 통해 실제 도로 환경에 대응하는 3차원 공간의 좌표계(월드 좌표계)와 2차원 도로 영상의 좌표계(영상 좌표계) 사이의 변환 관계를 추정한다. 그리고, 월드 좌표계와 영상 좌표계 간의 변환 관계를 토대로, 실제 도로 환경에서 각 픽셀에 대응하는 지점과 카메라(110) 간의 거리 정보를 획득하고, 각 픽셀에 대해 획득한 거리 정보를 토대로 도로 영상 내 픽셀들에 대한 거리 맵을 생성할 수 있다.In step S100, the backward movement detection system 100 estimates the conversion relationship between the coordinate system (world coordinate system) of the three-dimensional space corresponding to the actual road environment and the coordinate system (image coordinate system) of the two- dimensional road image through camera calibration. Based on the conversion relation between the world coordinate system and the image coordinate system, the distance information between the point corresponding to each pixel and the
이렇게 생성된 거리 맵은, 이후 가상 라인 생성 시 실제 거리에 대응하여 가상 라인들을 배치하기 위해 사용될 수 있다. 또한, 역주행 후보의 이동 거리를 실제 도로 환경에서의 이동 거리로 산출하기 위해 사용될 수 있다. The generated distance map can then be used to place the virtual lines corresponding to the actual distance at the time of creation of the virtual line. Also, the moving distance of the inverse candidate can be used to calculate the moving distance in the actual road environment.
역주행 검출 시스템(100)은 사용자 입력부(130)를 통해 수신되는 사용자 입력을 토대로 도로 영상 내에 역주행 방향 및 역주행 감지 영역을 설정한다(S110). 또한, 역주행 검출 시스템(100)은 역주행 감지 영역 내에 역주행 방향과 교차하는 복수의 가상 라인을 생성한다(S120). The backward movement detection system 100 sets the backward travel direction and the backward movement detection area in the road image based on the user input received through the user input unit 130 at step S110. In addition, the backward movement detection system 100 generates a plurality of virtual lines crossing the backward direction in the backward movement detection area (S120).
상기 S120 단계에서, 역주행 검출 시스템(100)은 수직 가상 라인을 사용하도록 설정된 경우, 각 가상 라인에 대해 수직인 복수의 수직 가상 라인을 추가로 생성할 수도 있다. 수직 가상 라인은, 대형 버스, 대형 트럭 등 대형 차량의 이동 경로가 역주행 감지 영역 즉, 도로 위를 벗어나 검출되는 경우에 대해서도, 역주행 여부를 판정하기 위해 사용될 수 있다. In step S120, the backbone detection system 100 may further generate a plurality of vertical virtual lines that are perpendicular to each virtual line when the vertical virtual line is set to be used. The vertical virtual line can also be used to determine whether the large-sized bus, large truck, or other large-sized vehicle is reversed even when the movement path is detected in the reverse-direction detection area, that is, off the road.
역주행 검출 시스템(100)은 전술한 과정을 통해 역주행 방향, 역주행 감지영역 및 가상 라인들이 생성되면, 이를 토대로 도로 영상 내 객체들의 역주행을 판단한다.The backward movement detection system 100 determines the backward running of the objects in the road image based on the backward direction, the backward movement detection area, and the virtual lines through the above-described process.
역주행 검출 시스템(100)은 역주행 판정을 위해, 도로 영상으로부터 추적 대상이 되는 객체를 검출한다(S130). The inverse-travel detection system 100 detects an object to be tracked from the road image in order to determine whether the vehicle is to be reversed (S130).
상기 S130 단계에서, 역주행 검출 시스템(100)은 도로 영상을 구성하는 영상 프레임들을 분석하여 도로 영상으로부터 움직임 객체들을 검출한다. 그리고, 도로 영상으로부터 검출된 움직임 객체들에 대해 사이즈 필터 등을 이용한 노이즈 제거 과정을 수행하여, 움직임 객체들 중에서 추적 대상에 대응하는 추적 객체를 선택한다. In step S130, the backbone detection system 100 detects motion objects from the road image by analyzing image frames constituting the road image. A noise removal process using a size filter or the like is performed on the motion objects detected from the road image, and a tracking object corresponding to the tracking object is selected from the motion objects.
역주행 검출 시스템(100)은 도로 영상으로부터 검출된 추적 객체들 중 역주행 후보를 선정한다(S140).The backward movement detection system 100 selects an inversion candidate among the tracking objects detected from the road image (S140).
상기 S140 단계에서, 역주행 검출 시스템(100)은 추적 객체의 위치정보를 지속적으로 획득하고, 이를 토대로 추적 객체의 이동 경로가 가상 라인(또는 수직 가상 라인)과 최초 교차 시 대응하는 추적 객체를 역주행 후보로 선정할 수 있다. In step S140, the backbone detection system 100 continuously obtains the position information of the tracking object, and based on this, the tracking object corresponding to the movement path of the tracking object at the first intersection with the virtual line (or vertical virtual line) Can be selected.
역주행 후보 선정 과정에서, 역주행 검출 시스템(100)은 복잡한 도로 환경으로 인한 노이즈를 제거하기 위해, 최근에 획득한 추적 객체의 위치정보들 중 가장 오래된 위치정보와 가장 최근의 위치정보를 직선으로 연결하고, 해당 직선이 가상 라인(또는 수직 가상 라인)과 교차하는 경우 추적 객체의 이동 경로가 가상 라인(또는 수직 가상 라인)과 교차한 것으로 판정할 수 있다. 또한, 추적 객체에 대해 최근에 획득한 복수의 위치정보들 중 추적 객체가 가상 라인을 지난 위치에서 검출된 위치정보의 비율이 기 설정된 임계치 이상(예를 들어, 50% 이상)이면 추적 객체의 이동 경로가 가상 라인과 교차한 것으로 판정할 수 있다. In the backward candidate selection process, the backward movement detection system 100 connects the oldest positional information and the latest positional information among the positional information of the tracked object obtained recently in a straight line in order to remove noise due to a complicated road environment , And when the straight line intersects with the virtual line (or vertical virtual line), it can be determined that the movement path of the tracking object crosses the virtual line (or the vertical virtual line). If the ratio of the position information detected at the position of the tracking object past the virtual line among the plurality of position information acquired recently for the tracking object is equal to or more than a predetermined threshold value (for example, 50% or more) It can be determined that the path crosses the virtual line.
역주행 검출 시스템(100)은 역주행 후보가 선정되면, 역주행 후보에 대해 현재까지 획득한 위치정보들 중 어느 하나를 기준 위치정보로 저장한다. When the backward running candidate is selected, the backward movement detection system 100 stores any one of the positional information obtained up to the current backward candidate as the reference position information.
이후, 역주행 검출 시스템(100)은 기준 위치정보를 기준으로 역주행 후보의 이동 방향 및 이동 거리를 지속적으로 획득한다(S150). 그리고, 역주행 후보의 이동 방향 및 이동 거리가 기 설정된 역주행 조건을 만족하는지 판단한다(S160).Thereafter, the inverse-travel detection system 100 continuously obtains the moving direction and the moving distance of the inversion candidate based on the reference position information (S150). Then, it is determined whether the moving direction and the moving distance of the inversion candidate satisfy the predetermined inverse running condition (S160).
상기 S160 단계에서, 역주행 검출 시스템(100)은 역주행 후보의 이동 방향이 기 설정된 역주행 방향과 기 설정된 수준 이상 일치하거나, 역주행 방향을 기준으로 기 설정된 역주행 범위 이내이면, 역주행 후보의 이동 방향이 역주행 조건을 만족하는 것으로 판단할 수 있다. If the moving direction of the backward candidate is equal to or greater than a predetermined level with the predetermined backward direction or within a predetermined backward range based on the backward direction, the backward movement detection system 100 determines whether the backward movement candidate is in a backward traveling condition Can be determined to satisfy the following formula.
상기 S160 단계에서, 역주행 검출 시스템(100)은 역주행 후보의 이동 거리가 기 설정된 역주행 거리 이상이면, 역주행 후보의 이동 거리가 역주행 조건을 만족하는 것으로 판단할 수 있다. 역주행 검출 시스템(100)은 역주행 후보의 이동 거리를 비교하는 대신, 역주행 후보가 처음 지난 가상 라인(또는 수직 가상 라인)과 마지막으로 지난 가상 라인(또는 수직 가상 라인) 간의 실제 거리(또는 유클리디언 거리)가 기 설정된 역주행 거리 이상이면, 역주행 후보의 이동 거리가 역주행 조건을 만족하는 것으로 판단할 수도 있다. 역주행 검출 시스템(100)은 역주행 후보의 이동 경로가 기 설정된 개수 이상의 가상 라인을 역주행 방향으로 지나면, 역주행 후보의 이동 거리가 역주행 조건을 만족하는 것으로 판단할 수도 있다.In step S160, the reverse-travel detecting system 100 may determine that the moving distance of the in-flight candidate meets the back-running condition when the moving distance of the in-flight candidate is greater than or equal to the predetermined in- The reverse traversal detection system 100 may compare the actual distance between the first virtual line (or vertical virtual line) and the last virtual line (or vertical virtual line) Distance) is equal to or greater than the preset in-travel distance, it may be determined that the moving distance of the inverse candidate is satisfied with the backward running condition. The backward movement detection system 100 may determine that the moving distance of the backward candidate is satisfying the backward running condition if the movement path of the backward candidate passes through a predetermined number or more of virtual lines in the backward direction.
역주행 검출 시스템(100)은 역주행 후보의 이동 방향 및 이동 거리가 역주행 조건을 만족한 상태가 기 설정된 구간 동안 유지되면(S170), 역주행 상황이 발생한 것으로 최종 판정한다(S180). The inverse-travel detecting system 100 determines that the inverse-running situation has occurred (S180) if the moving direction and the moving distance of the inverse-traveling candidate satisfy the inverse-traveling condition for a preset interval (S170).
상기 S170 및 S180 단계에서, 역주행 검출 시스템(100)은 복잡한 도로 환경으로 인해 역주행 후보의 이동 경로 추적의 정확도가 떨어져 역주행 판정 오류가 발생하는 것을 방지하기 위해, 역주행 후보의 이동 경로 및 이동 방향이 기 설정된 구간 이상 역주행 조건을 만족해야만 역주행 후보가 역주행 중인 것으로 최종 판정할 수 있다. In step S170 and step S180, in order to prevent the inaccurate determination error from occurring due to the complexity of the road environment due to the complexity of the trajectory tracking of the backward candidate, the movement path and the moving direction of the backward candidate It is possible to make a final determination that the inversion candidate is in reverse run only if the condition for reverse run exceeding the set interval is satisfied.
역주행 검출 시스템(100)은 역주행 후보가 역주행 중인 것으로 최종 판정됨에 따라 이를 경고하는 경고 출력(예를 들어, 경고음, 램프 점멸, 발광 다이오드 점멸 등)을 내보낸다(S190).The backward movement detection system 100 outputs a warning output (e.g., a warning sound, a lamp blinking, a light emitting diode blinking, or the like) warning that the backward candidate is determined to be running in reverse (S190).
전술한 실시 예에 따르면, 역주행 검출 시스템은 가상 라인들을 이용하여 도로 영상 내 객체의 역주행 여부를 판정할 수 있으므로, 별도의 장비 없이 카메라를 통해 획득되는 영상만으로 차량의 역주행 판정이 가능하여 설치 단가가 낮아지는 장점이 있다. 또한, 객체의 이동 경로와 가상 라인 간의 교차 여부만으로 역주행 후보 선정이 가능하고, 역주행 후보의 이동 거리 및 이동 방향을 단순 비교하는 과정만으로 역주행 판정이 가능하여, 역주행 판정 프로세스의 복잡도가 매우 낮게 나타난다. 또한, 수직 가상 라인을 이용하여 차량의 이동 경로가 도로를 벗아나 검출되는 경우에 대해서도 역주행을 판정할 수 있어, 복잡한 도로 환경으로 인해 객체 추적 정확도가 떨어지는 상황에서도 안정적으로 역주행을 판정할 수 있다. 또한, 역주행 후보가 소정 구간 이상 역주행 조건을 만족시켜야만 역주행 상황이 발생한 것으로 최종 판정함으로써, 역주행 판정 정확도가 상승하는 효과가 있다.According to the above-described embodiment, the reverse-travel detection system can determine whether the objects in the road image are reversed by using the virtual lines. Therefore, it is possible to determine the reverse direction of the vehicle only by the image acquired through the camera without any additional equipment, There is an advantage of lowering. In addition, it is possible to select the inversion candidate only by intersection between the movement path of the object and the virtual line, and it is possible to determine the inversion by merely comparing the movement distance and the movement direction of the inversion candidate, and the complexity of the inversion determination process is very low. In addition, it is possible to determine the inversion of travel even when the travel path of the vehicle is detected or departed from the road by using the vertical virtual line, and it is possible to stably determine the inversion even in a situation where object tracking accuracy is low due to complicated road environment. In addition, when the backward running candidate satisfies the backward running condition for a predetermined period or more, it is determined that the backward running situation has occurred, and the accuracy of backward determination is increased.
한편, 전술한 실시 예에서는 가상 라인들을 이용하여 역주행 방향으로 진행하는 차량을 검출하는 경우를 예로 들어 설명하였으나, 가상 라인들은 다른 객체 검출 시스템에서 특정 방향으로 이동하는 객체를 검출하기 위해 사용될 수도 있다. 이 경우, 객체 검출 시스템은 영상 내에서 객체의 움직임을 검출하고자 하는 감지 영역과 객체의 이동 방향을 설정하고, 이를 토대로 복수의 가상 라인들을 생성하여 특정 방향으로 이동하는 객체의 검출에 사용할 수 있다. In the above-described embodiment, the vehicle traveling in the reverse direction is detected by using the virtual lines. However, the virtual lines may be used to detect objects moving in a specific direction in another object detection system. In this case, the object detection system sets the movement direction of the object and the sensing area for detecting movement of the object in the image, and generates a plurality of virtual lines based on the movement direction, and can use the object to detect an object moving in a specific direction.
본 발명의 실시 예에 의한 역주행 검출 방법은 소프트웨어를 통해 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 기능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다. The method of detecting the backward movement according to the embodiment of the present invention can be executed through software. When executed in software, the constituent means of the present invention are code segments that perform the necessary tasks. The program or code segments may be stored on a processor read functional medium or transmitted by a computer data signal coupled with a carrier wave in a transmission medium or network.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는, ROM, RAM, CD-ROM, DVD_ROM, DVD_RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording device include ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, magnetic tape, floppy disk, hard disk and optical data storage device. Also, the computer-readable recording medium may be distributed over a network-connected computer device so that computer-readable code can be stored and executed in a distributed manner.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 용이하게 선택하여 대체할 수 있다. 또한 당업자는 본 명세서에서 설명된 구성요소 중 일부를 성능의 열화 없이 생략하거나 성능을 개선하기 위해 구성요소를 추가할 수 있다. 뿐만 아니라, 당업자는 공정 환경이나 장비에 따라 본 명세서에서 설명한 방법 단계의 순서를 변경할 수도 있다. 따라서 본 발명의 범위는 설명된 실시형태가 아니라 특허청구범위 및 그 균등물에 의해 결정되어야 한다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are illustrative and explanatory only and are intended to be illustrative of the invention and are not to be construed as limiting the scope of the invention as defined by the appended claims. It is not. Therefore, those skilled in the art can readily select and substitute it. Those skilled in the art will also appreciate that some of the components described herein can be omitted without degrading performance or adding components to improve performance. In addition, those skilled in the art may change the order of the method steps described herein depending on the process environment or equipment. Therefore, the scope of the present invention should be determined by the appended claims and equivalents thereof, not by the embodiments described.
Claims (26)
사용자 입력을 토대로 상기 도로 영상에서의 역주행 방향을 설정하는 파라미터 설정 모듈,
상기 역주행 방향과 교차하는 복수의 가상 라인을 생성하는 가상 라인 생성 모듈,
상기 도로 영상으로부터 추적 객체를 검출하는 객체 추적 모듈, 그리고
상기 추적 객체의 이동 경로가 상기 복수의 가상 라인 중 어느 하나의 가상 라인과 교차하면 상기 추적 객체를 역주행 후보로 선정하고, 상기 역주행 후보의 이동 방향 및 이동거리가 역주행 조건을 만족하면 역주행 상황으로 판정하는 역주행 판정 모듈을 포함하며,
상기 파라미터 설정 모듈은, 사용자 입력에 기초하여 상기 도로 영상 내 역주행 감지 영역을 설정하고,
상기 가상 라인 생성 모듈은, 상기 역주행 감지 영역의 외곽선을 구성하는 복수의 선분 중 상기 역주행 방향과 교차하는 두 개의 선분의 중심점들을 서로 연결하여 기준 선분을 생성하고, 상기 기준 선분 상에서 서로 이격된 복수의 지점을 선택하며, 상기 복수의 지점과 각각 교차하도록 상기 복수의 가상 라인을 생성하는 역주행 검출 시스템. A camera for photographing a road image,
A parameter setting module for setting an inverse direction in the road image based on a user input,
A virtual line generation module for generating a plurality of virtual lines crossing the backward direction,
An object tracking module for detecting a tracking object from the road image, and
If the movement path of the tracking object intersects with any one of the plurality of virtual lines, the tracking object is selected as the inversion candidate, and if the movement direction and the movement distance of the inversion candidate satisfy the inversion condition, And an inverse run determination module,
Wherein the parameter setting module sets an inverse traverse detection area in the road image based on a user input,
Wherein the virtual line generation module generates reference line segments by connecting the center points of two line segments intersecting with the inverse direction of the plurality of line segments constituting the outline of the inverse running sensing area to each other, And generating the plurality of virtual lines so as to cross each of the plurality of points.
상기 객체 추적 모듈은, 상기 추적 객체의 위치정보를 지속적으로 버퍼에 저장하며,
상기 역주행 판정 모듈은, 상기 버퍼에 저장된 상기 추적 객체의 위치정보들 중 상기 어느 하나의 가상 라인을 지난 위치에서 검출된 위치정보의 비율이 기 설정된 값 이상이면, 상기 추적 객체가 상기 어느 하나의 가상 라인과 교차한 것으로 판단하는 역주행 검출 시스템. The method according to claim 1,
Wherein the object tracking module continuously stores location information of the tracking object in a buffer,
Wherein if the ratio of the positional information detected at a position past any one of the virtual lines among the positional information of the tracked object stored in the buffer is equal to or greater than a predetermined value, Line of the vehicle.
상기 가상 라인 생성 모듈은, 각 가상 라인의 끝점으로부터 도로 면에 수직인 방향으로 연장되는 복수의 수직 가상 라인을 생성하는 역주행 검출 시스템. The method according to claim 1,
Wherein the virtual line generation module generates a plurality of vertical virtual lines extending in a direction perpendicular to the road surface from the end points of the respective virtual lines.
상기 역주행 판정 모듈은, 상기 추적 객체의 이동 경로가 어느 하나의 수직 가상 라인과 교차하면 상기 추적 객체를 역주행 후보로 선정하는 역주행 검출 시스템.The method of claim 3,
Wherein the traversing determination module selects the tracing object as a traversal candidate when the traversing path of the tracing object intersects with any one of the vertical virtual lines.
상기 객체 추적 모듈은, 상기 추적 객체의 위치정보를 지속적으로 버퍼에 저장하며,
상기 역주행 판정 모듈은, 상기 버퍼에 저장된 상기 추적 객체의 위치정보 중 상기 어느 하나의 수직 가상 라인을 지난 위치에서 검출된 위치정보의 비율이 기 설정된 값 이상이면, 상기 추적 객체가 상기 어느 하나의 수직 가상 라인과 교차한 것으로 판단하는 역주행 검출 시스템. 5. The method of claim 4,
Wherein the object tracking module continuously stores location information of the tracking object in a buffer,
Wherein if the ratio of the positional information detected at a position past the one of the vertical virtual lines in the positional information of the tracked object stored in the buffer is equal to or greater than a predetermined value, And determines that the virtual line crosses the virtual line.
상기 객체 추적 모듈은, 상기 추적 객체의 위치정보를 지속적으로 버퍼에 저장하며,
상기 역주행 판정 모듈은, 상기 추적 객체가 상기 역주행 후보로 선정되면, 상기 버퍼에 저장된 상기 위치정보 중 어느 하나를 기준 위치정보로 설정하고, 상기 기준 위치정보를 기준으로 상기 역주행 후보의 이동 경로 및 이동 방향을 획득하는 역주행 검출 시스템. The method according to claim 1,
Wherein the object tracking module continuously stores location information of the tracking object in a buffer,
Wherein the reverse motion determining module sets any one of the position information stored in the buffer as reference position information when the tracking object is selected as the inversion candidate, Back direction detection system.
상기 역주행 판정 모듈은, 상기 도로 영상에서 상기 기준 위치정보에 대응하는 지점과 상기 역주행 후보의 현재 위치를 연결하는 직선의 방향을 상기 역주행 후보의 이동 방향으로 획득하는 역주행 검출 시스템. The method according to claim 6,
Wherein the backward movement determining module acquires a direction of a straight line connecting a point corresponding to the reference position information and a current position of the inversion candidate in the road image in a moving direction of the inversion candidate.
상기 역주행 판정 모듈은, 상기 역주행 후보의 이동 방향과 상기 역주행 방향의 일치도가 기 설정된 수준 이상이면, 상기 역주행 후보의 이동 방향이 상기 역주행 조건을 만족하는 것으로 판정하는 역주행 검출 시스템. 8. The method of claim 7,
Wherein the reverse-driving judging module judges that the moving direction of the backward running candidate satisfies the backward running condition if the degree of matching between the moving direction of the backward running candidate and the backward traveling direction is equal to or greater than a predetermined level.
상기 역주행 판정 모듈은, 상기 도로 영상에서 상기 기준 위치정보에 대응하는 지점과 상기 역주행 후보의 현재 위치 간의 거리를 상기 역주행 후보의 이동 거리로 획득하는 역주행 검출 시스템. The method according to claim 6,
Wherein the inverse-movement determining module acquires a distance between a point corresponding to the reference position information and a current position of the in-flight candidate in the road image, as a travel distance of the in-motion candidate.
상기 역주행 판정 모듈은, 상기 역주행 후보의 이동 거리가 기 설정된 역주행 거리 이상이면 상기 역주행 후보의 이동 거리가 상기 역주행 조건을 만족하는 것으로 판정하는 역주행 검출 시스템. 10. The method of claim 9,
Wherein the reverse-driving judging module judges that the moving distance of the backward running candidate satisfies the backward running condition when the moving distance of the backward running candidate is not less than a predetermined in-travel distance.
상기 역주행 판정 모듈은, 상기 역주행 후보의 이동 경로가 기 설정된 개수 이상의 가상 라인들과 교차하면, 상기 역주행 후보의 이동 거리가 상기 역주행 조건을 만족하는 것으로 판정하는 역주행 검출 시스템.The method according to claim 1,
Wherein the inverse-movement determining module determines that the moving distance of the in-motion candidate meets the back-running condition when the moving path of the in-motion candidate crosses a predetermined number or more of virtual lines.
상기 역주행 판정 모듈은, 상기 역주행 후보의 이동 거리 및 이동 방향이 상기 역주행 조건을 만족한 상태가 소정 구간 동안 유지되면, 상기 역주행 상황인 것으로 판정하는 역주행 검출 시스템. The method according to claim 1,
Wherein the reverse-drive judging module judges that the reverse-running state is the reverse-running state if the state in which the moving distance and the moving direction of the reverse-running candidate satisfy the reverse-running condition is maintained for a predetermined period.
카메라를 통해 도로 영상을 획득하는 단계,
사용자 입력을 토대로, 상기 도로 영상에서의 역주행 방향을 설정하는 단계,
상기 역주행 방향과 교차하는 복수의 가상 라인을 생성하는 단계,
상기 도로 영상으로부터 추적 객체를 검출하는 단계,
상기 추적 객체의 이동 경로가 상기 복수의 가상 라인 중 어느 하나의 가상 라인과 교차하면 상기 추적 객체를 역주행 후보로 선정하는 단계, 그리고
상기 역주행 후보의 이동 방향 및 이동거리가 역주행 조건을 만족하면 역주행 상황으로 판정하는 단계를 포함하며,
상기 복수의 가상 라인을 생성하는 단계는,
사용자 입력에 기초하여 상기 도로 영상 내 역주행 감지 영역을 설정하는 단계,
상기 역주행 감지 영역의 외곽선을 구성하는 복수의 선분 중 상기 역주행 방향과 교차하는 두 개의 선분의 중심점들을 서로 연결하여 기준 선분을 생성하는 단계,
상기 기준 선분 상에서 서로 이격된 복수의 지점을 선택하는 단계, 및
상기 복수의 지점과 각각 교차하도록 상기 복수의 가상 라인을 생성하는 단계를 포함하는 역주행 검출 방법. A method for detecting an inverse movement of an inverse movement detection system,
Obtaining a road image through a camera,
Setting an inverse direction in the road image based on a user input,
Generating a plurality of virtual lines that intersect the inverse direction,
Detecting a tracking object from the road image,
Selecting the tracing object as a traversal candidate when the trajectory of the tracing object crosses one of the plurality of virtual lines;
And determining that the reverse direction is a reverse direction when the moving direction and the moving distance of the backward candidate are satisfied,
Wherein the generating of the plurality of virtual lines comprises:
Setting an inverse traverse detection area in the road image based on a user input,
Generating a reference segment by connecting center points of two line segments intersecting with the inversed direction among a plurality of line segments constituting the outline of the inverse detection area,
Selecting a plurality of points spaced from each other on the reference line segment; and
And generating the plurality of virtual lines to intersect each of the plurality of points.
각 가상 라인의 끝점으로부터 도로 면에 수직인 방향으로 연장되는 복수의 수직 가상 라인을 생성하는 단계를 더 포함하는 역주행 검출 방법.14. The method of claim 13,
Further comprising generating a plurality of vertical virtual lines extending in a direction perpendicular to the road surface from an end point of each virtual line.
상기 추적 객체의 이동 경로가 어느 하나의 수직 가상 라인과 교차하면 상기 추적 객체를 상기 역주행 후보로 선정하는 단계를 더 포함하는 역주행 검출 방법.16. The method of claim 15,
And selecting the tracing object as the inverse-running candidate if the trajectory of the tracing object crosses any of the vertical virtual lines.
상기 추적 객체의 위치정보를 지속적으로 버퍼에 저장하는 단계,
상기 추적 객체가 상기 역주행 후보로 선정되면, 상기 버퍼에 저장된 상기 위치정보 중 어느 하나를 기준 위치정보로 설정하는 단계, 그리고
상기 기준 위치정보를 기준으로 상기 역주행 후보의 이동 경로 및 이동 방향을 획득하는 단계를 더 포함하는 역주행 검출 방법.14. The method of claim 13,
Continuously storing the location information of the tracked object in a buffer,
Setting one of the positional information stored in the buffer as the reference positional information when the tracking object is selected as the inverse-running candidate; and
And obtaining a movement path and a movement direction of the backward candidate based on the reference position information.
상기 역주행 후보의 이동 경로 및 이동 방향을 획득하는 단계는,
상기 도로 영상에서 상기 기준 위치정보에 대응하는 지점과 상기 역주행 후보의 현재 위치를 연결하는 직선의 방향을 상기 역주행 후보의 이동 방향으로 획득하는 단계를 포함하는 역주행 검출 방법.18. The method of claim 17,
Wherein the step of acquiring the moving path and the moving direction of the inverse-
And obtaining a direction of a straight line connecting a point corresponding to the reference position information and a current position of the inverse candidate in the moving image of the inverse candidate in the road image.
상기 역주행 상황으로 판정하는 단계는,
상기 역주행 후보의 이동 방향과 상기 역주행 방향의 일치도가 기 설정된 수준 이상이면, 상기 역주행 후보의 이동 방향이 상기 역주행 조건을 만족하는 것으로 판정하는 단계를 포함하는 역주행 검출 방법.19. The method of claim 18,
Wherein the step of determining the reverse-
And judging that the direction of movement of the inverse-running candidate satisfies the inverse-running condition if the degree of agreement between the direction of movement of the in-flight candidate and the direction of inversion is equal to or greater than a predetermined level.
상기 역주행 후보의 이동 경로 및 이동 방향을 획득하는 단계는,
상기 도로 영상에서 상기 기준 위치정보에 대응하는 지점과 상기 역주행 후보의 현재 위치 간의 거리를 상기 역주행 후보의 이동 거리로 획득하는 단계를 포함하는 역주행 검출 방법.18. The method of claim 17,
Wherein the step of acquiring the moving path and the moving direction of the inverse-
And obtaining a distance between a point corresponding to the reference position information and a current position of the inversion candidate in the road image as a movement distance of the inversion candidate.
상기 역주행 상황으로 판정하는 단계는,
상기 역주행 후보의 이동 거리가 기 설정된 역주행 거리 이상이면 상기 역주행 후보의 이동 거리가 상기 역주행 조건을 만족하는 것으로 판정하는 단계를 포함하는 역주행 검출 방법.21. The method of claim 20,
Wherein the step of determining the reverse-
And determining that the moving distance of the backward candidate is greater than or equal to the predetermined backward traveling distance, if the moving distance of the backward candidate is equal to or greater than a predetermined in-travel distance.
상기 역주행 상황으로 판정하는 단계는,
상기 역주행 후보의 이동 경로가 기 설정된 개수 이상의 가상 라인들과 교차하면, 상기 역주행 후보의 이동 거리가 상기 역주행 조건을 만족하는 것으로 판정하는 단계를 포함하는 역주행 검출 방법.14. The method of claim 13,
Wherein the step of determining the reverse-
And determining that the travel distance of the backward candidate is satisfying the backward running condition if the travel path of the backward candidate crosses a predetermined number or more of virtual lines.
상기 역주행 상황으로 판정하는 단계는,
상기 역주행 후보의 이동 거리 및 이동 방향이 상기 역주행 조건을 만족한 상태가 소정 구간 동안 유지되면, 상기 역주행 상황인 것으로 판정하는 단계인 역주행 검출 방법.14. The method of claim 13,
Wherein the step of determining the reverse-
And determining that the backward running situation is the backward running state if the state in which the moving distance and the moving direction of the backward running candidate satisfy the backward running condition is maintained for a predetermined period.
카메라를 통해 영상을 획득하는 단계,
사용자 입력을 토대로 상기 영상에서의 객체 이동 방향을 설정하는 단계,
사용자 입력을 토대로 상기 영상에서의 객체 감지 영역을 설정하는 단계, 그리고
상기 객체 감지 영역 내에 상기 객체 이동 방향과 교차하는 복수의 가상 라인을 생성하는 단계를 포함하며,
상기 복수의 가상 라인을 생성하는 단계는,
상기 객체 감지 영역의 외곽선을 구성하는 복수의 선분 중 상기 객체 이동 방향과 교차하는 두 개의 선분의 중심점들을 서로 연결하여 기준 선분을 생성하는 단계,
상기 기준 선분 상에서 서로 이격된 복수의 지점을 선택하는 단계, 및
상기 복수의 지점과 각각 교차하도록 상기 복수의 가상 라인을 생성하는 단계를 포함하고,
상기 복수의 가상 라인은, 상기 영상 내에서 객체의 이동 경로를 검출하기 위해 사용되는 가상 라인 생성 방법. A method for generating a virtual line of an object detection system,
Acquiring an image through a camera,
Setting an object moving direction in the image based on a user input,
Setting an object detection area in the image based on user input, and
Generating a plurality of virtual lines intersecting the object moving direction in the object detection area,
Wherein the generating of the plurality of virtual lines comprises:
Generating a reference segment by connecting center points of two line segments intersecting the object movement direction among a plurality of line segments constituting an outline of the object detection region,
Selecting a plurality of points spaced from each other on the reference line segment; and
And generating the plurality of virtual lines to intersect each of the plurality of points,
Wherein the plurality of virtual lines are used to detect a movement path of an object in the image.
각 가상 라인의 끝점으로부터 바닥 면에 수직인 방향으로 연장되는 복수의 수직 가상 라인을 생성하는 단계를 더 포함하는 가상 라인 생성 방법.25. The method of claim 24,
Further comprising generating a plurality of vertical virtual lines extending from an end point of each virtual line in a direction perpendicular to the floor surface.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160038693A KR101877001B1 (en) | 2016-03-30 | 2016-03-30 | Virtual line generation method, system and method for detecting reverse driving of vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160038693A KR101877001B1 (en) | 2016-03-30 | 2016-03-30 | Virtual line generation method, system and method for detecting reverse driving of vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170112111A KR20170112111A (en) | 2017-10-12 |
KR101877001B1 true KR101877001B1 (en) | 2018-07-10 |
Family
ID=60140091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160038693A KR101877001B1 (en) | 2016-03-30 | 2016-03-30 | Virtual line generation method, system and method for detecting reverse driving of vehicle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101877001B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102060273B1 (en) * | 2019-04-04 | 2019-12-27 | 이창우 | Intelligent cctv device based on iot and control system using the same |
KR20240121400A (en) | 2023-02-01 | 2024-08-09 | (주)고려진공안전 | Road reverse running prevention device and reverse running prevention system using radar technology |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102238124B1 (en) * | 2019-11-29 | 2021-04-08 | 주식회사 다누시스 | Detection System For Reverse Direction Moving Object |
CN112150826A (en) * | 2020-07-29 | 2020-12-29 | 广州汽车集团股份有限公司 | Vehicle speed determination method and device and computer readable storage medium |
KR102308446B1 (en) | 2021-04-09 | 2021-10-05 | 주식회사 스누아이랩 | Apparatus for Monitoring Vehicle Reverse Running and Driving Method Thereof |
KR102569502B1 (en) * | 2021-05-13 | 2023-08-23 | 주식회사 산엔지니어링 | System of peventing reverse running using virtulal detection line in image |
CN114509062B (en) * | 2021-12-31 | 2023-10-13 | 武汉中海庭数据技术有限公司 | Retrograde trajectory filtering method and device based on large trajectory data |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004355456A (en) * | 2003-05-30 | 2004-12-16 | Matsushita Electric Ind Co Ltd | Method for object identification, device for object identification and system for traffic volume measuring, monitoring system for rail track, and monitoring system for intruder |
JP2007172246A (en) * | 2005-12-21 | 2007-07-05 | Sumitomo Electric Ind Ltd | Vehicle detector and reversely traveling vehicle detection system |
KR100743610B1 (en) * | 2007-03-27 | 2007-08-01 | 렉스젠(주) | A system for photographing the car |
KR20090053459A (en) * | 2007-11-23 | 2009-05-27 | 렉스젠(주) | A system and method for phtographing the car |
JP2010204748A (en) * | 2009-02-27 | 2010-09-16 | Toyota Motor Corp | Reverse running alarm device and reverse running alarm method |
-
2016
- 2016-03-30 KR KR1020160038693A patent/KR101877001B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004355456A (en) * | 2003-05-30 | 2004-12-16 | Matsushita Electric Ind Co Ltd | Method for object identification, device for object identification and system for traffic volume measuring, monitoring system for rail track, and monitoring system for intruder |
JP2007172246A (en) * | 2005-12-21 | 2007-07-05 | Sumitomo Electric Ind Ltd | Vehicle detector and reversely traveling vehicle detection system |
KR100743610B1 (en) * | 2007-03-27 | 2007-08-01 | 렉스젠(주) | A system for photographing the car |
KR20090053459A (en) * | 2007-11-23 | 2009-05-27 | 렉스젠(주) | A system and method for phtographing the car |
JP2010204748A (en) * | 2009-02-27 | 2010-09-16 | Toyota Motor Corp | Reverse running alarm device and reverse running alarm method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102060273B1 (en) * | 2019-04-04 | 2019-12-27 | 이창우 | Intelligent cctv device based on iot and control system using the same |
KR20240121400A (en) | 2023-02-01 | 2024-08-09 | (주)고려진공안전 | Road reverse running prevention device and reverse running prevention system using radar technology |
Also Published As
Publication number | Publication date |
---|---|
KR20170112111A (en) | 2017-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101877001B1 (en) | Virtual line generation method, system and method for detecting reverse driving of vehicle | |
CN109215433B (en) | Vision-based driving scenario generator for automated driving simulation | |
US20210365696A1 (en) | Vehicle Intelligent Driving Control Method and Device and Storage Medium | |
US8564657B2 (en) | Object motion detection system based on combining 3D warping techniques and a proper object motion detection | |
KR100854766B1 (en) | Method for detecting of parking area by using range sensor | |
JP5023186B2 (en) | Object motion detection system based on combination of 3D warping technique and proper object motion (POM) detection | |
JP5434285B2 (en) | Obstacle detection device | |
JP2017162116A (en) | Image processing device, imaging device, movable body apparatus control system, image processing method and program | |
JP2010198552A (en) | Driving state monitoring device | |
CN110619674B (en) | Three-dimensional augmented reality equipment and method for accident and alarm scene restoration | |
JP2011134207A (en) | Drive recorder and map generation system | |
US20180012068A1 (en) | Moving object detection device, image processing device, moving object detection method, and integrated circuit | |
CN111497741A (en) | Collision early warning method and device | |
US20180012368A1 (en) | Moving object detection device, image processing device, moving object detection method, and integrated circuit | |
JP6523196B2 (en) | Estimation apparatus, method and program | |
JP2013206067A (en) | Straight line detection device, straight line detection method and straight line detection program | |
JPWO2018180285A1 (en) | Three-dimensional data generation device, three-dimensional data generation method, three-dimensional data generation program, and computer-readable recording medium storing three-dimensional data generation program | |
JP2005170290A (en) | Obstacle detecting device | |
JP5903901B2 (en) | Vehicle position calculation device | |
JP5891802B2 (en) | Vehicle position calculation device | |
US20210402616A1 (en) | Information processing apparatus, information processing method, mobile robot, and non-transitory computer-readable storage medium | |
JP4106163B2 (en) | Obstacle detection apparatus and method | |
JP2018088234A (en) | Information processing device, imaging device, apparatus control system, movable body, information processing method, and program | |
US20190156512A1 (en) | Estimation method, estimation apparatus, and non-transitory computer-readable storage medium | |
JP4847303B2 (en) | Obstacle detection method, obstacle detection program, and obstacle detection apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |