KR102345798B1 - Intersection signal violation recognition and image storage device - Google Patents
Intersection signal violation recognition and image storage device Download PDFInfo
- Publication number
- KR102345798B1 KR102345798B1 KR1020210035357A KR20210035357A KR102345798B1 KR 102345798 B1 KR102345798 B1 KR 102345798B1 KR 1020210035357 A KR1020210035357 A KR 1020210035357A KR 20210035357 A KR20210035357 A KR 20210035357A KR 102345798 B1 KR102345798 B1 KR 102345798B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- image
- storage device
- event
- intersection
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 94
- 230000008859 change Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 36
- 230000009466 transformation Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000001149 cognitive effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000010191 image analysis Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G06K9/00201—
-
- G06K9/00791—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G06K2209/23—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 신호위반 모니터링 기술에 관한 것으로, 보다 상세하게는 교차로에서의 신호위반 영상을 한 화면에 효과적으로 확보하여 교통 감시를 효과적으로 제공할 수 있는 교차로 꼬리물기 인지 및 영상 저장 장치에 관한 것이다.The present invention relates to a signal violation monitoring technology, and more particularly, to an intersection bite recognition and image storage device that can effectively provide traffic monitoring by effectively securing a signal violation image at an intersection on one screen.
'꼬리물기'는 보통 정체된 차량 행렬의 끝부분을 따라 이동하는 모습에서 유래된 표현으로, 꼭 정체된 경우가 아니라 하더라도 신호가 변경되는 시점 또는 이미 변경된 시점에 진입하는 교통신호 위반의 경우도 포함하여 일컬어지고 있다. 'Tail biting' is an expression derived from moving along the end of a line of vehicles that are usually congested, and even if it is not a traffic jam, it includes cases of traffic signal violations entering at the time when the signal changes or has already changed. It is called
도로교통법에는 교통 정체로 인해 제 신호에 교차로를 통과할 수 없을 때는 교차로에 진입해서는 안 된다는 점을 명시적으로 규정하고 있다. 즉, 정체된 상황에서 교차로를 진입하지 못하게 하면 그 방향으로만 정체가 발생하는 반면, 늦은 신호에도 계속 진입하게 되면 모든 방향에서 정체가 생기게 되고 이로 인해 정체를 해소하기가 더욱 어렵게 되므로 볍률에 명시적인 규정을 두어 이를 금지하고 있다.The Road Traffic Act explicitly stipulates that you must not enter an intersection when you cannot pass the intersection at your signal due to traffic congestion. In other words, if you prevent an intersection from entering in a congested situation, congestion will occur only in that direction, whereas if you continue to enter even at a late signal, congestion will occur in all directions, making it more difficult to clear the congestion. There are rules that forbid this.
신호가 변경되는 도중이나 변경된 후 앞차에 바짝 붙어 무리하게 진입한 경우 신호를 위반한 것으로 간주하여 범칙금 6만원과 벌점 15점이 부과되며, 녹색 신호에 맞춰 출발했지만 신호가 바뀔 때까지 교차로를 통과하지 못한 경우에는 신호 위반이 아닌 교차로 통행방법 위반으로 범칙금 4만원이 부과될 수 있다.If you forcefully approach the vehicle in front during or after the signal is changed, you will be deemed to have violated the signal and a fine of 60,000 won and 15 demerit points will be imposed. In this case, a fine of 40,000 won may be imposed for violating the intersection method rather than a signal violation.
최근에는 경찰관의 직접 단속 외에도 CCTV 등 무인단속 장비를 통한 단속도 이루어지고 있고, 일반 시민들도 국민신문고에서 꼬리물기, 신호위반, 끼어들기 등 총 11개 항목의 교통법규 위반 행위를 신고할 수 있으며, 이 때 위반행위를 명확하게 판단할 수 있는 사진 또는 동영상을 첨부해야 한다.Recently, in addition to direct crackdowns by police officers, crackdowns are being conducted through unmanned enforcement equipment such as CCTV, and ordinary citizens can also report violations of traffic laws in a total of 11 items, such as tail biting, signal violation, and interruption, at the National Reporting Center. In this case, a photo or video that can clearly determine the violation must be attached.
특히, 차량을 운행하는 운전자는 앞차의 신호 위반 행위를 가장 확실하게 적발할 수 있는 위치에 있음에도 불구하고 차량을 운행하는 과정에서 신호 위반 행위를 신속하게 촬영하는 것은 어려울 뿐만 아니라 운전자에게 위험한 상황을 초래할 수 있어 권장되고 있지 않다.In particular, even though the driver of the vehicle is in a position to most certainly detect the signal violation of the vehicle in front, it is difficult to quickly photograph the signal violation in the process of driving the vehicle, and it may cause a dangerous situation for the driver. may not be recommended.
본 발명의 일 실시예는 교차로에서의 신호위반 영상을 한 화면에 효과적으로 확보하여 교통 감시를 효과적으로 제공할 수 있는 교차로 꼬리물기 인지 및 영상 저장 장치를 제공하고자 한다.An embodiment of the present invention is to provide an apparatus for detecting and storing an image of a tailgating intersection capable of effectively providing traffic monitoring by effectively securing a signal violation image at an intersection on one screen.
본 발명의 일 실시예는 적은 비용과 적은 데이터 전송비용으로 구현이 가능하고 차량의 번호판이 가장 잘 보이는 차량 후방에서 차량과 같은 높이로 촬영할 수 있으며 한 화면에 정지선(너머 교차로 구역), 신호등 및 위반 차량을 모두 담을 수 있는 교차로 꼬리물기 인지 및 영상 저장 장치를 제공하고자 한다.One embodiment of the present invention can be implemented with low cost and low data transmission cost, and can be photographed at the same height as the vehicle from the rear of the vehicle where the license plate of the vehicle is most visible, and stop lines (crossroads area), traffic lights and violations on one screen We want to provide an intersection tail bite recognition and image storage device that can contain all vehicles.
실시예들 중에서, 교차로 꼬리물기 인지 및 영상 저장 장치는 차량에 설치되고 상기 차량의 진행 방향을 향하도록 장착되는 적어도 하나의 카메라; 상기 적어도 하나의 카메라가 촬영한 전방 영상을 저장하는 메모리; 및 상기 메모리와 전기적으로 연결되는 프로세서;를 포함하고, 상기 프로세서는 상기 전방 영상을 분석하여 객체 및 도로 영역을 식별하고, 상기 차량의 주행 상태와 상기 객체의 상태 정보를 기반으로 감시 시점을 결정하며, 상기 감시 시점의 전후 시간 동안 상기 도로 영역을 기준으로 설정된 감시 영역 내의 상태 변화를 관찰하고, 상기 상태 변화가 기 설정된 이벤트 조건을 충족하는 경우 해당 이벤트의 발생을 결정하여 상기 전후 시간 동안의 이벤트 영상을 상기 메모리에 저장한다.Among the embodiments, the apparatus for detecting and storing an intersection tailing may include: at least one camera installed in a vehicle and mounted to face a traveling direction of the vehicle; a memory for storing a front image captured by the at least one camera; and a processor electrically connected to the memory, wherein the processor analyzes the front image to identify an object and a road area, and determines a monitoring time based on the driving state of the vehicle and state information of the object, , for the time before and after the monitoring time, observing the change of state within the monitoring area set based on the road area, and determining the occurrence of the corresponding event when the change of state satisfies a preset event condition, thereby capturing the event image during the before and after time is stored in the memory.
상기 프로세서는 상기 객체 및 도로 영역의 식별을 독립적으로 수행하는 제1 및 제2 모델들을 구축하고, 상기 제1 모델은 상기 전방 영상을 입력으로 수신하여 피처맵으로 변환하고 해당 피처맵에서 상기 객체에 대응되는 관심영역을 결정하며 해당 관심영역에 대한 식별 정보를 출력으로 생성하도록 구현되고, 상기 제2 모델은 상기 전방 영상을 입력으로 수신하여 피처맵으로 변환하는 인코딩 단계와 해당 피처맵을 복원하는 디코딩 단계를 수행함으로써 각 픽셀에 부여된 분류 속성을 출력으로 생성하도록 구현될 수 있다.The processor constructs first and second models for independently identifying the object and the road area, and the first model receives the front image as an input, converts it into a feature map, and adds the object to the object in the feature map. It is implemented to determine a corresponding region of interest and generate identification information for the region of interest as an output, and the second model receives the front image as an input and converts it into a feature map, and decoding to restore the feature map It can be implemented to generate as output a classification attribute assigned to each pixel by performing the steps.
상기 프로세서는 상기 차량이 고정 경로를 따라 이동하는 경우 상기 차량의 GPS 좌표를 해당 고정 경로와 비교하여 상기 감시 영역을 검증하고, 그렇지 않은 경우 상기 차량의 GPS 좌표를 관제 서버에 질의하여 상기 감시 영역을 검증할 수 있다.The processor verifies the monitoring area by comparing the GPS coordinates of the vehicle with the fixed path when the vehicle moves along a fixed route, otherwise queries the control server for the GPS coordinates of the vehicle to determine the monitoring area can be verified.
상기 프로세서는 상기 해당 이벤트의 발생을 관제 서버에 보고하거나, 또는 해당 보고와 함께 상기 이벤트 영상을 상기 관제 서버로 전송하거나, 또는 상기 관제 서버의 요청에 대한 응답으로서 상기 이벤트 영상을 전송하고, 상기 이벤트 영상의 전송은 기 설정된 위치 영역들에 대해 상기 차량의 진입이 검출되면 자동 개시되도록 설정될 수 있다.The processor reports the occurrence of the corresponding event to the control server, or transmits the event video to the control server together with the report, or transmits the event video as a response to a request from the control server, and the event Transmission of the image may be set to be automatically started when the vehicle's entry is detected with respect to preset location areas.
상기 프로세서는 상기 감시 영역 내로 상기 객체의 진입에 의한 상태 변화가 검출되고 상기 객체가 차량으로 식별된 경우 상기 이벤트 영상의 저장과 함께 상기 객체의 움직임을 추적(tracking)할 수 있다.When a state change due to the entry of the object into the monitoring area is detected and the object is identified as a vehicle, the processor may track the movement of the object together with the storage of the event image.
상기 프로세서는 상기 차량을 기준으로 정의되는 3차원 도로 좌표계와 상기 전방 영상의 소실점(vanishing point)을 기준으로 정의되는 2차원 영상 좌표계 간의 변환 관계에 기반하여 상기 전방 영상의 분석 결과로서 상기 차량과 상기 객체 간의 거리를 추적할 수 있다.The processor determines the vehicle and the vehicle as a result of analysis of the front image based on a transformation relationship between a three-dimensional road coordinate system defined with respect to the vehicle and a two-dimensional image coordinate system defined with respect to a vanishing point of the front image. You can track the distance between objects.
상기 프로세서는 상기 전방 영상으로부터 서로 다른 제1 및 제2 시점들 각각에서 상기 객체에 관한 상기 도로 좌표계 상의 제1 및 제2 위치들을 산출하고, 상기 제1 및 제2 위치들을 기초로 제3 시점에서 상기 객체의 제3 위치와 속도를 산출하며, 상기 제3 위치에 상기 변환 관계를 적용하여 도출되는 상기 영상 좌표계 상의 위치를 기준으로 상기 제3 시점의 상기 전방 영상에서 동일한 분류 속성을 갖는 객체가 검출되면 상기 추적을 계속할 수 있다.The processor calculates first and second positions on the road coordinate system with respect to the object at different first and second viewpoints, respectively, from the front image, and at a third viewpoint based on the first and second positions A third position and velocity of the object are calculated, and an object having the same classification property is detected in the front image of the third viewpoint based on a position on the image coordinate system derived by applying the transformation relationship to the third position. If so, the tracking can be continued.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be understood as being limited thereby.
본 발명의 일 실시예에 따른 교차로 꼬리물기 인지 및 영상 저장 장치는 적은 비용과 적은 데이터 전송비용으로 구현이 가능하고 차량의 번호판이 가장 잘 보이는 차량 후방에서 차량과 같은 높이로 촬영할 수 있으며 한 화면에 정지선(너머 교차로 구역), 신호등 및 위반 차량을 모두 담을 수 있다.The intersection tailing recognition and image storage device according to an embodiment of the present invention can be implemented with low cost and low data transmission cost, and can be photographed at the same height as the vehicle from the rear of the vehicle where the license plate of the vehicle is most visible, and can be displayed on one screen. It can contain stop lines (crossroads areas), traffic lights, and offending vehicles.
본 발명의 일 실시예에 따른 교차로 꼬리물기 인지 및 영상 저장 장치는 주로 사업용 차량에 장착되어 차량의 안전운전을 관리하는 장치로서 택시, 시내버스, 고속버스 등 차량에 장착되어 일반차선 및 버스 전용차선에서 교차로 구간을 효과적으로 감시할 수 있다.The device for recognizing an intersection tail bite and image storage according to an embodiment of the present invention is a device that is mainly installed on a commercial vehicle to manage the safe driving of the vehicle. can effectively monitor the intersection section in
도 1은 본 발명에 따른 인지/영상 저장 시스템을 설명하는 도면이다.
도 2는 도 1의 인지/영상 저장 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 2의 프로세서의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 교차로 꼬리물기 인지 및 영상 저장 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 도로 상 객체에 관한 인지 동작을 설명하는 도면이다.
도 6은 본 발명에 따른 도로 상 노면 표지에 관한 인지 동작을 설명하는 도면이다.
도 7은 본 발명에 따른 도로 및 영상 상의 차량 위치에 관한 변환 관계를 설명하는 도면이다.
도 8은 본 발명에 따른 차량의 위치 추적 방법을 설명하는 도면이다.
도 9는 본 발명에 따른 교차로 감시 영역 설정 동작을 설명하는 도면이다.1 is a view for explaining a recognition/image storage system according to the present invention.
FIG. 2 is a diagram for explaining a system configuration of the recognition/image storage device of FIG. 1 .
FIG. 3 is a diagram for explaining a functional configuration of the processor of FIG. 2 .
4 is a flowchart illustrating a method for recognizing an intersection tail bite and storing an image according to the present invention.
5 is a view for explaining a recognition operation with respect to an object on a road according to the present invention.
6 is a view for explaining a recognition operation with respect to a road surface mark on a road according to the present invention.
7 is a view for explaining a transformation relationship with respect to a vehicle position on a road and an image according to the present invention.
8 is a view for explaining a method for tracking a location of a vehicle according to the present invention.
9 is a view for explaining an operation of setting an intersection monitoring area according to the present invention.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is merely an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiment described in the text. That is, since the embodiment may have various changes and may have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, it should not be understood that the scope of the present invention is limited thereby.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are for distinguishing one component from another, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being “connected to” another component, it may be directly connected to the other component, but it should be understood that other components may exist in between. On the other hand, when it is mentioned that a certain element is "directly connected" to another element, it should be understood that the other element does not exist in the middle. Meanwhile, other expressions describing the relationship between elements, that is, "between" and "between" or "neighboring to" and "directly adjacent to", etc., should be interpreted similarly.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood as including the plural expression unless the context clearly dictates otherwise, and terms such as "comprises" or "have" refer to the embodied feature, number, step, action, component, part or these It is intended to indicate that a combination exists, and it should be understood that it does not preclude the possibility of the existence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, identification numbers (eg, a, b, c, etc.) are used for convenience of description, and identification numbers do not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. . Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. In addition, the computer-readable recording medium is distributed in a computer system connected to a network, so that the computer-readable code can be stored and executed in a distributed manner.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless otherwise defined. Terms defined in general used in the dictionary should be interpreted as having the meaning consistent with the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.
도 1은 본 발명에 따른 인지/영상 저장 시스템을 설명하는 도면이다.1 is a view for explaining a recognition/image storage system according to the present invention.
도 1을 참조하면, 인지/영상 저장 시스템(100)은 차량(110), 인지/영상 저장 장치(130) 및 데이터베이스(150)를 포함할 수 있다.Referring to FIG. 1 , the cognitive/
차량(110)은 엔진에 의해 생산된 동력을 이용하여 승객이나 화물을 운반하는 교통수단에 해당할 수 있고, 대표적인 예로서 자동차에 해당할 수 있다. 차량(110)은 자동차 뿐만 아니라 오토바이, 자전거 등을 포함할 수 있고, 세그웨이(Segway), 전동킥보드, 전동휠체어 등의 퍼스널 모빌리티(person mobility) 등을 포함할 수 있으며, 반드시 이에 한정되지 않고, 동력을 이용하여 움직일 수 있는 다양한 운송 수단을 포함할 수 있다.The
일 실시예에서, 차량(110)은 부품들의 상태를 모니터링하거나 또는 운전자 및 탑승자의 상태를 모니터링하기 위하여 관련 데이터를 측정할 수 있는 다양한 센서들을 포함하여 구현될 수 있다. 예를 들어, 차량(110)은 차량 움직임에 관한 가속 센서, 브레이크 센서, 가속도 센서, 진동 센서, GPS(Global Positioning System) 센서, 유량 센서 및 조향각 센서 등을 포함할 수 있고, 운전자 및 차량 환경에 관한 심박동 센서, 온/습도 센서, 가스 센서 및 공기질 센서 등을 포함할 수 있다. 차량(110)은 인지/영상 저장 장치(130)와 유선 또는 무선 네트워크를 통해 연결될 수 있으며, 네트워크를 통해 데이터를 송·수신할 수 있다.In one embodiment, the
인지/영상 저장 장치(130)는 교차로에서 차량(110)들의 신호위반 행위를 감시하고 그에 관한 영상을 자동으로 확보하도록 구현된 컴퓨팅 장치 또는 이를 수행하는 독립된 서버 장치로 구현될 수 있다. 인지/영상 저장 장치(130)는 차량(110)과 블루투스, WiFi, LTE 등과 같은 무선 네트워크로 연결되어 데이터를 송·수신할 수 있으며, 복수의 차량(110)들과 동시에 연결되어 동작하도록 구현될 수 있다.The recognition/
또한, 인지/영상 저장 장치(130)는 데이터의 수집 또는 추가 기능의 제공을 위하여 별도의 외부 시스템(도 1에 미도시함)과 연동하여 동작하도록 구현될 수도 있다. 예를 들어, 외부 시스템은 신호위반 행위를 신고하기 위한 신고 서버, 도로 교통상황을 모니터링하고 관리하는 관제 서버 등을 포함할 수 있다. 즉, 인지/영상 저장 장치(130)는 교차로 상의 꼬리물기와 같은 신호위반 행위를 감지하고 이에 관한 영상을 수행하는 독립적인 동작을 처리하면서 외부 시스템과 연동하여 관련 정보를 제공하거나 추가 동작을 수행하도록 하는 확장성을 제공할 수 있다.In addition, the recognition/
데이터베이스(150)는 인지/영상 저장 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 차량(110)에 설치된 복수의 센서들에 의해 측정된 다양한 상태 정보들을 저장할 수 있고, 차량(110)에 설치된 카메라를 통해 촬영한 신호위반 행위에 관한 영상 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 인지/영상 저장 장치(130)가 신호위반 행위를 감지하고 이에 관한 영상을 촬영하는 동작을 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The
한편, 도 1에서, 데이터베이스(150)는 인지/영상 저장 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 인지/영상 저장 장치(130)의 논리적인 저장장치로서 인지/영상 저장 장치(130)에 포함되어 구현될 수 있음은 물론이다.Meanwhile, in FIG. 1 , the
도 2는 도 1의 인지/영상 저장 장치의 시스템 구성을 설명하는 도면이다.FIG. 2 is a diagram for explaining a system configuration of the recognition/image storage device of FIG. 1 .
도 2를 참조하면, 인지/영상 저장 장치(130)는 프로세서(210), 카메라 모듈(230), 메모리(250), 사용자 입출력부(270) 및 네트워크 입출력부(290)를 포함하여 구현될 수 있다.Referring to FIG. 2 , the recognition/
프로세서(210)는 인지/영상 저장 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(250)를 관리할 수 있으며, 메모리(250)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 인지/영상 저장 장치(130)의 동작 전반을 제어할 수 있고, 카메라 모듈(230), 메모리(250), 사용자 입출력부(270) 및 네트워크 입출력부(290)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 인지/영상 저장 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.The
카메라 모듈(230)은 사진 또는 동영상을 촬영하여 이에 관한 파일을 생성할 수 있는 적어도 하나의 카메라를 포함할 수 있다. 카메라 모듈(230)은 차량(110)에 설치되어 동작할 수 있으며, 이 경우 네트워크를 통해 관련 데이터를 전송할 수 있다. 카메라 모듈(230)은 차량(110)에 설치된 다양한 카메라 장치들과 독립된 장치로서 구현될 수 있으나, 반드시 이에 한정되지 않고, 기존에 설치된 카메라 장치들에 설치 가능한 기능적인 소프트웨어로 구현될 수도 있다. 카메라 모듈(230)은 프로세서(210)의 제어 신호에 따라 동작할 수 있으며, 메모리(250), 사용자 입출력부(270) 및 네트워크 입출력부(290)와 연동하여 동작하도록 구현될 수 있다.The
일 실시예에서, 카메라 모듈(230)은 차량(110)에 설치된 상태에서 차량(110)의 진행 방향을 향하도록 설치되어 동작 신호의 전달에 따라 차량(110)의 전방에 형성되는 특정 영역 내의 영상을 촬영하도록 구현될 수 있다.In one embodiment, the
메모리(250)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 인지/영상 저장 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 일 실시예에서 메모리(250)는 휴대용 비휘발성 메모리(예를 들어, 마이크로 SD 카드 등)를 포함할 수 있고, 카메라 모듈(230)을 통해 촬영된 사진 또는 영상을 외부로 옮기는데 사용될 수 있다.The
사용자 입출력부(270)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(270)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(270)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 인지/영상 저장 장치(130)는 독립적인 서버로서 수행될 수 있다.The user input/
네트워크 입출력부(290)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다. 또한, 네트워크 입출력부(290)는 영상 데이터의 무선 전송을 위해 WiFi, 블루투스 등의 근거리 통신 기능이나 4G 이상의 무선 통신 기능을 제공하도록 구현될 수 있다.The network input/
도 3은 도 2의 프로세서의 기능적 구성을 설명하는 도면이다.FIG. 3 is a diagram for explaining a functional configuration of the processor of FIG. 2 .
도 3을 참조하면, 인지/영상 저장 장치(130)는 프로세서(210)를 통해 교차로 꼬리물기 등의 교통신호 위반행위를 감지하여 그에 관한 영상을 제공하기 위한 다양한 동작들을 수행할 수 있으며, 이를 위해 각 기능들을 독립적으로 수행하는 복수의 모듈들로 구분되어 정의될 수 있다.Referring to FIG. 3 , the recognition/
보다 구체적으로, 프로세서(210)는 영상 식별부(310), 감시 시점 결정부(330), 상태 모니터링부(350), 이벤트 처리부(370) 및 제어부(390)를 포함할 수 있다.More specifically, the
영상 식별부(310)는 전방 영상을 분석하여 객체 및 도로 영역을 식별할 수 있다. 영상 식별부(310)는 차량(110)에 설치된 카메라 모듈(230)로부터 실시간 촬영된 전방 영상을 수신할 수 있으며, 이를 분석하여 차량(110)의 전방에서 감지되는 객체를 식별하거나 또는 도로 상에 표시된 표지들을 인지할 수 있다. 영상 식별부(310)는 전방 영상에 관한 영상 분석을 통해 식별되는 객체를 사람, 동물, 도로 시설 및 차량(110)으로 제한할 수 있다. 또한, 영상 식별부(310)는 식별 가능한 도로 표지로서 정지선, 횡단보도, 중앙선을 포함한 차선으로 제한할 수 있다. 또한, 영상 식별부(310)는 영상 분석을 통해 도로 상에 존재하는 과속방지턱, 포트홀, 인도(또는 보도) 등을 선택적으로 식별할 수도 있다.The
일 실시예에서, 영상 식별부(310)는 객체 및 도로 영역의 식별을 독립적으로 수행하는 제1 및 제2 모델들을 구축할 수 있다. 즉, 영상 식별부(310)는 전방 영상 속에 존재하는 다양한 객체 및 영역을 효과적으로 식별하기 위해 인공지능 모델을 구축할 수 있으며, 필요에 따라 식별되는 데이터 유형을 구분하여 복수의 모델들을 독립적으로 구축할 수 있다. 보다 구체적으로, 영상 식별부(310)는 전방 영상 내에서 객체를 식별하고 위치 및 크기에 관한 정보를 제공하는 제1 모델과 전방 영상을 영역 별로 구분하여 영역의 모양과 유형에 관한 정보를 제공하는 제2 모델을 각각 구축할 수 있다. In an embodiment, the
여기에서, 제1 모델은 전방 영상을 입력으로 수신하여 해당 전방 영상 내에서 식별된 객체들에 관한 정보를 출력으로 생성하는 인공지능 모델에 해당할 수 있다. 제1 모델은 전방 영상을 피처맵으로 변환하고 해당 피처맵에서 객체에 대응되는 관심영역을 결정하며 해당 관심영역에 대한 식별 정보를 출력으로 생성하도록 구현될 수 있다. 예를 들어, 제1 모델은 CNN 기반의 학습 모델로 구현될 수 있으며, CNN 모델 구축에 필요한 필수 파라미터들이 설정되면 구체적인 학습을 통해 기 설정된 식별 정확도를 달성할 때까지 학습 과정이 반복 수행될 수 있다. 이에 대해서는 도 5에서 보다 자세히 설명한다.Here, the first model may correspond to an artificial intelligence model that receives a front image as an input and generates information about objects identified in the corresponding front image as an output. The first model may be implemented to convert the front image into a feature map, determine an ROI corresponding to an object in the corresponding feature map, and generate identification information for the ROI as an output. For example, the first model may be implemented as a CNN-based learning model, and when essential parameters necessary for constructing the CNN model are set, the learning process may be repeatedly performed until a preset identification accuracy is achieved through specific learning. . This will be described in more detail with reference to FIG. 5 .
또한, 제2 모델은 전방 영상을 입력으로 수신하여 해당 전방 영상을 각 유형 별로 구분한 영역 정보를 출력으로 생성하는 인공지능 모델에 해당할 수 있다. 제2 모델은 전방 영상을 피처맵으로 변환하는 인코딩 단계와 해당 피처맵을 복원하는 디코딩 단계를 수행함으로써 각 픽셀에 부여된 분류 속성을 출력으로 생성하도록 구현될 수 있다. 즉, 제2 모델의 출력으로부터 동일한 분류 속성을 가진 픽셀들을 그룹화함으로써 각 유형별 영역 정보를 획득할 수 있다. 예를 들어, 제2 모델은 DNN(Deep Neural Network) 기반의 합성곱 인코더-디코더(convolutional encoder-decoder) 기법을 적용하여 구현될 수 있다. 이에 대해서는 도 6에서 보다 자세히 설명한다.In addition, the second model may correspond to an artificial intelligence model that receives a front image as an input and generates region information obtained by classifying the front image for each type as an output. The second model may be implemented to generate a classification property assigned to each pixel as an output by performing an encoding step of converting the front image into a feature map and a decoding step of reconstructing the corresponding feature map. That is, region information for each type may be obtained by grouping pixels having the same classification property from the output of the second model. For example, the second model may be implemented by applying a deep neural network (DNN)-based convolutional encoder-decoder technique. This will be described in more detail with reference to FIG. 6 .
감시 시점 결정부(330)는 차량(110)의 주행 상태와 객체의 상태 정보를 기반으로 감시 시점을 결정할 수 있다. 여기에서, 감시 시점은 차량(110)의 주행 과정에서 교통신호 위반행위가 발생할 가능성이 높은 시점에 해당할 수 있다. 예를 들어, 감시 시점은 교차로에 정차하거나, 진입 및 회전하는 시점, 횡단보도에 정차하거나 통과하는 시점 등을 포함할 수 있다. 여기에서는, 감시 시점이 교차로에 정차하는 시점에 해당함을 가정하여 설명하지만, 반드시 이에 한정되지 않고, 차량(110)의 주행 과정 중 특정 시점을 감시 시점으로 설정하여 동일한 동작을 적용할 수 있음은 물론이다.The
즉, 감시 시점 결정부(330)는 영상 분석을 통해 교차로의 신호등이 적색 상태로 인지되는 시점을 기준으로 감시 시점으로 결정할 수 있다. 예를 들어, 감시 시점 결정부(330)는 교차로의 신호등이 적색 상태로 변경될 때 교차로 상의 특정 영역 내에 차량(110)이 존재하는 경우 해당 변경 시점을 감시 시점으로 결정할 수 있다. 또한, 감시 시점 결정부(330)는 교차로의 신호등이 적색 상태를 유지하고 있는 도중에 교차로 상의 특정 영역 내로 차량(110)의 진입이 검출되는 경우 해당 검출 시점을 감시 시점으로 결정할 수 있다. 감시 시점 결정부(330)는 차량(110)이 도로를 주행하는 과정에서 신호위반이 발생하는 다양한 상황들을 기준으로 감시 시점을 선택적으로 설정할 수 있다.That is, the monitoring
상태 모니터링부(350)는 감시 시점의 전후 시간 동안 도로 영역을 기준으로 설정된 감시 영역 내의 상태 변화를 관찰할 수 있다. 도로 영역은 영상 식별부(310)를 통해 전방 영상으로부터 도출될 수 있으며, 감시 영역은 차량(110)의 신호위반 행위를 감시하기 위해 영상을 촬영하는 대상 영역에 해당할 수 있다. 교차로의 신호등이 적색인 경우라면 교차로 상의 중앙 영역이 감시 영역으로 설정될 수 있다. 즉, 교차로의 신호등이 적색인 경우 차량(110)은 정지선에 정차해야 하며, 만약 이때 교차로의 중앙 영역으로 진입한다면 신호위반 행위에 해당할 수 있다. 상태 모니터링부(350)는 전방 영상을 통해 감시 영역을 결정하고 해당 감시 영역 내의 상태 변화를 관찰할 수 있으며, 상태 변화가 관찰되면 해당 차량(110)의 주행이 신호위반 행위인지를 결정하여 이후 동작을 수행할 수 있다.The
일 실시예에서, 상태 모니터링부(350)는 차량(110)이 고정 경로를 따라 이동하는 경우 차량(110)의 GPS 좌표를 해당 고정 경로와 비교하여 감시 영역을 검증할 수 있고, 그렇지 않은 경우 차량(110)의 GPS 좌표를 관제 서버에 질의하여 감시 영역을 검증할 수 있다. 기본적으로 상태 모니터링부(350)는 차량(110)의 전방 영상을 분석하여 감시 영역을 결정할 수 있으며, 감시 영역에 관한 결정을 검증하기 위한 동작을 추가적으로 수행할 수 있다.In one embodiment, the
보다 구체적으로, 전방 영상을 촬영하는 차량(110)이 버스 등과 같이 미리 설정된 고정 경로를 따라 이동하는 경우라면, 차량(110)의 GPS 좌표를 해당 고정 경로와 비교하여 현재 차량(110)의 위치가 고정 경로 상에 존재하는 교차로의 위치와 인접한지를 검증하여 설정된 감시 영역이 유효한지를 결정할 수 있다. 이때, 고정 경로에 관한 정보는 해당 차량(110)에 저장되어 관리될 수 있으며, 상태 모니터링부(350)는 차량(110)으로부터 전방 영상과 함께 고정 경로에 관한 정보를 함께 수신할 수 있다.More specifically, if the
또한, 차량(110)이 일반 승용차와 같이 고정 경로를 따라 이동하지 않는 경우라면, 차량(110)의 GPS 좌표를 관제 서버에 질의하여 해당 차량(110)이 현재 교차로 인근에 위치하는지를 검증함으로써 감시 영역의 유효 여부를 결정할 수 있다.In addition, if the
일 실시예에서, 상태 모니터링부(350)는 감시 영역 내로 객체의 진입에 의한 상태 변화가 검출되고 객체가 차량(110)으로 식별된 경우 이벤트 영상의 저장과 함께 객체의 움직임을 추적(tracking)할 수 있다. 예를 들어, 교차로의 신호가 적색인 경우 주행 중인 차량(110)은 정지선에서 정차하여야 하고, 만약 교차로로 진입한다면 신호위반 행위에 해당할 수 있다. 상태 모니터링부(350)는 차량(110)의 전방 영상을 통해 감시 영역으로 객체의 진입이 감지되고 해당 객체가 차량(110)으로 식별된 경우 '교차로 신호위반' 이벤트를 발생시킬 수 있고, 해당 차량(110)의 진입 전후의 영상을 저장할 수 있다.In one embodiment, the
이때, 상태 모니터링부(350)는 해당 차량(110)의 번호판을 식별하여 차량번호를 영상의 식별정보로서 추가할 수 있다. 또한, 상태 모니터링부(350)는 감시 영역으로의 객체 진입에 따른 상태 변화가 검출된 경우라 하더라도 해당 객체의 진행 방향이 차량(110)의 진행 방향과 반대인 경우라면 이벤트 발생 및 영상 저장에 관한 동작을 생략할 수 있다. 즉, 상태 모니터링부(350)는 차량(110)의 진행 방향과 동일한 방향으로 주행하는 객체들을 대상으로 관련 동작을 선택적으로 수행할 수 있다.In this case, the
일 실시예에서, 상태 모니터링부(350)는 차량(110)을 기준으로 정의되는 3차원 도로 좌표계와 전방 영상의 소실점(vanishing point)을 기준으로 정의되는 2차원 영상 좌표계 간의 변환 관계에 기반하여 전방 영상의 분석 결과로서 차량(110)과 객체 간의 거리를 추적할 수 있다. 즉, 상태 모니터링부(350)는 전방 영상 내에서 객체의 움직임을 추적할 수 있고, 영상 내에서의 구체적인 위치 좌표를 실세계의 도로 상의 위치로 변환하여 해당 객체의 실제 움직임에 관한 정보를 모니터링 정보로서 수집할 수 있다. 해당 변환 관계는 전방 영상을 촬영하는 카메라의 방향와 촬영 해상도 및 차량의 크기와 카메라 설치 위치 등을 고려하여 사전에 산출되어 저장될 수 있다.In an embodiment, the
따라서, 상태 모니터링부(350)는 전방 영상에 대한 영상 분석을 통해 2차원의 영상 좌표계에서 객체의 위치 좌표를 획득할 수 있고, 해당 위치 좌표에 미리 산출된 변환 관계를 적용함으로써 3차원의 도로 좌표계에서 실제 객체의 위치 좌표를 획득할 수 있다. 이후, 상태 모니터링부(350)는 차량(110)의 현재 위치 좌표와 객체의 위치 좌표를 기초로 도로 상에서 상호 간의 거리 정보를 추적할 수 있다. 상태 모니터링부(350)는 차량(110)과 객체의 거리 정보를 추적하여 객체의 이동 속도와 방향 등에 관한 정보를 추가적으로 획득할 수 있다. 이에 대해서는 도 7에서 보다 자세히 설명한다.Accordingly, the
일 실시예에서, 상태 모니터링부(350)는 전방 영상으로부터 서로 다른 제1 및 제2 시점들 각각에서 객체에 관한 도로 좌표계 상의 제1 및 제2 위치들을 산출하고, 제1 및 제2 위치들을 기초로 제3 시점에서 객체의 제3 위치와 속도를 산출하며, 제3 위치에 변환 관계를 적용하여 도출되는 영상 좌표계 상의 위치를 기준으로 제3 시점의 전방 영상에서 동일한 분류 속성을 갖는 객체가 검출되면 추적을 계속할 수 있다. 차량(110)의 주장 또는 정차 중에 촬영되는 전방 영상에는 다양한 객체가 출현할 수 있으며, 경우에 따라서 복수개의 객체가 동시에 촬영될 수도 있다. 따라서, 특정 시점의 전방 영상에서 서로 다른 객체가 서로 겹치는 경우 객체를 정확히 식별하기 위한 방법이 필요할 수 있다.In an embodiment, the
즉, 상태 모니터링부(350)는 전방 영상을 기초로 객체의 움직임에 관한 추적 정보를 활용하여 객체를 보다 정확히 식별할 수 있다. 이에 대해서는 도 8에서 보다 자세히 설명한다.That is, the
이벤트 처리부(370)는 상태 변화가 기 설정된 이벤트 조건을 충족하는 경우 해당 이벤트의 발생을 결정하여 전후 시간 동안의 이벤트 영상을 메모리(250)에 저장할 수 있다. 여기에서, 이벤트는 신호위반 행위에 대응되어 정의될 수 있다. 예를 들어, 교차로 관련 이벤트에는 '교차로 통행방법 위반' 이벤트, '교차로 신호위반' 이벤트 등을 포함할 수 있다. 이벤트 처리부(370)는 상태 모니터링부(350)에 의해 수집된 상태 변화에 관한 모니터링 정보를 기초로 이벤트 조건 충족여부를 검출하여 이벤트 발생을 결정할 수 있으며, 이벤트 발생이 결정된 경우 소정의 시간 동안의 전방 영상을 이벤트 영상으로 수집할 수 있다.When the state change satisfies a preset event condition, the
일 실시예에서, 이벤트 처리부(370)는 해당 이벤트의 발생을 관제 서버에 보고할 수 있고, 해당 보고와 함께 이벤트 영상을 관제 서버로 전송할 수 있으며, 관제 서버의 요청에 대한 응답으로서 이벤트 영상을 전송할 수도 있다. 이때, 이벤트 영상의 전송은 기 설정된 위치 영역들에 대해 차량(110)의 진입이 검출되면 자동 개시되도록 설정될 수 있다. 이벤트 처리부(370)는 네트워크 입출력부(290)와 연동하여 수집된 영상 정보를 외부로 전송할 수 있으며, 이와 관련하여 다양한 동작 조건이 설정될 수 있다. 예를 들어, 이벤트 처리부(370)는 관제 서버와 연동하여 동작할 수 있으며, 실시간 전송, 주기적 전송 및 요청 신호에 따른 선택적 전송 등 데이터 전송 방식이 선택적으로 적용될 수 있다.In one embodiment, the
또한, 이벤트 처리부(370)는 차량(110)이 특정 장소(예를 들어, 차량 기지 또는 집, 주차장 등)에 정차하거나 또는 특정 장소(예를 들어, 교차로, 터널, WiFi 존 등)를 통과하는 경우 이벤트 영상을 자동 전송할 수 있다. 이벤트 처리부(370)는 차량(110)의 주행 과정에서 다양한 동작 조건을 설정할 수 있으며, 동작 조건은 상태 모니터링부(350)에 의해 수집된 차량(110)의 상태 정보, 도로 정보 및 운전자 정보 등의 조합으로 정의될 수 있다.In addition, the
제어부(390)는 인지/영상 저장 장치(130)의 전체적인 동작을 제어하고, 영상 식별부(310), 감시 시점 결정부(330), 상태 모니터링부(350) 및 이벤트 처리부(370) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The
도 4는 본 발명에 따른 교차로 꼬리물기 인지 및 영상 저장 방법을 설명하는 순서도이다.4 is a flowchart illustrating a method for recognizing an intersection tail bite and storing an image according to the present invention.
도 4를 참조하면, 인지/영상 저장 장치(130)는 프로세서(210)를 통해 전방 영상에서 교차로 꼬리물기에 관한 신호위반 행위를 이벤트로서 검출할 수 있고, 이에 관한 이벤트 영상을 별도로 저장할 수 있다. 보다 구체적으로, 프로세서(210)는 영상 식별부(310)를 통해 차량(110)의 전방 영상을 분석하여 객체 및 도로 영역을 식별할 수 있다(단계 S410).Referring to FIG. 4 , the recognition/
또한, 프로세서(210)는 감시 시점 결정부(330)를 통해 차량(110)의 주행 상태와 객체의 상태 정보를 기반으로 감시 시점을 결정할 수 있다(단계 S430). 예를 들어, 교차로에서 차량(110)이 정지선에 정차한 상태에서 교차로 중앙 영역으로 설정된 감시 영역에 다른 차량(110)의 진입이 검출된 경우 해당 검출 시점이 감시 시점으로 결정될 수 있다. 또는 교차로의 신호등이 적색으로 변경되는 시점에 교차로의 중앙 영역으로 설정된 감시 영역 내에 다른 차량(110)이 존재하는 경우 해당 변경 시점이 감시 시점으로 결정될 수 있다.In addition, the
또한, 프로세서(210)는 상태 모니터링부(350)를 통해 감시 시점의 전후 시간 동안 도로 영역을 기준으로 설정된 감시 영역 내의 상태 변화를 관찰할 수 있다(단계 S450). 프로세서(210)는 이벤트 처리부(370)를 통해 상태 변화가 기 설정된 이벤트 조건을 충족하는 경우 해당 이벤트의 발생을 결정할 수 있다(단계 S470). 프로세서(210)는 이벤트 처리부(370)를 통해 감시 시점을 기준으로 소정의 전후 시간 동안의 이벤트 영상을 메모리(250)에 저장할 수 있다(단계 S490).In addition, the
도 5는 본 발명에 따른 도로 상 객체에 관한 인지 동작을 설명하는 도면이다.5 is a view for explaining a recognition operation with respect to an object on a road according to the present invention.
도 5를 참조하면, 인지/영상 저장 장치(130)는 전방 영상을 분석하여 도로 상의 객체를 식별할 수 있다. 이를 위해, 인지/영상 저장 장치(130)는 객체 식별을 위한 영상 분석 방법을 적용할 수 있다.Referring to FIG. 5 , the recognition/
예를 들어, 인지/영상 저장 장치(130)는 합성곱신경망(convolution neural network, CNN) 기반의 기계학습 기법을 적용하여 전방 영상에서 객체(object)를 검출할 수 있다. 여기에서, 합성곱(convolution)은 영상과 같이 2차원 배열로 표현되는 데이터의 한 위치의 값과 주변 위치(3×3, 5×5 등)의 값들을 선형적으로 연산하여 연관성을 부여한다는 점에서 영상에서의 신경망 기법 적용에 폭넓게 활용될 수 있다.For example, the cognitive/
먼저, 전방 영상은 합성곱층(convolution layer)을 거치고, 이후 네트워크 설계에 따라 다양한 형태의 다층 네트워크를 거쳐 피쳐맵(feature map)으로 변환될 수 있다. 또한, RPN(region proposal network)은 찾고자 하는 객체(object)가 위치하는 관심영역(region of interest, ROI)을 제안할 수 있다.First, the front image may go through a convolution layer, and then may be converted into a feature map through various types of multi-layer networks according to network design. In addition, a region proposal network (RPN) may propose a region of interest (ROI) in which an object to be found is located.
그런 다음, 관심영역에 해당하는 피쳐맵의 부분을 가져와 객체의 분류계층(class)을 산출할 수 있다. 이때, 분류는 하나의 결과만을 제시하지 않고, 사전에 설정된 각각의 분류계층과 일치하는 정도를 표시할 수 있다.Then, it is possible to obtain a part of the feature map corresponding to the region of interest to calculate the classification hierarchy of the object. In this case, the classification does not present only one result, but may display the degree of matching with each classification layer set in advance.
도 5에서, 인지/영상 저장 장치(130)는 전방 영상(510)에서 2개의 서로 다른 승용차, 신호등 및 시선유도봉(차선규제봉, tubular mark)을 인지할 수 있고, 필요에 따라 전방 영상(510)에 인지된 객체들의 관심영역을 표시하여 제공할 수 있다.In FIG. 5 , the recognition/
이때, 기계학습 모델은 관심영역 별로 객체 정보로서 기 정의된 객체들에 대한 확률 정보를 출력으로 제공할 수 있으며, 인지/영상 저장 장치(130)는 이를 기초로 각 관심영역에 대응되는 객체 정보를 최종 결정할 수 있다. 예를 들어, 기계학습 모델이 신호등(red)은 0.73, 신호등(yellow)은 0.22, 가로등은 0.05를 출력한 경우, 인지/영상 저장 장치(130)는 가장 높은 값을 가진 신호등(red)을 객체로 식별할 수 있다.In this case, the machine learning model may provide, as output, probability information about objects predefined as object information for each region of interest, and the recognition/
도 6은 본 발명에 따른 도로 상 노면 표지에 관한 인지 동작을 설명하는 도면이다.6 is a view for explaining a recognition operation with respect to a road surface mark on a road according to the present invention.
도 6을 참조하면, 인지/영상 저장 장치(130)는 전방 영상을 분석하여 도로 상의 노면 표지를 식별할 수 있다. 이를 위해, 인지/영상 저장 장치(130)는 노면 표지 식별을 위한 영상 분석 방법을 적용할 수 있다. 즉, 도로의 노면 표지는 형태적으로 다양하고 크기에 제약이 없는 경우(예를 들어, 횡단보도)가 많다는 점에서, 영상의 영역을 분할(세그멘테이션, segmentation)한 후 각 영역이 어떤 속성에 해당하는지를 분류하는 것이 적합할 수 있다.Referring to FIG. 6 , the cognitive/
이때, 활용 가능한 분할 기법 중, 의미적 분할(semantic segmentation)은 영상에 포함된 각각의 화소(pixel)가 속한 대상에 따라 그 속성을 부여하는 방법에 해당하고, 사례별 분할(instance segmentation)은 의미적으로는 같은 분류에 속하지만 서로 다른 객체일 경우 구분하여 분할하는 방법에 해당할 수 있다.At this time, among the available segmentation techniques, semantic segmentation corresponds to a method of assigning properties according to the object to which each pixel included in an image belongs, and instance segmentation means In the case of objects belonging to the same classification but different from each other, it may correspond to a method of dividing and dividing.
인지/영상 저장 장치(130)는 심층신경망(Deep Neural Network, DNN) 기반의 합성곱 인코더-디코더(convolutional encoder-decoder) 기법을 적용하여 전방 영상을 의미적으로 분할함으로써 영역을 식별할 수 있다. The cognitive/
먼저 전방 영상은 합성곱층(convolution layer)를 거치고, 이후 네트워크 설계에 따라 다양한 형태의 다층 네트워크를 거쳐 피쳐맵(feature map)으로 변환될 수 있으며, 해당 과정은 인코딩(encoding, 부호화) 과정에 해당할 수 있다. 이때, 데이터의 차원(dimension)은 축소되며 깊이(depth)는 증가할 수 있다.First, the front image goes through a convolution layer, and then it can be converted into a feature map through various types of multi-layer networks depending on the network design, and the process may correspond to the encoding process. can In this case, the dimension of the data may be reduced and the depth may be increased.
그런 다음, 피쳐맵은 업샘플링(up-sampling)을 반복하면서 차원이 다시 원래의 영상 크기로 복원될 수 있으며, 각각의 픽셀에는 분류 속성이 부여될 수 있다. 해당 과정은 디코딩(decoding, 복호화) 과정에 해당할 수 있다.Then, the dimension of the feature map may be restored back to the original image size while repeating up-sampling, and a classification property may be assigned to each pixel. The corresponding process may correspond to a decoding process.
도 6에서, 인지/영상 저장 장치(130)는 전방 영상(610)에 대해 도로, 횡단보도, 보도 및 안전지역, 차량 등으로 각 영역을 구분하여 식별할 수 있고, 필요에 따라 전방 영상(610)에 대응되어 식별된 영역들을 표시하여 제공할 수 있다.In FIG. 6 , the recognition/
도 7은 본 발명에 따른 도로 및 영상 상의 차량 위치에 관한 변환 관계를 설명하는 도면이다.7 is a view for explaining a transformation relationship with respect to a vehicle position on a road and an image according to the present invention.
도 7을 참조하면, 인지/영상 저장 장치(130)는 실세계 3차원 좌표계를 (X, Y, Z)로 정의할 수 있고, 카메라 2차원 좌표계를 (x, y, z)로 정의할 수 있다. 이때, 카메라 2차원 좌표계의 z축은 사용되지 않을 수 있다. 또한, λ는 카메라의 초점 거리(focal length)에 해당하고, h는 카메라의 장착 높이에 해당할 수 있다.Referring to FIG. 7 , the recognition/
실제 도로의 3차원 정보는 2차원 영상에 투영(projection)되는 원근변환(perspective transform)이 되며, Z 방향으로 멀리 있는 정보는 화면상의 한점, 소실점(vanishing point)에 모이게 되며, 화면좌표는 소실점을 기준으로 한다.The 3D information of the actual road becomes a perspective transform that is projected onto the 2D image, and the information far away in the Z direction is gathered at one point on the screen, a vanishing point, and the screen coordinates are the vanishing point. based on
이 경우 도로 상(Y=0)의 점(X, Z)이 화면에 투영된 점(x, y)는 다음의 수학식 1로 표현되는 변환 관계를 형성할 수 있다.In this case, the point (x, y) in which the point (X, Z) on the road (Y=0) is projected onto the screen may form a transformation relationship expressed by
[수학식 1][Equation 1]
, ,
따라서, 인지/영상 저장 장치(130)는 도로 상에 존재하는 객체(object)를 식별하고, 해당 객체를 둘러싼 경계 사각형(bounding box)의 하단 좌표 y로부터 도로 상의 실제 거리 Z = λh/y를 산출할 수 있다. 또한, 인지/영상 저장 장치(130)는 차량뿐만 아니라 도로 상에 존재하는 과속방지턱이나 포트홀 등에 대해서도 동일하게 적용할 수 있다.Accordingly, the recognition/
결과적으로, 인지/영상 저장 장치(130)는 전방 영상에서 객체 및 영역을 식별하고 객체, 즉 차량(110)의 하단 좌표가 검출되면 기 도출된 변환 관계를 적용하여 해당 차량(110)까지의 거리를 계산할 수 있다.As a result, the recognition/
도 8은 본 발명에 따른 차량의 위치 추적 방법을 설명하는 도면이다.8 is a view for explaining a method for tracking a location of a vehicle according to the present invention.
도 8을 참조하면, 인지/영상 저장 장치(130)는 전방 영상에서 식별된 객체 정보를 이용하여 해당 객체와의 거리를 추적할 수 있다.Referring to FIG. 8 , the recognition/
보다 구체적으로, 인지/영상 저장 장치(130)는 시간 t = t1, t2에서 전방 영상에서 인지된 차량 영역의 위치 기준점 (x1, y1), (x2, y2)로부터 실도로 상의 차량의 위치 (X1, Z1), (X2, Z2)를 산출할 수 있다. 인지/영상 저장 장치(130)는 이를 바탕으로 객체의 이동 속도를 추정할 수 있고, 시간 t = t3에서 예상되는 차량의 위치 (X3, Z3)를 산출할 수 있다. 인지/영상 저장 장치(130)는 차량의 예상 위치를 변환하여 영상 좌표 (x3, y3)를 획득하고, 전방 영상의 시간 t = t3에서 동일한 속성의 객체가 인지되면 해당 차량이 속도 (Vx, Vz)로 이동하고 있는 것으로 결정할 수 있다. 이때, Vx는 (X2-X1)/(t2-t1)이고, Vz는 (Z2-Z1)/(t2-t1)이다.More specifically, the recognition/
한편, 인지/영상 저장 장치(130)는 좌표 변환에 따른 예상 위치와 전방 영상에서 검출되는 객체의 위치 간에 소정의 오차가 존재하는 경우에도 동일한 객체로 결정하여 추적(tracking)을 계속할 수 있으며, 동일 객체로 판단하기 위한 오차 범위는 사전에 설정되어 활용될 수 있다. 이러한 오차는 카메라의 성능, 영상 분석 기법의 예측 성능, 도로의 불규칙성 등 다양한 요인으로 인해 발생할 수 있다.On the other hand, the recognition/
도 9는 본 발명에 따른 교차로 감시 영역 설정 동작을 설명하는 도면이다.9 is a view for explaining an operation of setting an intersection monitoring area according to the present invention.
도 9를 참조하면, 인지/영상 저장 장치(130)는 차량(110)에 전방을 향해 장착되는 적어도 하나의 카메라를 통해 해당 차량(110)의 진행 방향에 대응하는 전방 영상(910)을 획득할 수 있다. 인지/영상 저장 장치(130)는 전방 영상(910)에 대한 영상 분석을 통해 객체를 인식하고 위치를 추정할 수 있으며, 전방 영상의 영역 분할을 통해 도로와 보도, 횡단보도 등을 구분하여 식별할 수 있다.Referring to FIG. 9 , the recognition/
인지/영상 저장 장치(130)는 자차량(ego vehicle)이 정지한 상태에서 전면에 횡단보도가 존재하고, 횡단보도 너머에 유효한 주행차선이 없는 영역이 존재하는지 여부를 결정할 수 있다. 이때, 유효한 주행차선이란 3.5 ~ 5m의 폭을 가지며 평행한 실선 또는 점선이 2개 이상 있는 경우에 해당할 수 있다. 즉, 인지/영상 저장 장치(130)는 해당 영역이 존재하는 경우 교차로 감시 영역(930)으로 설정할 수 있으며, 감시 영역에 대한 상태 변화를 관찰하여 다른 차량(110)의 신호위반 행위를 검출할 수 있다.The recognition/
예를 들어, 인지/영상 저장 장치(130)는 신호등이 적색 신호임을 인지하고, 신호등이 적색이 되는 순간에 교차로 감시 영역(930) 안에 차량이 존재하는 경우 '교차로 통행방법 위반' 이벤트를 발생시킬 수 있다. 또한, 인지/영상 저장 장치(130)는 해당 시점을 기준으로 전후의 영상을 저장할 수 있다. 이와 반대로, 인지/영상 저장 장치(130)는 교차로 감시 영역(930) 안에 차량(110)이 존재하지 않는 경우 대기 상태를 유지할 수 있다.For example, the recognition/
다른 예로서, 인지/영상 저장 장치(130)는 신호등이 적색 신호로 유지되고 있음을 인지하고, 전방 영상(910)의 흐름에서 연속적으로 인지되어 추적 가능하며 차량(110)으로 분류되는 객체가 자차량과 동일한 진행방향으로 (즉, 자차량의 정면으로부터 멀어지는 방향으로) 교차로 감시 영역(930) 안으로 진입하는 경우 '교차로 신호위반' 이벤트를 발생시킬 수 있다. 또한, 인지/영상 저장 장치(130)는 해당 차량(110)의 진입 전후의 영상을 저장할 수 있다.As another example, the recognition/
본 발명에 따른 인지/영상 저장 장치(130)는 차량(110)의 바로 배후에서 영상을 촬영할 수 있고, 이에 따라 차량(110)의 번호판을 잘 인식할 수 있는 거리와 방향에서 영상을 수집할 수 있다. 인지/영상 저장 장치(130)는 저장된 영상흐름(image stream, [20 ~ 30초]) 내에서 교통 신호의 변경 상태, 차량(110)의 진입 시점 등을 명확히 판별할 수 있으며, 이를 통해 명확한 꼬리물기 위반 영상만을 저장 및 전송할 수 있어 통신 비용과 저장매체의 수명을 낭비하지 않을 수 있다.Recognition/
또한, 인지/영상 저장 장치(130)는 영상 분석을 통해 식별된 차량(110)의 번호판을 판독할 수 있으며, 판독된 차량 번호를 해당 차량(110)의 영상과 함께 저장하거나 전송할 수 있다. 다만, 번호판 판독을 위한 영상 분석은 인지/영상 저장 장치(130) 내에서 별도의 판독 알고리즘을 이용하여 수행될 수 있으나, 반드시 이에 한정되지 않고, 전방 영상을 수신하는 관제 서버에서 독립적으로 수행될 수도 있다.In addition, the recognition/
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.
100: 인지/영상 저장 시스템
110: 차량 130: 인지/영상 저장 장치
150: 데이터베이스
210: 프로세서 230: 카메라 모듈
250: 메모리 270: 사용자 입출력부
290: 네트워크 입출력부
310: 영상 식별부 330: 감시 시점 결정부
350: 상태 모니터링부 370: 이벤트 처리부
390: 제어부
510, 610, 910: 전방 영상
930: 교차로 감시 영역100: perception / image storage system
110: vehicle 130: recognition / image storage device
150: database
210: processor 230: camera module
250: memory 270: user input/output unit
290: network input/output unit
310: image identification unit 330: monitoring time determining unit
350: status monitoring unit 370: event processing unit
390: control unit
510, 610, 910: front image
930: intersection monitoring area
Claims (7)
상기 프로세서는
상기 전방 영상을 분석하여 객체 및 도로 영역을 식별하고, 상기 객체 및 도로 영역의 식별을 독립적으로 수행하는 제1 및 제2 모델들을 구축하며,
상기 차량의 주행 상태와 상기 객체의 상태 정보를 기반으로 감시 시점을 결정하며,
상기 감시 시점의 전후 시간 동안 상기 도로 영역을 기준으로 설정된 감시 영역 내의 상태 변화를 관찰하고,
상기 상태 변화가 기 설정된 이벤트 조건을 충족하는 경우 해당 이벤트의 발생을 결정하여 상기 전후 시간 동안의 이벤트 영상을 상기 메모리에 저장하며,
상기 제1 모델은 상기 전방 영상을 입력으로 수신하여 피처맵으로 변환하고 해당 피처맵에서 상기 객체에 대응되는 관심영역을 결정하며 해당 관심영역에 대한 식별 정보를 출력으로 생성하도록 구현되고,
상기 제2 모델은 상기 전방 영상을 입력으로 수신하여 피처맵으로 변환하는 인코딩 단계와 해당 피처맵을 복원하는 디코딩 단계를 수행함으로써 각 픽셀에 부여된 분류 속성을 출력으로 생성하도록 구현되는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
at least one camera installed in the vehicle and mounted to face the traveling direction of the vehicle; a memory for storing a front image captured by the at least one camera; and a processor electrically connected to the memory; in an intersection tailing recognition and image storage device comprising:
the processor is
By analyzing the front image, the object and the road area are identified, and first and second models for independently performing the identification of the object and the road area are constructed,
Determining a monitoring time based on the driving state of the vehicle and the state information of the object,
Observing the state change in the monitoring area set based on the road area during the time before and after the monitoring time point,
When the state change meets a preset event condition, the occurrence of the corresponding event is determined and the event image for the before and after time is stored in the memory,
The first model is implemented to receive the front image as an input, convert it into a feature map, determine a region of interest corresponding to the object in the feature map, and generate identification information for the region of interest as an output;
The second model is implemented to generate the classification property assigned to each pixel as an output by performing an encoding step of receiving the front image as an input and converting it into a feature map and a decoding step of restoring the corresponding feature map Intersection tail bite recognition and video storage device.
상기 차량이 고정 경로를 따라 이동하는 경우 상기 차량의 GPS 좌표를 해당 고정 경로와 비교하여 상기 감시 영역을 검증하고,
그렇지 않은 경우 상기 차량의 GPS 좌표를 관제 서버에 질의하여 상기 감시 영역을 검증하는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
The method of claim 1, wherein the processor is
When the vehicle moves along a fixed route, the monitoring area is verified by comparing the GPS coordinates of the vehicle with the fixed route;
If not, the vehicle's GPS coordinates are queried to a control server to verify the monitoring area.
상기 해당 이벤트의 발생을 관제 서버에 보고하거나, 또는
해당 보고와 함께 상기 이벤트 영상을 상기 관제 서버로 전송하거나, 또는
상기 관제 서버의 요청에 대한 응답으로서 상기 이벤트 영상을 전송하고,
상기 이벤트 영상의 전송은 기 설정된 위치 영역들에 대해 상기 차량의 진입이 검출되면 자동 개시되도록 설정되는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
The method of claim 1, wherein the processor is
Report the occurrence of the event to the control server, or
Send the event video along with the report to the control server, or
Transmitting the event video as a response to the request of the control server,
Transmission of the event image is set to automatically start when the vehicle's entry is detected in preset location areas.
상기 감시 영역 내로 상기 객체의 진입에 의한 상태 변화가 검출되고 상기 객체가 차량으로 식별된 경우 상기 이벤트 영상의 저장과 함께 상기 객체의 움직임을 추적(tracking)하는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
The method of claim 1, wherein the processor is
When a state change due to the entry of the object into the monitoring area is detected and the object is identified as a vehicle, the event image is stored and the movement of the object is tracked. storage device.
상기 차량을 기준으로 정의되는 3차원 도로 좌표계와 상기 전방 영상의 소실점(vanishing point)을 기준으로 정의되는 2차원 영상 좌표계 간의 변환 관계에 기반하여 상기 전방 영상의 분석 결과로서 상기 차량과 상기 객체 간의 거리를 추적하는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
6. The method of claim 5, wherein the processor
A distance between the vehicle and the object as a result of analysis of the front image based on a transformation relationship between a three-dimensional road coordinate system defined with respect to the vehicle and a two-dimensional image coordinate system defined with respect to a vanishing point of the front image Intersection tailgating recognition and image storage device, characterized in that tracking.
상기 전방 영상으로부터 서로 다른 제1 및 제2 시점들 각각에서 상기 객체에 관한 상기 도로 좌표계 상의 제1 및 제2 위치들을 산출하고,
상기 제1 및 제2 위치들을 기초로 제3 시점에서 상기 객체의 제3 위치와 속도를 산출하며,
상기 제3 위치에 상기 변환 관계를 적용하여 도출되는 상기 영상 좌표계 상의 위치를 기준으로 상기 제3 시점의 상기 전방 영상에서 동일한 분류 속성을 갖는 객체가 검출되면 상기 추적을 계속하는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
7. The method of claim 6, wherein the processor
calculating first and second positions on the road coordinate system with respect to the object at different first and second time points from the front image,
calculating a third position and velocity of the object at a third time point based on the first and second positions,
Intersection tail, characterized in that the tracking is continued when an object having the same classification property is detected in the front image of the third viewpoint based on the position on the image coordinate system derived by applying the transformation relation to the third position Bite recognition and image storage device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210035357A KR102345798B1 (en) | 2021-03-18 | 2021-03-18 | Intersection signal violation recognition and image storage device |
PCT/KR2022/003544 WO2022197042A1 (en) | 2021-03-18 | 2022-03-14 | Illegal intersection entry recognition and image storage device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210035357A KR102345798B1 (en) | 2021-03-18 | 2021-03-18 | Intersection signal violation recognition and image storage device |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102345798B1 true KR102345798B1 (en) | 2022-01-04 |
Family
ID=79342268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210035357A KR102345798B1 (en) | 2021-03-18 | 2021-03-18 | Intersection signal violation recognition and image storage device |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102345798B1 (en) |
WO (1) | WO2022197042A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022197042A1 (en) * | 2021-03-18 | 2022-09-22 | (주)에이아이매틱스 | Illegal intersection entry recognition and image storage device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101280824B1 (en) | 2011-06-08 | 2013-07-02 | 극동산업개발(주) | System and method for regulating violation at signalized intersection |
KR20140128837A (en) * | 2013-04-29 | 2014-11-06 | 팅크웨어(주) | Image-processing Apparatus for Car and Method of Providing Information Using The Same |
KR101852958B1 (en) * | 2016-11-15 | 2018-04-30 | 한국과학기술연구원 | Moving target tracking system and a method for tracking a moving target using the same |
KR20190039648A (en) * | 2017-10-05 | 2019-04-15 | 주식회사 스트라드비젼 | Method for monotoring blind spot of vehicle and blind spot monitor using the same |
KR102122859B1 (en) * | 2020-03-03 | 2020-06-15 | (주)사라다 | Method for tracking multi target in traffic image-monitoring-system |
KR20210016761A (en) * | 2019-08-05 | 2021-02-17 | 삼성전자주식회사 | Electronic device for vehicle, and method for operating thereof |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102345798B1 (en) * | 2021-03-18 | 2022-01-04 | (주)에이아이매틱스 | Intersection signal violation recognition and image storage device |
-
2021
- 2021-03-18 KR KR1020210035357A patent/KR102345798B1/en active IP Right Grant
-
2022
- 2022-03-14 WO PCT/KR2022/003544 patent/WO2022197042A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101280824B1 (en) | 2011-06-08 | 2013-07-02 | 극동산업개발(주) | System and method for regulating violation at signalized intersection |
KR20140128837A (en) * | 2013-04-29 | 2014-11-06 | 팅크웨어(주) | Image-processing Apparatus for Car and Method of Providing Information Using The Same |
KR101852958B1 (en) * | 2016-11-15 | 2018-04-30 | 한국과학기술연구원 | Moving target tracking system and a method for tracking a moving target using the same |
KR20190039648A (en) * | 2017-10-05 | 2019-04-15 | 주식회사 스트라드비젼 | Method for monotoring blind spot of vehicle and blind spot monitor using the same |
KR20210016761A (en) * | 2019-08-05 | 2021-02-17 | 삼성전자주식회사 | Electronic device for vehicle, and method for operating thereof |
KR102122859B1 (en) * | 2020-03-03 | 2020-06-15 | (주)사라다 | Method for tracking multi target in traffic image-monitoring-system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022197042A1 (en) * | 2021-03-18 | 2022-09-22 | (주)에이아이매틱스 | Illegal intersection entry recognition and image storage device |
Also Published As
Publication number | Publication date |
---|---|
WO2022197042A1 (en) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230005364A1 (en) | Systems and methods for monitoring traffic lane congestion | |
Gandhi et al. | Pedestrian protection systems: Issues, survey, and challenges | |
JP7499256B2 (en) | System and method for classifying driver behavior - Patents.com | |
US10223910B2 (en) | Method and apparatus for collecting traffic information from big data of outside image of vehicle | |
JP5938569B2 (en) | Advanced driver support system considering azimuth information and operation method thereof | |
US9031774B2 (en) | Apparatus and method for preventing collision of vehicle | |
WO2021096935A2 (en) | Systems and methods for determining road safety | |
US20160140400A1 (en) | Atomic scenes for scalable traffic scene recognition in monocular videos | |
JP6679152B1 (en) | Accident analysis device, accident analysis method and program | |
JP2010198552A (en) | Driving state monitoring device | |
WO2020242945A1 (en) | Systems and methods for vehicle navigation based on image analysis | |
JP6756908B2 (en) | Methods and devices for detecting pedestrians around the vehicle | |
JP7176098B2 (en) | Detect and respond to matrices for autonomous vehicles | |
US20220371583A1 (en) | Systems and Methods for Selectively Decelerating a Vehicle | |
CN111178286A (en) | Attitude trajectory prediction method and device and electronic equipment | |
KR20230173724A (en) | Improving ride comfort in various traffic scenarios for autonomous vehicles | |
WO2022149049A2 (en) | Systems and methods for common speed mapping and navigation | |
KR102345798B1 (en) | Intersection signal violation recognition and image storage device | |
CN117011816A (en) | Trace segment cleaning of trace objects | |
CN111081045A (en) | Attitude trajectory prediction method and electronic equipment | |
KR102414632B1 (en) | Method for determining the location of a fixed object using multiple observation information | |
KR102415620B1 (en) | Variable vehicle speed warning system including pedestrian determination system | |
JP7192541B2 (en) | Information processing device, information processing method and program | |
CN114729810A (en) | Pedestrian crossing detection | |
KR102368262B1 (en) | Method for estimating traffic light arrangement information using multiple observation information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |