KR102052833B1 - 영상 추적을 이용한 차량 속도 검출 장치 및 방법 - Google Patents

영상 추적을 이용한 차량 속도 검출 장치 및 방법 Download PDF

Info

Publication number
KR102052833B1
KR102052833B1 KR1020180082729A KR20180082729A KR102052833B1 KR 102052833 B1 KR102052833 B1 KR 102052833B1 KR 1020180082729 A KR1020180082729 A KR 1020180082729A KR 20180082729 A KR20180082729 A KR 20180082729A KR 102052833 B1 KR102052833 B1 KR 102052833B1
Authority
KR
South Korea
Prior art keywords
vehicle
grid
image
speed
road
Prior art date
Application number
KR1020180082729A
Other languages
English (en)
Inventor
김항섭
Original Assignee
김항섭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김항섭 filed Critical 김항섭
Priority to KR1020180082729A priority Critical patent/KR102052833B1/ko
Application granted granted Critical
Publication of KR102052833B1 publication Critical patent/KR102052833B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G06K9/3283—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 영상 추적을 이용한 차량 속도 검출 장치 및 방법을 개시한다. 본 발명에 따르면, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하되, 상기 메모리는, 도로상의 차량의 이동 영역에 가상의 격자를 생성하고, 카메라를 통해 촬영된 영상의 연속되는 프레임에서 차량을 검출하고, 상기 연속되는 프레임에서 상기 가상의 격자를 이용하여 검출된 차량의 이동 거리를 계산하고, 상기 계산된 이동 거리를 이용하여 차량의 속도를 계산하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 영상 추적을 이용한 차량 속도 검출 장치가 제공된다.

Description

영상 추적을 이용한 차량 속도 검출 장치 및 방법{Apparatus and method for vehicle speed detection using image tracking}
본 발명은 영상 추적을 이용한 차량 속도 검출 장치 및 방법에 관한 것이다.
현재 도로에서 차량의 속도 위반 단속은 도로에 매설된 코일을 통해서 차량의 속도를 추출하고 차량이 제한 속도를 초과하여 운행하는 경우 영상 정보를 통해 번호판을 인식하여 과금하는 형태로 진행되고 있다.
하지만 이 방식은 과도한 유지비용이 들어 모든 시스템을 이 방식으로 구축해서 유지하기는 힘들며 이를 대체할 수 있는 기술에 대해 많은 연구가 진행 중이다.
최근 영상 분석을 통해 차량의 속도를 검출하는 방법이 제안되고 있다.
그러나, 이러한 방법은 차량의 정확히 검출하지 못하거나, 카메라의 흔들림이 발생하는 경우 오차를 크게 발생시키는 문제점이 있다.
한국공개공보 제10-2017-0080481호
상기한 종래기술의 문제점을 해결하기 위해, 차량 속도 위반 여부 판단의 정확도를 높일 수 있는 영상 추적을 이용한 차량 속도 검출 장치 및 방법을 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 영상 추적을 이용한 차량 속도 검출 장치로서, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하되, 상기 메모리는, 도로상의 차량의 이동 영역에 가상의 격자를 생성하고, 카메라를 통해 촬영된 영상의 연속되는 프레임에서 차량을 검출하고, 상기 연속되는 프레임에서 상기 가상의 격자를 이용하여 검출된 차량의 이동 거리를 계산하고, 상기 계산된 이동 거리를 이용하여 차량의 속도를 계산하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 영상 추적을 이용한 차량 속도 검출 장치가 제공된다.
상기 메모리는, 상기 차량의 검출 이전에, 촬영 시작 시의 최초 프레임에서의 하나 이상의 초점 포인트의 좌표를 저장하고, 상기 연속되는 프레임에서 상기 하나 이상의 초점 포인트의 좌표의 변화를 인식하고, 상기 좌표의 변화를 이용하여 상기 연속되는 프레임의 위치를 보정하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장할 수 있다.
상기 메모리는, 상기 차량의 검출 이전에, 미리 설정된 개수의 프레임 각각을 복수의 영역으로 분할하고, 상기 미리 설정된 개수의 프레임 내의 복수의 분할 영역 각각의 밝기 및 색상 등급을 계산하고, 복수의 분할 영역별로 빈도수가 높은 밝기 및 색상 등급을 이용하여 도로 배경을 생성하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장할 수 있다.
상기 차량의 검출은 상기 생성된 도로 배경과 상기 연속되는 프레임과의 차영상을 이용하여 수행될 수 있다.
상기 메모리는, 상기 검출된 차량의 그림자 영역 검출 또는 휠 검출을 통해 차량의 바퀴 하단 지점을 탐색하고, 상기 탐색된 차량의 바퀴하단 지점을 주포인트로 결정하고, 상기 결정된 주포인트의 상기 가상 격자 내에서의 좌표 변화를 추적하여 차량의 이동 거리를 계산하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장할 수 있다.
상기 메모리는, 실제 촬영된 격자 이미지와 상기 격자 이미지 촬영 시 소정 위치에 배치된 미리 설정된 형상의 격자 정합부의 모서리 정보를 이용하여 상기 도로에 맞게 상기 가상 격자를 생성하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장할 수 있다.
상기 속도 검출 장치는, 상기 실제 촬영된 격자 이미지의 격자 좌표 정보, 상기 격자 정합부의 모서리 좌표 정보 및 상기 격자 이미지 촬영 시 카메라의 파라미터 정보를 저장하는 격자 정보 저장부를 더 포함할 수 있다.
상기 메모리는, 상기 연속되는 프레임 단위로 상기 차량의 이동 거리를 계산하고, 이를 단순 평균 또는 가중 평균하여 상기 차량의 속도를 계산하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장할 수 있다.
상기 메모리는, 상기 연속되는 프레임 단위로 상기 차량의 이동 거리의 빈도수를 계산하고, 가장 많은 빈도수로 나타나는 이동 거리를 이용하여 상기 차량의 속도를 계산하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장할 수 있다.
본 발명의 다른 측면에 따르면, 카메라와 연결된 장치에서, 영상 추적을 이용한 차량의 속도를 검출하는 방법으로서, 도로상의 차량의 이동 영역에 가상의 격자를 생성하는 단계; 카메라를 통해 촬영된 영상의 연속되는 프레임에서 차량을 검출하는 단계; 상기 연속되는 프레임에서 상기 가상의 격자를 이용하여 검출된 차량의 이동 거리를 계산하는 단계; 및 상기 계산된 이동 거리를 이용하여 차량의 속도를 계산하는 단계를 포함하는 차량 속도 검출 방법이 제공된다.
본 발명에 따르면, 빈도수를 이용하여 도로 배경을 생성하고, 가상의 격자를 차량의 속도를 계산하기 때문에 정확도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 추적을 이용한 속도 검출 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량의 속도 검출 과정을 도시한 도면이다.
도 3은 초점 포인트를 이용한 흔들림 보정 과정을 설명하기 위한 도면이다.
도 4는 본 실시예에 따른 도로 배경을 추출 과정을 설명하기 위한 도면이다.
도 5는 본 실시예에 따른 도로 배경 생성 과정의 순서도이다.
도 6은 본 실시예에 따른 도로 배경 생성 과정을 예시적으로 설명하기 위한 도면이다.
도 7은 차량의 그림자 영역을 이용한 바퀴 하단 지점을 탐색하는 과정을 설명하기 위한 도면이다.
도 8은 차량의 휠 검출을 통해 바퀴 하단 지점을 탐색하는 과정을 설명하기 위한 도면이다.
도 9는 본 실시예에 따른 가상의 격자를 도시한 도면이다.
도 10 내지 도 11은 차량의 속도를 계산하는 다양한 방식을 도시한 것이다.
도 12는 본 실시예에 따른 실제 격자 이미지를 이용하여 가상의 격자를 생성하는 과정을 설명하기 위한 도면이다.
도 13은 가상 격자 생성을 위한 정합 과정을 설명하기 위한 도면이다.
도 14는 본 실시예에 따른 속도 검출 장치의 구성을 도시한 도면이다.
도 15는 본 발명의 다른 실시예에 따른 차량의 움직임 추적 과정을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
도 1은 본 발명의 일 실시예에 따른 영상 추적을 이용한 속도 검출 시스템의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 속도 검출 시스템은 카메라(100), 컴퓨팅 장치(102), 디스플레이부(104) 및 사용자 인터페이스(106)를 포함할 수 있다.
카메라(100)는 도로 영역을 촬영한다.
카메라(100)는 이동식으로 설치될 수 있고, 또한, CCTV와 같이 고정식으로 설치될 수도 있다.
컴퓨팅 장치(102)는 메모리 및 프로세스를 구비하여 영상을 분석하고 차량을 인식하여 차량의 속도를 검출하는 장치이다.
이하에서, 컴퓨팅 장치를 속도 검출 장치로 정의한다.
디스플레이부(104)는 카메라(100)를 통해 촬영된 영상을 디스플레이한다.
본 실시예에 따르면, 차량의 속도 검출을 위해, 격자 이미지 및 소정 형상의 격자 정합부를 촬영하고 이를 이용하여 도로상에 가상의 격자를 생성하는데, 이때 소정 형상의 격자 정합부를 이용한 정합 과정이 수행될 수 있다.
사용자는 디스플레이부(104)에 표시되는 현재 시점에 촬영된 격자 정합부의 모서리를 이전에 격자 이미지 촬영된 추출된 격자 정합부의 모서리 위치에 맞추는 정합 과정을 수행할 수 있다.
또한, 사용자 인터페이스부(106)는 사용자가 속도 검출을 위한 각종 변수를 입력하는 수단이다.
본 실시예에 따른 속도 검출 장치(102)는 카메라(100)를 통해 입력된 영상을 분석하여 도로 배경을 추출한다. 도로 배경의 추출은 이동하는 물체인 차량을 정확히 식별하기 위해 선행되는 과정이다.
또한, 속도 검출 장치(100)는 도로 배경을 기준으로 도로를 이동하는 차량을 인식하고, 이의 속도를 산출한다.
바람직하게, 본 실시예에 따른 속도 검출 시스템에서, 카메라(100)는 이동식으로 설치될 수 있기 때문에, 속도 검출의 정확도를 높이기 위해 카메라(100)의 흔들림 보정이 필요하다. 이는 이하에서 상세하게 설명될 것이다.
또한, 본 실시예에 따른 속도 검출 장치(102)는 도로를 촬영한 영상에 가상의 격자를 생성하여 가상의 격자 기반으로 차량의 속도를 검출한다.
가상의 격자를 생성하기 위해, 속도 검출 장치(102)는 실제 격자 이미지를 촬영하고, 이를 도로상에서의 위치에 따라 정합하는 과정을 수행할 수 있다.
실제 격자 이미지 촬영 시, 카메라의 렌즈 종류, 높이, 격자와의 거리, 격자 셀 크기에 관한 정보가 함께 저장될 수 있다. 추후 카메라(100)가 속도 검출을 위해 도로상에 설치되는 경우, 설치된 조건에 따른 격자 이미지를 추출하고, 이를 도로 환경에 따라 정합하는 과정을 수행한다.
이때, 격자 정합은 사각형상의 격자 정합부를 이용하여 수행될 수 있으며, 이는 이하에서 다시 상세하게 설명될 것이다.
속도 검출 장치(102)는 카메라(100)를 통해 촬영된 동영상의 각 프레임에서 차량을 인식하고, 프레임에서의 차량의 위치를 실제 위치로 환산하여 이동 거리를 계산한다. 이후, 이동 거리를 통해 차량의 속도를 계산한다.
계산된 속도가 미리 설정된 속도를 초과하는 경우, 해당 차량에 관한 정보(차량 이미지 및 번호)를 저장한다.
도 2는 본 발명의 일 실시예에 따른 차량의 속도 검출 과정을 도시한 도면이다.
도 2에 도시된 바와 같이, 속도 검출 장치(102)는 카메라(100)를 통해 촬영된 영상을 획득하고(단계 200), 흔들림 보정을 수행한다(단계 202).
단계 202는 카메라(100)가 바람이나, 주위 진동에 의해 흔들림 발생하여 실시간 동영상에서 시간에 따른 차량의 위치(좌표)에 오차가 발생하는 것을 방지하기 위한 과정이다.
흔들림 보정은 기준 프레임에서 적어도 하나 이상의 초점 포인트를 이용하여 수행될 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 촬영 시작 시의 최초 프레임에서의 초점 포인트의 좌표를 저장해두고, 이후 연속되는 프레임에서 초점 포인트의 좌표의 변화를 인식한다.
연속되는 프레임에서 초점 포인트의 좌표가 최초 프레임에서의 좌표와 다르게 변경되는 경우, 변경된 위치만큼 연속되는 프레임의 상하좌우 위치를 보정한다.
초점 포인트는 사용자가 최초 프레임에서 좌하단 또는 우하단 지점을 사용자가 수동으로 지정할 수도 있고, 카메라(100)가 설치된 상태에서 도로 지면의 소정 위치에 물리적인 초점 포인트 보정부를 설치하고, 최초 프레임 내에서 해당 초점 포인트 보정부의 좌표를 초점 포인트로 설정할 수도 있다.
이때, 초점 포인트의 개수는 하나 이상 있을 수 있으며, 바람직하게는 4개의 초점 포인트를 이용하여 각 프레임의 위치를 보정할 수 있다.
본 발명의 다른 실시예에 따르면, 초점 포인트의 개수가 복수 개로 설정되는 경우, 최초 프레임에서 복수의 특징점을 인식하고, 이들을 자동 또는 수동으로 선택할 수도 있다. 이때, 물리적인 소정 형상(예를 들어, 4각 형상)의 초점 포인트 보정부를 배치하고, 초점 포인트 보정부의 모서리 지점 각각을 초점 포인트로 설정할 수 있다.
흔들림은 단일 평면 상에서 흔들리는 평면 흔들림과, 입체적으로 흔들리는 입체 흔들림이 존재한다.
평면 흔들림만 존재하는 경우에는 단일 초점 포인트만으로 흔들림을 보정할 수 있다.
그러나, 입체 흔들림의 경우에는 복수의 초점 포인트가 필요하며, 하기에서 설명되는 소정 형성의 정합부가 입체 흔들림 보정을 위해 사용될 수 있다.
또한, 카메라를 통해 촬영되는 고정된 시설물(예를 들어, 신호등, 나무 등)을 복수의 초점 포인트로 하여 흔들림을 보정할 수도 있을 것이다.
또한, 하나의 프레임 내에서 복수의 영역을 분할하고, 각 영역 내에서 하나 이상의 특징점을 자동 또는 수동으로 지정하여 흔들림을 보정할 수도 있다.
흔들림 보정 수행 후, 속도 검출 장치(102)는 도로 배경을 추출한다(단계 204).
속도 검출 장치(102)는 미리 설정된 개수의 프레임 각각을 가로/세로로 분할하고, 밝기/색상 빈도에 따른 최빈 프레임을 대표 프레임으로 선정하고, 이를 도로 배경으로 결정한다.
도 4는 본 실시예에 따른 도로 배경을 추출 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 속도 검출 장치(102)는 카메라(100)를 통해 촬영된 동영상의 각 프레임을 가로와 세로로 분할하여 복수의 분할 영역을 생성한다(단계 400).
이후, 분할 영역별로 밝기/색상 수치 등급을 계산한다(단계 402).
단계 402에서의 수치 등급은 각 분할 영역별 밝기/색상의 평균일 수 있다.
속도 검출 장치(102)는 프레임 개수가 미리 설정된 임계치에 도달하는지 여부를 판단한다(단계 404).
프레임 개수가 임계치에 도달하면, 속도 검출 장치(102)는 미리 설정된 개수의 프레임 내의 각 분할 영역별로 밝기/색상 등급의 빈도수를 계산한다(단계 406).
이후, 각 분할 영역별로 빈도수가 가장 높은 밝기/색상 등급(최빈 리스트)을 이용하여 도로 배경을 생성한다(단계 408).
도로 배경 영상 생성을 위해, 사용자는 사용자 인터페이스(106)를 통해 도로 배경 생성을 위한 임계치에 해당하는 프레임 개수, 색상 평균 기준 등을 설정할 수 있다.
여기서, 색상 평균 기준은 RGB 채널, RGB 색상값의 합, 그레이 평균 등 다양한 기준 중 하나로 설정될 수 있다.
도 5는 본 실시예에 따른 도로 배경 생성 과정의 순서도이다.
도 5는 각 프레임을 9개의 영역으로 분할하고, 3개의 프레임을 이용하여 도로 배경을 추출하는 과정을 도시한 도면이다.
도 5에서, 제1 프레임에만 4번 분할 영역에 차량이 위치한다. 따라서, 3개의 프레임에서 4번 분할 영역의 밝기/색상 등급 최빈 리스트는 제1 프레임을 제외한 제2 및 제3 프레임에서의 4번 분할 영역의 밝기/색상 등급이다.
마찬가지로, 제2 프레임에만 5번 분할 영역에 차량이 위치하는 경우, 3개의 프레임에서 5번 분할 영역의 최빈 리스트는 제1 및 제3 프레임에서의 5번 분할 영역의 밝기/색상 등급이다.
이러한 방식으로서, 속도 검출 장치(102)는, 1 내지 9번 분할 영역 모두에서의 최빈 리스트를 참조하여 도로 배경을 생성한다.
다시 도 2를 참조하면, 속도 검출 장치(102)는 도로 배경을 추출한 후, 카메라(100)를 통해 촬영된 영상에서 차량(이동물체)을 인식한다(단계 206).
도 6에 도시된 바와 같이, 차량의 인식은 미리 추출된 도로 배경과 현재 프레임과의 차를 계산하여 수행될 수 있다. 현재 프레임에 차량이 존재하지 않는 경우에는 현재 프레임과 도로 배경이 동일하므로 픽셀값의 차이가 0일 수 있으며, 차량이 존재하는 경우에는 차량이 존재하는 영역에서는 픽셀값이 1의 값을 가질 수 있다.
이처럼 차영상을 획득한 후, 엣지 검출을 통해 차량을 인식할 수 있다.
차량 인식 후 속도 검출 장치(102)는 인식된 차량의 주포인트를 탐지한다(단계 208).
여기서, 주포인트는 연속되는 프레임에서 차량의 좌표를 결정하는 기준점을 의미한다.
바람직하게, 주포인트는 차량의 바퀴 하단 지점으로 결정될 수 있고, 바퀴 하단 지점은 그림자 영역 검출 또는 휠 검출을 통해 수행될 수 있다.
도 7은 차량의 그림자 영역을 이용한 바퀴 하단 지점을 탐색하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 차량의 하단에 그림자에 의해 어둡게 나타나는 영역이 존재한다.
속도 검출 장치(102)는 차량의 윤곽선 내에서 미리 설정된 임계치보다 낮은 밝기를 갖는 지점을 탐색하고, 프레임 내에서 최하단의 좌측 또는 우측 지점을 탐색한다.
본 실시예에 따르면, 차선과 차량의 주행 방향을 고려할 때, 차량 후방을 촬영하는 경우 주포인트는 우측 뒷바퀴 하단 지점일 수 있고, 차량 전방을 촬영하는 경우 주포인트는 우측 앞바퀴 하단 지점일 수 있다.
여기서, 바퀴 하단 지점은 하나 이상의 픽셀을 포함하는 영역으로 정의될 수 있다.
도 8은 차량의 휠 검출을 통해 바퀴 하단 지점을 탐색하는 과정을 설명하기 위한 도면이다.
본 실시예에 따르면, 차량 영역에서 RANSAC 알고리즘을 이용하여 타원을 탐색하고, 타원 주위의 색상을 비교하여 차량의 휠을 탐색한다. 이때, 바퀴 휠 판별은 타원 안쪽 지점의 밝기와 타원 바깥쪽 지점의 밝기의 차이가 미리 설정된 임계치보다 클 경우 휠로 인식한다.
이후, 휠의 크기에 비례하여 바퀴 하단 지점을 탐색한다.
도 7에서와 마찬가지로 차량 후방을 촬영하는 경우에는 프레임 내에서 우측 하단을 주포인트로 결정하고, 차량 전방을 촬영하는 경우에는 프레임 내에서 좌측 하단을 주포인트로 결정한다.
속도 검출 장치(102)는 연속되는 프레임에서 차량의 주포인트의 좌표의 가상 격자 내에서의 움직임을 추적하여 시간에 따른 차량의 이동 거리를 계산하고, 이를 통해 차량의 속도를 계산한다(단계 210). 속도 검출 장치(102)는 차량의 속도가 미리 설정된 속도를 초과하는 경우, 속도 검출 장치(102)는 해당 차량의 번호를 인식한다(단계 212).
도 9는 본 실시예에 따른 가상의 격자를 도시한 도면이다.
도 9에 도시된 바와 같이, 도로에 가상의 격자에는 계산 시작 라인 및 계산 종료 라인이 미리 설정될 수 있다.
속도 검출 장치(102)는 계산 시작 라인에서 계산 종료 라인 사이를 지나는 차량의 주포인트의 좌표와 격자의 교차점을 이용하여 차량의 속도를 계산한다.
이때, 제1 시점의 프레임에서의 교차점과, 제1 시점의 다음 시점인 제2 시점의 프레임에서의 교차점의 거리를 이용하여 이동 거리를 계산하고, 프레임 시간 간격을 이용하여 차량의 속도를 계산한다.
이때, 차량의 속도 계산은 복수 회 이루어질 수 있다.
도 10 내지 도 11은 차량의 속도를 계산하는 다양한 방식을 도시한 것이다.
도 10에 도시된 바와 같이, 연속되는 프레임 단위로 이동 거리를 계산하고, 이들을 단순 평균 또는 가중 평균한 후 시간으로 나누어 속도를 계산할 수 있다.
또한, 도 11에 도시된 바와 같이, 계산 시작 라인과 계산 종료 라인에서 많은 빈도로 출현한 거리를 결정하여 이를 통해 차량의 속도를 계산할 수도 있다.
도 10 내지 도 11과 달리, 계산 시작 라인에서 계산 종료 라인까지의 이동 시간을 이용하여 속도를 계산할 수도 있을 것이다.
상기한 바와 같이, 본 실시예에 따른 속도 검출 장치(102)는 도로상의 가상의 격자를 기반으로 차량의 속도를 계산한다.
도 12는 본 실시예에 따른 실제 격자 이미지를 이용하여 가상의 격자를 생성하는 과정을 설명하기 위한 도면이다.
도 12에 도시된 바와 같이, 카메라를 소정 위치에 배치하여 전방에 위치한 격자 형상의 지면을 촬영한다.
촬영된 영상에서 격자 이미지를 식별하고, 식별된 격자 이미지에서 격자 좌표를 추출하여 데이터베이스에 저장한다.
데이터베이스(격자 정보 저장부)에는 실제 격자 이미지를 촬영한 카메라의 렌즈 종류, 높이, 격자와의 거리, 격자 셀 크기에 관한 정보가 함께 저장된다.
이처럼 카메라에 관한 다양한 파라미터를 갖는 정보를 저장하는 것은 실제 도로에 설치되는 카메라의 종류, 설치 위치에 따라 대응되는 격자를 추출하기 위한 것이다.
본 실시예에 따르면, 실제 격자 이미지 촬영 시, 소정 위치에 사각형상의 격자 정합부가 배치될 수 있다. 사각형상의 정합부의 수평 방향은 실제 격자의 수평 방향과 평행하게 배치되는 것이 바람직하다.
본 실시예에 따른 컴퓨팅 장치(102)는 미리 촬영된 실제 격자의 좌표 정보와, 격자 정합부의 모서리 좌표 정보를 추출하며, 격자 정보 저장부에 카메라 파라미터와 함께 상기와 같이 추출된 격자 좌표 정보 및 모서리 좌표 정보를 저장한다.
실제 도로에 카메라를 설치하고, 가상의 격자를 생성하는 경우, 실제 격자를 촬영한 시점에서의 격자의 방향과 실제 도로에서의 방향이 다소 차이가 있을 수 있다.
본 실시예에 따르면, 실제 도로에 카메라를 설치하는 경우, 카메라를 통해 입력된 영상에는 이전에 추출된 격자 정합부의 모서리가 화면의 소정 위치에 표시된다.
또한, 작업자는 도로에 인접한 소정 위치에 격자 이미지 촬영 시 사용된 격자 정합부를 배치한다.
이때, 사각 형상의 격자 정합부는 도로의 진행 방향에 평행하게 배치하는 것이 바람직하다.
도로 환경에 따라 화면상에 표시되는 모서리와 도로상에 배치된 격자 정합부의 위치가 일치하지 않을 수 있다.
이때, 작업자는 도 13에 도시된 바와 같이, 화면상에 표시된 모서리를 도로상에 배치된 격자 정합부의 모서리와 일치시키며, 이에 따라 기하학적 변형으로 추출된 격자가 실제 도로 환경에 적합한 가상의 격자로 변환된다.
이는 homogeneous transformation 과정으로 정의될 수 있다.
상기에서는 실제 격자 이미지를 촬영하여 도로상에 가상의 격자를 생성하는 것으로 설명하였으나, 이에 한정됨이 없이 소정 사이즈를 갖는 격자 무늬를 생성하고, 이를 도로 진행 방향에 맞게 변형하여 도로상에 가상의 격자를 생성할 수도 있다.
도 14는 본 실시예에 따른 속도 검출 장치의 구성을 도시한 도면이다.
도 14에 도시된 바와 같이, 본 실시예에 따른 속도 검출 장치는 프로세서(1400), 메모리(1402) 및 격자 정보 저장부(1404)를 포함할 수 있다.
프로세서(1400)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(1402)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(202)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리(1402)에는 프로세서(1400)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
격자 정보 저장부(1404)는 실제 촬영된 격자 이미지의 격자 좌표 정보, 상기 격자 정합부의 모서리 좌표 정보 및 격자 이미지 촬영 시 카메라의 렌즈 종류, 높이, 격자와의 거리, 격자 셀 크기에 관한 정보와 같은 파라미터 정보를 저장한다.
본 실시예에 따른 속도 검출을 위해, 메모리(1402)에는 도로상의 차량의 이동 영역에 가상의 격자를 생성하고, 카메라를 통해 촬영된 영상의 연속되는 프레임에서 차량을 검출하고, 상기 연속되는 프레임에서 상기 가상의 격자를 이용하여 검출된 차량의 이동 거리를 계산하고, 상기 계산된 이동 거리를 이용하여 차량의 속도를 계산하도록, 프로세서(1400)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
또한, 메모리(1402)에는 차량의 검출 이전에, 촬영 시작 시의 최초 프레임에서의 하나 이상의 초점 포인트의 좌표를 저장하고, 연속되는 프레임에서 상기 하나 이상의 초점 포인트의 좌표의 변화를 인식하고, 좌표의 변화를 이용하여 연속되는 프레임의 위치를 보정하도록 하는 프로그램 명령어들이 더 저장될 수 있다.
도로 배경 생성을 위해, 메모리(1402)에 저장된 프로그램 명령어들은, 미리 설정된 개수의 프레임 각각을 복수의 영역으로 분할하고, 미리 설정된 개수의 프레임 내의 복수의 분할 영역 각각의 밝기 및 색상 등급을 계산하고, 복수의 분할 영역별로 빈도수가 높은 밝기 및 색상 등급을 이용하여 도로 배경을 생성할 수 있다.
차량의 검출은 상기와 같이 생성된 도로 배경과 연속되는 프레임에서의 차영상을 산출하여 수행될 수 있다.
또한, 차량의 추적을 위한 주포인트는 차량의 그림자 영역 검출 또는 휠 검출을 통한 차량의 바퀴 하단 지점으로 결정될 수 있다.
본 실시예에 따른 메모리(1402)에 저장된 프로그램 명령어들은 실제 촬영된 격자 이미지와 상기 격자 이미지 촬영 시 소정 위치에 배치된 미리 설정된 형상의 격자 정합부의 모서리 정보를 이용하여 상기 도로에 맞게 상기 가상 격자를 생성할 수 있다.
이러한 실제 촬영된 격자 이미지의 격자 좌표 정보, 격자 정합부의 모서리 좌표 정보 및 상기 격자 이미지 촬영 시 카메라의 파라미터 정보를 저장하는 격자 정보 저장부(1404)에 저장된다.
본 실시예에 따른 메모리(1402)는 연속되는 프레임 단위로 차량의 이동 거리를 계산하고 이를 단순 평균 또는 가중 평균하여 상기 차량의 속도를 계산하거나, 연속되는 프레임 단위로 차량의 이동 거리의 빈도수를 계산하고 가장 많은 빈도수로 나타나는 이동 거리를 이용하여 차량의 속도를 계산하는 프로그램 명령어들을 저장한다.
상기에서는 탐색된 주포인트의 좌표를 추적하여 차량의 이동 거리를 계산하는 것으로 설명하였으나, 경우에 따라서는 주포인트 탐색에 실패하는 경우가 발생할 수 있다. 도 15는 본 발명의 다른 실시예에 따른 차량의 움직임 추적 과정을 설명하기 위한 도면이다.
도 15를 참조하면, 주포인트가 탐색되지 않는 경우를 고려하여, 속도 검출 장치(102)는 도로상의 가상 격자를 참조하여 차량의 진행 방향에 상응하는 복수의 가상 라인(가상 수직 라인, 1500)을 생성한다.
속도 검출 장치(102)는 복수의 가상 라인과 차량의 외곽선과의 교차점(902)을 탐색한다.
이후, 교차점(1502)의 이동을 추적하여 차량의 속도를 계산한다.
여기서, 교차점(1502)은 복수 개 존재할 수 있으며, 이중 적어도 하나를 기준점으로 선택하여 기준점의 추적을 통해 차량의 이동 거리를 계산할 수도 있을 것이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

  1. 영상 추적을 이용한 차량 속도 검출 장치로서,
    프로세서; 및
    상기 프로세서에 연결된 메모리를 포함하되,
    상기 메모리는,
    도로상의 차량의 이동 영역에 가상의 격자를 생성하고,
    카메라를 통해 촬영된 영상의 연속되는 프레임에서 차량을 검출하고,
    상기 연속되는 프레임에서 상기 가상의 격자를 이용하여 검출된 차량의 이동 거리를 계산하고,
    상기 계산된 이동 거리를 이용하여 차량의 속도를 계산하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하며,
    상기 프로그램 명령어들은, 실제 촬영된 격자 이미지와 상기 격자 이미지 촬영 시 소정 위치에 배치된 미리 설정된 형상의 격자 정합부의 모서리 정보를 이용하여 상기 도로에 맞게 상기 가상 격자를 생성하며,
    상기 차량 검출 이전에, 미리 설정된 개수의 프레임 각각을 복수의 영역으로 분할하고, 상기 미리 설정된 개수의 프레임 내의 복수의 분할 영역 각각의 밝기 및 색상 등급을 계산하고, 복수의 분할 영역별로 빈도수가 가장 높은 밝기 및 색상 등급을 이용하여 도로 배경을 생성하는, 영상 추적을 이용한 차량 속도 검출 장치.
  2. 제1항에 있어서,
    상기 메모리는,
    상기 차량의 검출 이전에,
    촬영 시작 시의 최초 프레임에서의 하나 이상의 초점 포인트의 좌표를 저장하고,
    상기 연속되는 프레임에서 상기 하나 이상의 초점 포인트의 좌표의 변화를 인식하고,
    상기 좌표의 변화를 이용하여 상기 연속되는 프레임의 위치를 보정하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 영상 추적을 이용한 차량 속도 검출 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 차량의 검출은 상기 생성된 도로 배경과 상기 연속되는 프레임과의 차영상을 이용하여 수행되는 영상 추적을 이용한 차량 속도 검출 장치.
  5. 제1항에 있어서,
    상기 메모리는,
    상기 검출된 차량의 그림자 영역 검출 또는 휠 검출을 통해 차량의 바퀴 하단 지점을 탐색하고,
    상기 탐색된 차량의 바퀴하단 지점을 주포인트로 결정하고,
    상기 결정된 주포인트의 상기 가상 격자 내에서의 좌표 변화를 추적하여 차량의 이동 거리를 계산하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 영상 추적을 이용한 차량 속도 검출 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 실제 촬영된 격자 이미지의 격자 좌표 정보, 상기 격자 정합부의 모서리 좌표 정보 및 상기 격자 이미지 촬영 시 카메라의 파라미터 정보를 저장하는 격자 정보 저장부를 더 포함하는 영상 추적을 이용한 차량 속도 검출 장치.
  8. 제1항에 있어서,
    상기 메모리는,
    상기 연속되는 프레임 단위로 상기 차량의 이동 거리를 계산하고, 이를 단순 평균 또는 가중 평균하여 상기 차량의 속도를 계산하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 영상 추적을 이용한 차량 속도 검출 장치.
  9. 제1항에 있어서,
    상기 메모리는,
    상기 연속되는 프레임 단위로 상기 차량의 이동 거리의 빈도수를 계산하고, 가장 많은 빈도수로 나타나는 이동 거리를 이용하여 상기 차량의 속도를 계산하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 영상 추적을 이용한 차량 속도 검출 장치.
  10. 카메라와 연결된 장치에서, 영상 추적을 이용한 차량의 속도를 검출하는 방법으로서,
    (a) 도로상의 차량의 이동 영역에 가상의 격자를 생성하는 단계;
    (b) 미리 설정된 개수의 프레임 각각을 복수의 영역으로 분할하여 도로 배경을 생성하는 단계;
    (c) 카메라를 통해 촬영된 영상의 연속되는 프레임에서 차량을 검출하는 단계;
    (d) 상기 연속되는 프레임에서 상기 가상의 격자를 이용하여 검출된 차량의 이동 거리를 계산하는 단계; 및
    (e) 상기 계산된 이동 거리를 이용하여 차량의 속도를 계산하는 단계를 포함하되,
    상기 (a) 단계는, 실제 촬영된 격자 이미지와 상기 격자 이미지 촬영 시 소정 위치에 배치된 미리 설정된 형상의 격자 정합부의 모서리 정보를 이용하여 상기 도로에 맞게 상기 가상 격자를 생성하며,
    상기 (b) 단계는, 상기 미리 설정된 개수의 프레임 내의 복수의 분할 영역 각각의 밝기 및 색상 등급을 계산하고, 복수의 분할 영역별로 빈도수가 가장 높은 밝기 및 색상 등급을 이용하여 도로 배경을 생성하는 영상 추적을 이용한 차량 속도 검출 방법.


KR1020180082729A 2018-07-17 2018-07-17 영상 추적을 이용한 차량 속도 검출 장치 및 방법 KR102052833B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180082729A KR102052833B1 (ko) 2018-07-17 2018-07-17 영상 추적을 이용한 차량 속도 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180082729A KR102052833B1 (ko) 2018-07-17 2018-07-17 영상 추적을 이용한 차량 속도 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102052833B1 true KR102052833B1 (ko) 2019-12-09

Family

ID=68837747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180082729A KR102052833B1 (ko) 2018-07-17 2018-07-17 영상 추적을 이용한 차량 속도 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102052833B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298909A (zh) * 2021-04-13 2021-08-24 网易（杭州）网络有限公司 虚拟道路的生成方法、装置、存储介质和处理器
CN113945153A (zh) * 2020-07-16 2022-01-18 远景网格有限公司 用于自动驾驶的利用图像跟踪的距离和位置测定方法及装置
KR20220009608A (ko) * 2020-07-16 2022-01-25 주식회사 비젼그리드 영상 추적을 이용한 차량 속도 검출을 위한 가상 곡선 격자선 생성 방법 및 장치
KR20220009609A (ko) * 2020-07-16 2022-01-25 주식회사 비젼그리드 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치
KR102416216B1 (ko) * 2021-02-09 2022-07-05 주식회사 비젼그리드 영상인식을 이용한 3차원 실체 형상 데이터 생성 방법 및 장치
CN118015850A (zh) * 2024-04-08 2024-05-10 云南省公路科学技术研究院 一种多目标车辆车速同步估算方法、系统、终端及介质
CN118212769A (zh) * 2024-02-04 2024-06-18 山东高速集团有限公司创新研究院 一种基于车载视频的高速公路图像采集方法、设备及介质
KR102696863B1 (ko) 2024-05-24 2024-08-20 건아정보기술 주식회사 가림 영역에서의 객체 추적 예측 알고리즘을 이용한 양방향 객체 추적 시스템
KR102711127B1 (ko) * 2021-01-29 2024-09-26 네이버 주식회사 카메라 보정 없는 속도 추정 시스템들 및 방법들

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070070671A (ko) * 2005-12-29 2007-07-04 엠텍비젼 주식회사 광흐름을 이용한 속도 측정 장치 및 그 방법
JP2010244194A (ja) * 2009-04-02 2010-10-28 Toyota Motor Corp 物体識別装置
KR101046935B1 (ko) * 2010-07-05 2011-07-07 (주)베라시스 차량의 주행속도 검출장치 및 그 방법
KR101635749B1 (ko) * 2014-12-31 2016-07-05 오토아이티(주) 영상 인식 알고리즘을 이용한 지게차량 운행속도 산출방법
KR20170080481A (ko) 2015-12-30 2017-07-10 건아정보기술 주식회사 다차선 차량 속도 측정 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070070671A (ko) * 2005-12-29 2007-07-04 엠텍비젼 주식회사 광흐름을 이용한 속도 측정 장치 및 그 방법
JP2010244194A (ja) * 2009-04-02 2010-10-28 Toyota Motor Corp 物体識別装置
KR101046935B1 (ko) * 2010-07-05 2011-07-07 (주)베라시스 차량의 주행속도 검출장치 및 그 방법
KR101635749B1 (ko) * 2014-12-31 2016-07-05 오토아이티(주) 영상 인식 알고리즘을 이용한 지게차량 운행속도 산출방법
KR20170080481A (ko) 2015-12-30 2017-07-10 건아정보기술 주식회사 다차선 차량 속도 측정 시스템

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113945153A (zh) * 2020-07-16 2022-01-18 远景网格有限公司 用于自动驾驶的利用图像跟踪的距离和位置测定方法及装置
KR20220009608A (ko) * 2020-07-16 2022-01-25 주식회사 비젼그리드 영상 추적을 이용한 차량 속도 검출을 위한 가상 곡선 격자선 생성 방법 및 장치
KR20220009609A (ko) * 2020-07-16 2022-01-25 주식회사 비젼그리드 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치
KR102388128B1 (ko) * 2020-07-16 2022-04-19 주식회사 비젼그리드 영상 추적을 이용한 차량 속도 검출을 위한 가상 곡선 격자선 생성 방법 및 장치
KR102427463B1 (ko) * 2020-07-16 2022-08-01 주식회사 비젼그리드 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치
KR102711127B1 (ko) * 2021-01-29 2024-09-26 네이버 주식회사 카메라 보정 없는 속도 추정 시스템들 및 방법들
KR102416216B1 (ko) * 2021-02-09 2022-07-05 주식회사 비젼그리드 영상인식을 이용한 3차원 실체 형상 데이터 생성 방법 및 장치
CN113298909A (zh) * 2021-04-13 2021-08-24 网易（杭州）网络有限公司 虚拟道路的生成方法、装置、存储介质和处理器
CN113298909B (zh) * 2021-04-13 2023-07-25 网易（杭州）网络有限公司 虚拟道路的生成方法、装置、存储介质和处理器
CN118212769A (zh) * 2024-02-04 2024-06-18 山东高速集团有限公司创新研究院 一种基于车载视频的高速公路图像采集方法、设备及介质
CN118015850A (zh) * 2024-04-08 2024-05-10 云南省公路科学技术研究院 一种多目标车辆车速同步估算方法、系统、终端及介质
KR102696863B1 (ko) 2024-05-24 2024-08-20 건아정보기술 주식회사 가림 영역에서의 객체 추적 예측 알고리즘을 이용한 양방향 객체 추적 시스템

Similar Documents

Publication Publication Date Title
KR102052833B1 (ko) 영상 추적을 이용한 차량 속도 검출 장치 및 방법
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
US8184859B2 (en) Road marking recognition apparatus and method
JP4930046B2 (ja) 路面判別方法および路面判別装置
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP5867596B2 (ja) 立体物検出装置及び立体物検出方法
US11049259B2 (en) Image tracking method
US9747507B2 (en) Ground plane detection
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
JP6226368B2 (ja) 車両監視装置、および車両監視方法
US20150054955A1 (en) Image processing method of vehicle camera and image processing apparatus using the same
CN103366155B (zh) 通畅路径检测中的时间相干性
JP6278790B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JPWO2008114769A1 (ja) 移動体検知装置および移動体検知プログラムと移動体検知方法
JP2008262333A (ja) 路面判別装置および路面判別方法
JP6515704B2 (ja) 車線検出装置及び車線検出方法
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
JP6314843B2 (ja) 道路境界線認識装置及び道路境界線認識方法
JP6399485B2 (ja) 走行路認識装置
JP7258632B2 (ja) 物体検出装置
JP2012150595A (ja) 一時停止線検出装置及びプログラム
JP6949090B2 (ja) 障害物検知装置及び障害物検知方法
CN112924707B (zh) 利用影像追踪的车辆速度检测装置及方法
JP2021077091A (ja) 画像処理装置および画像処理方法
JP6831396B2 (ja) 映像監視装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant