KR102448944B1 - 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치 - Google Patents

영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치 Download PDF

Info

Publication number
KR102448944B1
KR102448944B1 KR1020220094648A KR20220094648A KR102448944B1 KR 102448944 B1 KR102448944 B1 KR 102448944B1 KR 1020220094648 A KR1020220094648 A KR 1020220094648A KR 20220094648 A KR20220094648 A KR 20220094648A KR 102448944 B1 KR102448944 B1 KR 102448944B1
Authority
KR
South Korea
Prior art keywords
image
detection line
vehicle object
speed
marker
Prior art date
Application number
KR1020220094648A
Other languages
English (en)
Inventor
정종우
이양로
천수영
라유라
Original Assignee
시티아이랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시티아이랩 주식회사 filed Critical 시티아이랩 주식회사
Priority to KR1020220094648A priority Critical patent/KR102448944B1/ko
Application granted granted Critical
Publication of KR102448944B1 publication Critical patent/KR102448944B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

본 발명은 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치로서, 역원근변환되어 도로의 차선이 수평으로 보여지는 영상에서 속도측정의 기준이 되는 검지선을 입력하고, 검지선이 입력된 영상을 원복하여, 실제 속도를 측정하고자 하는 영상에 입력된 검지선을 적용하여 속도측정에 대한 정확성을 향상시킬 수 있는, 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치에 관한 것이다.

Description

영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치{Method and Device for Measuring the Velocity of Vehicle by Using Perspective Transformation}
본 발명은 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치로서, 역원근변환되어 도로의 차선이 수평으로 보여지는 영상에서 속도측정의 기준이 되는 검지선을 입력하고, 검지선이 입력된 영상을 원복하여, 실제 속도를 측정하고자 하는 영상에 입력된 검지선을 적용하여 속도측정에 대한 정확성을 향상시킬 수 있는, 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치에 관한 것이다.
차량검지기(Vehicle Detection System, VDS)란 도로상에 설치되어, 교통량, 속도, 점유율 등에 대한 교통정보를 수집하기 위한 장치로서, 그 종류로는 루프검지방식, 자기검지방식, WIM검지방식, 초단파검지방식, 적외선감지방식, 영상검지방식 등이 있다.
이 중 영상검지방식은 속도를 측정하고자 하는 도로를 촬영한 영상에 대하여, 속도측정구간을 진입 및 통과하는 차량을 식별하고 차량의 속도를 검지하는 속도측정방식으로서, 속도측정구간에서의 차량의 속도를 정확하게 측정하기 위해서는, 영상 내에서 속도측정구간을 정확하게 설정해줄 필요가 있다.
그러나, 촬영장치의 설치위치에 따라 촬영영상에 원근에 의한 기하학적 왜곡이 발생할 수 있고, 이는 차량의 속도가 오측정되는 원인이 될 수 있다. 구체적으로 도로상의 3차원 현실이 2차원으로 변환되는 과정에서 카메라와 피사체(도로 혹은 차량)와의 거리에 의해 왜곡이 발생할 수 밖에 없고, 이로 인해 작업자가 촬영영상을 보며 속도측정구간을 설정하기에 난해할 수 있다.
결과적으로 영상검지방식에 의해 차량의 속도를 정확하게 측정하기 위해서는 촬영영상의 원근 왜곡을 보정할 필요가 있다.
한편, 국내등록특허 KR 10-0965800 B1는 차량 영상 검지 및 속도 산출방법으로서, 광류법과 기하학적 연산을 사용하여 광도 등의 환경변화에도 주행 차량을 안정적으로 검지하여 차량의 속도를 측정할 수 있는 속도 산출방법을 개시하고 있다. 그러나 해당 특허에 의한 속도 산출방법은 속도측정의 정확도를 향상시키기 위해, 영상의 원근왜곡을 보정하는 구성에 대해서는 개시하는 바가 없다.
한국등록특허 KR 10-0965800 B1
본 발명은 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치로서, 역원근변환되어 도로의 차선이 수평으로 보여지는 영상에서 속도측정의 기준이 되는 검지선을 입력하고, 검지선이 입력된 영상을 원복하여, 실제 속도를 측정하고자 하는 영상에 입력된 검지선을 적용하여 속도측정에 대한 정확성을 향상시킬 수 있는, 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치를 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위하여, 서버시스템에서 수행되는 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법으로서, 도로변 차선을 따라 제1마커, 및 제2마커가 마킹된 도로를 촬영한 기준영상, 및 상기 제1마커와 상기 제2마커 사이의 실거리를 수신하는 기준영상수신단계; 상기 기준영상을 역원근변환(Inverse Perspective Transformation)하여 원근에 의한 왜곡이 보정되어 도로의 차선이 수평으로 보여지는 변환영상을 생성하는 변환영상생성단계; 상기 변환영상에, 상기 제1마커를 시작점으로 하여 도로의 차선과 수직을 이루는 제1검지선, 및 상기 제2마커를 시작점으로 하여 상기 제1검지선과 수평을 이루고, 도로의 차선과 수직을 이루는 제2검지선을 입력하는 검지선입력단계; 상기 제1검지선 및 상기 제2검지선이 입력된 변환영상을 원근변환하여, 상기 기준영상에 상기 제1검지선 및 상기 제2검지선이 입력된 형태의 기준데이터를 생성하는 기준데이터생성단계; 상기 기준영상의 도로와 동일한 도로를 촬영한 측정영상에 대하여 딥러닝 기반의 차량객체검출모델을 이용하여, 차량객체를 검출하고, 차량객체에 대한 좌표정보를 트래킹하는 차량객체트래킹단계; 및 상기 측정영상에 상기 제1검지선 및 상기 제2검지선을 적용하고, 상기 차량객체에 대한 좌표정보가 상기 제1검지선에 접하는 때의 제1타이밍정보, 상기 차량객체에 대한 좌표정보가 상기 제2검지선에 접하는 때의 제2타이밍정보, 및 상기 실거리에 기반하여, 상기 차량객체에 대한 속도를 측정하는, 속도측정단계;를 포함하는, 속도측정방법을 제공한다.
본 발명의 일 실시예에서는, 상기 속도측정방법은, 상기 기준영상에 대하여, 속도를 측정하고자 하는 영역인 관심영역(ROI, Region Of Interest)을 설정하는, 관심영역설정단계;를 더 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 기준영상은, 도로에 설치된 촬영장치에 의하여, 상하행 차로가 촬영된 영상정보일 수 있다.
본 발명의 일 실시예에서는, 상기 기준영상은, 상기 기준영상을 구성하는 복수의 프레임 중 어느 하나에 대한 이미지정보를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 제1타이밍정보는, 상기 측정영상에서, 상기 차량객체에 대한 좌표정보가 상기 제1검지선에 접하는 시간 혹은 프레임에 대한 정보이고, 상기 제2타이밍정보는, 상기 측정영상에서, 상기 차량객체에 대한 좌표정보가 상기 제2검지선에 접하는 시간 혹은 프레임에 대한 정보일 수 있다.
본 발명의 일 실시예에서는, 상기 차량객체트래킹단계는, 상기 차량객체검출모델에 의해 검출된 복수의 차량객체 각각에 대하여, 바운딩박스를 부여하고, 상기 바운딩박스 내의 특정 좌표를 해당 차량객체에 대한 좌표정보로 설정하여 트래킹하고, 상기 속도측정단계는, 상기 복수의 차량객체 각각에 대한 속도를 측정할 수 있다.
본 발명의 일 실시예에서는, 상기 검지선입력단계는, 검지선을 입력하고자 하는 작업자단말기에 상기 변환영상을 제공하는 단계; 상기 작업자단말기로부터, 상기 제1마커를 시작점으로 하고, 상기 제1마커가 마킹된 차로변의 반대 차로변을 끝점으로 하여, 상기 제1검지선이 입력된 제1입력정보를 수신하는 단계; 상기 작업자단말기에, 상기 제1입력정보에 기초하여, 상기 제1검지선과 평행하고, 동일한 길이를 가지는 제2검지선엘리먼트를 제공하는 단계; 상기 작업자단말로부터, 상기 제2검지선엘리먼트의 일단을 상기 제2마커에 위치함으로써, 상기 제2마커를 시작점으로 하고, 상기 제2마커가 마킹된 차로변의 반대 차로변을 끝점으로 하고, 상기 제1검지선과 평행한 상기 제2검지선이 입력된 제2입력정보를 수신하는 단계;를 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여, 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정장치로서, 도로변 차선을 따라 제1마커, 및 제2마커가 마킹된 도로를 촬영한 기준영상, 및 상기 제1마커와 상기 제2마커 사이의 실거리를 수신하는 기준영상수신단계; 상기 기준영상을 역원근변환(Inverse Perspective Transformation)하여 원근에 의한 왜곡이 보정되어 도로의 차선이 수평으로 보여지는 변환영상을 생성하는 변환영상생성단계; 상기 변환영상에, 상기 제1마커를 시작점으로 하여 도로의 차선과 수직을 이루는 제1검지선, 및 상기 제2마커를 시작점으로 하여 상기 제1검지선과 수평을 이루고, 도로의 차선과 수직을 이루는 제2검지선을 입력하는 검지선입력단계; 상기 제1검지선 및 상기 제2검지선이 입력된 변환영상을 원근변환하여, 상기 기준영상에 상기 제1검지선 및 상기 제2검지선이 입력된 형태의 기준데이터를 생성하는 기준데이터생성단계; 상기 기준영상의 도로와 동일한 도로를 촬영한 측정영상에 대하여 딥러닝 기반의 차량객체검출모델을 이용하여, 차량객체를 검출하고, 차량객체에 대한 좌표정보를 트래킹하는 차량객체트래킹단계; 및 상기 차량객체에 대한 좌표정보가 상기 제1검지선에 접하는 때의 제1타이밍정보, 상기 차량객체에 대한 좌표정보가 상기 제2검지선에 접하는 때의 제2타이밍정보, 및 상기 실거리에 기반하여, 상기 차량객체에 대한 속도를 측정하는, 속도측정단계;를 수행하는, 속도측정장치를 제공한다.
본 발명의 일 실시예에 따르면, 속도측정의 기준이 되는 검지선을 입력하는 작업자에 원근에 의한 왜곡이 보정되어 도로의 차선이 수평으로 보여지는 영상이 제공되어, 작업자는 용이하게 도로의 차선과 수직을 이루는 검지선을 입력할 수 있다.
본 발명의 일 실시예에 따르면, 도로 차로변 일측에 마킹된 마커만으로 상하행 모든 차로에 대한 검지선이 입력될 수 있다.
본 발명의 일 실시예에 따르면, 검지선이 입력된 영상을 원복하고 이를 실제 속도를 측정하고자 하는 영상에 적용함으로써, 차량객체검출과 속도측정의 정확성을 향상할 수 있다.
본 발명의 일 실시예에 따르면, 작업자가 제1검지선을 입력하는 경우, 자동적으로 제2검지선을 입력할 수 있는 인터페이스가 제공되어, 작업자는 동일한 길이를 가지고 수평을 이루는 제1검지선 및 제2검지선을 용이하게 입력할 수 있다.
본 발명의 일 실시예에 따르면, 작업자가 설정한 관심영역에 대해서만 원근에 의한 왜곡을 보정함으로써, 영상변환 과정에서의 데이터연산량을 경감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법을 구현하기 위한 구성요소들을 도시한다.
도 2는 본 발명의 일 실시예에 따른 기준영상으로부터 기준데이터를 생성하기까지의 단계를 도시한다.
도 3은 본 발명의 일 실시예에 따른 기준영상수신단계 및 관심영역설정단계를 도시한다.
도 4는 본 발명의 일 실시예에 따른 변환영상생성단계를 도시한다.
도 5는 본 발명의 일 실시예에 따른 검지선입력단계를 도시한다.
도 6은 본 발명의 일 실시예에 따른 기준데이터생성단계를 도시한다.
도 7은 본 발명의 일 실시예에 따른 측정영상 내 차량객체의 속도를 측정하기까지의 단계를 도시한다.
도 8은 본 발명의 일 실시예에 따른 차량객체트래킹단계를 도시한다.
도 9은 본 발명의 일 실시예에 따른 차량객체트래킹단계에서 검출된 차량객체에 대한 정보를 도시한다.
도 10은 본 발명의 일 실시예에 따른 속도측정단계를 도시한다.
도 11은 본 발명의 일 실시예에 따른 검지선을 입력하는 작업자단말에 제공되는 인터페이스를 도시한다.
도 12는 본 발명의 일 실시예에 따른 검지선을 입력하는 작업자단말에 제공되는 인터페이스를 도시한다.
도 13은 본 발명의 일 실시예에 따른 검지선을 입력하는 작업자단말에 제공되는 인터페이스를 도시한다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법을 구현하기 위한 구성요소들을 도시한다.
도 1의 (a)에 도시된 바와 같이, 본원 발명의 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법은 촬영장치(2), 서버시스템(1), 및 작업자단말(3)에 의해 구현될 수 있다.
촬영장치(2)는 도로변, 신호등, 인근건물 옥상 등에 설치되어, 속도를 측정하고자 하는 속도측정구간에 대한 도로의 영상을 촬영하고 이를 서버시스템(1)에 전송할 수 있다. 구체적으로 상기 촬영장치(2)에서 촬영된 영상은 실시간 혹은 비실시간적인 형태로 서버시스템(1)으로 전송될 수 있다. 바람직하게는 복수의 촬영장치(2)가 고속도로, 고속화도로 등에 일정구간마다 설치되어, 복수의 촬영장치(2) 각각에 대한 속도측정구간을 촬영하고 이를 서버시스템(1)에 전송할 수 있다.
한편, 상기 촬영장치(2)가 촬영하는 영상은, 속도측정의 기준이 되는 검지선을 입력하기 위한 기준영상, 및 실제 속도측정구간을 지나는 차량객체를 검출하고 속도를 측정하고자 하는 측정영상을 포함할 수 있다. 구체적으로 상기 기준영상과 상기 측정영상은 동일한 속도측정구간에 대한 도로를 촬영한 영상에 해당하나, 상기 기준영상은 속도측정구간에서 속도측정의 기준이 되는 검지선을 입력하기 위한 영상에 해당할 수 있고, 상기 측정영상은 실제 속도측정구간에서의 차량객체의 속도를 측정하기 위한 영상일 수 있다.
또는 본 발명의 일 실시예에서 상기 기준영상과 상기 측정영상은 동일한 영상에 해당할 수 있다.
또한, 상기 기준영상 및 상기 측정영상은 도로의 상하행 차로 모두가 촬영된 영상일 수 있다.
또한, 상기 기준영상 및 상기 측정영상은 원근에 의한 왜곡이 반영된 영상일 수 있다.
서버시스템(1)은 촬영장치(2)로부터 측정영상을 수신하고, 해당 측정영상에서의 차량객체를 검출하고, 검출된 차량객체에 대한 속도를 측정할 수 있다. 구체적으로 서버시스템(1)은 클라우드 서버 시스템 형태로 구현되어, 서로 다른 위치의 다양한 촬영장치(2)에서 촬영된 영상은 서버시스템(1)에 전송되고, 서버시스템(1)은 각각의 촬영장치(2)의 영상을 분석하여 각각의 속도측정구간을 지나는 차량객체의 속도를 측정할 수 있다.
한편, 서버시스템(1)에 의한 차량객체의 속도가 정확히 측정되기 위해서는, 속도측정구간에서 속도측정의 기준이 되는 검지선이 정확히 설정될 필요가 있다. 구체적으로 서버시스템(1)은 검출된 차량객체가 제1검지선(L1) 및 제2검지선(L2)을 통과하는 시간 혹은 프레임에 기초하여, 해당 차량객체에 대한 속도를 측정할 수 있으며, 제1검지선(L1) 및 제2검지선(L2)이 차량의 진행방향, 혹은 차선을 따로 수평으로 설정되어야 서버시스템(1)이 해당 차량객체에 대한 속도를 정확히 측정할 수 있다.
예를 들어, 상기 제1검지선(L1) 및 상기 제2검지선(L2)이 차량의 진행방향, 혹은 차선과 수평을 이루지 않고, 사선이나 곡선형태로 설정되는 경우 속도측정구간을 지나는 차량객체의 속도가 오측정될 수 있다.
작업자단말(3)은 서버시스템(1)으로부터 상기 제1검지선(L1) 및 상기 제2검지선(L2)을 입력하기 위한 인터페이스를 제공받고, 상기 제1검지선(L1) 및 상기 제2검지선(L2)을 입력할 수 있다. 구체적으로 작업자단말(3)은 차량의 진행방향, 혹은 차선과 수평을 이루도록 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다.
바람직하게는 작업자단말(3)은 도로의 차선이 수평으로 보여지도록 기준영상이 변환된 변환영상에 차선과 수직을 이루도록 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다.
도 1의 (b)에 도시된 바와 같이, 서버시스템(1)은 영상수신부(11), 인터페이스제공부(12), 영상변환부(13), 및 속도측정부(14)를 포함하고, 상기 속도측정부(14)는 차량객체검출모델(140)을 더 포함할 수 있다.
영상수신부(11)는 촬영장치(2)로부터 영상을 수신할 수 있다. 구체적으로 영상수신부(11)는 복수의 촬영장치(2) 각각으로부터 기준영상 혹은 측정영상을 수신할 수 있다.
인터페이스제공부(12)는 작업자단말(3)에 제1검지선(L1) 및 제2검지선(L2)을 입력하기 위한 인터페이스를 제공할 수 있다.
영상변환부(13)는 기준데이터를 생성하기 위한 과정 중, 기준영상을 역원근변환하여 변환영상을 생성하거나, 작업자단말(3)에 의해 제1검지선(L1) 및 제2검지선(L2)이 입력된 변환영상을 다시 원근변환하여 기준데이터를 생성할 수 있다.
속도측정부(14)는 측정영상 내 차량객체의 속도를 측정할 수 있다. 구체적으로 속도측정부(14)는 측정영상 내의 차량객체를 검출하는 딥러닝 기반의 추론모델인 차량객체검출모델(140)을 포함하고, 차량객체검출모델(140)에 의해 검출된 복수의 차량객체 각각에 대한 속도를 측정할 수 있다. 바람직하게는 상기 속도측정부(14)는 측정영상 내의 검출된 차량객체가 제1검지선(L1) 및 제2검지선(L2)을 통과하는 시간 혹은 프레임에 기초하여, 해당 차량객체에 대한 속도를 측정할 수 있다.
더 구체적으로 서버시스템(1)의 영상수신부(11), 인터페이스제공부(12), 영상변환부(13), 및 속도측정부(14)는 이하의 도 2 및 도 7에 도시된 단계들을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 기준영상으로부터 기준데이터를 생성하기까지의 단계를 도시한다.
도 2에 도시된 바와 같이, 서버시스템(1)에서 수행되는 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법은 도로변 차선을 따라 제1마커(M1), 및 제2마커(M2)가 마킹된 도로를 촬영한 기준영상, 및 상기 제1마커(M1)와 상기 제2마커(M2) 사이의 실거리(L)를 수신하는 기준영상수신단계; 상기 기준영상을 역원근변환(Inverse Perspective Transformation)하여 원근에 의한 왜곡이 보정되어 도로의 차선이 수평으로 보여지는 변환영상을 생성하는 변환영상생성단계; 상기 변환영상에, 상기 제1마커(M1)를 시작점으로 하여 도로의 차선과 수직을 이루는 제1검지선(L1), 및 상기 제2마커(M2)를 시작점으로 하여 상기 제1검지선(L1)과 수평을 이루고, 도로의 차선과 수직을 이루는 제2검지선(L2)을 입력하는 검지선입력단계; 상기 제1검지선(L1) 및 상기 제2검지선(L2)이 입력된 변환영상을 원근변환하여, 상기 기준영상에 상기 제1검지선(L1) 및 상기 제2검지선(L2)이 입력된 형태의 기준데이터를 생성하는 기준데이터생성단계; 및 상기 기준영상에 대하여, 속도를 측정하고자 하는 영역인 관심영역(ROI, Region Of Interest)을 설정하는, 관심영역설정단계;를 포함할 수 있다.
S1단계 및 S2단계에서 촬영장치(2)는 기준영상을 촬영하고, 이를 영상수신부(11)에 송신할 수 있다. 구체적으로 기준영상은 기준데이터를 생성하기 위해 속도측정구간에 대한 도로를 촬영한 영상이고, 원근에 의한 왜곡이 반영된 영상일 수 있다.
또한, 상기 기준영상은 제1마커(M1) 및 제2마커(M2)가 마킹된 도로를 촬영한 영상일 수 있다. 구체적으로 상기 제1마커(M1) 및 상기 제2마커(M2)는 도로의 차선을 따라 현장작업자가 도로에 실제로 마킹한 지점형 마커일 수 있다. 바람직하게는 상기 제1마커(M1) 및 상기 제2마커(M2)는 속도측정의 기준이 되는 가상의 선인 제1검지선(L1) 및 제2검지선(L2)을 입력하기 위한 기준점이 될 수 있다.
또한, S1단계 및 S2단계에서 서버시스템(1)은 제1마커(M1)와 제2마커(M2) 사이의 실거리(L)를 수신할 수 있다. 상술한 바와 같이 상기 제1마커(M1) 및 상기 제2마커(M2)는 현장작업자에 의해 도로의 차선을 따라 마킹될 수 있고, 상기 제1마커(M1) 및 상기 제2마커(M2)를 마킹하는 과정에서 상기 제1마커(M1) 및 상기 제2마커(M2) 사이의 실거리(L) 또한 측정되어, 서버시스템(1)으로 전송될 수 있다.
구체적으로 제1마커(M1)와 제2마커(M2) 사이의 실거리(L)는 제1마커(M1)와 제2마커(M2)를 실제로 도로에 마킹하는 현장작업자의 단말에 의해 서버시스템(1)으로 송신될 수 있다.
S3단계에서 영상수신부(11)는 인터페이스제공부(12)로 기준영상을 송신할 수 있다.
S4단계에서 인터페이스제공부(12)에 의해 기준영상에 관심영역이 입력될 수 있다. 구체적으로 인터페이스제공부(12)는 작업자단말(3)에 검지선을 입력할 수 있는 인터페이스를 제공할 수 있고, 해당 인터페이스는 관심영역을 입력할 수 있는 인터페이스를 더 포함할 수 있다.
관심영역이란 속도측정구간에 대한 도로를 촬영한 기준영상에 대하여, 차로변 등의 배경을 제외하고 실제로 속도측정구간에 해당하는 도로영역만을 선택된 영역일 수 있다.
결과적으로 S4단계에서 작업자단말(3)은 인터페이스에 디스플레이되는 기준영상 내에 실제로 속도측정구간에 해당하는 도로영역만을 선택할 수 있다. 바람직하게는 상기 관심영역은 제1마커(M1), 및 제2마커(M2)가 마킹된 도로영역을 포함할 수 있다.
S5단계에서 인터페이스제공부(12)는 영상변환부(13)로 관심영역이 입력된 기준영상을 송신할 수 있다. 구체적으로 관심영역이 입력된 기준영상이란 상기 S4단계에서 작업자단말(3)에 의해 관심영역이 입력된 기준영상일 수 있다.
S6단계에서 영상변환부(13)는 기준영상을 역원근변환하여 변환영상을 생성할 수 있다. 구체적으로 영상변환부(13)는 기준영상을 역원근변환하여 원근에 의한 왜곡이 보정되어 도로의 차선이 수평으로 보여지는 변환영상을 생성할 수 있다. 바람직하게는 영상변환부(13)는 상기 작업자단말(3)이 설정하고, 제1마커(M1) 및 제2마커(M2)가 포함된 관심영역에 해당하는 기준영상을 역원근변환하여, 관심영역 내 도로의 차선이 수평으로 보여지는 변환영상을 생성할 수 있다.
한편, 역원근변환이란 원근변환의 역으로서, 원근변환이란 이미지 리사이징, 이동, 회전 등을 통해 소실점을 기준으로 가까운 객체가 크고, 멀리 있는 객체가 작게 보이도록 하여 원근을 적용하는 알고리즘일 수 있다.
본 발명의 일 실시예에서 원근변환 알고리즘은 opecv에서 제공하는 getPerspectiveTransform 혹은 warpPerspective 함수 등을 통해 구현될 수 있다. 구체적으로 getPerspectiveTransform함수는 이미지의 좌상, 좌하, 우상, 우하에 해당하는 좌표값을 구하는 함수일 수 있고, warpPerspective 함수는 이미지데이터, 변환행렬, 결과값 이미지의 높이, 넓이 등을 입력값으로 하여 원본 이미지데이터에 원근을 적용하는 함수일 수 있다.
반대로 역원근변환 알고리즘은 상기 과정을 역으로 수행하는 함수에 의해 구현될 수 있다. 즉, 역원근변환이란 원근이 적용된 이미지데이터를 정면에서 본 것과 같은 이미지데이터로 변환하는 알고리즘일 수 있다.
결과적으로 영상변환부(13)는, 원근이 적용되어 소실점을 기준으로 가까운 객체(차선, 차량 등)가 크게 보이고, 먼 객체가 작게 보이는 기준영상에 대하여, 역원근변환하여 영상 내의 객체가 모두 정면에서 보이는 것과 같은 변환영상을 생성할 수 있다. 즉, 변환영상 내 도로의 차선은 수평으로 보여질 수 있다.
S7단계에서 영상변환부(13)는 인터페이스제공부(12)로 변환영상을 송신할 수 있다. 상술한 바와 같이 변환영상은 기준영상에서 사용자가 입력한 관심영역에 해당하는 기준영상이 역원근변환되어 도로의 차선이 수평으로 보여지는 영상일 수 있다.
S8단계에서 인터페이스제공부(12)에 의해 변환영상에 제1검지선(L1) 및 제2검지선(L2)이 입력될 수 있다. 상술한 바와 같이 인터페이스제공부(12)는 검지선을 입력할 수 있는 인터페이스를 생성하여 작업자단말(3)에 제공할 수 있다. 구체적으로 작업자단말(3)은 도로의 차선이 수평으로 보여지는 변환영상에서 상기 제1마커(M1), 및 상기 제2마커(M2)를 시작점으로 하여, 도로의 차선과 수직을 이루는 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다.
상술한 바와 같이, 속도측정구간에서의 차량객체에 대한 속도측정이 정확히 이루어지기 위해서는, 속도측정의 기준이 되는 제1검지선(L1) 및 제2검지선(L2)이 차량의 진행방향, 혹은 차선과 수직을 이루도록 입력될 필요가 있고, 변환영상은 도로의 차선이 수평으로 보이는 영상이므로 작업자는 용이하게 차선과 수직을 이루도록 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다.
S9단계에서 인터페이스제공부(12)는 영상변환부(13)로 제1검지선(L1) 및 제2검지선(L2)이 입력된 변환영상을 송신할 수 있다.
S10단계에서 영상변환부(13)는 제1검지선(L1) 및 제2검지선(L2)이 입력된 변환영상을 송신하여 기준데이터를 생성할 수 있다. 구체적으로 영상변환부(13)는 상기 S6단계에서 기준영상을 역원근변환하여 변환영상을 생성하는 과정을 역으로 수행하는 알고리즘을 적용하여, 제1검지선(L1) 및 제2검지선(L2)이 입력된 변환영상을 원근변환하여 기준데이터를 생성할 수 있다.
구체적으로 기준데이터는 최초 촬영장치(2)가 촬영한 기준영상에 대하여, 제1검지선(L1) 및 제2검지선(L2)이 입력된 형태의 영상일 수 있다. 바람직하게는, 기준데이터는 제1마커(M1) 및 제2마커(M2)가 마킹된 속도측정구간에 대한 도로를 촬영한 영상 중 작업자단말(3)이 입력한 관심영역에 대하여, 제1검지선(L1) 및 제2검지선(L2)이 입력된 형태의 영상일 수 있다.
다시 말하자면, 기준데이터는 기준영상과 같이, 원근이 적용된 영상에 제1검지선(L1) 및 제2검지선(L2)이 입력된 영상일 수 있다. 즉, 기준데이터상에 표시되는 제1검지선(L1) 및 제2검지선(L2)은 원근이 적용되어 사선 혹은 곡선 형태로 차선과 수직을 이루지 않는 것처럼 보일 수 있으나, 실제로는(원근에 의한 왜곡이 보정된 상태에서는) 차선과 수직을 이루도록 입력되어 있을 수 있다.
기준데이터는 서버시스템(1)의 속도측정부(14) 및 속도측정부(14)에 포함되는 차량객체검출모델(140)에 의해, 차량객체를 검출하고 검출된 차량객체에 대한 속도를 측정하는 데 활용될 수 있다. 구체적으로 속도측정부(14) 및 차량객체검출모델(140)은 제1검지선(L1) 및 제2검지선(L2)을 기준으로 하여, 검출된 차량객체에 대한 속도를 측정하고, 이를 위한 학습을 수행할 수 있다.
한편, 속도측정부(14) 혹은 차량객체검출모델(140)은 학습을 수행하는 학습데이터는 속도측정구간을 촬영한 영상, 즉 원근이 적용된 영상일 수 있다.
본원 발명의 일 실시예에 따르면, 속도측정부(14) 혹은 차량객체검출모델(140)은 원근이 적용된 영상에 제1검지선(L1) 및 제2검지선(L2)이 차선과 수직으로 이루도록 입력된 기준데이터를 이용하여, 측정영상 내의 차량객체를 검출하고, 검출된 차량객체에 대한 속도를 측정할 수 있다.
한편, 속도측정부(14) 혹은 차량객체검출모델(140)이 측정영상 내의 차량객체를 검출하고, 검출된 차량객체에 대한 속도를 측정하는 과정에 대한 상세한 설명은 도 7 내지 10에서 후술하도록 한다.
도 3은 본 발명의 일 실시예에 따른 기준영상수신단계 및 관심영역설정단계를 도시한다.
도 3에 도시된 바와 같이, 상기 기준영상은, 도로에 설치된 촬영장치(2)에 의하여, 상하행 차로가 촬영된 영상정보일 수 있고, 상기 기준영상을 구성하는 복수의 프레임 중 어느 하나에 대한 이미지정보일 수도 있다.
도 3의 (a)에 도시된 바와 같이, 기준영상수신단계에서 서버시스템(1)의 영상수신부(11)는 촬영장치(2)로부터 기준영상을 수신할 수 있다. 또한, 관심영역설정단계에서 서버시스템(1)의 인터페이스제공부(12)는 상기 기준영상에 대하여, 관심영역을 설정할 수 있는 인터페이스를 작업자단말(3)에 제공하여, 작업자단말(3)에 의해 기준영상에 대한 관심영역이 입력될 수 있다.
한편, 서버시스템(1)은 제1마커(M1) 및 제2마커(M2) 사이의 실거리(L)를 수신할 수 있다. 구체적으로 제1마커(M1) 및 제2마커(M2)는 현장작업자에 의해 도로에 실제로 마킹되는 지점형 마커이고, 현장작업자에 의해 제1마커(M1)와 제2마커(M2) 사이의 실거리(L)가 측정되어 해당 정보가 서버시스템(1)으로 송신될 수 있다.
도 3의 (b)에 도시된 바와 같이, 기준영상은 도로의 차선을 따라 제1마커(M1), 및 제2마커(M2)가 마킹된 도로를 촬영한 영상이고, 상기 제1마커(M1) 및 상기 제2마커(M2)는 현장작업자에 의해 실제로 마킹된 지점형 마커일 수 있다. 촬영장치(2)는 제1마커(M1) 및 제2마커(M2)가 마킹된 도로를 촬영하고, 이를 서버시스템(1)의 영상수신부(11)로 송신할 수 있다.
또한, 상기 기준영상에 표시된 관심영역(ROI)은 작업자단말(3)에 의해 설정된 것일 수 있다. 구체적으로 인터페이스제공부(12)는 촬영장치(2)에 의해 촬영된 기준영상을 작업자단말(3)에 디스플레이하고, 작업자단말(3)은 해당 기준영상에 실제 속도측정구간에 해당하는 관심영역을 설정하여 입력할 수 있다.
본 발명의 일 실시예에서 작업자단말(3)은 좌상, 좌하, 우상, 우하 각각에 대한 좌표를 입력하여, 해당 좌표를 모서리로 하는 사각형 형태의 관심영역을 입력할 수 있다.
한편, 본 발명의 다른 실시예에서 관심영역은 원형, 타원형, 다각형 등 도로의 형태를 고려하여 다양한 형태로 입력될 수 있다. 일례로, 속도측정구간에 대한 공사구간이 포함되는 경우, 작업자단말(3)은 해당 공사구간을 제외하고 관심영역을 설정할 수 있다.
결과적으로 관심영역은 기준영상에서 차로변, 가로수 등의 배경을 제외하고, 제1마커(M1) 및 제2마커(M2)가 포함되는, 실제 속도측정구간에 대한 영역일 수 있다.
한편, 제1마커(M1) 및 제2마커(M2)는 도로의 차선을 따라 마킹되므로, 제1마커(M1) 및 제2마커(M2) 사이의 실거리(L)는 차량의 주행방향을 따라 제1마커(M1)와 제2마커(M2) 사이의 최단거리를 의미할 수 있다.
다시 말하자면, 제1마커(M1) 및 제2마커(M2) 사이의 실거리(L)는 상기 제1마커(M1)를 시작점으로 하는 제1검지선(L1)과 제2마커(M2)를 시작점으로 하는 제2검지선(L2) 사이의 실거리(L)를 의미할 수 있다.
또한, 제1마커(M1) 및 제2마커(M2)는 도로의 차변 일측에만 마킹되므로, 제1마커(M1) 및 제2마커(M2)를 마킹하는 현장작업자의 안전과 편의를 확보할 수 있다.
도 3의 (b)에 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 제1마커(M1) 및 제2마커(M2)는 도로의 하행 1차로의 차선을 따라 마킹될 수 있고, 나머지 차선에 대해서는 별도의 마킹이 필요하지 않는다. 즉, 현장작업자는 제1검지선(L1) 및 제2검지선(L2)의 끝점에 대한 별도의 마커를 마킹하지 않아도 되, 마킹을 위해 차로를 가로지르거나 실거리(L)를 측정하는 과정에서 발생할 수 있는 안전사고를 방지하고, 현장작업자의 편의를 확보할 수 있다.
또한, 제1마커(M1) 및 제2마커(M2)를 시작점으로 하는 제1검지선(L1) 및 제2검지선(L2)은 상하행 차로 모두에 대해 입력될 수 있다. 즉, 현장작업자는 상하행 차선 각각에 대한 마커를 마킹하지 않고, 상행 혹은 하행 어느 하나의 차선에 대해서만 마커를 마킹할 수 있다.
한편, 상기 기준영상은 기준영상을 구성하는 복수의 프레임 중 어느 하나에 대한 이미지정보일 수도 있다. 즉, 본 발명의 일 실시예에서, 기준영상에 관심영역을 설정하고, 역원근변환하여 변환영상을 생성하고, 제1검지선(L1) 및 제2검지선(L2)을 입력하고, 변환영상을 원근변환하여 기준데이터를 생성하는 단계들은 촬영장치(2)에 의해 촬영된 기준영상을 구성하는 복수의 프레임 중 어느 하나에 대한 이미지정보에 대해 수행될 수도 있다.
한편, 도시된 바와 같이, 기준영상은 원근왜곡에 의해 가까운 객체가 크고, 멀리 있는 객체가 작게 보이는 영상일 수 있다. 즉, 원근왜곡에 의해 작업자는 도로의 차선과 수직을 이루도록 제1검지선(L1) 및 제2검지선(L2)을 입력하기 난해할 수 있고, 이를 위해 본 발명에서는 이하의 단계에서 역원근변환을 수행하여 도로의 차선이 수평으로 보여지도록 기준영상을 변환할 수 있다.
도 4는 본 발명의 일 실시예에 따른 변환영상생성단계를 도시한다.
도 4의 (a)에 도시된 바와 같이, 변환영상생성단계에서 서버시스템(1)의 영상변환부(13)는 기준영상을 역원근변환하여 변환영상을 생성할 수 있다. 구체적으로 변환영상생성단계에서 역원근변환되는 기준영상은 작업자단말(3)에 의해 설정된 관심영역에 해당하는 기준영상일 수 있다.
도 4의 (b)에 도시된 바와 같이, 변환영상은 원근에 의한 왜곡이 보정되어 기준영상 내의 객체(차량, 차선 등)들이 정면에서 보이는 것과 같이 변환될 수 있다. 구체적으로 도 4의 (b)에 도시된 변환영상과 도 3의 (b)에 도시된 기준영상을 비교하자면, 변환영상은 제1마커(M1) 및 제2마커(M2)를 포함하는 관심영역에 대하여 원근에 의한 왜곡이 변환되어 차선이 수평으로 보여지고 있다. 즉, 작업자는 기준영상에 비해 변환영상에서 차선과 수직을 이루도록 제1검지선(L1) 및 제2검지선(L2)을 입력하기 용이할 수 있다.
또한, 상술한 바와 같이 변환영상은 작업자가 설정한 관심영역에 대한 기준영상에 대해서 변환되므로, 영상변환 과정에서의 데이터연산량을 경감할 수 있다.
도 5는 본 발명의 일 실시예에 따른 검지선입력단계를 도시한다.
도 5의 (a)에 도시된 바와 같이, 검지선입력단계에서 서버시스템(1)의 인터페이스제공부(12)는 변환영상에 대하여, 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있는 인터페이스를 작업자단말(3)에 제공하여, 작업자단말(3)에 의해 변환영상에 제1검지선(L1) 및 제2검지선(L2)이 입력될 수 있다.
도 5의 (b)에 도시된 바와 같이, 작업자단말(3)은 변환영상이 디스플레이되는 인터페이스상에서 제1마커(M1) 및 제2마커(M2)를 시작점으로 하여 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다. 구체적으로 변환영상에서는 차선이 수평으로 보여지므로, 작업자는 용이하게 제1검지선(L1) 및 제2검지선(L2)이 서로 평행하도록 입력할 수 있다.
결과적으로, 현장작업자에 의해 측정된 제1마커(M1)와 제2마커(M2) 사이의 실거리(L)는, 서로 평행한 제1검지선(L1)과 제2검지선(L2) 사이의 실거리(L)와 동일할 수 있다.
한편, 본 발명의 일 실시예에서, 제1검지선(L1) 및 제2검지선(L2)은 모든 차선에 대해 일괄적으로 설정될 수 있다.
또는 본 발명의 다른 실시예에서, 작업자는 복수의 차선 각각에 대해 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다. 구체적으로 작업자는 하행1차로에 대한 제1검지선(L1) 및 제2검지선(L2)을 입력하고, 이어서 하행2차로에 대한 제1검지선(L1) 및 제2검지선(L2)을 입력하고, 이어서 상행1차로 및 상행2차로에 대해서도 동일하게 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다.
결과적으로 작업자는 1개 차선에 마킹된 제1마커(M1) 및 제2마커(M2)만으로도, 상하행 모든 차로에 대한 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다.
도 6은 본 발명의 일 실시예에 따른 기준데이터생성단계를 도시한다.
도 6의 (a)에 도시된 바와 같이, 기준데이터생성단계에서 서버시스템(1)의 영상변환부(13)는 변환영상을 원근변환하여 기준데이터를 생성할 수 있다. 구체적으로 기준데이터생성단계에서 원근변환되는 변환영상은 작업자단말(3)에 의해 제1검지선(L1) 및 제2검지선(L2)이 입력된 변환영상일 수 있다. 즉, 기준데이터는 초기의 기준영상에 제1검지선(L1) 및 제2검지선(L2)이 입력된 형태의 영상일 수 있다. 이에 따라 기준데이터는 기준영상과 같이 원근에 의한 왜곡이 보정되지 않은 형태의 영상일 수 있다.
또한, 이와 같이 생성되는 기준데이터는 후술하는 차량객체트래킹단계, 및 속도측정단계에서 활용될 수 있다. 구체적으로 기준데이터를 생성하기 위한 기준영상 및 차량의 속도를 측정하기 위한 측정영상은, 동일한 영상이거나 동일한 촬영장치(2)에 의해 동일한 도로를 촬영한 영상일 수 있다. 즉, 차량객체트래킹단계, 및 속도측정단계에서는 기준영상에 제1검지선(L1) 및 제2검지선(L2)이 입력된 형태의 기준데이터를 활용하여, 측정영상에 동일하게 제1검지선(L1) 및 제2검지선(L2)을 적용하여 차량객체의 속도를 측정할 수 있다.
도 6의 (b)에 도시된 바와 같이, 기준데이터는 기준영상에 제1검지선(L1) 및 제2검지선(L2)이 입력된 형태의 영상으로 생성될 수 있다. 구체적으로 도 3의 (b)에 도시된 기준영상과 도 6의 (b)에 도시된 기준데이터를 비교하자면, 기준데이터에는 기준영상과 동일한 영상에 제1검지선(L1) 및 제2검지선(L2)이 입력되어 보여지고 있다. 또한, 상술한 바와 같이 기준데이터상에 표시되는 제1검지선(L1) 및 제2검지선(L2)은 원근이 적용되어 사선 혹은 곡선 형태로 차선과 수직을 이루지 않는 것처럼 보일 수 있으나, 원근왜곡이 보정된 상태에서는 차선과 수직을 이루도록 입력되어 있을 수 있다.
이와 같이 기준데이터는, 딥러닝 기반의 추론모델인 차량객체검출모델(140)을 포함하는 속도측정부(14)의 학습을 위한 학습데이터(역원근변환되지 않은 영상)와 동일하게 역원근변환되지 않은 형태의 영상으로 생성됨으로써, 차량객체의 검출과 속도측정을 위한 학습과정이 보다 효율적으로 수행될 수 있다.
도 7은 본 발명의 일 실시예에 따른 측정영상 내 차량객체의 속도를 측정하기까지의 단계를 도시한다.
도 7에 도시된 바와 같이, 서버시스템(1)에서 수행되는 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법은 상기 기준영상의 도로와 동일한 도로를 촬영한 측정영상에 대하여 딥러닝 기반의 차량객체검출모델(140)을 이용하여, 차량객체를 검출하고, 차량객체에 대한 좌표정보를 트래킹하는 차량객체트래킹단계; 및 상기 측정영상에 상기 제1검지선(L1) 및 상기 제2검지선(L2)을 적용하고, 상기 차량객체에 대한 좌표정보가 상기 제1검지선(L1)에 접하는 때의 제1타이밍정보, 상기 차량객체에 대한 좌표정보가 상기 제2검지선(L2)에 접하는 때의 제2타이밍정보, 및 상기 실거리(L)에 기반하여, 상기 차량객체에 대한 속도를 측정하는, 속도측정단계;를 포함할 수 있다.
또한, 상기 제1타이밍정보는, 상기 측정영상에서, 상기 차량객체에 대한 좌표정보가 상기 제1검지선(L1)에 접하는 시간 혹은 프레임에 대한 정보이고, 상기 제2타이밍정보는, 상기 측정영상에서, 상기 차량객체에 대한 좌표정보가 상기 제2검지선(L2)에 접하는 시간 혹은 프레임에 대한 정보일 수 있다.
또한, 상기 차량객체트래킹단계는, 상기 차량객체검출모델(140)에 의해 검출된 복수의 차량객체 각각에 대하여, 바운딩박스를 부여하고, 상기 바운딩박스 내의 특정 좌표를 해당 차량객체에 대한 좌표정보로 설정하여 트래킹하고, 상기 속도측정단계는, 상기 복수의 차량객체 각각에 대한 속도를 측정할 수 있다.
S20 및 S21단계에서, 촬영장치(2)는 측정영상을 촬영하고, 이를 영상수신부(11)에 송신할 수 있다. 구체적으로 측정영상은 속도측정구간의 차량객체에 대한 속도를 측정하기 위한 영상일 수 있다. 바람직하게는 측정영상은 기준영상과 동일한 영상이거나, 기준영상을 촬영한 촬영장치(2)와 동일한 촬영장치(2)에 의해 동일한 속도측정구간에 대한 도로를 촬영한 영상일 수 있다.
S22단계에서, 영상수신부(11)는 속도측정부(14)로 측정영상을 송신할 수 있다.
S23단계에서, 속도측정부(14)는 차량객체를 검출할 수 있다. 구체적으로 속도측정부(14)는 딥러닝 기반의 추론모델인 차량객체검출모델(140)을 포함하고, 차량객체검출모델(140)에 의해 측정영상 내 차량객체들이 검출될 수 있다.
차량객체검출모델(140)은 CNN(Convolutional Neural Networks) 등 이미지에서 객체를 검출하는 공지된 알고리즘을 이용하여, 측정영상의 시퀀스, 프레임, 혹은 특정 샘플링 시간단위별로 각각의 측정영상의 영상이미지프레임에 대하여 차량객체를 검출할 수 있다. 구체적으로 차량객체검출모델(140)은 차량정보(차종, 차량모델 등) 및 바운딩박스가 라벨링된 차량이 존재하는 이미지에 의하여 학습된 딥러닝 기반의 추론모델일 수 있다.
S24단계에서, 속도측정부(14)는 검출된 복수의 차량객체 각각에 대하여, 고유의 식별정보, 바운딩박스 및 좌표정보를 부여하고, 이를 트래킹할 수 있다. 구체적으로 속도측정부(14)는 검출된 복수의 차량객체 각각에 대하여, 고유의 식별정보를 부여하고, 측정영상의 영상이미지프레임상에서 트래킹할 수 있다.
즉, 동일한 차량객체에 대해서는 동일한 고유의 식별정보가 부여되면서, 해당 차량객체의 위치가 영상이미지프레임 혹은 샘플링타이밍별로 기록될 수 있다.
또한, 차량객체에 대한 좌표정보는 해당 차량객체에 대해 부여된 바운딩박스 영역에 포함되는 좌표일 수 있다. 구체적으로 상기 좌표정보는 차량정보(차종, 차량모델 등), 및 차량의 주행방향 등을 고려하여, 바운딩박스 내부의 특정 좌표가 좌표정보로 입력될 수 있다.
S25단계에서, 속도측정부(14)는 검출된 차량객체에 대한 속도를 측정할 수 있다. 구체적으로 속도측정부(14)는 측정영상에 제1검지선(L1) 및 제2검지선(L2)을 적용하고, 측정영상에서 트래킹되고 있는 차량객체가 제1검지선(L1)과 접하는 제1타이밍정보, 제2검지선(L2)과 접하는 제2타이밍정보, 및 제1검지선(L1)과 제2검지선(L2) 사이의 실거리(L)에 기초하여, 해당 차량객체에 대한 속도를 측정할 수 있다.
바람직하게는 속도측정부(14)는 측정영상과 동일한 영상 혹은 동일한 도로를 촬영한 영상에 제1검지선(L1) 및 제2검지선(L2)이 입력된 기준데이터를 활용하여, 측정영상에 제1검지선(L1) 및 제2검지선(L2)을 적용하고, 측정영상에서 트래킹되고 있는 차량객체가 제1검지선(L1), 제2검지선(L2)과 접하는 시간 및 제1검지선(L1)과 제2검지선(L2) 사이의 실거리(L)에 기초하여, 해당 차량객체에 대한 속도를 측정할 수 있다.
한편, 해당 단계에서 제1검지선(L1)과 제2검지선(L2) 사이의 실거리(L)는 도 2의 S1단계 및 S2단계에서 상술한, 현장작업자에 의해 측정된 제1마커(M1)와 제2마커(M2) 사이의 실거리(L)를 의미할 수 있다.
도 8은 본 발명의 일 실시예에 따른 차량객체트래킹단계를 도시한다.
도 8에 도시된 바와 같이, 차량객체트래킹단계에서는 차량객체탐지단계와 차량객체트래킹단계가 순차적으로 수행될 수 있다.
구체적으로 차량객체탐지단계에서는 측정영상의 영상이미지프레임에 대하여, 해당 영상이미지프레임과 상응하는 학습데이터로 학습된 차량객체검출모델(140)에 의하여, 해당 영상이미지프레임 내의 차량객체가 검출될 수 있다. 또한 본 발명의 일 실시예에서 차량객체검출모델(140)은 상황별 학습데이터로 학습된 YOLOv4 모델로 구현될 수 있다.
이후, 차량객체트래킹단계에서는, 검출된 차량객체에 대하여, 동일한 차량에 대해서는 이전에 분석된 영상이미지프레임에서 트래킹된 식별정보를 부여될 수 있다.
이와 같은 과정은 측정영상의 1 이상의 영상이미지프레임에 대하여, 차량객체탐지단계 혹은 차량트래킹단계에 의하여 식별된 차량객체에 대한 정보에 기반하여 예측되는 정보와 현재의 영상이미지프레임에서 차량객체탐지단계에서 식별된 차량객체에 대한 정보의 비교에 의하여 수행될 수 있다.
예를 들어, 현재의 영상이미지프레임에서 차량객체탐지단계에 의하여 5개의 차량이 탐지되는 경우, a로 식별되는 차량객체가 이전의 차량객체탐지단계 혹은 차량트래킹단계에서 식별된 1이상의 위치로부터 현재의 영상이미지프레임에서의 위치가 예측될 수 있다. 이와 같은 예측은 다양한 공지의 알고리즘이 이용될 있고, 본 발명의 일 실시예에서는 선형적 거동에 강인한 칼만필터를 이용한 예측에 의해 구현될 수 있다.
한편, 상기 5개의 현재의 영상이미지프레임에서 탐지된 차량객체 중 어느 차량객체가 a에 해당하는 지 여부를 판별하기 위하여, 현재 영상이미지프레임에서 상기 차량객체탐지단계에 의하여 탐지된 5개의 차량 객체 중 상기와 같이 예측된 a의 위치와의 차이가 기설정된 기준에 해당하는 차량을 a의 현재의 영상이미지프레임의 객체로 판단할 수 있다. 본 발명의 일 실시예에서는, 이와 같은 차이에 대한 기설정된 기준은 Mahalanobis distance가 적용될 수 있다.
한편, 현재의 영상이미지프레임에서 차량객체탐지단계에 의하여 5개의 차량이 탐지되는 경우, a로 식별되는 차량객체가 이전의 차량객체탐지단계 혹은 차량트래킹단계에서 식별된 1이상의 차량객체의 바운딩박스의 이미지로부터 해당 이미지의 특징정보가 도출될 수 있다. 바람직하게는, 가장 최근의 이전 영상이미지프레임에서의 a차량의 바운딩박스가 사용될 수 있다.
이와 같은 특징정보의 추출은 다양한 공지의 알고리즘이 이용될 있고, 본 발명의 일 실시예에서는 딥러닝에 기반한 차량특징정보추출모델이 이용될 수 있다. 구체적으로 본 발명의 일 실시예에서는, 차량객체탐지단계에서 사용된 차량객체검출모델(140)에서 중간결과만을 출력하는 모델을 차량특징정보추출모델로 사용할 수 있다.
한편, 상기 5개의 현재의 영상이미지프레임에서 탐지된 차량객체 중 어느 차량객체가 a에 해당하는 지 여부를 판별하기 위하여, 현재 영상이미지프레임에서 상기 차량객체탐지단계에 의하여 탐지된 5개의 차량 객체 중 추출된 차량특징정보를 상기와 같이 추출된 이전 영상이미지프레임의 a의 차량특징정보에 비교함에 있어서 기설정된 기준에 해당하는 차량을 a의 현재의 영상이미지프레임의 객체로 판단할 수 있다.
이후, 본 발명의 일 실시예에서는 차량객체에 대한 트래킹의 정확도를 개선하기 위하여 Hungarian assignment와 같은 추가적인 과정이 수행될 수 있다.
본 발명의 일 실시예에서는, 전술한 바와 같이 이전의 탐지 혹은 트래킹 결과로부터 예측되는 차량객체의 예측정보 및/또는 이전의 탐지 혹은 트래킹 결과로부터 예측되는 차량객체의 외양적 특징정보를 고려하여 트래킹이 수행될 수 있다.
이와 같은 방식으로 본 발명의 일 실시예에 따르면, 다중 객체에 대하여 보다 정확하게 트래킹을 수행할 수 있는 효과를 발휘할 수 있다.
도 9은 본 발명의 일 실시예에 따른 차량객체트래킹단계에서 검출된 차량객체에 대한 정보를 도시한다.
도 9에 도시된 바와 같이, 차량객체검출모델(140)은 검출된 복수의 차량객체에 대하여, 식별정보 및 좌표정보를 부여할 수 있다. 구체적으로 차량정보(차종, 차량모델 등) 및 바운딩 박스가 라벨링된 차량이 존재하는 이미지에 의하여 학습된 차량객체검출모델(140)은 차량객체의 외양 유사도 등을 이용하여, 차량객체를 검출하여 해당 차량객체에 대한 정보를 부여할 수 있다.
바람직하게는 검출된 차량객체에 부여되는 정보에는, 해당 차량객체에 부여된 바운딩박스의 x축좌표(x), y축좌표(y), 높이(h), 및 너비(w)에 대한 정보를 포함할 수 있다.
이와 같이, 차량객체검출모델(140)은 측정영상의 프레임 혹은 샘플링구간별로 속도측정구간을 주행하는 차량객체의 차종, 시간, 위치 등을 판별할 수 있다.
도 10은 본 발명의 일 실시예에 따른 속도측정단계를 도시한다.
도 10의 (a)에 도시된 바와 같이, 속도측정부(14)는 측정영상에 제1검지선(L1) 및 제2검지선(L2)을 적용하고, 측정영상의 영상이미지프레임 각각에서 검출된 차량객체에 부여된 정보에 기초하여, 해당 차량객체에 대한 속도를 측정할 수 있다.
구체적으로 속도측정부(14)는 측정영상에 제1검지선(L1) 및 제2검지선(L2)을 적용하고, 상기 차량객체트래킹단계에서 검출되고 트래킹되고 있는 차량객체에 대한 좌표정보가, 제1검지선(L1) 및 제2검지선(L2)과 접하는 시간에 대한 정보인 제1타이밍정보 및 제2타이밍정보를 도출할 수 있다.
이어서, 속도측정부(14)는 해당 차량객체에 대한 속도를 v = L / (t2-t1)와 같이 산출할 수 있다. (여기서, v는 차량객체에 대한 속도, L은 제1검지선(L1)과 제2검지선(L2) 사이의 실거리(L), t1은 제1타이밍정보, t2는 제2타이밍정보)
또한, 상기 좌표정보는 해당 차량객체에 대해 부여된 바운딩박스 영역에 해당 차량의 차량정보(차종, 차량모델 등), 및 차량의 주행방향 등을 고려하여, 바운딩박스 내부의 특정 좌표가 좌표정보로 설정된 것일 수 있다. 구체적으로 상기 좌표정보는 해당 차량객체에 부여된 바운딩박스의 x축좌표(x), y축좌표(y), 높이(h), 및 너비(w)에 대한 정보에 기초하여, (x+a,y+b)의 형태로 입력될 수 있다. (여기서 a는 w미만의 실수이고, b는 h미만의 실수)
본 발명의 일 실시예에서 서버시스템(1)의 관리자는 측정영상에서 검출된 차량객체의 주행방향과 검지선의 위치 등을 고려하여, 해당 차량객체에 대한 좌표정보를 설정할 수 있다. 일례로 도 10의 (a)와 같이 좌상단에서 우하단으로 차량객체가 주행하는 경우, 해당 차량객체에 대한 바운딩박스가 제1검지선(L1) 혹은 제2검지선(L2)과 최초로 접할 것으로 예상되는 우하단부를 해당 차량객체에 대한 좌표정보로 설정할 수 있다.
반대로, 예를 들어, 우하단에서 좌상단으로 차량객체가 주행하는 경우, 해당 차량객체에 대한 바운딩박스가 제1검지선(L1) 혹은 제2검지선(L2)과 최초로 접할 것으로 예상되는 좌상단부를 해당 차량객체에 대한 좌표정보로 설정할 수 있다.
이와 같이, 좌표정보는 해당 차량객체에 부여된 바운딩박스의 x축좌표(x), y축좌표(y), 높이(h), 및 너비(w)에 대한 정보에 기초하여, 차량객체의 주행방향, 제1검지선(L1) 및 제2검지선(L2)의 위치, 혹은 해당 차량객체의 차종 등을 고려하여, 바운딩박스 내부의 특정 좌표가 해당 차량객체에 대한 좌표정보로 설정될 수 있다.
한편, '차량객체에 대한 좌표정보가 제1검지선(L1) 혹은 제2검지선(L2)과 접하는 시간'이란, 측정영상의 영상이미지프레임에 대하여 해당 차량객체에 대한 좌표정보가 제1검지선(L1) 혹은 제2검지선(L2)과 접하는 프레임의 시간, 혹은 좌표정보가 제1검지선(L1) 혹은 제2검지선(L2)을 통과하는 프레임 사이의 시간을 의미할 수 있다.
즉, 도 10의 (a)에서 제1타이밍정보는 차량객체에 대한 좌표정보가 제1검지선(L1)과 접하는 f4영상이미지프레임의 시간에 대한 정보일 수 있고, 제2타이밍정보는 차량객체에 대한 좌표정보가 제2검지선(L2)과 접하는 f8영상이미지프레임의 시간에 대한 정보일 수 있다.
또는, 일례로, 차량객체가 f3영상이미지프레임과 f4영상이미지프레임 사이에서 제1검지선(L1)을 통과하는 경우, 제1타이밍정보는 f3영상이미지프레임과 f4영상이미지프레임 사이의 시간에 대한 정보일 수 있다.
도 10의 (b)에 도시된 바와 같이, 속도측정부(14)는 복수의 차량객체에 대한 속도를 측정할 수 있다. 구체적으로 속도측정부(14)는 차량객체트래킹단계에서 검출된 복수의 차량객체 각각에 대한 속도를 측정할 수 있다.
도 11 내지 도 13은 본 발명의 일 실시예에 따른 검지선을 입력하는 작업자단말(3)에 제공되는 인터페이스를 도시한다.
도 11 내지 도 13에 도시된 바와 같이, 상기 검지선입력단계는, 검지선을 입력하고자 하는 작업자단말(3)기에 상기 변환영상을 제공하는 단계; 상기 작업자단말(3)기로부터, 상기 제1마커(M1)를 시작점으로 하고, 상기 제1마커(M1)가 마킹된 차로변의 반대 차선을 끝점으로 하여, 상기 제1검지선(L1)이 입력된 제1입력정보를 수신하는 단계; 상기 작업자단말(3)기에, 상기 제1입력정보에 기초하여, 상기 제1검지선(L1)과 평행하고, 동일한 길이를 가지는 제2검지선(L2)엘리먼트를 제공하는 단계; 상기 작업자단말(3)로부터, 상기 제2검지선(L2)엘리먼트의 일단을 상기 제2마커(M2)에 위치함으로써, 상기 제2마커(M2)를 시작점으로 하고, 상기 제2마커(M2)가 마킹된 차로변의 반대 차선을 끝점으로 하고, 상기 제1검지선(L1)과 평행한 상기 제2검지선(L2)이 입력된 제2입력정보를 수신하는 단계;를 포함할 수 있다.
도 11은 상술한 도 2의 S4단계에서, 기준영상에 관심영역을 입력하는 작업자단말(3)에 표시되는 화면을 도시한다.
본 발명의 일 실시예에서 작업자단말(3)에는 기준영상이 디스플레이되고, 작업자는 기준영상 위에 관심영역의 좌상, 좌하, 우상, 우하 각각에 대한 좌표를 입력하여, 해당 좌표들을 모서리로 하는 사각형 형태의 관심영역을 입력할 수 있다.
구체적으로 도 11의 (a)는 작업자에 의해 좌측 상단부에 대한 좌표(Top Left)가 입력된 화면을 도시하고 있고, 도 11의 (b)는 작업자에 의해 좌상, 좌하, 우상, 우하 각각에 대한 좌표가 모두 입력되어, 기준영상에 사각형 형태의 관심영역이 입력된 화면을 도시하고 있다.
또는, 본 발명의 다른 실시예에서, 작업자는 타원형, 다각형 등 다양한 형태로 관심영역을 입력할 수도 있다.
이와 같이, 작업자는 기준영상에 대하여, 속도측정구간에 대한 좌표를 입력하여 관심영역을 설정할 수 있다.
한편, 관심영역을 설정할 수 있는 인터페이스는 입력된 관심영역을 삭제할 수 있는 인터페이스(DELETE) 및 설정된 관심영역을 저장할 수 있는 인터페이스(SAVE)를 더 포함할 수 있다.
도 12는 상술한 도 2의 S8단계에서, 변환영상에 제1검지선(L1) 및 제2검지선(L2)을 입력하는 작업자단말(3)에 표시되는 화면을 도시한다. 상술한 바와 같이, 변환영상은 기준영상이 역원근변환되어, 도로의 차선이 수평으로 보여지므로 작업자는 보다 용이하게 제1검지선(L1) 및 제2검지선(L2)을 도로의 차선과 수직을 이루도록 입력할 수 있다. 구체적으로 변환영상에는 도로에 마킹된 제1마커(M1) 및 제2마커(M2)가 표시될 수 있다.
본 발명의 일 실시예에서 작업자단말(3)은 복수의 상하행 차로 각각에 대한 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다.
구체적으로 도 12의 (a)에서 작업자는 하행 1차로에 대하여, 제1마커(M1)를 시작점으로 하고, 하행 1차로의 반대쪽 차선을 끝점으로 하여 하행 1차로의 제1검지선(L1)에 대한 E1엘리먼트를 입력할 수 있다.
이어서, E1엘리먼트가 입력되는 경우, E1엘리먼트와 동일한 길이로 가지고 수평을 이루는 E2엘리먼트가 작업자단말(3)에 제공될 수 있다. 작업자는 제2마커(M2)를 시작점으로 하고, 하행 1차로의 반대쪽 차선을 끝점으로 하고, 상기 단계에서 입력된 E1엘리먼트와 수평이 되도록 E2엘리먼트를 이동하여, 하행 1차로의 제2검지선(L2)에 대한 E2엘리먼트를 입력할 수 있다.
이어서, 도 11의 (b)에서 작업자는 하행 2차로에 대하여, 하행 1차로에 대한 E1엘리먼트의 일단부를 시작점으로 하고, 하행 2차로의 반대쪽 차선을 끝점으로 하여 하행 2차로의 제1검지선(L1)에 대한 E1.1엘리먼트를 입력할 수 있다.
이어서, E1.1엘리먼트가 입력되는 경우, E1.1엘리먼트와 동일한 길이로 가지고 수평을 이루는 E2.1엘리먼트가 작업자단말(3)에 제공될 수 있다. 작업자는 하행 1차로에 대한 E2엘리먼트의 일단부를 시작점으로 하고, 하행 2차로의 반대쪽 차선을 끝점으로 하고, 상기 단계에서 입력된 E1.1엘리먼트와 수평이 되도록 E2.1엘리먼트를 이동하여, 하행 2차로의 제2검지선(L2)에 대한 E2.1엘리먼트를 입력할 수 있다.
이어서, 상행 1차로 및 2차로 각각에 대해서도, 작업자는 제1검지선(L1)에 대한 E1.2엘리먼트 및 E1.3엘리먼트를 입력하고, E1.2엘리먼트 및 E1.3엘리먼트와 동일한 길이를 가지고 수평을 이루는 E2.2엘리먼트 및 E2.3엘리먼트가 작업자단말(3)에 제공되어, 제2검지선(L2)에 대한 E2.2엘리먼트 및 E2.3엘리먼트를 입력할 수 있다.
이와 같이 작업자는 상호간에는 평행하고, 도로의 차선과는 수직을 이루도록 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다.
또한, 작업자는 도로의 일측 차로변에 마킹된 제1마커(M1) 및 제2마커(M2)만으로, 상하행 모든 차로에 대한 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있다.
한편, 제1검지선(L1) 및 제2검지선(L2)을 입력할 수 있는 인터페이스는 입력된 제1검지선(L1) 및 제2검지선(L2)을 개별적 혹은 일괄적으로 삭제할 수 있는 인터페이스(DELETE, DELETE ALL), 및 설정된 제1검지선(L1)과 제2검지선(L2)을 저장할 수 있는 인터페이스(SAVE)를 더 포함할 수 있다.
도 13의 (a)는 상술한 도 2의 S1 및 S2단계에서, 현장작업자에 의해 측정된 제1마커(M1)와 제2마커(M2) 사이의 실거리(L)에 대한 정보를 입력하기 위해 작업자단말(3), 현장작업자의 단말, 혹은 서버시스템(1)의 관리자의 단말에 표시되는 화면을 도시한다.
구체적으로 현장작업자에 의해 측정된 제1마커(M1)와 제2마커(M2) 사이의 실거리(L)에 대한 정보(LANE_DISTANCE)는, 해당 제1마커(M1)와 제2마커(M2)에 대한 식별정보(LANE_NUMBER)와 함께 입력되어 서버시스템(1)에 저장될 수 있다.
한편, 제1마커(M1)와 제2마커(M2) 사이의 실거리(L)에 대한 정보를 입력할 수 있는 인터페이스는 입력된 정보들을 저장할 수 있는 인터페이스(SAVE)를 더 포함할 수 있다.
도 13의 (b)는 상술한 도 7의 S25단계에서, 속도측정부(14)에 의해 측정된 복수의 차량객체 각각에 대한 속도에 대한 정보를 디스플레이하는 인터페이스를 도시한다. 구체적으로 도 13의 (b)의 좌측상단 레이어는 제1검지선(L1) 및 제2검지선(L2)이 적용되고, 복수의 차량객체들이 검출되고 있는 측정영상을 디스플레이하고 있다.
또한 도 13의 (b)의 우측하단 레이어는 검출된 복수의 차랑객체 각각에 대한 속도에 대한 정보를 디스플레이하고 있다.
본 발명의 일 실시예에 따르면, 속도측정의 기준이 되는 검지선을 입력하는 작업자에 원근에 의한 왜곡이 보정되어 도로의 차선이 수평으로 보여지는 영상이 제공되어, 작업자는 용이하게 도로의 차선과 수직을 이루는 검지선을 입력할 수 있다.
본 발명의 일 실시예에 따르면, 도로 차로변 일측에 마킹된 마커만으로 상하행 모든 차로에 대한 검지선이 입력될 수 있다.
본 발명의 일 실시예에 따르면, 검지선이 입력된 영상을 원복하고 이를 실제 속도를 측정하고자 하는 영상에 적용함으로써, 차량객체검출과 속도측정의 정확성을 향상할 수 있다.
본 발명의 일 실시예에 따르면, 작업자가 제1검지선을 입력하는 경우, 자동적으로 제2검지선을 입력할 수 있는 인터페이스가 제공되어, 작업자는 동일한 길이를 가지고 수평을 이루는 제1검지선 및 제2검지선을 용이하게 입력할 수 있다.
본 발명의 일 실시예에 따르면, 작업자가 설정한 관심영역에 대해서만 원근에 의한 왜곡을 보정함으로써, 영상변환 과정에서의 데이터연산량을 경감할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

  1. 서버시스템에서 수행되는 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법으로서,
    도로변 차선을 따라 제1마커, 및 제2마커가 마킹된 도로를 촬영한 기준영상, 및 상기 제1마커와 상기 제2마커 사이의 실거리를 수신하는 기준영상수신단계;
    상기 기준영상을 역원근변환(Inverse Perspective Transformation)하여 원근에 의한 왜곡이 보정되어 도로의 차선이 수평으로 보여지는 변환영상을 생성하는 변환영상생성단계;
    상기 변환영상에, 상기 제1마커를 시작점으로 하여 도로의 차선과 수직을 이루는 제1검지선, 및 상기 제2마커를 시작점으로 하여 상기 제1검지선과 수평을 이루고, 도로의 차선과 수직을 이루는 제2검지선을 입력하는 검지선입력단계;
    상기 제1검지선 및 상기 제2검지선이 입력된 변환영상을 원근변환하여, 상기 기준영상에 상기 제1검지선 및 상기 제2검지선이 입력된 형태의 기준데이터를 생성하는 기준데이터생성단계;
    상기 기준영상의 도로와 동일한 도로를 촬영한 측정영상에 대하여 딥러닝 기반의 차량객체검출모델을 이용하여, 차량객체를 검출하고, 차량객체에 대한 좌표정보를 트래킹하는 차량객체트래킹단계; 및
    상기 측정영상에 상기 제1검지선 및 상기 제2검지선을 적용하고, 상기 차량객체에 대한 좌표정보가 상기 제1검지선에 접하는 때의 제1타이밍정보, 상기 차량객체에 대한 좌표정보가 상기 제2검지선에 접하는 때의 제2타이밍정보, 및 상기 실거리에 기반하여, 상기 차량객체에 대한 속도를 측정하는, 속도측정단계;를 포함하는, 속도측정방법.
  2. 청구항 1에 있어서,
    상기 속도측정방법은,
    상기 기준영상에 대하여, 속도를 측정하고자 하는 영역인 관심영역(ROI, Region Of Interest)을 설정하는, 관심영역설정단계;를 더 포함하는, 속도측정방법.
  3. 청구항 1에 있어서,
    상기 기준영상은,
    도로에 설치된 촬영장치에 의하여, 상하행 차로가 촬영된 영상정보인, 속도측정방법.
  4. 청구항 3에 있어서,
    상기 기준영상은,
    상기 기준영상을 구성하는 복수의 프레임 중 어느 하나에 대한 이미지정보를 포함하는, 속도측정방법.
  5. 청구항 1에 있어서,
    상기 제1타이밍정보는,
    상기 측정영상에서, 상기 차량객체에 대한 좌표정보가 상기 제1검지선에 접하는 시간 혹은 프레임에 대한 정보이고,
    상기 제2타이밍정보는,
    상기 측정영상에서, 상기 차량객체에 대한 좌표정보가 상기 제2검지선에 접하는 시간 혹은 프레임에 대한 정보인, 속도측정방법.
  6. 청구항 1에 있어서,
    상기 차량객체트래킹단계는,
    상기 차량객체검출모델에 의해 검출된 복수의 차량객체 각각에 대하여, 바운딩박스를 부여하고, 상기 바운딩박스 내의 특정 좌표를 해당 차량객체에 대한 좌표정보로 설정하여 트래킹하고,
    상기 속도측정단계는,
    상기 복수의 차량객체 각각에 대한 속도를 측정하는, 속도측정방법.
  7. 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정장치로서,
    도로변 차선을 따라 제1마커, 및 제2마커가 마킹된 도로를 촬영한 기준영상, 및 상기 제1마커와 상기 제2마커 사이의 실거리를 수신하는 기준영상수신단계;
    상기 기준영상을 역원근변환(Inverse Perspective Transformation)하여 원근에 의한 왜곡이 보정되어 도로의 차선이 수평으로 보여지는 변환영상을 생성하는 변환영상생성단계;
    상기 변환영상에, 상기 제1마커를 시작점으로 하여 도로의 차선과 수직을 이루는 제1검지선, 및 상기 제2마커를 시작점으로 하여 상기 제1검지선과 수평을 이루고, 도로의 차선과 수직을 이루는 제2검지선을 입력하는 검지선입력단계;
    상기 제1검지선 및 상기 제2검지선이 입력된 변환영상을 원근변환하여, 상기 기준영상에 상기 제1검지선 및 상기 제2검지선이 입력된 형태의 기준데이터를 생성하는 기준데이터생성단계;
    상기 기준영상의 도로와 동일한 도로를 촬영한 측정영상에 대하여 딥러닝 기반의 차량객체검출모델을 이용하여, 차량객체를 검출하고, 차량객체에 대한 좌표정보를 트래킹하는 차량객체트래킹단계; 및
    상기 차량객체에 대한 좌표정보가 상기 제1검지선에 접하는 때의 제1타이밍정보, 상기 차량객체에 대한 좌표정보가 상기 제2검지선에 접하는 때의 제2타이밍정보, 및 상기 실거리에 기반하여, 상기 차량객체에 대한 속도를 측정하는, 속도측정단계;를 수행하는, 속도측정장치.

KR1020220094648A 2022-07-29 2022-07-29 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치 KR102448944B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220094648A KR102448944B1 (ko) 2022-07-29 2022-07-29 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220094648A KR102448944B1 (ko) 2022-07-29 2022-07-29 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치

Publications (1)

Publication Number Publication Date
KR102448944B1 true KR102448944B1 (ko) 2022-09-30

Family

ID=83451503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220094648A KR102448944B1 (ko) 2022-07-29 2022-07-29 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치

Country Status (1)

Country Link
KR (1) KR102448944B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994741A (zh) * 2024-01-03 2024-05-07 广东智视云控科技有限公司 基于视频监控的车速检测方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100532058B1 (ko) * 2002-12-30 2005-12-02 엘에스산전 주식회사 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치
KR20080004835A (ko) * 2006-07-06 2008-01-10 삼성전자주식회사 주행 차량의 운전자 보조 정보 생성 장치 및 방법
KR100965800B1 (ko) 2008-11-12 2010-06-24 (주)인펙비전 차량 영상 검지 및 속도 산출방법
KR101697229B1 (ko) * 2015-08-27 2017-01-18 ㈜베이다스 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
KR20180047116A (ko) * 2016-10-31 2018-05-10 연세대학교 산학협력단 Cctv 영상 분석을 통한 통행정보 추정 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100532058B1 (ko) * 2002-12-30 2005-12-02 엘에스산전 주식회사 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치
KR20080004835A (ko) * 2006-07-06 2008-01-10 삼성전자주식회사 주행 차량의 운전자 보조 정보 생성 장치 및 방법
KR100965800B1 (ko) 2008-11-12 2010-06-24 (주)인펙비전 차량 영상 검지 및 속도 산출방법
KR101697229B1 (ko) * 2015-08-27 2017-01-18 ㈜베이다스 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
KR20180047116A (ko) * 2016-10-31 2018-05-10 연세대학교 산학협력단 Cctv 영상 분석을 통한 통행정보 추정 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994741A (zh) * 2024-01-03 2024-05-07 广东智视云控科技有限公司 基于视频监控的车速检测方法、系统及存储介质

Similar Documents

Publication Publication Date Title
Fernández Llorca et al. Vision‐based vehicle speed estimation: A survey
CN109284674B (zh) 一种确定车道线的方法及装置
US20240125934A1 (en) Annotation cross-labeling for autonomous control systems
US20160232410A1 (en) Vehicle speed detection
RU2571871C2 (ru) Способ определения границ дороги, формы и положения объектов, находящихся на дороге, и устройство для его выполнения
JP4793324B2 (ja) 車両監視装置および車両監視方法
US12026960B2 (en) Dynamic driving metric output generation using computer vision methods
CN112585659A (zh) 一种导航方法、装置和系统
CN105335955A (zh) 对象检测方法和对象检测装置
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
CN104376297A (zh) 道路上的线型指示标志的检测方法和装置
KR20200064873A (ko) 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법
CN104123776B (zh) 一种基于图像的对象统计方法及系统
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
US20160055382A1 (en) Vehicle discrimination apparatus
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
KR102448944B1 (ko) 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치
KR20190134303A (ko) 영상 인식 장치 및 그 방법
JP3629935B2 (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
US11557089B1 (en) System and method for determining a viewpoint of a traffic camera
KR101371875B1 (ko) 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
KR101154110B1 (ko) 영상 처리 방법을 이용한 차량 속도 측정 장치 및 방법

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant