KR102225387B1 - 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법 - Google Patents

라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법 Download PDF

Info

Publication number
KR102225387B1
KR102225387B1 KR1020200086793A KR20200086793A KR102225387B1 KR 102225387 B1 KR102225387 B1 KR 102225387B1 KR 1020200086793 A KR1020200086793 A KR 1020200086793A KR 20200086793 A KR20200086793 A KR 20200086793A KR 102225387 B1 KR102225387 B1 KR 102225387B1
Authority
KR
South Korea
Prior art keywords
vehicle
coordinates
motion vector
vehicle object
coordinate group
Prior art date
Application number
KR1020200086793A
Other languages
English (en)
Inventor
지승태
하성욱
김병훈
한학용
Original Assignee
주식회사 사라다
주식회사 어스
주식회사 시선아이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 사라다, 주식회사 어스, 주식회사 시선아이티 filed Critical 주식회사 사라다
Priority to KR1020200086793A priority Critical patent/KR102225387B1/ko
Application granted granted Critical
Publication of KR102225387B1 publication Critical patent/KR102225387B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법에 관한 것으로, 본 발명의 일면에 따른 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치는 기설정된 주파수의 신호를 발신하고 발신된 신호가 도로상의 차량에 대해 반사됨에 따라 수신되는 주파수의 신호를 획득함에 따른 라이다 데이터를 생성하는 라이다 데이터 생성부, 라이다 데이터에 기초하여 차량 별로 구분되게 인식된 차량객체에 대한 복수개의 특징점들을 추출하는 객체 특징점 추출부, 차량객체에 대한 복수개의 특징점에 기초하여 생성 가능하며 차량객체의 길이, 폭, 높이에 대응되는 선분들로 이루어지는 다면체의 일면에 속하는 복수개의 좌표들을 그룹화 함에 따른 좌표그룹을 생성하는 좌표그룹 생성부, 차량을 포함하는 영상 이미지를 획득하는 영상 이미지 획득부, 영상 이미지에 있어서 좌표그룹에 대응되는 객체 이미지들을 추출하는 객체 이미지 추출부, 좌표그룹에 대응되는 객체 이미지를 입력받아 차량의 전면 또는 후면에 대한 이미지인지 여부를 구분가능한 미리 학습된 학습모델에 적어도 하나의 좌표그룹에 대응되는 객체 이미지를 적용함에 따른 전면에 대응되는 제1 분류값 또는 후면에 대응되는 제2 분류값을 선택하여 선택된 분류값을 객체 이미지에 대응되는 좌표그룹과 매칭하는 좌표그룹 매칭부, 복수 시점에 있어서 동일한 차량객체에 대응되며 분류값이 동일한 복수개의 좌표그룹들에 기초하여 모션벡터를 생성하는 모션벡터 생성모듈 및 모션벡터에 기초하여 차량객체의 주행상태를 판단하는 주행상태 판단모듈을 포함한다.

Description

라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법{APPARATUS AND METHOD FOR MONITORING IMAGES CAPABLE OF DETERRMINING TRAVELING STATUS OF VEHICLE BASED ON LIDAR DATA}
본 발명은 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법에 관한 것으로, 더욱 상세하게는 라이다 데이터로부터 인식된 차량객체의 이동을 분석하기 위한 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법에 관한 것이다.
라이다(LiDAR)는 레이저를 발사하여, 피사체에서 반사되어 돌아온 것을 감지해 피사체까지의 거리와 지형지물을 탐지하는 기술로, 자율주행차량에 있어서 차량 주변의 환경을 감지하기 위한 주요 수단으로 라이다가 이용되고 있다.
이에 따라 라이다로부터 생성된 라이다 데이터를 이용하여 도로 감지, 차량 주행 감지 등을 수행하기 위한 기술들이 제시되고 있으나 주변 차량의 직진, 좌회전 또는 우회전하는 확률을 기반으로 주변 차량의 이동 경로를 예측하는 종래의 기술은 주행 가능성이 높은 이동 경로를 예측하는 것으로, 운전자 개인의 성향에 따라 무단 차선이탈 등의 돌발 행동을 하는 경우 해당 차량의 주행방향을 예측하기에 어려움이 있다.
또한, 임의의 한 시점에서 차량의 주행방향과 도로선과 같은 기설정된 기준라인을 이용하여 차량의 주행을 예상하는 종래의 기술은 좌회전이나 우회전과 같이, 주행방향이 일정 시간동안 계속해서 바뀌는 주행상태를 예상하지 못한다는 문제점이 있다.
대한민국 특허출원번호 제10-2015-0150422호 대한민국 특허출원번호 제10-2014-0163621호
본 발명의 목적은 상기 문제점을 해결하기 위한 것으로, 라이다 데이터를 이용하여 차량을 인식하고 인식된 차량의 주행상태를 좌회전, 우회전, 주행경로 좌측으로 변경, 주행경로 우측으로 변경 중 어느 하나로 판단할 수 있는 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법을 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일면에 따른 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치는 기설정된 주파수의 신호를 발신하고 발신된 신호가 도로상의 차량에 대해 반사됨에 따라 수신되는 주파수의 신호를 획득함에 따른 라이다 데이터를 생성하는 라이다 데이터 생성부, 라이다 데이터에 기초하여 차량 별로 구분되게 인식된 차량객체에 대한 복수개의 특징점들을 추출하는 객체 특징점 추출부, 차량객체에 대한 복수개의 특징점에 기초하여 생성 가능하며 차량객체의 길이, 폭, 높이에 대응되는 선분들로 이루어지는 다면체의 일면에 속하는 복수개의 좌표들을 그룹화 함에 따른 좌표그룹을 생성하는 좌표그룹 생성부, 차량을 포함하는 영상 이미지를 획득하는 영상 이미지 획득부, 영상 이미지에 있어서 좌표그룹에 대응되는 객체 이미지들을 추출하는 객체 이미지 추출부, 좌표그룹에 대응되는 객체 이미지를 입력받아 차량의 전면 또는 후면에 대한 이미지인지 여부를 구분가능한 미리 학습된 학습모델에 적어도 하나의 좌표그룹에 대응되는 객체 이미지를 적용함에 따른 전면에 대응되는 제1 분류값 또는 후면에 대응되는 제2 분류값을 선택하여 선택된 분류값을 객체 이미지에 대응되는 좌표그룹과 매칭하는 좌표그룹 매칭부, 복수 시점에 있어서 동일한 차량객체에 대응되며 분류값이 동일한 복수개의 좌표그룹들에 기초하여 모션벡터를 생성하는 모션벡터 생성모듈 및 모션벡터에 기초하여 차량객체의 주행상태를 판단하는 주행상태 판단모듈을 포함한다.
본 발명의 다른 면에 따른 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 방법은 기설정된 주파수의 신호를 발신하고 발신된 신호가 도로상의 차량에 대해 반사됨에 따라 수신되는 주파수의 신호를 획득함에 따른 라이다 데이터에 기초하여 차량 별로 구분되게 차량객체를 인식하는 단계, 차량객체에 대한 복수개의 특징점들을 추출하는 단계, 차량객체에 대한 복수개의 특징점에 기초하여 생성 가능하며 차량객체의 길이, 폭, 높이에 대응되는 선분들로 이루어지는 다면체의 일면에 속하는 복수개의 좌표들을 그룹화 함에 따른 좌표그룹을 생성하는 단계, 차량을 포함하는 영상 이미지를 획득하는 단계, 영상 이미지에 있어서 좌표그룹에 대응되는 객체 이미지들을 추출하는 단계, 좌표그룹에 대응되는 객체 이미지를 입력받아 차량의 전면 또는 후면에 대한 이미지인지 여부를 구분가능한 미리 학습된 학습모델에 적어도 하나의 좌표그룹에 대응되는 객체 이미지를 적용함에 따른 전면에 대응되는 제1 분류값 또는 후면에 대응되는 제2 분류값을 선택하여 선택된 분류값을 객체 이미지에 대응되는 좌표그룹과 매칭하는 단계, 복수 시점에 있어서 동일한 차량객체에 대응되며 분류값이 동일한 복수개의 좌표그룹들에 기초하여 모션벡터를 생성하는 단계 및 모션벡터에 기초하여 차량객체의 주행상태를 판단하는 단계를 포함한다.
본 발명에 따르면 라이다 데이터와 영상 이미지를 이용해 차량을 인식하고 차량의 전면과 후면을 구분하여, 시간에 따른 차량의 전면의 이동 방향과 후면의 이동 방향을 이용해 차량의 주행상태를 좌회전, 우회전, 주행경로 좌측으로 변경, 주행경로 우측으로 변경 중 어느 하나로 판단할 수 있는 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법을 제공하는 효과를 기대할 수 있다.
본 발명의 효과는 상기에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치의 블록도이다.
도 2는 본 발명의 실시예들에 따른 차량객체에 대한 복수개의 좌표들을 설명하기 위한 예시도이다.
도 3은 본 발명의 다른 실시예에 따른 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 방법의 순서도이다.
도 4는 차량객체가 좌회전하는 경우 본 발명의 실시예들에 따른 모션벡터를 설명하기 위한 예시도이다.
도 5는 차량객체가 주행경로를 좌측으로 변경하는 경우 본 발명의 실시예들에 따른 모션벡터를 설명하기 위한 예시도이다.
도 6은 차량객체가 우회전하는 경우 본 발명의 실시예들에 따른 모션벡터를 설명하기 위한 예시도이다.
도 7은 차량객체가 주행경로를 우측으로 변경하는 경우 본 발명의 실시예들에 따른 모션벡터를 설명하기 위한 예시도이다.
도 8은 차량객체가 직진하는 경우 본 발명의 실시예들에 따른 모션벡터를 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로서, 본 발명은 청구항의 기재에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
도 1은 본 발명의 일 실시예에 따른 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치의 블록도이다.
도 1을 참조하면 본 발명의 일 실시예에 따른 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치(10)는 라이다 데이터 생성부(110), 객체 특징점 추출부(120), 좌표그룹 생성부(130), 영상 이미지 획득부(140), 객체 이미지 추출부(150), 좌표그룹 매칭부(160), 모션벡터 생성모듈(170), 시각부(180), 주행상태 판단모듈(190)을 포함하는 것일 수 있다.
라이다 데이터 생성부(110)는 기설정된 주파수의 신호를 발신하고 발신된 신호가 도로상의 차량에 대해 반사됨에 따라 수신되는 주파수의 신호를 획득함에 따른 라이다 데이터를 생성하는 것일 수 있다.
객체 특징점 추출부(120)는 라이다 데이터 생성부(110)에서 생성된 라이다 데이터에 기초하여 차량 별로 구분되게 인식된 차량객체에 대한 복수개의 특징점들을 추출하는 것일 수 있다.
객체 특징점 추출부(120)는 라이다 데이터에 기초하여 차량에 대응되는 차량객체를 인식하고 인식된 차량객체를 차량 별로 구분하여 식별자를 부여하며 식별자가 부여된 각 차량객체에 대한 복수개의 특징점들을 추출하는 것일 수 있다.
좌표그룹 생성부(130)는 차량객체에 대한 복수개의 특징점에 기초하여 생성 가능하며 차량객체의 길이, 폭, 높이에 대응되는 선분들로 이루어지는 다면체의 일면에 속하는 복수개의 좌표들을 그룹화 함에 따른 좌표그룹을 생성하는 것일 수 있다.
좌표그룹 생성부(130)는 복수 시점에 있어서 동일한 차량객체에 대한 복수개의 특징점에 기초하여 생성가능한 다면체의 일면에 속하는 복수개의 좌표들을 그룹화 함에 따라 복수 시점에 있어서 다면체의 일면에 대응되는 좌표그룹을 생성하는 것일 수 있다.
좌표그룹 생성부(130)는 복수 시점 중 어느 한 시점인 제1 시점에 있어서 차량객체에 대한 복수개의 특징점에 기초하여 생성가능한 다면체에서 차량객체의 길이방향에 수직한의 어느 한 면에 속하는 복수개의 좌표들을 그룹화 함에 따라 제1 시점에서의 제1 좌표그룹을 생성하고, 해당 다면체에서 차량객체의 길이방향에 수직한 다른 한 명에 속하는 복수개의 좌표들을 그룹화 함에 따라 제1 시점에서의 제2 좌표그룹을 생성하는 것일 수 있다.
좌표그룹 생성부(130)는 제1 시점 이후 제2 시점에 있어서 제1 시점에서 좌표그룹을 생성한 차량객체와 동일한 차량객체에 대해 다면체에서 차량객체의 길이방향에 수직한 어느 한 면에 속하는 복수개의 좌표들을 그룹화 함에 따라 제2 시점에서의 제1 좌표그룹을 생성하고, 해당 다면체에서 차량객체의 길이방향에 수직한 다른 한 명에 속하는 복수개의 좌표들을 그룹화 함에 따라 제2 시점에서의 제2 좌표그룹을 생성하는 것일 수 있다.
도 2를 참조하면 좌표그룹 생성부(130)는 차량객체의 길이, 폭, 높이에 대응되는 길이, 폭, 높이로 형성되는 직육면체의 일면에 속하는 복수개의 좌표들을 그룹화 함에 따른 좌표그룹을 생성하는 것일 수 있다.
좌표그룹 생성부(130)는 복수 시점중 어느 한 시점인 제1 시점(t1)에서 차량객체에 대응되는 직육면체에서 차량객체의 길이방향과 수직한 어느 한 면에 속하는 복수개의 좌표들을 그룹화 함에 따른 제1 좌표그룹(201a)과, 차량객체에 대응되는 직육면체에서 차량객체의 길이방향과 수직한 다른 한 면에 속하는 복수개의 좌표들을 그룹화함에 따른 제2 좌표그룹(202a)을 생성하고, 제1 시점(t1)이후 제2 시점(t2)에서 차량객체에 대응되는 직육면체에서 차량의 길이방향과 수직한 어느 한 면에 속하는 복수개의 좌표들을 그룹화 함에 따른 제1 좌표그룹(201b)과, 차량객체에 대응되는 직육면체에서 차량객체의 길이방향과 수직한 다른 한 면에 속하는 복수개의 좌표들을 그룹화함에 따른 제2 좌표그룹(202b)을 생성하는 것일 수 있다.
영상 이미지 획득부(140)는 라이다 데이터 생성부(110)에서 라이다 데이터 생성의 대상이 되는 도로상의 차량을 포함하는 영상 이미지를 획득하는 것일 수 있다.
객체 이미지 추출부(150)는 영상 이미지에 있어서 좌표그룹에 대응되는 객체 이미지들을 추출하는 것일 수 있다.
객체 이미지 추출부(150)는 영상 이미지에 있어서 제1 좌표그룹에 대응되는 제1 객체 이미지와, 제2 좌표그룹에 대응되는 제2 객체 이미지를 추출하는 것일 수 있다.
제1 객체 이미지와 제2 객체 이미지 중 어느 하나는 영상 이미지에서 차량객체에 대응되는 차량의 전면부를 포함하는 이미지일 수 있다.
여기서 차량의 전면부란, 보닛, 윈드 쉴드, 라디에이터 그릴, 헤드램프, 프론트 범퍼, 포그램프를 포함하는 것일 수 있다.
제1 객체 이미지와 제2 객체 이미지 중 나머지 하나는 영상 이미지에서 해당 차량객체에 대응되는 차량의 후면부를 포함하는 이미지일 수 있다.
차량의 후면부란 테일램프, 트렁크, 리어범퍼(Rear Bumper), 머플러를 포함하는 것일 수 있다.
좌표그룹 매칭부(160)는 좌표그룹에 대응되는 객체 이미지를 입력받아 차량의 전면 또는 후면에 대한 이미지인지 여부를 구분가능한 미리 학습된 학습모델에 적어도 하나의 좌표그룹에 대응되는 객체 이미지를 적용함에 따른 전면에 대응되는 제1 분류값 또는 후면에 대응되는 제2 분류값을 선택하여 선택된 분류값을 객체 이미지에 대응되는 좌표그룹과 매칭하는 것일 수 있다.
여기서 학습모델은 복수의 콘볼루션층, 복수의 풀링층, 복수의 relu 층을 포함하는 신경망 구조를 가지고 차량의 전면에 대한 복수개의 이미지들 또는 차량의 후면에 대한 복수개의 이미지들과, 차량의 전면에 대한 복수개의 이미지들 또는 차량의 후면에 대한 복수개의 이미지들에 각각 대응되는 지도학습값들을 이용하여 기설정된 신경망 구조의 파라미터들이 정리됨에 따라 미리 학습되는 것일 수 있다.
좌표그룹 매칭부(160)는 미리 학습된 학습모델에 제1 객체 이미지를 적용하여 제1 분류값 또는 제2 분류값을 선택하여 선택된 분류값을 제1 좌표그룹에 매칭하고, 미리 학습된 학습모델에 제2 객체 이미지를 적용하여 제1 분류값 또는 제2 분류값을 선택하여 선택된 분류값을 제2 좌표그룹에 매칭하는 것일 수 있다.
다른 예에서, 좌표그룹 매칭부(160)는 미리 학습된 학습모델에 제1 객체 이미지를 적용하여 제1 분류값 또는 제2 분류값을 선택하여 선택된 분류값을 제1 좌표그룹에 매칭하고, 제1 분류값과 제2 분류값과 제1 좌표그룹에 매칭되지 않은 분류값을 제2 좌표그룹에 매칭하는 것일 수 있다.
모션벡터 생성모듈(170)은 복수 시점에 있어서 동일한 차량객체에 대응되며 분류값이 동일한 복수개의 좌표그룹들에 기초하여 모션벡터를 생성하는 것일 수 있다.
모션벡터 생성모듈(170)은 특징좌표 생성부(171), 전면 모션벡터 생성부(173), 후면 모션벡터 생성부(175)를 포함하는 것일 수 있다.
특징좌표 생성부(171)는 제1 시점에 있어서 제1 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 차량객체에 대한 전면 특징좌표와, 제2 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 차량객체에 대한 후면 특징좌표를 생성하고, 제1 시점 이후 제2 시점에 있어서 제1 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 차량객체에 대한 전면 특징좌표와, 제2 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 차량객체에 대한 후면 특징좌표를 생성하는 것일 수 있다.
전면 모션벡터 생성부(173)는 제1 시점에서 생성된 차량객체에 대한 전면 특징좌표와 제2 시점에서 생성된 차량객체에 대한 전면 특징좌표에 기초하여 차량객체에 대한 전면 모션벡터를 생성하는 것일 수 있다.
전면 모션벡터 생성부(173)는 제1 시점에서 생성된 차량객체에 대한 전면 특징좌표를 시작점으로 하고 제2 시점에서 생성된 차량객체에 대한 전면 특징좌표를 종료점으로 하는 차량객체에 대한 전면 모션벡터를 생성하는 것일 수 있다.
후면 모션벡터 생성부(175)는 제1 시점에서 생성된 차량객체에 대한 후면 특징좌표와 제2 시점에서 생성된 차량객체에 대한 후면 특징좌표에 기초하여 차량객체에 대한 후면 모션벡터를 생성하는 것일 수 있다.
후면 모션벡터 생성부(175)는 제1 시점에서 생성된 차량객체에 대한 후면 특징좌표를 시작점으로 하고 제2 시점에서 생성된 차량객체에 대한 후면 특징좌표를 종료점으로 하는 차량객체에 대한 후면 모션벡터를 생성하는 것일 수 있다.
시각부(180)는 특징좌표 생성부(171)에서 전면 특징좌표와 후면 특징좌표를 산출한 시점에서의 시각을 알 수 있도록, 시분초 단위의 시각 정보를 제공하는 것일 수 있다.
주행상태 판단모듈(190)은 모션벡터에 기초하여 차량객체의 주행상태를 판단하는 것일 수 있다.
주행상태 판단모듈(190)은 차량객체에 대한 전면 모션벡터와 차량객체에 대한 후면 모션벡터간의 사이각에 기초하여 차량객체에 대한 회전 또는 주행경로 변경을 구분하여 판단하는 것일 수 있다.
주행상태 판단모듈(190)은 주행방향 벡터 산출부(191), 기준 벡터 설정부(193), 제1 각도 산출부(195), 제2 각도 산출부(197), 주행상태 판단부(199)를 포함하는 것일 수 있다.
주행방향 벡터 산출부(191)는 전면 모션벡터와 후면 모션벡터를 벡터합함에 따른 주행방향 벡터를 산출하는 것일 수 있다.
기준 벡터 설정부(193)는 차량객체의 통행 방향을 고려한 적어도 두 개의 픽셀 좌표값들에 기초한 기준 벡터를 설정하는 것일 수 있다.
여기서 픽셀 좌표값들은 사용자의 입력에 따라 외부로부터 입력되는 것일 수 있다.
제1 각도 산출부(195)는 기준 벡터와 주행방향 벡터간의 사이각을 산출하는 것일 수 있다.
제1 각도 산출부(195)는 기준 벡터를 기준으로 기준 벡터와 주행방향 벡터간의 사이각을 산출하는 것일 수 있다.
제1 각도 산출부(195)는 기준 벡터와 주행방향 벡터의 내적에 따른 내적값과 기준 벡터의 크기와 주행방향 벡터의 크기로부터 각도값을 산출하고, 기준 벡터와 주행방향 벡터의 외적에 따른 외적값의 부호에 따라, 각도값에 음의 부호 또는 양의 부호를 붙임에 따라 기준 벡터와 주행방향 벡터간의 사이각을 산출하는 것일 수 있다.
제2 각도 산출부(197)는 전면 모션벡터와 후면 모션벡터간의 사이각을 산출하는 것일 수 있다.
제2 각도 산출부(197)는 전면 모션벡터와 후면 모션벡터 내적값을 전면 모션벡터의 크기와 후면 모션벡터의 크기를 곱한 값을 나눈 값으로 나눔에 따른 값을 아크 코사인함에 따라 전면 모션벡터와 후면 모션벡터간의 사이각을 산출하는 것일 수 있다.
주행상태 판단부(199)는 전면 모션벡터와 후면 모션벡터간의 사이각과 주행방향 벡터와 기준 벡터간의 사이각에 기초하여 좌회전, 우회전, 주행경로 좌측으로 변경, 주행경로 우측으로 변경 중 어느 하나로 구분하여 차량객체의 주행상태를 판단하는 것일 수 있다.
여기서, 주행경로 좌측으로 변경과 주행경로 우측으로 변경은, 차선 변경과 같이 차량객체의 주행방향이 제1 시점과 제2 시점에서 동일하되, 제2 시점에서 차량객체의 주행경로가 제1 시점에서 차량객체의 주행경로에서 수평하게 좌측 또는 우측으로 소정간격 떨어져 있음을 의미하는 것일 수 있다.
주행상태 판단부(199)는 전면 모션벡터와 후면 모션벡터간의 사이각에 기초하여 차량객체의 회전여부를 판단하고, 주행방향 벡터와 기준 벡터간의 사이각에 기초하여 차량객체의 주행방향을 판단하여, 좌회전, 우회전, 주행경로 좌측으로 변경, 주행경로 우측으로 변경 중 어느 하나와 대응되는 주행상태값을 차량객체의 주행상태로 설정함에 따라 차량객체의 주행상태를 판단하는 것일 수 있다.
주행상태 판단부(199)는 전면 모션벡터와 후면 모션벡터간의 사이각이 기설정된 임계각(예를들어 5도)를 초과하고, 주행방향 벡터와 기준 벡터간의 사이각이 기설정된 좌측 판단 각도범위(예를들어 -30도 내지 -180도)에 속하면 좌회전에 대응되는 제1 주행상태값을 차량객체의 주행상태로 설정하는 것일 수 있다.
주행상태 판단부(199)는 전면 모션벡터와 후면 모션벡터간의 사이각이 기설정된 임계각(예를들어 5도) 이내이고, 주행방향 벡터와 기준 벡터간의 사이각이 기설정된 좌측 판단 각도범위(예를들어 -30도 내지 -180도)에 속하면 주행경로 좌측으로 변경에 대응되는 제2 주행상태값을 차량객체의 주행상태로 설정하는 것일 수 있다.
주행상태 판단부(199)는 전면 모션벡터와 후면 모션벡터간의 사이각이 기설정된 임계각(예를들어 5도)를 초과하고, 주행방향 벡터와 기준 벡터간의 사이각이 기설정된 우측 판단 각도범위(예를들어 30도 내지 180도)에 속하면 우회전에 대응되는 제3 주행상태값을 차량객체의 주행상태로 설정하는 것일 수 있다.
주행상태 판단부(199)는 전면 모션벡터와 후면 모션벡터간의 사이각이 기설정된 임계각(예를들어 5도) 이내이고, 주행방향 벡터와 기준 벡터간의 사이각이 기설정된 좌측 판단 각도범위(예를들어 30도 내지 180도)에 속하면 주행경로 우측으로 변경에 대응되는 제4 주행상태값을 차량객체의 주행상태로 설정하는 것일 수 있다.
주행상태 판단부(199)는 전면 모션벡터와 후면 모션벡터간의 사이각이 기설정된 임계각(예를들어 5도) 이내이고, 주행방향 벡터와 기준 벡터간의 사이각이 기설정된 좌측 판단 각도범위와 우측 판단 각도범위에 모두 속하지 않으면 직진에 대응되는 제5 주행상태값을 차량객체의 주행상태로 설정하는 것일 수 있다.
도 4 내지 8에서
Figure 112020073102032-pat00001
는 기준 벡터 설정부(193)에서 차량객체에 대해 설정한 기준 벡터이며, f1은 복수 시점 중 어느 한 시점인 제1 시점에서의 차량객체에 대한 전면 특징좌표이고, b1은 제1 시점에서의 차량객체에 대한 후면 특징좌표이며, f2는 제1 시점 이후 제2 시점에서의 차량객체에 대한 전면 특징좌표이고, b2는 제2 시점에서의 차량객체에 대한 후면 특징좌표이며, 1001은 기준 벡터(
Figure 112020073102032-pat00002
)를 기준으로 좌측 판단 각도 범위를 나타낸 것이고, 1002는 기준 벡터(
Figure 112020073102032-pat00003
)를 기준으로 우측 판단 각도 범위를 나타낸 것이며, 1003는 좌측 판단 각도 범위(1001)와 우측 판단 각도 범위(1002)의 여집합에 해당하는 범위를 나타낸 것이다.
도 4를 참조하면, 차량객체가 좌회전하는 경우 전면 모션벡터(401)와 후면 모션벡터(402)간의 사이각(404)은 기설정된 임계각(예를 들어 5도)을 초과하고, 전면 모션벡터(401)와 후면 모션벡터(402)를 벡터합함에 따른 주행방향 벡터(403)와 기준 벡터(
Figure 112020073102032-pat00004
)간의 사이각(405)은 좌측 판단 각도 범위(1001)내에 포함되므로, 차량객체가 좌회전하는 경우 본 발명의 실시예들에 따른 주행상태 판단부(199)는 좌회전에 대응되는 제1 주행상태값을 차량객체의 주행상태로 설정하는 것일 수 있다.
도 5를 참조하면, 차량객체가 주행경로를 좌측으로 변경하는 경우 전면 모션벡터(501)와 후면 모션벡터(502)간의 사이각은 0도로 기설정된 임계각 이내이고, 전면 모션벡터(501)와 후면 모션벡터(502)를 벡터합함에 따른 주행방향 벡터(503)와 기준 벡터(
Figure 112020073102032-pat00005
)간의 사이각(505)은 좌측 판단 각도 범위(1001)내에 포함되므로, 차량객체가 주행경로를 좌측으로 변경하는 경우 본 발명의 실시예들에 따른 주행상태 판단부(199)는 주행경로를 좌측으로 변경에 대응되는 제2 주행상태값을 차량객체의 주행상태로 설정하는 것일 수 있다.
도 6을 참조하면, 차량객체가 우회전하는 경우 전면 모션벡터(601)와 후면 모션벡터(602)간의 사이각(604)은 임계각(예를 들어 5도)을 초과하고, 전면 모션벡터(601)와 후면 모션벡터(602)를 벡터합함에 따른 주행방향 벡터(603)와 기준 벡터(
Figure 112020073102032-pat00006
)간의 사이각(605)은 우측 판단 각도 범위(1002) 내에 포함되므로, 차량객체가 우회전하는 경우 본 발명의 실시예들에 따른 주행상태 판단부(199)는 우회전에 대응되는 제3 주행상태값을 차량객체의 주행상태로 설정하는 것일 수 있다.
도 7을 참조하면, 차량객체가 주행경로를 우측으로 변경하는 경우 전면 모션벡터(701)와 후면 모션벡터(702)간의 사이각은 0도로 기설정된 임계각 이내이고, 전면 모션벡터(701)와 후면 모션벡터(702)를 벡터합함에 따른 주행방향 벡터(703)와 기준 벡터(
Figure 112020073102032-pat00007
)간의 사이각(705)은 우측 판단 각도 범위(1002) 내에 포함되므로, 차량객체가 주행경로를 우측으로 변경하는 경우 본 발명의 실시예들에 따른 주행상태 판단부(199)는 주행경로 우측으로 변경에 대응되는 제4 주행상태값을 차량객체의 주행상태로 설정하는 것일 수 있다.
도 8을 참조하면, 차량객체가 직진하는 경우 전면 모션벡터(801)와 후면 모션벡터(802)간의 사이각은 0도로 기설정된 임계각 이내이고, 전면 모션벡터(801)와 후면 모션벡터(802)를 벡터합함에 따른 주행방향 벡터(803)와 기준 벡터(
Figure 112020073102032-pat00008
)간의 사이각(805)은 좌측 판단 각도 범위(1001)와 우측 판단 각도 범위(1002)에 모두 속하지 않으므로, 차량객체가 직진하는 경우 본 발명의 실시예들에 따른 주행상태 판단부(199)는 직진에 대응되는 제5 주행상태값을 차량객체의 주행상태로 설정하는 것일 수 있다.
도 3은 본 발명의 일 실시예에 따른 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 방법의 순서도이다.
본 발명의 일 실시예에 따른 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 방법은 본 발명의 일 실시예에 따른 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치(10)에 의해 수행될 수 있다.
이하, 상기에서 설명한 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치(10)와 중복되는 내용 및 구성은 도면 부호를 일치시키고 설명의 편의를 위해 자세한 설명을 생략하도록 한다.
객체 특징점 추출부(120)는 기설정된 주파수의 신호를 발신하고 발신된 신호가 도로상의 차량에 대해 반사됨에 따라 수신되는 주파수의 신호를 획득함에 따른 라이다 데이터에 기초하여 차량 별로 구분되게 차량객체를 인식하고(S101), 차량객체에 대한 복수개의 특징점들을 추출하는(S103) 것일 수 있다.
좌표그룹 생성부(130)는 차량객체에 대한 복수개의 특징점에 기초하여 생성 가능하며 차량객체의 길이, 폭, 높이에 대응되는 선분들로 이루어지는 다면체의 일면에 속하는 복수개의 좌표들을 그룹화 함에 따른 좌표그룹을 생성하고(S105), 영상 이미지 획득부(140)에서 차량객체에 대응되는 차량을 포함하는 영상 이미지를 획득하며(S107), 객체 이미지 추출부(150)는 영상 이미지에 있어서 좌표그룹에 대응되는 객체 이미지들을 추출하는(S109) 것일 수 있다.
좌표그룹 매칭부(160)는 좌표그룹에 대응되는 객체 이미지를 입력받아 차량의 전면 또는 후면에 대한 이미지인지 여부를 구분가능한 미리 학습된 학습모델에 적어도 하나의 좌표그룹에 대응되는 객체 이미지를 적용함에 따른 전면에 대응되는 제1 분류값 또는 후면에 대응되는 제2 분류값을 선택하여 선택된 분류값을 객체 이미지에 대응되는 좌표그룹과 매칭하고(S111), 모션벡터 생성모듈(170)은 복수 시점에 있어서 동일한 차량객체에 대응되며 분류값이 동일한 복수개의 좌표그룹들에 기초하여 모션벡터를 생성하며(S113), 주행상태 판단모듈(190)은 모션벡터에 기초하여 차량객체의 주행상태를 판단하는(S115) 것일 수 있다.
S113 단계에서 모션벡터 생성모듈(170)은 제1 시점에 있어서 제1 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 차량객체에 대한 전면 특징좌표와 제2 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 차량 객체에 대한 후면 특징좌표를 생성하고, 제1 시점 이후 제2 시점에 있어서 제1 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 차량객체에 대한 전면 특징좌표와 제2 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 차량 객체에 대한 후면 특징좌표를 생성하며, 제1 시점에서 생성된 차량객체에 대한 전면 특징좌표와 제2 시점에서 생성된 차량객체에 대한 전면 특징좌표에 기초하여 차량객체에 대한 전면 모션벡터를 생성하고 제1 시점에서 생성된 차량객체에 대한 후면 특징좌표와 제2 시점에서 생성된 차량객체에 대한 후면 특징좌표에 기초하여 차량객체에 대한 후면 모션벡터를 생성하는 것일 수 있다.
S115 단계에서 주행상태 판단모듈(190)은 전면 모션벡터와 후면 모션벡터간의 사이각에 기초하여 차량객체에 대한 회전 또는 주행경로 변경을 구분하여 판단하는 것일 수 있다.
주행상태 판단모듈(190)은 전면 모션벡터와 후면 모션벡터간의 사이각과 주행방향 벡터와 기준 벡터 사이의 각도에 기초하여 좌회전, 우회전, 주행경로 좌측으로 변경, 주행경로 우측으로 변경 중 어느 하나로 구분하여 차량객체의 주행상태를 판단하는 것일 수 있다.
주행상태 판단모듈(190)은 전면 모션벡터와 후면 모션벡터간의 사이각에 기초하여 회전 여부를 판단하고, 주행방향 벡터와 기준 벡터간의 사이각에 기초하여 좌측 또는 우측으로 차량객체의 주행방향을 판단하여 좌회전, 우회전, 주행경로 좌측으로 변경, 주행경로 우측으로 변경 중 어느 하나로 구분하여 차량객체의 주행상태를 판단하는 것일 수 있다.
본 발명에 따르면 라이다 데이터와 영상 이미지를 이용하여, 차량객체에 대해 형성된 다면체에 속하는 좌표들로부터 전면 특징좌표와 후면 특징좌표를 생성함에 따라 차량객체간의 간격과 높이 차이에 따라 다른 차량객체에 의해 일부가 가려진 차량객체의 전면 특징좌표와 후면 특징좌표를 생성할 수 있다는 이점이 있다.
예를 들어 경차의 뒤에 인접하게 대형트럭이 위치하여 영상 이미지 상에서 경차의 일부가 대형트럭에 가려진 경우, 화면영역 상의 평면이미지에 기반하여 차량객체로부터 좌표를 추출하는 종래의 기술은 경차의 일부가 대형트럭에 가려짐에 따라 경차 뒷부분에 대응되는 좌표를 추출하기 어렵다는 문제점이 있다.
하지만 본 발명에 따르면 라이다 데이터에 기초하여 경차에 대응되는 차량객체로부터 복수개의 특징점들을 추출하고 복수개의 특징점들에 의해 형성되는 다면체의 일면에 속하는 좌표들로부터 전면 특징좌표와 후면 특징좌표를 생성함에 따라, 경차의 일측이 대형트럭에 가려지는 것에 관계없이 경차의 전면과 후면에 각각 대응되는 특징좌표를 생성하는 이점이 있다.
또한, 본 발명에 따르면 시간에 따른 차량객체의 전면 이동 방향을 나타내는 전면 모션벡터와 시간에 따른 차량객체의 후면 이동 방향을 나타내는 후면 모션벡터를 이용해 좌회전, 우회전, 주행경로 좌측으로 변경, 주행경로 우측으로 변경 중 어느 하나로 차량객체의 주행상태를 판단할 수 있다.
즉, 본 발명에 따르면 단순히 차량객체 자체의 시간에 따른 위치 변화가 아니라 차량객체의 전면과 후면 각각의 이동방향을 고려함에 따라 좌회전, 우회전, 주행경로 좌측으로 변경, 주행경로 우측으로 변경과 같이 다양하게 차량객체의 주행상태를 판단할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치
110 : 라이다 데이터 생성부
120 : 객체 특징점 추출부
130 : 좌표그룹 생성부
140 : 영상 이미지 획득부
150 : 객체 이미지 추출부
160 : 좌표그룹 매칭부
170 : 모션벡터 생성모듈
180 : 시각부
190 : 주행상태 판단모듈

Claims (8)

  1. 기설정된 주파수의 신호를 발신하고 발신된 신호가 도로상의 차량에 대해 반사됨에 따라 수신되는 상기 주파수의 신호를 획득함에 따른 라이다 데이터를 생성하는 라이다 데이터 생성부;
    상기 라이다 데이터에 기초하여 차량 별로 구분되게 인식된 차량객체에 대한 복수개의 특징점들을 추출하는 객체 특징점 추출부;
    상기 차량객체에 대한 복수개의 특징점에 기초하여 생성 가능하며 차량객체의 길이, 폭, 높이에 대응되는 선분들로 이루어지는 다면체의 일면에 속하는 복수개의 좌표들을 그룹화 함에 따른 좌표그룹을 생성하는 좌표그룹 생성부;
    상기 차량을 포함하는 영상 이미지를 획득하는 영상 이미지 획득부;
    상기 영상 이미지에 있어서 상기 좌표그룹에 대응되는 객체 이미지들을 추출하는 객체 이미지 추출부;
    상기 좌표그룹에 대응되는 객체 이미지를 입력받아 차량의 전면 또는 후면에 대한 이미지인지 여부를 구분가능한 미리 학습된 학습모델에 적어도 하나의 상기 좌표그룹에 대응되는 객체 이미지를 적용함에 따른 전면에 대응되는 제1 분류값 또는 후면에 대응되는 제2 분류값을 선택하여 선택된 분류값을 상기 객체 이미지에 대응되는 좌표그룹과 매칭하는 좌표그룹 매칭부;
    복수 시점에 있어서 동일한 차량객체에 대응되며 상기 분류값이 동일한 복수개의 좌표그룹들에 기초하여 모션벡터를 생성하는 모션벡터 생성모듈; 및
    상기 모션벡터에 기초하여 차량객체의 주행상태를 판단하는 주행상태 판단모듈; 을 포함하는 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치.
  2. 제1항에 있어서, 상기 모션벡터 생성모듈은
    상기 복수 시점의 어느 한 시점인 제1 시점에 있어서 상기 제1 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 상기 차량객체에 대한 전면 특징좌표와, 상기 제2 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 상기 차량객체에 대한 후면 특징좌표를 생성하고, 상기 제1 시점 이후 제2 시점에 있어서 상기 제1 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 상기 차량객체에 대한 전면 특징좌표와, 제2 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 상기 차량객체에 대한 후면 특징좌표를 생성하는 특징좌표 생성부;
    상기 제1 시점에서 생성된 상기 차량객체에 대한 전면 특징좌표와 상기 제2 시점에서 생성된 상기 차량객체에 대한 전면 특징좌표에 기초하여 상기 차량객체에 대한 전면 모션벡터를 생성하는 전면 모션벡터 생성부; 및
    상기 제1 시점에서 생성된 상기 차량객체에 대한 후면 특징좌표와 상기 제2 시점에서 생성된 상기 차량객체에 대한 후면 특징좌표에 기초하여 상기 차량객체에 대한 후면 모션벡터를 생성하는 후면 모션벡터 생성부; 를 포함하는 것
    인 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치.
  3. 제2항에 있어서, 상기 주행상태 판단모듈은
    상기 전면 모션벡터와 상기 후면 모션벡터간의 사이각에 기초하여 상기 차량객체에 대한 회전 또는 주행경로 변경을 구분하여 판단하는 것
    인 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치.
  4. 제3항에 있어서, 상기 주행상태 판단모듈은
    상기 차량객체의 통행 방향을 고려한 적어도 두 개의 픽셀 좌표값들에 기초한 기준 벡터를 설정하는 기준 벡터 설정부;
    상기 전면 모션벡터와 상기 후면 모션벡터를 벡터합함에 따른 주행방향 벡터를 산출하는 주행방향 벡터 산출부; 및
    상기 전면 모션벡터와 상기 후면 모션벡터간의 사이각과 상기 주행방향 벡터와 상기 기준 벡터간의 사이각에 기초하여 좌회전, 우회전, 주행경로 좌측으로 변경, 주행경로 우측으로 변경 중 어느 하나로 구분하여 상기 차량객체의 주행상태를 판단하는 주행상태 판단부; 를 포함하는 것
    인 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치.
  5. 기설정된 주파수의 신호를 발신하고 발신된 신호가 도로상의 차량에 대해 반사됨에 따라 수신되는 상기 주파수의 신호를 획득함에 따른 라이다 데이터에 기초하여 차량 별로 구분되게 차량객체를 인식하는 단계;
    상기 차량객체에 대한 복수개의 특징점들을 추출하는 단계;
    상기 차량객체에 대한 복수개의 특징점에 기초하여 생성 가능하며 차량객체의 길이, 폭, 높이에 대응되는 선분들로 이루어지는 다면체의 일면에 속하는 복수개의 좌표들을 그룹화 함에 따른 좌표그룹을 생성하는 단계;
    상기 차량을 포함하는 영상 이미지를 획득하는 단계;
    상기 영상 이미지에 있어서 상기 좌표그룹에 대응되는 객체 이미지들을 추출하는 단계;
    상기 좌표그룹에 대응되는 객체 이미지를 입력받아 차량의 전면 또는 후면에 대한 이미지인지 여부를 구분가능한 미리 학습된 학습모델에 적어도 하나의 상기 좌표그룹에 대응되는 객체 이미지를 적용함에 따른 전면에 대응되는 제1 분류값 또는 후면에 대응되는 제2 분류값을 선택하여 선택된 분류값을 상기 객체 이미지에 대응되는 좌표그룹과 매칭하는 단계;
    복수 시점에 있어서 동일한 차량객체에 대응되며 상기 분류값이 동일한 복수개의 좌표그룹들에 기초하여 모션벡터를 생성하는 단계; 및
    상기 모션벡터에 기초하여 차량객체의 주행상태를 판단하는 단계; 를 포함하는 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 방법.
  6. 제5항에 있어서, 상기 모션벡터를 생성하는 단계는
    상기 복수 시점의 어느 한 시점인 제1 시점에 있어서 상기 제1 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 상기 차량객체에 대한 전면 특징좌표와, 상기 제2 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 상기 차량 객체에 대한 후면 특징좌표를 생성하는 단계;
    상기 제1 시점 이후 제2 시점에 있어서 상기 제1 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 상기 차량객체에 대한 전면 특징좌표와, 상기 제2 분류값과 매칭되는 좌표그룹에 속하는 좌표들의 대표 좌표를 설정함에 따른 상기 차량 객체에 대한 후면 특징좌표를 생성하는 단계; 및
    상기 제1 시점에서 생성된 상기 전면 특징좌표와 상기 제2 시점에서 생성된 상기 전면 특징좌표에 기초하여 상기 차량객체에 대한 전면 모션벡터를 생성하고, 상기 제1 시점에서 생성된 상기 후면 특징좌표와 상기 제2 시점에서 생성된 상기 후면 특징좌표에 기초하여 상기 차량객체에 대한 후면 모션벡터를 생성하는 단계; 를 포함하는 것
    인 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 방법.
  7. 제6항에 있어서, 상기 주행상태를 판단하는 단계는
    상기 전면 모션벡터와 상기 후면 모션벡터간의 사이각에 기초하여 상기 차량객체에 대한 회전 또는 주행경로 변경을 구분하여 판단하는 것
    인 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 방법.
  8. 제7항에 있어서, 상기 주행상태를 판단하는 단계는
    상기 전면 모션벡터와 상기 후면 모션벡터간의 사이각과, 상기 전면 모션벡터와 상기 후면 모션벡터를 벡터합함에 따른 주행방향 벡터와 상기 차량객체의 통행 방향을 고려한 적어도 두 개의 픽셀 좌표값들에 기초하여 미리 설정된 기준 벡터간의 사이각에 기초하여 좌회전, 우회전, 주행경로 좌측으로 변경, 주행경로 우측으로 변경 중 어느 하나로 구분하여 상기 차량객체의 주행상태를 판단하는 것
    인 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 방법.
KR1020200086793A 2020-07-14 2020-07-14 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법 KR102225387B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200086793A KR102225387B1 (ko) 2020-07-14 2020-07-14 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200086793A KR102225387B1 (ko) 2020-07-14 2020-07-14 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102225387B1 true KR102225387B1 (ko) 2021-03-09

Family

ID=75179578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200086793A KR102225387B1 (ko) 2020-07-14 2020-07-14 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102225387B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160026989A (ko) * 2013-06-14 2016-03-09 우버 테크놀로지스, 인크. 객체 움직임의 라이더 기반 분류 기법
KR20180045745A (ko) * 2016-10-26 2018-05-04 삼성에스디에스 주식회사 이동체에서의 객체 검출 장치 및 방법
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR20200081526A (ko) * 2018-12-18 2020-07-08 현대자동차주식회사 자율 주행 차량 및 그를 이용한 차량의 주행 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160026989A (ko) * 2013-06-14 2016-03-09 우버 테크놀로지스, 인크. 객체 움직임의 라이더 기반 분류 기법
KR20180045745A (ko) * 2016-10-26 2018-05-04 삼성에스디에스 주식회사 이동체에서의 객체 검출 장치 및 방법
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR20200081526A (ko) * 2018-12-18 2020-07-08 현대자동차주식회사 자율 주행 차량 및 그를 이용한 차량의 주행 제어 방법

Similar Documents

Publication Publication Date Title
US11312372B2 (en) Vehicle path prediction
US11270457B2 (en) Device and method for detection and localization of vehicles
Cho et al. A multi-sensor fusion system for moving object detection and tracking in urban driving environments
US20200356790A1 (en) Vehicle image verification
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
Jazayeri et al. Vehicle detection and tracking in car video based on motion model
WO2017078072A1 (ja) 物体検知方法及び物体検知システム
CN111727437A (zh) 提供碰撞前预警的多光谱系统
JP2018516799A5 (ko)
CN109421730B (zh) 使用相机的交叉车流检测
US20180203446A1 (en) Object tracking by unsupervised learning
CN104321665A (zh) 基于多表面模型的跟踪
CN106570451A (zh) 在镜像或反射表面内的自主车辆的自识别
KR20210044963A (ko) 자율주행차량의 차선변경 경로 결정 장치 및 그 방법
KR20210060535A (ko) 동적 공간 시나리오의 분석
JP6713349B2 (ja) 画像処理装置、外界認識装置
JP3562278B2 (ja) 環境認識装置
CN111008552A (zh) 用于监测车辆盲区的方法和装置
Kim et al. An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing
KR102225387B1 (ko) 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법
Zhang et al. Night time vehicle detection and tracking by fusing sensor cues from autonomous vehicles
KR20210074488A (ko) 비정형 환경 자율주행을 위한 추종선 생성 방법 및 시스템
Zhao et al. Moving object classification using horizontal laser scan data
EP3392730B1 (en) Device for enabling a vehicle to automatically resume moving
Sanberg et al. Asteroids: A stixel tracking extrapolation-based relevant obstacle impact detection system

Legal Events

Date Code Title Description
GRNT Written decision to grant