KR101694837B1 - 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법 - Google Patents

주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR101694837B1
KR101694837B1 KR1020150127564A KR20150127564A KR101694837B1 KR 101694837 B1 KR101694837 B1 KR 101694837B1 KR 1020150127564 A KR1020150127564 A KR 1020150127564A KR 20150127564 A KR20150127564 A KR 20150127564A KR 101694837 B1 KR101694837 B1 KR 101694837B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
information
driving
size
Prior art date
Application number
KR1020150127564A
Other languages
English (en)
Other versions
KR20160140303A (ko
Inventor
김은태
김지수
조민호
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20160140303A publication Critical patent/KR20160140303A/ko
Application granted granted Critical
Publication of KR101694837B1 publication Critical patent/KR101694837B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • B60W2420/52—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전 차량의 주변 차량에 대한 정보를 파악하는 장치와 방법에 관한 것이다.
본 발명에 따른 차량 정보 검출 장치는 운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는 영상 입력부, 상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출하는 영상 내 차량 위치 검출부, 및 상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 미리 학습되어 파라미터가 설정된 예측 함수에 입력하여, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 차량 정보를 산출하는 차량 정보 산출부를 포함한다.

Description

주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법{Apparatus and Method of Detecting Vehicle Information in Image taken on Moving Vehicle}
본 발명은 운전 차량의 주변 차량에 대한 정보를 파악하는 장치와 방법에 관한 것이다.
자동차 자율 주행은 본래 사람이 자동차에 탑승하여 주변 환경을 인지하면서 핸들과 기어, 브레이크, 악셀 등을 조작하여 수동적으로 자동차를 운전하였던 것을 자동차에 탑재된 전자기기가 주변 환경을 인지하여 그에 관한 정보를 운전자에게 제공하거나 또는 그 정보에 따른 자동차 제어를 수행하는 기술이다.
근래에 들어 이와 같은 자동차의 자율 주행에 대한 연구가 많이 이루어지고 있고, 자동차 제조사 또는 자동차에 탑재되는 전자 기기를 개발하는 회사들이 자율 주행을 하는 자동차의 프로토타입을 제작하여 성능을 검증하는 단계에 이르고 있다. 이와 같은 자동차의 자율 주행은 운전자의 미숙함으로 인하여 발생할 가능성이 있는 사고를 미연에 예방하고, 또한 운전자에게 보다 편안한 운전 환경을 제공한다는 점에 있어서 유리한 효과가 있다.
이러한 자율 주행을 구현함에 있어서 필수적 기술 중 하나로 주변 차량의 정보를 자동으로 인식하는 자동차 인식 기술이 있다. 자율 주행으로 자동차를 운행하기 위하여는 먼저 주변에 도로 상에서 운행하는 다른 자동차들의 위치, 크기, 속도 등의 상태를 인식하는 것이 필요하다.
이와 같은 주변 차량 검출 기술로는 종래에 레이더를 이용하여 주변 차량의 거리나 차폭을 인식하는 기술이 존재하고 있다. 하지만 레이더 만을 활용한 경우에는 측정 오차가 크다는 문제점이 있다. 또한 종래의 기술로 주변 영상을 분석하여 차량을 검출하는 기술이 존재한다. 하지만 영상을 이용하는 방법에서는 실제 차량의 크기를 파악하는 것이 어렵다는 한계점이 있다.
등록특허공보 10-1300534 (2013.08.21.)
본 발명이 해결하고자 하는 과제는, 기존의 차량 정보 검출 기술의 한계점을 극복하고 보다 정확하게 주변 차량의 위치와 거리 크기를 인식하는 차량 정보 검출 장치 및 그에 관한 방법을 제공하는 것이다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 차량 정보 검출 장치는, 운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는 영상 입력부; 상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출하는 영상 내 차량 위치 검출부; 및 상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 미리 학습되어 파라미터가 설정된 예측 함수에 입력하여, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 차량 정보를 산출하는 차량 정보 산출부를 포함할 수 있다.
여기서 상기 차량 정보 검출 장치는, 상기 운전 차량에 구비되어 상기 운전 차량의 주행 방향 또는 주행 반대 방향을 포함하는 적어도 하나 이상의 방향으로 상기 운전 차량의 주변을 촬영하여 상기 영상을 획득하는 카메라를 더 포함할 수 있다.
여기서 상기 영상 내 차량 위치 검출부는 상기 주변 차량을 상기 영상 내에서 소정의 크기를 가지는 주변 차량 영역으로 검출하고, 상기 검출한 주변 차량 영역의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 계산하여 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 산출하고, 상기 검출한 주변 차량 영역에 포함된 기준 화소를 기준으로 상기 주변 차량의 상기 영상 내 좌표를 산출하는 것을 특징으로 할 수 있다.
상기 영상 내 차량 위치 검출부는 상기 영상 내에서 소정의 크기를 가지는 검색 윈도우를 설정하고, 상기 설정한 검색 윈도우를 소정의 간격으로 이동시키면서, 상기 검색 윈도우 내의 부분 영상을 미리 학습된 차량 검출 분류 함수에 입력하여 산출한 결과 값을 미리 정해진 임계치와 비교하여, 그 비교 결과에 따라 상기 검색 윈도우 내의 부분 영상이 차량에 해당하는지 여부를 판단하고, 상기 검색 윈도우를 기준으로 상기 주변 차량 영역을 검출하는 것을 특징으로 할 수 있다.
여기서 상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하고, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 상기 차량 정보를 출력으로 하는 함수이고, 상기 예측 함수의 파라미터는 상기 운전 차량에서 카메라를 이용하여 획득한 상기 영상을 분석하여 검출한 상기 주변 차량의 상기 영상 내 좌표와 크기, 및 상기 운전 차량에서 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 학습 데이터로 이용하여 학습하여 설정된 파라미터인 것을 특징으로 할 수 있다.
여기서 상기 예측 함수의 파라미터는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 크기를 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와 상기 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보인 측정 결과 간의 거리가 소정의 기준 이하가 되도록 설정된 파라미터인 것을 특징으로 할 수 있다.
여기서 상기 주변 차량의 상기 영상 내 크기는 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 포함하고, 상기 차량 정보는 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 주변 차량의 차량 폭 정보를 포함하고, 상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와, 높이 또는 폭 중 적어도 어느 하나 이상을 입력 변수로 하고, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차량 폭 정보를 출력으로 하는 함수이고, 상기 예측 함수의 파라미터는 상기 학습 데이터와 함께 추가로 입력받은 상기 차량 폭 정보를 학습 데이터로 더 이용하여 학습하여 설정된 파라미터인 것을 특징으로 할 수 있다.
여기서 상기 예측 함수의 파라미터는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 높이 또는 폭 중 적어도 어느 하나 이상을 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와, 상기 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보 및 상기 입력받은 상기 차량 폭 정보를 포함하는 측정 결과 간의 거리가 소정의 기준 이하가 되도록 설정된 파라미터인 것을 특징으로 할 수 있다.
여기서 상기 예측 함수의 파라미터는 상기 학습 데이터에 대하여 리그레션(Regression) 학습을 수행하여, 상기 예측 결과와 상기 측정 결과 간의 차이가 소정의 기준 이하가 되도록 설정된 파라미터인 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 차량 정보 검출 장치에 사용되는 예측 함수 파라미터 학습 장치는, 운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는 영상 입력부; 상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출하는 영상 내 차량 위치 검출부; 레이더 센서를 이용하여 감지한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 입력받는 레이더 데이터 입력부; 및 상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하고 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 차량 정보를 출력으로 하는 예측 함수의 파라미터를, 상기 영상 내 차량 위치 검출부에서 산출된 상기 주변 차량의 상기 영상 내 좌표와 크기 및 상기 레이더 데이터 입력부에서 입력받은 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 학습 데이터로 이용한 학습을 수행하여 설정하는 학습부를 포함할 수 있다.
여기서 상기 영상 내 차량 위치 검출부는 상기 주변 차량을 상기 영상 내에서 소정의 크기를 가지는 주변 차량 영역으로 검출하고, 상기 검출한 주변 차량 영역의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 계산하여 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 산출하고, 상기 검출한 주변 차량 영역에 포함된 기준 화소를 기준으로 상기 주변 차량의 상기 영상 내 좌표를 산출하는 것을 특징으로 할 수 있다.
여기서 상기 학습부는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 크기를 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보인 측정 결과 간의 거리가 소정의 기준 이하가 되도록 상기 예측 함수의 파라미터를 산출하는 것을 특징으로 할 수 있다.
여기서 상기 주변 차량의 상기 영상 내 크기는 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 포함하고, 상기 차량 정보는 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 주변 차량의 차량 폭 정보를 포함하고, 상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와, 높이 또는 폭 중 적어도 어느 하나 이상을 입력 변수로 하고, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차량 폭 정보를 출력으로 하는 함수이고, 상기 학습부는 상기 주변 차량의 차량 폭 정보를 입력받고, 상기 학습 데이터와 함께 상기 입력받은 상기 차량 폭 정보를 상기 학습 데이터로 이용하는 것을 특징으로 할 수 있다.
여기서 상기 학습부는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와, 높이 또는 폭 중 적어도 어느 하나 이상을 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보 및 상기 차량 폭 정보를 포함하는 측정 결과 간의 거리가 소정의 기준 이하가 되도록 상기 예측 함수의 파라미터를 산출하는 것을 특징으로 할 수 있다.
여기서 상기 학습부는 상기 학습 데이터에 대하여 리그레션(Regression) 학습을 수행하여, 상기 예측 결과와 상기 측정 결과 간의 거리가 소정의 기준 이하가 되도록 상기 예측 함수의 파라미터를 설정하는 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 차량 정보 검출 방법에 사용되는 예측 함수 파라미터 학습 방법은, 운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는 영상 입력 단계; 상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출하는 영상 내 차량 위치 검출 단계; 레이더 센서를 이용하여 감지한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 입력받는 레이더 데이터 입력 단계; 상기 주변 차량의 차량 폭 정보를 입력받는 차폭 정보 입력 단계; 및 상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하고 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 주변 차량의 차량 폭 정보를 포함하는 차량 정보를 출력으로 하는 예측 함수의 파라미터를, 상기 영상 내 차량 위치 검출 단계에서 산출된 상기 주변 차량의 상기 영상 내 좌표 및 크기와 상기 레이더 데이터 입력 단계에서 입력받은 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차폭 정보 입력 단계에서 입력받은 상기 차량 폭 정보를 학습 데이터로 이용한 학습을 수행하여 설정하는 학습 단계를 포함할 수 있다.
여기서 상기 학습 단계는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 크기를 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와, 상기 레이더 데이터 입력 단계에서 입력받은 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차폭 정보 입력 단계에서 입력받은 상기 차량 폭 정보를 포함하는 측정 결과 간의 거리가 소정의 기준 이하가 되도록 상기 예측 함수의 파라미터를 산출하는 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 차량 정보 검출 방법은, 운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는 영상 입력 단계; 상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출하는 영상 내 차량 위치 검출 단계; 및 상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 미리 학습되어 파라미터가 설정된 예측 함수에 입력하여, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 주변 차량의 차량 폭 정보를 포함하는 차량 정보를 산출하는 차량 정보 산출 단계를 포함할 수 있다.
여기서 상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하고, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차량 폭 정보를 출력으로 하는 함수이고, 상기 예측 함수의 파라미터는, 상기 운전 차량에서 카메라를 이용하여 획득한 상기 영상을 분석하여 검출한 상기 주변 차량의 상기 영상 내 좌표와 크기, 및 상기 운전 차량에서 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와, 입력받은 상기 차량 폭 정보를 학습 데이터로 이용한 학습을 수행하여 설정된 파라미터이되, 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 크기를 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와, 상기 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보 및 상기 입력받은 상기 차량 폭 정보를 포함하는 측정 결과 간의 거리가 소정의 기준 이하가 되도록 설정된 파라미터인 것을 특징으로 할 수 있다.
본 발명에 따른 차량 정보 검출 장치와 그에 관한 방법에 의하면, 카메라 센서만을 이용하여서도 레이더 센서와 카메라 센서를 동시에 이용한 것과 같은 정확도로 주행 차량에서 주변 차량의 도로 상 위치와 차폭 및 종류 정보를 획득할 수 있는 효과가 있다.
나아가 본 발명에 따른 차량 정보 검출 장치 및 그 방법은 충돌 확률 예측 기술에 활용될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 차량 정보 검출 장치의 블록도이다.
도 2는 본 발명의 영상 내 차량 위치 검출부의 동작을 설명하기 위한 참고도이다.
도 3은 영상 내 차량 위치 검출부의 동작 결과를 나타내는 참고도이다.
도 4는 본 발명에서 레이더를 이용하여 감지하는 주변 차량의 위치 정보를 설명하기 위한 참고도이다.
도 5는 본 발명에 따른 예측 함수의 파라미터가 학습되어 설정되는 동작을 설명하기 위한 참고도이다.
도 6은 본 발명에 따른 차량 정보 검출 장치의 동작 결과를 나타내는 참고도이다.
도 7은 본 발명의 일 실시예에 따른 차량 정보 검출 장치에서 사용하는 예측 함수 파라미터 학습 장치의 블록도이다.
도 8은 본 발명의 일 실시예에 따른 차량 정보 검출 방법에서 사용하는 예측 함수 파라미터 학습 방법의 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 차량 정보 검출 방법의 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
자동차 자율 주행 기술은 자동차에 탑재된 전자 장치가 주변 환경을 인지하여 그에 관한 정보를 운전자에게 제공하거나 또는 그 정보에 따른 자동차 제어를 수행하는 기술이다. 따라서 자동차의 자율 주행을 위하여는 운전 차량이 주행하는 도로 상에 존재하는 주변 차량들의 정보를 자동으로 인식하는 기술이 요구된다.
기존의 주변 차량 검출 기술로는 레이더를 이용하거나 스테레오 영상을 이용하여 운전 차량 주변에 존재하는 주변 차량을 검출하고 그 위치와 차량의 속도, 크기 등의 관련 정보들을 인식하는 방법들이 개발되어 왔다. 하지만 레이더 만을 이용한 차량 검출 방법에 의하면 차량의 크기를 측정함에 있어서 측정 오차가 큰 문제점이 있고, 또한 고가의 레이더 센서를 이용하여야 하는 비용적 한계점이 있다. 또한 주변 영상을 분석하여 차량을 검출하는 방법은 차량을 잘 검출하는 장점이 있지만 영상 내 검출한 차량의 실제 크기를 신뢰도 있게 파악하는 것이 어렵다는 한계점이 있었다.
본 발명에 따른 차량 정보 검출 장치는 위와 같은 기존 차량 검출 방법들의 한계점을 극복하고, 비용 효율적인 방법으로 보다 정확하게 운전 차량 주변을 주행하는 주변 차량들의 위치와 크기와 같은 차량 정보를 검출하는 방법을 제안한다.
이를 위하여 본 발명은 레이더 센서와 영상 분석 방법의 각각의 장점들을 혼합하여 더 안정적이고 정확한 측정을 가능하게 하는 차량 정보 검출 장치와 그에 관한 방법을 제안한다.
이하에서는 먼저 본 발명에 따른 차량 정보 검출 장치와 그에 관한 방법이 동작하는 원리에 대하여 개괄적으로 먼저 설명한다. 본 발명에 따른 차량 정보 검출 장치와 그에 관한 방법은 먼저 예측 함수의 파라미터를 학습하여 설정하고, 다음으로 학습된 파라미터를 적용한 예측 함수를 이용하여 검출을 수행하는 방식으로 동작한다.
먼저 레이더와 카메라가 구비된 학습용 운전 차량을 주행하면서, 상기 레이더를 이용하여 검출한 주변 차량의 도로 상 위치 정보와, 상기 카메라를 이용하여 촬영하여 획득한 영상에서 검출한 주변 차량의 영상 내 좌표 및 크기와, 별도로 입력받은 상기 차량의 실제 차폭 정보들을 획득하고, 이와 같이 획득한 데이터들을 학습 데이터로 이용하여, 학습 데이터들 간의 관계를 나타내는 예측 함수의 파라미터를 학습한다. 여기서 예측 함수는 상기 카메라를 이용하여 촬영하여 획득한 영상에서 검출한 주변 차량의 영상 내 좌표 및 크기를 입력으로 하고, 상기 레이더를 이용하여 검출한 주변 차량의 도로 상 위치 정보와, 별도로 입력받은 상기 차량의 실제 차폭 정보를 출력으로 하는 함수이다.
여기서 학습은 상기 카메라를 이용하여 촬영하여 획득한 영상에서 검출한 주변 차량의 영상 내 좌표 및 크기를 상기 예측 함수의 입력으로 하여 예측한 상기 주변 차량의 도로 상 위치 정보 및 상기 차량의 차폭 정보와 상기 레이더를 이용하여 검출한 주변 차량의 도로 상 위치 정보 및 별도로 입력받은 상기 차량의 실제 차폭 정보 간의 차이가 소정의 기준 이하가 되도록, 상기 예측 함수의 파리미터를 학습하는 방식으로 이루어질 수 있다. 그리고 바람직하게는 이하 상세히 설명할 바와 같이 리그레션(Regression) 기법을 이용하여 파리미터를 산출할 수 있다.
다음으로는 위와 같이 학습된 예측 함수의 파라미터를 이용하여 레이더 센서는 구비되지 아니하고 카메라만 구비된 운전 차량에서 획득한 영상을 분석하여 주변 차량의 위치 정보와 차폭 정보를 검출한다. 즉 카메라가 구비된 주행 차량의 주행 중 카메라를 이용하여 촬영한 영상에서 주변 차량을 검출한 후, 상기 주변 차량의 영상 내 좌표와 크기를 산출하고, 이와 같이 산출한 상기 주변 차량의 영상 내 좌표와 크기를 예측 함수에 대입하여 상기 주변 차량의 위치와 실제 차폭 정보를 예측한다.
이하에서는 위와 같은 기본 원리에 따라 동작하는, 본 발명에 따른 차량 정보 검출 장치와 차량 정보 검출 장치에서 사용되는 예측 함수의 파라미터 학습 장치, 및 차량 정보 검출 방법과 차량 정보 검출 방법에서 사용되는 예측 함수의 파라미터 학습 방법에 대하여 각각 상세히 설명한다.
먼저 본 발명에 따른 차량 정보 검출 장치에 대하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 차량 정보 검출 장치의 블록도이다.
본 발명의 일 실시예에 따른 차량 정보 검출 장치(200)는 영상 입력부(210), 영상 내 차량 위치 검출부(220), 차량 정보 산출부(230)를 포함할 수 있다.
여기서 본 발명에 따른 차량 정보 검출 장치(200)는 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있고 또는 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한 본 발명에 따른 차량 정보 검출 장치(200)는 소프트웨어 프로그램으로 구현되어 프로세서 또는 신호 처리 모듈 위에서 동작할 수 있고, 또는 하드웨어의 형태로 구현되어 칩(Chip), 소자 등에 포함될 수 있음은 물론이다. 또한 본 발명에 따른 차량 정보 검출 장치(200)는 차량에 탑재되어 구동하는 디바이스, 하드웨어 또는 소프트웨어 모듈에 포함되어 동작할 수 있다. 예를 들면 본 발명에 따른 차량 정보 검출 장치(200)는 차량에 구비된 컴퓨터, 제어 시스템에 하드웨어 또는 소프트웨어의 형태로 구현되어 동작하거나, 이들 장치와 연동하여 동작하는 하드웨어 또는 소프트웨어 상에서 동작할 수 있다.
먼저 영상 입력부(210)는 운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는다. 여기서 상기 영상은 차량에 구비된 카메라 또는 이미지 센서를 이용하여 촬영된 정지 영상 또는 동영상이 될 수 있고, 영상 입력부(210)는 이와 같이 촬영된 영상을 입력받는 하드웨어 또는 소프트웨어 형태의 모듈이 될 수 있다. 예를 들면 영상 입력부(210)는 하드웨어로 구현될 경우 영상 신호를 입력받는 포트나 단자, 또는 핀 등의 물리적 장치가 될 수 있고, 소프트웨어로 구현될 경우 영상 데이터 또는 영상 스트림을 읽어들이는 함수, 모듈 등이 될 수도 있다. 여기서 본 발명에 따른 영상 입력부(210)는 상기한 예에 한정되지 아니하며, 하드웨어 또는 소프트웨어 적으로 영상 데이터를 입력받을 수 있도록 다양한 형태로 구현된 구성 요소가 될 수 있음은 물론이다.
영상 내 차량 위치 검출부(220)는 상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출한다. 여기서 상기 주변 차량은 상술한 바와 같이 차량 정보 검출 장치가 동작하는 운전 차량이 주행하는 도로 주변에 존재하고 있는 차량들이 될 수 있다.
차량 정보 산출부(230)는 상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 미리 학습되어 파라미터가 설정된 예측 함수에 입력하여, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 차량 정보를 산출한다.
여기서 차량 정보 검출 장치(200)는 필요에 따라 상기 운전 차량에 구비되어 상기 운전 차량의 주행 방향 또는 주행 반대 방향을 포함하는 적어도 하나 이상의 방향으로 상기 운전 차량의 주변을 촬영하여 상기 영상을 획득하는 카메라(30)를 더 포함할 수도 있다. 따라서 상기 영상은 상기 운전 차량의 진행 방향 전방부를 포함하는 부분을 카메라(30)를 이용하여 촬영한 영상이 될 수 있고, 또는 필요에 따라 상기 운전 차량의 진행 방향의 후방부를 포함하는 부분을 카메라(30)를 이용하여 촬영한 영상이 될 수도 있으며, 필요에 따라 상기 운전 차량의 좌, 우방을 포함하는 다양한 방향을 카메라(30)를 이용하여 촬영한 영상이 될 수도 있다.
다음에는 영상 내 차량 위치 검출부(220)의 동작에 대하여 보다 상세히 설명한다.
영상 내 차량 위치 검출부(220)는 상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출한다.
먼저 영상 내 차량 위치 검출부(220)는 상기 주변 차량을 상기 영상 내에서 소정의 크기를 가지는 주변 차량 영역으로 검출할 수 있다. 상기 주변 차량은 상기 영상 내에서 일정한 영역을 차지하게 되는데, 영상 내 차량 위치 검출부(220)는 이와 같은 영역을 상기 주변 차량 영역으로 검출할 수 있다. 여기서 상기 주변 차량 영역은 미리 설정된 모양이 될 수 있고, 또는 주변 차량의 모습에 따라 설정되는 모양이 될 수도 있다. 예를 들면 상기 주변 차량 영역은 상기 주변 차량의 크기와 형태에 따라 설정되는 직사각형 또는 정사각형의 영역이 될 수 있다.
다음으로 영상 내 차량 위치 검출부(220)는 위와 같이 검출한 주변 차량 영역의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 계산하여 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 산출할 수 있다. 예를 들어 상기 주변 차량 영역이 직사각형의 영역으로 검출되는 경우, 상기 주변 차량의 상기 영상 내 높이 또는 폭은 상기 주변 차량 영역의 높이 또는 폭으로 설정될 수 있다. 또는 상기 주변 차량의 상기 영상 내 높이 또는 폭은 상기 주변 차량 영역의 모양에 따른 기하학적 정보를 이용하여 산출될 수도 있다.
여기서 바람직하게는 주변 차량 영역의 높이와 폭 모두를 계산하여 주변 차량의 높이와 폭 모두를 산출하는 것이 바람직하지만, 필요에 따라 높이나 폭 중 어느 하나만을 계산하고 산출하여 이용할 수도 있다. 이는 이하 본 명세서에서 크기를 설명하면서 높이와 폭을 지칭하는 모든 경우에 동일하게 적용될 수 있다.
또한 영상 내 차량 위치 검출부(220)는 상기 검출한 주변 차량 영역에 포함된 기준 화소를 기준으로 상기 주변 차량의 상기 영상 내 좌표를 산출할 수 있다. 예를 들면 상기 주변 차량의 상기 영상 내 좌표는 상기 검출한 주변 차량 영역의 좌측 상단 화소를 상기 기준 화소로 하여 상기 기준 화소의 좌표로 설정될 수 있다. 여기서 상기 기준 화소는 필요에 따라 상기 주변 차량 영역 내에서 일정한 기준에 따라 설정되는 화소가 될 수 있다. 또한 상기 주변 차량의 상기 영상 내 좌표는 상기 기준 화소 자체의 좌표가 될 수도 있고, 필요에 따라 상기 기준 화소의 좌표로부터 일정한 위치만큼 이격된 좌표가 될 수도 있다.
도 2는 영상 내 차량 위치 검출부(220)의 동작을 설명하기 위한 참고도이다.
도 2와 같이 영상 내 차량 위치 검출부(220)는 상기 영상에 존재하는 주변 차량을 직사각형 형태의 주변 차량 영역으로 검출하고, 상기 검출한 주변 차량 영역의 좌측 상단 화소를 기준 화소로 하여 기준 화소의 좌표 (x, y)를 상기 주변 차량의 상기 영상 내에서 위치하는 좌표로 설정할 수 있다. 또한 마찬가지로 영상 내 차량 위치 검출부(220)는 상기 검출한 주변 차량 영역의 높이 h와 폭 w를 상기 주변 차량의 상기 영상 내 높이와 폭으로 설정할 수 있다.
여기서 영상 내 차량 위치 검출부(220)는 상기 영상 내에서 소정의 크기를 가지는 검색 윈도우를 설정하고, 상기 설정한 검색 윈도우를 소정의 간격으로 이동시키면서, 검색 윈도우 내에 차량에 대응하는 영상이 존재하는지 여부를 판단할 수 있다. 이때 영상 내 차량 위치 검출부(220)는 상기 검색 윈도우 내의 부분 영상을 미리 학습된 차량 검출 분류 함수에 입력하여 산출한 결과 값을 미리 정해진 임계치와 비교하고, 그 비교 결과에 따라 상기 검색 윈도우 내의 부분 영상이 차량에 해당하는지 여부를 판단할 수 있다. 그리고 차량에 해당하는 것으로 판단된 부분 영상에 대응하는 상기 검색 윈도우를 기준으로 상기 주변 차량 영역을 검출할 수 있다.
여기서 상기 차량 검출 분류 함수는 복수개의 차량이 포함된 영상과 차량이 포함되지 않은 영상을 학습용 데이터로 입력하여, 분류 함수의 파라미터를 학습한 분류 함수가 될 수 있다. 따라서 임의의 영상이 입력되면 상기 차량 검출 분류 함수는 입력 영상에 차량이 포함되었는지 여부를 나타내는 결과 값을 출력한다. 영상 내 차량 위치 검출부(220)는 이와 같이 출력된 차량 검출 분류 함수의 결과 값을 미리 설정된 임계값과 비교하여 그 비교 결과에 따라 입력 영상에 차량이 포함되었는지 여부를 판단할 수 있다.
도 3은 영상 내 차량 위치 검출부(220)의 동작 결과를 나타내는 참고도이다.
도 3과 같이 영상 내 차량 위치 검출부(220) 운전 차량에서 획득된 영상을 분석하여 적어도 하나 이상의 주변 차량을 검출하고, 검출된 주변 차량의 영상 내 위치와 크기에 대한 정보를 산출할 수 있다.
또한 여기서 영상 내 차량 위치 검출부(220)는 영상에서 차량을 검출하는 기존의 다양한 방법을 이용하여 차량에 대응하는 영역을 상기 주변 차량 영역으로 검출할 수도 있다. 즉 영상 내 차량 위치 검출부(220)는 기존의 영상을 기반으로 한 패턴 인식 및 객체 인식 알고리즘을 이용하여, 영상에 포함된 차량을 식별하고, 식별된 차량의 위치와 크기에 관한 정보를 획득할 수 있다.
여기서 영상 내 차량 위치 검출부(220)가 영상으로부터 차량을 검출하고 차량 정보를 획득하는 방법은 기존의 다양한 영상 객체 인식(Object Recognition) 또는 추적(Tracking) 기술을 이용할 수 있다. 여기서 영상 내 차량 위치 검출부(220)는 영상을 분석하여 차량 영상이 가지는 미리 정해진 특징(Feature) 정보를 이용하거나 용태(Appearance) 정보를 이용하여 차량 객체를 인식 또는 식별할 수 있다. 또한 여기서 영상 내 차량 위치 검출부(220)는 SIFT(Scale-invariant feature transform), SULF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients)를 비롯한 기존의 다양한 객체 인식 기술을 사용할 수 있다. 또한 영상 내 차량 위치 검출부(220)는 동영상에서 차량을 인식하는 경우 기존의 다양한 객체 추적 기술을 이용하여 인식된 차량 객체가 영상의 각 프레임들 간에서 시간의 흐름에 따라 이동하는 위치를 추적하고, 추적한 위치 정보를 이용하여 차량의 위치와 크기 정보를 획득할 수 있다. 예를 들면 영상 내 차량 위치 검출부(220)는 Blob 트래킹 기법, 커널 기반 트래킹 기법, Countour 트래킹 기법, 필터 트래킹 기법, 특징 기반 트래킹 기법 등의 다양한 종류의 트래킹 기법을 이용할 수 있다. 예를 들면 여기서 영상 내 차량 위치 검출부(220)는 한국 등록 특허 제10-1070448호, 한국 공개 특허 제10-2012-0082755호, 다중 카메라 환경에서 다중 객체추적 기술 연구 (한국정보과학회 2009 가을 학술발표논문집 제36권 제2호(C), 2009.11, 414-417)를 포함한 다양한 문헌에서 공지된 기술을 이용하여 차량 객체 인식, 추적을 수행하고 상기 차량 정보를 획득할 수 있다. 영상 내 차량 위치 검출부(220)가 위에서 구체적인 이름과 함께 예시된 방법 이외에 다양한 공지된 객체 인식, 추적 기술을 이용하여 차량을 검출하고 차량의 위치와 크기에 관한 정보를 획득할 수 있음은 물론이며, 영상 내 차량 위치 검출부(220)의 동작은 상기 예시된 기술들에 한정되지 않는다.
다음으로는 차량 정보 산출부(230)의 동작에 대하여 보다 상세히 설명한다.
차량 정보 산출부(230)는 영상 내 차량 위치 검출부(220)가 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를, 미리 학습되어 파라미터가 설정된 예측 함수에 입력하여, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 차량 정보를 산출한다.
여기서 상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하고, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 상기 차량 정보를 출력으로 하는 함수이다.
여기서 상기 예측 함수의 파라미터는 본 발명에 따른 차량 정보 검출 장치(200)의 동작 이전에 학습 과정을 통하여 미리 그 파라미터가 설정된다. 이하에서 상세히 설명하는 상기 예측 함수의 파라미터를 설정하는 동작은 아래의 본 발명의 또 다른 실시예에 따른 예측 함수 파라미터 학습 장치에서 동일하게 적용될 수 있다.
이때 상기 예측 함수의 파라미터는 상기 운전 차량을 학습용으로 운행하면서 카메라와 레이더 센서를 구비하여 획득한 학습 데이터를 이용하여 학습한 결과에 따라 설정될 수 있다.
보다 상세하게는 상기 예측 함수의 파라미터는 상기 운전 차량에서 카메라를 이용하여 획득한 상기 영상을 분석하여 검출한 상기 주변 차량의 상기 영상 내 좌표와 크기, 및 상기 운전 차량에서 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 학습 데이터로 이용하여 학습하여 설정된 파라미터가 될 수 있다.
여기서 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보는 예를 들어 상기 운전 차량의 위치를 기준으로 상기 주변 차량이 위치하는 거리와 각도로 나타날 수 있다.
도 4는 본 발명에서 레이더를 이용하여 감지하는 주변 차량의 위치 정보를 설명하기 위한 참고도이다. 도 4와 같이 상기 위치 정보는 상기 운전 차량의 위치 (0, 0)를 기준으로 상기 주변 차량의 위치 (-10, 40)에 따른 거리 d 와 각도 θ 로 표현될 수 있다. 여기서 상기 위치 정보가 이와 같은 거리 및 각도가 아닌 직교 좌표계에서의 2차원 좌표로 표현되거나 기타 다양한 좌표계에 따라 표현될 수 있음은 물론이다.
이때 상기 예측 함수의 파라미터는 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하였을 때 출력되는 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 실제 레이더 센서를 이용하여 감지한 주변 차량의 위치 정보 간의 차이가 최소화되는 방향으로 학습되어 설정되는 것이 바람직하다. 그리고 이와 같은 학습은 복수 개의 학습 데이터를 토대로 수행되어, 복수 개의 학습 데이터에 대하여 상기 차이가 소정 기준 이하가 되도록 하는 방향으로 상기 파라미터를 설정하도록 수행될 수 있다.
이와 같은 과정을 통해 상기 예측 함수의 파라미터는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 크기를 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와 상기 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보인 측정 결과 간의 거리가 소정의 기준 이하가 되도록 설정된 파라미터가 될 수 있다.
또한 여기서 상기 주변 차량의 상기 영상 내 크기는 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 포함할 수 있다.
또한 상기 차량 정보는 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 주변 차량의 차량 폭 정보를 포함할 수 있다. 이와 같은 경우 상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와, 높이 또는 폭 중 적어도 어느 하나 이상을 입력 변수로 하고(즉 다시 말하면 상기 입력 변수는 좌표와 높이가 되거나, 좌표와 폭이 되거나, 또는 좌표와 높이와 폭이 될 수 있다), 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차량 폭 정보를 출력으로 하는 함수가 된다.
그리고 이 경우 상기 예측 함수의 파라미터는 상기 학습 데이터와 함께 추가로 입력받은 상기 차량 폭 정보를 학습 데이터로 더 이용하여 학습하여 설정된 파라미터인 것이 바람직하다. 즉 예측 함수의 파라미터를 학습하는 과정에서 레이더 센서를 이용하여 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 획득하는 것과는 별도로, 차량 폭 정보를 입력받을 수 있다. 그리고 이때 입력받는 차량 폭 정보는 실제 주변 차량의 차종 정보에 따라 확인된 차량 폭 정보인 것이 바람직하다.
이때 상기 예측 함수의 파라미터는 상기 주변 차량의 상기 영상 내 좌표와, 높이 또는 폭 중 적어도 어느 하나 이상을 입력 변수로 하였을 때 출력되는 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보 및 상기 차량 폭 정보와, 실제 레이더 센서를 이용하여 감지한 주변 차량의 위치 정보 및 별도로 입력받은 실제 상기 주변 차량의 차량 폭 정보 간의 차이가 최소화되는 방향으로 학습되어 설정되는 것이 바람직하다. 그리고 이와 같은 학습은 복수 개의 학습 데이터를 토대로 수행되어, 복수 개의 학습 데이터에 대하여 상기 차이가 소정 기준 이하가 되도록 하는 방향으로 상기 파라미터를 설정하도록 수행될 수 있다.
이와 같은 과정을 통해 상기 예측 함수의 파라미터는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 높이 또는 폭 중 적어도 어느 하나 이상을 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와, 상기 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보 및 상기 입력받은 상기 차량 폭 정보를 포함하는 측정 결과 간의 거리가 소정의 기준 이하가 되도록 설정된 파라미터가 될 수 있다.
여기서 상기 예측 함수의 파라미터는 상기 학습 데이터에 대하여 리그레션(Regression) 학습을 수행하여, 상기 예측 결과와 상기 측정 결과 간의 차이가 소정의 기준 이하가 되도록 설정된 파라미터인 것이 바람직하다.
이하에서는 상기 학습 데이터를 기반으로 리그레션 학습을 수행하여 상기 예측 함수의 파라미터를 설정하는 구체적인 방법에 대하여 보다 상세히 설명한다.
먼저 상기 예측 함수의 입력 변수로 사용되는 학습 데이터인 xi는 상술한 바와 같이 영상 내 차량 위치 검출부(220)에서 검출된 상기 주변 차량의 상기 영상 내 좌표와 크기가 될 수 있고, 이때 크기는 높이 또는 폭 중 적어도 어느 하나 이상을 포함할 수 있다. 예를 들면 상기 입력 변수 xi는 상기 주변 차량의 상기 영상 내 좌표인 2차원 좌표 정보와 상기 높이 h, 폭 w 를 포함하는 4차원 벡터 값이 될 수 있다. 여기서 예를 들어 상기 크기로 폭 만을 이용하는 경우 상기 입력 변수 xi는 상기 주변 차량의 상기 영상 내 좌표인 2차원 좌표 정보와 상기 폭 w 를 포함하는 3차원 벡터 값이 될 수 있다. 여기서 i는 학습 데이터의 인덱스를 나타낸다.
또한 상기 예측 함수의 출력 값과 비교되는 학습 데이터인 yi는 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치와, 별도로 입력받은 상기 주변 차량의 실제 차량 폭 정보를 포함할 수 있다. 여기서 상기 주변 차량의 상기 운전 차량으로부터의 위치를 거리 d 와 각도 θ로 표현한다고 할 때, 상기 yi는 상기 거리 d 와 각도 θ와 상기 차량 폭 CW를 포함하는 3차원 벡터 값이 될 수 있다. 여기서 예를 들어 상기 예측 함수의 출력 값과 비교되는 학습 데이터인 yi로 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치만을 이용하는 경우, 상기 yi는 상기 거리 d 와 각도 θ를 포함하는 2차원 벡터 값이 될 수 있다.
도 5는 본 발명에 따른 예측 함수의 파라미터가 학습되어 설정되는 동작을 설명하기 위한 참고도이다.
도 5와 같이 영상을 분석하여 획득된 학습 데이터인 xi를 입력 변수로 하여 예측 함수를 계산하였을 때 출력되는 예측 결과와, 실제 측정 결과인 학습 데이터 yi 간의 차이 또는 거리가 소정의 기준 이하가 되도록 상기 예측 함수의 파라미터가 학습 과정을 통하여 설정된다.
여기서 상기 예측 함수는 하기 수학식 1과 같이 표현될 수 있고, 이때 상기 예측 함수의 파라미터는 W와 b가 된다.
Figure 112015087656541-pat00001
여기서 상기 예측 함수의 파라미터는 다음과 같은 수학식 2 내지 4에 따른 리그레션 방법을 통하여 산출될 수 있다.
Figure 112015087656541-pat00002
상기 수학식 2 에서 W와 b를 학습하게 되면, 상기 수학식 1을 이용하여 입력 값 X 에 따른 출력 값 Y 를 구할 수 있게 된다. 그런데 여기서 입력 값은 1차원이 아니라 다차원이기 때문에 Kernel의 형태로 학습을 시켜야 한다.
상기 수학식 2를 dual form으로 바꿔주면 하기 수학식 3과 같다.
Figure 112015087656541-pat00003
다음으로 상기 수학식 3에 따라 학습을 수행하게 되면 아래와 수학식 4과 같이 최종 multiple SVR 식이 도출된다.
Figure 112015087656541-pat00004
상기 수학식 4에서 K는 Kernel을 의미하고, 여기서 u와 b를 학습하게 되면 상기 수학식 1 의 W, b를 학습한 것과 같은 결과를 얻을 수 있게 된다. 학습된 u와 b를 알게 되면 이미지 상에서 차량이 검출되면 아래 수학식 5와 같은 regression 과정을 통해 거리, 각도, 차폭을 예측할 수 있게 된다.
Figure 112015087656541-pat00005
차량 정보 산출부(230)는 이상과 같이 미리 학습되어 파라미터를 설정한 예측 함수에, 영상 내 차량 위치 검출부(220)가 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력하여, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 차량 폭 정보를 포함하는 차량 정보를 산출할 수 있다.
도 6은 본 발명에 따른 차량 정보 검출 장치의 동작 결과를 나타내는 참고도이다.
도 6과 같이 차량 정보 산출부(230)를 이용하여 산출된 주변 차량의 운전 차량으로부터의 위치와 주변 차량의 차량 폭 정보는 상기 영상에 표시될 수 있다.
본 발명의 또 다른 실시예에 따른 차량 정보 검출 장치에 사용되는 예측 함수 파라미터 학습 장치(100)는, 영상 입력부(110), 레이더 데이터 입력부(120), 영상 내 차량 위치 검출부(130), 학습부(140)를 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 차량 정보 검출 장치에서 사용하는 예측 함수 파라미터 학습 장치의 블록도이다.
영상 입력부(110)는 운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는다.
영상 내 차량 위치 검출부(130)는 상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출한다.
여기서 영상 입력부(110)와 영상 내 차량 위치 검출부(130)는 상술한 차량 정보 검출 장치(200)에서 설명한 영상 입력부(210) 및 영상 내 차량 위치 검출부(220)와 동일한 방식으로 동작할 수 있다.
레이더 데이터 입력부(120)는 레이더 센서를 이용하여 감지한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 입력받는다.
학습부(140)는 상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하고 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 차량 정보를 출력으로 하는 예측 함수의 파라미터를, 상기 영상 내 차량 위치 검출부에서 산출된 상기 주변 차량의 상기 영상 내 좌표와 크기 및 상기 레이더 데이터 입력부에서 입력받은 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 학습 데이터로 이용한 학습을 수행하여 설정한다.
여기서 영상 내 차량 위치 검출부(130)는 상술한 차량 정보 검출 장치에 포함된 영상 내 차량 위치 검출부(220)와 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 설명한다.
영상 내 차량 위치 검출부(130)는 상기 주변 차량을 상기 영상 내에서 소정의 크기를 가지는 주변 차량 영역으로 검출하고, 상기 검출한 주변 차량 영역의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 계산하여 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 산출하고, 상기 검출한 주변 차량 영역에 포함된 기준 화소를 기준으로 상기 주변 차량의 상기 영상 내 좌표를 산출할 수 있다.
여기서 학습부(140)는 본 발명에 따른 차량 정보 검출 장치의 차량 정보 산출부(130)를 설명하면서 함께 상세히 설명한 예측 함수의 파라미터를 학습하는 방법을 동일하게 사용하여 예측 함수의 파라미터를 산출할 수 있다.
이때 상기 예측 함수의 파라미터는 상기 예측 함수 파라미터 학습 장치가 구비된 운전 차량을 학습용으로 운행하면서 카메라와 레이더 센서를 이용하여 획득한 학습 데이터를 이용하여, 학습부(140)가 학습한 결과에 따라 설정될 수 있다.
여기서 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보는 예를 들어 도 4를 참조하면서 설명한 바와 같이 상기 운전 차량의 위치를 기준으로 상기 주변 차량이 위치하는 거리와 각도로 나타날 수 있다.
이때 학습부(140)는 상기 예측 함수의 파라미터를 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하였을 때 출력되는 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 실제 레이더 센서를 이용하여 감지한 주변 차량의 위치 정보 간의 차이가 최소화되는 방향으로 학습하여 설정되는 것이 바람직하다. 그리고 이와 같은 학습은 복수 개의 학습 데이터를 토대로 수행되어, 복수 개의 학습 데이터에 대하여 상기 차이가 소정 기준 이하가 되도록 하는 방향으로 상기 파라미터를 설정하도록 수행될 수 있다.
여기서 학습부(140)는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 크기를 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보인 측정 결과 간의 거리가 소정의 기준 이하가 되도록 상기 예측 함수의 파라미터를 산출한다.
여기서 상기 주변 차량의 상기 영상 내 크기는 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 포함할 수 있다.
그리고 상기 차량 정보는 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 주변 차량의 차량 폭 정보를 포함할 수 있다. 이와 같은 경우 상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와, 높이 또는 폭 중 적어도 어느 하나 이상을 입력 변수로 하고 - 즉 다시 말하면 상기 입력 변수는 좌표와 높이가 되거나, 좌표와 폭이 되거나, 또는 좌표와 높이와 폭이 될 수 있다 -, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차량 폭 정보를 출력으로 하는 함수가 된다.
이와 같은 경우 상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와 높이 또는 폭 중 적어도 어느 하나 이상을 입력 변수로 하고, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차량 폭 정보를 출력으로 하는 함수가 된다.
그리고 이 경우 학습부(140)는 상기 주변 차량의 차량 폭 정보를 입력받고, 상기 학습 데이터와 함께 상기 입력받은 상기 차량 폭 정보를 상기 학습 데이터로 이용한다. 즉 예측 함수의 파라미터를 학습하는 과정에서 레이더 센서를 이용하여 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 획득하는 것과는 별도로, 학습부(140)는 차량 폭 정보를 입력받을 수 있다. 그리고 이때 입력받는 차량 폭 정보는 실제 주변 차량의 차종 정보에 따라 확인된 차량 폭 정보인 것이 바람직하다.
이때 학습부(140)는 상기 예측 함수의 파라미터를 상기 주변 차량의 상기 영상 내 좌표와, 높이 또는 폭 중 적어도 어느 하나 이상을 입력 변수로 하였을 때 출력되는 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보 및 상기 차량 폭 정보와, 실제 레이더 센서를 이용하여 감지한 주변 차량의 위치 정보 및 별도로 입력받은 실제 상기 주변 차량의 차량 폭 정보 간의 차이가 최소화되는 방향으로 학습하여 설정하는 것이 바람직하다. 그리고 이와 같은 학습은 복수 개의 학습 데이터를 토대로 수행되어, 복수 개의 학습 데이터에 대하여 상기 차이가 소정 기준 이하가 되도록 하는 방향으로 상기 파라미터를 설정하도록 수행될 수 있다.
이때 학습부(140)는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 높이 또는 폭 중 적어도 어느 하나 이상을 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보 및 상기 차량 폭 정보를 포함하는 측정 결과 간의 거리가 소정의 기준 이하가 되도록 상기 예측 함수의 파라미터를 산출할 수 있다.
여기서 학습부(140)는 상기 학습 데이터에 대하여 리그레션(Regression) 학습을 수행하여, 상기 예측 결과와 상기 측정 결과 간의 거리가 소정의 기준 이하가 되도록 상기 예측 함수의 파라미터를 설정할 수 있다.
여기서 학습부(140)가 수행하는 리그레션 학습은 차량 정보 검출 장치(200)에서 설명한 리그레션 학습 방법과 동일한 방식으로 수행될 수 있다. 이에 중복되는 설명은 생략한다.
본 발명의 또 다른 실시예에 따른 차량 정보 검출 방법에 사용되는 예측 함수 파라미터 학습 방법은 영상 입력 단계(S111), 영상 내 차량 위치 검출 단계(S112), 레이더 데이터 입력 단계(S120), 차폭 정보 입력 단계(S130), 예측 함수 파라미터 학습 단계(S200)를 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른 차량 정보 검출 방법에서 사용하는 예측 함수 파라미터 학습 방법의 흐름도이다.
여기서 본 발명에 따른 예측 함수 파라미터 학습 방법은 위에서 상세히 설명한 본 발명에 따른 예측 함수 파라미터 학습 장치(100)가 동작하는 방식과 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 서술한다.
영상 입력 단계(S111)는 운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는다.
영상 내 차량 위치 검출 단계(S112)는 상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출한다.
레이더 데이터 입력 단계(S120)는 레이더 센서를 이용하여 감지한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 입력받는다.
차폭 정보 입력 단계(S130)는 상기 주변 차량의 차량 폭 정보를 입력받는다.
학습 단계(S200)는 상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하고 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 주변 차량의 차량 폭 정보를 포함하는 차량 정보를 출력으로 하는 예측 함수의 파라미터를, 상기 영상 내 차량 위치 검출 단계에서 산출된 상기 주변 차량의 상기 영상 내 좌표 및 크기와 상기 레이더 데이터 입력 단계에서 입력받은 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차폭 정보 입력 단계에서 입력받은 상기 차량 폭 정보를 학습 데이터로 이용한 학습을 수행하여 설정한다.
여기서 학습 단계(S200)는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 크기를 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와, 상기 레이더 데이터 입력 단계에서 입력받은 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차폭 정보 입력 단계에서 입력받은 상기 차량 폭 정보를 포함하는 측정 결과 간의 거리가 소정의 기준 이하가 되도록 상기 예측 함수의 파라미터를 산출할 수 있다.
본 발명의 또 다른 실시예에 따른 차량 정보 검출 방법은 영상 입력 단계(S300), 영상 내 차량 위치 검출 단계(S400), 차량 정보 산출 단계(S500)를 포함할 수 있다.
도 9는 본 발명의 일 실시예에 따른 차량 정보 검출 방법의 흐름도이다.
여기서 본 발명에 따른 차량 정보 검출 방법은 위에서 상세히 설명한 본 발명에 따른 차량 정보 검출 장치가 동작하는 방식과 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 서술한다.
영상 입력 단계(S300)는 운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는다.
영상 내 차량 위치 검출 단계(S400)는 상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출한다.
차량 정보 산출 단계(S500)는 상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 미리 학습되어 파라미터가 설정된 예측 함수에 입력하여, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 주변 차량의 차량 폭 정보를 포함하는 차량 정보를 산출한다.
여기서 상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하고, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차량 폭 정보를 출력으로 하는 함수이다.
그리고 예측 함수의 파라미터는, 상기 운전 차량에서 카메라를 이용하여 획득한 상기 영상을 분석하여 검출한 상기 주변 차량의 상기 영상 내 좌표와 크기, 및 상기 운전 차량에서 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와, 입력받은 상기 차량 폭 정보를 학습 데이터로 이용한 학습을 수행하여 설정된 파라미터이다.
여기서 상기 예측 함수의 파라미터는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 크기를 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와, 상기 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보 및 상기 입력받은 상기 차량 폭 정보를 포함하는 측정 결과 간의 거리가 소정의 기준 이하가 되도록 설정된 파라미터가 될 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 차량 정보 검출 장치에 있어서,
    운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는 영상 입력부;
    상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출하는 영상 내 차량 위치 검출부; 및
    상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 미리 학습되어 파라미터가 설정된 예측 함수에 입력하여, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 차량 정보를 산출하는 차량 정보 산출부
    를 포함하며,
    상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하고, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 상기 차량 정보를 출력으로 하는 함수이고,
    상기 예측 함수의 파라미터는 상기 운전 차량에서 카메라를 이용하여 획득한 상기 영상을 분석하여 검출한 상기 주변 차량의 상기 영상 내 좌표와 크기, 및 상기 운전 차량에서 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 학습 데이터로 이용하여 학습하여 설정된 파라미터이며, 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 크기를 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와 상기 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보인 측정 결과 간의 거리가 소정의 기준 이하가 되도록 설정된 파라미터인 것을 특징으로 하는 차량 정보 검출 장치.
  2. 제1항에 있어서,
    상기 운전 차량에 구비되어 상기 운전 차량의 주행 방향 또는 주행 반대 방향을 포함하는 적어도 하나 이상의 방향으로 상기 운전 차량의 주변을 촬영하여 상기 영상을 획득하는 카메라를 더 포함하는 것을 특징으로 하는 차량 정보 검출 장치.
  3. 제1항에 있어서,
    상기 영상 내 차량 위치 검출부는 상기 주변 차량을 상기 영상 내에서 소정의 크기를 가지는 주변 차량 영역으로 검출하고, 상기 검출한 주변 차량 영역의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 계산하여 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 산출하고, 상기 검출한 주변 차량 영역에 포함된 기준 화소를 기준으로 상기 주변 차량의 상기 영상 내 좌표를 산출하는 것을 특징으로 하는 차량 정보 검출 장치.
  4. 제3항에 있어서,
    상기 영상 내 차량 위치 검출부는 상기 영상 내에서 소정의 크기를 가지는 검색 윈도우를 설정하고, 상기 설정한 검색 윈도우를 소정의 간격으로 이동시키면서, 상기 검색 윈도우 내의 부분 영상을 미리 학습된 차량 검출 분류 함수에 입력하여 산출한 결과 값을 미리 정해진 임계치와 비교하여, 그 비교 결과에 따라 상기 검색 윈도우 내의 부분 영상이 차량에 해당하는지 여부를 판단하고, 상기 검색 윈도우를 기준으로 상기 주변 차량 영역을 검출하는 것을 특징으로 하는 차량 정보 검출 장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 주변 차량의 상기 영상 내 크기는 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 포함하고,
    상기 차량 정보는 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 주변 차량의 차량 폭 정보를 포함하고,
    상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와, 높이 또는 폭 중 적어도 어느 하나 이상을 입력 변수로 하고, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차량 폭 정보를 출력으로 하는 함수이고,
    상기 예측 함수의 파라미터는 상기 학습 데이터와 함께 추가로 입력받은 상기 차량 폭 정보를 학습 데이터로 더 이용하여 학습하여 설정된 파라미터인 것을 특징으로 하는 차량 정보 검출 장치.
  8. 제1항에 있어서,
    상기 예측 함수의 파라미터는 상기 학습 데이터에 대하여 리그레션(Regression) 학습을 수행하여, 상기 예측 결과와 상기 측정 결과 간의 차이가 소정의 기준 이하가 되도록 설정된 파라미터인 것을 특징으로 하는 차량 정보 검출 장치.
  9. 차량 정보 검출 장치에 사용되는 예측 함수 파라미터 학습 장치에 있어서,
    운전 차량이 주행하는 도로를 포함하는 상기 운전 차량의 주변을 촬영한 영상을 입력받는 영상 입력부;
    상기 영상을 분석하여 상기 영상 내에 존재하는 주변 차량을 검출하고, 상기 검출한 주변 차량의 상기 영상 내 좌표와 크기를 산출하는 영상 내 차량 위치 검출부;
    레이더 센서를 이용하여 감지한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 입력받는 레이더 데이터 입력부; 및
    상기 산출한 상기 주변 차량의 상기 영상 내 좌표와 크기를 입력 변수로 하고 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 포함하는 차량 정보를 출력으로 하는 예측 함수의 파라미터를, 상기 영상 내 차량 위치 검출부에서 산출된 상기 주변 차량의 상기 영상 내 좌표와 크기 및 상기 레이더 데이터 입력부에서 입력받은 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보를 학습 데이터로 이용한 학습을 수행하여 설정하는 학습부
    를 포함하며,
    상기 예측 함수의 파라미터는 상기 학습 데이터에 대하여, 상기 주변 차량의 상기 영상 내 좌표와 크기를 상기 예측 함수의 입력 변수로 입력하여 출력한 예측 결과와 상기 레이더 센서를 이용하여 획득한 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보인 측정 결과 간의 거리가 소정의 기준 이하가 되도록 설정되는 것을 특징으로 하는 예측 함수 파라미터 학습 장치.
  10. 제9항에 있어서,
    상기 주변 차량의 상기 영상 내 크기는 상기 주변 차량의 상기 영상 내 높이 또는 폭 중 적어도 어느 하나 이상을 포함하고,
    상기 차량 정보는 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 주변 차량의 차량 폭 정보를 포함하고,
    상기 예측 함수는 상기 주변 차량의 상기 영상 내 좌표와 높이 또는 폭 중 적어도 어느 하나 이상을 입력 변수로 하고, 상기 주변 차량의 상기 운전 차량으로부터의 위치 정보와 상기 차량 폭 정보를 출력으로 하는 함수이고,
    상기 학습부는,
    상기 주변 차량의 차량 폭 정보를 입력받고, 상기 학습 데이터와 함께 상기 입력받은 상기 차량 폭 정보를 상기 학습 데이터로 이용하는 것을 특징으로 하는 예측 함수 파라미터 학습 장치.
KR1020150127564A 2015-05-29 2015-09-09 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법 KR101694837B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150076425 2015-05-29
KR1020150076425 2015-05-29

Publications (2)

Publication Number Publication Date
KR20160140303A KR20160140303A (ko) 2016-12-07
KR101694837B1 true KR101694837B1 (ko) 2017-01-11

Family

ID=57573450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150127564A KR101694837B1 (ko) 2015-05-29 2015-09-09 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101694837B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102335987B1 (ko) * 2017-10-26 2021-12-07 현대자동차주식회사 차량 주행제어 장치 및 방법
KR102391205B1 (ko) 2018-03-20 2022-04-27 주식회사 에이치엘클레무브 객체 검출 기반 거리 추정 장치 및 그 방법
KR102545109B1 (ko) * 2018-12-04 2023-06-20 현대자동차주식회사 차량용 허위 타겟 제거 장치 및 그의 허위 타겟 제거 방법과 그를 포함하는 차량
KR102553053B1 (ko) * 2018-12-28 2023-07-11 삼성전자주식회사 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법
KR20200131664A (ko) * 2019-05-14 2020-11-24 삼성전자주식회사 차량의 주행을 보조하는 전자 장치 및 방법
KR102240266B1 (ko) * 2020-09-08 2021-04-14 렉스젠(주) 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법
KR102325124B1 (ko) * 2021-04-27 2021-11-12 주식회사 모빌테크 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005300315A (ja) * 2004-04-09 2005-10-27 Denso Corp 物体検出装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101205565B1 (ko) * 2008-01-29 2012-11-27 주식회사 만도 영상을 이용한 전후방 차량 검출 방법
KR101300534B1 (ko) 2012-02-29 2013-09-02 주경희 무선레이더를 이용한 차간거리표시 및 차량추돌위험경보방법 및 이를 이용한 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005300315A (ja) * 2004-04-09 2005-10-27 Denso Corp 物体検出装置

Also Published As

Publication number Publication date
KR20160140303A (ko) 2016-12-07

Similar Documents

Publication Publication Date Title
KR101694837B1 (ko) 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
US10949684B2 (en) Vehicle image verification
JP6942712B2 (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
KR102098140B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US10466714B2 (en) Depth map estimation with stereo images
Wu et al. Lane-mark extraction for automobiles under complex conditions
JP4899424B2 (ja) 物体検出装置
US20130208945A1 (en) Method for the detection and tracking of lane markings
WO2015177648A1 (en) Systems and methods for curb detection and pedestrian hazard assessment
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
JP6283105B2 (ja) ステレオカメラ装置、ステレオカメラ装置を設置した車両及びプログラム
KR102491527B1 (ko) 카메라 영상에서 대상의 감지
CN111971725B (zh) 用于确定车辆的变道说明的方法、可读存储介质以及车辆
JP2018048949A (ja) 物体識別装置
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
US20220171975A1 (en) Method for Determining a Semantic Free Space
Romdhane et al. A generic obstacle detection method for collision avoidance
CN112861599A (zh) 用于对道路上的对象进行分类的方法和设备、计算机程序及存储介质
JP5587852B2 (ja) 画像処理装置及び画像処理方法
EP4113377A1 (en) Use of dbscan for lane detection
KR101595317B1 (ko) 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템
WO2021132229A1 (ja) 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant