KR20200063822A - 단안 카메라 기반 위험 지역 검출 방법 및 시스템 - Google Patents

단안 카메라 기반 위험 지역 검출 방법 및 시스템 Download PDF

Info

Publication number
KR20200063822A
KR20200063822A KR1020180149995A KR20180149995A KR20200063822A KR 20200063822 A KR20200063822 A KR 20200063822A KR 1020180149995 A KR1020180149995 A KR 1020180149995A KR 20180149995 A KR20180149995 A KR 20180149995A KR 20200063822 A KR20200063822 A KR 20200063822A
Authority
KR
South Korea
Prior art keywords
vehicle
tire
candidate
generating
interest
Prior art date
Application number
KR1020180149995A
Other languages
English (en)
Other versions
KR102174728B1 (ko
Inventor
정호기
이연주
최경택
Original Assignee
한국교통대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국교통대학교산학협력단 filed Critical 한국교통대학교산학협력단
Priority to KR1020180149995A priority Critical patent/KR102174728B1/ko
Publication of KR20200063822A publication Critical patent/KR20200063822A/ko
Application granted granted Critical
Publication of KR102174728B1 publication Critical patent/KR102174728B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/3233
    • G06K9/6267
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/42

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

단안 카메라 기반 위험 지역 검출 방법이 개시된다. 상기 방법은 차량의 전방 카메라로부터 영상을 수신하는 단계와, 상기 영상에서 상기 차량의 관심 영역을 설정하는 단계와, 설정된 관심 영역에 대해 측면 정규 영상을 생성하는 단계와, 생성된 측면 정규 영상에서 타이어를 기반으로 차량 후보를 생성하는 단계와, 생성된 차량 후보를 기반으로 위험 지역을 검출하는 단계를 포함한다.

Description

단안 카메라 기반 위험 지역 검출 방법 및 시스템{METHOD FOR DETECTING CRITICAL AREA BASED ON MONOCULAR CAMERA AND SYSTEM THEREFOR}
본 발명의 개념에 따른 실시 예는 차량의 전방 카메라에서 취득된 단일 영상에서 위험 지역을 검출하는 방법에 관한 것이다.
최근에는 정보 기술(information technology) 및 센서 기술을 접목하여 자동차 사고로부터 보행자를 능동적으로 보호하려는 융복합기술이 활발히 연구되고 있다.
특히, 능동적 보행자 보호 시스템의 실시간성과 오작동(false alarm)의 최소화를 위해 차량의 전방 카메라에서 취득된 영상 전체에서 보행자를 탐색하는 기존의 방법 대신 제한된 영역에서 보행자를 탐색하려는 새로운 접근법이 제시되고 있다. 예컨대, 사고 발생 가능성이 매우 높은 상황을 고려하여 위험도가 높은 위험지역을 먼저 검출하고, 그 영역에서만 보행자를 검출하는 방법이 제시된다.
등록 특허 공보 제10-1188584호(이하, '선행기술문헌 1'이라 함)는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치에 관한 것으로서, 레이저 스캐너에 의한 위치 좌표를 이용하여 카메라 영상으로부터 물체의 영역을 검출하는 구성이 개시되어 있다.
상기 선행기술문헌 1은 물체 영역을 검출하는데 소요되는 시간 및 연산량을 줄일 수 있는 장점이 있다. 그러나, 이종 센서의 결합은 시스템의 구조를 다소 복잡하게 하고, 레이저 스캐너는 가격이 높은데다 내구성도 약하며 센서 장착 시 차량 외관을 심하게 변형시켜야 한다는 단점이 있다.
등록 특허 공보 제10-1452628호 (이하, '선행기술문헌 2'라 함)는 스테레오 비전 기반의 위험지역 검출방법 및 장치에 관한 것으로서, 스테레오 카메라를 통해 획득된 장애물에 대한 거리 변화를 기반으로 운전자와 보행자가 서로를 인지하기 어려운 위험지역 검출하는 구성이 개시되어 있다.
상기 선행기술문헌 2는 위험지역 검출 시 정확한 성능을 보여주지만 스테레오 비전은 카메라 칼리브레이션 과정과 변위 지도(disparity map)를 얻기 위한 스테레오 매칭 과정이 반드시 필요하며, 이러한 스테레오 매칭은 비교적 많은 연산량을 요구하는 단점이 있다.
등록 특허 공보 제10-1188584호 등록 특허 공보 제10-1452628호
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 단안 카메라 기반 위험 지역 검출 방법은 차량의 전방 카메라에서 취득된 단일 영상으로 위험 지역을 검출하는 것을 목적으로 한다.
본 발명의 두번째 목적은 단일 타이어 기반으로 차량 후보를 생성하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 단안 카메라 기반 위험 지역 검출 방법은 차량의 전방 카메라로부터 영상을 수신하는 단계와, 상기 영상에서 상기 차량의 관심 영역을 설정하는 단계와, 설정된 관심 영역에 대해 측면 정규 영상을 생성하는 단계와, 생성된 측면 정규 영상에서 타이어를 기반으로 차량 후보를 생성하는 단계와, 생성된 차량 후보를 기반으로 위험 지역을 검출하는 단계를 포함한다.
상기 차량 후보를 생성하는 단계는, 상기 측면 정규 영상에서 상기 관심 영역 내에 있는 타이어 후보를 생성하는 단계와, 생성된 두개의 타이어 후보를 전륜과 후륜으로 분류하고, 상기 전륜과 상기 후륜 각각의 중심점, 지면점, 및 크기를 이용하여 상기 차량 후보를 생성하는 단계를 포함한다.
상기 전륜의 중심점과 상기 후륜의 중심점 사이의 각도, 상기 전륜의 지면점과 상기 후륜의 지면점 사이의 물리적 거리, 및 상기 전륜의 크기와 상기 후륜의 크기 사이의 비율을 이용하여 상기 차량 후보를 생성한다.
상기 차량 후보의 가로 길이는 상기 전륜과 상기 후륜 사이의 거리를 기초로 설정되고, 상기 차량 후보의 가로 길이는 상기 전륜과 상기 후륜의 크기 중에서 큰 타이어의 크기로 설정된다.
상기 차량 후보를 생성하는 단계는, 상기 측면 정규 영상에서 상기 관심 영역 내에 있는 타이어 후보를 생성하는 단계와, 생성된 하나의 타이어 후보로부터 상기 하나의 타이어의 지면점 위치를 이용하여 상기 하나의 타이어가 전륜일 때의 차량 후보와 상기 하나의 타이어가 후륜일 때의 차량 후보를 생성하는 단계를 포함한다.
본 발명의 실시 예에 따른 단안 카메라 기반 위험 지역 검출 시스템은, 차량 전방의 영상을 획득하는 카메라와, 상기 영상에서 상기 차량의 관심 영역을 설정하는 관심 영역 설정부와, 설정된 관심 영역에 대해 측면 정규 영상을 생성하는 측면 정규 영상 생성부와, 생성된 측면 정규 영상에서 상기 관심 영역 내에 있는 타이어 후보를 생성하고, 하나 이상의 타이어를 기반으로 차량 후보를 생성하는 차량 검출부와, 생성된 차량 후보를 기반으로 위험 지역을 검출하는 위험 지역 검출부를 포함한다.
상기 차량 검출부는, 하나의 차량을 이루는 두개의 타이어 사이의 기하학적 관계로부터 선택된 차량 후보, 하나의 타이어가 전륜일 때의 차량 후보, 및 상기 하나의 타이어가 후륜일 때의 차량 후보를 생성한다.
상기한 바와 같은 본 발명의 단안 카메라 기반 위험 지역 검출 방법은 차량의 전방 카메라에서 취득된 단일 영상으로 위험 지역을 검출하므로 시스템 구조가 단순하고 연산량을 최소화할 수 있는 효과가 있다.
또한, 상기한 바와 같은 본 발명의 단안 카메라 기반 위험 지역 검출 방법은 한 타이어로 차량의 후보를 생성하므로 위험 지역의 검출률을 높일 수 있는 효과가 있다.
도 1은 위험 지역을 설명하기 위한 도면이다.
도 2는 관심 영역을 설명하기 위한 도면이다.
도 3은 측면 정규 영상을 설명하기 위한 도면이다.
도 4내지 도 7은 본 발명의 실시 예에 따른 파트 기반 차량 검출 방법을 설명하기 위한 도면이다.
도 8과 도 9는 본 발명의 다른 실시 예에 따른 파트 기반 차량 검출 방법을 설명하기 위한 도면이다.
도 10과 도 11은 본 발명의 실시 예에 따른 한 타이어 기반의 차량 후보 생성 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에 따른 단안 카메라 기반 위험 지역 검출 시스템을 나타낸다.
본 발명은 차량의 전방 카메라에서 획득된 한장의 영상으로 위험 지역을 검출하는 방법에 관한 것으로, 특히 차량의 측면 외형 변화가 최소화된 측면 정규 영상을 생성한 후 파트 기반 차량 검출 방법을 통해 차량을 검출한 후 차량의 앞 영역을 위험 지역으로 검출하는 것이다.
이하에서는 본 발명에 따른 실시예 및 도면을 참조하여, 본 발명을 더욱 상술한다.
도 1은 위험 지역을 설명하기 위한 도면이다. 도 1을 참조하면, 보행자 사고 중 대부분을 차지하는 보행자 횡단 사고 중에서 보행자가 주정차된 차량과 같이 장애물에 가려져 있다가 갑자기 나타나서 운전자와 보행자가 서로를 인식할 수 없어 발생되는 차대 보행자 충돌 사고 상황을 나타낸다. 여기서 위험 지역은 주정차 차량 앞 또는 주정차 차량 사이 영역이 된다.
자차 좌측 도로변에서 보행자가 장애물 뒤편에서 갑자기 나타난다 하더라도 자차와 보행자 사이의 거리가 비교적 먼 거리이므로 운전자와 보행자가 서로를 인식할 수 있는 조건이 되지만, 자차 우측 도로변에서 보행자가 장애물 뒤편에서 갑자기 나타나는 경우 위험도가 더 높다.
본 발명은 차량의 전방 카메라에서 취득된 단일 영상에서 위험 지역을 검출하는 방법에 관한 것이다. 단안 카메라를 사용하여 자차 우측 도로변에 주정차된 차량 사이의 위험 지역을 검출하기 위해서는 주정차 차량의 위치를 먼저 파악해야 한다.
그러나, 단일 영상 자체에서는 종방향 거리에 따른 차량 형태의 변화인 원근 왜곡(perspective distortion)이 크게 발행하기 때문에 단일 영상 기반의 차량 검출이 용이하지 않다. 이러한 문제를 해결하기 위해서 측면 정규 영상을 도입한다.
도 2는 관심 영역을 설명하기 위한 도면이다. 측면 정규 영상을 생성하기 위해서는 도 2에 도시된 바와 같이 자차의 우측에 관심 영역(region of interest)을 먼저 설정하고, 설정된 관심 영역을 중심으로 측면 정규 영상을 생성한다.
예컨대, 차량 중심으로부터 종방향 시작거리는 6m이고, 최대 종방향 거리는 22.5m이고, 우측 횡방향 시작거리는 1.2m이고, 최대 횡방향 거리는 4.5m이다.
전방 카메라가 설치된 높이와 카메라 화각에 의해서 자차 중심으로부터 6m 이내에는 카메라 영상이 나타나지 않기 때문에, 종방향 시작 거리는 6m로 설정할 수 있다. 또한, 차량의 최대 속도가 30~40km/h이고, 운전자가 보행자를 인식하고 반응하는 시간을 2초라고 가정할 때, 상기 최대 속도에서 보행자 충돌 위험이 나타날 수 있는 최소 거리는 전방 20m이다. 이 때, 차의 길이를 5m로 간주하면, 최대 종방향 거리는 22.5m로 설정할 수 있다.
측면 정규 영상은 전방 카메라에서 획득한 영상을 차량의 종축과 수직한 광축을 가지는 가상 카메라로 투영하여 생성된다. 이 때, 상대 차량의 측면은 도 2와 같이 가상 카메라로부터 일정한 거리에 있는 평면이기 때문에 자차로부터 종방향 거리와 상관없이 측면 정규 영상에 동일한 외형과 크기로 투영된다.
전방 카메라에서 획득한 영상에서의 한 점 pr은 하기의 [수학식 1]에 의해 측면 정규 영상에서의 한 점 pc로 변환된다.
[수학식 1]
Figure pat00001
여기서, Kc와 Rc는 전방 카메라의 내부 파라미터(intrinsic parameter)와 외부 파라미터(extrinsic parameter)의 회전 행렬(rotation matrix)에 해당된다. Kr과 Rr은 가상 카메라의 내부 파라미터와 외부 파라미터의 회전 행렬을 나타낸다.
Rr에서 롤(roll), 피치(pitch), 요(yaw)의 수치는 각각 0°, 0°, ±90°가 되고, 차의 방향을 0°라고 했을 때, 회전 각도가 ±90°가 되면 가상 카메라의 광축은 차의 종축에 수직이 된다. 측면 정규 영상은 자차를 기준으로 우측과 좌측 영상을 생성할 수 있는데, 본 명세서에서는 관심 영역이 우측에만 포함되므로 요(yaw)의 값을 90°로 설정한다.
도 3은 측면 정규 영상을 설명하기 위한 도면이다. 도 3은 전방 카메라 영상과 [수학식 1]에 의해서 생성된 측면 정규 영상을 나타낸다. 각 도면에서 적색 선으로 이루어진 영역은 도 2에서 표현된 관심 영역을 나타낸다.
도 2와 도 3을 참조하면, 자차와 평행하게 주정차된 차량이 자차 중심으로부터 횡방향으로 비슷한 거리에 위치해 있으면 종방향 거리에 상관없이 타이어의 크기가 비슷하다. 또한, 동일 차량에서는 두 타이어 사이의 거리가 비교적 일정하게 얻어진다.
차량 측면의 외형은 차종에 따라 달라질 수 있으나 모든 차는 비슷한 형태의 타이어를 가지고 있다. 이러한 점을 이용하여 관심 영역 내 주정차된 차량은 파트 기반 차량 검출 방법(part-based vehicle detection method)을 이용하여 검출된다. 즉, 차량의 고유한 특징인 타이어를 먼저 검출하고, 검출된 타이어의 기하학적 관계를 이용하여 상기 관심 영역 내의 차량을 검출한다.
도 4내지 도 7은 파트 기반 차량 검출 방법을 설명하기 위한 도면이다. 도 4와 도 5를 참조하면, 전방 카메라 영상으로부터 측면 정규 영상을 생성한다(S110). 도 5의 (a)에 도시된 바와 같이, 생성된 측면 정규 영상으로부터 Viola-Jones 물체 검출 알고리즘을 이용하여 타이어 후보를 생성하고(S120), 타이어 후보를 필터링하여 필요한 타이어 후보만 남긴다(S130). 타이어 후보를 생성할 때 Viola-Jones 물체 검출 알고리즘을 사용하는 것으로 설명하였으나, 이에 한정되는 것은 아니고 타이어를 검출할 수 있는 물체 검출 알고리즘이라면 적용 가능할 것이다.
관심 영역 내에 존재하는 차량만을 검출하면 되기 때문에 타이어의 지면점이 미리 설정한 관심 영역 내에 존재하는지 여부를 확인하여 관심 영역 내에 있는 타이어 후보만 남긴다. 또한, 영상의 아래쪽에 있는 타이어는 자차 중심에서 횡방향으로 근거리에 있기 때문에 타이어의 크기가 크고, 영상의 위쪽에 있는 타이어는 원거리에 있기 때문에 타이어의 크기가 작게 보인다. 학습 데이터로부터 영상 내 위치에 따른 타이어 크기의 통계적 분석을 통해 타이어 크기에 다른 필터링을 수행한다.
도 5의 (b)에 도시된 바와 같이, HOG-SVM(histogram of oriented gradients-support vector machine)을 이용하여 타이어 후보를 검증한다(S140). 도 5의 (c)에 도시된 바와 같이, 검증된 타이어들 사이의 기하학적 관계를 이용하여 차량 후보를 생성한다(S150).
도 6은 차량 후보 생성에 사용되는 타이어 정보들을 나타낸다. 단계 S140 에서 검증된 타이어로부터 c1, c2, g1, g2, h1, h2 각각의 정보를 얻어낸다.
c1과 c2는 두 타이어 각각의 중심점이고, g1과 g2는 두 타이어 각각의 지면점이고, h1과 h2는 두 타이어 각각의 크기이다. 상기의 정보들을 이용하여 하기와 같이 차량 후보로 판단할 수 있는 세가지 기하학적 관계식을 구한다.
1) c1과 c2 사이의 각도
2) g1과 g2 사이의 물리적 거리
3) h1과 h2 사이의 비
상기 각 관계식마다 차량 후보가 생성되기 위한 값의 범위는 학습 데이터에서 실제(ground-truth) 데이터의 통계적 분석에 의해 산출될 수 있다. 검증된 타이어들의 조합들 중에서 위의 관계 조건에 부합되는 것들만 차량 후보로 생성한다. 생성된 차량 후보에 대하여 차량 영역을 설정 한다.
도 7은 두 타이어를 기반으로 만들어진 차량 영역을 나타낸다. w는 전륜과 후륜 사이의 거리이고, Hmax는 큰 타이어의 크기이고, Hmin는 작은 타이어의 크기이다. 이 때, 차량 영역의 가로 길이는 w의 1.2배이고, 차량 영역의 세로 길이는 큰 타이어의 크기이다.
세로 길이를 타이어의 크기와 같게 한 이유는 타이어 위초 올라갈수록 차의 외형이 차종에 따라 차이가 나기 때문에 차를 검증하기 위한 최적의 형태를 유지하기 위함이다.
다시 도 4와 도 5의 (d)를 참조하면, 생성된 차량 후보들은 다시 HOG-SVM에 의해 검증된다(S160). 본 명세서에서는 관심 영역 내 차량을 우선적으로 검출한 뒤, 검출된 차량의 앞쪽 일부 영역 또는 검출된 차량 사이 영역을 위험 지역으로 설정한다.
보행자 보호 관점에서는 보행자가 나타날 수 있는 위험 지역이 오검출되더라도 실제 위험 지역은 가능한 많이 정검출하는 것이 더 실용성이 높다. 왜냐하면, 위험 지역 오검출이 다소 많더라도, 보행자 검출/검증기에서 대부분 제거할 수 있기 때문에 최종적인 오검출은 증가하지 않을 수 있기 때문이다.
도 8과 도 9는 본 발명의 실시 예에 따른 파트 기반 차량 검출 방법을 설명하기 위한 도면이다. 도 8의 실시 예는 연산량이 비교적 많고 정검출된 후보를 제거할 소지가 많은 타이어 및 차량의 후보 검증 단계를 생략하고, 검출된 타이어 후보를 기반으로 차량 후보를 검출하는 단순화된 구조를 나타낸다. 따라서, 계산의 복잡성을 낮추고 속도를 향상시킬 수 있으며, 검증 단계에서 미검출될 수 있는 차량 후보를 그대로 검출함으로써 위험 지역을 모두 검출할 수 있는 효과가 있다. 또한, 한 타이어만으로도 차량 후보를 생성함으로써 정검출 가능성을 최대화한다.
도 8과 도 9를 참조하면, 전방 카메라 영상으로부터 측면 정규 영상을 생성한다(S210). 도 9의 (a)에 도시된 바와 같이, 생성된 측면 정규 영상으로부터 Viola-Jones 물체 검출 알고리즘을 이용하여 타이어 후보를 생성하고(S220), 타이어 후보를 필터링하여 필요한 타이어 후보만 남긴다(S230).
검출된 타이어 후보들로부터 차량 후보를 생성하는 단계(S250)에서, 두 타이어 기반의 차량 후보 생성 방법에 한 타이어 기반의 차량 후보 생성 방법이 추가된다.
도 6에서 도시되고 설명한 바와 같이, 두 타이어 기반 차량 후보 생성 방법은 한 차량을 이루는 두 타이어 사이의 기하학적 관계로부터 차량 후보르 선택하는 방법이기 때문에 차량을 이루는 두 타이어 중에서 한 타이어만 검출된 경우 그 차량은 절대로 검출될 수 없다. 따라서 이러한 점을 보완하기 위해 한 타이어만 검출되더라도 차량 후보를 생성할 수 있는 한 타이어 기반 차량 후보 생성 방법이 추가된다.
한 타이어 생성 방법은 검출된 하나의 타이어를 전륜과 후륜으로 가정하고, 전륜일 경우 생성될 수 있는 차량 후보와 후륜일 경우 생성될 수 있는 차량 후보를 생성한다.
도 10과 도 11은 본 발명의 실시 예에 따른 한타이어 기반의 차량 후보 생성 방법을 설명하기 위한 도면이다. 도 10은 gound-truth 데이터로부터 타이어 지면점에 대한 차량의 가로 길이와 세로 길이의 분포를 하나의 로그 함수로 나타낸 것을 나타낸다.
도 10에 도시된 바와 같이, 차량 후보 영역은 검출된 타이어 정보 중에서 타이어의 지면점 위치에 따른 차량 후보의 가로와 세로 길이를 결정하는 방식에 의해서 설정된다. 도 10의 (a)와 (b)는 검출된 타이어가 전륜이라고 가정할 때 타이어 지면점 위치에 따른 차량 후보의 가로 길이와 세로 길이의 분포를 나타내고, 도 10의 (c)와 (d)는 검출된 타이어가 후륜이라고 가정할 때 타이어 지면점 위치에 따른 차량 후보의 가로 길이와 세로 길이의 분포를 나타낸다.
도 11은 도 10에서 구한 네 개의 함수를 이용하여, 검출된 타이어 한 개당 두 개의 차량 후보를 생성한다. 도 11에서 실선은 검출된 하나의 타이어를 후륜 으로 가정하고 차량 후보를 생성한 결과를 나타내고, 점선은 검출된 하나의 타이어를 전륜으로 가정하고 차량 후보를 생성한 결과를 나타낸다. 타이어 한 개에서 두개의 차량 후보를 생성하기 때문에 한 타이어 기반의 방법은 시스템의 정확도를 저하시키지만, 차량의 검출률을 높일 수 있다.
다시 도 8과 도 9를 참조하면, 도 9의 (b) 와 같이 두개의 타이어 기반의 차량 후보를 생성하고, 도 9의 (c)와 같이 하나의 타이어 기반의 차량 후보를 생성한다(S250).두 개의 타이어를 기반으로 생성된 차량 후보와 하나의 타이어를 기반으로 생성된 차량 후보 모두를 차량 후보로 사용한다.
단계 S250에서 생성된 차량 후보에 대하여 도 9의 (d)에 도시된 바와 같이 검출된 차량의 앞 쪽에 검출 결과를 표시한다.
도 12는 본 발명의 실시 예에 따른 단안 카메라 기반 위험 지역 검출 시스템을 나타낸다. 도 12를 참조하면 단안 카메라 기반 위험 지역 검출 시스템(10)은 차량 전방의 영상을 획득하는 전방 카메라(100), 상기 영상에서 상기 차량의 관심 영역을 설정하는 관심 영역 설정부(200), 설정된 관심 영역에 대해 측면 정규 영상을 생성하는 측면 정규 영상 생성부(300), 생성된 측면 정규 영상에서 상기 관심 영역 내에 있는 타이어 후보를 생성하고, 하나 이상의 타이어를 기반으로 차량 후보를 생성하는 차량 검출부(400), 및 생성된 차량 후보를 기반으로 위험 지역을 검출하는 위험 지역 검출부(500)를 포함한다.
단안 카메라 기반 위험 지역 검출 시스템(10)은 차량의 전방 카메라에서 취득된 단일 영상으로 위험 지역을 검출하므로 시스템 구조가 단순하고 연산량을 최소화할 수 있는 효과가 있다.
차량 검출부(400)는 하나의 차량을 이루는 두개의 타이어 사이의 기하학적 관계로부터 선택된 차량 후보, 하나의 타이어가 전륜일 때의 차량 후보, 및 상기 하나의 타이어가 후륜일 때의 차량 후보를 생성한다.
단안 카메라 기반 위험 지역 검출 시스템(10)은 한 타이어로 차량의 후보를 생성하므로 위험 지역의 검출률을 높일 수 있는 효과가 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 단안 카메라 기반 위험 지역 검출 시스템
100; 전방 카메라
200; 관심 영역 설정부
300; 측면 정규 영상 생성부
400; 차량 검출부
500; 위험 지역 검출부

Claims (6)

  1. 차량의 전방 카메라로부터 영상을 수신하는 단계;
    상기 영상에서 상기 차량의 관심 영역을 설정하는 단계;
    설정된 관심 영역에 대해 측면 정규 영상을 생성하는 단계;
    생성된 측면 정규 영상에서 타이어를 기반으로 차량 후보를 생성하는 단계; 및
    생성된 차량 후보를 기반으로 위험 지역을 검출하는 단계;를 포함하고,
    상기 차량 후보를 생성하는 단계는,
    하나의 차량을 이루는 두개의 타이어 사이의 기하학적 관계로부터 선택된 차량 후보, 하나의 타이어가 전륜일 때의 차량 후보, 및 상기 하나의 타이어가 후륜일 때의 차량 후보를 생성하는 것을 특징으로 하는 단안 카메라 기반 위험 지역 검출 방법.
  2. 제1항에 있어서, 상기 차량 후보를 생성하는 단계는,
    상기 측면 정규 영상에서 상기 관심 영역 내에 있는 타이어 후보를 생성하는 단계; 및
    생성된 타이어 후보를 전륜과 후륜으로 분류하고, 상기 전륜과 상기 후륜 각각의 중심점, 지면점, 및 크기를 이용하여 상기 차량 후보를 생성하는 단계;를 포함하는 단안 카메라 기반 위험 지역 검출 방법.
  3. 제2항에 있어서,
    상기 전륜의 중심점과 상기 후륜의 중심점 사이의 각도, 상기 전륜의 지면점과 상기 후륜의 지면점 사이의 물리적 거리, 및 상기 전륜의 크기와 상기 후륜의 크기 사이의 비율을 이용하여 상기 차량 후보를 생성하는 것을 특징으로 하는 단안 카메라 기반 위험 지역 검출 방법.
  4. 제3항에 있어서,
    상기 차량 후보의 가로 길이는 상기 전륜과 상기 후륜 사이의 거리를 기초로 설정되고, 상기 차량 후보의 가로 길이는 상기 전륜과 상기 후륜의 크기 중에서 큰 타이어의 크기로 설정되는 것을 특징으로 하는 단안 카메라 기반 위험 지역 검출 방법.
  5. 제1항에 있어서, 상기 차량 후보를 생성하는 단계는,
    상기 측면 정규 영상에서 상기 관심 영역 내에 있는 타이어 후보를 생성하는 단계; 및
    생성된 하나의 타이어 후보로부터 상기 하나의 타이어의 지면점 위치를 이용하여 상기 하나의 타이어가 전륜일 때의 차량 후보와 상기 하나의 타이어가 후륜일 때의 차량 후보를 생성하는 단계;를 포함하는 단안 카메라 기반 위험 지역 검출 방법.
  6. 차량 전방의 영상을 획득하는 카메라;
    상기 영상에서 상기 차량의 관심 영역을 설정하는 관심 영역 설정부;
    설정된 관심 영역에 대해 측면 정규 영상을 생성하는 측면 정규 영상 생성부;
    생성된 측면 정규 영상에서 상기 관심 영역 내에 있는 타이어 후보를 생성하고, 하나 이상의 타이어의 기하학적 관계를 이용하여 차량 후보를 생성하는 차량 검출부; 및
    생성된 차량 후보를 기반으로 위험 지역을 검출하는 위험 지역 검출부;를 포함하고,
    상기 차량 검출부는,
    하나의 차량을 이루는 두개의 타이어 사이의 기하학적 관계로부터 선택된 차량 후보, 하나의 타이어가 전륜일 때의 차량 후보, 및 상기 하나의 타이어가 후륜일 때의 차량 후보를 생성하는 것을 특징으로 하는 단안 카메라 기반 위험 지역 검출 시스템.
KR1020180149995A 2018-11-28 2018-11-28 단안 카메라 기반 위험 지역 검출 방법 및 시스템 KR102174728B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180149995A KR102174728B1 (ko) 2018-11-28 2018-11-28 단안 카메라 기반 위험 지역 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180149995A KR102174728B1 (ko) 2018-11-28 2018-11-28 단안 카메라 기반 위험 지역 검출 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200063822A true KR20200063822A (ko) 2020-06-05
KR102174728B1 KR102174728B1 (ko) 2020-11-05

Family

ID=71089111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180149995A KR102174728B1 (ko) 2018-11-28 2018-11-28 단안 카메라 기반 위험 지역 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102174728B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101188584B1 (ko) 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
KR101452628B1 (ko) 2013-04-16 2014-10-23 한양대학교 산학협력단 스테레오 비전 기반 보행자 보호 시스템을 위한 위험지역 검출 방법 및 장치
KR101748646B1 (ko) * 2011-01-26 2017-07-04 현대모비스 주식회사 카메라를 이용한 측면차량 검출 장치 및 방법
KR20180113020A (ko) * 2017-04-05 2018-10-15 엘지이노텍 주식회사 차량의 사각영역 표시장치 및 그 표시방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101188584B1 (ko) 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
KR101748646B1 (ko) * 2011-01-26 2017-07-04 현대모비스 주식회사 카메라를 이용한 측면차량 검출 장치 및 방법
KR101452628B1 (ko) 2013-04-16 2014-10-23 한양대학교 산학협력단 스테레오 비전 기반 보행자 보호 시스템을 위한 위험지역 검출 방법 및 장치
KR20180113020A (ko) * 2017-04-05 2018-10-15 엘지이노텍 주식회사 차량의 사각영역 표시장치 및 그 표시방법

Also Published As

Publication number Publication date
KR102174728B1 (ko) 2020-11-05

Similar Documents

Publication Publication Date Title
JP5172314B2 (ja) ステレオカメラ装置
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
CN114375467B (zh) 用于检测紧急车辆的系统和方法
CN112292286A (zh) 骑乘者辅助系统和方法
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
US20170124725A1 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
EP1361543A2 (en) Determining object motion from optical flow analysis
CN110033621B (zh) 一种危险车辆检测方法、装置及系统
US9870513B2 (en) Method and device for detecting objects from depth-resolved image data
JPH07182484A (ja) 移動車の前方認識装置ならびに車輌用走行制御装置
JP2010019589A (ja) 車間距離検出装置、ドライブレコーダ装置
US10846546B2 (en) Traffic signal recognition device
JP2013057992A (ja) 車間距離算出装置およびそれを用いた車両制御システム
CN112052716B (zh) 识别装置、识别方法及存储介质
JP5077088B2 (ja) 画像処理装置及び画像処理方法
WO2017134936A1 (ja) 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
CN117994763A (zh) 用于机动车辆的视觉系统和方法
KR20150104409A (ko) 센서를 이용한 차량 인식 시스템 및 그 방법
WO2018190362A1 (ja) 車両周囲の歩行者を検出する方法及び装置
US20200007792A1 (en) On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
JP2004310522A (ja) 車両用画像処理装置
JP2014146267A (ja) 歩行者検出装置、運転支援装置
CN108944926B (zh) 车外环境识别装置
US20230005249A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right