KR20220145080A - 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 - Google Patents

차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 Download PDF

Info

Publication number
KR20220145080A
KR20220145080A KR1020210051720A KR20210051720A KR20220145080A KR 20220145080 A KR20220145080 A KR 20220145080A KR 1020210051720 A KR1020210051720 A KR 1020210051720A KR 20210051720 A KR20210051720 A KR 20210051720A KR 20220145080 A KR20220145080 A KR 20220145080A
Authority
KR
South Korea
Prior art keywords
image
lane
dual camera
unit
detected
Prior art date
Application number
KR1020210051720A
Other languages
English (en)
Other versions
KR102629639B1 (ko
Inventor
이선봉
이시호
김봉주
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020210051720A priority Critical patent/KR102629639B1/ko
Publication of KR20220145080A publication Critical patent/KR20220145080A/ko
Application granted granted Critical
Publication of KR102629639B1 publication Critical patent/KR102629639B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

차량용 듀얼 카메라 장착 위치 결정 장치가 개시된다. 본 발명의 차량용 듀얼 카메라 장착 위치 결정 장치는 듀얼 카메라를 통해 촬영된 영상을 보정하여 상기 듀얼 카메라의 초점거리 및 시차를 검출하는 영상 보정부; 차선을 검출하는 차선 검출부; 및 상기 영상 보정부에 의해 검출된 초점거리와 시차, 및 상기 차선 검출부에 의해 검출된 차선을 토대로 물체까지의 거리를 측정하고, 측정된 상기 물체까지의 거리와 기 설정된 실제 거리를 통해 상기 듀얼 카메라의 장착 위치를 결정하는 장착 위치 결정부를 포함하는 것을 특징으로 한다.

Description

차량용 듀얼 카메라 장착 위치 결정 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING POSITION OF DUAL CAMERA FOR VEHICLE}
본 발명은 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법에 관한 것으로서, 더욱 상세하게는 듀얼 카메라의 장착 위치를 높이와 간격 및 경사각 측면에서 결정하는 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법에 관한 것이다.
자율주행 기술의 단계는 국제자동차기술자협회(SAE, Society of Automotive Engineers)에서 정의한 내용이 국제 기준으로 통용되고 있으며, 단계 1에서 단계 5까지 총 6단계로 분류된다.
현재 양산되는 자동차에 탑재된 자율주행 기술은 단계 2수준으로, 운전자를 보조하는 역할을 수행하며, ADAS(Advanced Driver Assistance Systems)로 정의된다. 그 중 단계 1에 해당하는 ACC(Adaptive Cruise Control), LKAS(Lane Keeping Assist System)와 단계 2에 해당하는 HDA(Highway Driving Assist)가 대표적인 기술이다.
이러한 자율주행 기술의 목표 중 하나인 교통사고, 공사현장 등과 같은 돌발 상황에 대한 능동적인 대응을 위해 주변 환경 파악이 요구된다. 이를 위해 라이다(LiDAR, Light Detection And Ranging), 레이더(RADAR, RAdio Detection And Ranging), 카메라(camera) 등 검지를 위한 다양한 센서가 사용된다. 그 중에서도 카메라는 물체 감지, 교통 정보 수집, 간격 유지, 차선 검지 등 영상 내에 많은 정보를 포함하고 다른 센서 대비 저렴하며 접근성이 뛰어나서 카메라 기반의 주변 환경 정보 수집 등의 연구가 활발히 진행되고 있다.
그러나, 종래에는 듀얼 카메라의 영상 보정과 차선 검출을 수행한 후, 장착 위치의 선정 및 전방 물체의 거리를 측정하여 시험 평가하는 방법에 대한 연구는 부족한 실정이다.
본 발명의 배경기술은 대한민국 등록특허공보 10-2189355호(2020.12.03)의 'G센서를 이용한 카메라 위치 조정 장치 및 방법'에 개시되어 있다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 듀얼 카메라의 장착 위치를 높이와 간격 및 경사각 측면에서 결정하는 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법을 제공하는 데 있다.
본 발명의 일 측면에 따른 차량용 듀얼 카메라 장착 위치 결정 장치는 듀얼 카메라를 통해 촬영된 영상을 보정하여 상기 듀얼 카메라의 초점거리 및 시차를 검출하는 영상 보정부; 상기 듀얼 카메라에서 촬영된 영상에서 차선을 검출하는 차선 검출부; 및 상기 영상 보정부에 의해 검출된 초점거리와 시차, 및 상기 차선 검출부에 의해 검출된 차선을 토대로 물체까지의 거리를 측정하고, 측정된 상기 물체까지의 거리와 기 설정된 실제 거리를 통해 상기 듀얼 카메라의 장착 위치를 결정하는 장착 위치 결정부를 포함하는 것을 특징으로 한다.
본 발명의 상기 장착 위치 결정부는, 상기 듀얼 카메라의 장착 위치를 결정하기 위한 변수에 따라 상기 듀얼 카메라가 장착되면, 상기 영상 보정부에 의해 검출된 시차를 이용하여 물체까지의 거리를 복수 회에 걸쳐 측정하는 거리 검출부; 상기 거리 검출부에 의해 검출된 상기 물체까지의 거리를 상기 실제 거리와 비교하여 오차율을 검출한 후, 상기 오차율에 따라 상기 듀얼 카메라의 장착 위치를 판정하는 위치 판정부; 및 상기 오차율에 따라 변수를 조정하는 변수 조정부를 포함하는 것을 특징으로 한다.
본 발명의 상기 변수는 상기 듀얼 카메라의 높이와 간격 및 각도 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 상기 변수 조정부는 상기 높이와 간격 및 각도 각각에 기 설정된 설정범위 내에서 상기 높이와 간격 및 각도 중 적어도 하나를 조정하는 것을 특징으로 한다.
본 발명의 상기 위치 판정부는 상기 오차율을 기 설정된 기준 오차율과 비교하여 비교 결과에 따라 상기 듀얼 카메라의 장착 위치를 결정하는 것을 특징으로 한다.
본 발명의 상기 위치 판정부는 상기 오차율이 상기 기준 오차율 미만이면 상기 듀얼 카메라의 현재 위치를 최종 위치로 판정하는 것을 특징으로 한다.
본 발명의 상기 영상 보정부는 상기 듀얼 카메라에서 촬영된 영상의 영상 왜곡을 제거하는 영상 왜곡 제거부; 상기 듀얼 카메라에서 촬영된 영상의 수직 시차를 영상 정류 보정하는 영상 정류부; 및 상기 물체까지의 거리를 측정하기 위한 초점거리 및 시차를 검출하는 초점거리 검출부를 포함하는 것을 특징으로 한다.
본 발명의 상기 차선 검출부는 상기 듀얼 카메라를 통해 촬영된 영상에서 관심영역을 설정하는 관심영역 설정부; 상기 관심영역에 대한 영상 처리를 통해 직선 검출 영상을 추출하는 직선 검출 영상 추출부; 상기 관심영역에 대한 영상 처리를 통해 색상 검출 영상을 추출하는 색상 검출 영상 추출부; 상기 직선 검출 영상과 상기 색상 검출 영상을 결합하고 원근감이 제거된 효과를 갖는 영상을 획득하는 영상 원근 변환부; 및 이전 프레임에서 차선이 검출되는지 여부에 따라, 영상 원근 변환부에 의해 변환된 영상에서 차선 후보를 탐색하여 상기 차선 후보를 통해 차선이 검출된 영상을 획득하는 차선 생성부를 포함하는 것을 특징으로 한다.
본 발명의 상기 관심영역 설정부는 차선 검출이 가능한 영상의 높이를 토대로 설정되는 것을 특징으로 한다.
본 발명의 상기 직선 검출 영상 추출부는 상기 관심영역에 대한 그레이스케일 변환을 수행하여 관심영역을 흑백 영상으로 변환하고, 캐니 엣지 검출을 통해 상기 관심영역에서 엣지를 검출한 후, 허프 변환과 필터링을 통해 상기 직선 검출 영상을 추출하는 것을 특징으로 한다.
본 발명의 상기 색상 검출 영상 추출부는 상기 관심영역에 대한 RGB 형식을 색조, 채도, 명도의 채널을 가지는 HSV(Hue, Saturation, Value) 형식 영상으로 변환한 후, 노란색에 해당하는 범위의 색조, 채도, 명도에 대한 범위값을 지정하여 지정된 범위 내의 픽셀을 토대로 상기 색상 검출 영상을 추출하는 것을 특징으로 한다.
본 발명의 상기 영상 원근 변환부는 상기 직선 검출 영상과 상기 색상 검출 영상을 기 설정된 비율로의 가중치로 결합하고, 결합된 영상에 대한 4개의 좌표와 변환된 영상에 대한 4개의 좌표로 계산된 변환행렬을 입력 영상에 적용하여 상기 원근감이 제거된 효과를 갖는 영상을 획득하는 것을 특징으로 한다.
본 발명의 상기 차선 생성부는 상기 이전 프레임에서 차선이 검출되면, 상기 영상 원근 변환부에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고 획득한 차선 곡선의 인근 영역에서 슬라이딩 윈도우 기법을 통해 상기 차선 후보를 탐색하며, 상기 이전 프레임에서 차선이 검출되지 않으면, 상기 영상 원근 변환부에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고 전체 영역에서 슬라이딩 윈도우 기법을 통해 차선 후보를 탐색하는 것을 특징으로 한다.
본 발명의 상기 차선 생성부는 상기 차선 후보의 픽셀에 대한 좌표를 2차 곡선에 접합하여 상기 차선 곡선을 생성한 후, 원근 변환을 통해 입력 영상에 적용하여 상기 차선이 검출된 영상을 획득하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 차량용 듀얼 카메라 장칙 위치 결정 방법은 영상 보정부가 듀얼 카메라를 통해 촬영된 영상을 보정하여 상기 듀얼 카메라의 초점거리와 시차를 검출하는 단계; 차선 검출부가 상기 듀얼 카메라에서 촬영된 영상에서 차선을 검출하는 단계; 및 장착 위치 결정부가 상기 영상 보정부에 의해 검출된 초점거리와 시차, 및 차선 검출부에 의해 검출된 차선을 이용하여 물체까지의 거리를 측정하고, 측정된 상기 물체까지의 거리와 기 설정된 실제 거리를 통해 상기 듀얼 카메라의 장착 위치를 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 차선을 검출하는 단계는 상기 듀얼 카메라를 통해 촬영된 영상에서 관심영역을 설정하는 단계; 상기 관심영역에 대한 영상 처리를 통해 직선 검출 영상을 추출하는 단계; 상기 관심영역에 대한 영상 처리를 통해 색상 검출 영상을 추출하는 단계; 상기 직선 검출 영상과 상기 색상 검출 영상을 결합하고 원근감이 제거된 효과를 갖는 영상을 획득하는 단계; 및 이전 프레임에서 차선이 검출되는지 여부에 따라, 영상 원근 변환부에 의해 변환된 영상에서 차선 후보를 탐색하여 상기 차선 후보를 통해 차선이 검출된 영상을 획득하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 관심영역을 설정하는 단계는, 차선 검출이 가능한 영상의 높이를 토대로 설정되는 것을 특징으로 한다.
본 발명의 상기 직선 검출 영상을 추출하는 단계는, 상기 관심영역에 대한 그레이스케일 변환을 수행하여 관심영역을 흑백 영상으로 변환하고, 캐니 엣지 검출을 통해 상기 관심영역에서 엣지를 검출한 후, 허프 변환과 필터링을 통해 상기 직선 검출 영상을 추출하는 것을 특징으로 한다.
본 발명의 상기 색상 검출 영상을 추출하는 단계는, 상기 관심영역에 대한 RGB 형식을 색조, 채도, 명도의 채널을 가지는 HSV(Hue, Saturation, Value) 형식 영상으로 변환한 후, 노란색에 해당하는 범위의 색조, 채도, 명도에 대한 범위값을 지정하여 지정된 범위 내의 픽셀을 토대로 상기 색상 검출 영상을 추출하는 것을 특징으로 한다.
본 발명의 상기 원근감이 제거된 효과를 갖는 영상을 획득하는 단계는, 상기 직선 검출 영상과 상기 색상 검출 영상을 기 설정된 비율로의 가중치로 결합하고, 결합된 영상에 대한 4개의 좌표와 변환된 영상에 대한 4개의 좌표로 계산된 변환행렬을 입력 영상에 적용하여 상기 원근감이 제거된 효과를 갖는 영상을 획득하는 것을 특징으로 한다.
본 발명의 상기 차선이 검출된 영상을 획득하는 단계는, 상기 이전 프레임에서 차선이 검출되면, 상기 영상 원근 변환부에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고 획득한 차선 곡선의 인근 영역에서 슬라이딩 윈도우 기법을 통해 상기 차선 후보를 탐색하며, 상기 이전 프레임에서 차선이 검출되지 않으면, 상기 영상 원근 변환부에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고 전체 영역에서 슬라이딩 윈도우 기법을 통해 차선 후보를 탐색하는 것을 특징으로 한다.
본 발명의 상기 차선이 검출된 영상을 획득하는 단계는, 상기 차선 후보의 픽셀에 대한 좌표를 2차 곡선에 접합하여 상기 차선 곡선을 생성한 후, 원근 변환을 통해 입력 영상에 적용하여 상기 차선이 검출된 영상을 획득하는 것을 특징으로 한다.
본 발명의 상기 듀얼 카메라의 장착 위치를 결정하는 단계는, 상기 듀얼 카메라의 장착 위치를 결정하기 위한 변수에 따라 상기 듀얼 카메라가 장착되면, 상기 영상 보정부에 의해 검출된 시차를 이용하여 물체까지의 거리를 복수 회에 걸쳐 측정하는 단계; 및 상기 물체까지의 거리를 상기 실제 거리와 비교하여 오차율을 검출한 후, 상기 오차율에 따라 상기 듀얼 카메라의 장착 위치를 판정하거나 변수를 조정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 변수는 상기 듀얼 카메라의 높이와 간격 및 각도 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법은 차량 내 최적의 듀얼 카메라 장착 위치를 결정할 수 있다.
본 발명의 다른 측면에 따른 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법은 자율주행자동차 시험시 기존에 사용하던 고가장비 및 전문인력이 필요하지 않고, 카메라만으로 자율주행이 가능하도록 기술개발되는 경향에 대응이 가능하다.
도 1 은 본 발명의 일 실시예에 따른 차량용 듀얼 카메라 장착 위치 결정 장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 영상 보정부의 블럭 구성도이다.
도 3 은 본 발명의 일 실시예에 따른 영상 왜곡 보정을 위한 체커보드 영상을 나타낸 도면이다.
도 4 는 본 발명의 일 실시예에 따른 보정된 영상을 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따른 수평 스테레오 카메라 모델을 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 차선 검출부의 블럭 구성도이다.
도 7 은 본 발명의 일 실시예에 따른 차선 검출 과정을 도시한 순서도이다.
도 8 은 본 발명의 일 실시예에 따른 차선 검출 과정의 영상이다.
도 9 는 본 발명의 일 실시예에 따른 장착 위치 결정부의 블럭 구성도이다.
도 10 은 본 발명의 일 실시예에 따른 장착 위치를 개념적으로 나타낸 도면이다.
도 11 내지 도 13 은 본 발명의 일 실시예에 따른 카메라의 위치에 따른 영상을 나타낸 도면이다.
도 14 내지 도 16 은 본 발명의 일 실시예에 따른 위치 선정에 따른 평균 오차율을 나타낸 도면이다.
도 17 은 본 발명의 일 실시예에 따른 직선로에서의 전방 물체까지의 거리를 나타낸 도면이다.
도 18 은 본 발명의 일 실시예에 따른 곡선로에서의 전방 물체까지의 거리를 나타낸 도면이다.
이하에서는 본 발명의 일 실시예에 따른 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 차량용 듀얼 카메라 장착 위치 결정 장치의 블럭 구성도이다.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 차량용 듀얼 카메라 장착 위치 결정 장치는 2개의 카메라(10), 차선 검출부(30), 영상 보정부(40), 및 장착 위치 결정부(50)를 포함한다.
카메라(10)는 차량의 좌측과 우측에 각각 설치되어 차량 전방의 영상을 촬영한다.
도 2 는 본 발명의 일 실시예에 따른 영상 보정부의 블럭 구성도이고, 도 3 은 본 발명의 일 실시예에 따른 영상 왜곡 보정을 위한 체커보드 영상을 나타낸 도면이며, 도 4 는 본 발명의 일 실시예에 따른 보정된 영상을 나타낸 도면이다. 도 5 는 본 발명의 일 실시예에 따른 평행 스테레오 카메라 모델을 나타낸 도면이다.
영상 보정부(40)는 카메라(10)에서 촬영된 영상을 보정한다.
도 2 를 참조하면, 영상 보정부(40)는 영상 왜곡 제거부(41), 영상 정류부(42), 및 초점거리 검출부(43)를 포함한다.
영상 왜곡 제거부(41)는 영상의 왜곡을 제거한다.
통상적으로, 카메라(10)로 획득한 영상에는 볼록렌즈의 굴절률에 의해 발생하는 방사왜곡(radial distortion) 및 카메라 제조과정에서 렌즈와 이미지 센서의 수평 문제 등으로 발생하는 접선왜곡(tangential distortion)이 존재한다. 이에, 영상 왜곡 제거부(41)는 영상의 가장자리에서 방사왜곡으로 인한 원형의 왜곡, 접선왜곡으로 인한 타원형의 왜곡을 보정한다.
이를 위해, 영상 왜곡 제거부(41)는 영상 속 각 픽셀에 해당하는 좌표를 왜곡시켰을 때, 왜곡 영상 속 대응되는 픽셀의 값을 보정된 영상 속 각 픽셀의 값으로 사용한다.
본 실시예에서는 영상처리를 위해 OpenCV의 내장된 체커보드 패턴 탐색 함수, 코너 점 탐색 함수, 및 카메라 캘리브레이션 함수를 사용한다. 보정된 영상을 얻기 위해 카메라(10)로 6x4 체커보드를 촬영하여 체커보드 내의 코너 점을 찾고, 얻은 점들로부터 카메라 매트릭스(matrix)와 왜곡 계수를 계산한다. 도 6 의 (a)는 원본 영상에서 코너 점을 찾은 영상이고, (b)는 왜곡을 제거한 영상이다.
영상 정류부(42)는 카메라(10)의 설치 과정 혹은 카메라 내부 파라미터 등으로 발생할 수 있는 수직 시차를 영상 정류 보정한다.
통상적으로, 평행식 스테레오 카메라 구성은 카메라(10) 및 렌즈의 광축이 평행한 두 카메라(10)를 이용하므로, 수직 시차가 없기 때문에 영상처리에 유리하다.
영상 정류는 듀얼 카메라의 영상 내의 픽셀 행을 일치시키기 위한 에피폴라 라인(epipolar line)을 찾은 후, 영상 속 임의의 물체를 동일한 수평 좌표를 갖게 하는 것이다.
본 실시예에는 영상처리를 위해 OpenCV의 내장된 스테레오 캘리브레이션 함수와 스테레오 정류 함수를 사용하고, 체커보드 패턴 탐색, 코너 점 탐색 듀얼 카메라의 캘리브레이션을 위해 영상 왜곡 제거 단계에서 사용된 체커보드 영상을 사용할 수 있다. 도 4 의 (a)와 같이 하나의 체커보드를 듀얼 카메라로 촬영해 얻은 한 쌍의 영상으로부터 내부 파라미터와 두 카메라(10)의 회전 매트릭스, 정류된 좌표계에서의 투영 행렬 등을 얻을 수 있다. 이를 이용하면 도 4 의 (b)와 같은 보정된 영상을 얻을 수 있다.
초점거리 검출부(43)는 거리 측정을 위한 초점거리를 검출한다. 거리 측정을 위해 두 개의 카메라(10)의 광축이 서로 평행하고 렌즈가 서로 지면으로부터 동일한 높이에 위치하여 동일선상에 있으며, 도 5 에 도시된 바와 같은 카메라(10)의 기하학적 구조와 삼각측량법을 이용함으로써, 카메라(10)의 위치부터 물체까지의 3차원 좌표를 수학식 1과 같이 계산할 수 있다.
Figure pat00001
여기서, X, Y, Z는 세계 좌표계상의 물체 좌표, f는 초점거리, b는 좌우 카메라 사이의 간격, d는 시차, xl은 왼쪽 영상의 x좌표, xr은 오른쪽 영상의 x좌표, yl은 왼쪽 영상의 y좌표, yr은 오른쪽 영상의 y좌표이다.
한편, 초점거리는 Z축 좌표를 계산하기 위해 필요한 파라미터 중 하나지만, 고가의 카메라에 비해 값이 저렴한 웹캠의 경우 제조사에서 초점거리를 제공하지 않거나, 제공된 값과의 오차가 있을 수 있다. 또한 영상 보정을 거치면서 오차가 발생할 수 있기 때문에 값을 보정할 필요가 있다.
초점 거리 보정을 위하여 실제 데이터 기반으로 커브 피팅(curve fitting)을 수행할 수 있다. 수학식 1에서 Z축 좌표 Z와 시차 d가 반비례관계라는 점을 이용하여, 수학식 2를 얻을 수 있다.
Figure pat00002
Zactual은 실제거리이고, α,β는 초점 거리 보정을 통해 얻은 계수이며, d는 시차이다.
일 예로, 1m부터 5m까지 0.5m 간격으로 설치된 물체를 촬영하고, 각 지점에서의 물체의 시차를 계산하며, 거리별 시차 데이터와 수학식 2를 활용해 최소제곱법을 사용한 커브 피팅을 수행하면 계수 α,β를 얻을 수 있다.
이러한 초점거리와 시차를 토대로 후술하는 거리 검출부(51)에 의해 물체까지의 거리가 검출될 수 있다.
차선 검출부(30)는 2개의 카메라(10)에서 촬영된 영상에서 차선을 검출한다.
도 6 은 본 발명의 일 실시예에 따른 차선 검출부의 블럭 구성도이고, 도 7 은 본 발명의 일 실시예에 따른 차선 검출 과정을 도시한 순서도이며, 도 8 은 본 발명의 일 실시예에 따른 차선 검출 과정의 영상이다.
도 6 내지 도 8 을 참조하면, 차선 검출부(30)는 관심영역((region of interest)) 설정부(31), 직선 검출 영상 추출부(32), 색상 검출 영상 추출부(33), 영상 원근 변환부(34), 차선 생성부(35), 및 차선 적용부(36)를 포함한다.
관심영역 설정부(31)는 영상이 입력되면 영상 내에서 차선이 위치할 수 있는 관심영역을 설정한다(S10,S20). 관심영역은 카메라로 취득한 영상에서 필요한 정보가 있는 영역이다. 카메라가 자동차에 고정되면 도로에서 촬영되는 범위가 변하지 않기 때문에 관계없는 영역을 제거하여 필요한 영역만을 얻을 수 있다.
도 8 의 (a)는 고정된 좌측 카메라에서 입력되는 영상이며, 차선 검출이 가능한 영상의 높이인 20%에서 50%를 관심영역으로 설정하면 도 8 의 (b)와 같이 얻을 수 있다.
직선 검출 영상 추출부(32)는 관심영역 설정부(31)에 의해 설정된 관심영역에 대한 영상 처리, 예컨대 그레이스케일(grayscale) 변환, 엣지 검출, 허프 변환 및 필터링을 통해 직선 검출 영상을 추출한다.
먼저, 직선 검출 영상 추출부(32)는 관심영역에 대한 그레이스케일 변환을 수행한다(S30). 즉, 직선 검출 영상 추출부(32)는 관심영역인 RGB 형식을 단일 채널만을 가지는 흑백 영상으로 변환한다.
그레이스케일(grayscale) 변환은 3개의 채널로 구성된 RGB(Red, Green, Blue) 형식 영상을 하나의 채널로 구성된 단일 색상 영상으로 만든다. 변환된 영상은 밝기 정보만을 가지기 때문에 처리해야 할 데이터량이 1/3 수준으로 감소하여 연산 처리 속도를 높일 수 있다.
도 8 의 (c)는 그레이스케일 변환을 수행한 영상으로서, R, G, B 채널 각각의 픽셀 값을 더해서 평균한 값으로 생성된 단일채널 영상이다.
직선 검출 영상 추출부(32)는 노이즈 제거, 그라디언트 계산, 비최대 억제, 이력 현상 임계화의 단계로 구성된 캐니 에지 검출기(canny edge detector)를 이용하여 관심영역에서 엣지를 검출한다(S40).
캐니 에지 검출기는 에지 검출 알고리즘 중 하나이며, 노이즈(noise) 제거, 그라디언트(gradient)의 크기와 방향 계산, 비최대치 억제(non-maximum suppression), 이력 임계값(hysteresis threshold) 등의 단계를 거쳐 영상 내의 에지를 검출한다. 다단계 알고리즘으로 소벨 마스크(sobel mask)와 같은 미분 연산자만을 사용하는 방법보다 우수한 성능을 가진다.
도 8 의 (d)는 에지를 검출한 영상이다. 그리고 가우시안 필터(Gaussian filter)를 사용하여 노이즈를 제거하고, 캐니 에지 검출기를 사용하여 에지가 검출된 영상을 생성하였다.
마지막으로, 직선 검출 영상 추출부(32)는 엣지 검출 영상에서 허프 변환(hough transform)을 통해 직선 성분을 추출한 후, 기울기를 계산하여 수평선 및 수직선 제거하고, 직선이 검출된 영상을 추출한다(S50).
허프 변환은 x-y 좌표계의 성분을 r-θ 매개변수 공간의 성분으로 변환해서 표현하는 방법이다. x-y 좌표계의 직선과 점은 매개변수 공간에서 각각 점과 직선으로 표현되고, 매개변수 공간의 직선들이 교차하는 점을 이용하여 x-y 좌표계의 직선을 탐색할 수 있다.
도 8 의 (e)는 차선에 해당하는 직선을 얻은 영상이다. 에지가 검출된 영상에서 허프 변환을 이용하여 직선 성분을 검출하였다. 그리고 차선일 가능성이 낮은 수평선과 수직선을 제거하기 위해 획득한 직선의 기울기를 계산한 뒤, 기울기의 절대값이 5° 이하인 직선을 제거하였다.
색상 검출 영상 추출부(33)는 관심영역에 대한 HSV(Hue, Saturation, Value) 형식 변환 및 색상 검출을 통해 색상 검출 영상을 추출한다.
즉, 색상 검출 영상 추출부(33)는 입력 영상인 RGB 형식을 색조, 채도, 명도의 채널을 가지는 HSV 형식 영상으로 변환한다(S60).
HSV(Hue, Saturation, Value) 형식은 영상을 색상, 채도, 명도로 표현하는 색상 모델이다. 인간이 색상을 인식하는 방법을 응용한 모델이기 때문에 원하는 색상을 표현하는 것이 더 수월하다.
이어 색상 검출 영상 추출부(33)는 노란색에 해당하는 범위의 색조, 채도, 명도에 대한 범위값를 지정하고, 해당 범위 내의 픽셀이 검출된 색상 검출 영상을 추출한다(S70).
도 8 의 (f)는 도 8 의 (b)에서 노란색 픽셀을 추출한 영상이다. 영상을 RGB형식에서 HSV형식으로 변환한 후, 노란색 범위를 설정하였다. 색상, 채도, 명도의 범위는 0에서 1사이의 값으로 정규화했을 때, 색상의 범위는 0부터 0.1과 0.9부터 1까지, 채도의 범위는 0.12부터 1까지 해당한다. 명도의 값은 영상 평균 밝기의 1/3를 사용하였다. 그리고 영상에서 범위에 해당하는 값을 가진 픽셀은 255, 그렇지 않으면 0의 값을 가지도록 하였다.
영상 원근 변환부(34)는 직선 검출 영상 추출부(32)에 의해 추출된 직선이 검출된 영상과 색상 검출 영상 추출부(33)에 의해 추출된 색상이 검출된 영상을 결합하고 원근감이 제거된 효과를 갖는 영상을 획득한다.
즉, 영상 원근 변환부(34)는 직선 검출 영상 추출부(32)에 의해 추출된 직선이 검출된 영상과 색상 검출 영상 추출부(33)에 의해 추출된 색상이 검출된 영상을 기 설정된 비율 예를 들어 8:2의 가중치로 결합한다(S80).
도 8 의 (g)는 차선 후보에 해당하는 픽셀을 얻기 위해 직선을 추출한 영상과 색상을 추출한 영상을 결합한 영상이다. 도 8 의 (c)의 영상을 0.8, 도 8 의 (d)의 영상을 0.2의 가중치를 주어 결합한 영상이다.
이어 영상 원근 변환부(34)는 상기한 바와 같이 결합된 영상에 대한 4개의 좌표와 변환 영상에 대한 4개의 좌표로 계산된 변환행렬을 입력 영상에 적용하여, 원근감이 제거된 효과를 갖는 영상을 획득한다(S90).
원근 변환은 3x3의 변환행렬을 사용해서 호모그래피(homography)로 모델링할 수 있는 변환이다. 영상의 픽셀의 위치를 이동하는 기하학적 처리 기법을 통해 원근감이 제거된 영상을 얻을 수 있다.
차선 생성부(35)는 이전 프레임의 차선 검출 여부에 따라, 영상 원근 변환부(34)에 의해 변환된 영상의 전체 영역에서 차선 후보를 탐색하거나 차선 곡선 영역에서 차선 후보를 탐색한다.
즉, 차선 생성부(35)는 이전 프레임에서 차선이 검출되면, 영상 원근 변환부(34)에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고, 획득한 차선 곡선의 인근 영역에서 슬라이딩 윈도우 기법을 통해 차선 후보를 탐색한다(S110).
반면에, 차선 생성부(35)는 이전 프레임에서 차선이 검출되지 않으면, 영상 원근 변환부(34)에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고, 전체 영역에서 슬라이딩 윈도우 기법을 통해 차선 후보를 탐색한다(S120).
도 8 의 (h)는 도 8 의 (g)의 영상에서 원근감을 제거한 뒤, 슬라이딩 윈도우(slinding window)를 사용해서 차선 후보를 획득한 영상이다. 관심영역에서 설정한 차선 상의 4개의 점은 와핑(warping)된 영상에서 (300, 648), (300, 0), (780, 0), (780, 648)의 점으로 이동시켜 일직선이 되도록 하였다. 그리고 폭이 영상의 1/20, 높이가 영상의 1/6인 54픽셀 크기의 정사각형 윈도우를 설정하고, 슬라이딩 윈도우 방법을 통해 가장 큰 픽셀 합을 가지는 윈도우를 찾았다.
슬라이딩 윈도우 기법이란 윈도우(window)라고 불리는 특정 크기의 하위 배열을 사용하고, 배열 전체에서 각각의 윈도우 내의 요소들을 계산할 때마다, 중복된 요소를 버리지 않고 재사용하여 연산량을 줄이는 방법이다.
도 8 의 (i)는 차선 후보 픽셀로부터 2차 곡선 적합을 통해 차선 곡선을 생성한 영상이다. 도 8 의 (h)에서 좌우 차선의 각각 6개의 윈도우로부터 얻은 차선 후보 픽셀의 위치와 최소자승법을 사용하여 2차 곡선에 적합하면 차선 곡선을 생성할 수 있다.
차선 생성부(35)는 각 윈도우에서 차선 후보의 픽셀에 대한 좌표를 얻고, 해당 좌표를 2차 곡선에 적합하여 차선 곡선을 생성한다(S130).
이어 차선 생성부(35)는 생성된 차선 곡선을 원근 변환을 통해 입력 영상에 적용하여 차선이 검출된 영상을 획득한다(S140).
도 8 의 (j)는 입력영상에서 차선을 검출한 영상이다. 획득한 차선 곡선을 원근 변환을 통해 입력 영상에 적용하면 차선이 검출된 영상을 얻을 수 있다.
도 9 는 본 발명의 일 실시예에 따른 장착 위치 결정부의 블럭 구성도이고, 도 10 은 본 발명의 일 실시예에 따른 장착 위치를 개념적으로 나타낸 도면이며, 도 11 내지 도 13 은 본 발명의 일 실시예에 따른 카메라의 위치에 따른 영상을 나타낸 도면이며, 도 14 내지 도 16 은 본 발명의 일 실시예에 따른 위치 선정에 따른 평균 오차율을 나타낸 도면이다.
장착 위치 결정부(50)는 차선 검출부(30)에 의해 검출된 차선을 통해 차선의 직선로 또는 곡선로에서의 곡률, 및 영상 보정부(40)를 통해 획득된 시차를 이용하여 전방 물체까지의 거리를 측정하고, 측정된 거리와 실제 거리 간의 오차율을 기반으로 카메라의 장착 위치를 결정한다.
장착 위치 결정부(50)는 거리 검출부(51), 위치 판정부(52), 및 변수 조정부(53)를 포함한다.
카메라(10)의 장착 위치는 도 10 에 도시된 바와 같이 차량의 전방 양측이다. 카메라(10)의 장착 위치는 카메라(10)의 높이와 간격 및 각도(경사각)로 정의될 수 있으며 이들 변수를 보정함으로써 최적의 장착 위치가 결정될 수 있다.
따라서, 차량에 따라 카메라(10)의 높이와 간격 및 각도별로 높이 설정범위, 간격 설정범위 및 각도 설정범위가 설정되고, 이들 각각의 설정범위 내에서 카메라(10)의 장착 위치가 결정될 수 있다.
본 실시예에서는 지면을 기준으로 거리를 측정한다. 카메라(10)의 장착 높이가 낮을수록 영상 내에 촬영되는 지면 영역이 늘어난다. 따라서 카메라(10)의 장착 높이도 취득영상의 영역 결정에 중요한 영향을 미친다.
예컨대, 높이는 높이 설정범위 내에서 30cm, 40cm, 50cm로 선정되는 것을 예시로 설명한다.
일반 승용차의 경우 범퍼의 지면으로부터 최소 30cm 이상 떨어져 있기 때문에, 높이의 최소값은 30cm으로 선정될 수 있다. 그리고 높이가 50cm보다 큰 경우 1m 이내의 지면 촬영이 힘들기 때문에 높이의 최대값은 50cm로 선정될 수 있다. 도 11 의 (a)는 카메라(10)의 설치 간격 30cm, 각도 12°인 경우, 높이가 각각 30cm, 40cm, 50cm일 때의 입력 영상이다.
수학식 1은 카메라(10)의 기하학적 구조와 삼각측량법을 기반으로 만들어진 수학식이다. 따라서 카메라(10) 사이의 간격은 거리 측정에 미치는 영향이 크다.
간격은 간격 설정범위 내에서 10cm, 20cm, 30cm로 선정되는 것을 예시로 설명한다. 카메라(10)를 배치할 때, 물리적으로 가능한 최소 간격이 10cm이기 때문에 최소값은 10cm로 선정될 수 있다. 또한, 높이는 경향성을 확인하기 위해 10cm 간격으로 30cm까지 3개의 값이 선정될 수 있다. 도 12 는 카메라(10)의 설치 높이 40cm, 각도 12°인 경우, 간격이 각각 10cm, 20cm, 30cm일 때의 입력 영상이다.
카메라(10)가 지면과 수평으로 설치될 경우, 수직 화각이 작은 카메라(10)는 근거리의 지면을 촬영하지 못할 수 있다. 따라서 카메라(10)가 경사각 θ만큼 기울어져 설치되면, 근거리의 지면을 촬영할 수 있기 때문에 카메라(10)의 설치 각도는 중요하다.
각도는 각도 설정범위 내에서 3°, 7°, 12°로 선정되는 것을 예시로 설명한다. 높이가 50cm일 때, 각도 3°보다 작은 경우 1m 이내의 지면 촬영이 어렵기 때문에 각도의 최소값은 3°로 선정될 수 있다. 각도가 클수록 영상 내의 도로영역이 증가하는데, 차량의 흔들림이나 경사로 등 존재할 경우 도로의 상단이 촬영되지 않을 가능성이 있다. 각도가 12°일 때 영상 높이의 20%부터 80%까지 도로영역이 되기 때문에, 각도의 최대값은 12°로 선정될 수 있다. 도 13 은 카메라(10)의 설치 높이 40cm, 간격 30cm인 경우, 각도가 각각 3°, 7°, 12°일 때의 입력 영상이다.
거리 검출부(51)는 상기한 변수, 즉 높이와 간격 및 각도별로 차량으로부터 물체까지의 거리를 복수 회에 걸쳐 측정한다. 거리 검출부(51)는 촬영된 영상으로 영상 보정부(40)의 시차와 수학식 2를 통해 물체까지의 거리를 측정한다.
위치 판정부(52)는 높이와 간격 및 각도별로 거리 검출부(51)에 의해 측정된 거리를 실제 거리와 각각 비교하여 오차율을 검출하고 검출된 오차율과 기 설정된 기준 오차율을 비교하여 비교 결과에 따라 최적의 장착 위치를 결정한다.
이 경우, 위치 판정부(52)는 오차율이 기 설정된 기준 오차율 미만인지에 따라 현재의 높이와 간격 및 각도를 최적의 장착 위치로 결정한다. 위치 판정부(52)는 오차율이 기준 오차율 미만이면 듀얼 카메라의 현재 위치를 최종 위치로 판정한다. 반면에, 오차율이 기준 오차율 이상이면, 변수 조정부(53)에 의해 변수가 조정된다.
변수 조정부(53)는 위치 판정부(52)에 검출된 오차율이 기준 오차율 이상이면 높이와 간격 및 각도 중 적어도 하나를 조정한다. 변수 조정부(53)는 조정된 듀얼 카메라의 높이와 간격 및 각도를 별도의 디스플레이기기를 통해 출력한다. 이에 따라 사용자는 조정된 변수를 참고하고 듀얼 카메라의 장착 위치를 변경한다. 이때, 거리 검출부(51)는 조정된 변수를 토대로 물체까지의 거리를 검출한다.
예를 들어, 각 카메라(10)를 자동차에 장착하고, 실제도로에서 1m부터 5m까지 0.5m 간격으로 물체를 설치하고, 거리 검출부(51)를 통해 측정한 결과는 도 14 내지 도 16 과 같다.
도 14 는 높이가 30cm일 때의 시험결과이고, 도 14 의 (a), (b), (c)는 각각 간격이 10cm, 20cm, 30cm일 때 각도에 따른 정밀도를 비교한 결과이다.
도 14 의 (a), (b), (c)에서 평균오차율이 가장 작은 경우는 각각 3°의 13.28%, 12°의 4.14%, 12°의 8.34%이다.
도 15 는 높이가 40cm일 때의 시험결과이다. 도 15 의 (a), (b), (c)는 각각 간격이 10cm, 20cm, 30cm일 때 각도에 따른 정밀도를 비교한 결과이다.
도 15 의 (a), (b), (c)에서 평균오차율이 가장 작은 경우는 각각 3°의 5.55%, 7°의 5.49%, 12°의 0.86%이다.
도 16 은 높이가 50cm일 때의 시험결과이다. 도 16 의 (a), (b), (c)는 각각 간격이 10cm, 20cm, 30cm일 때 각도에 따른 정밀도를 비교한 결과이다.
도 16 의 (a), (b), (c)에서 평균오차율이 가장 작은 경우는 각각 7°의 3.77%, 7°의 2.45%, 12°의 1.32%이다.
도 14 내지 도 16 을 참고하면, 각도가 클수록 오차율이 감소하고, 간격이 넓을수록 오차율이 감소하며, 높이가 30cm에서 40cm로 높이가 증가할 때 오차율이 감소하고, 50cm로 증가할 때 오차율이 다시 증가한다.
이에, 변수 조정부(53)는 상기한 오차율의 변화를 토대로 각도와 간격 및 높이 중 적어도 하나를 선택적으로 조정한다.
상기한 분석 결과, 카메라(10)의 장착 위치는 높이 40cm, 간격 30cm, 각도 12°에서 가장 우수하다.
한편, 거리 검출부(51)는 직선로와 곡선로에서의 전방 물체까지의 거리를 각각 검출할 수 있다.
도 17 은 본 발명의 일 실시예에 따른 직선로에서의 전방 물체까지의 거리를 나타낸 도면이고, 도 18 은 본 발명의 일 실시예에 따른 곡선로에서의 전방 물체까지의 거리를 나타낸 도면이다.
거리 검출부(51)는 초점 거리 보정을 통해 획득한 계수 α를 초점거리 f로 사용하여 수학식 1에 대입하면 물체의 Z축 좌표를 얻을 수 있다. 하지만 시험에서는 근접 거리의 지면을 촬영하기 위하여 카메라(10)를 장착할 때 경사각 θ를 가지도록 한다. 즉, 카메라(10) 광축과 지면이 평행하지 않는다.
지면에서 카메라 위치부터 물체까지의 Z축 좌표를 계산하기 위해서는 수학식 1에 경사각 θ를 고려해 수학식 3과 같이 계산할 수 있다.
Figure pat00003
여기서, Xg, Yg, Zg는 지면에서 물체의 X,Y,Z축 좌표이고, θ는 카메라(10)의 각도이며, h는 카메라(10)의 높이이다.
도 17 과 같은 직선로에서는 카메라(10)부터 전방 물체까지의 거리는 종방향 수직거리만 요구하기 때문에
Figure pat00004
를 전방 물체까지의 거리로 사용할 수 있다.
도 18 과 같은 곡선로에서는 전방 물체까지의 거리를 측정하기 위해 도로의 곡률반경을 고려해야 한다.
따라서, 거리 검출부(51)는 물체의 X축 좌표와 Z축 좌표를 이용하여 수직 거리를 구한 뒤, 곡률반경을 고려하여 전방 물체까지의 거리를 계산한다.
카메라 위치와 전방물체까지의 수직거리는 식 (4)와 같이 계산된다.
Figure pat00005
여기서, chord는 자동차와 물체 사이의 수직거리이고, Xg1, Yg1은 지면상에서 자동차의 x, y 좌표이며, Xg2, Yg2는 지면상에서 물체의 x, y 좌표이다.
곡률중심을 중심으로 가지고, 카메라(10)의 위치부터 전방물체까지의 수직거리를 현(chord)으로 가지는 부채꼴의 중심각 φ는 수학식 5와 같이 계산된다.
Figure pat00006
여기서, φ는 자동차와 물체 사이의 각도(부채꼴의 중심각), R은 도로의 곡률반경이다.
부채꼴의 중심각 φ와 곡률반경 R이용하여 계산된 원의 호(arc)의 길이는 수학식 6과 같이 계산된다.
Figure pat00007
여기서, arc는 곡률반경을 고려한 자동차와 물체 사이의 거리이다.
곡선로에서 차량부터 전방물체까지의 거리는 곡률중심과 물체의 3차원 위치를 고려하여 계산될 수 있으며, 호가 카메라 위치부터 전방물체까지의 거리로 결정될 수 있다.
곡률반경의 유무에 따라 직선로와 곡선로에 따라 다른 수식을 제안하였다. 제안된 수식에서 곡선로에서 곡률반경이 클수록 직선로 거리 측정 식과 곡선로 거리 측정 식의 차이가 감소한다. 따라서 곡률반경이 일정 값을 이상이면 직선로로 결정하고 그렇지 않으면 곡선로로 결정한 뒤, 수식을 적용한다. 곡률반경이 1293m일 때 오차율이 0.1% 이하가 된다. 따라서 제안하는 수식은 1293m를 기준점으로 사용하였고, 수학식 7과 같이 표현된다.
Figure pat00008
여기서, Zt는 카메라(10)로부터 전방의 물체까지의 이론적 거리이다.
실차시험은 전방 거리 측정 식의 검증을 위해, 듀얼 카메라를 선정한 최적 위치(높이 40cm, 간격 30cm, 각도 12°)에 장착 후 진행하였다.
시험을 진행한 직선도로와 곡선도로이다. 곡선도로의 경우, 곡률 반지름은 69m이고, 곡률 반지름이 80m 이하인 곡선도로에서 진행되었다. 직선도로의 경우, 자동차 전방 10m부터 40m까지 10m 간격으로 설치된 장애물에 대해, 정지 상태와 주행 상태를 구분하였다. 곡선도로의 경우, 도로의 중심과 좌우 차선에 장애물을 설치하고, 6m에서 21m까지 5m 간격으로 설치된 장애물에 대해, 정지 상태와 주행 상태를 구분하여 총 4가지 경우에 대해 시험을 진행하였다.
객관적인 데이터 취득을 위해 동일한 장비를 활용하여 3회 반복시험하였다.
직선로 정지 상태의 경우, 10m 지점부터 40m 지점까지 모두 물체를 식별할 수 있었으며, 최대 오차는 30m 지점에서 2.29%로 나타났다.
직선로 주행 상태의 경우, 10m 지점부터 20m 지점까지 물체를 식별할 수 있었으며, 30m 지점 이상부터는 물체를 식별할 수 없었다. 이는 주행 중 발생하는 자동차의 흔들림, 조명 변화, 카메라(10)의 진동 등의 영향으로 판단하였으며, 최대 오차는 20m 지점에서 5.35%로 나타났다.
곡선로 정지 상태의 경우, 5m 지점부터 20m 지점까지 물체를 식별할 수 있었으며, 최대 오차는 20m 지점에서 1.65%로 나타났다.
곡선로 주행 상태의 경우, 5m 지점에서 15m 지점까지 물체를 식별할 수 있었으며, 20m 지점에서는 물체를 식별할 수 없었다. 이는 주행 중 발생하는 자동차의 흔들림, 조명 변화, 카메라(10)의 진동 등의 영향으로 판단하였으며, 최대 오차는 6m 지점에서 9.40%로 나타났다.
시험결과, 물체와의 거리 측정의 오차는 자동차의 흔들림, 조명 변화, 카메라(10)의 진동 등으로 인하여 전방물체가 부정확하게 검출될 때 오차가 증가하는 경향을 보인다. 그리고 곡선로 주행 상태의 경우 오차가 직선로와 비교해서 비교적 큰 경향을 보이는데, 이는 계산과정에서 사용된 고정된 곡률반경이 영향을 미친 것으로 판단된다.
이와 같이, 본 발명의 일 실시예에 따른 차량용 듀얼 카메라 장착 위치 결정 장치는 차량 내 최적의 듀얼 카메라 장착 위치를 결정할 수 있다.
또한, 본 발명의 일 실시예에 따른 차량용 듀얼 카메라 장착 위치 결정 장치는 자율주행자동차 시험시 기존에 사용하던 고가장비 및 전문인력이 필요하지 않고, 카메라만으로 자율주행이 가능하도록 기술개발되는 경향에 대응이 가능하다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 카메라 30: 차선 검출부
31: 관심영역 설정부 32: 그레이스케일 변환부
33: HSV 형식 변환부 34: 에지 검출부
35: 필터링부 36: 차선 인식부
40: 영상 보정부 41: 영상 왜곡 제거부
42: 영상 정류부 43: 초점거리 검출부
50: 장착 위치 결정부 51: 거리 검출부
52: 오차율 검출부 53: 변수 조정부

Claims (24)

  1. 듀얼 카메라를 통해 촬영된 영상을 보정하여 상기 듀얼 카메라의 초점거리 및 시차를 검출하는 영상 보정부;
    상기 듀얼 카메라에서 촬영된 영상에서 차선을 검출하는 차선 검출부; 및
    상기 영상 보정부에 의해 검출된 초점거리와 시차, 및 상기 차선 검출부에 의해 검출된 차선을 토대로 물체까지의 거리를 측정하고, 측정된 상기 물체까지의 거리와 기 설정된 실제 거리를 통해 상기 듀얼 카메라의 장착 위치를 결정하는 장착 위치 결정부를 포함하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  2. 제 1 항에 있어서, 상기 장착 위치 결정부는,
    상기 듀얼 카메라의 장착 위치를 결정하기 위한 변수에 따라 상기 듀얼 카메라가 장착되면, 상기 영상 보정부에 의해 검출된 시차를 이용하여 물체까지의 거리를 복수 회에 걸쳐 측정하는 거리 검출부;
    상기 거리 검출부에 의해 검출된 상기 물체까지의 거리를 상기 실제 거리와 비교하여 오차율을 검출한 후, 상기 오차율에 따라 상기 듀얼 카메라의 장착 위치를 판정하는 위치 판정부; 및
    상기 오차율에 따라 변수를 조정하는 변수 조정부를 포함하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  3. 제 2 항에 있어서, 상기 변수는
    상기 듀얼 카메라의 높이와 간격 및 각도 중 적어도 하나를 포함하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  4. 제 3 항에 있어서, 상기 변수 조정부는
    상기 높이와 간격 및 각도 각각에 기 설정된 설정범위 내에서 상기 높이와 간격 및 각도 중 적어도 하나를 조정하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  5. 제 2 항에 있어서, 상기 위치 판정부는
    상기 오차율을 기 설정된 기준 오차율과 비교하여 비교 결과에 따라 상기 듀얼 카메라의 장착 위치를 결정하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  6. 제 5 항에 있어서, 상기 위치 판정부는
    상기 오차율이 상기 기준 오차율 미만이면 상기 듀얼 카메라의 현재 위치를 최종 위치로 판정하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  7. 제 1 항에 있어서, 상기 영상 보정부는
    상기 듀얼 카메라에서 촬영된 영상의 영상 왜곡을 제거하는 영상 왜곡 제거부;
    상기 듀얼 카메라에서 촬영된 영상의 수직 시차를 영상 정류 보정하는 영상 정류부; 및
    상기 물체까지의 거리를 측정하기 위한 초점거리 및 시차를 검출하는 초점거리 검출부를 포함하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  8. 제 1 항에 있어서, 상기 차선 검출부는
    상기 듀얼 카메라를 통해 촬영된 영상에서 관심영역을 설정하는 관심영역 설정부;
    상기 관심영역에 대한 영상 처리를 통해 직선 검출 영상을 추출하는 직선 검출 영상 추출부;
    상기 관심영역에 대한 영상 처리를 통해 색상 검출 영상을 추출하는 색상 검출 영상 추출부;
    상기 직선 검출 영상과 상기 색상 검출 영상을 결합하고 원근감이 제거된 효과를 갖는 영상을 획득하는 영상 원근 변환부; 및
    이전 프레임에서 차선이 검출되는지 여부에 따라, 영상 원근 변환부에 의해 변환된 영상에서 차선 후보를 탐색하여 상기 차선 후보를 통해 차선이 검출된 영상을 획득하는 차선 생성부를 포함하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  9. 제 8 항에 있어서, 상기 관심영역 설정부는
    차선 검출이 가능한 영상의 높이를 토대로 설정되는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  10. 제 8 항에 있어서, 상기 직선 검출 영상 추출부는
    상기 관심영역에 대한 그레이스케일 변환을 수행하여 관심영역을 흑백 영상으로 변환하고, 캐니 엣지 검출을 통해 상기 관심영역에서 엣지를 검출한 후, 허프 변환과 필터링을 통해 상기 직선 검출 영상을 추출하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  11. 제 8 항에 있어서, 상기 색상 검출 영상 추출부는
    상기 관심영역에 대한 RGB 형식을 색조, 채도, 명도의 채널을 가지는 HSV(Hue, Saturation, Value) 형식 영상으로 변환한 후, 노란색에 해당하는 범위의 색조, 채도, 명도에 대한 범위값을 지정하여 지정된 범위 내의 픽셀을 토대로 상기 색상 검출 영상을 추출하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  12. 제 8 항에 있어서, 상기 영상 원근 변환부는
    상기 직선 검출 영상과 상기 색상 검출 영상을 기 설정된 비율로의 가중치로 결합하고, 결합된 영상에 대한 4개의 좌표와 변환된 영상에 대한 4개의 좌표로 계산된 변환행렬을 입력 영상에 적용하여 상기 원근감이 제거된 효과를 갖는 영상을 획득하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  13. 제 8 항에 있어서, 상기 차선 생성부는
    상기 이전 프레임에서 차선이 검출되면, 상기 영상 원근 변환부에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고 획득한 차선 곡선의 인근 영역에서 슬라이딩 윈도우 기법을 통해 상기 차선 후보를 탐색하며, 상기 이전 프레임에서 차선이 검출되지 않으면, 상기 영상 원근 변환부에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고 전체 영역에서 슬라이딩 윈도우 기법을 통해 차선 후보를 탐색하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 장치.
  14. 제 13 항에 잇어서, 상기 차선 생성부는
    상기 차선 후보의 픽셀에 대한 좌표를 2차 곡선에 접합하여 상기 차선 곡선을 생성한 후, 원근 변환을 통해 입력 영상에 적용하여 상기 차선이 검출된 영상을 획득하는 것을 특징으로 하는 차량용 듀얼 카메라 장칙 위치 결정 장치.
  15. 영상 보정부가 듀얼 카메라를 통해 촬영된 영상을 보정하여 상기 듀얼 카메라의 초점거리와 시차를 검출하는 단계;
    차선 검출부가 상기 듀얼 카메라에서 촬영된 영상에서 차선을 검출하는 단계; 및
    장착 위치 결정부가 상기 영상 보정부에 의해 검출된 초점거리와 시차, 및 차선 검출부에 의해 검출된 차선을 이용하여 물체까지의 거리를 측정하고, 측정된 상기 물체까지의 거리와 기 설정된 실제 거리를 통해 상기 듀얼 카메라의 장착 위치를 결정하는 단계를 포함하는 차량용 듀얼 카메라 장착 위치 결정 방법.
  16. 제 15 항에 있어서, 상기 차선을 검출하는 단계는
    상기 듀얼 카메라를 통해 촬영된 영상에서 관심영역을 설정하는 단계;
    상기 관심영역에 대한 영상 처리를 통해 직선 검출 영상을 추출하는 단계;
    상기 관심영역에 대한 영상 처리를 통해 색상 검출 영상을 추출하는 단계;
    상기 직선 검출 영상과 상기 색상 검출 영상을 결합하고 원근감이 제거된 효과를 갖는 영상을 획득하는 단계; 및
    이전 프레임에서 차선이 검출되는지 여부에 따라, 영상 원근 변환부에 의해 변환된 영상에서 차선 후보를 탐색하여 상기 차선 후보를 통해 차선이 검출된 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 방법.
  17. 제 16 항에 있어서, 상기 관심영역을 설정하는 단계는,
    차선 검출이 가능한 영상의 높이를 토대로 설정되는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 방법.
  18. 제 16 항에 있어서, 상기 직선 검출 영상을 추출하는 단계는,
    상기 관심영역에 대한 그레이스케일 변환을 수행하여 관심영역을 흑백 영상으로 변환하고, 캐니 엣지 검출을 통해 상기 관심영역에서 엣지를 검출한 후, 허프 변환과 필터링을 통해 상기 직선 검출 영상을 추출하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 방법.
  19. 제 16 항에 있어서, 상기 색상 검출 영상을 추출하는 단계는,
    상기 관심영역에 대한 RGB 형식을 색조, 채도, 명도의 채널을 가지는 HSV(Hue, Saturation, Value) 형식 영상으로 변환한 후, 노란색에 해당하는 범위의 색조, 채도, 명도에 대한 범위값을 지정하여 지정된 범위 내의 픽셀을 토대로 상기 색상 검출 영상을 추출하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 방법.
  20. 제 16 항에 있어서, 상기 원근감이 제거된 효과를 갖는 영상을 획득하는 단계는,
    상기 직선 검출 영상과 상기 색상 검출 영상을 기 설정된 비율로의 가중치로 결합하고, 결합된 영상에 대한 4개의 좌표와 변환된 영상에 대한 4개의 좌표로 계산된 변환행렬을 입력 영상에 적용하여 상기 원근감이 제거된 효과를 갖는 영상을 획득하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 방법.
  21. 제 16 항에 있어서, 상기 차선이 검출된 영상을 획득하는 단계는,
    상기 이전 프레임에서 차선이 검출되면, 상기 영상 원근 변환부에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고 획득한 차선 곡선의 인근 영역에서 슬라이딩 윈도우 기법을 통해 상기 차선 후보를 탐색하며, 상기 이전 프레임에서 차선이 검출되지 않으면, 상기 영상 원근 변환부에 의해 변환된 영상의 중심을 기준으로 좌우 차선을 구분하고 전체 영역에서 슬라이딩 윈도우 기법을 통해 차선 후보를 탐색하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 방법.
  22. 제 21 항에 잇어서, 상기 차선이 검출된 영상을 획득하는 단계는,
    상기 차선 후보의 픽셀에 대한 좌표를 2차 곡선에 접합하여 상기 차선 곡선을 생성한 후, 원근 변환을 통해 입력 영상에 적용하여 상기 차선이 검출된 영상을 획득하는 것을 특징으로 하는 차량용 듀얼 카메라 장칙 위치 결정 방법.
  23. 제 15 항에 있어서, 상기 듀얼 카메라의 장착 위치를 결정하는 단계는,
    상기 듀얼 카메라의 장착 위치를 결정하기 위한 변수에 따라 상기 듀얼 카메라가 장착되면, 상기 영상 보정부에 의해 검출된 시차를 이용하여 물체까지의 거리를 복수 회에 걸쳐 측정하는 단계; 및
    상기 물체까지의 거리를 상기 실제 거리와 비교하여 오차율을 검출한 후, 상기 오차율에 따라 상기 듀얼 카메라의 장착 위치를 판정하거나 변수를 조정하는 단계를 포함하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 방법.
  24. 제 23 항에 있어서, 상기 변수는
    상기 듀얼 카메라의 높이와 간격 및 각도 중 적어도 하나를 포함하는 것을 특징으로 하는 차량용 듀얼 카메라 장착 위치 결정 방법.
KR1020210051720A 2021-04-21 2021-04-21 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 KR102629639B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210051720A KR102629639B1 (ko) 2021-04-21 2021-04-21 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210051720A KR102629639B1 (ko) 2021-04-21 2021-04-21 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220145080A true KR20220145080A (ko) 2022-10-28
KR102629639B1 KR102629639B1 (ko) 2024-01-29

Family

ID=83835403

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210051720A KR102629639B1 (ko) 2021-04-21 2021-04-21 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102629639B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285534A (ja) * 1995-04-12 1996-11-01 Suzuki Motor Corp 車載用画像処理装置
KR20120009590A (ko) * 2010-07-19 2012-02-02 주식회사 이미지넥스트 차선 인식 시스템 및 방법
KR20120079141A (ko) * 2010-09-14 2012-07-11 가부시키가이샤 리코 스테레오 카메라 장치, 보정 방법 및 프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285534A (ja) * 1995-04-12 1996-11-01 Suzuki Motor Corp 車載用画像処理装置
KR20120009590A (ko) * 2010-07-19 2012-02-02 주식회사 이미지넥스트 차선 인식 시스템 및 방법
KR20120079141A (ko) * 2010-09-14 2012-07-11 가부시키가이샤 리코 스테레오 카메라 장치, 보정 방법 및 프로그램

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ziqiang Sun, "Vision Based Lane Detection for Self-Driving Car", AEECA (2020.08.25-27.)* *
김정환, "확률적 허프 변환과 HSV 색 공간을 이용한 차선 검출 및 인식 알고리즘", 2017 대한전자공학회 학술대회 (2017.11.)* *

Also Published As

Publication number Publication date
KR102629639B1 (ko) 2024-01-29

Similar Documents

Publication Publication Date Title
CN109034047B (zh) 一种车道线检测方法及装置
JP5829980B2 (ja) 路側物検出装置
JP3759429B2 (ja) 障害物検出装置及びその方法
JP3868876B2 (ja) 障害物検出装置及び方法
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
CN110490936B (zh) 车辆摄像头的标定方法、装置、设备及可读存储介质
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US11880993B2 (en) Image processing device, driving assistance system, image processing method, and program
JP6516012B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US11054245B2 (en) Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP5587852B2 (ja) 画像処理装置及び画像処理方法
KR20120086962A (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
KR20140062334A (ko) 장애물 검출 장치 및 방법
KR102629639B1 (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
JP2004062519A (ja) レーンマーク検出装置
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
JP3104645B2 (ja) 道路白線検出方法及び道路白線検出装置
JPH1141521A (ja) 撮像装置および車間距離計測装置ならびに車間距離計測方法
KR102588013B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 적응형 크루즈 컨트롤 시스템의 성능 평가 장치와 그 제어 방법
KR20230094853A (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
JPH10283478A (ja) 特徴抽出方法およびその方法を用いた物体認識装置
JPH11190611A (ja) ３次元計測方法およびその方法を用いた３次元計測処理装置
JP6561688B2 (ja) 検出装置、検出方法、撮像装置、機器制御システム、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant