KR20190030242A - 차량용 카메라 캘리브레이션 장치 및 그 방법 - Google Patents

차량용 카메라 캘리브레이션 장치 및 그 방법 Download PDF

Info

Publication number
KR20190030242A
KR20190030242A KR1020170116914A KR20170116914A KR20190030242A KR 20190030242 A KR20190030242 A KR 20190030242A KR 1020170116914 A KR1020170116914 A KR 1020170116914A KR 20170116914 A KR20170116914 A KR 20170116914A KR 20190030242 A KR20190030242 A KR 20190030242A
Authority
KR
South Korea
Prior art keywords
lane
image
camera
new
correction
Prior art date
Application number
KR1020170116914A
Other languages
English (en)
Other versions
KR101969030B1 (ko
Inventor
이준석
전병찬
하정목
김희수
Original Assignee
㈜베이다스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ㈜베이다스 filed Critical ㈜베이다스
Priority to KR1020170116914A priority Critical patent/KR101969030B1/ko
Priority to CN201880002468.0A priority patent/CN109791700A/zh
Priority to PCT/KR2018/009001 priority patent/WO2019054636A1/ko
Priority to DE112018000107.5T priority patent/DE112018000107T5/de
Priority to US16/315,941 priority patent/US11398051B2/en
Publication of KR20190030242A publication Critical patent/KR20190030242A/ko
Application granted granted Critical
Publication of KR101969030B1 publication Critical patent/KR101969030B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량용 카메라 캘리브레이션 장치 및 그 방법에 관한 것으로, 차량에 장착된 다수개의 카메라로부터 차로를 촬영한 영상을 획득하는 카메라 모듈과, 상기 카메라 모듈로부터 획득된 영상을 입력받거나 보정된 영상을 출력하는 입출력 모듈과, 상기 입출력 모듈에서 입력 받은 영상으로부터 차선을 검출하고 차선의 특징점을 추출하는 차선검출 모듈 및 상기 입출력 모듈에서 입력 받은 영상에서 초기 카메라 정보와 외부 파라미터 정보를 이용하여 차선의 방정식과 차선폭을 이용하여 새로운 외부 파라미터를 추정하여 영상을 보정하는 카메라보정 모듈을 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 장치를 제공한다.

Description

차량용 카메라 캘리브레이션 장치 및 그 방법{METHOD AND APPARATUS FOR PROVIDING CAMERA CALIBRATION FOR VEHICLES}
본 발명은 차량용 카메라 캘리브레이션 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 차량에 장착된 복수개의 카메라로부터 입력 받은 도로상의 차선 촬영 영상을 이용하여 주행 중에도 카메라의 외부 파라미터를 자동으로 캘리브레이션 할 수 있도록 하는 차량용 카메라 캘리브레이션 장치 및 그 방법에 관한 것이다.
근래에 들어 자동차에는 블랙박스나 주차를 위한 후방 카메라와 같이 다양한 용도의 카메라가 사용되고 있다. 최근에는 자동차에 다수개의 카메라를 장착하여 하늘에서 자동차를 내려다보는 것과 같은 화면을 운전자에게 제공할 수 있어 자동차의 전, 후, 좌, 우의 사각을 완전히 제거할 수 있는 탑뷰(top view) 시스템 개발이 활발해지고 있다.
그런데 다수의 카메라가 자동차에 탑재될 경우에는 각각의 카메라로부터 전송되는 다수의 영상 정보를 통합하여야 하고 이러한 영상 정보 통합을 위해서는 좌표계의 통합이 무엇보다도 중요하다. 다시 말하면, 다수개의 카메라로부터 획득된 각각의 촬영 영상은 다양한 정보와 함께 입력되는데 수록된 각각의 촬영 영상의 정보 중에서 실시간 공간정보를 자동차의 미리 설정된 공통 좌표계로 변화시킨 후 상기 공통 좌표계로 변환 된 실시간 공간정보를 기준으로 다수의 촬영 영상을 정합하여 운전자에게 적절한 탑뷰(top view) 영상을 보여 주는 것이 가능해진다.
하지만 실제로 카메라를 자동차에 장착할 때 발생하는 오차로 인하여 다수개의 카메라 좌표축을 차량의 공통 좌표계와 완벽하게 일치시키는 것은 현실적으로 불가능하다. 이는 자동차 생산 공장에서는 카메라 장착 오차를 정밀하게 캘리브레이션 할 수 있지만 자동차가 출고되고 난 후에는 운행 중의 충격, 비틀림과 같은 물리적인 힘에 의해 카메라의 장착 위치가 변화하여 카메라 장착 오차가 계속하여 발생하기 때문이다. 따라서 카메라에 장착된 다수개의 카메라는 주기적, 또는 충격 시 마다 캘리브레이션이 수행되어야만 한다.
위와 같이 자동차가 출고되고 난 후에 다수개의 카메라로부터 입력되는 영상을 정합하기 위해서는 선결문제로서 카메라의 장착 오차를 보정하는 카메라 캘리브레이션이 수행되어야 하고, 이러한 카메라 캘리브레이션을 위해서는 장착된 카메라에 대해 설치된 높이나 설치된 각도와 같은 정보가 요구된다. 종래에는, 이와 같은 카메라 캘리브레이션을 위한 정보를 얻기 위해서 지면에 체커보드(cherker board)와 같은 특정 기준 패턴을 설치하고 이를 촬영한 후 촬영된 패턴 영상을 이용하여 정보를 얻는 방법이 사용되었다.
종래의 특정 기준 패턴을 이용한 카메라 정보 습득 방법은 패턴과 같은 특정 마커의 상대적인 위치를 사전에 정확하게 알 수 있으므로 정밀한 카메라 정보를 얻을 수 있는 장점이 있는 반면에, 이를 수행하기 위해서는 특정 기준 패턴을 자동차 주위에 설치할 수 있을 정도의 넓은 공간을 확보한 후에 작업을 수행해야 하는 번거로움이 따르는 문제점이 있다.
특히 일반적인 자동차의 경우 자동차의 실제 운행으로 인하여 주기적, 또는 충격 시마다 카메라의 장착 오차가 발생하므로 그 때마다 작업자가 특정 기준 패턴을 이용한 카메라 정보 습득 방법으로 카메라 정보를 습득하고 카메라 캘리브레이션을 수행한다는 것은 너무 번거롭고 시간과 비용이 많이 드는 문제점이 있다. 때문에 자동차의 주행 중에도 카메라의 캘리브레이션이 자동으로 이루어지도록 할 필요가 있다.
관련 선행기술로는 한국공개특허 10-2008-0028531호(공개일: 2008. 04. 01)가 있다.
본 발명은 차량의 주행 중에 차량에 장착된 복수개의 카메라로부터 차량의 주행 차로를 촬영한 영상을 입력 받아 상기 촬영 영상으로부터 차로의 차선을 검출한 후 검출된 차선을 이용하여 차량에 장착된 카메라의 외부파라미터를 자동으로 보정함으로써 차량의 운행으로 인해 물리적인 장착 오차가 발생된 카메라 캘리브레이션을 차량의 주행 중에도 신속하고 간편하게 수행할 수 있도록 하는 차량용 카메라 캘리브레이션 장치 및 그 방법을 제공하는 데 그 목적이 있다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 차량용 카메라 캘리브레이션 장치는, 차량에 장착된 다수개의 카메라로부터 차로를 촬영한 영상을 획득하는 카메라 모듈과, 상기 카메라 모듈로부터 획득된 영상을 입력받거나 보정된 영상을 출력하는 입출력 모듈과, 상기 입출력 모듈에서 입력 받은 영상으로부터 차선을 검출하고 차선의 특징점을 추출하는 차선검출 모듈 및 상기 입출력 모듈에서 입력 받은 영상에서 초기 카메라 정보와 외부 파라미터 정보를 이용하여 차선의 방정식과 차선폭을 계산한 후 새로운 외부 파라미터를 추정하여 영상을 보정하는 카메라보정 모듈을 포함할 수 있다.
구체적으로, 상기 입출력 모듈은, 상기 카메라 모듈로부터 영상을 입력 받거나 보정된 영상을 외부로 출력하는 영상입출력부와, 상기 카메라보정 모듈로부터 변경된 외부 파라미터 정보와 보정된 영상을 전달 받아 저장하는 저장부를 포함할 수 있다.
구체적으로, 상기 차선검출모듈은, 상기 입출력 모듈로부터 입력 받은 영상에서 노이즈를 제거하는 영상처리부와, 차선이 점선일 경우에 상기 영상처리부에서 처리된 영상을 연속된 프레임으로 누적하는 프레임누적부와, 상기 프레임누적부에서 누적된 영상의 이미지에서 엣지를 검출하고 특징점을 추출하는 엣지검출부 및 상기 엣지검출부에서 추출된 특징점에서 차선을 결정하는 차선판단부를 포함할 수 있다.
구체적으로, 상기 카메라보정 모듈은, 초기 카메라 정보와 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환하는 이미지변환부와, 상기 이미지변환부에서 변환된 탑뷰 이미지에서 차선의 방정식을 구하는 방정식산출부와, 상기 방정식산출부에서 산출된 차선의 방정식을 이용하여 새로운 외부 파라미터를 추정하는 파라미터추정부 및 상기 파라미터추정부에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하는 보정부를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 차량용 카메라 캘리브레이션 방법은, 카메라 모듈로부터 획득된 영상을 입력 받아 차선을 검출하는 차선검출 단계와, 초기 카메라 정보와 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환하는 이미지변환 단계와, 상기 이미지변환 단계에서 변환된 탑뷰 이미지에서 차선의 방정식과 차선폭을 구하는 방정식산출 단계와, 상기 방정식산출 단계에서 산출된 차선의 방정식을 이용하여 새로운 외부 파라미터를 추정하는 파라미터추정 단계 및 상기 파라미터추정 단계에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하는 영상보정 단계를 포함할 수 있다.
구체적으로, 상기 차선검출 단계는, 입출력 모듈로부터 입력 받은 영상에서 노이즈를 제거하는 영상처리 단계와, 영상처리 단계에서 처리된 영상에서 차선이 점선일 때는 연속된 프레임으로 누적하고 직선일 때는 곧바로 다음 단계를 수행하는 프레임누적 단계와, 상기 프레임누적 단계부에서 누적된 영상의 이미지에서 엣지를 검출하고 특징점을 추출하는 엣지검출 단계 및 상기 엣지검출 단계에서 추출된 특징점에서 차선을 결정하는 차선판단 단계를 포함할 수 있다.
구체적으로, 상기 영상처리 단계는 노이즈를 제거하기 위해 영상에서의 물체 경계를 부드럽게 하는 알고리즘을 수행하는 것을 특징으로 할 수 있다.
구체적으로, 상기 영상처리 단계는 획득된 영상에서 차선이 갈라진 영역이 엣지로 검출되는 것을 방지하기 위하여 영상의 크기를 변경하여 노이즈를 제거하는 것을 특징으로 할 수 있다.
구체적으로, 상기 프레임누적 단계는 획득된 영상에서 점선 차선을 실선 차선으로 보이도록 하기 위하여 누적된 영상의 이미지에서 모든 픽셀 값을 비교하여 가장 큰 픽셀 값을 새로운 이미지에 저장하는 것을 특징으로 할 수 있다.
구체적으로, 상기 엣지검출 단계는 알고리즘을 이용하여 엣지를 검출한 후 상기 엣지와 엣지의 중앙 좌표를 특징점으로 추출하는 것을 특징으로 할 수 있다.
구체적으로, 상기 차선판단 단계는 상기 엣지검출 단계에서 추출된 특징점에 의해 나타나는 선중에서 가장 길이가 긴 윤곽선을 검출하여 차선으로 판단하는 것을 특징으로 할 수 있다.
구체적으로, 상기 방정식산출 단계에서 산출된 차선의 방정식은 직선의 방정식 또는 다차원 방정식으로 표현되는 것을 특징으로 할 수 있다.
구체적으로, 상기 파라미터추정 단계는, 차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보와, 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보가 정확한지 판단한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보와 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 1차 보정 단계와, 차량의 후방 카메라의 위치이동(Tz)의 보정 정보가 정확한지 판단한 후, 상기 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 후방 카메라의 위치이동(Tz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 2차 보정 단계와, 차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보가 정확한지 판단한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 3차 보정 단계 및 상기 1차 내지 3차 단계에서 계산된 외부 파라미터를 저장하는 단계를 포함할 수 있다.
구체적으로, 상기 1차 보정 단계의 전방카메라와 후방카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 1이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
[수학식 1]
여기서, Gl은 왼쪽 차선의 경사도이고 Gr은 오른쪽 차선의 경사도이다.
구체적으로, 상기 1차와 2차 보정 단계의 전방카메라와 후방카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 2가 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
[수학식 2]
Figure pat00002
여기서, Wl은 왼쪽 차선의 폭이고 Wr은 오른쪽 차선의 폭이다.
구체적으로, 상기 1차 보정 단계의 전방카메라와 후방카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 3이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
[수학식 3]
Figure pat00003
여기서, Gl은 왼쪽 차선의 경사도이고 Gr은 오른쪽 차선의 경사도이다.
구체적으로, 상기 2차 보정 단계의 후방카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 4가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
[수학식 4]
Figure pat00004
여기서, Cf는 전방 차로에서 왼쪽 차선과 우측 차선 사이의 폭이고 Cr은 후방 차로에서 왼쪽 차선과 우측 차선 사이의 폭이다.
구체적으로, 상기 3차 보정 단계의 좌측카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 5가 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고, 상기 3차 보정 단계의 우측카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 6이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
[수학식 5]
Figure pat00005
[수학식 6]
Figure pat00006
여기서, x1은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x2는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x5는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x6는 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x3는 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x4는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x7는 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x8 후방 차로의 오른쪽 차선의 오른쪽 x좌표이다.
구체적으로, 상기 3차 보정 단계의 좌측카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 7이 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고, 상기 3차 보정 단계의 우측카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 8이 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
[수학식 7]
Figure pat00007
[수학식 8]
Figure pat00008
여기서, x11은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x22는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x55는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x66은 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x33은 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x44는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x77은 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x88은 후방 차로의 오른쪽 차선의 오른쪽 x좌표이다.
구체적으로, 상기 3차 보정 단계의 좌측카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 9가 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고, 상기 3차 보정 단계의 우측카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 10이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
[수학식 9]
Figure pat00009
[수학식 10]
Figure pat00010
여기서, Gl는 왼쪽 차선의 기울기 이며 Gr은 오른쪽 차선의 기울기이다.
구체적으로, 상기 3차 보정 단계의 좌측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 11이 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고, 상기 3차 보정 단계의 우측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 12가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 할 수 있다.
[수학식 11]
Figure pat00011
[수학식 12]
Figure pat00012
여기서, x111은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x222는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x555는 왼쪽 차선의 왼쪽 x좌표이고 x666는 왼쪽 차선의 오른쪽 x좌표이고, x999는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x10는 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x333은 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x444는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x777은 오른쪽 차선의 왼쪽 x좌표이고 x888은 오른쪽 차선의 오른쪽 x좌표이고, x11은 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x12는 후방 차로 오른쪽 차선의 오른쪽 x좌표이다.
이상에서 설명한 바와 같이 본 발명은 차량에 장착된 복수개의 카메라로부터 차량의 주행 차로를 촬영한 영상을 입력 받아 상기 촬영 영상으로부터 차선을 검출한 후 검출된 차선을 이용하여 차량에 장착된 카메라의 외부파라미터를 보정하는 카메라 캘리브레이션을 수행하고 있기 때문에 차량을 멈추지 않고도 카메라의 캘리브레이션을 신속하고 간편하게 수행할 수 있는 효과가 있다.
또한, 본 발명은 카메라 캘리브레이션을 차량의 주행 중에 수행하므로 종래에 차량에 장착된 카메라의 보정을 위해 차량을 멈춘 후 공간을 확보하고 교정 패턴을 설치하는 것과 같은 부차적인 작업을 할 필요가 없기 때문에 카메라 보정에 소요되는 시간이나 비용을 절감할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 차량용 카메라 캘리브레이션 장치의 개요도를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 차량용 카메라 캘리브레이션 방법의 순서도를 나타낸 도면이다.
도 3은 도2에 도시된 차선검출 단계의 세부 단계를 나타낸 순서도이다.
도 4는 도2에 도시된 파라미터추정 단계의 세부 단계를 나타낸 순서도이다.
도 5는 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 전후방 카메라의 피치(Rx)가 틀어진 경우를 나타낸 사진이다.
도 6은 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 전후방 카메라의 요(Ry)가 틀어진 경우를 나타낸 사진이다.
도 7은 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 전후방 카메라의 롤(Rz)이 틀어진 경우를 나타낸 사진이다.
도 8은 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 후방 카메라의 위치이동(Tz)이 틀어진 경우를 나타낸 사진이다.
도 9는 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 좌우측 카메라의 피치(Rx)가 틀어진 경우를 나타낸 사진이다.
도 10은 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 좌우측 카메라의 요(Ry)가 틀어진 경우를 나타낸 사진이다.
도 11은 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 좌우측 카메라의 롤(Rz)이 틀어진 경우를 나타낸 사진이다.
도 12는 도 1에 도시된 카메라 모듈로부터 취득된 이미지에서 좌우측 카메라의 위치이동(Tz)이 틀어진 경우를 나타낸 사진이다.
본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
먼저, 본 발명의 일실시예에 따른 차량용 카메라 캘리브레이션 장치 및 그 방법이 실제로 사용되기 위해서는 차량에 장착된 카메라에 비춰지는 영상이 모두 장애물 없이 차선이 보이도록 하여야 하고 상기 차선은 점선과 실선이 모두 존재해야 하며, 도로가 평면이고 직진 차로의 경우에 가능한 것으로 한다.
이는 만약 도로가 평지가 아닐 때 보정을 수행하게 되면 보정을 수행할 수는 있지만 보정된 외부 파라미터의 정확도가 떨어지기 때문인데, 이를 방지하기 위해서 최대한 평지에서 보정을 진행하는 것이 바람직하다.
또한, 아래에서 기술되는 알고리즘은 본 발명의 일실시예로서 기재된 것이며, 따라서 본 발명은 기재된 그 하나의 알고리즘에 한정되는 것이 아니고 해당 기능을 수행하는 또 다른 알고리즘이 얼마든지 사용될 수 있음은 당연하다 할 것이다.
도 1은 본 발명의 실시예에 따른 차량용 카메라 캘리브레이션 장치의 개요도를 나타낸 도면으로서, 차량용 카메라 캘리브레이션 장치는, 차량에 장착된 다수개의 카메라로부터 차로를 촬영한 영상을 획득하는 카메라 모듈(100)과, 상기 카메라 모듈(100)로부터 획득된 영상을 입력받거나 보정된 영상을 출력하는 입출력 모듈(200)과, 상기 입출력 모듈(200)에서 입력 받은 영상으로부터 차선을 검출하고 차선의 특징점을 추출하는 차선검출 모듈(300)과, 상기 입출력 모듈(200)에서 입력 받은 영상에서 초기 카메라 정보와 외부 파라미터 정보를 이용하여 차선의 방정식과 차선폭을 계산한 후 새로운 외부 파라미터를 추정하여 영상을 보정하는 카메라보정 모듈(400)을 포함할 수 있다.
카메라 모듈(100)은 차량의 임의의 위치에 다수개의 카메라가 장착된 장치를 말하는 것으로 상기 다수개의 카메라로부터 차로를 촬영한 영상을 획득하는 기능을 수행하는 데, 본 발명의 일실시예에서는 카메라가 차량의 전방, 후방, 좌측, 우측에 장착되어서 총 4대의 카메라로 이루어진 것을 예시로 하였다. 이와 같이 함으로써 차량의 주변 영역을 촬영 시 사각을 없애 차량의 주변을 모두 시각화 할 수 있도록 한다. 물론 이는 일실시예에 지나지 않으며 차량에 장착되는 카메라의 개수는 얼마든지 가감될 수 있음은 물론이다.
카메라 모듈(100)의 카메라는 보통의 렌즈보다 시야각이 큰 광각 렌즈 또는 시각이 180ㅀ를 넘는 초광각 렌즈인 어안렌즈를 사용할 수 있다. 이렇게 함으로써 차후 탑뷰 이미지 생성을 위해 각각의 카메라 영상의 정합 시 차량 주변이 모두 촬영되도록 하는 것이 바람직하지만, 본 발명에서 차량용 카메라의 캘리브레이션을 수행할 수 있는 카메라 모듈(100)의 카메라의 종류는 상술한 화각에 상관없이 적용이 가능함은 물론이다.
카메라 모듈(100)의 카메라가 차량의 전후방, 좌우측에 4대가 장착되어 본 발명의 일실시예인 차선을 이용하여 카메라 캘리브레이션을 수행하게 되면 각각의 카메라의 자세정보, 즉 카메라가 특정 위치에서 회전된 정도를 나타내는 외부파라미터인 피치(Rx), 요(Ry), 롤(Rz)과, 후방 카메라 및 좌우측 카메라의 특정 위치에서 이동된 정도를 나타내는 외부파라미터인 위치이동(Tz)을 추정할 수 있게 된다.
다시 말하면 직진 차로에 나타나는 직진 차선의 경우 탑뷰 이미지에서 보게 되면 항상 수직으로 나타나게 되고, 이러한 어느 하나의 직진 차선 위에는 카메라 4대에서 보이는 차선이 모두 존재하게 된다. 이때 카메라 보정이 정확하다면 하나의 차선으로 보이게 되고 카메라 보정이 부정확하다면 여러개의 차선으로 보이게 될 것이다. 이러한 특성을 이용하면 여러 개의 외부 파라미터 추정이 가능하게 되는 것이다.
다만, 상술한 바와 같이 보정이 수행될 때 차량이 지나가는 차로의 경우에 평지의 직선 차선이며 양쪽 차선과 차량은 평행하게 주행한다고 가정한다.
또한 카메라 모듈(100)과 후술하게 될 입출력 모듈(200)과는 유선 또는 무선으로 연결되어서 카메라로부터 촬영된 영상을 전송할 수 있다.
입출력 모듈(200)은 상기 카메라 모듈(100)로부터 획득된 영상을 입력받거나 후술하게될 카메라보정 모듈(400)로부터 전송되는 보정된 영상을 사용자가 인식할 수 있는 출력장치로 출력하는 모듈로서 영상입출력부(210)와 저장부(220)를 포함할 수 있다.
영상입출력부(210)는, 카메라 모듈(100)의 카메라로부터 촬영된 영상을 입력 받아 차선검출모듈(300)의 영상처리부(310)로 전달하거나 카메라보정 모듈(400)의 보정부(440)에서 보정된 영상이 후술하게될 저장부(220)에 저장되면 이를 전송받아 사용자가 인식할 수 있는 모니터 등의 외부 장치로 출력하는 기능을 수행한다. 이때, 영상입출력부(210)는 필요한 경우 영상 필터 등에 의해 영상 전처리 과정을 수행할 수도 있다.
저장부(220)는 전술한 바와 같이 카메라보정 모듈(400)의 보정부(440)에서 보정된 영상이 저장되는 것 외에도 카메라보정 모듈(400)의 파라미터 추정부(430)에서 추정된 새로운 카메라의 외부 파라미터에 대한 정보도 저장될 수 있다.
또한, 저장부(220)는 카메라 모듈(100)의 다수개의 카메라 렌즈의 고유 특성에 해당하는 초점거리, 주점, 왜곡계수 등과 같은 내부 파라미터에 대한 정보, 즉, 최초 카메라 정보와, 카메라 모듈(100)의 다수개의 카메라의 최초 자세 정보, 위치 정보와 같은 카메라의 최초 외부 파라미터 정보를 저장할 수 있다.
이와 같이 저장부(220)에 저장된 최초 카메라 정보와 최초 외부 파라미터 정보는 후술하게될 카메라보정 모듈(400)에 제공되어서 새로운 외부 파라미터를 추정하는 데 사용되며, 보정부(400)에서 보정이 완료된 영상은 탑뷰 시스템, 파노라마 뷰 시스템 등과 같은 다양한 장치들에서 가공 활용되도록 제공될 수 있다.
차선검출 모듈(300)은 상기 입출력 모듈(200)에서 입력 받은 영상으로부터 차선을 검출하고 차선의 특징점을 추출하는 기능을 수행할 수 있으며, 상기 기능을 수행할 수 있도록 다양한 알고리즘 등이 수록된 모듈로서, 영상처리부(310), 프레임누적부(320), 엣지검출부(330) 및 차선판단부(340)를 포함할 수 있다.
영상처리부(310)에는 입출력 모듈(200)의 영상입출력부(210)로부터 입력 받은 영상에서 노이즈를 제거하고 도로의 차선의 경계부분을 보다 뚜렷하게 나타내기 위해 영상처리를 수행하는 영상처리 알고리즘이 수록된다.
물론 아래에 기재되는 영상처리부(310)가 영상에서 노이즈 제거 및 상기 영상처리를 위해 사용하는 알고리즘은 본 발명의 일실시예로서 본 발명이 아래에 기재된 알고리즘에 한정되는 것이 아니고 해당 기능을 수행하는 다른 알고리즘으로 얼마든지 대체될 수 있음은 당연하다 할 것이다.
영상처리부(310)는 본 발명의 일실시예에서 위의 노이즈 제거 및 영상처리를 위해 영상입출력부(210)로부터 입력 받은 컬러 영상을 흑백 이미지로 변환하여 수행할 수도 있다. 즉, 영상처리부(310)는 위의 노이즈 제거 및 영상처리를 위해 입력 받은 컬러 영상을 그대로 사용할 수도 있고 흑백 이미지로 변환하여 사용할 수도 있다.
영상처리부(310)는 위와 같이 영상에서 노이즈를 제거하기 위해 알고리즘을 적용할 수 있는데, 그 예로서 본 발명의 일실시예에서는 모폴로지 연산과 메디안 필터링을 수행할 수 있다.
영상처리부(310)에서 수행되는 모폴로지 연산은 영상의 분리, 즉, 본격적인 영상처리에 앞서 노이즈 제거 및 특징점 추출 등과 같은 전처리 과정에서 사용되는 영상 필터의 일종으로서 침식 연산과 팽창 연산이 있는데, 본 발명의 일실시예에서는 모폴로지 클로징(closing) 이후 모폴로지 오프닝(opening)을 수행하게 된다.
영상처리부(310)에서 수행되는 폴로지 클로징(closing)은 영상에 보이는 물체의 경계를 부드럽게 하는 효과가 있어 이와 같이 경계를 부드럽게 하여 영상에서의 불연속 데이터를 제거할 수 있게 된다.
영상처리부(310)에서 수행되는 폴로지 클로징(closing) 다음에 수행되는 모폴로지 오프닝(opening)에 의해 노이즈를 제거하면서도 물체의 크기를 보존할 수 있게 된다.
영상처리부(310)는 노이즐 제거하기 위하여 본 발명의 일실시예에서는 상기 모폴로지 클로징(closing) 이후 모폴로지 오프닝(opening)을 순차적으로 적용하는 것 이외에도 메디안 필터링을 수행할 수 있다.
영상처리부(310)는 메디안 필터링이 수행되고 난 후에 영상의 크기를 변경함으로써 노이즈를 제거할 수 있다. 이는 카메라 모듈(100)의 좌우측 카메라에서 획득한 이미지에 나타난 차선의 경우에 갈라진 부분이 상당수 존재하게 되는데, 차후 엣지검출부(330)에서 상기 갈라진 부분을 엣지로 검출하게 되면 차선판단부(340)에서 차선 인식률이 떨어지기 때문에 상기 차선의 갈라진 부분의 노이즈를 제거하여 차선 인식률이 떨어지는 것을 방지하기 위함이다.
프레임누적부(320)는 영상처리부(310)에서 처리된 영상, 즉, 노이즈가 제거된 영상에 나타나는 차선이 점선일 경우에 영상을 연속된 프레임으로 누적하는 기능을 수행하고, 영상에 나타나는 차선이 직선일 경우에는 영상처리부(310)에서 처리된 영상은 프레임누적부(320)를 그대로 지나쳐 다음의 엣지검출부(330)로 전송된다.
프레임누적부(320)는 본 발명의 일실시예에서 4 프레임을 누적하는 것을 예로 들었다. 물론 누적되는 프레임의 개수는 일예에 지나지 않으며 필요에 따라 얼마든지 변경이 가능하다 할 것이다.
상기 프레임누적부(320)에서 상술한 바와 같이 영상 프레임을 누적하는 이유는 영상에 나타난 점선 차선을 실선 차선과 같이 보이도록 하기 위함이다. 이는 차선 판단부(340)에서 차선을 판단할 때 실선 차선에서 보다 쉽고 정확하게 차선을 판단하여 검출할 수 있기 때문이다.
상기 프레임누적부(320)에서 프레임의 누적은 노이즈가 제거된 연속한 4장의 이미지, 즉, 4장의 누적된 영상의 이미지에서 모든 픽셀 값을 비교하여 가장 큰 픽셀 값을 새로운 이미지에 저장함으로써 결과적으로 영상에서의 점선 차선이 실선 차선과 같이 보이는 효과를 가지도록 한다.
엣지검출부(330)는 프레임누적부(320)에서 누적된 영상의 이미지의 하단 부분에서 엣지를 검출하고 특징점을 추출한다.
엣지검출부(330)는 상기 누적된 영상의 이미지에서 차선은 하단 절반 부분에만 존재하고 상단 부분은 하늘이기 때문에 연산량을 줄이기 위해 상기 영역들을 제외한 영역을 ROI(region of interest)로 정의할 수 있다.
엣지검출부(330)는 도로 색과 차선 색은 경계가 뚜렷하므로 영상처리를 통해 엣지가 강하게 나타나도록 한 후, 윤곽을 가장 잘 찾아내면서 원래 영상의 회색물질과 관련된 모든 엣지를 제거할 수 있는 캐니 엣지 알고리즘을 이용하여 엣지를 검출한다. 엣지검출부(330)에서 캐니 엣지 알고리즘을 사용하는 이유는 낮은 에러율과 엣지 점들의 위치가 정확하기 때문이다. 이와 같이 엣지검출부(330)에서 사용되는 엣지 검출 알고리즘으로서 캐니 엣지 알고리즘을 예시하였지만 이에 한정되는 것이 아니고 필요에 따라 얼마든지 기타 알고리즘도 사용될 수 있음은 당연하다 할 것이다.
엣지검출부(330)는 이어서 상기 엣지와 엣지의 중앙 좌표를 특징점으로 추출 하는 데, 이는 엣지가 영상의 차선뿐만 아니라 영상의 차량의 노이즈로서도 나타나기 때문에 이렇게 광범위하게 나타나는 엣지를 줄이기 위해서 엣지와 엣지의 중앙 좌표를 이용하는 것이다.
이렇게 엣지검출부(330)가 엣지와 엣지의 중앙 좌표를 특징점으로 추출하게 되면 영상의 차선은 하나의 연속된 긴 선으로 나타나게 되고 노이즈에서는 짧게 나타나거나 나타나지 않게 된다.
차선판단부(340)는 엣지검출부(330)에서 추출된 특징점에서 차선을 결정한다.
차선판단부(340)가 특징점에서 차선을 결정하는 방법은 여러 가지가 될 수 있는데, 그 예로서 본 발명의 일실시예에서는 차선판단부(340)는 엣지검출부(330)에서 추출된 특징점에 의해 나타나는 선중에서 가장 길이가 긴 윤곽선을 검출하여 차선으로 판단할 수 있다.
차선판단부(340)는 카메라모듈(100)의 전후방 카메라로부터 획득한 이미지에서는 두 개의 윤곽선을 찾고 좌우측 카메라로부터 획득한 이미지에서는 하나의 윤곽선을 찾게 된다. 이는 전후방 카메라에는 좌측과 우측의 총 2개의 차선이 존재하게 되고 좌우측 카메라에는 하나의 차선이 존재하기 때문이다. 차선판단부(340)는 이렇게 찾아낸 윤곽선을 차선으로 판단하게 된다.
카메라보정 모듈(400)은 차선검출모듈(300)에서 검출된 차선을 이용하여 차량의 전후방 그리고 좌우측에 장착된 4대의 카메라의 외부파라미터를 보정하는 기능을 수행하는 모듈로서, 이미지변환부(410), 방정식산출부(420), 파라미터추정부(430) 및 보정부(440)를 포함할 수 있다.
카메라보정 모듈(400)은 입출력 모듈(200)에서 입력 받은 영상에서 초기 카메라 정보와 외부 파라미터 정보를 이용하여 차선의 방정식과 차선폭을 계산한 후 이를 이용하여 새로운 외부 파라미터를 추정하고 영상을 보정한다.
외부 파라미터가 정확할 경우에 탑뷰 이미지로 변환하게 되면 탑뷰 이미지 상의 차선은 동일한 직선 위에 존재하게 되고 수직으로 나타나게 된다. 그런데 물리적인 힘으로 인해 위치가 변경된 카메라모듈(100)의 카메라의 경우에는 외부 파라미터가 정확하지 않게 되므로 탑뷰 이미지 상의 차선은 직선상으로 존재하지 않게 된다. 따라서 이러한 점을 이용하면 변경된 카메라의 외부 파라미터를 추정할 수 있게 되는 것이다.
이미지변환부(410)는 초기 카메라 정보와 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환한다.
여기서 이미지변환부(410)는 입력받은 영상을 탑뷰 이미지로 변환할 때 세로로 표현하는 탑뷰 이미지를 기본으로 하지만, 세로로 표현하는 탑뷰 이미지 외에도 다른 어떠한 각도의 탑뷰 이미지도 사용 가능하다.
즉, 예를 들면 차량이 세로로 보이도록 하는 탑뷰 이미지 외에도 차량이 가로로 보이도록 탑뷰 이미지를 구성할 수도 있는데, 여기서 주의할 점은 이하에서 서술되는 기울기에 대한 수식도 세로 또는 가로 탑뷰 이미지에 따라 다르게 정의 된다는 점이다.
다시 말하면, 차량이 가로로 보이도록 변환된 탑뷰 이미지를 구성하게 되면 해당 기울기는 차량이 세로로 보이도록 변환된 탑뷰 이미지의 기울기와 수직이 되고, 이에 따른 해당 기울기에 대한 수식도 모두 다르게 된다. 다만 이하에서 기술되는 탑뷰 이미지는 차량이 세로로 보이도록 변환된 것을 기준으로 하여 해당 기울기 및 수식도 그에 따른 것으로 한다. 물론 이는 본 발명의 일실시예에 지나지 않으며 얼마든지 차량이 가로로 보이도록 변환된 탑뷰 이미지를 기준으로 할 수도 있음은 당연하다.
방정식산출부(420)는 이미지변환부(410)에서 변환된 탑뷰 이미지에서 특징점을 라인 피팅(line fitting)하여 차선의 방정식을 구한다. 여기서 라인 피팅(line fitting)에는 LMS(least mean square) 알고리즘이 이용될 수 있다. 그리고 위의 차선의 방정식은 직선의 방정식이 될 수 있고 직선이 아닌 다차원 방정식이 될 수도 있다.
파라미터추정부(430)는 방정식산출부(420)에서 산출된 차선의 방정식을 이용하여 새로운 외부 파라미터를 추정한다.
보정부(440)는 파라미터추정부(430)에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하고 저장부(220)로 전송한다.
이하에서는 위와 같이 구성된 차량용 카메라 캘리브레이션 장치를 이용하여 차량용 카메라를 캘리브레이션하는 방법에 대해 자세하게 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 차량용 카메라 캘리브레이션 방법의 순서도를 나타낸 도면으로서, 차량용 카메라 캘리브레이션 방법은, 차선검출 단계(S510), 이미지변환 단계(S520), 방정식산출 단계(S530), 파라미터추정 단계(S540) 및 영상보정 단계(S550)를 포함할 수 있다.
도 3을 참조하면, 차선검출 단계(S510)는 카메라 모듈(100)의 카메라로부터 획득된 영상이 영상입출력 모듈(200)을 통해 입력되면 차선검출 모듈(300)이 차선을 검출하고 차선의 특징점을 추출하는 단계로서, 영상처리 단계(S511), 프레임누적 단계(S512), 엣지검출 단계(S513) 및 차선판단 단계(S514)를 포함할 수 있다.
영상처리 단계(S511)는 차선검출 모듈(300)이 영상처리부(310)를 통해 입력 받은 영상에서 노이즈를 제거하고 도로의 차선의 경계부분을 보다 뚜렷하게 나타내기 위한 영상처리를 수행하는 단계를 말한다.
이때, 영상처리부(310)는 본 발명의 일실시예에서 위의 노이즈 제거 및 영상처리를 위해 영상입출력부(210)로부터 입력 받은 컬러 영상을 흑백 이미지로 변환하여 수행할 수도 있다. 즉, 영상처리부(310)는 위의 노이즈 제거 및 영상처리를 위해 입력 받은 컬러 영상을 그대로 사용할 수도 있고 흑백 이미지로 변환하여 사용할 수도 있다.
영상처리 단계(S511)는 노이즈를 제거하기 위해 영상에서의 물체 경계를 부드럽게 하는 알고리즘을 수행할 수 있는데, 본 발명의 일실시예에서는 모폴로지 연산을 수행하는 것을 그 예로 하였다. 그리고 메디안 필터링을 수행하여 추가 노이즈를 제거할 수 있다.
영상처리 단계(S511)는 획득된 영상에서 차선이 갈라진 영역이 엣지로 검출되는 것을 방지하기 위하여 메디안 필터링이 수행된 영상의 크기를 변경함으로써 노이즈를 제거할 수 있다.
물론 영상처리 단계(S511)에서 수행되는 위의 모폴로지 연산 알고리즘과 메디안 필터링 알고리즘에 있어서 본 발명이 이에 한정되는 것이 아니고 해당 기능을 수행하는 또 다른 알고리즘이 사용될 수 있음은 당연하다 할 것이다.
프레임누적 단계(S512)는 영상처리 단계(S511)에서 처리된 영상에서 차선이 점선일 때는 차선검출 모듈(300)이 프레임누적부(320)를 통해 노이즈가 제거된 영상을 연속된 프레임으로 누적을 수행하고 직선일 때는 곧바로 다음 단계를 수행하는 단계를 말한다.
프레임누적 단계(S512)는 획득된 영상에서 나타나는 차선이 직선이 아니고 점선 차선일 경우에 점선 차선을 직선인 실선 차선으로 보이도록 하기 위하여 누적된 영상의 이미지에서 모든 픽셀 값을 비교하여 가장 큰 픽셀 값을 새로운 이미지에 저장하게 된다.
엣지검출 단계(S513)는 차선검출 모듈(300)이 엣지검출부(330)를 통해 누적된 영상의 이미지의 하단 부분에서 엣지를 검출하고 특징점을 추출을 수행하는 단계를 말한다.
엣지검출 단계(S513)는 이용하여 엣지를 검출한 후 상기 엣지와 엣지의 중앙 좌표를 특징점으로 추출할 수 있는데, 본 발명의 일실시예에서는 캐니 엣지 알고리즘을 사용할 수 있다.
차선판단 단계(S514)는 차선검출 모듈(300)이 차선판단부(340)를 통해 엣지검출부(330)에서 추출된 특징점에서 차선을 결정하는 단계를 말한다.
이 때, 차선판단 단계(S514)에서 차선판단부(340)가 특징점에서 차선을 결정하는 방법은 상술한 바와 같이 여러 가지가 될 수 있는데, 본 발명의 일실시예에서는 그 예로서 차선판단 단계(S514)에서 차선판단부(340)가 엣지검출부(330)에서 추출된 특징점에 의해 나타나는 선중에서 가장 길이가 긴 윤곽선을 검출하여 차선으로 판단는 것을 예로 들었다.
이상과 같은 차선검출 단계(S510)의 세부단계인 영상처리 단계(S511), 프레임누적 단계(S512), 엣지검출 단계(S513) 및 차선판단 단계(S514)에 대한 구체적인 내용은 차량용 카메라 캘리브레이션 장치의 각각의 해당 부분에서 설명하였으므로 상세한 설명은 생략하기로 한다.
이미지변환 단계(S520)는 카메라보정 모듈(400)의 이미지변환부(410)가 저장된 초기 카메라 정보와 초기 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환하는 단계이다.
상술한 바와 같이 외부 파라미터가 정확할 경우에 탑뷰 이미지로 변환하게 되면 탑뷰 이미지 상의 차선은 동일한 직선 위에 존재하게 되고 수직으로 나타나게 되는데, 물리적인 힘으로 인해 위치가 변경된 카메라모듈(100)의 카메라의 경우에는 입력받은 영상을 초기 카메라 정보와 초기 외부 파라미터 정보를 이용하여 탑뷰 이미지로 변환하게 되면 이미지 상의 차선은 직선상으로 존재하지 않게 된다.
따라서 이미지변환 단계(S520)는 이후의 단계에서 변경된 카메라의 외부 파라미터를 추정할 수 있도록 입력받은 영상을 탑뷰 이미지로 변환하는 것이다.
방정식산출 단계(S530)는 이미지변환 단계(520)에서 변환된 탑뷰 이미지에서 차선의 방정식과 차선폭을 구하는 단계로서, 이후의 단계에서 이러한 방정식 및 차선폭을 이용하여 새로운 외부 파라미터를 추정하기 쉽도록 하기 위함이다.
이 때, 방정식산출 단계(S530)에서는 카메라보정 모듈(400)의 방정식산출부(420)가 이미지변환부(410)에서 변환된 탑뷰 이미지에서 특징점을 라인 피팅(line fitting)하여 차선의 방정식을 구하는데, 여기서 라인 피팅(line fitting)에는 LMS(least mean square) 알고리즘이 이용될 수 있다. 물론 라인 피팅(line fitting)에 사용되는 상기 LMS 알고리즘은 본 발명의 일실시예에 지나지 않으며 그밖에 또 다른 알고리즘도 얼마든지 사용될 수 있음은 당연하다 할 것이다.
방정식산출 단계(S530)에서 산출되는 차선의 방정식은 본 발명의 일실시예에서 직선의 방정식이 될 수 있고 직선이 아닌 다차원 방정식이 될 수도 있는데, 차선의 방정식이 직선의 방정식일 때의 산출된 방정식은 아래의 수학식 1로 표현될 수 있다.
[수학식 1]
Figure pat00013
a: 추후에 등장하는 차선의 경사도(
Figure pat00014
,
Figure pat00015
)
b: 차선의 y 절편
x, y: 앞서 구한 차선의 좌표점
다시 말하면, 방정식 산출단계(S530)에서 수학식 1의 x와 y 값은 영상으로부터 구한 정해진 값이고, 그 값들로부터 a와 b를 구하는 것이 방정식 산출단계의 목표로서, a는 추후에 등장하는 차선의 경사도를 의미하고, b는 차선의 y절편을 의미한다. 앞서 구한 차선의 좌표점인 x, y 값들을 바탕으로 라인 피팅(line fitting)을 이용하여 차선의 방정식인 a와 b를 구할 수 있다.
도 4를 참조하면, 파라미터추정 단계(S540) 상기 방정식산출 단계에서 산출된 차선의 방정식과 차선폭을 이용하여 새로운 외부 파라미터를 추정하는 단계로서, 1차 보정 단계(S541), 2차 보정 단계(S542), 3차 보정 단계(S543) 및 저장 단계(S544)를 포함할 수 있다.
먼저, 파라미터추정 단계(S540)의 1차 보정 단계(S541), 2차 보정 단계(S542) 및 3차 보정 단계(S543)에서 카메라의 차선의 방정식과 차선폭을 계산하기 위해 거치는 과정인 차선검출 단계(S510), 이미지변환단계(S520) 및 방정식산출 단계(S530)는 공통된 것으로 가정한다.
즉, 다시 말하면, 1차 보정 단계(S541), 2차 보정 단계(S542), 3차 보정 단계(S543)에서 각각 전방카메라, 후방카메라, 좌측 카메라, 우측 카메라의 차선을 검출하고 이를 탑뷰 이미지로 변환하고 차선의 방정식과 차선폭을 구하는 과정은 각각의 단계에서 개별적으로 수행될 수 있다.
그런데 이를 본 발명의 일실시예에서는 차선검출 단계(S510), 이미지변환단계(S520) 및 방정식산출 단계(S530)로서 하나로 표시한 바, 실제로는 1차 보정 단계(S541), 2차 보정 단계(S542), 3차 보정 단계(S543)에서 각각의 카메라별로 차선검출단계(S510), 이미지변환단계(S520), 방정식산출 단계(S530)가 개별적으로 수행되는 것으로 한다.
1차 보정 단계(S541)는 차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보가 정확한지 판단(S541a1)하고, 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보가 정확한지 판단(S541b1)한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고, 정확하지 않으면 차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보를 계산(S541a2)하고 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보를 계산(S541b2)한 후 각각 이미지변환 단계(S520)로 되돌아가 탑뷰 이미지로 변환되고 차선의 방정식 및 차선폭을 구하여 다시 1차 보정 단계(S541)를 수행하게 되는 단계이다.
1차 보정 단계(S541)에서 차량의 전방 카메라의 피치(Rx)의 보정 정보가 정확한지 판단하는 단계(S541a1)와 후방 카메라의 피치(Rx)의 보정 정보가 정확한지 판단하는 단계(S541b1)는 아래와 같다.
도 5는 차량의 전방 카메라의 피치(Rx)와 후방 카메라의 피치(Rx)가 틀어진 경우를 나타낸 것으로, 도 5의 좌측 이미지는 전후방 카메라의 피치(Rx)가 실제 기준값인 ground truth 값 보다 작은 경우이고, 도 5의 우측 이미지는 전후방 카메라의 피치(Rx)가 실제 기준값인 ground truth 값 보다 큰 경우이다.
여기서 측면 차선을 기준으로 차선의 기울기를 계산하면 결과값이 각각 +와 ??로 나타나게 되는 것을 표시하였다. 즉, 탑뷰 이미지 상에서 전후방 카메라의 피치(Rx)가 틀릴 경우에 차선의 기울기가 +와 ??로 나타나는 것이고, 전후방 카메라의 피치(Rx)가 정확한 외부 파라미터일 때가 왼쪽 차선의 경사도의 역수(1/Gl) = 오른쪽 차선의 경사도의 역수(1/Gr)로 나타나는 것이다.
따라서, 1차 보정 단계(S541)의 차량의 전방 카메라의 피치(Rx)의 보정 정보를 계산하는 단계(S541a2)와 후방 카메라의 피치(Rx)의 보정 정보를 계산하는 단계(S541b2)는 하기 수학식 2와 같이 새로운 전후방 카메라의 피치(Rx)를 추정함으로써 달성된다.
[수학식 2]
Figure pat00016
New Rx : 새로운 전후방 카메라의 피치
Pre Rx : 반복 되기 이전의 전후방 카메라의 피치
α : 사용자가 지정할 수 있는 임의의 상수 값
Gl : 왼쪽 차선의 경사도
Gr : 오른쪽 차선의 경사도
다시 말하면, 1차 보정 단계(S541)에서 전방카메라와 후방카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 1/Gl = 1/Gr 을 만족할 때까지, 즉, 하기 수학식 3이 만족될 때까지, 새로운 피치(New Rx)를 점차 수정한 후 이미지변환 단계(S520)로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 3]
Figure pat00017
Gl : 왼쪽 차선의 경사도
Gr : 오른쪽 차선의 경사도
이미지변환 단계(S520)로 되돌아가면 새로운 전후방 카메라의 피치(New Rx)를 이용하여 다시 탑뷰 이미지를 생성한 후 상기 탑뷰 이미지에서 차선의 방정식을 산출하는 방정식산출 단계(S530)를 거쳐 다시 차량의 전방 카메라의 피치(Rx)의 보정 정보가 정확한지 판단하는 단계(S541a1)와 후방 카메라의 피치(Rx)의 보정 정보가 정확한지 판단하는 단계(S541b1)를 반복한다.
1차 보정 단계(S541)에서 차량의 전방 카메라의 요(Ry)의 보정 정보가 정확한지 판단하는 단계(S541a1)와 후방 카메라의 요(Ry))의 보정 정보가 정확한지 판단하는 단계(S541b1)는 아래와 같다.
도 6은 차량의 전후방 카메라의 요(Ry)가 틀어진 경우를 나타낸 것으로, 도 6의 좌측 이미지는 전후방 카메라의 요(Ry)가 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 6의 우측 이미지는 전후방 카메라의 요(Ry)가 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 차량의 상하에 보이는 차선에서 좌우측 차선의 폭이 서로 다른 것을 알 수 있다.
따라서 1차 보정 단계(S541)의 전방카메라와 후방카메라의 요(Ry)의 보정 정보를 계산하는 방법(S541a2, 542a2, 541b2)은 하기 수학식 4, 5가 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계(S520)로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 4]
Figure pat00018
[수학식 5]
Figure pat00019
New Ry : 새로운 전후방 카메라의 요
Pre Ry : 반복 되기 이전의 전후방 카메라의 요
α : 사용자가 지정할 수 있는 임의의 상수 값
Wl : 왼쪽 차선의 폭
Wr : 오른쪽 차선의 폭
이 밖에 이미지변환 단계(S520)로 되돌아가서 1차 보정 단계(S541)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
1차 보정 단계(S541)에서 차량의 전방 카메라의 롤(Rz)의 보정 정보가 정확한지 판단하는 단계(S541a1)는 아래와 같다.
도 7은 차량의 전후방 카메라의 롤(Rz)이 틀어진 경우를 나타낸 것으로, 도 7의 좌측 이미지는 전후방 카메라의 롤(Rz)이 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 7의 우측 이미지는 전후방 카메라의 롤(Rz)이 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 전후방 카메라의 롤(Rz)이 틀어진 경우에는 (1/Gl)과 (1/Gr)의 부호와 크기가 동일하게 나타나고 정확한 경우에는 (1/Gl) + (1/Gr)은 0에 가깝게 나타난다.
따라서 1차 보정 단계(S541)의 전방카메라와 후방카메라의 롤(Rz)의 보정 정보를 계산하는 방법(S541a2, 542b2)은 하기 수학식 6, 7이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계(S520)로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 6]
Figure pat00020
[수학식 7]
Figure pat00021
New Rz : 새로운 전후방 카메라의 롤
Pre Ry : 반복되기 이전의 전후방 카메라의 롤
α : 사용자가 지정할 수 있는 임의의 상수 값
Gl : 왼쪽 차선의 경사도
Gr : 오른쪽 차선의 경사도
이 밖에 이미지변환 단계(S520)로 되돌아가서 1차 보정 단계(S541)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
2차 보정 단계(S542)는 차량의 후방 카메라의 위치이동(Tz)의 보정 정보가 정확한지 판단(S542a1)한 후, 상기 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 후방 카메라의 위치이동(Tz)의 보정 정보를 계산(S542a2)한 후 이미지변환 단계(S520)로 되돌아가는 단계이다.
2차 보정 단계(S542)에서 차량의 후방 카메라의 보정 정보가 정확한지 판단하는 단계(S542a1)는 다음과 같다.
도 8은 차량의 후방 카메라의 위치이동(Tz)이 틀어진 경우를 나타낸 것으로, 도 8의 좌측 이미지는 전후방 카메라의 위치이동(Tz)이 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 7의 우측 이미지는 전후방 카메라의 위치이동(Tz)이 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 후방 카메라의 위치이동(Tz)이 틀어진 경우 차량의 전방 차로의 차선간의 폭과 후방 차로의 차선간의 폭이 다르게 나타나고 정확한 경우에는 동일하게 나타난다.
따라서 2차 보정 단계(S542)의 후방카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법(S542a2)은 하기 수학식 8, 9가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 8]
Figure pat00022
[수학식 9]
Figure pat00023
New Tz : 새로운 전후방 카메라의 위치이동
Pre Tz : 반복되기 이전의 전후방 카메라의 위치이동
α : 사용자가 지정할 수 있는 임의의 상수 값
Cf : 전방 차로에서 왼쪽 차선과 우측 차선 사이의 폭
Cr : 후방 차로에서 왼쪽 차선과 우측 차선 사이의 폭
이 밖에 이미지변환 단계(S520)로 되돌아가서 2차 보정 단계(S542)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
3차 보정 단계(S543)는 차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보가 정확한지 판단(S543a1, 543b1)한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보를 계산(S543a2, S543b2)한 후 이미지변환 단계(S520)로 되돌아가는 단계이다.
3차 보정 단계(S543)에서 좌우측카메라의 피치(Rx)의 보정 정보가 정확한지 판단하는 단계(S543a1, S543b1)는 다음과 같다.
도 9는 차량의 좌우측 카메라의 피치(Rx)가 틀어진 경우를 나타낸 것으로, 도 9의 좌측 이미지는 좌우측 카메라의 피치(Rx)가 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 9의 우측 이미지는 좌우측 카메라의 피치(Rx)가 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 좌우측 카메라의 피치(Rx)가 틀어진 경우 차량의 전방과 후방에 위치하는 차선과 차량의 좌측과 우측에 위치하는 차선은 하나의 직선 위에 존재하지 않고 어긋나게 나타나고 정확한 경우에는 하나의 직선 위에 존재하게 된다.
따라서 3차 보정 단계(S543)의 좌측카메라의 피치(Rx)의 보정 정보를 계산하는 방법(S543a2)은 하기 수학식 10, 11이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계(S520)로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 10]
Figure pat00024
[수학식 11]
Figure pat00025
New Rx : 새로운 좌측 카메라의 피치
Pre Rx : 반복되기 이전의 좌측 카메라의 피치
α : 사용자가 지정할 수 있는 임의의 상수 값
x1 : 전방 차로 왼쪽 차선의 왼쪽 x좌표
x2 : 전방 차로 왼쪽 차선의 오른쪽 x좌표
x5 : 후방 차로 왼쪽 차선의 왼쪽 x좌표
x6 : 후방 차로 왼쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
또한, 3차 보정 단계(S543)의 우측카메라의 피치(Rx)의 보정 정보를 계산하는 방법(S543b2)은 하기 수학식 12, 13이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 12]
Figure pat00026
[수학식 13]
Figure pat00027
New Rx : 새로운 우측 카메라의 피치
Pre Rx : 반복되기 이전의 우측 카메라의 피치
α : 사용자가 지정할 수 있는 임의의 상수 값
x3 : 전방 차로 오른쪽 차선의 왼쪽 x좌표
x4 : 전방 차로 오른쪽 차선의 오른쪽 x좌표
x7 : 후방 차로 오른쪽 차선의 왼쪽 x좌표
x8 : 후방 차로의 오른쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
3차 보정 단계(S543)에서 좌우측카메라의 요(Ry)의 보정 정보가 정확한지 판단하는 단계(S543a1, S543b1)는 다음과 같다.
도 10은 차량의 좌우측 카메라의 요(Ry)가 틀어진 경우를 나타낸 것으로, 도 10의 좌측 이미지는 좌우측 카메라의 요(Ry)가 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 10의 우측 이미지는 좌우측 카메라의 요(Ry)가 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 좌우측 카메라의 요(Ry)가 정확한 경우에는 (x22-x11)과 (x66-x55)가 동일하거나, (x44-x33)과 (x88-x77)이 동일하게 된다.
따라서 3차 보정 단계(S543)의 좌측카메라의 요(Ry)의 보정 정보를 계산하는 방법(S543a2)은 하기 수학식 14, 15가 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계(S520)로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 14]
Figure pat00028
[수학식 15]
Figure pat00029
New Ry : 새로운 좌측 카메라의 요
Pre Ry : 반복되기 이전의 좌측 카메라의 요
α : 사용자가 지정할 수 있는 임의의 상수 값
x11 : 전방 차로 왼쪽 차선의 왼쪽 x좌표
x22 : 전방 차로 왼쪽 차선의 오른쪽 x좌표
x55 : 후방 차로 왼쪽 차선의 왼쪽 x좌표
x66 : 후방 차로 왼쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
또한, 3차 보정 단계(S543)의 우측카메라의 요(Ry)의 보정 정보를 계산하는 방법(S543b2)은 하기 수학식 16, 17이 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 16]
Figure pat00030
[수학식 17]
Figure pat00031
New Ry: 새로운 우측 카메라의 요
Pre Ry : 반복되기 이전의 우측 카메라의 요
α : 사용자가 지정할 수 있는 임의의 상수 값
x33 : 전방 차로 오른쪽 차선의 왼쪽 x좌표
x44 : 전방 차로 오른쪽 차선의 오른쪽 x좌표
x77 : 후방 차로 오른쪽 차선의 왼쪽 x좌표
x88 : 후방 차로의 오른쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
3차 보정 단계(S543)에서 좌우측카메라의 롤(Rz)의 보정 정보가 정확한지 판단하는 단계(S543a1, S543b1)는 다음과 같다.
도 11은 차량의 좌우측 카메라의 롤(Rz)이 틀어진 경우를 나타낸 것으로, 도 11의 좌측 이미지는 좌우측 카메라의 롤(Rz)이 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 11의 우측 이미지는 좌우측 카메라의 롤(Rz)이 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 좌우측 카메라의 롤(Rz)이 틀어진 경우에는 1/Gl,, 1/Gr이 큰 값을 가지고 롤(Rz)이 정확한 경우에는 1/Gl과 1/Gr이 '0'에 가깝게 나타나게 된다.
따라서 3차 보정 단계(S543)의 좌측카메라의 롤(Rz)의 보정 정보를 계산하는 방법(S543a2)은 하기 수학식 18, 19가 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 18]
Figure pat00032
[수학식 19]
Figure pat00033
New Rz : 새로운 좌측 카메라의 롤
Pre Rz : 반복되기 이전의 좌측 카메라의 롤
α : 사용자가 지정할 수 있는 임의의 상수 값
Gl : 왼쪽 차선의 기울기
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
또한, 3차 보정 단계(S543)의 우측카메라의 롤(Rz)의 보정 정보를 계산하는 방법(S543b2)은 하기 수학식 20, 21이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 20]
Figure pat00034
[수학식 21]
Figure pat00035
New Rz : 새로운 우측 카메라의 롤
Pre Rz : 반복되기 이전의 우측 카메라의 롤
α : 사용자가 지정할 수 있는 임의의 상수 값
Gr : 우측 차선의 기울기
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
3차 보정 단계(S543)에서 좌우측카메라의 위치이동(Tz)의 보정 정보가 정확한지 판단하는 단계(S543a1, S543b1)는 다음과 같다.
도 12는 차량의 좌우측 카메라의 위치이동(Tz)이 틀어진 경우를 나타낸 것으로, 도 12의 좌측 이미지는 좌우측 카메라의 위치이동(Tz)이 실제 기준값인 ground truth 값 보다 큰 경우이고, 도 12의 우측 이미지는 좌우측 카메라의 위치이동(Tz)이 실제 기준값인 ground truth 값 보다 작은 경우이다. 여기서 좌우측 카메라의 위치이동(Tz)이 정확한 경우에는 차량의 전후방 차선의 폭과 차량의 좌우측 차선의 폭이 동일하게 나타나게 된다.
따라서 3차 보정 단계(S543)의 좌측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법(S543a2)은 하기 수학식 22, 23이 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 22]
Figure pat00036
[수학식 23]
Figure pat00037
New Tz : 새로운 좌측 카메라의 위치이동
Pre Tz : 반복되기 이전의 좌측 카메라의 위치이동
α : 사용자가 지정할 수 있는 임의의 상수 값
x111 : 전방 차로 왼쪽 차선의 왼쪽 x좌표
x222 : 전방 차로 왼쪽 차선의 오른쪽 x좌표
x555 : 왼쪽 차선의 왼쪽 x좌표
x666 : 왼쪽 차선의 오른쪽 x좌표
x999 : 후방 차로 왼쪽 차선의 왼쪽 x좌표
x10 : 후방 차로 왼쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
또한, 3차 보정 단계(S543)의 우측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법(S543b2)은 하기 수학식 24, 25가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복함으로써 달성된다.
[수학식 24]
Figure pat00038
[수학식 25]
Figure pat00039
New Tz : 새로운 우측 카메라의 위치이동
Pre Tz : 반복 되기 이전의 우측 카메라의 위치이동
α : 사용자가 지정할 수 있는 임의의 상수 값
x333 : 전방 차로 오른쪽 차선의 왼쪽 x좌표
x444 : 전방 차로 오른쪽 차선의 오른쪽 x좌표
x777 : 오른쪽 차선의 왼쪽 x좌표
x888 : 오른쪽 차선의 오른쪽 x좌표
x11 : 후방 차로 오른쪽 차선의 왼쪽 x좌표
x12 : 후방 차로 오른쪽 차선의 오른쪽 x좌표
이 밖에 이미지변환 단계(S520)로 되돌아가서 3차 보정 단계(S543)를 반복하는 과정은 전후방 카메라의 피치(Rx)에서 상술한 것과 동일하므로 생략하기로 한다.
저장 단계(S544)는 상기 1차 내지 3차 단계(S541, S542, S543)에서 정확하게 보정될 때까지 반복하여 단계를 수행한 후 최종적으로 계산된 외부 파라미터를 저장하는 단계이다.
영상보정 단계(S550)는 파라미터추정 단계(S540)에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하는 단계로서, 보정된 영상은 입출력 모듈(200)의 저장부(220)로 전송된다.
결국, 본 발명의 차량용 카메라 캘리브레이션 장치 및 그 방법에 의하면 차량의 주행 중에도 외부 파라미터를 자동으로 캘리브레이션 할 수 있게 된다.
이상에서 설명한 바와 같이 본 발명은 차량에 장착된 복수개의 카메라로부터 차량의 주행 차로를 촬영한 영상을 입력 받아 상기 촬영 영상으로부터 차선을 검출한 후 검출된 차선을 이용하여 차량에 장착된 카메라의 외부파라미터를 보정하는 카메라 캘리브레이션을 수행하고 있기 때문에 차량을 멈추지 않고도 카메라의 캘리브레이션을 신속하고 간편하게 수행할 수 있는 효과가 있다.
이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분양에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
100: 카메라 모듈 200: 입출력 모듈
210: 영상입출력부 220: 저장부
300: 차선검출모듈 310: 영상처리부
320: 프레임누적부 330: 엣지검출부
340: 차선판단부 400: 카메라보정 모듈
410: 이미지변환부 420: 방정식산출부
430: 파라미터추정부 440: 보정부

Claims (21)

  1. 차량에 장착된 다수개의 카메라로부터 차로를 촬영한 영상을 획득하는 카메라 모듈;
    상기 카메라 모듈로부터 획득된 영상을 입력받거나 보정된 영상을 출력하는 입출력 모듈;
    상기 입출력 모듈에서 입력 받은 영상으로부터 차선을 검출하고 차선의 특징점을 추출하는 차선검출모듈; 및
    상기 입출력 모듈에서 입력 받은 영상에서 초기 카메라 정보와 외부 파라미터 정보를 이용하여 차선의 방정식과 차선폭을 계산한 후 새로운 외부 파라미터를 추정하여 영상을 보정하는 카메라보정 모듈;을 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 장치.
  2. 청구항 1에 있어서,
    상기 입출력 모듈은,
    상기 카메라 모듈로부터 영상을 입력 받거나 보정된 영상을 외부로 출력하는 영상입출력부;와,
    상기 카메라보정 모듈로부터 변경된 외부 파라미터 정보와 보정된 영상을 전달 받아 저장하는 저장부;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 장치.
  3. 청구항 1에 있어서,
    상기 차선검출모듈은,
    상기 입출력 모듈로부터 입력 받은 영상에서 노이즈를 제거하는 영상처리부;
    차선이 점선일 경우에 상기 영상처리부에서 처리된 영상을 연속된 프레임으로 누적하는 프레임누적부;
    상기 프레임누적부에서 누적된 영상의 이미지에서 엣지를 검출하고 특징점을 추출하는 엣지검출부; 및
    상기 엣지검출부에서 추출된 특징점에서 차선을 결정하는 차선판단부;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 장치.
  4. 청구항 1에 있어서,
    상기 카메라보정 모듈은,
    초기 카메라 정보와 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환하는 이미지변환부;
    상기 이미지변환부에서 변환된 탑뷰 이미지에서 차선의 방정식을 구하는 방정식산출부;
    상기 방정식산출부에서 산출된 차선의 방정식을 이용하여 새로운 외부 파라미터를 추정하는 파라미터추정부; 및
    상기 파라미터추정부에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하는 보정부;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 장치.
  5. 카메라 모듈로부터 획득된 영상을 입력 받아 차선을 검출하는 차선검출 단계;
    초기 카메라 정보와 외부 파라미터 정보를 이용하여 입력받은 영상에서 차선의 특징점을 추출한 후 탑뷰 이미지로 변환하는 이미지변환 단계;
    상기 이미지변환 단계에서 변환된 탑뷰 이미지에서 차선의 방정식과 차선폭을 구하는 방정식산출 단계;
    상기 방정식산출 단계에서 산출된 차선의 방정식과 차선폭을 이용하여 새로운 외부 파라미터를 추정하는 파라미터추정 단계; 및
    상기 파라미터추정 단계에서 추정된 새로운 외부 파라미터를 이용하여 영상을 보정하는 영상보정 단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  6. 청구항 5에 있어서,
    상기 차선검출 단계는,
    입출력 모듈로부터 입력 받은 영상에서 노이즈를 제거하는 영상처리 단계;
    영상처리 단계에서 처리된 영상에서 차선이 점선일 때는 연속된 프레임으로 누적하고 직선일 때는 다음 단계를 수행하는 프레임누적 단계;
    상기 프레임누적 단계부에서 누적된 영상의 이미지에서 엣지를 검출하고 특징점을 추출하는 엣지검출 단계; 및
    상기 엣지검출 단계에서 추출된 특징점에서 차선을 결정하는 차선판단 단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  7. 청구항 6에 있어서,
    상기 영상처리 단계는 노이즈를 제거하기 위해 영상에서의 물체 경계를 부드럽게 하는 알고리즘을 수행하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  8. 청구항 6에 있어서,
    상기 영상처리 단계는 획득된 영상에서 차선이 갈라진 영역이 엣지로 검출되는 것을 방지하기 위하여 영상의 크기를 변경하여 노이즈를 제거하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  9. 청구항 6에 있어서,
    상기 프레임누적 단계는 획득된 영상에서 점선 차선을 실선 차선으로 보이도록 하기 위하여 누적된 영상의 이미지에서 모든 픽셀 값을 비교하여 가장 큰 픽셀 값을 새로운 이미지에 저장하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  10. 청구항 6에 있어서,
    상기 엣지검출 단계는 알고리즘을 이용하여 엣지를 검출한 후 상기 엣지와 엣지의 중앙 좌표를 특징점으로 추출하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  11. 청구항 6에 있어서,
    상기 차선판단 단계는 상기 엣지검출 단계에서 추출된 특징점에 의해 나타나는 선중에서 가장 길이가 긴 윤곽선을 검출하여 차선으로 판단하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  12. 청구항 5에 있어서,
    상기 방정식산출 단계에서 산출된 차선의 방정식은 직선의 방정식 또는 다차원 방정식으로 표현되는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  13. 청구항 5에 있어서,
    상기 파라미터추정 단계는,
    차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보와, 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보가 정확한지 판단한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 전방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보와 후방 카메라의 피치(Rx), 요(Ry), 롤(Rz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 1차 보정 단계;
    차량의 후방 카메라의 위치이동(Tz)의 보정 정보가 정확한지 판단한 후, 상기 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 후방 카메라의 위치이동(Tz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 2차 보정 단계;
    차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보가 정확한지 판단한 후, 각각의 보정 정보가 정확하면 다음 단계로 진행하고 정확하지 않으면 차량의 좌우측 카메라의 피치(Rx), 요(Ry), 롤(Rz), 위치이동(Tz)의 보정 정보를 계산한 후 이미지변환 단계로 되돌아가는 3차 보정 단계; 및
    상기 1차 내지 3차 단계에서 계산된 외부 파라미터를 저장하는 저장 단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
  14. 청구항 13에 있어서,
    상기 1차 보정 단계의 전방카메라와 후방카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 1이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    [수학식 1]
    Figure pat00040

    여기서, Gl은 왼쪽 차선의 경사도이고 Gr은 오른쪽 차선의 경사도이다.
  15. 청구항 13에 있어서,
    상기 1차와 2차 보정 단계의 전방카메라와 후방카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 2가 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    [수학식 2]
    Figure pat00041

    여기서, Wl은 왼쪽 차선의 폭이고 Wr은 오른쪽 차선의 폭이다.
  16. 청구항 13에 있어서,
    상기 1차 보정 단계의 전방카메라와 후방카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 3이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    [수학식 3]
    Figure pat00042

    여기서, Gl은 왼쪽 차선의 경사도이고 Gr은 오른쪽 차선의 경사도이다.
  17. 청구항 13에 있어서,
    상기 2차 보정 단계의 후방카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 4가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    [수학식 4]
    Figure pat00043

    여기서, Cf는 전방 차로에서 왼쪽 차선과 우측 차선 사이의 폭이고 Cr은 후방 차로에서 왼쪽 차선과 우측 차선 사이의 폭이다.
  18. 청구항 13에 있어서,
    상기 3차 보정 단계의 좌측카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 5가 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고,
    상기 3차 보정 단계의 우측카메라의 피치(Rx)의 보정 정보를 계산하는 방법은 하기 수학식 6이 만족될 때까지 새로운 피치(New Rx)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    [수학식 5]
    Figure pat00044

    [수학식 6]
    Figure pat00045

    여기서, x1은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x2는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x5는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x6는 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x3는 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x4는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x7는 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x8 후방 차로의 오른쪽 차선의 오른쪽 x좌표이다.
  19. 청구항 13에 있어서,
    상기 3차 보정 단계의 좌측카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 7이 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고,
    상기 3차 보정 단계의 우측카메라의 요(Ry)의 보정 정보를 계산하는 방법은 하기 수학식 8이 만족될 때까지 새로운 요(New Ry)를 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    [수학식 7]
    Figure pat00046

    [수학식 8]
    Figure pat00047

    여기서, x11은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x22는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x55는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x66은 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x35은 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x44는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x77은 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x88은 후방 차로의 오른쪽 차선의 오른쪽 x좌표이다.
  20. 청구항 13에 있어서,
    상기 3차 보정 단계의 좌측카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 9가 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고,
    상기 3차 보정 단계의 우측카메라의 롤(Rz)의 보정 정보를 계산하는 방법은 하기 수학식 10이 만족될 때까지 새로운 롤(New Rz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    [수학식 9]
    Figure pat00048

    [수학식 10]
    Figure pat00049

    여기서, Gl는 왼쪽 차선의 기울기 이며 Gr은 오른쪽 차선의 기울기이다.
  21. 청구항 13에 있어서,
    상기 3차 보정 단계의 좌측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 11이 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하고,
    상기 3차 보정 단계의 우측카메라의 위치이동(Tz)의 보정 정보를 계산하는 방법은 하기 수학식 12가 만족될 때까지 새로운 위치이동(New Tz)을 수정한 후 상기 이미지변환 단계로 다시 되돌아가 과정을 반복하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법.
    [수학식 11]
    Figure pat00050

    [수학식 12]
    Figure pat00051

    여기서, x111은 전방 차로 왼쪽 차선의 왼쪽 x좌표이고 x222는 전방 차로 왼쪽 차선의 오른쪽 x좌표이고, x555는 왼쪽 차선의 왼쪽 x좌표이고 x666는 왼쪽 차선의 오른쪽 x좌표이고, x999는 후방 차로 왼쪽 차선의 왼쪽 x좌표이고 x10는 후방 차로 왼쪽 차선의 오른쪽 x좌표이고, x333은 전방 차로 오른쪽 차선의 왼쪽 x좌표이고 x444는 전방 차로 오른쪽 차선의 오른쪽 x좌표이고, x777은 오른쪽 차선의 왼쪽 x좌표이고 x888은 오른쪽 차선의 오른쪽 x좌표이고, x11은 후방 차로 오른쪽 차선의 왼쪽 x좌표이고 x12는 후방 차로 오른쪽 차선의 오른쪽 x좌표이다.
KR1020170116914A 2017-09-13 2017-09-13 차량용 카메라 캘리브레이션 장치 및 그 방법 KR101969030B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170116914A KR101969030B1 (ko) 2017-09-13 2017-09-13 차량용 카메라 캘리브레이션 장치 및 그 방법
CN201880002468.0A CN109791700A (zh) 2017-09-13 2018-08-08 车辆相机校准装置及其方法
PCT/KR2018/009001 WO2019054636A1 (ko) 2017-09-13 2018-08-08 차량용 카메라 캘리브레이션 장치 및 그 방법
DE112018000107.5T DE112018000107T5 (de) 2017-09-13 2018-08-08 Fahrzeugkamerakalibrierungsvorrichtung und -Verfahren
US16/315,941 US11398051B2 (en) 2017-09-13 2018-08-08 Vehicle camera calibration apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170116914A KR101969030B1 (ko) 2017-09-13 2017-09-13 차량용 카메라 캘리브레이션 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190030242A true KR20190030242A (ko) 2019-03-22
KR101969030B1 KR101969030B1 (ko) 2019-04-16

Family

ID=65722960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170116914A KR101969030B1 (ko) 2017-09-13 2017-09-13 차량용 카메라 캘리브레이션 장치 및 그 방법

Country Status (5)

Country Link
US (1) US11398051B2 (ko)
KR (1) KR101969030B1 (ko)
CN (1) CN109791700A (ko)
DE (1) DE112018000107T5 (ko)
WO (1) WO2019054636A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200135606A (ko) * 2019-05-22 2020-12-03 ㈜베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
US11087495B2 (en) 2019-06-26 2021-08-10 TmaxData Co., Ltd. Method for calibration

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
DE102019003238B4 (de) * 2019-05-08 2023-04-20 Mercedes-Benz Group AG Fahrzeugortung durch Kartenabgleich unter Berücksichtigung eines Straßenprofils
CN110796102B (zh) * 2019-10-31 2023-04-14 重庆长安汽车股份有限公司 一种车辆目标感知系统及方法
CN111523471B (zh) * 2020-04-23 2023-08-04 阿波罗智联(北京)科技有限公司 车辆所在车道的确定方法、装置、设备以及存储介质
KR20220026422A (ko) * 2020-08-25 2022-03-04 삼성전자주식회사 카메라 캘리브레이션 장치 및 이의 동작 방법
US11908164B2 (en) * 2021-07-23 2024-02-20 Embark Trucks Inc. Automatic extrinsic calibration using sensed data as a target
CN114663529B (zh) * 2022-03-22 2023-08-01 阿波罗智能技术(北京)有限公司 一种外参确定方法、装置、电子设备及存储介质
GB2618127A (en) * 2022-04-21 2023-11-01 Continental Automotive Romania Srl Computer-implemented method of determining and adjusting camera pitch angle error of a vehicle camera
CN117036505B (zh) * 2023-08-23 2024-03-29 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11281352A (ja) * 1998-03-31 1999-10-15 Nissan Motor Co Ltd 道路形状検出装置
KR20140033803A (ko) * 2012-09-10 2014-03-19 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR20150112656A (ko) * 2014-03-28 2015-10-07 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080028531A (ko) 2006-09-27 2008-04-01 현대자동차주식회사 차량 전방카메라 보정장치
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
US8935057B2 (en) * 2012-01-17 2015-01-13 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
KR20150002039A (ko) * 2013-06-28 2015-01-07 (주) 세인 차량에 설치되어 있는 블랙박스와 같은 영상 단말기를 이용하여 영상에서 차선을 인식 경고, 기록하는 장치의 실시간성 확보를 위한 방법
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
FR3014553A1 (fr) * 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
CN104029680B (zh) * 2014-01-02 2016-12-07 上海大学 基于单目摄像头的车道偏离预警系统及方法
KR101584907B1 (ko) * 2014-07-29 2016-01-22 울산대학교 산학협력단 관심 영역을 이용한 차선 인식 방법 및 그 장치
CN104129389B (zh) * 2014-08-06 2017-02-01 中电海康集团有限公司 一种有效判别车辆行驶状态的方法及其装置
JP6601336B2 (ja) * 2016-07-08 2019-11-06 株式会社デンソー 区画線認識装置
US10706551B2 (en) * 2017-03-30 2020-07-07 4DM Inc. Object motion mapping using panchromatic and multispectral imagery from single pass electro-optical satellite imaging sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11281352A (ja) * 1998-03-31 1999-10-15 Nissan Motor Co Ltd 道路形状検出装置
KR20140033803A (ko) * 2012-09-10 2014-03-19 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR20150112656A (ko) * 2014-03-28 2015-10-07 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200135606A (ko) * 2019-05-22 2020-12-03 ㈜베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
US11087495B2 (en) 2019-06-26 2021-08-10 TmaxData Co., Ltd. Method for calibration

Also Published As

Publication number Publication date
KR101969030B1 (ko) 2019-04-16
DE112018000107T5 (de) 2019-05-29
WO2019054636A1 (ko) 2019-03-21
US20210343044A1 (en) 2021-11-04
CN109791700A (zh) 2019-05-21
US11398051B2 (en) 2022-07-26

Similar Documents

Publication Publication Date Title
KR101969030B1 (ko) 차량용 카메라 캘리브레이션 장치 및 그 방법
US9378553B2 (en) Stereo image processing device for vehicle
CN109086650B (zh) 校准方法和校准设备
US8259174B2 (en) Camera auto-calibration by horizon estimation
EP3416368B1 (en) Calibration system
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
JP4876080B2 (ja) 環境認識装置
JP5733395B2 (ja) 車載用画像認識装置、撮像軸調整装置およびレーン認識方法
CN107462223B (zh) 一种公路转弯前行车视距自动测量装置及测量方法
EP2426642A1 (en) Method, device and system for motion detection
EP2128821A1 (en) Moving object recognizing device
US10457283B2 (en) Vehicle driving assist apparatus
KR101773822B1 (ko) 영상 기반의 차선 인식 장치
JP6035620B2 (ja) 車載ステレオカメラシステム及びそのキャリブレーション方法
EP1655698A1 (en) Image processing method and image processing device
EP2610778A1 (en) Method of detecting an obstacle and driver assist system
KR102022402B1 (ko) 캘리브레이션 방법 및 장치
JP6622664B2 (ja) 自車位置特定装置、及び自車位置特定方法
JP4586571B2 (ja) 対象物判定装置
US20120128211A1 (en) Distance calculation device for vehicle
JP5091897B2 (ja) 停止線検出装置
JP6844223B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
CN114750746A (zh) 基于域控制器的停车位追踪方法、电子设备及存储介质
KR102274026B1 (ko) 차량용 카메라 캘리브레이션 장치 및 그 방법
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant