KR20150112656A - 카메라 캘리브레이션 방법 및 그 장치 - Google Patents

카메라 캘리브레이션 방법 및 그 장치

Info

Publication number
KR20150112656A
KR20150112656A KR1020140037235A KR20140037235A KR20150112656A KR 20150112656 A KR20150112656 A KR 20150112656A KR 1020140037235 A KR1020140037235 A KR 1020140037235A KR 20140037235 A KR20140037235 A KR 20140037235A KR 20150112656 A KR20150112656 A KR 20150112656A
Authority
KR
South Korea
Prior art keywords
vehicle
determining
image
lane
region
Prior art date
Application number
KR1020140037235A
Other languages
English (en)
Other versions
KR101609303B1 (ko
Inventor
조재수
김기석
박종섭
노수장
Original Assignee
주식회사 하나비전테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하나비전테크 filed Critical 주식회사 하나비전테크
Priority to KR1020140037235A priority Critical patent/KR101609303B1/ko
Publication of KR20150112656A publication Critical patent/KR20150112656A/ko
Application granted granted Critical
Publication of KR101609303B1 publication Critical patent/KR101609303B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 명세서는 캘리브레이션(calibration) 장치가 차량 전방을 촬영한 영상에서 차량 및 차선 영역을 결정하는 방법을 개시한다. 상기 방법은 차량 전방을 촬영한 영상을 수신하는 단계; 상기 차량 전방을 촬영한 영상에서 에지(edge) 성분을 검출하고, 상기 검출된 에지 성분을 허프(hough) 변환하여 직선을 추출한 후, 상기 추출한 직선을 기초로 소실점을 결정하고, 상기 소실점의 위치를 통해 지평선을 결정하는 단계; 상기 차량 전방을 촬영한 영상을 이진화하여 소정 프레임 이상 누적하고, 상기 누적된 영상에서 가로 축 프로젝션 히스토그램을 산출한 후, 상기 산출된 히스토그램이 임계값 이상으로 나타나는 위치를 통해 차량 보닛(bonnet) 영역을 결정하는 단계; 상기 차량 전방을 촬영한 영상에서 차선을 검출한 후, 상기 검출된 차선을 통해 차선 폭을 결정하는 단계를 포함할 수 있다.

Description

카메라 캘리브레이션 방법 및 그 장치{METHOD TO CALIBRATE CAMERA AND APPARATUS THEREFOR}
본 명세서는 캘리브레이션 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 입력 영상에서 차선인식, 차량검출 및/또는 차간거리 추정을 위한 처리 영역을 정의하는 방법 및 그에 사용되는 장치에 관한 것이다.
오늘날 자동차가 널리 보급되면서 운전자의 편의를 위한 관련기술이 급속도로 발전하고 있다. 특히, 내비게이션, 차량용 블랙박스와 같이 운전자의 운전을 보조하는 ADAS(Advanced Driver Assistance System) 기술이 증가하고 있다. 또한, 영상 기반의 운전자 보조장치가 그 범용성과 경제성으로 인해 점차 수요가 증가하고 있다.
특히, 차량에 장착된 카메라로 촬영된 전방 영상을 처리하여 차선이나 차량을 검출하는 기술도 제안되고 있는데, 종래의 차선 검출 방법으로 모바일 기기를 기반으로 빠르고 간단한 에지(Edge) 추출과 허프 변환(Hough transform)을 이용한 직선 차선 검출 방법 등이 있다. 한편, 에지(edge)의 방향성을 고려하는 스티어러블 필터(steerable filter)와 레이저 센서(laser sensor)의 전방 스캔(scan) 정보를 사용하여 차선의 검색 영역 최소화 및 장애물로 인한 차선 가림을 해결하는 방법도 있다.
차선의 종류 인식에 관하여서는, 차선 위의 후보점의 분포를 샘플링하여 후보점 간격을 보고 점선과 실선을 판단하는 방법도 제안되고 있다.
블랙박스 또는 차량에 장착된 카메라로부터 입력되는 카메라 입력영상을 통하여 차선인식 및 차량검출을 할 때 카메라 입력영상 전체를 처리하게 되면, 계산시간이 매우 오래 걸리고, 처리영역이 클수록 차선인식 및 차량검출의 정확도도 낮아지는 문제점이 있다.
그러므로 카메라가 설치되는 장소 및 블랙박스의 카메라 설치각도에 맞추어 전체 영상에서 차선과 차량이 위치한 영역만을 찾아내는 것은 반드시 필요한 과정이다.
본 명세서는 차량검출 및/또는 차간거리 추정을 위한 카메라 캘리브레이션 장치 및 그 동작 방법을 제공하는 데에 그 목적이 있다. 보다 구체적으로는 입력 영상에서 차선인식, 차량검출 및/또는 차간거리 추정을 위한 입력영상의 처리 영역을 정의하는 방법 및 그에 사용되는 장치를 제공하는 것에 목적이 있다.
본 명세서의 일 실시 예에 따라 캘리브레이션 장치가 제공된다. 상기 장치는 차량 전방을 촬영한 영상을 수신하는 영상 수신부; 상기 차량 전방을 촬영한 영상에서 에지(edge) 성분을 검출하고, 상기 검출된 에지 성분을 허프(hough) 변환하여 직선을 추출한 후, 상기 추출한 직선을 기초로 소실점을 결정하고, 상기 소실점의 위치를 통해 지평선을 결정하는 지평선 결정부; 상기 차량 전방을 촬영한 영상을 이진화하여 소정 프레임 이상 누적하고, 상기 누적된 영상에서 가로 축 프로젝션 히스토그램을 산출한 후, 상기 산출된 히스토그램이 임계값 이상으로 나타나는 위치를 통해 차량 보닛(bonnet) 영역을 결정하는 보닛 영역 결정부; 상기 차량 전방을 촬영한 영상에서 차선을 검출한 후, 상기 검출된 차선을 통해 차선 폭을 결정하는 차선폭 추정부;를 포함할 수 있다.
본 명세서의 다른 실시 예에 따라 캘리브레이션(calibration) 장치가 차량 전방을 촬영한 영상에서 차량 및 차선 영역을 결정하는 방법이 제공된다. 상기 방법은 차량 전방을 촬영한 영상을 수신하는 단계; 상기 차량 전방을 촬영한 영상에서 에지(edge) 성분을 검출하고, 상기 검출된 에지 성분을 허프(hough) 변환하여 직선을 추출한 후, 상기 추출한 직선을 기초로 소실점을 결정하고, 상기 소실점의 위치를 통해 지평선을 결정하는 단계; 상기 차량 전방을 촬영한 영상을 이진화하여 소정 프레임 이상 누적하고, 상기 누적된 영상에서 가로 축 프로젝션 히스토그램을 산출한 후, 상기 산출된 히스토그램이 임계값 이상으로 나타나는 위치를 통해 차량 보닛(bonnet) 영역을 결정하는 단계; 상기 차량 전방을 촬영한 영상에서 차선을 검출한 후, 상기 검출된 차선을 통해 차선 폭을 결정하는 단계를 포함할 수 있다.
본 명세서의 실시 예들은 입력 영상에서 차선인식, 차량검출 및/또는 차간거리 추정을 위한 처리 영역을 정확히 지정할 수 있는 효과가 있다. 이를 통하여 카메라 설치 위치나 각도에 적응하여 영상처리 성능을 향상시킬 수 있다.
도 1은 본 명세서의 일 실시 예에 따른 캘리브레이션(calibration) 장치를 나타낸 블록도이다.
도 2는 본 명세서의 실시 예에 따른 차선 및 차량 영역 설정을 나타낸 예시도이다.
도 3은 본 명세서의 실시 예에 따른 소실점 검출을 나타낸 예시도이다.
도 4는 본 명세서의 실시 예에 따른 소실점 신뢰도 측정을 나타낸 예시도이다.
도 5는 본 명세서의 일 실시 예에 따른 차량 보닛(bonnet) 영역 결정을 나타낸 예시도이다.
도 6은 본 명세서의 일 실시 예에 따른 차선 폭 결정을 나타낸 도면이다.
도 7은 본 명세서의 일 실시 예에 따른 캘리브레이션 방법을 나타낸 흐름도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.
도 1은 본 명세서의 일 실시 예에 따른 캘리브레이션(calibration) 장치를 나타낸 블록도이다.
본 명세서의 캘리브레이션 장치(100)가 적용될 수 있는 차선인식 및 차간 거리 측정 장치는, 운행 중인 차량의 전방을 촬영하고 해당 영상을 분석하여 현재 차선에서 주행하는 전방 차량을 검출하고, 전방 차량과의 거리를 계산할 수 있다.
상기 차간 거리 측정 장치는 수신한 영상에서 차간 거리 측정에 필요한 물체(object)를 검출(추출)할 수 있다. 상기 물체(object)는 차량, 차선(실선, 파선 등), 기타 물체일 수 있다. 예컨대 상기 차간 거리 측정 장치는 수신한 영상에 포함된 대상이 차량인지 아닌지를 판단하기 위해 전방 차량에 의해 나타나는 그림자 특성, 뒷바퀴의 명암 특징 등을 이용할 수 있고, 또는 방향성 엣지를 활용하여 전방 차량에 관한 영상에 가로 방향의 엣지가 많은지 세로 방향의 엣지가 많은지를 판별하여 대상이 차량인지 여부 및 차량의 후면부인지 여부를 판단할 수도 있다. 이외에도 상기 차간 거리 측정 장치는 영상의 일정 검색 영역에서 차량임을 나타내는 특징점들을 추출하고, 상기 추출된 특징점들을 차량 일부의 특징 데이터와 비교하여 상기 판단을 할 수도 있다. 이때 차량 특징 데이터는 미리 학습된 차량 특징 데이터 중에서 선택된 차량 일부의 특징 데이터일 수 있으며, 여기에서 상기 선택된 차량 일부의 특징 데이터는, 차량의 상단 부분의 텍스쳐 또는 윤곽을 나타내는 특징일 수 있다.
상기 차간 거리 측정 장치는 여러 모델링 기법들을 이용하여 다양한 차량의 특징점들을 학습할 수 있다. 상기 학습 후, 특정 검색 영역(또는 차량 후보 영역)들을 검색하여 상기 차량 특징점들이 어느 정도 발견되는지에 따라 영상의 물체가 차량인지 여부를 판단하게 된다.
이때 상기 캘리브레이션 장치(100)는 상기 차간 거리 측정 장치에서 차량을 검출하고 차간 거리를 추정하기 위한 “영상처리 영역”을 결정할 수 있다. 즉, 블랙박스 또는 카메라 영상에서 카메라 설치각도나 카메라 화각에 따라서 달라지는 비전(vision) 처리 영역(차선인식, 차량검출 및/또는 차간거리를 추정하기 위한 영역)을 추출할 수 있다. 상기 캘리브레이션 장치(100)는 네비게이션, 블랙박스 등의 차량 장치에 포함되어 동작하거나, 상기 차량 장치와 연동하여 동작할 수 있다.
상술한 바와 같이, 카메라 캘리브레이션은 차선인식, 차량검출 및/또는 차간거리 추정을 위한 비전처리 영역을 정의하는 과정을 의미하고, 차선인식, 차량검출 및 차간거리 추정의 정확도는 카메라 캘리브레이션의 정확도에 따라서 크게 좌우된다.
블랙박스 또는 차량에 장착된 카메라로부터 입력되는 카메라 입력영상을 통하여 차선인식 및 차량검출을 할 때 카메라 입력영상 전체를 처리하게 되면, 계산시간이 매우 오래 걸리고, 처리영역이 클수록 차선인식 및 차량검출의 정확도도 낮아지는 문제점이 있다. 그러므로 카메라가 설치되는 장소 및 블랙박스의 카메라 설치각도에 맞추어 전체 영상에서 차선과 차량이 위치한 영역(ROI, Region Of Interest)만을 찾아내는 것은 반드시 필요한 과정이다.
캘리브레이션을 시작하는 입력영상에 따라서 차량 또는 차선 검출 성능이 달라질 수 있기 때문에, 이하에서는 정확하게 캘리브레이션을 수행하는 장치 및 방법을 제안한다.
본 명세서의 캘리브레이션 장치(100)는 영상 수신부(101), 지평선 결정부(102), 보닛 영역 결정부(103), 차선폭 추정부(104)을 포함하여 구성될 수 있다.
상기 캘리브레이션 장치(100)는 입력 영상에서 지평선(h1)을 결정하고, 차량 보닛(bonnet) 영역(h2 하단)을 결정하며, 차선 폭(W)을 추정하는 과정을 수행하여 캘리브레이션을 완료한다. 도 2를 참조하여 보면, 임의의 입력 영상(차량전방 촬영영상)에서 h1이 지평선이고, h2는 카메라가 장착된 차량의 상부, 즉 보닛 상단이며, W는검출된 차선의 폭이다.
상기 영상 수신부(101)는 차량의 일 부분에 설치된 카메라 모듈로부터 차량 전방을 촬영한 영상을 수신한다. 상기 촬영 영상은 다수의 시간에 촬영된 복수 개의 영상일 수 있다.
상기 지평선 결정부(102)는 상기 차량 전방을 촬영한 영상에서 지평선을 결정한다. 지평선 결정의 일 실시 예로서, 상기 지평선 결정부(102)는 상기 차량 전방을 촬영한 영상에서 에지(edge) 성분을 검출하고, 상기 검출된 에지 성분을 허프 변환(hough transform)하여 직선을 추출한 후, 상기 추출한 직선을 기초로 소실점을 결정하고, 상기 소실점의 위치를 통해 지평선을 결정할 수 있다. 에지(edge) 성분을 검출할 때, 상기 지평선 결정부(102)는 영상을 캐니 에지(canny edge) 이진화(binarization)하여 에지 성분을 검출할 수 있다. 그 후 검출된 에지 성분들을 허프 변환하여 직선을 추출한다. 다음으로 상기 지평선 결정부(102)는 도 3과 같이 추출한 직선들 중에 소정의 기울기를 가진 선들을 모은다. 그 결과 왼쪽과 오른쪽 직선이 각각 일정 개수 이상 모이면 상기 지평선 결정부(102)는 이들로부터 소실점을 계산(검출)하고, 소실점의 위치정보를 누적(저장)한다. 상기 지평선 결정부(102)는 다수의 프레임에서 계산된 소실점들의 누적된 위치정보가 기 정의된 신뢰도 이상 쌓일 때까지 새로운 영상(프레임)에서 이 과정을 반복할 수 있다. 최종적으로 기 정의된 신뢰도 이상으로 소실점들이 존재하는 영역 또는 신뢰도가 가장 큰 영역의 중심점이 소실점의 위치가 되고, 소실점이 위치한 수평선이 지평선(h1)으로 결정된다.
소실점 신뢰도는 이하와 같이 측정될 수 있다. 허프 변환을 통해 추출된 좌-우 차선은 소실점을 형성하게 되며, 다수의 입력 영상에서 계산된 소실점 수가 최대가 되는 영역에서 하기 수학식 1에 의하여 그 소실점의 신뢰도를 측정할 수 있다.
Figure pat00001
상기 수학식 1에서 그 값이 클수록, 즉 도 4의 제1 영역(A 영역)에 소실점이 많이 모일수록 소실점의 신뢰도는 높아진다. 여기서 제1 영역(A 영역)은 소정의 크기(예: 20x20 픽셀)로 정의된 영역으로서, 다수의 영상에서 계산된 소실점들이 특정 기준(제1 기준) 이상으로 밀집한 영역이다. 한편, 제2 영역(B 영역)은 상기 제1 영역(A 영역)과 동일한 중심 위치를 가지면서 제1 영역(A 영역)을 포함하는 크기(예: 40x40 픽셀)로 정의된 영역으로서, 다수의 영상에서 계산된 소실점들이 제2 기준 이상으로 밀집한 영역이다. 이때 다수의 소실점들이 제1 영역(A 영역)에 더 많이 존재한다면 소실점 신뢰도 값이 크게 계산된다. 다시 말해, 다수 영상에서 소실점을 검출하여 모아 보았을 때, 최대한 한 지점(영역)에 밀집되어 있다면, 그 소실점들은 믿을 만한 것으로 판단하는 것이다.
상기 보닛 영역 결정부(103)는 상기 차량 전방을 촬영한 영상에서 차량 앞 부분(bonnet 또는 hood)을 결정한다. 보닛 영역 결정의 일 실시 예로서, 상기 보닛 영역 결정부(103)는 도 5와 같이 차량 전방 영상을 이진화하여 소정 프레임 이상 누적하고, 상기 누적된 영상에서 가로 축 프로젝션 히스토그램(histogram)을 산출한 후, 상기 산출된 히스토그램이 특정 임계값(threshold) 이상으로 나타나는 위치의 하단을 차량 보닛(bonnet) 영역으로 결정할 수 있다.
만약 노이즈 성분으로 인하여 잘못된 본네트 영역이 검출된다면, 상기 보닛 영역 결정부(103)는 새로운 입력 영상에서 신뢰도 높은 본네트 영역이 검출될 때까지 반복해서 보닛 영역을 검출한다.
상기 보닛 영역 결정을 수식으로 나타내면 아래 수학식 2와 같다.
Figure pat00002
여기서, h2(i)는 i번째 프레임에서의 프로젝션 히스토그램을 통해 검출된 보닛 영역 h2를 의미하고, n은 보닛 영역을 결정하기 위한 반복된 프레임 수를 의미한다. 즉 연속해서 들어오는 입력 영상(n개의 프레임)에서 특정 기준 이상으로 검출되는 보닛 영역(h2)이 일정하게 검출된다면, 그 보닛 영역 h2는 정확하다고 판단할 수 있고, 최종적인 h2는 n번 동안 검출된 보닛 영역의 평균으로 결정하게 된다.
상기 차선폭 추정부(104)는 차량 전방을 촬영한 영상에서 차선을 검출한 후, 상기 검출된 차선을 통해 차선 폭을 결정한다. 이때 상기 차선폭 추정부(104)는 RANSAC(RANdom SAmple Consensus) 알고리즘을 사용하여 차선을 검출할 수 있다.
RANSAC 알고리즘은 모델 피팅(model fitting)에서 아웃라이어(outlier)를 효과적으로 제거하는 방법인데, 추출된 좌우 차선 후보점 각각에 대하여 차선 쌍곡선(hyperbolar) 방정식을 피팅 모델(fitting model)로 하여 인라이어(inlier)만 선택한다. 이때, RANSAC 알고리즘에서 사용된 인라이어(inlier) 임계치는 차선 하나의 폭인 20cm(행렬(PT)을 이용하여 영상 좌표에서의 거리로 환산해야 함)가 이용될 수 있으며, 반복 횟수는 미리 설정될 수 있다. 예컨대 반복 횟수를 시스템 부하 등을 고려하여 100번으로 설정할 수 있다. 아래는 RANSAC 알고리즘으로 유효 차선 후보점에 해당하는 인라이너(inlier)를 선택하는 과정이다.
1) 추출된 왼쪽 차선 후보점에서 3개의 서로 다른 점을 무작위로 선택한다.
2) 선택된 차선 후보점으로 최소 자승 에러(least squares error)를 가지는 왼쪽 차선 방정식 계수(k, bL, c)를 구한다.
3) 계산된 차선 방정식으로부터 u 좌표의 거리 차이가 일정 거리 이하인 점들을 인라이너(inlier)로 선택한다.
4) 인라이너(inlier)의 개수가 이전 결과보다 많으면 인라이너(inlier)를 저장하고, 과정 1) ~ 3)을 반복한다. 과정 1) ~ 3)을 미리 정해진 횟수만큼 반복했거나, 인라이너(inlier)의 개수가 후보점 전체와 같아지면 반복을 중단하고 그 때까지 선택된 인라이너(inlier)를 유효 차선 후보점으로 선택한다.
5) 추출된 오른쪽 차선 후보점에 대해서도 과정 1) ~ 4) 를 반복하여, 유효 차선 후보점을 선택한다.
도 6을 참조하여 보면, 상기 차선폭 추정부(104)는 입력 영상에서 차선 픽셀을 검출하고, 각 Y축에 해당하는 폭을 검출하고, RANSAC 알고리즘으로 Y축에 따른 기울기 검출하고, Positive 데이터의 비율에 기초하여 차선 폭을 결정한다. 추정된 차선 폭은, 어느 시점에서 차선 검출에 실패하였을 때 차선을 추정하는 용도로 사용될 수 있다.
도 7은 본 명세서의 일 실시 예에 따른 캘리브레이션(calibration) 방법을 나타낸 흐름도이다.
상기 캘리브레이션 방법은 도 1 내지 도 6에서 설명한 캘리브레이션 장치에 의해 수행될 수 있다. 상기 캘리브레이션 장치는 차간 거리 측정 장치에서 차량을 검출하고 차간 거리를 추정하기 위한 “영상처리 영역”을 결정할 수 있다. 즉, 블랙박스 또는 카메라 영상에서 카메라 설치각도나 카메라 화각에 따라서 달라지는 비전(vision) 처리 영역(차선인식, 차량검출 및 차간거리를 추정하기 위한 영역)을 추출할 수 있다. 상기 캘리브레이션 장치(100)는 네비게이션, 블랙박스 등의 차량 장치에 포함되어 동작하거나, 상기 차량 장치와 연동하여 동작할 수 있다.
상술한 바와 같이, 카메라 캘리브레이션은 차선인식, 차량검출 및/또는 차간거리 추정을 위한 비전처리 영역을 정의하는 과정을 의미하고, 차선인식, 차량검출 및 차간거리 추정의 정확도는 카메라 캘리브레이션의 정확도에 따라서 크게 좌우된다.
일 실시 예로서, 상기 캘리브레이션 장치는 차량 전방을 촬영한 영상을 수신할 수 있다(S110).
상기 캘리브레이션 장치는 상기 차량 전방을 촬영한 영상에서 에지(edge) 성분을 검출하고, 상기 검출된 에지 성분을 허프(hough) 변환하여 직선을 추출한 후, 상기 추출한 직선을 기초로 소실점을 결정하고, 상기 소실점의 위치를 통해 지평선을 결정하는 단계를 수행할 수 있다(S120). 예를 들어, 상기 지평선을 결정하는 단계는, 상기 차량 전방을 촬영한 영상을 캐니 에지(canny edge) 이진화하여 에지 성분을 검출하는 단계를 포함할 수 있다.
또한 상기 지평선을 결정하는 단계는 다수의 영상으로부터 추출한 소실점들의 위치정보를 누적하는 단계와, 상기 누적된 소실점들의 위치정보가 기 정의된 신뢰도 이상인 영역의 중심 위치를 소실점으로 결정하는 단계를 포함할 수 있다.
이때 상기 신뢰도는 하기 수학식에 의해 계산되며,
Figure pat00003
여기서 제1 영역(A 영역)은 소정의 크기(예: 20x20 픽셀)로 정의된 영역으로서, 다수의 영상에서 계산된 소실점들이 특정 기준(제1 기준) 이상으로 밀집한 영역이다. 한편, 제2 영역(B 영역)은 상기 제1 영역(A 영역)과 동일한 중심 위치를 가지면서 제1 영역(A 영역)을 포함하는 크기(예: 40x40 픽셀)로 정의된 영역으로서, 다수의 영상에서 계산된 소실점들이 제2 기준 이상으로 밀집한 영역이다. 이때 다수의 소실점들이 제1 영역(A 영역)에 더 많이 존재한다면 소실점 신뢰도 값이 크게 계산된다. 다시 말해, 다수 영상에서 소실점을 검출하여 모아 보았을 때, 최대한 한 지점(영역)에 밀집되어 있다면, 그 소실점들은 믿을 만한 것으로 판단하는 것이다.
상기 캘리브레이션 장치는 상기 차량 전방을 촬영한 영상을 이진화하여 소정 프레임 이상 누적하고, 상기 누적된 영상에서 가로 축 프로젝션 히스토그램을 산출한 후, 상기 산출된 히스토그램이 임계값 이상으로 나타나는 위치를 통해 차량 보닛(bonnet) 영역을 결정하는 단계를 수행할 수 있다(S130). 이때 상기 차량 보닛(bonnet) 영역을 결정하는 단계는, 하기 수학식을 사용하여 차량 보닛 영역의 최상단을 판정하는 단계를 포함하며,
Figure pat00004
여기서, h2(i)는 i번째 프레임에서의 프로젝션 히스토그램을 통해 검출된 보닛 영역 h2를 의미하고, n은 보닛 영역을 결정하기 위한 반복된 프레임 수를 의미한다. 즉 연속해서 들어오는 입력영상(n개의 프레임)에서 특정 기준 이상으로 검출되는 보닛 영역(h2)이 일정하게 검출된다면, 그 보닛 영역 h2는 정확하다고 판단할 수 있고, 최종적인 h2는 n번 동안 검출된 보닛 영역의 평균으로 결정하게 된다.
상기 캘리브레이션 장치는 상기 차량 전방을 촬영한 영상에서 차선을 검출한 후, 상기 검출된 차선을 통해 차선 폭을 결정하는 단계를 수행할 수 있다(S140). 예를 들어 상기 캘리브레이션 장치는 상기 차량 전방을 촬영한 영상에서 RANSAC(Random Sample Consensus) 알고리즘으로 차선을 검출할 수 있다.
본 발명의 실시 예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 차선 검출 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상, 본 발명의 실시 예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
100 : 캘리브레이션 장치
101 : 영상 수신부
102 : 지평선 결정부
103 : 보닛 영역 결정부
104 : 차선폭 추정부

Claims (10)

  1. 차량 전방을 촬영한 영상을 수신하는 영상 수신부;
    상기 차량 전방을 촬영한 영상에서 에지(edge) 성분을 검출하고, 상기 검출된 에지 성분을 허프(hough) 변환하여 직선을 추출한 후, 상기 추출한 직선을 기초로 소실점을 결정하고, 상기 소실점의 위치를 통해 지평선을 결정하는 지평선 결정부;
    상기 차량 전방을 촬영한 영상을 이진화하여 소정 프레임 이상 누적하고, 상기 누적된 영상에서 가로 축 프로젝션 히스토그램을 산출한 후, 상기 산출된 히스토그램이 임계값 이상으로 나타나는 위치를 통해 차량 보닛(bonnet) 영역을 결정하는 보닛 영역 결정부;
    상기 차량 전방을 촬영한 영상에서 차선을 검출한 후, 상기 검출된 차선을 통해 차선 폭을 결정하는 차선폭 추정부;를 포함하는 것을 특징으로 하는 캘리브레이션 장치.
  2. 제1항에 있어서,
    상기 지평선 결정부는, 상기 차량 전방을 촬영한 영상을 캐니 에지(canny edge) 이진화하여 에지 성분을 검출하는 것을 특징으로 하는 캘리브레이션 장치.
  3. 제1항에 있어서,
    상기 지평선을 결정부는
    다수의 영상으로부터 추출한 소실점들의 위치정보를 누적하고,
    상기 누적된 소실점들의 위치정보가 기 정의된 신뢰도 이상인 영역의 중심 위치를 소실점으로 결정하는 것을 특징으로 하는 캘리브레이션 장치.
  4. 제3항에 있어서,
    상기 신뢰도는 하기 수학식에 의해 계산되며,
    Figure pat00005

    여기서, 상기 제1 영역은 다수의 영상에서 계산된 소실점들이 제1 기준 이상으로 존재하는 소정의 크기로 정의된 영역이고, 상기 제2 영역은 상기 제1 영역과 동일한 중심 위치를 가지면서 상기 제1 영역을 포함하는 크기로 정의된 영역으로서 상기 다수의 영상에서 계산된 소실점들이 제2 기준 이상으로 존재하는 영역인 것을 특징으로 캘리브레이션 장치.
  5. 제1항에 있어서,
    상기 보닛 영역 결정부는,
    하기 수학식을 사용하여 차량 보닛 영역의 최상단을 판정하며,
    Figure pat00006

    여기서, 상기 h2(i)는 i번째 프레임에서 프로젝션 히스토그램을 통해 검출된 보닛 영역이고, 상기 n은 보닛 영역을 결정하기 위한 반복된 프레임 수인 것을 특징으로 하는 캘리브레이션 장치.
  6. 제1항에 있어서,
    상기 차선폭 결정부는, 상기 차량 전방을 촬영한 영상에서 RANSAC(Random Sample Consensus) 알고리즘으로 차선을 검출하는 것을 특징으로 하는 캘리브레이션 장치.
  7. 캘리브레이션(calibration) 장치가 차량 전방을 촬영한 영상에서 차량 및 차선 영역을 결정하는 방법으로서,
    차량 전방을 촬영한 영상을 수신하는 단계;
    상기 차량 전방을 촬영한 영상에서 에지(edge) 성분을 검출하고, 상기 검출된 에지 성분을 허프(hough) 변환하여 직선을 추출한 후, 상기 추출한 직선을 기초로 소실점을 결정하고, 상기 소실점의 위치를 통해 지평선을 결정하는 단계;
    상기 차량 전방을 촬영한 영상을 이진화하여 소정 프레임 이상 누적하고, 상기 누적된 영상에서 가로 축 프로젝션 히스토그램을 산출한 후, 상기 산출된 히스토그램이 임계값 이상으로 나타나는 위치를 통해 차량 보닛(bonnet) 영역을 결정하는 단계;
    상기 차량 전방을 촬영한 영상에서 차선을 검출한 후, 상기 검출된 차선을 통해 차선 폭을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 지평선을 결정하는 단계는,
    상기 차량 전방을 촬영한 영상을 캐니 에지(canny edge) 이진화하여 에지 성분을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제7항에 있어서,
    상기 지평선을 결정하는 단계는
    다수의 영상으로부터 추출한 소실점들의 위치정보를 누적하는 단계;
    상기 누적된 소실점들의 위치정보가 기 정의된 신뢰도 이상인 영역의 중심 위치를 소실점으로 결정하는 단계를 포함하고,
    상기 신뢰도는 하기 수학식에 의해 계산되며,
    Figure pat00007

    여기서, 상기 제1 영역은 다수의 영상에서 계산된 소실점들이 제1 기준 이상으로 존재하는 소정의 크기로 정의된 영역이고, 상기 제2 영역은 상기 제1 영역과 동일한 중심 위치를 가지면서 상기 제1 영역을 포함하는 크기로 정의된 영역으로서 상기 다수의 영상에서 계산된 소실점들이 제2 기준 이상으로 존재하는 영역인 것을 특징으로 하는 방법.
  10. 제7항에 있어서,
    상기 차량 보닛(bonnet) 영역을 결정하는 단계는,
    하기 수학식을 사용하여 차량 보닛 영역의 최상단을 판정하는 단계를 포함하며,
    Figure pat00008

    여기서, 상기 h2(i)는 i번째 프레임에서 프로젝션 히스토그램을 통해 검출된 보닛 영역이고, 상기 n은 보닛 영역을 결정하기 위한 반복된 프레임 수인 것을 특징으로 하는 방법.
KR1020140037235A 2014-03-28 2014-03-28 카메라 캘리브레이션 방법 및 그 장치 KR101609303B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140037235A KR101609303B1 (ko) 2014-03-28 2014-03-28 카메라 캘리브레이션 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140037235A KR101609303B1 (ko) 2014-03-28 2014-03-28 카메라 캘리브레이션 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20150112656A true KR20150112656A (ko) 2015-10-07
KR101609303B1 KR101609303B1 (ko) 2016-04-20

Family

ID=54343880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140037235A KR101609303B1 (ko) 2014-03-28 2014-03-28 카메라 캘리브레이션 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101609303B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103627A (zh) * 2017-04-27 2017-08-29 深圳市天双科技有限公司 一种基于车道线的汽车全景摄像头外部参数标定方法
KR20180028766A (ko) * 2016-09-09 2018-03-19 현대모비스 주식회사 카메라의 오차 보정 시스템 및 방법
KR20180074568A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 차선 정보를 추정하는 방법 및 전자 장치
WO2018124337A1 (ko) * 2016-12-28 2018-07-05 주식회사 에이다스원 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
KR20180101058A (ko) * 2017-03-03 2018-09-12 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
CN109086650A (zh) * 2017-06-14 2018-12-25 现代摩比斯株式会社 校准方法和校准设备
WO2019054636A1 (ko) * 2017-09-13 2019-03-21 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
KR20190041150A (ko) * 2017-10-12 2019-04-22 현대모비스 주식회사 캘리브레이션 방법 및 장치
KR101991626B1 (ko) * 2018-05-25 2019-06-20 가천대학교 산학협력단 지능형 차량을 위한 소실점 검출 방법 및 시스템
KR102024834B1 (ko) * 2018-04-23 2019-09-24 주식회사 이알랩 차량에 설치된 카메라의 보정 장치 및 방법
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117538A1 (ko) * 2016-12-23 2018-06-28 삼성전자 주식회사 차선 정보를 추정하는 방법 및 전자 장치
KR101869266B1 (ko) 2017-05-08 2018-06-21 경북대학교 산학협력단 극한 심층학습 기반 차선 검출 시스템 및 그 방법
CN110621543B (zh) 2017-06-08 2022-12-16 金泰克斯公司 具有水平校正的显示装置
KR20210081939A (ko) 2019-12-24 2021-07-02 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4035910B2 (ja) * 1999-01-29 2008-01-23 三菱電機株式会社 車色判別装置
JP2002074340A (ja) * 2000-08-29 2002-03-15 Toshiba Corp 道路交通監視用画像処理装置およびこの装置のための画像処理パラメータ自動設定方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180028766A (ko) * 2016-09-09 2018-03-19 현대모비스 주식회사 카메라의 오차 보정 시스템 및 방법
US11436744B2 (en) 2016-12-23 2022-09-06 Samsung Electronics Co., Ltd. Method for estimating lane information, and electronic device
KR20180074568A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 차선 정보를 추정하는 방법 및 전자 장치
WO2018124337A1 (ko) * 2016-12-28 2018-07-05 주식회사 에이다스원 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
KR20180101058A (ko) * 2017-03-03 2018-09-12 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
CN107103627B (zh) * 2017-04-27 2020-12-11 深圳市天双科技有限公司 一种基于车道线的汽车全景摄像头外部参数标定方法
CN107103627A (zh) * 2017-04-27 2017-08-29 深圳市天双科技有限公司 一种基于车道线的汽车全景摄像头外部参数标定方法
US10529091B2 (en) 2017-06-14 2020-01-07 Hyundai Mobis Co., Ltd. Calibration method and apparatus
CN109086650A (zh) * 2017-06-14 2018-12-25 现代摩比斯株式会社 校准方法和校准设备
WO2019054636A1 (ko) * 2017-09-13 2019-03-21 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
KR20190030242A (ko) * 2017-09-13 2019-03-22 ㈜베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
US11398051B2 (en) 2017-09-13 2022-07-26 Vadas Co., Ltd. Vehicle camera calibration apparatus and method
KR20190041150A (ko) * 2017-10-12 2019-04-22 현대모비스 주식회사 캘리브레이션 방법 및 장치
KR102024834B1 (ko) * 2018-04-23 2019-09-24 주식회사 이알랩 차량에 설치된 카메라의 보정 장치 및 방법
KR101991626B1 (ko) * 2018-05-25 2019-06-20 가천대학교 산학협력단 지능형 차량을 위한 소실점 검출 방법 및 시스템
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point

Also Published As

Publication number Publication date
KR101609303B1 (ko) 2016-04-20

Similar Documents

Publication Publication Date Title
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
Wu et al. Lane-mark extraction for automobiles under complex conditions
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US9257043B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US9047518B2 (en) Method for the detection and tracking of lane markings
JP6349742B2 (ja) 多車線の検出方法と検出システム
US10520309B2 (en) Object recognition device, object recognition method, equipment control system, and distance image generation device
EP2573708B1 (en) Method and System for Detecting Vehicle Position by Employing Polarization Image
US20030002713A1 (en) Vision-based highway overhead structure detection system
KR101285106B1 (ko) 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
KR101584907B1 (ko) 관심 영역을 이용한 차선 인식 방법 및 그 장치
Satzoda et al. On performance evaluation metrics for lane estimation
JP2014009975A (ja) ステレオカメラ
CN108629225B (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
KR102100047B1 (ko) 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법
KR101723536B1 (ko) 도로에서의 차선 검출 방법 및 장치
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
KR101205565B1 (ko) 영상을 이용한 전후방 차량 검출 방법
CN109101874B (zh) 一种基于深度图像的图书馆机器人障碍识别方法
KR101910256B1 (ko) 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템
JP4151631B2 (ja) 物体検出装置
Wang et al. A robust vehicle model construction and identification system using local feature alignment
WO2023068034A1 (ja) 画像処理装置
CN109960977B (zh) 基于图像分层的显著性预处理方法
CN112906424B (zh) 图像识别方法、装置及设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 5