KR20200075766A - 이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치 - Google Patents

이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200075766A
KR20200075766A KR1020190168263A KR20190168263A KR20200075766A KR 20200075766 A KR20200075766 A KR 20200075766A KR 1020190168263 A KR1020190168263 A KR 1020190168263A KR 20190168263 A KR20190168263 A KR 20190168263A KR 20200075766 A KR20200075766 A KR 20200075766A
Authority
KR
South Korea
Prior art keywords
image sensor
parallel
feature edges
image
vanishing point
Prior art date
Application number
KR1020190168263A
Other languages
English (en)
Other versions
KR102365501B1 (ko
Inventor
스리지트 마카세리
Original Assignee
콘티넨탈 오토모티브 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티넨탈 오토모티브 게엠베하 filed Critical 콘티넨탈 오토모티브 게엠베하
Publication of KR20200075766A publication Critical patent/KR20200075766A/ko
Application granted granted Critical
Publication of KR102365501B1 publication Critical patent/KR102365501B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법이 제공된다. 방법은 이미지 센서에 의해 포착된 이미지 프레임에서 나타나는 제1 세트의 평행 특징 에지를 선택하는 단계, 및 제1 세트의 평행 특징 에지에 대한 기준 소실점을 결정하는 단계를 포함하며, 기준 소실점은 투영 기준 프레임 상에 위치된다. 제1 세트의 평행 특징 에지에 평행한 제2 세트의 평행 특징 에지가 그런 다음 선택되고, 제2 세트의 평행 특징 에지로부터 복수의 포인트는 이미지 센서의 기존의 투영 행렬에 기초하여 이미지 센서의 투영 기준 프레임 상에 투영된다. 방법은 제2 세트의 평행 특징 에지에 대한 제2 소실점으로서, 투영 기준 프레임 상에 위치된 상기 제2 소실점을 결정하는 단계, 및 적어도 다음의 단계를 재귀적으로 수행하는 것에 의해 편차가 허용 가능한 사전 한정된 한계 내에 있을 때까지 기준 소실점으로부터 제2 소실점의 위치의 임의의 편차를 감소시키는 단계를 더 포함한다: 외재적 파라미터 중 하나 이상을 조정하는 것에 의해 기존의 투영 행렬을 변경하는 단계, 변경된 기존의 투영 행렬을 사용하여 투영 기준 프레임 상에 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하는 단계, 및 투영 후에 제2 소실점을 결정하는 단계.

Description

이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치{METHOD AND APPARATUS FOR CALIBRATING THE EXTRINSIC PARAMETER OF AN IMAGE SENSOR}
본 발명은 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법, 디바이스, 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.
현대의 차량에는 종종 차량을 운전하는 운전자를 돕도록 의도된 다양한 전자 시스템이 장착된다. 이러한 전자 시스템은 종종 차량 및 그 외부 환경의 이미지를 포착하도록 사용되는 하나 이상의 차량 장착 이미지 센서의 사용을 포함한다. 포착된 이미지는 분석되고, 물체 검출, 차선 이탈 경고, 주차 보조, 및 거리 측정과 같은 하나 이상의 운전자 지원 기능을 제공하도록 단독으로, 또는 다른 환경 센서로부터의 입력과 조합하여 사용될 수 있다. 차량 장착 영상 기반 센서는 또한 이전에는 얻을 수 없었던 뷰포인트에 대한 액세스를 포함하는 외부 환경에 대한 보다 포괄적인 시야를 운전자에게 제공하도록 사용될 수 있다. 이것은 차량의 상이한 부분들에 장착된 다수의 영상 기반 센서로부터 이미지를 스티칭하는(stitching) 것에 의해 생성된 합성 이미지를 운전자에게 디스플레이하는 것에 의해 달성된다. 예를 들어, 서라운드 뷰 시스템은 차량의 전방, 후방 및 측면 외부에 장착된 4개의 광각 영상 기반 센서를 때때로 포함한다. 서라운드 뷰 시스템에서의 이미지 센서는 전형적으로 180°이상의 수평 시야를 가진다. 차량 환경의 360°시야는 서라운드 뷰 이미지 센서로부터 이미지를 함께 스티칭하는 것에 의해 획득될 수 있다.
그러나, 합성 이미지를 생성하는 프로세스는 이미지를 함께 스티칭하기 전에 상이한 이미지 센서들로부터의 이미지를 정렬하는 단계를 포함한다. 이것은 현실 세계에서의 3D 포인트를 이미지 센서의 2D 이미지 평면으로 맵핑하도록 사용되는 투영 행렬(projection matrix)에 대한 지식을 요구한다. 유사하게, 투영 행렬의 지식은 또한 이미지로부터의 거리 측정과 같은 다른 이미지 기반 운전자 지원 기능의 작동을 위해 요구된다. 이미지 센서와 관련된 실제 투영 행렬은 사용된 센서의 유형에 의존하여 달라질 수 있지만, 투영 행렬은 일반적으로 이미지 센서와 관련된 내재적 및 외재적 파라미터의 관점에서 정의된다. 내재적 파라미터는 일반적으로 이미지 센서의 광학과 관련되고, 즉 이미지 센서를 통해 센서의 이미지 평면에 빛이 어떻게 투영되는지와 관련된다. 이것은 초점 길이 및 초점과 같은 파라미터를 포함한다. 다른 한편으로, 외재적 파라미터는 이미지 센서의 위치 및 배향과 관련되며, 기준 프레임(즉, 절대 외재적 파라미터)으로서 사용되는 좌표 축(coordinate axes)에 대해 정의될 수 있다. 위치 관련 외재적 파라미터는 기준 프레임의 x, y 및 z-축을 따르는 이미지 센서의 위치를 나타내는 반면에, 배향 관련 외재적 파라미터는 x, y 및 z-축을 따르는 이미지 센서의 회전을 나타낸다. 외재적 파라미터에 대한 기준 프레임으로서 통상적으로 사용되는 좌표 축의 예는 좌표 축의 원점이 차량 자체에 위치되는 차량 좌표계 및 세계 좌표계를 포함한다. 이미지 센서의 외재적 파라미터는 다른 이미지 센서의 외재적 파라미터(즉, 상대적인 외재적 파라미터)에 대하여 또한 측정될 수 있다.
그러므로, 이미지 기반 운전자 지원 기능의 적절한 작동을 용이하게 하기 위해, 이미지 센서의 외재적 파라미터를 설정하기 위한 교정이 필수적이다. 그러나, 이미지 센서의 위치 및/또는 배향은 차량의 적재, 마모 및 찢김의 영향, 다양한 차량 부품의 교체, 및 울퉁불퉁한 도로 및 도어 슬램(door slam)에 의해 유발되는 진동과 같은 다양한 요인에 의해 변화될 수 있다는 문제점이 발생한다. 이것은 차례로 이미지 센서의 외재적 파라미터의 변화를 유발한다.
전술한 관점에서, 공지된 기하학적 구조를 가지는 전용 교정 구조를 요구하지 않고 차량 작업장 세팅 외부에서 수행될 수 있는 강력한 온라인 외재적 파라미터 교정 방법이 필요하다.
본 발명의 양태는 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법, 디바이스, 및 컴퓨터 판독 가능 저장 매체를 제공한다.
본 발명의 제1 양태는 이미지 센서에 의해 포착된 이미지 프레임에서 나타나는 제1 세트의 평행 특징 에지를 선택하고 제1 세트의 평행 특징 에지에 대한 기준 소실점(reference vanishing point)을 결정하는 단계를 포함하며, 기준 소실점이 이미지 센서의 투영 기준 프레임 상에 위치되는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법을 제공한다. 제1 세트의 평행 특징 에지는 2개의 평행 특징 에지를 포함할 수 있다. 일부 구현예에서, 제1 세트의 평행 특징 에지는 차선 표시, 주차 차선, 또는 도로 경계 중 적어도 하나를 포함할 수 있다. 방법은 또한 제1 세트의 평행 특징 에지에 평행한 제2 세트의 평행 특징 에지를 선택하는 단계, 이미지 센서의 기존의 투영 행렬에 기초하여 투영 기준 프레임 상에 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하는 단계, 제2 세트의 평행 특징 에지에 대한 제2 소실점으로서, 투영 기준 프레임 상에 위치된 상기 제2 소실점을 결정하는 단계를 또한 포함한다. 제2 세트의 평행 특징 에지는 현실 또는 가상의 특징 에지에 존재하는 특징 에지일 수 있다. 기준 소실점으로부터 제2 소실점의 위치의 임의의 편차는 적어도 다음 단계를 재귀적으로 수행하는 것에 의해 편차가 하나 이상의 사전 한정된 한계 내에 있을 때까지 감소된다: 외재적 파라미터 중 하나 이상을 조정하는 것에 의해 기존의 투영 행렬을 변경하는 단계, 변경된 기존의 투영 행렬을 사용하여 투영 기준 프레임 상에 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하는 단계, 및 투영 후에 제2 소실점을 결정하는 단계.
일부 구현예에서, 이미지 센서는 구체 카메라 모델(sphere camera model)을 사용하여 모델링될 수 있는 센서이다. 구체 카메라 이미지 센서가 사용되는 하나의 변형예에서, 제1 세트의 평행 특징에 대한 기준 소실점의 제1 쌍을 결정하는 단계는 제1 세트의 평행한 에지에 있는 제1 및 제2 특징 에지의 영상점(image point)에 제1 원 및 제2 원을 맞추는 단계, 및 제1 및 제2 원이 교차하는 곳을 결정하는 단계를 포함할 수 있다. 이러한 경우에, 이미지 센서의 투영 기준 프레임은 이미지 센서의 이미지 평면이다. 제2 세트의 평행 특징 에지에 대한 제2 소실점은 또한 이미지 센서의 기존의 투영 행렬에 기초하여 이미지 평면 상에 제2 세트의 평행 특징 에지에 있는 제3 및 제4 특징 에지로부터 복수의 포인트를 투영하는 것에 의해 획득된, 제2 세트의 평행한 에지에 있는 제3 및 제4 특징 에지의 영상점에 제3 원 및 제4 원을 맞추고, 제3 및 제4 원이 교차하는 곳을 결정하는 것에 의해 결정될 수 있다. 적어도 제1, 제2, 제3 또는 제4 원의 맞춤은 손실 함수를 최소화하는 것에 기초할 수 있다. 선택적인 구현예에서, 편차가 하나 이상의 사전 한정된 한계 내에 있을 때까지 기준 소실점으로부터 제2 소실점의 위치의 임의의 편차를 감소시키는 단계는 기준 소실점들을 연결하는 제1 연결 라인을 그리는 단계, 및 제2 소실점들을 연결하는 제2 연결 라인을 그리는 단계를 포함한다. 외재적 파라미터 중 하나 이상을 조정하는 것에 의해 기존의 투영 행렬을 변경하는 단계는 그런 다음, 제1 연결 라인으로부터 제2 연결 라인의 위치 또는 길이의 임의의 편차를 감소시키도록 하나 이상의 외재적 파라미터를 조정하기 전에, 기울기 편차(gradient deviation)가 기울기 한계 내에 있을 때까지 제2 연결 라인과 제1 연결 라인 사이의 임의의 기울기 편차를 감소시키도록 하나 이상의 외재적 파라미터를 초기에 조정하는 단계를 포함할 수 있다. 제2 세트의 평행 특징 에지로부터 복수의 포인트는, 기준 소실점으로부터 제2 소실점의 위치의 임의의 편차가 하나 이상의 사전 한정된 한계 내에 있을 때까지 하나 이상의 외재적 파라미터의 각각의 조정 후에 변경된 기존의 투영 행렬 및 투영 후에 결정된 제2 소실점을 사용하여 투영 기준 프레임 상에 투영된다. 하나의 변형예에서, 기울기 편차가 기울기 한계 내에 있을 때까지 제2 연결 라인과 제1 연결 라인 사이의 기울기 편차를 감소시키도록 하나 이상의 외재적 파라미터를 초기에 조정하는 단계는 배향과 관련된 외재적 파라미터 중 하나 이상을 조정하는 단계를 포함하고, 제1 및 제2 연결 라인의 위치 및/또는 길이의 임의의 편차를 감소시키도록 하나 이상의 외재적 파라미터를 조정하는 단계는 병진과 관련된 외재적 파라미터 중 하나 이상을 조정하는 단계를 포함한다. 이미지 센서가 구체 카메라 모델을 사용하여 모델링될 수 있는 다른 구현예에서, 투영 기준 프레임은 단일 구체(unitary sphere)이다.
다른 예시적인 구현예에서, 이미지 센서는 차량에 장착된다. 제1 세트의 평행 특징 에지를 선택하는 단계는 이미지 프레임에서 적어도 2개의 특징 에지를 검출하는 단계, 및 이미지 프레임이 포착되었을 때 차량의 적어도 조향 각도 또는 휠 각도를 검사하는 것에 의해 특징 에지가 평행한지 결정하는 단계를 포함할 수 있다. 일부 구현예에서, 제2 세트의 평행 특징 에지는 차량의 측 방향 축을 따라서 위치된 차량의 좌표 축을 따라서 제1 세트의 평행 특징 에지를 시프팅하는 것에 의해 획득될 수 있다.
본 발명의 다른 양태는, 프로세서, 프로세서에 결합되는 적어도 하나의 메모리로서, 프로세서로 하여금, 이미지 센서에 의해 포착된 이미지 프레임에서 나타나는 제1 세트의 평행 특징 에지를 선택하게 하고, 제1 세트의 평행 특징 에지에 대한 기준 소실점으로서, 이미지 센서의 투영 기준 프레임에 위치되는 상기 기준 소실점을 결정하게 하는, 프로세서에 의해 실행 가능한 명령어를 저장하는 상기 메모리를 포함하는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 디바이스를 제공한다. 프로세서는 또한 제1 세트의 평행 특징 에지에 평행한 제2 세트의 평행 특징 에지를 선택하고, 이미지 센서의 기존의 투영 행렬에 기초하여 투영 기준 프레임 상에 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하고, 제2 세트의 평행 특징 에지에 대한 제2 소실점으로서, 투영 기준 프레임에 위치된 상기 제2 소실점을 결정하도록 유발된다. 기준 소실점으로부터 제2 소실점의 위치의 임의의 편차는 적어도 다음 단계를 재귀적으로 수행하는 것에 의해 편차가 하나 이상의 사전 한정된 한계 내에 있을 때까지 감소된다: 외재적 파라미터 중 하나 이상을 조정하는 것에 의해 기존의 투영 행렬을 변경하는 단계, 변경된 기존의 투영 행렬을 사용하여 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영 기준 프레임 상에 투영하고 투영 후에 제2 소실점을 결정하는 단계.
일부 구현예에서, 이미지 센서는 구체 카메라 모델을 사용하여 모델링될 수 있는 것이고, 투영 기준 프레임은 이미지 센서의 이미지 평면이며, 적어도 하나의 메모리는, 프로세서로 하여금, 제1 세트의 평행한 에지에 있는 제1 및 제2 특징 에지의 영상점에 제1 원 및 제2 원을 맞추는 것에 의해, 제1 및 제2 원이 교차하는 곳에 위치되는 기준 소실점을 결정하게 하고, 이미지 센서의 이미지 평면 상에 제3 및 제4 특징 에지로부터 복수 포인트를 투영하는 것에 의해 획득된 제2 세트의 평행한 에지에 있는 제3 및 제4 특징 에지의 영상점에 제3 원 및 제4 원을 맞추는 것에 의해 제2 소실점을 결정하게 한다. 제2 소실점은 제3 및 제4 원이 교차하는 곳에 위치된다. 이미지 센서는 차량에 장착되며, 적어도 하나의 메모리는 프로세서로 하여금, 적어도 다음 단계에 의해 제1 세트의 평행 특징 에지를 선택하게 할 수 있다: 이미지 프레임에서 적어도 2개의 직선 특징 에지를 검출하는 단계, 및 이미지 프레임이 포착되었을 때 차량의 적어도 조향 각도 또는 휠 각도를 검사하는 것에 의해 직선 특징 에지가 평행한지 결정하는 단계. 적어도 하나의 메모리는 또한 프로세서로 하여금, 차량의 측 방향 축을 따라서 위치된 차량의 좌표 축을 따라서 제1 세트의 평행 특징 에지를 시프팅하는 것에 의해 제2 세트의 평행 특징 에지를 선택하게 할 수 있다.
본 발명의 다른 양태는 또한 본 발명에서 논의된 방법을 수행하기 위한 컴퓨터 판독 가능한 명령어를 포함하는 비일시적 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 다른 변형예에서, 본 발명에 따른 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 디바이스를 포함하는 차량이 제공될 수 있다.
본 발명의 하나 이상의 구현예의 세부 사항은 첨부 도면 및 이하의 설명에서 설명된다. 다른 양태, 특징 및 장점은 상세한 설명 및 도면, 및 청구범위로부터 명백할 것이다.
도 1은 본 발명의 하나의 구현예에 따른 이미지 센서의 하나 이상의 외재적 파라미터를 교정하도록 동작 가능한 머신 비전 모듈(machine vision module)을 포함하는 시스템(100)의 기능 블록도;
도 2는 외재적 파라미터 교정을 위해 사용되는 제1 세트의 평행 특징 에지의 이미지를 포착하는 차량 장착 이미지 센서의 예시적인 시나리오를 도시한 도면;
도 3은 본 발명의 하나의 구현예에 따른 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 자동화된 방법을 도시하는 흐름도;
도 4A는 현실 세계에서 나타나는 바와 같은 평행한 차선 표시의 예시적인 쌍을 도시하고, 도 4B는 어안 카메라(fisheye camera)에 의해 포착된 도 4A의 차선 표시의 이미지를 도시한 도면;
도 5는 각각의 특징 에지의 영상점에 원을 맞추는 것에 의해 제1 세트의 평행 특징 에지와 관련된 기준 소실점을 결정하는 예시적인 방법을 도시한 도면;
도 6은 제2 세트의 평행 특징 에지를 선택하기 위한 예시적인 방법을 도시한 도면;
도 7은 도 5의 제1 세트의 평행 특징 에지에 대한 영상점 및 기존의 투영 행렬을 사용한 투영에 의해 획득된 제2 세트의 평행 특징 에지에 대한 영상점을 포함하는 이미지 평면을 도시한 도면;
도 8A는 단일 구체의 표면 상에 제1 세트의 평행 특징 에지에 대한 영상점을 픽셀 맵핑하는 것에 의해 기준 소실점을 결정하는 다른 예시적인 방법을 도시한 도면; 및
도 8B는 도 8B에서의 제1 세트의 평행 특징 에지에 평행한 제2 세트의 평행 특징 에지와 관련된 제2 소실점을 포함하는 단일 구체를 도시한 도면.
다음의 상세한 설명에서, 첨부 도면을 참조한다. 도면에서, 문맥이 달리 지시하지 않는 한, 유사한 부호는 전형적으로 유사한 구성 요소를 지시한다.
2차원 이미지 평면으로의 현실 세계에서 3차원 포인트의 투시 투영(perspective projection)을 위해, 무한 장면 라인(infinite scene line)은 소실점에서 끝나는 라인으로서 이미지화된다. 동일한 이론에 의해, 서로 평행한 세계선(world line)(예컨대, 차선 표시)은 공통의 소실점으로 수렴하는 라인으로 이미지화된다. 본 발명은 이미지 센서의 외재적 파라미터 교정을 수행하기 위한 기초로서 전술한 소실점 개념에 의지한다. 교정되는 이미지 센서에서 사용되는 렌즈 시스템의 유형에 의존하여, 본 발명은 2개의 현실 세계의 평행 특징 에지를 포함하는 교정 구조가 존재하는 한 외재적 파라미터 교정이 수행되는 것을 가능하게 한다. 예를 들어, 구체 카메라 모델에 기초한 이미지 센서의 외재적 파라미터는 2개의 현실 세계의 평행 특징 에지로 이루어진 제1 세트의 평행 특징 에지를 사용하여 교정될 수 있다. 제2 세트의 평행 특징 에지는 현실 세계 또는 가상의 특징 에지에 존재하는 특징 에지일 수 있다. 본 발명와 관련된 장점 중 하나는 오프라인 교정 방법에서 사용되는 것과 같은 알려진 차원을 가지는 전용 교정 구조가 교정을 위해 필수적이지 않다는 것이다. 교정은 일반 도로에서 이용 가능한 특징 에지를 사용하여 수행될 수 있다. 예를 들어, 차선/도로 표시, 주차 차선, 연석 또는 도로 측면 또는 그 조합과 같은 도로에서 일반적으로 발견되는 평행 특징이 사용될 수 있다. 따라서, 본 발명은 오프라인 및 온라인 외재적 교정 방법 모두에 적용될 수 있다. 차선 표시 및 주차 라인이 일반적으로 전세계적으로 고도로 표준화되어 있기 때문에, 본 명세서에서 설명된 교정 방법 및 장치는 차량 플랫폼에 장착된 머신 비전 모듈에서 강력하게 전개될 수 있다.
도 1은 본 발명의 하나의 구현예에 따라서 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 자동화된 방법을 수행하도록 구성된 머신 비전 모듈(140)을 포함하는 예시적인 시스템(100)의 기능 블록도이다. 교정 방법은 현실 세계 좌표에서 서로 평행한 제1 및 제2 세트의 평행 특징 에지와 관련된 소실점을 비교하는 것에 기초한다. 제1 세트의 평행 특징 에지는 현실 세계에 존재하는 특징 에지인 반면에, 현실 세계 또는 가상의 특징 에지는 제2 세트의 평행 특징 에지를 위해 사용될 수 있다. 제2 세트의 평행 특징 에지에 대한 소실점은 이미지 센서의 기존의 투영 행렬에 기초하여 이미지 센서의 투영 기준 프레임 상에 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하는 것에 의해 도출될 수 있다. 하나 이상의 외재적 파라미터는, 외재적 파라미터 중 하나 이상을 조정하는 것에 의해 기존의 투영 행렬을 재귀적으로 변경하는 것에 의해 편차가 하나 이상의 사전 한정된 한계 내에 있을 때까지 기준 소실점으로부터 제2 소실점의 위치의 임의의 편차를 감소시키고, 변경된 기존의 투영 행렬을 사용하여 투영 기준 프레임 상에 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하고, 투영 후에 결과적인 제2 소실점의 위치의 임의의 편차가 하나 이상의 사전 한정된 한계 내에 있는지 검사하는 것에 의해 도출된다.
차량과 관련된 시스템(100)은 또한 모두 머신 비전 모듈(140)과 통신하는 환경 모듈(120) 및 차량 시스템(160)을 포함한다. 환경 모듈(120)은 차량의 외부 환경에 대한 정보를 감지하고 수집하도록 동작하는 환경 센서를 포함한다. 도 1의 구현예에서, 환경 모듈은 차량의 상이한 부분들 외부에 장착된 4개의 이미지 센서(124-127)를 포함하는 이미지 센서 모듈(122)을 포함한다. 각각의 이미지 센서는 그 자체의 외재적 파라미터의 세트를 가진다. 예로서, 이미지 센서는 도 2의 예에서와 같이 차량의 사이드 미러 및 후방 범퍼에 외부에 장착된 광각 카메라(124-127)일 수 있다. 이미지 센서 모듈(122)이 또한 다른 유형(예를 들어, 영상 기반 모노 카메라) 및 다른 수의 이미지 센서를 포함할 수 있다는 것이 당업자에 의해 이해될 것이다. 또한, 레이더, 라이더 및 초음파 센서와 같은 다른 유형의 환경 센서가 또한 환경 모듈에 포함될 수 있다.
도 1의 구현예에서의 머신 비전 모듈(140)은 컴퓨팅 프로세서(142), 및 프로세서(142)와 통신하는 하드웨어 메모리(144)를 포함한다. 컴퓨팅 프로세서(142)는 예를 들어 마이크로 컨트롤러일 수 있으며, 정보를 저장하고 그 안에 저장된 명령어를 실행하기 위해 메모리(144)에 액세스할 수 있는 그래픽 처리 유닛(GPU)이 또한 사용될 수 있다. 또한 사용될 수 있다. 메모리(144)는 비일시적 메모리(예를 들어, 하드 드라이브, 플래시 메모리, 랜덤 액세스 메모리), 일시적 메모리, 또는 그의 조합을 포함할 수 있다. 대안적으로, 프로세서(142) 및 메모리(144)는 또한 단일 집적 회로 상에 집적될 수 있다. 메모리(144)는 프로세서(142)에 의해 액세스 가능한 정보 및 프로세서(142)에 의해 저장, 검색 또는 달리 사용될 수 있는 데이터를 저장한다. 예를 들어, 프로세서(142)는 메모리(144)에 저장된 명령어에 기초하여 본 발명에 따른 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 자동화된 방법을 실행할 수 있다. 메모리는 또한 이미지 프레임이 외재적 파라미터 교정을 위해 사용될 수 있는지 결정하도록 프로세서(142)에 대한 명령어를 포함할 수 있다. 이것은 이미지 프레임과 관련된 특성이 하나 이상의 이미지 선택 기준을 충족시키는지 검사하는 것에 의해 달성될 수 있다. 이미지 선택 기준은 샘플 이미지에서 적절한 교정 구조의 이용 가능성과 관련된 적어도 하나 이상의 조건을 포함할 것이다. 앞서 논의된 바와 같이, 본 발명에서의 외재적 파라미터 교정 방법은 소실점의 개념에 기초하고, 서로 평행한 적어도 2개의 교정 특징 에지를 포함하는 제1 세트의 평행 특징 에지가 요구된다. 일부 구현예에서, 이미지 프레임이 제1 세트의 평행 특징 에지를 포함하는지 결정하는 프로세스는 직선 특징 에지의 존재를 검출하고, 그런 다음 이들이 평행한지를 검사하는 단계를 포함할 수 있다. 직선 특징 에지의 검출은 이미지 프레임에서 에지의 존재를 검출하고, 검출된 에지 중 어느 것이 직선인지 결정하는 것을 포함할 수 있다. 대안적으로, 잠재적 교정 구조는 구조의 사전 한정된 목록에서 선택될 수 있으며, 이들 구조는 교정 구조로서 실제 적합성이 검사된다. 예를 들어, 사전 한정된 목록은 잠재적 교정 구조로서 차선 및 도로 표시를 포함할 수 있다. 일부 구현예에서, 특징 에지의 평행성은 이미지 프레임이 촬영되었을 때 차량의 이동 방향과 같은 다양한 방법을 사용하여 검증될 수 있다. 이동 방향은 프로세서(142)가 차량 시스템(160)에 있는 하나 이상의 서브 모듈로부터 획득할 수 있는 조향 및/또는 휠 각도 정보로부터 획득될 수 있다. 예를 들어, 조향 각도 센서(164) 및 휠 각도 센서(166)는 ESC 시스템(162)에 있다. 이미지 선택 기준은 또한 샘플 이미지의 품질, 특히 샘플 이미지에서의 잠재적 교정 구조의 이미지 품질과 관련된 요소를 포함할 수 있다.
프로세서(142)는 그런 다음 제1 및 제2 세트의 평행 특징 에지에 대한, 교정되는 이미지 센서의 투영 기준 프레임 상에 위치된 소실점을 결정할 수 있다. 투영 기준 프레임은, 예를 들어 이미지 센서의 이미지 평면이거나 또는 단일 구체와 같은 중간 투영 기준 프레임일 수 있다. 예로서, 구체 카메라 모델을 사용하여 모델링될 수 있는 이미지 센서는 투영 기준 프레임으로서 이미지 평면을 사용할 수 있고, 제1 세트의 평행 특징 에지에 대한 기준 소실점은 제1 세트의 평행 특징에 있는 평행 특징 에지의 영상점에 원을 맞추는 것에 의해 결정된다. 한편, 제2 세트의 평행 특징 에지와 관련된 제2 소실점은 기존의 투영 행렬을 사용하여 이미지 평면 상에 평행 특징 에지로부터 포인트를 투영하고, 특징 에지의 결과적인 이미지 사이의 교차점을 찾는 것에 의해 도출된다. 다른 구현예에서, 단일 구체는 구체 카메라 이미지 센서 교정 프로세스에서 투영 기준 프레임으로서 대신 사용될 수 있다. 단일 구체 상에서의 기준 소실점의 위치는 픽셀 맵핑(pixel mapping)에 의해 도출될 수 있는 반면에, 동일한 것에 있는 제2 소실점의 위치는 기존의 투영 행렬에 기초하여 단일 구체 상에 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하는 것에 의해 얻어진다. 픽셀 맵핑은 각각의 원으로서 원 맞춤에 의해 픽셀 단위로 단일 구체 픽셀 상으로의 제1 세트의 평행한 특징 특징 에지에 있는 특징 에지와 관련된 영상점의 맵핑을 지칭한다. 비록 도 1이 동일한 블록 내에 위치된 것으로서 프로세서(142) 및 메모리(144)를 기능적으로 도시할지라도, 당업자는 프로세서 및 메모리가 실제로 다른 하우징에 위치된 다수의 프로세서 및/또는 메모리를 포함할 수 있다는 것을 이해할 것이다. 따라서, 프로세서 또는 메모리에 대한 언급은 본 발명에서 설명된 머신 비전 모듈의 기능을 수행할 수 있는 프로세서 및/또는 메모리의 집합에 대한 참조를 포함하는 것으로 이해될 것이다. 또한, 머신 비전 모듈이 다른 모듈 또는 구성 요소와 관계없이 존재할 수 있다는 것이 당업자에 의해 이해될 것이다. 대안적으로, 머신 비전 모듈은 다른 모듈, 프로그램 또는 하드웨어의 공유된 요소 또는 프로세스일 수 있다. 예를 들어, 프로세서(142) 및 메모리(144)는 또한 물체 검출 기능 및/또는 차선 유지 지원 기능을 수행하도록 구성될 수 있다.
일부 구현예에서, 머신 비전 모듈(140)은 다른 차량 모듈들로부터의 정보에 기초하여 자동화된 이미지 센서 교정 기능을 제공하도록 구성될 수 있다. 예를 들어, 도 1에서 구현예에서, 머신 비전 모듈(140)은 전자 안정성 제어(ESC) 시스템(162)을 포함하는 차량 시스템(160)과 통신한다. ESC 시스템은 조향 휠 위치 각도 및 회전 속도를 측정하는 조향 각도 센서(164), 휠 각도 센서(166), 및 ESC 전자 제어 유닛(ECU)(168)을 포함할 수 있다. 일부 변형예에서, 머신 비전 모듈(140)은 샘플 이미지가 하나 이상의 이미지 선택 기준을 충족시키는지 결정하기 위해 ESC 시스템(162)으로부터의 정보를 사용할 수 있다. 예를 들어, 교정을 위해 사용된 제1 세트의 평행 특징 에지가 차선 표시 또는 도로 경계를 포함하면, 이미지 선택 기준 중 하나는 제1 세트에 있는 특징 에지가 서로 평행하도록 샘플 이미지가 촬영되었을 때 차량이 실질적으로 직선으로 주행하도록 요구할 수 있다. 차량의 주행 방향에 대한 정보는 차량의 조향 휠 위치 각도를 측정하는 조향 각도 센서(164), 휠 각도 센서(166), 또는 그 조합으로부터 획득될 수 있다.
도 2는 도 1에 도시된 것과 같은 시스템이 장착된 차량(210)의 예를 도시한다. 제공된 예가 차량에 장착된 이미지 센서의 외재적 파라미터를 교정하는 것과 관련하여 사용되는 방법 및 디바이스를 도시할지라도, 이것은 제한이도록 의도되지 않는다는 것을 이해해야 한다. 본 발명은 또한 고정식, 이동형, 자율적 또는 비자율적이든 다른 유형의 플랫폼에 장착된 교정 이미지 센서에 적용될 수 있다. 도 2에서, 차량(210)은 어안 렌즈를 구비한 4개의 광각 이미지 센서(124-127)를 포함한다. 4개의 이미지 센서는 차량의 각각의 측면(124, 125)에 위치된 사이드 시야 미러 및 후방 범퍼(126, 127)의 모서리에 장착된다. 이미지 센서로부터의 이미지는 차량 주위의 360°시야를 운전자에게 제공하도록 조합될 수 있다. 교정은 광각 카메라 대신 모노 및 스테레오 카메라와 같이 차량에 장착된 다른 유형의 이미지 센서에 또한 적용될 수 있다. 이미지 센서(124-127)에 의해 포착된 이미지는 머신 비전 모듈(140)로 전송되며, 여기서, 이미지는 본 명세서에서 설명된 방법을 사용하여 각각의 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위해 프로세서(142)에 의해 사용될 수 있다. 일부 구현예에서, 이미지는 예를 들어 머신 비전 모듈(140)로 전송되기 전에 노이즈 및 왜곡을 제거하기 위해 사전 처리될 수 있다. 사전 처리는 예를 들어 환경 모듈(120)에 있는 프로세서에 의해 수행될 수 있다. 사전 처리는 또한 교정을 위해 이미지를 사용하기 전에 프로세서(142)에 의해 수행될 수 있다. 도 2에서, 차량(210)은, 2차원 x-y 세계 좌표 공간으로 연장되고 도 2의 평면으로부터 직각 방향으로 연장되는 z-축을 교차하는 지평면(220)을 형성하는 도로 위에서 이동한다. 지평면(220)은 차량(210)의 양측에 배치된 평행한 차선 표시(240a, 240b)을 포함한다. 우측 시야 미러에 장착된 제1 이미지 센서(124)는 도면 부호(124a)로 표시된 시야를 가진다. 예로서, 머신 비전 모듈(140)은 제1 이미지 센서(124)에 의해 포착된 이미지에서 나타나는 제1 세트의 평행 특징 에지를 사용하여 제1 이미지 센서(124)의 하나 이상의 외재적 파라미터를 교정하도록 구성될 수 있다. 초기에 논의된 바와 같이, 본 발명은 구체 카메라 이미지 센서와 같은 이미지 센서의 외재적 파라미터 교정을 위해 2개의 평행 특징 에지를 포함하는 제1 세트의 평행 특징 에지만을 요구한다. 알려진 차원을 가지는 전용 구조는 또한 필수적이 아니다. 예를 들어, 제1 세트의 평행 특징 에지는 평행한 차선 표시(240a, 240b)를 포함할 수 있다. 도로 표시, 연석 또는 도로의 측면과 같은 다른 평행한 에지 특징은 제1 세트의 평행 특징 에지를 형성하도록 차선 표시의 대안으로서 또는 이와 조합하여 또한 사용될 수 있다. 예를 들어, 제1 세트의 평행 특징 에지는 연석과 조합된 차선 표시의 열을 포함할 수 있다.
도 3은 앞서 논의된 소실점 개념에 기초하여 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 자동화된 방법(300)을 예시하는 예시적인 흐름도이다. 하나의 구현예에 따르면, 방법은 도 1에 도시된 것과 같은 시스템(100) 내에 위치된 머신 비전 모듈(140)에 의해 수행될 수 있다. 그러나, 이것이 본 발명에 대한 제한이도록 의도되지 않으며, 다른 하드웨어 및 소프트웨어 구성이 또한 적절할 수 있다는 것이 이해될 것이다. 예를 들어, 방법을 수행하기 위해 사용된 프로세서는 머신 비전 모듈 대신 다른 곳에 위치될 수 있고, 방법(300)은 상이한 모듈에 위치된 다수의 프로세서의 조합에 의해 구현될 수 있고, 방법에서 다양한 단계를 총체적으로 수행할 수 있다. 방법(300)은 블록(301)에서 시작하고, 머신 비전 모듈(140)에 있는 프로세서(142)가 이미지 센서의 하나 이상의 외재적 파라미터를 교정하라는 요청을 수신할 때 개시될 수 있다. 이러한 요청은 예를 들어 교정을 요구하는 이미지 센서 또는 환경 모듈(120) 내에 위치된 프로세서에 의해 만들어질 수 있다. 요청은 또한 주기적으로 및/또는 하나 이상의 지정된 이벤트의 발생에 기초하여 만들어질 수 있다. 예를 들어, 요청은 차량에 의해 주행된 거리 및/또는 차량 출발 횟수에 기초하여 주기적으로 만들어질 수 있다. 또한 요청은 외재적 파라미터에서 변화를 트리거링할 수 있는 이벤트와 같은 이벤트의 발생 또는 외재적 파라미터에서의 잠재적 드리프트가 감지될 때에 기초하여 트리거링될 수 있다. 예는 차량의 적재의 변화가 특정 임계치를 초과할 때, 하나 이상의 이미지 센서로부터의 이미지에 의지하는 하나 이상의 기능의 작동에서의 열화가 검출될 때, 또는 그 조합을 포함한다. 블록(301)에서 프로세스의 개시 후에, 프로세스는 머신 비전 모듈이 이미지 센서를 교정하기 위해 위해 사용될 수 있는 이로부터 촬영된 샘플 이미지 프레임을 선택하는 블록(302)으로 계속된다. 이미지 센서는 블록(301)에서 방법(300)이 시작될 때 샘플 이미지 프레임을 포착하도록 트리거링될 수 있다. 이미지 센서의 트리거링은 차선 표시와 같은 교정을 위해 사용되는 특징 에지가 이미지 프레임에서 평행으로 나타나도록 차량이 직선으로 이동하는지 여부와 같은 추가적인 기준에 또한 기초할 수 있다. 다른 변형예에서, 이미지 센서는 일단 점화가 켜지고 샘플 이미지 프레임이 이들 이미지로부터 선택되면 차량의 환경의 이미지를 연속적으로 포착하도록 구성된다.
샘플 이미지 프레임이 블록(302)에서 선택된 후에, 프로세스는 선택된 샘플 이미지가 하나 이상의 이미지 선택 기준을 충족시키는지를 프로세서(142)가 결정하는 결정 블록(304)으로 진행한다. 이미지 선택 기준은 샘플 이미지 프레임이 하나 이상의 외재적 파라미터를 교정하도록 사용하기에 적합한지 결정한다. 이미지 선택 기준은 샘플 이미지에서 적절한 교정 구조의 이용 가능성과 관련된 적어도 하나 이상의 조건을 포함할 것이다. 전술한 바와 같이, 본 발명에서 외재적 파라미터 교정은 소실점의 개념에 기초하고, 제1 세트의 평행 특징 에지가 교정 구조로서 요구된다. 사용된 이미지 센서의 유형에 의존하여, 제1 세트의 평행 특징 에지는 기준 소실점을 결정하기 위해 더욱 많은 평행 특징 에지를 요구할 수 있다. 그러나, 제1 세트의 평행 특징 에지는 서로 평행한 적어도 2개의 특징 에지를 포함해야 한다. 일부 구현예에서, 머신 비전 모듈(140)은 샘플 이미지에서 직선 특징 에지의 존재를 먼저 검출하는 것에 의해 잠재적 교정 구조들을 식별하도록 구성될 수 있다. 이러한 검출 전에, 샘플 이미지는 색상 보정, 컬러 마스킹 및 노이즈 필터링과 같은 에지 검출 능력을 향상시키도록 설계된 이미지 향상 프로세스를 거칠 수 있다. 직선 특징 에지의 검출은 에지의 존재를 검출하고, 그런 다음 검출된 에지 중 어느 것이 직선인지를 결정하는 것을 포함할 수 있다. 검출 프로세스는 전체 샘플 이미지 또는 교정 구조가 더 발견될 가능성이 많은 특정 영역에만 적용될 수 있다. 예는 차선 표시, 및 차선 또는 도로 경계를 구분하도록 사용된 다른 특징이 위치된 차량 도로의 일부를 포함한다. 캐니 에지 검출 알고리즘(canny edge detection algorithm), SUSAN(Smallest Univalue Segment Assimilating Nucleus) 에지 검출 알고리즘, 소벨 필터, 및 캐니 에지 검출에 기초한 다른 알고리즘과 같은 에지 검출 알고리즘은 에지의 존재를 검출하기 위해 사용될 수 있는 반면에, Hough Transform은 검출된 에지 중 어느 것이 직선인지를 검출하도록 사용될 수 있다. 직선 특징 에지(있으면)가 식별되었으면, 이들은 잠재적인 평행 특징 에지의 각각의 세트로 그룹화되어 관심 영역(ROI)으로서 플래그될 수 있다. 다른 구현예에서, 잠재적 교정 구조는 구조의 사전 한정된 목록으로부터 선택될 수 있으며, 이들 구조는 교정 구조로서 실제 적합성에 대해 검사된다. 예를 들어, 사전 한정된 목록은 잠재적 교정 구조로서 차선 및 도로 표시를 포함할 수 있다. 머신 비전 모듈은 이미지에 있는 차선 표시의 위치에 관한 정보를 위해 차선 유지 기능과 같은 다른 작동으로부터의 정보에 의지할 수 있다. 잠재적인 제1 세트의 평행 특징을 식별한 후에, 프로세스는 이러한 잠재적인 특징 에지가 평행한지 검사할 수 있다. 일부 구현예에서, 샘플 이미지가 기록될 때, 차량의 주행 방향을 보는 것에 의해 평행성이 추론될 수 있다. 예를 들어, 한 쌍의 차선 표시가 교정 구조로서 사용되면, 이것은 이미지 프레임이 포착되었을 때 조향 각도 및/또는 휠 각도가 0에 근접하면(예를 들어, 0.2°이하) 이미지 프레임에서 평행한 것으로 가정할 수 있다. 차량의 조향 각도 및 휠 각도는 각각 조향 각도 센서(164) 및 휠 각도 센서(166)로부터 획득될 수 있다. 예시로서 도 2에서의 시나리오를 사용하여, 차량 좌표계는 차량의 길이 방향 축을 따라서 연장되는 x-축, 2개의 측면 휠을 연결하는 차축과 같은 차량의 측 방향 축을 따라서 연장되는 y-축, 및 x 및 y-축에 직각인 용지의 평면으로부터 밖으로 연장되는 z-축을 포함한다. 정상 작동 동안, 차량의 주행 방향(212)이 차량 좌표계의 x-축을 따르면, 차량의 조향 각도 및 휠 각도는 0이다. 따라서, 차량의 조향 각도가 실질적으로 0일 때, 차량(210)의 x-축이 차선 표시와 평행하기 때문에, 차선 표시(240a, 240b)는 제1 이미지 센서(124)에 의해 포착된 이미지에서 실질적으로 평행한 것으로 보일 것이다.
이미지 선택 기준은 또한 샘플 이미지의 품질, 특히 샘플 이미지에서의 잠재적 교정 구조의 이미지 품질과 관련된 요소를 포함할 수 있다. 이미지 품질은 특징 선명도, 노이즈 레벨, 왜곡 레벨, 대비 및 해상도와 같은 하나 이상의 요인에 기초하여 평가될 수 있다. 예를 들어, 샘플 이미지는 노출 부족 또는 과다 노출되지 않아야 한다. 교정 구조로서 사용되는 특징 에지는 선명한 에지를 가져야 하고, 흐리거나 초점이 맞지 않는 에지는 가지지 않아야 한다. 이미지 품질 관련 기준은 또한 교정 구조가 명확하게 보이도록 잠재적 교정 구조와 노면과 같은 배경 사이의 최소 레벨의 대비를 요구할 수 있다. 예를 들어, 잠재적 교정 구조가 도 2의 예에서처럼 차선 표시를 포함하면. 차선 표시가 샘플 이미지 프레임에서의 노면과 명확하게 구별될 수 있도록 차선 표시와 노면 사이에 충분한 대비가 있어야 한다. 하나 이상의 잠재적 교정 구조가 샘플 이미지에서 식별된 경우에, 이미지 품질 관련 요구 사항을 충족시키지 않는 이러한 구조들은 제거될 수 있다. 일부 구현예에서, 이미지 선택 기준은 또한 차량의 외부 환경과 관련된 요구 사항을 포함할 수 있다. 예는 차량이 곡률 또는 경사가 없는 평탄한 노면에서 이동할 때 이미지가 촬영되어야 하는 요구를 포함한다.
샘플 이미지가 이미지 선택 기준을 충족시키면, 프로세스는 블록(310)으로 진행한다. 다른 한편으로, 이미지 선택 기준이 충족되지 않으면, 프로세스는 제1 이미지 센서로부터의 다른 샘플 이미지가 선택되는 블록(302)으로 되돌아 간다. 블록(302 및 304)에서의 단계는 이미지 선택 기준을 충족시키는 샘플 이미지가 획득될 때까지 반복된다. 블록(310)에서, 제1 세트의 평행 특징 에지의 형태를 하는 교정 구조가 선택된다. 제1 세트의 평행 특징 에지는 서로 평행한 적어도 2개의 특징 에지를 포함한다. 요구되는 평행 특징 에지의 실제 수는 교정되는 이미지 센서 유형에 대한 기준 소실점을 결정하도록 요구되는 평행 특징의 수에 따라 달라질 수 있다. 예를 들어, 어안 렌즈를 사용하는 중앙 카타디옵틱 시스템(catadioptic system)을 포함하는 구체 카메라 모델을 사용하여 모델링될 수 있는 이미지 센서는 오직 교정을 위해 사용될 수 있는 기준 소실점을 결정하기 위해 2개의 평행 특징 에지만을 요구한다. 하나 이상의 교정 구조 선택 기준은 교정 구조로서 사용되는데 적합한 특징 에지의 2개 이상의 세트를 결정하도록 사용될 수 있다. 예를 들어, 특징 에지의 이미지 품질과 관련된 특성이 사용될 수 있다. 선택된 제1 세트의 평행 특징 에지의 이미지는 특징 에지의 선명도를 향상시키도록 구성된 이미지 처리 단계를 거칠 수 있다. 예를 들어, 처리는 연결된 구성 요소 분석을 수행하는 것에 의해 위조 에지를 억제할 수 있고, 랜덤 샘플 컨센서스(Random Sample Consensus, RANSAC) 알고리즘은 세트에서 특징 에지의 일부를 형성하지 않는 에러 영상점을 필터링하도록 사용될 수 있다.
프로세스는 그런 다음 블록(320)에서 제1 세트의 평행 특징 에지에 대한 기준 소실점을 결정하도록 진행된다. 기준 소실점은 투영 기준 프레임 상에 위치된다. 투영 기준 프레임은 현실 세계에서 3차원 포인트를 2차원 이미지 평면에 투영하는 과정에 포함된 이미지 프레임 또는 임의의 중간 투영 기준 프레임에서 나타나는 2차원 이미지 평면을 지칭할 수 있다. 예를 들어, 구체 카메라 모델 이미지 센서의 경우에, 현실 세계에서 3차원 포인트를 2차원 이미지에 맵핑하는 것은 2가지 투영 단계를 포함한다. 첫 번째는 3차원 포인트를 단일 구체 상의 포인트로의 투영이며, 두 번째는 단일 구체로부터 센서의 이미지 평면으로의 투시 투영이다. 이러한 경우에, 단일 구체와 이미지 평면 모두는 투영 기준 프레임으로서 기능할 수 있다. 도 4A는 한 쌍의 평행한 길이 방향 특징 에지(410a, 410b)를 포함하는 제1 세트의 평행 특징 에지(410)의 현실 시야 도시한다. 하나의 구현예에서, 길이 방향 특징은 도 2에 도시된 차선 표시(240a 및 240b)와 같은 차선 표시의 2개의 평행한 트랙의 일부를 형성한다. 도 4B는 어안 렌즈를 사용하는 이미지 센서와 같은 구체 카메라 모델을 사용하여 모델링될 수 있는 이미지 센서에 의해 포착될 때 도 4A에서 제1 세트의 평행 특징 에지의 대응하는 이미지(420)이다. 구체 카메라 모델에 기초한 이미지 센서에 대하여, 현실 세계에서의 직선이 비직선형 왜곡으로 인해 원의 일부로 근사될 수 있는 원추형 곡선으로서 이미지 평면에 투영되는 것이 알려져 있다. 이것은 도 4A에서의 직선형 제1 및 제2 특징 에지(410a, 410b)가 어안 이미지 평면에서 원추형 곡선(420a, 420b)으로서 투영되는 도 4B에 도시되어 있다.
이미지 센서가 구체 카메라 모델에 기초하는 하나의 구현예에서, 이미지 평면에서의 제1 세트의 평행 특징에 대한 기준 소실점은 제1 및 제2 특징 에지(420a, 420b)의 어안 이미지에 원을 맞추고 2개의 원 사이의 교차점을 찾는 것에 의해 결정될 수 있다. 반대의 어안 맵핑(inverse fish eye mapping)과 같은 다른 방법이 또한 기준 소실점을 도출하도록 사용될 수 있다. 제1 및 제2 특징 에지가 현실 세계 좌표에서 평행하지 않으면, 이들은 2개의 포인트가 아니라 기껏 하나의 포인트에서 교차한다. 이러한 이론은 또한 제1 세트의 평행 특징 에지에 있는 특징 에지가 평행한지 결정하기 위한 수단으로서 사용될 수 있다. 예로서 도 4A 및 도 4B에서의 한 쌍의 평행한 길이 방향 특징 에지를 사용하면, 제1 원(520a)은 제1 특징 에지(420a)의 이미지에 맞추어지고, 제2 원(520b)은 제2 특징 에지(420b)의 이미지에 맞춰진다. 제1 및 제2 특징 에지의 이미지는 도 5에서 흰색 곡선으로 도시되어 있다. 각각의 특징 에지에 대한 대부분의 영상점이 원 상에 놓이도록 각각의 원의 반경과 중심이 선택된다. 영상점의 최소 임계값 백분율은 이러한 목적을 위해 설정될 수 있다. 예를 들어, 특징 에지(예를 들어, 도 4B의 420a, 420b)로부터의 영상점의 95% 이상이 원에 놓이도록 원이 맞추어질 수 있다. 일부 구현예에서, 기울기 하강 접근법은 최대 수의 영상점에 가장 잘 맞는 원을 찾도록 사용될 수 있다. 이러한 접근법은 손실 함수(L)를 사용하며, 여기서. 반경(Rj) 및 중심(u0j 및 v0j)의 맞추어진 원에 대해 특징 에지를 형성하는 각각의 영상점에 대한 오차 함수는 원의 중심까지의 각각의 영상점의 유클리드 거리(Euclidian distance)에 의해 정의되고 원의 반경만큼 편향된다. 각각의 영상점에 대한 오류가 계산되고 요약된다.
Figure pat00001
식 중, (uij, vij)는 평행 특징 에지 상의 i, j에서 영상점
(u0j, v0j) 및 Rj는 각각 맞추어진 원의 중심과 반경
제1 반복(iteration)에서 중심(u0, v0) 및 반경(R0)을 가지는 원으로부터 초기에 시작하여, 손실 함수(L)는 수학식 1을 사용하여 계산된다. 허용 한계 내에 있도록 오차 함수(이 예에서 손실 함수(L))를 최소화하거나 감소시키는 중심과 반경을 가진 원을 얻을 때까지, 이것은 원의 중심 위치 및 반경을 변경하는 것에 의해 되풀이되고 반복된다. 허용 한계는 원 상에 놓여져야 하는 영상점의 임계값 백분율에 기초하여 정의될 수 있다. 손실 함수를 제외하고, 원을 맞추기 위한 다른 공식이 또한 적합할 수 있다는 것이 당업자에게 이해될 것이다. 도 5는 제1 및 제2 원(520a, 520b)이 각각 제1 및 제2 특징 에지(420a, 420b)의 영상점에 맞춰지는 예를 도시한다. 제1 및 제2 원을 제1 및 제2 특징 에지에 맞춘 후에, 제1 및 제2 원이 교차하는 곳을 결정하는 것에 의해 제1 세트의 평행 특징 에지에 대한 기준 소실점이 도출될 수 있다. 예를 들어, 도 4 및 도 5의 예시에서, 소실점은 도면 부호 540 및 560으로 지시된 포인트에 위치된다. 하나의 구현예에서, 기준 소실점([vl1 vl2]T 및 [vh1 vh2]T)은 다음의 원형 방정식이 충족되는 [vl1 vl2]T 및 [vh1 vh2]T의 값을 구하는 것에 의해 결정될 수 있다:
Figure pat00002
(u01, v01), R1 = 제1 원의 중심과 반경
(u02, v02), R2 = 제2 원의 중심과 반경
기준 소실점이 결정된 후에, 방법은 제1 세트의 평행 특징 에지에 평행한 지평면 상의 제2 세트의 평행 특징 에지가 선택되는 블록(330)으로 진행한다. 제2 세트의 평행 특징 에지는 현실 세계 또는 가상의 특징 에지에 존재하는 실제 특징 에지일 수 있다. 도 6은 제2 세트의 평행 특징 에지에 대한 가상의 특징 에지를 선택하는 예시적인 방법을 도시한다. 2개의 평행한 차선 표시(620, 640)의 형태를 하는 제1 세트의 평행 특징 에지를 포함하는 노면 또는 지평면(610)이 도시되어 있다. 예시의 목적을 위해, 이미지 센서는 차량의 길이 방향 축을 따라서 연장되는 x-축, 2개의 측면 휠을 연결하는 차축과 같은 차량의 측 방향 축을 따라서 연장되는 y-축, 및 x 및 y-축에 직각인 용지의 평면 밖으로 연장되는 z-축을 포함하는 차량 좌표계와 함께 차량(660)에 장착되는 것으로 가정될 것이다. 차량 좌표계에 대한 차선 표시(예를 들어, 620) 중 적어도 하나 상의 2개 이상의 포인트의 현실 세계 좌표가 이미지 프레임으로부터 도출된다. 지평면(610) 상에 위치되고 차선 표시(620, 640)와 평행한 제2 세트의 평행 특징 에지는 차량의 y-축을 따라서 차선 표시(예를 들어, 620) 중 적어도 하나 상의 포인트의 좌표를 시프팅하는 것에 의해 도출될 수 있다. 예시의 목적을 위해, 제1 차선 표시(620)가 좌표(x = -100, y = 0, z = 0)를 가지는 포인트(620a) 및 좌표(x = -10, y = 0, z = 0)를 가지는 다른 포인트(620b)를 포함한다고 가정한다. 제2 세트의 평행한 에지에 속하는 제3 특징 에지는 차량 좌표계의 y-축을 따라서 포인트(620a 및 620b)를 시프팅하는 것에 의해 획득될 수 있다. 전술한 바와 같이, 차량의 조향 및/또는 휠 각도가 0에 근접하면, 차선 표시(620, 640)는 차량 좌표계의 x-축에 평행할 것이다. 따라서, x 및 z 좌표를 일정하게 유지하면서 차량 좌표계의 y-축을 따라서 이동하는 것에 의해, 제1 차선 표시(620)에 평행한 라인을 통과하는 포인트가 획득될 수 있다. 도 6의 예에 이 원리를 적용하면, 제2 세트의 평행 특징 에지에 대한 제3 특징 에지(670)는 y-축을 따라서 차선 표시(620) 상의 포인트(620a 및 620b)를 시프팅하는 것에 의해 도출되며, 그러므로 좌표(x=-100, y=50, z=0) 및 (x=-10, y=50, z=0)을 가지는 포인트(670a 및 670b)를 획득할 수 있다. 차선 표시(620)에 평행한 제3 특징 에지(670)는 포인트(670a 및 670b)를 통과한다. 유사하게, 제2 세트의 평행 특징 에지에 대한 제4 특징 에지(680)는 도 6에서 도면 부호 680a 및 680b에 의해 지시된 포인트(x = -100, y = 150, z = 0) 및 (x=-10, y=150, z=0)를 통과하는 라인으로서 정의될 수 있다. 포인트(680a 및 680b)는 차량 좌표계의 y-축을 따라서 포인트(620a 및 620b)를 변위시키는 것에 의해 획득될 수 있다.
블록(330)에서 제2 세트의 평행 특징 에지를 선택한 후에, 방법은 프로세서가 이미지 센서의 투영 행렬에 기초하여 이미지 센서의 투영 기준 프레임 상에 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하는 블록(340)으로 진행한다. Cam2 알고리즘과 같은 공지된 모델링 소프트웨어가 이러한 목적을 위해 사용될 수 있다. 여기에서의 목적이 제2 세트의 평행 특징 에지에 대한 소실점과 기준 소실점 사이의 임의의 편차를 검사하는 것이기 때문에, 제2 세트의 평행 특징 에지로부터의 포인트는 기준 소실점이 이와 관련하여 도출되는 포인트와 동일할 것이다. 예를 들어, 도 4 및 도 5의 예에서, 블록(320)에서 도출된 기준 소실점은 이미지 평면에 대한 것이었다. 따라서, 이미지 평면 상의 제2 소실점이 결정될 수 있도록, 제2 세트의 평행 특징 에지로부터의 포인트는 블록(340)에서 또한 이미지 평면 상에 투영될 것이다. 이미지 센서의 투영 행렬은 일반적으로 이미지 센서의 내재적 및 외재적 파라미터와 관련하여 설명된다. 이것이 투영 기준 프레임 상으로의 투영의 제1 라운드이면, 마지막으로 공지된 내재적 및 외재적 파라미터에 기초한 기존의 투영 행렬이 제2 세트의 평행 특징 에지를 투영하도록 사용된다. 도 4 및 도 5의 동일한 구체 카메라 모델 이미지 센서 예를 사용하여, 이미지 센서의 이미지 평면 상에 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하는 것은 원의 일부로서 근사될 수 있는 원추형 곡선으로 나타나는 제3 및 제4 특징 에지의 이미지(770, 780)를 유발한다(도 7 참조).
블록(350)에서, 프로세서는 제2 세트의 평행 특징 에지에 대한, 투영 기준 프레임 상에 위치된 제2 소실점을 결정한다. 다시 도 4 및 도 5의 예를 참조하면, 이미지 센서가 구체 카메라 모델에 기초하기 때문에, 제2 세트의 평행 특징 에지에 대한 소실점은 제3 및 제4 특징 에지(770, 780)의 영상점에 원을 맞추는 것에 의해 또한 도출될 수 있다. 제1 세트의 평행 특징 에지와 관련된 제1 및 제2 원을 도출하기 위해 사용된 동일한 원 맞춤 접근법이 또한 여기서 전개될 수 있다. 수학식 4는 제1 반복에서 맞추어진 원과 반경에 적용된 손실 함수를 나타낸다:
Figure pat00003
식 중, (urij, vrij)는 i, j에서 투영된 특징 에지의 영상점
(ur0, vr0) 및 Rr0은 제1 반복에서 각각 맞추어진 원의 중심과 반경
도 7은 제3 및 제4 특징 에지(770, 780)의 영상점에 맞추는 것에 의해 획득된 제3 원(775) 및 제4 원(785)을 각각 도시한다. 제3 및 제4 특징 에지가 평행하기 때문에, 제3 및 제4 원은 이미지 평면 상의 제2 세트의 평행 특징 에지에 대한 소실점(즉, 제2 소실점)에 대응하는 포인트(790 및 792)에서 교차한다. 제2 소실점은 블록(320)에서 기준 소실점을 도출하기 위한 것과 유사한 원형 방정식을 푸는 것에 의해 유사하게 획득될 수 있다. 예로서, 제2 소실점([vrl1 vrl2]T 및 [vrh1 vrh2]T)은 다음의 원형 방정식을 푸는 것에 의해 결정될 수 있다:
Figure pat00004
(ur01, vr01), rr1 = 제3 원의 중심과 반경
(ur02, vr02), rr2 = 제4 원의 중심과 반경
제2 소실점이 결정된 후에, 방법은 블록(360)에서 기준 소실점으로부터 제2 소실점의 변화를 검사한다. 앞서 논의된 소실점 개념에 기초하여, 제1 및 제2 세트의 평행 특징에 대한 소실점은 그 특징 에지가 모두 현실 세계에서 서로 평행하기 때문에 일치하여야 한다. 그러나, 투영 기준 프레임 상에 제2 세트의 평행 특징 에지로부터 포인트를 투영하기 위해 사용되는 투영 행렬에서 에러가 있으면, 제2 세트의 평행 특징 에지는 이미지 평면에서의 제1 세트 또는 사용되는 임의의 다른 투영 기준 프레임과 더 이상 평행하지 않을 것이다. 따라서, 제2 소실점은 기준 소실점과 일치하지 않을 것이다. 예를 들어, 도 7에서, 현실 세계에서 제1 및 제2 세트의 평행 특징 에지가 서로 평행하도록 제2 세트의 평행 특징 에지가 선택되었더라도, 제2 세트의 평행 특징 에지로부터 포인트를 투영하는 것에 의해 블록(350)에서 도출된 제2 소실점(790, 792) 및 블록(330)에서 도출된 기준 소실 포인트(540, 560)는 일치하지 않는다. 소실점 위치의 이러한 편차는 기존의 투영 행렬에서의 에러를 나타낸다. 방법은 그런 다음 기준 소실점의 위치로부터 제2 소실점의 위치의 임의의 편차가 허용 가능한 사전 한정된 한계 내에 있는지 검사하는 결정 블록(370)으로 진행한다. 변화가 허용 가능한 사전 한정된 한계를 벗어나면, 방법은, 제2 소실점의 위치의 임의의 편차가 허용 가능한 사전 한정된 한계 내이 있을 때까지, 블록(340)으로 되돌아가 블록(340 내지 360)을 반복하기 전에 기존의 투영 행렬이 외재적 파라미터 중 하나 이상을 조정하는 것에 의해 변경되는 단계(380)로 진행한다. 본 명세서에서의 가정은 투영 행렬에서의 에러가 초점 길이, 광학 중심과 같은 내재적 파라미터 값 대신에 하나 이상의 외재적 파라미터의 시프트에 기인한다는 것이다. 다른 한편으로, 기준 소실점과 제2 소실점 사이의 임의의 변화가 사전 한정된 한계를 가지면, 차이가 하나 이상의 외재적 파라미터 값을 조정한 후에 원래 허용 가능한 한계 내에 있거나 또는 그렇게 되기 때문에, 프로세스는 블록(390)으로 진행한다.
기준 소실점 및 제2 소실점이 원 맞춤에 의해 도출되는 일부 구체 카메라 이미지 센서 구현예에서, 기준 소실점과 제2 소실점 사이의 변화를 감소시키는 프로세스는 기준 소실점(540, 560)을 연결하는 제1 연결 라인(R) 및 제2 소실점(790, 792)을 연결하는 제2 연결 라인(S)을 그리는 단계를 포함할 수 있다. 도 4 및 도 5 및 도 7에 도시된 예로 되돌아 가서, 제1 연결 라인(R)의 수학식은 다음과 같이 표현될 수 있고:
Figure pat00005
,
그리고, 제1 연결 라인의 기울기는 다음과 같이 표현될 수 있다:
Figure pat00006
.
유사하게, 제2 연결 라인(S)의 수학식은 다음과 같이 표현될 수 있고:
Figure pat00007
,
그리고, 제2 연결 라인의 기울기는 다음과 같이 표현될 수 있다:
Figure pat00008
선택적인 변형예에서, 하나 이상의 외재적 파라미터는 제2 연결 라인과 제1 연결 라인 사이의 임의의 기울기 불일치를 감소시키도록 초기에 조정된다. 여기에서의 이상적인 것은 제2 연결 라인의 기울기를 제1 연결 라인의 기울기와 일치시키는 것이다. 감소될 제2 연결 라인의 전체 경사도 오차는 다음과 같이 표현될 수 있다:
Figure pat00009
.
본 발명자는 배향 관련 외재적 파라미터의 변화가 제2 연결 라인의 경사도의 변화로서 나타나는 경향이 있는 반면에, 병진 관련 외재적 파라미터의 변화는 제2 연결 라인의 경사도에 큰 영향을 미치지 않는 것을 알았다. 그러므로, 바람직한 실시예에서, 기울기 일치 목적을 위해 하나 이상의 외재적 파라미터를 조정하는 단계는 바람직하게는 하나 이상의 배향 관련 외재적 파라미터를 조정하는 단계를 포함한다. 제2 연결 라인과 제1 연결 라인 사이의 기울기 편차가 기울기 한계 내에 있을 때, 제2 연결 라인의 위치 및/또는 길이는 외재적 파라미터 중 하나 이상을 조정하는 것에 의해 제1 연결 라인의 위치 및/또는 길이와 일치하도록 조정될 수 있다. 바람직하게는, 조정되는 외재적 파라미터는 바람직하게는 병진 관련이다. 특히, 본 발명자는 y 및 z 병진 외재적 파라미터의 변화가 제1 연결 라인과 제2 연결 라인 사이의 위치 차이를 유발하는 경향이 있다는 것을 알았다. 다른 한편으로, x 병진 외재적 파라미터는 제2 연결 라인의 길이가 제1 연결 라인의 길이에서 벗어나도록 유발하는 경향이 있다.
제2 연결 라인과 제1 연결 라인 사이의 기울기 편차를 감소시키도록 만들어진 조정(만약 있다면)은, 서로 실질적으로 평행하고 그 사이의 임의의 거리가 둘 사이의 직각 거리로서 근사될 수 있을 것과 같은 제1 및 제2 연결 라인을 초래할 것이다. 기울기 편차를 감소시키도록 제2 연결 라인을 조정하는 것은 또한 u 방향을 따라서 △u의 거리 및 v 방향을 따라서 △v의 거리를 이동한 제2 소실점의 위치를 유발한다. 따라서, 제2 소실점의 새로운 세트는
Figure pat00010
이다. 그러므로, 기울기 조정 후에 기준 소실 라인과 새로운 제2 연결 라인 사이의 거리는 소실 라인의 쌍에 대응하는 유클리드 거리에 의해 근사될 수 있다. 예를 들어, 상부 기준 소실점으로서 도 7에서의의 기준 소실점(540) 및 상부 제2 소실점으로서 제2 소실점(790)을 참조하면, 이것과 제2 소실점의 새로운 세트 사이의 오차 함수 차이는 수학식 12와 같이 표현될 수 있다.
Figure pat00011
이 거리는 y 및 z 병진 외재적 파라미터를 재귀적으로 변화시키는 것에 의해 감소될 수 있다. 거리 편차가 에러의 허용 가능한 오차를 가질 때, 제1 연결 라인 및 조정된 제2 연결 라인의 길이는 길이에서의 임의의 차이를 허용 가능한 수준으로 최소화하거나 감소시키도록 바람직하게는 x 병진 외재적 파라미터를 조정하는 것에 의해 조정될 수 있다. 제1 및 제2 연결 라인의 길이는 아래의 수학식 13 및 14에 도시된 공식에 의해 표현될 수 있다. 제2 연결 라인 상에서의 좌표는 제1 연결 라인과 제2 연결 라인 사이의 기울기 및/또는 위치 편차에 대한 임의의 이전 조정 후의 기울기 및/또는 위치 편차이다.
제1 연결 라인의 길이:
Figure pat00012
제2 연결 라인의 길이:
Figure pat00013
그러므로, 길이에서의 편차는 l1과 l2 사이의 절대 차이로 표현될 수 있다. 기준 소실점으로부터의 제2 소실점의 임의의 편차가 사전 한정된 한계를 가질 때, 프로세스는 블록(390)으로 진행한다. 방법은 블록(390)에서 종료한다. 하나 이상의 외재적 파라미터에서 변화가 있으면, 블록(340 내지 360)의 재귀 실행에 의해 도출된 하나 이상의 반전된 외재적 파라미터는 투영 행렬에서 사용된 새로운 외재적 파라미터 값일 것이다.
전술한 바와 같이, 투영 기준 프레임은 또한 중간 투영 기준 프레임일 수 있다. 예를 들어, 구체 카메라 모델에 따르면, 2D 이미지로의 현실 세계에서 3D 포인트의 맵핑은 단일 구체 상의 포인트로의 3D 포인트의 제1 투영, 및 단일 구체로부터 센서의 이미지 평면으로의 제2 투시 투영을 포함한다. 따라서, 구체 카메라 모델을 사용하여 모델링될 수 있는 이미지 센서는 투영 기준 프레임으로서 이미지 평면 또는 단일 구체를 사용할 수 있다. 단일 구체 상의 기준 소실점의 위치는 제1 세트의 평행 특징 에지에 대한 픽셀 맵핑 영상점에 의해 도출될 수 있다. 도 8A는 제1 평행 특징 에지에 있는 제1 및 제2 평행 특징 에지와 관련된 영상점이 제1 및 제2 원(820a, 820b)으로서 원 맞춤에 의해 픽셀 단위로 단일 구체 픽셀 상에 맵핑되는, 단일 구체(810)의 예를 도시한다. 구체 카메라 모델에 따라서, 직선은 단일 구체의 표면 상에 원으로 투영되고, 평행선은 단일 구체 상의 원이 교차하는 곳에 대응하는 2개의 소실점에서 교차할 것이다. 따라서, 도 8A에서, 제1 및 제2 특징 에지에 대한 소실점은 제1 및 제2 원이 교차하는 포인트(822 및 826)에 위치된다. 도 8B는 이미지 센서의 기존의 투영 행렬에 기초하여 단일 구체(810) 상에 현실 세계 좌표에 따른 제3 및 제4 평행 특징 에지로부터 복수의 포인트를 투영하는 것에 의해 획득된 백색의 제3 및 제4 원(850a, 850b)을 도시한다. cam2 모듈이 투영을 위해 사용될 수 있다. 제3 및 제4 특징 에지는 제1 세트의 평행 특징 에지에 평행한 제2 세트의 평행 특징 에지를 형성한다. 제3 및 제4 원(850a, 850b)이 단일 구체 상에서 교차하는 포인트는 단일 구체 투영 기준 프레임 상의 제2 세트의 평행 특징 에지에 대한 제2 소실점(852, 856)에 대응한다. 도 8B의 예에서, 제2 소실점(852, 856)은 기준 소실점(822, 826)과 위치가 다르다. 이것은 이미지 센서의 하나 이상의 외재적 파라미터가 기존의 값으로부터 벗어났으며, 그러므로 투영 행렬의 정확도에 영향을 미쳤음을 나타낸다. 자동화된 외재적 파라미터 교정 프로세스는, 차이가 도 3의 방법의 블록(360)과 유사한 허용 가능한 사전 한정된 한계 내에 있는지 검사하고, 하나의 외재적 파라미터 또는 외재적 파라미터들을 재귀적으로 조정하고 제2 소실점의 새로운 위치를 검사하는 것에 의해 차이가 사전 한정된 허용 한계 내에 있을 때까지 차이를 감소시킬 수 있다. 일부 구현예에서, 기준 소실점(822, 826) 및 제2 소실점(852, 856)을 각각 연결하는 제1 및 제2 연결 라인(R, S)이 그려질 수 있다. 기준 소실점과 제2 소실점 사이의 위치 차이는 그런 다음 제1 연결 라인(R)의 길이로부터의 제2 연결 라인(S)의 길이의 편차를 먼저 감소시키고, 이어서 연결 라인(R, S) 사이의 각도(θ)를 감소시키는 것에 의해 감소될 수 있다. 제2 연결 라인(S)의 길이는 에러의 허용 가능한 오차 내에서 각도(θ)를 감소시키도록 조정된 z-병진 외재적 파라미터 및 배향 관련 외재적 파라미터를 조정하는 것에 의해 제1 연결 라인의 길이와 일치될 수 있다.
다양한 양태 및 구현예가 본 명세서에서 개시되었지만, 다른 양태 및 구현예가 당업자에게 자명할 것이다. 예를 들어, 상기 설명이 차량 플랫폼 상에 장착된 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위해 적용되는 본 발명을 예시할지라도, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 교정 방법 및 디바이스는 또한 고정식, 이동식, 자율적 또는 비자율적 등의 다른 유형의 플랫폼에 장착된 이미지 센서에 또한 적용될 수 있다. 본 명세서에 개시된 다양한 양태 및 구현예는 예시의 목적을 위한 것이며 제한이도록 의도되지 않으며, 진정한 청구범위 및 사상은 이러한 청구범위가 부여되는 등가물의 전체 범위와 함께 다음의 청구범위에 의해 지시된다. 또한, 본 명세서에서 사용된 용어가 특정 구현예를 설명하는 목적을 위한 것이며 제한이도록 의도되지 않는다는 것을 이해해야 한다.

Claims (19)

  1. 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법으로서,
    상기 이미지 센서에 의해 포착된 이미지 프레임에서 나타나는 제1 세트의 평행 특징 에지를 선택하는 단계;
    상기 제1 세트의 평행 특징 에지에 대한 기준 소실점으로서, 상기 이미지 센서의 투영 기준 프레임 상에 위치되는 상기 기준 소실점을 결정하는 단계;
    상기 제1 세트의 평행 특징 에지에 평행한 제2 세트의 평행 특징 에지를 선택하는 단계;
    상기 이미지 센서의 기존의 투영 행렬에 기초하여 상기 투영 기준 프레임 상으로 상기 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하는 단계;
    상기 제2 세트의 평행 특징 에지에 대한 제2 소실점으로서, 상기 투영 기준 프레임에 위치된 상기 제2 소실점을 결정하는 단계; 및
    하기 단계들을 적어도 재귀적으로 수행하는 것에 의해 상기 기준 소실점으로부터 상기 제2 소실점의 위치의 임의의 편차가 하나 이상의 사전 한정된 한계 내에 있을 때까지 상기 편차를 감소시키는 단계를 포함하는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법:
    상기 외재적 파라피터 중 하나 이상을 조정하는 것에 의해 상기 기존의 투영 행렬을 변경하는 단계;
    상기 변경된 기존의 투영 행렬을 사용하여 상기 투영 기준 프레임 상에 상기 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하는 단계; 및
    투영 후에 상기 제2 소실점을 결정하는 단계.
  2. 제1항에 있어서, 상기 이미지 센서는 구체 카메라 모델(sphere camera model)을 사용하여 모델링될 수 있는 센서인, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  3. 제2항에 있어서, 상기 이미지 센서의 투영 기준 프레임은 상기 이미지 센서의 이미지 평면이며, 상기 제1 세트의 평행 특징에 대한 기준 소실점의 제1 쌍을 결정하는 단계는,
    상기 제1 세트의 평행한 에지에 있는 제1 및 제2 특징 에지의 영상점에 제1 원 및 제2 원을 맞추는 단계, 및 상기 제1 및 제2 원이 교차하는 곳을 결정하는 단계를 포함하는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  4. 제3항에 있어서, 상기 제2 세트의 평행 특징 에지에 대한 제2 소실점을 결정하는 단계는,
    상기 이미지 센서의 기존의 투영 행렬에 기초하여 상기 이미지 평면 상에 상기 제2 세트의 평행 특징 에지에 있는 제3 및 제4 특징 에지로부터 복수의 포인트를 투영하는 것에 의해 획득된 상기 제2 세트의 평행한 에지에 있는 상기 제3 및 제4 특징 에지의 영상점에 제3 원 및 제4 원을 맞추는 단계; 및
    상기 제3 및 제4 원이 교차하는 곳을 결정하는 단계를 포함하는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  5. 제3항 또는 제4항에 있어서, 적어도 제1, 제2, 제3 또는 제4 원의 맞춤은 손실 함수를 최소화하는 것에 기초하는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  6. 제2항 내지 제5항 중 어느 항에 있어서, 상기 기준 소실점으로부터 상기 제2 소실점의 위치의 임의의 편차가 하나 이상의 사전 한정된 한계 내에 있을 때까지 상기 편차를 감소시키는 단계는,
    상기 기준 소실점들을 연결하는 제1 연결 라인을 그리는 단계; 및
    상기 제2 소실점들을 연결하는 제2 연결 라인을 그리는 단계를 더 포함하는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  7. 제6항에 있어서, 상기 외재적 파라미터 중 하나 이상을 조정하는 것에 의해 상기 기존의 투영 행렬을 변경하는 단계는, 상기 제1 연결 라인으로부터의 상기 제2 연결 라인의 위치 또는 길이에서의 임의의 편차를 감소시키도록 상기 하나 이상의 외재적 파라미터를 조정하기 전에, 기울기 편차가 기울기 한계 내에 있을 때까지 상기 제2 연결 라인과 상기 제1 연결 라인 사이의 임의의 기울기 편차를 감소시키도록 상기 하나 이상의 외재적 파라미터를 초기에 조정하는 단계를 포함하는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  8. 제7항에 있어서,
    상기 기울기 편차가 상기 기울기 한계 내에 있을 때까지 상기 제2 연결 라인과 상기 제1 연결 라인 사이의 기울기 편차를 감소시키도록 상기 하나 이상의 외재적 파라미터를 초기에 조정하는 단계는 배향과 관련된 외재적 파라미터 중 하나 이상을 조정하는 단계를 포함하는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 제1 및 제2 연결 라인의 위치 및/또는 길이의 임의의 편차를 감소시키도록 상기 하나 이상의 외재적 파라미터를 조정하는 단계는 병진과 관련된 외재적 파라미터 중 하나 이상을 조정하는 단계를 포함하는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  10. 제2항에 있어서, 상기 투영 기준 프레임은 단일 구체(unitary sphere)인, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  11. 제1항 내지 제10항 중 어느 항에 있어서, 상기 이미지 센서는 차량에 장착되며, 상기 제1 세트의 평행 특징 에지를 선택하는 단계는,
    상기 이미지 프레임에서 적어도 2개의 특징 에지를 검출하는 단계; 및
    상기 이미지 프레임이 포착되었을 때 상기 차량의 적어도 조향 각도 또는 휠 각도를 검사하는 것에 의해 상기 특징 에지가 평행한지 결정하는 단계를 포함하는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  12. 제1항 내지 제11항 중 어느 항에 있어서, 상기 이미지 센서는 차량에 장착되며, 상기 제2 세트의 평행 특징 에지는 상기 차량의 측 방향 축을 따라서 위치된 상기 차량의 좌표 축을 따라서 상기 제1 세트의 평행 특징 에지를 시프팅하는 것에 의해 획득되는, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  13. 제1항 내지 제12항 중 어느 항에 있어서, 상기 제2 세트의 평행 특징 에지는는 가상의 특징 에지인, 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 방법.
  14. 이미지 센서의 하나 이상의 외재적 파라미터를 결정하기 위한 디바이스로서,
    프로세서;
    상기 프로세서에 결합되어, 상기 프로세서에 의해 실행 가능한 명령어를 저장하는 메모리를 포함하되, 상기 명령어는, 상기 프로세서로 하여금,
    상기 이미지 센서에 의해 포착된 이미지 프레임에서 나타나는 제1 세트의 평행 특징 에지를 선택하게 하고;
    상기 제1 세트의 평행 특징 에지에 대한 기준 소실점으로서, 상기 이미지 센서의 투영 기준 프레임에 위치되는 상기 기준 소실점을 결정하게 하고;
    상기 제1 세트의 평행 특징 에지에 평행한 제2 세트의 평행 특징 에지를 선택하게 하고;
    상기 이미지 센서의 기존의 투영 행렬에 기초하여 상기 투영 기준 프레임 상에 상기 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하게 하고;
    상기 제2 세트의 평행 특징 에지에 대한 제2 소실점으로서, 상기 투영 기준 프레임 상에 위치된 상기 제2 소실점을 결정하게 하고; 그리고
    적어도 이하의 단계를 재귀적으로 수행함으로써 상기 기준 소실점으로부터 상기 제2 소실점의 위치의 임의의 편차가 하나 이상의 사전 한정된 한계 내에 있을 때까지 상기 편차를 감소시키게 하는, 이미지 센서의 하나 이상의 외재적 파라미터를 결정하기 위한 디바이스:
    상기 외재적 파라피터 중 하나 이상을 조정하는 것에 의해 상기 기존의 투영 행렬을 변경하는 단계;
    상기 변경된 기존의 투영 행렬을 사용하여 상기 투영 기준 프레임 상에 상기 제2 세트의 평행 특징 에지로부터 복수의 포인트를 투영하는 단계; 및
    투영 후에 상기 제2 소실점을 결정하는 단계.
  15. 제14항에 있어서, 상기 이미지 센서는 구체 카메라 모델을 사용하여 모델링될 수 있는 것이고, 상기 투영 기준 프레임은 상기 이미지 센서의 이미지 평면이며, 상기 적어도 하나의 메모리는, 상기 프로세서로 하여금,
    상기 제1 세트의 평행한 에지에 있는 제1 및 제2 특징 에지의 영상점에 제1 원 및 제2 원을 맞추는 것에 의해, 상기 제1 및 제2 원이 교차하는 곳에 위치되는 기준 소실점을 결정하게 하고;
    상기 이미지 센서의 이미지 평면 상에 제3 및 제4 특징 에지로부터 복수 포인트를 투영하는 것에 의해 획득된 제2 세트의 평행한 에지에 있는 상기 제3 및 제4 특징 에지의 영상점에 제3 원 및 제4 원을 맞추는 것에 의해 제2 소실점을 결정하게 하되, 상기 제2 소실점은 상기 제3 및 제4 원이 교차하는 곳에 위치되는, 이미지 센서의 하나 이상의 외재적 파라미터를 결정하기 위한 디바이스.
  16. 제14항 또는 제15항에 있어서, 상기 이미지 센서는 차량에 장착되며, 상기 적어도 하나의 메모리는, 상기 프로세서로 하여금, 적어도,
    상기 이미지 프레임에서 적어도 2개의 직선 특징 에지를 검출하는 단계; 및
    상기 이미지 프레임이 포착되었을 때 상기 차량의 적어도 조향 각도 또는 휠 각도를 검사하는 것에 의해 직선 특징 에지가 평행한지 결정하는 단계
    에 의해 제1 세트의 평행 특징 에지를 선택하게 하는, 이미지 센서의 하나 이상의 외재적 파라미터를 결정하기 위한 디바이스.
  17. 제14항 내지 제16항 중 어느 항에 있어서, 상기 이미지 센서는 차량에 장착되며, 상기 적어도 하나의 메모리는, 상기 프로세서로 하여금, 상기 차량의 측 방향 축을 따라서 위치된 상기 차량의 좌표 축을 따라서 상기 제1 세트의 평행 특징 에지를 시프팅하는 것에 의해 제2 세트의 평행 특징 에지를 선택하게 하는, 이미지 센서의 하나 이상의 외재적 파라미터를 결정하기 위한 디바이스.
  18. 제1항 내지 제13항 중 어느 항에 따른 방법을 수행하기 위한 컴퓨터 판독 가능한 명령어를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  19. 제14항 내지 제17항 중 어느 항에 따른 이미지 센서의 하나 이상의 외재적 파라미터를 교정하기 위한 디바이스를 포함하는, 차량.
KR1020190168263A 2018-12-18 2019-12-16 이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치 KR102365501B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1820572.4 2018-12-18
GB1820572.4A GB2579843A (en) 2018-12-18 2018-12-18 Method and apparatus for calibrating the extrinsic parameter of an image sensor

Publications (2)

Publication Number Publication Date
KR20200075766A true KR20200075766A (ko) 2020-06-26
KR102365501B1 KR102365501B1 (ko) 2022-02-21

Family

ID=65147318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190168263A KR102365501B1 (ko) 2018-12-18 2019-12-16 이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US11393126B2 (ko)
EP (1) EP3671643A1 (ko)
JP (1) JP6924251B2 (ko)
KR (1) KR102365501B1 (ko)
CN (1) CN111336951B (ko)
GB (1) GB2579843A (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410334B2 (en) * 2020-02-03 2022-08-09 Magna Electronics Inc. Vehicular vision system with camera calibration using calibration target
CN113847930A (zh) 2020-06-28 2021-12-28 图森有限公司 多传感器校准系统
US11348277B2 (en) 2020-08-12 2022-05-31 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
CN112150558B (zh) * 2020-09-15 2024-04-12 阿波罗智联(北京)科技有限公司 用于路侧计算设备的障碍物三维位置获取方法及装置
CN112150560B (zh) * 2020-09-27 2024-02-02 上海高德威智能交通系统有限公司 确定消失点的方法、装置及计算机存储介质
US11960276B2 (en) 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
CN112873280B (zh) * 2021-01-11 2022-10-25 上海思岚科技有限公司 一种用于机器人的传感器的标定方法及设备
US11702089B2 (en) * 2021-01-15 2023-07-18 Tusimple, Inc. Multi-sensor sequential calibration system
US11967112B2 (en) * 2022-09-07 2024-04-23 AitronX Inc. Method and apparatus for detecting calibration requirement for image sensors in vehicles

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010146695A1 (ja) * 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法
JP2011215063A (ja) * 2010-04-01 2011-10-27 Tottori Univ カメラ姿勢パラメータ推定装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
JP4863922B2 (ja) 2007-04-18 2012-01-25 三洋電機株式会社 運転支援システム並びに車両
WO2009076182A1 (en) * 2007-12-13 2009-06-18 Clemson University Vision based real time traffic monitoring
CN101894366B (zh) 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
WO2013093761A2 (en) * 2011-12-21 2013-06-27 Koninklijke Philips Electronics N.V. Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope
CN102749209A (zh) * 2012-07-02 2012-10-24 麦苗 通道式汽车车轮定位仪及其检测方法
JP5492275B1 (ja) * 2012-10-31 2014-05-14 三菱電機株式会社 ワイヤロープ検査装置の校正方法及び校正治具
JP6253320B2 (ja) * 2013-09-13 2017-12-27 キヤノン株式会社 エンコーダおよびこれを用いた装置
DE102013222291A1 (de) 2013-11-04 2015-05-07 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors
FR3014553A1 (fr) * 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
KR102248459B1 (ko) * 2015-02-03 2021-05-06 한국전자통신연구원 카메라 캘리브레이션 장치 및 방법
JP6780661B2 (ja) 2016-01-15 2020-11-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム
US10008000B2 (en) * 2016-05-18 2018-06-26 Conduent Business Services, Llc Camera calibration based on moving vehicle line segments
CN106895797B (zh) * 2016-08-12 2019-06-11 湖南佳林智能装备有限公司 一种转子偏移角度判定方法及校正装置
US10127637B2 (en) * 2016-08-30 2018-11-13 Adobe Systems Incorporated Automatic orientation adjustment of spherical panorama digital images
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
CN207867476U (zh) * 2017-12-18 2018-09-14 嘉兴仁光乌镇科技有限公司 用于产生平行于屏幕的红外光幕的装置及相关检测装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010146695A1 (ja) * 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法
JP2011215063A (ja) * 2010-04-01 2011-10-27 Tottori Univ カメラ姿勢パラメータ推定装置

Also Published As

Publication number Publication date
JP6924251B2 (ja) 2021-08-25
CN111336951A (zh) 2020-06-26
JP2020098591A (ja) 2020-06-25
GB201820572D0 (en) 2019-01-30
US20200193641A1 (en) 2020-06-18
GB2579843A (en) 2020-07-08
KR102365501B1 (ko) 2022-02-21
CN111336951B (zh) 2021-12-21
US11393126B2 (en) 2022-07-19
EP3671643A1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
KR102365501B1 (ko) 이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치
CN108647638B (zh) 一种车辆位置检测方法及装置
JP3868876B2 (ja) 障害物検出装置及び方法
KR102516326B1 (ko) 이미지 라인들로부터의 카메라 외부 파라미터들 추정
EP3032818B1 (en) Image processing device
CN110555407B (zh) 路面车辆空间识别方法及电子设备
CN109074653B (zh) 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助系统以及机动车辆
WO2012143036A1 (en) Online vehicle camera calibration based on continuity of features
JP6602982B2 (ja) 車載カメラ、車載カメラの調整方法、車載カメラシステム
CN115578470B (zh) 一种单目视觉定位方法、装置、存储介质和电子设备
JP2012198857A (ja) 接近物体検知装置及び接近物体検知方法
EP3629292A1 (en) Reference point selection for extrinsic parameter calibration
KR101635831B1 (ko) 차량 위치 인식 장치 및 방법
JP7315216B2 (ja) 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP7232005B2 (ja) 車両の走行環境検出装置及び走行制御システム
JP2018136739A (ja) キャリブレーション装置
WO2020132965A1 (zh) 车载成像装置的安装参数的确定与驾驶控制方法及设备
EP3389015A1 (en) Roll angle calibration method and roll angle calibration device
JP7380443B2 (ja) 部分画像生成装置及び部分画像生成用コンピュータプログラム
JP6266340B2 (ja) 車線識別装置および車線識別方法
EP3227827A1 (en) Driver assistance system, motor vehicle and method for classifying a flow vector
JP7505909B2 (ja) キャリブレーション装置及びキャリブレーション方法
US20240212194A1 (en) Vehicle and control method thereof
CN114463439B (zh) 一种基于图像标定技术的车载相机修正方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant