KR102498439B1 - 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체 - Google Patents

차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체 Download PDF

Info

Publication number
KR102498439B1
KR102498439B1 KR1020210038684A KR20210038684A KR102498439B1 KR 102498439 B1 KR102498439 B1 KR 102498439B1 KR 1020210038684 A KR1020210038684 A KR 1020210038684A KR 20210038684 A KR20210038684 A KR 20210038684A KR 102498439 B1 KR102498439 B1 KR 102498439B1
Authority
KR
South Korea
Prior art keywords
vehicle
vehicle camera
coordinate system
determining
axis direction
Prior art date
Application number
KR1020210038684A
Other languages
English (en)
Other versions
KR20210040876A (ko
Inventor
저우쉰
시에윤판
리스루이
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20210040876A publication Critical patent/KR20210040876A/ko
Application granted granted Critical
Publication of KR102498439B1 publication Critical patent/KR102498439B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

본 출원은 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체를 개시하며, 자율 주행 기술분야에 관한 것이다. 본 출원의 방법의 구체적인 구현 방안은, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하고; 전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하고; 상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하고; 상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득한다. 본 출원은 차량용 카메라에 의해 수집된 자연 장면 영상을 기초로 차량용 카메라의 외부 파라미터에 대해 자동으로 캘리브레이션 하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킨다.

Description

차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체{METHOD, APPARATUS, SYSTEM, AND STORAGE MEDIUM FOR CALIBRATING EXTERIOR PARAMETER OF ON-BOARD CAMERA}
본 출원은 데이터 처리 기술분야 중의 자율 주행 기술에 관한 것으로, 특히 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체에 관한 것이다.
이동 로봇, 차량 전자, 자율 주행 등의 분야에서는 일반적으로 차체 좌표계에서의 차량용 카메라의 자세를 캘리브레이션해야 한다.
기존의 카메라 외부 파라미터 캘리브레이션 방법은 세 가지가 있는데, 하나는 맞춤형 캘리브레이션 공간 또는 특정 캘리브레이션 장면에서 캘리브레이션 대상 또는 장면에서 알려진 위치의 특징점을 추출하고 매칭시켜 카메라 외부 파라미터를 캘리브레이션하는 것이다. 두번째는 차선의 특성을 사용하여 반복하여 외부 파라미터를 구하거나, 또는 차선의 교차점을 계산하여 소실점을 구함으로써 카메라의 외부 파라미터를 구하는 것이다. 세번째는 자연 장면의 앞뒤 프레임을 사용하여 특징점을 매칭시키고 연결하여 교차점을 구하는 방식으로 영상의 소실점을 확정하고, 소실점을 기초로 하여 캘리브레이션 하여 카메라의 외부 파라미터를 획득한다.
그러나 방법 1은 특정 캘리브레이션 대상의 추가 사용을 필요로 하거나, 특정 캘리브레이션 장면에서 캘리브레이션을 수행해야 하기에 캘리브레이션 사용 조건이 한정되고; 방법 2는 차선의 직선성과 선명도에 의존하고, 차선의 검출 정확도와 안정성에 의존하며, 피치(pitch) 각만 캘리브레이션 할 수 있다. 방법 3은 주행 중 차량이 엄격하게 직선을 유지해야 하며, 앞뒤 프레임 사이에 어떠한 회전도 허용되지 않으며, 회전 데이터를 제거하여 알고리즘의 안정성을 향상시킬 수 없으며, 카메라의 피치 각과 요(yaw) 각만을 캘리브레이션 할 수 있고, 롤(roll) 각은 캘리브레이션 할 수 없다.
본 출원은 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체를 제공하며, 차량용 카메라에 의해 수집된 자연 장면 영상을 기초로 차량용 카메라의 외부 파라미터에 대해 자동으로 캘리브레이션 하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킬 수 있다.
제1 측면에서, 본 출원의 실시예는 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 상기 방법은,
차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하는 단계;
전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하는 단계;
상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하는 단계;
상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득하는 단계를 포함한다.
본 실시예에서, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하고; 전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하고; 상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하고; 상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득한다. 이로부터 차량용 카메라에 의해 수집된 자연 장면 영상을 기초로 차량용 카메라의 외부 파라미터에 대해 자동으로 캘리브레이션 하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킨다.
제2 측면에서, 본 출원의 실시예는 차량용 카메라의 외부 파라미터 캘리브레이션 장치를 제공하는 바, 상기 장치는,
차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하는 수집모듈;
전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하는 매칭모듈;
상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하는 확정모듈;
상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득하는 처리모듈을 포함한다.
본 실시예에서, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하고; 전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하고; 상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하고; 상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득한다. 이로부터 차량용 카메라에 의해 수집된 자연 장면 영상을 기초로 차량용 카메라의 외부 파라미터에 대해 자동으로 캘리브레이션 하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킨다.
제3 측면에서, 본 출원은 차량용 카메라의 외부 파라미터 캘리브레이션 시스템을 제공하는 바, 프로세서와 메모리를 포함하고, 메모리에는 상기 프로세서에 의해 실행 가능한 명령이 저장되고; 상기 프로세서는 상기 실행 가능한 명령을 실행하여 제1 측면의 임의의 한 항에 따른 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 실행하도록 한다.
제4 측면에서, 본 출원은 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공하는 바, 해당 프로그램이 프로세서에 의해 실행될 때 제1 측면의 임의의 한 항에 따른 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 구현하도록 한다.
제5 측면에서, 본 출원의 실시예는 프로그램 제품을 제공하는 바, 상기 프로그램 제품은 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램은 판독 가능 저장매체에 저장되고, 컴퓨터의 적어도 하나의 프로세서는 상기 판독 가능 저장매체로부터 상기 컴퓨터 프로그램을 판독하여, 상기 적어도 하나의 프로세서가 상기 컴퓨터 프로그램을 실행하여 컴퓨터가 제1 측면 중 어느 하나에 따른 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 실행하도록 한다.
제6 측면에서, 본 출원의 실시예는 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 제공하는 바, 상기 방법은,
차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하는 단계;
상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하는 단계;
상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득하는 단계를 포함한다.
제7 측면에서, 본 출원의 실시예는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하며, 해당 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 때, 제1 측면 중 어느 하나에 따른 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 실행하도록 한다.
본 실시예에서, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하고; 상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하고; 상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득한다. 이로부터 차량용 카메라에 의해 수집된 자연 장면 영상을 기초로 차량용 카메라의 외부 파라미터에 대해 자동으로 캘리브레이션 하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킨다.
상술한 출원의 하나의 실시예는 아래와 같은 장점 또는 유익한 효과가 있다. 차량용 카메라에 의해 수집된 자연 장면 영상을 기초로 차량용 카메라의 외부 파라미터에 대해 자동으로 캘리브레이션 하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킬 수 있다. 그리고 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하고; 전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하고; 상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하고; 상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득하는 기술수단을 사용하기에, 종래의 차량용 카메라 외부 파라미터 캘리브레이션이 특징 장면, 캘리브레이션 대상에 의존하고, 융통성이 낮고, 캘리브레이션 효율이 저하한 기술문제를 극복하고, 차량용 카메라에 의해 수집된 자연 장면 영상을 통해 차량용 카메라의 외부 파라미터에 대해 자동 캘리브레이션을 수행하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시키는 기술 효과를 구비한다.
상술한 선택적인 방식이 구비한 기타 효과는 아래 내용에서 구체적인 실시예를 결합하여 설명할 것이다.
첨부된 도면은 본 해결수단에 대한 더 충분한 이해를 돕기 위한 것으로서, 본 출원에 대해 한정하지 않는다. 여기서,
도 1은 카메라 이미징 모델을 나타내는 도면이다.
도 2는 본 출원의 실시예의 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 구현할 수 있는 원리도이다.
도 3은 본 출원의 제1 실시예를 나타내는 도면이다.
도 4는 본 출원의 특징점 매칭의 원리를 나타내는 도면이다.
도 5는 본 출원의 제2 실시예를 나타내는 도면이다.
도 6은 본 출원의 실시예의 차량용 카메라의 외부 파라미터 캘리브레이션 시스템을 구현하기 위한 블럭도이다.
도 7은 본 출원의 제3 실시예를 나타내는 도면이다.
아래에서는 첨부 도면을 결합하여 본 출원의 예시적 실시예에 대해 설명한다. 여기서 본 출원의 실시예의 다양한 세부내역을 포함하여 쉽게 이해할 수 있도록 한다. 이들은 단지 예시적인 것으로 간주하여야 한다. 따라서, 당업자는, 여기에 기재된 실시예에 대해 다양한 변형 및 수정을 가할 수 있으며, 본 출원의 범위와 정신을 벗어나지 않는 것으로 간주하여야 한다. 마찬가지로, 명확성과 간결성을 위하여, 아래의 기재에서 공지 기능과 구조에 대한 설명을 생략한다.
본 출원의 명세서와 청구범위 및 상술한 도면 중 용어 "제1", "제2", "제3", "제4" 등(만약 존재한다면)은 유사한 대상을 구분하기 위한 것으로서, 특정 순서 또는 선후 순서를 기재할 필요는 없다. 여기에 기재되는 본 출원의 실시예가 예를 들어 여기에 도시 또는 기재된 것 이외의 기타 순서로 실시될 수도 있도록, 이렇게 사용되는 데이터는 적합한 경우에 서로 호환될 수 있는 것으로 이해되어야 한다. 한편, 용어 "포함"과 "구비" 및 이들의 임의의 변형은, 비배타적인 포함을 커버하기 위한 것으로서, 예를 들어, 일련의 단계 또는 유닛을 포함하는 과정, 방법, 시스템, 제품 또는 기기는 명확히 나열된 단계 또는 유닛에 한정될 필요가 없으며, 오히려 명확하게 나열되지 않은 것이거나, 이러한 과정, 방법, 제품 또는 기기의 고유한 기타 단계 또는 유닛을 포함할 수 있다.
아래에는 구체적인 실시예를 들어 본 출원의 기술 방안에 대해 상세하게 설명한다. 아래의 몇 개의 구체 실시예는 서로 결합할 수 있으며, 동일하거나 유사한 개념 또는 과정에 대해 일부 실시예에서는 중복 설명하지 않을 수 있다.
이동 로봇, 차량 전자, 자율 주행 등의 분야에서는 일반적으로 차체 좌표계에서의 차량용 카메라의 자세를 캘리브레이션해야 한다. 기존의 카메라 외부 파라미터 캘리브레이션 방법은 세가지가 있는데, 하나는 맞춤형 캘리브레이션 공간 또는 특정 캘리브레이션 장면에서 캘리브레이션 대상 또는 장면에서 알려진 위치의 특징점을 추출하고 매칭시켜 카메라 외부 파라미터를 캘리브레이션하는 것이다. 두번째는 차선의 특성을 사용하여 반복하여 외부 파라미터를 구하거나, 또는 차선의 교차점을 계산하여 소실점을 구함으로써 카메라의 외부 파라미터를 구하는 것이다. 세번째는 자연 장면의 앞뒤 프레임을 사용하여 특징점을 매칭시키고 연결하여 교차점을 구하는 방식으로 영상의 소실점을 확정하고, 소실점을 기초로 하여 캘리브레이션 하여 카메라의 외부 파라미터를 획득한다. 그러나 방법 1은 특정 캘리브레이션 대상의 추가 사용을 필요로 하거나, 특정 캘리브레이션 장면에서 캘리브레이션을 수행해야 하기에 캘리브레이션 사용 조건을 제한하고; 방법 2는 차선의 직선성과 선명도에 의존하고, 차선의 검출 정확도와 안정성을 의존하며, 피치(pitch) 각만 캘리브레이션 할 수 있다. 방법 3은 주행 중 차량이 엄격하게 직선을 유지해야 하며, 앞뒤 프레임 사이에 어떠한 회전도 허용되지 않으며, 회전 데이터를 제거하여 알고리즘의 안정성을 향상시킬 수 없으며, 카메라의 피치 각과 요(yaw) 각만을 캘리브레이션 할 수 있고, 롤(roll) 각은 캘리브레이션 할 수 없다.
상술한 문제에 대해, 본 출원은 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체를 제공하며, 차량용 카메라에 의해 수집된 자연 장면 영상을 기초로 차량용 카메라의 외부 파라미터에 대해 자동으로 캘리브레이션 하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킬 수 있다.
도 1은 카메라 이미징 모델을 나타내는 도면이며, 도 1에 도시된 바와 같이, O는 카메라 초점이고, C는 이미징 평면의 주점이고, OC는 초점(f)이다. 도 2는 본 출원의 실시예의 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 구현할 수 있는 원리도이고, 도 2에 도시된 바와 같이, 차량 좌표계의 x방향은 앞을 향하고, y방향은 좌측으로 향하고, z방향은 아래로 향하는 것으로, 카메라 좌표계의 x방향을 오른쪽을 향하고, y방향은 수직으로 아래를 향하고, z방향은 앞을 향하는(카메라 자체에 대하여) 것으로 정의하며, 도 2에 도시된 바와 같이, 차량이 주행하는 과정에, t0 시각의 위치에서 t1시각의 위치로 움직인다. 카메라는 차량 헤드 전방에 장착되고(차량의 임의의 위치에 장착될 수도 있음), 차체 중심축과의 협각은 θ이고, 차량이 t0 시각에서 t1 시각으로 움직이고, O0O1은 차량이 주행하는 과정에 카메라가 움직이는 방향이며, AF는 차체의 중심축이다.
1) 앞뒤 프레임 특징점의 매칭은, 등극선 기하 원리를 사용하여 t0과 t1시각의 카메라 사이의 기본 매트릭스를 구할 수 있으며, SVD 분해로 카메라의 회전 매트릭스와 병진단위 벡터를 구할 수 있으며, 카메라의 회전각 크기를 기초로 차량이 직진인지 회전인지 판단할 수 있다.
2) 차량이 진진할 때, 즉 차량이 t0 과 t1 시각의 위치 연결선 O0O1벡터와 차체 중심축 방향이 겹치며(과정에 흔들리거나 편향이 발생할 수 있음), 즉 O0O1벡터가 차량 좌표계의 X축 방향이다. 그러고 제1단계에서 분해하여 얻은 병진벡터는 바로 O0O1벡터의 단위 벡터이며, 차량의 X축의 카메라 좌표계에서의 단위 벡터 표현을 구하게 된다.
3) 차량이 회전할 경우, 차량이 지면과 수직인 회전축(z')을 중심으로 회전하는 것으로 이해할 수 있으며, z'와 차량 좌표계Z축은 평행하고, 제1 단계에서 분해하여 얻은 회전 매트릭스를 회전각과 회전축으로 표시하고, 정의로부터 이 회전축이 바로 해당 회전이 중심으로 하는 회전축(z')임을 알 수 있다.
4) 이미 확정된 X축과 Z축에 의해 벡터 교차 곱을 이용하여 Y축을 구할 수 있다. 이로부터 카메라 좌표계를 기반으로 한 차량 좌표계의 3개 좌표축 벡터 표현을 얻으므로 카메라에서 차량 좌표계로의 외부 파라미터를 얻을 수 있다.
상술한 방법을 적용하면 특징 장면과 캘리브레이션 대상에 의존해야 하는 기존의 차량용 카메라 외부 파라미터 캘리브레이션의 기술적 문제와, 융통성이 낮고, 캘리브레이션 효율이 저하한 기술문제를 극복하고, 차량용 카메라에 의해 수집된 자연 장면 영상을 통해 차량용 카메라의 외부 파라미터를 자동으로 캘리브레이션 하기에, 캘리브레이션 속도가 더욱 빠르고, 또한 추가적인 캘리브레이션 대상이 필요하지 않으므로 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시키는 기술효과를 구비한다.
도 3은 본 출원의 제1 실시예를 나타내는 도면이며, 도 3에 도시된 바와 같이, 본 실시예의 차량용 카메라의 외부 파라미터 캘리브레이션 방법은 아래의 단계를 포함할 수 있다.
S101, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행한다.
S102, 전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득한다.
S103, 매칭되는 특징점에 따라 차량용 카메라의 운동 자세를 확정한다.
S104, 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 회전 관계를 확정하여, 차량용 카메라의 차체에 대한 외부 파라미터를 획득한다.
본 실시예에서, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하고; 전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하고; 매칭되는 특징점에 따라 차량용 카메라의 운동 자세를 확정하고; 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 회전 관계를 확정하여, 차량용 카메라의 차체에 대한 외부 파라미터를 획득한다. 따라서 차량용 카메라에 의해 수집된 자연 장면 영상을 기초로 차량용 카메라의 외부 파라미터에 대해 자동으로 캘리브레이션 하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킨다.
예시적으로, 단계(S101)에서, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 왜곡 제거 처리와 증강 처리를 수행하여, 전처리 후의 두 프레임의 영상을 획득할 수 있다.
본 실시예에서, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하고, 예를 들어 왜곡 제거 처리와 증강 처리를 수행하여, 영상의 품질을 향상시킴으로써, 후속 영상 중의 특징점에 대해 검출과 매칭을 수행하도록 한다.
구체적으로, 카메라를 통해 각각 t0과 t1시각의 영상(I0)과 영상(I1)을 수집한다. 하지만 자동차의 주행 과정에는, 노면이 울통불퉁하거나 또는 과속방지턱을 통과하는 등 각종 원인으로 차체 또는 차량용 카메라는 흔들리거나 편향 등이 발생할 수 있다. 이는 차량용 카메라에 의해 수집된 앞뒤 두 프레임의 I0과 I1에 왜곡, 모호 등 현상이 존재할 수 있다. 따라서, 영상에 대해 왜곡 제거 처리와 증강 처리를 포함하는 전처리를 수행하여, 전처리 후의 두 프레임의 영상을 획득할 수 있으며, 이로부터 영상의 품질을 향상시키고, 후속 영상의 특징점에 대해 검출과 매칭을 수행하도록 한다.
예시적으로, 단계(S102)에서, 전처리 후의 두 프레임의 영상으로부터 각각 특징점을 추출하고; 특징점에 대해 두개씩 매칭 검출을 수행하여, N세트의 매칭되는 특징점을 획득하며; 여기서, N은 5보다 큰 자연수이다.
본 실시예에서, t0과 t1시각에 카메라에 의해 각각 영상(I0)과 영상(I1)이 수집된 것으로 가정한다. 영상 특징점 검출 알고리즘과 특징점 매칭 알고리즘을 이용하여 영상(I0)과 영상(I1)의 영상 중에서 N(N>=5) 세트의 매칭되는 특징점을 검출해 냄으로써, 후속 단계에서 N세트의 매칭되는 특징점에 기반하여 차량용 카메라의 운동 자세를 확정할 수 있도록 한다.
구체적으로, 도 4는 본 출원의 특징점 매칭의 원리를 나타내는 도면이다, 도 4에 도시된 바와 같이, 월드 좌표계에 있는 점X의 두 카메라(혹은 한 카메라의 서로 다른 시각)에서의 픽셀은 각각 x1과 x2이다. 따라서, 영상 특징점 검출 알고리즘과 특징점 매칭 알고리즘을 사용하여 영상(I0)과 영상(I1)에서x1과 x2가 한 세트의 매칭 특징점인 것으로 검출해 낼 수 있으며, 모두 월드 좌표계에서의 점의 영상에서의 투영이다. 마찬가지로, 영상(I0)과 영상(I1)에서 복수 세트의 매칭 특징점을 검출할 수 있다. 본 실시예의 계산 과정에서는 적어도 5 세트의 매칭 특징점을 필요로 한다.
예시적으로, 단계(S103)에서, 등극선 기하 원리에 따라, 매칭되는 특징점을 통해 기본 매트릭스를 구하고; 기본 매트릭스에 대해 분해하여, 회전 매트릭스와 병진벡터를 획득하고; 회전 매트릭스와 병진벡터를 기초로, 차량용 카메라의 운동 자세를 확정할 수 있으며; 운동 자세는 회전 자세, 병진 자세를 포함한다.
본 실시예에서, 등극선 기하 원리를 통해, 매칭되는 특징점으로 기본 매트릭스를 구하고; 기본 매트릭스를 분해하여, 회전 매트릭스와 병진벡터를 획득하고; 회전 매트릭스와 병진벡터를 기초로, 차량용 카메라의 운동 자세를 확정함으로써, 차량 주행 과정에서의 상태를 직진과 회전 두가지 경우로 구분할 수 있으며, 이로부터 후속으로 서로 다른 자세에서의 차량의 상태에 대해 차량 좌표계의 좌표축 방향을 계산한다.
구체적으로, 도 4의 한 세트의 매칭 특징점x1과 x2를 예로 들면, 등극선 기하 원리에 따라 x1과 x2가 x2 TFx1=0을 만족함을 알 수 있고, 여기서 F는 기본 매트릭스이다. 또한 F= K2 -TBK1 -1이고, 여기서 B는 기본 매트릭스이며, K는 카메라의 내부 파라미터이다. 두 영상은 동일한 카메라의 서로 다른 시각의 영상이기에, K1=K2=K이고, 따라서
Figure 112021035090105-pat00001
이다. 단계(S102)에서N>=5쌍의 특징점을 검출하여 해를 구하는 매트릭스를 구축하여 B를 구할 수 있으며, 여기서 사용할 수 있는 방법은 예컨대 5 포인트 법, 6 포인트 법 등 다양하다. 여기서 해를 구하는 방법에 대해 더 이상 중복 설명하지 않는다. 기본 매트릭스B는 회전과 병진 정보를 포함하고,
Figure 112021035090105-pat00002
이며, 여기서 t는 병진벡터이고, R은 회전 매트릭스이다. 따라서 B를 구한 후, 또한 매트릭스 분해를 통해 회전 매트릭스R과 병진벡터t를 획득하고, 좌표축 벡터를 계산할 수 있다. 회전 매트릭스R과 병진벡터는 차량용 카메라의 운동 자세가 회전 자세인지 병진 자세인지 판단하는데 더 사용될 수 있다.
예시적으로, 단계(S104)에서, 운동 자세에 따라, 차량이 직진 조건 또는 회전 조건을 만족하는지 여부를 확정할 수 있으며; 직진 조건을 만족하면, 차량용 카메라의 극점 좌표를 통해 차량 좌표계의 X축 방향을 확정하고; 회전 조건을 만족하면, 회전 매트릭스를 통해 차량 좌표계의 Z축의 방향을 확정하고; 차량 좌표계의 X축 방향, Z축 방향에 따라, 벡터 교차 곱 연산을 통해, 차량 좌표계의 Y축 방향을 확정하고; 차량 좌표계의 X축 방향, Z축 방향, Y축 방향, 및 차량용 카메라 좌표계를 기초로, 차량용 카메라의 차체에 대한 외부 파라미터를 확정할 수 있다.
본 실시예에서, 차량의 운동 자세의 영향을 받지 않고 정확하게 차량 좌표계의 X축 방향, Z축 방향, Y축 방향을 획득할 수 있으며, 이로부터 알려진 카메라 좌표계를 기초로 카메라의 외부 파라미터를 환산할 수 있기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킨다.
구체적으로, 카메라가 운동하는 운동 자세를 사용하여 차량이 직진 또는 회전 조건을 만족하는지 여부를 판단할 수 있으며, 직진이면 극점 좌표를 사용하여 차량 좌표계의 X축 방향을 획득하고; 회전이면 회전 매트릭스를 이용하여 각축 표현 형식으로 전환시키고, 회전축이 바로 Z축 방향이다. 다음, 통계 방법에 따라 복수회 순환 과정으로 X축과 X축 좌표의 통계값을 계산한다. 마지막으로, X축과 Z축을 이용하여 Y축을 구하고, 이로서 카메라 좌표계에 기반한 차량 좌표계의 3개 좌표축 벡터 표현을 구하고, 따라서 카메라의 차량 좌표계로의 외부 파라미터를 획득할 수 있다.
한가지 가능한 경우에 있어서, 직진 조건을 만족하면, 차량용 카메라의 극점 좌표를 통해, 차량 좌표계의 X축 방향을 확정하는 단계는, 전처리 후의 두 프레임의 영상 중의 차량용 카메라의 극점 좌표의 연결 벡터를 획득하는 단계; 연결 벡터와 차량의 차체 중심축 방향이 겹치면, 직진 조건을 만족하는 것으로 확정하고, 연결 벡터에 대응되는 단위 벡터를 차량 좌표계의 X축 방향으로 하는 단계를 포함한다.
본 실시예에서, 차량이 직진 상태인 것으로 확정될 때, 차량용 카메라의 극점 좌표로 차량 좌표계의 X축 방향을 확정할 수 있으며, 즉 연결 벡터에 대응되는 단위 벡터를 차량 좌표계의 X축 방향으로 함으로써, 빠르게 차량 좌표의 X축 방향을 확정할 수 있다.
다른 한가지 가능한 경우에 있어서, 회전 조건을 만족하면, 회전 매트릭스를 통해 차량 좌표계의 Z축의 방향을 확정하는 단계는, 전처리 후의 두 프레임의 영상 중의 차량용 카메라의 극점 좌표의 연결 벡터를 획득하는 단계; 연결 벡터와 차량의 차체 중심축 방향이 겹치지 않으면, 회전 조건을 만족하는 것으로 확정하는 단계; 회전 매트릭스를 전환하여 얻은 회전축 방향을 차량 좌표계의 Z축 방향으로 하는 단계를 포함한다.
본 실시예에서, 차량이 회전 상태인 것으로 확정될 때, 회전 매트릭스를 전환하여 얻은 회전축 방향을 차량 좌표계의 Z축 방향으로 할 수 있다. 이로부터 차량의 주행 과정에 자세의 변화로 인한 영향을 받지 않고 차량용 카메라의 캘리브레이션을 수행하기에, 외부 파라미터 캘리브레이션의 융통성을 향상시킨다.
구체적으로, 차량이t0과 t1시각의 위치 연결선의 O0O1벡터와 차체 중심축 방향이 겹치면(과정에 흔들이거나 편향이 발생할 수 있음), 즉 O0O1벡터가 차량 좌표계의 X축 방향이면, 차량이 직진하는 것으로 확정하고, 그렇지 않으면 회전하는 것으로 확정할 수 있다. 직진 조건을 만족하면, 연결 벡터를 분해하여 병진벡터를 획득하고 바로O0O1벡터의 단위 벡터이며, 차량의 X축의 카메라 좌표계에서의 단위 벡터 표현을 구한다. 회전조건을 만족하면, 차량이 지면에 수직인 회전축(z')을 중심으로 회전하는 것으로 이해할 수 있으며, z'는 차량 좌표계 Z축과 평행되며, 그러나 이전에 분해하여 획득된 회전 매트릭스는, 회전각과 회전축으로 전환되어 표시되며, 정의로부터 회전축이 바로 해당 회전하는 중심이 회전축(z')임을 알 수 있다.
본 실시예는, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하고; 전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하고; 매칭되는 특징점에 따라 차량용 카메라의 운동 자세를 확정하고; 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 회전 관계를 확정하여, 차량용 카메라의 차체에 대한 외부 파라미터를 획득한다. 이로부터 종래의 차량용 카메라 외부 파라미터 캘리브레이션이 특징 장면, 캘리브레이션 대상에 의존하고, 융통성이 낮고, 캘리브레이션 효율이 저하한 기술문제를 극복하고, 차량용 카메라에 의해 수집된 자연 장면 영상을 통해 차량용 카메라의 외부 파라미터에 대해 자동 캘리브레이션을 수행하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시키는 기술효과를 구비한다.
도 5는 본 출원의 제2 실시예를 나타내는 도면이고; 도 5에 도시된 바와 같이, 본 실시예의 장치는,
차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하는 수집모듈(41);
전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하는 매칭모듈(42);
매칭되는 특징점에 따라 차량용 카메라의 운동 자세를 확정하는 확정모듈(43);
운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 회전 관계를 확정하여, 차량용 카메라의 차체에 대한 외부 파라미터를 획득하는 처리모듈(44)을 포함할 수 있다.
본 실시예에서, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하고; 전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하고; 매칭되는 특징점에 따라 차량용 카메라의 운동 자세를 확정하고; 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 회전 관계를 확정하여, 차량용 카메라의 차체에 대한 외부 파라미터를 획득한다. 따라서 차량용 카메라에 의해 수집된 자연 장면 영상을 기초로 차량용 카메라의 외부 파라미터에 대해 자동으로 캘리브레이션 하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킨다.
가능한 설계에서, 수집모듈(41)은, 구체적으로,
차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 왜곡 제거 처리와 증강 처리를 수행하여, 전처리 후의 두 프레임의 영상을 획득한다.
본 실시예는, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 예컨대 왜곡 제거 처리와 증강 처리와 같은 전처리를 수행함으로써 영상의 품질을 향상시키고, 이로부터 후속으로 영상 중의 특징점에 대해 검출과 매칭을 수행하도록 한다.
가능한 설계에서, 매칭모듈(42)은, 구체적으로,
전처리 후의 두 프레임의 영상으로부터 각각 특징점을 추출하고;
특징점에 대해 두개씩 매칭검출을 수행하여, N 세트 매칭되는 특징점을 획득하며; 여기서, N은 5보다 큰 자연수이다.
본 실시예에서, t0과 t1시각에 카메라에 의해 각각 영상(I0)과 영상(I1)이 수집된 것으로 가정한다. 영상 특징점 검출 알고리즘과 특징점 매칭 알고리즘을 이용하여 영상(I0)과 영상(I1)의 영상 중에서 N(N>=5) 세트의 매칭되는 특징점을 검출해 냄으로써, 후속 단계에서 N세트의 매칭되는 특징점에 기반하여 차량용 카메라의 운동 자세를 확정할 수 있도록 한다.
가능한 설계에서, 확정모듈(43)은, 구체적으로,
등극선 기하 원리에 따라, 매칭되는 특징점을 통해 기본 매트릭스를 구하고;
기본 매트릭스를 분해하여, 회전 매트릭스와 병진벡터를 획득하고;
회전 매트릭스와 병진벡터를 기초로, 차량용 카메라의 운동 자세를 확정하고; 운동 자세는 회전 자세, 병진 자세를 포함한다.
본 실시예에서, 등극선 기하 원리를 통해, 매칭되는 특징점으로 기본 매트릭스를 구하고; 기본 매트릭스를 분해하여, 회전 매트릭스와 병진벡터를 획득하고; 회전 매트릭스와 병진벡터를 기초로, 차량용 카메라의 운동 자세를 확정하기에, 차량 주행 과정에서의 상태를 직진과 회전 두가지 경우로 구분할 수 있으며, 이로부터 후속으로 서로 다른 자세에서의 차량의 상태에 대해 차량 좌표계의 좌표축 방향을 계산한다.
가능한 설계에서, 처리모듈(44)은, 구체적으로,
운동 자세에 따라, 차량이 직진 조건 또는 회전 조건을 만족하는지 여부를 확정하고;
직진 조건을 만족하면, 차량용 카메라의 극점 좌표를 통해 차량 좌표계의 X축 방향을 확정하고;
회전 조건을 만족하면, 회전 매트릭스를 통해 차량 좌표계의 Z축의 방향을 확정하고;
차량 좌표계의 X축 방향, Z축 방향에 따라, 벡터 교차 곱 연산을 통해, 차량 좌표계의 Y축 방향을 확정하고;
차량 좌표계의 X축 방향, Z축 방향, Y축 방향, 및 차량용 카메라 좌표계를 기초로, 차량용 카메라의 차체에 대한 외부 파라미터를 확정한다.
본 실시예는, 차량의 운동 자세의 영향을 받지 않고 정확하게 차량 좌표계의 X축 방향, Z축 방향, Y축 방향을 획득할 수 있으며, 이로부터 알려진 카메라 좌표계를 기초로 카메라의 외부 파라미터를 환산할 수 있기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시킨다.
가능한 설계에서, 처리모듈(44)은, 구체적으로,
전처리 후의 두 프레임의 영상 중의 차량용 카메라의 극점 좌표의 연결 벡터를 획득하고;
연결 벡터와 차량의 차체 중심축 방향이 겹치면, 직진 조건을 만족하는 것으로 확정하고, 연결 벡터에 대응되는 단위 벡터를 차량 좌표계의 X축 방향으로 한다.
본 실시예에서, 차량이 직진 상태인 것으로 확정할 때, 차량용 카메라의 극점 좌표로 차량 좌표계의 X축 방향을 확정할 수 있으며, 즉 연결 벡터에 대응되는 단위 벡터를 차량 좌표계의 X축 방향으로 한다.
가능한 설계에서, 처리모듈(44)은, 구체적으로,
전처리 후의 두 프레임의 영상 중의 차량용 카메라의 극점 좌표의 연결 벡터를 획득하고;
연결 벡터와 차량의 차체 중심축 방향이 겹치지 않으면, 회전 조건을 만족하는 것으로 확정하고;
회전 매트릭스를 전환하여 얻은 회전축 방향을 차량 좌표계의 Z축 방향으로 한다.
본 실시예에서, 차량이 회전 상태인 것으로 확정될 때, 회전 매트릭스를 전환하여 얻은 회전축 방향을 차량 좌표계의 Z축 방향으로 할 수 있다. 이로부터 차량의 주행 과정에 자세의 변화로 인한 영향을 받지 않고 차량용 카메라의 캘리브레이션을 수행하기에, 외부 파라미터 캘리브레이션의 융통성을 향상시킨다.
본 실시예의 차량용 카메라의 외부 파라미터 캘리브레이션 장치는, 도 3에 도시된 방법 중의 기술방안을 실행하고, 구체적인 구현 과정과 기술 원리는 도 3에 도시된 방법 중의 관련 설명을 참조할 수 있으며, 여기서 더 이상 중복 설명하지 않는다.
본 실시예는, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하고; 전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하고; 매칭되는 특징점에 따라 차량용 카메라의 운동 자세를 확정하고; 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 회전 관계를 확정하여, 차량용 카메라의 차체에 대한 외부 파라미터를 획득한다. 종래의 차량용 카메라 외부 파라미터 캘리브레이션이 특징 장면, 캘리브레이션 대상에 의존하고, 융통성이 낮고, 캘리브레이션 효율이 저하한 기술문제를 극복하고, 차량용 카메라에 의해 수집된 자연 장면 영상을 통해 차량용 카메라의 외부 파라미터에 대해 자동 캘리브레이션을 수행하기에, 캘리브레이션 속도가 보다 빠르고, 추가적인 캘리브레이션 대상을 필요로 하지 않으며, 차량용 카메라의 외부 파라미터 캘리브레이션 효율과 융통성을 향상시키는 기술 효과를 구비한다.
도 6는 본 출원의 실시예의 차량용 카메라의 외부 파라미터 캘리브레이션 시스템의 블럭도이고; 도 6에 도시된 바와 같이, 본 출원의 실시예의 차량용 카메라의 외부 파라미터 캘리브레이션 시스템의 블록도이다. 시스템은 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터, 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 시스템은 개인용 디지털 단말기, 셀룰러 폰, 스마트 폰, 웨어러블 기기, 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본문에 표시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것으로서, 본문에서 설명되거나 및/또는 요구되는 본 출원의 구현을 한정하려는 의도가 아니다.
도 6에 도시된 바와 같이, 해당 차량용 카메라의 외부 파라미터 캘리브레이션 시스템은, 하나 또는 다수의 프로세서(501), 메모리(502), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부재를 연결하기 위한 인터페이스를 포함한다. 각각의 부재는 상이한 버스를 사용하여 상호 연결되고, 또한 공통 마더보드에 설치되거나 수요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 시스템 내에서 실행되는 명령을 처리할 수 있고, 상기 명령은, 외부 입력/출력 장치(예를 들어, 인터페이스에 결합된 디스플레이 기기)에 GUI의 그래픽 정보를 디스플레이하기 위해 메모리 내 또는 메모리에 저장되는 명령을 포함한다. 다른 실시형태에서, 필요하다면, 다수의 프로세서 및/또는 다수의 버스와 다수의 메모리를 함께 사용할 수 있다. 마찬가지로, 다수의 시스템을 연결할 수 있으며, 각각의 시스템은 일부 필요한 동작(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 다중 프로세서 시스템으로 사용됨)을 제공한다. 도 6에서는 하나의 프로세서(501)를 예로 한다.
메모리(502)는 본 출원에서 제공된 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원에서 제공된 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하며, 해당 컴퓨터 명령은 컴퓨터가 본 출원에서 제공된 도 6의 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 수행하도록 한다.
메모리(502)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예에서의 도 6의 차량용 카메라의 외부 파라미터 캘리브레이션 방법에 대응되는 프로그램 명령/모듈과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈을 저장하는데 사용될 수 있다. 프로세서(501)는 메모리(502)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 컴퓨터의 다양한 기능 애플리케이션 및 데이터 처리를 수행하며, 즉 상기 방법의 실시예에서의 도 6의 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 구현한다.
메모리(502)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있는 바, 여기서 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고; 데이터 저장 영역은 도 6의 차량용 카메라의 외부 파라미터 캘리브레이션 시스템을 사용하여 구축된 데이터 등을 저장할 수 있다. 이밖에, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 저장 소자, 플래시 소자, 또는 다른 비일시적 솔리드 스테이트 저장 소자와 같은 비일시적 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(502)는 프로세서(501)에 대해 원격으로 설치되는 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 도 6의 차량용 카메라의 외부 파라미터 캘리브레이션 시스템에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신망, 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
도 6의 차량용 카메라의 외부 파라미터 캘리브레이션 시스템은, 입력장치(503) 및 출력장치(504)를 더 포함할 수 있다. 프로세서(501), 메모리(502), 입력장치(503) 및 출력장치(504)는 버스 또는 다른 방식을 통해 연결될 수 있고, 도 6에서는 버스를 통한 연결을 예로 한다.
입력장치(503)는 입력된 숫자 또는 캐릭터 정보를 수신할 수 있고, 도 6의 차량용 카메라의 외부 파라미터 캘리브레이션 시스템의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 예를 들어 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 다수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치일 수 있다. 출력장치(604)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 디스플레이 기기는 액정 디스플레이 장치(LCD), 발광 다이오드(LED) 디스플레이 장치 및 플라즈마 디스플레이 장치를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
본 출원의 실시예에 따르면, 본 출원은 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 더 제공하며, 상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 때, 본 출원에서 제공된 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 수행하도록 한다.
여기서 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 다수의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 주문형 또는 일반 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 또한, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램 가능 프로세서의 기계 명령을 포함하고, 또한 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 사용하여 이러한 컴퓨터 프로그램을 실행할 수 있다. 본문에 사용된 바와 같이, 용어 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 의미하고, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
사용자와의 인터랙션을 제공하기 위해, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있고, 상기 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 컴퓨터에 입력을 제공한다. 다른 타입의 장치는 또한 사용자와의 인터랙션을 제공할 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 센서 피드백(예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술은 백엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로 사용됨), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터인 바, 사용자는 상기 그래픽 사용자 인터페이스 또는 상기 네트워크 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백엔드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예는, 근거리 통신망(LAN), 광역망(WAN), 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고, 일반적으로 통신 네트워크를 통해 서로 인터랙션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다.
도 7은 본 출원의 제3실시예를 나타내는 도면이며, 도 7에 도시된 바와 같이, 본 실시에의 차량용 카메라의 외부 파라미터 캘리브레이션 방법은,
S201, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하는 단계;
S202, 상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하는 단계;
S203, 상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득하는 단계를 포함할 수 있다.
위에서 설명된 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 동시에, 순차적으로, 또는 상이한 순서로 수행될 수 있으며, 본 출원에 개시된 기술적 해결수단이 이루고자 하는 결과를 구현할 수 있는 한, 본문은 여기서 한정되지 않는다.
상기 구체적인 실시형태는 본 출원의 보호 범위를 한정하지 않는다. 본 기술분야의 통상의 기술자는, 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진행할 수 있음을 이해해야 한다. 본 출원의 정신 및 원칙 내에서 이루어진 임의의 수정, 등가 교체 및 개선 등은 모두 본 출원의 보호 범위 내에 포함되어야 한다.

Claims (12)

  1. 차량용 카메라의 외부 파라미터 캘리브레이션 장치에 의해 수행되는 차량용 카메라의 외부 파라미터 캘리브레이션 방법에 있어서, 상기 방법은,
    차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하는 단계;
    전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하는 단계;
    상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하는 단계;
    상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득하는 단계를 포함하고,
    상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하는 단계는,
    상기 운동 자세에 따라, 차량이 직진 조건 또는 회전 조건을 만족하는지 여부를 확정하는 단계;
    직진 조건을 만족하면, 차량용 카메라의 극점 좌표를 통해 차량 좌표계의 X축 방향을 확정하는 단계;
    회전 조건을 만족하면, 회전 매트릭스를 통해 차량 좌표계의 Z축의 방향을 확정하는 단계;
    차량 좌표계의 X축 방향, Z축 방향에 따라, 벡터 교차 곱 연산을 통해, 차량 좌표계의 Y축 방향을 확정하는 단계;
    차량 좌표계의 X축 방향, Z축 방향, Y축 방향, 및 차량용 카메라 좌표계를 기초로, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 확정하는 단계를 포함하고,
    직진 조건을 만족하면, 차량용 카메라의 극점 좌표를 통해, 차량 좌표계의 X축 방향을 확정하는 단계는,
    전처리 후의 두 프레임의 영상 중의 차량용 카메라의 극점 좌표의 연결 벡터를 획득하는 단계;
    상기 연결 벡터와 차량의 차체 중심축 방향이 겹치면, 직진 조건을 만족하는 것으로 확정하고, 상기 연결 벡터에 대응되는 단위 벡터를 상기 차량 좌표계의 X축 방향으로 하는 단계를 포함하는 것을 특징으로 하는 차량용 카메라의 외부 파라미터 캘리브레이션 방법.
  2. 제1항에 있어서, 차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하는 상기 단계는,
    차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 왜곡 제거 처리와 증강 처리를 수행하여, 전처리 후의 두 프레임의 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 차량용 카메라의 외부 파라미터 캘리브레이션 방법.
  3. 제1항에 있어서, 전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하는 상기 단계는,
    전처리 후의 두 프레임의 영상으로부터 각각 특징점을 추출하는 단계;
    상기 특징점에 대해 두개씩 매칭 검출을 수행하여, N세트의 매칭되는 특징점을 획득하되; 여기서, N은 5보다 큰 자연수인 단계를 포함하는 것을 특징으로 하는 차량용 카메라의 외부 파라미터 캘리브레이션 방법.
  4. 제1항에 있어서,
    상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하는 상기 단계는,
    등극선 기하 원리에 따라, 매칭되는 특징점을 통해 기본 매트릭스를 구하는 단계;
    상기 기본 매트릭스에 대해 분해하여, 회전 매트릭스와 병진벡터를 획득하는 단계;
    상기 회전 매트릭스와 상기 병진벡터에 따라, 상기 차량용 카메라의 운동 자세를 확정하되; 상기 운동 자세는 회전 자세, 병진 자세를 포함하는 단계를 포함하는 것을 특징으로 하는 차량용 카메라의 외부 파라미터 캘리브레이션 방법.

  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 회전 조건을 만족하면, 회전 매트릭스를 통해 차량 좌표계의 Z축의 방향을 확정하는 상기 단계는,
    전처리 후의 두 프레임의 영상 중의 차량용 카메라의 극점 좌표의 연결 벡터를 획득하는 단계;
    상기 연결 벡터와 차량의 차체 중심축 방향이 겹치지 않으면 회전 조건을 만족하는 것으로 확정하는 단계;
    회전 매트릭스를 전환하여 획득된 회전축 방향을 상기 차량 좌표계의 Z축 방향으로 하는 단계를 포함하는 것을 특징으로 하는 차량용 카메라의 외부 파라미터 캘리브레이션 방법.
  8. 차량용 카메라의 외부 파라미터 캘리브레이션 장치에 있어서, 상기 장치는,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하고,
    상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가,
    차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 전처리를 수행하는 프로세스;
    전처리 후의 두 프레임의 영상에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하는 프로세스;
    상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하는 프로세스;
    상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득하는 프로세스;를 수행할 수 있도록 하고,
    상기 프로세서는 구체적으로,
    상기 운동 자세에 따라, 차량이 직진 조건 또는 회전 조건을 만족하는지 여부를 확정하는 프로세스;
    직진 조건을 만족하면, 차량용 카메라의 극점 좌표를 통해 차량 좌표계의 X축 방향을 확정하는 프로세스;
    회전 조건을 만족하면, 회전 매트릭스를 통해 차량 좌표계의 Z축의 방향을 확정하는 프로세스;
    차량 좌표계의 X축 방향, Z축 방향에 따라, 벡터 교차 곱 연산을 통해, 차량 좌표계의 Y축 방향을 확정하는 프로세스;
    차량 좌표계의 X축 방향, Z축 방향, Y축 방향, 및 차량용 카메라 좌표계를 기초로, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 확정하는 프로세스;를 수행하고,
    상기 프로세서는 구체적으로,
    전처리 후의 두 프레임의 영상 중의 차량용 카메라의 극점 좌표의 연결 벡터를 획득하는 프로세스;
    상기 연결 벡터와 차량의 차체 중심축 방향이 겹치면, 직진 조건을 만족하는 것으로 확정하고, 상기 연결 벡터에 대응되는 단위 벡터를 상기 차량 좌표계의 X축 방향으로 하는 프로세스를;수행하는 것을 특징으로 하는 차량용 카메라의 외부 파라미터 캘리브레이션 장치.
  9. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고,
    상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제4항 및 제7항 중 어느 한 항에 따른 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 수행할 수 있도록 하는 것을 특징으로 하는 차량용 카메라의 외부 파라미터 캘리브레이션 시스템.
  10. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서, 상기 컴퓨터 명령은 컴퓨터가 제1항 내지 제4항 및 제7항 중 어느 한 항에 따른 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 수행하도록 하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장매체.
  11. 차량용 카메라의 외부 파라미터 캘리브레이션 장치에 의해 수행되는 차량용 카메라의 외부 파라미터 캘리브레이션 방법에 있어서, 상기 방법은,
    차량용 카메라에 의해 수집된 앞뒤 두 프레임에 대해 특징점 매칭을 수행하여, 매칭되는 특징점을 획득하는 단계;
    상기 매칭되는 특징점을 기초로, 차량용 카메라의 운동 자세를 확정하는 단계;
    상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하여, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 획득하는 단계를 포함하고,
    상기 운동 자세를 기초로, 차량 좌표계와 차량용 카메라 좌표계의 전환 관계를 확정하는 상기 단계는,
    상기 운동 자세에 따라, 차량이 직진 조건 또는 회전 조건을 만족하는지 여부를 확정하는 단계;
    직진 조건을 만족하면, 차량용 카메라의 극점 좌표를 통해 차량 좌표계의 X축 방향을 확정하는 단계;
    회전 조건을 만족하면, 회전 매트릭스를 통해 차량 좌표계의 Z축의 방향을 확정하는 단계;
    차량 좌표계의 X축 방향, Z축 방향에 따라, 벡터 교차 곱 연산을 통해, 차량 좌표계의 Y축 방향을 확정하는 단계;
    차량 좌표계의 X축 방향, Z축 방향, Y축 방향, 및 차량용 카메라 좌표계를 기초로, 상기 차량용 카메라의 차체에 대한 외부 파라미터를 확정하는 단계를 포함하고,
    직진 조건을 만족하면, 차량용 카메라의 극점 좌표를 통해, 차량 좌표계의 X축 방향을 확정하는 상기 단계는,
    전처리 후의 두 프레임의 영상 중의 차량용 카메라의 극점 좌표의 연결 벡터를 획득하는 단계;
    상기 연결 벡터와 차량의 차체 중심축 방향이 겹치면, 직진 조건을 만족하는 것으로 확정하고, 상기 연결 벡터에 대응되는 단위 벡터를 상기 차량 좌표계의 X축 방향으로 하는 단계를 포함하는 것을 특징으로 하는 차량용 카메라의 외부 파라미터 캘리브레이션 방법.
  12. 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제4항 및 제7항 중 임의의 한 항에 따른 차량용 카메라의 외부 파라미터 캘리브레이션 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램.
KR1020210038684A 2020-04-20 2021-03-25 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체 KR102498439B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010309665.6A CN111524192B (zh) 2020-04-20 2020-04-20 车载相机外参的标定方法、装置、系统及存储介质
CN202010309665.6 2020-04-20

Publications (2)

Publication Number Publication Date
KR20210040876A KR20210040876A (ko) 2021-04-14
KR102498439B1 true KR102498439B1 (ko) 2023-02-09

Family

ID=71903060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210038684A KR102498439B1 (ko) 2020-04-20 2021-03-25 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체

Country Status (5)

Country Link
US (1) US11587332B2 (ko)
EP (1) EP3901914B1 (ko)
JP (1) JP7152554B2 (ko)
KR (1) KR102498439B1 (ko)
CN (1) CN111524192B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785653A (zh) * 2020-12-30 2021-05-11 中山联合汽车技术有限公司 车载相机姿态角标定方法
CN112927303B (zh) * 2021-02-22 2023-01-24 中国重汽集团济南动力有限公司 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
CN117036505B (zh) * 2023-08-23 2024-03-29 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统
CN117315048B (zh) * 2023-11-22 2024-04-12 深圳元戎启行科技有限公司 车载相机的外参自标定方法、电子设备和存储介质
CN117523010B (zh) * 2024-01-05 2024-04-09 深圳市欧冶半导体有限公司 车辆的相机位姿确定方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
US20150036885A1 (en) * 2012-01-20 2015-02-05 Esg Elektroniksystem-Und Logistik-Gmbh Method and device for online calibration of vehicle cameras

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885049B2 (en) * 2010-03-19 2014-11-11 Sony Corporation Method and device for determining calibration parameters of a camera
JP2012138876A (ja) 2010-12-28 2012-07-19 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像表示方法
JP5811327B2 (ja) * 2011-06-11 2015-11-11 スズキ株式会社 カメラキャリブレーション装置
CN102435172A (zh) 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
JP6107081B2 (ja) 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム
CN110148177A (zh) * 2018-02-11 2019-08-20 百度在线网络技术（北京）有限公司 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体
CN110488234B (zh) * 2019-08-30 2021-09-10 北京百度网讯科技有限公司 车载毫米波雷达的外参标定方法、装置、设备及介质
CN110910453B (zh) * 2019-11-28 2023-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN111780763B (zh) * 2020-06-30 2022-05-06 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
US20150036885A1 (en) * 2012-01-20 2015-02-05 Esg Elektroniksystem-Und Logistik-Gmbh Method and device for online calibration of vehicle cameras

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D.Nister외 2명, "Visual Odometry", IEEE Computer Society Cof. on CVPR'04, (2004.7.2.)*

Also Published As

Publication number Publication date
CN111524192B (zh) 2023-10-03
US11587332B2 (en) 2023-02-21
JP2021108191A (ja) 2021-07-29
EP3901914B1 (en) 2022-12-21
EP3901914A1 (en) 2021-10-27
CN111524192A (zh) 2020-08-11
US20210326605A1 (en) 2021-10-21
KR20210040876A (ko) 2021-04-14
JP7152554B2 (ja) 2022-10-12

Similar Documents

Publication Publication Date Title
KR102498439B1 (ko) 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체
US11615605B2 (en) Vehicle information detection method, electronic device and storage medium
CN111612852B (zh) 用于验证相机参数的方法和装置
US20220270289A1 (en) Method and apparatus for detecting vehicle pose
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
KR20210052409A (ko) 차선의 확정방법, 포지셔닝 정밀도의 평가방법, 장치, 기기 및 컴퓨터 프로그램
US11694445B2 (en) Obstacle three-dimensional position acquisition method and apparatus for roadside computing device
CN111767853B (zh) 车道线检测方法和装置
CN111652113B (zh) 障碍物检测方法、装置、设备以及存储介质
CN111401251B (zh) 车道线提取方法、装置、电子设备及计算机可读存储介质
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
JP2021101365A (ja) 測位方法、測位装置及び電子機器
JP7189270B2 (ja) 三次元物体検出方法、三次元物体検出装置、電子機器、記憶媒体及びコンピュータプログラム
CN111079079B (zh) 数据修正方法、装置、电子设备及计算机可读存储介质
CN111578839B (zh) 障碍物坐标处理方法、装置、电子设备及可读存储介质
CN116645649B (zh) 车辆位姿及尺寸估计方法、设备及存储介质
CN111680596B (zh) 基于深度学习的定位真值校验方法、装置、设备及介质
CN110675635A (zh) 相机外参的获取方法、装置、电子设备及存储介质
CN111949816B (zh) 定位处理方法、装置、电子设备和存储介质
CN112102417B (zh) 确定世界坐标的方法和装置
CN111260722B (zh) 车辆定位方法、设备及存储介质
CN112102506B (zh) 物体的采样点集合的获取方法、装置、设备以及存储介质
CN112037316A (zh) 映射的生成方法、装置和路侧设备
CN116597096A (zh) 场景重建方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant