KR20210056964A - 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 - Google Patents
이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20210056964A KR20210056964A KR1020210056760A KR20210056760A KR20210056964A KR 20210056964 A KR20210056964 A KR 20210056964A KR 1020210056760 A KR1020210056760 A KR 1020210056760A KR 20210056760 A KR20210056760 A KR 20210056760A KR 20210056964 A KR20210056964 A KR 20210056964A
- Authority
- KR
- South Korea
- Prior art keywords
- coordinate system
- calibration plate
- image acquisition
- calibration
- transformation matrix
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 239000011159 matrix material Substances 0.000 claims abstract description 124
- 230000009466 transformation Effects 0.000 claims abstract description 113
- 238000004590 computer program Methods 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010409 ironing Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Image Processing (AREA)
Abstract
본 출원은 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램를 개시하였으며, 차량 위치 확인 기술 분야에 관한 것이다. 구체적인 구현 방안은 이미지 수집 디바이스가 촬영한 이미지를 획득하는 단계; 이미지에서의 캘리브레이션 플레이트 상의 복수의 마크점을 결정하는 단계; 이미지 픽셀 좌표계 및 캘리브레이션 플레이트 좌표계에서의 각 마크점의 좌표에 따라, 이미지 픽셀 좌표계에서 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스를 결정하는 단계; 캘리브레이션 플레이트 좌표계 및 차량 본체 좌표계에서의 차량의 적어도 하나의 차륜 접지점의 좌표에 따라, 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스를 결정하는 단계; 제1 변환 매트릭스 및 상기 제2 변환 매트릭스를 이용하여, 이미지 수집 디바이스의 외부 파라미터를 결정하는 단계; 를 포함한다. 본 출원은 이미지 수집 디바이스의 외부 파라미터를 간편하고 고정밀도로 캘리브레이션할 수 있다.
Description
본 출원은 자율 주행 분야에 관한 것으로, 특히 차량 위치 확인 기술 분야에 관한 것이다.
자율 주행 과정에서, 자율 주행 차량의 차도 내에서의 정확한 위치, 즉 자율 주행 차량과 좌우 차선 사이의 거리를 결정할 필요가 있다. 일반적으로 차량의 양측에 측면 이미지 수집 장치(예를 들어, 카메라)를 배치할 수 있으며, 이 카메라들을 이용하여 차선을 포함하는 고해상도 이미지를 획득하여, 이미지 픽셀 좌표계에서의 차선의 좌표를 결정한 다음, 카메라의 내부 파라미터 및 외부 파라미터를 통해 차량 바디 좌표계에서의 차선의 좌표를 결정하여, 현재 차량과 차선 사이의 거리를 획득하며, 상기 거리를 차도 내의 차량 위치의 정확한 측정값으로 한다.
카메라의 내부 파라미터는 이미지 픽셀 좌표계와 카메라 좌표계 사이의 관계를 의미하고, 카메라의 외부 파라미터는 카메라 좌표계와 차량 바디 좌표계 사이의 관계를 의미한다. 여기서, 카메라의 내부 파라미터는 사전에 캘리브레이션한 고정값이다. 차량 위치 확인의 정밀도를 보장하기 위해, 카메라의 외부 파라미터를 캘리브레이션할 필요가 있다.
현재의 카메라의 외부 파라미터 캘리브레이션 방식은 일반적으로,
(1) 미리 설정된 체스보드 캘리브레이션 플레이트를 사용하여 각 카메라에 대해 각각 외부 파라미터를 캘리브레이션한다;
(2) 전용 캘리브레이션 장소를 설립하고, 차량은 캘리브레이션을 위해 장소의 지정 위치에 세워둔다;
(3) 모션 추정(motion estimation)을 결합한 동적 캘리브레이션 방법, 이 3가지 방식이 있다.
상기 3 가지 방식은 각자 단점이 있다. 방식(1)의 적용 장면은 관측 시야(Field of view)가 작고 근거리 장면이며, 캘리브레이션 플레이트가 카메라의 시야 내에 있고 차폐되지 않도록 요구되며, 카메라의 캘리브레이션 플레이트에 대한 외부 파라미터만 캘리브레이션할 수 있으므로, 차량 본체 좌표계로 변환하는데 보다 어렵다. 방식(2)은 보다 높은 캘리브레이션 정밀도를 요구하고, 차량 및 카메라 표준화를 캘리브레이션하는 장면에 적용되므로, 전용 장소를 필요로 한다. 방식(3)은 다른 센서에 의존하므로, 캘리브레이션 정밀도가 보다 낮다.
따라서, 종래 기술에는 이미지 수집 디바이스의 외부 파라미터를 간편하고 고정밀도로 캘리브레이션하는 방법이 결핍하다.
본 출원은 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법, 장치, 기기 및 저장 매체를 제공한다.
본 출원의 일 측면에 따르면, 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법을 제공하며, 상기 이미지 수집 디바이스는 차량 본체의 측면에 배치되며, 상기 이미지 수집 디바이스의 시야는 아래쪽을 향하며, 상기 차량 측면의 지면 상에는 캘리브레이션 플레이트가 배치되며, 상기 캘리브레이션 플레이트는 상기 이미지 수집 디바이스의 시야 범위 내에 있으며, 상기 방법은
상기 이미지 수집 디바이스가 촬영한 이미지를 획득하는 단계;
상기 이미지에서의 캘리브레이션 플레이트 상의 복수의 마크점을 결정하는 단계;
이미지 픽셀 좌표계 및 캘리브레이션 플레이트 좌표계에서의 각 상기 마크점의 좌표에 따라, 상기 이미지 픽셀 좌표계에서 상기 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스를 결정하는 단계;
상기 캘리브레이션 플레이트 좌표계 및 차량 본체 좌표계에서의 상기 차량의 적어도 하나의 차륜 접지점의 좌표에 따라, 상기 캘리브레이션 플레이트 좌표계에서 상기 차량 본체 좌표계로의 제2 변환 매트릭스를 결정하는 단계;
상기 제1 변환 매트릭스 및 상기 제2 변환 매트릭스를 이용하여, 상기 이미지 수집 디바이스의 외부 파라미터를 결정하는 단계; 를 포함한다.
본 출원의 다른 측면에 따르면, 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법을 제공하며, 상기 이미지 수집 디바이스의 외부 파라미터는 이미지 픽셀 좌표계에서 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스 및 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스에 의해 결정되며, 상기 방법은
상기 제1 변환 매트릭스 및/또는 상기 제2 변환 매트릭스의 정밀도 오차를 측정하는 단계를 포함하며, 여기서
상기 제1 변환 매트릭스의 정밀도 오차를 측정하는 단계는, 상기 이미지 픽셀 좌표계에서의 캘리브레이션 플레이트에서의 캘리브레이션 포인트의 좌표 및 상기 제1 변환 매트릭스를 이용하여, 상기 캘리브레이션 플레이트 좌표계에서의 상기 캘리브레이션 포인트의 제1 좌표를 계산하는 단계; 상기 제1 좌표와 상기 캘리브레이션 플레이트 좌표계에서의 상기 캘리브레이션 포인트의 실제 좌표 사이의 거리를 계산하여, 상기 제1 변환 매트릭스의 정밀도 오차를 측정하는 단계; 를 포함하며,
상기 제2 변환 매트릭스의 정밀도 오차를 측정하는 단계는, 상기 캘리브레이션 플레이트 좌표계에서의 상기 차량의 차륜 접지점의 좌표 및 상기 제2변환 매트릭스를 이용하여, 상기 차량 본체 좌표계에서의 상기 차륜 접지점의 제2 좌표를 계산하는 단계; 상기 제2 좌표와 상기 차량 본체 좌표계에서의 상기 차륜 접지점의 실제 좌표 사이의 거리를 계산하여, 상기 제2 변환 매트릭스의 정밀도 오차를 측정하는 단계; 를 포함한다.
본 출원의 또 다른 측면에 따르면, 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치를 제공하며, 상기 이미지 수집 디바이스는 차량 본체의 측면에 배치되며, 상기 이미지 수집 디바이스의 시야는 아래쪽을 향하며, 상기 차량의 측면의 지면 상에는 캘리브레이션 플레이트가 배치되며, 상기 캘리브레이션 플레이트는 상기 이미지 수집 디바이스의 시야 범위 내에 있으며, 상기 장치는
상기 이미지 수집 디바이스가 촬영한 이미지를 획득하기 위한 이미지 획득 모듈;
상기 이미지에서의 캘리브레이션 플레이트 상의 복수의 마크점을 결정하기 위한 마크점 결정 모듈;
이미지 픽셀 좌표계 및 캘리브레이션 플레이트 좌표계에서의 각 상기 마크점의 좌표에 따라, 상기 이미지 픽셀 좌표계에서 상기 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스를 결정하기 위한 제1 변환 매트릭스 결정 모듈;
상기 캘리브레이션 플레이트 좌표계 및 차량 본체 좌표계에서의 상기 차량의 적어도 하나의 차륜 접지점의 좌표에 따라, 상기 캘리브레이션 플레이트 좌표계에서 상기 차량 본체 좌표계로의 제2 변환 매트릭스를 결정하기 위한 제2 변환 매트릭스 결정 모듈;
상기 제1 변환 매트릭스 및 상기 제2 변환 매트릭스를 이용하여, 상기 이미지 수집 디바이스의 외부 파라미터를 결정하기 위한 외부 파라미터 결정 모듈; 을 포함한다.
본 출원의 또 다른 측면에 따르면, 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치를 제공하며, 상기 이미지 수집 디바이스의 외부 파라미터는 이미지 픽셀 좌표계에서 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스 및 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스에 의해 결정되며, 상기 장치는
제1 측정 모듈 및/또는 제2 측정 모듈을 포함하며,
상기 제1 측정 모듈은
상기 이미지 픽셀 좌표계에서의 캘리브레이션 플레이트 내의 캘리브레이션 포인트의 좌표 및 상기 제1변환 매트릭스를 이용하여, 상기 캘리브레이션 플레이트 좌표계에서의 상기 캘리브레이션 포인트의 제1 좌표를 계산하기 위한 제1 계산 서브 모듈;
상기 제1 좌표와 상기 캘리브레이션 플레이트 좌표계에서의 상기 캘리브레이션 포인트의 실제 좌표 사이의 거리를 계산하여, 상기 제1 변환 매트릭스의 정밀도 오차를 측정하기 위한 제2계산 서브 모듈; 을 포함하며,
상기 제2 측정 모듈은
상기 캘리브레이션 플레이트 좌표계에서의 상기 차량의 차륜 접지점의 좌표 및 상기 제2 변환 매트릭스를 이용하여, 상기 차량 본체 좌표계에서의 상기 차륜 접지점의 제2 좌표를 계산하기 위한 제3 계산 서브 모듈;
상기 제2 좌표와 상기 차량 본체 좌표계에서의 상기 차륜 접지점의 실제 좌표 사이의 거리를 계산하여, 상기 제2변환 매트릭스의 정밀도 오차를 측정하기 위한 제4 계산 서브 모듈; 을 포함한다.
본 출원의 또 다른 측면에 따르면, 전자 기기를 제공하며,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신연결하는 메모리, 를 포함하며, 여기서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하도록 한다.
본 출원의 또 다른 측면에 따르면, 컴퓨터가 본 출원의 실시예 중 어느 한 항에 따른 방법을 수행하도록 하기 위한 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다.
여기서 설명된 내용은 본 출원의 실시예의 관건적이거나 중요한 특징을 나타내도록 하지도 않고, 본 출원의 범위를 제한하지도 않는 것으로 이해해야 한다. 본 출원의 기타 특징은 아래의 설명으로부터 용이하게 이해될 것이다.
도면은 본 해결 수단을 더 잘 이해하기 위한 것으로 본 출원을 한정하지 않는다. 여기서,
도1은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법을 구현하는 흐름도이며;
도2는 본 출원의 실시예에 따른 ChArUco 캘리브레이션 플레이트의 개략도이며;
도3은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법에서, 캘리브레이션 플레이트 좌표계에서의 차륜 접지점의 좌표를 결정하는 방법을 구현하는 흐름도이며;
도4a는 본 출원의 실시예에 따른 차륜 허브 에지를 이용하여 마킹하는 방식의 개략도이며;
도4b는 본 출원의 실시예에 따른 캘리브레이션 플레이트 좌표계에서의 차량 일측의 차륜 접지점의 좌표를 결정하는 방식의 개략도이며;
도4c는 본 출원의 실시예에 따른 차량 일측의 차륜 접지점의 좌표에 따라 캘리브레이션 플레이트 좌표계에서의 차량 타측의 차륜 접지점의 좌표를 결정하는 방식의 개략도이며;
도5는 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법에서 제1 변환 매트릭스의 정밀도 오차를 측정하는 것을 구현하는 흐름도이며;
도6은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법에서 제2 변환 매트릭스의 정밀도 오차를 측정하는 것을 구현하는 흐름도이며;
도7a는 본 출원의 실시예에 따른 제1 변환 매트릭스의 정밀도 오차의 개략도이며;
도7b는 이미지 수집 디바이스가 획득한 이미지에 대한 왜곡 제거 처리 후의 이미지의 개략도이며;
도8은 본 출원의 실시예에 따른 정밀도 오차 측정 방법의 개략도이며;
도9는 본 출원의 실시예에 따른 정밀도 오차 측정 방법에서 직선을 피팅하는 방법의 개략도이며;
도10은 본 출원의 실시예에 따른 직선 피팅의 개략도이며;
도11은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치(1100)의 구조개략도이며;
도12는 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치(1200)의 구조개략도이며;
도13은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치(1300)의 구조개략도이며;
도14는 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치(1400)의 구조개략도이며;
도15는 본 출원의 실시예에 따른 방법을 구현하기 위한 전자 기기의 블록도이다.
도1은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법을 구현하는 흐름도이며;
도2는 본 출원의 실시예에 따른 ChArUco 캘리브레이션 플레이트의 개략도이며;
도3은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법에서, 캘리브레이션 플레이트 좌표계에서의 차륜 접지점의 좌표를 결정하는 방법을 구현하는 흐름도이며;
도4a는 본 출원의 실시예에 따른 차륜 허브 에지를 이용하여 마킹하는 방식의 개략도이며;
도4b는 본 출원의 실시예에 따른 캘리브레이션 플레이트 좌표계에서의 차량 일측의 차륜 접지점의 좌표를 결정하는 방식의 개략도이며;
도4c는 본 출원의 실시예에 따른 차량 일측의 차륜 접지점의 좌표에 따라 캘리브레이션 플레이트 좌표계에서의 차량 타측의 차륜 접지점의 좌표를 결정하는 방식의 개략도이며;
도5는 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법에서 제1 변환 매트릭스의 정밀도 오차를 측정하는 것을 구현하는 흐름도이며;
도6은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법에서 제2 변환 매트릭스의 정밀도 오차를 측정하는 것을 구현하는 흐름도이며;
도7a는 본 출원의 실시예에 따른 제1 변환 매트릭스의 정밀도 오차의 개략도이며;
도7b는 이미지 수집 디바이스가 획득한 이미지에 대한 왜곡 제거 처리 후의 이미지의 개략도이며;
도8은 본 출원의 실시예에 따른 정밀도 오차 측정 방법의 개략도이며;
도9는 본 출원의 실시예에 따른 정밀도 오차 측정 방법에서 직선을 피팅하는 방법의 개략도이며;
도10은 본 출원의 실시예에 따른 직선 피팅의 개략도이며;
도11은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치(1100)의 구조개략도이며;
도12는 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치(1200)의 구조개략도이며;
도13은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치(1300)의 구조개략도이며;
도14는 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치(1400)의 구조개략도이며;
도15는 본 출원의 실시예에 따른 방법을 구현하기 위한 전자 기기의 블록도이다.
아래에서는 도면을 결합하여 본 출원의 예시적인 실시예에 대해 설명하며, 여기서 본 출원의 실시예를 포함한 여러가지 디테일한 설명은 이해를 돕기 위한 것이며, 이들은 예시적인 것으로만 간주해야 한다. 따라서, 본 기술 분야에서 통상의 지식을 가진 자들은 본 명세서에서 설명된 실시예에 대해 다양한 변화 및 수정을 할 수 있으며, 이는 본 출원의 범위 및 사상을 벗어나지 않는다는 것을 알 수 있다. 마찬가지로, 명확하고 간결하기 위하여, 아래의 설명에서는 공지 기능 및 구조에 대한 설명을 생략한다.
본 출원의 실시예는 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법을 제공하며, 이미지 수집 디바이스는 차량 본체의 측면에 배치되며, 이미지 수집 디바이스의 시야는 아래쪽을 향하며, 차량 측면의 지면 상에는 캘리브레이션 플레이트가 배치되며, 상기 캘리브레이션 플레이트는 이미지 수집 디바이스의 시야 범위 내에 있다. 도1은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법을 구현하는 흐름도이며,
이미지 수집 디바이스가 촬영한 이미지를 획득하는 단계(S101);
상기 이미지에서의 캘리브레이션 플레이트 상의 복수의 마크점을 결정하는 단계(S102);
이미지 픽셀 좌표계 및 캘리브레이션 플레이트 좌표계에서의 각 마크점의 좌표에 따라, 이미지 픽셀 좌표계에서 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스를 결정하는 단계(S103);
캘리브레이션 플레이트 좌표계 및 차량 본체 좌표계에서의 차량의 적어도 하나의 차륜 접지점의 좌표에 따라, 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스를 결정하는 단계(S104);
상기 제1 변환 매트릭스 및 제2 변환 매트릭스를 이용하여, 상기 이미지 수집 디바이스의 외부 파라미터를 결정하는 단계(S105); 를 포함한다.
설명해야 할 점은, 상기 단계(104)와 단계(S101~S103)사이에는 수행 순서가 제한되지 않는다. 양자는 순차로 수행될 수도 있고, 동시에 수행될 수도 있다.
일부 실시 형태에서, 차량의 4개의 차륜 상에 각각 하나의 카메라가 장착될 수 있고, 카메라의 시야는 아래쪽을 향하여, 차량 일측에서 2미터 정도의 거리를 촬영한다. 바람직하게는, 카메라가 적절한 위치에 있도록 조정하기 위해 디스플레이에서 카메라가 촬영한 이미지를 미리 볼 수 있다.
일부 실시예에서, 상기 캘리브레이션 플레이트는 ChArUco 캘리브레이션 플레이트를 포함할 수 있다. ChArUco 캘리브레이션 플레이트는 체스보드(Chessboard) 캘리브레이션 플레이트와 ArUco 캘리브레이션 플레이트의 특점을 결합하였으며, ChArUco 캘리브레이션 플레이트에서, 흰색 격자 각각은 4개의 검은색 격자에 둘러싸이며, 마찬가지로 검은색 격자 각각은 4 개의 흰색 격자에 둘러싸인다. 격자의 코너점은 체스보드 코너점으로 지칭될 수 있다. 흰색 격자 각각은 하나의 ArUco 마크를 가지며, ArUco 마크 각각은 모두 대응되는 식별(ID) 정보를 갖는다. 종래의 체스보드 캘리브레이션 플레이트에 비하여, ChArUco 캘리브레이션 플레이트는 더 강한 강인성(robustness)을 가지며, 카메라는 전체 캘리브레이션 플레이트를 완전히 관측할 수 있고, ArUco 마크 각각은 모두 고유 ID를 가지므로, 이미지에 ChArUco 캘리브레이션 플레이트의 일부만 포함하여도 캘리브레이션을 완성할 수 있다.
일부 실시 형태에서, ChArUco 캘리브레이션 플레이트의 길이는 차량의 길이에 따라 결정될 수 있으며, ChArUco 캘리브레이션 플레이트의 폭은 약 1.2 미터 정도로 설정될 수 있다. ChArUco 캘리브레이션 플레이트는 둘레에 하나의 캘리브레이션 격자와 동일한 크기를 갖는 공백을 남길 수 있으며, 캘리브레이션 플레이트 양측의 공백 위치에 정밀한 스케일이 제작된다. 전체 캘리브레이션 플레이트는 휴대의 편리성을 위해 일반적인 후면 접착제(back-adhesive) 광고지로 인쇄한다. 도 2는 본 출원의 실시예에 따른 ChArUco 캘리브레이션 플레이트의 개략도이다.
상기 과정에서, 3 개의 좌표계, 즉 이미지 픽셀 좌표계, 캘리브레이션 플레이트 좌표계, 및 차량 본체 좌표계가 관련된다.
이미지 픽셀 좌표계는 이미지 수집 디바이스가 수집한 이미지에서의 픽셀 포인트의 이미지 상의 위치를 기술하기 위한 것이다. 이미지 픽셀 좌표계는 이미지의 좌측 상단 코너를 좌표계의 원점으로 하고 픽셀을 단위로 하는 직교 좌표계이며, 여기서 가로좌표 및 세로좌표는 각각 이미지 내에 위치한 픽셀 포인트의 열의 개수 및 행의 개수를 나타낸다.
캘리브레이션 플레이트 좌표계는 캘리브레이션 플레이트의 좌측 하단 코너를 원점으로 하는 직교 좌표계이며, X 축 방향은 우측을 향하고, Y축 방향은 전방을 향하며, Y축 좌표 스케일은 캘리브레이션 플레이트 상에 이미 표시되었다. 바람직하게는, 차량을 지면이 평탄하고 보다 널직한 곳에 세워놓고 차륜 방향을 똑바로 하며, 카메라 하부의 지면 상에 캘리브레이션 플레이트를 설치하며, 캘리브레이션 플레이트의 에지와 차량 사이에는 일정한 거리(예를 들어, 약 30cm 정도)를 둔다.
차량 본체 좌표계는 차량의 후축 중심을 원점으로 하는 직교 좌표계이며, X 축 방향은 전방을 향하고, Y축 방향은 우측을 향한다.
일부 실시 형태에서, 이미지 수집 디바이스가 촬영한 이미지를 획득하는 상기 단계(S101)는 이미지 수집 디바이스가 한단락의 캘리브레이션 플레이트의 동영상을 촬영, 즉 차량은 정지 상태를 유지하고 캘리브레이션 플레이트는 차량 일측에 배치될 때 캘리브레이션 플레이트의 동영상을 촬영하는 단계; 다시 상기 동영상으로부터 일 프레임을 선택하여 이미지 수집 디바이스의 외부 파라미터를 획득하고 캘리브레이션하는데 사용하기 위한 이미지로 하는 단계, 를 포함한다.
상기 단계(S102) 및 단계 (S103)에서, 제1 변환 매트릭스를 결정하기 위한 마크점은 ChArUco캘리브레이션 플레이트 상의 복수의 체스보드 코너점을 포함할 수 있다. ChArUco캘리브레이션 방법을 이용하여, 이미지 픽셀 좌표계 및 캘리브레이션 플레이트 좌표계에서의 체스보드 코너점의 좌표를 사용하여, 이미지 픽셀 좌표계에서 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스를 결정할 수 있다.
상기 단계(S104)에서, 캘리브레이션 플레이트 좌표계 및 차량 본체 좌표계에서의 차륜 접지점의 좌표를 이용하여, 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스를 결정해야 한다. 여기서, 도 3에 도시된 바와 같이, 캘리브레이션 플레이트 좌표계에서의 차륜 접지점의 좌표를 결정하는 방식은,
캘리브레이션 플레이트 좌표계에서의 차량 일측의 2개의 차륜 접지점의 좌표를 결정하는 단계(S301);
결정된 좌표 및 상기 차량의 차량 모델을 이용하여, 캘리브레이션 플레이트 좌표계에서의 상기 차량 타측의 2개의 차륜 접지점의 좌표를 결정하는 단계(S302); 를 포함한다.
일부 실시 형태에서, 캘리브레이션 플레이트 좌표계에서의 차량 일측의 2개의 차륜 접지점의 좌표를 결정하는 상기 단계(S301)는 아래의 과정들을 포함할 수 있다.
우선, 차량 일측의 2 개의 차륜의 차륜 허브 에지에 다림줄을 배치하며, 줄은 허브 에지에 접하며, 다림추와 지면이 접촉하는 곳에는 분필 또는 마킹펜을 사용하여 마킹을 한다. 각 차륜마다 2개의 마크를 마킹한다. 도4a는 본 출원의 실시예에 따른 차륜 허브 에지를 이용하여 마킹하는 방식의 개략도이다. 도4a에 도시된 바와 같이, 각 차량 허브의 에지에 배치된 다림줄을 이용하여, 차량 일측에 4 개의 마크점을 마킹할 수 있고, 상기 일측의 각 차륜은 2개의 마크점에 대응되며; 각 차륜의 2개의 마크점의 중점은 상기 차륜의 접지점이다.
다음, 캘리브레이션 플레이트 및 직각자를 이용하여 캘리브레이션 플레이트 좌표계에서의 각 마크점의 좌표를 측정하여, 캘리브레이션 플레이트 좌표계에서의 각 차륜 접지점의 좌표를 결정한다. 도4b는 본 출원의 실시예에 따른 캘리브레이션 플레이트 좌표계에서의 차량 일측의 차륜 접지점의 좌표를 결정하는 방식의 개략도이다. 도4b에 도시된 바와 같이, 차량의 좌측에서, 각 차륜은 2 개의 마크점이 마킹되고, 직각자를 이용하여 캘리브레이션 플레이트 좌표계에서의 캘리브레이션 플레이트의 동일측의 차륜 마크점의 좌표를 측정할 수 있다. 예를 들어, 직각자의 일측을 캘리브레이션 플레이트의 에지에 맞추고 타측을 상기 마크점에 맞추어서, 캘리브레이션 플레이트 좌표계에서의 마크점의 좌표를 환산한다. 그리고 캘리브레이션 플레이트 좌표계에서의 차륜에 대응하는 2개의 마크점의 좌표에 따라, 캘리브레이션 플레이트 좌표계에서의 2개의 마크점의 중점의 좌표, 즉 상기 차륜의 차륜 접지점의 좌표를 결정한다.
상기 과정은 캘리브레이션 플레이트 좌표계에서의 차량 일측의 2개의 차륜 접지점의 좌표를 결정해냈으며, 다음, 상기 일측의 차륜 접지점의 좌표 및 차량의 차량 모델에 따라 캘리브레이션 플레이트 좌표계에서의 타측의 차륜 접지점의 좌표를 결정하며, 즉 상기 단계(S302)를 수행한다. 차량 모델은 차량 길이, 차량 폭, 축간 거리 등 정보를 포함할 수 있다. 도4c는 본 출원의 실시예에 따른 차량 일측의 차륜 접지점의 좌표에 따라 캘리브레이션 플레이트 좌표계에서의 차량 타측의 차륜 접지점의 좌표를 결정하는 방식의 개략도이다. 도 4c에 도시된 바와 같이, 만약 A 및 B는 좌표가 이미 결정된 2개의 차륜 접지점이며, A좌표는 (x1, y1)이고, B좌표는 (x2, y2)이면, 차량 편향각 및 차량 폭(W)에 따라, 캘리브레이션 플레이트 좌표계에서의 다른 2개의 차륜 접지점, 즉 C(x3, y3) 및 D(x4, y4)의 좌표를 결정할 수 있다. 구체적으로,
x3=x2+W*cosθ；
y3=y2+W*sinθ；
x4=x1+W*cosθ；
y4=y1+W*sinθ；
여기서, θ=arctan(|x1-x2|/|y1-y2|) 이다.
캘리브레이션 플레이트 좌표계에서의 차량의 각 차륜 접지점의 좌표를 결정하면, 캘리브레이션 플레이트 좌표계 및 차량 본체 좌표계에서의 차량의 적어도 하나의 차륜 접지점의 좌표에 따라, 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스를 결정할 수 있으며, 즉 상기 단계(S104)를 수행한다. 예를 들어, 차량의 3개의 차륜 접지점을 이용하여 제2 변환 매트릭스를 결정할 수 있으며, 나머지 1개의 차륜 접지점은 추후에 제2 변환 매트릭스에 대한 정밀도 오차의 측정에 사용될 수 있다.
본 출원의 실시예는 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법을 더 제공하며, 상기 이미지 수집 디바이스의 외부 파라미터는 이미지 픽셀 좌표계에서 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스 및 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스에 의해 결정되며, 상기 방법은 상기 제1 변환 매트릭스 및/또는 제2 변환 매트릭스의 정밀도 오차를 측정하는 단계를 포함하며; 여기서,
도 5에 도시된 바와 같이, 제1 변환 매트릭스의 정밀도 오차를 측정하는 단계는,
이미지 픽셀 좌표계에서의 캘리브레이션 플레이트 내의 캘리브레이션 포인트의 좌표 및 제1 변환 매트릭스를 이용하여, 캘리브레이션 플레이트 좌표계에서의 캘리브레이션 포인트의 제1 좌표를 계산하는 단계(S501);
상기 제1 좌표와 캘리브레이션 플레이트 좌표계에서의 캘리브레이션 포인트의 실제 좌표 사이의 거리를 계산하여, 제1 변환 매트릭스의 정밀도 오차를 측정하는 단계(S502); 를 포함할 수 있다.
바람직하게는, 전술한 거리는 유크리드 거리일 수 있다.
도 6에 도시된 바와 같이, 제2 변환 매트릭스의 정밀도 오차를 측정하는 단계는,
캘리브레이션 플레이트 좌표계에서의 차량의 차륜 접지점의 좌표 및 제2변환 매트릭스를 이용하여, 차량 본체 좌표계에서의 차륜 접지점의 제2 좌표를 계산하는 단계(S601);
상기 제2 좌표와 차량 본체 좌표계에서의 차륜 접지점의 실제 좌표 사이의 거리를 계산하여, 제2 변환 매트릭스의 정밀도 오차를 측정하는 단계(S602); 를 포함할 수 있다.
바람직하게는, 전술한 거리는 유크리드 거리일 수 있다.
바람직하게는, 상기 정밀도 오차를 측정하는 과정에서, 단계(S501)에서 이용되는 캘리브레이션 포인트는 캘리브레이션 플레이트 상의 제1변환 매트릭스를 결정할 때 사용되지 않은 캘리브레이션 포인트를 포함할 수 있으며; 단계(S601)에서 이용되는 차륜 접지점은 차량의 차륜 접지점 중의 제2변환 매트릭스를 결정할 때 사용되지 않은 차륜 접지점을 포함할 수 있다.
예를 들어, ChArUco 캘리브레이션 플레이트를 이용할 경우, 제1변환 매트릭스를 결정할 때ChArUco 캘리브레이션 플레이트 내의 체스보드 코너점을 사용하면, 제1 변환 매트릭스의 정밀도 오차를 측정할 때 ChArUco 캘리브레이션 플레이트에서 ArUco로 마킹된 코너점을 이용할 수 있다.
또 예를 들어, 상기 차량이 4개의 차륜을 갖는 경우, 제2변환 매트릭스를 결정할 때 차량의 3개의 차륜 접지점을 사용하면, 제2변환 매트릭스의 정밀도 오차를 측정할 때 상기 차량의 다른 하나의 차륜 접지점을 이용할 수 있다.
더 나아가, 상기 제1변환 매트릭스의 정밀도 오차를 이용하여, 이미지 수집 디바이스의 고정밀도 영역을 결정할 수 있다. 도7a는 본 출원의 실시예에 따른 제1 변환 매트릭스의 정밀도 오차의 개략도이며, 도 7a에서 캘리브레이션 플레이트의 좌측 상단에는 4개의 검은색 마크점이 있고, 캘리브레이션 플레이트의 좌측 하단에는 1개의 검은색 마크점이 있으며, 이 5개의 검은색 마크점의 정밀도는 1cm보다 크며; 도 7a에 도시된 기타 마크점의 정밀도는 0.5cm~1cm 사이이거나 0.5cm보다 작다. 따라서, 도7a에서 5개의 검은색 마크점 위치의 정밀도 오차는 보다 크며, 정밀도 오차가 보다 큰 마크점들을 이용하여 이미지 수집 디바이스의 고정밀도 영역을 구획할 수 있으며, 도 7a에서와 같이 4개의 검은색 직선에 의해 구획된 영역은 이미지 수집 디바이스의 고정밀도 영역이다. 여기서, 2개의 검은색 횡선 및 좌측의 1개의 검은색 종선은 도7a에서 5개의 정밀도 오차가 보다 큰 검은색 마크점에 의해 결정되고, 우측의 하나의 종선은 왜곡 제거 후의 이미지 경계에 의해 결정된 것이다. 왜곡 제거 후의 이미지는 도7b에 도시되어 있다.
상기 도5 및 도6에 도시된 정밀도 오차 방식은 제1 변환 매트릭스 및 제2 변환 매트릭스에 대해 각각 측정한 것이다. 본 출원의 실시예는 제1 변환 매트릭스 및 제2 변환 매트릭스의 종합 정밀도를 더 측정할 수도 있다. 도8은 본 출원의 실시예에 따른 정밀도 오차 측정 방법의 개략도이며, 상기 측정 방법은,
차량의 동일측에 배치된 2개의 이미지 수집 디바이스를 이용하여 각각 하나의 직선을 피팅하는 단계(S801);
2개 직선의 끼인각을 결정하여, 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차를 측정하는 단계(S802); 를 포함할 수 있다.
바람직하게는, 도9는 본 출원의 실시예에 따른 정밀도 오차 측정 방법에서 직선을 피팅하는 방법의 개략도이며, 도9에 도시된 바와 같이, 상기 단계(S801)에서 직선을 피팅하는 방법은,
이미지 수집 디바이스가 촬영한 이미지에서, 캘리브레이션 플레이트 상의 동일한 직선 상의 복수의 캘리브레이션 포인트를 결정하는 단계(S901);
각 캘리브레이션 포인트에 대해 캘리브레이션 플레이트 좌표계에서의 캘리브레이션 포인트의 좌표, 상기 제1변환 매트릭스 및 제2변환 매트릭스를 이용하여, 차량 본체 좌표계에서의 캘리브레이션 포인트의 좌표를 결정하는 단계(S902);
차량 본체 좌표계에서의 복수의 캘리브레이션 포인트의 좌표를 이용하여, 복수의 캘리브레이션 포인트를 하나의 직선으로 피팅하는 단계(S903); 를 포함할 수 있다.
차량의 동일측에 배치된 2개의 이미지 수집 디바이스가 직선을 피팅할 때 동일한 직선 상의 캘리브레이션 포인트를 이용하기 때문에, 이 2개 직선 사이의 끼인각이 클수록 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차가 크다는 것을 설명한다.
도10은 본 출원의 실시예에 따른 직선 피팅의 개략도이다. 도10의 상반부의 2개 직선은 각각 차량의 좌측 전방 및 좌측 후방에 배치된2개의 이미지 수집 디바이스에 의해 피팅된 직선이며; 도10의 하반부의 교차하는 2개 직선은 각각 차량의 우측 전방 및 우측 후방에 배치된2개의 이미지 수집 디바이스에 의해 피팅된 직선이다. 차량의 우측 전방 및 우측 후방에 배치된2개의 이미지 수집 디바이스에 의해 피팅된 직선 사이에는 일정한 끼인각이 존재하며, 이는 외부 파라미터의 캘리브레이션에 일정한 오차가 있다는 것을 설명한다.
종합해보면, 본 출원의 실시예에서 제공하는 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법 및 정밀도 측정 방법은 캘리브레이션 플레이트의 차폐로 인한 영향을 극복할 수 있고, 차량 본체 좌표계와의 변환 관계를 간편하게 계산할 수 있다. 전용 캘리브레이션 장소가 요구되지 않으며, 적응성이 좋다. 그리고, 캘리브레이션 플레이트 및 카메라를 이동시키지 않고서도 복수의 카메라를 동시에 캘리브레이션할 수 있다. 본 출원의 실시예의 캘리브레이션 정밀도는 높고, 캘리브레이션 오차는 정량적으로 측정될 수 있다.
본 출원의 실시예는 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치를 더 제공하며, 여기서 이미지 수집 디바이스는 차량의 본체 측면에 배치되며, 이미지 수집 디바이스의 시야는 아래쪽을 향하며, 차량 측면의 지면 상에는 캘리브레이션 플레이트가 배치되며, 캘리브레이션 플레이트는 이미지 수집 디바이스의 시야 범위 내에 있다. 도11은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치(1100)의 구조개략도이며,
이미지 수집 디바이스가 촬영한 이미지를 획득하기 위한 이미지 획득 모듈(1110);
이미지에서의 캘리브레이션 플레이트 상의 복수의 마크점을 결정하기 위한 마크점 결정 모듈(1120);
이미지 픽셀 좌표계 및 캘리브레이션 플레이트 좌표계에서의 각 마크점의 좌표에 따라, 이미지 픽셀 좌표계에서 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스를 결정하기 위한 제1 변환 매트릭스 결정 모듈(1130);
캘리브레이션 플레이트 좌표계 및 차량 본체 좌표계에서의 적어도 하나의 차륜 접지점의 좌표에 따라, 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스를 결정하기 위한 제2 변환 매트릭스 결정 모듈(1140);
제1 변환 매트릭스 및 제2 변환 매트릭스를 이용하여, 이미지 수집 디바이스의 외부 파라미터를 결정하기 위한 외부 파라미터 결정 모듈(1150); 을 포함한다.
바람직하게는, 상기 캘리브레이션 플레이트는 ChArUco 캘리브레이션 플레이트를 포함할 수 있다.
바람직하게는, 상기 마크점 결정 모듈(1120)은 ChArUco 캘리브레이션 플레이트 상의 복수의 체스보드 코너점을 결정할 수 있다.
도12는 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치(1200)의 구조도이며, 이미지 획득 모듈(1110), 마크점 결정 모듈(1120), 제1 변환 매트릭스 결정 모듈(1130), 제2 변환 매트릭스 결정 모듈(1240) 및 외부 파라미터 결정 모듈(1150); 을 포함한다.
여기서, 제2 변환 매트릭스 결정 모듈(1240)은,
캘리브레이션 플레이트 좌표계에서의 차량 일측의 2개의 차륜 접지점의 좌표를 결정하기 위한 제1 좌표 결정 서브 모듈(1241);
결정된 좌표 및 차량의 차량 모델을 이용하여, 캘리브레이션 플레이트 좌표계에서의 차량의 타측의 2개의 차륜 접지점의 좌표를 결정하기 위한 제2 좌표 결정 서브 모듈(1242); 을 포함할 수 있다.
본 출원의 실시예는 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치를 더 제공하며, 상기 이미지 수집 디바이스의 외부 파라미터는 이미지 픽셀 좌표계에서 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스 및 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스에 의해 결정되며, 도13은 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치(1300)의 구조개략도이며,
제1 측정 모듈(1310) 및/또는 제2 측정 모듈(1320)을 포함하며,
제1 측정 모듈(1310)은,
이미지 픽셀 좌표계에서의 캘리브레이션 플레이트 내의 캘리브레이션 포인트의 좌표 및 제1변환 매트릭스를 이용하여, 캘리브레이션 플레이트 좌표계에서의 캘리브레이션 포인트의 제1 좌표를 계산하기 위한 제1 계산 서브 모듈(1311);
제1 좌표와 상기 캘리브레이션 플레이트 좌표계에서의 캘리브레이션 포인트의 실제 좌표 사이의 거리를 계산하여, 제1 변환 매트릭스의 정밀도 오차를 측정하기 위한 제2 계산 서브 모듈(1312); 을 포함할 수 있다.
제2 측정 모듈(1320)은,
캘리브레이션 플레이트 좌표계에서의 차량의 차륜 접지점의 좌표 및 제2 변환 매트릭스를 이용하여, 상기 차량 본체 좌표계에서의 차륜 접지점의 제2 좌표를 계산하기 위한 제3 계산 서브 모듈(1321);
제2 좌표와 차량 본체 좌표계에서의 차륜 접지점의 실제 좌표 사이의 거리를 계산하여, 제2 변환 매트릭스의 정밀도 오차를 측정하기 위한 제4 계산 서브 모듈(1322); 을 포함할 수 있다.
바람직하게는, 상기 제1 계산 서브 모듈(1311)은 캘리브레이션 플레이트에서 제1 변환 매트릭스를 결정할 때 사용되지 않은 캘리브레이션 포인트를 이용할 수 있으며;
상기 제3 계산 서브 모듈(1321)은 차량의 차륜 접지점에서 제2 변환 매트릭스를 결정할 때 사용되지 않은 차륜 접지점을 이용할 수 있다.
바람직하게는, 상기 캘리브레이션 플레이트는 ChArUco 캘리브레이션 플레이트를 포함할 수 있다.
도14는 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치(1400)의 구조개략도이며, 도14에 도시된 바와 같이, 상기 장치는,
차량의 동일측에 배치된 2개의 이미지 수집 디바이스를 이용하여 각각 하나의 직선을 피팅하며 2개 직선의 끼인각을 결정하여 이미지 수집 디바이스의 외부 파라미터의 정밀 오차를 측정하기 위한 제3 측정 모듈(1430); 여기서, 각 이미지 수집 디바이스를 이용하여 직선을 피팅하는 방식은, 이미지 수집 디바이스가 촬영한 이미지에서 캘리브레이션 플레이트 상의 동일한 직선 상의 복수의 캘리브레이션 포인트를 결정하는 단계; 각 캘리브레이션 포인트에 대해 캘리브레이션 플레이트 좌표계에서의 캘리브레이션 포인트의 좌표, 제1변환 매트릭스 및 제2변환 매트릭스를 이용하여, 상기 차량 본체 좌표계에서의 캘리브레이션 포인트의 좌표를 결정하는 단계; 차량 본체 좌표계에서의 복수의 캘리브레이션 포인트의 좌표를 이용하여, 복수의 캘리브레이션 포인트를 하나의 직선으로 피팅하는 단계; 를 포함하며;
제1변환 매트릭스의 정밀도 오차를 이용하여, 이미지 수집 디바이스의 고정밀도 영역을 결정하기 위한 고정밀도 영역 결정 모듈(1440); 을 더 포함할 수 있다.
본 출원의 실시예에 따른 각 장치 중의 각 모듈의 기능은 상기 방법 중의 대응되는 설명을 참조할 수 있으며, 여기서는 설명을 생략하도록 한다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독 가능 저장 매체를 더 제공한다.
도15에 도시된 바와 같이, 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법 또는 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법을 구현하기 위한 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인용 디지털 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 가리킨다. 전자 기기는 개인 디지털 프로세싱, 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 이동 장치를 더 나타낼 수 있다. 본 명세서에 도시된 부재, 이들의 연결과 관계, 및 이들의 기능은 단지 예시적인 것이며, 본 명세서에 설명 및/또는 청구된 본 출원의 구현을 한정하기 위한 것이 아니다.
도15에 도시된 바와 같이, 상기 전자 기기는, 하나 또는 복수의 프로세서(1501), 메모리(1502), 및 각 부재를 연결하기 위한 인터페이스를 포함하며, 상기 인터페이스는 고속 인테페이스 및 저속 인터페이스를 포함한다. 각 부재는 상이한 버스를 이용하여 서로 연결되고, 공통 메인 보드에 장착되거나 또는 필요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리에 저장되거나 메모리 상에서 외부 입력/출력 장치(예를 들어, 인터페이스에 커플링된 디스플레이 장치) 상에 GUI의 그래픽 정보를 표시하도록 하는 명령을 포함한다. 기타 실시 형태에서, 필요할 경우 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있으며, 각 기기는 일부 필요한 조작(예를 들어, 서버 어레이, 한 세트의 블레이드 서버 또는 멀티 프로세서 시스템으로 함)을 제공할 수 있다. 도 15에서는 하나의 프로세서(1501)를 예로 한다.
메모리(1502)는 본 출원이 제공하는 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어, 적어도 하나의 프로세서가 본 출원에서 제공하는 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법 또는 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법을 수행하도록 할 수 있다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터가 본 출원에서 제공하는 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법 또는 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법을 수행하도록 하기 위한 컴퓨터 명령을 저장한다.
메모리(1502)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도11에 도시된 이미지 획득 모듈(1110), 마크점 결정 모듈(1120), 제1 변환 매트릭스 결정 모듈(1130), 제2 변환 매트릭스 결정 모듈(1140) 및 외부 파라미터 결정 모듈(1150)), 또는 본 출원의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도13에 도시된 제1 측정 모듈(1310) 및/또는 제2 측정 모듈(1320))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈을 저장하는데 사용될 수 있다. 프로세서(1501)는 메모리(1502)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 애플리케이션 및 데이터 처리를 실행하며, 즉 전술한 방법의 실시예에 따른 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법 또는 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법을 구현한다.
메모리(1502)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있으며, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있으며, 데이터 저장 영역은 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 또는 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정의 전자 기기의 사용에 따라 생성된 데이터 등을 저장할 수 있다. 또한, 메모리(1502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예를 들어, 적어도 하나의 디스크 메모리, 플래시 메모리 또는 기타 비일시적 솔리드 스테이트 메모리와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(1502)는 바람직하게 프로세서(1501)에 비해 원격으로 설치된 메모리를 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 또는 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정의 전자 기기에 연결될 수 있다. 이러한 네트워크의 구현예로는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신망, 및 이들의 조합을 포함하지만, 이에 한정되지 않는다.
이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법 또는 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법의 전자 기기는 입력 장치(1503) 및 출력 장치(1504)를 더 포함할 수 있다. 프로세서(1501), 메모리(1502), 입력 장치(1503), 및 출력 장치(1504)는 버스 또는 기타 방식을 통해 연결될 수 있으며, 도 15에서는 버스를 통해 연결되는 것을 예로 한다.
입력 장치(1503)는 입력된 숫자 또는 문자 부호 정보를 수신할 뿐만 아니라, 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 또는 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정의 전자 기기의 사용자 설정 및 기능 제어와 관련되는 키 신호 입력을 생성할 수 있으며, 예를 들어, 터치 스크린, 키패드, 마우스, 트랙패드, 터치패드, 지시바, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치이다. 출력 장치(1504)는 디스플레이 장치, 보조 조명 장치(예를 들어, LED), 및 햅틱 피드백 장치(예를 들어, 진동 모터)등을 포함할 수 있다. 상기 디스플레이 장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 및 플라즈마 디스플레이를 포함할 수 있지만, 이에 한정되지 않는다. 일부 실시 형태에서, 디스플레이 장치는 터치 스크린일 수 있다.
본 명세서에서 설명된 시스템 및 기술의 다양한 실시 형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 집적 회로 (ASIC), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 구현될 수 있다. 이 다양한 실시 형태들은 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있으며, 상기 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치에 송신할 수 있다.
이 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라고도 지칭됨)들은 프로그래머블 프로세서의 기계 명령을 포함하고, 하이 레벨 절차 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 이용하여 이 컴퓨터 프로그램들을 구현할 수 있다. 본 명세서에서 사용되는 바와 같이, "기계 판독 가능 매체"및 "컴퓨터 판독 가능 매체"라는 용어는 기계 명령 및/또는 데이터를 프로그래머블 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 디바이스, 및/또는 장치(예를 들어, 자기 디스크, 시디롬, 메모리, 프로그래머블 로직 소자(PLD))를 지칭하며, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. "기계 판독 가능 신호"라는 용어는 기계 명령 및/또는 데이터를 프로그래머블 프로세서에 제공하기 위한 임의의 신호를 지칭한다.
사용자와의 상호 작용을 제공하기 위해, 본 명세서에서 설명된 시스템 및 기술은 컴퓨터 상에서 구현될 수 있으며, 상기 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, 음극선관(CRT) 또는 액정표시장치(LCD) 모니터), 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)을 구비하며, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 유형의 장치도 사용자와의 상호 작용에 사용될 수 있으며, 예를 들어 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있으며, 사용자로부터의 입력은 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력을 포함)로 수신될 수 있다.
본 명세서에서 설명된 시스템 및 기술은 백그라운드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템 (예를 들어, 애플리케이션 서버), 또는 프론트-엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비한 사용자 컴퓨터, 사용자는 상기 그래픽 사용자 인터페이스 또는 상기 웹 브라우저를 통해 본 명세서에 설명된 시스템 및 기술의 실시 형태와 상호 작용할 수 있음), 또는 이러한 백그라운드 컴포넌트, 미들웨어 컴포넌트 또는 프론트-엔드 컴포넌트를 포함하는 임의의 조합의 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 서로 연결될 수 있다. 통신 네트워크의 예시로는 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있으며, 통상적으로 통신 네트워크를 통해 서로 상호 작용한다. 클라이언트와 서버 사이의 관계는 대응되는 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 생성된다. 서버는 클라우드 서버일 수 있으며, 클라우드 컴퓨팅 서버 또는 클라우드 호스트로도 불리우며, 클라우드 컴퓨팅 서비스 시스템 내의 호스트 제품으로서, 종래의 물리적 호스트 및 가상 사설 서버(VPS) 서비스에서 관리 어려움이 크고 비즈니스 확장성이 약한 단점들을 해결한다.
이해해야 할 점은, 이상에서 설명한 다양한 형태의 절차들을 사용하여, 순서를 다시 배열, 증가 또는 삭제할 수 있다. 예를 들어, 본 출원에서 기재한 각 단계들은 동시에 수행할 수도 있고 순차적으로 수행할 수도 있으며 상이한 순서로 수행할 수도 있는 바, 본 출원에서 개시한 기술적 해결수 단에서 기대하는 결과를 구현할 수만 있으면, 본문은 이에 대해 한정하지 않는다.
상기 구체적인 실시 형태는 본 출원의 보호 범위를 한정하지 않는다. 본 기술 분야에서 통상의 지식을 가진 자에게 있어서, 설계 요구와 기타 요소에 따라 다양한 수정, 결합, 하위 결합 및 교체를 할 수 있음은 자명한 것이다. 본 출원의 사상 및 원칙 내에서 진행한 임의의 수정, 균등한 교체 및 개선 등은 모두 본 출원의 보호 범위 내에 포함된다.
Claims (21)
- 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법에 있어서, 상기 이미지 수집 디바이스는 차량 본체의 측면에 배치되며, 상기 이미지 수집 디바이스의 시야는 아래쪽을 향하며, 상기 차량 측면의 지면 상에는 캘리브레이션 플레이트가 배치되며, 상기 캘리브레이션 플레이트는 상기 이미지 수집 디바이스의 시야 범위 내에 있으며, 상기 방법은,
상기 이미지 수집 디바이스가 촬영한 이미지를 획득하는 단계;
상기 이미지에서의 캘리브레이션 플레이트 상의 복수의 마크점을 결정하는 단계;
이미지 픽셀 좌표계 및 캘리브레이션 플레이트 좌표계에서의 각 상기 마크점의 좌표에 따라, 상기 이미지 픽셀 좌표계에서 상기 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스를 결정하는 단계;
상기 캘리브레이션 플레이트 좌표계 및 차량 본체 좌표계에서의 상기 차량의 적어도 하나의 차륜 접지점의 좌표에 따라, 상기 캘리브레이션 플레이트 좌표계에서 상기 차량 본체 좌표계로의 제2 변환 매트릭스를 결정하는 단계;
상기 제1 변환 매트릭스 및 상기 제2 변환 매트릭스를 이용하여, 상기 이미지 수집 디바이스의 외부 파라미터를 결정하는 단계를 포함하는,
이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법. - 제1항에 있어서,
상기 캘리브레이션 플레이트는 ChArUco 캘리브레이션 플레이트를 포함하는,
이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법. - 제2항에 있어서,
상기 이미지에서의 캘리브레이션 플레이트 상의 복수의 마크점을 결정하는 단계는, 상기 ChArUco 캘리브레이션 플레이트 상의 복수의 체스보드 코너점을 결정하는 단계를 포함하는,
이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 캘리브레이션 플레이트 좌표계에서의 상기 차륜 접지점의 좌표를 결정하는 단계는,
상기 캘리브레이션 플레이트 좌표계에서의 상기 차량 일측의 2개의 차륜 접지점의 좌표를 결정하는 단계; 및
결정된 좌표 및 상기 차량의 차량 모델을 이용하여, 상기 캘리브레이션 플레이트 좌표계에서의 상기 차량 타측의 2개의 차륜 접지점의 좌표를 결정하는 단계를 포함하는,
이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법. - 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법에 있어서, 상기 이미지 수집 디바이스의 외부 파라미터는 이미지 픽셀 좌표계에서 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스 및 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스에 의해 결정되며, 상기 방법은,
상기 제1 변환 매트릭스 및/또는 상기 제2 변환 매트릭스의 정밀도 오차를 측정하는 단계를 포함하며, 여기서
상기 제1 변환 매트릭스의 정밀도 오차를 측정하는 단계는, 상기 이미지 픽셀 좌표계에서의 캘리브레이션 플레이트에서의 캘리브레이션 포인트의 좌표 및 상기 제1 변환 매트릭스를 이용하여, 상기 캘리브레이션 플레이트 좌표계에서의 상기 캘리브레이션 포인트의 제1 좌표를 계산하는 단계; 및 상기 제1 좌표와 상기 캘리브레이션 플레이트 좌표계에서의 상기 캘리브레이션 포인트의 실제 좌표 사이의 거리를 계산하여, 상기 제1 변환 매트릭스의 정밀도 오차를 측정하는 단계를 포함하며,
상기 제2 변환 매트릭스의 정밀도 오차를 측정하는 단계는, 상기 캘리브레이션 플레이트 좌표계에서의 상기 차량의 차륜 접지점의 좌표 및 상기 제2 변환 매트릭스를 이용하여, 상기 차량 본체 좌표계에서의 상기 차륜 접지점의 제2 좌표를 계산하는 단계; 및 상기 제2 좌표와 상기 차량 본체 좌표계에서의 상기 차륜 접지점의 실제 좌표 사이의 거리를 계산하여, 상기 제2 변환 매트릭스의 정밀도 오차를 측정하는 단계를 포함하는,
이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법. - 제5항에 있어서,
상기 캘리브레이션 플레이트 내의 캘리브레이션 포인트는 상기 캘리브레이션 플레이트에서 상기 제1 변환 매트릭스를 결정할 때 사용되지 않은 캘리브레이션 포인트를 포함하며,
상기 차량의 차륜 접지점은 상기 차량의 차륜 접지점에서 상기 제2 변환 매트릭스를 결정할 때 사용되지 않은 차륜 접지점을 포함하는,
이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법. - 제5항 또는 제6항에 있어서,
상기 캘리브레이션 플레이트는 ChArUco 캘리브레이션 플레이트를 포함하는,
이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법. - 제5항 또는 제6항에 있어서,
차량의 동일측에 배치된 2개의 이미지 수집 디바이스를 이용하여 각각 하나의 직선을 피팅하는 단계; 및 2개 직선의 끼인각을 결정하여 이미지 수집 디바이스의 외부 파라미터의 정밀 오차를 측정하는 단계를 더 포함하며,
여기서, 각 상기 이미지 수집 디바이스를 이용하여 직선을 피팅하는 방식은,
상기 이미지 수집 디바이스가 촬영한 이미지에서 상기 캘리브레이션 플레이트 상의 동일한 직선 상의 복수의 캘리브레이션 포인트를 결정하는 단계;
각 상기 캘리브레이션 포인트에 대해 캘리브레이션 플레이트 좌표계에서의 상기 캘리브레이션 포인트의 좌표, 상기 제1 변환 매트릭스 및 상기 제2 변환 매트릭스를 이용하여, 상기 차량 본체 좌표계에서의 상기 캘리브레이션 포인트의 좌표를 결정하는 단계; 및
상기 차량 본체 좌표계에서의 상기 복수의 캘리브레이션 포인트의 좌표를 이용하여, 상기 복수의 캘리브레이션 포인트를 직선으로 피팅하는 단계를 포함하는,
이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법. - 제5항 또는 제6항에 있어서,
상기 제1 변환 매트릭스의 정밀도 오차를 이용하여, 상기 이미지 수집 디바이스의 고정밀도 영역을 결정하는 단계를 더 포함하는,
이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 방법. - 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치에 있어서, 상기 이미지 수집 디바이스는 차량 본체의 측면에 배치되며, 상기 이미지 수집 디바이스의 시야는 아래쪽을 향하며, 상기 차량의 측면의 지면 상에는 캘리브레이션 플레이트가 배치되며, 상기 캘리브레이션 플레이트는 상기 이미지 수집 디바이스의 시야 범위 내에 있으며, 상기 장치는,
상기 이미지 수집 디바이스가 촬영한 이미지를 획득하기 위한 이미지 획득 모듈;
상기 이미지에서의 캘리브레이션 플레이트 상의 복수의 마크점을 결정하기 위한 마크점 결정 모듈;
이미지 픽셀 좌표계 및 캘리브레이션 플레이트 좌표계에서의 각 상기 마크점의 좌표에 따라, 상기 이미지 픽셀 좌표계에서 상기 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스를 결정하기 위한 제1 변환 매트릭스 결정 모듈;
상기 캘리브레이션 플레이트 좌표계 및 차량 본체 좌표계에서의 상기 차량의 적어도 하나의 차륜 접지점의 좌표에 따라, 상기 캘리브레이션 플레이트 좌표계에서 상기 차량 본체 좌표계로의 제2 변환 매트릭스를 결정하기 위한 제2 변환 매트릭스 결정 모듈; 및
상기 제1 변환 매트릭스 및 상기 제2 변환 매트릭스를 이용하여, 상기 이미지 수집 디바이스의 외부 파라미터를 결정하기 위한 외부 파라미터 결정 모듈을 포함하는,
이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치. - 제10항에 있어서,
상기 캘리브레이션 플레이트는 ChArUco 캘리브레이션 플레이트를 포함하는,
이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치. - 제11항에 있어서,
상기 마크점 결정 모듈은 상기 ChArUco 캘리브레이션 플레이트 상의 복수의 체스보드 코너점을 결정하는,
이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치. - 제10항 내지 제12항 중 어느 한 항에 있어서,
상기 제2 변환 매트릭스 결정 모듈은,
상기 캘리브레이션 플레이트 좌표계에서의 상기 차량 일측의 2개의 차륜 접지점의 좌표를 결정하기 위한 제1 좌표 결정 서브 모듈; 및
결정된 좌표 및 상기 차량의 차량 모델을 이용하여, 상기 캘리브레이션 플레이트 좌표계에서의 상기 차량 타측의 2개의 차륜 접지점의 좌표를 결정하기 위한 제2 좌표 결정 서브 모듈을 포함하는,
이미지 수집 디바이스의 외부 파라미터 캘리브레이션 장치. - 이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치에 있어서, 상기 이미지 수집 디바이스의 외부 파라미터는 이미지 픽셀 좌표계에서 캘리브레이션 플레이트 좌표계로의 제1 변환 매트릭스 및 캘리브레이션 플레이트 좌표계에서 차량 본체 좌표계로의 제2 변환 매트릭스에 의해 결정되며, 상기 장치는
제1 측정 모듈 및/또는 제2 측정 모듈을 포함하며,
상기 제1 측정 모듈은,
상기 이미지 픽셀 좌표계에서의 캘리브레이션 플레이트 내의 캘리브레이션 포인트의 좌표 및 상기 제1 변환 매트릭스를 이용하여, 상기 캘리브레이션 플레이트 좌표계에서의 상기 캘리브레이션 포인트의 제1 좌표를 계산하기 위한 제1 계산 서브 모듈; 및
상기 제1 좌표와 상기 캘리브레이션 플레이트 좌표계에서의 상기 캘리브레이션 포인트의 실제 좌표 사이의 거리를 계산하여, 상기 제1 변환 매트릭스의 정밀도 오차를 측정하기 위한 제2계산 서브 모듈을 포함하며,
상기 제2 측정 모듈은,
상기 캘리브레이션 플레이트 좌표계에서의 상기 차량의 차륜 접지점의 좌표 및 상기 제2 변환 매트릭스를 이용하여, 상기 차량 본체 좌표계에서의 상기 차륜 접지점의 제2 좌표를 계산하기 위한 제3 계산 서브 모듈; 및
상기 제2 좌표와 상기 차량 본체 좌표계에서의 상기 차륜 접지점의 실제 좌표 사이의 거리를 계산하여, 상기 제2 변환 매트릭스의 정밀도 오차를 측정하기 위한 제4 계산 서브 모듈을 포함하는,
이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치. - 제14항에 있어서,
상기 제1 계산 서브 모듈은 상기 캘리브레이션 플레이트에서 상기 제1 변환 매트릭스를 결정할 때 사용되지 않은 캘리브레이션 포인트를 이용하며,
상기 제3 계산 서브 모듈은 상기 차량의 차륜 접지점에서 상기 제2 변환 매트릭스를 결정할 때 사용되지 않은 차륜 접지점을 이용하는,
이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치. - 제14항 또는 제15항에 있어서,
상기 캘리브레이션 플레이트는 ChArUco 캘리브레이션 플레이트를 포함하는,
이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치. - 제14항 또는 제15항에 있어서,
차량의 동일측에 배치된 2개의 이미지 수집 디바이스를 이용하여 각각 하나의 직선을 피팅하며, 2개의 상기 직선의 끼인각을 결정하여 이미지 수집 디바이스의 외부 파라미터의 정밀 오차를 측정하기 위한 제3 측정 모듈을 더 포함하며,
각 상기 이미지 수집 디바이스를 이용하여 직선을 피팅하는 방식은, 상기 이미지 수집 디바이스가 촬영한 이미지에서 상기 캘리브레이션 플레이트 상의 동일한 직선 상의 복수의 캘리브레이션 포인트를 결정하는 단계; 각 상기 캘리브레이션 포인트에 대해 캘리브레이션 플레이트 좌표계에서의 상기 캘리브레이션 포인트의 좌표, 상기 제1 변환 매트릭스 및 상기 제2 변환 매트릭스를 이용하여, 상기 차량 본체 좌표계에서의 상기 캘리브레이션 포인트의 좌표를 결정하는 단계; 및 상기 차량 본체 좌표계에서의 상기 복수의 캘리브레이션 포인트의 좌표를 이용하여, 상기 복수의 캘리브레이션 포인트를 하나의 직선으로 피팅하는 단계를 포함하는,
이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치. - 제14항 또는 제15항에 있어서,
상기 제1 변환 매트릭스의 정밀도 오차를 이용하여, 상기 이미지 수집 디바이스의 고정밀도 영역을 결정하기 위한 고정밀도 영역 결정 모듈을 더 포함하는,
이미지 수집 디바이스의 외부 파라미터의 정밀도 오차 측정 장치. - 적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신연결하는 메모리를 포함하는 전자 기기에 있어서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 또는 제5항의 방법을 수행하도록 하는,
전자 기기. - 컴퓨터가 제1항 또는 제5항의 방법을 수행하도록 하기 위한 컴퓨터 명령이 저장된, 비일시적 컴퓨터 판독 가능 저장 매체.
- 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 제1항 또는 제5항의 방법을 구현하는 것을 특징으로 하는, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010699987.6 | 2020-07-20 | ||
| CN202010699987.6A CN111815719B (zh) | 2020-07-20 | 2020-07-20 | 图像采集设备的外参数标定方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210056964A true KR20210056964A (ko) | 2021-05-20 |
Family
ID=72864958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210056760A KR20210056964A (ko) | 2020-07-20 | 2021-04-30 | 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210319588A1 (ko) |
| EP (1) | EP3848901A3 (ko) |
| JP (1) | JP7060774B2 (ko) |
| KR (1) | KR20210056964A (ko) |
| CN (1) | CN111815719B (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409405A (zh) * | 2021-07-19 | 2021-09-17 | 北京百度网讯科技有限公司 | 评估相机标定位置的方法、装置、设备和存储介质 |
| CN117253380A (zh) * | 2023-11-13 | 2023-12-19 | 国网天津市电力公司培训中心 | 一种基于数据融合技术的智慧校园安全管理系统和方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884842B (zh) * | 2020-12-25 | 2024-03-22 | 杭州迦智科技有限公司 | 双舵轮零位和采集装置外参同步标定方法及可移动平台 |
| CN112734857B (zh) * | 2021-01-08 | 2021-11-02 | 香港理工大学深圳研究院 | 相机内参和相机相对激光雷达外参的标定方法及电子设备 |
| CN113223076B (zh) * | 2021-04-07 | 2024-02-27 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆与车载摄像头的坐标系标定方法、设备及存储介质 |
| CN113066135A (zh) * | 2021-04-26 | 2021-07-02 | 深圳市商汤科技有限公司 | 图像采集设备的标定方法及装置、电子设备和存储介质 |
| CN113592951A (zh) * | 2021-07-14 | 2021-11-02 | 阿波罗智联(北京)科技有限公司 | 车路协同中路侧相机外参标定的方法、装置、电子设备 |
| CN114565681B (zh) * | 2022-03-01 | 2022-11-22 | 禾多科技（北京）有限公司 | 一种相机标定方法、装置、设备、介质及产品 |
| CN114705121B (zh) * | 2022-03-29 | 2024-05-14 | 智道网联科技(北京)有限公司 | 车辆位姿测量方法、装置及电子设备、存储介质 |
| CN115082573B (zh) * | 2022-08-19 | 2023-04-11 | 小米汽车科技有限公司 | 参数标定方法、装置、车辆及存储介质 |
| CN116148259B (zh) * | 2022-12-28 | 2024-03-22 | 广州市斯睿特智能科技有限公司 | 车辆缺陷定位系统、方法、装置及存储介质 |
| CN115861429B (zh) * | 2023-02-28 | 2023-06-16 | 深圳思谋信息科技有限公司 | 图像采集设备标定方法、装置、计算机设备和存储介质 |
| CN116703902B (zh) * | 2023-08-03 | 2023-11-17 | 深圳卡尔文科技有限公司 | 一种基于多图像的种植牙综合精度评估调整方法 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5473742B2 (ja) * | 2010-04-20 | 2014-04-16 | 富士通テン株式会社 | キャリブレーション方法 |
| US9357208B2 (en) * | 2011-04-25 | 2016-05-31 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
| EP2523163B1 (en) * | 2011-05-10 | 2019-10-16 | Harman Becker Automotive Systems GmbH | Method and program for calibrating a multicamera system |
| JP2014174067A (ja) * | 2013-03-12 | 2014-09-22 | Panasonic Corp | 車載カメラのキャリブレーション装置 |
| US9986173B2 (en) * | 2014-05-16 | 2018-05-29 | GM Global Technology Operations LLC | Surround-view camera system (VPM) online calibration |
| CN104859563B (zh) * | 2015-05-28 | 2017-07-04 | 北京汽车股份有限公司 | 车道偏离预警方法和系统 |
| US10922559B2 (en) * | 2016-03-25 | 2021-02-16 | Bendix Commercial Vehicle Systems Llc | Automatic surround view homography matrix adjustment, and system and method for calibration thereof |
| KR102597435B1 (ko) * | 2016-04-20 | 2023-11-03 | 엘지이노텍 주식회사 | 영상 취득 장치 및 그 방법 |
| JP6821714B2 (ja) * | 2016-06-28 | 2021-01-27 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 改良されたカメラ較正システム、標的、およびプロセス |
| JP6211157B1 (ja) * | 2016-09-01 | 2017-10-11 | 三菱電機株式会社 | キャリブレーション装置およびキャリブレーション方法 |
| CN108805934B (zh) * | 2017-04-28 | 2021-12-28 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
| JP7102115B2 (ja) * | 2017-09-15 | 2022-07-19 | キヤノン株式会社 | 校正方法、校正装置、３次元測定機、３次元視覚測定装置、ロボットのエンドエフェクタ、プログラム、記録媒体 |
| US10621753B2 (en) * | 2017-09-29 | 2020-04-14 | Intel IP Corporation | Extrinsic calibration of camera systems |
| CN110246184B (zh) * | 2018-03-07 | 2021-06-11 | 杭州海康威视数字技术股份有限公司 | 一种车载相机外参确定方法、装置、设备及系统 |
| CN208314858U (zh) * | 2018-03-12 | 2019-01-01 | 杭州海康威视数字技术股份有限公司 | 车载环视系统标定装置 |
| CN109118547A (zh) * | 2018-11-01 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 多摄像头联合标定系统和方法 |
| CN110264520B (zh) * | 2019-06-14 | 2021-06-08 | 北京百度网讯科技有限公司 | 车载传感器与车辆位姿关系标定方法、装置、设备和介质 |
| CN110363819B (zh) * | 2019-06-25 | 2023-03-03 | 华为技术有限公司 | 智能汽车中图像采集设备标定的方法和相关设备 |
| CN110414355A (zh) * | 2019-06-27 | 2019-11-05 | 沈阳工业大学 | 基于视觉的右方位空停车位与泊车过程中车位线检测方法 |
| CN110599548A (zh) * | 2019-09-02 | 2019-12-20 | Oppo广东移动通信有限公司 | 摄像头的标定方法、装置、相机及计算机可读存储介质 |
| CN110930462B (zh) * | 2019-11-27 | 2023-06-23 | 驭势科技（浙江）有限公司 | 车辆摄像头外部参数标定方法、装置、系统及计算机设备 |
| US11288876B2 (en) * | 2019-12-13 | 2022-03-29 | Magic Leap, Inc. | Enhanced techniques for volumetric stage mapping based on calibration object |
-
2020
- 2020-07-20 CN CN202010699987.6A patent/CN111815719B/zh active Active
-
2021
- 2021-04-01 EP EP21166759.7A patent/EP3848901A3/en active Pending
- 2021-04-26 JP JP2021073973A patent/JP7060774B2/ja active Active
- 2021-04-30 KR KR1020210056760A patent/KR20210056964A/ko not_active Application Discontinuation
- 2021-06-24 US US17/356,649 patent/US20210319588A1/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409405A (zh) * | 2021-07-19 | 2021-09-17 | 北京百度网讯科技有限公司 | 评估相机标定位置的方法、装置、设备和存储介质 |
| CN117253380A (zh) * | 2023-11-13 | 2023-12-19 | 国网天津市电力公司培训中心 | 一种基于数据融合技术的智慧校园安全管理系统和方法 |
| CN117253380B (zh) * | 2023-11-13 | 2024-03-26 | 国网天津市电力公司培训中心 | 一种基于数据融合技术的智慧校园安全管理系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7060774B2 (ja) | 2022-04-27 |
| EP3848901A2 (en) | 2021-07-14 |
| JP2021120678A (ja) | 2021-08-19 |
| EP3848901A3 (en) | 2022-02-09 |
| CN111815719B (zh) | 2023-12-22 |
| CN111815719A (zh) | 2020-10-23 |
| US20210319588A1 (en) | 2021-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210056964A (ko) | 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN107976669B (zh) | 一种确定相机与激光雷达之间的外参数的装置 | |
| CN107976668B (zh) | 一种确定相机与激光雷达之间的外参数的方法 | |
| CN107564069B (zh) | 标定参数的确定方法、装置及计算机可读存储介质 | |
| CN111445533B (zh) | 一种双目相机标定方法、装置、设备及介质 | |
| JP6083747B2 (ja) | 位置姿勢検出システム | |
| KR101690965B1 (ko) | 부정확한 캘리브레이션 타겟을 사용하는 머신 비전 시스템 캘리브레이션 | |
| Zhang et al. | A robust and rapid camera calibration method by one captured image | |
| EP3879494A2 (en) | Method, apparatus, electronic device, computer readable medium and program for calibrating external parameter of camera | |
| CN112381889B (zh) | 相机检验方法、装置、设备及存储介质 | |
| CN102262508B (zh) | 通过鼠标轨迹生成度量工具的方法 | |
| EP3998580B1 (en) | Camera calibration method and apparatus, electronic device, storage medium, program product, and road side device | |
| CN111508020B (zh) | 融合图像与激光雷达的电缆三维位置计算方法、装置 | |
| WO2018168757A1 (ja) | 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム | |
| CN101425185A (zh) | 一种基于复合型平面靶标的小尺寸视觉测量的摄像机标定方法 | |
| JP2013190281A (ja) | 設置状態検出システム、設置状態検出装置、及び設置状態検出方法 | |
| WO2020208974A1 (ja) | 基準位置設定方法及び操作検出装置 | |
| CN115511977A (zh) | 一种基于标定模板的外参标定方法及装置 | |
| CN111380668B (zh) | 一种深度相机的精度检测系统及其精度检测方法 | |
| CN108650465B (zh) | 摄像机画面增强现实标签的计算方法、装置及电子设备 | |
| CN206696898U (zh) | 三维重建系统 | |
| CN113034615A (zh) | 一种用于多源数据融合的设备标定方法及相关装置 | |
| Zhu et al. | Intrinsic parameter calibration of line-scan cameras using RANSAC algorithm | |
| JPH07139918A (ja) | 円柱中心位置・半径計測方法 | |
| CN102509298A (zh) | 用于摄像机标定的同心圆光栅和契形光栅标靶 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |