KR20220114648A - 차량이나 로봇의 카메라 및/또는 라이다 센서의 캘리브레이션 방법 - Google Patents

차량이나 로봇의 카메라 및/또는 라이다 센서의 캘리브레이션 방법 Download PDF

Info

Publication number
KR20220114648A
KR20220114648A KR1020227025367A KR20227025367A KR20220114648A KR 20220114648 A KR20220114648 A KR 20220114648A KR 1020227025367 A KR1020227025367 A KR 1020227025367A KR 20227025367 A KR20227025367 A KR 20227025367A KR 20220114648 A KR20220114648 A KR 20220114648A
Authority
KR
South Korea
Prior art keywords
camera
pattern
lidar sensor
calibration
virtual
Prior art date
Application number
KR1020227025367A
Other languages
English (en)
Inventor
필립 쉰들러
알렉산데르 브라운
Original Assignee
메르세데스-벤츠 그룹 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메르세데스-벤츠 그룹 아게 filed Critical 메르세데스-벤츠 그룹 아게
Publication of KR20220114648A publication Critical patent/KR20220114648A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 차량(1)이나 로봇의 카메라(3) 및/또는 라이다 센서(2.1)를 캘리브레이션하는 방법에 관한 것으로, 카메라(3)에 의해 차량 주변이나 로봇 주변의 이미지(B)가 기록되며 적어도 하나 이상의 라이다 센서(2.1)에 의해 실제 패턴(Mr)이 카메라(3) 감지 영역 중 적어도 하나 이상의 섹션에 차량 주변이나 로봇 주변으로 실제 패턴(Mr)이 방출되며 카메라(3)에 의해 실제 패턴(Mr)이 기록된다. 본 발명에 따르면, 라이다 센서(2.1)의 좌표계에서 생성된 가상 패턴(Mv)은 라이다 센서(2.1)에 의해 차량 주변이나 로봇 주변의 가상 평면(Ev)에 투영되고, 라이다 센서(2.1)에 의해 방출된 레이저 방사선은 가상 평면(Ev)을 투과하고 가상 패턴(Mv)과 상관되는 실제 패턴(Mr)이 실제 투영면(A)에 생성되고, 카메라(3)에 의해 기록된 실제 패턴(Mr)이 실제 투영면(A)의 표면 양상을 기반으로 가상 평면(Ev)으로 역계산되고 이로부터 왜곡 보정된 가상 패턴(Mev)이 카메라(3)의 좌표계에서 생성되며 가상 패턴(Mv)과 왜곡 보정된 가상 패턴(Mev)의 비교를 기반으로 카메라(3) 및/또는 라이다 센서(2.1)가 캘리브레이션된다.

Description

차량이나 로봇의 카메라 및/또는 라이다 센서의 캘리브레이션 방법
본 발명은 청구항 제1항의 전제부에 따라 차량이나 로봇의 카메라 및/또는 라이다 센서를 캘리브레이션하는 방법에 관한 것이다.
차량의 카메라를 캘리브레이션하는 방법은 DE 10 2016 009 327 A1에 알려져 있으며, 이때 차량 주변의 이미지는 카메라에 의해 기록된다. 적어도 하나 이상의 라이다 센서를 사용하여 카메라에 의해 기록되는 카메라 감지 영역의 적어도 하나 이상의 섹션에 정의된 패턴이 차량 주변으로 방출된다. 카메라에 의해 기록된 이미지에 포함된 패턴의 거리 값은 카메라에 연결되거나 통합된 평가 장치를 통해 산출되며 이 거리 값을 기초로 카메라의 캘리브레이션이 수행된다. 라이다 센서는 자체 교정이 가능하도록 설계되었으며 이때 자체 캘리브레이션은 객체 추적을 기반으로 한다.
본 발명의 목적은 선행 기술에 비해 차량이나 로봇의 카메라 및/또는 라이다 센서를 캘리브레이션하기 위한 개선된 방법을 제공하는 것이다.
이러한 목적은 본 발명에 따라 청구항 제1항에 명시된 특징을 갖는 방법에 의해 달성된다.
본 발명의 바람직한 실시예는 종속항의 대상이다.
차량이나 로봇의 카메라 및/또는 라이다 센서를 캘리브레이션하는 방법에서, 카메라를 이용하여 차량 주변이나 로봇 주변의 이미지를 기록한다. 적어도 하나 이상의 라이다 센서를 사용하여 실제 패턴이 카메라의 감지 영역 중 적어도 하나 이상의 섹션에 차량 주변 또는 로봇 주변으로 방출되고, 이때 실제 패턴은 카메라에 의해 기록된다.
본 발명에 따르면, 라이다 센서의 좌표계에서 생성된 가상 패턴은 라이다 센서에 의해 차량 주변 또는 로봇 주변의 가상 평면에 투영된다. 라이다 센서로 방출된 레이저 방사선은 가상 평면을 관통하고 가상 패턴과 상관된 실제 패턴이 실제 투영면에 생성된다. 카메라에 의해 기록된 실제 패턴은 실제 투영면의 표면 양상을 기반으로 가상 평면으로 역계산된다. 이로부터 왜곡 보정된 가상 패턴이 카메라의 좌표계에 생성되고, 가상 패턴과 왜곡 보정된 가상 패턴의 비교를 기반으로 카메라 및/또는 라이다 센서가 캘리브레이션된다.
카메라로 기록한 이미지는 렌즈 시스템과 카메라의 잠재적인 커버로 인해 광학 왜곡이 발생할 수 있다. 이러한 광학 왜곡의 발생을 피하기 위해 일반적으로 카메라는 예컨대 체스판 패턴을 기반으로 차량 생산이나 로봇 생산에서 캘리브레이션된다. 이때 산출된 캘리브레이션값이 저장된다. 그러나 이러한 캘리브레이션값은 구성 요소의 노후화, 다양한 온도 범위 및 기계적 외부 영향으로 인해 정확성이 손상될 수 있다.
이 방법을 사용하면 거의 모든 대상에 대해 카메라를 캘리브레이션할 수 있으므로 차량이나 로봇의 생산 공정에서, 예컨대 생산 공정 종료 시 캘리브레이션을 단순화할 수 있다. 또한 차량이나 로봇이 작동하는 동안에도, 예컨대 작동 중 짧은 일시정지 시간 동안 캘리브레이션을 수행할 수 있다. 이렇게 해서 노후화 효과를 감지하기 위해 카메라 작동 기간 동안 캘리브레이션을 할 수도 있다. 이렇게 해서 캘리브레이션은 또한 카메라와 라이다 센서 중 하나의 작동 중에 수행되고 보완될 수 있으며, 이는 자율 주행, 특히 고도 자율 주행이나 자율 주행 또는 반자율 주행 차량의 경우에도 특히 바람직하다. 여러 캘리브레이션을 한 단계로 결합할 수도 있다. 캘리브레이션을 고려한 결과는 카메라와 라이다 센서가 같은 위치에서 같은 객체를 보는 것이다.
언급된 로봇은 예컨대 차량, 예컨대 고도 자율 주행이나 완전 자율 주행 승용차, 고도 자율 주행이나 완전 자율 주행 운송 차량 또는 고도 자율 주행이나 완전 자율 주행 트럭으로 설계된다. 로봇은 또한 산업용 로봇, 잔디 깎이 로봇, 로봇 진공 청소기, 걸레질 로봇 또는 자율 주행 보트일 수 있다.
방법의 가능한 일 실시예에서, 실제 투영면의 표면 양상은 라이다 센서에 의해 산출된, 실제 패턴의 픽셀로부터의 거리를 기반으로 산출된다. 이를 통해, 여기에서 라이다 센서의 반사가 카메라에 등록되고 라이다 센서에 대해 카메라를 상대 캘리브레이션하기 위해, 다시 말해 카메라와 라이다 센서 사이의 오차에 사용되는 특히 이른바 교차 캘리브레이션에서 카메라 및/또는 라이다 센서의 캘리브레이션이 가능하다. 카메라에서 감지된 라이다 반사를 기반으로 차량이나 로봇 주변의 모든 객체에 가상 패턴을 사전 정의할 수 있으며, 이는 라이다 센서에 의해 3차원적으로 측정되어 이른바 현장 자료(Ground Truth)를 생성할 수 있다. 카메라와 라이다 센서의 상호 상대적인 캘리브레이션을 통해 카메라와 라이다 센서에 의해 감지된 객체가 서로 더 잘 할당되고 정확도가 향상된다. 카메라와 라이다 센서가 직접 상호 캘리브레이션되면 둘 사이의 상대 오차가 줄어든다. 카메라를 라이다 센서로 또는 그 반대로 직접 캘리브레이션함으로써 카메라와 라이다 센서의 원시 데이터를 직접 융합할 수 있다. 또한 카메라와 라이다 센서의 독립적 데이터 융합도 개선된다.
방법의 다른 가능한 실시예에서, 가상 패턴을 왜곡 보정된 가상 패턴으로 및/또는 왜곡 보정된 가상 패턴을 가상 패턴으로 환산하기 위한 적어도 하나 이상의 변환 방정식이 가상 패턴과 왜곡 보정된 가상 패턴의 비교에서 나온다. 즉, 하나의 가상 패턴을 다른 가상 패턴으로 변환하기 위한 변환 매개변수는 두 가상 패턴을 기반으로 계산된다. 변환 매개변수는 센서 배열, 즉 카메라나 라이다 센서 중 하나에 의해 산출된 환경 데이터를 다른 센서 배열의 좌표계로 변환하기 위해 사용될 수 있다.
방법의 다른 가능한 실시예에서, 카메라 및/또는 라이다 센서의 방위각 오차 및/또는 고도 오차는 캘리브레이션에서 확인된다. 이렇게 해서 카메라는 카메라의 광축과 라이다 센서의 광축 간의 차이, 즉 방위각·고도 오차가 보정될 수 있게 라이다 센서에 대해 캘리브레이션될 수 있다. 이렇게 해서 방위각·고도 오차에서 나온 카메라의 좌표계에 비해 라이다 센서 좌표계의 이동과 회전을 결정할 수 있다. 이러한 이동과 회전은 마찬가지로 상호 이동 및 회전된 두 가상 패턴의 비교 시 고려된다. 이렇게 해서 특히 정밀한 캘리브레이션이 수행될 수 있다.
방법의 다른 가능한 실시예에서, 라이다 센서에 의해 방출된 레이저 방사선은 가상 패턴을 생성하기 위해 라이다 센서의 회전 미러에 의해 편향된다. 이렇게 해서 가상 평면의 가상 패턴과 실제 패턴은 특히 간단하고 신뢰할 수 있는 방식으로 생성될 수 있다.
방법의 다른 가능한 실시예에서, 실제 패턴이 카메라에 의해 기록될 때, 카메라에 의해 연속적으로 기록된 다수의 이미지를 통한 통합이 실행된다. 이러한 통합은 적외선 영역에서 카메라의 해상도를 높이며, 이는 종래의 컬러 카메라로 설계된 카메라가 가시광선 영역에서 최고 감도를 보이는 반면 적외선 영역에서 다소 낮은 감도를 보이기 때문에 바람직하다. 더욱이, 회전 미러의 동기화 오차로 인해 가상 패턴의 라인 사이의 간격이 실제 패턴의 라인 사이의 간격을 변화시킬 수 있다. 카메라에 의해 연속적으로 기록된 다수의 이미지를 통합하면 이러한 오차를 캘리브레이션할 수 있다.
방법의 다른 가능한 실시예에서, 카메라는 캘리브레이션을 위해 캘리브레이션 모드로 전환된다.
방법의 다른 가능한 실시예에서, 가상 패턴은 적외선 레이저 방사선으로 생성되어 카메라에 의해 기록될 수 있다.
방법의 다른 가능한 실시예에서, 카메라에 의해 기록된 이미지를 생성하기 위해, 카메라에 충돌하는 광 방사선은 카메라 자체의 적외선 필터에 의해 필터링된다. 적외선 필터에 의해 간섭이 줄어들고 색상 품질이 향상된다.
방법의 다른 가능한 실시예에서, 라이다 센서에서 방출되고 실제 투영면에서 반사된 적외선 레이저 방사선에 투과성이어서 실제 패턴의 검출이 가능한 적외선 필터가 사용된다.
방법의 다른 가능한 실시예에서, 적외선 필터는 카메라의 캘리브레이션 모드에서, 라이다 센서에서 방출되고 실제 투영면에서 반사된 적외선 레이저 방사선에 투과성으로 전환된다. 이렇게 해서 적외선 필터는 카메라의 정상 작동 중에 간섭을 줄이고 색상 품질을 높이기 위해 사용할 수 있고, 캘리브레이션 모드에서 라이다 센서에 의해 방출되고 투영면에서 반사되는 적외선 레이저 방사선을 최적으로 감지하기 위해 비활성화할 수 있다.
본 발명의 예시적인 실시예는 도면을 참조하여 아래에서 더 상세히 설명된다.
도 1은 차량, 패턴, 실제 패턴의 사시도를 개략적으로 도시한다.
도 2는 차량의 카메라 및/또는 라이다 센서를 캘리브레이션하기 위한 장치의 개략적인 블록도를 도시한다.
상호 일치하는 부분은 모든 도면에서 동일한 참조 기호를 붙인다.
도 1은 차량(1), 가상 패턴(Mv) 및 실제 패턴(Mr)의 사시도를 도시한다. 도 2는 차량(1)의 카메라(3) 및/또는 라이다 센서(2.1)를 캘리브레이션하기 위한 장치(4)의 가능한 실시예의 블록도를 도시한다.
다음 설명은 또한 적어도 하나 이상의 카메라(3) 및/또는 적어도 하나 이상의 라이다 센서(2.1)를 포함하는 로봇에도 유사하게 적용될 수 있다. 이러한 로봇은 예컨대 마찬가지로 차량, 예컨대 고도 자율 주행이나 완전 자율 주행 승용차, 고도 자율 주행이나 완전 자율 주행 운송 차량 또는 고도 자율 주행이나 완전 자율 주행 트럭으로 설계된다. 로봇은 또한 산업용 로봇, 잔디 깎이 로봇, 로봇 진공 청소기, 걸레질 로봇 또는 자율 주행 보트일 수 있다.
차량(1)은 적어도 하나 이상의 라이다 센서(2.1) 및 카메라(3)를 갖는 라이다(2)를 포함하고, 라이다(2) 및 카메라(3)는 차량 주변을 기록하도록 설계된다.
장치(4)는 라이다(2), 카메라(3) 및 처리 유닛(5)을 포함한다.
캘리브레이션의 목적은 카메라(3)의 광축과 라이다 센서(2.1)의 광축 사이의 차이, 즉 방위각·고도 오차가 보상되어 카메라(3)와 라이다 센서(2.1)가 같은 위치에서 같은 객체를 보도록 라이다 센서(2.1)에 대해 카메라(3)를 캘리브레이션하는 데 있다.
이를 위해 카메라(3)와 라이다 센서(2.1)의 감지 범위에 있는 차량(1) 앞 가상 평면(Ev)이 정의된다. 적외선 레이저 방사선은 라이다 센서(2.1)에 의해 방출되고 가상 패턴(Mv)은 가상 평면(Ev)에 생성된다. 가상 패턴(Mv)은 예컨대 체스판 패턴이다. 이때 가상 패턴(Mv)은 라이다 센서(2.1)의 좌표계에서 생성된다. 적외선 레이저 방사선은 가상 평면(Ev)을 관통하여, 가상 패턴(Mv)과 상관된 실제 패턴(Mr)이 차량 주변의 투영면(A), 예컨대 노면에 투영된다. 이 투영된 실제 패턴(Mr)은 실제 패턴(Mr)이 생성되는 투영면(A)이 가상 평면(Ev)과 평행하지 않기 때문에 가상 패턴(Mv)에 비해 왜곡된다.
가능한 일 실시예에서, 라이다(2) 및 라이다 센서(2.1)는 적외선 레이저 방사선이 스캐닝할 면 위로 편향되는 회전 미러를 갖는다.
투영된 실제 패턴(Mr)의 개별 픽셀까지의 거리(d)는 라이다 센서(2.1)에 의해 검출된다. 따라서, 투영면(A)의 표면 양상은 처리 유닛(5)에 의해 3차원적으로 검출되고 이른바 현장 자료(Ground Truth)가 생성된다.
실제 패턴(Mr)의 적어도 하나 이상의 이미지(B)가 카메라(3)에 의해 기록된다. 투영면(A)의 검출된 표면 양상에 기초하여, 검출된 실제 패턴(Mv)은 그것이 가상 평면(Ev) 상에서 어떻게 보일지 역계산하여 처리 유닛(5)에 의해 왜곡 보정된다. 이 역계산의 결과는 카메라(3)의 좌표계에서 역계산된 왜곡 보정된 가상 패턴(Mev)이다.
라이다(2) 회전 미러의 동기화 오차로 인해 가상 패턴(Mv)의 라인 사이의 간격과 이와 함께 실제 패턴(Mr)의 라인 사이의 간격이 변할 수 있으므로, 실제 패턴(Mr)의 검출 시 이러한 오차를 보정하기 위해 가능한 일 실시예에서 카메라(3)의 다수 이미지(B)를 통한 통합이 이루어진다. 이러한 통합은 또한 적외선 영역에서 카메라(3)의 해상도를 높여주며, 이는 기존의 컬러 카메라로 설계된 카메라(3)가 가시광선 영역에서 최고 감도를 보이고 적외선 영역에서 다소 낮은 감도를 보이기 때문에 바람직하다.
다른 가능한 실시예에서, 카메라(3)는 캘리브레이션을 위해 캘리브레이션 모드로 전환된다. 더욱이, 카메라(3)는 간섭을 줄이고/줄이거나 색상 품질을 향상시키기 위해 적외선 필터를 가질 수 있다. 이러한 적외선 필터는 예컨대 반사된 적외선 레이저 펄스에 대해 투과성이거나 카메라(3)의 캘리브레이션 모드에서 라이다 센서(2.1)의 적외선 레이저 방사선에 대해 투과성 상태로 전환될 수 있도록 설계되었다.
방위각·고도 오차로 인해 라이다 센서(2.1)의 좌표계는 카메라(3)의 좌표계에 대해 이동 및 회전되었다. 따라서 두 가상 패턴 Mv, Mev도 상호 이동 및 회전되었다.
하나의 가상 패턴 Mv, Mev를 다른 가상 패턴 Mev, Mv로 환산하기 위한 변환 방정식이 두 가상 패턴 Mv, Mev에서 나온다. 다시 말해 카메라(3)에 의해 기록된 데이터가 라이다 센서(2.1)의 좌표계로 변환될 수 있거나 라이다 센서(2.1)에 의해 기록된 데이터가 카메라(3)의 좌표계로 변환될 수 있는 좌표 변환의 변환 매개변수 P가 산출된다.
그런 다음에는 산출된 변환 매개변수(P)로, 정상 작동 중에 라이다 센서(2.1) 또는 카메라(3)에 의해 검출된 환경 데이터가 각각의 다른 센서의 좌표계로 변환된다. 그러면 라이다 센서(2.1)와 카메라(3)가 같은 위치에서 같은 객체를 보게 된다.

Claims (10)

  1. 차량(1)이나 로봇의 카메라(3) 및 라이다 센서(2.1) 중 적어도 하나를 캘리브레이션하는 방법으로서,
    - 차량 주변 또는 로봇 주변의 이미지(B)가 카메라(3)에 의해 기록되고,
    - 적어도 하나 이상의 라이다 센서(2.1)에 의해 카메라(3)의 감지 영역의 적어도 하나 이상의 섹션에 차량 주변 또는 로봇 주변으로 실제 패턴(Mr)이 방출되며,
    - 실제 패턴(Mr)이 카메라(3)에 의해 기록되고
    이때
    - 라이다 센서(2.1)의 좌표계에서 생성된 가상 패턴(Mv)은 라이다 센서(2.1)에 의해 차량 주변 또는 로봇 주변의 가상 평면(Ev)에 투영되고,
    - 라이다 센서(2.1)에 의해 방출된 레이저 방사선은 가상 평면(Ev)을 관통하여 가상 패턴(Mv)과 상관된 실제 패턴(Mr)이 실제 투영면(A)에 생성되며,
    - 카메라(3)에 의해 기록된 실제 패턴(Mr)은 실제 투영면(A)의 표면 양상을 기반으로 가상 평면(Ev)으로 역계산되고, 이로부터 왜곡 보정된 가상 패턴(Mev)이 카메라(3)의 좌표계에서 생성되고
    - 카메라(3) 및 라이다 센서(2.1) 중 적어도 하나는 가상 패턴(Mv)과 왜곡 보정된 가상 패턴(Mev)의 비교를 기반으로 캘리브레이션되는 것을 특징으로 하는 캘리브레이션 방법.
  2. 청구항 제1항에 있어서,
    실제 투영면(A)의 표면 양상은 라이다 센서(2.1)에 의해 검출된 실제 패턴(Mr)의 픽셀로부터의 거리에 기반하여 산출되는 것을 특징으로 하는 캘리브레이션 방법.
  3. 제1항 또는 제2항에 있어서,
    가상 패턴(Mv)과 왜곡 보정된 가상 패턴(Mev)을 비교하여 가상 패턴(Mv)을 왜곡 보정된 가상 패턴(Mev)으로 또는 왜곡 보정된 가상 패턴(Mev)을 가상 패턴(Mv)으로 환산하기 위한 적어도 하나 이상의 변환 방정식이 나오는 것을 특징으로 하는 캘리브레이션 방법.
  4. 제1항 또는 제2항에 있어서,
    카메라(3) 및 라이다 센서(2.1) 중 적어도 하나의 방위각·고도 오차가 캘리브레이션에서 산출되는 것을 특징으로 하는 캘리브레이션 방법.
  5. 제1항 또는 제2항에 있어서,
    라이다 센서(2.1)에 의해 방출된 레이저 방사선이 라이다 센서(2.1)의 회전 미러에 의해 가상 패턴(Mv)을 생성하기 위해 편향되는 것을 특징으로 하는 캘리브레이션 방법.
  6. 제1항 또는 제2항에 있어서,
    실제 패턴(Mr)이 카메라(3)에 의해 기록될 때, 카메라(3)에 의해 연속적으로 기록된 다수의 이미지(B)를 통한 통합이 수행되는 것을 특징으로 하는 캘리브레이션 방법.
  7. 제1항 또는 제2항에 있어서,
    카메라(3)가 캘리브레이션을 위해 캘리브레이션 모드로 전환되는 것을 특징으로 하는 캘리브레이션 방법.
  8. 제1항 또는 제2항에 있어서,
    가상 패턴(Mv)이 적외선 레이저 방사선에 의해 생성되는 것을 특징으로 하는 캘리브레이션 방법.
  9. 제1항 또는 제2항에 있어서,
    카메라(3)에 의해 기록된 이미지(B)를 생성하기 위해 카메라(3)에 충돌하는 광 방사선이 카메라 자체의 적외선 필터에 의해 필터링되는 것을 특징으로 하는 캘리브레이션 방법.
  10. 제9항에 있어서,
    - 라이다 센서(2.1)에서 방출되고 실제 투영면(A)에서 반사된 적외선 레이저 방사선에 투과성인 적외선 필터가 사용되고, 또는,
    - 카메라(3)의 캘리브레이션 모드에서 적외선 필터가 라이다 센서(2.1)에서 방출되고 실제 투영면(A)에서 반사된 적외선 레이저 방사선에 투과성으로 되는 것을 특징으로 하는 캘리브레이션 방법.
KR1020227025367A 2020-01-31 2020-12-14 차량이나 로봇의 카메라 및/또는 라이다 센서의 캘리브레이션 방법 KR20220114648A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020102466.5A DE102020102466A1 (de) 2020-01-31 2020-01-31 Verfahren zur Kalibrierung einer Kamera und/oder eines Lidarsensors eines Fahrzeugs oder eines Roboters
DE102020102466.5 2020-01-31
PCT/EP2020/085898 WO2021151572A1 (de) 2020-01-31 2020-12-14 Verfahren zur kalibrierung einer kamera und/oder eines lidarsensors eines fahrzeugs oder eines roboters

Publications (1)

Publication Number Publication Date
KR20220114648A true KR20220114648A (ko) 2022-08-17

Family

ID=74095798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227025367A KR20220114648A (ko) 2020-01-31 2020-12-14 차량이나 로봇의 카메라 및/또는 라이다 센서의 캘리브레이션 방법

Country Status (6)

Country Link
US (1) US12061295B2 (ko)
JP (1) JP7437513B2 (ko)
KR (1) KR20220114648A (ko)
CN (1) CN115023626A (ko)
DE (1) DE102020102466A1 (ko)
WO (1) WO2021151572A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240068814A (ko) 2022-11-04 2024-05-20 주식회사 테크웨이즈 자율주행차의 라이다 센서 평가 시스템 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4861034B2 (ja) 2006-03-29 2012-01-25 クラリオン株式会社 車載カメラのキャリブレーションシステム
CN100491903C (zh) * 2007-09-05 2009-05-27 北京航空航天大学 一种结构光视觉传感器结构参数标定方法
CN101882313B (zh) * 2010-07-14 2011-12-21 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
DE102015008551A1 (de) 2015-07-07 2016-01-14 Daimler Ag Kalibrierung einer Kameraeinheit eines Kraftwagens
DE102016008689A1 (de) * 2016-07-16 2017-02-09 Daimler Ag Sensorkalibriertarget zur Kalibrierung von verschiedenen, auf unterschiedlichen Prinzipien beruhenden Sensoreinrichtungen
DE102016009327A1 (de) 2016-07-30 2017-02-02 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung einer Kamera
EP3418681B1 (en) * 2017-06-22 2020-06-17 Hexagon Technology Center GmbH Calibration of a triangulation sensor
KR20200054326A (ko) * 2017-10-08 2020-05-19 매직 아이 인코포레이티드 경도 그리드 패턴을 사용한 거리 측정
CN109061610A (zh) * 2018-09-11 2018-12-21 杭州电子科技大学 一种摄像头与雷达的联合标定方法
DE102019000438A1 (de) 2019-01-22 2019-06-06 Daimler Ag Verfahren zu einer Kalibrierung einer fahrzeugeigenen Kamera
CN109901141B (zh) * 2019-02-28 2021-03-30 东软睿驰汽车技术（沈阳）有限公司 一种标定方法及装置
CN110363820B (zh) * 2019-06-28 2023-05-16 东南大学 一种基于激光雷达、图像前融合的目标检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240068814A (ko) 2022-11-04 2024-05-20 주식회사 테크웨이즈 자율주행차의 라이다 센서 평가 시스템 및 방법

Also Published As

Publication number Publication date
CN115023626A (zh) 2022-09-06
DE102020102466A1 (de) 2021-08-05
WO2021151572A1 (de) 2021-08-05
US20230082700A1 (en) 2023-03-16
US12061295B2 (en) 2024-08-13
JP2023510331A (ja) 2023-03-13
JP7437513B2 (ja) 2024-02-22

Similar Documents

Publication Publication Date Title
JP5891280B2 (ja) 環境を光学的に走査および測定する方法ならびにデバイス
JP5906272B2 (ja) 車両用ステレオ画像処理装置
US10218961B2 (en) Calibration method, calibration device, and computer program product
US8396251B2 (en) Method for determining the position of an object from a digital image
CN113538591A (zh) 一种距离测量装置与相机融合系统的标定方法及装置
US20230076693A1 (en) Method for calibrating a lidar sendor
JP2006038843A (ja) 距離画像センサの較正方法
KR20120126016A (ko) 서라운드뷰 시스템 카메라 자동 보정 전용 외부 변수
CN113538592A (zh) 一种距离测量装置与相机融合系统的标定方法及装置
JP7417859B2 (ja) 距離補正情報の算出方法、測距装置、移動体及びステレオカメラ装置
GB2396005A (en) Calibrating an image sensor system in an automotive vehicle
JP7096053B2 (ja) 車両の車両カメラを較正するための方法および装置
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
KR20120105761A (ko) 외부 환경 가시화 장치 및 그 방법
KR20220114648A (ko) 차량이나 로봇의 카메라 및/또는 라이다 센서의 캘리브레이션 방법
US20220091267A1 (en) Method for ascertaining an operating parameter for operating a surroundings detection system for a vehicle, and surroundings detection system
JP7356604B2 (ja) 車両のライダーセンサのキャリブレーション解除を認識するための方法
JP7259660B2 (ja) イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム
CN216133412U (zh) 一种距离测量装置与相机融合系统
US20240094363A1 (en) Method for Calibrating a Gated Camera, Control Unit for Carrying Out Such a Method, Calibrating Device Having Such a Control Unit and Motor Vehicle Having Such a Calibrating Device
JP6996582B2 (ja) 校正方法、校正装置及びプログラム
US20220260717A1 (en) Determining a pitch angle position of an active optical sensor system
JP6367584B2 (ja) カメラキャリブレーション装置
JP7436400B2 (ja) ステレオ画像処理装置及び画像補正手段
WO2017169079A1 (ja) 画像処理装置、画像処理方法および撮像素子