JP2023510331A - 車両又はロボットのカメラ及び/又はlidarセンサを較正するための方法 - Google Patents
車両又はロボットのカメラ及び/又はlidarセンサを較正するための方法 Download PDFInfo
- Publication number
- JP2023510331A JP2023510331A JP2022542293A JP2022542293A JP2023510331A JP 2023510331 A JP2023510331 A JP 2023510331A JP 2022542293 A JP2022542293 A JP 2022542293A JP 2022542293 A JP2022542293 A JP 2022542293A JP 2023510331 A JP2023510331 A JP 2023510331A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- pattern
- lidar sensor
- virtual
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000002596 correlated effect Effects 0.000 claims abstract description 3
- 230000009466 transformation Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
【選択図】図1
Description
Claims (10)
- 車両(1)又はロボットのカメラ(3)及び/又はLIDARセンサ(2.1)を較正するための方法であって、
-車両周囲又はロボット周囲の画像(B)は、前記カメラ(3)を使用して撮像され、
-実パターン(Mr)は、少なくとも1つのLIDARセンサ(2.1)を使用して、前記車両周囲又は前記ロボット周囲において前記カメラ(3)の撮像範囲の少なくとも1つの部分に放射され、
-前記実パターン(Mr)は、前記カメラ(3)を使用して撮像される、方法において、
-前記LIDARセンサ(2.1)の座標系において生成された仮想パターン(Mv)は、前記LIDARセンサ(2.1)を使用して、前記車両周囲又は前記ロボット周囲において仮想平面(Ev)上に投影され、
-前記LIDARセンサ(2.1)を使用して放射されたレーザ光線は、前記仮想平面(Ev)を貫通し、前記仮想パターン(Mv)と相関する前記実パターン(Mr)は、実投影面(A)上で生成され、
-前記カメラ(3)を使用して撮像された前記実パターン(Mr)は、前記実投影面(A)の表面プロファイルに基づいて前記仮想平面(Ev)へと再計算され、前記再計算から、ひずみ補正仮想パターン(Mev)は、前記カメラ(3)の座標系において生成され、
-前記カメラ(3)及び/又は前記LIDARセンサ(2.1)は、前記仮想パターン(Mv)と前記ひずみ補正仮想パターン(Mev)との比較に基づいて較正されることと、を特徴とする、方法。 - 前記実投影面(A)の前記表面プロファイルは、前記LIDARセンサ(2.1)を使用して決定された、前記実パターン(Mr)のピクセルまでの距離に基づいて決定されることを特徴とする、請求項1に記載の方法。
- 前記仮想パターン(Mv)の前記ひずみ補正仮想パターン(Mev)への変換及び/又は前記ひずみ補正仮想パターン(Mev)の前記仮想パターン(Mv)への変換のための少なくとも1つの変換方程式は、前記仮想パターン(Mv)と前記ひずみ補正仮想パターン(Mev)との比較において決定されることを特徴とする、請求項1又は2に記載の方法。
- 前記カメラ(3)及び/又は前記LIDARセンサ(2.1)の方位角誤差及び/又は仰角誤差は、前記較正において決定されることを特徴とする、請求項1から3のいずれか一項に記載の方法。
- 前記仮想パターン(Mv)を生成するために、前記LIDARセンサ(2.1)を使用して放射されたレーザ光線は、前記LIDARセンサ(2.1)の回転ミラーを使用して偏向されることを特徴とする、請求項1から4のいずれか一項に記載の方法。
- 前記実パターン(Mr)が前記カメラ(3)を使用して撮像されるとき、前記カメラ(3)の複数の連続撮像画像(B)にわたって積分が実行されることを特徴とする、請求項1から5のいずれか一項に記載の方法。
- 前記カメラ(3)は、前記較正のために較正モードに切り替えられることを特徴とする、請求項1から6のいずれか一項に記載の方法。
- 前記仮想パターン(Mv)は、赤外線レーザ光線を使用して生成されることを特徴とする、請求項1から7のいずれか一項に記載の方法。
- 前記カメラ(3)を使用して撮像された画像(B)を生成するために、前記カメラ(3)に入射する光線は、カメラ自体の赤外線フィルタを使用してフィルタリングされることを特徴とする、請求項1から8のいずれか一項に記載の方法。
- -前記LIDARセンサ(2.1)から放射され、かつ前記実投影面(A)により反射される赤外線レーザ光線に対して透過性である赤外線フィルタが使用されること、及び/又は
-前記赤外線フィルタは、前記カメラ(3)の較正モードでは、前記LIDARセンサ(2.1)から放射され、かつ前記実投影面(A)により反射される赤外線レーザ光線に対して透過性に切り替えられること、を特徴とする、請求項9に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020102466.5A DE102020102466A1 (de) | 2020-01-31 | 2020-01-31 | Verfahren zur Kalibrierung einer Kamera und/oder eines Lidarsensors eines Fahrzeugs oder eines Roboters |
DE102020102466.5 | 2020-01-31 | ||
PCT/EP2020/085898 WO2021151572A1 (de) | 2020-01-31 | 2020-12-14 | Verfahren zur kalibrierung einer kamera und/oder eines lidarsensors eines fahrzeugs oder eines roboters |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023510331A true JP2023510331A (ja) | 2023-03-13 |
JP7437513B2 JP7437513B2 (ja) | 2024-02-22 |
Family
ID=74095798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022542293A Active JP7437513B2 (ja) | 2020-01-31 | 2020-12-14 | 車両又はロボットのカメラ及び/又はlidarセンサを較正するための方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230082700A1 (ja) |
JP (1) | JP7437513B2 (ja) |
KR (1) | KR20220114648A (ja) |
CN (1) | CN115023626A (ja) |
DE (1) | DE102020102466A1 (ja) |
WO (1) | WO2021151572A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240068814A (ko) | 2022-11-04 | 2024-05-20 | 주식회사 테크웨이즈 | 자율주행차의 라이다 센서 평가 시스템 및 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090059011A1 (en) * | 2007-09-05 | 2009-03-05 | Junhua Sun | Calibration method for structure parameters of structured-light vision sensor |
DE102016009327A1 (de) * | 2016-07-30 | 2017-02-02 | Daimler Ag | Vorrichtung und Verfahren zur Kalibrierung einer Kamera |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4861034B2 (ja) | 2006-03-29 | 2012-01-25 | クラリオン株式会社 | 車載カメラのキャリブレーションシステム |
DE102015008551A1 (de) * | 2015-07-07 | 2016-01-14 | Daimler Ag | Kalibrierung einer Kameraeinheit eines Kraftwagens |
DE102019000438A1 (de) * | 2019-01-22 | 2019-06-06 | Daimler Ag | Verfahren zu einer Kalibrierung einer fahrzeugeigenen Kamera |
-
2020
- 2020-01-31 DE DE102020102466.5A patent/DE102020102466A1/de active Pending
- 2020-12-14 US US17/796,319 patent/US20230082700A1/en active Pending
- 2020-12-14 WO PCT/EP2020/085898 patent/WO2021151572A1/de active Application Filing
- 2020-12-14 CN CN202080094579.6A patent/CN115023626A/zh active Pending
- 2020-12-14 KR KR1020227025367A patent/KR20220114648A/ko unknown
- 2020-12-14 JP JP2022542293A patent/JP7437513B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090059011A1 (en) * | 2007-09-05 | 2009-03-05 | Junhua Sun | Calibration method for structure parameters of structured-light vision sensor |
DE102016009327A1 (de) * | 2016-07-30 | 2017-02-02 | Daimler Ag | Vorrichtung und Verfahren zur Kalibrierung einer Kamera |
Also Published As
Publication number | Publication date |
---|---|
JP7437513B2 (ja) | 2024-02-22 |
CN115023626A (zh) | 2022-09-06 |
WO2021151572A1 (de) | 2021-08-05 |
US20230082700A1 (en) | 2023-03-16 |
KR20220114648A (ko) | 2022-08-17 |
DE102020102466A1 (de) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5891280B2 (ja) | 環境を光学的に走査および測定する方法ならびにデバイス | |
US20230076693A1 (en) | Method for calibrating a lidar sendor | |
US10218961B2 (en) | Calibration method, calibration device, and computer program product | |
US8396251B2 (en) | Method for determining the position of an object from a digital image | |
JP2006038843A (ja) | 距離画像センサの較正方法 | |
KR101831672B1 (ko) | 차량 휠의 오리엔테이션을 결정하는 검출 장치 및 이에 관한 시스템 | |
CN103996183A (zh) | 校准机动车辆中的传感器总成的方法 | |
US20180276844A1 (en) | Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device | |
JP2000504418A (ja) | 距離及び/又は位置測定装置 | |
JP7437513B2 (ja) | 車両又はロボットのカメラ及び/又はlidarセンサを較正するための方法 | |
US20220091267A1 (en) | Method for ascertaining an operating parameter for operating a surroundings detection system for a vehicle, and surroundings detection system | |
CN105814400A (zh) | 校准车辆的相机的方法和系统 | |
CN116269059B (zh) | 扫地机器人标定系统及方法 | |
JP6816454B2 (ja) | 撮像装置、及び移動体システム | |
FR2884781A1 (fr) | Methode et dispositif de calibrage de camera | |
JP6996582B2 (ja) | 校正方法、校正装置及びプログラム | |
US20220260717A1 (en) | Determining a pitch angle position of an active optical sensor system | |
JP6949086B2 (ja) | カメラ装置、運転支援システムおよび車両 | |
JP6367584B2 (ja) | カメラキャリブレーション装置 | |
JP6907678B2 (ja) | 移動ロボット | |
JP2011180962A (ja) | 運転支援装置、運転支援方法およびプログラム | |
WO2020090041A1 (ja) | 光軸ズレ検出装置、対象物検出装置、および移動体 | |
WO2020016994A1 (ja) | 画像歪み検査装置、画像歪み検査方法及びプログラム | |
KR102435313B1 (ko) | 광전자 센서의 각도 위치를 결정하는 방법 및 테스트 스탠드 | |
JP4305142B2 (ja) | 画像補正方法及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7437513 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |