KR102390457B1 - 카메라를 이용한 라이다 센서 장착 오차 검사 장치 및 그 방법 - Google Patents

카메라를 이용한 라이다 센서 장착 오차 검사 장치 및 그 방법 Download PDF

Info

Publication number
KR102390457B1
KR102390457B1 KR1020200138202A KR20200138202A KR102390457B1 KR 102390457 B1 KR102390457 B1 KR 102390457B1 KR 1020200138202 A KR1020200138202 A KR 1020200138202A KR 20200138202 A KR20200138202 A KR 20200138202A KR 102390457 B1 KR102390457 B1 KR 102390457B1
Authority
KR
South Korea
Prior art keywords
lidar
inspection target
camera
lidar sensor
data
Prior art date
Application number
KR1020200138202A
Other languages
English (en)
Inventor
김영근
박재은
오선택
유지환
Original Assignee
한동대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한동대학교 산학협력단 filed Critical 한동대학교 산학협력단
Priority to KR1020200138202A priority Critical patent/KR102390457B1/ko
Application granted granted Critical
Publication of KR102390457B1 publication Critical patent/KR102390457B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 검사 타겟물 표면에 투영되는 라이다 빔을 카메라로 측정하여 라이다 센서의 장착 각도 및 위치를 추정하는 장착 오차 검사 장치 및 그 방법에 관한 것으로서, 라이다 센서에 의해 감지된 라이다 포인트 클라우드 데이터를 수집하는 라이다 데이터 수집부; 상기 라이다 센서의 레이저 빔들이 투영되는 검사 타겟물; 상기 라이다 센서에서 상기 검사 타겟물로 투영된 라이다 빔의 영상을 측정한 카메라로부터 영상 데이터인 카메라 데이터를 수집하는 카메라 데이터 수집부; 상기 라이다 포인트 클라우드 데이터와, 상기 카메라 데이터를 해석하여 라이다 센서의 장착 각도와 위치 추정 및 장착 오차를 검사하는 오차 판독부;를 포함한다.

Description

카메라를 이용한 라이다 센서 장착 오차 검사 장치 및 그 방법{INSPECTION APPARATUS OF LIDAR ALIGNMENT ERROR USING CAMERA AND THE METHOD THEREOF}
본 발명은 카메라를 이용한 라이다 센서 장착 오차 검사 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 검사 타겟물 표면에 투영되는 라이다 빔의 영상을 카메라로 측정하여 라이다 센서의 장착 각도 및 위치를 추정하는 기술에 관한 것이다.
자율 주행 시대에 맞춰 자동차, 드론, 로봇과 같은 모빌리티 시스템은 환경 인지 및 물체 검출을 위해 3차원 라이다 센서(3D LiDAR Sensor)를 사용하고 있다. 모빌리티 시스템의 기준 및 시각에서 라이다 센서로 인지된 장애물 및 표적 물체의 위치를 정확하게 인식하기 위해서는 라이다 센서가 사전에 정해진 각도, 위치에 따라서 모빌리티 시스템에 잘 부착이 되어야 한다.
만약 라이다 센서 장착에 오차가 발생하는 경우, 모빌리티 시스템과 표적 물체 및 장애물 간의 상대적 위치 산출 과정에서 오류가 발생되기에 심각한 안전 문제가 유발될 수 있다. 예를 들어, 장애물이 실제로는 시스템 정면에 위치하고 있지만, 라이다 센서의 장착 오차에 따라 장애물이 측면에 있는 것으로 잘못 인식하는 등 위험성이 존재한다. 이에 따라서, 고 안전 운용을 위해서는 모빌리티 시스템은 라이다 센서를 탑재한 후, 장착 오차에 대한 검사를 필수적으로 수행하여야 한다.
다만 기존의 라이다 센서의 장착 정보 추정 기술들은 라이다 센서의 데이터 정보만 사용하는 기술이며, 라이다 센서의 측정 해상도가 낮은 편이기에 장착 오차 추정 성능에 한계가 존재하였다.
본 발명의 목적은 검사 타겟물의 표면에 투영되는 라이다 센서의 빔 위치를 카메라로 직접 정확하게 측정하여 라이다 센서의 장착 오차를 추정함으로써, 기존 기술보다 더 높은 정확도 및 정밀도의 검사를 제공하고자 한다.
또한, 본 발명의 목적은 검사 타겟물 및 모빌리티 시스템의 좌표계를 기준으로 라이다 센서와 모빌리티 시스템 간의 포즈 및 라이다 센서와 검사 타겟물 간의 포즈를 획득하여 대응되는 정보들로부터 라이다 센서의 장착 위치 및 회전 각도 정보를 추정하여 라이다 센서의 장착 오차를 검사하고자 한다.
또한, 본 발명의 목적은 소형의 검사 타겟물로도 고정밀 측정이 가능하며, 정확한 라이다 센서의 장착 오차 측정 성능을 갖춘 장치로 소형으로 설계하여 모빌리티 시스템 생산 공정 및 생산 A/S 센터에 적용하고자 한다.
본 발명의 실시예에 따른 장착 오차 검사 장치는 라이다 센서에 의해 감지된 라이다 포인트 클라우드 데이터를 수집하는 라이다 데이터 수집부; 상기 라이다 센서의 레이저 빔들이 투영되는 검사 타겟물; 상기 라이다 센서에서 상기 검사 타겟물로 투영된 라이다 빔의 영상을 측정한 카메라로부터 영상 데이터인 카메라 데이터를 수집하는 카메라 데이터 수집부; 상기 라이다 포인트 클라우드 데이터와, 상기 카메라 데이터를 해석하여 라이다 센서의 장착 각도와 위치 추정 및 장착 오차를 검사하는 오차 판독부;를 포함한다.
상기 라이다 데이터 수집부는 상기 라이다 센서(LiDAR sensor)로부터, 상기 라이다 센서에 의해 방출되어 상기 검사 타겟물에 반사된 상기 라이다 빔에 의해 감지되는 빔에 대한 거리, 방위각, 고도 및 반사율을 포함하는 상기 라이다 포인트 클라우드 데이터를 수집할 수 있다.
상기 검사 타겟물은 상기 라이다 센서의 레이저 빔들이 투영되는 단일 혹은 다수의 물체로서 평면 형태 또는 사각형, 원통형, 커브형, 다이아몬드형 및 삼각형과 같은 입체 형태이며, 표면 상에 투영된 레이저 빔들이 카메라 영상으로 취득 가능한 표면 재질 혹은 부분적인 반사체 재질로 구성된 것일 수 있다.
상기 카메라 데이터 수집부는 상기 검사 타겟물의 표면을 향하여 표면에 투영된 레이저 파장을 인식하며 라이다 빔의 위치 및 기하학 정보를 포함하는 상기 카메라 데이터를 수집하는 RGB 또는 NIR의 카메라, 렌즈, 렌즈필터 및 데이터 수집장치일 수 있다.
상기 카메라 데이터 수집부는 카메라 캘리브레이션을 통해 상기 검사 타겟물에 투영되는 라이다 빔의 위치를 검사 타겟물의 좌표계, 모빌리티 시스템의 좌표계 혹은 기준 좌표계로 측정할 수 있다.
상기 오차 판독부는 영상처리 기법을 사용하여 상기 카메라 데이터에서 측정된 상기 라이다 빔의 위치 정보와 상기 라이다 포인트 클라우드 데이터에 포함된 라이다 빔에 대한 반사율, 거리, 방위각 및 고도 정보를 이용하여 상호간의 대응되는 정보들을 계산한 후, 검사 타겟물 및 모빌리티 시스템의 좌표계 기준에서 라이다 센서의 장착 위치 및 회전 각도 정보를 출력하여 상기 라이다 센서의 장착 오차를 검사할 수 있다.
상기 오차 판독부는 상기 카메라 데이터만을 이용하는 경우, 상기 카메라 데이터에 영상처리 기법을 통해 획득되는 상기 검사 타겟물의 표면에서의 라이다 빔의 위치 정보 및 빔 포인트 간의 거리 정보와 기울기 정보를 포함하는 기하학 데이터와 상기 라이다 센서의 고도/방위각 해상도, 시야각을 포함한 센서사양 정보를 활용하여 상기 검사 타겟물의 좌표계 혹은 모빌리티 시스템의 좌표계 기준에서 라이다 센서의 장착 위치 및 회전 각도 정보를 추정하여 상기 라이다 센서의 장착 오차를 검사할 수 있다.
본 발명의 실시예에 따른 장착 오차 검사 방법은 라이다 센서에 의해 감지된 라이다 포인트 클라우드 데이터를 수집하는 단계; 상기 라이다 센서에서 검사 타겟물로 투영된 라이다 빔의 영상을 측정한 카메라로부터 영상 데이터인 카메라 데이터를 수집하는 단계; 및 상기 라이다 포인트 클라우드 데이터와, 상기 카메라 데이터를 해석하여 라이다 센서의 장착 각도와 위치 추정 및 장착 오차를 검사하는 단계;를 포함한다.
본 발명의 실시예에 따르면, 검사 타겟물의 표면에 투영되는 라이다 센서의 빔 위치를 카메라로 직접 정확하게 측정하여 라이다 센서의 장착 오차를 추정함으로써, 기존 기술보다 더 높은 정확도 및 정밀도의 검사를 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 검사 타겟물 및 모빌리티 시스템의 좌표계를 기준으로 라이다 센서와 모빌리티 시스템 간의 포즈 및 라이다 센서와 검사 타겟물 간의 포즈를 획득하여 대응되는 정보들로부터 라이다 센서의 장착 위치 및 회전 각도 정보를 추정하여 라이다 센서의 장착 오차를 검사할 수 있다.
또한, 본 발명의 실시예에 따르면, 소형의 검사 타겟물로도 고정밀 측정이 가능하며, 정확한 라이다 센서의 장착 오차 측정 성능을 갖춘 장치로 소형으로 설계하여 모빌리티 시스템 생산 공정 및 생산 A/S 센터에 적용할 수 있다.
도 1은 본 발명의 실시예에 따른 라이다 센서의 장착 오차 검사 장치의 세부 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 실시예에 따른 장착 오차 검사 장치의 적용 예를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 장착 오차 검사 장치를 이용하여 라이다 센서의 장착 오차를 검사하는 예를 설명하기 위해 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 카메라 데이터를 이용하여 라이다 센서의 장착 오차 검사 예를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 센서 장착 오차의 방향 및 정도에 따라 취득되는 카메라 데이터의 예를 도시한 것이다.
도 6은 본 발명의 실시예에 따른 장착 오차 검사 방법의 동작 흐름도를 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 실시예들은, 라이다 센서의 장착 오차를 검사하기 위해 평면 및 입체형 검사 타겟물에 투영되는 라이다 빔들을 카메라로 측정하여 검사 타겟물과 라이다 센서 간의 상대 위치 및 각도를 보다 정확하게 측정함으로써, 라이다 센서의 장착 오차를 검사하는 것을 특징으로 한다.
본 발명은 자동차, 로봇, 드론에 탑재되는 3D 라이다 센서의 장착 오차를 측정하는 자동 검사 장비의 핵심 기술로서 검사 타겟물에 투영되는 라이다 빔들을 카메라로 측정하여 라이다 센서의 장착 변수인 상대적 위치 및 회전(또는 각도)을 정확하게 측정하고자 한다.
이하에서는 도 1 내지 도 6을 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 라이다 센서의 장착 오차 검사 장치의 세부 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 본 발명의 실시예에 따른 라이다 센서의 장착 오차 검사 장치는 검사 타겟물 표면에 투영되는 라이다 빔을 카메라로 측정하여 라이다 센서의 장착 각도 및 위치를 검사한다.
이를 위해, 본 발명의 실시예에 따른 라이다 센서의 장착 오차 검사 장치(100)는 라이다 데이터 수집부(110), 카메라 데이터 수집부(120) 및 오차 판독부(130)를 포함한다. 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 장착 오차 검사 장치(100)는 라이다 센서 및 카메라로부터 수신되는 데이터를 이용하여 라이다 센서의 장착 오차를 검사한다.
라이다(Light Detection And Ranging) 센서는 펄스 레이저를 목표물(검사 타겟물)에 방출하고 빛(또는 빔)이 돌아오기까지 걸리는 시간 및 강도를 측정하여 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성을 감지하는 기술이며, 작업을 수행한 다음 그 결과를 포인트 클라우드에 수집한다. 이로 인해, 클라우드는 실시간으로 3차원 영상(맵)을 구현할 수 있다.
본 발명의 실시예에 따른 장착 오차 검사 장치(100)의 라이다 데이터 수집부(110)는 라이다 센서에 의해 감지된 라이다 포인트 클라우드 데이터를 수집한다. 보다 구체적으로, 라이다 데이터 수집부(110)는 라이다 센서(LiDAR sensor)로부터, 라이다 센서에 의해 방출되어 검사 타겟물에 반사된 라이다 빔에 의해 감지되는 빔에 대한 거리, 방위각, 고도 및 반사율을 포함하는 라이다 포인트 클라우드 데이터를 수집할 수 있다.
이 때, 검사 타겟물은 라이다 센서의 레이저 빔들이 투영되는 단일 혹은 다수의 물체로서 평면 형태 또는 사각형, 원통형, 커브형, 다이아몬드형 및 삼각형과 같은 입체 형태일 수 있으며, 표면 상에 투영된 레이저 빔들이 카메라 영상으로 취득 가능한 표면 재질 혹은 부분적으로 관심 영역 내 특정 라이다 빔 검출을 위한 반사테잎(retroreflection)을 사용한 것일 수 있다. 검사 타겟물은 라이다 센서의 정면, 측면을 포함한 시야각 근방에 위치하는 것으로, 센서 좌표계(또는 모빌리티 시스템의 좌표계)와 대응하는 기준 좌표계를 포함할 수 있다.
카메라 데이터 수집부(120)는 라이다 센서에서 검사 타겟물로 투영된 라이다 빔의 영상을 측정한 카메라로부터 영상 데이터인 카메라 데이터를 수집한다.
본 발명의 실시예에 따른 카메라는 검사 타겟물의 모든 표면이 시야에 관측되도록 촬영하기 위해 검사 타겟물의 부근에 위치하는 것으로, 검사 타겟물에 일체형으로 고정되거나 검사 타겟물과의 상대적 위치를 나타내는 기 지정된 지점에 위치할 수 있다. 이 때, 사전에 카메라 캘리브레이션(Camera Calibration) 과정을 통해 카메라와 검사 타겟물 간의 좌표계 관계식을 산출하여 설정할 수 있다.
나아가, 카메라는 검사 타겟물의 표면을 향하는 표면에 투영된 레이저 파장을 인식하며 라이다 빔의 위치 및 기하학 정보를 포함하는 카메라 데이터를 수집하기 위해 라이다 빔 스펙트럼(Near Infra-Red) 영역까지 측정 가능한 한대 혹은 다수의 RGB, NIR 카메라일 수 있으며, 라이다 빔의 파장 측정을 위한 카메라 렌즈 예를 들면, NIR 렌즈 필터를 사용할 수 있다.
카메라 데이터 수집부(120)는 검사 타겟물의 표면을 향하는 카메라로부터 검사 타겟물의 표면에 투영된 라이다 빔의 좌표(또는 검사 타겟물의 좌표계)를 포함하는 카메라 데이터를 수집할 수 있다. 이 때, 카메라 데이터는 카메라를 통해 촬영된 이미지일 수 있으며, 검사 타겟물의 표면 상에 라이다 빔의 위치를 나타낼 수 있다.
카메라 데이터 수집부(120)는 카메라로부터 수집된 카메라 데이터를 통해 검사 타겟물에 투영되는 라이다 빔의 위치를 검사 타겟물의 좌표계, 모빌리티 시스템의 좌표계 혹은 기준 좌표계로 측정할 수 있다.
오차 판독부(130)는 라이다 포인트 클라우드 데이터와, 카메라 데이터를 해석하여 라이다 센서의 장착 각도와 위치 추정 및 장착 오차를 검사한다.
오차 판독부(130)는 영상처리 기법을 사용하여 카메라 데이터에서 측정된 라이다 빔의 위치 정보와 라이다 포인트 클라우드 데이터에 포함된 라이다 빔에 대한 반사율, 거리, 방위각 및 고도 정보를 이용하여 상호간의 대응되는 정보들을 계산한 후, 검사 타겟물 및 모빌리티 시스템의 좌표계 기준에서 라이다 센서의 장착 위치 및 회전 각도 정보를 출력하여 라이다 센서의 장착 오차를 검사할 수 있다.
보다 상세하게, 오차 판독부(130)는 검사 타겟물에 투영되는 라이다 빔들에 대한 이미지인 카메라 데이터에 영상처리 기법을 적용하여 다수의 빔 스팟 중심점 위치(
Figure 112020112601658-pat00001
)를 검사 타겟물의 좌표계(
Figure 112020112601658-pat00002
)에서 측정할 수 있다. 또한, 오차 판독부(130)는 해당 라이다 빔의 3차원 위치 정보(
Figure 112020112601658-pat00003
)를 모빌리티 시스템의 좌표계(
Figure 112020112601658-pat00004
)에서 취득한 후, 하기의 [수식 1]을 사용하여 다양한 수치해석 기법을 통해 라이다 센서와 카메라 간의 상대적 6자유도 정보인 3축 회전정보(
Figure 112020112601658-pat00005
) 및 3축 위치정보(
Figure 112020112601658-pat00006
)를 산출할 수 있다.
[수식 1]
Figure 112020112601658-pat00007
여기서,
Figure 112020112601658-pat00008
는 카메라 데이터로부터 획득되는 카메라 영상 정보를 변환한 검사 타겟물의 표면 상의 기준 좌표계에서 측정된 각각의 라이다 빔의 위치를 나타낸다. 또한,
Figure 112020112601658-pat00009
는 라이다 포인트 클라우드 데이터이며, 라이다 센서에서 측정한 각각의 빔에 대한 거리(
Figure 112020112601658-pat00010
), 방위각(
Figure 112020112601658-pat00011
) 및 고도(
Figure 112020112601658-pat00012
)를 나타낸다. 또한,
Figure 112020112601658-pat00013
및
Figure 112020112601658-pat00014
는 검사 타겟물에 투영된 라이다 빔의 회전 및 위치 오차 정보를 나타낸다.
오차 판독부(130)는 [수식 1]을 통해 검사 타겟물을 기준으로 하여 라이다 센서에 대한 라이다 센서 장착 회전 각도 및 라이다 센서 장착 변위를 포함한 장착 정보를 산출할 수 있다. 이 때, 상기 라이다 센서 장착 회전 각도는 roll(
Figure 112020112601658-pat00015
), pitch(
Figure 112020112601658-pat00016
), yaw(
Figure 112020112601658-pat00017
)를 나타내고, 상기 라이다 센서 장착 변위는 수평 위치(
Figure 112020112601658-pat00018
), 수직 위치(
Figure 112020112601658-pat00019
), 거리 위치(
Figure 112020112601658-pat00020
)를 나타낸다.
일 실시예에 따라서, 장착 오차 검사 장치(100)는 라이다 센서로부터 감지되는 라이다 포인트 클라우드 데이터 없이 오직 카메라 데이터만을 이용하여 라이다 센서의 장착 오차를 검사할 수 있다.
일 예로, 오차 판독부(130)는 카메라 데이터만을 이용하는 경우, 카메라 데이터에서 획득되는 검사 타겟물의 표면에서의 기하학 데이터를 사용하여 라이다 센서의 장착 오차를 검사할 수 있다.
보다 상세하게, 오차 판독부(130)는 장착 오차가 없는 라이다 센서로부터 검사 타겟물에 투영된 라이다 빔에 대한 카메라 이미지를 나타내는 기준 영상 데이터와 장착 오차가 발생한 뒤 취득된 검사 타겟물에 투영된 라이다 빔에 대한 카메라 이미지를 나타내는 측정 영상 데이터를 사용할 수 있다. 이에, 오차 판독부(130)는 확보된 영상 데이터에 영상처리 기법을 통해 처리하여 획득되는 검사 타겟물의 표면에서의 라이다 빔의 위치 정보 및 빔 포인트 간의 거리 정보와 기울기 정보를 포함하는 기하학 데이터와 라이다 센서의 기술문서에 명시된 고도/방위각 해상도 및 시야각 정보 등을 포함한 센서사양 정보를 활용하여 검사 타겟물의 좌표계(기준 좌표계) 혹은 모빌리티 시스템의 좌표계(센서 좌표계) 기준에서 라이다 센서의 장착 위치 및 회전 각도 정보를 추정하여 라이다 센서의 장착 오차를 검사할 수 있다.
도 2는 본 발명의 실시예에 따른 장착 오차 검사 장치의 적용 예를 도시한 것이다.
도 2를 참조하면, 라이다 센서(210)를 포함한 자동차인 모빌리티 시스템(201)을 나타내며, 라이다 센서(210)의 장착 오차를 검사하기 위한 검사 타겟물(220) 및 카메라(230)를 나타낸다. 이 때, 모빌리티 시스템(201)과 검사 타겟물(220), 그리고 검사 타겟물(220)와 라이다 센서(210)는 기 설정된 지점에 위치하는 것으로, 라이다 센서(210)는 모빌리티 시스템(201)에 적어도 하나 이상의 개수로 위치하며, 검사 타겟물(220)는 모빌리티 시스템(201)에서 측정하고자 하는 라이다 센서(210)의 정면, 측면을 포함한 시야각 근방에 위치하고, 카메라(230)는 검사 타겟물(220)의 표면을 수집하기 위해 검사 타겟물(220) 부근에 위치한다.
본 발명은 검사 타겟물(220) 및 모빌리티 시스템(201)의 좌표계를 기준으로 라이다 센서(210)와 모빌리티 시스템(201) 간의 포즈(pose) 및 라이다 센서(210)와 검사 타겟물(220) 간의 포즈를 획득하여 대응되는 정보들로부터 라이다 센서(210)의 장착 위치 및 회전 각도 정보를 추정하여 장착 오차를 검사하고자 한다.
이에 따라서, 본 발명의 실시예에 따른 장착 오차 검사 장치는 라이다 센서(210)의 장착 오차를 검사하기 위해 평면 또는 입체형 형태의 타겟물인 검사 타겟물(220)에 투영되는 라이다 빔들을 카메라(230)로 측정하여 검사 타겟물(220)와 라이다 센서(210) 간의 상대 위치 및 각도(최대 6자유도)의 변수를 측정하여 라이다 센서(210)의 장착 오차를 검사한다. 이 때, 검사 타겟물(220)의 좌표계(기준 좌표계)와 모빌리티 시스템(201)의 좌표계(센서 좌표계)의 상호관계는 사전에 정해진 것이므로 고정된 포즈로 가정한다.
구체적으로, 장착 오차 검사 장치는 라이다 센서(210)에 의해 감지된 라이다 포인트 클라우드 데이터와 카메라(230)에서 측정된 카메라 데이터를 이용하여 라이다 센서(210)에 대한 라이다 센서 장착 회전 각도 및 라이다 센서 장착 변위를 포함한 장착 정보를 산출할 수 있으며, 이에 대한 상세한 과정은 하기의 도 3을 통해 설명하고자 한다. 여기서, 상기 라이다 센서 장착 회전 각도는 roll(
Figure 112020112601658-pat00021
), pitch(
Figure 112020112601658-pat00022
), yaw(
Figure 112020112601658-pat00023
)를 나타내고, 상기 라이다 센서 장착 변위는 수평 위치(
Figure 112020112601658-pat00024
), 수직 위치(
Figure 112020112601658-pat00025
), 거리 위치(
Figure 112020112601658-pat00026
)를 나타낸다.
도 3은 본 발명의 실시예에 따른 장착 오차 검사 장치를 이용하여 라이다 센서의 장착 오차를 검사하는 예를 설명하기 위해 도시한 것이다.
도 3을 참조하면, 도 2와 유사하게 모빌리티 시스템에 포함된 라이다 센서(210)와 라이다 센서(210)의 장착 오차를 검사하기 위한 검사 타겟물(220) 및 카메라(230)를 나타낸다. 이 때, 검사 타겟물(220)는 측정하고자 하는 라이다 센서(210)의 정면, 측면을 포함한 시야각 근방에 위치하고, 카메라(230)는 검사 타겟물(220)의 표면을 수집하기 위해 검사 타겟물(220) 부근에 위치한다.
라이다 센서(210)에 의해 감지된 라이다 포인트 클라우드 데이터는 하기의 [수식 2]와 같이 센서 좌표계(L)에서의 라이다 빔에 대한 거리(r), 방위각(α) 및 고도(ω)로 표현된다.
[수식 2]
Figure 112020112601658-pat00027
또한, 카메라(230)는 라이다 센서(210)에서 검사 타겟물(220)의 표면으로 투영된 라이다 빔을 스캔(221)하여 검사 타겟물(220) 표면에 투영된 라이다 빔 스팟을 보여주는 영상 데이터인 카메라 데이터(231)를 획득하며, 카메라 데이터는 하기의 [수식 3]과 같이 기준 좌표계(O)에서의 라이다 빔의 위치를 나타낸다.
[수식 3]
Figure 112020112601658-pat00028
여기서, 기준 좌표계(O)는 검사 타겟물(220)의 표면에 투영된 라이다 빔들의 위치(
Figure 112020112601658-pat00029
)를 나타낸다.
본 발명의 실시예에 따른 장착 오차 검사 장치는 라이다 빔에 대한 센서 좌표계(또는 모빌리티 시스템의 좌표계) 및 기준 좌표계(또는 검사 타겟물의 좌표계)를 이용하여 검사 타겟물(220)와 라이다 센서(210) 간의 3축 회전 각도(
Figure 112020112601658-pat00030
) 및 3축 변위(
Figure 112020112601658-pat00031
) 정보를 추정하여 라이다 센서(210)의 장착 오차를 검사하게 된다. 여기서, 3축 회전 각도는 하기의 [수식 4]를 통해 산출된다.
[수식 4]
Figure 112020112601658-pat00032
도 4는 본 발명의 일 실시예에 따른 카메라 데이터를 이용하여 라이다 센서의 장착 오차 검사 예를 도시한 것이며, 도 5는 본 발명의 일 실시예에 따른 센서 장착 오차의 방향 및 정도에 따라 취득되는 카메라 데이터의 예를 도시한 것이다.
본 발명의 실시예에 따른 장착 오차 검사 장치는 일 실시예에 따라서 라이다 센서(210)로부터 감지되는 라이다 포인트 클라우드 데이터 없이 오직 카메라 데이터(410)만을 이용하여 라이다 센서의 장착 오차를 검사할 수 있으며, 카메라 데이터만을 이용한 라이다 센서 장착 오차 검사는 기준 영상 데이터(510)와 측정 영상 데이터(520) 두가지를 모두 활용 또는 측정 영상 데이터(520)만을 활용할 수 있다.
기준 영상 데이터(510)는 장착 오차가 없는 라이다 센서(210)로부터 검사 타겟물(220)에 투영된 라이다 빔에 대해 카메라(230)로 획득된 카메라 이미지를 나타내고, 측정 영상 데이터(520)는 장착 오차가 발생한 뒤에 라이다 센서(210)로부터 검사 타겟물(220)에 투영된 라이다 빔에 대해 카메라(230)로 획득된 카메라 이미지를 나타낸다.
나아가, 검사 타겟물(220)는 라이다 센서(210)의 측정 범위(211) 내에서 1개 혹은 다수의 타겟으로 위치할 수 있으며, 측정 범위(211)의 끝부분을 포함한 다른 위치에도 설치될 수 있다.
도 4 및 도 5를 참조하면, 라이다 센서(210)의 장착 오차로 인해 측정 영상 데이터(520)가 장착 오차의 방향 및 정도에 따라 기준 영상 데이터(510)와 상이하며, 이와 같이 장착 오차의 방향 및 정도에 따라 취득된 측정 영상 데이터(520)의 라이다 빔 패턴 역시 변화하므로 도 6의 알고리즘을 활용하여 라이다 센서의 회전 및 변위 정보를 추정할 수 있다.
도 6은 본 발명의 실시예에 따른 장착 오차 검사 방법의 동작 흐름도를 도시한 것이다.
도 6의 방법은 도 1에 도시된 본 발명의 실시예에 따른 장착 오차 검사 장치에 의해 수행된다.
도 6을 참조하면, 단계 610에서, 검사 타겟물과 카메라 간의 캘리브레이션을 수행한다. 사전에 카메라 캘리브레이션(Camera Calibration) 과정을 통해 카메라와 검사 타겟물 간의 좌표계 관계식을 산출하여 설정할 수 있다.
이 때, 검사 타겟물은 라이다 센서(LiDAR sensor)의 레이저 빔들이 투영되는 단일 혹은 다수의 물체로서 평면 형태 또는 사각형, 원통형, 커브형, 다이아몬드형 및 삼각형과 같은 입체 형태일 수 있으며, 표면 상에 투영된 레이저 빔들이 카메라 영상으로 취득 가능한 표면 재질 혹은 부분적으로 관심 영역 내 특정 라이다 빔 검출을 위한 반사테잎(retroreflection)을 사용한 것일 수 있다. 검사 타겟물은 라이다 센서의 정면, 측면을 포함한 시야각 근방내 위치하는 것으로, 센서 좌표계(또는 모빌리티 시스템의 좌표계)와 대응하는 기준 좌표계를 포함할 수 있다.
단계 620에서, 카메라에서 영상 데이터를 수집한다. 단계 620은 검사 타겟물 표면에 투영된 라이다 빔 이미지에 대한 영상 데이터인 카메라 데이터를 수집할 수 있다.
단계 620은 검사 타겟물의 표면을 향하는 카메라로부터 검사 타겟물의 표면에 투영된 라이다 빔의 좌표(또는 검사 타겟물의 좌표계)를 포함하는 카메라 데이터를 수집할 수 있다. 이 때, 카메라 데이터는 카메라를 통해 촬영된 이미지일 수 있으며, 검사 타겟물의 표면 상에 라이다 빔의 위치를 나타낼 수 있다.
본 발명의 실시예에 따른 카메라는 검사 타겟물의 모든 표면이 시야에 관측되도록 촬영하기 위해 검사 타겟물의 부근에 위치하는 것으로, 검사 타겟물에 일체형으로 고정되거나 검사 타겟물과의 상대적 위치를 나타내는 기 지정된 지점에 위치할 수 있다.
나아가, 카메라는 검사 타겟물의 표면을 향하는 표면에 투영된 레이저 파장을 인식하며 라이다 빔의 위치 및 기하학 정보를 포함하는 카메라 데이터를 수집하기 위해 라이다 빔 스펙트럼(Near Infra-Red) 영역까지 측정 가능한 한대 혹은 다수의 RGB, NIR 카메라일 수 있으며, 라이다 빔의 파장 측정을 위한 카메라 렌즈 예를 들면, NIR 렌즈 필터를 사용할 수 있다.
단계 630에서, 카메라 데이터에서 각 빔 포인트 위치 정보 및 포인트 간 거리, 기울기 등 기학적 정보 계산을 위한 영상 처리를 수행한다.
단계 620은 카메라로부터 수집된 카메라 데이터를 통해 검사 타겟물에 투영되는 라이다 빔의 위치를 검사 타겟물의 좌표계, 모빌리티 시스템의 좌표계 혹은 기준 좌표계로 측정할 수 있다.
이후에, 단계 640에서 라이다 데이터를 사용하는 경우, 단계 660은 라이다 센서에 의해 감지된 라이다 포인트 클라우드 데이터를 수집한다. 보다 구체적으로, 단계 660은 라이다 센서(LiDAR sensor)로부터, 라이다 센서에 의해 방출되어 검사 타겟물에 반사된 라이다 빔에 의해 감지되는 빔에 대한 거리, 방위각, 고도 및 반사율을 포함하는 라이다 포인트 클라우드 데이터를 수집할 수 있다.
단계 670에서, 포인트 클라우드 데이터에 대한 신호 처리를 수행하며, 단계 680에서, 라이다 포인트 클라우드 데이터와, 카메라 데이터를 해석하여 라이다 센서의 장착 정보를 계산한다.
단계 680은 영상처리 기법을 사용하여 카메라 데이터에서 측정된 라이다 빔의 위치 정보와 라이다 포인트 클라우드 데이터에 포함된 라이다 빔에 대한 반사율, 거리, 방위각 및 고도 정보를 이용하여 상호간의 대응되는 정보들을 계산한 후, 검사 타겟물 및 모빌리티 시스템의 좌표계 기준에서 라이다 센서의 장착 위치 및 회전 각도 정보를 출력할 수 있다.
이후에, 단계 690에서, 라이다 센서의 장착 오차를 검사한다.
일 실시예에 따라서, 단계 640에서 라이다 데이터를 사용하지 않는 경우, 단계 650은 라이다 센서로부터 감지되는 라이다 포인트 클라우드 데이터 없이 영상 데이터인 카메라 데이터만을 이용하여 라이다 센서의 장착 오차 정보를 계산한다.
단계 650에서 장착 오차가 없는 라이다 센서로부터 검사 타겟물에 투영된 라이다 빔에 대한 카메라 이미지를 나타내는 기준 영상 데이터(510)가 확보된 경우, 장착 오차가 발생한 뒤 취득된 검사 타겟물에 투영된 라이다 빔에 대한 카메라 이미지를 나타내는 측정 영상 데이터(520)의 빔 패턴이 서로 상이하다는 특징을 사용할 수 있다. 이에, 기준 영상 데이터(510)를 기준으로 측정 영상 데이터(520)와의 빔패턴 특징의 차이 정보와, 영상처리 기법을 통해 획득되는 검사 타겟물의 표면에서의 라이다 빔의 위치 정보 및 빔 포인트 간의 거리 정보와 기울기 정보를 포함하는 기하학 데이터와, 라이다 센서의 기술문서에 명시된 고도/방위각 해상도 및 시야각 정보 등을 포함한 센서사양 정보를 활용하여 검사 타겟물의 좌표계(기준 좌표계) 혹은 모빌리티 시스템의 좌표계(센서 좌표계) 기준에서 라이다 센서의 장착 위치 및 회전 각도 정보를 추정한다. 일 실시예에 따라서, 기준 영상 데이터(510)가 확보되지 않은 경우, 상술한 기준 영상 데이터(510)를 기준으로 측정 영상 데이터(520)와의 빔패턴 특징의 차이 정보를 제외한 데이터들을 활용하여 라이다 센서의 장착 위치 및 회전 각도 정보를 추정한다. 이후 단계 690을 통해 라이다 센서의 장착 오차를 검사할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
201: 모빌리티 시스템
210: 라이다 센서
211: 라이다 센서 측정 범위
220: 검사 타겟물
221: 라이다 빔 스캔
230: 카메라
231, 410: 카메라 데이터
510: 기준 영상 데이터
520: 측정 영상 데이터

Claims (8)

  1. 라이다 센서에 의해 감지된 라이다 포인트 클라우드 데이터를 수집하는 라이다 데이터 수집부;
    상기 라이다 센서의 레이저 빔들이 투영되는 검사 타겟물;
    상기 라이다 센서에서 상기 검사 타겟물로 투영된 라이다 빔의 영상을 측정한 카메라로부터 영상 데이터인 카메라 데이터를 수집하는 카메라 데이터 수집부; 및
    상기 라이다 포인트 클라우드 데이터와, 상기 카메라 데이터 혹은 상기 카메라 데이터만 해석하여 라이다 센서의 장착 각도와 위치 추정 및 장착 오차를 검사하는 판독부를 포함하되,
    상기 카메라 데이터 수집부는
    카메라 캘리브레이션을 통해 상기 검사 타겟물에 투영되는 라이다 빔의 위치를 검사 타겟물의 좌표계, 모빌리티 시스템의 좌표계 혹은 기준 좌표계로 측정하며,
    상기 오차 판독부는
    상기 카메라 데이터만을 이용하는 경우, 상기 카메라 데이터에 영상처리 기법을 통해 획득되는 상기 검사 타겟물의 표면에서의 라이다 빔의 위치 정보 및 빔 포인트 간의 거리 정보와 기울기 정보를 포함하는 기하학 데이터와 상기 라이다 센서의 고도/방위각 해상도, 시야각을 포함한 센서사양 정보를 활용하여 상기 검사 타겟물의 좌표계 혹은 모빌리티 시스템의 좌표계 기준에서 라이다 센서의 장착 위치 및 회전 각도 정보를 추정하여 상기 라이다 센서의 장착 오차를 검사하고,
    상기 라이다 센서는 상기 모빌리티 시스템에 적어도 하나 이상의 개수로 위치하며, 상기 검사 타겟물은 상기 모빌리티 시스템에서 측정하고자 하는 상기 라이다 센서의 정면, 측면을 포함한 시야각 근방에 위치하고, 상기 카메라는 상기 검사 타겟물의 표면을 수집하기 위해 상기 검사 타겟물 부근에 위치하는 것을 특징으로 하는, 장착 오차 검사 장치.
  2. 제1항에 있어서,
    상기 라이다 데이터 수집부는
    상기 라이다 센서(LiDAR sensor)로부터, 상기 라이다 센서에 의해 방출되어 상기 검사 타겟물에 반사된 상기 라이다 빔에 의해 감지되는 빔에 대한 거리, 방위각, 고도 및 반사율을 포함하는 상기 라이다 포인트 클라우드 데이터를 수집하는, 장착 오차 검사 장치.
  3. 제1항에 있어서,
    상기 검사 타겟물은
    상기 라이다 센서(LiDAR sensor)의 레이저 빔들이 투영되는 단일 혹은 다수의 물체로서 평면 형태 또는 사각형, 원통형, 커브형, 다이아몬드형 및 삼각형과 같은 입체 형태이며, 표면 상에 투영된 레이저 빔들이 카메라 영상으로 취득 가능한 표면 재질 혹은 부분적인 반사체 재질로 구성된 것을 특징으로 하는, 장착 오차 검사 장치.
  4. 제1항에 있어서,
    상기 카메라 데이터 수집부는
    상기 검사 타겟물의 표면을 향하여 표면에 투영된 레이저 파장을 인식하며 라이다 빔의 위치 및 기하학 정보를 포함하는 상기 카메라 데이터를 수집하는 RGB 또는 NIR의 카메라, 렌즈, 렌즈필터 및 데이터 수집장치인, 장착 오차 검사 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 오차 판독부는
    영상처리 기법을 사용하여 상기 카메라 데이터에서 측정된 상기 라이다 빔의 위치 정보와 상기 라이다 포인트 클라우드 데이터에 포함된 라이다 빔에 대한 반사율, 거리, 방위각 및 고도 정보를 이용하여 상호간의 대응되는 정보들을 계산한 후, 상기 검사 타겟물 및 모빌리티 시스템의 좌표계 기준에서 라이다 센서의 장착 위치 및 회전 각도 정보를 추정하여 상기 라이다 센서의 장착 오차를 검사하는, 장착 오차 검사 장치.
  7. 삭제
  8. 라이다 센서에 의해 감지된 라이다 포인트 클라우드 데이터를 수집하는 단계;
    상기 라이다 센서에서 검사 타겟물로 투영된 라이다 빔의 영상을 측정한 카메라로부터 영상 데이터인 카메라 데이터를 수집하는 단계; 및
    상기 라이다 포인트 클라우드 데이터와, 상기 카메라 데이터 혹은 상기 카메라 데이터만 해석하여 라이다 센서의 장착 각도와 위치 추정 및 장착 오차를 검사하는 단계를 포함하되,
    상기 카메라 데이터를 수집하는 단계는
    카메라 캘리브레이션을 통해 상기 검사 타겟물에 투영되는 라이다 빔의 위치를 검사 타겟물의 좌표계, 모빌리티 시스템의 좌표계 혹은 기준 좌표계로 측정하며,
    상기 검사하는 단계는
    상기 카메라 데이터만을 이용하는 경우, 상기 카메라 데이터에 영상처리 기법을 통해 획득되는 상기 검사 타겟물의 표면에서의 라이다 빔의 위치 정보 및 빔 포인트 간의 거리 정보와 기울기 정보를 포함하는 기하학 데이터와 상기 라이다 센서의 고도/방위각 해상도, 시야각을 포함한 센서사양 정보를 활용하여 상기 검사 타겟물의 좌표계 혹은 모빌리티 시스템의 좌표계 기준에서 라이다 센서의 장착 위치 및 회전 각도 정보를 추정하여 상기 라이다 센서의 장착 오차를 검사하고,
    상기 라이다 센서는 상기 모빌리티 시스템에 적어도 하나 이상의 개수로 위치하며, 상기 검사 타겟물은 상기 모빌리티 시스템에서 측정하고자 하는 상기 라이다 센서의 정면, 측면을 포함한 시야각 근방에 위치하고, 상기 카메라는 상기 검사 타겟물의 표면을 수집하기 위해 상기 검사 타겟물 부근에 위치하는 것을 특징으로 하는, 장착 오차 검사 방법.
KR1020200138202A 2020-10-23 2020-10-23 카메라를 이용한 라이다 센서 장착 오차 검사 장치 및 그 방법 KR102390457B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200138202A KR102390457B1 (ko) 2020-10-23 2020-10-23 카메라를 이용한 라이다 센서 장착 오차 검사 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200138202A KR102390457B1 (ko) 2020-10-23 2020-10-23 카메라를 이용한 라이다 센서 장착 오차 검사 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102390457B1 true KR102390457B1 (ko) 2022-04-25

Family

ID=81451743

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200138202A KR102390457B1 (ko) 2020-10-23 2020-10-23 카메라를 이용한 라이다 센서 장착 오차 검사 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102390457B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240005433A (ko) 2022-07-05 2024-01-12 주식회사 라이드로 라이다 모듈 성능 평가 장치
KR20240048362A (ko) 2022-10-06 2024-04-15 에스케이텔레콤 주식회사 레이저 탐지장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Omar Montoya 외 2명, COUPLED: Calibration of a LiDAR and Camera Rig Using Automatic Plane Detection, MCPR 2020: Pattern Recognition pp 209-218, 2020년 6월. 1부.* *
Sungdae Sim 외 2명, Indirect Correspondence-Based Robust Extrinsic Calibration of LiDAR and Camera, sensors, 2016년 6월. 1부.* *
Vincenzo Niola 외 3명, A method for the calibration of a 3-D laser scanner, Robotics and Computer-Integrated Manufacturing 27(2011) pp.479-484, 2011년 4월. 1부.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240005433A (ko) 2022-07-05 2024-01-12 주식회사 라이드로 라이다 모듈 성능 평가 장치
KR20240048362A (ko) 2022-10-06 2024-04-15 에스케이텔레콤 주식회사 레이저 탐지장치 및 방법

Similar Documents

Publication Publication Date Title
JP3070953B2 (ja) 空間座標の逐点式測定方法及びシステム
CN102077052B (zh) 用于超声波检查的扫描计划的视觉系统
US20160349746A1 (en) Unmanned aerial vehicle having a projector and being tracked by a laser tracker
KR101686054B1 (ko) 보조 측정기의 공간 위치를 결정하기 위한 위치 결정 방법, 기계 판독 저장 매체, 측정 장치 및 측정 시스템
US20140132729A1 (en) Method and apparatus for camera-based 3d flaw tracking system
JP2018028535A (ja) 検査ステーションに配置された車両の最外寸法を測定するための方法及びシステム
KR102390457B1 (ko) 카메라를 이용한 라이다 센서 장착 오차 검사 장치 및 그 방법
JP2009008662A (ja) センサ及びビデオ三角測量を共同使用する物体の検出
CN109946703B (zh) 一种传感器姿态调整方法及装置
US10739439B2 (en) Laser positioning system and position measuring method using the same
US11619722B2 (en) Vehicle lidar polarization
CN102084214A (zh) 结构光系统用于光学形状和位置测量的精确图象获取
EP3441906A1 (en) Information processing apparatus, moving object, information processing method, and computer-readble medium
EP3975116B1 (en) Detecting displacements and/or defects in a point cloud using cluster-based cloud-to-cloud comparison
US6304680B1 (en) High resolution, high accuracy process monitoring system
KR102288609B1 (ko) 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
CN115485582A (zh) 用于识别激光雷达测量中的光晕的方法和装置
WO2018119823A1 (en) Technologies for lidar based moving object detection
US20220414925A1 (en) Tracking with reference to a world coordinate system
CN113487676B (zh) 确定安装于采集实体的相机之间相对姿态角的方法和装置
US7117047B1 (en) High accuracy inspection system and method for using same
JP7363545B2 (ja) キャリブレーション判定結果提示装置、キャリブレーション判定結果提示方法及びプログラム
KR20220128787A (ko) 라이다 센서를 이용한 객체 추적 방법 및 장치와, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CA3166839A1 (en) Method for processing data provided by a lidar and associated computer
KR101967554B1 (ko) 지시선을 이용하여 공간 정보를 측정하기 위한 방법, 그 방법을 이용한 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant