KR20220026422A - 카메라 캘리브레이션 장치 및 이의 동작 방법 - Google Patents

카메라 캘리브레이션 장치 및 이의 동작 방법 Download PDF

Info

Publication number
KR20220026422A
KR20220026422A KR1020200107404A KR20200107404A KR20220026422A KR 20220026422 A KR20220026422 A KR 20220026422A KR 1020200107404 A KR1020200107404 A KR 1020200107404A KR 20200107404 A KR20200107404 A KR 20200107404A KR 20220026422 A KR20220026422 A KR 20220026422A
Authority
KR
South Korea
Prior art keywords
camera
coordinate system
feature points
image
vehicle
Prior art date
Application number
KR1020200107404A
Other languages
English (en)
Inventor
이상준
이재우
이원주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200107404A priority Critical patent/KR20220026422A/ko
Priority to US17/380,790 priority patent/US11783507B2/en
Publication of KR20220026422A publication Critical patent/KR20220026422A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

카메라 캘리브레이션 장치가 개시된다. 카메라 캘리브레이션 장치는, 제1 시점의 제1 전방 이미지 및 제2 시점의 제2 전방 이미지를 각각 획득하기 위한 카메라, 캘리브레이션의 수행 여부를 결정하기 위한 이벤트 트리거 모듈, 상기 호스트 차량의 움직임과 관련된 정보를 획득하기 위한 움직임 추정 모듈, 상기 전방 이미지들에 기반하여 3차원 좌표 값을 획득하기 위한 3차원 재구성 모듈, 및 상기 3차원 좌표 값들에 기반하여, 상기 카메라의 외부 파라미터를 추정하기 위한 파라미터 추정 모듈을 포함하는 것을 특징으로 할 수 있다.

Description

카메라 캘리브레이션 장치 및 이의 동작 방법{APPARATUS AND METHOD FOR CALIBRATING CAMERA}
본 개시의 기술적 사상은 카메라 캘리브레이션 장치에 관한 것으로, 자세하게는 카메라의 외부 파라미터를 추정하는 카메라 캘리브레이션 장치 및 이의 동작 방법에 관한 것이다.
이미지 센서(image sensor)를 사용하는 영상 촬영 장치는, 스마트 폰, PC, 감시용 카메라, 그리고 자율 주행 차량과 같은 다양한 전자 장치에 포함되거나, 하나의 독립된 전자 장치로 사용될 수 있다.
자율 주행이 가능한 차량에 있어서, 이미지 센서를 통해 주변 차와의 거리를 인식하고, 이에 따라 차량을 제어함으로써 안전한 주행을 수행할 수 있다. 다만, 주행 과정에서 차량에 설치된 카메라의 위치, 방향 등이 변경될 수 있다. 따라서, 자율 주행이 가능한 차량은, 카메라의 위치, 방향 등을 반영하는 외부 파라미터를 빈번하게 교정하는 것이 요구된다.
본 개시의 기술적 사상의 일 측면은, 카메라의 외부 파라미터를 추정하는 캘리브레이션에 관한 것으로, 지면에 수직인 평면 상에 복수의 특징점들을 이용하여 캘리브레이션을 수행하는 장치 및 이의 동작 방법을 제공한다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일 측면에 따른 카메라 캘리브레이션 장치는, 제1 시점의 제1 전방 이미지 및 제2 시점의 제2 전방 이미지를 각각 획득하기 위한 카메라, 캘리브레이션의 수행 여부를 결정하기 위한 이벤트 트리거 모듈, 상기 호스트 차량의 움직임과 관련된 정보를 획득하기 위한 움직임 추정 모듈, 상기 전방 이미지들에 기반하여 3차원 좌표 값을 획득하기 위한 3차원 재구성 모듈 및 상기 3차원 좌표 값들에 기반하여, 상기 카메라의 외부 파라미터를 추정하기 위한 파라미터 추정 모듈을 포함하는 것을 특징으로 할 수 있다.
본 개시의 기술적 사상의 일 측면에 따른 카메라 캘리브레이션 방법은, 제1 전방 이미지 및 제2 전방 이미지 내에서 관심 영역을 추출하는 단계, 상기 관심 영역 내에서 특징점들을 추출하는 단계, 상기 특징점들의 이동에 기반하여, 모션 파라미터를 획득하는 단계, 상기 획득된 모션 파라미터에 기반한 삼각 측량을 이용하여 상기 특징점들에 상응하는 카메라 좌표계의 3차원 좌표 값들을 추정하는 단계 및 상기 특징점들의 관계 및 상기 3차원 좌표 값들을 이용하여 카메라의 외부 파라미터를 추정하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 개시의 기술적 사상의 일 측면에 따른 호스트 차량 장치는, 제1 시점의 제1 전방 이미지 및 제2 시점의 제2 전방 이미지를 각각 획득하기 위한 카메라, 캘리브레이션의 수행 여부를 결정하고, 상기 호스트 차량의 움직임과 관련된 정보를 획득하고, 상기 전방 이미지들에 기반하여 3차원 좌표 값을 획득하고, 상기 3차원 좌표 값들에 기반하여, 상기 카메라의 외부 파라미터를 추정하기 위한 이미지 신호 프로세서, 및 상기 이미지 신호 프로세서의 제어 신호에 기반하여, 상기 호스트 차량의 주행을 제어하는 차량 제어부를 포함하는 것을 특징으로 할 수 있다.
본 개시의 예시적 실시예에 따른 장치 및 방법에 의하면, 차량 좌표계의 3차원 좌표 값을 알지 못하더라도, 카메라를 통해 획득된 특징점들의 시퀀스에 기반하여 외부 파라미터를 추정할 수 있다.
본 개시의 예시적 실시예에 따른 장치 및 방법에 의하면, 지면에 수직인 평면 상에 배치되는 복수의 특징점들을 이용하여, 차량 좌표계의 3차원 좌표 값에 무관하게 카메라 캘리브레이션을 수행할 수 있으므로, 캘리브레이션 장소의 제약이 완화될 수 있다.
본 개시의 예시적 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 아니하며, 언급되지 아니한 다른 효과들은 이하의 기재로부터 본 개시의 예시적 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시의 예시적 실시예들을 실시함에 따른 의도하지 아니한 효과들 역시 본 개시의 예시적 실시예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 카메라 캘리브레이션 장치의 블록도이다.
도 2는 본 개시의 예시적 실시예에 따른 카메라 캘리브레이션 장치를 포함하는 호스트 차량의 측면도이다.
도 3은 본 개시의 예시적 실시예에 따른 프로세서의 블록도이다.
도 4는 본 개시의 예시적 실시예에 따른 카메라 좌표계 및 차량 좌표계의 예시이다.
도 5a는 본 개시의 예시적 실시예에 따른 차량 주행에 따른 프레임 변화의 예시이다.
도 5b는 본 개시의 예시적 실시예에 따른 특징점들이 변화하는 예시이다.
도 6은 본 개시의 예시적 실시예에 따른 카메라 캘리브레이션 장치가 동작하는 순서도이다.
도 7a는 본 개시의 예시적 실시예에 따른 지면에 수직인 평면이 설치된 일 예시이다.
도 7b는 본 개시의 예시적 실시예에 따른 지면에 수직인 평면이 설치된 일 예시이다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면과 연관되어 기재된다.
도 1은 본 개시의 예시적 실시예에 따른 카메라 캘리브레이션 장치의 블록도이다.
도 1을 참조하면, 도 1을 참조하면, 카메라 캘리브레이션 장치(100)는 카메라(110) 및 이미지 신호 프로세서(image signal processor, ISP)(120)를 포함할 수 있다.
다양한 실시예들에 따라, 카메라 캘리브레이션 장치(100)는 전자 장치에 내장(embedded)되거나 또는 전자 장치로 구현될 수 있다. 전자 장치는 예를 들어, PC(personal computer), IoT (Internet of Things) 장치, 또는 휴대용 전자 기기로 구현될 수 있다. 휴대용 전자 기기는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라, 디지털 비디오 카메라, 오디오 장치, PMP(portable multimedia player), PND(personal navigation device), MP3 플레이어, 휴대용 게임 콘솔(handheld game console), e-북(e-book), 웨어러블 기기 등일 수 있다.
다양한 실시예들에 따라, 카메라(110)는 호스트 차량에 임베디드되어, 호스트 차량의 외부 환경을 인식할 수 있다. 카메라(110)는 전방 또는 여러 방향의 외부 환경에 대한 빛을 전기적 에너지로 변환하여 이미지를 생성하고, 이미지 신호 프로세서(120)에게 전달할 수 있다. 예를 들어, 카메라(110)는 핀홀(pinhole) 카메라에 상응할 수 있다.
다양한 실시예들에 따라, 카메라(110)는 내부 파라미터 및 외부 파라미터를 가질 수 있다. 상기 내부 파라미터는, 카메라(110) 자체의 내부적인 값으로서, 초점 거리(focal length), 주점(principal point), 비대칭 계수(skew coefficient)를 포함할 수 있다. 상기 초점 거리는, 카메라(110)의 렌즈 중심과 이미지 센서와의 거리를 지칭할 수 있으며, 상기 초점 거리의 단위는 픽셀일 수 있다. 상기 주점은, 카메라(110)의 렌즈의 중심점의 수선과 이미지 센서가 교차하는 지점의 영상 좌표를 지칭할 수 있다. 상기 비대칭 계수는, 카메라(110)에 포함된 이미지 센서의 셀 어레이가 y축으로 얼마나 기울어졌는지 지칭할 수 있다. 상기 외부 파라미터는, 카메라(110)가 설치된 3차원적인 위치, 카메라(110)의 3차원적인 자세를 지칭하는 것으로, 롤(roll), 피치(pitch), 요(yaw), 카메라 높이(height) 값들을 포함할 수 있다.
다양한 실시예들에 따라, 이미지 신호 프로세서(120)는 카메라(110)로부터 획득한 이미지(이하, 전방 이미지)에 기초하여, 카메라(110)의 외부 파라미터를 추정할 수 있다. 이미지 신호 프로세서(120)는 카메라(110)로부터 획득한 이미지 플레인 상의 특징점들의 변화에 기반하여 모션 파라미터를 계산하고, 상기 모션 파라미터에 기반하여 이미지 플레인의 특징점들을 카메라 좌표계의 3차원 좌표로 변환하는 삼각 측량(triangulation)을 수행하고, 특징점들 간에 관계성을 이용하여 외부 파라미터를 추정할 수 있다. 일 실시예에 따라, 추정되는 외부 파라미터들은 피치(pitch) 각도, 롤(roll) 각도, 카메라 높이(height)를 포함할 수 있다.
도 2는 본 개시의 예시적 실시예에 따른 호스트 차량의 블록도이다.
도 1 및 도 2를 함께 참조하면, 호스트 차량(host vehicle)(200)은 카메라 캘리브레이션 장치(100) 및 차량 제어부(210)를 포함할 수 있다. 호스트 차량(200)은, 본 개시의 예시적 실시예들에 따른 카메라 캘리브레이션 장치(100)가 임베디드(embedded)된 차량을 지칭할 수 있다. 상기 호스트 차량(200)은, 에고-비히클(ego-vehicle), 셀프-비히클(self-vehicle), 자율주행 차량(autonomous driving vehicle)을 포함한 다양한 용어들로 지칭될 수 있다.
차량 제어부(210)는 호스트 차량(200)의 전반적인 주행을 제어할 수 있다. 차량 제어부(210)는 카메라 캘리브레이션 장치(100)의 이미지 신호 프로세서(120)로부터 전방에 타겟 차량 또는 타겟 객체까지의 거리 정보를 획득할 수 있다. 상기 타겟 차량 또는 타겟 객체까지의 거리 정보는, 카메라 캘리브레이션 장치(100)가 추정한 외부 파라미터에 의해 보정된 거리 값일 수 있다. 차량 제어부(210)는 상기 거리 정보에 기반하여 호스트 차량(200)의 속도를 제어할 수 있다. 예를 들어, 타겟 차량 또는 타겟 객체와 거리 정보가 미리 정의된 값보다 작은 경우, 충돌 위험을 감소시키기 위하여 차량 제어부(210)는 감속을 지시하는 제어 신호를 생성하고, 브레이크 시스템에게 제어 신호를 전달할 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 프로세서의 블록도이다.
도 3을 참조하면, 이미지 신호 프로세서(120)는 이벤트 트리거 모듈(122), 움직임 추정 모듈(124), 3차원 재구성 모듈(126), 파라미터 추정 모듈(128)를 포함할 수 있다.
이벤트 트리거 모듈(122)는 캘리브레이션 이벤트를 검출하고, 외부 파라미터를 추정할 것을 트리거할 수 있다.
일 실시예에 따라, 이미지 신호 프로세서(120)는 격자 무늬의 오브젝트를 관심 객체로 설정할 수 있다. 이미지 신호 프로세서(120)는 카메라(110)를 통해 획득한 이미지 내에서 격자 무늬를 포함하는 오브젝트를 검출한 경우, 상기 오브젝트가 캘리브레이션을 위한 격자 무늬를 포함하는 수직 평면인지 판단하고, 판단 결과에 따라 외부 파라미터를 추정할 것을 트리거할 수 있다.
다른 실시예에 따라, 이미지 신호 프로세서(120)는 호스트 차량(200)의 무선 통신 회로(미도시)로부터 제어 신호를 수신함에 응답하여 외부 파라미터 측정을 트리거할 수도 있다. 예를 들어, 상기 캘리브레이션을 위한 격자 무늬가 설치된 영역은, 주변을통과하는 임의의 차량에게 카메라 캘리브레이션을 트리거하기 위한 무선 신호를 송신하기 위한 장치가 설치될 수 있다. 예를 들어, 상기 무선 신호는, 블루투스 기반의 비콘(beacon) 신호일 수 있다. 호스트 차량(200)은 무선 통신 회로(미도시)를 통해 비콘 신호를 수신하고, 이미지 신호 프로세서(120)에게 전달할 수 있다. 이미지 신호 프로세서(120)는 상기 비콘 신호를 수신한 경우, 캘리브레이션을 위한 격자 무늬가 호스트 차량(200)의 주변에 존재하는 것을 식별하고, 외부 파라미터의 측정을 트리거할 수 있다. 즉, 상기 비콘 신호의 수신에 응답하여, 격자 무늬의 오브젝트를 포함하는 관심 영역의 추출을 수행할 수 있다.
다양한 실시예들에 따라, 움직임 추정 모듈(124)은 특징점을 추출하고, 특징점들의 변화에 기반하여 호스트 차량(200)의 모션 파라미터를 추정할 수 있다. 상기 모션 파라미터는, 연속된 프레임 동안 얼마나 회전하였는지 나타내는 회전 매트릭스(rotation matrix), 및 얼마나 이동하였는지 나타내는 이동 벡터(translation vector)를 포함할 수 있다. 일 실시예에 따라, 움직임 추정 모듈(124)은 상기 격자 무늬의 오브젝트를 포함하는 평면이 지면에 수직인 제약 조건을 이용하여, 특징점들의 변화에 기반하여 호스트 차량(200)의 모션 파라미터를 추정할 수 있다. 움직임 추정 모듈(124)은 특징점들의 시퀀스(sequence)에 기반하여 에센셜(essential) 매트릭스를 계산할 수 있고, 상기 에센셜 매트릭스를 디컴포지션(decomposition)함으로써 회전 매트릭스와 이동 벡터를 각각 계산할 수 있다.
다양한 실시예들에 따라, 3차원 재구성(3 dimensional reconstruction) 모듈(126)은 이미지 플레인의 2차원 좌표들을 카메라 좌표계 상의 3차원 좌표들로 변환할 수 있다. 3차원 재구성 모듈은 삼각 측량법(triangulation)에 기반하여 상기 3차원 좌표들을 변환할 수 있다. 삼각 측량법은 에피폴라(epipolar) 기하학에 기반하여 동일한 객체를 서로 다른 뷰(view)에서 바라보았을 때, 특징점들 간에 관계를 이용하는 것이다. 상기 재구성된 3차원 좌표들은, 카메라 좌표계의 3차원 좌표들에 상응할 수 있다.
다양한 실시예들에 따라, 파라미터 추정 모듈(128)은 카메라(110)의 외부 파라미터를 추정할 수 있다. 파라미터 추정 모듈(128)은 3차원 재구성 모듈(126)을 통해 재구성한 3차원 좌표들과 특징점들 간에 제약(constraint)을 이용하여 외부 파라미터인 피치 각도, 롤 각도, 카메라 높이를 추정할 수 있다. 상기 제약은, 차량 좌표계에서 지면에 수직인 직선 상에 위치하는 특징점들의 x 좌표, y 좌표는 서로 동일하다는 것과, 상하로 이웃하는 특징점들의 수직 간격(z 좌표의 차이)는 미리 정의되어 있다는 것이다.
도 4는 본 개시의 예시적 실시예에 따른 카메라 좌표계 및 차량 좌표계의 예시이다.
월드 좌표계(world coordinate)는 카메라 캘리브레이션 장치(100)의 외부 환경에 대응하는 실제 세계를 표현하기 위한 좌표계를 지칭할 수 있다. 다양한 실시예들에 따라, 카메라 캘리브레이션 장치(100)의 카메라(110)를 원점(origin)으로 설정하는 경우, 카메라 좌표계(camera coordinate)로 지칭될 수도 있다. 또는, 카메라(110)로부터 지면으로 수직 방향의 직선이 지면과 교차하는 점을 원점으로 설정하는 경우, 월드 좌표계는 차량 좌표계(vehicle coordinate)로 지칭될 수 있다. 이하, 설명의 편의를 위하여, 3차원 좌표계는 카메라 좌표계 및 차량 좌표계를 기준으로 설명하기로 한다.
일 실시예에 따라, 카메라 좌표계 또는 차량 좌표계는 Xc축, Yc축 및 Zc축을 가질 수 있다. 예를 들어, 카메라 좌표계에서, Zc축은 카메라가 응시하는 정면(front) 방향에 대응될 수 있고, Xc축은 카메라(110)가 응시하는 방향을 기준으로 오른쪽(right) 방향에 대응될 수 있고, Zc축은 카메라(110)가 응시하는 방향을 기준으로 아래(down) 방향에 대응될 수 있다.
일 실시예에 따라, 차량 좌표계는 Xw축, Yw축, 및 Zw축을 가질 수 있다. 예를 들어, 차량 좌표계의 Xw축은 호스트 차량(200)이 진행하는 방향에 대응될 수 있고, Zw축은 지면에 수직하는 방향에 대응될 수 있고, Yw축은 호스트 차량(200)의 진행 방향을 기준으로 왼쪽(left) 방향에 대응될 수 있다.
다양한 실시예들에 따라, 도 4를 참조하면, 카메라 좌표계의 Yc축은, 차량 좌표계의 Zw축과 피치(pitch) 각도를 갖도록 틀어질 수 있고, 카메라 좌표계의 Zc축은, 차량 좌표계의 Xw축과 요(yaw) 각도를 갖도록 틀어질 수 있고, 카메라 좌표계의 Xc축은, 차량 좌표계의 Yw축과 롤(roll) 각도를 갖도록 틀어질 수 있다. 즉, 주행 중 호스트 차량(200)에 가해지는 충격과 같은 외부적인 요인들로 인해, 카메라 좌표계와 차량 좌표계의 축들은 각각 피치, 롤, 요 각도를 가지도록 변경될 수 있고, 카메라의 높이(h) 또한 마찬가지이다. 다만, 카메라 좌표계의 Zc축과 차량 좌표계의 Xw축 간에 형성되는 요 각도는 확장 초점(focus of expansion, FOE)을 계산함으로써 획득될 수 있다. 상기 확장 초점은, 카메라(110)가 한 방향으로 이동(이동 벡터만 변경)될 때, 이미지의 특징점들이 움직이는 각각의 모션들이 수렴하는 하나의 점을 지칭할 수 있다.
도 5a는 본 개시의 예시적 실시예에 따른 호스트 차량의 주행에 따른 프레임 변화의 예시이고, 도 5b는 본 개시의 예시적 실시예에 따른 특징점들이 변화하는 예시이다.
이미지 플레인(image plane)은 실제 세계(world)가 카메라(110)를 통해 투영(projection)되는 2차원의 영역을 지칭할 수 있다. 이미지 플레인은 2차원의 영역이므로, 픽셀 단위로 구별되는 좌표계(coordinate)를 가질 수 있다. 상기 좌표계는 이미지 좌표계(image coordinate)로 지칭될 수 있다. 예를 들어, 이미지 플레인의 좌측 상단을 원점(origin)으로 설정하는 경우, 우측 방향은 x축으로, 아래 방향은 y축으로 표현될 수 있다. 이미지 플레인의 x, y 성분은 각각 픽셀 단위를 가질 수 있다.
도 5a는 격자 무늬의 오브젝트를 포함하는 평면은 지면에 수직이고, 호스트 차량(200)은 상기 평면을 향해 주행하는 상황을 예시적으로 표현할 수 있다. 즉, n-1번째 프레임에서 격자 무늬의 오브젝트는, n번째 프레임에서 크기가 증가될 수 있다.
도 5b는 격자 무늬 중 적어도 하나의 사각형을 형성하는 특징점들의 변화를 도시할 수 있다. 예를 들어, 제1 프레임에서 사각형을 형성하는 특징점들은 제1 포인트 내지 제4 포인트를 포함할 수 있고, 제1 포인트의 좌표는 (x1, y1), 제2 포인트의 좌표는 (x2, y2), 제3 포인트의 좌표는 (x3, y3), 및 제4 포인트의 좌표는 (x4, y4)일 수 있다. 제2 프레임에서 호스트 차량(200)이 전방으로 주행하고, 호스트 차량(200)의 전방에 상기 격자 무늬의 오브젝트가 지면과 수직인 평면 상에 배치되는 경우, 제1 포인트 내지 제4 포인트는 각각 외곽 방향으로 이동할 수 있다. 이동된 제1 포인트의 좌표는 (x'1, y'1), 이동된 제2 포인트의 좌표는 (x'2, y'2), 이동된 제3 포인트의 좌표는 (x'3, y'3), 및 이동된 제4 포인트의 좌표는 (x'4, y'4)일 수 있다.
도 6은 본 개시의 예시적 실시예에 따른 카메라 캘리브레이션 장치가 동작하는 순서도이다.
동작 S110에서, 카메라 캘리브레이션 장치(100)는 이미지 프레임 내에서 관심 영역을 추출할 수 있다. 카메라(110)는 매 프레임마다 이미지를 획득하여 이미지 신호 프로세서(120)에게 전송하고, 이미지 신호 프로세서(120)는 상기 이미지가 미리 정의된 관심 영역을 포함하는지 스캐닝할 수 있다.
다양한 실시예들에 따라, 관심 영역은 도 5a에 도시된 격자 무늬의 오브젝트, 사각형의 도로 표지판, 빨간색의 소화전함 등을 적어도 포함할 수 있다. 이 때, 관심 영역은, 수직 길이가 미리 정의된 사각형 형상들을 모두 포함할 수 있다. 예를 들어, 카메라 캘리브레이션을 위한 격자 무늬의 오브젝트의 수직 길이는 카메라 캘리브레이션 장치(100)에 미리 저장될 수 있다. 또한, 사각형의 도로 표지판 또는 빨간색의 소화전함 모두는 법적으로 정해진 길이에 따라 배치될 수 있기 때문이다.
동작 S120에서, 카메라 캘리브레이션 장치(100)는 관심 영역 내에서 특징점들을 추출할 수 있다. 예를 들어, 상기 특징점들은 사각형을 형성하는 4개의 꼭지점들을 포함할 수 있다. 상기 특징점들에 의해 형성되는 사각형의 수직 길이는, 미리 정의된 길이일 수 있다.
동작 S130에서, 카메라 캘리브레이션 장치(100)는 특징점들의 이동에 기반하여 모션 파라미터를 획득할 수 있다. 도 5b를 함께 참조하면, 제1 포인트는 호스트 차량(200)이 주행함에 따라 좌표 (x1, y1)에서 좌표 (x'1, y'1)로 변경될 수 있다.
다양한 실시예들에 따라, 초점 거리, 주점, 비대칭 계수를 포함하는 카메라(110)의 내부 파라미터가 이미 알려진 값이라고 가정하면, 카메라 캘리브레이션 장치(100)는 하기의 수학식에 기반하여 제1 프레임 및 제2 프레임에서 특징점들을 각각 정규화(normalization)할 수 있다.
Figure pat00001
여기서, x, y는 각각 픽셀 좌표계의 성분이며, fx, fy는 초점 거리, cx, cy는 주점에 상응할 수 있다. 제1 프레임 및 제2 프레임에서 특징점 좌표들을 정규화 함으로써 내부 파라미터의 영향을 받지 않는 픽셀 좌표계로 변환할 수 있다.
이후, 카메라 캘리브레이션 장치(100)는, 하기의 수학식에 기반하여 에센셜 매트릭스 E를 계산할 수 있다.
Figure pat00002
여기서, u, v는 제1 프레임의 정규 픽셀 좌표를, u', v'는 제2 프레임의 정규 픽셀 좌표를 지칭할 수 있다. 상기 수학식 2를 만족하는 에센셜 매트릭스 E는 아래와 같이 표기될 수 있다.
Figure pat00003
여기서, t는 이동 벡터(translation vector), R은 회전 매트릭스(rotation matrix)를 지칭하며,
Figure pat00004
연산자는 외적(cross product)를 지칭할 수 있다. 즉, 카메라 캘리브레이션 장치(100)는 획득된 E를 회전 매트릭스와 이동 벡터로 디컴포지션(decomposition)함으로써 모션 파라미터를 획득할 수 있다.
동작 S140에서, 카메라 캘리브레이션 장치(100)는 모션 파라미터 및 삼각 측량에 기반하여 특징점들에 상응하는 카메라 좌표계의 3차원 좌표를 획득할 수 있다. 일 실시예에 따라, 카메라 좌표계와 차량 좌표계 간에 변환 관계는 아래의 수학식과 같이 표기될 수 있다.
Figure pat00005
전술한 바와 같이, 특징점들은 지면에 수직인 평면 상에 배치되는 것을 특징으로 하는 바, 호모그래피(homography)가 성립하는 것을 알 수 있다. 상기
Figure pat00006
은 호모그래피의 회전 매트릭스이고,
Figure pat00007
는 호모그래피의 이동 벡터를 지칭하고, Xw는 차량 좌표계, Xc는 카메라 좌표계를 지칭할 수 있다. 또한,
Figure pat00008
는 피치 각도,
Figure pat00009
는 롤 각도,
Figure pat00010
는 요 각도, h는 카메라 높이의 변수(variable)를 각각 나타낸다. 차량 좌표계, 카메라 좌표계 및 회전 변환을 나타내면 아래의 수학식들에 따라 표기될 수 있다.
Figure pat00011
Figure pat00012
Figure pat00013
여기서, 상기 회전 매트릭스는,
Figure pat00014
,
Figure pat00015
와 같이 간략하게 표기되었다.
여기서, 카메라 좌표계에서 원점 (0, 0, 0)은 차량 좌표계에서 카메라 높이만큼 수직 지점 (0, 0, h)에 상응하는 것을 수학식으로 나타내면 하기와 같다.
Figure pat00016
상기 수학식 8에 기반하여 이동 벡터를 나타내면 하기와 같다.
Figure pat00017
상기 r3는 회전 매트릭스의 3번째 컬럼(column)을 지칭할 수 있다.
동작 S150에서, 카메라 캘리브레이션 장치(100)는 특징점들의 관계를 이용하여 외부 파라미터를 추정할 수 있다. 전술한 바와 같이, 상기 특징점들은 지면에 수직인 평면 상에 배치되며, 특징점들이 형성하는 사각형의 높이(수직 길이)는 미리 정의된 것을 알 수 있다. 또한, 지면에 수직인 법선 상에 위치하는 특징점들은 Zw의 크기만 상이할 뿐, Xw, Yw의 값은 모두 동일한 것을 알 수 있다. 이 같은 특징점들 간에 제약(constraint) 관계를 도시하면 아래와 같을 수 있다.
Figure pat00018
Figure pat00019
Figure pat00020
상기 수학식 10은 차량 좌표계의 i번째 좌표의 x성분과 z번째 좌표의 x 성분의 차이는 제로(zero)인 특징을 다시 표기한 것이며, 상기 수학식 11은 차량 좌표계의 i번째 y성분과 z번째 좌표의 y성분의 차이가 제로(zero)인 특징을 다시 표기한 것이다. 수학식 12의
Figure pat00021
는 전술한 바와 같이 수직 길이로서, 미리 정의된 값일 수 있다.
상기 수학식 9 내지 수학식 12를 이용하면, 피치 각도(
Figure pat00022
) 및 롤 각도(
Figure pat00023
)는 각각 아래와 같이 표기될 수 있다.
Figure pat00024
Figure pat00025
확장 초점을 계산하여 요 각도(
Figure pat00026
)는 획득되었다고 가정하면, 수학식 13, 수학식 14를 통해 회전 매트릭스를 결정할 수 있다. 호모그래피의 특징을 이용하여, 카메라 높이를 추정하면 아래와 같을 수 있다.
Figure pat00027
다양한 실시예들에 따라, 카메라 캘리브레이션 장치(100)는 차량 좌표계의 3차원 좌표들 값을 획득하지 않고도, 픽셀 좌표계 상의 특징점들의 변화, 상기 변화에 기반한 모션 파라미터의 추정, 상기 모션 파라미터와 삼각 측량법에 따른 픽셀 좌표계의 특징점들을 카메라 좌표계의 3차원 좌표로 변환, 카메라 좌표계와 차량 좌표계의 변환 관계와 차량 좌표계의 특징점들의 제약에 기반하여 외부 파라미터를 추정할 수 있음을 알 수 있다.
도 7a는 본 개시의 예시적 실시예에 따른 카메라 캘리브레이션을 위한 수직 평면의 일 예시이다.
도 7a를 참조하면, 도 7a의 이미지는 호스트 차량(200)이 실내에서 주행하는 환경의 전방 이미지에 상응할 수 있다. 예를 들어, 상기 실내는, 차량 정비를 위한 서비스 센터, 건물의 지하 주차장, 차량의 출고를 위한 공장 등 다양한 실내 주행 환경을 모두 포함할 수 있다.
다양한 실시예들에 따라, 적어도 둘 이상의 수직 평면들이 배치될 수 있다. 예를 들어, 도 7a의 좌측 수직 평면을 제1 평면, 우측 수직 평면을 제2 평면으로 지칭할 수 있다. 카메라 캘리브레이션 장치(100)는 제1 평면의 특징점들을 이용하여 외부 파라미터를 추정할 수 있다. 상기 제1 평면에 기반하여 추정된 외부 파라미터는 제1 외부 파라미터에 상응할 수 있다. 상기 제1 외부 파라미터의 계산과 병렬적으로, 카메라 캘리브레이션 장치(100)는 제2 평면의 특징점들을 이용하여 제2 외부 파라미터를 추정할 수 있다.
카메라 캘리브레이션 장치(100)는 상기 제1 외부 파라미터 및 상기 제2 외부 파라미터에 모두 기반하여 최종 외부 파라미터를 결정할 수 있다. 일 실시예에 따라, 카메라 캘리브레이션 장치(100)는 제1 외부 파라미터 및 제2 외부 파라미터를 평균하여 최종 외부 파라미터로 결정할 수도 있다.
도 7b는 본 개시의 예시적 실시예에 따른 카메라 캘리브레이션을 위한 수직 평면의 일 예시이다.
도 7b를 참조하면, 도 7b의 이미지는, 호스트 차량(200)이 일반 도로를 주행하는 환경의 전방 이미지에 상응할 수 있다. 호스트 차량(200)이 도로를 주행하는 경우, 전방 이미지는 다양한 유형의 표지판들을 포함할 수 있다. 예를 들어, 다양한 유형의 표지판들은, 도로 표지판 또는 교통안전 표지판을 포함할 수 있다.
다양한 실시예들에 따라, 다양한 유형의 표지판들은 각각 고유의 높이 값을 가질 수 있다. 예를 들어, 도로표지규칙 [별표 4]에 따르면, 도로명 안내표지의 표지판, 글자 및 지주의 규격과 상세규격 및 설치 방법을 개시하고 있다. 상기 도로표지규칙 [별표 4]를 참조하면, 방향표지 중 표지번호 "440-6"의 "회전교차로 도로명표지"의 경우, 규격은 445
Figure pat00028
220[cm]로 미리 정의될 수 있다. 카메라 캘리브레이션 장치(100)는 상기 다양한 유형의 표지판들의 높이 값을 미리 저장할 수 있다. 또한, 다양한 실시예에 따라, 카메라 캘리브레이션 장치(100)는 주행 중에 나타나는 표지판의 수직 높이 정보를 획득할 수 있다. 예를 들어, 호스트 차량(200)의 메모리(미도시)는 3차원 맵 정보를 미리 저장할 수 있다. 상기 3차원 맵 정보는, 주행 도로의 고도 정보, 주행 도로에 설치된 복수의 객체들의 높이 정보 등을 적어도 포함할 수 있다. 따라서, 카메라 캘리브레이션 장치(100)는 상기 3차원 맵 정보를 로드하여 주행 중 식별되는 표지판이 설치된 수직 높이 정보를 획득하고, 표지판을 형성하는 사각형 오브젝트의 높이 값을 이용하여 도로 주행 중에도 외부 파라미터의 캘리브레이션을 수행할 수 있다.
일 실시예에 따라, 카메라 캘리브레이션 장치(100)는 표지판 형상을 관심 객체로 설정하여, 도로 주행 중에 실시간으로 도로 표지판을 식별할 수 있다. 이미지 신호 프로세서(120)는 도로 표지판을 식별하고, OCR(optical character reader) 모듈을 이용하여 식별된 도로 표지판이 도로표지규칙 [별표 4] 중 어느 표지판에 해당하는지 식별하고, 식별된 표지판의 높이 값을 로드할 수 있다. 즉, 카메라 캘리브레이션 장치(100)는 로드된 높이 값을 상기 수학식 12의
Figure pat00029
에 입력함으로써 외부 파라미터를 추정할 수 있다.
전술한 실시예에서, 호스트 차량(200)이 도로를 주행하는 중에 도로 표지판을 이용하여 외부 파라미터를 추정하는 것을 기준으로 설명하였으나, 이에 제한되는 것은 아니다. 예를 들어, 도 7a에 도시된 격자 무늬의 오브젝트를 포함하는 표지판이 도로에 설치될 수도 있다. 이 경우, 호스트 차량(200)은 전술한 실시예들에 따라, 미리 정의된 격자의 수직 길이를 상기 수학식 12의
Figure pat00030
에 입력함으로써 외부 파라미터를 추정할 수 있을 것이다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 제1 시점의 제1 전방 이미지 및 제2 시점의 제2 전방 이미지를 각각 획득하기 위한 카메라;
    캘리브레이션의 수행 여부를 결정하기 위한 이벤트 트리거 모듈;
    호스트 차량의 움직임과 관련된 정보를 획득하기 위한 움직임 추정 모듈;
    상기 제1 전방 이미지 및 상기 제2 전방 이미지에 기반하여 3차원 좌표 값들을 획득하기 위한 3차원 재구성 모듈; 및
    상기 3차원 좌표 값들에 기반하여, 상기 카메라의 외부 파라미터를 추정하기 위한 파라미터 추정 모듈을 포함하는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  2. 제1항에 있어서,
    상기 이벤트 트리거 모듈은,
    격자 무늬를 포함하는 형상 또는 미리 결정된 사각형 형상의 오브젝트를 식별함에 응답하여, 상기 움직임 추정 모듈을 활성화하는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  3. 제1항에 있어서,
    상기 외부 파라미터는,
    상기 카메라의 높이(height), 상기 카메라의 롤(roll), 피치(pitch), 요(yaw) 중 적어도 하나를 포함하는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  4. 제2항에 있어서,
    상기 3차원 좌표 값들은,
    카메라 좌표계(coordinate)에 포함되는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  5. 제1항에 있어서,
    상기 움직임 추정 모듈은,
    상기 제1 전방 이미지에서 제1 특징점 그룹을 추출하고,
    상기 제2 전방 이미지에서 제2 특징점 그룹을 추출하고,
    상기 제1 특징점 그룹 및 상기 제2 특징점 그룹의 변화에 기반하여, 에센셜 매트릭스를 계산하고,
    상기 에센셜 매트릭스에 기반하여, 회전 매트릭스 및 이동 벡터를 각각 획득하는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  6. 제5항에 있어서,
    상기 제1 특징점 그룹 및 상기 제2 특징점 그룹 각각은,
    상기 호스트 차량이 주행중인 지면에 수직하는 평면에 배치되는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  7. 제6항에 있어서,
    상기 제1 특징점 그룹 및 상기 제2 특징점 그룹 각각은,
    사각형 형상의 꼭지점들을 포함하고,
    상기 사각형 형상의 높이는,
    미리 정의된 값을 가지는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  8. 제5항에 있어서,
    상기 3차원 재구성 모듈은,
    상기 획득된 회전 매트릭스와 상기 이동 벡터 및 상기 제1 전방 이미지 및 상기 제2 전방 이미지 간에 삼각 측량에 기반하여, 특징점들에 상응하는 3차원 좌표들을 획득하는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  9. 제8항에 있어서,
    상기 파라미터 추정 모듈은,
    상기 특징점들의 차량 좌표계의 수직 높이를 미리 정의된 값으로 입력하고,
    상기 특징점들의 차량 좌표계의 x 좌표와 y 좌표의 차이는 0인 것에 기반하여 상기 외부 파라미터를 추정하는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  10. 카메라 캘리브레이션 방법에 있어서,
    제1 전방 이미지 및 제2 전방 이미지 내에서 관심 영역을 추출하는 단계;
    상기 관심 영역 내에서 특징점들을 추출하는 단계;
    상기 특징점들의 이동에 기반하여, 모션 파라미터를 획득하는 단계;
    상기 획득된 모션 파라미터에 기반한 삼각 측량을 이용하여 상기 특징점들에 상응하는 카메라 좌표계의 3차원 좌표 값들을 추정하는 단계; 및
    상기 특징점들의 관계 및 상기 3차원 좌표 값들을 이용하여 카메라의 외부 파라미터를 추정하는 단계를 포함하는 것을 특징으로 하는 카메라 캘리브레이션 방법.
KR1020200107404A 2020-08-25 2020-08-25 카메라 캘리브레이션 장치 및 이의 동작 방법 KR20220026422A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200107404A KR20220026422A (ko) 2020-08-25 2020-08-25 카메라 캘리브레이션 장치 및 이의 동작 방법
US17/380,790 US11783507B2 (en) 2020-08-25 2021-07-20 Camera calibration apparatus and operating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200107404A KR20220026422A (ko) 2020-08-25 2020-08-25 카메라 캘리브레이션 장치 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR20220026422A true KR20220026422A (ko) 2022-03-04

Family

ID=80358813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200107404A KR20220026422A (ko) 2020-08-25 2020-08-25 카메라 캘리브레이션 장치 및 이의 동작 방법

Country Status (2)

Country Link
US (1) US11783507B2 (ko)
KR (1) KR20220026422A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102470298B1 (ko) * 2017-12-01 2022-11-25 엘지이노텍 주식회사 카메라 보정 방법 및 장치
JP7151879B2 (ja) * 2019-04-08 2022-10-12 日本電気株式会社 カメラ校正装置、カメラ校正方法、及びプログラム
KR20220026422A (ko) * 2020-08-25 2022-03-04 삼성전자주식회사 카메라 캘리브레이션 장치 및 이의 동작 방법
CN114882461B (zh) * 2022-05-25 2023-09-29 阿波罗智能技术(北京)有限公司 设备环境识别方法、装置、电子设备和自动驾驶车辆
CN115797467B (zh) * 2023-02-02 2023-07-28 深圳市德驰微视技术有限公司 车辆相机标定结果检测方法、装置、设备及存储介质
CN118424108B (zh) * 2024-07-05 2024-09-03 先临三维科技股份有限公司 扫描处理方法、装置、扫描设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101245529B1 (ko) 2009-03-17 2013-03-21 주식회사 만도 카메라 캘리브레이션 방법
KR100969576B1 (ko) 2009-12-17 2010-07-12 (주)유디피 카메라 파라미터 캘리브레이션 장치 및 방법
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
US9688200B2 (en) 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
KR101489468B1 (ko) 2013-06-28 2015-02-03 주식회사 아이티엑스시큐리티 호모그래피 기반 카메라 영상 보정 장치 및 방법
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
KR101545633B1 (ko) 2013-12-27 2015-08-19 전자부품연구원 차량용 스테레오 카메라 캘리브레이션 방법 및 시스템
JP6326624B2 (ja) 2014-04-02 2018-05-23 パナソニックＩｐマネジメント株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えたカメラ及びプログラム
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법
US10339389B2 (en) * 2014-09-03 2019-07-02 Sharp Laboratories Of America, Inc. Methods and systems for vision-based motion estimation
JP6458439B2 (ja) 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP6603094B2 (ja) * 2015-10-20 2019-11-06 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
JP2017139612A (ja) * 2016-02-03 2017-08-10 パナソニックＩｐマネジメント株式会社 車載カメラ用校正システム
KR101935512B1 (ko) 2016-11-03 2019-04-03 현대자동차주식회사 차량 및 차량의 제어방법
KR102479253B1 (ko) 2016-11-10 2022-12-19 현대자동차주식회사 차량용 카메라 영상 기반 공차 보정 방법
JP7016058B2 (ja) * 2017-04-28 2022-02-04 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP7054803B2 (ja) * 2017-07-21 2022-04-15 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
KR101969030B1 (ko) * 2017-09-13 2019-04-16 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
KR102060113B1 (ko) 2019-01-30 2019-12-27 주식회사 몹티콘 캘리브레이션 시스템 및 방법
KR20220026422A (ko) * 2020-08-25 2022-03-04 삼성전자주식회사 카메라 캘리브레이션 장치 및 이의 동작 방법

Also Published As

Publication number Publication date
US11783507B2 (en) 2023-10-10
US20220067973A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
US11320833B2 (en) Data processing method, apparatus and terminal
KR20220026422A (ko) 카메라 캘리브레이션 장치 및 이의 동작 방법
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
US11204249B2 (en) Positioning method and robot with the same
US20080050042A1 (en) Hardware-in-the-loop simulation system and method for computer vision
US20150125035A1 (en) Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
EP3968266B1 (en) Obstacle three-dimensional position acquisition method and apparatus for roadside computing device
EP2863365A2 (en) Image processing apparatus and method
US20170289411A1 (en) Image processing device, image processing method, and recording medium
JP2002352225A (ja) 障害物検出装置及びその方法
KR20210049581A (ko) 이동체의 전방향에 대한 거리 취득 장치 및 방법
KR101995223B1 (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
KR102167835B1 (ko) 영상 처리 방법 및 장치
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
US12067741B2 (en) Systems and methods of measuring an object in a scene of a captured image
US10679090B2 (en) Method for estimating 6-DOF relative displacement using vision-based localization and apparatus therefor
CN112639822B (zh) 一种数据处理方法及装置
KR20220026423A (ko) 지면에 수직인 평면들의 3차원 재구성을 위한 방법 및 장치
CN113011212B (zh) 图像识别方法、装置及车辆
JP2022128087A (ja) 計測システム及び計測プログラム
KR102049666B1 (ko) 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치
JP6561688B2 (ja) 検出装置、検出方法、撮像装置、機器制御システム、及びプログラム