KR101271639B1 - 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템 - Google Patents

휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템 Download PDF

Info

Publication number
KR101271639B1
KR101271639B1 KR1020110133801A KR20110133801A KR101271639B1 KR 101271639 B1 KR101271639 B1 KR 101271639B1 KR 1020110133801 A KR1020110133801 A KR 1020110133801A KR 20110133801 A KR20110133801 A KR 20110133801A KR 101271639 B1 KR101271639 B1 KR 101271639B1
Authority
KR
South Korea
Prior art keywords
vehicle
camera
lanes
external parameter
portable terminal
Prior art date
Application number
KR1020110133801A
Other languages
English (en)
Inventor
김형오
이승준
윤성주
서용덕
백원인
Original Assignee
(주)팜비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)팜비젼 filed Critical (주)팜비젼
Priority to KR1020110133801A priority Critical patent/KR101271639B1/ko
Application granted granted Critical
Publication of KR101271639B1 publication Critical patent/KR101271639B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템에 관한 것으로, 본 발명에 따른 방법은 카메라를 구비한 휴대 단말을 차량에 장착하기 위한 기준 위치를 사용자에게 제시하는 장착 기준선을 상기 카메라에 의해 촬영된 차량 전방 영상과 함께 화면에 표시하는 단계, 상기 휴대 단말이 상기 기준선에 맞춰 상기 차량에 장착된 후 상기 차량 전방 영상에서 차량이 위치한 차로의 양측 차선 상에 위치하는 소정 개수의 점이 선택되는 단계, 그리고 상기 차량 전방 영상을 탑뷰 시점으로 변환한 영상에서 상기 선택된 소정 개수의 점에 의해 구해지는 양측 차선이 이루는 간격 및 평행도가 미리 정해진 기준을 만족할 때의 카메라 외부 파라미터를 반복 연산을 통해 구하는 단계를 포함한다. 본 발명에 의하면, 사용자가 편리하게 차량에 장착된 휴대 단말 카메라의 외부 파라미터를 교정할 수 있으며, 휴대 단말 카메라의 외부 파라미터 교정을 위한 시스템 처리 시간 및 부하를 절감할 수 있다.

Description

휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템{A EXTRINSIC PARAMETER CALIBRATION METHOD AND SYSTEM FOR CAMERA ON MOBILE DEVICE}
본 발명은 카메라 외부 파라미터 교정 방법 및 시스템에 관한 것으로, 보다 자세하게는 차량 내부에 장착되는 스마트폰 등과 같은 휴대 단말의 카메라 외부 파라미터를 교정하는 방법 및 시스템에 관한 것이다.
최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.
이러한 첨단 전자 기술 중 자동차에 카메라를 장착하고 차량 전방을 촬영하여 화면에 표시함으로써 운전자가 주행 중에 차량 주변 환경을 육안으로 편리하게 확인할 수 있는 차량 주변 영상 표시 시스템이 제공되고 있으며, 아울러 촬영된 영상을 저장하고 사고 시에 사고 원인 등을 파악할 수 있게 지원하는 블랙박스 시스템 또한 보급이 확대되고 있다.
최근 들어 스마트폰 등과 같은 휴대 단말 기술의 발달 및 보급 확대에 따라 차량 주변 영상 표시 시스템 또는 블랙박스 시스템을 별도로 구축하는 것보다 카메라 모듈, GPS 모듈 등을 구비하고 운영체제, 메모리 등을 고급 사양으로 갖춘 스마트폰을 활용하고자 하는 요구가 점차 늘어나고 있다.
일반적으로 단일 카메라에서 촬영된 영상에서 거리 정보를 추출하기 위해서는 카메라 내부 파라미터(focal length, principal point)와 외부 파라미터(Rotation Angle, Translation)를 알고 있어야 한다.
스마트 폰 등과 같은 휴대 단말의 경우 일반적으로 단안 렌즈를 사용하기 때문에 카메라 내부 파라미터는 고정된다고 가정할 수 있으나, 스마트폰 등과 같은 휴대 단말은 평상 시에는 사용자가 휴대하고 다니다가 운전 중에만 차량의 대쉬 보드나 전방 윈도우에 거치대를 통해 장착시킨 후 사용하므로 카메라 외부 파라미터는 장착시마다 달라질 수 있다.
물론 최근 고급 사양의 스마트폰의 경우는 장착된 가속도 센서, 자이로스코프, 자기 센서 등을 통해 스마트폰의 자세 정보를 알 수 있으나, MEMS(MicroElectroMechanical Systems) 자이로스코프의 경우 드리프트(Drift) 현상이 발생할 수 있고, 특히 요 각도(Yaw Angle) 드리프트 현상이 심한 문제점이 있다. 그리고 카메라의 X, Y, Z 이동(Translation)에 대한 정보는 여전히 알 수가 없는 문제점이 있다.
따라서 본 발명이 해결하고자 하는 과제는 사용자가 편리하게 차량에 장착된 휴대 단말 카메라의 외부 파라미터를 교정할 수 있는 방법 및 시스템을 제공하는 것이다.
이러한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 휴대 단말 카메라 외부 파라미터 교정 방법은 카메라를 구비한 휴대 단말을 차량에 장착하기 위한 기준 위치를 사용자에게 제시하는 장착 기준선을 상기 카메라에 의해 촬영된 차량 전방 영상과 함께 화면에 표시하는 단계, 상기 휴대 단말이 상기 기준선에 맞춰 상기 차량에 장착된 후 상기 차량 전방 영상에서 차량이 위치한 차로의 양측 차선 상에 위치하는 소정 개수의 점이 선택되는 단계, 그리고 상기 차량 전방 영상을 탑뷰 시점으로 변환한 영상에서 상기 선택된 소정 개수의 점에 의해 구해지는 양측 차선이 이루는 간격 및 평행도가 미리 정해진 기준을 만족할 때의 카메라 외부 파라미터를 반복 연산을 통해 구하는 단계를 포함한다.
상기 장착 기준선은, 상기 화면의 중간 부분에 세로로 표시되는 세로 보조선과 상기 화면의 중간 하단부에 가로로 표시되는 가로 보조선을 포함할 수 있다.
상기 방법은, 사용자로부터 상기 차량의 차종 또는 모델명을 입력받는 단계를 더 포함할 수 있다.
상기 세로 보조선이 상기 양측 차선의 중간 부분에 위치하고, 상기 가로 보조선이 차량 본넷 선단부에 위치한 상태에서 카메라 외부 파라미터 교정 작업을 수행할 수 있다.
상기 소정 개수의 점은 사용자로부터 선택될 수 있다.
한편 상기 소정 개수의 점이 선택되는 단계는, 상기 차량 전방 영상에서 상기 차량이 위치한 차로의 양측 차선이 추출되는 단계, 그리고 상기 추출된 양측 차선에서 상기 소정 개수의 점이 자동으로 선택되는 단계를 포함할 수도 있다.
상기 차량 전방 영상에서 상기 가로 보조선과 미리 정해진 높이 사이의 영역에서 상기 차량이 위치한 차로의 양측 차선을 추출할 수 있다.
상기 카메라의 외부 파라미터 중에서 롤 값을 '0'으로 추정하고, 다른 카메라 외부 파라미터는 상기 양측 차선이 이루는 간격 및 평행도가 미리 정해진 기준을 만족할 때까지 반복 연산을 통해 구할 수 있다.
상기 반복 연산의 기준이 되는 외부 파라미터 초기값 중에서 카메라 높이 및 차량의 본넷 선단부에서 카메라까지의 거리에 대응하는 초기값은 사용자로부터 입력된 상기 차량의 차종 또는 모델명에 따라 다르게 설정될 수 있다.
상기 카메라의 외부 파라미터 중에서 카메라 높이에 대응하는 외부 파라미터는 상기 선택된 차종 또는 차량 모델에 따라 미리 정해진 값으로 추정될 수 있다.
상기 카메라의 외부 파라미터 중에서 카메라 높이 및 차량의 본넷 선단부에서 카메라까지의 거리에 대응하는 외부 파라미터는 상기 선택된 차량 모델에 따라 미리 정해진 값으로 추정될 수 있다.
상기 방법은, 상기 휴대 단말에 포함된 자세 센서를 통해 상기 휴대 단말의 피치 값을 구하는 단계를 더 포함하고, 상기 구해진 휴대 단말의 피치 값을 상기 반복 연산의 기준이 되는 카메라 피치 초기 값으로 설정할 수 있다.
기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 휴대 단말 카메라 외부 파라미터 교정 시스템은, 카메라, 상기 카메라를 구비한 휴대 단말을 차량에 장착하기 위한 기준 위치를 사용자에게 제시하는 장착 기준선을 상기 카메라에 의해 촬영된 차량 전방 영상과 함께 화면에 표시하는 표시부, 상기 휴대 단말이 상기 기준선에 맞춰 상기 차량에 장착된 상태에서 사용자로부터 차량이 위치한 차로의 양측 차선 상에서 소정 개수의 점을 선택받는 입력부, 그리고 상기 휴대 단말이 상기 기준선에 맞춰 상기 차량에 장착된 후 상기 차량 전방 영상에서 차량이 위치한 차로의 양측 차선 상에 위치하는 소정 개수의 점이 선택되면, 상기 차량 전방 영상을 탑뷰 시점으로 변환한 영상에서 상기 선택된 소정 개수의 점에 의해 구해지는 양측 차선이 이루는 간격 및 평행도가 미리 정해진 기준을 만족할 때의 카메라 외부 파라미터를 반복 연산을 통해 구하는 외부 파라미터 교정부를 포함한다.
상기 장착 기준선은, 상기 화면의 중간 부분에 세로로 표시되는 세로 보조선과 상기 화면의 중간 하단부에 가로로 표시되는 가로 보조선을 포함하고, 상기 입력부는 사용자로부터 상기 차량의 차종 또는 모델명을 입력받을 수 있다.
상기 외부 파라미터 교정부는, 상기 세로 보조선이 상기 양측 차선의 중간 부분에 위치하고, 상기 가로 보조선이 차량 본넷 선단부에 위치한 상태에서 카메라 외부 파라미터 교정 작업을 수행할 수 있다.
상기 시스템은 상기 소정 개수의 점을 사용자로부터 입력받는 입력부를 더 포함할 수 있다.
상기 시스템은 상기 차량 전방 영상에서 상기 차량이 위치한 차로의 양측 차선을 추출하고, 상기 추출된 양측 차선에서 상기 소정 개수의 점을 자동으로 선택하는 특징점 추출부를 더 포함할 수 있다.
상기 특징점 추출부는 상기 차량 전방 영상에서 상기 가로 보조선과 미리 정해진 높이 사이의 영역에서 상기 차량이 위치한 차로의 양측 차선을 추출할 수 있다.
상기 시스템은, 상기 휴대 단말의 피치 값을 구하는 자세 센서를 더 포함하고, 상기 구해진 휴대 단말의 피치 값을 상기 반복 연산의 기준이 되는 카메라 피치 초기 값으로 설정할 수 있다.
본 발명에 의하면, 사용자가 편리하게 차량에 장착된 휴대 단말 카메라의 외부 파라미터를 교정할 수 있으며, 휴대 단말 카메라의 외부 파라미터 교정을 위한 시스템 처리 시간 및 부하를 절감할 수 있다.
도 1은 본 발명에 따른 휴대 단말 카메라에 대한 외부 파라미터 좌표계의 일 예를 설명하기 위해 제공되는 모식도이다.
도 2는 카메라 외부 파라미터 교정 전후의 탑뷰 영상을 비교하기 위해 제공되는 도면이다.
도 3은 본 발명에 따른 카메라 기능이 포함된 휴대 단말을 예시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 휴대 단말의 카메라 외부 파라미터 교정 동작을 설명하기 위해 제공되는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 휴대 단말 카메라 외부 파라미터 교정 시스템에서 이용하는 카메라 교정 보조선을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 휴대 단말 카메라 외부 파라미터 교정 시스템에서 특징점을 사용자로부터 선택받는 화면을 예시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 카메라 기능이 포함된 휴대 단말을 예시한 블록도이다.
도 8은 본 발명에 따른 차량 전방 영상에서 차선 추출 동작이 수행되는 관심 영역을 예시한 도면이다.
도 9는 본 발명에 따른 차량 전방 영상에서 차선 추출을 위한 영상 처리 동작을 설명하기 위해 제공되는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명에 따른 휴대 단말 카메라에 대한 외부 파라미터 좌표계의 일 예를 설명하기 위해 제공되는 모식도이다.
도 1을 참고하면, 본 발명의 일 실시예에 따른 카메라 기능을 구비한 휴대 단말(100)은 스마트폰, PDA, 이동전화 등으로 구현될 수 있으며, 실시예에 따라서는 네비게이션 등의 통화 기능이 없는 단말에 카메라 기능이 부가된 형태로 구현될 수도 있다. 휴대 단말(100)은 차량의 대쉬 보드 또는 차량 전방 윈도우에 설치 또는 부착된 거치대(200)에 장착될 수 있다. 그리고 휴대 단말 카메라에 대한 외부 파라미터 좌표계는 도 1에 예시한 것과 같이 차량 전방 하단의 지면(O)을 중심으로 설정될 수 있다. 물론 실시예에 따라 좌표계 중심은 차량 중심으로 설정될 수도 있다.
휴대 단말(100)에 구비된 카메라의 외부 파라미터는 X, Y, Z 축 회전에 대한 피치(Pitch,
Figure 112011098995095-pat00001
), 롤(Roll,
Figure 112011098995095-pat00002
), 요(Yaw,
Figure 112011098995095-pat00003
)와, 외부 파라미터 좌표계를 중심으로 x, y, z 방향으로 이동에 대한 위치 좌표(Tx, Ty, Tz)로 정의될 수 있다.
그러면 하기 수학식 1에 의해 휴대 단말(100)에 구비된 카메라에서 촬영된 영상에서의 좌표(u, v)는 카메라 외부 파라미터 좌표계의 중심인 차량 전방 하단의 지면(O)을 중심을 기준으로 하는 3차원 좌표(x, y, z)의 관계로 정의될 수 있다.
Figure 112011098995095-pat00004
여기서 fx는 focal_length/pixel_width, fy는 focal_length/pixel_height, px는 영상에서 광축이 맺히는 지점의 x좌표, py는 영상에서 광축이 맺히는 지점의 y좌표로 정의되며, 렌즈와 CMOS 센서 간의 거리가 focal length이고, CMOS센서 픽셀 하나의 Width, Height로 나누어서 pixel 단위로 만든 것이 fx, fy이다. 그리고 렌즈중심을 통해서 들어오는 광축이 CMOS 센서에 맺히는 부분의 좌표가 px, py 로 이상적인 경우는 영상의 정 가운데가 된다.
한편 수학식 1에 대해 투영 변환(Perspective Transform) 행렬을 PT로 정의하면 아래 수학식 2와 같이 간단화 될 수 있으며, PT 행렬은 휴대 단말(100)에 구비된 카메라가 단안 렌즈를 사용한다고 가정하면 카메라 내부 파라미터가 고정되기 때문에 카메라 외부 파라미터 중 자세 정보에 대응하는 피치(Pitch,
Figure 112011098995095-pat00005
), 롤(Roll,
Figure 112011098995095-pat00006
), 요(Yaw,
Figure 112011098995095-pat00007
)와, 카메라 외부 파라미터 중 위치 정보에 대응하는 위치 좌표(Tx, Ty, Tz)에 연동된다.
Figure 112011098995095-pat00008
한편 수학식 2에 대해서 역 투영변환 행렬(Inverse Perspective Transform) 행렬을 IPT로 정의하면 다음 수학식 3과 같은 관계가 도출된다.
Figure 112011098995095-pat00009
수학식 3에서 z를 모두 '0'으로 하고, IPT 연산을 하게 되면 도 2(a)에 예시한 것과 같은 차량 위에서 아래를 내려다보는 방향의 영상, 이른바 탑뷰(Top View) 영상이 생성될 수 있다.
도 2는 카메라 외부 파라미터 교정 전후의 탑뷰 영상을 비교하기 위해 제공되는 도면이다.
도 2를 참고하면, 일반적으로 도로 상의 차선은 이웃 차선과 평행하고 차선 폭이 일정하므로 탑 뷰 영상에서 도 2(a)에 예시한 것과 같이 나타나야 정상적이다. 그런데 카메라 외부 파라미터를 교정하지 않고 디폴트로 설정된 초기값을 그대로 이용하여 탑뷰 영상을 생성할 경우 도 2(b)에 예시한 것과 같이 차선이 이웃 차선과 나란하지 않게 표시될 수 있다.
이하에서 본 발명에 따른 휴대 단말 카메라에 대한 외부 파라미터 교정 방법 및 시스템에 대해 자세히 설명한다.
도 3은 본 발명에 따른 카메라 기능이 포함된 휴대 단말을 예시한 블록도이다.
도 3을 참고하면, 본 발명에 따른 휴대 단말(100)은 카메라(110), 영상 처리부(120), 자세 센서(130), 제어부(140), 입력부(150), 표시부(160), 외부 파라미터 교정부(170), 메모리(180)를 포함할 수 있다.
카메라(110)는 휴대 단말(100)에 구비되어 주변 영상을 획득하는 기능을 수행한다.
영상 처리부(120)는 카메라(110)에서 촬영된 영상을 표시부(160)에서 표시될 수 있는 형태로 처리하는 기능을 수행하며, 제어부(140)의 제어에 따라 실제 카메라 시점을 가상 카메라 시점, 예컨대 차량 위에서 아래를 내려다보는 방향의 탑뷰 영상 형태로 변환할 수 있다. 가상 카메라 시점으로 변환할 때 사용하기 위한 카메라 외부 파라미터는 외부 파라미터 교정부(170)에서 구해지면 뒤에서 자세히 설명한다. 그리고 영상 처리부(120)는 제어부(140)의 제어에 따라 영상에 카메라 교정 보조선을 표시할 수 있다.
표시부(160)는 영상 처리부(120)에서 생성된 출력 영상을 화면에 표시하는 기능을 수행한다.
입력부(150)는 터치 패널 등으로 구현되어 사용자의 선택, 명령, 정보 등을 입력받을 수 있다.
자세 센서(130)는 휴대 단말(100)의 자세 정보, 피치, 롤, 요 값에 대한 정보를 검출하여 제어부(140)에 제공할 수 있으며, 자이로 센서 등으로 구현할 수 있다. 휴대 단말(100)의 자세 정보를 이용하여 휴대 단말(100)에 장착된 카메라(110)의 자세 정보 중 일부를 대략적으로 추정할 수도 있다.
제어부(140)는 휴대 단말(100)의 전반적인 동작을 제어한다. 특히 본 발명에 따른 제어부(100)는 사용자가 화면에 표시된 차선 상에서 입력부(150)를 통해 선택한 점에 대한 정보와 필요한 경우 자세 센서(130)에서 전달된 자세 정보를 외부 파라미터 교정부(170)에 전달하여 외부 파라미터 교정 작업을 수행하도록 할 수 있다. 또한 제어부(140)는 영상 처리부(120)를 제어하여 교정 보조선을 화면에 표시되게 할 수도 있다. 그리고 제어부(140)는 영상 처리부(120)를 제어하여 카메라(110)로부터 입력된 영상을 탑뷰 영상으로 변환하는 동작을 수행하도록 할 수 있다.
외부 파라미터 교정부(170)는 사용자가 화면에 표시된 차선 상에서 선택한 점에 대한 정보를 기초로 카메라 외부 파라미터를 추정하여 디폴트로 설정되어 있던 카메라 외부 파라미터를 교정하는 작업을 수행한다.
메모리(180)는 휴대 단말(100)의 동작에 필요한 각종 데이터 및 프로그램을 저장하고 제어부(140)의 요청에 따라 제공할 수 있다. 특히 본 발명에 따른 메모리(180)는 카메라 외부 파라미터 초기값을 저장할 수 있다. 그리고 카메라 외부 파라미터 초기값 중에서 카메라 높이 및 차량의 본넷 선단부에서 카메라까지의 거리에 대응하는 초기값은 차량의 차종 또는 모델명에 따라 다르게 저장되어 있을 수 있다.
그러면 본 발명의 일 실시예에 따른 휴대 단말의 카메라 외부 파라미터 교정 동작에 대해 자세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 휴대 단말의 카메라 외부 파라미터 교정 동작을 설명하기 위해 제공되는 흐름도이다.
도 1 내지 도 4를 참고하면, 먼저 사용자가 휴대 단말(100)을 거치대(200)에 장착하고 카메라 외부 파라미터 교정을 선택하면(S410-Y), 휴대 단말(100)은 표시부(160)에 차종을 선택받기 위한 화면을 표시하여 입력받을 수 있다(S420). 단계(S420)에서 차종은 경차, 소형차, 중대형차, 승합차 등의 차량 크기를 기준으로 분류될 수 있으며, 실시예에 따라서는 차량 모델명을 입력받도록 구현될 수도 있다. 이렇게 사용자로부터 선택된 차종 또는 차량 모델에 따라 카메라(110)의 외부 파라미터 중 일부가 대략적으로 추정될 수 있다. 예컨대 차량에 설치된 카메라(110)의 높이(Tz)에 대응하는 파라미터를 추정할 수 있고, 차량 전방(범퍼 끝 또는 차량 번호판 등)까지의 거리(Ty)에 대한 파라미터가 추정될 수 있다. 이렇게 카메라(110)의 위치 정보(Ty, Tz)를 대략적으로 추정한 값을 카메라 외부 파라미터를 구하기 위해 실시되는 반복 연산(iteration)의 초기값으로 설정하면 반복 연산의 횟수를 줄일 수 있다.
한편 동일 차종의 경우는 차량의 높이가 커다란 차이가 없으므로 사용자로부터 입력된 차종에 따라 미리 정해진 값으로 카메라(110)의 위치 정보(Tz)에 대응하는 외부 파라미터를 바로 추정할 수 있다. 그리고 사용자로부터 차량 모델명이 선택된 경우는 카메라(110)의 위치 정보(Ty)도 바로 구하여 외부 파라미터로 추정할 수 있다.
다음으로 휴대 단말(100)은 화면에 카메라(110)에서 촬영된 영상과 함께 도 5에 예시한 것과 같은 장착 기준선(510, 520)을 표시한다(S430). 장착 기준선(510, 520)은 세로 보조선(510)과 가로 보조선(520)을 포함할 수 있다. 세로 보조선(510)은 화면의 중간 부근에 세로로 표시될 수 있으며, 가로 보조선(520)은 화면의 중간 하단부에 가로로 표시될 수 있다.
사용자는 차량이 위치한 차로의 중앙 부근에 세로 보조선(510)이 위치하고, 차량 본넷의 선단부(530)에 가로 보조선(520)이 위치하도록 휴대 단말(100)의 거치된 자세를 조정할 수 있다(S440). 차량 본넷의 선단부(530)에 가로 보조선(520)이 위치하게 함으로써 카메라(110)의 롤 값은 '0'으로 추정할 수 있다. 그리고 차로의 중앙 부근에 세로 보조선(510)이 위치하게 함으로써 카메라(110)의 요 값이 미리 설정된 초기값에서 크게 벗어나지 않는 범위에 있도록 할 수 있다.
단계(S420) 및 단계(S440)에 의해 카메라 외부 파라미터 중에서 카메라(110)의 위치 정보(Tz)와 롤 값을 구하고, 이후 단계에서 나머지 카메라 외부 파라미터를 구할 수 있다. 그리고 실시예에 따라서 차량 모델명이 선택된 경우에는 카메라(110)의 위치 정보(Ty)도 미리 정해진 값으로 설정할 수 있다.
다음으로 휴대 단말(100)은 도 6에 예시한 것과 같이 카메라(110)에 의해 촬영된 차량 전방 화면 상에서 차량이 위치한 차로의 양측 차선 상에서 각각 2개씩 4개의 특징점(611, 612, 613, 614)을 사용자로부터 선택받을 수 있다(S450). 물론 양측 차선 상에서 선택받는 점의 개수를 2개 이상으로 할 수도 있으며 이 경우 정확도는 더 높아지나 반복 연산을 위한 부하는 더 커질 수 있다.
이후 휴대 단말(100)은 차량 전방 영상을 탑뷰 시점으로 변환한 영상에서 사용자에 의해 선택된 점에 의해 구해지는 양측 차선이 이루는 간격 및 평행도가 미리 정해진 기준을 만족할 때의 카메라 외부 파라미터를 반복 연산을 통해 구한다(S460). 앞에서 설명한 것과 같이 카메라 외부 파라미터가 정확하게 추정되었으면 2 개의 차선이 서로 평행하고 그 간격은 일정한 범위 내에 위치해야 한다. 만일 단계(S460)에서 구해진 2개 차선의 간격과 평행도가 미리 정해진 범위 내에 위치하지 않은 경우 카메라 외부 파라미터를 일부 조정하여 상기 조건을 만족하는 카메라 외부 파라미터가 구해질 때까지 반복 연산을 수행한다. 상기 조건을 만족하는 카메라 외부 파라미터가 구해지면 반복 연산을 중단하고 그 때의 카메라 외부 파라미터를 구한다.
카메라 외부 파라미터를 구하기 위한 반복 연산의 초기값 설정에 대해 설명하면, 먼저 단계(S420)에서 입력된 차종 또는 차량 모델명으로부터 차량에 설치된 카메라(110)의 높이(Tz)에 대응하는 초기값과, 차량 전방(범퍼 끝 또는 차량 번호판 등)까지의 거리(Ty)에 대응하는 초기값이 선택되어 설정될 수 있다. 그리고 단계(S440)에서 휴대 단말(100)의 거치된 자세가 조정된 것에 의해 롤 값의 초기값을 '0'으로 설정할 수 있다. 그리고 자세 센서(130)를 통해 측정된 휴대 단말(100)의 피치 값을 초기값으로 설정할 수 있다. 그리고 카메라 외부 파라미터 중에서 나머지 위치 정보(Tx)와 요 값은 미리 정해진 초기값으로 설정될 수 있다.
한편 반복 연산의 부담을 감소시키기 위해, 단계(S440)에서 휴대 단말(100)의 거치된 자세가 조정된 것에 의해 롤 값은 '0'으로 바로 추정할 수 있으며, 차종 별로 높이는 비슷하므로 차량에 설치된 카메라(110)의 높이(Tz)도 차종 별로 정해진 값으로 바로 추정할 수 있다. 따라서 롤 값과 카메라(110)의 높이를 제외한 나머지 4개의 카메라 외부 파라미터만을 조정하면서 반복 연산을 수행할 수 있다.
한편 차종 모델명이 입력된 경우 차량 전방(범퍼 끝 또는 차량 번호판 등)까지의 거리(Ty)도 차량 모델명에 따라 정해진 값으로 바로 추정할 수 있다. 이 경우는 바로 추정되지 않은 나머지 3개의 외부 파라미터만을 조정하면서 반복 연산을 수행하여 2개 차선의 간격과 평행도가 미리 정해진 범위 내에 위치하는 카메라 외부 파라미터를 구할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 카메라 기능이 포함된 휴대 단말을 예시한 블록도이다.
도 7을 참고하면, 도 7에 예시된 휴대 단말 카메라 외부 파라미터 교정 시스템의 각 구성 요소는 도 3에서 동일 참조부호를 가진 구성 요소와 동일한 기능을 수행한다. 다만 도 3의 실시예에서는 입력부(150)를 통해 사용자가 도 6에 예시한 것과 같은 화면에 표시된 차선 상에서 선택한 특징점(611, 612, 613, 614)을 입력받는 동작을 수행하나, 도 7에서는 특징점 추출부(190)에서 자동으로 특징점(611, 612, 613, 614)을 추출하도록 구현되는 점에 차이가 있다.
그러면 특징점 추출부(190)의 동작에 대해 도 8 및 도 9를 참조하여 설명한다.
도 8은 본 발명에 따른 차량 전방 영상에서 차선 추출 동작이 수행되는 관심 영역을 예시한 도면이고, 도 9는 본 발명에 따른 차량 전방 영상에서 차선 추출을 위한 영상 처리 동작을 설명하기 위해 제공되는 도면이다.
먼저 특징점 추출부(190)는 차량 전방 영상에서 가로 보조선(520)과 미리 정해진 높이까지의 영역(ROI)을 관심 영역으로 추출한다. 바람직하게는 관심 영역은 차량 전방 영상의 중심(530)에서 차량 본넷 부분에 위치하게 되는 가로 보조선(520) 까지의 영역으로 설정할 수 있다. 관심 영역 설정은 시스템 설계자에 의해 사전에 설정되거나 사용자로부터 설정되도록 구현될 수 있다.
다음으로 특징점 추출부(190)는 관심 영역 영상을 도 9(a)에서 예시한 것과 같은 RGB 컬러 영상에서 도 9(b)에 예시한 것과 같이 그레이(GRAY) 영상으로 변환한다. 그리고 다시 도 9(c)에 예시한 것과 같이 리지 마스크(Ridge Mask)를 이용하여 필터링하여 이진 영상으로 변환한다. 그리고 도 9(c)에 예시한 이진 영상을 도 9(d)에 예시한 것과 같이 좌우 영상으로 분리하여 좌측 영상에서는 30~60 기울기 범위 내에서 호프(Hough) 변환을 통해서 차선을 추출하고, 우측 영상에서는 90~120 기울기 범위 내에서 호프(Hough) 변환을 통해서 차선을 추출할 수 있다. 이후 특징점 추출부(190)는 좌우측에서 추출된 차선에서 특징점(611, 612, 613, 614)을 추출할 수 있다. 특징점(611, 612, 613, 614)은 좌우측 차선 상에서 추출하면 되며, 반드시 어느 위치에서 추출되어야 하는 제약 조건은 필요하지 않다. 이렇게 추출된 특징점(611, 612, 613, 614)을 이용하여 상기한 도 4에서의 단계(S450) 이후의 동작을 수행함으로써 사용자로부터 특징점 선택을 받지 않고도 휴대 단말 카메라 외부 파라미터 교정을 자동으로 수행할 수 있다. 한편 위에서 설명한 방법 외에도 영상에서 차선을 추출할 수 있는 다양한 알고리즘을 통해 차선을 추출하고, 추출된 차선으로부터 특징점을 추출할 수 있음은 물론이다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 휴대 단말 카메라 외부 파라미터 교정 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(Floptical Disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 카메라를 구비한 휴대 단말을 차량에 장착하기 위한 기준 위치를 사용자에게 제시하는 장착 기준선을 상기 카메라에 의해 촬영된 차량 전방 영상과 함께 화면에 표시하는 단계,
    상기 휴대 단말이 상기 기준선에 맞춰 상기 차량에 장착된 후 상기 차량 전방 영상에서 차량이 위치한 차로의 양측 차선에서 적어도 2개의 점이 각각 선택되는 단계, 그리고
    상기 차량 전방 영상을 탑뷰 시점으로 변환한 영상에서 상기 선택된 점에 의해 구해지는 양측 차선이 이루는 간격 및 평행도가 미리 정해진 기준을 만족할 때의 카메라 외부 파라미터를 반복 연산을 통해 구하는 단계를 포함하는 휴대 단말 카메라 외부 파라미터 교정 방법.
  2. 제 1 항에서,
    상기 장착 기준선은,
    상기 화면의 중간 부분에 세로로 표시되는 세로 보조선과 상기 화면의 중간 하단부에 가로로 표시되는 가로 보조선을 포함하는 휴대 단말 카메라 외부 파라미터 교정 방법.
  3. 제 2 항에서,
    사용자로부터 상기 차량의 차종 또는 모델명을 입력받는 단계를 더 포함하는 휴대 단말 카메라 외부 파라미터 교정 방법.
  4. 제 3 항에서,
    상기 세로 보조선이 상기 양측 차선의 중간 부분에 위치하고, 상기 가로 보조선이 차량 본넷 선단부에 위치한 상태에서 카메라 외부 파라미터 교정 작업을 수행하는 휴대 단말 카메라 외부 파라미터 교정 방법.
  5. 제 4 항에서,
    상기 차량 전방 영상에서 차량이 위치한 차로의 양측 차선에서 각각 선택되는 적어도 2개의 점은 사용자로부터 선택되는 휴대 단말 카메라 외부 파라미터 교정 방법.
  6. 제 4 항에서,
    상기 차량 전방 영상에서 차량이 위치한 차로의 양측 차선에서 적어도 2개의 점이 각각 선택되는 단계는,
    상기 차량 전방 영상에서 상기 차량이 위치한 차로의 양측 차선이 추출되는 단계, 그리고
    상기 추출된 양측 차선에서 적어도 2개의 점이 각각 자동으로 선택되는 단계를 포함하는 휴대 단말 카메라 외부 파라미터 교정 방법.
  7. 제 6 항에서,
    상기 차량 전방 영상에서 상기 가로 보조선과 미리 정해진 높이 사이의 영역에서 상기 차량이 위치한 차로의 양측 차선을 추출하는 휴대 단말 카메라 외부 파라미터 교정 방법.
  8. 제 5 항 또는 제 6 항에서,
    상기 카메라의 외부 파라미터 중에서 롤 값을 '0'으로 추정하고, 다른 카메라 외부 파라미터는 상기 양측 차선이 이루는 간격 및 평행도가 미리 정해진 기준을 만족할 때까지 반복 연산을 통해 구하는 휴대 단말 카메라 외부 파라미터 교정 방법.
  9. 제 5 항 또는 제 6 항에서,
    상기 반복 연산의 기준이 되는 외부 파라미터 초기값 중에서 카메라 높이 및 차량의 본넷 선단부에서 카메라까지의 거리에 대응하는 초기값은 사용자로부터 입력된 상기 차량의 차종 또는 모델명에 따라 다르게 설정되는 휴대 단말 카메라 외부 파라미터 교정 방법.
  10. 제 5 항 또는 제 6 항에서,
    상기 카메라의 외부 파라미터 중에서 카메라 높이에 대응하는 외부 파라미터는 상기 선택된 차종 또는 차량 모델에 따라 미리 정해진 값으로 추정되는 휴대 단말 카메라 외부 파라미터 교정 방법.
  11. 제 5 항 또는 제 6 항에서,
    상기 카메라의 외부 파라미터 중에서 카메라 높이 및 차량의 본넷 선단부에서 카메라까지의 거리에 대응하는 외부 파라미터는 상기 선택된 차량 모델에 따라 미리 정해진 값으로 추정되는 휴대 단말 카메라 외부 파라미터 교정 방법.
  12. 제 5 항 또는 제 6 항에서,
    상기 휴대 단말에 포함된 자세 센서를 통해 상기 휴대 단말의 피치 값을 구하는 단계를 더 포함하고,
    상기 구해진 휴대 단말의 피치 값을 상기 반복 연산의 기준이 되는 카메라 피치 초기 값으로 설정하는 휴대 단말 카메라 외부 파라미터 교정 방법.
  13. 카메라,
    상기 카메라를 구비한 휴대 단말을 차량에 장착하기 위한 기준 위치를 사용자에게 제시하는 장착 기준선을 상기 카메라에 의해 촬영된 차량 전방 영상과 함께 화면에 표시하는 표시부, 그리고
    상기 휴대 단말이 상기 기준선에 맞춰 상기 차량에 장착된 후 상기 차량 전방 영상에서 차량이 위치한 차로의 양측 차선에서 적어도 2개의 점이 각각 선택되면, 상기 차량 전방 영상을 탑뷰 시점으로 변환한 영상에서 상기 선택된 점에 의해 구해지는 양측 차선이 이루는 간격 및 평행도가 미리 정해진 기준을 만족할 때의 카메라 외부 파라미터를 반복 연산을 통해 구하는 외부 파라미터 교정부를 포함하는 휴대 단말 카메라 외부 파라미터 교정 시스템.
  14. 제 13 항에서,
    사용자로부터 상기 차량의 차종 또는 모델명을 입력받는 입력부를 더 포함하고,
    상기 장착 기준선은, 상기 화면의 중간 부분에 세로로 표시되는 세로 보조선과 상기 화면의 중간 하단부에 가로로 표시되는 가로 보조선을 포함하는 휴대 단말 카메라 외부 파라미터 교정 시스템.
  15. 제 14 항에서,
    상기 외부 파라미터 교정부는,
    상기 세로 보조선이 상기 양측 차선의 중간 부분에 위치하고, 상기 가로 보조선이 차량 본넷 선단부에 위치한 상태에서 카메라 외부 파라미터 교정 작업을 수행하는 휴대 단말 카메라 외부 파라미터 교정 시스템.
  16. 제 15 항에서,
    상기 입력부는,
    상기 차량 전방 영상에서 차량이 위치한 차로의 양측 차선에서 적어도 2개의 점을 각각 사용자로부터 선택받는 휴대 단말 카메라 외부 파라미터 교정 시스템.
  17. 제 15 항에서,
    상기 차량 전방 영상에서 상기 차량이 위치한 차로의 양측 차선을 추출하고, 상기 추출된 양측 차선에서 적어도 2개의 점을 각각 자동으로 선택하는 특징점 추출부를 더 포함하는 휴대 단말 카메라 외부 파라미터 교정 시스템.
  18. 제 17 항에서,
    상기 특징점 추출부는 상기 차량 전방 영상에서 상기 가로 보조선과 미리 정해진 높이 사이의 영역에서 상기 차량이 위치한 차로의 양측 차선을 추출하는 휴대 단말 카메라 외부 파라미터 교정 시스템.
  19. 제 16 항 또는 제 17 항에서,
    상기 카메라의 외부 파라미터 중에서 롤 값을 '0'으로 추정하고, 다른 카메라 외부 파라미터는 상기 양측 차선이 이루는 간격 및 평행도가 미리 정해진 기준을 만족할 때까지 반복 연산을 통해 구하고,
    상기 반복 연산의 기준이 되는 외부 파라미터 초기값 중에서 카메라 높이 및 차량의 본넷 선단부에서 카메라까지의 거리에 대응하는 초기값은 사용자로부터 입력된 상기 차량의 차종 또는 모델명에 따라 다르게 설정되는 휴대 단말 카메라 외부 파라미터 교정 시스템.
  20. 제 16 항 또는 제 17 항에서,
    상기 휴대 단말의 피치 값을 구하는 자세 센서를 더 포함하고,
    상기 구해진 휴대 단말의 피치 값을 상기 반복 연산의 기준이 되는 카메라 피치 초기 값으로 설정하는 휴대 단말 카메라 외부 파라미터 교정 시스템.
KR1020110133801A 2011-12-13 2011-12-13 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템 KR101271639B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110133801A KR101271639B1 (ko) 2011-12-13 2011-12-13 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110133801A KR101271639B1 (ko) 2011-12-13 2011-12-13 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101271639B1 true KR101271639B1 (ko) 2013-06-17

Family

ID=48866306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110133801A KR101271639B1 (ko) 2011-12-13 2011-12-13 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101271639B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784672A (zh) * 2016-08-26 2018-03-09 百度在线网络技术（北京）有限公司 用于获取车载相机的外部参数的方法和装置
KR20200005224A (ko) * 2018-07-06 2020-01-15 현대모비스 주식회사 헤딩각 보상 장치 및 방법
CN110969664A (zh) * 2018-09-30 2020-04-07 北京初速度科技有限公司 一种相机外部参数的动态标定方法
CN111223150A (zh) * 2020-01-15 2020-06-02 电子科技大学 一种基于双消失点的车载摄像头外参数标定方法
WO2020151212A1 (zh) * 2019-01-24 2020-07-30 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN112308923A (zh) * 2019-07-25 2021-02-02 北京地平线机器人技术研发有限公司 基于车道线的相机位姿调整方法和装置、存储介质、设备
WO2021132803A1 (en) 2019-12-24 2021-07-01 Lg Electronics Inc. Xr device and method for controlling the same
WO2023123574A1 (zh) * 2021-12-28 2023-07-06 中公高科养护科技股份有限公司 用于路面检测的相机标定系统及标定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10181447A (ja) * 1996-12-20 1998-07-07 Alpine Electron Inc 車両周辺確認システム
JP2007256030A (ja) 2006-03-23 2007-10-04 Clarion Co Ltd 車載カメラのキャリブレーション装置およびキャリブレーション方法
KR101056285B1 (ko) 2010-11-01 2011-08-11 (주)베라시스 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10181447A (ja) * 1996-12-20 1998-07-07 Alpine Electron Inc 車両周辺確認システム
JP2007256030A (ja) 2006-03-23 2007-10-04 Clarion Co Ltd 車載カメラのキャリブレーション装置およびキャリブレーション方法
KR101056285B1 (ko) 2010-11-01 2011-08-11 (주)베라시스 차량 카메라의 자율보정 및 차선 이탈 경보 시점 설정 방법 및 시스템

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784672A (zh) * 2016-08-26 2018-03-09 百度在线网络技术（北京）有限公司 用于获取车载相机的外部参数的方法和装置
CN107784672B (zh) * 2016-08-26 2021-07-20 百度在线网络技术（北京）有限公司 用于获取车载相机的外部参数的方法和装置
KR20200005224A (ko) * 2018-07-06 2020-01-15 현대모비스 주식회사 헤딩각 보상 장치 및 방법
KR102496290B1 (ko) * 2018-07-06 2023-02-06 현대모비스 주식회사 헤딩각 보상 장치 및 방법
US11721109B2 (en) 2018-07-06 2023-08-08 Hyundai Mobis Co., Ltd. Apparatus and method for compensating for heading angle
CN110969664B (zh) * 2018-09-30 2023-10-24 北京魔门塔科技有限公司 一种相机外部参数的动态标定方法
CN110969664A (zh) * 2018-09-30 2020-04-07 北京初速度科技有限公司 一种相机外部参数的动态标定方法
WO2020151212A1 (zh) * 2019-01-24 2020-07-30 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN112308923A (zh) * 2019-07-25 2021-02-02 北京地平线机器人技术研发有限公司 基于车道线的相机位姿调整方法和装置、存储介质、设备
WO2021132803A1 (en) 2019-12-24 2021-07-01 Lg Electronics Inc. Xr device and method for controlling the same
EP4081434A4 (en) * 2019-12-24 2024-01-17 LG Electronics Inc. XR DEVICE AND METHOD FOR CONTROLLING THE SAME
CN111223150A (zh) * 2020-01-15 2020-06-02 电子科技大学 一种基于双消失点的车载摄像头外参数标定方法
WO2023123574A1 (zh) * 2021-12-28 2023-07-06 中公高科养护科技股份有限公司 用于路面检测的相机标定系统及标定方法

Similar Documents

Publication Publication Date Title
KR101271639B1 (ko) 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템
US10178314B2 (en) Moving object periphery image correction apparatus
JP6603094B2 (ja) キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
JP4832321B2 (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
US11657319B2 (en) Information processing apparatus, system, information processing method, and non-transitory computer-readable storage medium for obtaining position and/or orientation information
CN103448634B (zh) 与图像裁剪叠加的动态参考
US7405746B2 (en) Image navigation device
KR100948886B1 (ko) 차량에 설치된 카메라의 공차 보정 장치 및 방법
EP1891580B1 (en) Method and a system for detecting a road at night
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
EP4213068A1 (en) Target detection method and apparatus based on monocular image
US9082020B2 (en) Apparatus and method for calculating and displaying the height of an object detected in an image on a display
CN109941277A (zh) 显示汽车a柱盲区图像的方法、装置和车辆
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
JP2013154730A (ja) 画像処理装置、画像処理方法、及び、駐車支援システム
KR102057021B1 (ko) 패널 변환
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
US20220366606A1 (en) Methods for calibrating image acquiring devices, electronic devices and storage media
CN110766761B (zh) 用于相机标定的方法、装置、设备和存储介质
JP6151535B2 (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
US9802539B2 (en) Distance and direction estimation of a target point from a vehicle using monocular video camera
KR20180021822A (ko) 후방 교차 교통-퀵 룩스
EP3709265A1 (en) Road surface area detection device
CN109376653B (zh) 用于定位车辆的方法、装置、设备和介质
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180510

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190917

Year of fee payment: 7