KR20200027877A - 차량용 카메라 캘리브레이션 장치 및 방법 - Google Patents

차량용 카메라 캘리브레이션 장치 및 방법 Download PDF

Info

Publication number
KR20200027877A
KR20200027877A KR1020190055803A KR20190055803A KR20200027877A KR 20200027877 A KR20200027877 A KR 20200027877A KR 1020190055803 A KR1020190055803 A KR 1020190055803A KR 20190055803 A KR20190055803 A KR 20190055803A KR 20200027877 A KR20200027877 A KR 20200027877A
Authority
KR
South Korea
Prior art keywords
vehicle
coordinate system
camera
rotation
image
Prior art date
Application number
KR1020190055803A
Other languages
English (en)
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Publication of KR20200027877A publication Critical patent/KR20200027877A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따른 차량용 카메라 캘리브레이션 방법은 차량의 직진 중에 상기 차량의 카메라에 의해 촬영된 보정판에 대한 영상을 획득하는 단계와, 상기 차량의 직진 중에 촬영된 상기 영상을 기초로 차량 좌표계와 카메라 좌표계 간의 회전(rotation) 변환 정보를 획득하는 단계와, 상기 차량의 회전 중에 상기 카메라에 의해 촬영된 상기 보정판에 대한 영상을 획득하는 단계와, 상기 차량의 회전 중에 촬영된 상기 영상을 기초로 상기 차량 좌표계와 상기 카메라 좌표계 간의 위치(translation) 변환 정보를 획득하는 단계를 포함한다

Description

차량용 카메라 캘리브레이션 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING CAMERA CALIBRATION FOR VEHICLE}
본 발명은 차량용 카메라의 캘리브레이션을 수행하는 차량용 카메라 캘리브레이션 장치 및 방법에 관한 것이다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 지원 시스템은 주행 환경을 감지하기 위해 감지 수단을 구비할 수 있으며, 감지 수단의 일 예로 카메라를 포함할 수 있다. 카메라는 차량 외부 또는 내부에 설치되어 영상을 획득함으로써 주행 환경을 감지할 수 있다.
여기서, 카메라에 의해 획득된 영상을 기초로 차량을 제어하기 위해서는 카메라 좌표계와 차량 좌표계 간의 변환 관계를 알아야 한다. 이러한 변환 관계를 구하는 과정은 차량용 카메라의 캘리브레이션이라고 지칭된다.
한국등록특허공보, 제 10-1584693호 (2016.01.14. 공고)
차량용 카메라의 캘리브레이션을 위한 다양한 방법들이 존재한다. 그런데, 기존의 방법들은 대부분 정교하면서도 정밀한 과정을 요구한다. 예컨대, 보정용 인식 패턴(체스보드와 같은 패턴)을 갖는 보정판을 이용하는 방법의 경우 보정판은 정해진 규격에 따라 정해진 위치에 정밀하게 설치되어야 하며, 캘리브레이션의 대상인 카메라 장착 차량 또한 정해진 위치에 정밀하게 놓여야 한다. 그렇지 못할 경우, 캘리브레이션의 정확도가 현저하게 낮아질 수 있다.
이에, 본 발명의 해결하고자 하는 과제는 종래의 방법에서 요구하는 것보다 상대적으로 정밀하지 않으면서도 손쉽게 수행 가능한, 예컨대 보정판이 정해진 규격에 따라 정해진 위치에 정밀하게 설치되어 있지 않는다고 하더라도 또는 캘리브레이션의 대상인 카메라 장착 차량이 정해진 위치에 정밀하게 놓여지지 않더라도 정확하게 차량용 카메라에 대한 캘리브레이션을 수행할 수 있는 기술을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 차량용 카메라 캘리브레이션 방법은 차량의 직진 중에 상기 차량의 카메라에 의해 촬영된 보정판에 대한 영상을 획득하는 단계와, 상기 차량의 직진 중에 촬영된 영상을 기초로 차량 좌표계와 카메라 좌표계 간의 회전(rotation) 변환 정보를 획득하는 단계와, 상기 차량의 회전 중에 상기 카메라에 의해 촬영된 상기 보정판에 대한 영상을 획득하는 단계와, 상기 차량의 회전 중에 촬영된 영상을 기초로 상기 차량 좌표계와 상기 카메라 좌표계 간의 위치(translation) 변환 정보를 획득하는 단계를 포함한다.
일 실시예에 따른 컴퓨터 판독가능한 기록매체는 차량의 직진 중에 상기 차량의 카메라에 의해 촬영된 보정판에 대한 영상을 획득하는 단계와, 상기 차량의 직진 중에 촬영된 영상을 기초로 차량 좌표계와 카메라 좌표계 간의 회전(rotation) 변환 정보를 획득하는 단계와, 상기 차량의 회전 중에 상기 카메라에 의해 촬영된 상기 보정판에 대한 영상을 획득하는 단계와, 상기 차량의 회전 중에 촬영된 영상을 기초로 상기 차량 좌표계와 상기 카메라 좌표계 간의 위치(translation) 변환 정보를 획득하는 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장한다.
일 실시예에 따른 컴퓨터 프로그램은 컴퓨터 판독가능한 기록매체에 저장되며, 차량의 직진 중에 상기 차량의 카메라에 의해 촬영된 보정판에 대한 영상을 획득하는 단계와, 상기 차량의 직진 중에 촬영된 영상을 기초로 차량 좌표계와 카메라 좌표계 간의 회전(rotation) 변환 정보를 획득하는 단계와, 상기 차량의 회전 중에 상기 카메라에 의해 촬영된 상기 보정판에 대한 영상을 획득하는 단계와, 상기 차량의 회전 중에 촬영된 영상을 기초로 상기 차량 좌표계와 상기 카메라 좌표계 간의 위치(translation) 변환 정보를 획득하는 단계를 수행하도록 프로그램된다.
일 실시예에 따른 차량용 카메라 캘리브레이션 장치는 차량의 직진 중에 상기 차량의 카메라에 의해 촬영된 보정판에 대한 영상을 획득하고, 상기 차량의 직진 중에 촬영된 영상을 기초로 차량 좌표계와 카메라 좌표계 간의 회전(rotation) 변환 정보를 획득하는 회전 변환 계산부와, 상기 차량의 회전 중에 상기 카메라에 의해 촬영된 상기 보정판에 대한 영상을 획득하고, 상기 차량의 회전 중에 촬영된 영상을 기초로 상기 차량 좌표계와 상기 카메라 좌표계 간의 위치(translation) 변환 정보를 획득하는 위치 변환 계산부를 포함한다.
일 실시예에 따르면, 캘리브레이션을 위한 보정판이 지면에 대해 수평으로 놓이기만 하면 차량용 카메라에 대한 정확한 캘리브레이션 수행이 가능하다. 즉, 보정판이 정해진 규격에 따라 정해진 위치에 정밀하게 설치되어 있지 않는다고 하더라도 또한 캘리브레이션의 대상인 카메라 장착 차량이 정해진 위치에 정밀하게 놓여지지 않더라도 정확하게 캘리브레이션 수행이 가능하다.
도 1은 일 실시예에 따른 차량용 카메라 캘리브레이션 시스템의 구성도이다.
도 2는 일 실시예에 따른 차량 좌표계와 카메라 좌표계 간의 관계를 설명하기 위한 도면이다.
도 3은 일 실시예에 따라 차량 좌표계와 카메라 좌표계 간 회전(rotation) 변환을 계산하는 방법에 대한 흐름도이다.
도 4는 일 실시예에 따라 차량용 카메라의 캘리브레이션을 위해 배치된 보정판을 도시하고 있다.
도 5는 일 실시예에 따라 촬영된 보정판의 영상을 예시적으로 도시하고 있다.
도 6은 일 실시예에 따라 촬영된 보정판의 영상을 예시적으로 도시하고 있다.
도 7은 일 실시예에 따라 촬영된 2장의 보정판 영상이 배치된 것을 예시적으로 도시하고 있다.
도 8은 일 실시예에 따라 차량 좌표계와 카메라 좌표계 간 위치(translation) 변환을 계산하는 방법에 대한 흐름도이다.
도 9는 일 실시예에 따라 촬영된 영상이 변환된 것을 도시하고 있다.
도 10은 일 실시예에 따른 차량 좌표계와 카메라 좌표계 간 변환을 설명하기 위한 개념도이다.
도 11은 일 실시예에 따라 촬영된 보정판의 영상을 예시적으로 도시하고 있다.
도 12는 다른 실시예에 따라 차량 좌표계와 카메라 좌표계 간 회전(rotation) 변환을 계산하는 방법에 대한 흐름도이다.
도 13은 다른 실시예에 따른, 임의의 3차원 보정점의 이동 방향 벡터를 도시하고 있다.
도 14는 또 다른 실시예에 따라 차량 좌표계와 카메라 좌표계 간 회전(rotation) 변환을 계산하는 방법에 대한 흐름도이다.
도 15는 또 다른 실시예에 따라 촬영된 2장의 보정판 영상에 대해, 첫번 째 보정판 영상에서의 카메라 좌표계와 두번 째 보정판 영상에서의 카메라 좌표계 간의 관계를 도시하고 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 차량용 카메라 캘리브레이션 시스템(1)의 구성도이고, 도 2는 일 실시예에 따른 차량(V) 좌표계와 카메라(C) 좌표계를 설명하기 위한 도면이다.
차량용 카메라 캘리브레이션 시스템(1)은 차량(V) 및 차량용 카메라 캘리브레이션 장치(100)로 구성된다. 이 때, 도 1에 도시된 것과 같이 차량용 카메라 캘리브레이션 장치(100)는 차량(V)과 분리되어서 독립적으로 구성될 수 있으며, 또는 도 1에 도시된 것과는 달리 실시예에 따라 차량(V)에 포함되도록 설치될 수도 있다. 다만, 이하에서는 도 1에 도시된 것과 같이 차량용 카메라 캘리브레이션 장치(100)가 차량(V)과는 분리되어서 독립적으로 구성되는 것을 전제로 설명하기로 한다.
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단의 일종이다. 차량(V)은 예컨대 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치자전거, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
차량(V)에는 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 탑재될 수 있다. 여기서, 첨단 운전자 보조 시스템이란 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위해 차량(V) 상태, 운전자 상태 또는 주변 환경 정보와 같은 주행 환경 정보를 제공하거나 능동적으로 차량(V)을 제어하는 시스템을 의미한다.
이러한 첨단 운전자 보조 시스템은 감지 수단으로서 카메라(C)를 포함할 수 있다. 카메라(C)는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 영상을 획득할 수 있다. 획득된 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등의 정보를 획득하는 기초가 될 수 있다.
한편, 차량(V)은 다양한 정보를 차량(V) 자체의 제어에 이용할 수 있다. 예컨대 차량(V)은 카메라(C)에 의해 획득된 영상 정보 또는 차량(V) 내부 모듈간 통신 방식인 CAN 통신 방식으로 전송받은 휠 회전 정보나 요 레이트(Yaw Rate) 정보와 같은 CAN DATA를 융합하여 차량(V) 제어에 이용할 수 있다. 여기서, 카메라(C)에 의해 획득된 영상은 카메라 좌표계를 따르는 것인 반면, CAN DATA는 차량 좌표계를 따르는 것일 수 있다.
도 2는 차량(V)의 개략적인 평면도이며, 차량 좌표계와 차량(V)에 설치된 카메라 좌표계를 예시한다. 도 2를 참조하면, 차량(V)은 OV를 원점으로 하고, 차량(V)의 진행(이동 또는 직진) 방향으로의 XV축, 지면에 대한 수직 방향으로의 ZV축, 및 XV축과 ZV축에 수직인 YV축으로 구성되는 차량 좌표계를 가질 수 있다. 반면, 차량(V)에 설치된 카메라(C)는 OC를 원점으로 하고, 설치 위치 및 자세각에 따라 결정되는 XC축, YC축, ZC축으로 구성되는 카메라 좌표계를 가질 수 있다. 이처럼 서로 상이한 좌표계 상의 두 정보가 융합되기 위해서는 좌표계 간의 변환 내지 통일이 요구되는데, 이러한 좌표계 간의 변환은 카메라 캘리브레이션(CAMERA CALIBRATION)이라 지칭된다.
카메라 캘리브레이션을 위해, 차량용 카메라 캘리브레이션 시스템(1)은 차량(V)의 주행에 앞서 차량 좌표계와 카메라 좌표계 간의 변환 정보를 제공한다. 도 1을 참조하면, 이러한 차량용 카메라 캘리브레이션 장치(100)는 차량(V)과 유선 또는 무선으로 통신함으로써 이러한 차량(V)으로부터 위성 신호 또는 영상 등을 수신할 수 있으며, 또한 차량(V)에 차량-카메라 좌표계 간 회전(rotation)/위치(translation) 변환 정보를 제공할 수 있다. 여기서, 차량-카메라 좌표계 간 회전 변환 정보란 차량 좌표계와 카메라 좌표계가 서로 간에 각자의 원점을 기준으로 어느 각도로 회전되어 있는지(또는 회전되어 있는지)를 나타내는 정보이고, 차량-카메라 좌표계 간 위치 변환 정보란 예컨대 차량 좌표계 기준으로 카메라(C)가 어느 위치에 배치되어 있는지를 나타내는 정보 또는 카메라 좌표계 기준으로 차량(에 대한 소정의 기준 위치)이 어느 위치에 배치되어 있는지를 나타내는 정보이다.
구체적으로, 일 실시예에 따른 차량용 카메라 캘리브레이션 장치(100)는 차량(V)과 통신을 수행하는 통신부(110) 및 차량-카메라 좌표계 간 회전/위치 변환 정보('차량-카메라 좌표계 간 변환 정보'라고 지칭될 수도 있음)를 획득하는 제어부(120)를 포함할 수 있다.
이 중, 통신부(110)는 공지된 다양한 통신 방법으로 차량(V)과 통신함으로써 정보를 교환할 수 있다. 예컨대 통신부(110)는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra-wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy) 또는 NFC(Near Field Communication)와 같은 통신 모듈을 포함함으로써 소정 거리 이내에서 차량(V)과 통신할 수 있다. 또는 이와 달리 통신부(110)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등과 같은 통신 모듈을 포함함으로써 기지국을 통해서 차량(V)과 통신할 수도 있다.
제어부(120)는 이하에서 설명될 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 메모리에 저장된 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다.
구체적으로 살펴보면, 제어부(120)는 통신부(110)를 통해 차량(V)으로부터 수신받은 정보(예컨대 카메라(C)에 의해 촬영된 영상 등)를 이용하여서 차량-카메라 좌표계 간 변환 정보를 계산하여서 차량(V)에 제공한다. 이러한 제어부(120)는 회전 변환 계산부(121) 및 위치 변환 계산부(122)를 포함하며, 다만 이에 한정되는 것은 아니다.
이 중, 회전 변환 계산부(121)는 차량-카메라 좌표계 간 회전 변환 정보를 계산한다. 이하에서는, 도 3을 참조하여, 이러한 회전 변환 계산부(121)에 의해 차량-카메라 좌표계 간 회전 변환 정보가 계산되는 과정에 대해 자세하게 살펴보기로 한다.
도 3을 참조하면, 회전 변환 계산부(121)는 차량(V)의 직진 상황에서 차량(V)의 카메라(C)에 의해 소정의 시간 간격으로 촬영된 보정판 영상을 통신부(110)를 통해 차량(V)으로부터 획득한다(S100). 단계 S100에서 획득된 보정판 영상은 도 4에 도시되어 있는 보정용 인식 패턴(체스보드와 같은 패턴)을 갖는 보정판(10)에 대한 촬영 영상일 수 있다.
이 때, 보정판(10)은 지면(G)(좌표계에서는 x-y 평면)에 대해 수평이 되도록 놓여야 하며, 이를 위해 수평계가 사용될 수 있다. 다만, 보정판(10)은 지면(G)에 대해 수평이 되도록 놓이기만 하면 될 뿐, 좌우 방향(도 4에서는 x-y 평면 방향)으로 틀어지거나 또는 앞뒤 방향(도 4에서는 y-z 평면 방향)으로 틀어진다고 하더라도 무방하며, 이러한 경우에도 정밀한 캘리브레이션 수행이 가능하다.
즉, 일 실시예에 따르면 차량용 카메라의 캘리브레이션을 위한 보정판이 지면에 대해 수평이 되도록 놓이기만 하면 될 뿐, 그 이상의 정밀한 배치가 요구되지 않는다.
다시 도 3을 참조하기로 한다. 회전 변환 계산부(121)는 단계 S100에서 획득된 보정판 영상을 이용하여서 보정판-카메라 좌표계 간 회전/위치 변환을 계산한다(S110). 계산의 결과로서, 보정판-카메라 좌표계 간 회전 변환 행렬 및 보정판-카메라 좌표계 간 위치 변환 행렬이 도출될 수 있다. 이 때, 보정판 영상을 이용하여서 보정판-카메라 좌표계 간 회전/위치 변환을 계산하는 과정은 공지된 알고리즘을 이용하여 수행 가능하므로, 이에 대한 설명은 생략 하기로 한다.
다음으로, 회전 변환 계산부(121)는 단계 S100에서 획득된 보정판 영상을 이용하여서 차량 좌표계에서 지면과 수평인 평면(즉, 도 2에서 Xv축과 Yv축으로 이루어진 평면)에 평행한 벡터 Qc를, 카메라 좌표계(도 2에서 Xc,Yc,Zc로 이루어진 좌표계)를 기준으로 계산한다(S111).
단계 S111에 대해 대해 보다 구체적으로 살펴보기로 한다. 먼저, 회전 변한 계산부(121)는 도 5에 도시된 것과 같이 단계 S100에서 획득된 보정판 영상(2)으로부터 보정판(10) 내에 배치된 보정점(11) 복수 개를 식별한다. 이 때, 보정판 영상(2)으로부터 보정판(10) 내의 보정점(11)을 식별하는 과정은 영상 식별 분야에서 공지된 알고리즘을 이용함으로써 수행 가능하므로, 이에 대한 설명은 생략하기로 한다.
이어서, 회전 변환 계산부(121)는 식별된 보정점(11) 각각의 위치를 다음의 수학식 1을 이용하여서 카메라 좌표계를 기준으로 변환한다.
Figure pat00001
여기서, R( c,ch )와 T( c,ch )는 각각 보정판-카메라 좌표계 간 회전 변환 행렬 및 보정판-카메라 좌표계 간 위치 변환 행렬인데, 이는 단계 S110에서 획득된 것을 이용한다. 아울러, P(ch)는 식별된 보정점이 보정판 좌표계를 기준으로 갖는 위치인데, 그 값(보정점의 위치)은 회전 변환 계산부(121)가 위치 인식 알고리즘을 이용하여서 단계 S100에서 획득된 보정판 영상으로부터 알아낼 수 있거나 또는 회전 변환 계산부(121)가 이미 알고 있는(주어진) 값일 수 있다. 또한 P(c)는 카메라 좌표계 기준에서 본 보정점(11)의 위치이다. 즉, 수학식 1에 따르면, 보정판의 보정점 위치가 카메라 좌표계 기준으로 변환된다.
이어서, 회전 변환 계산부(121)는 보정판 영상(2)으로부터 식별된 보정판(10) 내에 배치된 보정점(11) 복수 개 중에서 도 6에서와 같이 가로 방향(지면과 평행한 방향)을 기준으로 동일 선상에 있는 보정점(11)들을 선택한 뒤, 선택된 보정점(11)들을 잇는 벡터 Qc(벡터의 방향은 예컨대 가로 방향에서 좌측을 향할 수 있으나 이에 한정되는 것은 아님)를 계산한다. 여기서, 벡터 Qc는 지면과 평행한 보정점(11)들을 잇는 벡터이므로 지면과 평행한 방향을 갖는 벡터이며, 달리 이야기하면 벡터 Qc는 차량 좌표계에서 지면과 수평인 평면(도 2에서 Xv축과 Yv축으로 이루어진 평면)에 평행한 방향을 갖는 단위(unit) 벡터이다.
다시 도 3을 참조한다. 회전 변환 계산부(121)는 단계 S100에서 획득된 보정판 영상 중 2장을 토대로, 보정판(10)의 어느 한 보정점(11)이 이러한 2장의 보정판 영상 각각에서 표시되는 위치 관계를 이용하여서 차량(V)의 이동 방향 벡터 X(c,v)를 계산한다(S120). 도 7에는, 보정판 영상 2장이 겹쳐져서 표시되어 있다. 앞쪽에 배치된(다른 보정판 영상에 의해 가려지지 않는) 보정판 영상에서 나타난 보정판(10)의 크기는 뒤쪽에 배치된(다른 보정판 영상에 일부가 가려지는) 보정판 영상에 나타난 보정판(10)의 크기보다 크다. 이는 앞쪽에 배치된 보정판 영상이 뒤쪽에 배치된 보정판 영상보다 상대적으로 차량(V)의 직진 중에서 시간적으로 먼저 촬영된 것을 의미한다. 도 7에 도시된 점선은 각각의 보정점이 전술한 앞쪽 보정판 영상에 나타난 점과 뒤쪽 보정판 영상에 나타난 점들을 이은 선인데, 이러한 점선은 도 7에 도시된 바와 같이 하나의 점에 모인다. 여기서, 이렇게 모이는 점(FOE라고 지칭될 수 있음, focus of expansion)은 차량(V)의 이동 방향을 나타내는 벡터 X(c,v)가 될 수 있으며, 이러한 이동 방향 벡터 X(c,v)는 카메라(C)에 의해 촬영된 영상을 토대로 계산되었다는 점에서 카메라 좌표계를 기준으로 하는 벡터일 수 있다. 아울러, 벡터 X(c,v)는 차량(c)의 이동 방향을 나타낸다는 점에서 도 2에 도시된 차량 좌표계의 Xv를 나타낼 수 있다. 즉, 벡터 X(c,v)는 카메라 좌표계를 기준으로 한 차량 좌표계의 Xv를 나타낸다. 아래의 수학식 2는 이러한 이동 방향 벡터 X(c,v)를 나타낸다.
Figure pat00002
여기서, K는 카메라 외부 파라미터를 나타내고, m_FOE는 2장의 보정판 영상에 걸쳐 있는 동이 보정점들을 잇는 선이 모이는 점(FOE)의 좌표를 나타낸다.
다시 도 3을 참조한다. 회전 변환 계산부(121)는 단계 S111에서 획득된 벡터 Qc와 단계 S120에서 계산된 이동 방향 벡터 X(c,v)에 외적 연산을 수행함으로써 차량-카메라 좌표계 간 회전 변환을 계산한다(S130). 구체적으로 살펴보면, 회전 변환 계산부(121)는 단계 S111에서 계산된 벡터 Qc와 S120에서 계산된 벡터 X(c,v)를 각각 그 크기가 1인 단위 벡터로 변환시킨다. 그 후, 회전 변환 계산부(121)는 단위 벡터로 변환된 이들 벡터들 간의 외적을 구한다. 외적이 수행되면, 차량 좌표계에서 지면에 수직인 축 방향, 즉 도 2의 Zv 축을 나타내는 벡터가 카메라 좌표계를 기준으로 하는 벡터로서 획득된다. 아울러 회전 변환 계산부(121)는 카메라 좌표계 기준으로 획득된 Zv 벡터 및 크기가 1인 단위 벡터로 변환된 벡터 X(c,v) 간의 외적을 구한다. 외적이 수행되면, 도 2에 도시된 차량 좌표계에서 Yv 축을 나타내는 벡터가 카메라 좌표계 기준으로 하는 벡터로서 획득된다. 이로써, 카메라 좌표계 기준으로 한 차량 좌표계의 Xv, Yv, Zv가 획득된다. 이러한 일련의 과정은 아래의 수학식 3에 의해 표시될 수 있다.
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
여기서, R(c,v)는 카메라 좌표계를 기준으로 하는 차량 좌표계의 3차원 축, 즉 [X(c,v), Y(c,v), Z(c,v)]을 의미하며, 이는 곧 카메라 좌표계를 기준으로 차량의 자세각을 나타내는 회전 변환 행렬을 나타낸다. 아울러, R(v,c)는 R(c,v)의 역행렬이며, 차량 좌표계 기준 카메라의 자세각(회전)을 나타내는 3차원 회전 변환 행렬을 의미한다.
지금까지는 회전 변환 계산부(121)에 대해 살펴보았으며, 이하에서는 위치 변환 계산부(122)에 대해 살펴보기로 한다. 위치 변환 계산부(122)는 차량-카메라 좌표계 간 위치 변환 정보를 계산한다. 이하에서는, 도 8 내지 10을 참조하여, 이러한 위치 변환 계산부(122)에 의해 차량-카메라 좌표계 간 위치 변환 정보가 계산되는 과정에 대해 자세하게 살펴보기로 한다.
도 8을 먼저 참조하면, 위치 변환 계산부(122)는 회전 상황(차량(V)이 직진하지 않고 커브를 틀며 주행하는 상황)에서 차량(V)의 카메라(C)에 의해 소정의 시간 간격으로 촬영된 보정판 영상을 통신부(110)를 통해 차량(V)으로부터 획득한다(S200). 여기서, 촬영의 대상이 되는 보정판(10)이 보정용 인식 패턴을 갖는 것, 그리고 이러한 보정판(10)이 지면(G)(좌표계에서는 x-y 평면)에 대해 수평이 되도록 놓여야 하는 것은 전술한 바와 같다.
다음으로, 위치 변환 계산부(122)는 단계 S200에서 획득된 보정판 영상 2장을, 카메라(C)가 차량(V)의 이동 방향을 바라보도록 설치된 것으로 가정하여서 변환시킨다(S210). 구체적으로, 차량(V)이 설치된 카메라(C)는 차량(V)이 이동하는 정면을 바라보도록 설치될 수도 있지만 정면을 바라보지 않도록 설치될 수도 있다. 만약 카메라(C)가 정면을 바라보지 않도록 설치된 경우라고 하더라도, 위치 변환 계산부(122)는 아래의 수학식 4를 이용하여서 차량(V)의 정면을 바라보지 않도록 설치된 카메라(C)에 의해 촬영된 보정판 영상을 차량(V)의 정면을 바라보도록 설치된 카메라(C)에 의해 촬영된 것과 같이 변환시킨다.
Figure pat00007
여기서 m_original은 카메라(C)에 의해 촬영된 원본 영상(차량(V)의 정면을 바라보지 않는 카메라(C)에 의해 촬영된 영상)이고, K는 카메라 외부 파라미터이며, R(v,c)는 수학식 3에서 언급된 차량 좌표계 기준 카메라의 자세각을 나타내는 3차원 회전 변환 행렬이다. 아울러, R(ideal_c,v)는 카메라(C)가 차량 좌표계와 얼라인(align)된 것을 가정하였을 때, 즉 카메라(C)가 차량(V)의 정면을 바라보고 있는 것을 전제로, 카메라 좌표계를 기준으로 차량(c)의 자세각을 나타내는 회전 변환 행렬(=단위 행렬)이다. 도 9는 위치 변환 계산부(122)가 전술한 수학식 4를 이용하여서 보정판 영상을 변환한 것을 예시적으로 도시하고 있다. 도 9의 왼쪽은 카메라(C)에 의해 촬영된 원본 보정판 영상이고, 오른쪽은 위치 변환 계산부(122)에 의해 왼쪽의 보정판 영상이 변환된 것을 도시하고 있다.
여기서, 이와 같이 차량(V)의 정면을 바라보고 있지 않은 카메라(C)에 의해 촬영된 보정판 영상을 차량(V)의 정면을 바라보고 있는 카메라(C)에 의해 촬영된 것처럼 변환시키면, 이후의 변환 과정에서 차량-카메라 간에 회전 변환은 고려할 필요 없이 위치 변환만 고려하면 되며, 따라서 차량용 카메라의 캘리브레이션 과정이 비교적 수월하게, 적은 연산으로도 수행될 수 있다.
다시 도 8을 참조하면, 위치 변환 계산부(122)는 단계 S210에서 변환된 2장의 보정판 영상 각각에 대해 보정판-카메라 좌표계 간 회전/위치 변환을 계산한다(S220). 계산의 결과로서, 2장의 보정판 영상 각각에 대한 보정판-카메라 좌표계 간 회전 변환 행렬 및 보정판-카메라 좌표계 간 위치 변환 행렬이 도출된다. 이 때, 도 10에서 식별번호 61은 2장의 보정판 영상 중 시간 t1에서 촬영된 보정판 영상(시간상 상대적으로 먼저 촬영된 보정판 영상)에 대한 보정판-카메라 좌표계를 나타내고, 식별번호 62는 2장의 보정판 영상 중 시간 t2에서 촬영된 나머지 1장의 보정판 영상(시간상 상대적으로 늦게 촬영된 보정판 영상)에 대한 보정판-카메라 좌표계를 나타낸다.
다음으로, 위치 변환 계산부(122)는 이러한 2장의 보정판 영상의 각 촬영 지점 사이를 이동할 때의 차량 이동 정보를 회전/위치의 형식으로, 즉 영상-카메라 좌표계 간 회전/위치 변환 행렬의 형태로 계산하여 도출한다(S230). 이러한 계산 과정에서, 위치 변환 계산부(122)는 차량(V)의 이동 정보를 획득하기 위해 휠 회전 정보와 요 레이트(Yaw Rate) 정보 등을 통신부(110)를 통해 수신하여서 이용할 수 있다. 도 10에서는 식별번호 71과 식별번호 72 사이에서 도시된 (Rv,Tv)는 차량 이동 정보에 대한 영상-카메라 좌표계 간 회전/위치 변환 행렬을 나타낸다.
다음으로, 위치 변환 계산부(122)는 전술한 2장의 보정판 영상의 각 촬영 지점 사이를 카메라(C)가 이동한 것을 전제로, 이러한 카메라(C) 이동 정보를 회전/위치의 형식으로 계산한다(S240). 구체적으로 살펴보면, 위치 변환 계산부(122)는 단계 S220에서 계산된 시간 t1에서의 보정판-카메라 좌표계 간 회전/위치 변환 행렬 (R1,T1)과 시간 t2에서의 보정판-카메라 좌표계 간 회전/위치 변환 행렬 (R2,T2) 간의 상대적인 관계를 이용하여서 도 10에 식별번호 61과 식별번호 62 사이에 도시된 (Rc,Tc), 즉 카메라(C)의 이동 정보를 연산한다.
다음으로, 위치 변환 계산부(122)는 단계 S230에서 획득된 차량(V)의 이동 정보에 대한 회전/위치 변환 행렬, 단계 S240에서 계산된 카메라(C)의 이동 정보에 대한 회전/위치 변환 행렬을 기초로, 차량-카메라 좌표계 간 위치 변환 행렬을 계산한다(S250). 구체적으로, 위치 변환 계산부(122)는 다음의 수학식 5를 이용하여서 차량-카메라 좌표계 간 변환 행렬을 계산한다.
Figure pat00008
여기서, (Xc,Zc,θc)는 단계 S240에서 계산된 카메라의 이동 정보에 대한 위치와 Yc축에 대한 회전을 나타내고, (Xv,Yv,θv)는 단계 S230에서 계산된 차량의 이동 정보에 대한 위치와 Zv축에 대한 회전을 나타낸다. 아울러, [X(v,c), Y(v,c)]T는 차량 좌표계 기준 X축과 Y축에 대한 2차원 상에서 카메라의 위치를 나타낸다. 여기서 카메라의 위치가 차량 좌표계 기준으로 2차원 상에서 나타낼 수 있는 이유는 첫째, 수학식 4에 의해 카메라(C)가 정면을 바라보는 것을 전제로 영상이 변환되어 차량 좌표계와 카메라 좌표계가 정렬이 되었다는 점, 그리고 차량(V)은 2차원 회전과 위치 변환만 가능하므로 카메라 또한 2차원 회전과 위치 변환만 가능하다는 것으로부터 기인한다. 수학식 5를 풀면, 차량 좌표계 기준 카메라의 위치 [X(v,c), Y(v,c)]T 는 다음의 수학식 6과 같이 2차원 상에서 계산될 수 있다.
Figure pat00009
여기서, 좌측의 X(v,c)와 Y(v,c)는 차량 좌표계 기준 카메라의 2차원 상의 위치(높이는 제외한 위치)이다.
한편, 수학식 6에서는 차량 좌표계 기준 카메라의 높이가 계산되지는 않는데, 위치 변환 계산부(122)은 다음과 같은 방법으로 차량 좌표계 기준 카메라의 높이를 구할 수 있다. 먼저, 도 11에서와 같이 보정판 영상(2) 내의 보정점 중 지면으로부터 높이를 알고 있는 보정점(11)이 선택되면, 위치 변환 계산부(122)는 수학식 4를 이용해서 이러한 보정점(11)의 위치를 카메라(C)가 정면을 바라보는 것을 전제로 카메라 좌표계 기준으로 변환한다. 그 뒤, 다음과 같은 수학식 7을 이용하여서 차량 좌표계 기준 카메라의 높이 Z(v,c)를 계산한다.
Figure pat00010
이러한 수학식 7에서 P_height는 지면으로부터의 해당 보정점(11)의 실제 높이이고, Py(c)는 보정점(11)의 위치가 수학식 4에 의해 변환되었을 때의 카메라 좌표계 기준의 Y축, 즉 Yc에 해당하는 위치값을 나타낸다.
이로써, 차량 좌표계 기준으로 한 카메라의 위치 Xc, Yc, Zc가 획득가능한데, 이는 차량 좌표계 기준 카메라에 대한 위치 변환 행렬을 나타낸다. 아울러, 전술한 바와 같이 차량 좌표계 기준 카메라에 대한 회전 변환 행렬(카메라의 자세각) 또한 획득 가능하다. 즉, 일 실시예에 따른 차량용 좌표계와 카메라용 좌표계 간 회전/위치 변환 행렬이 획득이 가능하다.
지금까지 살펴본 바와 같이, 일 실시예에서는 지면에 대해 보정판이 지면에 대해 수평으로 놓이기만 하면 차량용 캘리브레이션 과정이 원활하게 수행될 수 있다. 즉, 보정판이 정해진 규격에 따라 정해진 위치에 정밀하게 설치되어 있지 않아도, 또한 카메라를 장착하고 있는 캘리브레이션의 대상이 되는 차량 또한 정해진 위치에 정밀하게 놓여지지 않더라도 정확하게 차량용 카메라에 대한 캘리브레이션 수행이 가능하다.
한편, 전술한 일 실시예에서는 보정판이 지면(G)(좌표계에서는 x-y 평면)에 대해 수평이 되도록 놓인 경우에 대해 설명되었다. 이하에서는 그렇지 않은 경우, 즉 보정판이 지면(G)에 대해 수평이 되지 않도록 놓인 경우에 대해서도 지면(G)과 수평인 평면(도 2에서 Xv축과 Yv축으로 이루어진 평면)에 평행한 방향을 갖는 벡터 Qc를 구하는 다른 실시예 및 또 다른 실시예에 대해 각각 설명하기로 한다.
먼저 '다른 실시예'에 대해서 도 12와 13을 참조하여 살펴보기로 한다. 본 발명의 다른 실시예에 따르면, 차량이 평지에서 직진이 아닌 회전 이동을 하는 상황에서, 차량의 카메라에 의해 소정의 시간 간격으로 2장의 보정판 영상이 획득된다(S300). 단계 S300에서 획득된 보정판 영상은 도 4에 도시되어 있는 보정용 인식 패턴(체스보드와 같은 패턴)을 갖는 보정판(10)에 대한 촬영 영상일 수 있다. 이 때, 보정판(10)은 지면(G)(좌표계에서는 x-y 평면)에 대해 수평이 되지 않도록 놓여도 무방하다.
다음으로, 회전 변환 계산부(121)는 단계 S300에서 획득된 보정판 영상 각각에 대해 보정판-카메라 좌표계 간 회전/위치 변환을 계산한다(S310). 계산의 결과로서, 2장의 보정판 영상 각각에 대해, 보정판-카메라 좌표계 간 회전 변환 행렬 및 보정판-카메라 좌표계 간 위치 변환 행렬이 도출될 수 있다. 계산 과정은 도 3의 단계 S110에서와 동일하다. 여기서, 상대적으로 먼저 획득된 보정판 영상에 대한 보정판-카메라 좌표계는 제1 카메라 좌표계라고 지칭하고, 상대적으로 늦게 획득된 보정판 영상에 대한 보정판-카메라 좌표계는 제2 카메라 좌표계라고 지칭하기로 한다.
다음으로, S310에서 도출된 회전/위치 변환 행렬을 이용해서 지면과 수평인 평면과 평행한 벡터 Qc를 계산한다(S320). 단계 S320에 대해 자세하게 살펴보기로 한다.
첫째, 상대적으로 먼저 획득된 보정판 영상에 있는 임의의 보정점 P(c)가 제1 카메라 좌표계를 기준으로 갖는 위치를 전술한 수학식 1을 이용해서 변환한다.
둘째, 제1 카메라 좌표계와 제2 카메라 좌표계 간의 회전 변환 행렬 R(12)와 위치 변환 행렬 T(12)을 구한다. 여기서, R(12)과 T(12)는 각각 제1 카메라 좌표계를 제2 카메라 좌표계로 변환해 주는 회전 변환 행렬 및 위치 변환 행렬이다. 이러한 R(12)과 T(12)는 각각, S310에서 도출된, 제1 카메라 좌표계에 대한 보정판-카메라 좌표계 간 회전 변환 행렬 및 위치 변환 행렬 그리고 제2 카메라 좌표계에 대한 보정판-카메라 좌표계 간 회전 변환 행렬 및 위치 변환 행렬을 이용하여 구할 수 있는데, 이렇게 구하는 과정 그 자체는 공지기술이므로 이에 대한 설명은 생략하기로 한다.
셋째, 임의의 보정점 P(c)가 제1 카메라 좌표계를 기준으로 갖는 위치를, 제2 카메라 좌표계에서 갖게 되는 위치 P(c2_좌표변환)로 변환하는데, 이 때 아래의 수학식 8을 이용한다.
Figure pat00011
넷째, 지면(G)과 수평인 평면(도 2에서 Xv축과 Yv축으로 이루어진 평면)에 평행한 방향을 갖는 벡터 Qc(도 13에 예시적으로 도시)를 아래의 수학식 9를 이용하여 구한다.
Figure pat00012
여기서 P(c2)는 임의의 보정점 P(c)가 제2 카메라 좌표계를 기준으로 갖는 위치를 수학식 1을 이용해서 구한 값이다. 만약, 차량이 우회전(오른쪽으로 회전 이동)하는 경우라면 Qc의 부호는 +이고, 이와 달리 차량이 좌회전(왼쪽으로 회전 이동)하는 경우라면 -Qc와 같이 부호를 반대로 해주면 된다. 이 때, Qc는 단위(unit) 벡터로 표현될 수 있다.
이후에는 단계 S320에서 계산된 벡터 Qc, 그리고 S330과 S340에 의해 획득된 차량의 이동방향 벡터 X(c,v) 간의 외적을 이용해서 차량-카메라 좌표계 간 회전 변환이 계산된다(S350). 여기서, S330 내지 S350에서 수행되는 계산 과정은 도 3에 도시된 S100, S120 및 S130에서 수행되는 계산 과정과 동일하므로, 이들 S330 내지 S350에서 수행되는 계산 과정에 대한 설명은 생략하기로 한다.
한편, 전술한 '또 다른 실시예'에 대해서는 도 14와 15를 참조하여 살펴보기로 한다. 본 발명의 또 다른 실시예에 따르면, 차량이 평지에서 직진이 아닌 회전 이동을 하는 상황에서, 차량의 카메라에 의해 소정의 시간 간격으로 2장의 보정판 영상이 획득된다(400). 단계 S400에서 획득된 보정판 영상은 도 4에 도시되어 있는 보정용 인식 패턴(체스보드와 같은 패턴)을 갖는 보정판(10)에 대한 촬영 영상일 수 있다. 이 때, 보정판(10)은 지면(G)(좌표계에서는 x-y 평면)에 대해 수평이 되지 않도록 놓여도 무방하다.
다음으로, 회전 변환 계산부(121)는 단계 S400에서 획득된 보정판 영상 각각에 대해 보정판-카메라 좌표계 간 회전/위치 변환을 계산한다(S410). 계산의 결과로서, 2장의 보정판 영상 각각에 대해, 보정판-카메라 좌표계 간 회전 변환 행렬 및 보정판-카메라 좌표계 간 위치 변환 행렬이 도출될 수 있다. 계산 과정은 도 3의 단계 S110에서와 동일하다. 여기서, 상대적으로 먼저 획득된 보정판 영상에 대한 보정판-카메라 좌표계는 제1 카메라 좌표계라고 지칭하고, 상대적으로 늦게 획득된 보정판 영상에 대한 보정판-카메라 좌표계는 제2 카메라 좌표계라고 지칭하기로 한다.
다음으로, S410에서 도출된 회전/위치 변환 행렬을 이용해서 지면과 수평인 평면과 평행한 벡터 Qc를 계산한다(S420). 단계 S420에 대해 자세하게 살펴보기로 한다.
첫째, 제1 카메라 좌표계와 제2 카메라 좌표계 간의 회전 변환 행렬 R(12)와 위치 변환 행렬 T(12)을 구한다. 여기서, R(12)과 T(12)는 각각 제1 카메라 좌표계를 제2 카메라 좌표계로 변환해 주는 회전 변환 행렬 및 위치 변환 행렬이다. 이러한 R(12)과 T(12)는 각각, S410에서 도출된, 제1 카메라 좌표계에 대한 보정판-카메라 좌표계 간 회전 변환 행렬 및 위치 변환 행렬 그리고 제2 카메라 좌표계에 대한 보정판-카메라 좌표계 간 회전 변환 행렬 및 위치 변환 행렬을 이용하여 구할 수 있는데, 이렇게 구하는 과정 그 자체는 공지기술이므로 이에 대한 설명은 생략하기로 한다.
둘째, 위에서 구해진 위치 변환 행렬 T(12)가, 지면(G)과 수평인 평면(도 2에서 Xv축과 Yv축으로 이루어진 평면)에 평행한 방향을 갖는 벡터 Qc라고 지정한다. 만약, 차량이 우회전(오른쪽으로 회전 이동)하는 경우라면 Qc의 부호는 +이고, 이와 달리 차량이 좌회전(왼쪽으로 회전 이동)하는 경우라면 -Qc와 같이 부호를 반대로 해주면 된다. 이 때, Qc는 단위(unit) 벡터로 표현될 수 있다.
이후에는 단계 S420에서 계산된 벡터 Qc, 그리고 S430과 S440에 의해 획득된 차량의 이동방향 벡터 X(c,v) 간의 외적을 이용해서 차량-카메라 좌표계 간 회전 변환이 계산된다(S450). 여기서, S430 내지 S450에서 수행되는 계산 과정은 도 3에 도시된 S100, S120 및 S130에서 수행되는 계산 과정과 동일하므로, 이들 S430 내지 S450에서 수행되는 계산 과정에 대한 설명은 생략하기로 한다.
한편, 상술한 일 실시예에 따른 차량용 카메라 캘리브레이션 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
한편, 상술한 일 실시예에 따른 차량용 카메라 캘리브레이션 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: 차량용 카메라 캘리브레이션 시스템
100: 차량용 카메라 캘리브레이션 장치
V: 차량

Claims (14)

  1. 차량의 직진 중에 상기 차량의 카메라에 의해 촬영된 보정판에 대한 영상을 획득하는 단계와,
    상기 차량의 직진 중에 촬영된 상기 영상을 기초로 차량 좌표계와 카메라 좌표계 간의 회전(rotation) 변환 정보를 획득하는 단계와,
    상기 차량의 회전 중에 상기 카메라에 의해 촬영된 상기 보정판에 대한 영상을 획득하는 단계와,
    상기 차량의 회전 중에 촬영된 상기 영상을 기초로 상기 차량 좌표계와 상기 카메라 좌표계 간의 위치(translation) 변환 정보를 획득하는 단계를 포함하는
    차량용 카메라 캘리브레이션 방법.
  2. 제 1 항에 있어서,
    상기 회전 변환 정보를 획득하는 단계는,
    상기 차량의 직진 중에 촬영된 상기 영상을 기초로, 상기 차량의 좌표계 중 지면에 대해 수평인 평면과 평행인 벡터를 계산하는 단계와,
    상기 차량의 직진 중에 촬영된 적어도 두 장의 상기 영상을 기초로, 상기 차량의 좌표계 중 상기 차량의 진행 방향과 평행한 좌표축에 대한 제1 축 벡터를 계산하는 단계와,
    상기 지면에 대해 수평인 평면과 평행인 것으로 계산된 벡터 및 상기 계산된 제1 축 벡터를 기초로 상기 차량의 좌표계 중 상기 지면과 수직인 좌표축에 대한 제2 축 벡터를 계산하는 단계와,
    상기 계산된 제1 축 벡터 및 상기 계산된 제2 축 벡터를 기초로 상기 차량의 좌표계 중 상기 차량의 진행 방향에 대해 수직이면서 상기 지면의 수직 방향에 대해 수직인 제3 축 벡터를 계산하는 단계를 포함하는
    차량용 카메라 캘리브레이션 방법.
  3. 제 2 항에 있어서,
    상기 지면에 대해 수평인 평면과 평행인 벡터를 계산하는 단계는,
    상기 차량의 직진 중에 촬영된 상기 영상으로부터, 상기 보정판 내에서 상기 지면에 대해 수평 방향으로 배치되어 있는 적어도 두 개의 보정점을 선택하는 단계와,
    상기 선택된 적어도 두 개의 보정점을 잇는 벡터를 상기 지면에 대해 수평인 평면과 평행인 벡터로서 계산하는 단계를 포함하는
    차량용 카메라 캘리브레이션 방법.
  4. 제 1 항에 있어서,
    상기 위치 변환 정보를 획득하는 단계는,
    상기 차량의 회전 중에 촬영된 상기 영상을, 상기 차량의 카메라가 상기 차량의 직진 방향을 바라보도록 변경 설치된 것을 가정하여서 변환하는 단계와,
    상기 변환된 영상을 기초로 상기 차량 좌표계와 상기 카메라 좌표계 간 위치 변환 정보를 획득하는 단계를 포함하는
    차량용 카메라 캘리브레이션 방법.
  5. 제 4 항에 있어서,
    상기 차량의 회전 중에 촬영된 상기 영상은 2장 획득되며,
    상기 변환하는 단계에서는 상기 획득된 2장의 영상이 변환되며,
    상기 차량 좌표계와 상기 카메라 좌표계 간 위치 변환 정보를 획득하는 단계는,
    상기 변환된 2장의 영상 각각에 대해서 보정판 좌표계와 상기 카메라 좌표계 간 회전 및 위치 변환 정보를 획득하는 단계와,
    상기 획득된 보정판 좌표계와 상기 카메라 좌표계 간 회전 및 위치 변환 정보 각각을 기초로, 상기 획득된 2장의 영상 각각의 촬영 지점 사이를 상기 카메라가 이동했을 때 상기 카메라에 대한 회전 및 위치 변환 정보를 획득하는 단계와,
    상기 획득된 2장의 영상 각각의 촬영 지점 사이를 상기 자동차가 이동했을 때 상기 자동차에 대한 회전 및 위치 변환 정보를 획득하는 단계와,
    상기 카메라에 대해 획득된 회전 및 위치 변환 정보와 상기 차량에 대해 획득된 회전 및 위치 변환 정보를 기초로, 상기 차량의 좌표계를 기준으로 하는 상기 카메라의 위치 정보를 획득하는 단계를 포함하는
    차량용 카메라 캘리브레이션 방법.
  6. 제 5 항에 있어서,
    상기 촬영 지점 사이를 이동한 상기 카메라에 대한 회전 및 위치 변환 정보 각각은,
    상기 차량의 3차원 좌표계에서 지면의 수직 방향이 제외된 2차원 평면에서의 값을 갖는
    차량용 카메라 캘리브레이션 방법.
  7. 제 5 항에 있어서,
    상기 차량의 좌표계를 기준으로 획득된 상기 카메라의 위치 정보는,
    상기 차량의 3차원 좌표계에서 지면의 수직 방향이 제외된 2차원 평면에서의 값을 갖는
    차량용 카메라 캘리브레이션 방법.
  8. 제 1 항에 있어서,
    상기 회전 변환 정보를 획득하는 단계는,
    상기 차량의 회전 중에 상기 카메라에 의해 촬영된 상기 보정판에 대한 영상을 추가적으로 이용하여서 상기 회전 변환 정보를 획득하는
    차량용 카메라 캘리브레이션 방법.
  9. 제 8 항에 있어서,
    상기 회전 변환 정보를 획득하는 단계는,
    상기 차량의 회전 중에 촬영된 적어도 두 장의 상기 영상을 기초로, 상기 차량의 좌표계 중 지면에 대해 수평인 평면과 평행인 벡터를 계산하는 단계와,
    상기 차량의 직진 중에 촬영된 적어도 두 장의 상기 영상을 기초로, 상기 차량의 좌표계 중 상기 차량의 진행 방향과 평행한 좌표축에 대한 제1 축 벡터를 계산하는 단계와,
    상기 지면에 대해 수평인 평면과 평행인 것으로 계산된 벡터 및 상기 계산된 제1 축 벡터를 기초로 상기 차량의 좌표계 중 상기 지면과 수직인 좌표축에 대한 제2 축 벡터를 계산하는 단계와,
    상기 계산된 제1 축 벡터 및 상기 계산된 제2 축 벡터를 기초로 상기 차량의 좌표계 중 상기 차량의 진행 방향에 대해 수직이면서 상기 지면의 수직 방향에 대해 수직인 제3 축 벡터를 계산하는 단계를 포함하는
    차량용 카메라 캘리브레이션 방법.
  10. 제 9 항에 있어서,
    상기 지면에 대해 수평인 평면과 평행인 벡터를 계산하는 단계는,
    어느 하나의 보정점이 상기 차량의 회전 중에 촬영된 적어도 두 장의 영상 각각에서 갖는 위치를 기초로 계산이 수행되는
    차량용 카메라 캘리브레이션 방법.
  11. 제 9 항에 있어서,
    상기 지면에 대해 수평인 평면과 평행인 벡터를 계산하는 단계는,
    상기 차량의 회전 중에 촬영된 적어도 두 장의 영상 각각에 대한 보정판-카메라 좌표계 간 위치 변환 행렬을 기초로 계산이 수행되는
    차량용 카메라 캘리브레이션 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항의 방법에 포함된 각 단계를 수행하도록 프로그램된
    컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
  13. 제 1 항 내지 제 11 항 중 어느 한 항의 방법에 포함된 각 단계를 수행하도록 프로그램된
    컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체.
  14. 차량의 직진 중에 상기 차량의 카메라에 의해 촬영된 보정판에 대한 영상을 획득하고, 상기 차량의 직진 중에 촬영된 상기 영상을 기초로 차량 좌표계와 카메라 좌표계 간의 회전(rotation) 변환 정보를 획득하는 회전 변환 계산부와,
    상기 차량의 회전 중에 상기 카메라에 의해 촬영된 상기 보정판에 대한 영상을 획득하고, 상기 차량의 회전 중에 촬영된 상기 영상을 기초로 상기 차량 좌표계와 상기 카메라 좌표계 간의 위치(translation) 변환 정보를 획득하는 위치 변환 계산부를 포함하는
    차량용 카메라 캘리브레이션 장치.
KR1020190055803A 2018-09-05 2019-05-13 차량용 카메라 캘리브레이션 장치 및 방법 KR20200027877A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180106049 2018-09-05
KR1020180106049 2018-09-05

Publications (1)

Publication Number Publication Date
KR20200027877A true KR20200027877A (ko) 2020-03-13

Family

ID=69938678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190055803A KR20200027877A (ko) 2018-09-05 2019-05-13 차량용 카메라 캘리브레이션 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20200027877A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627073A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种基于人机交互的标定方法、标定装置和存储介质
KR20220124344A (ko) * 2021-03-03 2022-09-14 김민정 레이저포인터를 이용한 좌표계 교정 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627073A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种基于人机交互的标定方法、标定装置和存储介质
CN111627073B (zh) * 2020-04-30 2023-10-24 贝壳技术有限公司 一种基于人机交互的标定方法、标定装置和存储介质
KR20220124344A (ko) * 2021-03-03 2022-09-14 김민정 레이저포인터를 이용한 좌표계 교정 방법

Similar Documents

Publication Publication Date Title
US20190028632A1 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
US10663966B2 (en) Vehicle motion control system and method
EP3662340B1 (en) System and method for controlling motion of vehicle
CN107636679B (zh) 一种障碍物检测方法及装置
US10643342B2 (en) Group optimization depth information method and system for constructing a 3D feature map
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
KR102295809B1 (ko) 이동체의 전방향에 대한 거리 취득 장치 및 방법
US10409283B2 (en) Vehicle motion control system and method
CN109360245A (zh) 无人驾驶车辆多相机系统的外参数标定方法
JP6720510B2 (ja) 移動体システム
US20170359561A1 (en) Disparity mapping for an autonomous vehicle
JPWO2015145543A1 (ja) 物体検出装置、物体検出方法、および移動ロボット
KR102146451B1 (ko) 좌표계 변환 정보 획득 장치 및 방법
WO2020133172A1 (zh) 图像处理方法、设备及计算机可读存储介质
US20240153122A1 (en) Binocular vision-based environment sensing method and apparatus, and unmanned aerial vehicle
CN113033280A (zh) 拖车姿态估计的系统和方法
JP6856855B2 (ja) それ自体によって生成された情報及び他の個体によって生成された情報を選択的に利用してカメラの誤整列を補正する方法及びこれを利用した装置
JP2019526105A5 (ko)
Rangesh et al. A multimodal, full-surround vehicular testbed for naturalistic studies and benchmarking: Design, calibration and deployment
JPWO2020137315A1 (ja) 測位装置及び移動体
JP2019526105A (ja) 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
KR20200027877A (ko) 차량용 카메라 캘리브레이션 장치 및 방법
CN111026107A (zh) 用于确定可移动物体的位置的方法和系统
KR20200120402A (ko) 차량의 추정 위치 획득 장치 및 방법
JP2019533875A (ja) 道路の合成トップビュー画像を生成するための方法およびシステム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal