KR20210041969A - 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법 - Google Patents

지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법 Download PDF

Info

Publication number
KR20210041969A
KR20210041969A KR1020190124855A KR20190124855A KR20210041969A KR 20210041969 A KR20210041969 A KR 20210041969A KR 1020190124855 A KR1020190124855 A KR 1020190124855A KR 20190124855 A KR20190124855 A KR 20190124855A KR 20210041969 A KR20210041969 A KR 20210041969A
Authority
KR
South Korea
Prior art keywords
camera
vehicle
coordinate system
direction vector
landmark
Prior art date
Application number
KR1020190124855A
Other languages
English (en)
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190124855A priority Critical patent/KR20210041969A/ko
Publication of KR20210041969A publication Critical patent/KR20210041969A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시예에 따른 차량용 카메라의 캘리브레이션 방법은, 차량의 운행에 따른 카메라의 촬영 영상으로부터 인식된 랜드마크와 전자지도에 존재하는 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득하는 단계와, 차량의 이동에 따라 획득되는 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 차량 좌표계 기준의 카메라 회전 정보를 획득하는 단계를 포함한다.

Description

지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING ON-LINE CAMERA CALIBRATION BY USING MAP MATCHING}
본 발명은 차량용 카메라의 캘리브레이션을 지도 매칭(Map Matching)을 이용하여 온라인으로 수행하는 카메라 캘리브레이션 장치 및 방법에 관한 것이다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 지원 시스템은 주행 환경을 감지하기 위해 감지 수단을 구비할 수 있으며, 감지 수단의 일 예로 카메라를 포함할 수 있다. 카메라는 차량 외부 또는 내부에 설치되어, 설치되는 위치 및 자세각에 대응되는 영상을 획득함으로써 주행 환경을 감지할 수 있다.
한국등록특허공보, 제 10-1584693호 (2016.01.14. 공고)
전술한 바와 같이 카메라는 설치되는 위치 및 자세각에 대응되는 영상을 획득하므로, 획득된 영상을 기초로 차량을 제어하기 위해서는 카메라의 좌표계를 인지할 필요가 있다. 이를 위해, 보정용 인식 패턴을 이용하거나, 주행 환경에서 차선에 기초한 소실점 위치를 인식함으로써 차량으로부터 카메라가 장착된 위치 및 자세각을 구할 수 있다. 그러나, 보정용 패턴 인식의 경우 추가적인 사전 캘리브레이션 과정이 요구되며, 주행 중 카메라의 위치 변화를 반영할 수 없고, 소실점 위치를 이용하는 경우 정확도가 떨어지게 된다.
이에, 본 발명의 해결하고자 하는 과제는 차량용 카메라의 캘리브레이션을 지도 매칭(Map Matching)을 이용하여 온라인으로 수행함으로써, 매우 정밀하게 온라인 카메라 캘리브레이션을 수행할 수 있도록 한다.
나아가, 캘리브레이션을 수행하는 중에 획득되는 정보들에 대한 유효성 및/또는 신뢰성 검증을 통하여 확인된 정확한 정보만 이용하여 온라인 카메라 캘리브레이션을 수행할 수 있도록 한다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따른 차량용 카메라의 카메라 캘리브레이션 방법은, 카메라의 촬영 영상으로부터 인식된 랜드마크와 전자지도에 존재하는 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득하는 단계와, 차량의 이동에 따라 획득되는 상기 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 차량 좌표계 기준의 카메라 회전 정보를 획득하는 단계를 포함한다.
제 2 관점에 따른 카메라 캘리브레이션 장치는, 카메라의 촬영 영상을 획득하는 획득부와, 상기 촬영 영상 및 전자지도에 기초하여 상기 카메라의 캘리브레이션을 수행하는 제어부를 포함하고, 상기 제어부는, 상기 촬영 영상으로부터 인식된 랜드마크와 상기 전자지도에 존재하는 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득하며, 상기 차량의 이동에 따라 획득되는 상기 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 차량 좌표계 기준의 카메라 회전 정보를 획득한다.
제 3 관점에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 상기 카메라 캘리브레이션 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 4 관점에 따른 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램은, 상기 카메라 캘리브레이션 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
일 실시예에 따른 카메라 캘리브레이션 장치 및 방법은 차량용 카메라의 캘리브레이션을 지도 매칭을 이용하여 온라인으로 수행함으로써, 매우 정밀하게 온라인 카메라 캘리브레이션을 수행할 수 있다.
나아가, 캘리브레이션을 수행하는 중에 획득되는 정보들에 대한 유효성 및/또는 신뢰성 검증을 통하여 확인된 정확한 정보만 이용하여 온라인 카메라 캘리브레이션을 수행할 수 있기 때문에 카메라 캘리브레이션의 정확도가 향상되는 효과가 있다.
도 1은 일 실시예에 따른 온라인 카메라 캘리브레이션 장치의 구성도이다.
도 2는 일 실시예에 따른 차량과 카메라의 좌표계를 설명하기 위한 도면이다.
도 3 내지 도 6은 일 실시예에 따른 온라인 카메라 캘리브레이션 방법을 설명하기 위한 흐름도이다.
도 7은 일 실시예에 따른 온라인 카메라 캘리브레이션 방법에 따라 차량의 직진을 판단하는 예를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 온라인 카메라 캘리브레이션 방법에 따라 신뢰성 검증에 이용하기 위하여 회전 행렬을 축-앵글(axis-angle)로 표현한 예를 보인 도면이다.
도 9 및 도 10은 일 실시예에 따른 온라인 카메라 캘리브레이션 방법에 따른 랜드마크 매칭 결과를 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 일 실시예에 따른 온라인 카메라 캘리브레이션 장치의 구성도이고, 도 2는 일 실시예에 따른 차량과 카메라의 좌표계를 설명하기 위한 도면이다.
일 실시예에 따른 차량용 카메라 캘리브레이션 시스템(1)은 차량(V) 및 온라인 카메라 캘리브레이션 장치(100)를 포함할 수 있다.
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단의 일종이다. 일 실시예에 따른 차량(V)은 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치자전거, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
도 1에 나타낸 실시예에서는 차량(V)과 온라인 카메라 캘리브레이션 장치(100)가 독립적으로 구현되어 상호간에 통신을 통하여 연결된 경우를 나타내었으나, 온라인 카메라 캘리브레이션 장치(100)는 차량(V)과 일체로 구현되거나 차량(V)에 탑재될 수 있다.
도 1의 차량(V)은 GPS(Global Positioning System) 모듈을 포함할 수 있고, 적어도 하나의 GPS 위성으로부터 항법 데이터(Navigation Data)를 포함하는 위성 신호를 수신할 수 있다. 차량(V)은 위성 신호에 기초하여 차량(V)의 현재 위치 및 차량(V)의 진행 방향 등을 획득할 수 있다.
또한, 도 1의 차량(V) 또는 온라인 캘리브레이션 장치(100)는 정밀한 전자지도를 미리 저장할 수 있다. 여기서, 전자지도는 안전하고 정밀한 차량(V)제어를 위해 높은 정확도를 가지며, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 전자지도를 의미할 수 있다. 또한, 전자지도는 차선, 표지판, 신호등, 가드레일과 같은 도로 상의 랜드마크(landmark)에 대한 정보를 더 포함할 수 있다.
아울러, 도 1의 차량(V)은 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 탑재될 수 있다. 여기서, 첨단 운전자 보조 시스템이란 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위해 차량(V) 상태, 운전자 상태, 주변 환경 정보와 같은 주행 환경 정보를 제공하거나 능동적으로 차량(V)을 제어하는 시스템을 의미할 수 있다.
차량(V)에 탑재된 첨단 운전자 보조 시스템은 차량(V)의 주행 환경을 감지하기 위한 감지 수단을 포함할 수 있다. 일 실시예에 따른 감지 수단은 차량(V) 주변으로 펄스를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 펄스를 수신하여 주행 환경을 감지하는 레이더(Radar), 차량(V) 주변으로 레이저를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 레이저를 수신하는 라이다(LiDAR), 및/또는 차량(V) 주변으로 초음파를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 초음파를 수신하는 초음파 센서 등을 포함할 수 있다.
또한, 첨단 운전자 보조 시스템은 감지 수단으로서 카메라(C)를 포함할 수 있다. 카메라(C)는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 영상을 획득할 수 있다. 획득된 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등의 정보를 획득하는 기초가 될 수 있다.
한편, 차량(V)은 카메라(C)에 의해 획득된 영상 정보와, 차량(V) 내부 모듈간 통신 방식인 CAN(Controller Area Network) 통신 방식으로 전송되는 휠 회전 정보, 요 레이트(Yaw Rate) 정보와 같은 CAN DATA를 융합하여 차량(V) 제어에 이용할 수 있다. 이 때, 카메라(C)에 의해 획득된 영상은 카메라 좌표계를 따르는 반면, CAN DATA는 차량 좌표계를 따를 수 있다.
도 2는 일 실시예에 따른 차량(V)의 개략적인 평면도로서, 차량(V)의 좌표계와 차량(V)에 설치된 카메라(C)의 좌표계를 예시한다. 도 2를 참조하면, 차량(V)은 OV를 원점으로 하고, 차량(V)의 진행 방향으로의 XV축, 지면에 수직 방향으로의 ZV축, 및 XV축과 ZV축에 수직인 YV축으로 구성되는 차량 좌표계를 가질 수 있다. 반면, 차량(V)에 설치된 카메라(C)는 OC를 원점으로 하고, 설치 위치 및 자세각에 따라 결정되는 XC축, YC축, ZC축으로 구성되는 카메라 좌표계를 가질 수 있다. 이처럼 서로 상이한 좌표계 상의 두 정보를 융합하기 위해서는 좌표계의 통일이 요구되며, 이를 카메라(C) 캘리브레이션(CAMERA CALIBRATION)이라 한다.
이를 위해, 차량(V)의 본격적인 자율 주행에 앞서 사전에 카메라(C) 캘리브레이션을 수행할 수 있다. 구체적으로, 차량(V)에 설치된 카메라(C)를 이용하여 보정용 인식 패턴에 대한 영상을 획득하고, 이를 이용하여 카메라(C)가 장착된 각도와 위치를 수동으로 획득할 수 있다. 이 경우, 사전 작업으로서 카메라(C) 캘리브레이션이 수행되어야 하는 번거로움이 있고, 주행 중에 발생할 수 있는 카메라(C)의 위치 및 자세각 변경을 반영하기 어렵다.
이와는 달리, 차량(V)의 주행 중에 카메라(C)를 통해 차선을 인식하고, 인식된 차선에 기초하여 소실점의 위치를 확인함으로써 카메라(C)의 자세각을 획득할 수도 있다. 그러나, 커브길 등과 같이 차선의 소실점이 정확히 추출되지 않는 상황에서는 이와 같은 방법의 적용이 어렵고, 수동으로 수행되는 방법에 비해 정확도가 떨어진다.
이를 해결하기 위해, 개시된 발명의 일 실시예에 따른 차량용 카메라 캘리브레이션 시스템(1)은 차량(V)이 수신한 위성 신호, 카메라(C)가 획득한 영상, 및 전자지도를 이용하여 차량(V)과 카메라(C) 간 좌표계를 변환하여 상호간에 호환성을 제공할 수 있다.
도 1을 참조하면, 일 실시예에 따른 온라인 카메라 캘리브레이션 장치(100)는 차량(V)으로부터 위성 항법 신호, 카메라의 촬영 영상 등을 획득하고, 차량(V)의 운행에 따른 카메라(C)의 촬영 영상으로부터 인식된 랜드마크와 전자지도에 존재하는 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득하고, 차량(V)의 이동에 따라 획득되는 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 차량 좌표계 기준의 카메라 회전 정보를 획득한다. 예를 들어, 차량(V)의 직진 이동에 따라 획득되는 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여위치 행렬을 산출하고, 산출된 위치 행렬을 이용하여 차량 좌표계 기준의 카메라 회전 행렬을 카메라 회전 정보로서 획득할 수 있다. 이러한 온라인 카메라 캘리브레이션 장치(100)는 도 1에 나타낸 바와 같이 획득부(110) 및 제어부(120)를 포함할 수 있다.
온라인 카메라 캘리브레이션 장치(100)의 획득부(110)는 차량(V)의 운행에 따른 카메라(C)의 촬영 영상을 획득할 수 있다. 여기서, 획득부(110)는 차량(V)과 통신을 수행하는 통신모뎀이나 차량(V)과 각종 정보를 입출력할 수 있는 통신 인터페이스를 포함할 수 있다. 예를 들어, 획득부(110)는 공지된 여러 가지 통신 방법으로 차량(V)과 통신함으로써 정보를 교환할 수 있다. 예컨대, 통신모뎀은 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 거쳐 차량(V)과 통신할 수 있다. 또는, 통신모뎀은 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법을 채택하여 소정 거리 이내에서 차량(V)과 통신할 수도 있다.
제어부(120)는 획득부(110)가 차량(V)으로부터 카메라(C)에 의해 획득된 영상 등을 수신하고, 이를 이용하여 카메라(C)의 위치 및 자세각 정보를 획득하여 차량(V)에 제공할 수 있다. 카메라(C)의 설치 위치는 실측값이 외부로부터 입력되거나, 제어부(120) 내부 연산에 의해 결정될 수 있다. 따라서, 이하에서는 제어부(120)가 카메라(C)의 자세각 정보를 획득하고, 이를 이용하여 좌표계 변환 정보로서 차량 좌표계 기준의 카메라 회전 정보, 예컨대, 카메라 회전 행렬을 차량(V)에 제공하는 것에 대하여 상세히 설명한다.
제어부(120)는 차량(V)의 운행에 따른 카메라(C)의 촬영 영상으로부터 인식된 랜드마크와 전자지도에 존재하는 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득할 수 있으며, 차량(V)의 직진에 따라 획득되는 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 위치 행렬을 산출할 수 있고, 산출된 위치 행렬을 이용하여 차량 좌표계 기준의 카메라 회전 행렬을 획득할 수 있다.
제어부(120)는 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득할 때에, 위성 항법 신호 또는 차량 휠 속도를 이용하여 절대 좌표계 기준의 차량 위치 및 진행 방향을 추정할 수 있고, 촬영 영상으로부터 전자지도에 존재하는 랜드마크를 인식할 수 있으며, 추정된 절대 좌표계 기준의 차량 위치 및 진행 방향에 대한 정보를 이용하여 전자지도에 인식된 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 파악할 수 있다.
제어부(120)는 차량 좌표계 기준의 카메라 회전 행렬을 획득할 때에, 위치 행렬에서 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산할 수 있고, 카메라 좌표계 기준의 차량 제1축 방향 벡터의 계산에 이용된 절대 좌표계 기준의 카메라 위치 및 자세각 정보와 전자지도에서 인식된 랜드마크를 이용하여 카메라 좌표계 기준의 차량 제2축 방향 벡터를 계산할 수 있으며, 계산된 카메라 좌표계 기준의 차량 제1축 방향 벡터, 계산된 카메라 좌표계 기준의 차량 제2축 방향 벡터에 기초하여, 카메라 좌표계 기준의 차량 제3축 방향 벡터가 반영된 차량 좌표계 기준의 카메라 회전 행렬을 계산할 수 있다.
제어부(120)는 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산할 때에, 획득된 절대 좌표계 기준의 카메라 위치 및 자세각 정보에 대하여 촬영 영상으로부터 인식된 랜드마크와 전자지도에 존재하는 랜드마크의 매칭 결과에 기초하여 유효성을 검증할 수 있고, 유효성이 검증된 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 위치 행렬을 산출한 후 이 위치 행렬에서 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산할 수 있다.
제어부(120)는 유효성을 검증할 때에, 촬영 영상에서 인식된 랜드마크와 전자지도에 존재하는 랜드마크의 매칭 에러(Matching error) 또는 매칭 라티오(Matching ratio)와 기 설정된 임계치를 비교한 결과에 기초하여 유효성을 판정할 수 있다. 랜드마크는 연속형 랜드마크와 이산형 랜드마크를 포함할 수 있다. 이 경우에, 제어부(120)는 유효성을 검증할 때에, 연속형 랜드마크의 매칭 에러 또는 매칭 라티오를 기 설정된 제 1 임계치와 비교한 결과 및 이산형 랜드마크의 매칭 에러 또는 매칭 라티오를 기 설정된 제 2 임계치와 비교한 결과에 기초하여 유효성을 판정할 수 있다. 또한, 제어부(120)는 연속형 랜드마크가 인식된 개수 또는 이산형 랜드마크가 인식된 개수와 기 설정된 임계개수의 비교 결과를 더 고려하여 유효성을 판정할 수 있다.
제어부(120)는 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산할 때에, 획득된 절대 좌표계 기준의 카메라 위치 및 자세각 정보에 대하여 절대 좌표계 기준의 카메라 위치의 변화에 의한 이동 성분에 대응하는 이동 거리와 차량 휠 속도에 의한 이동 거리의 오차에 기초하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보의 신뢰성을 검증할 수 있고, 신뢰성이 검증된 절대 좌표계 기준의 카메라 위치 변화에 기초하여 위치 행렬을 산출한 후 이 위치 행렬에서 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산할 수 있다. 제어부(120)는 신뢰성을 검증할 때에, 절대 좌표계 기준의 카메라 자세각의 변화에 의한 회전 성분이 없는 경우에 신뢰성이 있다고 판정할 수 있다.
제어부(120)는 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산할 때에, 차량의 좌륜 이동 거리와 우륜 이동 거리 및 차량의 좌우륜 거리에 기초하여 차량의 직진을 판단할 수 있다.
한편, 차량 제1축이 차량의 종축이고, 차량 제2축이 차량의 수직축일 경우, 제어부(120)는 카메라 좌표계 기준의 차량 제2축 방향 벡터를 계산할 때에, 절대 좌표계 기준의 카메라 위치 및 자세각 정보와 전자지도에서 인식된 랜드마크를 이용하여 지면에 수직한 방향 벡터를 계산할 수 있고, 지면에 수직한 방향 벡터를 이용하여 카메라 좌표계 기준의 차량 수직축 방향 벡터를 계산할 수 있다.
제어부(120)는 카메라 좌표계 기준의 차량 제2축 방향 벡터를 계산한 후, 카메라 좌표계 기준의 차량 제2축 방향 벡터의 표준 편차와 기 설정된 임계치를 비교한 결과에 기초하여 카메라 좌표계 기준의 차량 제1축 방향 벡터를 재계산할 수 있고, 차량 좌표계 기준의 카메라 회전 행렬을 계산할 때에, 재계산된 카메라 좌표계 기준의 차량 제1축 방향 벡터를 이용할 수 있다.
제어부(120)는 차량 좌표계 기준의 카메라 회전 행렬을 계산할 때에, 계산된 카메라 좌표계 기준의 차량 제1축 방향 벡터 및 계산된 카메라 좌표계 기준의 차량 제2축 방향 벡터에 기초하여, 카메라 좌표계 기준의 차량 제3축 방향 벡터가 반영된 카메라 좌표계 기준의 차량 회전 행렬을 계산할 수 있고, 계산된 카메라 좌표계 기준의 차량 회전 행렬의 역행렬을 차량 좌표계 기준의 카메라 회전 행렬로서 계산할 수 있다.
도 3 내지 도 6은 일 실시예에 따른 온라인 카메라 캘리브레이션 방법을 설명하기 위한 흐름도이고, 도 7은 일 실시예에 따른 온라인 카메라 캘리브레이션 방법에 따라 차량의 직진을 판단하는 예를 설명하기 위한 도면이며, 도 8은 일 실시예에 따른 온라인 카메라 캘리브레이션 방법에 따라 신뢰성 검증에 이용하기 위하여 회전 행렬을 축-앵극(axis-angle)로 표현한 예를 보인 도면이고, 도 9 및 도 10은 일 실시예에 따른 온라인 카메라 캘리브레이션 방법에 따른 랜드마크 매칭 결과를 설명하기 위한 도면이다.
이하, 도 1 내지 도 10을 참조하여 일 실시예에 따른 차량용 카메라 캘리브레이션 시스템(1)에서 수행되는 차량용 카메라의 온라인 카메라 캘리브레이션 과정에 대해 자세히 살펴보기로 한다.
도 3을 참조하면, 획득부(110)는 차량(V)의 운행에 따른 카메라(C)의 촬영 영상을 획득하여 제어부(120)에 제공하고, 제어부(120)는 촬영 영상으로부터 인식된 랜드마크와 기 저장된 전자지도에 존재하는 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득한다(S310).
도 4를 참조하여 단계 S310에 대하여 살펴보면, 제어부(120)는 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득할 때에, GPS 신호 또는 차량 휠 속도를 이용하여 절대 좌표계 기준의 차량 위치 및 진행 방향을 추정할 수 있다(S410).
단계 S410에서, 제어부(120)는 GPS 신호를 이용한 공지의 위치 측정법을 이용하여 절대 좌표계 기준의 차량 위치 및 진행방향 정보를 추정할 수 있다. GPS 신호에 의한 위치 정보를 최소 2개 이상 연속적으로 수신하는 경우에 절대 좌표계 기준의 차량 진행 방향을 쉽게 구할 수 있다.
GPS 신호가 수신되지 않는 구간에서 제어부(120)는 차량 휠 속도를 이용하여 절대 좌표계 기준 차량의 위치 및 진행방향 정보를 추정할 수 있다.
도 7을 참조하면, 차량 좌륜의 휠 속도에 기초하여 이동 거리 Sr이 계산되고, 차량 우륜의 휠 속도에 기초하여 이동 거리 Sl이 계산되면, 수학식 1 내지 수학식 3을 이용하여 차량 위치 (x', y')를 추정할 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
그리고, 시간 k에서 차량 위치 및 진행방향 [xk, yk, θk]가 주어졌을 때, 휠 속도에 의해 추정되는 시간 k+1에서 차량 위치 및 진행방향 [xk +1, yk +1, θk + 1]은 수학식 5와 같다.
Figure pat00005
위에서 설명한 바와 같이 제어부(120)는 GPS 신호 또는 차량 휠 속도를 이용하여 절대 좌표계 기준의 차량 위치 및 진행 방향을 추정할 수 있고, GPS 신호 또는 차량 휠 속도가 수신될 때마다 절대 좌표계 기준의 차량 위치 및 진행 방향에 대한 정보를 갱신한다.
그리고, 제어부(120)는 촬영 영상으로부터 전자지도에 존재하는 랜드마크를 인식할 수 있다(S420). 예를 들어, 제어부(120)는 전자지도에 랜드마크로서 존재하는 차선, 정지선, 신호등, 표지판 등을 인식할 수 있도록 사전에 딥러닝 등을 통하여 학습될 수 있고, 촬영 영상에 포함되어 있는 랜드마크를 딥러닝 알고리즘을 통하여 인식할 수 있다. 랜드마크는 연속형(continuous) 랜드마크와 이산형(discrete) 랜드마크로 분류할 수 있고, 연속형 랜드마크로는 차선, 정지선 등이 포함될 수 있으며, 이산형 랜드마크로는 신호등, 표지판 등이 포함될 수 있다(S420).
아울러, 제어부(120)는 추정된 절대 좌표계 기준의 차량 위치 및 진행 방향에 대한 정보를 이용하여 전자지도에 인식된 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 파악할 수 있다(S430).
다시 도 3을 참조하면, 제어부(120)는 차량(V)의 직진에 따라 획득되는 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 위치 행렬을 산출한다(S320).
단계 S320에서, 제어부(120)는 차량의 좌륜 이동 거리와 우륜 이동 거리 및 차량의 좌우륜 거리에 기초하여 차량의 직진을 판단할 수 있다. 예를 들어, 제어부(120)는 수학식 2를 통하여 구할 수 있는 θ의 절대값이 임계치 이하인 경우를 직진 상황으로 판단할 수 있다.
또한, 제어부(120)는 수학식 6의 해를 구하는 ICP(Iterative Closest Point) 알고리즘을 이용하여 전자지도에서 절대 좌표계 기준의 카메라 위치 및 자세각을 나타내는 위치 행렬 T를 구할 수 있다. 그런데, ICP 알고리즘은 잘못된 매칭에 의하여 구한 해가 부정확할 수 있다.
Figure pat00006
여기서, Zcl(i)는 영상에서 인식된 연속형 랜드마크의 복수 개의 점들 중에 i번째 영상 좌표를 나타내며, Pcl(i)는 전자지도와 매칭된 3차원 좌표를 의미하며, Czcl(i)와 Cpcl(i)는 각각 Zcl(i)와 Pcl(i)의 공분산 행렬이다. Zdl(j)는 영상에서 인식된 이산형 랜드마크들 중에 j번째 영상 좌표를 나타내며, Pdl(j)는 전자지도와 매칭된 3차원 좌표를 의미하며, Czdl(j)와 Cpdl(j)는 각각 Zdl(j)와 Pdl(j)의 공분산 행렬이다.
이처럼, 절대 좌표계 기준의 카메라 위치 및 자세각을 나타내는 위치 행렬을 산출할 때의 부정확성을 보완하기 위하여 단계 S430에서 파악된 절대 좌표계 기준의 카메라 위치 및 자세각 정보가 유효한지를 판단하고, 유효한 정보만 이용하여 온라인 카메라 캘리브레이션을 수행할 필요가 있다.
도 5를 참조하여 단계 S320에 대하여 살펴보면, 제어부(120)는 위치 행렬을 산출할 때에, 획득된 절대 좌표계 기준의 카메라 위치 및 자세각 정보에 대하여 촬영 영상으로부터 인식된 랜드마크와 전자지도에 존재하는 랜드마크의 매칭 결과에 기초하여 유효성을 검증할 수 있다(S510).
예를 들어, 제어부(120)는 단계 S510에서 유효성을 검증할 때에, 촬영 영상에서 인식된 랜드마크와 전자지도에 존재하는 랜드마크의 매칭 에러 또는 매칭 라티오와 기 설정된 임계치를 비교한 결과에 기초하여 유효성을 판정할 수 있다. 예컨대, 매칭 에러가 기 설정된 임계치 이하이고, 매칭 라티오가 기 설정된 임계치 이상일 경우 해당하는 절대 좌표계 기준의 카메라 위치 및 자세각 정보가 유효하다고 판정할 수 있다.
여기서, 매칭 에러는 ICP 알고리즘에 의해 최종적으로 유효하게 매칭된 영상에서 인식된 랜드마크와 이에 대응하는 전자지도의 랜드마크 간의 영상 좌표계에서의 위치 오차를 평균 낸 값을 의미할 수 있다. 매칭 라티오는 매칭 에러가 임계치 이하인 랜드마크 수를 영상에서 인식된 랜드마크의 수로 나눈 결과를 의미할 수 있다. 하나의 차선 또는 정지선과 같은 연속형 랜드마크는 복수의 점들로 구성되어 있으므로 해당 복수의 점들을 이용하여 매칭 에러와 매칭 라티오를 구할 수 있다. 예컨대, 이산형 랜드마크의 매칭 에러가 임계치1 이하인 경우, 연속형 랜드마크의 매칭 에러가 임계치2 이하인 경우, 이산형 랜드마크의 매칭 라티오가 임계치3 이상인 경우, 연속형 랜드마크의 매칭 라티오가 임계치4 이상인 경우 등을 유효성 검증 조건을 설정할 수 있다.
또한, 제어부(120)는 단계 S510에서 유효성을 검증할 때에, 연속형 랜드마크가 인식된 개수 또는 이산형 랜드마크가 인식된 개수와 기 설정된 임계개수의 비교 결과를 더 고려하여 유효성을 판정할 수 있다. 예를 들어, 이산형 랜드마크가 최소 1개 이상 존재해야 하며, 영상에서 인식된 차선 또는 정지선과 같은 연속형 랜드마크의 합은 최소 2개 이상일 경우에 유효성이 있다고 판단할 수 있다.
아울러, 제어부(120)는 단계 S510을 통하여 유효성이 검증된 절대 좌표계 기준의 카메라 위치 및 자세각 정보에 대하여 추가로 신뢰성을 검증할 수 있다. 여기서, 제어부(120)는 절대 좌표계 기준의 카메라 위치의 변화에 의한 이동 성분에 대응하는 이동 거리와 차량 휠 속도에 의한 이동 거리의 오차에 기초하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보의 신뢰성을 검증할 수 있다(S520).
예를 들어, 단계 S520에서 제어부(120)는 k 번째 카메라 위치 및 자세각을 나타내는 행렬 Tk과 두 번째 카메라 위치 및 자세각을 나타내는 행렬 Tk +1가 주어졌을 때, Tk과 Tk +1 사이의 카메라 움직임에 관한 행렬 Tk,k +1 = Tk - 1Tk + 1 이며, Tk,k +1의 회전은 도 8의 축-앵글(axis-angle)로 표현할 수 있는데, 차량이 직진하는 상황에서는 Tk,k +1 행렬에서 축-앵글로 표현된 회전 값(θk,k + 1)이 임계치 이하여야 한다. Tk,k +1에서 위치 성분 [tx, ty, tz]를 이용하여 구한
Figure pat00007
는 휠 속도에 의해 계산된 차량 이동 거리 S(도 7 참조)와 같아야 한다. 실시예에 따라 오차를 감안하여 |S-dk,k +1| 값이 임계치 이하일 때 단계 S520에서 신뢰성을 갖는다고 판정할 수 있다.
다음으로, 제어부(120)는 단계 S510 및 단계 S520을 통하여 유효성 및 신뢰성이 검증된 절대 좌표계 기준의 카메라 위치 변화에 기초하여 위치 행렬을 산출할 수 있다(S530). 예를 들어, 제어부(는 120) 직진 주행 상황에서 상기 조건을 만족하는 카메라 위치 및 자세각 데이터(T1, …, Tn)와 인접한 2개의 카메라 위치로부터 Tk,k+1 행렬을 구할 수 있다.
도 9 및 도 10은 일 실시예에 따른 온라인 카메라 캘리브레이션 방법에 따른 랜드마크 매칭 결과를 설명하기 위한 도면이다. 도 9와 도 10과 같이 인접한 주행 구간이지만, 유효한 경우가 있고 유효하지 경우가 발생할 수 있는데, 이는 ICP 기반의 지도 매칭 알고리즘은 초기 카메라 위치 및 자세각의 오차에 따라 잘못된 해로 수렴할 수 있고, 영상에서 인식된 랜드마크와 전자지도의 3차원 랜드마크 간 잘못된 매칭에 의해 결과가 부정확해 질 수 있기 때문이다. 실시예에 따르면, 지도 매칭 결과의 정확성을 확인하여 온라인 카메라 캘리브레이션의 정확성을 향상시킬 수 있다. 카메라 외부 파라미터의 회전 성분이 1도 정도의 각도 오차가 발생해도 ADAS 또는 자율 주행 성능에 크게 영향을 미치기 때문에 지도 매칭 결과의 정확성을 확인하는 과정이 필요하다. 도 9는 유효하지 않다고 판단된 지도 매칭 결과의 예이고, 도 10은 유효하다고 판단된 지도 매칭의 예이다. 촬영 영상으로부터 인식된 차선(흰색)을 전자지도에 존재하는 차선(하늘색)에 매칭시켰을 때에 도 9의 예와 같이 불일치할 수 있고, 도 10의 예와 같이 일치한 결과를 나타낼 수 있다.
다시 도 3을 참조하면, 제어부(120)는 단계 S320에서 촬영된 위치 행렬을 이용하여 차량 좌표계 기준의 카메라 회전 행렬을 획득할 수 있다(S330).
도 6을 참조하여 단계 S330에 대하여 살펴보면, 제어부(120)는 차량 좌표계 기준의 카메라 회전 행렬을 획득할 때에, 위치 행렬에서 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산할 수 있다(S610).
도 2를 참조하면, 차량이 직진 주행하는 상황에서 유효하게 구한 절대 좌표계 기준 카메라 위치 및 자세각 데이터(T1, …, Tn) 중에 인접한 2개의 카메라 위치로부터 구한 Tk,k +1 행렬에서 [tx, ty, tz]의 단위 벡터(unit vector)는 카메라 좌표계 기준 차량 종축(Xv축) 방향을 나타내는 벡터 Xc,v를 의미한다. 방향 벡터 Xc,v는 직진 주행 상황에서 복수 개를 구할 수 있기 때문에 m개의 방향 벡터 Xc,v 데이터가 존재할 때, 수학식 7과 같이 평균 벡터
Figure pat00008
를 구해서 정확도를 높일 수 있다.
Figure pat00009
그리고, 제어부(120)는 절대 좌표계 기준의 카메라 위치 및 자세각 정보와 전자지도에서 인식된 랜드마크를 이용하여 지면에 수직한 방향 벡터를 계산할 수 있다(S620).
도 2를 참조하면, 절대 좌표계 기준 카메라 위치 주변의 차선 데이터(3차원 점들)를 이용하여 지면에 수직한 방향 벡터를 구한다. 지면에 해당하는 차선 상의 3차원 점들을 이용하여 공분산을 구하고, 고유값 분해(Eigen Decomposition)를 통해 3차원 데이터의 분산(variance)을 최대한 보존하면서 서로 직교하는 새 기저(축)를 찾아, PCA (Principal Component Analysis)를 이용하여 분포된 데이터들의 주성분(Principal Component)를 찾아 낼 수 있다. 수학식 8을 통해 3x3 공분산 행렬에서 고유값 분해(Eigen Decomposition)를 통해 고유 벡터(eigen vector)를
Figure pat00010
를 구할 수 있으며, e3가 지면에 수직한 방향을 나타내는 벡터 Zw,r이며, 절대 좌표계 기준에서의 지면에 수직한 방향 벡터를 의미한다.
Figure pat00011
여기서,
Figure pat00012
의 e1,e2,e3는 서로 직교(orthogonal)한 고유 벡터(3x1 벡터)를 의미한다. Cov3 *3은 3차원 데이터에 대한 공분산행렬을 나타내며, ∑는 3x3 대각선행렬(diagonal matrix이며), 대각 성분은 고유값(eigen value)을 의미한다. 또한, e1은 가장 분산이 큰 방향을 의미하고, e2는 e1과 수직이면서 다음으로 분산이 큰 방향을 의미하며, e3은 e1, e2와 수직이면서 다음으로 분산이 큰 방향을 의미한다.
다시 도 6을 참조하면, 제어부(120)는 카메라 좌표계 기준의 차량 제1축 방향 벡터의 계산에 이용된 절대 좌표계 기준의 카메라 위치 및 자세각 정보와 전자지도에서 인식된 랜드마크를 이용하여 카메라 좌표계 기준의 차량 제2축 방향 벡터를 계산할 수 있다(S630).
차량이 직진 주행하는 상황에서 “현재 차량 주변의 지면은 평면이다” 라는 가정하에 수학식 8을 이용하여 구한 지면에 수직한 방향 벡터 Zw,r은 차량의 수직 방향 벡터 Zv와 평행하다고 판단할 수 있다. 이러한 조건 하에 직진 주행하는 상황에서 복수 개의 차량의 수직 방향 벡터 Zw,r을 구할 수 있고, 카메라 좌표계 기준 지면에 수직한 방향 벡터 Zc,r로 표현하기 위해 수식
Figure pat00013
을 이용한다. (여기서, Rk는 k번째 카메라 위치 및 자세각을 나타내는 Tk 행렬의 회전 행렬을 의미한다.) 복수 개의 Zc,r의 데이터가 존재할 때, 수학식 9와 같이 평균 벡터
Figure pat00014
를 구해서 정확도를 높일 수 있다.
Figure pat00015
추가적으로, m개의 방향 벡터 Zc,r 데이터의 표준 편차가 임계치 이상이면 잘못된 데이터일 확률이 높기 때문에 표준 편차가 임계치 이상인 경우 신뢰할 수 없는 데이터로 판단하고, 표준 편차가 임계치보다 적은 데이터가 구해질 때까지 반복적으로 평균 벡터
Figure pat00016
를 계산할 수 있다.
다시 도 6을 참조하면, 제어부(120)는 카메라 좌표계 기준의 차량 제2축 방향 벡터의 표준 편차와 기 설정된 임계치를 비교한 결과에 기초하여 카메라 좌표계 기준의 차량 제1축 방향 벡터를 재계산할 수 있다(S640). m개의 방향 벡터 Xc,v 데이터의 표준 편차가 임계치 이상이면 잘못된 데이터일 확률이 높기 때문에 표준 편차가 임계치 이상인 경우 신뢰할 수 없는 데이터로 판단하고, 표준 편차가 임계치보다 적은 데이터가 구해질 때까지 반복적으로 평균 벡터
Figure pat00017
를 계산할 수 있다.
다음으로, 제어부(120)는 카메라 좌표계 기준의 차량 제1축 방향 벡터, 계산된 카메라 좌표계 기준의 차량 제2축 방향 벡터에 기초하여, 카메라 좌표계 기준의 차량 제3축 방향 벡터가 반영된 카메라 좌표계 기준의 차량 회전 행렬을 계산할 수 있다(S650). 벡터
Figure pat00018
와 벡터
Figure pat00019
이 주어졌을 때, 카메라 좌표계 기준 차량 종축(X축)/횡축(Y축)/수직(Z축)을 나타내는 회전 행렬은 수학식 10을 통해 구할 수 있다.
Figure pat00020
여기서, “X”는 벡터의 외적을 의미하며, 벡터 Xc,v, 벡터 Zc,r, 벡터 Yc,v, 벡터 Zc,v는 단위 벡터(unit vector)로 표현된다.
아울러, 제어부(120)는 계산된 카메라 좌표계 기준의 차량 회전 행렬의 역행렬을 차량 좌표계 기준의 카메라 회전 행렬로서 계산할 수 있다(S660). 수학식 10을 통해 구한 Rc,v의 역행렬이 온라인 카메라 캘리브레이션을 위해 최종적으로 구하고자 하는 차량 좌표계 기준의 카메라 회전 행렬 Rv,c을 의미한다.
한편, 상술한 일 실시예에 따른 온라인 카메라 캘리브레이션 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
또한, 상술한 일 실시예에 따른 온라인 카메라 캘리브레이션 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
지금까지 설명한 바와 같이 본 발명의 실시예들에 의하면, 차량용 카메라의 캘리브레이션을 지도 매칭을 이용하여 온라인으로 수행함으로써, 매우 정밀하게 온라인 카메라 캘리브레이션을 수행할 수 있다.
나아가, 캘리브레이션을 수행하는 중에 획득되는 정보들에 대한 유효성 및/또는 신뢰성 검증을 통하여 확인된 정확한 정보만 이용하여 온라인 카메라 캘리브레이션을 수행할 수 있기 때문에 카메라 캘리브레이션의 정확도가 향상된다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 차량용 카메라의 캘리브레이션을 지도 매칭을 이용하여 온라인으로 수행함으로써, 매우 정밀하게 온라인 카메라 캘리브레이션을 수행할 수 있다. 이러한 온라인 카메라 캘리브레이션 기술은 차량의 운행 중에 촬영 영상을 획득하는 차량용 카메라에 대한 온라인 상태의 캘리브레션이 필요한 다양한 기술분야에서 이용될 수 있다.
1: 차량용 카메라 캘리브레이션 시스템
V: 차량
100: 온라인 카메라 캘리브레이션 장치
110: 획득부
120: 제어부

Claims (17)

  1. 차량용 카메라의 캘리브레이션 방법으로서,
    카메라의 촬영 영상으로부터 인식된 랜드마크와 전자지도에 존재하는 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득하는 단계와,
    차량의 이동에 따라 획득되는 상기 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 차량 좌표계 기준의 카메라 회전 정보를 획득하는 단계를 포함하는
    카메라 캘리브레이션 방법.
  2. 제 1 항에 있어서,
    상기 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득하는 단계는,
    위성 항법 신호 또는 차량 휠 속도를 이용하여 절대 좌표계 기준의 차량 위치 및 진행 방향을 추정하는 단계와,
    상기 촬영 영상으로부터 상기 전자지도에 존재하는 랜드마크를 인식하는 단계와,
    상기 추정된 절대 좌표계 기준의 차량 위치 및 진행 방향에 대한 정보를 이용하여 상기 전자지도에 상기 인식된 랜드마크를 매칭하여 상기 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 파악하는 단계를 포함하는
    카메라 캘리브레이션 방법.
  3. 제 1 항에 있어서,
    상기 차량 좌표계 기준의 카메라 회전 정보를 획득하는 단계는, 상기 차량의 직진 이동에 따라 획득되는 상기 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 위치 행렬을 산출하고, 산출된 상기 위치 행렬을 이용하여 상기 차량 좌표계 기준의 카메라 회전 정보로서 카메라 회전 행렬을 획득하는
    카메라 캘리브레이션 방법.
  4. 제 3 항에 있어서,
    상기 차량 좌표계 기준의 카메라 회전 정보를 획득하는 단계는,
    상기 위치 행렬에서 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산하는 단계와,
    상기 카메라 좌표계 기준의 차량 제1축 방향 벡터의 계산에 이용된 절대 좌표계 기준의 카메라 위치 및 자세각 정보와 상기 전자지도에서 인식된 랜드마크를 이용하여 카메라 좌표계 기준의 차량 제2축 방향 벡터를 계산하는 단계와,
    상기 계산된 카메라 좌표계 기준의 차량 제1축 방향 벡터, 상기 계산된 카메라 좌표계 기준의 차량 제2축 방향 벡터에 기초하여, 카메라 좌표계 기준의 차량 제3축 방향 벡터가 반영된 상기 차량 좌표계 기준의 카메라 회전 행렬을 계산하는 단계를 포함하는
    카메라 캘리브레이션 방법.
  5. 제 4 항에 있어서,
    상기 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산하는 단계는, 상기 획득된 절대 좌표계 기준의 카메라 위치 및 자세각 정보에 대하여 상기 촬영 영상으로부터 인식된 랜드마크와 상기 전자지도에 존재하는 랜드마크의 매칭 결과에 기초하여 유효성을 검증하는 단계와,
    상기 유효성이 검증된 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 위치 행렬을 산출한 후 이 위치 행렬에서 상기 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산하는 단계를 포함하는
    카메라 캘리브레이션 방법.
  6. 제 5 항에 있어서,
    상기 유효성을 검증하는 단계는, 상기 촬영 영상에서 인식된 랜드마크와 상기 전자지도에 존재하는 랜드마크의 매칭 에러(Matching error) 또는 매칭 라티오(Matching ratio)와 기 설정된 임계치를 비교한 결과에 기초하여 상기 유효성을 판정하는
    카메라 캘리브레이션 방법.
  7. 제 5 항에 있어서,
    상기 랜드마크는 연속형 랜드마크와 이산형 랜드마크를 포함하고,
    상기 유효성을 검증하는 단계는, 상기 연속형 랜드마크의 매칭 에러(Matching error) 또는 매칭 라티오(Matching ratio)를 기 설정된 제 1 임계치와 비교한 결과 및 상기 이산형 랜드마크의 매칭 에러 또는 매칭 라티오를 기 설정된 제 2 임계치와 비교한 결과에 기초하여 상기 유효성을 판정하는
    카메라 캘리브레이션 방법.
  8. 제 7 항에 있어서,
    상기 연속형 랜드마크가 인식된 개수 또는 상기 이산형 랜드마크가 인식된 개수와 기 설정된 임계개수의 비교 결과를 더 고려하여 상기 유효성을 판정하는
    카메라 캘리브레이션 방법.
  9. 제 4 항에 있어서,
    상기 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산하는 단계는, 상기 획득된 절대 좌표계 기준의 카메라 위치 및 자세각 정보에 대하여 절대 좌표계 기준의 카메라 위치의 변화에 의한 이동 성분에 대응하는 이동 거리와 차량 휠 속도에 의한 이동 거리의 오차에 기초하여 상기 절대 좌표계 기준의 카메라 위치 및 자세각 정보의 신뢰성을 검증하는 단계와,
    상기 신뢰성이 검증된 절대 좌표계 기준의 카메라 위치 변화에 기초하여 위치 행렬을 산출한 후 이 위치 행렬에서 상기 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산하는 단계를 포함하는
    카메라 캘리브레이션 방법.
  10. 제 9 항에 있어서,
    상기 신뢰성을 검증하는 단계는, 상기 절대 좌표계 기준의 카메라 자세각의 변화에 의한 회전 성분이 없는 경우에 상기 신뢰성이 있다고 판정하는
    카메라 캘리브레이션 방법.
  11. 제 4 항에 있어서,
    상기 카메라 좌표계 기준의 차량 제1축 방향 벡터를 계산하는 단계는, 상기 차량의 좌륜 이동 거리와 우륜 이동 거리 및 상기 차량의 좌우륜 거리에 기초하여 상기 차량의 직진을 판단하는
    카메라 캘리브레이션 방법.
  12. 제 4 항에 있어서,
    상기 제1축은 상기 차량의 종축이고, 상기 제2축은 상기 차량의 수직축이며,
    상기 카메라 좌표계 기준의 차량 제2축 방향 벡터를 계산하는 단계는,
    상기 절대 좌표계 기준의 카메라 위치 및 자세각 정보와 상기 전자지도에서 인식된 랜드마크를 이용하여 지면에 수직한 방향 벡터를 계산하는 단계와,
    상기 지면에 수직한 방향 벡터를 이용하여 카메라 좌표계 기준의 차량 수직축 방향 벡터를 계산하는 단계를 포함하는
    카메라 캘리브레이션 방법.
  13. 제 4 항에 있어서,
    상기 카메라 좌표계 기준의 차량 제2축 방향 벡터를 계산한 후, 상기 카메라 좌표계 기준의 차량 제2축 방향 벡터의 표준 편차와 기 설정된 임계치를 비교한 결과에 기초하여 상기 카메라 좌표계 기준의 차량 제1축 방향 벡터를 재계산하는 단계를 더 포함하고,
    상기 차량 좌표계 기준의 카메라 회전 행렬을 계산하는 단계는, 상기 재계산된 카메라 좌표계 기준의 차량 제1축 방향 벡터를 이용하는
    카메라 캘리브레이션 방법.
  14. 제 4 항에 있어서,
    상기 차량 좌표계 기준의 카메라 회전 행렬을 계산하는 단계는,
    상기 계산된 카메라 좌표계 기준의 차량 제1축 방향 벡터 및 상기 계산된 카메라 좌표계 기준의 차량 제2축 방향 벡터에 기초하여, 상기 카메라 좌표계 기준의 차량 제3축 방향 벡터가 반영된 카메라 좌표계 기준의 차량 회전 행렬을 계산하는 단계와,
    상기 계산된 카메라 좌표계 기준의 차량 회전 행렬의 역행렬을 상기 차량 좌표계 기준의 카메라 회전 행렬로서 계산하는 단계를 포함하는
    카메라 캘리브레이션 방법.
  15. 카메라의 촬영 영상을 획득하는 획득부와,
    상기 촬영 영상 및 전자지도에 기초하여 상기 카메라의 캘리브레이션을 수행하는 제어부를 포함하고,
    상기 제어부는,
    상기 촬영 영상으로부터 인식된 랜드마크와 상기 전자지도에 존재하는 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득하며, 상기 차량의 이동에 따라 획득되는 상기 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 차량 좌표계 기준의 카메라 회전 정보를 획득하는
    카메라 캘리브레이션 장치.
  16. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    제 1 항 내지 제 14 항 중 어느 한의 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
  17. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    제 1 항 내지 제 14 항 중 어느 한의 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
KR1020190124855A 2019-10-08 2019-10-08 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법 KR20210041969A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190124855A KR20210041969A (ko) 2019-10-08 2019-10-08 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190124855A KR20210041969A (ko) 2019-10-08 2019-10-08 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210041969A true KR20210041969A (ko) 2021-04-16

Family

ID=75743866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190124855A KR20210041969A (ko) 2019-10-08 2019-10-08 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210041969A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781550A (zh) * 2021-08-10 2021-12-10 国网河北省电力有限公司保定供电分公司 一种四足机器人定位方法与系统
KR102487449B1 (ko) * 2021-09-07 2023-01-11 포티투닷 주식회사 로컬맵 제작을 위한 데이터-셋 어노테이션 방법 및 이를 수행하는 서버

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781550A (zh) * 2021-08-10 2021-12-10 国网河北省电力有限公司保定供电分公司 一种四足机器人定位方法与系统
KR102487449B1 (ko) * 2021-09-07 2023-01-11 포티투닷 주식회사 로컬맵 제작을 위한 데이터-셋 어노테이션 방법 및 이를 수행하는 서버

Similar Documents

Publication Publication Date Title
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
US11321950B2 (en) Apparatus and method for detecting lane information, and computer-readable recording medium storing computer program programmed to execute same method
KR102221695B1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
CN108572663B (zh) 目标跟踪
US11417018B2 (en) Device and method for calibrating camera for vehicle
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
CN111309013B (zh) 一种碰撞距离确定方法及系统、车辆、存储介质
WO2018221453A1 (ja) 出力装置、制御方法、プログラム及び記憶媒体
US11954871B2 (en) Apparatus and method for acquiring coordinate conversion information
WO2018181974A1 (ja) 判定装置、判定方法、及び、プログラム
US20210229280A1 (en) Positioning method and device, path determination method and device, robot and storage medium
CN110969055B (zh) 用于车辆定位的方法、装置、设备和计算机可读存储介质
CN112805766B (zh) 用于更新详细地图的装置和方法
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
US11042759B2 (en) Roadside object recognition apparatus
KR20190001668A (ko) 차량의 주행 환경 인식 장치, 방법 및 시스템
KR20200093271A (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
US11663808B2 (en) Distance estimating device and storage medium storing computer program for distance estimation
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
KR20210041969A (ko) 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법
US20210396527A1 (en) Apparatus and method for determining of correction information of vehicle sensor
WO2023043620A1 (en) Road network validation
KR20200120402A (ko) 차량의 추정 위치 획득 장치 및 방법
JP2021128207A (ja) 地図作成装置、地図作成システム、地図作成方法、およびプログラム
KR20210051030A (ko) 센서 바이어스 보정 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination