KR102071418B1 - 차량용 카메라 캘리브레이션 장치 및 방법 - Google Patents

차량용 카메라 캘리브레이션 장치 및 방법 Download PDF

Info

Publication number
KR102071418B1
KR102071418B1 KR1020180056646A KR20180056646A KR102071418B1 KR 102071418 B1 KR102071418 B1 KR 102071418B1 KR 1020180056646 A KR1020180056646 A KR 1020180056646A KR 20180056646 A KR20180056646 A KR 20180056646A KR 102071418 B1 KR102071418 B1 KR 102071418B1
Authority
KR
South Korea
Prior art keywords
vehicle
angle information
attitude angle
camera
acquired
Prior art date
Application number
KR1020180056646A
Other languages
English (en)
Other versions
KR20190131799A (ko
Inventor
이태경
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180056646A priority Critical patent/KR102071418B1/ko
Priority to US17/055,963 priority patent/US11417018B2/en
Priority to PCT/KR2018/013915 priority patent/WO2019221349A1/ko
Publication of KR20190131799A publication Critical patent/KR20190131799A/ko
Application granted granted Critical
Publication of KR102071418B1 publication Critical patent/KR102071418B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52—Determining velocity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시예에 따른 차량용 카메라 캘리브레이션 방법은 위성 신호를 기초로 획득된 차량의 진행 방향과 정밀 지도를 기초로 획득된 지면의 수직 방향을 이용하여 차량의 자세각 정보를 획득하는 단계; 상기 차량의 카메라에 의해 획득된 영상에 상기 정밀 지도를 매칭하여 카메라의 자세각 정보를 획득하는 단계; 및 상기 차량의 자세각 정보 및 상기 카메라의 자세각 정보를 이용하여 상기 차량 및 상기 카메라 간 좌표계 변환 정보를 획득하는 단계를 포함한다.

Description

차량용 카메라 캘리브레이션 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING CAMERA CALIBRATION FOR VEHICLE}
본 발명은 차량에 설치된 카메라의 캘리브레이션을 수행하는 차량용 카메라캘리브레이션 장치 및 방법에 관한 것이다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 시원 시스템은 주행 환경을 감지하기 위해 감지 수단을 구비할 수 있으며, 감지 수단의 일 예로 카메라를 포함할 수 있다. 카메라는 차량 외부 또는 내부에 설치되어, 설치되는 위치 및 자세각에 대응되는 영상을 획득함으로써 주행 환경을 감지할 수 있다.
한국등록특허공보, 제 10-1584693호 (2016.01.14. 공고)
전술한 바와 같이 카메라는 설치되는 위치 및 자세각에 대응되는 영상을 획득하므로, 획득된 영상을 기초로 차량을 제어하기 위해서는 카메라의 좌표계를 인지할 필요가 있다. 이를 위해, 보정용 인식 패턴을 이용하거나, 주행 환경에서 차선에 기초한 소실점 위치를 인식함으로써 차량으로부터 카메라가 장착된 위치 및 자세각을 구할 수 있다. 그러나, 보정용 패턴 인식의 경우 추가적인 사전 캘리브레이션 과정이 요구되며, 주행 중 카메라의 위치 변화를 반영할 수 없고, 소실점 위치를 이용하는 경우 정확도가 떨어지게 된다.
이에, 본 발명의 해결하고자 하는 과제는 정밀 지도를 이용하여 차량에 설치된 카메라의 자세각 정보를 획득하고, 이를 통해 차량과 카메라 간의 좌표계를 변환하는 좌표계 변환 정보를 획득하는 기술을 제공하는 것이다.
또한, 전술한 기술이 수행됨에 있어서, 실시간으로 카메라의 자세각 정보를 정확하게 획득하는 기술을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 차량용 카메라 캘리브레이션 방법은위성 신호를 기초로 획득된 차량의 진행 방향과 정밀 지도를 기초로 획득된 지면의 수직 방향을 이용하여 차량의 자세각 정보를 획득하는 단계; 상기 차량의 카메라에 의해 획득된 영상에 상기 정밀 지도를 매칭하여 카메라의 자세각 정보를 획득하는 단계; 및 상기 차량의 자세각 정보 및 상기 카메라의 자세각 정보를 이용하여 상기 차량 및 상기 카메라 간 좌표계 변환 정보를 획득하는 단계를 포함한다.
일 실시예에 따른 차량용 카메라 캘리브레이션 장치는, 위성 신호를 기초로 획득된 차량의 진행 방향과 미리 저장된 정밀 지도를 기초로 획득된 지면의 수직 방향을 이용하여 차량의 자세각 정보를 획득하는 차량 자세각 정보 획득부; 상기 차량의 카메라에 의해 획득된 영상에 상기 정밀 지도를 매칭하여 카메라의 자세각 정보를 획득하는 카메라 자세각 정보 획득부; 및 상기 차량의 자세각 정보 및 상기 카메라의 자세각 정보를 이용하여 상기 차량 및 상기 카메라 간 좌표계 변환 정보를 획득하는 좌표계 변환 정보 획득부를 포함한다.
일 실시예에 따른 차량용 카메라 캘리브레이션 장치 및 방법은, 별도의 사전 캘리브레이션 과정 없이 카메라의 설치 위치 및 자세각을 정확하게 획득할 수 있다. 나아가, 주행 중 실시간으로 카메라 캘리브레이션을 수행함으로써 주행 중 발생할 수 있는 카메라 위치 및 자세각 변화를 반영할 수 있으므로, 카메라 캘리브레이션의 정확도를 높일 수 있다.
도 1은 일 실시예에 따른 차량용 카메라 캘리브레이션 시스템의 제어 블록도이다.
도 2는 일 실시예에 따른 차량과 카메라의 좌표계를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 차량의 자세각 정보 획득 방법의 흐름도이다.
도 4는 일 실시예에 따른 카메라의 자세각 정보 획득 방법의 흐름도이다.
도 5는 일 실시예에 따른 카메라에 의해 획득된 영상의 랜드마크 추출 결과를 예시한 도면이다.
도 6은 일 실시예에 따른 정밀 지도를 이용한 카메라의 자세각 정보 획득 방법의 상세 흐름도이다.
도 7은 일 실시예에 따른 초기 카메라 자세각 정보에 대응되는 정밀 지도를 예시한 도면이다.
도 8은 일 실시예에 따른 도 5의 영상에 도 7의 정밀 지도를 매칭한 결과를 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 차량용 카메라 캘리브레이션 시스템의 제어 블록도이고, 도 2는 일 실시예에 따른 차량과 카메라의 좌표계를 설명하기 위한 도면이다.
일 실시예에 따른 차량용 카메라 캘리브레이션 시스템(1)은 차량(V) 및 차량용 카메라 캘리브레이션 장치(100)로 구성될 수 있다.
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단의 일종이다. 일 실시예에 따른 차량(V)은 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치자전거, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
도 1의 차량(V)은 GPS 모듈을 구비하여, 적어도 하나의 GPS(Global Position System) 위성으로부터 항법 데이터(Navigation Data)를 포함하는 위성 신호를 수신할 수 있다. 차량(V)은 위성 신호에 기초하여 차량(V)의 현재 위치 및 차량(V)의 진행 방향 등을 획득할 수 있다.
또한, 도 1의 차량(V)은 정밀 지도를 미리 저장할 수 있다. 여기서, 정밀 지도는 안전하고 정밀한 차량(V)제어를 위해 높은 정확도를 가지며, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다. 또한, 정밀 지도는 차선, 표지판, 신호등, 가드레일과 같은 도로 시설물에 대한 정보를 더 포함하는 지도를 의미할 수 있다.
아울러, 도 1의 차량(V)은 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 탑재될 수 있다. 여기서, 첨단 운전자 보조 시스템이란 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위해 차량(V) 상태, 운전자 상태, 주변 환경 정보와 같은 주행 환경 정보를 제공하거나 능동적으로 차량(V)을 제어하는 시스템을 의미할 수 있다.
차량(V)에 탑재된 첨단 운전자 보조 시스템은 차량(V)의 주행 환경을 감지하기 위한 감지 수단을 포함할 수 있다. 일 실시예에 따른 감지 수단은 차량(V) 주변으로 펄스를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 펄스를 수신하여 주행 환경을 감지하는 레이더(Radar), 차량(V) 주변으로 레이저를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 레이저를 수신하는 라이다(LiDAR), 및/또는 차량(V) 주변으로 초음파를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 초음파를 수신하는 초음파 센서 등을 포함할 수 있다.
또한, 첨단 운전자 보조 시스템은 감지 수단으로서 카메라(C)를 포함할 수 있다. 카메라(C)는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 영상을 획득할 수 있다. 획득된 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등의 정보를 획득하는 기초가 될 수 있다.
한편, 차량(V)은 카메라(C)에 의해 획득된 영상 정보와, 차량(V) 내부 모듈간 통신 방식인 CAN 통신 방식으로 전송되는 휠 회전 정보, 요 레이트(Yaw Rate) 정보와 같은 CAN DATA를 융합하여 차량(V) 제어에 이용할 수 있다. 이 때, 카메라(C)에 의해 획득된 영상은 카메라 좌표계를 따르는 반면, CAN DATA는 차량 좌표계를 따를 수 있다.
도 2는 일 실시예에 따른 차량(V)의 개략적인 평면도로서, 차량(V)의 좌표계와 차량(V)에 설치된 카메라(C)의 좌표계를 예시한다. 도 2를 참조하면, 차량(V)은 OV를 원점으로 하고, 차량(V)의 진행 방향으로의 XV축, 지면에 수직 방향으로의 ZV축, 및 XV축과 ZV축에 수직인 YV축으로 구성되는 차량 좌표계를 가질 수 있다. 반면, 차량(V)에 설치된 카메라(C)는 OC를 원점으로 하고, 설치 위치 및 자세각에 따라 결정되는 XC축, YC축, ZC축으로 구성되는 카메라 좌표계를 가질 수 있다. 이처럼 서로 상이한 좌표계 상의 두 정보의 융합하기 위해서는 좌표계의 통일이 요구되며, 이를 카메라(C) 캘리브레이션(CAMERA CALIBRATION)이라 한다.
이를 위해, 차량(V)의 주행에 앞서 사전에 카메라(C) 캘리브레이션을 수행할 수 있다. 구체적으로, 차량(V)에 설치된 카메라(C)를 이용하여 보정용 인식 패턴에 대한 영상을 획득하고, 이를 이용하여 카메라(C)가 장착된 각도와 위치를 수동으로 획득할 수 있다. 이 경우, 사전 작업으로서 카메라(C) 캘리브레이션이 수행되어야 하는 번거로움이 있고, 주행 중에 발생할 수 있는 카메라(C)의 위치 및 자세각 변경을 반영하기 어렵다.
이와는 달리, 차량(V)의 주행 중에 카메라(C)를 통해 차선을 인식하고, 인식된 차선에 기초하여 소실점의 위치를 확인함으로써 카메라(C)의 자세각을 획득할 수도 있다. 그러나, 커브길 등과 같이 차선의 소실점이 정확히 추출되지 않는 상황에서는 이와 같은 방법의 적용이 어렵고, 수동으로 수행되는 방법에 비해 정확도가 떨어진다.
이를 해결하기 위해, 개시된 발명의 일 실시예에 따른 차량용 카메라 캘리브레이션 시스템(1)은 차량(V)이 수신한 위성 신호, 카메라(C)가 획득한 영상, 및 정밀 지도를 이용하여 차량(V)과 카메라(C) 간 좌표계를 변환하는 좌표계 변환 정보를 제공할 수 있다.
도 1을 참조하면, 일 실시예에 따른 차량용 카메라 캘리브레이션 장치(100)는 차량(V)과 유선 또는 무선으로 통신하며, 차량(V)으로부터 위성 신호, 영상 등을 수신하여, 차량(V)에 좌표계 변환 정보를 제공할 수 있다. 구체적으로, 일 실시예에 따른 차량용 카메라 캘리브레이션 장치(100)는, 차량(V)과 통신하는 통신부; 및 좌표계 변환 정보를 획득하는 제어부(120)를 포함할 수 있다.
통신부는 공지된 여러 가지 통신 방법으로 차량(V)과 통신함으로써 정보를 교환할 수 있다. 일 실시예에 따른 통신부는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 거쳐 차량(V)과 통신할 수 있다. 이와는 달리, 다른 실시예에 따른 통신부는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법을 채택하여 소정 거리 이내에서 차량(V)과 통신할 수도 있다. 다만, 통신부가 차량(V)과 통신하는 방법은 상술한 실시예에 한정되지 않는다.
제어부(120)는 통신부가 차량(V)으로부터 수신한 위성 신호, 카메라(C)에 의해 획득된 영상 등을 수신하고, 이를 이용하여 카메라(C)의 위치 및 자세각 정보를 획득하여 차량(V)에 제공할 수 있다. 카메라(C)의 설치 위치는 실측값이 외부로부터 입력되거나, 제어부(120) 내부 연산에 의해 결정될 수 있다. 따라서, 이하에서는 제어부(120)가 카메라(C)의 자세각 정보를 획득하고, 이를 이용하여 좌표계 변환 정보를 차량(V)에 제공하는 것에 대하여 상세히 설명한다.
제어부(120)는 차량(V)의 자세각 정보를 획득하는 차량 자세각 정보 획득부(121); 카메라(C)의 자세각 정보를 획득하는 카메라 자세각 정보 획득부(122); 및 좌표계 변환 정보를 획득하는 좌표계 변환 정보 획득부(123)를 포함할 수 있다.
차량 자세각 정보 획득부(121)는 위성 신호를 기초로 획득된 차량(V)의 진행 방향과 정밀 지도를 기초로 획득된 지면의 수직 방향을 이용하여 차량(V)의 자세각 정보를 획득할 수 있다.
이하에서는, 도 3을 참조하여, 차량(V)의 자세각 정보 획득 방법을 상세히 설명한다.
도 3은 일 실시예에 따른 차량의 자세각 정보 획득 방법의 흐름도이다.
먼저, 차량 자세각 정보 획득부(121)는 차량(V)에서 수신한 위성 신호를 기초로 제 1 자세각 정보를 획득할 수 있다. 구체적으로, 차량 자세각 정보 획득부(121)는 차량(V)이 안정적으로 위성 신호의 수신이 가능한 구간에서의 직진 주행 시 연속되는 시점에서의 위성 신호에 기초하여 차량(V)의 진행 방향을 획득할 수 있다.
일 실시예에 따른 차량 자세각 정보 획득부(121)는 획득되는 진행 방향의 정확도를 높이기 위해, 연속되는 시점의 간격을 크게 하고, 복수 회 반복 획득하여 평균을 내거나, Kalman Filter와 같은 알고리즘을 통해 복수 회 반복 획득한 값을 융합할 수 있다.
이와는 달리, 차량 자세각 정보 획득부(121)는 차량(V)에 의해 수신된 위성 신호와 차량(V)의 CAN DATA 중 요 레이트 정보를 Kalman Filter를 통해 융합함으로써 획득되는 진행 방향의 정확도를 높일 수도 있다.
이렇게 획득된 차량(V)의 진행 방향은 도 2에서 차량 좌표계의 XV축에 해당하므로, 차량 자세각 정보 획득부(121)는 위성 신호에 기초하여 획득된 차량(V)의 진행 방향을 제 1 자세각 정보로서 획득할 수 있다.
여기서는 차량 자세각 정보 획득부(121)가 위성 신호를 기초로 직접 차량(V)의 진행 방향을 획득하는 경우에 대하여 설명하였으나, 차량(V)에서 위성 신호를 기초로 차량(V)의 진행 방향을 구하고, 차량 자세각 정보 획득부(121)에서 그 결과를 수신하는 것도 가능할 수 있다.
그 다음, 차량 자세각 정보 획득부(121)는 정밀 지도 중 위성 신호에 기초한 차량(V)의 위치 주변의 차선 정보로부터 지면의 수직 방향인 제 2 자세각 정보를 획득할 수 있다. 구체적으로, 차량 자세각 정보 획득부(121)는 정밀 지도로부터 위성 신호에 기초한 차량(V)의 위치 주변, 예를 들어 차량(V)의 위치로부터 미리 정해진 범위 내의 영역의 차선 정보를 수신할 수 있다. 차량 자세각 정보 획득부(121)는 수신된 차선 정보 상에서 차량(V)의 위치 기준 좌우로 두 개 이상의 차선이 존재하는 경우, 해당 차선이 공통적으로 존재하는 평면을 추출한 뒤, 해당 평면에 대한 수직 방향을 획득할 수 있다.
여기서는 차량 자세각 정보 획득부(121)가 직접 저장하는 정밀 지도를 이용하여 제 2 자세각 정보를 획득하는 경우에 대하여 설명하였으나, 차량(V)으로부터 정밀 지도를 수신하여 제 2 자세각 정보를 획득하는 것도 가능할 수 있다.
일 실시예에 따른 차량 자세각 정보 획득부(121)는 해당 평면 상의 모든 꼭짓점(Vertex)의 분포에 대한 공분산(Covariance)를 구한 다음, 고유값 분해(Eigenvalue Decomposition) 방법에 따라 최소의 고유값에 해당하는 고유 벡터(Eigenvector)를 해당 평면의 수직 방향으로 선택할 수 있다. 이 때, 차량 자세각 정보 획득부(121)는 최소 고유값 및 그 다음 고유값의 비율이 기준 값보다 큰 경우에만 선택된 수직 방향이 신뢰할 수 있다고 결정할 수 있다.
이렇게 획득된 지면의 수직 방향은 도 2에서 차량 좌표계의 ZV축에 해당하므로, 차량 자세각 정보 획득부(121)는 지면의 수직 방향을 제 2 자세각 정보로서 획득할 수 있다.
제 1 자세각 정보 및 제 2 자세각 정보가 획득되면, 차량 자세각 정보 획득부(121)는 제 1 자세각 정보 및 제 2 자세각 정보에 수직인 제 3 자세각 정보를 획득할 수 있다. 구체적으로, 차량 자세각 정보 획득부(121)는 제 2 자세각 정보 및 제 1 자세각 정보를 외적(Cross Product)하여 제 1 자세각 정보 및 제 2 자세각 정보에 수직 방향을 획득할 수 있다.
이렇게 획득된 수직 방향은 도 2에서 차량 좌표계의 YV축에 해당하므로, 차량 자세각 정보 획득부(121)는 제 1 자세각 정보 및 제 2 자세각 정보에 수직 방향을 제 3 자세각 정보로서 획득할 수 있다.
한편, 위성 신호에 내제된 오차에 의해 제 1 자세각 정보 및 제 2 자세각 정보가 상호 수직이 아닐 수 있다. 따라서, 차선 자세각 정보 획득부는 제 2 자세각 정보 및 제 3 자세각 정보에 수직 방향으로 제 1 자세각 정보를 보정할 수 있다. 정밀 지도로부터 획득된 제 2 자세각 정보가 정확하다는 전제하에 제 2 자세각 정보와 제 3 자세각 정보가 상호 수직임은 자명하므로, 제 2 자세각 정보와 제 3 자세각 정보를 이용하여 제 1 자세각 정보를 보정할 수 있다.
구체적으로, 차량 자세각 정보 획득부(121)는 제 3 자세각 정보 및 제 2 자세각 정보를 외적하여 제 2 자세각 정보 및 제 3 자세각 정보에 수직 방향을 획득할 수 있고, 이렇게 획득된 방향으로 제 1 자세각 정보를 보정할 수 있다.
상술한 과정을 통해, 차량 자세각 정보 획득부(121)는 차량(V)의 자세각 정보에 대한 회전 행렬(Rotation Matrix)를 획득할 수 있다. 차량(V)의 자세각 정보에 대한 회전 행렬은 수학식 1을 따른다.
[수학식 1]
Figure 112018048789829-pat00001
여기서, RW,V는 차량(V)의 자세각 정보에 대한 회전 행렬을 의미하고,
Figure 112018048789829-pat00002
은 제 1 자세각 정보에 따른 XV좌표축을 의미하고,
Figure 112018048789829-pat00003
은 제 3 자세각 정보에 따른 YV좌표축을 의미하고,
Figure 112018048789829-pat00004
은 제 2 자세각 정보에 따른 ZV좌표축을 의미할 수 있다.
한편, 차량 자세각 정보 획득부(121)는 도3의 방법과는 다른 방법을 통해 차량(V)의 자세각 정보를 획득할 수도 있다. 다른 실시예에 따른 차량 자세각 정보 획득부(121)는 차량(V)에 의해 수신된 위성 신호와 차량(V)의 휠 회전 정보, 요 레이트(Yaw Rate) 정보와 같은 CAN DATA를 융합하여 XY 평면 상에서 차량(V)의 진행 방향을 추정할 수 있다. 이렇게 추정된 차량(V)의 진행 방향은 z좌표를 알 수 없으므로, 차량 자세각 정보 획득부(121)는 도 3의 방법에 따라 획득된 제 2 자세각 정보와 추정된 차량(V)의 진행 방향의 내적(Inner Product)이 0이 되는 제 1 자세각 정보의 z좌표를 획득할 수 있다. 마지막으로, 차량 자세각 정보 획득부(121)는 제 2 자세각 정보 및 제 1 자세각 정보의 외적을 통해 제 3 자세각 정보를 획득할 수도 있다.
다시 도 1 을 참조하면, 차량(V)의 자세각 정보가 획득되면, 카메라 자세각 정보 획득부(122)는 차량(V)의 카메라(C)에 의해 획득된 영상에 정밀 지도를 매칭하여 카메라(C)의 자세각 정보를 획득할 수 있다.
이하에서는 도 4 내지 8을 참조하여 카메라(C) 자세각 정보 획득 방법을 상세히 설명한다.
도 4는 일 실시예에 따른 카메라의 자세각 정보 획득 방법의 흐름도이고, 도 5는 일 실시예에 따른 카메라에 의해 획득된 영상의 랜드마크 추출 결과를 예시한 도면이다.
먼저, 카메라 자세각 정보 획득부(122)는 카메라(C)에 의해 획득된 영상으로부터 랜드마크를 추출할 수 있다. 여기서, 랜드마크란 주행 환경을 식별할 수 있는 모든 구조물을 의미할 수 있으며, 예를 들어 차선, 표지판, 반사판, 신호등, 가드레일 등을 포함할 수 있다. 이를 위해, 카메라 자세각 정보 획득부(122)는 첨단 운전자 지원 시스템을 이용하거나 딥 러닝(Deep Learning)과 같은 기계 학습(Machine Learning) 기법을 채택할 수 있다.
도 5를 참조하면, 카메라 자세각 정보 획득부(122)는 카메라(C)에 의해 획득된 영상으로부터 전방의 차선, 전방 원거리의 도로 이정표, 우측에 자전거 전용도로 표지판 및 이륜차 통행 금지 표지판을 랜드마크로서 추출할 수 있다.
그 다음, 카메라 자세각 정보 획득부(122)는 외부로부터 임시 자세각 정보가 입력되었는지 확인할 수 있다. 여기서, 임시 자세각 정보는 차량 좌표계 기준 카메라(C)의 개략적인 자세각 정보로서, 외부에서 입력되는 값을 의미할 수 있다.
만약, 임시 자세각 정보가 입력되는 경우, 카메라 자세각 정보 획득부(122)는 차량(V)의 자세각 정보에 따라 임시 자세각 정보의 좌표계를 변환하여 초기 카메라(C) 자세각 정보를 추정할 수 있다. 구체적으로, 카메라 자세각 정보 획득부(122)는 차량 자세각 정보 획득부(121)에서 획득한 차량(V) 자세각 정보에 대한 회전 행렬을 통해 임시 자세각 정보의 좌표를 변환하여 초기 카메라(C) 자세각 정보를 추정할 수 있다. 이는 후술할 카메라(C) 자세각 정보 획득 과정의 초기값이 될 수 있다.
반면, 임시 자세각 정보가 입력되지 않으면, 카메라 자세각 정보 획득부(122)는 카메라(C)에 의해 획득된 영상에 기초하여 차량(V)의 진행 방향을 획득할 수 있다. 구체적으로, 카메라 자세각 정보 획득부(122)는 카메라(C)에 의해 획득되는 연속된 영상으로부터 카메라(C)의 주행 궤적을 획득할 수 있다. 이를 위해, 일 실시예에 따른 카메라 자세각 정보 획득부(122)는 Visual Odometry를 적용할 수 있다.
그 다음, 카메라 자세각 정보 획득부(122)는 영상에 기초하여 획득된 진행 방향을 위성 신호에 기초하여 획득된 진행방향으로 변환하여 초기 카메라(C) 자세각 정보를 추정할 수 있다. 직진 주행 중에는 카메라(C)의 피치(Pitch), 요(Yaw) 각도에 대해서는 알아낼 수 있으나, 롤(Roll) 각도는 불확실하므로, 카메라 자세각 정보 획득부(122)는 정확한 피치, 요 각도 및 불확실한 롤 각도를 기초로 초기 카메라(C) 자세각 정보를 추정할 수 있다.
마지막으로, 카메라 자세각 정보 획득부(122)는 정밀 지도를 이용하여 카메라(C)의 자세각 정보를 획득할 수 있다.
이하에서는 도 6 내지 8을 참조하여 정밀 지도를 이용한 카메라(C)의 자세각 정보 획득 방법을 상세히 설명한다.
도 6은 일 실시예에 따른 정밀 지도를 이용한 카메라의 자세각 정보 획득 방법의 상세 흐름도이고, 도 7은 일 실시예에 따른 초기 카메라 자세각 정보에 대응되는 정밀 지도를 예시한 도면이고, 도 8은 일 실시예에 따른 도 5의 영상에 도 7의 정밀 지도를 매칭한 결과를 예시한 도면이다.
도 6을 참조하면, 먼저 카메라 자세각 정보 획득부(122)는 추정된 초기 카메라(C) 자세각 정보에 따른 정밀 지도를 확인할 수 있다. 도 7을 참조하면, 초기 카메라(C) 자세각 정보에 따른 카메라(C)에 의해 확인되는 랜드마크가 정밀 지도 상에 표시될 수 있다. 구체적으로, 정밀 지도 상에 도로, 차선, 표지판 등의 랜드마크가 표시됨을 확인할 수 있다.
그 다음, 카메라 자세각 정보 획득부(122)는 랜드마크가 추출된 영상 상에 앞서 확인된 정밀 지도를 매칭할 수 있다. 이 때, 카메라 자세각 정보 획득부(122)는 ICP(Iterative Closest Point)와 같은 알고리즘을 적용할 수 있다.
최종적으로, 카메라 자세각 정보 획득부(122)는 매칭 오차를 기초로 카메라(C) 자세각 정보를 획득할 수 있다. 구체적으로, 카메라 자세각 정보 획득부(122)는 영상 상의 랜드마크와 정밀 지도 상의 랜드마크 사이의 매칭 오차를 구한 뒤, 매칭 오차가 최소화되는 자세각을 카메라(C) 자세각 정보로서 획득할 수 있다. 여기서, 매칭 오차는 픽셀간 차이를 의미할 수 있다.
도 8을 참조하면, 랜드마크가 추출된 도 5의 영상 상에 도 7의 정밀 지도가 매칭됨을 확인할 수 있다. 특히, 영상과 정밀 지도 간에 차선에 대한 매칭 오차가 거의 존재하지 않음을 확인할 수 있다. 카메라 자세각 정보 획득부(122)는 도 8과 같은 매칭 오차를 가지는 자세각을 카메라(C) 자세각 정보로서 획득할 수 있다.
한편, ICP와 같은 알고리즘은 초기값에 따라 Local Minimum이 발생할 가능성이 존재하므로, 초기값이 불확실 한 경우, 카메라 자세각 정보 획득부(122)는 초기값을 주변으로 변경하면서 변경된 초기값에 대해 ICP를 적용하여 매칭 오차가 작도록 수렴된 결과를 이용할 수도 있다.
다시 도 1을 참조하면, 좌표계 변환 정보 획득부(123)는 차량 자세각 정보 획득부(121)에서 획득한 차량(V) 자세각 정보와 카메라 자세각 정보 획득부(122)에서 획득한 카메라(C) 자세각 정보를 이용하여 차량(V) 및 카메라(C) 간 좌표계 변환 정보를 획득할 수 있다. 구체적으로, 좌표계 변환 정보 획득부(123)는 수학식 2에 따를 수 있다.
[수학식 2]
Figure 112018048789829-pat00005
여기서, RV,C는 좌표계 변환 정보로서, 차량 좌표계 기준 카메라(C) 자세각 정보를 의미하고, RW,V는 차량(V)의 자세각 정보에 대한 회전 행렬을 의미하고, RW,C는 카메라(C)의 자세각 정보에 대한 회전 행렬을 의미할 수 있다.
제어부(120)는 좌표계 변환 정보 획득부(123)에서 획득한 좌표계 변환 정보를 통신부를 통해 차량(V)으로 전송할 수 있고, 차량(V)은 수신된 좌표계 변환 정보를 이용하여 카메라(C)에 의해 획득된 영상의 좌표계를 변환할 수 있다. 이와는 달리, 차량(V)은 수신된 좌표계 변환 정보를 반대로 적용하여 차량(V)에서 획득된 CAN DATA를 카메라 좌표계로 변환할 수도 있다.
상술한 실시예에 따른 차량용 카메라 캘리브레이션 장치(100) 및 방법은, 별도의 사전 캘리브레이션 과정 없이 카메라(C)의 설치 위치 및 자세각을 정확하게 획득할 수 있다. 나아가, 주행 중 실시간으로 카메라(C) 캘리브레이션을 수행함으로써 주행 중 발생할 수 있는 카메라(C) 위치 및 자세각 변화를 반영할 수 있으므로, 카메라(C) 캘리브레이션의 정확도를 높일 수 있다.
한편, 상술한 일 실시예에 따른 차량용 카메라 캘리브레이션 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
한편, 상술한 일 실시예에 따른 차량용 카메라 캘리브레이션 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: 차량용 카메라 캘리브레이션 시스템
100: 차량용 카메라 캘리브레이션 장치
V: 차량

Claims (12)

  1. 위성 신호를 기초로 획득된 차량의 진행 방향과 정밀 지도를 기초로 획득된 지면의 수직 방향을 이용하여 차량의 자세각 정보를 획득하는 단계;
    상기 차량의 카메라에 의해 획득된 영상에 상기 정밀 지도를 매칭하여 카메라의 자세각 정보를 획득하는 단계; 및
    상기 차량의 자세각 정보 및 상기 카메라의 자세각 정보를 이용하여 상기 차량 및 상기 카메라 간 좌표계 변환 정보를 획득하는 단계를 포함하고,
    상기 차량의 자세각 정보를 획득하는 단계는,
    상기 차량에서 수신한 위성 신호를 기초로 상기 차량의 진행 방향인 제 1 자세각 정보를 획득하는 단계;
    상기 정밀 지도 중 상기 위성 신호에 기초한 상기 차량의 위치 주변의 차선 정보로부터 상기 지면의 수직 방향인 제 2 자세각 정보를 획득하는 단계; 및
    상기 차량의 진행 방향 및 상기 지면의 수직 방향에 수직인 제 3 자세각 정보를 획득하는 단계를 포함하는
    차량용 카메라 캘리브레이션 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 차량의 자세각 정보를 획득하는 단계는,
    상기 제 2 자세각 정보 및 상기 제 3 자세각 정보에 수직 방향으로 상기 제 1 자세각 정보를 보정하는 단계를 더 포함하는 차량용 카메라 캘리브레이션 방법.
  4. 제 1 항에 있어서,
    상기 카메라의 자세각 정보를 획득하는 단계는,
    상기 차량의 자세각 정보를 기초로, 외부로부터 입력된 임시 자세각 정보의 좌표계를 변환하여 초기 카메라 자세각 정보를 추정하는 단계;
    상기 추정된 초기 카메라 자세각 정보에 대응되는 상기 정밀 지도를 상기 획득된 영상에 매칭하는 단계; 및
    상기 획득된 영상의 랜드마크와 상기 정밀 지도 상의 매칭 오차를 기초로 상기 카메라의 자세각 정보를 획득하는 단계를 포함하는 차량용 카메라 캘리브레이션 방법.
  5. 제 1 항에 있어서,
    상기 카메라의 자세각 정보를 획득하는 단계는,
    상기 카메라에 의해 획득된 영상에 기초하여 상기 차량의 진행 방향을 획득하는 단계;
    상기 영상에 기초하여 획득된 차량의 진행 방향을 상기 차량에서 수신한 위성 신호를 기초로 획득된 차량의 진행 방향에 일치시키는 단계;
    상기 일치된 차량의 진행 방향에 대응되는 상기 정밀 지도를 상기 획득된 영상에 매칭하는 단계; 및
    상기 획득된 영상의 랜드마크와 상기 정밀 지도 상의 매칭 오차를 기초로 상기 카메라의 자세각 정보를 획득하는 단계를 포함하는 차량용 카메라 캘리브레이션 방법.
  6. 제 1 항에 있어서,
    상기 획득된 좌표계 변환 정보를 이용하여 상기 차량의 카메라에 의해 획득된 영상의 좌표계를 변환하는 단계를 더 포함하는 차량용 카메라 캘리브레이션 방법.
  7. 위성 신호를 기초로 획득된 차량의 진행 방향과 미리 저장된 정밀 지도를 기초로 획득된 지면의 수직 방향을 이용하여 차량의 자세각 정보를 획득하는 차량 자세각 정보 획득부;
    상기 차량의 카메라에 의해 획득된 영상에 상기 정밀 지도를 매칭하여 카메라의 자세각 정보를 획득하는 카메라 자세각 정보 획득부; 및
    상기 차량의 자세각 정보 및 상기 카메라의 자세각 정보를 이용하여 상기 차량 및 상기 카메라 간 좌표계 변환 정보를 획득하는 좌표계 변환 정보 획득부를 포함하고,
    상기 차량 자세각 정보 획득부는,
    상기 차량에서 수신한 위성 신호를 기초로 상기 차량의 진행 방향인 제 1 자세각 정보를 획득하고, 상기 정밀 지도 중 상기 위성 신호에 기초한 상기 차량의 위치 주변의 차선 정보로부터 상기 지면의 수직 방향인 제 2 자세각 정보를 획득하고, 상기 차량의 진행 방향 및 상기 지면의 수직 방향에 수직인 제 3 자세각 정보를 획득하는
    차량용 카메라 캘리브레이션 장치.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 차량 자세각 정보 획득부는,
    상기 제 2 자세각 정보 및 상기 제 3 자세각 정보에 수직 방향으로 상기 제 1 자세각 정보를 보정하는 차량용 카메라 캘리브레이션 장치.
  10. 제 7 항에 있어서,
    상기 카메라 자세각 정보 획득부는,
    상기 차량의 자세각 정보를 기초로, 외부로부터 입력된 임시 자세각 정보의 좌표계를 변환하여 초기 카메라 자세각 정보를 추정하고, 상기 추정된 초기 카메라 자세각 정보에 대응되는 상기 정밀 지도를 상기 획득된 영상에 매칭하고, 상기 획득된 영상의 랜드마크와 상기 정밀 지도 상의 매칭 오차를 기초로 상기 카메라의 자세각 정보를 획득하는 차량용 카메라 캘리브레이션 장치.
  11. 제 7 항에 있어서,
    상기 카메라 자세각 정보 획득부는,
    상기 카메라에 의해 획득된 영상에 기초하여 상기 차량의 진행 방향을 획득하고, 상기 획득된 차량의 진행 방향과 상기 차량에서 수신한 위성 신호를 기초로 획득된 차량의 진행 방향을 일치시키고, 상기 일치된 차량의 진행 방향에 대응되는 상기 정밀 지도를 상기 획득된 영상에 매칭하고, 상기 획득된 영상의 랜드마크와 상기 정밀 지도 상의 매칭 오차를 기초로 상기 카메라의 자세각 정보를 획득하는 차량용 카메라 캘리브레이션 장치.
  12. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독가능 기록매체로서,
    위성 신호를 기초로 획득된 차량의 진행 방향과 정밀 지도를 기초로 획득된 지면의 수직 방향을 이용하여 차량의 자세각 정보를 획득하는 단계;
    상기 차량의 카메라에 의해 획득된 영상에 상기 정밀 지도를 매칭하여 카메라의 자세각 정보를 획득하는 단계; 및
    상기 차량의 자세각 정보 및 상기 카메라의 자세각 정보를 이용하여 상기 차량 및 상기 카메라 간 좌표계 변환 정보를 획득하는 단계를 포함하고,
    상기 차량의 자세각 정보를 획득하는 단계는,
    상기 차량에서 수신한 위성 신호를 기초로 상기 차량의 진행 방향인 제 1 자세각 정보를 획득하는 단계;
    상기 정밀 지도 중 상기 위성 신호에 기초한 상기 차량의 위치 주변의 차선 정보로부터 상기 지면의 수직 방향인 제 2 자세각 정보를 획득하는 단계; 및
    상기 차량의 진행 방향 및 상기 지면의 수직 방향에 수직인 제 3 자세각 정보를 획득하는 단계를 포함하는
    차량용 카메라 캘리브레이션 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독가능한 기록매체.
KR1020180056646A 2018-05-17 2018-05-17 차량용 카메라 캘리브레이션 장치 및 방법 KR102071418B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180056646A KR102071418B1 (ko) 2018-05-17 2018-05-17 차량용 카메라 캘리브레이션 장치 및 방법
US17/055,963 US11417018B2 (en) 2018-05-17 2018-11-14 Device and method for calibrating camera for vehicle
PCT/KR2018/013915 WO2019221349A1 (ko) 2018-05-17 2018-11-14 차량용 카메라 캘리브레이션 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180056646A KR102071418B1 (ko) 2018-05-17 2018-05-17 차량용 카메라 캘리브레이션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190131799A KR20190131799A (ko) 2019-11-27
KR102071418B1 true KR102071418B1 (ko) 2020-01-30

Family

ID=68540592

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180056646A KR102071418B1 (ko) 2018-05-17 2018-05-17 차량용 카메라 캘리브레이션 장치 및 방법

Country Status (3)

Country Link
US (1) US11417018B2 (ko)
KR (1) KR102071418B1 (ko)
WO (1) WO2019221349A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102487449B1 (ko) * 2021-09-07 2023-01-11 포티투닷 주식회사 로컬맵 제작을 위한 데이터-셋 어노테이션 방법 및 이를 수행하는 서버

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102071418B1 (ko) * 2018-05-17 2020-01-30 에스케이텔레콤 주식회사 차량용 카메라 캘리브레이션 장치 및 방법
JP7191671B2 (ja) * 2018-12-19 2022-12-19 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
CN112835086B (zh) * 2020-07-09 2022-01-28 北京京东乾石科技有限公司 确定车辆位置的方法和装置
CN114140533A (zh) * 2020-09-04 2022-03-04 华为技术有限公司 摄像头外参标定的方法与装置
DE102022200147A1 (de) * 2022-01-10 2023-07-13 Robert Bosch Gesellschaft mit beschränkter Haftung Erkennung mit höherer Sicherheitsintegrität von Eigenschaften einer Szenerie durch Abgleich von Sensordaten mit einer Erwartung
WO2024035034A1 (ko) * 2022-08-08 2024-02-15 주식회사 아이나비시스템즈 전자 장치 및 센서 셀프-캘리브레이션 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2017143417A (ja) * 2016-02-10 2017-08-17 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4820221B2 (ja) * 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
JP4794510B2 (ja) * 2007-07-04 2011-10-19 ソニー株式会社 カメラシステムおよびカメラの取り付け誤差の補正方法
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
KR102001659B1 (ko) * 2012-11-19 2019-07-19 한국전자통신연구원 차량용 카메라 캘리브레이션 장치 및 방법
KR20140090872A (ko) * 2013-01-10 2014-07-18 (주)팜비젼 카메라의 캘리브레이션 장치 및 방법
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법
KR102336778B1 (ko) * 2015-07-31 2021-12-08 현대오토에버 주식회사 스카이라인을 이용한 차량의 측위 방법
JP6603094B2 (ja) * 2015-10-20 2019-11-06 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
US20210199437A1 (en) * 2016-01-08 2021-07-01 Intelligent Technologies International, Inc. Vehicular component control using maps
JP6780661B2 (ja) * 2016-01-15 2020-11-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム
KR101979276B1 (ko) * 2017-08-09 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
KR102071418B1 (ko) * 2018-05-17 2020-01-30 에스케이텔레콤 주식회사 차량용 카메라 캘리브레이션 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2017143417A (ja) * 2016-02-10 2017-08-17 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102487449B1 (ko) * 2021-09-07 2023-01-11 포티투닷 주식회사 로컬맵 제작을 위한 데이터-셋 어노테이션 방법 및 이를 수행하는 서버

Also Published As

Publication number Publication date
US11417018B2 (en) 2022-08-16
WO2019221349A1 (ko) 2019-11-21
US20210366154A1 (en) 2021-11-25
KR20190131799A (ko) 2019-11-27

Similar Documents

Publication Publication Date Title
KR102071418B1 (ko) 차량용 카메라 캘리브레이션 장치 및 방법
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN108572663B (zh) 目标跟踪
CN112189225B (zh) 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
US10551509B2 (en) Methods and systems for vehicle localization
CN103124994B (zh) 车辆控制设备和车辆控制方法
US11125566B2 (en) Method and apparatus for determining a vehicle ego-position
US11954871B2 (en) Apparatus and method for acquiring coordinate conversion information
US11703344B2 (en) Landmark location estimation apparatus and method, and computer-readable recording medium storing computer program programmed to perform method
JP2023126642A (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US11042759B2 (en) Roadside object recognition apparatus
US20220042823A1 (en) Apparatus and method for updating detailed map
KR20200120402A (ko) 차량의 추정 위치 획득 장치 및 방법
CN111731304B (zh) 车辆控制装置、车辆控制方法及存储介质
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
US20210396527A1 (en) Apparatus and method for determining of correction information of vehicle sensor
KR102604821B1 (ko) 차량의 위치 추정 장치 및 방법
Gupta et al. Self-driving cars: Tools and technologies
US20230391336A1 (en) Apparatus for driver assistance and method for driver assistance
KR20210041969A (ko) 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법
KR20210051030A (ko) 센서 바이어스 보정 방법 및 장치
KR20200141871A (ko) 차선 정보 획득 장치 및 방법
KR20200145410A (ko) 차량의 카메라 위치 정보 획득 장치 및 방법
KR102454367B1 (ko) 차량 위치 판단 장치, 차량의 위치를 판단하는 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
KR20230123822A (ko) 노면표시 검출 장치 및 그 방법과 이를 이용한 측위 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant