KR102022388B1 - Calibration system and method using real-world object information - Google Patents

Calibration system and method using real-world object information Download PDF

Info

Publication number
KR102022388B1
KR102022388B1 KR1020180023423A KR20180023423A KR102022388B1 KR 102022388 B1 KR102022388 B1 KR 102022388B1 KR 1020180023423 A KR1020180023423 A KR 1020180023423A KR 20180023423 A KR20180023423 A KR 20180023423A KR 102022388 B1 KR102022388 B1 KR 102022388B1
Authority
KR
South Korea
Prior art keywords
information
target
target point
distance value
real
Prior art date
Application number
KR1020180023423A
Other languages
Korean (ko)
Other versions
KR20190102665A (en
Inventor
이윤희
이문성
김성록
Original Assignee
(주)캠시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스 filed Critical (주)캠시스
Priority to KR1020180023423A priority Critical patent/KR102022388B1/en
Publication of KR20190102665A publication Critical patent/KR20190102665A/en
Application granted granted Critical
Publication of KR102022388B1 publication Critical patent/KR102022388B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법이 개시된다. 카메라 공차 보정 시스템은 복수의 촬영부를 포함하는 스테레오 카메라 유닛; 복수의 촬영부에 의해 각각 촬영된 촬영 영상의 중첩 영역에서 미리 지정된 우선 순위 정보를 참조하여 2개의 타겟 물체를 선정하고, 미리 지정된 타겟점 선정 기준 정보를 참조하여 선정된 타겟 물체 각각의 타겟점을 선정하는 타겟점 선정부; 상기 중첩 영역에 상응하는 뎁스맵을 이용하여 영상 좌표값 정보가 산출된 각 타겟점 사이의 추정 거리값을 산출하고, 실세계에서의 각 타겟점의 GPS 좌표 정보를 이용하여 각 타겟점 사이의 실측 거리값을 산출한 후, 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 검증하는 검증부; 및 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 비일치하는 경우, 하나 이상의 촬영부에 대해 미리 지정된 변환 규칙을 생성하는 변환 규칙 생성부를 포함한다.Disclosed are a camera tolerance correction system and method using real world object information. The camera tolerance correction system includes a stereo camera unit including a plurality of photographing units; Two target objects are selected by referring to priority information designated in advance in the overlapping regions of the captured images respectively photographed by the plurality of photographing units, and the target points of each of the selected target objects are selected by referring to the predetermined target point selection criterion information. A target point selecting unit for selecting; An estimated distance value between each target point for which image coordinate value information is calculated is calculated using a depth map corresponding to the overlapped area, and the measured distance between each target point using GPS coordinate information of each target point in the real world. A verification unit which calculates a value and verifies whether the estimated distance value and the measured distance value coincide within a predetermined error range; And a conversion rule generator for generating a predetermined conversion rule for at least one photographing unit when the estimated distance value and the measured distance value do not match within a predetermined error range.

Description

실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법{Calibration system and method using real-world object information}Camera tolerance correction system and method using real-world object information

본 발명은 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법에 관한 것이다. The present invention relates to a camera tolerance correction system and method using real-world object information.

일반적으로, 차량 내부에 탑승한 운전자의 시계는 주로 전방을 향하게 되고, 운전자의 좌우측과 후방 시계는 차체에 의하여 상당부분 가려지기 때문에 매우 한정된 시계를 가진다. In general, a driver's clock inside a vehicle is mainly forward, and the driver's left and right and rear clocks are largely obscured by the vehicle body and thus have very limited visibility.

이러한 문제를 해결하기 위하여, 사이드 미러 등의 시계 보조수단이 사용되었으며, 최근에는 차량의 외부를 촬영하여 운전자에게 제공하는 카메라 수단을 이용한 기술들도 차량에 다양하게 적용되고 있는 추세이다.In order to solve such a problem, a watch aid means such as a side mirror has been used, and recently, various techniques using a camera means for photographing the outside of the vehicle and providing the driver to the vehicle have been applied to various vehicles.

일 예로, 차량에 복수의 카메라를 장착하여 차량 주변의 360ㅀ전방향의 영상을 보여주는 어라운드 뷰 모니터링(Around View Monitoring, AVM) 시스템이 있다. AVM 시스템은 차량 각 위치에 구비된 카메라들에 의해 촬영된 차량 주변의 영상을 조합하여, 운전자가 하늘에서 차량을 바라보는 듯한 탑뷰(Top View) 이미지 형식의 AVM 영상을 제공함으로써, 사각지대를 해소하고 운전자가 차량 주변 장애물을 쉽게 확인할 수 있는 장점이 있다.For example, there is an around view monitoring (AVM) system in which a plurality of cameras are mounted on a vehicle to show an image of 360 degrees in front of the vehicle. AVM system eliminates blind spots by combining images around the vehicle taken by cameras at each location, providing AVM images in the form of a Top View image that allows the driver to look at the vehicle from the sky. And the driver can easily check the obstacles around the vehicle.

또한 최근에는 협각 카메라 시스템도 추가적으로 구비되어, 운전자가 차량 전방의 원거리 도로 상황까지 효과적으로 인식할 수 있도록 하고 있다.In addition, recently, a narrow angle camera system has been additionally provided so that the driver can effectively recognize the road situation in front of the vehicle.

이와 같이, 차량에 복수의 카메라가 장착되는 경우에는 장착된 카메라들이 유기적으로 작용할 수 있도록 각 카메라의 공차를 보정하는 작업은 필수적이다. 따라서, 복수의 카메라가 장착된 차량은 촬영 영상의 합성 및 이용을 위한 화면 정합성 기준을 충족하기 위한 공차 보정 작업이 차량의 출고 이전에 실시되고 있다.As such, when a plurality of cameras are mounted in the vehicle, it is essential to correct the tolerances of the respective cameras so that the mounted cameras can act organically. Accordingly, in a vehicle equipped with a plurality of cameras, a tolerance correction operation for satisfying a screen matching criterion for synthesizing and using photographed images is performed before the vehicle is shipped.

그러나 차량이 출고된 후 차량에 가해진 충격 등으로 공차가 누적되면 화면 정합성이 낮아질 수 밖에 없다. 이와 같이, 새롭게 발생된 누적 공차의 보정을 위해서는 운전자가 차량을 가지고 서비스 센터나 사업소를 방문하여야 하는 불편함이 있었다.However, if the tolerance accumulates due to the impact on the vehicle after the vehicle is shipped, the screen consistency is inevitably lowered. As described above, in order to correct a newly generated cumulative tolerance, a driver has to visit a service center or an office with a vehicle.

한국등록특허 제10-0948886호(차량에 설치된 카메라의 공차 보정 장치 및 방법)Korean Patent Registration No. 10-0948886 (Tolerance Correction Apparatus and Method of Camera Installed in Vehicle)

Introduction Epipolar Geometry Calibration Methods Further Readings - Stereo Camera Calibration (https://cs.nyu.edu/courses/fall14/ CSCI-GA.2271-001/ 06StereoCamera Calibration.pdf)Introduction Epipolar Geometry Calibration Methods Further Readings-Stereo Camera Calibration (https://cs.nyu.edu/courses/fall14/ CSCI-GA.2271-001 / 06StereoCamera Calibration.pdf) Stereo vision― Facing the challenges and seeing the opportunities for ADAS applications (http://www.ti.com/lit/wp/spry300/spry300.pdf)Stereo vision― Facing the challenges and seeing the opportunities for ADAS applications (http://www.ti.com/lit/wp/spry300/spry300.pdf) Stereo Camera Calibration (Brian O'Kennedy, Stellenbosch University)Stereo Camera Calibration (Brian O'Kennedy, Stellenbosch University) A Four-step Camera Calibration Procedure with Implicit Image Correction (Janne Heikkilㅴ and Olli Silvㅹn, University of Oulu)A Four-step Camera Calibration Procedure with Implicit Image Correction (Janne Heikkil ㅴ and Olli Silv ㅹ n, University of Oulu) B-spline-based road model for 3D lane recognition(IEEE conference on intelligent transportation system October 2010)B-spline-based road model for 3D lane recognition (IEEE conference on intelligent transportation system October 2010)

본 발명은 실세계 물체 정보를 이용하여 복수의 카메라에 대한 스테레오 정합 품질이 검사되고, 누적 공차로 인해 스테레오 정합 품질이 열악해지면 실시간으로 공차 보정이 실시되도록 함으로써, 공차 보정을 위해 차량을 가지고 서비스 센터나 사업소를 방문할 필요가 없어 사용자 편의가 극대화될 수 있는 카메라 공차 보정 시스템 및 방법을 제공하기 위한 것이다.According to the present invention, stereo matching quality of a plurality of cameras is inspected using real-world object information, and when the stereo matching quality becomes poor due to cumulative tolerances, the tolerance correction is performed in real time, so that the vehicle has a vehicle for the tolerance correction. There is no need to visit the office to provide a camera tolerance correction system and method that can be maximized user convenience.

본 발명은 차량의 주정차 상태 또는 이동 중에 장착된 복수의 카메라들에 대한 공차 보정이 이루어지기 때문에, 차량의 출고 이전에 각 카메라에 대한 공차 보정이 실시되지 않았거나 차량의 출고 이후에 공차 누적으로 인해 공차 보정이 요구되는 AVM 시스템 등에 범용적으로 활용될 수 있는 카메라 공차 보정 시스템 및 방법을 제공하기 위한 것이다. According to the present invention, the tolerance correction is performed on a plurality of cameras mounted while the vehicle is stopped or moved. It is an object of the present invention to provide a camera tolerance correction system and method that can be widely used in AVM systems requiring tolerance correction.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention will be readily understood through the following description.

본 발명의 일 측면에 따르면, 복수의 촬영부를 포함하는 스테레오 카메라 유닛; 복수의 촬영부에 의해 각각 촬영된 촬영 영상의 중첩 영역에서 미리 지정된 우선 순위 정보를 참조하여 2개의 타겟 물체를 선정하고, 미리 지정된 타겟점 선정 기준 정보를 참조하여 선정된 타겟 물체 각각의 타겟점을 선정하는 타겟점 선정부; 상기 중첩 영역에 상응하는 뎁스맵(depth map)을 이용하여 영상 좌표값 정보가 산출된 각 타겟점 사이의 추정 거리값(DEst)을 산출하고, 실세계에서의 각 타겟점의 GPS 좌표 정보를 이용하여 각 타겟점 사이의 실측 거리값(DReal)을 산출한 후, 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 검증하는 검증부; 및 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 비일치하는 경우, 하나 이상의 촬영부에 대해 미리 지정된 변환 규칙을 생성하는 변환 규칙 생성부를 포함하는 실세계 물체 정보를 이용한 카메라 공차 보정 시스템이 제공된다. According to an aspect of the invention, the stereo camera unit including a plurality of shooting unit; Two target objects are selected by referring to priority information designated in advance in the overlapping regions of the captured images respectively photographed by the plurality of photographing units, and the target points of each of the selected target objects are selected by referring to the predetermined target point selection criterion information. A target point selecting unit for selecting; An estimated distance value (D Est ) between each target point for which image coordinate value information is calculated is calculated by using a depth map corresponding to the overlapped area, and the GPS coordinate information of each target point in the real world is used. A verifier configured to calculate an actual distance value D Real between target points, and then verify whether the estimated distance value matches the actual distance value within a predetermined error range; And a conversion rule generator for generating a predetermined conversion rule for at least one photographing unit when the estimated distance value and the measured distance value do not match within a predetermined error range. This is provided.

고정 물체인 타겟 물체에 대하여, 상기 검증부는 미리 저장된 정밀 지도에서 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 획득하도록 구성될 수 있다.For a target object that is a fixed object, the verification unit may be configured to obtain GPS coordinate information about a target point of a target object selected from a pre-stored precision map.

상기 고정 물체는 도로 표지판, 신호등, 건물 및 가로수 중 하나 이상을 포함하도록 미리 지정될 수 있다.The stationary object may be pre-designated to include one or more of road signs, traffic lights, buildings, and street trees.

이동 물체인 타겟 물체에 대하여, 상기 검증부는 상기 중첩 영역에서 타겟 물체의 속성과 자세를 해석하고, 상기 타겟 물체의 속성에 상응하도록 미리 저장된 제원(諸元) 정보, 상기 타겟점 선정 기준 정보, 수신부를 통해 수신된 상기 타겟 물체의 위치 정보 및 해석된 타겟 물체의 자세 정보를 이용하여, 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 연산하도록 구성될 수 있다. For the target object, which is a moving object, the verification unit analyzes the attributes and attitudes of the target object in the overlapping region, and stores previously stored specification information, the target point selection criterion information, and the receiver according to the attributes of the target object. The GPS coordinate information of the target point of the selected target object may be calculated by using the position information of the target object received through the position information and the analyzed position information of the target object.

상기 이동 물체는 위치 정보를 생성하고 송신하기 위한 GPS 송수신기를 구비하고, 주행 도로의 전방에서 주행하는 이동체일 수 있다.The moving object includes a GPS transceiver for generating and transmitting location information, and may be a moving object traveling in front of a driving road.

본 발명의 다른 측면에 따르면, 실세계 물체 정보를 이용하여 카메라 공차를 보정하도록 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, 스테레오 카메라 유닛에 포함된 복수의 촬영부 각각에서 촬영된 촬영 영상의 중첩 영역에서 미리 지정된 우선 순위 정보를 참조하여 2개의 타겟 물체를 선정하는 단계 (a); 미리 지정된 타겟점 선정 기준 정보를 참조하여 선정된 타겟 물체 각각의 타겟점을 선정하는 단계 (b); 상기 중첩 영역에 상응하는 뎁스맵(depth map)을 이용하여 각 타겟점에 대한 영상 좌표값 정보를 연산하고, 연산된 영상 좌표값 정보를 이용하여 각 타겟점 사이의 추정 거리값(DEst)을 산출하는 단계 (c); 실세계에서의 각 타겟점의 GPS 좌표 정보를 획득하고, 획득된 GPS 좌표 정보를 이용하여 각 타겟점 사이의 실측 거리값(DReal)을 산출하는 단계 (d); 및 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 판단하고, 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 비일치하면 하나 이상의 촬영부에 대해 미리 지정된 변환 규칙을 생성하는 단계 (e)를 포함하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공된다. According to another aspect of the invention, a computer program stored on a computer-readable medium for correcting camera tolerances using real-world object information, the computer program causing the computer to perform the following steps, the steps being stereo (A) selecting two target objects with reference to predetermined priority information in an overlapping area of the captured image photographed by each of the plurality of photographing units included in the camera unit; (B) selecting a target point of each of the selected target objects with reference to predetermined target point selection criterion information; The image coordinate value information for each target point is calculated using a depth map corresponding to the overlapped area, and the estimated distance value D Est between the target points is calculated using the calculated image coordinate value information. Calculating (c); (D) obtaining GPS coordinate information of each target point in the real world and calculating a measured distance value D Real between each target point using the obtained GPS coordinate information; And determining whether the estimated distance value and the measured distance value coincide within a predetermined error range, and if the estimated distance value and the measured distance value do not match within a predetermined error range, There is provided a computer program stored on a computer-readable medium comprising the step (e) of generating a designated conversion rule.

도로 표지판, 신호등, 건물 및 가로수 중 하나 이상을 포함하는 고정 물체가 타겟 물체로 지정되면, 미리 저장된 정밀 지도에서 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보가 획득되도록 설정될 수 있다.When a fixed object including at least one of a road sign, a traffic light, a building, and a roadside tree is designated as a target object, the GPS coordinate information about the target point of the target object selected from the pre-stored precision map may be set.

이동 물체가 타겟 물체 중 하나 이상으로 선정된 경우, 상기 단계 (d)는, 미리 지정된 영상 처리 기법을 이용하여 상기 중첩 영역에서 타겟 물체의 속성과 자세를 해석하는 단계; 및 상기 타겟 물체의 속성에 상응하도록 미리 저장된 제원(諸元) 정보, 상기 타겟점 선정 기준 정보, 수신부를 통해 수신된 상기 타겟 물체의 위치 정보 및 해석된 타겟 물체의 자세 정보를 이용하여, 이동 물체인 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 연산하는 단계를 포함할 수 있다.When the moving object is selected as one or more of the target objects, the step (d) may include analyzing attributes and postures of the target object in the overlapping region by using a predetermined image processing technique; And moving object by using previously stored specification information corresponding to the attribute of the target object, the target point selection criterion information, the position information of the target object received through the receiver, and the analyzed attitude information of the target object. Computing the GPS coordinate information for the target point of the target object.

차량 제어 장치로부터 수신된 차량 상태 정보가 미리 지정된 조건에 의해 비정상 상태인 것으로 판단된 경우 상기 단계 (a) 내지 (e)가 실시되도록 설정될 수 있다.When it is determined that the vehicle state information received from the vehicle control apparatus is in an abnormal state by a predetermined condition, the steps (a) to (e) may be set to be performed.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예에 따르면, 실세계 물체 정보를 이용하여 복수의 카메라에 대한 스테레오 정합 품질이 검사되고, 누적 공차로 인해 스테레오 정합 품질이 열악해지면 실시간으로 공차 보정이 실시될 수 있다. 따라서, 공차 보정을 위해 차량을 가지고 서비스 센터나 사업소를 방문할 필요가 없어 사용자 편의가 극대화되는 효과가 있다.According to an exemplary embodiment of the present invention, stereo matching quality of a plurality of cameras is inspected using real world object information, and when the stereo matching quality becomes poor due to the accumulated tolerance, tolerance correction may be performed in real time. Therefore, there is no need to visit a service center or business office with a vehicle for tolerance correction, thereby maximizing user convenience.

또한, 차량의 주정차 상태 또는 이동 중에 장착된 복수의 카메라들에 대한 공차 보정이 이루어지기 때문에, 차량의 출고 이전에 각 카메라에 대한 공차 보정이 실시되지 않았거나 차량의 출고 이후에 공차 누적으로 인해 공차 보정이 요구되는 AVM 시스템 등에 범용적으로 활용될 수 있는 효과도 있다.In addition, because the tolerance correction is performed on a plurality of cameras mounted while the vehicle is parked or moved, the tolerance is not performed before shipment of the vehicle or due to accumulation of tolerances after shipment of the vehicle. There is also an effect that can be used universally in AVM systems that require correction.

도 1은 종래기술에 따른 공차 보정 방법을 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 카메라 공차 보정 시스템의 블록 구성도.
도 3은 본 발명의 일 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 기법을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 깊이 정보 산출 기법을 설명하기 위한 도면.
도 5는 본 발명의 다른 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 기법을 설명하기 위한 도면.
도 6은 본 발명의 다른 실시예에 따른 카메라 공차 보정 시스템의 블록 구성도.
도 7은 본 발명의 다른 실시예에 따른 이동 물체의 타겟점 선정 기법을 설명하기 위한 도면.
도 8은 본 발명의 일 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 방법을 나타낸 순서도.1 is a view for explaining a tolerance correction method according to the prior art.
Figure 2 is a block diagram of a camera tolerance correction system according to an embodiment of the present invention.
3 is a view for explaining a camera tolerance correction technique using real-world object information according to an embodiment of the present invention.
4 is a view for explaining a depth information calculation technique using a stereo camera according to an embodiment of the present invention.
5 is a view for explaining a camera tolerance correction technique using real-world object information according to another embodiment of the present invention.
Figure 6 is a block diagram of a camera tolerance correction system according to another embodiment of the present invention.
7 is a view for explaining a target point selection technique of a moving object according to another embodiment of the present invention.
8 is a flowchart illustrating a camera tolerance correction method using real-world object information according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. As used herein, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described on the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.In addition, the components of the embodiments described with reference to the drawings are not limited to the corresponding embodiments, and may be implemented to be included in other embodiments within the scope of the technical spirit of the present invention. Even if the description is omitted, it is obvious that a plurality of embodiments may be reimplemented into one integrated embodiment.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, in the description with reference to the accompanying drawings, the same components regardless of reference numerals will be given the same or related reference numerals and redundant description thereof will be omitted. In the following description of the present invention, if it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 종래기술에 따른 공차 보정 방법을 설명하기 위한 도면이다.1 is a view for explaining a tolerance correction method according to the prior art.

도 1에 예시된 바와 같이, 전면, 우측면, 좌측면 및 후면의 위치 각각에 카메라(10, 20, 30, 40)가 장착된 차량은 공차 보정을 위해 보정판(50)이 설치된 공간의 미리 지정된 위치에 배치된다. As illustrated in FIG. 1, a vehicle in which cameras 10, 20, 30, and 40 are mounted in front, right, left, and rear positions, respectively, is a predetermined position in a space where a correction plate 50 is installed for tolerance correction. Is placed on.

보정판(50)은 차량의 전방 좌측 모서리, 전방 우측 모서리, 후방 좌측 모서리 및 후방 우측 모서리에 차량의 각 바퀴 축 선상에서 일정 거리 이격되도록 각각 배치된다. The correction plate 50 is disposed on the front left corner, the front right corner, the rear left corner, and the rear right corner of the vehicle so as to be spaced apart a predetermined distance on each wheel axis of the vehicle.

보정판(50)은 특징점의 추출 오류를 방지하기 위해 격자 모양의 무늬로 이루어질 수 있으며, 격자 모양의 무늬는 색상 대비가 강한 색들의 조합으로 이루어질 수 있다.The correction plate 50 may be formed in a grid pattern to prevent an extraction error of a feature point, and the grid pattern may be formed of a combination of colors having strong color contrast.

공차 보정을 위해 각 카메라(10, 20, 30, 40)에서 생성된 촬영 영상에서 보정판(50) 내 특징점의 좌표 정보가 추출되고, 해당 좌표 정보는 각 특징점에 대응되는 표준 좌표 정보와 비교되어 변환 행렬이 산출된다. 이때, 예를 들어 보정 알고리즘, 어파인(Affine) 변환 알고리즘, 호모그래피(Homography) 변환 알고리즘, 시점 변환 알고리즘 등을 적용하여 룩업 테이블도 생성될 수 있다.Coordinate information of the feature points in the compensation plate 50 is extracted from the captured images generated by the cameras 10, 20, 30, and 40 for the tolerance correction, and the coordinate information is compared with the standard coordinate information corresponding to each feature point and converted. The matrix is calculated. In this case, for example, a lookup table may be generated by applying a correction algorithm, an affine transform algorithm, a homography transform algorithm, a viewpoint transform algorithm, or the like.

이와 같이 생성된 변환 규칙(즉, 변환 행렬 및/또는 룩업 테이블)은 저장부에 저장되어 AVM 영상을 생성하기 위해 이용된다. The generated transformation rule (ie, the transformation matrix and / or lookup table) is stored in the storage and used to generate an AVM image.

그러나 이와 같이 출고 이전에, 또는 서비스 센터 등에서 생성된 변환 규칙은 차량의 운행 과정에서 충격 등으로 인해 카메라 장착 각도의 변동 등 누적 공차가 발생될 수 있고, 이 경우 재차 서비스 센터나 사업소를 방문하여 다시 공차 보정을 실시하여야 하는 불편함이 있다.However, the conversion rule generated before the shipment or at the service center may cause a cumulative tolerance such as a change in the mounting angle of the camera due to an impact, etc. during the driving of the vehicle, and in this case, visits a service center or a business office again. It is inconvenient to perform tolerance correction.

도 2는 본 발명의 일 실시예에 따른 카메라 공차 보정 시스템의 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 기법을 설명하기 위한 도면이며, 도 4는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 깊이 정보 산출 기법을 설명하기 위한 도면이다.2 is a block diagram of a camera tolerance correction system according to an embodiment of the present invention, Figure 3 is a view for explaining a camera tolerance correction technique using real-world object information according to an embodiment of the present invention, Figure 4 Is a view for explaining a depth information calculation technique using a stereo camera according to an embodiment of the present invention.

도 2를 참조하면, 카메라 공차 보정 시스템은 스테레오 카메라 유닛(210), 정밀지도 DB(215), 공차 보정 유닛(220) 및 규칙 저장부(230)를 포함할 수 있다.Referring to FIG. 2, a camera tolerance correction system may include a stereo camera unit 210, a precision map DB 215, a tolerance correction unit 220, and a rule storage 230.

스테레오 카메라 유닛(210)은 입체 영상 및/또는 뎁스맵(depth map)을 생성하기 위한 영상들을 각각 촬영하는 복수의 촬영부를 포함한다. The stereo camera unit 210 includes a plurality of photographing units which respectively photograph stereoscopic images and / or images for generating a depth map.

스테레오 카메라 유닛(210)에 포함되는 복수의 촬영부는 예를 들어 동일한 하우징 내에 미리 지정된 간격으로 이격 배치되어 장착된 카메라 모듈들일 수도 있고, 차량에 장착된 복수의 카메라들 중 스테레오 촬영 기법으로 운용될 수 있도록 선택된 복수의 카메라들일 수도 있다. 일 예로, 차량에 장착된 복수의 카메라들 중 AVM 시스템의 전방 카메라와 차량 전방의 원거리 도로 상황을 촬영하는 협각 카메라가 스테레오 카메라 유닛(210)으로 기능하기 위한 복수의 촬영부에 해당될 수 있다.The plurality of photographing units included in the stereo camera unit 210 may be, for example, camera modules mounted and spaced apart at predetermined intervals in the same housing, or may be operated by a stereo photographing technique among a plurality of cameras mounted in a vehicle. It may be a plurality of cameras selected to be. For example, a front camera of the AVM system and a narrow angle camera for photographing a remote road situation in front of the vehicle among the plurality of cameras mounted on the vehicle may correspond to a plurality of photographing units for functioning as the stereo camera unit 210.

정밀지도 DB(215)에는 실세계에서 각 위치에 고정된 상태로 존재하는 미리 지정된 고정 물체(예를 들어, 건물, 도로 표지판, 신호등, 가로수 등) 각각의 식별 정보와 3차원 좌표값 정보를 포함하도록 생성된 정밀 지도가 저장된다. The precision map DB 215 may include identification information and three-dimensional coordinate value information of each of a predetermined fixed object (for example, a building, a road sign, a traffic light, a roadside tree, etc.) existing at a fixed position in the real world. The generated precision map is saved.

정밀 지도에는 예를 들어 도로상에 설치된 길안내 표지판인 경우, 길안내 표지판임을 구분하기 위한 식별 정보와, 길안내 표지판의 타겟점(예를 들어, 표지판의 가로세로 중심점)에 대한 3차원 GPS 좌표값 정보 등과 같이 실세계상의 미리 지정된 고정 물체에 상응하는 식별 정보와 타겟점의 3차원 좌표값 정보가 포함될 수 있다. 정밀 지도에는 예를 들어, 길안내 표지판을 측면에서 지지하는 지주를 형성하는 각 위치의 3차원 GPS 좌표값 정보, 표지판의 둘레를 형성하는 각 위치의 3차원 GPS 좌표값 정보 등이 더 포함될 수도 있다.Precision maps include, for example, a road sign installed on a road, identification information for identifying a road sign, and three-dimensional GPS coordinates for a target point of the road sign (for example, the center of the sign). Identification information corresponding to a predetermined fixed object in the real world, such as value information, and three-dimensional coordinate value information of the target point may be included. The precision map may further include, for example, three-dimensional GPS coordinate value information of each position forming a post supporting side road signs, three-dimensional GPS coordinate value information of each position forming a perimeter of the sign, and the like. .

정밀 지도는 예를 들어 차량에 구비된 디스플레이 장치를 통해 표출될 때 통상의 차량 네비게이션용 지도와 유사한 형태로 표출되도록 미리 설정될 수도 있다.The precision map may be set in advance so as to be displayed in a form similar to a map for general vehicle navigation when displayed through a display device provided in a vehicle.

공차 보정 유닛(220)은 타겟점 선정부(222), 검증부(224) 및 변환규칙 생성부(225)를 포함할 수 있다.The tolerance correction unit 220 may include a target point selector 222, a verifier 224, and a conversion rule generator 225.

타겟점 선정부(222)는 스테레오 카메라 유닛(210)의 각 촬영부에서 생성한 촬영 영상들의 중첩 영역에 존재하는 물체들 중 적어도 2개를 타겟 물체로 선정하고, 선정된 타겟 물체의 특징점들 중 타겟점을 선정한다. The target point selector 222 selects at least two of the objects existing in the overlapping regions of the captured images generated by the respective imaging units of the stereo camera unit 210 as the target object, and among the selected feature points of the target object. Select the target point.

타겟점 선정부(222)에 의해 선정된 타겟 물체들 중 하나 이상은 도로 표지판이나 건물의 꼭지점 등과 같이 고정 물체일 수도 있고(도 3 참조), 전방에서 주행하는 차량의 후면부 등과 같이 이동 물체일 수도 있다(도 5 참조).At least one of the target objects selected by the target point selecting unit 222 may be a fixed object such as a road sign or a vertex of a building (see FIG. 3), or may be a moving object such as a rear part of a vehicle traveling in front of the vehicle. (See FIG. 5).

타겟점 선정부(222)가 실세계상의 다양한 물체들 중 어떤 물체를 타겟 물체로 우선하여 선정할 것인지는 우선 순위로 미리 지정될 수 있다. The target point selector 222 may predetermine which object of the various objects in the real world is selected as the target object in advance.

우선 순위는 예를 들어 도로 표지판, 신호등, 건물, 가로수, 전방 주행 차량인 버스, 전방 주행 차량인 승용차 등의 순서로 미리 규정될 수 있으며, 타겟점 선정부(222)는 중첩 영역에 존재하는 물체들 중 우선 순위가 상대적으로 높게 규정된 물체를 타겟 물체로 선정하게 될 것이다.For example, the priority may be previously defined in the order of a road sign, a traffic light, a building, a roadside tree, a bus that is a forward driving vehicle, and a passenger car that is a forward driving vehicle. The target point selecting unit 222 may include an object present in an overlapping area. Among them, the object whose priority is relatively high will be selected as the target object.

이때, 타겟점 선정부(222)는 중첩 영역에 해당되는 영상의 외곽선 검출 등의 영상 처리 기법에 의해 해석된 각 물체의 외형과 미리 저장된 각 물체의 외형 정보를 대비하여 중첩 영역에 존재하는 각 물체를 식별(해당 물체의 식별 정보 인식)하고, 식별된 물체들 중 우선 순위가 상대적으로 높게 규정된 2개의 물체를 타겟 물체로 선정할 수 있다. 영상 내에 존재하는 물체를 정확하게 인식할 수 있도록 기계 학습(machine learning) 기법이 적용될 수 있으며, 예를 들어 신경망(Neural Network), SVM(Support Vector Machine), 아다부스트(AdaBoost), 랜덤 포레스트(Random Forest) 등 중 하나 이상의 알고리즘이 이용될 수 있다.At this time, the target point selector 222 compares the appearance of each object analyzed by an image processing technique such as the edge detection of the image corresponding to the overlapping area with the information of each object stored in the overlapping area in advance. Can be identified (recognition of identification information of the object), and the two objects whose priority is relatively high among the identified objects can be selected as the target object. Machine learning techniques can be applied to accurately recognize objects in the image.For example, neural networks, support vector machines, adaboost, and random forests. One or more algorithms may be used.

또한 타겟점 선정부(222)는 선정된 타겟 물체의 형상에서 미리 지정된 위치를 타겟점으로 선정할 수 있다. 정밀 지도에 포함된 각 고정 물체별 타겟점과 상응하도록 예를 들어, 사각형 형상의 이정표인 도로 표지판인 경우에는 도로 표지판의 가로세로 중심점, 원형의 주차금지 표지인 도로 표지판인 경우에는 원점 등과 같이 선정된 타겟 물체의 특정 지점이 타겟점으로 선정되도록 하는 타겟점 선정 기준이 미리 지정될 수 있다. 영상의 외곽선 검출 등으로 해석된 물체의 외형을 토대로 영상 내에서 타겟점에 해당되는 위치를 인식하는 영상 처리 기법 등은 당업자에게 자명한 사항이므로 이에 대한 구체적인 설명은 생략한다.In addition, the target point selector 222 may select a predetermined position as the target point in the shape of the selected target object. For example, to correspond to the target point for each fixed object included in the precision map, for example, a road sign that is a rectangular milestone is selected as a center point of the road sign, and an origin when it is a road sign that is a circular prohibition sign. A target point selection criterion may be specified in advance so that a specific point of the targeted target object is selected as the target point. An image processing technique for recognizing a position corresponding to a target point in an image based on the appearance of an object analyzed by detecting an outline of an image is obvious to those skilled in the art, and thus a detailed description thereof will be omitted.

전술한 처리를 위해, 도 2에 도시되지는 않았으나, 카메라 공차 보정 시스템은 우선 순위 정보, 실세계상에 존재하는 물체들 각각의 외형 정보, 각 물체별 타겟점 선정 기준 정보 등이 저장된 저장부를 더 포함할 수 있다.Although not shown in FIG. 2 for the above-described processing, the camera tolerance correction system further includes a storage unit for storing priority information, appearance information of each object present in the real world, target point selection criteria information for each object, and the like. can do.

검증부(224)는 스테레오 카메라 유닛(210)에서 생성된 복수의 촬영 영상을 이용하여 뎁스맵(depth map)을 생성하고, 뎁스맵을 이용하여 선정된 타겟점들에 대한 3차원 영상 좌표값을 각각 산출한다. The verification unit 224 generates a depth map by using the plurality of captured images generated by the stereo camera unit 210, and generates a 3D image coordinate value of the selected target points by using the depth map. Calculate each.

이어서, 검증부(224)는 2개의 타겟점 각각에 대한 3차원 영상 좌표값 정보를 이용하여 2개의 타겟점 사이의 거리(즉, 추정 거리값(DEst))를 산출한다. Subsequently, the verification unit 224 calculates a distance between two target points (ie, an estimated distance value D Est ) by using three-dimensional image coordinate value information of each of the two target points.

또한, 선정된 타겟 물체가 도 3에 예시된 바와 같이 도로 표지판, 건물 등의 고정 물체인 경우, 검증부(224)는 차량에 구비된 GPS 수신기 등을 이용하여 산출된 차량의 현재 위치 좌표값 정보, 앞서 산출된 타겟점들에 대한 식별 정보와 3차원 영상 좌표값 정보, 및 정밀지도 DB에 저장된 정밀 지도 등을 참조하여 정밀지도 DB에 포함된 고정 물체 중 선정된 타겟 물체들을 각각 인식할 수 있다. 여기서, 타겟점의 3차원 영상 좌표값과 차량의 현재 위치간의 상대적인 위치와 식별 정보를 토대로 정밀 지도 내에서 해당 고정 물체가 무엇인지 인식될 수 있음은 당연하다.In addition, when the selected target object is a fixed object such as a road sign or a building as illustrated in FIG. 3, the verification unit 224 may calculate current position coordinate value information of the vehicle calculated using a GPS receiver provided in the vehicle. The target objects selected from the fixed objects included in the precision map DB may be recognized by referring to the identification information, the 3D image coordinate value information, and the precision map stored in the precision map DB. . Here, it is natural that the fixed object may be recognized in the precision map based on the relative position and identification information between the 3D image coordinate value of the target point and the current position of the vehicle.

검증부(224)는 인식한 해당 타겟 물체에 상응하는 3차원 GPS 좌표값 정보를 정밀 지도에서 검출하고, 검출된 3차원 GPS 좌표값 정보를 이용하여 2개의 타겟점 사이의 거리(즉, 실측 거리값(DReal))를 산출한다.The verification unit 224 detects the 3D GPS coordinate value information corresponding to the recognized target object on the precision map, and uses the detected 3D GPS coordinate value information to determine the distance between two target points (ie, the measured distance). Calculate the value (D Real )).

이어서, 검증부(224)는 스테레오 카메라 유닛(210)에서 촬영된 복수의 영상을 토대로 산출된 2개의 타겟점 사이의 추정 거리값(DEst)과 정밀 지도에서 검출한 3차원 GPS 좌표 정보를 토대로 산출된 동일한 2개의 타겟점 사이의 실측 거리값(DReal)이 오차범위 내에서 일치하는지 여부를 판단한다. Subsequently, the verification unit 224 based on the estimated distance value D Est between two target points calculated based on the plurality of images captured by the stereo camera unit 210 and the 3D GPS coordinate information detected by the precision map. It is determined whether or not the calculated actual distance value D Real between the same two target points is calculated within an error range.

만일 추정 거리값(DEst)과 실측 거리값(DReal)이 오차범위 내에서 일치하는 경우라면 스테레오 카메라 유닛(210)을 구성하는 복수의 촬영부들의 현재 설치 형태는 적정한 상태이며, 공차 보정이 불필요한 상태인 것으로 인정될 수 있을 것이다.If the estimated distance value D Est and the measured distance value D Real coincide within the error range, the current installation form of the plurality of photographing units constituting the stereo camera unit 210 is in an appropriate state, and the tolerance correction is It may be recognized that it is unnecessary.

그러나, 추정 거리값(DEst)과 실측 거리값(DReal)이 오차범위 내에서 일치하지 않는다면, 변환규칙 생성부(226)는 변환 규칙 생성 처리를 수행하며, 생성된 변환 규칙은 규칙 저장부(230)에 저장되어 각 촬영부의 촬영 영상을 정합 처리하는 과정 등에서 이용될 수 있다.However, if the estimated distance value D Est and the measured distance value D Real do not coincide within the error range, the conversion rule generator 226 performs a conversion rule generation process, and the generated conversion rule is a rule storage unit. The data stored in the storage unit 230 may be used in a process of matching the captured image of each photographing unit.

변환규칙 생성부(226)는 스테레오 카메라 유닛(210)에서 촬영된 복수의 촬영 영상의 중첩 영역에서 선정된 2개의 타겟점들의 좌표 정보 등을 이용하여 해당 촬영 영상을 촬영한 복수의 촬영부들의 공차 보정을 위한 변환 행렬을 생성한다. 이때, 추정 거리값(DEst)과 실측 거리값(DReal)이 오차범위 내에서 일치할 수 있도록 복수의 촬영부들의 공차 보정을 위한 변환 행렬이 생성될 수 있음은 당연하다.The conversion rule generation unit 226 uses the coordinate information of two target points selected in the overlapping area of the plurality of captured images captured by the stereo camera unit 210 tolerate the plurality of the captured images for capturing the captured image. Generate a transformation matrix for correction. In this case, it is obvious that a transformation matrix for tolerance correction of the plurality of photographing units may be generated such that the estimated distance value D Est and the measured distance value D Real may coincide within the error range.

변환 행렬을 생성하기 위해서는 예를 들어 하기 수학식 1 및 2가 이용될 수 있으며, 변환 행렬의 생성 방식은 이외에도 다양하다. 다만, 하기 수학식 1 및 2 등을 이용하여 복수의 카메라에 대한 공차 보정을 위한 변환 행렬 등 변환 규칙을 생성하는 방법은 당업자에게 널리 알려진 사항이므로 이에 대한 구체적인 설명은 생략한다.For example, Equations 1 and 2 may be used to generate the transformation matrix, and the generation scheme of the transformation matrix may be variously applied. However, a method of generating a transformation rule such as a transformation matrix for tolerance correction for a plurality of cameras using Equations 1 and 2 is well known to those skilled in the art, and thus a detailed description thereof will be omitted.

Figure 112018019990348-pat00001
Figure 112018019990348-pat00001

참고로, zc는 행렬식에서 마지막 값을 1로 만들기 위한 스케일 팩터이고, u와 v 는 촬영 영상에서의 좌표를 나타내며, K는 카메라의 초점 거리(focal length) 등 카메라 자체에 의해 결정되는 내부 파라미터(intrinsic parameter)이고, R은 카메라의 각 축 방향으로의 회전 각도인 회전 행렬(rotation matrix)이고, T는 원점에서의 거리인 트랜스레이션 행렬(translation matrix)이며, xw, yw 및 zw는 3차원 공간상의 실세계 좌표를 나타낸다.For reference, z c is a scale factor for making the last value 1 in the determinant, u and v represent coordinates in the captured image, and K is an internal parameter determined by the camera itself, such as the focal length of the camera. (intrinsic parameter), R is a rotation matrix that is the angle of rotation of each axis of the camera, T is a translation matrix that is the distance from the origin, and x w , y w and z w Represents real world coordinates in three-dimensional space.

Figure 112018019990348-pat00002
Figure 112018019990348-pat00002

참고로, 수학식 2는 도 4에 도시된 바와 같이 스테레오 카메라를 이용한 깊이 정보 산출에 관한 것이다. 수학식 2에서 타겟점 P의 좌표 (X, Y, Z)는 실세계 좌표계에서의 해당 타겟점의 실제 위치를 나타내고, Tx는 베이스라인(baseline)이며, f는 초점 거리(focal length)이고, (xl, yl)과 (xr, yr) 각각은 제1 및 제2 촬영부에서 생성한 촬영 영상에서의 타겟점의 위치를 나타내며, Z'는 타겟점까지의 거리이다. For reference, Equation 2 relates to calculating depth information using a stereo camera as shown in FIG. 4. In Equation 2, the coordinates (X, Y, Z) of the target point P represent the actual position of the target point in the real world coordinate system, Tx is the baseline, f is the focal length, and ( xl, yl) and (xr, yr) each represent a position of a target point in the captured images generated by the first and second imaging units, and Z 'is a distance to the target point.

변환규칙 생성부(226)는 전술한 방식으로 생성된 변환 행렬을 예를 들어 왜곡 보정 알고리즘 등을 이용하여 룩업 테이블로 생성할 수도 있다.The transformation rule generator 226 may generate the transformation matrix generated in the above-described manner into a lookup table using, for example, a distortion correction algorithm.

도 5는 본 발명의 다른 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 기법을 설명하기 위한 도면이고, 도 6은 본 발명의 다른 실시예에 따른 카메라 공차 보정 시스템의 블록 구성도이며, 도 7은 본 발명의 다른 실시예에 따른 이동 물체의 타겟점 선정 기법을 설명하기 위한 도면이다.5 is a view for explaining a camera tolerance correction technique using real-world object information according to another embodiment of the present invention, Figure 6 is a block diagram of a camera tolerance correction system according to another embodiment of the present invention, Figure 7 Is a view for explaining a target point selection technique of a moving object according to another embodiment of the present invention.

앞서 도 2 내지 4를 참조하여, 타겟점 선정부(222)가 선정한 타겟 물체가 정밀 지도 내에서 좌표값 정보 등의 검출될 수 있는 고정 물체인 경우를 중심으로 카메라 공차 보정 처리에 대해 설명하였다. 2 to 4, the camera tolerance correction processing has been described based on the case where the target object selected by the target point selecting unit 222 is a fixed object that can be detected, such as coordinate value information, in the precision map.

그러나, 본 발명에 따른 카메라 공차 보정 시스템은 도 5에 예시된 바와 같이, 전방에서 주행하는 버스 등과 같은 이동 물체를 하나 이상의 타겟 물체로 선정하여 카메라 공차 보정을 실시할 수도 있다. 참고로, 도 5에는 하나의 고정 물체인 도로 표지판과 하나의 이동 물체인 버스가 타겟 물체로 선정된 경우가 예시되어 있다. However, the camera tolerance correction system according to the present invention may perform camera tolerance correction by selecting a moving object, such as a bus traveling in front, as one or more target objects, as illustrated in FIG. 5. For reference, FIG. 5 illustrates a case where a road sign as one fixed object and a bus as one moving object are selected as target objects.

도 6을 참조하면, 카메라 공차 보정 시스템은 스테레오 카메라 유닛(210), 공차 보정 유닛(220), 규칙 저장부(230) 및 수신부(610)를 포함할 수 있고, 공차 보정 유닛(220)은 타겟점 선정부(222), 검증부(224) 및 변환규칙 생성부(225)를 포함할 수 있다. Referring to FIG. 6, the camera tolerance correction system may include a stereo camera unit 210, a tolerance correction unit 220, a rule storage unit 230, and a receiver 610, and the tolerance correction unit 220 may be a target. The point selector 222, the verification unit 224, and the conversion rule generator 225 may be included.

앞서 설명한 바와 같이, 타겟점 선정부(222)는 스테레오 카메라 유닛(210)의 각 촬영부에서 생성한 촬영 영상들의 중첩 영역에 존재하는 물체들 중 미리 규정된 우선 순위 정보에 따라 적어도 2개를 타겟 물체로 선정하고, 선정된 타겟 물체의 특징점들 중 타겟점을 선정한다. As described above, the target point selector 222 targets at least two of the objects existing in the overlapping regions of the captured images generated by the respective imaging units of the stereo camera unit 210 according to predetermined priority information. The object is selected, and a target point is selected among the feature points of the selected target object.

이때, 타겟점 선정부(222)는 외곽선 검출 등의 영상 처리 기법을 이용하여 물체의 외형을 검출하고, 미리 저장된 실세계상의 물체들 각각의 외형 정보와 대비하여 해당 물체가 버스 등과 같은 이동 물체임을 인식할 수 있다. In this case, the target point selector 222 detects the appearance of the object by using an image processing technique such as an outline detection, and recognizes that the corresponding object is a moving object such as a bus in comparison with the appearance information of each object in the real world stored in advance. can do.

선정된 타겟 물체 중 하나 이상이 이동 물체인 경우, 타겟점 선정부(222)는 외곽선 검출 등으로 검출한 해당 물체의 외형에서 미리 지정된 위치의 타겟점을 선정한다. 이를 위해, 각 이동 물체에 대한 제원(諸元) 정보와 각 물체별 타겟점 선정 기준 정보가 미리 저장부에 저장될 수 있으며, 해당 이동 물체의 검출 정확도를 위해 기계 학습 처리 등이 실시될 수 있다. When at least one of the selected target objects is a moving object, the target point selecting unit 222 selects a target point at a predetermined position from the outline of the object detected by the edge detection or the like. To this end, specification information for each moving object and target point selection reference information for each object may be stored in a storage unit in advance, and a machine learning process may be performed to detect the moving object. .

예를 들어, 이동 물체가 버스인 경우, 타겟점은 스테레오 카메라 유닛(210)에 의한 촬영 영상을 이용하여 좌표값 정보가 산출될 수 있도록 버스 후면의 특정한 위치로 미리 지정될 수 있다(도 7의 (a) 참조). 이때, 예를 들어 타겟점의 3차원 GPS 좌표값이 연산을 통해 용이하게 산출될 수 있도록 하기 위해, 해당 이동 물체에 장착된 GPS 수신기(710)로부터 이동 물체의 길이 방향으로 수평하게 연장한 선이 이동 물체의 후면과 교차하는 위치로 타겟점의 위치가 특정되도록 타겟점 선정 기준 정보에서 규정될 수 있다(도 7의 (b) 참조). 이때, 버스 등의 차량에서 GPS 수신기(710)의 장착 위치에 대한 정보가 미리 저장되어 이용될 수 있음은 당연하다. For example, when the moving object is a bus, the target point may be previously designated to a specific position on the rear side of the bus so that coordinate value information may be calculated using the image captured by the stereo camera unit 210 (see FIG. 7). (a)). At this time, for example, in order to easily calculate the three-dimensional GPS coordinate value of the target point, a line extending horizontally in the longitudinal direction of the moving object from the GPS receiver 710 mounted on the moving object is The target point may be defined in the target point selection criterion information so that the position of the target point is specified as a position crossing the rear surface of the moving object (see FIG. 7B). At this time, it is natural that the information on the mounting position of the GPS receiver 710 may be stored in advance and used in a vehicle such as a bus.

검증부(224)는 전술한 바와 같이 타겟점 선정부(222)에 의해 선정된 2개의 타겟점 사이의 추정 거리값(DEst)과 실측 거리값(DReal)을 대비하여 카메라 공차 보정이 필요한 상태인지 여부를 판단한다. As described above, the verification unit 224 needs to compensate for the camera tolerance by comparing the estimated distance value D Est and the measured distance value D Real between the two target points selected by the target point selection unit 222. Determine whether or not state.

이때, 스테레오 카메라 유닛(210)에 의한 촬영 영상을 이용하여 추정 거리값을 산출하는 과정은 앞서 설명한 바와 같다. In this case, the process of calculating the estimated distance value by using the captured image by the stereo camera unit 210 is as described above.

그러나, 실측 거리값을 산출하기 위해 이동 물체인 타겟 물체에서의 타겟점에 좌표값 정보가 확보되어야 한다. However, in order to calculate the measured distance value, the coordinate value information should be secured at the target point in the target object which is the moving object.

이를 위해, 앞선 주행 차량인 이동 물체와 카메라 공차 보정 시스템이 구비된 차량 사이에는 차량간 통신 방식 등으로 정보를 송수신할 수 있도록 하는 시스템이 구비되어 있으며, 수신부(610)는 이동 물체인 타겟 물체로부터 GPS 수신기(710)에서 측정된 GPS 좌표값 정보를 수신한다. To this end, a system for transmitting and receiving information is provided between a moving object, which is a traveling vehicle, and a vehicle equipped with a camera tolerance correction system, by using an inter-vehicle communication method. GPS coordinate value information measured by the GPS receiver 710 is received.

그러나, 타겟 물체로부터 수신된 GPS 수신기(710)의 GPS 좌표값 정보와 타겟 물체의 타겟점의 좌표값 정보는 다를 수 있기 때문에, 검증부(224)는 중첩 영역에서 확인된 이동 물체인 타겟 물체의 형상을 참조하여 타겟 물체의 자세를 인식한 후, GPS 수신기(710)의 위치를 나타내는 3차원 GPS 좌표값 정보, 미리 저장된 타겟 물체에 대한 제원 정보, 각 물체별 타겟점 선정 기준 정보 및 인식한 타겟 물체의 자세를 이용하여 타겟 물체에서의 타겟점에 대한 좌표값 정보를 연산한다. However, since the GPS coordinate value information of the GPS receiver 710 received from the target object and the coordinate value information of the target point of the target object may be different, the verification unit 224 may determine the target object which is the moving object identified in the overlapping area. After recognizing the posture of the target object with reference to the shape, three-dimensional GPS coordinate value information indicating the position of the GPS receiver 710, specification information about the pre-stored target object, target point selection reference information for each object, and the recognized target The coordinate value information of the target point in the target object is calculated using the posture of the object.

도 7의 (c)에 예시된 바와 같이, 타겟 물체의 자세에 따라 타겟점에 대해 연산된 GPS 좌표값 정보는 변동될 수 있으며, 검증부(224)는 타겟 물체의 형상에서 측면을 나타내는 이미지 형상의 차이를 이용하여 타겟 물체의 자세를 인식할 수 있고, 인식된 자세와 GPS 수신기(710)의 3차원 GPS 좌표값 정보 및 타겟 물체에 대한 제원 정보 등을 이용하여 타겟점의 3차원 GPS 좌표값 정보를 연산할 수 있다. As illustrated in (c) of FIG. 7, the GPS coordinate value information calculated for the target point may vary according to the posture of the target object, and the verification unit 224 may determine an image shape representing a side surface of the target object. The posture of the target object may be recognized using the difference, and the 3D GPS coordinate value information of the target point using the recognized posture, the 3D GPS coordinate value information of the GPS receiver 710, and the specification information about the target object. Can be calculated.

물론, 타겟 물체의 형상에서 측면 형상이 나타나지 않은 경우(예를 들어, 직진 주행하는 상태)에만 전방 주행하는 차량이 타겟 물체로 선정되도록 한정할 수도 있음은 당연하다.Of course, it is natural that the vehicle traveling forward may be selected as the target object only when the side shape does not appear in the shape of the target object (for example, the driving state is straight).

이외에도, 전방 주행 차량의 자세는 해당 차량이 주행하는 차선의 곡률을 이용하여 산출될 수도 있다(하기 수학식 3 참조). 이는 일반적으로 차량의 주행 경로가 차선의 형태로 제한되기 때문이다. In addition, the attitude of the front driving vehicle may be calculated using the curvature of the lane in which the vehicle travels (see Equation 3 below). This is because the driving route of the vehicle is generally limited to the lane shape.

Figure 112018019990348-pat00003
Figure 112018019990348-pat00003

참고로, 수학식 3에서 X(L)은 길이 L에서 차선의 중심점의 위치, xoffset는 자기 차량(ego vehicle)의 차선과의 거리, Δψ는 요 앵글(yaw angle), c0는 차선의 곡률, c1은 곡률 변화량(클로소이드 파라미터)을 의미하며, 여기서 차선의 폭은 미리 지정된다. 수학식 3에 예시된 바와 같이, 클로소이드 모델을 이용하여 인식된 차선의 곡률값(c0)을 산출하는 방법 등에 대해서는 관련 논문(B-spline-based road model for 3D lane recognition, IEEE conference on intelligent transportation system October 2010)에 상세히 기재되어 있으므로 이에 대한 설명은 생략한다. 물론 이외에도 차량이 주행하는 차선의 곡률을 산출하는 방식은 다양할 수 있다.For reference, in Equation 3, X (L) is the position of the center point of the lane at length L, x offset is the distance from the lane of the ego vehicle, Δψ is the yaw angle, c 0 is the lane The curvature, c 1 means the curvature change amount (closoidal parameter), where the lane width is predetermined. As illustrated in Equation 3, a method of calculating a curvature value c 0 of a recognized lane using a clothoid model is described in a related paper (B-spline-based road model for 3D lane recognition, IEEE conference on intelligent transportation system October 2010), so a description thereof will be omitted. In addition, the method of calculating the curvature of the lane in which the vehicle travels may vary.

이후 검증부(224)는 복수의 타겟점 각각의 3차원 GPS 좌표값 정보를 이용하여 실측 거리값을 산출한 후 추정 거리값(DEst)과 대비하여 카메라 공차 보정이 필요한 상태인지 여부를 판단할 수 있다.Thereafter, the verification unit 224 calculates the measured distance value by using the 3D GPS coordinate value information of each of the plurality of target points, and then determines whether the camera tolerance correction is required in comparison with the estimated distance value D Est . Can be.

만일 추정 거리값(DEst)과 실측 거리값(DReal)이 오차범위 내에서 일치하지 않는다면, 변환규칙 생성부(226)는 변환 규칙 생성 처리를 수행하게 될 것이다.If the estimated distance value D Est and the measured distance value D Real do not coincide within the error range, the conversion rule generator 226 may perform a conversion rule generation process.

이제까지 관련 도면을 참조하여 설명한 각 실시예에서의 카메라 공차 보정 처리는 미리 지정된 주기마다 실시될 수 있다.The camera tolerance correction process in each embodiment described above with reference to the related drawings may be performed at predetermined intervals.

또한, 카메라 공차 보정 처리는 공차 보정 유닛(220)이 차량의 공기압 불균형, 하중 변화 등의 차량 상태 정보를 관리하는 차량 제어 장치(ECU)로부터 차량 상태 정보를 제공받고, 차량 상태 정보가 미리 지정된 조건에 따를 때 비정상인 것으로 판단한 경우(예를 들어 공기압 불균형으로 차량이 특정 방향으로 기울어진 상태 등)에 추가적으로 실시되도록 설정될 수도 있다.In addition, the camera tolerance correction process is a condition in which the tolerance correction unit 220 is provided with vehicle state information from a vehicle control unit (ECU) that manages vehicle state information such as air pressure imbalance and load change of the vehicle, and the vehicle state information is specified in advance. When it is determined that according to the abnormal state (for example, the vehicle is inclined in a specific direction due to the air pressure imbalance, etc.) may be set to be additionally performed.

도 8은 본 발명의 일 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 방법을 나타낸 순서도이다.8 is a flowchart illustrating a camera tolerance correction method using real-world object information according to an embodiment of the present invention.

도 8을 참조하면, 단계 810에서 공차 보정 유닛(220)은 스테레오 카메라 유닛(210)의 제1 및 제2 촬영부에서 생성한 촬영 영상의 중첩 영역에 존재하는 물체들 중 미리 규정된 우선 순위에 따라 2개의 물체를 타겟 물체로 선정하고, 미리 지정된 각 물체별 타겟점 선정 기준 정보를 참조하여 각 타겟 물체에 대한 타겟점을 선정한다. 이때, 선정된 타겟 물체 각각은 고정 물체이거나 이동 물체일 수 있다.Referring to FIG. 8, in operation 810, the tolerance correction unit 220 may be configured to have a predetermined priority among objects existing in the overlapping regions of the captured images generated by the first and second capture units of the stereo camera unit 210. Accordingly, two objects are selected as target objects, and a target point for each target object is selected with reference to target point selection reference information for each object. In this case, each of the selected target objects may be a fixed object or a moving object.

공차 보정 유닛(220)은 단계 815에서 스테레오 카메라 유닛(210)에서 생성한 복수의 촬영 영상을 이용하여 뎁스맵을 생성하고, 뎁스맵을 이용하여 선정된 각 타겟 물체의 타겟점에 대한 3차원 영상 좌표값을 산출하고, 단계 820에서 각 타겟 물체의 타겟점들의 거리인 추정 거리값(DEst)을 산출한다. The tolerance correction unit 220 generates a depth map using the plurality of captured images generated by the stereo camera unit 210 in step 815, and uses the depth map to generate a 3D image of the target point of each target object selected. The coordinate value is calculated, and in step 820, an estimated distance value D Est , which is a distance between target points of each target object, is calculated.

또한 공차 보정 유닛(220)은 단계 825에서 미리 저장되거나 통신망을 통해 수신되는 정밀 지도에서 타겟 물체의 타겟점에 대한 3차원 GPS 좌표값을 검출하고, 단계 830에서 각 타겟 물체의 타겟점들의 거리인 실측 거리값(DReal)을 산출한다.In addition, the tolerance correction unit 220 detects a three-dimensional GPS coordinate value of the target point of the target object on the precision map stored in advance or received through the communication network in step 825, and the distance of the target points of each target object in step 830 Calculate the measured distance value D Real .

정밀 지도에서 3차원 GPS 좌표값 정보가 검출될 타겟 물체를 특정하기 위해, 단계 815에서 산출된 3차원 영상 좌표값 정보를 더 참조할 수도 있다. In order to specify the target object for which the 3D GPS coordinate value information is to be detected in the precision map, the 3D image coordinate value information calculated in step 815 may be further referred to.

또한 3차원 GPS 좌표값 정보가 정밀 지도에서 검출되지 않는 이동 물체가 타겟 물체 중 하나 이상으로 선정된 경우, 해당 타겟 물체에 구비된 GPS 수신기(710)의 위치 정보를 수신하고, 해당 타겟 물체의 자세를 인식한 후, 수신된 3차원 GPS 좌표값 정보, 미리 저장된 타겟 물체에 대한 제원 정보, 각 물체별 타겟점 선정 기준 정보 및 인식한 타겟 물체의 자세를 이용하여 타겟 물체에서의 타겟점에 대한 좌표값 정보를 연산하여 타겟 물체들 사이의 실측 거리값을 산출할 수도 있다.In addition, when the moving object for which the 3D GPS coordinate value information is not detected on the precision map is selected as one or more of the target objects, the position information of the GPS receiver 710 provided in the target object is received, and the posture of the target object is received. After recognition, the coordinates of the target point in the target object using the received three-dimensional GPS coordinate value information, information about the pre-stored target object, target point selection criteria information for each object, and the attitude of the recognized target object The value information may be calculated to calculate an actual distance value between target objects.

단계 835에서 공차 보정 유닛은 단계 820에서 산출된 추정 거리값과 단계 830에서 산출된 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 판단한다. In step 835, the tolerance correction unit determines whether the estimated distance value calculated in step 820 and the measured distance value calculated in step 830 match within a predetermined error range.

만일 추정 거리값과 실측 거리값이 미리 지정된 오차 범위 내에서 불일치하는 경우에는 단계 840으로 진행하여 공차 보정 유닛(220)은 변환 규칙을 신규로 생성한 후 규칙 저장부(230)에 저장한다. If the estimated distance value and the measured distance value do not match within a predetermined error range, the process proceeds to step 840 and the tolerance correction unit 220 generates a new conversion rule and stores it in the rule storage unit 230.

전술한 단계 810 내지 840으로 설명되는 카메라 공차 보정 처리는 미리 지정된 주기마다 반복 수행되도록 설정될 수 있고, 또한 차량 상태 정보가 미리 지정된 조건에 의해 비정상 상태로 판단된 경우 수행되도록 설정될 수 있다.The camera tolerance correction process described in the above-described steps 810 to 840 may be set to be repeatedly performed at each predetermined period, and may also be set to be performed when the vehicle state information is determined to be an abnormal state by a predetermined condition.

상술한 카메라 공차 보정 방법은 디지털 처리 장치에 내장되거나 설치된 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. Of course, the above-described camera tolerance correction method may be performed by an automated procedure according to a time series sequence by a program embedded in or installed in a digital processing apparatus. Codes and code segments constituting the program can be easily inferred by a computer programmer in the art. The program is also stored in a computer readable media that can be read by a digital processing device, and read and executed by the digital processing device to implement the method.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to embodiments of the present invention, those of ordinary skill in the art will be variously modified and modified within the scope of the present invention without departing from the spirit and scope of the invention described in the claims below It will be appreciated that it can be changed.

10, 20, 30, 40 : 카메라 50 : 보정판
210 : 스테레오 카메라 215 : 정밀지도 DB
220 : 공차 보정 유닛 222 : 타겟점 선정부
224 : 검증부 226 : 변환규칙 생성부
230 : 규칙 저장부 610 : 수신부
710 : GPS 수신기10, 20, 30, 40: camera 50: correction plate
210: stereo camera 215: precision map DB
220: tolerance correction unit 222: target point selection unit
224 verification unit 226 conversion rule generation unit
230: rule storage unit 610: receiving unit
710: GPS Receiver

Claims (9)

복수의 촬영부를 포함하는 스테레오 카메라 유닛;
복수의 촬영부에 의해 각각 촬영된 촬영 영상의 중첩 영역에서 미리 지정된 우선 순위 정보를 참조하여 2개의 타겟 물체를 선정하고, 미리 지정된 타겟점 선정 기준 정보를 참조하여 선정된 타겟 물체 각각의 타겟점을 선정하는 타겟점 선정부;
상기 중첩 영역에 상응하는 뎁스맵(depth map)을 이용하여 영상 좌표값 정보가 산출된 각 타겟점 사이의 추정 거리값(DEst)을 산출하고, 실세계에서의 각 타겟점의 GPS 좌표 정보를 이용하여 각 타겟점 사이의 실측 거리값(DReal)을 산출한 후, 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 검증하는 검증부; 및
상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 비일치하는 경우, 하나 이상의 촬영부에 대해 미리 지정된 변환 규칙을 생성하는 변환 규칙 생성부를 포함하되,
이동 물체인 타겟 물체에 대하여, 상기 검증부는 상기 중첩 영역에서 타겟 물체의 속성과 자세를 해석하고, 상기 타겟 물체의 속성에 상응하도록 미리 저장된 제원(諸元) 정보, 상기 타겟점 선정 기준 정보, 수신부를 통해 수신된 상기 타겟 물체의 위치 정보 및 해석된 타겟 물체의 자세 정보를 이용하여, 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 연산하는 것을 특징으로 하는 실세계 물체 정보를 이용한 카메라 공차 보정 시스템.
A stereo camera unit including a plurality of photographing units;
Two target objects are selected by referring to priority information designated in advance in the overlapping regions of the captured images respectively photographed by the plurality of photographing units, and the target points of each of the selected target objects are selected by referring to the predetermined target point selection criterion information. A target point selecting unit for selecting;
An estimated distance value (D Est ) between each target point for which image coordinate value information is calculated is calculated by using a depth map corresponding to the overlapped area, and the GPS coordinate information of each target point in the real world is used. A verifier configured to calculate an actual distance value D Real between target points, and then verify whether the estimated distance value matches the actual distance value within a predetermined error range; And
If the estimated distance value and the measured distance value does not match within a predetermined error range, includes a conversion rule generator for generating a predetermined conversion rule for at least one photographing unit,
For the target object, which is a moving object, the verification unit analyzes the attributes and attitudes of the target object in the overlapping region, and stores previously stored specification information, the target point selection criterion information, and the receiver according to the attributes of the target object. The camera tolerance correction system using real-world object information, using the position information of the target object received through the position information and the analyzed position information of the target object, to calculate the GPS coordinate information for the target point of the selected target object .
제1항에 있어서,
고정 물체인 타겟 물체에 대하여, 상기 검증부는 미리 저장된 정밀 지도에서 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 획득하는 것을 특징으로 하는 실세계 물체 정보를 이용한 카메라 공차 보정 시스템.The method of claim 1,
For the target object which is a fixed object, the verification unit obtains the GPS coordinate information of the target point of the target object selected from the pre-stored precision map, the camera tolerance correction system using real-world object information. 제2항에 있어서,
상기 고정 물체는 도로 표지판, 신호등, 건물 및 가로수 중 하나 이상을 포함하도록 미리 지정되는 것을 특징으로 하는 실세계 물체 정보를 이용한 카메라 공차 보정 시스템.
The method of claim 2,
The fixed object camera tolerance correction system using real-world object information, characterized in that pre-designated to include at least one of road signs, traffic lights, buildings and street trees.
삭제delete 제1항에 있어서,
상기 이동 물체는 위치 정보를 생성하고 송신하기 위한 GPS 송수신기를 구비하고, 주행 도로의 전방에서 주행하는 이동체인 것을 특징으로 하는 실세계 물체 정보를 이용한 카메라 공차 보정 시스템.
The method of claim 1,
The moving object is a camera tolerance correction system using real-world object information, characterized in that it is a moving object traveling in front of the driving road having a GPS transceiver for generating and transmitting position information.
실세계 물체 정보를 이용하여 카메라 공차를 보정하도록 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
스테레오 카메라 유닛에 포함된 복수의 촬영부 각각에서 촬영된 촬영 영상의 중첩 영역에서 미리 지정된 우선 순위 정보를 참조하여 2개의 타겟 물체를 선정하는 단계 (a);
미리 지정된 타겟점 선정 기준 정보를 참조하여 선정된 타겟 물체 각각의 타겟점을 선정하는 단계 (b);
상기 중첩 영역에 상응하는 뎁스맵(depth map)을 이용하여 각 타겟점에 대한 영상 좌표값 정보를 연산하고, 연산된 영상 좌표값 정보를 이용하여 각 타겟점 사이의 추정 거리값(DEst)을 산출하는 단계 (c);
실세계에서의 각 타겟점의 GPS 좌표 정보를 획득하고, 획득된 GPS 좌표 정보를 이용하여 각 타겟점 사이의 실측 거리값(DReal)을 산출하는 단계 (d); 및
상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 판단하고, 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 비일치하면 하나 이상의 촬영부에 대해 미리 지정된 변환 규칙을 생성하는 단계 (e)를 포함하되,
이동 물체가 타겟 물체 중 하나 이상으로 선정된 경우, 상기 단계 (d)는,
미리 지정된 영상 처리 기법을 이용하여 상기 중첩 영역에서 타겟 물체의 속성과 자세를 해석하는 단계; 및
상기 타겟 물체의 속성에 상응하도록 미리 저장된 제원(諸元) 정보, 상기 타겟점 선정 기준 정보, 수신부를 통해 수신된 상기 타겟 물체의 위치 정보 및 해석된 타겟 물체의 자세 정보를 이용하여, 이동 물체인 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 연산하는 단계를 포함하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
A computer program stored on a computer-readable medium for correcting camera tolerance using real world object information, the computer program causing the computer to perform the following steps,
(A) selecting two target objects with reference to predetermined priority information in an overlapping region of the captured image photographed by each of the plurality of photographing units included in the stereo camera unit;
(B) selecting a target point of each of the selected target objects with reference to predetermined target point selection criterion information;
The image coordinate value information for each target point is calculated using a depth map corresponding to the overlapped area, and the estimated distance value D Est between the target points is calculated using the calculated image coordinate value information. Calculating (c);
(D) obtaining GPS coordinate information of each target point in the real world and calculating a measured distance value D Real between each target point using the obtained GPS coordinate information; And
It is determined whether the estimated distance value and the measured distance value coincide within a predetermined error range, and when the estimated distance value and the measured distance value do not match within a predetermined error range, the predetermined distance is specified for one or more photographing units. (E) generating a conversion rule,
If the moving object is selected as one or more of the target objects, step (d)
Analyzing a property and a posture of a target object in the overlapping region by using a predetermined image processing technique; And
It is a moving object by using previously stored specification information corresponding to the attribute of the target object, the target point selection reference information, the position information of the target object received through the receiver, and the analyzed posture information of the target object. And computing GPS coordinate information for a target point of the target object.
제6항에 있어서,
도로 표지판, 신호등, 건물 및 가로수 중 하나 이상을 포함하는 고정 물체가 타겟 물체로 지정되면, 미리 저장된 정밀 지도에서 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보가 획득되는 것을 특징으로 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
The method of claim 6,
When a fixed object including at least one of a road sign, a traffic light, a building, and a roadside tree is designated as a target object, computer-readable information is obtained, wherein the GPS coordinate information of the target point of the selected target object is obtained from a pre-stored precision map. Computer programs stored on removable media.
삭제delete 제6항에 있어서,
차량 제어 장치로부터 수신된 차량 상태 정보가 미리 지정된 조건에 의해 비정상 상태인 것으로 판단된 경우 상기 단계 (a) 내지 (e)가 실시되는 것을 특징으로 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.The method of claim 6,
And if the vehicle state information received from the vehicle control apparatus is determined to be in an abnormal state by a predetermined condition, the steps (a) to (e) are executed.
KR1020180023423A 2018-02-27 2018-02-27 Calibration system and method using real-world object information KR102022388B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180023423A KR102022388B1 (en) 2018-02-27 2018-02-27 Calibration system and method using real-world object information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180023423A KR102022388B1 (en) 2018-02-27 2018-02-27 Calibration system and method using real-world object information

Publications (2)

Publication Number Publication Date
KR20190102665A KR20190102665A (en) 2019-09-04
KR102022388B1 true KR102022388B1 (en) 2019-09-18

Family

ID=67950509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180023423A KR102022388B1 (en) 2018-02-27 2018-02-27 Calibration system and method using real-world object information

Country Status (1)

Country Link
KR (1) KR102022388B1 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3805700A3 (en) * 2019-09-19 2021-06-23 HERE Global B.V. Method, apparatus, and system for predicting a pose error for a sensor system
KR102383086B1 (en) 2021-09-10 2022-04-08 제이씨현오토 주식회사 Calibration system and method for 3d surround view monitoring by camera synthesis
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332494B1 (en) 2019-09-11 2021-11-30 한국도로공사 Apparatus and Method for Generating Distribution Information on Positioning Difference between GNSS Postioning Information and Precise Positioning Information
CN112558023B (en) * 2019-09-25 2024-03-26 华为技术有限公司 Calibration method and device of sensor
CN114140533A (en) * 2020-09-04 2022-03-04 华为技术有限公司 Method and device for calibrating external parameters of camera

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101551215B1 (en) * 2014-05-28 2015-09-18 엘지전자 주식회사 Driver assistance apparatus and Vehicle including the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (en) 2009-06-25 2010-03-24 주식회사 이미지넥스트 Tolerance compensating apparatus and method for automatic vehicle-mounted camera
KR20110116325A (en) * 2010-04-19 2011-10-26 삼성전자주식회사 Image processing apparatus and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101551215B1 (en) * 2014-05-28 2015-09-18 엘지전자 주식회사 Driver assistance apparatus and Vehicle including the same

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US12086097B2 (en) 2017-07-24 2024-09-10 Tesla, Inc. Vector computational unit
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US12079723B2 (en) 2018-07-26 2024-09-03 Tesla, Inc. Optimizing neural network structures for embedded systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
EP3805700A3 (en) * 2019-09-19 2021-06-23 HERE Global B.V. Method, apparatus, and system for predicting a pose error for a sensor system
KR102383086B1 (en) 2021-09-10 2022-04-08 제이씨현오토 주식회사 Calibration system and method for 3d surround view monitoring by camera synthesis

Also Published As

Publication number Publication date
KR20190102665A (en) 2019-09-04

Similar Documents

Publication Publication Date Title
KR102022388B1 (en) Calibration system and method using real-world object information
CN113034960B (en) Object change detection system for updating precise route map and method thereof
US9311711B2 (en) Image processing apparatus and image processing method
JP5588812B2 (en) Image processing apparatus and imaging apparatus using the same
KR100921427B1 (en) Method and Apparatus for generating virtual lane for video based car navigation system
JP4702569B2 (en) Image processing apparatus for vehicle
JP5011049B2 (en) Image processing system
EP3086284A1 (en) Camera extrinsic parameters estimation from image lines
JP2021117048A (en) Change point detector and map information delivery system
KR101573576B1 (en) Image processing method of around view monitoring system
KR20200000953A (en) Around view monitoring system and calibration method for around view cameras
JP6552448B2 (en) Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection
CN113034540A (en) Automatic precise road map generation system and method based on camera
JP2010086268A (en) Display object recognition device for vehicle
JP2004355139A (en) Vehicle recognition system
KR102316818B1 (en) Method and apparatus of updating road network
US11580695B2 (en) Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device
CN115235526A (en) Method and system for automatic calibration of sensors
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
JP6507590B2 (en) Image conversion apparatus and image conversion method
JP7405710B2 (en) Processing equipment and in-vehicle camera equipment
CN113643374A (en) Multi-view camera calibration method, device, equipment and medium based on road characteristics
JP2019091327A (en) Three-dimensional object detection device
TWI747016B (en) Dynamic map data creation method and system capable of providing environmental information
WO2023144023A1 (en) A method for correcting a pose of a motor vehicle, a computer program product, as well as an assistance system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant