KR20180028766A - 카메라의 오차 보정 시스템 및 방법 - Google Patents

카메라의 오차 보정 시스템 및 방법 Download PDF

Info

Publication number
KR20180028766A
KR20180028766A KR1020160116525A KR20160116525A KR20180028766A KR 20180028766 A KR20180028766 A KR 20180028766A KR 1020160116525 A KR1020160116525 A KR 1020160116525A KR 20160116525 A KR20160116525 A KR 20160116525A KR 20180028766 A KR20180028766 A KR 20180028766A
Authority
KR
South Korea
Prior art keywords
correction
point
image
camera
error
Prior art date
Application number
KR1020160116525A
Other languages
English (en)
Other versions
KR102543523B1 (ko
Inventor
변명석
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160116525A priority Critical patent/KR102543523B1/ko
Priority to US15/627,444 priority patent/US10453186B2/en
Priority to CN201710484658.8A priority patent/CN107833252B/zh
Publication of KR20180028766A publication Critical patent/KR20180028766A/ko
Application granted granted Critical
Publication of KR102543523B1 publication Critical patent/KR102543523B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 CMS(Camera Monitor System)용 카메라의 오차 보정 시스템은 차량의 양 측면에 각각 부착된 하나 이상의 카메라, 상기 카메라에 의해 촬영된 영상의 오차를 보정하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 카메라에 의해 촬영된 영상으로부터 보정 포인트를 검출하고, 상기 검출된 보정 포인트를 기 설정된 보정 포인트와 비교한 결과값에 기초하여 보정 파라미터를 생성하며, 상기 생성된 보정 파라미터에 기초하여 상기 촬영된 영상의 오차를 보정한다.

Description

카메라의 오차 보정 시스템 및 방법{SYSTEM AND METHOD FOR CORRECTING ERROR OF CAMERA}
본 발명은 오차 보정 시스템 및 방법에 관한 것으로, 보다 구체적으로는 차량의 CMS(Camera Monitor System)용 카메라의 오차를 보정하기 위한 시스템 및 방법에 관한 것이다.
최근 차량에는 운전자의 주행 및 주차 등의 편의를 제공하기 위하여, 전방, 후방 또는 측방을 촬영하는 카메라가 차량에 장착되어 이용되고 있다.
이러한 카메라는 차량을 출고한 이후 차량을 지속적으로 이용함에 따라 운행 도중에 발생하는 차량의 진동, 사이드 미러의 폴딩, 차량 문의 개폐 등의 다양한 환경적 요인으로 인하여 출고시에 보정된 공차는 변경되어 디스플레이부에 출력되는 영상은 점점 오차가 발생하게 된다.
이에 따라, 주행 또는 주차시 운전자는 왜곡된 영상을 이용해야 되는 불편함을 느끼게 된다.
이를 해소하기 위해서는 변경된 공차를 보정해야 하나, 현재 공차 보정을 위해서는 공차 보정이 가능한 서비스 센터나 사업소 등을 방문하여 수리해야 하는 번거로움이 존재한다.
한편, 이러한 문제점을 해소하기 위하여 한국공개특허공보 제10-2011-0126178호(발명의 명칭: 차량의 후방카메라 조절 시스템 및 그 방법)는 후진시, 주정차시 및 주행시에도 운전자의 조작에 따라 후방카메라의 상시 작동을 가능하게 하는 기술을 개시하고 있다.
즉, 종래기술의 경우 운전자가 영상을 보고 수동으로 각도 조절기를 작동하여 후방카메라를 동작시키기 위한 각도 조절 세팅 신호를 발생시키고, 각도 조절 모터 구동부에 의해 카메라의 각도를 조절할 수 있다.
그러나 이러한 종래기술은 운전자가 수동으로 각도 조절기를 조작하여 카메라의 각도를 조절해야 하는바, 운전자가 직접 조절하는데 번거로움이 따른다.
또한, 사람이 직접 조절해야 하므로 매번 조작시마다 각도가 다르게 설정되어 디스플레이부에 출력되는 영상에 이질감이 발생하게 된다.
본 발명의 실시예는 차량의 양 측면에 부착된 카메라에 의해 촬영된 영상에 오차가 존재하는 경우, 영상으로부터 소실점 또는 특징점을 검출하여 보정 포인트로 설정한 뒤, 보정 포인트에 기초하여 영상을 보정하기 위한 보정 파라미터를 생성하여 보정함에 따라 영상에 존재하는 오차를 보정할 수 있는 오차 보정 시스템 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 CMS(Camera Monitor System)용 카메라의 오차 보정 시스템은 차량의 양 측면에 각각 부착된 하나 이상의 카메라, 상기 카메라에 의해 촬영된 영상의 오차를 보정하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 카메라에 의해 촬영된 영상으로부터 보정 포인트를 검출하고, 상기 검출된 보정 포인트를 기 설정된 보정 포인트와 비교한 결과값에 기초하여 보정 파라미터를 생성하며, 상기 생성된 보정 파라미터에 기초하여 상기 촬영된 영상의 오차를 보정한다.
또한, 본 발명의 제 2 측면에 따른 CMS(Camera Monitor System)용 카메라의 오차 보정 시스템에서의 오차 보정 방법은 차량의 양 측면에 각각 부착된 하나 이상의 카메라에 의해 촬영된 영상을 수신하는 단계; 상기 촬영된 영상으로부터 보정 포인트를 검출하는 단계; 상기 검출된 보정 포인트를 기 설정된 보정 포인트와 비교하는 단계; 상기 비교 결과에 기초하여 보정 파라미터를 생성하는 단계 및 상기 생성된 보정 파라미터에 기초하여 상기 촬영된 영상의 오차를 보정하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 주행중 또는 정차시 카메라에 의해 촬영된 영상에 존재하는 오차를 보정함으로써, 운전자에게 보다 정확한 영상을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 오차 보정 시스템의 블록도이다.
도 2는 소실점을 검출하여 오차를 보정하는 내용을 설명하기 위한 도면이다.
도 3은 특징점을 검출하여 오차를 보정하는 내용을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 오차 보정 방법의 순서도이다.
도 5는 소실점을 검출하여 오차를 보정하는 방법의 순서도이다.
도 6은 특징점을 검출하여 오차를 보정하는 방법의 순서도이다.
도 7은 본 발명의 일 실시예에 따른 오차 보정 결과를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 차량에 장착된 CMS용 카메라의 오차 보정 시스템(100) 및 방법에 관한 것이다.
CMS(Camera Monitor System)은 차량에 부착된 사이드 미러를 카메라로 대체하는 시스템으로 카메라로 입력되는 차량의 사이드 영상을 디스플레이부에 출력할 수 있다.
CMS용 카메라를 차량의 사이드 미러 위치 또는 측면의 특정 지점에 장착하게 되면 기구의 오차나 공정상의 오차로 인해 디스플레이부에 출력되는 영상은 차량마다 미세한 차이를 갖게 된다.
또한, 차량이 양산된 이후에도 실도로 주행 환경에 따라 지속적으로 고정 기구나 카메라 모듈의 변형에 의해 카메라의 오차가 발생하게 된다.
본 발명의 일 실시예는 상기와 같은 문제를 해소하기 위하여, 차량의 양 측면에 부착된 카메라(110)에 의해 촬영된 영상으로부터 소실점 또는 특징점을 검출하여 보정 포인트로 설정하고, 설정된 보정 포인트에 기초하여 영상을 보정하기 위한 보정 파라미터를 생성하여 보정함에 따라 영상에 존재하는 오차를 보정할 수 있다.
이하에서는 도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 오차 보정 시스템(100)에 대하여 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 오차 보정 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 CMS용 카메라의 오차 보정 시스템(100)은 카메라(110), 메모리(120) 및 프로세서(130)를 포함한다.
카메라(110)는 차량의 양 측면에 각각 부착되어 차량의 측면 영상을 촬영한다. 이러한 카메라(110)는 양 측면에 하나 이상이 각각 구비될 수 있다.
메모리(120)에는 카메라(110)에 의해 촬영된 영상의 오차를 보정하기 위한 프로그램이 저장된다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 구체적으로 프로세서(130)는 카메라(110)에 의해 촬영된 영상으로부터 보정 포인트를 검출하고, 검출된 보정 포인트를 기 설정된 보정 포인트와 비교한 결과값에 기초하여 보정 파라미터를 생성한다.
이와 같이 생성된 보정 파라미터에 기초하여 프로세서(130)는 촬영된 영상의 오차를 보정한다.
이때, 기 설정된 보정 포인트는 차량의 제조시 또는 정비시 등에 디폴트로 설정된 것으로서 기 설정된 보정 포인트에 따라 카메라(110)에 의해 촬영된 영상은 디스플레이부(150)에 출력된다.
디스플레이부(150)는 차량에 설치된 네비게이션 등을 출력하는 화면으로서, 카메라(110)에 의해 촬영된 영상을 출력하되, 영상에 오차가 존재하는 경우 프로세서(130)에 의해 보정된 영상을 전달받아 출력한다.
한편, 카메라(110)에 의해 촬영된 영상은 통신모듈(140)을 통해 메모리(120) 및 프로세서(130)로 전달될 수 있다. 이와 같은 통신모듈(140)은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
보다 바람직하게 통신모듈(140)은 CAN(Controller Area Network) 통신을 통하여 데이터를 송수신할 수 있다.
본 발명의 일 실시예에 따른 오차 보정 시스템(100)은 카메라(110)에 의해 촬영된 영상으로부터 소실점 또는 특징점을 검출하여 오차를 보정할 수 있는바, 이하 도 2 및 도 3을 참조하여 설명하도록 한다.
도 2는 소실점을 검출하여 오차를 보정하는 내용을 설명하기 위한 도면이다.
먼저, 프로세서(130)는 도 2의 (a)와 같이 카메라(110)에 의해 촬영된 영상으로부터 윤곽선을 추출한다. 이를 위해, 프로세서(130)는 예를 들어 Sobel 필터 등과 같은 영상에 포함된 객체의 윤곽선을 검출하기 위한 알고리즘을 적용할 수 있다.
영상으로부터 객체의 윤곽선을 검출하면, 프로세서(130)는 윤곽선이 추출된 영상으로부터 보정 포인트로 소실점을 검출 및 설정할 수 있다.
즉, 프로세서(130)는 도 2의 (b)와 같이 윤곽선이 추출된 영상으로부터 도로의 중앙선, 차로 구분선 등의 복수의 차선을 검출한다. 그 다음 프로세서(130)는 도 2의 (c)와 같이 검출된 복수의 차선이 서로 교차하는 지점인 소실점을 검출하여 보정 포인트로 설정한다.
이와 같이 보정 포인트가 설정되고 나면, 프로세서(130)는 도 2의 (d)와 같이 검출된 소실점이 기준 소실점으로 이동되도록 하여 보정 파라미터를 생성하고, 생성된 보정 파라미터를 이용하여 카메라(110)에 의해 촬영된 영상의 오차를 보정할 수 있다.
도 3은 특징점을 검출하여 오차를 보정하는 내용을 설명하기 위한 도면이다.
위 과정과 유사하게 프로세서(130)는 도 3의 (a)와 같이 영상으로부터 객체의 윤곽선을 추출하고, (b)와 같이 윤곽선이 추출된 영상으로부터 차량에 대응되는 복수의 특징점(예를 들어, 차체 바디의 4개의 특징점)을 검출한다.
이때, 프로세서(130)는 윤곽선이 검출된 영상에서 SURF(Speeded Up Robust Features), SIFT(Scale Invariant Feature Transform) 등의 특징점을 검출하기 위한 알고리즘을 적용하여 차량에 대응되는 복수의 특징점을 검출할 수 있다.
한편, 도 3의 (c)와 같이 차량에 대응되는 특징점이 공정 단계에서 미리 설정되어 있는바, 프로세서(130)는 도 3의 (d)에 도시된 바와 같이 검출된 복수의 특징점을 (c)에 도시된 기 설정된 특징점으로 이동되도록 하여 보정 파라미터를 생성할 수 있다.
이때, 프로세서(130)는 perspective Matrix 알고리즘 등에 기초하여 검출된 특징점들을 기 설정된 특징점들로 이동되도록 할 수 있다.
한편, 프로세서(130)는 차량의 주행시 또는 정차시에 도 2 및 도 3에 도시된 방법에 따른 보정 파라미터를 생성할 수 있으며, 새로운 보정 파라미터를 생성한 경우 기 저장된 보정 파라미터를 새로운 보정 파라미터로 갱신하여 오차 보정시 적용할 수 있다.
참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 4 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 오차 보정 시스템(100)에서의 오차 보정 방법에 대하여 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 오차 보정 방법의 순서도이다.
본 발명의 일 실시예에 따른 CMS용 카메라의 오차 보정 방법은 먼저, 차량의 양 측면에 각각 부착된 하나 이상의 카메라(110)에 의해 촬영된 영상을 수신하고(S110), 수신한 영상으로부터 보정 포인트를 검출한다(S120).
다음으로, 검출된 보정 포인트를 기 설정된 보정 포인트와 비교하고(S130), 비교 결과에 기초하여 보정 파라미터를 생성한 뒤(S140), 생성된 보정 파라미터에 기초하여 촬영된 영상의 오차를 보정한다(S150).
이때, 본 발명의 일 실시예는 수신한 영상으로부터 윤곽선을 추출하는 단계를 더 포함할 수 있다(S115). 이에 따라, 본 발명의 일 실시예는 윤곽선이 추출된 영상으로부터 보정 포인트를 검출할 수 있다.
한편, 본 발명의 일 실시예에서의 보정 포인트는 소실점 또는 특징점이 될 수 있는바, 이를 도 5 및 도 6을 참조하여 설명하도록 한다.
도 5는 소실점을 검출하여 오차를 보정하는 방법의 순서도이다.
소실점을 검출하여 오차를 보정하는 방법의 경우, 먼저 윤곽선이 추출된 영상으로부터 복수의 차선을 검출한다(S121).
다음으로, 복수의 차선이 교차되는 지점을 소실점으로 검출한 뒤(S122), 검출된 소실점을 보정 포인트로 설정한다(S123).
이와 같이 보정 포인트로 소실점이 설정되면, 검출된 소실점이 기준 소실점으로 이동되도록 설정하여(S131), 보정 파라미터를 생성할 수 있다(S141).
도 6은 특징점을 검출하여 오차를 보정하는 방법의 순서도이다.
특징점을 검출하여 오차를 보정하는 방법의 경우, 먼저 윤곽선이 추출된 영상으로부터 차량에 대응하는 복수의 특징점을 검출하여(S126), 복수의 특징점들을 보정 포인트로 설정한다(S127).
이와 같이 보정 포인트로 특징점이 설정되면, 검출된 특징점이 기준 특징점으로 이동되도록 설정하여(S136), 보정 파라미터를 생성할 수 있다(S146).
한편, 상술한 설명에서, 단계 S110 내지 S150은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 3에서 이미 기술된 내용은 도 4 내지 도 6의 오차 보정 방법에도 적용될 수 있다.
도 7은 본 발명의 일 실시예에 따른 오차 보정 결과를 도시한 도면이다.
본 발명의 일 실시예에 따른 오차 보정 시스템(100) 및 방법에 따르면, 양산 후 주행 환경에 따라 영향을 받아 변경된 카메라(110)의 틀어짐을 보정할 수 있다.
즉, 도 7의 (a)와 같이 촬영된 영상에 오차가 존재하여 시계 방향으로의 회전이 필요한 경우, (b)와 같이 하측 방향으로의 이동이 필요한 경우, (c)와 같이 상측 방향으로의 이동이 필요한 경우 등에 대하여 오차 보정을 수행함에 따라 (d)와 같이 보정된 영상을 운전자에게 제공할 수 있다.
이와 같은 본 발명의 일 실시예 중 어느 하나에 의하면, 주행중 또는 정차시 카메라(110)에 의해 촬영된 영상에 존재하는 오차를 보정함으로써, 운전자에게 보다 정확한 영상을 제공할 수 있다.
또한, 소실점이나 특징점을 기 저장된 보정 포인트와 비교하여 영상의 오차를 보정하는바, 종래 기술에 비하여 보다 적은 데이터만으로도 영상의 오차 보정이 가능하다는 장점이 있다.
한편, 본 발명의 일 실시예에 따른 오차 보정 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 오차 보정 시스템
110: 카메라
120: 메모리
130: 프로세서
140: 통신모듈
150: 디스플레이부

Claims (9)

  1. CMS(Camera Monitor System)용 카메라의 오차 보정 시스템에 있어서,
    차량의 양 측면에 각각 부착된 하나 이상의 카메라,
    상기 카메라에 의해 촬영된 영상의 오차를 보정하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 카메라에 의해 촬영된 영상으로부터 보정 포인트를 검출하고, 상기 검출된 보정 포인트를 기 설정된 보정 포인트와 비교한 결과값에 기초하여 보정 파라미터를 생성하며, 상기 생성된 보정 파라미터에 기초하여 상기 촬영된 영상의 오차를 보정하는 것인 오차 보정 시스템.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 촬영된 영상으로부터 윤곽선을 추출하고, 상기 윤곽선이 추출된 영상으로부터 상기 보정 포인트를 검출하는 것인 오차 보정 시스템.
  3. 제 2 항에 있어서,
    상기 보정 포인트는 소실점이되,
    상기 프로세서는 상기 윤곽선이 추출된 영상으로부터 복수의 차선을 검출한 뒤, 상기 복수의 차선이 교차되는 상기 소실점을 검출하고, 상기 검출된 소실점이 기준 소실점으로 이동되도록 하여 상기 보정 파라미터를 생성하는 것인 오차 보정 시스템.
  4. 제 2 항에 있어서,
    상기 보정 포인트는 상기 차량의 특징점이되,
    상기 프로세서는 상기 윤곽선이 추출된 영상으로부터 상기 차량에 대응되는 복수의 특징점을 검출한 뒤, 상기 검출된 복수의 특징점을 기준 특징점으로 이동되도록 하여 상기 보정 파라미터를 생성하는 것인 오차 보정 시스템.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 차량의 주행 또는 정차시 상기 보정 파라미터를 생성하고, 기 저장된 보정 파라미터를 상기 생성된 보정 파라미터로 갱신하는 것인 오차 보정 시스템.
  6. CMS(Camera Monitor System)용 카메라의 오차 보정 시스템에서의 오차 보정 방법에 있어서,
    차량의 양 측면에 각각 부착된 하나 이상의 카메라에 의해 촬영된 영상을 수신하는 단계;
    상기 촬영된 영상으로부터 보정 포인트를 검출하는 단계;
    상기 검출된 보정 포인트를 기 설정된 보정 포인트와 비교하는 단계;
    상기 비교 결과에 기초하여 보정 파라미터를 생성하는 단계 및
    상기 생성된 보정 파라미터에 기초하여 상기 촬영된 영상의 오차를 보정하는 단계를 포함하는 오차 보정 방법.
  7. 제 6 항에 있어서,
    상기 수신한 영상으로부터 윤곽선을 추출하는 단계를 더 포함하되,
    상기 보정 포인트를 검출하는 단계는 상기 윤곽선이 추출된 영상으로부터 상기 보정 포인트를 검출하는 것인 오차 보정 방법.
  8. 제 7 항에 있어서,
    상기 촬영된 영상으로부터 보정 포인트를 검출하는 단계는,
    상기 윤곽선이 추출된 영상으로부터 복수의 차선을 검출하는 단계;
    상기 복수의 차선이 교차되는 소실점을 검출하는 단계 및
    상기 검출된 소실점을 상기 보정 포인트로 설정하는 단계를 포함하고,
    상기 검출된 보정 포인트를 기 설정된 보정 포인트와 비교하는 단계 및 상기 비교 결과에 기초하여 보정 파라미터를 생성하는 단계는,
    상기 검출된 소실점이 기준 소실점으로 이동되도록 하여 상기 보정 파라미터를 생성하는 것인 오차 보정 방법.
  9. 제 7 항에 있어서,
    상기 촬영된 영상으로부터 보정 포인트를 검출하는 단계는,
    상기 윤곽선이 추출된 영상으로부터 상기 차량에 대응되는 복수의 특징점을 검출하는 단계 및
    상기 복수의 특징점을 상기 보정 포인트로 설정하는 단계를 포함하고,
    상기 검출된 보정 포인트를 기 설정된 보정 포인트와 비교하는 단계 및 상기 비교 결과에 기초하여 보정 파라미터를 생성하는 단계는,
    상기 검출된 특징점이 기준 특징점으로 이동되도록 하여 상기 보정 파라미터를 생성하는 것인 오차 보정 방법.
KR1020160116525A 2016-09-09 2016-09-09 카메라의 오차 보정 시스템 및 방법 KR102543523B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160116525A KR102543523B1 (ko) 2016-09-09 2016-09-09 카메라의 오차 보정 시스템 및 방법
US15/627,444 US10453186B2 (en) 2016-09-09 2017-06-20 System and method for correcting error of camera
CN201710484658.8A CN107833252B (zh) 2016-09-09 2017-06-23 用于校正摄像机的误差的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160116525A KR102543523B1 (ko) 2016-09-09 2016-09-09 카메라의 오차 보정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180028766A true KR20180028766A (ko) 2018-03-19
KR102543523B1 KR102543523B1 (ko) 2023-06-15

Family

ID=61560851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160116525A KR102543523B1 (ko) 2016-09-09 2016-09-09 카메라의 오차 보정 시스템 및 방법

Country Status (3)

Country Link
US (1) US10453186B2 (ko)
KR (1) KR102543523B1 (ko)
CN (1) CN107833252B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989370B1 (ko) * 2019-02-19 2019-06-14 주식회사 리트빅 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108995592B (zh) * 2018-08-02 2021-06-15 张士文 汽车影像系统
CN109389650B (zh) * 2018-09-30 2021-01-12 京东方科技集团股份有限公司 一种车载相机的标定方法、装置、车辆和存储介质
CN109703465B (zh) * 2018-12-28 2021-03-12 百度在线网络技术（北京）有限公司 车载图像传感器的控制方法和装置
KR102177878B1 (ko) * 2019-03-11 2020-11-12 현대모비스 주식회사 영상 처리 장치 및 방법
US11182623B2 (en) * 2019-04-30 2021-11-23 Baidu Usa Llc Flexible hardware design for camera calibration and image pre-procesing in autonomous driving vehicles
CN112188083B (zh) * 2020-08-31 2022-02-11 深圳市优必选科技股份有限公司 相机拍摄参数稳定性确定方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011185753A (ja) * 2010-03-09 2011-09-22 Mitsubishi Electric Corp 車載カメラのカメラキャリブレーション装置
KR20150112656A (ko) * 2014-03-28 2015-10-07 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4015051B2 (ja) * 2002-04-22 2007-11-28 松下電器産業株式会社 カメラ補正装置
EP1584946A3 (en) * 2004-04-02 2006-03-22 Omron Corporation Method of adjusting monitor axis of optical sensors
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP4874280B2 (ja) * 2008-03-19 2012-02-15 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
CN101841495B (zh) 2009-03-16 2013-06-05 上海贝尔股份有限公司 一种用于上行协作多点传输用户数据的方法及装置
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
US20130215280A1 (en) * 2011-09-13 2013-08-22 Kyocera Corporation Camera calibration device, camera and camera calibration method
KR20130059929A (ko) 2011-11-29 2013-06-07 쌍용자동차 주식회사 차량의 후방카메라 조절시스템 및 그 방법
JP6012982B2 (ja) * 2012-02-24 2016-10-25 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
GB201410612D0 (en) * 2014-06-13 2014-07-30 Tomtom Int Bv Methods and systems for generating route data
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP6354425B2 (ja) * 2014-07-30 2018-07-11 株式会社デンソー 車載カメラの取り付け姿勢検出方法およびその装置
EP3330664B1 (en) * 2015-07-29 2021-01-27 KYOCERA Corporation Parallax calculating device, stereo camera device, vehicle, and parallax calculating method
JP2019010962A (ja) * 2017-06-30 2019-01-24 マツダ株式会社 車両用前照灯及び車両用前照灯の配光制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011185753A (ja) * 2010-03-09 2011-09-22 Mitsubishi Electric Corp 車載カメラのカメラキャリブレーション装置
KR20150112656A (ko) * 2014-03-28 2015-10-07 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989370B1 (ko) * 2019-02-19 2019-06-14 주식회사 리트빅 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법

Also Published As

Publication number Publication date
CN107833252A (zh) 2018-03-23
US10453186B2 (en) 2019-10-22
CN107833252B (zh) 2022-04-12
US20180075585A1 (en) 2018-03-15
KR102543523B1 (ko) 2023-06-15

Similar Documents

Publication Publication Date Title
KR102543523B1 (ko) 카메라의 오차 보정 시스템 및 방법
CN107784672B (zh) 用于获取车载相机的外部参数的方法和装置
JP6545997B2 (ja) 画像処理装置
KR101854461B1 (ko) 카메라 시스템 및 이의 객체 인식 방법
US10638104B2 (en) Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns
US20170053167A1 (en) Systems and methods for object tracking
KR102457264B1 (ko) 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
US11022858B2 (en) Multiple camera apparatus and method for synchronized autofocus
KR101989087B1 (ko) 개인용 디지털 영상 기기를 이용한 투사형 디스플레이의 이미지 왜곡 보정 방법 및 그 시스템
EP3321884A1 (en) System and method for advanced lens geometry fitting for imaging devices
KR101808092B1 (ko) 어라운드뷰 모니터링 영상 자동 보정 및 생성 장치 및 방법
US11979663B2 (en) Imaging support device, imaging support system, imaging system, imaging support method, and program
CN108696719A (zh) 用于校准车辆的车辆摄像机的方法和设备
TW201623051A (zh) 車輛及應用於該車輛之自動調節系統及自動調節方法
CN104702839A (zh) 用于摄像机的自动调焦的方法
KR102024834B1 (ko) 차량에 설치된 카메라의 보정 장치 및 방법
US10868962B2 (en) Image capturing apparatus performing image stabilization, control method thereof, and storage medium
US20220286613A1 (en) Imaging support device, imaging apparatus, imaging system, imaging support method, and program
US11125970B2 (en) Method for lens autofocusing and imaging device thereof
KR20180095251A (ko) 카메라 모니터링 시스템 및 이의 영상 보정 방법
US20190354780A1 (en) Systems and methods of processing an image
JP6674127B2 (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
US12002241B2 (en) Full-automatic calibration method and apparatus oriented to structured light 3D vision system
KR102548700B1 (ko) Ai알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ecu 성능 검증장치
US11917297B2 (en) Imaging support device, imaging apparatus, imaging system, imaging support system, imaging support method, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right