KR20170138166A - 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법 - Google Patents

어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법 Download PDF

Info

Publication number
KR20170138166A
KR20170138166A KR1020160070211A KR20160070211A KR20170138166A KR 20170138166 A KR20170138166 A KR 20170138166A KR 1020160070211 A KR1020160070211 A KR 1020160070211A KR 20160070211 A KR20160070211 A KR 20160070211A KR 20170138166 A KR20170138166 A KR 20170138166A
Authority
KR
South Korea
Prior art keywords
camera
correction
cameras
tolerance
image
Prior art date
Application number
KR1020160070211A
Other languages
English (en)
Other versions
KR102478074B1 (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160070211A priority Critical patent/KR102478074B1/ko
Publication of KR20170138166A publication Critical patent/KR20170138166A/ko
Application granted granted Critical
Publication of KR102478074B1 publication Critical patent/KR102478074B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera

Abstract

본 발명에 따른 어라운드 뷰 모니터링 시스템은 차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라 중 두 개 이상의 카메라를 포함하는 영상 촬영부, 상기 카메라의 공차를 보정하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 영상 촬영부에 포함된 각 카메라별로 촬영된 각 영상으로부터 하나 이상의 보정점을 검출하고, 미리 설정된 기준 좌표계의 보정점을 상기 각 영상의 보정점의 위치로 투영시킨 결과에 기초하여, 기준 좌표계에 대응하는 상기 각 카메라별 회전 및 위치 정보를 추정하고, 상기 추정된 각 카메라의 회전 및 위치 정보에 기초하여 각 카메라간 변환 행렬을 산출한 뒤, 상기 변환 행렬에 기초하여 탑 뷰(top view) 영상을 생성하기 위한 룩 업 테이블을 생성하되, 상기 프로세서는 상기 각 카메라간 변환 행렬이 폐루프 조건을 만족하는 경우, 상기 변환 행렬에 기초하여 상기 룩 업 테이블을 생성한다.

Description

어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법{AROUND VIEW MONITORING SYSTEM AND METHOD FOR COMPENSATING CAMERA TOLERANCE THERE OF}
본 발명은 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법에 관한 것이다.
차량의 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)은 차량에 설치된 4개의 카메라(전방, 후방, 좌측, 우측)로부터 영상을 수신하여 차량 주변을 조감도(Bird’s Eye View) 형태로 보여주는 시스템이다.
이와 같이 다수의 카메라에서 촬영되는 영상을 이용하는 어라운드 뷰 모니터링 시스템은 카메라 조립시 공차를 보정하는 작업이 필수적이다. 이를 위해 차량의 각 제조사들은 어라운드 뷰 모니터링 시스템을 구비하는 차량에 대하여 어라운드 뷰 영상의 정합성을 만족하도록 공차를 보정한 후 차량을 출고한다.
그러나 차량을 출고한 이후, 차량을 지속적으로 이용함에 따라 운행 도중에 발생하는 차량의 진동, 사이드 미러의 폴딩, 차량 문의 개폐 등의 다양한 환경적 요인으로 인하여 출고시에 보정된 공차는 변경되어 영상의 정합성이 낮아지게 되는 문제가 발생하게 된다.
이에 따라, 주행 또는 주차 시 운전자는 왜곡된 어라운드 뷰 영상을 이용해야 되는 불편함을 초래하게 된다.
이를 해소하기 위해서는 변경된 공차를 보정해야 하나, 현재 공차 보정을 위해서는 공차 보정이 가능한 서비스 센터나 사업소 등을 방문하여 수리해야 하는 번거로움이 존재한다.
따라서, 공차가 변경되더라도 이를 보정하여 정합된 어라운드 뷰 영상을 제공할 수 있는 어라운드 뷰 모니터링 시스템이 필요한 실정이다.
이와 관련하여, 한국공개특허공보 제10-2015-0144090호(발명의 명칭: 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 모니터링 시스템의 동작방법)는 공차 보정 환경에서 차량을 지정된 위치로 정확히 이동시킨 후, 카메라 별 영상으로부터 검출된 보정점을 이용하여 3×3 변환 행렬을 계산하여 탑 뷰(top view) 영상을 생성하는 방법을 개시하고 있다.
그러나 종래 기술의 경우 차량을 지정된 위치로 정확히 이동시켜야만 하고, 이동시킨 뒤 정지된 상황에서만 공차 보정이 가능하다는 한계가 있다.
본 발명의 실시예는 차량에 설치된 복수의 카메라간 변환 행렬을 산출하고, 산출된 각 변환 행렬이 폐루프 조건을 만족하는 경우 공차 보정을 수행함으로써, 차량의 이동 상황에서도 공차를 보정할 수 있는 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 어라운드 뷰 모니터링 시스템은 차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라 중 두 개 이상의 카메라를 포함하는 영상 촬영부, 상기 카메라의 공차를 보정하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 영상 촬영부에 포함된 각 카메라별로 촬영된 각 영상으로부터 하나 이상의 보정점을 검출하고, 미리 설정된 기준 좌표계의 보정점을 상기 각 영상의 보정점의 위치로 투영시킨 결과에 기초하여, 기준 좌표계에 대응하는 상기 각 카메라별 회전 및 위치 정보를 추정하고, 상기 추정된 각 카메라의 회전 및 위치 정보에 기초하여 각 카메라간 변환 행렬을 산출한 뒤, 상기 변환 행렬에 기초하여 탑 뷰(top view) 영상을 생성하기 위한 룩 업 테이블을 생성하되, 상기 각 카메라간 변환 행렬이 폐루프 조건을 만족하는 경우, 상기 변환 행렬에 기초하여 상기 룩 업 테이블을 생성한다.
또한, 본 발명의 제 2 측면에 따른 어라운드 뷰 모니터링 시스템에서의 공차 보정 방법은 복수의 카메라에 의해 촬영된 각 영상으로부터 하나 이상의 보정점을 검출하는 단계; 미리 설정된 기준 좌표계 상의 보정점을 상기 카메라의 좌표계 상의 상기 검출된 보정점의 위치로 투영시키는 단계; 상기 보정점의 투영 결과에 기초하여, 상기 기준 좌표계에 대응하는 상기 각 카메라별 회전 및 위치 정보를 추정하는 단계; 상기 추정된 각 카메라의 회전 및 위치 정보에 기초하여 각 카메라간 변환 행렬을 산출하는 단계; 상기 각 카메라간 변환 행렬이 폐루프 조건을 만족하는지 여부를 판단하는 단계 및 상기 폐루프 조건을 만족하는 경우, 상기 변환 행렬에 기초하여 탑 뷰(top view) 영상을 생성하기 위한 룩 업 테이블을 산출하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 차량의 정지 상태뿐만 아니라 이동 상황 및 임의의 위치에서도 공차를 보정할 수 있다.
이에 따라, 공차 보정 시간을 단축시킬 수 있어 작업자의 개입을 최소화함으로써 차량 생산 공정의 효율을 높일 수 있고, 차량 주변의 영상을 보다 정확하게 제공할 수 있다.
도 1은 종래 기술에 따른 어라운드 뷰 모니터링 시스템에서의 공차 보정 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 블록도이다.
도 3은 미리 설정된 기준 좌표계 상의 보정점을 카메라의 좌표계 상의 검출된 보정점의 위치로 투영시키는 과정을 설명하기 위한 도면이다.
도 4는 카메라에 의해 촬영된 영상으로부터 탑 뷰 영상을 생성하는 예시도이다.
도 5는 폐루프 조건을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 공차 보정 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 종래 기술에 따른 어라운드 뷰 모니터링 시스템에서의 공차 보정 방법을 설명하기 위한 도면이다.
종래 기술에 따른 어라운드 뷰 모니터링 시스템에서의 공차 보정 방법은 카메라에서 촬영된 영상을 이용하여, 영상에 포함된 보정판(pl)에서 보정점 좌표를 인식할 수 있다. 즉, 격자 무늬로 이루어진 보정판(pl)에서 수평 방향으로 격자 모서리에 해당하는 보정점 좌표를 인식할 수 있다. 그리고 인식된 보정점 좌표로부터 3×3 변환 행렬(Homography)을 산출하여 탑 뷰 영상을 생성할 수 있다.
이를 위해, 종래 기술에서는 차량이 기 설정된 차량 위치에 정차하고 있어야 하고, 차량 위치에 복수의 보정판(pl)이 설치되야 하며, 카메라에서 복수의 보정판(pl)을 포함한 영상을 촬영함으로써 공차를 보정하게 된다.
이와 같이, 종래 기술의 경우 차량을 지정된 위치로 정확히 이동시켜야만 하고, 이동시킨 뒤 정지된 상황에서만 공차 보정이 가능하다는 한계가 있으며, 카메라의 공차를 보정하는데 많은 시간이 소요된다는 문제가 있었다.
이러한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100) 및 이의 공차 보정 방법은 차량에 설치된 복수의 카메라간 변환 행렬을 산출하고, 산출된 각 변환 행렬이 폐루프 조건을 만족하는 경우 공차 보정을 수행함으로써, 차량의 이동 상황 또는 지정된 위치가 아닌 임의의 위치에서도 공차를 보정할 수 있다.
이하에서는 도 2 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)을 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)의 블록도이다. 도 3은 미리 설정된 기준 좌표계 상의 보정점을 카메라(111~114)의 좌표계 상의 검출된 보정점의 위치로 투영시키는 과정을 설명하기 위한 도면이다. 도 4는 카메라(111~114)에 의해 촬영된 영상으로부터 탑 뷰 영상을 생성하는 예시도이다. 도 5는 폐루프 조건을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)은 영상 촬영부(110), 메모리(120) 및 프로세서(130)를 포함한다.
영상 촬영부(110)는 차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라(111~114) 중 두 개 이상의 카메라를 포함한다. 즉, 본 발명의 일 실시예는 차량에 최소 두 개 이상의 카메라가 설치되어 있으며, 바람직하게는 차량을 중심으로 전방, 후방, 좌측 및 우측 카메라(111~114)가 각각 설치되어 각각 차량의 전방, 후방, 좌측 및 우측을 촬영한다.
구체적으로 전방 카메라(111)는 차량의 본 넷 중심에 설치되고, 좌측 및 우측 카메라(113, 114)는 각각 차량의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치되며, 후방 카메라(112)는 후방 범퍼의 위쪽 중앙에 설치될 수 있다. 이때, 전방 및 후방 카메라(111, 112)의 높이는 서로 동일하게 설치되는 것이 바람직하며, 좌측 및 우측 카메라(113, 114)의 높이는 동일하게 설치되는 것이 바람직하다.
여기서 각 카메라(111~114)의 설치 위치는 반드시 이에 한정되는 것은 아니며, 차량의 종류 및 디자인에 따라 설치 상 변경이 있을 수 있다.
이러한, 영상 촬영부(110)의 각 카메라(111~114)는 광각 렌즈, 어안 렌즈 등과 같이 화각이 큰 렌즈로 구비될 수 있다.
영상 촬영부(110)는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영하고, 촬영된 영상을 프로세서(130)에 제공할 수 있다. 이때, 프로세서(130)는 통신모듈(미도시)을 통하여 영상 촬영부(110)에 의해 촬영된 영상을 수신할 수도 있다.
이와 같은 통신모듈은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다. 보다 바람직하게 통신모듈은 CAN(Controller Area Network) 통신을 통하여 데이터를 송수신할 수 있다.
메모리(120)에는 카메라(111~114)의 공차를 보정하기 위한 프로그램이 저장된다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 프로세서(130)는 프로그램을 실행시킴에 따라, 먼저 영상 촬영부(110)에 포함된 각 카메라(111~114) 별로 촬영된 각 영상으로부터 하나 이상의 보정점을 검출한다.
이때, 프로세서(130)는 바람직하게는 각 카메라(111~114) 별로 촬영된 각각의 영상으로부터 4개의 보정점을 검출할 수 있으며, 차량의 정차시뿐만 아니라 이동중 또는 임의의 위치 상에서도 보정점을 검출할 수 있다.
보정점을 검출하고 나면, 프로세서(130)는 도 3에 도시된 바와 같이 미리 설정된 기준 좌표계(O)의 보정점(P0)을 카메라(111~114)의 좌표계(C) 상의 검출된 보정점의 위치(Pc)로 투영시켜, 기준 좌표계에 대응하는 각 카메라별(111~114) 회전 및 위치 정보를 추정한다.
즉, 보정판의 보정점은 미리 설정되어 있는 것이므로, 프로세서(130)는 이러한 보정점의 위치를 검출된 보정점으로 투영시킴으로써 각 카메라(111~114)별 회전 및 위치 정보를 추정할 수 있다. 이때, 카메라(111~114)의 회전 및 위치 정보는 비선형 최적화 방법(nonlinear optimization)에 기초하여 추정할 수 있다.
이때, 프로세서(130)는 두 개 이상의 카메라 중 하나 이상의 카메라가 요잉(yawing), 피칭(pitching) 및 롤링(rolling) 동작 중 하나 이상의 동작이 수행되는 경우에 대응되는 카메라의 회전 정보를 추정할 수 있다.
다시 도 2를 참조하면, 이와 같이 각 카메라(111~114)의 회전 및 위치 정보가 추정되면, 프로세서(130)는 추정된 각 카메라(111~114)의 회전 및 위치 정보에 기초하여, 각 카메라(111~114)에서 촬영된 영상을 차량의 상방에서 지표면을 바라보는 방향, 즉 탑 뷰(top view) 시점의 영상으로 변환하기 위한 변환 행렬을 산출한다.
이때, 영상 촬영부(110)가 차량을 중심으로 4개의 카메라 즉, 전방, 후방, 좌측 및 우측 카메라(111~114)를 포함하고 있는 경우, 프로세서(130)는 4개의 카메라간의 4×4 변환 행렬(Homogeneous Transform)을 변환 행렬을 각각 산출할 수 있다.
이러한 변환 행렬을 산출함으로써, 탑 뷰 영상 좌표계 상에서 각 카메라(111~114)의 위치가 어느 위치에 해당하는지 알 수 있다.
또한, 카메라(111~114) 별 4개의 보정점이 탑 뷰 영상 좌표계 상에서 어느 위치에 대응되는지를 산출할 수 있다. 즉, 도 4에 도시된 전방 카메라(111)의 예시의 경우, 변환 행렬을 이용하여 전방 카메라(111)에 의해 촬영된 영상에서의 4개의 보정점(P1, P2, P3, P4)에 대응하는 탑 뷰 영상 좌표계 상에서의 위치(P1’, P2’, P3’, P4’)를 산출할 수 있다.
이에 따라, 본 발명의 일 실시예는 전술한 종래 기술에 따른 공차 보정 방법과 마찬가지로 카메라별 3×3 변환 행렬을 계산하여 탑 뷰 영상을 생성할 수도 있다.
이렇게 구해진 변환 행렬에 기초하여, 프로세서(130)는 탑 뷰 영상을 생성하기 위한 룩 업 테이블(LUT, Look Up Table)을 생성한다. 즉, 매번 카메라에 의해 촬영된 영상을 변환 행렬을 이용하여 탑 뷰 영상으로 변환하는 것은 많은 자원과 시간이 소요되므로, 미리 카메라의 왜곡 보정 알고리즘과 변환 행렬을 기초로 각 카메라별로 촬영된 영상을 탑 뷰 시점 영상으로 변환하기 위한 룩 업 테이블을 생성하고, 룩 업 테이블을 통해 각각 영상 처리하여 탑 뷰 영상을 생성할 수 있다. 이러한 룩 업 테이블은 왜곡 보정 알고리즘, 아핀(Affine) 변환 알고리즘, 시점 변환 알고리즘 등 다양한 알고리즘을 적용하여 생성될 수 있다.
한편, 프로세서(130)는 룩 업 테이블을 생성하기 전에 각 카메라간 변환 행렬이 폐루프(Loop Closing) 조건을 만족하는지 여부를 판단할 수 있다.
도 5를 참조하면, 전방, 후방, 좌측 및 우측 카메라(111~114)가 각각 차량에 설치되어 있는 경우, 프로세서(130)는 식 1과 같은 각 카메라 간의 4×4 변환 행렬(Homogeneous Transform)을 산출할 수 있다.
[식 1]
Figure pat00001
그리고 각 산출된 카메라간 변환 행렬이 폐루프 조건을 만족하는지 여부를 판단할 수 있다.
여기에서 폐루프 조건은 식 2의 조건을 만족하는 것일 수 있다.
[식 2]
Figure pat00002
이때, I는 단위 행렬, 상기
Figure pat00003
는 카메라 i(1≤i≤4)에서 카메라 j(1≤j≤4)로의 변환 행렬을 의미한다.
즉, 도 5와 같이 프로세서(130)는 전방 카메라(111)를 기준으로 우측 카메라(114)로의 변환 행렬(
Figure pat00004
), 우측 카메라(114)를 기준으로 후방 카메라(112)로의 변환 행렬(
Figure pat00005
), 후방 카메라(112)를 기준으로 좌측 카메라(113)로의 변환 행렬(
Figure pat00006
), 좌측 카메라(113)를 기준으로 전방 카메라(111)로의 변환 행렬(
Figure pat00007
)의 곱이 단위 행렬을 만족하는지 여부를 판단한다.
판단 결과 각 변환 행렬의 곱이 단위 행렬을 만족하는 경우, 프로세서(130)는 각 카메라(111~114) 별로 추정된 회전 및 위치 정보가 정확한 것으로 보고, 변환 행렬에 기초하여 룩 업 테이블을 생성할 수 있다.
이때, 도 5에서의 변환 행렬의 각 방향은 설명의 편의상 특정 방향으로 지정한 것이며, 반대 방향 또는 카메라의 개수에 따라 다양하게 설정될 수 있음은 물론이다.
한편, 프로세서(130)는 각 카메라(111~114)간 변환 행렬이 폐루프 조건을 만족하지 않는 경우, 경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료할 수 있다.
또한, 프로세서(130)는 폐루프 조건을 만족하는 경우라 하더라도 공차 보정을 종료할 수 있다.
즉, 프로세서(130)는 산출된 각 카메라(111~114)간 변환 행렬과 미리 설정된 설계 기준 값과의 차이가 임계치 이상인 경우, 경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료할 수 있다.
또한, 프로세서(130)는 탑 뷰 영상에 대응하여 예측된 보정점의 좌표값과 미리 설정된 설계 기준 값과의 차이가 임계치 이상인 경우, 경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료할 수 있다.
상기 폐루프 조건을 만족하는 경우 수행되는 공차 보정 종료 조건은 각각 독립적으로 또는 복합적으로 수행될 수 있다.
참고로, 본 발명의 실시예에 따른 도 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 6을 참조하여, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)에서의 공차 보정 방법에 대하여 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 공차 보정 방법의 순서도이다.
본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)에서의 공차 보정 방법은 먼저, 공차 보정 모드가 시작되면(S110), 복수의 카메라(111~114)에 의해 촬영된 각 영상으로부터 하나 이상의 보정점을 검출한다(S120).
이때, 본 발명의 일 실시예는 차량을 중심으로 전방, 후방, 좌측 및 우측의 4개의 카메라(111~114) 중 2개 이상의 카메라가 설치되어 있으면 공차 보정이 가능하다. 최근 차량에는 4개의 카메라가 모두 설치되어 있는바, 본 발명의 일 실시예 역시 4개의 카메라(111~114) 각각으로부터 촬영된 각 영상으로부터 보정점을 검출하는 것이 바람직하며, 각 영상으로부터 4개씩의 보정점을 검출할 수 있다.
다음으로, 미리 설정된 기준 좌표계 상의 보정점을 카메라(111~114)의 좌표계 상의 검출된 보정점의 위치로 투영시키고, 보정점의 투영 결과에 기초하여 기준 좌표계에 대응하는 각 카메라(111~114)별 회전 및 위치 정보를 추정한다(S130).
다음으로, 추정된 각 카메라(111~114)의 회전 및 위치 정보에 기초하여 각 카메라(111~114)간의 변환 행렬을 산출한 뒤(S140), 각 카메라(111~114)간의 변환 행렬이 폐루프 조건을 만족하는지 여부를 판단한다(S150).
판단 결과 폐루프 조건을 만족하는 경우, 변환 행렬에 기초하여 탑 뷰 영상을 생성하기 위한 룩 업 테이블을 산출한다(S180).
이와 달리, 폐루프 조건을 만족하지 않는 경우, 어라운드 뷰 모니터링 시스템(100)은 경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료할 수 있다(S150, S190).
또한, 폐루프 조건을 만족하는 경우라 하더라도, 산출된 각 카메라(111~114)간 변환 행렬과 미리 설정된 설계 기준 값과의 차이가 임계치 이상인 경우(S160), 또는 탑 뷰 영상에 대응하여 예측된 보정점의 좌표값과 미리 설정된 설계 기준 값과의 차이가 임계치 이상인 경우(S170), 어라운드 뷰 모니터링 시스템(100)은 경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료할 수 있다(S190).
한편, 상술한 설명에서, 단계 S110 내지 S190은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 2 내지 도 5에서 이미 기술된 내용은 도 6의 공차 보정 방법에도 적용될 수 있다.
이와 같은 본 발명의 일 실시예 중 어느 하나에 의하면, 차량의 정지 상태뿐만 아니라 이동 상황 및 임의의 위치에서도 공차를 보정할 수 있다.
이에 따라, 공차 보정 시간을 단축시킬 수 있어 작업자의 개입을 최소화함으로써 차량 생산 공정의 효율을 높일 수 있고, 차량 주변의 영상을 보다 정확하게 제공할 수 있다.
한편, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)에서의 공차 보정 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 어라운드 뷰 모니터링 시스템
110: 영상 촬영부
111: 전방 카메라 112: 후방 카메라
113: 좌측 카메라 114: 우측 카메라
120: 메모리
130: 프로세서

Claims (14)

  1. 어라운드 뷰 모니터링 시스템에 있어서,
    차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라 중 두 개 이상의 카메라를 포함하는 영상 촬영부,
    상기 카메라의 공차를 보정하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 영상 촬영부에 포함된 각 카메라별로 촬영된 각 영상으로부터 하나 이상의 보정점을 검출하고, 미리 설정된 기준 좌표계의 보정점을 상기 각 영상의 보정점의 위치로 투영시킨 결과에 기초하여, 기준 좌표계에 대응하는 상기 각 카메라별 회전 및 위치 정보를 추정하고, 상기 추정된 각 카메라의 회전 및 위치 정보에 기초하여 각 카메라간 변환 행렬을 산출한 뒤, 상기 변환 행렬에 기초하여 탑 뷰(top view) 영상을 생성하기 위한 룩 업 테이블을 생성하되,
    상기 프로세서는 상기 각 카메라간 변환 행렬이 폐루프 조건을 만족하는 경우, 상기 변환 행렬에 기초하여 상기 룩 업 테이블(LUT, Look Up Table)을 생성하는 것인 어라운드 뷰 모니터링 시스템.
  2. 제 1 항에 있어서,
    상기 프로세서는 차량의 이동 중에 상기 각 카메라별로 촬영된 각 영상으로부터 4개의 보정점을 검출하는 것인 어라운드 뷰 모니터링 시스템.
  3. 제 1 항에 있어서,
    상기 영상 촬영부는 차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라를 포함하고,
    상기 프로세서는 상기 4개의 카메라간 변환 행렬이 폐루프 조건을 만족하는 경우, 상기 변환 행렬에 기초하여 상기 룩 업 테이블을 생성하는 것인 어라운드 뷰 모니터링 시스템.
  4. 제 3 항에 있어서,
    상기 폐루프 조건은
    Figure pat00008
    을 만족하는 것이되,
    상기 I는 단위 행렬, 상기 는 카메라 i(1≤i≤4)에서 카메라 j(1≤j≤4)로의 변환 행렬을 의미하는 것인 어라운드 뷰 모니터링 시스템.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 각 카메라간 변환 행렬이 폐루프 조건을 만족하지 않는 경우, 경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료하는 것인 어라운드 뷰 모니터링 시스템.
  6. 제 1 항 또는 제 5 항에 있어서,
    상기 프로세서는 상기 산출된 각 카메라간 변환 행렬과 미리 설정된 설계 기준 값과의 차이가 임계치 이상인 경우, 경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료하는 것인 어라운드 뷰 모니터링 시스템.
  7. 제 1 항 또는 제 5 항에 있어서,
    상기 프로세서는 상기 탑 뷰 영상에 대응하여 예측된 보정점의 좌표값과 미리 설정된 설계 기준 값과의 차이가 임계치 이상인 경우, 경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료하는 것인 어라운드 뷰 모니터링 시스템.
  8. 제 1 항에 있어서,
    상기 프로세서는 상기 두 개 이상의 카메라 중 하나 이상의 카메라가 요잉, 피칭 및 롤링 동작 중 하나 이상의 동작이 수행되는 경우에 대응되는 카메라별 회전을 추정하는 것인 어라운드 뷰 모니터링 시스템.
  9. 어라운드 뷰 모니터링 시스템에서의 공차 보정 방법에 있어서,
    차량에 설치된 복수의 카메라에 의해 촬영된 각 영상으로부터 하나 이상의 보정점을 검출하는 단계;
    미리 설정된 기준 좌표계 상의 보정점을 상기 카메라의 좌표계 상의 상기 검출된 보정점의 위치로 투영시키는 단계;
    상기 보정점의 투영 결과에 기초하여, 상기 기준 좌표계에 대응하는 상기 각 카메라별 회전 및 위치 정보를 추정하는 단계;
    상기 추정된 각 카메라의 회전 및 위치 정보에 기초하여 각 카메라간 변환 행렬을 산출하는 단계;
    상기 각 카메라간 변환 행렬이 폐루프 조건을 만족하는지 여부를 판단하는 단계 및
    상기 폐루프 조건을 만족하는 경우, 상기 변환 행렬에 기초하여 탑 뷰(top view) 영상을 생성하기 위한 룩 업 테이블(LUT, Look Up Table)을 산출하는 단계를 포함하는 것인 공차 보정 방법.
  10. 제 1 항에 있어서,
    상기 각 카메라간 변환 행렬이 폐루프 조건을 만족하지 않는 경우,
    경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료하는 단계를 더 포함하는 것인 공차 보정 방법.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 산출된 각 카메라간 변환 행렬과 미리 설정된 설계 기준 값과의 차이가 임계치 이상인 경우,
    경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료하는 단계를 더 포함하는 것인 공차 보정 방법.
  12. 제 9 항 또는 제 10 항에 있어서,
    상기 탑 뷰 영상에 대응하여 예측된 보정점의 좌표값과 미리 설정된 설계 기준 값과의 차이가 임계치 이상인 경우,
    경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료하는 단계를 더 포함하는 것인 공차 보정 방법.
  13. 제 9 항 또는 제 10 항에 있어서,
    상기 탑 뷰 영상에 대응하여 예측된 보정점의 좌표값과 미리 설정된 설계 기준 값과의 차이가 임계치 이상인 경우,
    경고 메시지에 대응하는 알림 정보를 생성하고 공차 보정을 종료하는 단계를 더 포함하는 것인 공차 보정 방법.
  14. 제 13 항에 있어서,
    상기 폐루프 조건은
    Figure pat00010
    을 만족하는 것이되,
    상기 I는 단위 행렬, 상기
    Figure pat00011
    는 카메라 i(1≤i≤4)에서 카메라 j(1≤j≤4)로의 변환 행렬을 의미하는 것인 공차 보정 방법.
KR1020160070211A 2016-06-07 2016-06-07 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법 KR102478074B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160070211A KR102478074B1 (ko) 2016-06-07 2016-06-07 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160070211A KR102478074B1 (ko) 2016-06-07 2016-06-07 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법

Publications (2)

Publication Number Publication Date
KR20170138166A true KR20170138166A (ko) 2017-12-15
KR102478074B1 KR102478074B1 (ko) 2022-12-15

Family

ID=60954491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160070211A KR102478074B1 (ko) 2016-06-07 2016-06-07 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법

Country Status (1)

Country Link
KR (1) KR102478074B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (ko) * 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
KR20130130943A (ko) * 2012-05-23 2013-12-03 현대모비스 주식회사 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법
KR20140033803A (ko) * 2012-09-10 2014-03-19 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR20150144090A (ko) * 2014-06-16 2015-12-24 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 모니터링 시스템의 동작방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (ko) * 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
KR20130130943A (ko) * 2012-05-23 2013-12-03 현대모비스 주식회사 어라운드 뷰 모니터링용 카메라의 위치 자동 조정 시스템 및 그 방법
KR20140033803A (ko) * 2012-09-10 2014-03-19 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR20150144090A (ko) * 2014-06-16 2015-12-24 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 모니터링 시스템의 동작방법

Also Published As

Publication number Publication date
KR102478074B1 (ko) 2022-12-15

Similar Documents

Publication Publication Date Title
US10638104B2 (en) Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns
KR102457264B1 (ko) 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
US10089538B2 (en) Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof
CN108367714B (zh) 填充由镜子或其他车辆部件遮挡的周围视野区域
EP3321884B1 (en) System and method for advanced lens geometry fitting for imaging devices
CN109155066B (zh) 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆
CN105306805B (zh) 用于校正车辆用相机的影像失真的装置和方法
KR102543523B1 (ko) 카메라의 오차 보정 시스템 및 방법
WO2010061956A1 (en) Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus
US11233983B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
KR102198217B1 (ko) 순람표에 기반한 스티칭 영상 생성 장치 및 방법
US11620732B2 (en) Multi-projection system, image projection method and projector
JP2011049733A (ja) カメラキャリブレーション装置および映像歪み補正装置
JP2016063248A (ja) 画像処理装置および画像処理方法
JP2015037204A5 (ko)
KR102528004B1 (ko) 어라운드 뷰 생성 장치 및 그 방법
CN106651903A (zh) 一种运动物体检测方法
KR102478074B1 (ko) 어라운드 뷰 모니터링 시스템 및 이의 공차 보정 방법
JP6577595B2 (ja) 車両用外界認識装置
KR101693820B1 (ko) Avm 영상 보정 장치 및 방법
JP7169689B2 (ja) 計測システム、計測方法、及び計測プログラム
EP4222704A1 (en) Estimating depth for image and relative camera poses between images
KR101653281B1 (ko) 설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법
JP6459745B2 (ja) 自己位置算出装置及び自己位置算出方法
KR101708620B1 (ko) Avm 시스템의 카메라 공차 보정 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant