KR20180011552A - 어라운드 뷰 생성 장치 및 그 방법 - Google Patents

어라운드 뷰 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR20180011552A
KR20180011552A KR1020160094028A KR20160094028A KR20180011552A KR 20180011552 A KR20180011552 A KR 20180011552A KR 1020160094028 A KR1020160094028 A KR 1020160094028A KR 20160094028 A KR20160094028 A KR 20160094028A KR 20180011552 A KR20180011552 A KR 20180011552A
Authority
KR
South Korea
Prior art keywords
mask
generating
vehicle
image
view
Prior art date
Application number
KR1020160094028A
Other languages
English (en)
Other versions
KR102528004B1 (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160094028A priority Critical patent/KR102528004B1/ko
Priority to US15/638,165 priority patent/US10546391B2/en
Publication of KR20180011552A publication Critical patent/KR20180011552A/ko
Application granted granted Critical
Publication of KR102528004B1 publication Critical patent/KR102528004B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

본 발명의 일면에 따른 어라운드 뷰 생성 장치는, 카메라를 이용하여 차량으로부터 차량의 전방, 후방, 좌측방 및 우측방의 영상을 촬영하는 촬영부; 상기 촬영한 영상에서 차량으로부터 기설정된 거리까지의 영역을 마스크 영역으로 설정하는 마스크 생성부; 상기 촬영한 영상의 상기 마스크 영역 내에서 지면의 특징점을 추출하는 특징점 추출부; 및 상기 추출한 특징점을 이용하여 상기 카메라의 회전각도를 포함하는 회전행렬을 생성하는 카메라 자세각 추정부; 상기 회전행렬을 이용하여 상기 촬영한 영상을 탑-뷰 영상으로 회전변환하는 어라운드 뷰 생성부를 포함하는 것을 특징으로 한다.

Description

어라운드 뷰 생성 장치 및 그 방법{APPARATUS AND METHOD FOR GENERATING AROUND VIEW}
본 발명은 어라운드 뷰 생성 장치 및 그 방법에 관한 것으로서, 보다 구체적으로는 어라운드 뷰 모니터링 시스템에 발생하는 공차를 보정하기 위한 장치 및 방법에 관한 것이다.
차량의 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)은 차량에 설치된 4개의 카메라(전방, 후방, 좌측, 우측)로부터 영상을 수신하여 차량 주변을 조감도(Bird’s Eye View) 형태로 보여주는 시스템이다.
이와 같이 다수의 카메라에서 촬영되는 영상을 이용하는 어라운드 뷰 모니터링 시스템은 카메라 조립시 공차를 보정하는 작업이 필수적이다. 이를 위해 차량의 각 제조사들은 어라운드 뷰 모니터링 시스템을 구비하는 차량에 대하여 어라운드 뷰 영상의 정합성을 만족하도록 공차를 보정한 후 차량을 출고한다.
그러나 차량을 출고한 이후, 차량을 지속적으로 이용함에 따라 운행 도중에 발생하는 차량의 진동, 사이드 미러의 폴딩, 차량 문의 개폐 등의 다양한 환경적 요인으로 인하여 출고시에 보정된 공차는 변경되어 영상의 정합성이 낮아지는 문제가 발생하게 된다.
이에 따라, 주행 또는 주차 시 운전자는 왜곡된 어라운드 뷰 영상을 이용해야 하므로 정확한 주변의 상황을 파악할 수 없는 불편함을 초래하게 된다.
이를 해소하기 위해서는 변경된 공차를 보정해야 하나, 현재 공차 보정을 위해서는 공차 보정이 가능한 서비스 센터나 사업소 등을 방문하여 수리해야 하는 번거로움이 존재한다.
따라서, 공차가 변경되더라도 이를 보정하여 정합된 어라운드 뷰 영상을 제공할 수 있는 어라운드 뷰 모니터링 시스템이 필요한 실정이다.
이와 관련하여 종래의 공차 보정 방법들은 주행중 4개의 카메라를 이용하여 촬영한 지면의 특징점을 추출하여 카메라의 자세를 다시 추정함으로써 이로부터 어라운드 뷰 이미지의 왜곡을 저감하는 방법을 사용하고 있다.
그러나 주행중 촬영한 지면은 공차 보정이 가능한 서비스 센터나 사업소 등과 달리 평면이 아니고 구배(경사면)가 존재한다.
따라서 이러한 촬영 결과물에서는 지면의 특징점을 추출하는 데 실패하거나, 추출한 특징점을 이용한 보정된 영상이 오히려 더 왜곡될 수 있는 문제점이 있다.
본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 차량의 주행 중 어라운드 뷰 모니터링 시스템의 공차를 보다 정확히 보정하기 위한 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 어라운드 뷰 생성 장치는, 카메라를 이용하여 차량으로부터 차량의 전방, 후방, 좌측방 및 우측방의 영상을 촬영하는 촬영부; 상기 촬영한 영상에서 차량으로부터 기설정된 거리까지의 영역을 마스크 영역으로 설정하는 마스크 생성부; 상기 촬영한 영상의 상기 마스크 영역 내에서 지면의 특징점을 추출하는 특징점 추출부; 및 상기 추출한 특징점을 이용하여 상기 카메라의 회전각도를 포함하는 회전행렬을 생성하는 카메라 자세각 추정부; 상기 회전행렬을 이용하여 상기 촬영한 영상을 탑-뷰 영상으로 회전변환하는 어라운드 뷰 생성부를 포함하는 것을 특징으로 한다.
본 발명의 다른 일면에 따른 어라운드 뷰 생성 방법은카메라를 이용하여 차량의 전방, 후방, 좌측, 우측의 네 방향을 촬영하여 영상을 획득하는 단계; 상기 획득한 영상에서 상기 차량으로부터 기설정된 거리까지의 영역을 마스크 영역으로 설정하는 단계; 상기 마스크 영역내에서 지면의 특징점을 추출하는 단계; 상기 추출한 특징점을 이용하여 상기 카메라의 회전각도를 포함하는 회전행렬을 생성하는 단계; 상기 회전행렬을 이용하여 상기 촬영한 네 방향의 영상을 탑-뷰 영상으로 회전변환하는 단계단계를 포함한다.
본 발명에 따르면, 보다 정확하게 지면의 특징점을 추출할 수 있고, 추출한 특징점으로 카메라의 자세를 추정함으로써 어라운드 뷰 모니터링 시스템의 합성 영상의 정합성이 개선되는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 어라운드 뷰 생성 장치의 구조도를 도시한 도면.
도 2는 본 발명의 일실시예에 따라 촬영된 영상을 탑-뷰 영상으로 변환하는 방법을 나타낸 도면.
도 3은 촬영된 영상에서 추출된 특징점을 나타낸 도면.
도 4는 경사도를 가지는 도로의 단면 구조를 나타낸 도면.
도 5는 본 발명의 일실시예에 따른 어라운드 뷰 생성 장치에 의해 생성된 마스크 영역을 나타낸 도면.
도 6은 본 발명에 다른 실시예에 따라 가상의 차선을 생성하는 방법을 나타낸 도면.
도 7은 본 발명의 일실시예에 의해 촬영된 영상을 탑-뷰 영상으로 변환된 모습을 나타낸 도면.
도 8은 본 발명의 일실시예에 따른 어라운드 뷰 생성 장치에 의해 생성된 어라운드 뷰 영상을 나타낸 도면.
도 9는 본 발명의 또 다른 실시예에 따른 어라운드 뷰 생성 방법의 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 어라운드 뷰 생성 장치의 구조도를 나타낸다.
어라운드 뷰 생성 장치(100)는 촬영부(110), 마스크 생성부(120), 특징점 추출부(130), 카메라 자세각 추정부(140) 및 어라운드 뷰 생성부(150)를 포함한다.
촬영부(110)는 전방, 후방, 좌측, 우측의 네 방향을 촬영하는 카메라를 포함한다.
촬영부(110)에 포함된 카메라들은 지면과 수직을 이루지 못하기 때문에 촬영 영상은 도 2의 (a)와 같이 나타나게 되고, 이후 탑뷰(Top View) 변환을 통해 도 2의 (b)와 같이 카메라가 지면과 수직을 이룬 상태에서 촬영한 것과 같은 영상을 얻을 수 있다.
마스크 생성부(120)는 촬영부(110)에서 촬영한 전, 후, 좌, 우 영상에서 특징점을 추출하기 위한 영역을 결정하기 위한 마스크를 생성한다.
도 3은 특징점 추출을 위한 마스크 생성 없이 영상에 나타난 도로 대부분의 영역에 대해 특징점을 추출한 결과의 한 예를 나타낸다. 붉은색 점은 이전 영상에서 특징점의 위치를 나타내며, 파란색 선은 현재 영상에서 특징점의 이동벡터를 나타낸다.
특징점이란 연속으로 촬영한 영상에서 지면의 특징을 나타낼 수 있는 공통적으로 나타난 지점을 말한다.
특징점은 연속된 영상에서 옵티컬 플로우(Optical Flow) 기반으로 추출하여 매칭시킴으로써 검출할 수 있고, 이 때 지면의 특징점 간 대응관계를 나타내는 호모그래피(Homography, 3x3 행렬)를 계산하여 지면 특징점들만 검출할 수 있다.
도 3과 같이 지면 대부분의 영역에서 특징점을 추출하면 대상 영역이 넓어지므로 특징점을 추출할 수 있는 가능성이 높아진다.
하지만 자동차 메이커들의 출고시험장이나 서비스센터가 아니라 실제 도로(410)는 출고시험장처럼 완전한 평면이 아니고 도 4와 같이 중앙선 부분(420)이 높은 경사가 존재하기 때문에, 전체 영역을 대상으로 특징점을 추출하고 이로부터 카메라 자세각을 추정하는 경우 오히려 어라운드 뷰 영상의 정합을 방해하는 요소가 될 수 있다.
따라서, 특징점 추출 영역을 도 5와 같이 차량의 주변의 일정 영역으로 한정하면 도로의 경사에 의한 공차 보정 오류를 줄일 수 있는 효과가 있다.
마스크 생성부(120)는 특징점 추출을 위한 마스크(510-540)를 차량 주변의 영역으로 한정하여 생성한다.
마스크 영역이 좁으면 도로의 경사면의 영향을 적게 받는 장점이 있지만, 너무 좁으면 특징점 추출에 실패하는 문제가 발생할 수도 있기 때문에 반복된 실험에 의해 최적의 영역을 미리 정해둘 수 있다.
마스크 영역 설정의 한 예로써 차선을 경계로 이용할 수 있다.
차선 바깥의 영역은 같은 방향으로 진행하는 차량 혹은 반대차로로 진행하는 차량이 언제 지나갈지 모르는 영역이기 때문에 영상에 지면이 찍히지 않고 다른 차량이 지나가는 경우 지면의 특징점을 추출하지 못하는 문제가 발생할 수 있다.
따라서 다른 차선의 차량의 영향을 줄이기 위해 마스크 영역을 차량이 주행중인 차선 내로 한정함으로써 이러한 문제를 해결할 수 있다.
마스크 영역 설정을 위해 좌측, 우측 영상에서 차선(550, 560)을 검출하고, 차량과 차선(550, 560) 사이의 공간을 특징점 추출을 위한 마스크 영역으로 설정한다.
차선(550, 560)의 검출은 흰색, 노란색으로 구성된 차선(550, 560)과 지면의 색상차이 또는 밝기차이 등을 이용하여 검출할 수 있고 이 외에도 다양한 방법의 검출방법이 사용될 수 있다.
차량의 전방, 후방 영상에서는 차선을 기준으로 전, 후 경계를 설정할 수 없기 때문에, 좌, 우 영상에서 차량과 차선 사이의 거리를 구하고, 차량의 전, 후방에서 구한 거리만큼 떨어진 곳에 가상의 선(570, 580)을 생성하여 이로부터 마스크를 구하는 방법을 사용할 수 있다.
차량의 전방, 후방의 경우 차량의 좌측, 우측보다는 경사의 영향이 덜하기 때문에 차량의 좌측, 우측의 마스크 영역(530, 540)보다는 넓은 영역을 마스크 영역으로 설정하면 특징점 추출이 좀 더 유리한 장점이 있다.
도 6은 차선이 없는 도로나 촬영한 영상에서 차선 검출이 안 되는 경우의 마스크 영역 설정방법에 의해 특징점을 추출한 영상을 나타낸다.
차선이 검출되지 않는 경우, 일반적인 도로의 폭과 차량의 폭을 고려하여 가상의 차선(630, 640)을 형성할 수 있다.
가상의 차선(630, 640)을 형성한 후에는 도 5에서 차선을 검출했을 때의 경우와 마찬가지로 가상의 차선(630, 640)을 기준으로 차량과 가상의 차선(630, 640) 사이의 공간에 마스크 영역을 생성할 수 있다.
특징점 추출부(130)는 이렇게 생성된 마스크 영역 내에서 특징점을 추출한다.
특징점 추출부(130)는 다양한 검출 알고리즘을 기반으로 특징점을 검출할 수 있으며, 일 예로, 탑-햇(Top-Hat) 필터, 허프 변환(Hough transformation) 알고리즘, RANSAC 기반의 라인 피팅(Line Fitting) 알고리즘, 칼만(Kalman) 필터 등을 이용하여 검출할 수 있으며, 이에 한정되지 않고 다양한 검출방법을 사용할 수 있다.
카메라 자세각 추정부(140)는 촬영한 영상을 탑-뷰(Top View) 형식의 어라운드 뷰 영상 형성을 위해, 지면 기준 카메라 회전 각도를 추정한다.
카메라 회전 각도 추정은 지면을 기준으로 X축, Y축 및 Z축 회전각도를 추정하는데 이 때 특징점 추출부(130)에서 추출한 특징점들을 이용한다.
원본영상을 탑-뷰 영상으로 변환하기 위해서는 회전행렬을 사용하는데, 회전행렬을 구하기 위해 특징점 패턴들을 기반으로 X축, Y축 및 Z축 회전 각도를 추정하고, 추정된 X축, Y축 및 Z축 회전각도를 포함하는 회전행렬을 생성한다.
X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도를 추정하기 위해, 각도 추정 조건을 만족하는 X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도가 사전에 학습되고, 사전 학습된 X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도가 미리 카메라 자세각 추정부(140)에 저장될 수 있다.
즉, 검출된 특징점 패턴들을 기반으로 설정된 각도 추정 조건에 대응하는(부합하는) 회전 각도를 검색하고, 각도 추정 조건에 대응하는 회전 각도가 존재하면, 미리 저장된 해당 회전 각도를 이용하여 회전 행렬을 생성한다.
카메라 자세각 추정부(140)의 저장용량을 고려하여, 사전 학습된 X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도는 룩업테이블 형태로 저장할 수 있다. 카메라 자세각 추정부(140)는 이를 위해 일 예로, 비휘발성 메모리를 포함할 수 있다.
어라운드 뷰 생성부(150)는 이렇게 추정한 카메라 자세각을 나타내는 회전행렬을 이용하여 촬영부(110)에서 촬영한 전, 후, 좌, 우 영상을 탑-뷰 영상으로 변환한다.
어라운드 뷰 생성부(150)에 의해 도 7의 (a)와 같이 카메라의 위치 때문에 비스듬히 촬영된 원본영상이 도 7의 (b)와 같이 마치 차량의 위에서 수직방향으로 찍은 것처럼 변환이 가능하다.
도 8은 전, 후, 좌, 우 네 방향의 영상을 카메라의 자세각을 이용하여 어라운드 뷰로 변환한 모습을 나타낸다.
도 8의 (a)는 마스크를 형성하지 않고 전체 영역에서 특징점을 추출한 후 카메라의 자세각을 추정했을 때의 어라운드 뷰 영상을 나타낸다. 지면의 경사 때문에 정확한 카메라의 자세각이 추정되지 않아 정합 영상이 제대로 형성되지 않았음을 보여준다.
도 8의 (c)는 본 발명의 실시예에 따라 마스크 영역을 설정하고 특징점을 추출하여 카메라의 자세각을 보정한 경우의 어라운드 뷰 영상을 나타낸다. 지면의 경사의 영향을 받지 않고 평지에서 공차를 보정한 도 8의 (b)와 유사한 결과를 나타냄을 알 수 있다.
도 9는 본 발명의 다른 실시예에 따른 어라운드 뷰 생성방법의 흐름도를 나타낸다.
어라운드 뷰 생성을 위해 우선 차량의 전방, 후방, 좌측, 우측의 네 방향을 촬영하는 카메라를 이용하여 영상을 획득한다(S910).
획득한 영상에서 특징점 추출을 위한 마스크 영역을 생성하기 전에 우선 지면의 경사각을 추정하여 마스크 생성 여부를 결정할 수도 있다.
지면의 경사도가 일정 값 이하이면 영상의 전체 영역에서 특징점을 추출할 수 있고, 마스크 영역을 설정하는 것 보다는 전체 영역에서 특징점을 추출하는 것이 특징점 추출 성능 및 매칭 성능을 높일 수 있기 때문이다.
지면 경사도를 추정하는 단계(S920)에서는 전술한 회전행렬을 이용한다. 즉, 자세각을 보정할 필요 없는 카메라와 그 카메라의 자세각을 알고 있다면 회전행렬을 이용하여 지면의 경사도를 계산할 수 있다.
카메라의 자세각을 나타내는 회전행렬을 Tc, 지면 특징점에 의해 추정된 카메라의 자세각을 나타내는 회전행렬을 Te, 지면의 경사도를 나타내는 회전행렬을 Ts라 하면 Tc = Ts * Te 와 같이 나타낼 수 있고, 따라서 지면의 경사도 Ts는 Te의 역행렬인
Figure pat00001
을 이용하여
Figure pat00002
로 나타낼 수 있다.
회전행렬을 이용해 구한 지면 경사도를 기설정된 임계값과 비교하여(S930) 임계값 이하이면 지면이 충분히 평면인 것이므로 영상에 마스크를 생성하지 않고 바로 전체 영상 영역에서 특징점을 추출한다(S950).
그러나 경사도가 임계값을 초과하는 경우, 특징점에 의해 추정한 카메라 자세각에 오류가 발생할 수 있으므로, 촬영한 영상에 마스크를 생성하고(S940) 마스크 영역에서만 특징점을 추출하여(S950) 카메라의 자세각을 추정(S960)할 수 있다.
마스크 영역 설정과 카메라의 자세각을 추정하는 구체적인 방법은 전술한 바와 같다.
이렇게 카메라의 자세각을 추정하면 획득한 영상을 가공하여 어라운드 뷰(S970)를 생성할 수 있고, 지면의 경사를 고려하여 좀 더 정확한 어라운드 뷰 영상을 얻을 수 있는 효과가 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (8)

  1. 카메라를 이용하여 차량으로부터 차량의 전방, 후방, 좌측방 및 우측방의 영상을 촬영하는 촬영부;
    상기 촬영한 영상에서 차량으로부터 기설정된 거리까지의 영역을 마스크 영역으로 설정하는 마스크 생성부;
    상기 촬영한 영상의 상기 마스크 영역 내에서 지면의 특징점을 추출하는 특징점 추출부;
    상기 추출한 특징점을 이용하여 상기 카메라의 회전각도를 포함하는 회전행렬을 생성하는 카메라 자세각 추정부; 및
    상기 회전행렬을 이용하여 상기 촬영한 영상을 탑-뷰 영상으로 회전 변환하는 어라운드 뷰 생성부;
    를 포함하는 어라운드 뷰 생성 장치.
  2. 제1항에 있어서, 상기 마스크 생성부는
    상기 촬영한 영상에서 차선을 검출하고, 상기 검출한 차선과 상기 차량 사이의 영역을 마스크 영역으로 설정하는 것
    인 어라운드 뷰 생성 장치.
  3. 제1항에 있어서, 상기 마스크 생성부는
    상기 촬영한 영상에서 차선을 검출하고, 차선이 검출되지 않으면 기설정된 폭을 가지는 가상의 차선을 상기 영상에 생성하고, 상기 생성한 가상의 차선과 상기 차량 사이의 영역을 마스크 영역으로 설정하는 것
    인 어라운드 뷰 생성 장치.
  4. 제1항에 있어서,
    상기 카메라 자세각 추정부는, 기저장된 상기 카메라의 자세각을 나타내는 회전행렬과, 상기 촬영한 영상에서 추출한 특징점을 이용하여 계산한 회전행렬을 이용하여 지면의 경사도를 계산하고,
    상기 마스크 생성부는, 상기 지면의 경사도가 기설정된 임계값 이하이면 상기 촬영된 영상 전체를 마스크 영역으로 설정하는 것
    인 어라운드 뷰 생성 장치.
  5. 하나 이상의 프로세서를 포함하는 어라운드 뷰 생성장치에 의해 수행되는 어라운드 뷰 생성 방법에 있어서,
    카메라를 이용하여 차량의 전방, 후방, 좌측, 우측의 네 방향을 촬영하여 영상을 획득하는 단계;
    상기 획득한 영상에서 상기 차량으로부터 기설정된 거리까지의 영역을 마스크 영역으로 설정하는 단계;
    상기 마스크 영역내에서 지면의 특징점을 추출하는 단계;
    상기 추출한 특징점을 이용하여 상기 카메라의 회전각도를 포함하는 회전행렬을 생성하는 단계; 및
    상기 회전행렬을 이용하여 상기 촬영한 네 방향의 영상을 탑-뷰 영상으로 회전변환하는 단계;
    를 포함하는 어라운드 뷰 생성 방법.
  6. 제5항에 있어서, 상기 마스크 영역을 생성하는 단계는
    상기 촬영한 영상에서 차선을 검출하고, 상기 검출한 차선과 상기 차량 사이의 영역을 마스크 영역으로 설정하는 것
    인 어라운드 뷰 생성 방법.
  7. 제5항에 있어서, 상기 마스크 영역을 생성하는 단계는
    상기 촬영한 영상에서 차선을 검출하고, 차선이 검출되지 않으면 기설정된 폭을 가지는 가상의 차선을 상기 영상에 생성하고, 상기 생성한 가상의 차선과 상기 차량 사이의 영역을 마스크 영역으로 설정하는 것
    인 어라운드 뷰 생성 방법.
  8. 제5항에 있어서,
    상기 회전행렬을 생성하는 단계는, 기저장된 상기 카메라의 자세각을 나타내는 회전행렬과, 상기 촬영한 영상에서 추출한 특징점을 이용하여 계산한 회전행렬을 이용하여 지면의 경사도를 계산하고,
    상기 마스크 영역을 생성하는 단계는, 상기 지면의 경사도가 기설정된 임계값 이하이면 상기 촬영된 영상 전체를 마스크 영역으로 설정하는 것
    인 어라운드 뷰 생성 방법.

KR1020160094028A 2016-07-25 2016-07-25 어라운드 뷰 생성 장치 및 그 방법 KR102528004B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160094028A KR102528004B1 (ko) 2016-07-25 2016-07-25 어라운드 뷰 생성 장치 및 그 방법
US15/638,165 US10546391B2 (en) 2016-07-25 2017-06-29 Apparatus and method for generating around view

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160094028A KR102528004B1 (ko) 2016-07-25 2016-07-25 어라운드 뷰 생성 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180011552A true KR20180011552A (ko) 2018-02-02
KR102528004B1 KR102528004B1 (ko) 2023-05-02

Family

ID=60988082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160094028A KR102528004B1 (ko) 2016-07-25 2016-07-25 어라운드 뷰 생성 장치 및 그 방법

Country Status (2)

Country Link
US (1) US10546391B2 (ko)
KR (1) KR102528004B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020147567A (ja) * 2019-03-12 2020-09-17 リム，スボック エゴマ油ビューティーオイル及び植物性オメガ−３が含有された化粧料組成物の製造方法とエゴマ油ビューティーオイル及び植物性オメガ−３を有効成分として含有する化粧料組成物。

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6511406B2 (ja) * 2016-02-10 2019-05-15 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置
JP7115300B2 (ja) * 2018-12-26 2022-08-09 株式会社デンソー 画像生成装置及び画像表示システム
US11323633B2 (en) 2019-07-01 2022-05-03 Bendix Commercial Vehicle Systems, Llc Automated creation of a freeform mask for automotive cameras

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101444387B1 (ko) * 2012-05-04 2014-09-30 삼성중공업 주식회사 선저 청소 로봇 및 이의 제어 방법
KR20170057684A (ko) * 2015-11-17 2017-05-25 현대오트론 주식회사 전방 카메라를 이용한 주차 지원 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4337929B2 (ja) * 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101444387B1 (ko) * 2012-05-04 2014-09-30 삼성중공업 주식회사 선저 청소 로봇 및 이의 제어 방법
KR20170057684A (ko) * 2015-11-17 2017-05-25 현대오트론 주식회사 전방 카메라를 이용한 주차 지원 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Davide Scaramuzza et al., ‘Appearance-Guided Monocular Omnidirectional Visual Odometry for Outdoor Ground Vehicles’, IEEE TRANSACTIONS ON ROBOTICS, VOL. 24, NO. 5, OCTOBER 2008.* *
Shigang li, ‘Monitoring Around a Vechicle by a Spherical Image Sensor’, IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, VOL. 7, NO. 4, DECEMBER 2006.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020147567A (ja) * 2019-03-12 2020-09-17 リム，スボック エゴマ油ビューティーオイル及び植物性オメガ−３が含有された化粧料組成物の製造方法とエゴマ油ビューティーオイル及び植物性オメガ−３を有効成分として含有する化粧料組成物。

Also Published As

Publication number Publication date
US10546391B2 (en) 2020-01-28
KR102528004B1 (ko) 2023-05-02
US20180025508A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
KR102528004B1 (ko) 어라운드 뷰 생성 장치 및 그 방법
US20170259830A1 (en) Moving amount derivation apparatus
JP2009129001A (ja) 運転支援システム、車両、立体物領域推定方法
JP2001320652A (ja) プロジェクタ装置
KR101808092B1 (ko) 어라운드뷰 모니터링 영상 자동 보정 및 생성 장치 및 방법
US11880993B2 (en) Image processing device, driving assistance system, image processing method, and program
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
KR20170111504A (ko) Avm 시스템 어라운드 영상 정합성 평가방법 및 장치
JP2020060550A (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
KR101716973B1 (ko) 스테레오 영상 기반 도로상의 차량 검출 장치 및 방법
JP6874850B2 (ja) 物体検知装置、物体検知方法、及びプログラム
KR100934904B1 (ko) 거리 추정 장치 및 추정 방법
KR20150101806A (ko) 그리드 패턴의 자동인식을 이용한 어라운드뷰 모니터링 시스템 및 방법
US20120128211A1 (en) Distance calculation device for vehicle
JP4696925B2 (ja) 画像処理装置
KR102522609B1 (ko) 어라운드 뷰 모니터링 시스템 및 이의 동작 방법
JP6577595B2 (ja) 車両用外界認識装置
CN115546312A (zh) 一种相机外参数的校正方法及装置
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
JP2003323627A (ja) 車両検出装置及び方法
KR101762117B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
KR20150028532A (ko) 카메라 영상 보정 장치 및 그 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant