KR101816449B1 - 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법 - Google Patents

다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법 Download PDF

Info

Publication number
KR101816449B1
KR101816449B1 KR1020160136533A KR20160136533A KR101816449B1 KR 101816449 B1 KR101816449 B1 KR 101816449B1 KR 1020160136533 A KR1020160136533 A KR 1020160136533A KR 20160136533 A KR20160136533 A KR 20160136533A KR 101816449 B1 KR101816449 B1 KR 101816449B1
Authority
KR
South Korea
Prior art keywords
image
camera
parameter
value
camera parameter
Prior art date
Application number
KR1020160136533A
Other languages
English (en)
Inventor
최진욱
심인욱
오태현
권인소
Original Assignee
현대자동차주식회사
기아자동차주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사, 한국과학기술원 filed Critical 현대자동차주식회사
Priority to KR1020160136533A priority Critical patent/KR101816449B1/ko
Priority to US15/367,041 priority patent/US10230900B2/en
Priority to CN201710060893.2A priority patent/CN107968918B/zh
Priority to DE102017201286.2A priority patent/DE102017201286A1/de
Application granted granted Critical
Publication of KR101816449B1 publication Critical patent/KR101816449B1/ko

Links

Images

Classifications

    • H04N5/2353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2351—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Abstract

본 발명의 실시예에 따른 다시점 카메라 노출 제어 시스템은 서로 다른 시점을 가지는 복수개의 카메라; 상기 복수개의 카메라 각각에 대한 단일 영상 기반 카메라 파라미터를 산출하는 단일 영상 기반 카메라 파라미터 산출부; 상기 복수개의 카메라로부터 획득된 영상 데이터의 중첩 영역 간의 이미지 밝기 차이인 이미지 인텐시티 비율(intensity ratio)을 산출하는 이미지 인텐시티 비율 산출부; 및 상기 단일 영상기반 카메라 파라미터와 상기 이미지 인텐시티 비율을 기반으로 상기 복수개의 카메라의 각 영상의 인텐시티 차이를 보정할 수 있는 다중 영상 기반 카메라 파라미터를 산출하는 다중 영상 기반 카메라 파라미터 산출부를 포함할 수 있다.

Description

다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법{APPARATUS FOR INTEGRATED ADJUSTING MULTI VIEW CAMERA EXPOSURE, SYSTEM HAVING THE SAME AND METHOD THEREOF}
본 발명은 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법에 관한 것이다.
운전자가 차량을 주행하면서 사이드 미러(mirror)나 후사경을 통해 관찰할 수 있는 주위의 상황에는 사각이 존재한다. 이는 저속으로 주행하더라도 주차하는 경우나 정차 이후 출발 상황 등에서 차량의 손상을 유발시키거나 사각에 있는 보행자의 생명을 위협하기에 충분하다. 이러한 문제점들을 센서나 카메라 등을 이용하여 극복하고 있는데 대표적으로 어라운드 뷰 모니터링 (Around View Monitoring; AVM)과 같은 방법이 활용되고 있다. 어라운드 뷰 모니터링은 다수의 광각카메라를 이용해 촬영한 영상들을 이용하여 차량 주위의 상황을 차량 위에서 내려다 보는 것과 같이 협각영상으로 변환 후 합성하여 운전자의 시야 확보에 도움을 주는 방법이다.
지금까지의 AVM은 각 카메라 별로 카메라 파라미터를 독립적으로만 조정하여, 카메라간의 영상 화질의 차이가 조명조건에 따라 매우 크게 나타날 경우가 존재하고, 이는 AVM 영상 품질 저하에 상당한 영향을 미치고 있다. 이런 이미지간의 차이를 줄이기 위해 이미지 이퀄라이제이션(Image equalization)이나 이미지 블랜딩(Image blending) 같은 후처리(Post-processing) 기법을 사용해 왔다. 그러나 기존의 이러한 방법들은 이미지 자체의 정보량의 손실을 초래할 수 있고, 획득한 이미지의 차이가 심할 경우 후처리 방법만으로는 이미지 차이를 최소화하기에 역부족이었다.
본 발명의 실시예는 복수의 카메라 각각의 카메라 파라미터 자체를 보정하여 중첩된 영상의 차이를 보정함으로써 영상 데이터 손실을 최소화함과 동시에 최적의 노출값을 결정할 수 있는 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 다시점 카메라 노출 제어 시스템은 서로 다른 시점을 가지는 복수개의 카메라; 상기 복수개의 카메라 각각에 대한 단일 영상 기반 카메라 파라미터를 산출하는 단일 영상 기반 카메라 파라미터 산출부; 상기 복수개의 카메라로부터 획득된 영상 데이터의 중첩 영역 간의 이미지 밝기 차이인 이미지 인텐시티 비율(intensity ratio)을 산출하는 이미지 인텐시티 비율 산출부; 및 상기 단일 영상기반 카메라 파라미터와 상기 이미지 인텐시티 비율을 기반으로 상기 복수개의 카메라의 각 영상의 인텐시티 차이를 보정할 수 있는 다중 영상 기반 카메라 파라미터를 산출하는 다중 영상 기반 카메라 파라미터 산출부를 포함할 수 있다.
일 실시예에서, 상기 다중 영상 기반 카메라 파라미터를 기반으로 상기 복수개의 카메라의 노출값을 제어하는 노출 제어부를 더 포함할 수 있다.
일 실시예에서, 상기 복수개의 카메라는 차량 전방을 촬영하는 제 1 카메라; 차량 좌측을 촬영하는 제 2 카메라; 차량 우측을 촬영하는 제 3 카메라; 및 차량 후방을 촬영하는 제 4 카메라 중 적어도 하나 이상을 포함할 수 있다.
일 실시예에서, 상기 단일 영상 기반 카메라 파라미터 산출부는, 상기 복수개의 카메라 촬영된 각각의 영상 데이터별 밝기를 변경하여 상기 각각의 영상 데이터별 복수의 가상 이미지를 생성하는 가상 이미지 생성부; 상기 복수의 가상 이미지 각각의 특징값을 추출하여 복수의 특징값 이미지를 생성하는 특징값 이미지 생성부; 및 상기 복수의 특징값 이미지로부터 획득한 특징값과 밝기의 관계를 이용하여 상기 단일 영상 기반 파라미터를 산출하는 파라미터 산출부를 포함할 수 있다.
일 실시예에서, 상기 파라미터 산출부는, 상기 단일 영상 기반 카메라 파라미터가 지수함수적으로 증가 또는 감소하도록 산출할 수 있다.
일 실시예에서, 상기 이미지 인텐시티 비율 산출부는, 메디안(median) 필터링 알고리즘과 평균(mean) 필터링 알고리즘을 기반으로 상기 이미지 인텐시티 비율을 산출할 수 있다.
일 실시예에서, 상기 이미지 인텐시티 비율 산출부는, 상기 복수개의 카메라 중 제 1 카메라에서 촬영된 제 1 영상 데이터와 제 2 카메라에서 촬영된 제 2 영상 데이터의 중첩 영역에 있어서, 제 1 영상데이터에 정의된 이미지 패치(image patch)의 픽셀 평균값을 제 2 영상 데이터에 정의된 이미지 패치의 픽셀 평균값으로 나눈 값의 중간값을 상기 이미지 인텐시티 비율로서 산출 할 수 있다.
일 실시예에서, 상기 다중 영상 기반 카메라 파라미터 산출부는, 상기 단일 영상 기반 카메라 파라미터에 의한 다음 프레임의 노출값을 기반으로 단일 영상 기반 카메라 파라미터의 값을 반영하는 제 1 코스트 펑션(cost function)과 상기 단일 영상 기반 카메라 파라미터에 의한 현재 프레임의 노출값 및 상기 이미지 인텐시티 비율을 기반으로 다중 영상 기반 카메라 파라미터의 값을 반영하는 제 2 코스트 펑션을 유도하는 코스트 펑션 유도부; 및 상기 제 1 코스트 펑션 및 상기 제 2 코스트 펑션이 최소화되도록 카메라 파라미터를 산출하는 최적 파라미터 산출부를 포함 할 수 있다.
일 실시예에서, 상기 코스트 펑션 유도부는, 상기 중첩영역에서의 인텐시티 차이가 크면, 현재 프레임의 노출값을 증가시켜 상기 중첩영역에서의 인텐시티 차이가 감소하도록 상기 제 2 코스트 펑션을 유도할 수 있다.
일 실시예에서, 단일 영상의 현재 프레임의 카메라 파라미터와 다음 프레임의 카메라 파라미터를 이용한 노출도비를 이용하여 밸런스 파라미터를 조정하는 밸런스 파라미터 조정부를 더 포함 할 수 있다.
일 실시예에서, 상기 코스트 펑션 유도부는 상기 밸런스 파라미터를 기반으로 상기 코스트 펑션을 유도할 수 있다.
일 실시예에서, 상기 최적 파라미터 산출부는, 상기 코스트 펑션의 값이 최소화되는 노출값을 최적의 카메라 파라미터값으로 산출할 수 있다.
본 발명의 실시예에 따른 다시점 카메라 노출 제어 장치는 단일 영상 기반 카메라 파라미터에 의한 다음 프레임의 노출값을 기반으로 단일 영상 기반 카메라 파라미터의 값을 반영하는 제 1 코스트 펑션(cost function)과 상기 단일 영상 기반 카메라 파라미터에 의한 현재 프레임의 노출값 및 이미지 인텐시티(intensity) 비율을 기반으로 다중 영상 기반 카메라 파라미터의 값을 반영하는 제 2 코스트 펑션을 유도하는 코스트 펑션 유도부; 및 상기 제 1 코스트 펑션 및 상기 제 2 코스트 펑션이 최소화되도록 카메라 파라미터를 산출하는 최적 파라미터 산출부를 포함 할 수 있다.
일 실시예에서, 단일 영상의 현재 프레임의 카메라 파라미터와 다음 프레임의 카메라 파라미터를 이용한 노출도비를 이용하여, 상기 코스트 펑션을 유도를 위해 사용되는 밸런스 파라미터를 조정하는 밸런스 파라미터를 더 포함할 수 있다.
본 발명의 실시예에 따른 하는 다시점 카메라 노출 제어 방법은 서로 다른 시점을 가지는 복수개의 카메라 각각에 대해 단일 영상 기반 카메라 파라미터를 산출하는 단계; 상기 복수개의 카메라로부터 촬영된 영상의 중첩영역 간의 이미지 인텐시티(intensity) 비율을 산출하는 단계; 및 상기 이미지 인텐시티 비율과 단일 영상 기반 카메라 파라미터를 이용하여 다중 영상 기반 카메라 파라미터를 산출하는 단계를 포함할 수 있다.
본 기술은 다중 시점 카메라들 간의 영상 화질 차이를 최소화하고 단일 카메라 파라미터에 의한 변화량을 고려하여 최적의 노출값을 갖도록 카메라 파라미터를 제어함으로써, 다중 카메라를 사용하는 AVM(Around View Monitoring) 의 영상 화질을 개선할 수 있다.
도 1은 본 발명의 실시예에 따른 다시점 카메라 노출 제어 시스템의 구성도이다.
도 2는 도 1의 단일 영상 기반 카메라 파라미터 산출부의 세부 구성도이다.
도 3A는 본 발명의 실시예에 따른 곡선결정변수 Kp가 1일 때 단일 영상 기반 카메라 파라미터 계산 함수 반응 그래프이다.
도 3B는 본 발명의 실시예에 따른 경사각 d가 4일 때 단일 영상 기반 카메라 파라미터 계산 함수 반응 그래프이다.
도 4는 도 1의 다중 영상 기반 카메라 파라미터 산출부의 세부 구성도이다.
도 5는 본 발명의 실시예에 따른 다시점 카메라 노출 제어 방법을 나타내는 순서도이다.
도 6은 도 5에서 단일 영상 기반 카메라 파라미터를 산출하는 과정을 구체화한 순서도이다.
도 7은 본 발명의 실시예에 차량의 다시점 카메라에 의한 차량의 평면을 합성한 도면의 예시도이다.
도 8은 본 발명의 실시예에 따른 각 장면별 노출 제어된 상과 스테레오 매칭 결과를 나타내는 그래프이다.
도 9는 본 발명의 실시예에 따른 다시점 카메라 노출 제어 방법을 적용한 컴퓨터 시스템의 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에서는 일관성 있는 AVM(Around View monitoring) 화질을 위해 연속된 이미지 입력을 가정하여 처리하는 방법으로 이전 카메라 프레임과 현재 프레임으로부터 입력 받는 이미지와 카메라 파라미터를 사용하여 AVM을 구성하는 다중 카메라들의 최적 파라미터를 얻는 방법을 제안한다. 이때, 획득된 최적 파라미터는 다중 카메라들 간의 차이를 최소화하는 최적 수치뿐만 아니라 단일 카메라 시점에서의 최적 수치까지 고려하여 계산될 수 있다.
이하, 도 1 내지 도 9를 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 다시점 카메라 노출 제어 시스템의 구성도이다.
본 발명의 실시예에 따른 다시점 카메라 노출 제어 시스템은 다시점 카메라(100), 단일 영상 기반 카메라 파라미터 산출부(200), 이미지 인텐시티 비율 산출부(300), 다중 영상 기반 카메라 파라미터 산출부(400), 노출 제어부(500)를 포함한다.
다시점 카메라(100)는 촬영 방향이 서로 다른 복수개의 카메라(101, 102, 103)를 구비하며, 본 발명에서는 AVM(Around View Monitoring) 시스템 등에 사용되는 복수개의 카메라(100)로 구현될 수 있다. 즉, 카메라1(101)은 차량 전방을 촬영하는 카메라, 카메라2(102)는 차량의 좌측을, 카메라3(103)는 차량의 우측을, 카메라4(104)는 차량의 후방을 촬영한다. 이처럼 다시점 카메라는 촬영 방향이 서로 다른 복수개의 카메라 또는 복수개의 촬영 방향을 가지도록 회전하는 단일 카메라 등으로 구현될 수 있다. 본 발명에서는 촬영 방향이 다른 영상을 합성할 때 영상 간의 인텐시티 차이를 최소화하도록 카메라 파라미터를 산출하는 것을 특징으로 한다.
단일 영상 기반 카메라 파라미터 산출부(200)는 복수개의 카메라(101, 102, 103)에서 촬영된 각 영상 데이터별 복수의 가상 이미지를 생성하고 복수의 가상 이미지 각각의 특징값을 추출하여 복수의 특징값 이미지를 생성하고 특징값을 최대화하는 단일 영상 기반 카메라 파라미터를 산출한다.
Figure 112016101990900-pat00001
Et+1은 단일 카메라로부터 촬영된 영상 데이터에서 t+1 프레임에서의 최적 노출값 즉 카메라 파라미터이다. Et은 단일 카메라로부터 촬영된 영상 데이터에서 t 프레임에서의 노출값으로, 현재의 카메라 파라미터이다.
Figure 112016101990900-pat00002
는 최적 감마 보정값이고, d는 경사각(slope angle)을 의미한다. Kp는 곡선결정변수이다. 이때, 감마 보정값(
Figure 112016101990900-pat00003
)는 카메라 파라미터가 변화해야할 방향성을 나타내는 값으로 한장의 이미지를 이용하여 산출될 수 있다.
또한, 함수 S(function S)는 감마 보정값(
Figure 112016101990900-pat00004
)의 값에 따라 다음 프레임에서의 카메라 노출값을 결정하는 함수로서 도 3A 및 도 3와 같이 동작한다. 만약 감마 보정값(
Figure 112016101990900-pat00005
)이 1보다 크면 카메라 파라미터는 도 3A 및 도 3B의 비율에 따라 감소하게 되어 카메라는 현재보다 어두운 환경에서 촬영하게 된다. 반대로 감마 보정값(
Figure 112016101990900-pat00006
)이 1보다 작으면 카메라 파라미터는 증가하게 되어 카메라는 현재보다 밝은 환경에서 촬영하게 된다. 즉, 수학식 1은 현재 노출값을 기준으로 추정된 최적의 감마 보정값(
Figure 112016101990900-pat00007
)을 이용하여 다음 프레임의 최적 노출값을 결정하는 방법을 나타낸다.
본 발명에서는 단일 영상 기반 카메라 파라미터를 산출하기 위해 수학식 1을 이용하는 예를 개시하고 있으나, 이에 한정하지 않고 기존의 자동 노출 방법 중 어느 하나를 이용하여 단일 영상 기반 카메라 파라미터를 산출할 수 있다.
도 3A 및 도 3B는 감마 보정값(
Figure 112016101990900-pat00008
)과 노출도비(
Figure 112016101990900-pat00009
)의 관계 그래프이다. 즉, 도 3A는 본 발명의 실시예에 따른 곡선결정변수 Kp가 1일 때 단일 영상 기반 카메라 파라미터 계산 함수 반응 그래프이고, 도 3B는 본 발명의 실시예에 따른 경사각 d가 4일 때 단일 영상 기반 카메라 파라미터 계산 함수 반응 그래프이다. 도 3A 및 도 3B를 참조하면 노출도 제어함수가 지수함수적으로 증가 또는 감소하도록 함으로서 노출도 제어 성능이 더욱 향상될 수 있다.
이미지 인텐시티 비율 산출부(300)는 메디안(median) 필터링 알고리즘과 평균(mean) 필터링 알고리즘을 기반으로 이미지 인텐시티 비율을 산출하며, 이미지 인텐시티 비율(rij)는 아래 수학식 2를 통해 산출될 수 있다.
Figure 112016101990900-pat00010
수학식 2에서 Pi는 i번째 카메라의 영상에서 정의된 이미지 패치의 픽셀값을 의미하고, Pj는 j번째 카메라의 영상에서 정의된 이미지 패치의 픽셀값을 의미한다. 즉, 이미지 인텐시티 비율 산출부(300)는 i번째 카메라의 영상과 j번째 카메라의 영상의 중첩영역에서의 인텐시티 차이값인 인텐시티 비율을 산출한다.
예를 들어, 차량 전방 영상과 차량 좌측 영상의 경우 합성 시 일부 중첩되는 영역이 발생하는데, 이 중첩되는 영역에 인텐시티 차이가 발생하게 된다. 이에 중첩되는 영역의 인텐시티 비율을 산출하여 카메라 노출 파라미터 산출 시 인텐시티 비율을 고려하여 산출하도록 할 수 있다. 즉, 중첩영역에서의 이미지 인텐시티 차이가 크면 인텐시티 비율(rij)을 이용하여 현재 카메라의 파라미터값을 증가시켜 중첩영역의 인텐시티 차이를 감소시킨다.
수학식 2를 참조하면, 이미지 패치의 픽셀값인 Pj의 평균값을 Pi의 평균값으로 나눈 값의 중간값(median)을 이미지 인텐시티 비율(rij)로서 산출한다.
다중 영상 기반 카메라 파라미터 산출부(400)는 단일 영상 기반 카메라 파라미터의 값을 반영한 코스트 펑션(Cost function; C1)과 다중 영상 기반 카메라 파라미터 값을 반영하는 코스트 펑션(C2)를 유도한다. 즉 중첩영역에서의 이미지 인텐시티 차이가 크면 인텐시티 비율(rij))을 이용하여 현재 카메라의 파라미터값을 증가시켜 중첩영역의 인텐시티 차이를 감소시키도록 코스트 펑션(C2)를 유도한다.
이때 코스트 펑션(C1 , C2)의 유도식은 아래 수학식 3과 같다.
Figure 112016101990900-pat00011
Oi 는 i번째 카메라의 최적 노출값을 의미하고,
Figure 112016101990900-pat00012
는 i번째 카메라의 t+1 시점에서의 노출 파라미터로 단일 영상 기반 다음 파라미터이고,
Figure 112016101990900-pat00013
은 i번째 카메라에서의 t 시점에서의 노출 파라미터로서 현재 파라미터를 의미한다.
아래 수학식 4는 코스트 펑션(C1, C2)이 최소화되는 최적 노출값 Oi를 산출하기 위한 수식이다.
Figure 112016101990900-pat00014
여기서
Figure 112016101990900-pat00015
는 밸런스 파라미터이고 N은 총 카메라 수이다.
밸런스 파라미터인
Figure 112016101990900-pat00016
는 아래 수학식 5와 같이 노출도비(
Figure 112016101990900-pat00017
)를 이용하여 산출될 수 있다.
Figure 112016101990900-pat00018
Oi 는 i번째 카메라의 최적 노출값을 의미하고,
Figure 112016101990900-pat00019
는 i번째 카메라의 t+1 시점에서의 노출 파라미터로 단일 영상 기반 다음 프레임의 카메라 파라미터이고,
Figure 112016101990900-pat00020
은 i번째 카메라에서의 t 시점에서의 노출 파라미터로서 현재 파라미터를 의미한다
수학식 5를 참조하면, 다중 영상 기반 카메라 파라미터 산출부(400)는 수학식 1에서 획득된 단일 영상 기반 다음 파라미터인
Figure 112016101990900-pat00021
와 현재 파라미터인
Figure 112016101990900-pat00022
를 이용하여 밸런스 파라미터인
Figure 112016101990900-pat00023
를 결정한다. 즉 이미지의 특징량이 적으면
Figure 112016101990900-pat00024
와
Figure 112016101990900-pat00025
의 차이값이 커지고 그에 의해 밸런스 파라미터인
Figure 112016101990900-pat00026
도 큰 값으로 결정된다. 단일 카메라의 변화량이 커져야만 하는 상황이라면 아래 수학식 6에서 밸런스 파라미터인
Figure 112016101990900-pat00027
을 증가시켜 단일 카메라의 영향을 크게 만들어줄 수 있다.
아래 수학식 6은 수학식 4의 일반화식을 영상좌표에 맞게 유도한 식으로서, 수학식 4를 영상에 기반하여 처리하는 방법을 나타낸다.
Figure 112017064744917-pat00029
는 i번째, j번째 인텐시티 비율을 의미하고,
Figure 112017064744917-pat00043
는 수학식 1에서 산출되는 단일 영상 기반의 최적화된 노출 파라미터를 의미하고,
Figure 112017064744917-pat00030
은 인텐시티 비율을 고려하는 부분이고, i번째 카메라, j번째 카메라에서의 인텐시티 비율을 통해 다시점 이미지를 고려한 최적화된 노출값을 계산하는 것을 보여준다.
노출 제어부(500)는 다시점 카메라(100)로 노출값을 전달하고 단일 영상 기반 카메라 파라미터 산출부(200) 및 이미지 인텐시티 비율 산출부(300)는 다시점 카메라(100)로부터 노출값이 적용된 이미지를 수신하는 피드백 구조로 구현될 수 있다. 피드백 구조는 카메라 노출값이 최적의 값으로 수렴될 때까지 반복될 수 있다. 즉, 다시점 카메라(100)는 노출 제어부(500)로부터 수신한 노출값을 변경된 기초로 사진 또는 동영상을 촬영하고 촬영한 사진 또는 동영상의 정보를 단일 영상 기반 카메라 파라미터 산출부(200) 및 이미지 인텐시티 비율 산출부(300)로 제공할 수 있다.
도 1에서는 다중 시점 카메라(100)와 단일 영상기반 카메라 파라미터 산출부(200), 이미지 인텐시티 비율 산출부(300)가 분리되어 있는 구성으로 개시되어 있으나, 단일 영상기반 카메라 파라미터 산출부(200) 및/또는 이미지 인텐시티 비율 산출부(300)는 다중 시점 카메라(100) 각각과 통합되어 하나의 모듈로 구비될 수 있다.
또한, 도 1에서는 복수개의 카메라(110, 120, 130)가 하나의 단일 영상 기반 카메라 파라미터 산출부(200) 및 이미지 인텐시티 비율 산출부(300)로 대응되는 구성을 개시하고 있으나, 복수개의 카메라(110, 120, 130) 각각에 대해 단일 영상 기반 카메라 파라미터 산출부(200) 및 이미지 인텐시티 비율 산출부(300)를 각각 구비할 수 있다.
도 2는 도 1의 단일 영상 기반 카메라 파라미터 산출부의 세부 구성도이다.
단일 영상 기반 카메라 파라미터 산출부(200)는 이미지의 특징값(features)과 카메라 노출값과의 관계를 추출하고 이를 기초로 카메라 노출값을 반복적으로 변경하여 최적의 단일 영상 기반 카메라 파라미터를 산출한다. 여기서, 특징값은 이미지에서 추출되는 엣지(edge) 정보나 변화량(gradient)정보를 포함한다.
이를 위해 단일 영상 기반 카메라 파라미터 산출부(200)는 이미지 수신부(210), 가상 이미지 생성부(220), 특정값 이미지 생성부(230), 파라미터 산출부(240)를 포함한다.
이미지 수신부(210)는 복수의 카메라 (110, 120, 130) 각각으로부터 특정 노출도(exposure level)(Et)에 의해 촬영된 이미지를 수신한다.
가상 이미지 생성부(220)는 촬영 이미지의 밝기를 다양하게 변경하여 복수의 가상 이미지(11, 12, 13, 14, 15, 16, 17)를 생성한다. 이미지 특징값은 이미지에 포함된 엣지 정보나 변화량(gradient) 정보이다.
특징값 이미지 생성부(230)는 복수의 가상 이미지 각각의 특징값을 추출하여 복수의 특징값 이미지를 생성한다. 이때, 이미지에서 변화량 크기는 꼬리가 두꺼운 분포(heavy tailed distribution) 특성을 가지는 것으로 알려져 있다. 따라서, 대부분의 변화량을 최대 변화량보다 상대적으로 작은 값을 가지는 반면 배경과 사물의 경계에서 변화량이 크게 나타난다. 만약 이미지에서 추출한 변화량을 그대로 이용하는 경우 상대적으로 중요도가 낮은 배경과 사물의 경계가 중요한 정보로 인코딩된다. 따라서, 특정값 이미지 생성부(230)는 작은 변화량과 큰 변화량의 중요도의 균형을 맞추기 위해 비선형 함수를 이용하여 픽셀의 실제 변화량을 보정한다.
파라미터 산출부(240)는 복수의 특징값 이미지로부터 획득한 특징값과 밝기의 관계를 이용하여 기준 밝기를 추정하고 기준 밝기가 촬영 이미지보다 밝으면 카메라의 노출값을 올리도록 제어하기 위한 최적의 단일 영상 기반 카메라 파라미터를 산출한다.
도 4은 도 1의 다중 영상 기반 카메라 파라미터 산출부의 세부 구성도이다.
다중 영상 기반 카메라 파라미터 산출부(400)는 코스트 펑션 유도부(410), 밸런스 파라미터 조정부(420), 최적 파라미터 산출부(430)를 포함한다.
코스트 펑션 유도부(410)는 상술한 수학식 3을 이용하여, 단일 영상 기반 카메라 파라미터의 값을 반영한 코스트 펑션(Cost function; C1)과 다중 영상 기반 카메라 파라미터 값을 반영하는 코스트 펑션(C2)를 유도한다.
밸런스 파라미터 조정부(420)는 상술한 수학식 5와 같이, 노출도비(
Figure 112016101990900-pat00031
)를 이용하여 밸런스 파라미터인
Figure 112016101990900-pat00032
를 산출할 수 있다.
최적 파라미터 산출부(430)는 인텐시티 비율(rij)을 이용하여 최적의 카메라 파라미터를 산출한다.
이하, 도 5를 참조하여 본 발명의 실시예에 따른 다시점 카메라 노출 제어 방법을 설명하기로 한다.
단일 영상 기반 카메라 파라미터 산출부(200)는 복수개의 카메라 각각에 대해 단일 영상 기반 카메라 파라미터를 산출한다(S100).
그 후 이미지 인텐시티 비율 산출부(300)는 중첩영역간의 이미지 인텐시티 비율을 산출한다(S200).
이어, 다중 영상 기반 카메라 파라미터 산출부(400)는 이미지 인텐시티 비율과 단일 영상 기반 다음 카메라 파라미터의 값을 이용하여 다중 영상 기반 다음 카메라 파라미터를 산출한다(S300).
이하, 도 6을 참조하여 도 5에서 단일 영상 기반 카메라 파라미터를 산출하는 과정을 구체적으로 설명하기로 한다.
먼저, 단일 영상 기반 카메라 파라미터 산출부(200)는 감마 보정으로 촬영 이미지의 노출을 다양하게 변경하여 복수의 가상 이미지를 생성한다.
단일 영상 기반 카메라 파라미터 산출부(200)는 복수개의 카메라 각각으로부터 각 카메라에서 촬영된 촬영 이미지를 수신하고(S110), 각 카메라에서 촬영된 촬영 이미지 각각에 대해 감마 보정으로 촬영 이미지의 노출을 다양하게 변경하여 복수의 가상 이미지를 생성한다(S120).
그 후, 단일 영상 기반 카메라 파라미터 산출부(200)는 복수의 가상 이미지 각각의 초기 특징값 이미지를 생성하고(S130), 비선형 함수를 이용하여 각 초기 특징값 이미지의 픽셀별 특징값을 보정하여 보정 특징값 이미지를 생성한다(S140).
그 후, 단일 영상 기반 카메라 파라미터 산출부(200)는 복수의 보정 특징값 이미지 중에서 특징값이 가장 큰 이미지를 추출하고(S150), 추출한 이미지의 감마값을 이용하여 카메라의 보정 노출값을 추출한다(S160).
단일 영상 기반 카메라 파라미터 산출부(200)는 카메라의 노출값이 특정 값으로 수렴하는지를 판단하여 수렵하는 경우 최적의 단일 카메라 파라미터(노출값)를 산출한다(S170).
도 7은 본 발명의 실시예에 차량의 다시점 카메라에 의한 차량의 평면을 합성한 도면의 예시도이다. (a)는 기존 자동 노출 방법이 적용된 예시이고, (b)는 각 카메라별 독립적 노출제어를 수행한 예시이며, (c)는 본 발명에 의한 다시점 카메라 통합 노출 제어가 적용된 예시도이다.
도 7을 참조하면, 본 발명의 다시점 카메라 통합 노출 제어에 의한 영상인 (c)의 경우 합성 영상이 최적의 노출을 유지하고 각 영상간 밸런스가 향상되었음을 확인할 수 있다.
도 8은 본 발명의 실시예에 따른 각 장면별 노출 제어된 상과 스테레오 매칭 결과를 나타내는 그래프이다. (a)는 노출 조정된 좌측영상을 기존 방식으로 노출제어한 경우와 본 발명에 의한 노출 제어한 영상의 비교이, (b)는 노출 조정된 우측영상이며, (c)는 좌우영상에 기반한 블록매칭 결과이고 (d)는 좌우영상에 기반한 스테레오 매칭(SGM) 결과의 기존과 본 발명의 비교를 나타낸다. 도 8을 참조하면 본 발명에 의한 노출 제어에 의해 획득된 영상에서 스테레오 매칭의 성능이 향상되는 것을 확인할 수 있다.
본 발명에서 복수개의 카메라의 파라미터를 보정하기 위해, 인접한 카메라 간의 중첩 영역에서의 영상 밝기(image intensity)의 차이의 비율 기반으로 카메라 파라미터 보정을 수행한다.
즉, 영상간의 노이즈와 중첩 영역 합성에서의 에러에 대한 노이즈의 영향을 최소화하기 위해 간단한 평균 필터(mean filter)와 메디안 필터(median filter)를 구비한다. 또한, 중첩영역에서의 영상 간 밝기 비율이 최소가 되도록 인접한 카메라 간의 파라미터를 보정한다. 이러한 과정을 매 카메라 프레임마다 적용하여 단일 카메라를 위한 파라미터와 다중 카메라를 위한 파라미터를 모두 고려하여 최적의 파라미터를 얻을 수 있다.
이와 같이, 본 발명은 AVM 영상에서 복수개의 카메라 영상 데이터를 합성하는 경우 복수개의 카메라의 시점이 서로 달라 조명 환경에 의한 변화에 취약한 경우, 복수개의 영상 데이터의 화질 격차를 줄이기 위한 것으로, 복수개의 카메라로부터 획득된 영상들 간의 밝기와 색감차이를 최소화함과 동시에 단일 카메라 파라미터에 의한 변화량을 고려하여 최적의 노출값을 갖도록 복수의 카메라별 카메라 파라미터를 보정함으로써 AVM 영상의 화질을 개선할 수 있다.
즉, 본 발명은 획득한 이미지를 수정하는 방법(post-processing)이 아닌 카메라 파라미터 자체를 보정하는 방법(pre-processing)을 통해 영상을 개선함으로써, 영상 데이터의 손실을 최소화하고 최적의 노출값을 결정하여 각 이미지간의 차이를 최소화할 수 있다. 또한, 본 발명은 카메라 파라미터별 독립적 노출 제어가 아니라 다시점 카메라들의 파라미터를 직접 통합 노출 제어한다.
또한, 본 발명은 단일 카메라의 노출값을 제어하는 것을 기본으로 하나, 기존의 자동 노출 방법들에도 동일하게 적용이 가능하다.
도 9는 본 발명의 실시예에 따른 다시점 카메라 노출 제어 방법을 적용한 컴퓨터 시스템의 구성도이다.
도 9를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포22함되는 것으로 해석되어야 할 것이다.
100 : 다시점 카메라
200 : 단일 영상 기반 카메라 파라미터 산출부
300 : 이미지 인텐시티(intensity) 비율 산출부
400 : 다중 영상 기반 카메라 파라미터 산출부
500 : 노출 제어부
210 : 이미지 수신부
220 : 가상 이미지 생성부
230 : 특정값 이미지 생성부
240 : 카메라 파라미터 산출부
410 : 코스트 펑션 유도부
420 : 밸런스 파라미터 조정부
430 : 최적 파라미터 산출부

Claims (15)

  1. 서로 다른 시점을 가지는 복수개의 카메라;
    상기 복수개의 카메라 각각에 대한 단일 영상 기반 카메라 파라미터를 산출하는 단일 영상 기반 카메라 파라미터 산출부;
    상기 복수개의 카메라로부터 획득된 영상 데이터의 중첩 영역 간의 밝기 차이인 이미지 인텐시티 비율(intensity ratio)을 산출하는 이미지 인텐시티 비율 산출부; 및
    상기 단일 영상기반 카메라 파라미터와 상기 이미지 인텐시티 비율을 기반으로 상기 복수개의 카메라의 각 영상의 인텐시티 차이를 보정할 수 있는 다중 영상 기반 카메라 파라미터를 산출하는 다중 영상 기반 카메라 파라미터 산출부; 및
    상기 다중 영상 기반 카메라 파라미터를 기반으로 상기 복수개의 카메라 각각의 노출값을 제어하는 노출 제어부;
    를 포함하는 다시점 카메라 노출 제어 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 복수개의 카메라는
    차량 전방을 촬영하는 제 1 카메라;
    차량 좌측을 촬영하는 제 2 카메라;
    차량 우측을 촬영하는 제 3 카메라; 및
    차량 후방을 촬영하는 제 4 카메라 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 다시점 카메라 노출 제어 시스템.
  4. 청구항 1에 있어서,
    상기 단일 영상 기반 카메라 파라미터 산출부는,
    상기 복수개의 카메라 촬영된 각각의 영상 데이터별 밝기를 변경하여 상기 각각의 영상 데이터별 복수의 가상 이미지를 생성하는 가상 이미지 생성부;
    상기 복수의 가상 이미지 각각의 특징값을 추출하여 복수의 특징값 이미지를 생성하는 특징값 이미지 생성부; 및
    상기 복수의 특징값 이미지로부터 획득한 특징값과 밝기의 관계를 이용하여 상기 단일 영상 기반 파라미터를 산출하는 파라미터 산출부
    를 포함하는 것을 특징으로 하는 다시점 카메라 노출 제어 시스템.
  5. 청구항 4에 있어서,
    상기 파라미터 산출부는,
    상기 단일 영상 기반 카메라 파라미터가 지수함수적으로 증가 또는 감소하도록 산출하는 것을 특징으로 하는 다시점 카메라 노출 제어 시스템.
  6. 청구항 1에 있어서,
    상기 이미지 인텐시티 비율 산출부는,
    메디안(median) 필터링 알고리즘과 평균(mean) 필터링 알고리즘을 기반으로 상기 이미지 인텐시티 비율을 산출하는 것을 특징으로 하는 다시점 카메라 노출 제어 시스템.
  7. 청구항 1에 있어서,
    상기 이미지 인텐시티 비율 산출부는,
    상기 복수개의 카메라 중 제 1 카메라에서 촬영된 제 1 영상 데이터와 제 2 카메라에서 촬영된 제 2 영상 데이터의 중첩 영역에 있어서,
    제 1 영상데이터에 정의된 이미지 패치(image patch)의 픽셀 평균값을 제 2 영상 데이터에 정의된 이미지 패치의 픽셀 평균값으로 나눈 값의 중간값을 상기 이미지 인텐시티 비율로서 산출하는 것을 특징으로 하는 다시점 카메라 노출 제어 시스템.
  8. 청구항 7에 있어서,
    상기 다중 영상 기반 카메라 파라미터 산출부는,
    상기 단일 영상 기반 카메라 파라미터에 의한 다음 프레임의 노출값을 기반으로 단일 영상 기반 카메라 파라미터의 값을 반영하는 제 1 코스트 펑션(cost function)과 상기 단일 영상 기반 카메라 파라미터에 의한 현재 프레임의 노출값 및 상기 이미지 인텐시티 비율을 기반으로 다중 영상 기반 카메라 파라미터의 값을 반영하는 제 2 코스트 펑션을 유도하는 코스트 펑션 유도부; 및
    상기 제 1 코스트 펑션 및 상기 제 2 코스트 펑션이 최소화되도록 카메라 파라미터를 산출하는 최적 파라미터 산출부;
    를 포함하는 것을 특징으로 하는 다시점 카메라 노출 제어 시스템.
  9. 청구항 8에 있어서,
    상기 코스트 펑션 유도부는,
    상기 중첩영역에서의 인텐시티 차이가 크면, 현재 프레임의 노출값을 증가시켜 상기 중첩영역에서의 인텐시티 차이가 감소하도록 상기 제 2 코스트 펑션을 유도하는 것을 특징으로 하는 다시점 카메라 노출 제어 시스템.
  10. 청구항 8에 있어서,
    단일 영상의 현재 프레임의 카메라 파라미터와 다음 프레임의 카메라 파라미터를 이용한 노출도비를 이용하여 밸런스 파라미터를 조정하는 밸런스 파라미터 조정부
    를 더 포함하는 것을 특징으로 하는 다시점 카메라 노출 제어 시스템.
  11. 청구항 10에 있어서,
    상기 코스트 펑션 유도부는 상기 밸런스 파라미터를 기반으로 상기 코스트 펑션을 유도하는 것을 특징으로 하는 다시점 카메라 노출 제어 시스템.
  12. 청구항 11에 있어서,
    상기 최적 파라미터 산출부는,
    상기 코스트 펑션의 값이 최소화되는 노출값을 최적의 카메라 파라미터값으로 산출하는 것을 특징으로 하는 다시점 카메라 노출 제어 시스템.
  13. 단일 영상 기반 카메라 파라미터에 의한 다음 프레임의 노출값을 기반으로 단일 영상 기반 카메라 파라미터의 값을 반영하는 제 1 코스트 펑션(cost function)과 상기 단일 영상 기반 카메라 파라미터에 의한 현재 프레임의 노출값 및 이미지 인텐시티(intensity) 비율을 기반으로 다중 영상 기반 카메라 파라미터의 값을 반영하는 제 2 코스트 펑션을 유도하는 코스트 펑션 유도부; 및
    상기 제 1 코스트 펑션 및 상기 제 2 코스트 펑션이 최소화되도록 복수개의 카메라 각각의 노출 제어를 위한 카메라 파라미터를 산출하는 최적 파라미터 산출부;
    를 포함하는 다시점 카메라 노출 제어 장치.
  14. 청구항 13에 있어서,
    단일 영상의 현재 프레임의 카메라 파라미터와 다음 프레임의 카메라 파라미터를 이용한 노출도비를 이용하여, 상기 코스트 펑션을 유도를 위해 사용되는 밸런스 파라미터를 조정하는 밸런스 파라미터
    를 더 포함하는 것을 특징으로 하는 다시점 카메라 노출 제어 장치.
  15. 서로 다른 시점을 가지는 복수개의 카메라 각각에 대해 단일 영상 기반 카메라 파라미터를 산출하는 단계;
    상기 복수개의 카메라로부터 촬영된 영상의 중첩영역 간의 이미지 인텐시티(intensity) 비율을 산출하는 단계;
    상기 이미지 인텐시티 비율과 단일 영상 기반 카메라 파라미터를 이용하여 다중 영상 기반 카메라 파라미터를 산출하는 단계; 및
    상기 다중 영상 기반 카메라 파라미터를 기반으로 상기 복수개의 카메라 각각의 노출값을 제어하는 단계
    를 포함하는 것을 특징으로 하는 다시점 카메라 노출 제어 방법.
KR1020160136533A 2016-10-20 2016-10-20 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법 KR101816449B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160136533A KR101816449B1 (ko) 2016-10-20 2016-10-20 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법
US15/367,041 US10230900B2 (en) 2016-10-20 2016-12-01 Apparatus for controlling exposure of multi-view camera, system including the same, and method for controlling exposure of multi-view camera
CN201710060893.2A CN107968918B (zh) 2016-10-20 2017-01-25 用于控制多视角摄像机的曝光的设备及其系统和方法
DE102017201286.2A DE102017201286A1 (de) 2016-10-20 2017-01-26 Vorrichtung, system und verfahren zum steuern der belichtung einer mehrsicht-kamera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160136533A KR101816449B1 (ko) 2016-10-20 2016-10-20 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101816449B1 true KR101816449B1 (ko) 2018-01-08

Family

ID=61003886

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160136533A KR101816449B1 (ko) 2016-10-20 2016-10-20 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법

Country Status (4)

Country Link
US (1) US10230900B2 (ko)
KR (1) KR101816449B1 (ko)
CN (1) CN107968918B (ko)
DE (1) DE102017201286A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11057570B2 (en) 2018-10-15 2021-07-06 Hyundai Motor Company Vehicle and method for controlling the same

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US11057573B2 (en) 2017-12-20 2021-07-06 Texas Instruments Incorporated Multi camera image processing
CN108632511A (zh) * 2018-05-16 2018-10-09 上海小蚁科技有限公司 全景鱼眼相机的亮度补偿值确定、亮度补偿方法及装置、终端、鱼眼相机
CN108711176B (zh) * 2018-05-16 2021-03-23 上海小蚁科技有限公司 全景鱼眼相机的增益值确定、成像的颜色调整方法及装置、终端、鱼眼相机
CN110049257B (zh) * 2019-05-31 2021-09-21 影石创新科技股份有限公司 一种确定半同步曝光参数的方法及电子装置
CN110300264B (zh) * 2019-06-28 2021-03-12 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端以及存储介质
KR102196032B1 (ko) * 2019-10-21 2020-12-29 한국과학기술원 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090605A (ja) * 2006-10-02 2008-04-17 Matsushita Electric Ind Co Ltd 映像合成装置
JP2011160019A (ja) * 2010-01-29 2011-08-18 Fujitsu Ten Ltd 画像合成装置、及び、画像合成方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4423936A (en) 1982-07-26 1984-01-03 Polaroid Corporation Photographic exposure control system and method
US5049916A (en) 1990-08-23 1991-09-17 Eastman Kodak Company Automatic optimization of photographic exposure parameters through determination and utilization of extra system speed
US5250979A (en) 1992-11-03 1993-10-05 Eastman Kodak Company Technique suited for use in fixed focus cameras for improving image quality for non-standard display sizes and/or different focal length photographing modes
JPH06347862A (ja) 1993-06-08 1994-12-22 Nikon Corp カメラの測光装置
JPH07302064A (ja) * 1994-05-02 1995-11-14 Canon Inc 表示装置
US7289154B2 (en) 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
US6636646B1 (en) 2000-07-20 2003-10-21 Eastman Kodak Company Digital image processing method and for brightness adjustment of digital images
DE10348109A1 (de) * 2003-10-16 2005-05-19 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung
US8013909B2 (en) 2004-12-29 2011-09-06 Nokia Corporation Method and apparatus for adjusting exposure in digital imaging
AU2006225662B2 (en) 2005-03-22 2009-08-13 Olympus Corporation Image processing device and endoscope
DE102006033248B4 (de) * 2006-07-18 2009-10-22 Siemens Ag Verfahren zur Transformation eines verzeichnungskorrigierten Magnetresonanzbilds, Verfahren zur Durchführung von Magnetresonanzmessungen und Bildtransformationseinheit
JP5761601B2 (ja) * 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP5767574B2 (ja) * 2011-11-24 2015-08-19 株式会社沖データ 画像処理装置及び画像処理システム
KR20130117565A (ko) 2012-04-18 2013-10-28 현대모비스 주식회사 영상 밝기 제어 가능한 합성 영상 제공 시스템 및 영상 밝기 제어 방법
JP6244792B2 (ja) 2012-10-05 2017-12-13 株式会社ニコン 撮像装置
EP2913993B1 (en) * 2014-02-26 2016-02-17 Axis AB Method and control unit for controlling exposure of a camera
CN103996220A (zh) * 2014-05-26 2014-08-20 江苏大学 一种智能交通中的三维重建方法及系统
US10328932B2 (en) * 2014-06-02 2019-06-25 Magna Electronics Inc. Parking assist system with annotated map generation
AT515996B1 (de) * 2014-06-23 2016-09-15 Zizala Lichtsysteme Gmbh Verfahren und Scheinwerfer zum Erzeugen einer Lichtverteilung auf einer Fahrbahn
CN105608667A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接的方法及装置
KR101634225B1 (ko) 2014-12-31 2016-06-28 한국과학기술연구원 다시점 입체 영상 보정 장치 및 방법
KR20160136533A (ko) 2015-05-19 2016-11-30 정재훈 전기설비 결함 검출 시스템 및 그 제어방법
KR101679279B1 (ko) 2015-09-10 2016-11-24 한국과학기술원 카메라 노출 조절 장치 및 방법
CN105227858B (zh) * 2015-10-30 2019-03-05 维沃移动通信有限公司 一种图像处理方法及移动终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090605A (ja) * 2006-10-02 2008-04-17 Matsushita Electric Ind Co Ltd 映像合成装置
JP2011160019A (ja) * 2010-01-29 2011-08-18 Fujitsu Ten Ltd 画像合成装置、及び、画像合成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11057570B2 (en) 2018-10-15 2021-07-06 Hyundai Motor Company Vehicle and method for controlling the same

Also Published As

Publication number Publication date
CN107968918B (zh) 2021-03-23
US10230900B2 (en) 2019-03-12
US20180115694A1 (en) 2018-04-26
DE102017201286A1 (de) 2018-04-26
CN107968918A (zh) 2018-04-27

Similar Documents

Publication Publication Date Title
KR101816449B1 (ko) 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법
US9800856B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2019105262A1 (zh) 背景虚化处理方法、装置及设备
US8896625B2 (en) Method and system for fusing images
CN108335279B (zh) 图像融合和hdr成像
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
US9710715B2 (en) Image processing system, image processing device, and image processing method
US20080170124A1 (en) Apparatus and method for blur detection, and apparatus and method for blur correction
CN110213494B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
US20210144354A1 (en) Color balance method and device, on-board equipment and storage medium
US10699377B2 (en) Method, device, and camera for blending a first and a second image having overlapping fields of view
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN113168670A (zh) 使用神经网络的亮点去除
KR20120068655A (ko) 무선통신장치를 이용하여 양질의 홍채 및 피사체 영상을 편리하게 촬영하기 위한 방법 및 한 개의 밴드패스필터로 가시광선과 근적외선 일부영역을 투과시키는 카메라 장치
WO2014012364A1 (zh) 一种多曝光运动图像的校正方法及装置
CN108024057B (zh) 背景虚化处理方法、装置及设备
US10091422B2 (en) Image processing device and recording medium
WO2013148089A2 (en) System and method for performing depth estimation by utilizing an adaptive kernel
CN112261292B (zh) 图像获取方法、终端、芯片及存储介质
US8736707B2 (en) System and method for utilizing scene detection in a depth estimation procedure
JP6624785B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
WO2009110868A1 (en) Method for estimating of direction of motion blur in an image
JP2020067503A (ja) 撮像装置、監視システム、撮像装置の制御方法およびプログラム
CN109118427B (zh) 图像光效处理方法和装置、电子设备、存储介质
TW201634999A (zh) 自動對焦方法及應用該自動對焦方法之裝置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant