KR20230129827A

KR20230129827A - 역광 검출장치 및 방법

Info

Publication number: KR20230129827A
Application number: KR1020220026939A
Authority: KR
Inventors: 송동희
Original assignee: 현대모비스 주식회사
Priority date: 2022-03-02
Filing date: 2022-03-02
Publication date: 2023-09-11
Also published as: US20230281953A1; CN116739962A; EP4239588A1

Abstract

본 개시의 일 측면에 의하면, 영상의 역광을 검출하는 역광 검출장치에 있어서, 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하되, 상기 프로세서는, 미리 설정된 시구간에 대한 상기 영상의 복수의 프레임마다 픽셀값을 제1 임계값을 기초로 변환하고, 동일한 크기의 복수의 블록영역으로 블록화하여 변환프레임을 생성하고, 상기 변환프레임을 기초로 밝기누적 데이터를 생성하고, 상기 밝기누적 데이터에서 상기 블록영역의 블록값이 최대인 블록영역을 역광후보 블록영역으로 결정하고, 상기 역광후보 블록영역의 위치를 기초로 상기 복수의 블록영역을 제1 영역과 제2 영역으로 분류하고, 제1 영역의 블록영역에 대한 블록값의 합 및 제2 영역의 블록영역에 대한 블록값의 합을 이용하여 상기 영상의 역광점수를 계산하고, 상기 역광점수가 미리 설정된 제2 임계값 이상이면 상기 영상을 역광영상으로 결정하는 역광 검출장치를 제공한다.

Description

역광 검출장치 및 방법{Method And Apparatus for Detecting Backlight of Image}

본 개시는 역광의 검출, 자세하게는 영상에서 태양광으로 인하여 발생하는 역광을 검출하는 장치 및 방법에 관한 것이다.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.

자율주행(Autonomous Driving) 및 첨단 운전자 보조 시스템(Advanced Driver Assistance System, ADAS)에서, 차량은 주변환경 및 주행상황을 인지하기 위하여 다양한 센서들, 예를 들면, 카메라, 레이더, 라이다, 초음파센서 등을 이용한다. 그 중에서 카메라를 이용하여 촬영한 영상은 사람의 시각정보와 같이 주변환경에 관한 이미지 정보를 차량에 제공할 수 있다.

자율주행기술의 발전에 따라, 차량에는 카메라를 이용하여 주변환경을 인지하기 위한 다양한 영상인식 시스템이 이용되고 있다. 그러나, 차량의 주변에 존재하는 다양한 광원들로 인하여 역광이 발생할 수 있으며, 역광 상황에서 촬영된 역광영상은 일부 영역의 밝기가 왜곡되어 제대로 판독하기 어렵다. 특히, 강한 태양 빛으로부터 발생하는 역광으로 인하여, 영상인식 시스템에서 주변환경의 오인식 또는 인식실패가 발생할 수 있고, 이는 자율주행 차량의 사고위험 증가 및 자율주행 신뢰도 하락의 원인이 된다.

이러한 역광영상의 문제점을 해결하기 위해 사진 또는 동영상에서 역광 영상을 검출하고, 보정하는 많은 방법들이 제안되어 있다. 그러나 종래의 방법들은 광원의 종류 및 강도 등을 고려함이 없이 역광 여부를 일률적으로 판단하도록 설계되어 있으므로, 영상인식이 가능한 수준의 약한 역광 상황에서도 역광 영상을 보정하여 불필요한 영상의 왜곡을 초래하거나 역광의 검출결과가 부정확해지는 문제가 있다.

일 실시예에 따른 역광 검출장치 및 방법은 영상의 미리 설정된 시구간에 대한 복수의 프레임을 기초로 밝기누적 데이터를 생성하고, 밝기누적 데이터를 기초로 역광점수를 계산하여 다양한 광원 중에서 태양광에 의한 역광영상을 검출할 수 있다.

일 실시예에 따른 역광 검출장치 및 방법은 영상의 미리 설정된 시구간에 대한 복수의 프레임을 기초로 밝기누적 데이터를 생성하고, 밝기누적 데이터를 기초로 역광영상의 심각도(severity)를 결정할 수 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 개시의 다른 측면에 의하면, 영상의 역광 검출방법에 있어서, 미리 설정된 시구간에 대한 상기 영상의 복수의 프레임마다 픽셀값을 제1 임계값을 기초로 변환하고, 동일한 크기의 복수의 블록영역으로 블록화하여 변환프레임을 생성하는 과정; 상기 변환프레임을 기초로 밝기누적 데이터를 생성하는 과정; 상기 밝기누적 데이터에서 상기 블록영역의 블록값이 최대인 블록영역을 역광후보 블록영역으로 결정하는 과정; 상기 역광후보 블록영역의 위치를 기초로 상기 복수의 블록영역을 제1 영역과 제2 영역으로 분류하고, 제1 영역의 블록영역에 대한 블록값의 합 및 제2 영역의 블록영역에 대한 블록값의 합을 이용하여 상기 영상의 역광점수를 계산하는 과정; 상기 역광점수가 미리 설정된 제2 임계값 이상이면 상기 영상을 역광영상으로 결정하는 과정을 포함하는 역광 검출방법을 제공한다.

일 실시예에 의하면, 역광 검출장치 및 방법은 영상의 미리 설정된 시구간에 대한 복수의 프레임을 기초로 밝기누적 데이터를 생성하고, 밝기누적 데이터를 기초로 역광점수를 계산하여 다양한 광원 중에서 태양광에 의한 역광영상을 검출함으로서, 역광 검출의 정확도를 향상시킬 수 있는 효과가 있다.

일 실시예에 의하면, 역광 검출장치 및 방법은 밝기누적 데이터를 기초로 역광영상의 심각도를 결정함으로써, 역광의 심각도에 따라 영상인식이 불가능한 역광상황을 판단하여 영상인식 시스템의 신뢰도를 향상시킬 수 있는 효과가 있다.

도 1은 본 개시의 일 실시예에 따른 역광 검출장치의 블록구성도이다.
도 2는 본 개시의 일 실시예에 따른 역광 검출장치가 변환프레임을 생성하는 과정을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따른 역광 검출장치가 영상의 역광점수를 계산하는 과정을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 역광 검출방법을 설명하기 위한 순서도이다.

이하, 본 개시의 일부 실시예들을 예시적인 도면을 이용해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 개시에 따른 실시예의 구성요소를 설명하는 데 있어서, 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례나 순서 등이 한정되지 않는다. 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

첨부된 도면과 함께 이하에 개시될 발명의 설명은 본 발명의 예시적인 실시 형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시 형태를 나타내고자 하는 것이 아니다.

도 1은 본 개시의 일 실시예에 따른 역광 검출장치의 블록구성도이다.

도 1을 참조하면, 일 실시예에 따른 역광 검출장치(100)는 입출력 인터페이스(input output interface, 110), 프로세서(processor, 120) 및 메모리(memory, 130)를 포함한다. 여기서, 역광 검출장치(100)가 포함하는 입출력 인터페이스(110), 프로세서(120) 및 메모리(130)는 버스(140)를 통하여 상호 데이터를 전송하는 것이 가능하다.

일 실시예에 따라, 역광 검출장치(100)는 차량의 주행을 보조하기 위한 장치로서 일반 차량에 탑재될 수 있을 뿐 아니라, 차량제어에 이용하기 위하여 자율주행 차량에 탑재될 수 있다.

입출력 인터페이스(110)는 차량의 카메라가 촬영한 영상에 관한 데이터를 카메라로부터 획득하여 프로세서(120)에 제공한다. 입출력 인터페이스(110)가 프로세서(120)에 제공하는 데이터는 카메라가 미리 설정된 시간 주기마다 생성한 복수의 연속적인 프레임(frame)일 수 있다. 여기서, 복수의 연속적인 프레임은 영상을 구성하는 복수의 프레임 중에서 미리 설정된 시구간에 대한 프레임일 수 있다.

미리 설정된 시구간에 대한 영상의 프레임은 미리 설정된 제1 시점에서 제2 시점까지의 시간 동안 생성된 프레임일 수 있으나 이에 한정되는 것은 아니며, 프레임의 개수를 기준으로 결정될 수 있다. 예를 들면, 카메라의 프레임 레이트(frame rate)에 따라 미리 설정된 프레임 개수를 기준으로 하여, 입출력 인터페이스(110)는 해당 개수의 연속적인 프레임들을 프로세서(120)에 제공할 수 있다.

프로세서(120)는 영상의 미리 설정된 시구간에 대한 복수의 프레임을 기초로 변환프레임을 생성한다. 여기서, 프로세서(120)는 프레임마다 그에 대응하는 변환프레임을 생성한다. 따라서, 프로세서(120)는 미리 설정된 시구간에 대한 복수의 프레임과 동일한 수의 변환프레임을 생성한다.

프로세서(120)는 프레임의 픽셀값(pixel value)을 제1 임계값을 기초로 변환한다. 여기서, 픽셀값은 해당 프레임을 구성하는 복수 채널에 관한 픽셀값 중에서 밝기에 관한 정보를 나타내는 픽셀값일 수 있다.

예를 들면, 프레임이 RGB 이미지(RGB image)인 경우, 픽셀값은 R채널에서의 픽셀 강도(intensity), G채널에서의 픽셀 강도 및 B채널에서의 픽셀 강도의 평균값이 될 수 있다. 프레임이 HSV(Hue Saturation Value)이미지인 경우, 픽셀값은 명도(value of color)에 대한 V 채널의 픽셀값일 수 있으며, 프레임이 YUV 이미지인 경우, 픽셀값은 밝기(luminance)에 관한 Y 채널의 픽셀값일 수 있다.

제1 임계값은 픽셀값에 관하여 미리 설정된 값이다. 제1 임계값은 역광을 발생시킬 수 있는 매우 강한 밝기의 광원, 예를 들면 태양광을 검출하기 위하여 하나의 픽셀이 가질 수 있는 픽셀값의 범위에서 상대적으로 높은 값으로 설정된다. 예를 들면, RGB 이미지의 경우, 픽셀값의 범위인 0에서 255 중에서 제1 임계값은 220으로 설정될 수 있다.

프로세서(120)는 프레임에 포함된 복수의 픽셀 중에서 제1 임계값 미만인 픽셀값을 갖는 픽셀의 픽셀값을 0으로 변환한다. 따라서, 제1 임계값 이상의 픽셀값을 갖는 픽셀이 추출된다.

프로세서(120)는 프레임의 픽셀값을 변환한 후, 프레임을 동일한 크기를 갖는 복수의 블록영역으로 블록화하여 변환프레임(converted frame)을 생성한다. 여기서, 블록영역의 크기는 미리 설정된 크기, 예를 들면, 하나의 블록영역은 수평방향으로 2개의 픽셀 및 수직방향으로 2개의 픽셀에 대응하는 길이를 갖도록 설정되어, 총 4개의 픽셀마다 하나의 블록 영역으로 설정될 수 있다.

블록영역의 크기는 프레임상에서 나타난 태양의 크기를 기초로 설정될 수 있다. 태양은 카메라로부터 매우 먼 거리에 위치한 피사체이므로 카메라로 촬영된 영상에서 태양은 거의 일정한 크기로 촬영된다. 구체적으로, 촬영된 태양의 크기는 렌즈의 초점거리가 길수록 커지지만 그 외의 촬영조건의 변화에는 거의 일정하다. 따라서, 블록영역의 크기는 프레임상에서 나타난 태양에 해당하는 영역의 크기를 기준으로 설정될 수 있으나 이에 한정되는 것은 아니다.

블록영역은 각 블록영역에 대응하는 블록값을 갖는다. 여기서, 블록값은 블록영역에 해당하는 복수의 픽셀에 대한 평균픽셀값이다. 프로세서(120)는 블록영역에 해당하는 복수의 픽셀에 대한 픽셀값을 기초로 블록값을 계산한다.

프로세서(120)는 복수의 변환프레임을 기초로 하나의 밝기누적 데이터(brightness cumulative data)를 생성한다. 여기서, 밝기누적 데이터는 복수의 변환프레임에서 각 블록영역의 밝기에 관한 블록값을 블록영역별로 미리 설정된 시구간 동안 누적한 값을 기초로 생성된 하나의 2차원 배열 데이터이다.

밝기누적 데이터는 변환프레임과 동일한 개수 및 동일한 배열의 블록영역을 포함한다. 프로세서(120)는 미리 설정된 시구간에 대한 복수의 변환프레임을 기초로 밝기누적 데이터의 블록영역별 블록값을 생성한다.

프로세서(120)는 복수의 변환프레임마다 대응되는 동일한 위치의 블록영역에 대한 블록값을 블록영역별로 합산한다. 프로세서(120)는 블록영역별로 합산된 값을 기초로 밝기누적 데이터에서 대응되는 위치의 블록영역에 대한 블록값을 생성한다.

예를 들면, 미리 설정된 시구간에 대하여 제1 변환프레임, 제2 변환프레임, 제3 변환프레임이 순차적으로 생성되면, 프로세서(120)는 제1 변환프레임의 제1 위치에 해당하는 블록영역의 블록값, 제2 변환프레임의 제1 위치에 해당하는 블록영역의 블록값 및 제3 변환프레임의 제1 위치에 해당하는 블록영역의 블록값을 합산하고, 이를 기초로 밝기누적 데이터의 제1 위치에 해당하는 블록영역의 블록값을 생성한다.

밝기누적 데이터의 블록영역에 대한 블록값은 복수의 변환프레임에서 대응되는 위치의 블록영역에 대한 블록값의 합산값일 수 있으나, 이에 한정되는 것은 아니며, 블록값의 평균값일 수 있다. 예를 들면, 프로세서(120)는 블록값의 합산값을 변환프레임의 개수로 나눈 값을 밝기누적 데이터의 블록영역에 대한 블록값으로 생성할 수 있다.

미리 설정된 시구간 동안 위치가 변화하는 광원의 경우, 각 변환프레임마다 다른 위치의 블록영역에서 큰 블록값으로 나타난다. 따라서, 시간에 따라 위치가 변화하는 광원의 경우에는, 동일한 위치의 블록영역에 블록값이 누적되기 어렵다.

반면에, 미리 설정된 시구간 동안 위치가 변화하지 않는 광원의 경우, 각 변환프레임마다 동일한 위치 또는 그 주변 위치의 블록영역에서 큰 블록값으로 반복적으로 나타나게 된다. 따라서, 위치가 변화하지 않는 광원에 대한 블록값은 동일한 위치의 블록영역에 누적된다.

결과적으로, 밝기누적 데이터에서 블록값이 큰 블록영역은 위치가 변화하지 않는 광원에 관한 것이며, 위치가 변화하는 광원에 관한 블록영역들은 블록값이 누적될수록 위치가 변화하지 않는 광원에 관한 블록영역에 비하여 상대적으로 작은 블록값을 갖게 된다.

낮시간에 차량의 영상인식을 방해하는 역광은 태양광에 의한 역광이 대부분이다. 일반적으로, 움직이고 있는 차량의 카메라가 촬영한 영상에서 움직임의 변화가 없는 광원은 태양광이 유일하다. 따라서, 영상에서 움직이지 않는 광원을 검출하면, 도로상에서 존재하는 다양한 광원들 중에서 태양광을 검출할 수 있다.

프로세서(120)는 밝기누적 데이터에서 블록값이 최대인 블록영역을 역광후보 블록영역으로 결정하고, 역광후보 블록영역(backlight candidate block region)의 위치를 기초로 밝기누적 데이터의 복수의 블록영역을 제1 영역(first region)과 제2 영역(second region)으로 분류한다.

프로세서(120)는 밝기누적 데이터에서 복수의 블록영역 중에서 가장 큰 블록값을 갖는 블록영역을 역광후보 블록영역으로 결정하고, 역광후보 블록영역 및 그 인접한 위치의 복수의 블록영역들을 제1 영역으로 설정한다. 예를 들면, 역광후보 블록영역을 중심으로, 수평방향으로 3개 및 수직방향으로 3개의 블록영역의 범위에 속하는 총 9개의 블록영역을 제1 영역으로 설정할 수 있으나 이에 한정되는 것은 아니다.

프로세서(120)는 밝기누적 데이터에서 복수의 블록영역 중에서 제1 영역 외의 나머지 블록영역들을 제2 영역으로 설정한다.

프로세서(120)는 제1 영역의 블록영역에 대한 블록값의 합 및 제2 영역의 블록영역에 대한 블록값의 합을 이용하여 영상의 역광점수(backlight score)를 계산한다. 구체적으로, 영상의 역광점수는 수학식 1을 기초로 계산된다.

여기서 는 영상의 역광점수이고, 는 제1 영역에 포함된 복수의 블록영역에 대한 블록값들의 합이며, 는 제2 영역에 포함된 복수의 블록영역에 대한 블록값들의 합이다.

제1 영역과 제2 영역간의 밝기 차이가 커질수록 역광점수의 값은 1에 가까워진다. 제1 영역과 제2 영역간의 밝기 차이가 커지면 역광의 발생확률은 높아지므로, 역광점수의 값이 1에 가까워질수록 역광영상일 가능성이 커진다.

프로세서(120)는 영상의 역광점수가 미리 설정된 제2 임계값 이상인 경우 영상을 역광영상이라고 결정한다. 여기서, 제2 임계값은 영상에 역광이 발생할 정도로 제1 영역과 제2 영역 간의 밝기 차이가 큰 경우를 기준으로 하여 설정된 값이다. 제2 임계값은 0 내지 1 사이의 값으로 설정될 수 있다. 예를 들면, 제2 임계값은 0.7로 설정될 수 있으나 이에 한정되는 것은 아니다.

영상이 역광영상으로 결정되면, 프로세서(120)는 제1 영역에 관한 블록값의 합을 기초로 역광의 심각도(severity)를 결정한다. 여기서, 역광의 심각도는 차량의 영상인식 능력에 영향을 미치는 정도에 따라서 미리 설정된 두 개 이상의 심각도 레벨(severity level) 중 어느 하나의 레벨로 결정될 수 있다.

프로세서(120)는 제1 영역의 블록영역에 대한 블록값의 합을 이용하여, 역광의 강도를 계산한다. 구체적으로, 역광의 강도는 수학식 2를 기초로 계산된다.

여기서, 는 역광의 강도이다. 는 제1 영역의 블록영역에 대한 블록값의 합이며, 는 제1 영역의 블록영역에 대한 블록값의 합의 최대값이다. 제1 영역의 블록영역에 대한 블록값의 합의 최대값은 수학식 3을 기초로 계산된다.

여기서, 은 밝기누적 데이터의 블록영역 중에서 제1 영역에 해당하는 블록 영역의 개수이다. 는 밝기누적 데이터의 블록영역이 가질 수 있는 최대 블록값이다. 예를 들면, 복수의 변환프레임이 RGB 이미지를 기초로 생성되었고 밝기누적 데이터의 블록값이 복수의 변환프레임의 블록값들의 평균값인 경우, 밝기누적 데이터의 블록영역이 가질 수 있는 최대 블록값은 255이다.

프로세서(120)는 역광의 강도가 미리 설정된 둘 이상의 역광의 심각도 레벨 중 어느 레벨에 속하는지 여부를 판단한다.

예를 들면, 미리 설정된 역광의 심각도 레벨은 역광의 강도가 0.75 이상이면 높음 레벨, 역광의 강도가 0.3 이상 및 0.75 미만이면 중간 레벨, 및 0.3 미만이면 낮음 레벨로 설정될 수 있다. 프로세서(120)는 역광의 강도를 기초로 역광의 심각도를 높음 레벨, 중간 레벨 및 낮음 레벨 중 어느 하나의 레벨로 결정할 수 있다.

메모리(130)는 역광 검출장치(100)에 의해 사용되거나 그에 의해 출력되는 정보를 저장하기 위한 휘발성 메모리, 영구, 가상 또는 다른 종류의 메모리를 포함할 수 있다. 예를 들면, 메모리(130)는 랜덤 액세스 메모리(random access memory, RAM) 또는 다이내믹 RAM(dynamic RAM, DRAM)을 포함할 수 있다.

메모리(130)는 프로세서(120)의 처리 또는 제어를 위한 프로그램 및 역광 검출장치(100)의 동작을 위한 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(130)에는 카메라가 촬영한 영상의 미리 설정된 시구간에 대한 복수의 프레임, 프로세서(120)가 생성한 복수의 변환프레임과 밝기누적 데이터, 및 영상의 역광 심각도에 관한 정보 중 적어도 하나 이상이 저장될 수 있다. 그리고, 메모리(130)는 제1 임계값, 제2 임계값 또는 미리 설정된 둘 이상의 역광 심각도 레벨과 같은 설정정보를 저장할 수 있다.

도 2는 본 개시의 일 실시예에 따른 역광 검출장치가 변환프레임을 생성하는 과정을 설명하기 위한 도면이다.

도 2의 (a)는 역광 검출장치가 픽셀값을 제1 임계값을 기초로 변환한 프레임(200)을 나타낸 도면이고, 도 2의 (b)는 도 2의 (a)의 프레임(200)을 복수의 블록영역으로 블록화하여 생성한 변환프레임(210)을 나타낸 도면이다.

도 2의 (a)를 참조하면, 프레임(200)에 포함된 복수의 픽셀 중에서 제1 임계값인 220 미만인 픽셀값을 갖는 픽셀의 픽셀값은 모두 0으로 변환된다. 따라서, 220 이상의 픽셀값을 갖는 픽셀이 추출된다.

영상의 프레임 상에서 강한 밝기를 나타내는 영역, 예를 들면, 태양이나 타차량의 램프 조명과 같은 광원이 촬영된 영역에 해당하는 픽셀이 추출되고, 그 외의 영역에 해당하는 픽셀들의 픽셀값은 0으로 변환된다. 따라서, 태양광 픽셀(201) 및 타차량의 램프 조명 픽셀(203)들이 추출된다.

도 2의 (a) 및 도 2의 (b)를 함께 참조하면, 역광 검출장치는 프레임(200)의 픽셀들을 4개의 픽셀을 포함하는 정방형의 블록으로 4개의 픽셀마다 블록화한다. 변환프레임(210)은 수평 방향 및 수직방향으로 각각 2개의 픽셀, 총 4개의 픽셀에 대응하는 위치마다 하나의 블록영역을 포함한다. 여기서, 하나의 블록영역에 대한 블록값은 블록영역에 대응되는 4개의 픽셀에 대한 픽셀값의 평균값이다.

프레임(200)의 태양광 픽셀(201) 및 타차량의 램프 조명 픽셀(203)은 변환프레임(210)의 대응되는 위치에 태양광 블록영역(211) 및 타차량의 램프 조명 블록영역(213)으로 블록화된다.

역광 검출장치는 하나의 프레임(200)마다 대응되는 하나의 변환프레임(210)을 생성한다. 영상을 구성하는 복수의 프레임은 매 프레임마다 픽셀들의 픽셀값이 달라질 수 있으므로, 복수의 변환프레임은 변환프레임마다 각기 다른 블록값의 배열을 가질 수 있다.

도 3은 본 개시의 일 실시예에 따른 역광 검출장치가 영상의 역광점수를 계산하는 과정을 설명하기 위한 도면이다.

도 3을 참조하면, 역광 검출장치는 복수의 변환프레임을 기초로 하나의 밝기누적 데이터(300)를 생성한다. 여기서, 밝기누적 데이터(300)는 변환프레임과 동일한 개수 및 동일한 배열의 블록영역을 포함한다.

밝기누적 데이터(300)의 블록영역별 블록값은 복수의 변환프레임마다 대응되는 동일한 위치의 블록영역들에 대한 블록값의 평균값이다. 여기서, 블록값이 큰 블록영역은 위치가 변화하지 않는 광원에 관한 블록영역이며, 상대적으로 작은 블록값을 갖는 블록영역은 위치가 변화하는 광원에 관한 블록영역이다.

역광 검출장치는 블록값이 최대인 블록영역을 역광후보 블록영역(311)으로 결정하고, 역광후보 블록영역(311) 및 역광후보 블록영역(311)에 인접한 8개의 블록영역들을 제1 영역으로 설정한다. 역광 검출장치는 제1 영역(310) 외의 나머지 블록영역들을 제2 영역(320)으로 설정한다.

역광 검출장치는 제1 영역에 관한 9 개의 블록값의 합 및 제2 영역에 관한 31 개 블록값의 합을 이용하여 영상의 역광점수를 계산한다.

도 4는 본 개시의 일 실시예에 따른 역광 검출방법을 설명하기 위한 순서도이다.

도 4를 참조하면, 역광 검출장치는 영상의 미리 설정된 시구간에 대한 복수의 프레임에 대한 변환프레임을 생성한다(S400). 여기서, 역광 검출장치는 프레임마다 그에 대응하는 변환프레임을 생성한다.

역광 검출장치는 프레임의 픽셀값을 미리 설정된 제1 임계값을 기초로 변환한다. 여기서, 제1 임계값은 픽셀값에 관하여 미리 설정된 값이다. 여기서, 제1 임계값은 역광을 발생시킬 수 있는 강한 밝기의 광원을 검출하기 위하여 하나의 픽셀이 가질 수 있는 픽셀값의 범위에서 상대적으로 높은 값으로 설정된다. 역광 검출장치는 제1 임계값 미만인 픽셀값을 갖는 픽셀의 픽셀값을 0으로 변환한다.

역광 검출장치는 프레임의 픽셀값을 변환한 후, 동일한 크기를 갖는 복수의 블록영역으로 프레임을 블록화하여 변환프레임을 생성한다. 블록영역은 각 블록영역에 대응하는 블록값을 갖는다. 여기서, 블록값은 블록영역에 대응하는 복수의 픽셀에 대한 픽셀값의 평균값이다.

역광 검출장치는 복수의 변환프레임을 기초로 하나의 밝기누적 데이터를 생성한다(S410). 여기서, 밝기누적 데이터는 복수의 변환프레임에서 각 블록영역의 밝기에 관한 블록값을 블록영역별로 미리 설정된 시구간 동안 누적한 값을 기초로 생성된 하나의 2차원 배열 데이터이다. 밝기누적 데이터는 변환프레임과 동일한 개수 및 동일한 배열의 블록영역을 포함한다.

역광 검출장치는 복수의 변환프레임마다 대응되는 동일한 위치의 블록영역에 대한 블록값을 블록영역별로 합산하고, 블록영역별로 합산된 값을 기초로 밝기누적 데이터에서 대응되는 위치의 블록영역에 대한 블록값을 생성한다.

밝기누적 데이터의 블록영역에 대한 블록값은 복수의 변환프레임에서 대응되는 위치의 블록영역에 대한 블록값의 합산값일 수 있으나, 이에 한정되는 것은 아니며, 블록값의 평균값일 수 있다.

역광 검출장치는 밝기누적 데이터에서 역광후보 블록영역을 결정한다(S420). 여기서, 역광후보 블록영역은 밝기누적 데이터의 복수의 블록영역 중에서 블록값이 최대인 블록영역으로 결정된다.

역광 검출장치는 밝기누적 데이터의 복수의 블록영역을 제1 영역과 제2 영역으로 분류하고 역광점수를 계산한다(S430).

역광 검출장치는 밝기누적 데이터의 복수의 블록영역 중에서 역광후보 블록영역 및 그 인접한 위치의 복수의 블록영역들을 제1 영역으로 설정하고, 제1 영역 외의 나머지 블록영역들을 제2 영역으로 설정한다.

역광 검출장치는 제1 영역의 블록영역에 대한 블록값의 합 및 제2 영역의 블록영역에 대한 블록값의 합을 이용하여 영상의 역광점수를 계산한다. 제1 영역과 제2 영역간의 밝기 차이가 커질수록 역광점수는 커지며, 역광점수의 값이 클수록 역광영상일 가능성이 커진다.

역광 검출장치는 역광점수가 미리 설정된 임계값 이상인지 여부를 판단한다(S440). 여기서, 임계값은 영상에 역광이 발생할 정도로 제1 영역과 제2 영역 간의 밝기 차이가 큰 경우를 기준으로 하여 설정된 제2 임계값일 수 있다.

역광점수가 제2 임계값 이상이면, 역광 검출장치는 영상을 역광영상이라고 결정하고 역광의 심각도를 결정한다(S450).

역광 검출장치는 제1 영역의 블록영역에 대한 블록값의 합을 기초로 역광의 강도를 계산하고, 역광의 강도가 미리 설정된 두 개 이상의 역광의 심각도 레벨 중 어느 레벨에 속하는지 여부를 판단한다.

본 개시에 따른 장치 또는 방법의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다.

컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.

본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 역광 검출장치
110: 입출력 인터페이스
120: 프로세서
130: 메모리

Claims

영상의 역광을 검출하는 역광 검출장치에 있어서,
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하되,
상기 프로세서는,
미리 설정된 시구간에 대한 상기 영상의 복수의 프레임마다 픽셀값을 제1 임계값을 기초로 변환하고, 동일한 크기의 복수의 블록영역으로 블록화하여 변환프레임을 생성하고,
상기 변환프레임을 기초로 밝기누적 데이터를 생성하고,
상기 밝기누적 데이터에서 상기 블록영역의 블록값이 최대인 블록영역을 역광후보 블록영역으로 결정하고,
상기 역광후보 블록영역의 위치를 기초로 상기 복수의 블록영역을 제1 영역과 제2 영역으로 분류하고, 제1 영역의 블록영역에 대한 블록값의 합 및 제2 영역의 블록영역에 대한 블록값의 합을 이용하여 상기 영상의 역광점수를 계산하고,
상기 역광점수가 미리 설정된 제2 임계값 이상이면 상기 영상을 역광영상으로 결정하는
역광 검출장치.
제1항에 있어서,
상기 역광 검출장치는,
상기 영상이 역광영상으로 결정되면,
상기 프로세서가 상기 제1 영역의 블록영역에 대한 블록값의 합을 기초로 역광의 심각도를 결정하는
역광 검출장치.
제1항에 있어서,
상기 프로세서는,
상기 프레임을 구성하는 픽셀에 대한 픽셀값을 획득하고,
상기 픽셀에 대한 픽셀값이 미리 설정된 제1 임계값 미만인 경우, 상기 픽셀에 대한 픽셀값을 0으로 변환하는
역광 검출장치.
제3항에 있어서,
상기 픽셀값은
상기 프레임의 복수 채널에 관한 픽셀값 중에서 밝기에 관한 픽셀값인,
역광 검출장치.
제1항에 있어서,
상기 프로세서는,
상기 프레임을 미리 설정된 크기를 갖는 복수의 블록영역으로 구분하고,
상기 블록영역의 블록값을 계산하되,
상기 블록값은 상기 블록영역에 대응되는 복수의 픽셀에 대한 픽셀값의 평균값인
역광 검출장치.
제1항에 있어서,
상기 밝기누적 데이터는,
상기 변환프레임의 블록영역과 동일한 수의 블록영역을 포함하되,
상기 밝기누적 데이터의 블록영역의 블록값은,
상기 변환프레임에서 상기 밝기누적 데이터의 블록영역의 위치와 대응되는 동일한 위치의 블록영역에 대한 블록값을 블록영역별로 합산하여 생성된 값인
역광 검출장치.
제1항에 있어서,
상기 제1 영역은,
상기 밝기누적 데이터가 포함하는 복수의 블록영역 중에서 상기 역광후보 블록영역 및 상기 역광후보 블록영역과 인접한 위치의 복수의 블록영역을 포함하고,
상기 제2 영역은,
상기 밝기누적 데이터가 포함하는 복수의 블록영역 중에서 상기 제1 영역에 해당하는 블록영역을 제외한 나머지 블록영역을 포함하는,
역광 검출장치.
제1항에 있어서,
상기 영상의 역광점수는,
상기 제1 영역의 블록영역에 대한 블록값의 합 및 제2 영역의 블록영역에 대한 블록값의 합 간의 상대적인 비율을 기초로 계산되는
역광 검출장치.
제2항에 있어서,
프로세서는,
상기 제1 영역의 블록영역에 대한 블록값의 합을 기초로 역광의 강도를 계산하고,
상기 역광의 강도를 기초로 상기 영상이 미리 설정된 두 개 이상의 역광의 심각도 레벨 중 어느 레벨에 속하는지 여부를 판단하는,
역광 검출장치.
영상의 역광 검출방법에 있어서,
미리 설정된 시구간에 대한 상기 영상의 복수의 프레임마다 픽셀값을 제1 임계값을 기초로 변환하고, 동일한 크기의 복수의 블록영역으로 블록화하여 변환프레임을 생성하는 과정;
상기 변환프레임을 기초로 밝기누적 데이터를 생성하는 과정;
상기 밝기누적 데이터에서 상기 블록영역의 블록값이 최대인 블록영역을 역광후보 블록영역으로 결정하는 과정;
상기 역광후보 블록영역의 위치를 기초로 상기 복수의 블록영역을 제1 영역과 제2 영역으로 분류하고, 제1 영역의 블록영역에 대한 블록값의 합 및 제2 영역의 블록영역에 대한 블록값의 합을 이용하여 상기 영상의 역광점수를 계산하는 과정;
상기 역광점수가 미리 설정된 제2 임계값 이상이면 상기 영상을 역광영상으로 결정하는 과정을 포함하는
역광 검출방법.
제10항에 있어서,
상기 역광 검출방법은,
상기 영상이 역광영상으로 결정되면,
상기 제1 영역의 블록영역에 대한 블록값의 합을 기초로 역광의 심각도를 결정하는 과정을 더 포함하는
역광 검출방법.
제10항에 있어서,
상기 영상의 복수의 프레임마다 픽셀값을 제1 임계값을 기초로 변환하는 과정은,
상기 프레임을 구성하는 픽셀에 대한 픽셀값을 획득하는 과정; 및
상기 픽셀에 대한 픽셀값이 미리 설정된 제1 임계값 미만인 경우, 상기 픽셀에 대한 픽셀값을 0으로 변환하는 과정을 포함하는
역광 검출방법.
제12항에 있어서,
상기 픽셀값은
상기 프레임의 복수 채널에 관한 픽셀값 중에서 밝기에 관한 픽셀값인,
역광 검출방법.
제10항에 있어서,
상기 변환프레임을 생성하는 과정은,
상기 프레임을 미리 설정된 크기를 갖는 복수의 블록영역으로 구분하는 과정; 및
상기 블록영역의 블록값을 계산하는 과정을 포함하되,
상기 블록값은 상기 블록영역에 대응되는 복수의 픽셀에 대한 픽셀값의 평균값인
역광 검출방법.
제10항에 있어서,
상기 밝기누적 데이터는,
상기 변환프레임의 블록영역과 동일한 수의 블록영역을 포함하되,
상기 밝기누적 데이터의 블록영역의 블록값은,
상기 변환프레임에서 상기 밝기누적 데이터의 블록영역의 위치와 대응되는 동일한 위치의 블록영역에 대한 블록값을 블록영역별로 합산하여 생성된 값인
역광 검출방법.
제10항에 있어서,
상기 제1 영역은,
상기 밝기누적 데이터가 포함하는 복수의 블록영역 중에서 상기 역광후보 블록영역 및 상기 역광후보 블록영역과 인접한 위치의 복수의 블록영역을 포함하고,
상기 제2 영역은,
상기 밝기누적 데이터가 포함하는 복수의 블록영역 중에서 상기 제1 영역에 해당하는 블록영역을 제외한 나머지 블록영역을 포함하는,
역광 검출방법.
제10항에 있어서,
상기 영상의 역광점수는,
상기 제1 영역의 블록영역에 대한 블록값의 합 및 제2 영역의 블록영역에 대한 블록값의 합 간의 상대적인 비율을 기초로 계산되는
역광 검출방법.
제11항에 있어서,
상기 역광의 심각도를 결정하는 과정은,
상기 제1 영역의 블록영역에 대한 블록값의 합을 기초로 역광의 강도를 계산하는 과정;
상기 역광의 강도를 기초로 상기 영상이 미리 설정된 두 개 이상의 역광의 심각도 레벨 중 어느 레벨에 속하는지 여부를 판단하는 과정을 포함하는,
역광 검출방법.