KR102111317B1 - 화질 저하현상 억제를 위한 전달률 계산 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 화질 저하현상 억제를 위한 전달률 계산 시스템 및 그 방법에 관한 것으로서, 대기강도 값 및 사용자제어 멱승값을 입력받아 RGB 최소값 입력에 따른 출력 전달률 값을 매핑하기 위한 룩업테이블을 생성하는 룩업테이블 생성부; 및 RGB 최소값을 입력받아 룩업테이블을 이용하여 각 화소단위의 전달률을 출력하는 전달률 출력부를 포함하되, 룩업테이블 생성부는, 출력 밝기 예측값을 계산하고, 계산된 밝기값과 입력 밝기값 간의 격차를 계산하며, 기 설정된 임계치 이상에 해당하는 격차를 보이는 밝기값의 범위를 계산하고, 계산된 출력 예측값 범위의 화소수 비율에 따른 변형된 출력밝기의 범위를 구하기 위해 임계치 이상 격차 구간의 변형된 밝기값에 대한 범위를 계산하며, 입력 밝기값 구간과 변형된 밝기값에 대한 범위를 토대로 변형된 밝기 예측값을 계산한다.

Description

화질 저하현상 억제를 위한 전달률 계산 시스템 및 그 방법{SYSTEM AND METHOD OF TRANSMISSION RATE CALCULATION FOR SUPPRESSION OF DEGRADATION OF IMAGE QUALITY}

본 발명은 화질 저하현상 억제를 위한 전달률 계산 시스템 및 그 방법에 관한 것으로 더욱 상세하게는, 종래의 전달률 하한치 기반 안개영상 개선시 나타나는 하늘영역의 화질 저하현상을 억제하기 위해 새롭게 전달률을 계산하는 기술에 관한 것이다.

더욱 상세하게는, 안개영상 개선방법의 경우, 안개로 인하여 밝기값이 비슷한 값으로 뭉치면서 가시성이 떨어진 영상에 대해 뭉쳐있는 밝기값의 간격을 벌려 영상의 대비를 향상시키면서 영상개선을 수행하는데, 영상에서 밝기값이 높고 화소수가 많은 하늘영역의 경우에는 영상개선을 수행하여 해당하는 화소영역의 밝기값 간격이 크게 벌어지게 되면 사람 눈에 영상이 층층이 갈라져 보이는 계단현상(false contour)과 같은 화질저하 현상이 발생하기 때문에 영상이 자연스럽게 보이도록 개선하는 작업이 수반된다.

본 발명은 이러한 문제 해결을 위해 예측 출력 밝기값을 계산하고 밝기값이 크게 벌어지게 되는 영상영역의 비율을 고려하여 전달률을 계산함에 따라, 기존 안개영상 개선방법의 전달률 계산방법과는 다르게 하늘영역의 화질 저하현상을 억제하면서도 안개영상 개선이 가능하게 하는 기술에 관한 것이다.

안개환경에서 촬영되는 카메라 영상은 공기 중에 포함된 다양한 입자들에 의해서 색상이 변화되고 명암대비가 감소되어 가시성이 저하되게 된다. 이러한 가시성 저하는 영상처리 및 컴퓨터 비전 분야에서의 영상감시, 사람/물체 검출, 차선인식 등과 같은 다양한 응용분야의 신뢰성을 위협하게 된다. 따라서, 이를 해결하기 위한 안개 영상개선 방법은 카메라 응용분야에 필수적으로 요구되어지는 영역이다.

이러한 안개영상 개선 방법은 다중영상 기반, 추가정보 사용 기반, 단일영상 기반의 방법들이 오랜 기간 동안 다양하게 연구되어져 왔고, 근래에는 구현과 동작의 효율성을 위해 단일 영상으로 안개영상을 개선하는 방법이 주로 연구 및 사용되고 있다.

단일영상 기반의 안개영상 개선 방법은 영상의 밝기대비 확장 방법, 패치 내 RGB 최소값인 DCP(Dark Channel Prior) 기반 방법, DCP에 변형된 중간값 필터 적용 방법, 휘도-색도-돌출 가중치 맵 사용 방법, DCP에 전달률 하한 개념 도입 방법, 로컬 패치 내의 Color-line 기반 방법, 다양한 통계특성 이용 방법, 밝기-채도 차이값의 상관관계 이용 방법, 훈련 학습기반 방법, 색상클러스터에 대한 안개선 이용 방법 등 수많은 연구들이 진행되어져 왔다. 이러한 안개영상 개선 방법들은 동일한 안개모델식에 기반하여 영상의 대기강도, 전달률을 구하여 안개영상 개선을 수행하고 서로 다른 전달률 계산 방법에 기반하여 동작한다.

안개영상 개선방법의 경우 적용되는 분야에 따라 강력한 개선 성능, 영상정보 유지 안정성, 빠른 속도의 수행을 위한 저연산, 다양한 환경에 이식을 위한 호환성 측면의 목적을 가지게 된다. 상기 언급된 안개영상 개선 방법들은 주로 영상의 가시성 확보를 위한 강력한 개선 성능과 안정성을 고려하여 연구되었고, 이에 따라 실제 카메라를 사용하는 응용분야에 적용하기 위한 즉, 빠른 연산이 가능한 수행속도 및 연산량에 대한 고려가 미비해 실시간 적용이 어려운 문제점이 있다.

한편, 한국등록특허 제10-1470831호에서는 빠른 안개영상 개선 수행을 위하여 전달률을 계산하는데 있어서, 입력영상의 R,G,B 최소 밝기값에 대해 화소단위로 전달률 하한치를 구하고 이를 이용하여 안개영상 개선을 수행하는 방법이 개시되었다.

또한, 한국등록특허 제10-1470833호는 화소단위의 전달률 하한치에 대해 안개제거 강도를 사용자가 제어 가능하도록 멱승연산을 통한 전달률 계산 기반의 안개영상 개선방법이 개시되었다.

그리고, 한국등록특허 제10-1756173호에서는 전달률 하한치 기반의 전달률 계산 방법에 영상의 에지성분에서의 후광효과(halo effect) 문제 해결을 위하여 반사성분을 고려한 계산된 전달률의 보정 방법에 기반한 안개영상 개선 방법이 개시되었다.

이처럼 종래의 전달률 하한치 기반의 안개영상 개선 방법들은 크게 도 1에 도시된 바와 같이, 영상입력 단계, RGB 최소값 계산 단계, 대기강도 계산 단계, 전달률 계산 단계, 전달률 보정(에지보존 저역통과 필터링) 단계, 영상복원 단계 및 후처리 단계로 구성될 수 있다.

먼저, 영상입력 단계에서는 카메라로부터 RGB 컬러포맷의 영상을 입력받고, 컬러포맷이 아닌 경우 포맷변환을 수행하여 영상을 입력받는다.

이어서, RGB 최소값 계산 단계는 입력받은 RGB 컬러포맷 영상에 대해서 화소별로 R, G, B 채널의 밝기 값 중에서 가장 작은 값을 계산한다.

뒤이어, 대기강도 계산은 카메라에서 가장 먼 곳에 해당하는 대기의 밝기값을 구하는 과정으로 영상의 최대 밝기값 또는 특정 임계치에 해당하는 밝기값을 사용한다.

그리고, 전달률 계산은 일반적으로 알려진 안개모델식에 기반하여 전달률 하한치와 전달률 하한치에 멱승계산을 통해 구한다. 전달률 계산에 대하여 좀 더 자세히 설명하면 다음과 같다.

카메라에서 획득된 영상은 대기에 포함된 먼지, 안개 등 불순물에 의해 가시성이 훼손되는데, 카메라에서 획득한 영상은 [수학식 1]의 모델로 표현된다.

[수학식 1]

여기서, I(x)는 카메라를 통해 획득된 영상의 x번째 화소값이고, J(x)는 원영상, A는 영상내의 화소중 카메라에서 가장 먼 대기의 밝기값(atmospheric brightness)이다. t(x)는 전달률(transmission rate)로 [수학식 2]와 같이 거리에 따라 지수함수적으로 감소한다.

[수학식 2]

여기서

는 공기의 산란계수(scattering coefficient)이고, d(x)는 x번째 화소에 대응하는 공간상의 점과 카메라 사이의 거리이다. 산란계수

값은 대기중의 입자 크기와 관계가 있는데, 비, 짙은 안개, 황사 또는 연기 등과 같이 큰 입자의 경우

는 1에 근접하고, 날씨가 맑을수록 0에 가까워진다.

따라서, 산란계수

가 일정한 경우 하늘과 같이 거리가 먼 곳은 전달률이 0에 가깝게 되어 [수학식 1]에서

가 되고, 매우 가까운 곳의 화소는 전달률이 1에 근접하므로

이 된다.

안개제거는 카메라로부터 획득한 입력영상 I(x)로부터 A와 t(x)을 구하고, 이를 이용하여 최종적으로 안개가 제거된 J(x)을 복원하는 것이다. 상기 [수학식 1]로부터 전달률과 복원값은 각각 [수학식 3]과 [수학식 4]를 통해 도출할 수 있다.

[수학식 3]

[수학식 4]

한편, 안개가 제거된 영상 J(x)는 0 ≤ J(x) ≤ I(x)을 만족해야하므로 [수학식 4]로부터 전달률 t(x)의 범위는 [수학식 5]와 같이 결정된다.

[수학식 5]

[수학식 5]에서 전달률 하한치(lower bound of transmission rate)

는 짙은 안개로 인해 객체가 보이지 않거나 원래 객체의 밝기(radiance)가 없는 경우의 전달률을 의미한다.

전달률은 공기의 산란계수(scattering coefficient)와 카메라와 물체의 거리의 곱에 따라 지수함수적으로 감소한다. 따라서 대기의 밝기 값(A)이 일정하고, 특정 기상상황에서의 전달률이 전달률 하한치

와 같다면 전달률은 [수학식 6]과 같이 구할 수 있다.

[수학식 6]

여기서, 전달률의 하한값 상황에서의 산란계수는 다른 기상상황에서의 산란계수보다 크기 때문에 산란계수 비율 상수 P는 1보다 작다.

이와 같은 과정을 통해 구해진 전달률과 대기강도를 이용하면 [수학식 4]에 따라 안개가 제거된 복원된 영상 J(x)를 구할 수 있다. 그런데, 이와 같이 화소단위의 전달률을 계산하여 사용하는 경우, 전달률에 반사성분에 대한 정보가 포함되어 있어, 영상개선 효과가 감소한다.

따라서, 계산된 전달률에서 안개 성분에 대한 전달률만 추출하기 위해 전달률 보정(에지보존 저역통과 필터링) 단계를 통해 보정된 전달률을 구하게 된다. 전달률 보정은 일반적인 저역통과 필터나 에지보존형 저역통과 필터의 수행을 통해 동작 가능하다.

영상복원 단계에서는 이렇게 구해진 최종 전달률과 대기강도를 이용하여 안개가 제거된 복원영상 J(x)를 구한다. 이렇게 복원된 영상의 경우 전반적으로 입력영상에 비해 어두워지는 경향이 있고, 특히 어두운 부분이 지나치게 어두워져 가시성이 저하되는 문제가 있다.

이를 해결하기 위해서는 명암 스트레칭 등 명암대비 향상 처리와 같은 후처리 과정이 필요하고, 후처리 단계에서 밝기보정을 통하여 최족적으로 안개가 제거된 복원영상을 출력한다.

이러한 전달률 하한치 기반의 안개영상 개선방법의 경우 적은 연산으로 동작이 가능하여 저연산 영상처리 장치나 휴대형 기기에서 안개영상 개선 수행을 실시간 처리가 가능하다.

하지만 출력영상이 입력영상에 비해 어두워지는 문제가 있어 영상의 선명도와 밝기를 높일 수 있는 밝기변환 처리과정의 후처리 과정이 전달률 계산을 통한 안개영상 개선 수행 과정과 별도로 추가 수행되어지기 때문에 중복되는 연산이 요구되는 문제점이 있다.

또한, 밝기값의 간격을 벌려 안개영상의 가시성을 개선하는데 하늘영역이 영상 내에 넓게 분포되어 있는 경우, 하늘영역에 해당하는 밝기값의 간격이 크게 벌어지면서 화질 열화가 생겨 눈으로 봤을 때 매우 부자연스러운 개선영상을 출력하게 된다.

따라서, 하늘 영역에서의 화질열화 문제를 해결하여 자연스러운 안개영상 개선 결과를 출력할 수 있는 방법이 필요하고 더불어 후처리 과정과 전달률 계산의 통합 연산이 가능하면 전체 연산의 계산 효율성을 높일 수 있다.

한국등록특허 제10-1470833호 한국등록특허 제10-1470833호 한국등록특허 제10-1756173호

본 발명의 목적은, 전달률 계산 과정을 하늘영역의 화질열화 문제를 억제하면서도 룩업테이블(LUT: Look Up Table)을 구성하여 화소단위별로 RGB 최소 밝기값에 대한 전달률 계산을 간소화함으로써, 연산량의 증가 없이 저연산으로 하늘영역의 화질저하 현상을 억제하는데 있다.

이러한 기술적 과제를 달성하기 위한 본 발명의 일 실시예는 지자체 공채형 보팅 토큰 시스템으로서, 대기강도 값 및 사용자제어 멱승값을 입력받아 RGB 최소값 입력에 따른 출력 전달률 값을 매핑하기 위한 룩업테이블을 생성하는 룩업테이블 생성부; 및 RGB 최소값을 입력받아 룩업테이블을 이용하여 각 화소단위의 전달률을 출력하는 전달률 출력부를 포함하되, 룩업테이블 생성부는, 출력 밝기 예측값을 계산하고, 계산된 밝기값과 입력 밝기값 간의 격차를 계산하며, 기 설정된 임계치 이상에 해당하는 격차를 보이는 밝기값의 범위를 계산하고, 계산된 출력 예측값 범위의 화소수 비율에 따른 변형된 출력밝기의 범위를 구하기 위해 임계치 이상 격차 구간의 변형된 밝기값에 대한 범위를 계산하며, 입력 밝기값 구간과 변형된 밝기값에 대한 범위를 토대로 변형된 밝기 예측값을 계산하는 것을 특징으로 한다.

바람직하게는, 룩업테이블 생성부는 대기강도 값 및 사용자제어 멱승값을 입력받아 RGB 최소값의 밝기 범위에 대하여 전달률 하한치 기반으로 도출한 전달률에 따른 출력이 예상되는 밝기값을 계산하는 출력 밝기 예측값 계산모듈; 및 출력 밝기 예측값 계산모듈에 의해 계산된 밝기값과 입력 밝기값 간의 격차를 계산하는 밝기값 격차 계산모듈을 포함하는 것을 특징으로 한다.

룩업테이블 생성부는 입력 밝기값과 계산된 밝기값 간의 격차로부터 기 설정된 임계치 이상에 해당하는 격차를 보이는 밝기값의 범위를 계산하여 임계치 이상 격차 구간의 출력 예측값 범위를 계산하는 예측값 범위 계산 모듈; 및 계산된 출력 예측값 범위의 화소수 비율에 따른 변형된 출력밝기의 범위를 구하기 위해 임계치 이상 격차 구간의 변형된 밝기값에 대한 범위를 계산하는 밝기값 범위 계산 모듈; 입력 밝기값 구간과 변형된 밝기값에 대한 범위를 토대로 변형된 밝기 예측값을 계산하는 변형 밝기 예측값 계산 모듈; 및 변형된 밝기 예측값, RGB 최소값 및 대기강도 값을 기준으로 RGB 최소값에 대한 전달률을 출력을 위한 룩업테이블을 생성하는 룩업테이블 생성모듈을 포함하는 것을 특징으로 한다.

그리고, 전술한 시스템을 기반으로 하는 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 방법은, 룩업테이블 생성부가 대기강도 값 및 사용자제어 명승값을 입력받아 RGB 최소값 입력에 따른 출력 전달률 값을 매핑하기 위한 룩업테이블을 생성하는 (a) 단계; 및 전달률 출력부가 룩업테이블을 통해 RGB 최소값 입력에 대한 전달률을 출력하는 (b) 단계를 포함하는 것을 특징으로 한다.

(a) 단계는, 룩업테이블 생성부가 대기강도 값 및 사용자제어 멱승값을 입력받아 출력이 예상되는 밝기값을 계산하는 (a-1) 단계; 룩업테이블 생성부가 입력 밝기값과 계산한 밝기값 간의 격차를 계산하는 (a-2) 단계; 룩업테이블 생성부가 입력 밝기값과 계산된 밝기값 간의 격차로부터 기 설정된 임계치 이상에 해당하는 격차를 보이는 밝기값의 범위를 계산하여 임계치 이상 격차 구간의 출력 예측값 범위를 계산하는 (a-3) 단계; 룩업테이블 생성부가 계산된 출력 예측값 범위의 화소수 비율에 따른 변형된 출력밝기의 범위를 구하기 위해 임계치 이상 격차 구간의 변형된 밝기값에 대한 범위를 계산하는 (a-4) 단계; 룩업테이블 생성부가 입력 밝기값 구간과 변형된 밝기값에 대한 범위를 토대로 변형된 밝기 예측값을 계산하는 (a-5) 단계; 및 룩업테이블 생성부가 변형된 밝기 예측값, RGB 최소값 및 대기강도 값을 기준으로 RGB 최소값에 대한 전달률을 출력을 위한 룩업테이블을 생성하는 (a-6) 단계를 포함하는 것을 특징으로 한다.

상기와 같은 본 발명에 따르면, 전달률 계산 과정을 하늘영역의 화질열화 문제를 억제하면서도 룩업테이블을 구성하여 화소단위별로 RGB 최소 밝기값에 대한 전달률 계산을 간소화함으로써, 연산량의 증가 없이 저연산으로 하늘영역의 화질저하 현상을 억제하는 효과가 있다.

도 1은 일반적인 전달률 하한치 기반의 안개영상 개선방법을 도시한 블록도.
도 2는 전달률 하한치 기반의 안개영상 개선방법에의 영상개선 결과를 도시한 예시도.
도 3은 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 시스템을 도시한 블록도.
도 4는 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 시스템의 출력 밝기 예측값의 밝기 격차를 계산한 결과의 예를 그래프로 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 시스템의 입력 밝기값과 출력 밝기 예측값의 히스토그램 분포 예를 그래프로 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 시스템의 입력 밝기값, 출력 밝기 예측값, 변형 밝기 예측값의 히스토그램 분포 예를 그래프로 도시한 도면.
도 7은 종래의 안개영상 개선 방법과 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 시스템에 의한 안개영상 개선 결과를 비교한 예시도.
도 8은 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 방법을 도시한 순서도.
도 9는 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 방법의 제S100단계의 세부과정을 도시한 순서도.

본 발명의 구체적인 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 시스템(S)은 기존의 전달률 하한치 기반의 안개영상 개선 방법을 통해 영상개선 시에 나타나는 하늘영역에서의 화질열화 문제를 억제하는 기술에 관한 것이다.

본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 시스템(S)은, 전달률을 계산하는 과정에서 먼저, 입력되는 대기강도 계산 값과 사용자제어 멱승값을 이용하여 전달률 하한치 계산 방법을 기준으로 RGB 최소 밝기값이 안개영상 개선 방법을 통해 구해질 수 있는 예상 밝기값을 계산한다.

이어서, 예상 밝기값이 크게 벌어지는 구간의 화소수에 따라 압축정도를 결정하여 예측 밝기값에 대한 구간별 밝기변환을 수행해 변환된 예측 밝기값에 대해 안개모델식에 근거한 RGB 최소값에 대해 전달률을 구할 수 있는 전달률 룩업테이블을 생성한다.

그리고, 룩업테이블을 통해 입력되는 RGB 최소밝기값에 대해서 전달률을 출력하도록 구성된다.

즉, 본 발명의 일 실시예에 따른 전달률 계산 방법은 RGB 최소 밝기값에 대한 룩업테이블 구성이 가능함에 따라 화소단위별로 RGB 최소 밝기값에 대한 전달률을 바로 구할 수 있다. 따라서, 기존 방법에서 화소단위별로 전달률을 계산하는 방법에 비해 저연산으로 안개영상 개선 수행이 가능하다.

일반적으로 안개영상 개선 방법을 수행하면 안개로 인해 비슷한 밝기값으로 뭉쳐있어 영상이 뿌옇게 보이던 것을 밝기값의 간격을 벌리면서 영상의 밝기 대비를 증가시켜 영상의 가시성을 향상시킨다.

입력된 영상에서 하늘영역이 없는 경우에는 문제가 될 것이 없지만, 도 2에 도시된 바와 같이 영상에 하늘영역이 넓게 포함되어 있는 경우에는 비슷한 밝기값으로 유지되어야 할 화소들의 밝기값이 크게 벌어지면서 눈에 띄는 화질열화 현상으로 나타나게 된다.

도 2는 안개영상 개선 방법 수행 결과의 일예로 (a) 와 (c) 는 입력 안개영상이고, (b) 와 (d)는 입력된 안개영상의 개선된 결과영상이다. 도 2에 도시된 바와 같이 입력영상에 하늘영역이 넓게 분포하고 있는 경우에 기존의 전달률 하한치 기반의 안개영상 개선 방법을 적용하여 영상 개선을 수행하는 경우에 하늘영역에 해당하는 화소들의 밝기값의 간격이 많이 벌어지게 되어 매우 부자연스러운 결과를 출력하게 된다.

기존의 전달률 하한치 기반의 안개영상 개선 방법에서의 전달률 계산은 도 1에서 볼 수 있듯이 전체영상에서 대기 강도값을 계산하고 사용자제어 멱승값을 입력으로 받아 화소단위별로 RGB 최소값과 함께 [수학식 6]에 적용하여 전달률을 계산한다.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 시스템(S)은 대기강도 값 및 사용자제어 멱승값을 입력받아 RGB 최소값 입력에 따른 출력 전달률을 계산하기 위한 룩업테이블을 생성하는 룩업테이블 생성부(100) 및 생성된 룩업테이블을 통해 RGB 최소값 입력에 대한 전달률을 출력하는 전달률 출력부(200)를 포함하여 구성된다.

여기서, 룩업테이블 생성부(100)는 출력 밝기 예측값 계산모듈(102), 밝기값 격차 계산모듈(104), 예측값 범위 계산 모듈(106), 밝기값 범위 계산 모듈(108), 변형 밝기 예측값 계산 모듈(110) 및 룩업테이블 생성모듈(112)을 포함하여 구성된다.

먼저, 출력 밝기 예측값 계산모듈(102)은 대기강도 값 및 사용자제어 멱승값을 입력받아 RGB 최소값의 밝기 범위에 대하여 전달률 하한치 기반으로 도출한 전달률에 따른 출력이 예상되는 밝기값을 계산한다.

밝기값 격차 계산모듈(104)은 상기 출력 밝기 예측값 계산모듈(102)에 의해 계산된 밝기값과 입력 밝기값 간의 격차를 계산한다.

예측값 범위 계산 모듈(106)은 입력 밝기값과 계산된 밝기값 간의 격차로부터 기 설정된 임계치 이상에 해당하는 격차를 보이는 밝기값의 범위를 계산하여 임계치 이상 격차 구간의 출력 예측값 범위를 계산한다.

밝기값 범위 계산 모듈(108)은 계산된 출력 예측값 범위의 화소수 비율에 따른 변형된 출력밝기의 범위를 구하기 위해 임계치 이상 격차 구간의 변형된 밝기값에 대한 범위를 계산한다.

변형 밝기 예측값 계산 모듈(110)은 입력 밝기값 구간과 변형된 밝기값에 대한 범위를 토대로 변형된 밝기 예측값을 계산한다.

룩업테이블 생성모듈(112)은 변형된 밝기 예측값, RGB 최소값 및 대기강도 값을 기준으로 RGB 최소값에 대한 전달률을 출력을 위한 룩업테이블을 생성한다.

구체적으로, 출력 밝기 예측값 계산모듈(102)은 미리 계산된 대기강도 값과 사용자제어 멱승값을 입력받고, 입력밝기에 대해 전달률 하한치 기반으로 영상복원 시에 출력될 예상값을 계산하되, 입력 밝기인 RGB 최소값이 가질 수 있는 범위의 밝기값에 대한 출력 밝기 예측값을 [수학식 7]과 같이 계산한다.

[수학식 7]

여기서, k는 입력되는 RGB 최소값의 범위에 포함되는 밝기값이고 L은 영상의 최대 밝기값으로 8비트 영상인 경우 밝기 범위는 0 내지 255이다.

또한, P는 입력되는 사용자제어 멱승값, A는 입력되는 대기강도 값으로 이를 이용하여 입력 밝기 k에 대한 예상 전달률 값인

와 출력 밝기 예측값인

를 구한다.

는 입력되는 밝기값이 전달률 하한치 기반 안개영상 개선 수행과정을 통해 어떠한 밝기값으로 변환되는지를 의미하는 값이다.

밝기값 격차 계산모듈(104)은 출력 밝기를 예측한 계산된 밝기값과 입력 밝기값 간의 간격이 얼마나 벌어지게 되는지에 대한 예상 차이값을 [수학식 8]을 통하여 도출한다.

[수학식 8]

여기서,

는 입력 RGB 최소값에 해당되는 0 내지 255의 각 밝기값의 출력 밝기 예측값에 대해 각각의 바로 이전의 낮은 밝기값의 출력 밝기 예측값과의 차이값을 나타내고, 밝기값이 0인 입력밝기에 대한 밝기값 격차는 0으로 사용한다.

이렇게 구해진 밝기값의 간격은 대기강도를 기준으로 높은 밝기값에서 낮은 밝기값으로 갈수록 작은 차이값을 나타내게 되며 실제 영상개선 수행 시에 이와 유사하게 입력영상의 밝기값이 벌어지면서 안개로 밝기값이 뭉쳐있던 것의 간격을 벌리면서 영상의 가시성이 증가되게 된다.

하지만, 밝기값의 간격이 크게 벌어지는 영역이 하늘영역과 같이 영상 내에서 비슷한 밝기값을 가지면서도 많은 화소수를 차지하며 뭉쳐있는 경우에는 이 간격을 크게 벌리게 되면 계단현상의 화질저하 문제가 눈에 띄게 발생하게 된다.

따라서, 밝기값이 특정 임계치 이상 크게 벌어지는 구간에 대해서 해당 구간의 화소수가 전체 영상에서 어느 정도 비율인지를 따지고, 비율에 따라 비율이 높은 경우에는 밝기값의 격차를 줄이고, 비율이 낮은 경우에는 원래의 격차를 유지하면 하늘영역에서의 화질저하 현상 문제를 해결하면서도 원래의 영상 가시성 향상 효과를 유지하는 영상개선의 수행이 가능하다.

이를 위하여 임계치 이상 격차 구간 출력 예측값 범위를 계산하는 예측값 범위 계산 모듈(106)은, 밝기값 격차 값을 이용하여 임계치 이상의 밝기 차이가 나타나는 밝기 범위에 대한 시작 값과 끝 값을 계산하고, 영상전체에 대한 영역의 화소 빈도수의 비율을 계산하며, 출력 밝기 예측값 계산모듈(102)에 의해 계산된 출력 밝기 예측 값인

를 통해 변환된 임계치 이상 격차 구간에 대한 출력 예측값 범위를 계산한다.

먼저, 예측값 범위 계산 모듈(106)이 임계치 이상에 해당하는 밝기값 차이를 가지는 밝기범위 구간의 시작과 끝인 밝기값은 밝기값 격차 계산 결과인

에 대해 [수학식 9]를 통해 구한다.

[수학식 9]

여기서, start_gap과 end_gap은 밝기값의 격차가 임계값인

보다 큰 범위의 시작과 끝에 해당하는 값이다. 그리고, 임계치 이상 격차 구간 범위에 해당하는 밝기값의 빈도의 전체 영상 화소수에 대한 비율은 [수학식 10]을 통해서 구한다.

[수학식 10]

여기서, hist(k)는 k 밝기값에 해당하는 빈도수, image_size는 영상 전체 화소 수를 나타내는 것으로 전체 영상에 대한 임계치 이상 격차 구간 범위에 해당하는 밝기값 빈도수의 비율인 gap_ratio를 구한다.

한편, 도 4는 도 2의 (a)에 도시된 안개 입력영상에 대한 RGB 최소갑에 대한 출력 밝기 예측값의 차이값을 계산한 결과이고, 이에 따른 임계치 이상 격차 구간의 시작 및 끝에 해당하는 값을 나타내고 있다. 이 범위 내에 해당하는 밝기값들의 빈도수의 비율에 따른 밝기값 격차의 변화를 주고 이에 해당하는 전달률을 다시 구함으로써, 실제 영상개선 결과에서 하늘영역에 나타나는 화질열화 문제를 해결할 수 있다.

임계치 이상 격차 구간에 대한 출력 예측값 범위의 시작과 끝 값은 임계치 이상 격차구간의 범위의 start_gap과 end_gap을 출력 밝기 예측값인

를 통해 [수학식 11]과 같이 구한다.

[수학식 11]

여기서, start_gap_est와 end_gap_est는 전달률 하한치 기반으로 안개영상 수행시에 임계치 이상의 밝기값 격차가 벌어지는 범위의 시작과 끝 밝기값을 의미하며, 이렇게 구해진 시작값과 끝값을 이용하여 임계치 이상 격차 구간에 대한 출력 예측값 범위는 [수학식 12]와 같다.

[수학식 12]

여기서, range_est는 RGB 최소값의 밝기 범위인 0 내지 255사이의 밝기값에 대해 임계치 이상 격차 구간의 출력 예측값 범위의 시작과 끝값인 start_gap_est, end_gap_est를 기준으로 3분할하는 범위에 대한 기준 밝기값들을 의미하고, L은 입력영상의 최대 밝기값이며 8비트 영상일 경우 256을 의미한다.

또한, 도 5는 도 2의 (a)에 대한 입력인 RGB 최소값에 대한 히스토그램을 붉은색 점선으로 도시하고, 이에 대해 출력 밝기 예측을 통해 구해진 출력 밝기 예측값에 대한 히스토그램을 초록색 실선으로 표현한 도면이다.

히스토그램에서 볼 수 있듯이 대기강도 값을 기준으로 어두운 쪽으로 밝기격차를 벌리면서 영상의 가시성을 향상시키게 되는데 start_gap_est와 end_gap_est 범위에 포함되는 붉은 상자 안의 밝기값들의 간격이 꽤 벌어지는 것을 확인할 수 있다.

이 영역에 해당하는 밝기값들이 하늘영역과 같이 화소수가 많으면 계단 현상이 눈으로 보일만큼 나타날 수 있기 때문에 화질열화 문제를 해결하려면 이 구간의 밝기간의 격차를 줄일 필요가 있다.

이에 따라, 임계치 이상 격차 구간 변형 밝기값 범위를 계산하는 밝기값 범위 계산 모듈(108)은 예측값 범위 계산 모듈(106)이 계산한 임계치 이상 격차 구간의 출력 예측 밝기값의 시작과 끝에 해당하는 값을 해당영역의 화소수의 비율을 고려하여 변형된 시작과 끝에 해당 하는 값으로 [수학식 13]을 통해 구한다.

[수학식 13]

여기서, start_gap_mod는 임계치 이상 격차 구간의 출력 예측 밝기값 범위의 시작값인 star_gap_est값을 화소수 비율에 따라서 변형한 밝기값 범위의 시작값으로 구한 값이다.

임계치 이상 격차 구간에 해당하는 화소의 빈도수 비율이 하늘영역을 포함하지 않아 낮게 구해지면 원래 start_gap_est의 값과 start_gap_mod값이 유사하게 나오므로 기존의 안개영상 개선 수행 결과와 유사한 결과를 얻을 수 있다.

반면 하늘영역이 많이 포함된 영상에 대해서는 임계치 이상 격차 구간의 화소수 비율이 높게 나오기 때문에 start_gap_mod의 값이 start_gap_est 값에서 밝은 쪽으로 높은값을 가지며 구해지게 된다.

이러한 경우 start_gap_mod부터 end_gap_mod 까지의 밝기값의 격차가 압축되어 줄어들게 되고 이로 인해 계단현상이 억제되게 된다. 또한 0부터 start_gap_mod 값 사이에 해당하는 어두운 밝기값들의 간격이 넓어지면서 어두운 밝기값들에 대한 밝기개선 효과도 함께 나타난다.

end_gap_mod는 입력되는 대기 강도값인 A를 사용하는데 이는 대기강도 보다 큰 밝기값들도 영상개선을 수행하면 그보다 밝은 값들로 밝기값이 벌어지면서 계단현상을 유발하기 때문에 대기강도 값으로 임계치 이상 격차 구간의 끝 값으로 사용한다.

이렇게 구해진 변형된 시작과 끝값을 이용하여 임계치 이상 격차 구간에 대한 변형 밝기값 범위는 [수학식 14]로 설정한다.

[수학식 14]

여기서, range_mod는 range_est에 대해서 임계치 이상 격차 구간의 예측값 범위에 대해서 해당영역의 비율을 통해 변형 밝기값으로 구해진 시작과 끝값인 start_gap_mod, end_gap_mod를 기준으로 3분할하는 범위에 대한 기준 밝기값들을 의미한다.

본 발명의 일 실시예에서는 range_est와 다르게 최대 기준 밝기값을 영상이 가질 수 있는 최대값을 사용하지 않고, 입력영상의 최대 밝기값인 mas_org를 사용한다. 이는 영상의 대기강도 이상의 밝기값이 원영상보다 더 높아지면서 벌어지는 계단현상이 나타나는 문제와 밝기값의 과포화(overflow) 문제를 해결하기 위함이다.

한편, 변형 밝기 예측값을 계산하는 변형 밝기 예측값 계산 모듈(110)은 밝기값 범위 계산 모듈(108)에 의해 계산된 임계치 이상 격차 구간 출력 예측값의 범위인 range_est와 변형 밝기값 범위인 range_mod를 이용하여 변형 밝기 예측값을 [수학식 15]를 통해 계산한다.

[수학식 15]

여기서, k는 8비트 영상의 경우 0 내지 255의 범위를 갖는 RGB 최소값을 의미하는 밝기이고, 출력 밝기 예측값 계산모듈(102)에서 상기 [수학식 7]을 통해 계산한 출력 밝기 예측값인

의 출력값을 입력으로 bright_mapping 연산을 수행한다. bright_mapping 연산은 입력밝기에 대해서 range_est의 범위의 밝기값들을 range_mod의 밝기값의 범위로 분할 밝기값 매핑을 수행한다는 의미이다. 밝기값 분할 매핑연산은 구간 히스토그램 평활화, 스트레칭, 매칭 등의 일발적인 연산을 통해 수행이 가능하다.

도 6은 도 2의 (a)에 대한 입력인 RGB 최소값에 대한 히스토그램을 붉은색 점선, 이에 대해 출력 밝기 예측을 통해 구해진 출력 밝기 예측값에 대한 히스토그램을 초록색 실선, 화소수 비율에 따라 변형된 밝기 예측값에 대한 히스토그램을 파란색 실선으로 나타낸 것이다. 하늘영역에 해당하는 밝기값들의 간격이 줄어들고 어두운 밝기값들의 밝기가 확장됨을 확인할 수 있다.

그리고, 룩업테이블 생성모듈(112)은 RGB 최소값에 대한 전달률 값을 출력하는 룩업테이블을 [수학식 16]을 통해 생성한다.

[수학식 16]

여기서, k는 전술한 바와 같이 8비트 영상일 경우 0 내지 255의 범위를 갖는 RGB 최소값을 의미하는 밝기값이고, A는 입력 대기강도 값이며,

는 상기 [수학식 15]를 통해 계산된 RGB 최소값 입력에 대한 변형 밝기 예측값이다.

즉, 룩업테이블 생성모듈(112)은 변형된 밝기 예측값, RGB 최소값 및 대기강도 값을 기준으로 RGB 입력 최소값에 대한 전달률 값을 출력하는 trans_outmap(k)의 룩업테이블을 생성한다.

이처럼, 룩업테이블을 도출하는 과정은 프레임 단위로 계산되고, 밝기값의 범위(예를 들면 8비트 영상의 밝기 범위는 0 내지 255)에 대해서만 연산을 수행하기 때문에 많은 연산량을 차지하지 않기에 룩업테이블을 통한 종래의 방법에서 전달률의 화소단위 계산을 대체하면 전체적인 연산량은 종래의 방법보다 감소한다.

전달률 출력부(200)는 RGB 최소값을 입력으로 받고, 이에 대해 룩업테이블 생성모듈(112)이 생성한 룩업테이블을 이용하여 각 화소단위의 전달률을 출력한다.

도 7은 도 2에서 보인 입력 안개영상에 대한 기존의 전달률 하한치 기반의 안개영상 개선 방법 수행결과와 개선된 전달률 계산 방법을 적용한 일예를 도시한 도면으로, (a)와 (d)는 도 2와 같은 입력 안개영상, (b)와 (e)는 기존의 전달률 하한치 기반의 안개영상 개선 방법에 의한 결과 영상, (c)와 (f)는 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 시스템에 의한 결과 영상이다.

결과영상을 비교해보면 알 수 있듯이 종래의 방법에서 나타나는 하늘영역에서의 화질저하 문제에 대해 제안하는 방법은 하늘영역에서의 화질저하 문제없이 영상개선이 수행 가능함을 확인할 수 있다.

더불어 어두운 영역에서의 가시성도 밝기값 개선을 통해 더욱 향상되는 것을 확인할 수 있으며 전반적으로 안개제거 효과도 떨어지지 않음을 확인 가능하다.

이하, 도 8을 참조하여 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 방법에 대해 살피면 아래와 같다.

먼저, 룩업테이블 생성부(100)가 대기강도 값 및 사용자제어 명승값을 입력받아 RGB 최소값 입력에 따른 출력 전달률 값을 매핑하기 위한 룩업테이블을 생성한다(S100).

그리고, 전달률 출력부(200)가 룩업테이블을 통해 RGB 최소값 입력에 대한 전달률을 출력한다(S200).

이하, 도 9를 참조하여 본 발명의 일 실시예에 따른 화질 저하현상 억제를 위한 전달률 계산 방법에 대해 살피면 아래와 같다.

먼저, 룩업테이블 생성부(100)가 대기강도 값 및 사용자제어 멱승값을 입력받아 출력이 예상되는 밝기값을 계산한다(S102).

이때, 룩업테이블 생성부(100)는 입력 밝기인 RGB 최소값이 가질 수 있는 범위의 밝기값에 대한 출력 밝기 예측값을 [수학식 7]을 통해 계산한다.

[수학식 7]

이어서, 룩업테이블 생성부(100)가 입력 밝기값과 계산한 밝기값 간의 격차를 계산한다(S104).

이때, 룩업테이블 생성부(100)는 계산한 밝기값과 입력 밝기값 간의 간격이 얼마나 벌어지게 되는지에 대한 예상 차이값을 [수학식 8]을 통하여 도출한다.

[수학식 8]

뒤이어, 룩업테이블 생성부(100)가 입력 밝기값과 계산된 밝기값 간의 격차로부터 기 설정된 임계치 이상에 해당하는 격차를 보이는 밝기값의 범위를 계산하여 임계치 이상 격차 구간의 출력 예측값 범위를 계산한다(S106).

이때, 룩업테이블 생성부(100)는 임계치 이상에 해당하는 밝기값 차이를 가지는 밝기범위 구간의 시작과 끝인 밝기값은 밝기값 격차 계산 결과인

에 대해 [수학식 9]를 통해 구한다.

[수학식 9]

이어서, 룩업테이블 생성부(100)가 계산된 출력 예측값 범위의 화소수 비율에 따른 변형된 출력밝기의 범위를 구하기 위해 임계치 이상 격차 구간의 변형된 밝기값에 대한 범위를 계산한다(S108).

이때, 룩업테이블 생성부(100)은 임계치 이상 격차 구간 범위에 해당하는 밝기값의 빈도의 전체 영상 화소수에 대한 비율은 [수학식 10]을 통해서 구하고, 임계치 이상 격차 구간에 대한 출력 예측값 범위의 시작과 끝 값은 임계치 이상 격차구간의 범위의 start_gap과 end_gap을 출력 밝기 예측값인

를 통해 [수학식 11]을 통해 구하며, 구해진 시작값과 끝값을 이용하여 임계치 이상 격차 구간에 대한 출력 예측값 범위는 [수학식 12]와 같이 도출하고, 계산한 임계치 이상 격차 구간의 출력 예측 밝기값의 시작과 끝에 해당하는 값을 해당영역의 화소수의 비율을 고려하여 변형된 시작과 끝에 해당 하는 값으로 [수학식 13]을 통해 구한다.

[수학식 10]

[수학식 11]

[수학식 12]

[수학식 13]

뒤이어, 룩업테이블 생성부(100)가 입력 밝기값 구간과 변형된 밝기값에 대한 범위를 토대로 변형된 밝기 예측값을 계산한다(S110).

이때, 룩업테이블 생성부(100)는 계산된 임계치 이상 격차 구간 출력 예측값의 범위인 range_est와 변형 밝기값 범위인 range_mod를 이용하여 변형 밝기 예측값을 [수학식 15]를 통해 계산한다.

[수학식 15]

그리고, 룩업테이블 생성부(100)가 변형된 밝기 예측값, RGB 최소값 및 대기강도 값을 기준으로 RGB 최소값에 대한 전달률을 출력을 위한 룩업테이블을 생성한다(S112).

이때, 룩업테이블 생성부(100)는 RGB 최소값에 대한 전달률 값을 출력하는 룩업테이블을 [수학식 16]을 통해 생성한다.

[수학식 16]

즉, 전술한 본 발명의 일 실시예에 따르면, 전달률 계산 과정을 하늘영역의 화질열화 문제를 억제하면서도 룩업테이블을 구성하여 화소단위별로 RGB 최소 밝기값에 대한 전달률 계산을 간소화함에 따라 연산량의 증가 없이 저연산으로 하늘영역의 화질저하 현상을 억제할 수 있다.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

S: 화질 저하현상 억제를 위한 전달률 계산 시스템
100: 룩업테이블 생성부
102: 출력 밝기 예측값 계산모듈
104: 밝기값 격차 계산모듈
106: 예측값 범위 계산 모듈
108: 밝기값 범위 계산 모듈
110: 변형 밝기 예측값 계산 모듈
112: 룩업테이블 생성모듈
200: 전달률 출력부

Claims (5)

1. 대기강도 값 및 사용자제어 멱승값을 입력받아 RGB 최소값 입력에 따른 출력 전달률 값을 매핑하기 위한 룩업테이블을 생성하는 룩업테이블 생성부; 및
   RGB 최소값을 입력받아 상기 룩업테이블을 이용하여 각 화소단위의 전달률을 출력하는 전달률 출력부를 포함하되,
   상기 룩업테이블 생성부는,
   출력 밝기 예측값을 계산하고, 계산된 밝기값과 입력 밝기값 간의 격차를 계산하며, 기 설정된 임계치 이상에 해당하는 격차를 보이는 밝기값의 범위를 계산하고, 계산된 출력 예측값 범위의 화소수 비율에 따른 변형된 출력밝기의 범위를 구하기 위해 임계치 이상 격차 구간의 변형된 밝기값에 대한 범위를 계산하며, 입력 밝기값 구간과 변형된 밝기값에 대한 범위를 토대로 변형된 밝기 예측값을 계산하는 것을 특징으로 하는 화질 저하현상 억제를 위한 전달률 계산 시스템.
2. 제1항에 있어서,
   상기 룩업테이블 생성부는,
   상기 대기강도 값 및 사용자제어 멱승값을 입력받아 RGB 최소값의 밝기 범위에 대하여 전달률 하한치 기반으로 도출한 전달률에 따른 출력이 예상되는 밝기값을 계산하는 출력 밝기 예측값 계산모듈; 및
   상기 출력 밝기 예측값 계산모듈에 의해 계산된 밝기값과 입력 밝기값 간의 격차를 계산하는 밝기값 격차 계산모듈을
   포함하는 것을 특징으로 하는 화질 저하현상 억제를 위한 전달률 계산 시스템.
3. 제2항에 있어서,
   상기 룩업테이블 생성부는,
   상기 입력 밝기값과 계산된 밝기값 간의 격차로부터 기 설정된 임계치 이상에 해당하는 격차를 보이는 밝기값의 범위를 계산하여 임계치 이상 격차 구간의 출력 예측값 범위를 계산하는 예측값 범위 계산 모듈; 및
   계산된 출력 예측값 범위의 화소수 비율에 따른 변형된 출력밝기의 범위를 구하기 위해 임계치 이상 격차 구간의 변형된 밝기값에 대한 범위를 계산하는 밝기값 범위 계산 모듈;
   입력 밝기값 구간과 변형된 밝기값에 대한 범위를 토대로 변형된 밝기 예측값을 계산하는 변형 밝기 예측값 계산 모듈; 및
   변형된 밝기 예측값, RGB 최소값 및 대기강도 값을 기준으로 RGB 최소값에 대한 전달률을 출력을 위한 룩업테이블을 생성하는 룩업테이블 생성모듈을
   포함하는 것을 특징으로 하는 화질 저하현상 억제를 위한 전달률 계산 시스템.
4. (a) 룩업테이블 생성부가 대기강도 값 및 사용자제어 명승값을 입력받아 RGB 최소값 입력에 따른 출력 전달률 값을 매핑하기 위한 룩업테이블을 생성하는 단계; 및
   (b) 전달률 출력부가 상기 룩업테이블을 통해 RGB 최소값 입력에 대한 전달률을 출력하는 단계를 포함하되,
   상기 (a) 단계는,
   (a-1) 룩업테이블 생성부가 대기강도 값 및 사용자제어 멱승값을 입력받아 출력이 예상되는 밝기값을 계산하는 단계;
   (a-2) 룩업테이블 생성부가 입력 밝기값과 계산한 밝기값 간의 격차를 계산하는 단계;
   (a-3) 룩업테이블 생성부가 입력 밝기값과 계산된 밝기값 간의 격차로부터 기 설정된 임계치 이상에 해당하는 격차를 보이는 밝기값의 범위를 계산하여 임계치 이상 격차 구간의 출력 예측값 범위를 계산하는 단계;
   (a-4) 룩업테이블 생성부가 계산된 출력 예측값 범위의 화소수 비율에 따른 변형된 출력밝기의 범위를 구하기 위해 임계치 이상 격차 구간의 변형된 밝기값에 대한 범위를 계산하는 단계;
   (a-5) 룩업테이블 생성부가 입력 밝기값 구간과 변형된 밝기값에 대한 범위를 토대로 변형된 밝기 예측값을 계산하는 단계; 및
   (a-6) 룩업테이블 생성부가 변형된 밝기 예측값, RGB 최소값 및 대기강도 값을 기준으로 RGB 최소값에 대한 전달률을 출력을 위한 룩업테이블을 생성하는 단계를
   포함하는 것을 특징으로 하는 화질 저하현상 억제를 위한 전달률 계산 방법.
5. 삭제

Images