KR101744409B1 - 저조도 환경에서 카메라 기반 수위 검출 방법 및 장치 - Google Patents

Abstract

본 발명은 저조도 환경에서 카메라 기반 수위 검출 방법 및 장치를 개시한다. 본 발명의 일 실시예에 따르면, 저조도 환경에서 카메라 기반 수위 검출 장치로서, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하되, 상기 메모리는, 카메라로부터 입력된 저조도 영상의 화소 밝기값을 증폭하고, 상기 증폭된 화소 밝기값을 가진 영상에서 수심표식의 서로 다른 영역에 대한 색상값을 비교하고, 색상값 비교에 따라 이진화된 영상을 생성하고, 상기 이진화된 영상을 이용하여 히스토그램을 생성하고, 상기 생성된 히스토그램 값을 통해 수면을 검출하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 수위 검출 장치가 제공된다.

Description

저조도 환경에서 카메라 기반 수위 검출 방법 및 장치{Method and apparatus for detecting water level based on camera in low illumination environment}

본 발명은 저조도 환경에서 카메라 기반 수위 검출 방법 및 장치에 관한 것이다.

최근 하천 범람, 침수 피해 상황을 파악하기 위하여 영상 감시 카메라를 사용하는 사례가 늘어나고 있다. 그러나 저조도 환경에서 촬영된 영상은 영상 내 객체 및 상황을 판별하는데 문제가 된다.

저조도 영상은 광원(light source) 및 조명(illumination)의 영향이 미약한 환경에서 획득된 영상을 말한다. 저조도 영상은 대부분 화소(pixel)에서 작은 밝기 값을 가지기 때문에 대부분 어둡게 나타나고 이로 인해 물체를 구별할 수 없게 된다. 이와 같은 저조도 영상의 문제점은 수심표식 영역을 검출하고 수면을 인식하는데 신뢰도를 저하시키는 원인이 된다.

도심 속 침수 상태를 파악하기 위한 가장 기초적인 항목은 수위 검출이며, 침수 상태를 파악하기 위한 가장 확실한 방법은 사람이 육안으로 확인하는 것이다. 이러한 목적에서 주로 활용되는 것이 영상 감시 카메라이다.

영상 감시 카메라를 이용하면 육안에 의해 수위 관측이 가능하며, 설치 및 운영비용이 저렴하다는 장점이 있다. 그러나 한정된 모니터 요원으로 수많은 감시 카메라를 24시간 모니터링 하는 것은 실질적으로 불가능하다. 따라서 영상 분석을 이용하여 자동으로 수면을 검출하고 수위를 측정하는 시스템이 필요하다.

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 저조도 영상을 개선하며, 수위를 정확히 검출할 수 있는 저조도 환경에서 카메라 기반 수위 검출 방법 및 장치를 제안하고자 한다.

상기 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 저조도 환경에서 카메라 기반 수위 검출 장치로서, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하되, 상기 메모리는, 카메라로부터 입력된 저조도 영상의 화소 밝기값을 증폭하고, 상기 증폭된 화소 밝기값을 가진 영상에서 수심표식의 서로 다른 영역에 대한 색상값을 비교하고, 색상값 비교에 따라 이진화된 영상을 생성하고, 상기 이진화된 영상을 이용하여 히스토그램을 생성하고, 상기 생성된 히스토그램 값을 통해 수면을 검출하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 수위 검출 장치가 제공된다.

상기 화소 밝기값의 증폭은 저조도 영상의 화소 밝기값의 증폭은 비닝 알고리즘을 기반으로 입력된 저조도 영상의 평균 밝기값과 미리 설정된 참조 영상 밝기값을 이용하여 수행될 수 있다.

상기 메모리는, 상기 수심표식의 윗부분에 대한 제1 평균 색상값과, 밑부분에 대한 제2 평균 색상값을 비교하고, 제1 평균 색상값 및 제2 평균 색상값의 차이가 가장 큰 색성분을 선택하여 임계값을 결정하고, 상기한 임계값을 통해 영상을 이진화하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장할 수 있다.

상기 제1 평균 색상값과 상기 제2 평균 색상값의 비교는 상기 윗부분과 밑부분의 일부에 대해서만 수행될 수 있다.

본 발명의 다른 측면에 따르면, 저조도 환경에서 카메라 기반 수위 검출 방법으로서, 카메라로부터 입력된 저조도 영상의 화소 밝기값을 증폭하는 단계; 상기 증폭된 화소 밝기값을 가진 영상에서 수심표식의 서로 다른 영역에 대한 색상값을 비교하는 단계; 색상값 비교에 따라 이진화된 영상을 생성하는 단계; 상기 이진화된 영상을 이용하여 히스토그램을 생성하는 단계; 상기 생성된 히스토그램 값을 통해 수면을 검출하는 단계를 포함하는 수위 검출 방법이 제공된다.

본 발명에 따르면, 임의의 참조 영상 밝기값을 설정하고, 입력 영상의 평균 밝기값 사이의 비율을 구하여 보정함으로써 과다 증폭 현상을 방지할 수 있는 장점이 있다.

또한, 본 발명에 따르면, 저조도가 개선된 영상에 대해 히스토그램 기반으로 수위를 검출하기 때문에 자동으로 수위를 검출할 수 있는 장점이 있다.

도 1은 비닝 알고리즘의 기본 개념도를 나타낸 도면이다.
도 2는 종래의 비닝 알고리즘에 따른 증폭 결과를 갖는 영상을 나타낸 도면이다.
도 3은 본 실시예에 따른 참조 영상 밝기값을 통한 비율을 적용하여 저조도 영상을 개선한 결과를 나타낸 도면이다.
도 4는 본 실시예에 따른 수위 검출 과정의 순서도이다.
도 5는 본 실시예에 따른 영상 프레임간 상관도에 따른 수위 검출 과정을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 수위 검출 장치의 구성을 도시한 도면이다.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.

본 발명은 비닝(binning) 알고리즘 기반으로 화소 밝기값을 증폭하여 저조도 영상을 개선하며, 개선된 저조도 영상에서 수심표식 분석을 통해 수위를 검출한다.

본 실시예에 따른 저조도 영상 개선 및 수위 검출은 카메라와 연결되는 컴퓨팅 장치에서 수행될 수 있다.

이하에서는 본 실시예에 따른 저조도 영상 개선 및 수위 검출에 대한 상세한 설명에 앞서 비닝 알고리즘을 먼저 설명한다.

도 1은 비닝 알고리즘의 기본 개념도를 나타낸 도면이다.

도 1을 참조하면, 비닝 알고리즘은 주변 화소 밝기값을 사용하여 화소의 밝기값을 증폭한다.

저조도 영상(f)와 개선된 영상(g)는 다음의 수학식 1과 같이 표현된다.

여기서, a와 b는 더해지는 주변 화소의 범위를 나타낸다.

그러나, 기존 비닝 알고리즘은 도 2에 나타난 바와 같이 화소 밝기값을 과도하게 증폭시키는 문제점이 있다.

도 2a는 저조도 환경에서의 입력 영상, 도 2b는 기존 비닝 알고리즘에 따른 개선 영상을 나타낸 것이다.

도 2에 도시된 바와 같이, 기존 비닝 알고리즘은 주변 화소 밝기값을 단순하게 더하기 때문에 더해지는 화소의 개수에 따라 과도한 증폭 현상이 나타난다.

본 발명의 바람직한 일 실시예에 따르면, 임의의 참조 영상 밝기값을 설정하고, 입력 영상의 평균 밝기값 사이의 비율을 구하여 보정함으로써 과다 증폭 현상을 방지한다.

입력 영상의 평균 밝기값은 Y_input, 참조 영상 밝기값을 Y_reference라고 할 때 밝기값의 비율은 다음과 같이 구할 수 있다.

최종적으로 개선된 영상

는 다음과 같이 계산된다.

즉, 본 실시예에 따른 장치는 미리 설정된 참조 영상 밝기값을 이용한 비율을 적용하여 저조도 영상을 개선한다.

도 3은 본 실시예에 따른 참조 영상 밝기값을 통한 비율을 적용하여 저조도 영상을 개선한 결과를 나타낸 도면이다.

도 3a와 도 3d는 각각 오후 8시와 오후 10시에 촬영된 영상이고, 도 3b와 도 3e는 기존 비닝 알고리즘의 결과 영상이며, 도 3c와 도 3f는 본 실시예에 따른 방법을 이용하여 개선한 결과 영상이다.

도 3에 도시된 바와 같이, 도 3b에서 저조도 개선 영상에서 밝기값이 과도하게 증폭됨을 확인할 수 있으나, 도 3c에서는 참조 영상 밝기값에 따른 비율을 적용하여 과도한 증폭이 억제되는 것을 확인할 수 있다.

상기한 바와 같이 개선된 영상을 이용하여 수위를 검출한다.

일반적으로 수심표식에서 물에 잠긴 부분과 물에 잠기지 않은 부분은 서로 다른 색상값을 가지게 된다.

본 실시예에 따르면, 수심표식의 색상값을 비교하여 히스토그램을 생성하고, 임계값을 기준으로 수면을 검출한다.

도 4는 본 실시예에 따른 수위 검출 과정의 순서도이다.

도 4를 참조하면, 수심표식의 평균 색상값을 비교한다(단계 400).

평균 색상값 비교를 통해 임계값이 결정된다.

단계 400에서, 수심표식의 윗부분에 해당하는 화소의 평균 색상값과 밑부분에 해당하는 화소의 평균 색상값을 비교하고, 평균 색상값 차이가 가장 큰 색성분(R,G,B 중 하나)를 선택하며, 아래의 수식을 이용하여 임계값을 결정한다.

여기서, ch는 선택된 색성분을 나타내며,

와

은 수심표식의 밑부분과 윗부분의 평균 색상값을 나타낸다.

본 실시예에 따르면, 평균 색상값을 산출함에 있어 수심표식의 미리 설정된 제1 지점 이상에 해당하는 화소의 평균 색상값과 미리 설정된 제2 지점 이하에 해당하는 화소의 평균 색상값의 비교가 수행될 수 있다.

또한, 수심표식은 숫자에 상응하는 검은색 부분과 숫자가 없는 흰색 부분으로 이루어지는바, 평균 색상값 비교에서 숫자 부분을 제외하기 위해, 윗부분 및 밑부분의 색상값 중 높은 값들만을 취하여 평균 색상값을 계산한다.

수심표식이 가로 및 세로가 각각 20×100로 이루어지고, 윗부분과 밑부분의 30%에 해당하는 부분만으로 평균 색상값을 비교한다고 가정할 때, 윗부분 30개 라인에 해당하는 30×20의 화소의 색상값 중 상위 20%의 색상값들의 평균을 계산하고, 또한 밑부분 30개 라인에 해당하는 30×20의 화소의 색상값 중 상위 20%의 색상값들의 평균을 계산한다.

본 실시예에 따른 장치는 윗부분에 대한 제1 평균 색상값과 밑부분에 대한 제2 평균 색상값 중 차이가 가장 큰 색성분(R,G,B 중 하나)를 선택하고, 상기한 수학식 4를 통해 임계값을 결정한다.

임계값이 결정되면 다음의 수학식을 통해 영상을 이진화한다(단계 402).

여기서, f(x,y)는 입력 영상의 화소 밝기값을 나타내며, f(x,y)_bi는 이진화된 영상의 화소 밝기값을 나타낸다.

이진화된 영상에서 수평방향에 대하여 모든 화소의 밝기값을 합산하여 누적 히스토그램을 생성한다(단계 404).

히스토그램 값이 미리 설정된 비율 미만이 되는 지점을 수면으로 검출한다(단계 406).

예를 들어, 본 실시예에 따른 장치는 히스토그램 값이 20% 미만이 되는 지점을 수면으로 검출할 수 있다.

우천 시 수면 부분에 빗방울이 떨어지게 되면 수면 부분에 물방울이 튀거나 파동이 일어나게 된다. 수면 부분에서 이러한 현상은 연속적으로 촬영된 영상에서 시간에 따라 수면 부분에서는 지속적으로 화소 밝기값이 변하는 반면, 수면표식 영역에서는 화소 밝기값이 크게 변하지 않는다.

이러한 점을 이용하여 영상 프레임간 상관도가 이용될 수 있다.

도 5는 본 실시예에 따른 영상 프레임간 상관도에 따른 수위 검출 과정을 도시한 도면이다.

도 5를 참조하면, 저조도를 개선한 이후에 개선된 영상을 흑백 영상으로 변환한다(단계 500).

이후 영상 프레임간의 화소 밝기값의 범위를 맞추기 위해 영상의 화소 밝기값을 정규화한다(단계 502).

다음으로 영상 프레임간 상관도(Cross Correlation)를 계산한다(단계 504).

여기서, g는 정규화된 영상의 수심표식 영상이고, f는 흑백 영상의 수심표식 영상을 나타낸다.

영상을 정규화하면 동일한 수평 위치에 있는 화소 밝기값을 SAD(Sum of absolute difference)와 정규화를 이용하여 이전 프레임과 현재 프레임 사이의 유사도를 구한다.

여기서, r_i는 i번째 수평 위치에서의 유사도를 나타내며, g_{t ,i}와 g_{t -1,i}는 각각 현재 프레임과 이전 프레임의 i번째 수평 위치의 화소 밝기값을 나타낸다. N_i는 수평 위치에서의 화소 개수를 나타낸다.

본 실시예에서는 r_i값 0.2를 임계값으로 하고, 0.2보다 높은 경우를 수면으로 검출하였다.

도 6은 본 발명의 일 실시예에 따른 수위 검출 장치의 구성을 도시한 도면이다.

도 6에 도시된 바와 같이, 본 실시예에 따른 수위 검출 장치는 프로세서(600) 및 메모리(602)를 포함할 수 있다.

프로세서(600)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.

메모리(602)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(602)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.

이와 같은 메모리(602)에는 프로세서(600)에 의해 실행 가능한 프로그램 명령어들이 저장된다.

본 실시예에 따른 메모리(602)에는 카메라로부터 입력된 저조도 영상의 화소 밝기값을 증폭하고, 증폭된 화소 밝기값을 가진 영상에서 수심표식의 서로 다른 영역에 대한 색상값을 비교하고, 색상값 비교에 따라 이진화된 영상을 생성하고, 상기 이진화된 영상을 이용하여 히스토그램을 생성하고, 상기 생성된 히스토그램 값을 통해 수면을 검출하도록, 프로세서(600)에 의해 실행 가능한 프로그램 명령어들이 저장된다.

여기서, 저조도 영상의 화소 밝기값의 증폭은 비닝 알고리즘을 기반으로 입력된 저조도 영상의 평균 밝기값과 미리 설정된 참조 영상 밝기값을 이용하여 수행된다.

보다 상세하게, 저조도 영상의 화소 밝기값 대비 참조 영상 밝기값의 비율을 계산하고, 계산된 비율을 비닝 알고리즘에 적용하여 저조도 영상의 화소 밝기값을 증폭한다.

또한, 본 실시예에 따른 메모리(602)에는 수심표식의 윗부분에 대한 제1 평균 색상값과, 밑부분에 대한 제2 평균 색상값을 비교하고, 평균 색상값 차이가 가장 큰 색성분을 선택하여 임계값을 결정하고, 상기한 임계값을 통해 영상을 이진화하고, 이진화 영상을 통해 히스토그램을 생성하고, 생성된 히스토그램의 값 중 미리 설정된 수치 미만을 수면을 검출하도록 하는 프로그램 명령어들이 저장될 수 있다.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (5)

1. 저조도 환경에서 카메라 기반 수위 검출 장치로서,
   프로세서; 및
   상기 프로세서에 연결된 메모리를 포함하되,
   상기 메모리는,
   카메라로부터 입력된 저조도 영상의 화소 밝기값을 증폭하고,
   상기 증폭된 화소 밝기값을 가진 영상에서 수심표식의 서로 다른 영역에 대한 색상값을 비교하고,
   색상값 비교에 따라 이진화된 영상을 생성하고,
   상기 이진화된 영상을 이용하여 히스토그램을 생성하고,
   상기 생성된 히스토그램 값을 통해 수면을 검출하도록,
   상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 수위 검출 장치.
2. 제1항에 있어서,
   상기 화소 밝기값의 증폭은 저조도 영상의 화소 밝기값의 증폭은 비닝 알고리즘을 기반으로 입력된 저조도 영상의 평균 밝기값과 미리 설정된 참조 영상 밝기값을 이용하여 수행되는 수위 검출 장치.
3. 제1항에 있어서,
   상기 메모리는,
   상기 수심표식의 윗부분에 대한 제1 평균 색상값과, 밑부분에 대한 제2 평균 색상값을 비교하고,
   제1 평균 색상값 및 제2 평균 색상값의 차이가 가장 큰 색성분을 선택하여 임계값을 결정하고,
   상기한 임계값을 통해 영상을 이진화하도록,
   상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 수위 검출 장치.
4. 제3항에 있어서,
   상기 제1 평균 색상값과 상기 제2 평균 색상값의 비교는 상기 윗부분과 밑부분의 일부에 대해서만 수행되는 수위 검출 장치.
5. 저조도 환경에서 카메라 기반 수위 검출 방법으로서,
   카메라로부터 입력된 저조도 영상의 화소 밝기값을 증폭하는 단계;
   상기 증폭된 화소 밝기값을 가진 영상에서 수심표식의 서로 다른 영역에 대한 색상값을 비교하는 단계;
   색상값 비교에 따라 이진화된 영상을 생성하는 단계;
   상기 이진화된 영상을 이용하여 히스토그램을 생성하는 단계;
   상기 생성된 히스토그램 값을 통해 수면을 검출하는 단계를 포함하는 수위 검출 방법.
   

Images