KR101941266B1

KR101941266B1 - 초저조도용 cctv 영상 제공 시스템

Info

Publication number: KR101941266B1
Application number: KR1020180103006A
Authority: KR
Inventors: 오상록
Original assignee: 주식회사 비알인포텍; 오상록
Priority date: 2018-08-30
Filing date: 2018-08-30
Publication date: 2019-01-22

Abstract

본 발명에 따른 초저조도 상의 고화질 CCTV 영상 제공 시스템은, 촬영 대상의 조도에 따라 ISO, 조리개 값을 포함하는 촬영 조건을 설정하는 촬영 조건 설정 모듈; 상기 촬영 조건을 기반으로 촬영 대상의 영상을 촬영하는 촬영 수행 모듈; 촬영된 상기 영상을 저장하는 저장 모듈; 저장된 상기 영상의 노이즈를 검출하고 제거하여 상기 영상을 보정하는 영상 보정부를 포함하는 영상 처리 모듈; 보정된 상기 영상을 외부 서버로 전송하는 영상 제공 모듈;을 포함하는 것을 특징으로 한다.

Description

초저조도용 CCTV 영상 제공 시스템{CCTV Image Providing System for Ultra-Low Light}

본 발명은 초저조도용 CCTV 영상 제공 시스템에 관한 것으로서, 보다 상세하게 설명하면 어두운 환경에서 촬영된 영상의 노이즈를 제거하여 보정된 영상을 제공함으로써, 저렴한 비용으로 편리하게 고화질의 CCTV 영상을 제공받을 수 있는, 초저조도용 CCTV 영상 제공 시스템에 관한 것이다.

일반적으로 폐쇄회로 카메라는 특정한 장소나 사물을 촬영하여 폐쇄회로 TV로 전송함으로써 촬영된 장소나 사물의 이상 유무를 확인할 수 있도록 하는 촬영 기기로서, 빌딩, 주차장, 아파트 단지 등에서 관리나 경비의 효율 제고를 위한 일반 감시용 뿐 아니라, 자동차 안전장치 등으로 이용될 수 있다.

한편, CCTV는 사용 목적이나 특성 상 어두운 곳, 즉 낮은 조도(저조도)에서 특정한 장소나 사물을 많이 촬영하게 되는데, 이러한 경우에는 종래의 적외선 카메라를 사용하거나 가시광선 영역대의 조명을 사용하게 된다.

또는, 주간에는 컬러로, 야간에는 흑백으로 영상을 촬영하는 종래의 보안 감시 카메라를 통해 촬영할 수도 있는데, 이는 저조도에서 촬영 시 영상 끌림 현상 및 잔상 현상에 의해 피사체를 정확히 구분할 수 없다는 단점이 존재한다.

이러한 문제점을 해결하기 위해, 한국 등록특허공보 제 10-1716818호(발명의 명칭 : 초저조도용 CCTV 카메라 시스템)에서는 0.005 Lux 이하의 초저조도 환경에서도 끌림 및 노이즈 등이 없는 고품질 영상을 생성 출력할 수 있는 초저조도용 CCTV 카메라 시스템을 제시하고 있다.

상기 발명은 렌즈와; 이미지 센서와; 이미지 시그널 프로세서(Image Signal Procesor)와; 조도센서와; OLPF(Optical Low Pass Filter) 필터와; 상기 OLPF 필터의 위치를 제어하는 필터 제어기; 및 코덱 프로세서(Codec Procesor)를 포함하는 구성을 제안하고 있다.

또 다른 선행기술로, 한국 공개특허공보 제 10-2004-0089885호(발명의 명칭 : 저조도 영상 보정 장치 및 그 방법)에서는 입력되는 영상신호를 감마 보정하여 영상신호의 음영의 밝기를 조정하는 감마 보정부, 감마 보정부에서 감마 보정된 영상신호를 이루는 RGB 색신호의 이득을 각각 조정함으로써 색상의 선명도를 조정하는 이득 조절부 및 식별 가능한 영상을 얻기 위해 요구되는 영상신호의 특성값을 기준값으로서 저장하고 있으며, 이득 조절부에서 이득 조정된 영상신호의 특성값과 기준값을 비교하여 저조도 영상을 판별하며, 이득 조정된 영상신호가 저조도 영상으로 판별되면, 이득 조정된 영상신호를 감마 보정부로 궤환하는 영상 재처리부를 포함하는 구성을 제시하고 있다.

상기 발명은 이러한 구성에 따라 저조도 영상의 경우 입력 영상신호의 감마 보정 및 이득 조정을 반복 수행함으로써, 저조도 입력 영상의 밝기 및 색상 선명도가 높아지도록 영상 보정을 수행하는 역할을 제안하고 있다.

상기 두 발명은 모두 저조도에서 촬영된 영상의 화질을 개선시키고자 하나, CCTV의 특성 상 저장된 영상이 삭제되지 않도록 저장 공간을 효율적으로 관리하지 못하고 영상을 빠르게 전송하는 구성을 가지지 못한다는 단점이 존재한다.

따라서 상술한 바와 같은 문제점을 해결하기 위해 CCTV 영상을 압축하여 제공함과 더불어 초저조도에서 촬영된 압축 영상의 화질을 편리하고 경제적으로 개선시킬 수 있는 초저조도용 CCTV 영상 제공 시스템을 개발할 필요성이 대두되는 실정이다.

본 발명은 상기 기술의 문제점을 극복하기 위해 안출된 것으로, 초저조도에서 촬영된 영상의 노이즈를 검출하여 제거함으로써 화질이 개선된 영상을 제공하는 것을 주요 목적으로 한다.

본 발명의 다른 목적은, 객체의 움직임을 보여주는 모션 영상을 생성하고 모션 영상의 노이즈를 제거하여 보정하는 것이다.

본 발명의 또 다른 목적은, 모션 영상을 I프레임과 P프레임으로 그룹핑하여 압축 영상을 생성하는 것이다.

상기 목적을 달성하기 위하여, 본 발명에 따른 초저조도 상의 고화질 CCTV 영상 제공 시스템은, 촬영 대상의 조도에 따라 ISO, 조리개 값을 포함하는 촬영 조건을 설정하는 촬영 조건 설정 모듈; 상기 촬영 조건을 기반으로 촬영 대상의 영상을 촬영하는 촬영 수행 모듈; 촬영된 상기 영상을 저장하는 저장 모듈; 저장된 상기 영상의 노이즈를 검출하고 제거하여 상기 영상을 보정하는 영상 보정부를 포함하는 영상 처리 모듈; 보정된 상기 영상을 외부 서버로 전송하는 영상 제공 모듈;을 포함하는 것을 특징으로 한다.

또한, 상기 영상 처리 모듈은, 상기 영상에 촬영된 객체의 움직임을 파악하는 움직임 파악부와, 상기 객체의 움직임이 파악된 시점부터 움직임이 종료된 시점까지의 영상을 추출하여 모션 영상으로 생성하는 모션 영상 생성부를 포함하며, 상기 영상 제공 모듈은, 상기 모션 영상을 상기 외부 서버로 전송하는 것을 특징으로 한다.

나아가, 상기 영상 처리 모듈은, 상기 모션 영상을 I프레임(Infra frame)과 상기 I프레임에 종속되는 복수 개의 P프레임(Predicted frame)으로 그룹핑하여 복수 개의 섹터를 생성하는 프레임 군집화부와, 상기 모션 영상의 상기 I프레임으로부터 압축 영상을 생성하는 영상 압축부를 포함하며, 상기 영상 제공 모듈은, 상기 압축 영상을 상기 외부 서버로 전송하는 것을 특징으로 한다.

더하여, 상기 프레임 군집화부는, 상기 섹터의 I프레임을 기준으로 상기 I프레임에 종속된 전체 P프레임 개수를 파악한 후 전체 P프레임 개수보다 작은 수로 균등 분할하여 구간을 설정하는 구간 분할파트와, 상기 각 구간에 포함된 P프레임을 후보 프레임으로 지정하는 후보 프레임 지정파트 및, 히스토그램을 통해 상기 후보 프레임의 명암대비를 산출하는 명암대비 산출파트와, 상기 명암대비가 가장 작은 후보 프레임을 대표 프레임으로 선정하는 대표 프레임 선정파트 및, 상기 대표 프레임을 제외한 후보 프레임을 서브 프레임으로 지정하는 서브 프레임 지정파트와, 각 상기 구간의 대표 프레임을 그룹핑하여 서브 섹터를 생성하는 서브 섹터 생성파트를 포함하며, 상기 영상 압축부는, 상기 I프레임과 상기 서브 섹터로부터 압축 영상을 생성하는 것을 특징으로 한다.

본 발명에 따른 초저조도 상의 고화질 CCTV 영상 제공 시스템은,

1) 화질이 개선된 영상을 제공함으로써, 보다 정확하게 객체를 구분할 수 있고,

2) CCTV 영상의 핵심적인 영상인 모션 영상을 생성한 후 이의 노이즈를 제거함으로써, 영상을 보정 및 제공하는 시간을 단축시킬 수 있으며,

3) 압축 영상을 통해 영상을 외부 서버로 전송하는 속도 및 시간을 단축시킬 수 있는 효과를 제시한다.

삭제

도 1은 본 발명의 시스템의 개략적인 구성을 나타낸 개념도.
도 2는 본 발명의 시스템의 전체적인 구성을 나타낸 블록도.
도 3은 본 발명의 시스템이 구현되는 프로세스를 나타낸 순서도.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 첨부된 도면은 축척에 의하여 도시되지 않았으며, 각 도면의 동일한 참조 번호는 동일한 구성 요소를 지칭한다.

도 1은 본 발명의 시스템의 개략적인 구성을 나타낸 개념도이다.

도 1을 참조하면, 본 발명의 초저조도 상의 고화질 CCTV 영상 제공 시스템(1)은 야간 혹은 빚이 적은 지역/장소와 같은 매우 낮은 조도(초저조도) 환경에서 촬영 어셈블리(10)를 통해 촬영된 영상으로부터 고화질의 CCTV 영상을 생성하여 제공하는 것으로서, 초저조도 환경에서 촬영된 영상에는 조도가 높은 환경에서 촬영한 영상에 비해 노이즈가 많이 발생하는 문제점을 개선하고 고가의 장비를 구입할 필요 없이 편리하고 용이하게 고화질의 영상을 제공할 수 있다.

이러한 본 발명의 시스템(1)이 구현되기 위해 기본적으로 촬영 어셈블리(10)와 외부 서버(20)로 이루어진다.

촬영 어셈블리(10)는 영상을 촬영하는 기기인 CCTV에 장착된 카메라와 카메라에 의해 촬영된 영상을 처리하는 주체를 의미하며, 이러한 촬영 어셈블리(10)는 전봇대, 실내 공간의 천장 등에 설치되어 카메라 렌즈를 기준으로 전방을 촬영하는 것을 기본으로 하되, 카메라 렌즈를 어안 렌즈로 사용할 경우 후방이나 측방까지 촬영할 수 있음은 물론이다.

이러한 촬영 어셈블리(10)는 설치된 주변 환경 또는 실내 공간의 영상을 촬영하는 기능을 수행하며, 나아가, 촬영된 영상에 생긴 노이즈를 파악하고 제거하는 보정 과정을 수행하여 고화질의 영상을 생성할 수 있을 뿐 아니라, 촬영된 영상을 압축하여 저장 공간을 효율적으로 사용하고 후술할 외부 서버(20)로 영상을 전송 시 전송 속도를 향상시키는 역할을 제공한다. 또한, 이렇게 촬영된 영상은 후술할 외부 서버(20)로 전송하는 역할을 제공한다.

또한, 외부 서버(20)는 촬영 어셈블리(10)에 의해 생성된 영상을 제공받는 주체를 의미한다. 이때 외부 서버(20)는 CCTV 영상을 제공받고자 하는 개인 또는 업체에서 구비한 서버로서, 개인 또는 업체에서 구비한 서버용 개별 PC나 서버용 개별 PC의 집합체 등이 될 수 있으며, 혹은 개인 또는 업체에서 구비한 태블릿 PC나 스마트폰 등을 통해 서버 운영이 가능한 경우 그 역시 외부 서버(20)가 될 수 있음은 물론이다.

이러한 구성을 가지는 본 발명의 시스템(1)은 일반적으로 어두운 환경에서 촬영된 CCTV 영상의 화질을 경제적이고 편리하게 개선함으로써, 본 발명의 시스템(1) 사용자가 고화질의 CCTV 영상을 용이하게 얻을 수 있도록 한다. 나아가, 이와 같은 본 발명의 시스템(1)의 구체적인 구성을 도 2와 함께 설명하면 다음과 같다.

도 2는 본 발명의 시스템(1)의 전체적인 구성을 나타낸 블록도이며, 도 3은 본 발명의 시스템(1)이 구현되는 프로세스를 나타낸 순서도이다.

도 2 및 도 3을 참조하면, 본 발명의 시스템(1)은 기본적으로 촬영 조건 설정 모듈(100), 촬영 수행 모듈(200), 저장 모듈(300), 영상 처리 모듈(400), 영상 제공 모듈(500)로 이루어진다.

촬영 조건 설정 모듈(100)은 촬영 대상의 조도에 따라 ISO, 조리개 값을 포함하는 촬영 조건을 설정하는 것으로서, 이때 촬영 대상이라 함은 촬영 어셈블리(10)의 설치 위치에서 촬영을 수행하고자 하는 대상(예를 들어, 촬영 어셈블리(10)가 전봇대에 설치된 경우 촬영 어셈블리(10)의 카메라가 향하는 길거리가 촬영 대상이며, 촬영 어셈블리(10)가 실내 공간의 천장에 설치된 경우 실내 공간이 촬영 대상이 된다.)을 의미한다.

ISO라 함은 카메라 감도를 의미하는 것으로서, ISO가 낮으면 영상이 어둡게 촬영되고 ISO가 높으면 영상이 밝게 촬영된다. 이러한 특성으로 인해 ISO는 조도가 낮은 밤이나 암실에서 촬영할 시 중요한 요소가 된다.(영상을 촬영할 시 ISO 값이 크면 영상이 밝게 촬영되지만 그만큼 노이즈가 많이 발생하여 영상의 화질이 낮아지게 되므로 ISO에 따라 영상의 화질이 결정된다고 해도 과언이 아니다.)

조리개 값이라 함은 카메라 렌즈의 실제 초점거리를 조리개의 지름으로 나눈 값을 의미하며, 우리 눈의 동공과 유사한 역할을 수행한다. 이때 조리개 값은 촬영 영상의 심도(즉, 촬영된 피사체의 선명도)를 결정하여, ISO와 함께 촬영 대상의 조도에 따라 조리개 값을 달리 설정하여 촬영 대상을 선명하게 촬영할 수 있다.

이러한 촬영 조건을 설정할 시 촬영 대상의 조도에 따라 ISO 및 조리개 값이 달리 설정될 수 있으며, 상술한 촬영 조건은 ISO 및 조리개 값뿐만이 아니라 촬영 시작 시각, 촬영 종료 시각 등 영상을 촬영하는데 필요한 전반적인 조건을 포함할 수 있다. 이때 촬영 대상의 조도는 촬영 어셈블리(10)에 별도로 구비된 조도 센서를 통해 파악될 수 있다.

촬영 수행 모듈(200)은 촬영 조건을 기반으로 촬영 대상의 영상을 촬영하는 것으로서, 설정된 촬영 조건에 따라 촬영 어셈블리(10)에 구비된 카메라를 통해 촬영 대상의 영상을 촬영하는 기능을 제공한다. 이때 본 발명의 촬영 어셈블리(10)는 CCTV이므로 촬영 어셈블리(10)의 카메라에 의해 단편적인 이미지를 촬영하는 것이 아닌 연속적인 동영상을 촬영하는 것이 적합하다.

저장 모듈(300)은 촬영된 영상을 저장하는 것으로서, 본 발명의 시스템(1)은 CCTV 영상을 제공하는 시스템(1)이기 때문에 저장된 영상은 범죄 기록 혹은 자연재해나 사고가 발생하게 된 배경 등을 촬영한 것이다. 따라서 이러한 영상 특성에 따라 촬영 어셈블리(10)에 의해 촬영된 영상을 저장하는 것이 매우 중요하다고 볼 수 있으며, 따라서 저장 공간의 관리가 무엇보다 중요하며, 이는 후술할 영상 압축 과정을 통해 해결할 수 있다.

영상 처리 모듈(400)은 저장된 상기 영상의 노이즈를 검출하고 제거하여 상기 영상을 보정하는 영상 보정부(450)를 포함하는 것으로서, 영상을 보정 처리함으로써 본 발명의 시스템(1)의 목적인 초저조도 상에서 촬영한 영상의 화질을 개선시키는 역할을 제공한다. 이때 영상 처리 모듈(400)을 통해 고화질의 영상을 생성하기 위해 영상 보정부(450) 이외에도 추가적인 구성을 가질 수 있으며, 이에 대한 설명은 후술하기로 한다.

이렇게 영상 처리 모듈(400)에 의해 보정된 영상은 다시 저장 모듈(300)에 저장될 수 있으며, 이때 저장 공간의 효율적인 관리를 통해 CCTV 영상의 보존성을 향상시킬 수 있다.

영상 제공 모듈(500)은 보정된 영상을 상술한 외부 서버(20)로 전송하는 것으로서, 이때 보정된 영상은 본 발명의 시스템(1) 관리자가 임의로 설정한 시점에 외부 서버(20)로 전송되거나, 영상에 촬영된 객체가 움직인 경우 객체의 움직임을 보여주는 영상만을 외부 서버(20)로 전송할 수 있다.(이에 대한 자세한 설명은 후술하기로 한다.)

이와 같은 기본 구성을 가지는 본 발명의 시스템(1)은 매우 낮은 조도에서 촬영된 영상을 고화질로 보정하여 제공함으로써, 영상에 촬영된 객체 및 주변 환경을 용이하게 파악할 수 있음과 동시에 경제적이고 편리하게 영상을 보정할 수 있다는 특징을 가진다.

이러한 기본 구성에서 더 나아가, 본 발명의 시스템(1)은 영상을 보다 빠르고 효율적으로 전송하기 위해 촬영된 영상으로부터 객체의 움직임을 파악한 후 이를 나타내는 영상만을 외부 서버(20)로 전송할 수 있다.

본 발명의 시스템(1)은 CCTV 영상을 고화질로 제공하기 위한 것으로서, CCTV 영상은 그 특성상 영상에 촬영된 객체가 가장 중요하다고 할 수 있는데, 이러한 객체의 움직임을 보여주는 부분만을 추출하여 외부 서버(20)로 전송함으로써 CCTV 영상 중 핵심적인 부분만을 효율적으로 제공할 수 있다.(이에 따라 후술할 영상 보정부(450)의 하위 구성에서는 모션 영상을 보정하는 것이 바람직하다고 할 수 있다.)이를 위해 영상 처리 모듈(400)은 움직임 파악부(410)와 모션 영상 생성부(420)를 포함할 수 있다.

움직임 파악부(410)는 영상에 촬영된 객체의 움직임을 파악하는 것으로서, 구체적으로 워터쉐드(watershed)나 그랩컷이 적용된 Opencv 알고리즘을 이용하여 영상에 촬영된 객체를 먼저 파악한 후 관찰 시점에서 객체의 위치 변화를 파악함으로써 영상을 통해 객체의 움직임을 파악할 수 있다.

모션 영상 생성부(420)는 객체의 움직임이 파악된 시점부터 움직임이 종료된 시점까지의 영상을 추출하여 모션 영상으로 생성하는 것으로서, 이에 따라 모션 영상이라 함은 객체의 움직임을 보여주는 영상이라고 할 수 있다. 즉, 모션 영상 생성부(420)에 의해 생성된 모션 영상은 촬영 어셈블리(10)를 통해 촬영된 CCTV 영상의 핵심을 나타내는 영상이라고 할 수 있다.

이에 따라 영상 제공 모듈(500)은 모션 영상을 외부 서버(20)로 전송할 수 있으며, CCTV 영상 전체를 전송하는 것이 아닌 핵심적인 영상만을 제공하여 본 발명의 시스템(1)의 이용자(즉, 외부 서버(20)를 운영하는 개인 또는 업체)가 CCTV 영상을 분석하는 시간을 단축시킬 수 있다.

본 발명의 저장 모듈(300)은 촬영된 영상을 저장하고, 영상 처리 모듈(400)은 촬영된 영상의 노이즈를 제거하여 보정하는 역할을 수행하는데, 저장 모듈(300)의 저장 공간을 효율적으로 관리하기 위하여 상술한 영상 처리 모듈(400)은 저장된 영상을 압축하는 과정을 수행할 수 있다. 이를 위해 영상 처리 모듈(400)은 프레임 군집화부(430)와 영상 압축부(440)를 포함할 수 있다.

프레임 군집화부(430)는 모션 영상을 I프레임(Infra frame)과 상기 I프레임에 종속되는 복수 개의 P프레임(Predicted frame)으로 그룹핑하여 복수 개의 섹터를 생성하는 기능을 수행한다.

바람직하게는 영상을 시간 순서에 따라 복수 개의 프레임으로 분리하되, 일정 시간마다 위치하는 프레임을 I프레임으로 지정(즉, 부호화)하고, 어느 하나의 I프레임을 기준으로 시간 순서에 따라 다음 I프레임까지 위치하는 복수 개의 프레임들을 각각 P프레임으로 지정(즉, 부호화)하여 기준으로 지정된 I프레임에 종속시키면, 이러한 I프레임과 I프레임에 종속된 복수 개의 P프레임을 묶은 섹터를 형성할 수 있다.

이것은 MPEG 영상 포맷에서 활용되는 방식과 유사한 구성으로서, 특정 시간마다 혹은 특정 개수의 프레임을 묶어 섹터를 형성하되, 이 섹터에서 가장 앞선 시간에 위치하는 프레임을 I프레임으로 지정하고, 섹터 내에서 I프레임을 제외한 나머지 프레임들을 P프레임으로 지정하여 시간 순서 상 앞에 위치한 I프레임에 P프레임들을 종속시켜 하나의 그룹(즉, 섹터)을 생성하는 기능을 제공한다.

예를 들어, 상술한 바와 같이 하나의 섹터는 하나의 I프레임과 복수 개의 P프레임으로 구성된다고 하였는데, 프레임 군집화부(430)는 ‘IPPPPPP’와 같은 섹터를 생성할 수 있다. 여기서 섹터의 길이는 본 발명의 시스템(1) 관리자에 의해 설정될 수 있으며, 즉 섹터의 길이를 설정하는 것은 곧 영상 분야에서 프레임 속도를 조절하는 것을 의미한다.

영상 압축부(440)는 모션 영상의 I프레임으로부터 압축 영상을 생성하는 것으로서, 상술한 프레임 군집화부(430)에서 선정된 I프레임만을 추출하여 합성함으로써 용량이 감소된 압축 영상을 생성하는 기능을 제공한다. 이렇게 생성된 압축 영상은 저장 모듈(300)에 저장될 수 있는데, 압축 영상에 따른 용량 감소로 저장 모듈(300)의 저장 공간을 효율적으로 관리할 수 있다.

이에 따라 영상 제공 모듈(500)은 영상 압축부(440)에 의해 생성된 압축 영상을 외부 서버(20)로 전송함으로써, 영상의 전송 속도를 향상시켜 외부 서버(20)를 운영하는 개인 또는 업체에서 영상을 확인하는 시간을 단축할 수 있다.

이때 상술한 프레임 군집화부(430)는 I프레임을 기준으로 섹터를 생성한다고 하였는데, 이에 더 나아가 P프레임을 기준으로 대표 프레임을 선정하여 P프레임에 대한 서브 섹터를 생성하고 I프레임과 서브 섹터 중 어느 하나로부터 압축 영상을 생성함으로써, I프레임만으로 생성된 압축 영상보다 자연스러운 압축 영상을 제공할 수 있다. 이를 위해 프레임 군집화부(430)는 구간 분할파트(431), 후보 프레임 지정파트(432), 명암도 산출파트, 비교군 생성파트, 명암대비 산출파트(433), 대표 프레임 선정파트(434), 서브 프레임 지정파트, 서브 섹터 생성파트(435)를 포함할 수 있다.

구간 분할파트(431)는 섹터의 I프레임을 기준으로 상기 I프레임에 종속된 전체 P프레임 개수를 파악한 후 전체 P프레임 개수보다 작은 수로 균등 분할하여 구간을 설정하는 것으로서, 예를 들어 ‘IPPPPPPPPPP’로 이루어진 섹터에서 전체 P프레임의 개수는 9개이고, 이를 3개씩 분할하여(즉, PPP/PPP/PPP) 총 3개의 구간을 설정할 수 있다.

후보 프레임 지정파트(432)는 각 구간에 포함된 P프레임을 후보 프레임으로 지정하는 것으로서, 상술한 예시에서 생성된 총 3개의 구간을 구간 1, 구간 2, 구간 3이라고 할 때, 구간 1, 구간 2, 구간 3에 포함된 P프레임을 각각 구간 1에 대한 후보 프레임, 구간 2에 대한 후보 프레임, 구간 3에 대한 후보 프레임으로 지정하는 기능을 제공한다.

명암도 산출파트는 히스토그램을 통해 상기 후보 프레임의 명암도를 산출하는 것으로서, 이때 히스토그램이라 함은 그레이스케일 값에 해당하는 픽셀의 개수를 그래프로 나타낸 것으로 이는 주지 관용된 이론이므로 자세한 설명은 생략하기로 한다. 예를 들어,

를 명암도 히스토그램이라고 할 때, 후보 프레임의 명암도를

와 같이 산출할 수 있다.

비교군 생성파트는 복수 개의 후보 프레임 중 두 개를 선정하여 비교군을 생성하는 것으로서, 상술한 예에서 구간 1에 대한 후보 프레임 3개(즉, PPP) 중 두 개를 선정하여 비교군으로 생성한다. 이때 서로 이웃한 후보 프레임을 선정하거나 서로 이웃하지 않은 후보 프레임을 선정하여 비교군을 생성할 수 있으며, 이에 따라 하나의 구간에서 복수 개의 비교군이 생성될 수 있다.

명암대비 산출파트(433)는 히스토그램을 통해 후보 프레임의 명암대비를 산출하는 것으로서, 후보 프레임의 밝거나 어두운 화소의 분포를 나타내는 명암대비를 산출하는 기능을 제공한다. 예를 들어, 후보 프레임 a에 대한 명암대비를 산출하고자 하는 경우, 히스토그램을 통해 후보 프레임의 명암도

(이를 Low contrast라 한다.)와

(이를 High contrast라 한다.)를 파악한 후 두 명암도의 차를 통해 후보 프레임 a의 명암대비를 산출할 수 있다.

대표 프레임 선정파트(434)는 명암대비가 가장 작은 후보 프레임을 대표 프레임으로 선정하는 것으로서, 명암대비가 0에 가까운 값을 가지는 후보 프레임을 가장 명암대비가 좋은 것으로 판단하여 이를 대표 프레임으로 선정하는 기능을 제공한다.

서브 프레임 지정파트는 대표 프레임을 제외한 후보 프레임을 서브 프레임으로 지정하는 것으로서, 상술한 한 구간에 포함된 후보 프레임 중 하나를 대표 프레임으로 선정한 다음 대표 프레임을 제외한 후보 프레임을 서브 프레임으로 지정하는 기능을 제공한다.

예를 들어, 구간 PPP에서 첫 번째 P프레임을 후보 프레임 1, 두 번째 P프레임을 후보 프레임 2, 세 번째 P프레임을 후보 프레임 3이라고 하고 후보 프레임 1이 대표 프레임으로 선정되었다면, 서브 프레임은 후보 프레임 2 및 3이 된다.

서브 섹터 생성파트(435)는 각 상기 구간의 대표 프레임을 그룹핑하여 서브 섹터를 생성하는 것으로서, 구간마다 선정된 대표 프레임을 그룹핑하여 서브 섹터로 생성하는 기능을 제공한다.

즉, 상술한 후보 프레임 지정파트(432)부터 서브 프레임 지정파트까지의 일련의 과정은 구간 분할파트(431)에 의해 분할된 각 구간마다 수행되는 것이며, 이로 인해 하나의 섹터에 포함된 복수 개의 P프레임으로부터 복수 개의 대표 프레임이 선정될 수 있는데, 이러한 대표 프레임을 그룹핑하여 서브 섹터로 생성하는 것이다.

이에 따라, 영상 압축부(440)는 I프레임과 서브 섹터를 합성하여 압축 영상을 생성함으로써, I프레임만을 합성하여 생성된 압축 영상보다 자연스럽고 영상의 내용을 용이하게 파악할 수 있다는 기능을 제공한다.

나아가, 영상 압축부(440)는 보다 자연스러운 압축 영상을 제공하기 위해 대표 프레임 간의 유사도를 산출한 후 기준값을 초과하는 유사도를 가지는 대표 프레임이 포함된 서브 섹터로부터 압축 영상을 생성할 수 있다. 이를 위해 영상 압축부(440)는 유사도 산출파트(441)와 압축 영상 생성파트(442)를 포함할 수 있다.

유사도 산출파트(441)는 그레이스케일 히스토그램을 통해 상기 대표 프레임과 I프레임 간의 유사도를 산출하는 것으로서, 이때 유사도는 그레이스케일 히스토그램을 이용하여

의 식을 이용하여 산출될 수 있다. 이때

는 대표 프레임의 그레이스케일 히스토그램을,

는 I프레임의 그레이스케일 히스토그램을 의미한다. 이와 같이 I프레임과 대표 프레임의 히스토그램 차이 값을 통해 두 프레임이 얼마나 유사한지를 판별할 수 있다.

압축 영상 생성파트(442)는 기 설정된 기준값을 초과하는 유사도를 가지는 대표 프레임이 포함된 서브 섹터를 추출하여 상기 I프레임과 합성함으로써 압축 영상을 생성하는 것으로서, 기준값을 초과하는 유사도를 가지는 대표 프레임은 I프레임과 유사하다고 판단할 수 있고, 이렇게 I프레임과 유사한 대표 프레임을 I프레임과 함성하여 생성된 압축 영상은 프레임 간의 연결이 자연스러울 수 있다.(여기서, 기준값을 설정하는 것은 본 발명의 시스템(1) 관리자에 의해 설정될 수 있으며, 그 방법에는 제한이 없다.)

초저조도에서 촬영된 영상은 일반적으로 어두운 환경에서도 객체를 파악할 수 있도록 ISO를 크게 설정하여 촬영하는데, 이로 인해 촬영 결과물인 영상에 노이즈가 많이 발생하여 화질이 현격히 저하될 수 있다. 이를 위해 영상 보정부(450)는 모션 영상(이때 CCTV를 사용하는 목적을 고려해보면 객체의 움직임을 보여주는 모션 영상을 보정하는 것이 시간적으로나 경제적으로나 효율적이라고 할 수 있다.)의 노이즈를 검출하고 제거하여 영상을 보정하는 하위 구성을 가질 수 있는데, 구체적으로 에지 검출파트(451), 노이즈 검출파트(452), 노이즈 제거파트(453)를 포함할 수 있다.

에지 검출파트(451)는 소벨(Sobel) 연산자를 통해 상기 모션 영상으로부터 에지를 검출하는 것으로서, 소벨 연산자라 함은 영상의 고주파 성분에 해당하는 이미지의 경계 영역을 검출하는 대표적인 경계 검출 알고리즘이며, 이는 공지된 기술이므로 이에 대한 자세한 설명은 생략하기로 한다. 이때 다른 경계 검출 알고리즘(Roberts 연산자, Prewitt 연산자 등)에 비해 소벨 연산자는 상대적으로 노이즈가 적게 에지를 검출할 수 있다.

노이즈 검출파트(452)는 기 설정된 기준값보다 작은 화소 값을 가지는 에지의 화소를 노이즈로 검출하는 것으로서, 기준이 되는 화소 값보다 작은 화소 값을 가지는 에지를 경계선이 모호하게 표현되었다고 판단하여 이를 노이즈로서 검출하는 기능을 제공한다.

노이즈 제거파트(453)는 에지의 화소 값의 평균과 분산을 기반으로 보정 화소 값을 산출하여 상기 노이즈를 상기 보정 화소 값으로 치환하여 상기 노이즈를 제거하는 것으로서, 이러한 보정 화소 값은 다음의 수학식 1을 통해 산출될 수 있다.

수학식 1.

여기서,

는

위치에 해당하는 보정 화소 값,

은 에지에 포함된 화소 값의 평균,

는 에지에 포함된 화소 값의 분산,

는 에지 중

위치에 해당하는 기존 화소 값,

은 에지에 포함된 화소 값 분산의 평균을 의미한다.

상기 수학식 1은 에지의 화소 값 평균 및 분산을 기반으로 기존 화소 값으로부터 보정 화소 값을 산출하는 식으로서, 노이즈에 해당하는 화소 값을 에지의 화소 값 평균 및 분산으로 보정하여 노이즈의 화소 값을 평균화하는 기능을 제공한다.

이를 통해 산출된 보정 화소 값을 노이즈의 기존 화소 값과 치환하여 노이즈를 제거하여 모션 영상의 화질을 개선시킬 수 있다.

나아가, 본 발명의 CCTV 영상의 특성상 객체의 움직임이 중요한 요소라고 할 수 있는데, 객체를 더 두드러지게 보이기 위해 모션 영상을 보정할 시 객체를 제외한 배경을 흐릿하게 디밍 처리하는 과정을 수행할 수 있다.

이를 위해 영상 보정부(450)는 모션 프레임 파악파트(454), 위치 벡터 설정파트(455), 에지 세기 산출파트(456), 디밍 처리파트(457)를 포함할 수 있다.

모션 프레임 파악파트(454)는 모션 영상으로부터 객체의 움직임이 시작되는 시점부터 종료되는 시점까지의 모션 프레임 개수를 산출하는 것으로서, 모션 영상 내에서 객체의 움직임이 시작되는 프레임과 종료되는 프레임을 파악한 후 움직임 시작 프레임과 종료 프레임 간의 프레임(즉, 이를 모션 프레임이라 한다.)의 개수를 산출하는 기능을 제공한다.(이때 객체의 움직임이 시작되는 것을 판단하는 방법은 상술한 움직임 파악부(410)와 동일한 원리로 파악할 수 있다.)

위치 벡터 설정파트(455)는 모션 영상 중 객체의 움직임이 시작되는 시점의 프레임을 x-y 좌표 평면상에 위치한 후 객체의 무게중심에 대한 위치 벡터를 설정하는 것으로서, 이때 객체의 무게중심을 파악하는 방법은 객체가 사람인 경우 분절법을 통해 무게중심을 파악할 수 있다. 이렇게 객체의 무게중심이 파악되면 좌표 평면상에서 위치 벡터를 알 수 있다.

에지 세기 산출파트(456)는 에지를 기준으로 명암 및 색 대비 차이에 따라 에지 세기를 산출하는 것으로서, 이러한 에지 세기는 다음의 수학식 2를 통해 산출될 수 있다.

수학식 2.

여기서,

는 에지 세기,

는 각각 RGB 중 R값, G값, B값에 대응되는 0 내지 255 사이의 정수이고,

는 상기 모션 프레임 내

위치의 화소가 갖는 휘도,

는 상기 모션 프레임 전체 중 최대 휘도 값을 의미한다.

상기 수학식 1은 모션 프레임의 휘도 및 색을 기반으로 에지 세기를 산출하는 식으로서, 수학식 1에 의하면 에지를 기준으로 휘도 및 색의 차이가 클수록 에지 세기 값이 크게 산출된다는 것을 알 수 있다. 이때 L(i,j)는 모션 프레임 각각을 x-y 좌표 평면상에 배치시켰을 때 (i,j)에 위치하는 모션 프레임 화소의 휘도 값을 의미하며, L_max는 모션 프레임의 전체 화소 중 최대 휘도 값을 의미한다.

이를 통해 모션 프레임 중 어느 하나에 대한 에지 세기를 산출함으로써, 에지 세기가 산출되지 않은 모션 프레임의 에지 세기 역시 추측할 수 있으며, 이를 통해 후술할 디밍 처리를 수행할 수 있다.

디밍 처리파트(457)는 에지 세기와 객체의 위치 벡터 및 모션 프레임 개수를 기반으로 객체를 제외한 배경에 해당하는 에지를 디밍 처리하는 것으로서, 이때 디밍 처리라 함은 배경에 해당하는 에지를 흐릿하게 처리하여 객체가 좀 더 두드러지게 보이도록 하는 기능을 제공한다. 구체적으로, 디밍 처리하는 것은 배경에 해당하는 에지 세기를 흐릿하게 나오도록 작은 값(즉, 보정 에지 세기)으로 산출하는 것이라 할 수 있다.

이러한 보정 에지 세기는 다음의 수학식 3을 통해 산출될 수 있다.

수학식 3.

여기서,

는 보정 에지 세기,

는 상기 에지 세기,

는 상기 모션 프레임의 개수,

는 상기 객체의 위치 벡터를 의미하며,

는 보정 가중치,

는 빈도 가중치를 의미한다.

상기 수학식 3은 에지 세기와 모션 프레임의 개수 및 객체의 위치 벡터 크기를 기반으로 보정 에지 세기를 산출하는 식으로서, 이때 보정 가중치는 에지 세기와 모션 프레임의 개수의 곱으로 인해 산출되는 값이 과도하게 커지는 것을 보정하기 위한 값으로서, 본 발명의 시스템(1) 관리자에 의해 임의로 설정되는 것이 가능하다. 그리고 빈도 가중치는 모션 프레임의 개수에 대한 가중치로서 모션 프레임의 개수가 클수록 객체가 움직이는 시간이 길다는 뜻이며, 이는 곧 움직이는 객체를 나타내는 프레임의 개수가 많다는 것이므로, 모션 프레임의 개수가 클수록 큰 값의 빈도 가중치를 부여하여 객체의 움직임에 대한 중요도를 고려할 수 있다.(즉, 객체가 긴 시간 동안 움직였다는 것은 그만큼 CCTV 영상의 특성 상 주목해야할 객체일 수 있으므로 모션 프레임의 개수를 통해 빈도 가중치를 부여하여 객체의 중요도를 더 정확히 반영할 수 있다.)

여기서, 수학식 3에 의하면 보정 에지 세기는 에지 세기와 모션 프레임의 개수에 비례하고 객체의 위치 벡터 크기에 반비례함을 알 수 있다. 이는 즉 모션 프레임의 개수가 많을수록 객체가 움직인 시간이 길다는 것을 의미하며 객체가 움직인 시간이 길면 길수록 보정 에지 세기가 큰 값으로 산출되어, 객체의 에지가 보다 선명하게 표현될 수 있다. 반면, 모션 프레임의 개수가 적으면 객체가 움직인 시간이 짧다는 뜻이므로 보정 에지 세기가 작은 값으로 산출되어 보다 흐릿한 에지(즉, 디밍 처리된 에지)를 가지게 된다.(다시 말해, 모션 프레임의 개수가 적어 보정 에지 세기가 작게 산출되면 해당하는 에지가 흐릿하게 처리되어 이를 배경이라고 할 수 있는 것이다.)

또한, 객체의 위치 벡터 크기가 클수록 큰 값의 보정 에지 세기가 산출되어 보다 선명한 에지가 생성되어 먼 거리에 위치하는 객체를 보다 선명하게 보이도록 에지 세기를 보정할 수 있다.

위의 단계를 통해 산출된 보정 에지 세기는 모션 프레임 개수 및 에지 세기를 기반으로 객체 및 배경의 에지 세기를 차등적으로 산출하여 객체가 두드러지도록 모션 영상을 보정하는 기능을 제공한다.

삭제

지금까지 설명한 바와 같이, 본 발명에 따른 초저조도용 CCTV 영상 제공 시스템의 구성 및 작용을 상기 설명 및 도면에 표현하였지만 이는 예를 들어 설명한 것에 불과하여 본 발명의 사상이 상기 설명 및 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다.

1 : 시스템 10 : 촬영 어셈블리
20 : 외부 서버 100 : 촬영 조건 설정 모듈
200 : 촬영 수행 모듈 300 : 저장 모듈
400 : 영상 처리 모듈 410 : 움직임 파악부
420 : 모션 영상 생성부 430 : 프레임 군집화부
431 : 구간 분할파트 432 : 후보 프레임 지정파트
433 : 명암대비 산출파트 434 : 대표 프레임 선정파트
435 : 서브 섹터 생성파트 440 : 영상 압축부
441 : 유사도 산출파트 442 : 압축 영상 생성파트
450 : 영상 보정부 451 : 에지 검출파트
452 : 노이즈 검출파트 453 : 노이즈 제거파트
454 : 모션 프레임 파악파트 455 : 위치 벡터 설정파트
456 : 에지 세기 산출파트 457 : 디밍 처리파트
458 : 보완 화소 산출파트 459 : 영상 보완파트
460 : 보정 판단파트 500 : 영상 제공 모듈

Claims

초저조도용 CCTV 영상 제공 시스템으로서,
촬영 대상의 조도에 따라 ISO, 조리개 값을 포함하는 촬영 조건을 설정하는 촬영 조건 설정 모듈;
상기 촬영 조건을 기반으로 촬영 대상의 영상을 촬영하는 촬영 수행 모듈;
촬영된 상기 영상을 저장하는 저장 모듈;
저장된 상기 영상의 노이즈를 검출하고 제거하여 상기 영상을 보정하는 영상 보정부와, 상기 영상에 촬영된 객체의 움직임을 파악하는 움직임 파악부 및, 상기 객체의 움직임이 파악된 시점부터 움직임이 종료된 시점까지의 영상을 추출하여 모션 영상으로 생성하는 모션 영상 생성부와, 상기 모션 영상을 I프레임(Infra frame)과 상기 I프레임에 종속되는 복수 개의 P프레임(Predicted frame)으로 그룹핑하여 복수 개의 섹터를 생성하는 프레임 군집화부 및, 상기 모션 영상의 상기 I프레임으로부터 압축 영상을 생성하는 영상 압축부를 포함하는 영상 처리 모듈;
보정된 상기 영상 및 상기 모션 영상과 상기 압축 영상을 외부 서버로 전송하는 영상 제공 모듈;을 포함하되,
상기 프레임 군집화부는,
상기 섹터의 I프레임을 기준으로 상기 I프레임에 종속된 전체 P프레임 개수를 파악한 후 전체 P프레임 개수보다 작은 수로 균등 분할하여 구간을 설정하는 구간 분할파트와, 상기 각 구간에 포함된 P프레임을 후보 프레임으로 지정하는 후보 프레임 지정파트 및, 히스토그램을 통해 상기 후보 프레임의 명암대비를 산출하는 명암대비 산출파트와, 상기 명암대비가 가장 작은 후보 프레임을 대표 프레임으로 선정하는 대표 프레임 선정파트 및, 상기 대표 프레임을 제외한 후보 프레임을 서브 프레임으로 지정하는 서브 프레임 지정파트와, 각 상기 구간의 대표 프레임을 그룹핑하여 서브 섹터를 생성하는 서브 섹터 생성파트를 포함하며,
상기 영상 압축부는,
상기 I프레임과 상기 서브 섹터로부터 압축 영상을 생성하는 것을 특징으로 하는, 초저조도용 CCTV 영상 제공 시스템.
삭제
삭제
삭제
삭제
제 1항에 있어서,
상기 영상 보정부는,
소벨(Sobel) 연산자를 통해 상기 모션 영상으로부터 에지를 검출하는 에지 검출파트와,
기 설정된 기준값보다 작은 화소 값을 가지는 에지의 화소를 노이즈로 검출하는 노이즈 검출파트 및,
상기 에지의 화소 값의 평균과 분산을 기반으로 보정 화소 값을 산출하여 상기 노이즈를 상기 보정 화소 값으로 치환하여 상기 노이즈를 제거하는 노이즈 제거파트를 포함하는 것을 특징으로 하는, 초저조도용 CCTV 영상 제공 시스템.
제 6항에 있어서,
상기 보정 화소 값은,
다음의 수학식 1을 통해 산출되는 것을 특징으로 하는, 초저조도용 CCTV 영상 제공 시스템.
수학식 1.

(여기서,
는
위치에 해당하는 보정 화소 값,
은 상기 에지에 포함된 화소 값의 평균,
는 상기 에지에 포함된 화소 값의 분산,
는 상기 에지 중
위치에 해당하는 기존 화소 값,
은 에지에 포함된 화소 값 분산의 평균)
제 6항에 있어서,
상기 영상 보정부는,
상기 모션 영상으로부터 상기 객체의 움직임이 시작되는 시점부터 종료되는 시점까지의 모션 프레임 개수를 산출하는 모션 프레임 파악파트와,
상기 모션 영상 중 상기 객체의 움직임이 시작되는 시점의 프레임을 x-y 좌표 평면상에 위치한 후 상기 객체의 무게중심에 대한 위치 벡터를 설정하는 위치 벡터 설정파트 및,
상기 에지를 기준으로 명암 및 색 대비 차이에 따라 에지 세기를 산출하는 에지 세기 산출파트와,
상기 에지 세기와 상기 객체의 위치 벡터 및 상기 모션 프레임 개수를 기반으로 객체를 제외한 배경에 해당하는 에지를 디밍 처리하는 디밍 처리파트를 포함하는 것을 특징으로 하는, 초저조도용 CCTV 영상 제공 시스템.
제 8항에 있어서,
상기 에지 세기는,
다음의 수학식 2를 통해 산출되며,
상기 디밍 처리파트는,
다음의 수학식 3을 통해 상기 배경에 해당하는 보정 에지 세기를 산출하여 상기 배경을 디밍 처리하는 것을 특징으로 하는, 초저조도용 CCTV 영상 제공 시스템.
수학식 2.

(여기서,
는 에지 세기,
는 각각 RGB 중 R값, G값, B값에 대응되는 0 내지 255 사이의 정수이고,
는 상기 모션 프레임 내
위치의 화소가 갖는 휘도,
는 상기 모션 프레임 전체 중 최대 휘도 값)
수학식 3.

(여기서,
는 보정 에지 세기,
는 상기 에지 세기,
는 상기 모션 프레임의 개수,
는 상기 객체의 위치 벡터를 의미하며,
는 보정 가중치,
는 빈도 가중치)
삭제
삭제
삭제
삭제