KR20230173667A - Ai 기반 객체인식을 통한 감시 카메라의 셔터값 조절 - Google Patents

Abstract

감시 카메라 영상의 처리 장치가 개시된다. 본 명세서의 일 실시예에 따른 감시 카메라 영상의 처리 장치는, 영상 촬영부를 통해 획득한 영상에서 객체를 인식하고, 객체의 이동속도에 대응하는 목표 셔터값을 산출하고, 목표 셔터값에 기초하여 자동 노출 제어 과정에서 센서이득 제어구간 시작점의 셔터값이 결정할 수 있다. 객체의 움직임이 빠른 경우 고속 셔터가 적용되고, 객체가 존재하지 않거나 객체의 움직임이 느린 경우 저속 셔터가 적용됨으로 인해, 자동노출 제어과정에서 조도에 따라 노이즈 및 모션 블러 현상을 최소화할 수 있게 된다. 본 명세서는 감시용 카메라, 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 로봇, 증강현실(Augmented Reality, AR) 장치, 가상 현실(Virtual reality, VT) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

Description

AI 기반 객체인식을 통한 감시 카메라의 셔터값 조절

본 명세서는 감시 카메라의 영상 처리 방법에 관한 것이다.

감시 카메라의 잔상 저감 효과를 위해서 사용되는 고속 셔터는 필연적으로 저조도 조건에서도 센서 이득(gain)의 증폭양이 많아져서 화면상에 많은 노이즈가 발생되는 문제가 있다.

이러한 노이즈의 발생을 저감시키기 위해 저속 셔터를 사용하는 방안이 고려될 수 있는데, 저속 셔터를 사용하는 경우 화면상의 노이즈는 감소하나 감시 카메라의 주 감시 대상인 사람과 객체(예를 들어, 자동차 등)에 모션 블러 효과(motion blur)가 증가될 수 있다. 이러한 모션 블러 효과가 커지는 영상 데이터를 통해서는 사람과 객체를 인식할 수 없는 문제가 생길 수 있다.

또한, 감시 카메라는 감시 대상 객체가 움직임 잔상이 최대한 적어지도록 하기 위해서 노이즈 제거 강도를 적절하게 낮출 필요가 있는데, 노이즈 제거 강도를 낮추면 움직임 잔상은 적어지나 노이즈가 더 많아 지게 되며 상시적으로 화면상의 노이즈가 과다하게 발생되어 영상 전송 Band Width를 높이는 문제를 야기시킬 수 있다.

따라서, 주 감시 대상인 사람과 객체에 대한 인식률도 높이면서 잔상 효과를 최소화하는 방안이 필요하다.

본 명세서는 전술한 문제점을 해결하기 위한 것으로서, 화면상의 객체의 존재 여부에 따라 자동으로 셔터 스피드를 제어함으로써, 움직임 잔상(motion blur)를 최소화할 수 있는 감시 카메라의 영상 처리 방법을 제공하는 것을 목적으로 한다.

또한, 본 명세서는 저조도 조건에서 화면상의 객체의 움직임 여부에 따라 움직임 잔상 및 노이즈를 최소화할 수 있는 감시 카메라의 영상 처리 방법을 제공하는 것을 목적으로 한다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 이하의 발명의 상세한 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서의 일 실시예에 따른 감시 카메라 영상의 처리장치는, 영상 촬영부; 및 상기 영상 촬영부를 통해 획득한 영상에서 객체를 인식하고, 상기 객체의 이동속도에 대응하는 목표 셔터값을 산출하고, 상기 산출된 목표 셔터값에 기초하여 자동 노출 제어 과정에서 센서이득 제어구간 시작점의 셔터값이 결정되도록 제어하는 프로세서;를 포함하고, 상기 센서이득 제어구간의 시작점에서의 셔터값은 상기 객체의 이동 속도에 따라 제1 셔터값과 상기 제1 셔터값 보다 작은 제2 셔터값 사이에서 가변되도록 결정된다.

상기 프로세서는, 상기 객체의 이동속도가 제1 임계속도 이상인 경우 상기 셔터값을 고속 셔터값으로 설정하고, 상기 제1 임계속도 보다 작은 제2 임계속도 미만인 경우 상기 셔터값을 저속 셔터값으로 설정할 수 있다.

상기 프로세서는, 딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 적용하여 상기 객체를 인식할 수 있다.

상기 프로세서는, 상기 인식된 객체별로 ID를 부여하고, 상기 객체의 좌표를 추출하고, 제1 영상 프레임 및 상기 제1 영상 프레임 보다 후순위의 제2 영상 프레임에 포함된 객체의 좌표정보에 기초하여 상기 객체의 평균 이동속도를 산출할 수 있다.

상기 목표 셔터값은 상기 감시 카메라의 최저 셔터값(Minimum Shutter Speed)을 기준으로 1 프레임 시간 동안의 객체의 이동량 및 상기 감시 카메라 영상의 해상도(resolution)에 기초하여 산출될 수 있다.

상기 1 프레임 시간 동안의 이동량은 상기 객체의 평균 이동속도에 기초하여 산출될 수 있다.

상기 감시 카메라 영상의 해상도는 고해상도 카메라 및/또는 저해상도 카메라에 각각 적용 가능한 시각적 민감도(Visual Sensitivity)를 의미할 수 있다.

상기 프로세서는, 상기 감시 카메라 영상의 해상도에 대응하는 성능정보, 모션 블러(motion blur) 현상 없이 인식 가능한 객체의 속도정보를 학습 데이터로 설정하여 학습 모델을 훈련시키고, 상기 객체의 이동속도를 입력데이터로 하고, 상기 객체의 이동 속도에 따른 상기 목표 셔터값을 자동으로 산출하는 상기 학습모델에 기초하여 상기 목표 셔터값을 산출할 수 있다.

상기 프로세서는, 상기 객체의 이동속도에 따라 상기 센서이득 제어구간의 시작점의 셔터값이 상기 저속 셔터값에서 상기 고속 셔터값 사이의 구간에서 가변되도록 제어할 수 있다.

상기 센서이득 제어구간 시작점에서의 셔터값은 상기 객체의 이동속도가 빠를수록 상기 제1 셔터값에 수렴되도록 결정되고, 상기 객체의 이동속도가 느릴수록 상기 제2 셔터값에 수렴되도록 결정될 수 있다.

상기 제1 셔터값은 1/300 sec 이상이고, 상기 제2 셔터값은 1/30 sec 수 있다.

상기 자동노출 제어과정은 상기 센서이득 제어구간에 대응하는 저조도 구간과 조리개 및 셔터를 이용하는 고조도 구간에서 셔터 속도를 제어하되, 상기 목표 셔터값은 상기 센서이득 제어구간의 시작점의 셔터값을 통과하여 센서이득 증폭량이 증가함에 따라 반비례하는 자동노출 제어 스케줄에 따라 제어되며, 상기 자동노출 제어 스케줄은, 상기 객체의 이동속도가 증가하면 상기 센서이득 제어구간의 시작점의 셔터값이 커지도록 설정될 수 있다.

이에 따라, 저조도 구간 외에 고조도 구간에서도 객체 이동속도에 따라 셔터값을 높여서 적용 가능하다.

상기 감시 카메라는, 통신부;를 더 포함하고, 상기 프로세서는, 상기 영상 촬영부를 통해 획득한 영상 데이터를 상기 통신부를 통해 외부 서버로 전송하고, 상기 통신부를 통해 외부 서버로부터 인공지능 기반의 객체 인식결과를 수신할 수 있다.

본 명세서의 다른 실시예에 따른 감시 카메라의 영상 처리 장치는, 영상 촬영부; 및 상기 영상 촬영부에서 획득한 영상에서 객체를 인식하고, 상기 인식된 객체의 이동속도를 산출하고, 상기 객체의 이동속도에 따라 셔터값을 가변적으로 제어하는 프로세서;를 포함하고, 상기 프로세서는, 상기 영상 촬영부에서 획득한 영상을 입력 데이터로 설정하고, 객체 인식을 출력 데이터로 설정하여 기 학습된 신경망 모델을 적용하여 상기 객체를 인식할 수 있다.

상기 프로세서는, 객체가 존재하지 않는 경우, 최저 셔터값에 대응하는 제1 셔터값을 적용하고, 적어도 하나의 객체가 인식된 경우, 상기 객체의 평균 이동속도가 미리 정해진 임계치를 초과하는 경우 최대 셔터값에 대응하는 제2 셔터값을 적용할 수 있다.

상기 프로세서는, 상기 객체의 평균 이동속도에 따라 상기 제1 셔터값과 제2 셔터값 사이의 구간에서 셔터값을 가변적으로 적용할 수 있다.

본 명세서의 또 다른 실시예에 따른 감시 카메라 시스템은, 감시 영역의 영상을 촬영하는 감시 카메라; 및 통신부를 통해 상기 감시 카메라로부터 촬영된 상기 영상을 수신하고, 상기 영상에서 인공지능 기반의 객체인식 알고리즘을 통해 객체를 인식하고, 상기 인식된 객체의 이동속도에 대응하는 셔터값을 산출하여 상기 감시 카메라로 전송하는 컴퓨팅 장치;를 포함하고, 상기 셔터값은 상기 객체의 평균 이동속도에 따라 최저 셔터값에 대응되는 제1 셔터값과 제2 셔터값 사이의 구간에서 가변될 수 있다.

본 명세서의 또 다른 실시예에 따른 감시 카메차 영상의 처리 방법은, 영상 촬영부를 통해 획득된 영상에서 객체를 인식하는 단계; 상기 인식된 객체의 이동속도에 대응하는 목표 셔터값을 산출하는 단계; 상기 산출된 목표 셔터값에 기초하여 자동 노출 제어 과정에서 센서 이득 제어 시작점의 셔터값이 결정하는 단계;를 포함하되, 상기 센서이득 제어구간의 시작점에서의 셔터값은 상기 객체의 이동 속도에 따라 제1 셔터값과 상기 제1 셔터값 보다 작은 제2 셔터값 사이에서 가변되도록 결정될 수 있다.

상기 객체를 인식하는 단계는, 딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 적용하여 상기 객체를 인식할 수 있다.

상기 감시 카메라 영상의 처리 방법은, 상기 인식된 객체별로 ID를 부여하고, 상기 객체의 좌표를 추출하는 단계; 및 제1 영상 프레임 및 상기 제1 영상 프레임 보다 후순위의 제2 영상 프레임에 포함된 객체의 좌표정보에 기초하여 상기 객체의 평균 이동속도를 산출하는 단계;를 더 포함할 수 있다.

상기 목표 셔터값은, 상기 감시 카메라의 최저 셔터값(Minimum Shutter Speed)을 기준으로 1 레임 시간 동안의 객체의 이동량 및 상기 감시 카메라 영상의 해상도(resolution)에 기초하여 산출될 수 있다.

상기 목표 셔터값을 산출하는 단계는, 상기 감시 카메라 영상의 해상도에 대응하는 성능정보, 모션 블러(motion blur) 현상 없이 인식 가능한 객체의 속도정보를 학습 데이터로 설정하여 학습 모델을 훈련시키는 단계; 및 상기 객체의 이동속도를 입력데이터로 하고, 상기 객체의 이동 속도에 따른 상기 목표 셔터값을 자동으로 산출하는 상기 학습모델에 기초하여 상기 목표 셔터값을 산출하는 단계;를 포함할 수 있다.

상기 센서이득 제어구간 시작점에서의 셔터값은, 상기 객체의 이동속도가 빠를수록 상기 제1 셔터값에 수렴되도록 결정되고, 상기 객체의 이동속도가 느릴수록 상기 제2 셔터값에 수렴되도록 결정될 수 있다.

상기 제1 셔터값은 1/300 sec 이상이고, 상기 제2 셔터값은 1/30 sec 일 수 있다.

본 명세서의 또 다른 실시예에 따른 감시 카메라 영상의 처리 방법은, 영상 촬영부를 통해 획득된 영상에서 객체를 인식하는 단계; 상기 인식된 객체의 이동속도에 대응하는 목표 셔터값을 산출하는 단계; 상기 산출된 목표 셔터값에 기초하여 자동 노출 제어 과정에서 센서 이득 제어 시작점의 셔터값이 결정하는 단계;를 포함하되, 상기 객체의 이동속도가 제1 임계 속도 이상인 경우 상기 셔터값을 고속 셔터값으로 설정되고, 상기 제1 임계 속도보다 작은 제2 임계속도 미만인 경우 상기 셔터값을 저속 셔터값으로 설정될 수 있다.

본 명세서의 또 다른 실시예에 따른 감시 카메라 영상의 처리 방법은, 영상 촬영부를 통해 획득된 영상에서 객체를 인식하는 단계; 상기 인식된 객체의 이동속도를 산출하는 단계; 상기 객체의 이동속도에 따라 셔터값을 가변적으로 제어하는 단계;를 포함하되, 상기 객체를 인식하는 단계는, 상기 영상 촬영부에서 획득한 영상을 입력데이터로 설정하고, 객체 인식을 출력데이터로 설정하여 기 학습된 신경망 모델을 적용하여 상기 객체를 인식할 수 있다.

본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법은, 화면상의 객체의 존재 여부에 따라 셔터 스피드를 적절하게 제어함으로써, 영상의 선명성을 유지하면서 움직인 잔상을 최소화시킬 수 있다.

또한 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법은, 상시적으로 고속 셔터를 유지할 필요성이 매우 큰 감시 카메라의 특성상 저조도 조건에서 고속 셔터를 유지할 경우 발생되는 노이즈, 전송 대역폭 증가의 문제점을 해소할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을도 설명한다.
도 1은 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법을 구현하기 위한 감시 카메라 시스템을 설명하기 위한 도면이다.
도 2는 본 명세서의 일 실시예에 따른 감시 카메라의 개략적인 블록도이다.
*도 3은 본 명세서의 일 실시예에 따른 감시 카메라 영상의 분석에 적용되는 AI 장치(모듈)을 설명하기 위한 도면이다.
도 4는 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법의 흐름도이다.
도 5는 본 명세서의 일 실시예에 따라 객체 인식 방법의 일 예를 설명하기 위한 도면이다.
도 6은 본 명세서의 일 실시예에 따라 객체 인식 방법의 다른 예를 설명하기 위한 도면이다.
도 7은 본 명세서의 일 실시예에 따라 인공지능 알고리즘을 이용한 객체 인식 과정을 설명하기 위한 도면이다.
도 8은 도 7에서 인식된 객체의 평균 이동속도를 산출하는 과정을 설명하기 위한 도면이다.
도 9는 본 명세서의 일 실시예에 따라 자동 노출에 적용할 객체의 평균이동속도와 셔터 스피드의 관계를 설명하기 위한 도면이다.
도 10은 객체의 존재여부와 관계없이 객체 잔상(motion blur) 만을 고려한 자동 노출 제어 스케줄을 설명하기 위한 도면이다.
도 11은 본 명세서의 일 실시예에 따라 객체의 이동 속도에 따른 셔터속도를 자동노출 제어에 적용 과정을 설명하기 위한 도면이다.
도 12는 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법 중 저조도 구간에서 셔터 속도를 제어하는 방법의 흐름도이다.
도 13은 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법 중 자동 노출 제어방법의 흐름도이다.
도 14 내지 도 15는 본 명세서의 일 실시예에 따라 센서 이득 제어구간의 초기 셔터값을 객체의 존재 여부에 따라 가변적으로 적용하는 자동 노출 스케줄을 설명하기 위한 도면이다.
도 16은 본 명세서의 일 실시예에 따라 저조도 구간에서 객체의 움직임 여부에따른 자동 노출제어를 설명하기 위한 도면이고, 도 17은 고조도 구간에서 객체의 움직임 여부에 따른 자동 노출제어를 설명하기 위한 도면이다.
도 18은 본 명세서의 일 실시예에 따라 객체가 존재하지 않거나 객체의 이동속도가 낮을 경우 자동노출 제어를 설명하기 위한 도면이다.
도 19는 일반 셔터값을 적용한 경우와 본 명세서의 일 실시예에 따른 AI 자동 객체 인식 및 고속 셔터 사용 결과 촬영된 영상을 비교한 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

전술한 본 명세서, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 명세서의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 명세서의 범위에 포함된다.

자동 노출(AE) 제어 기술은 카메라의 영상 밝기를 일정하게 유지하는 기술로 고휘도(야외의 밝은 조도)의 경우 셔터스피드/조리개(iris)를 사용하여 밝기를 제어하고, 저조도(어두운 조도) 조건은 이미지 센서의 이득(Gain)을 증폭하여 영상의 밝기를 보정하는 기술을 의미한다.

그리고 셔터 스피드는 카메라가 빛에 노출되는 시간을 의미한다. 셔터 스피드가 저속(1/30 sec)일 경우 노출시간이 길어서 영상은 밝아지지만, 노출 시간 동안 객체의 움직임도 누적되어 모션 블러(motion blur)가 발생되는 문제가 있다. 반대로 셔터 스피드가 고속(1/200 sec 이상)인 경우 카메라 노출 시간이 짧아 영상이 어두워질 수 있지만 객체의 움직임 누적도 짧아져서 모션 블러 현상은 적어진다.

감시카메라는 주 감시 대상인 사람과 객체가 모션 블러 현상 없이 감시해야 하므로 고속 셔터를 유지하는 것이 유리하다. 하지만 셔터 스피드가 고속일 경우 짧은 노출 시간으로 인해 영상도 어두워져 저조도에서는 이미지 센서의 이득 증폭량을 증가시켜야 밝기가 보정되기 때문에 노이즈를 상대적으로 많이 일으킬 수 있다. 일반적으로 이미지 센서의 이득 증폭이 많아질수록 화면상에 노이즈도 함께 증가한다. 결국, 저조도 조건에서 고속 셔터 스피드의 사용은 모션 블러의 감소 효과는 주지만 화면에 노이즈를 증가시키는 원인이 될 수도 있다.

한편, 실제 감시카메라가 촬영하는 감시 영역에서는 감시해야 할 객체가 항상 존재하는 것은 아니지만 언제든지 랜덤하게 발생하는 객체를 모션 블러없이 모니터링할 수 있어야 하기 때문에 항상 고속 셔터를 유지할 수밖에 없다. 물론 고속 셔터의 유지는 저조도 조건에서 많은 노이즈를 발생시키기 때문에 노이즈에 따른 부작용(side effect)도 많이 발생시킬 수 있다. 예를 들어, 노이즈가 많아지면 영상 압축 전송 데이터도 많아져서 영상 전송 대역(Bandwidth)가 높아지고 객체도 노이즈로 인해 윤곽이 흐려지는 문제가 생길 수 있다.

본 명세서의 일 실시예에 따른 감시 카메라 영상 처리 방법은 감시 카메라의 목적에 부합되도록 화면상의 객체의 존재여부에 따라 자동으로 셔터 스피드를 제어할 필요성이 있다. 하지만, 객체의 존재여부를 판단하기 위해서 종래에는 모션 정보를 많이 이용하였으나 자연환경(바람, 나뭇잎 흔들림 등등)에 의해 False Alarm 이 많이 발생하는 문제가 있었다. 이에 따라 본 명세서는 AI 영상 분석을 통해 객체를 인식하고 객체마다 ID를 부여하고, ID가 부여된 객체에 대하여 평균 이동속도를 산출한다. 산출된 객체의 평균 이동속도는 모션 블러가 발생하지 않는 적절한 셔터 스피드를 산출하는데 활용될 수 있다.

한편, 일반적으로 고휘도(야외 또는 밝은 조도 조건) 조건은 고속 셔터를 사용하여 밝기 보정을 하기 때문에 객체의 모션 블러가 거의 발생하지 않는다. 따라서, 본 명세서의 일 실시예에 따른 감시 카메라 영상의 처리 방법은 고속 셔터 사용으로 인해 이미지 센서이득을 증폭시킬 수밖에 없으며, 이미지 센서 이득이 증폭되어 노이즈가 많아지는 저조도 조건에서 셔터를 제어하기 위해 적용될 수 있다.

도 1은 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법을 구현하기 위한 감시 카메라 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 본 명세서의 일 실시예에 따른 영상 관리 시스템(10)은 촬영 장치(100) 및 영상 관리 서버(20)을 포함할 수 있다. 촬영 장치(100)는 특정 장소의 고정된 위치에 배치되는 촬영용 전자 장치일 수도 있고, 일정한 경로를 따라 자 동 또는 수동으로 움직일 수 있는 촬영용 전자 장치일 수도 있고, 사람 또는 로봇 등에 의하여 이동될 수 있는 촬영용 전자 장치일 수도 있다. 촬영 장치(100)는 유무선 인터넷에 연결하여 사용하는 IP 카메라일 수 있다. 촬영 장치(100)는 팬(pan), 틸트(tilt), 및 줌(zoom) 기능을 갖는 PTZ 카메라일 수 있다. 촬영 장치(100)는 감시 하는 영역을 녹화하거나 사진을 촬영하는 기능을 가질 수 있다. 촬영 장치(100)는 감시하는 영역에서 발생하는 소리를 녹음하는 기능을 가질 수 있다. 촬영 장치(100)는 감시하는 영역에서 움직임 또는 소리 등 변화가 발생 할 경우, 이에 대한 알림을 발생시키거나 녹화 또는 사진 촬영을 수행하는 기능을 가질 수 있다.

영상 관리 서버(20)는 촬영 장치(100)를 통하여 촬영된 영상 자체 및/또는 해당 영상을 편집하여 얻어지는 영상을 수신하여 저장하는 장치일 수 있다. 영상 관리 서버(20)는 수신한 용도에 대응되도록 분석할 수 있다. 예를 들어, 영상 관리 서버(20)는 영상에서 객체를 검출하기 위해 객체 검출 알고리즘을 이용하여 객체를 검출할 수 있다. 상기 객체 검출 알고리즘은 AI 기반 알고리즘이 적용될 수 있으며, 미리 학습된 인공신경망 모델을 적용하여 객체를 검출할 수 있다.

한편, 영상 관리 서버(20)는 영상 분석 목적에 맞는 다양한 학습 모델을 저장하고 있을 수 있다. 전술한 객체 검출을 위한 학습 모델 외에, 검출된 객체의 이동 속도를 획득할 수 있는 모델을 저장하고 있을 수도 있다. 여기서 상기 학습된 모델들은 객체의 이동 속도에 대응되는 셔터 속도값을 출력하는 학습 모델을 포함할 수도 있다. 또한, 상기 학습된 모델들은 상기 객체의 이동 속도에 대응되는 노이즈 제거 강도 조절값을 출력하는 학습 모델을 포함할 수도 있다.

또한, 영상 관리 서버(20)는 수신한 영상을 분석하여 메타 데이터와 해당 메타 데이터에 대한 인덱스 정보를 생성할 수 있다. 영상 관리 서버(20)는 수신한 영상에 포함된 영상 정보 및 /또는 음향 정보를 함께 또는 별도로 분석하여 메타 데이터와 해당 메타 데이터에 대한 인덱스 정보를 생성할 수 있다.

영상 관리 시스템(10)은 촬영 장치(100) 및/또는 영상 관리 서버(20)와 유무선 통신을 수행할 수 있는 외부 장 치(300)를 더 포함할 수 있다.

외부 장치(30)는 영상 관리 서버(20)로 영상 전체 또는 일부의 제공을 요청하는 정보 제공 요청 신호를 송신할 수 있다. 외부 장치(30)는 영상 관리 서버(200)로 영상 분석 결과 객체의 존재 여부, 객체의 이동 속도, 객체의 이동 속도에 따른 셔터 속도 조절값, 객체의 이동 속도에 따른 노이즈 제거값 등을 요청하는 정보 제공 요청 신호를 송신할 수 있다. 또한 외부 장치(30)는 영상 관리 서버(20)로 영상을 분석하여 얻어진 메타 데이터 및/또는 메타 데이터에 대한 인덱스 정보를 요청하는 정보 제공 요청 신호를 송신할 수 있다.

영상 관리 시스템(10)은 촬영 장치(100), 영상 관리 서버(20), 및/또는 외부 장치(30) 간의 유무선 통신 경로 인 통신망(400)을 더 포함할 수 있다. 통신망(40)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트 워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 명세서의 범위가 이 에 한정되는 것은 아니다.

도 2는 본 명세서의 일 실시예에 따른 감시 카메라의 개략적인 블록도이다.

도 2는 도 1에 도시된　카메라의 구성을 나타내는 블록도이다. 도 2를 참조하면,카메라(200)는 지능형 영상분석 기능을 수행하여 상기 영상분석 신호를 생성하는 네트워크　카메라임을 그 예로 설명하나, 본 발명의 실시예에 의한 네트워크　감시　카메라　시스템의 동작이 반드시 이에 한정되는 것은 아니다.

카메라(200)는 이미지 센서(210), 인코더(220), 메모리(230), 이벤트 센서(240), 프로세서(240), 및 통신 인터페이스(250)를 포함한다.

이미지 센서(210)는　감시　영역을 촬영하여 영상을 획득하는 기능을 수행하는 것으로서, 예컨대, CCD(Charge-Coupled Device) 센서, CMOS(Complementary Metal-Oxide-Semiconductor) 센서 등으로 구현될 수 있다.

인코더(220)는 이미지 센서(210)를 통해 획득한 영상을 디지털 신호로 부호화하는 동작을 수행하며, 이는 예컨대, H.264, H.265, MPEG(Moving Picture Experts Group), M-JPEG(Motion Joint Photographic Experts Group) 표준 등을 따를 수 있다.

메모리(230)는 영상 데이터, 음성 데이터, 스틸 이미지, 메타데이터 등을 저장할 수 있다. 앞서 언급한 바와 같이, 상기 메타데이터는 상기　감시영역에 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 검출된 위치 정보(좌표, 크기 등)을 포함하는 데이터일 수 있다.

또한, 상기 스틸 이미지는 상기 메타데이터와 함께 생성되어 메모리(230)에 저장되는 것으로서, 상기 영상분석 정보들 중 특정 분석 영역에 대한 이미지 정보를 캡쳐하여 생성될 수 있다. 일 예로, 상기 스틸 이미지는 JPEG 이미지 파일로 구현될 수 있다.

일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 검출된 상기　감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있으며, 이는 상기 메타데이터와 함께 실시간으로 전송될 수 있다.

통신부(240)는 상기 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 영상수신/검색장치(300)에 전송한다. 일 실시예에 따른 통신부(240)는 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 영상수신장치(300)에 실시간으로 전송할 수 있다. 통신 인터페이스(250)는 유무선 LAN(Local Area Network), 와이파이(Wi-Fi), 지그비(ZigBee), 블루투스(Bluetooth), 근거리 통신(Near Field Communication) 중 적어도 하나의 통신 기능을 수행할 수 있다.

AI 프로세서(250)는 인공지능 영상 처리를 위한 것으로서, 본 명세서의 일 실시예에 따라 감시 카메라 시스템을 통해 획득된 영상에서 관심객체로 학습된 딥러닝 기반의 객체 탐지(Objection Detection) 알고리즘을 적용한다. 상기 AI 프로세서(250)는 시스템 전반에 걸쳐 제어하는 프로세서(260)와 하나의 모듈로 구현되거나 독립된 모듈로 구현될 수 있다. 본 명세서의 일 실시예들은 객체 탐지에 있어서 YOLO(You Only Lock Once) 알고리즘을 적용할 수 있다. YOLO은 객체 검출 속도가 빠르기 때문에 실시간 동영상을 처리하는 감시 카메라에 적당한 AI 알고리즘이다. YOLO 알고리즘은 다른 객체 기반 알고리즘들(Faster R-CNN, R_FCN, FPN-FRCN 등)과 달리 한 장의 입력 영상을 리사이즈(Resize)후 단일 신경망을 단 한 번 통과킨 결과로 각 객체의 위치를 인디케이팅하는 바운딩 박스(Bounding Box)와 객체가 무엇인지 분류 확률을 출력한다. 최종적으로 Non-max suppression을 통해 하나의 객체를 한번 인식(detection)한다.

한편, 본 명세서에 개시되는 객체 인식 알고리즘은 전술한 YOLO에 한정되지 않고 다양한 딥러닝 알고리즘으로 구현될 수 있음을 밝혀둔다.

한편, 본 명세서에 적용되는 객체 인식을 위한 학습 모델은 카메라 성능, 감시 카메라에서 모션 블러 현상 없이 인식 가능한 객체의 움직임 속도 정보 등을 학습 데이터로 정의하여 훈련된 모델일 수 있다. 이에 따라 학습된 모델은 입력 데이터가 객체의 이동 속도일 수 있으며, 출력 데이터가 객체의 이동 속도에 최적화된 셔터 속도를 출력 데이터로 할 수 있다.

도 3은 본 명세서의 일 실시예에 따른 감시 카메라 영상의 분석에 적용되는 AI 장치(모듈)을 설명하기 위한 도면이다.

도 3을 살펴보면, AI 장치(20)는 AI 프로세싱을 수행할 수 있는 AI 모듈을 포함하는 전자 기기 또는 AI 모듈을 포함하는 서버 등을 포함할 수 있다. 또한, AI 장치(20)는 감시 카메라 또는 영상 관리 서버의 적어도 일부의 구성으로 포함되어 AI 프로세싱 중 적어도 일부를 함께 수행하도록 구비될 수도 있다.

AI 프로세싱은 감시카메라 또는 영상 관리 서버의 제어부와 관련된 모든 동작들을 포함할 수 있다. 예를 들어, 감시 카메라 또는 영상 관리 서버는 획득된 영상 신호를 AI 프로세싱 하여 처리/판단, 제어 신호 생성 동작을 수행할 수 있다.

AI 장치(20)는 AI 프로세싱 결과를 직접 이용하는 클라이언트 디바이스이거나, AI 프로세싱 결과를 다른 기기에 제공하는 클라우드 환경의 디바이스일 수도 있다. AI 장치(20)는 신경망을 학습할 수 있는 컴퓨팅 장치로서, 서버, 데스크탑 PC, 노트북 PC, 태블릿 PC 등과 같은 다양한 전자 장치로 구현될 수 있다.

AI 장치(20)는 AI 프로세서(21), 메모리(25) 및/또는 통신부(27)를 포함할 수 있다.

AI 프로세서(21)는 메모리(25)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(21)는 감시 카메라의 관련 데이터를 인식하기 위한 신경망을 학습할 수 있다. 여기서, 감시 카메라의 관련 데이터를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고받을 수 있다. 여기서 신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.

한편, 전술한 바와 같은 기능을 수행하는 프로세서는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)일 수 있다.

메모리(25)는 AI 장치(20)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(25)는 비 휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD) 등으로 구현할 수 있다. 메모리(25)는 AI 프로세서(21)에 의해 액세스되며, AI 프로세서(21)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(25)는 본 발명의 일 실시예에 따른 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥 러닝 모델(26))을 저장할 수 있다.

한편, AI 프로세서(21)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(22)를 포함할 수 있다. 데이터 학습부(22)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(22)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습데이터를 딥러닝 모델에 적용함으로써, 딥러닝 모델을 학습할 수 있다.

데이터 학습부(22)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 장치(20)에 탑재될 수 있다. 예를 들어, 데이터 학습부(22)는 인공지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 장치(20)에 탑재될 수도 있다. 또한, 데이터 학습부(22)는 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 애플리케이션에 의해 제공될 수 있다.

데이터 학습부(22)는 학습 데이터 획득부(23) 및 모델 학습부(24)를 포함할 수 있다.

학습 데이터 획득부(23)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다.

모델 학습부(24)는 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(24)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또는 모델 학습부(24)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다.

신경망 모델이 학습되면, 모델 학습부(24)는 학습된 신경망 모델을 메모리에 저장할 수 있다. 모델 학습부(24)는 학습된 신경망 모델을 AI 장치(20)와 유선 또는 무선 네트워크로 연결된 서버의 메모리에 저장할 수도 있다.

데이터 학습부(22)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 리소스 또는 시간을 절약하기 위해 학습 데이터 전처리부(미도시) 및 학습 데이터 선택부(미도시)를 더 포함할 수도 있다.

학습 데이터 전처리부는 획득된 데이터가 상황 판단을 위한 학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 예를 들어, 학습 데이터 전처리부는, 모델 학습부(24)가 이미지 인식을 위한 학습을 위하여 획득된 학습 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.

또한, 학습 데이터 선택부는, 학습 데이터 획득부(23)에서 획득된 학습 데이터 또는 전처리부에서 전처리된 학습 데이터 중 학습에 필요한 데이터를 선택할 수 있다.선택된 학습 데이터는 모델 학습부(24)에 제공될 수 있다.

또한, 데이터 학습부(22)는 신경망 모델의 분석 결과를 향상시키기 위하여 모델 평가부(미도시)를 더 포함할 수도 있다.

모델 평가부는, 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(22)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다. 일 예로, 모델 평가부는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정되 임계치를 초과하는 경우, 소정 기준을 만족하지 못한 것으로 평가할 수 있다.

통신부(27)는 AI 프로세서(21)에 의한 AI 프로세싱 결과를 외부 전자 기기로 전송할 수 있다. 예를 들어, 외부 전자 기기는 감시카메라, 블루투스 장치, 자율주행 차량, 로봇, 드론, AR 기기, 모바일 기기, 가전 기기 등을 포함할 수 있다.

한편, 도 3에 도시된 AI 장치(20)는 AI 프로세서(21)와 메모리(25), 통신부(27) 등으로 기능적으로 구분하여 설명하였지만, 전술한 구성요소들이 하나의 모듈로 통합되어 AI 모듈로 호칭될 수도 있음을 밝혀둔다.

본 명세서는 감시용 카메라, 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 로봇, 증강현실(Augmented Reality, AR) 장치, 가상 현실(Virtual reality, VT) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

도 4는 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법의 흐름도이다. 도 4에 도시된 영상 처리 방법은 도 1 내지 도 3을 통해 설명한 감시 카메라 시스템, 감시 카메라 장치, 감시 카메라 장치에 포함된 프로세서 또는 제어부를 통해 구현될 수 있다. 설명의 편의를 위해 상기 영상 처리 방법은 도 2에 도시된 감시 카메라(200)의 프로세서(260)를 통해 다양한 기능들이 제어될 수 있음을 전제로 설명하나, 본 명세서는 이에 한정되는 것이 아님을 밝혀둔다.

도 4를 참조하면, 프로세서(260)는 감시 카메라 영상을 획득한다(S400). 상기 감시 카메라 영상을 동영상을 포함할 수 있다.

프로세서(260)는 상기 획득된 영상을 AI 영상 분석 시스템을 통해 객체 인식 동작이 수행되도록 제어할 수 있다(S410).

상기 AI 영상 분석 시스템은 감시 카메라에 포함된 영상 처리 모듈일 수 있다. 이 경우, 상기 영상 처리 모듈에 포함된 AI 프로세서는 입력된 영상(동영상)에서 기 정의된 객체 인식 알고리즘을 적용하여 영상 내의 객체를 인식함으로써, 객체의 존재 여부를 판단할 수 있다. 또한, 상기 AI 영상 분석 시스템은 감시 카메라와 통신 연결된 외부 서버에 구비된 영상 처리 모듈일 수 있다. 이 경우, 감시 카메라의 프로세서(260)는 입력된 영상을 통신부를 통해 상기 외부 서버로 전송하면서 객체인식 요청 명령 및/또는 인식된 객체의 움직임 정도(객체의 이동속도, 객체의 평균 이동속도 정보 등) 등을 함께 요청할 수도 있다.

프로세서(260)는 상기 인식된 객체의 평균 이동속도를 산출할 수 있다(S420). 상기 인식된 객체의 평균 이동속도를 산출하는 과정은 도 7 및 8을 통해 보다 구체적으로 설명하기로 한다.

프로세서(260)는 산출된 객체의 평균 이동속도에 대응하는 셔터 스피드를 산출할 수 있다(S430). 객체의 이동속도가 클수록 잔상 효과는 심해지기 때문에 셔터 스피드를 높일 수밖에 없다. 여기서 셔터 스피드를 높이는 정도 또는 객체의 특정 이동속도에서 잔상효과를 최소화시키기 위한 최적의 셔터스피드 값을 산출하는 과정에 대해서는 도 9를 통해 보다 구체적으로 설명한다.

프로세서(260)는 산출된 셔터 스피드 값을 고려하여 자동 노출(AE) 제어를 수행할 수 있다(S440).

본 명세서의 일 실시예에 따른 영상 처리 방법은 상대적으로 저조도 환경에서 유리하게 적용될 수 있다. 특히 조도가 밝은 환경에서는 보통 고속 셔터를 사용하므로 객체의 움직임으로 인한 잔상 효과는 크게 문제되지 않을 수 있다. 그러나 저조도 환경에서는 노출시간 보다는 센서 이득에 민감한 구간으로 센서이득 제어를 통해 자동노출제어가 이루어질 수 있다. 이에 따라 저조도 환경에서는 센서이득 제어로 인한 노이즈가 문제가 될 수 있으며 이러한 노이즈를 줄이기 위해서는 최대한 밝기를 확보해야 하며 결국, 저속 셔터를 유지하는 것이 유리할 수 있다. 그러나, 일반 카메라와는 달리 감시 카메라의 경우 저조도 환경에서도 빠른 속도로 움직이는 객체를 명확하게 인식해야 하는 필요성으로 인해 고속 셔터를 유지하여 최대한 객체의 잔상효과를 제거하는 것이 우선순위로 고려될 수밖에 없다. 따라서, 저조도 환경의 감시카메라는, 밝기 및 객체의 움직임 정도에 따른 최적의 셔터값을 결정하는 것이 무엇보다 중요하다.

이상, 본 명세서의 실시예를 통해 감시 카메라 영상에서 객체를 인식하고, 인식된 객체의 움직임 여부, 객체의 움직임 정도(객체의 평균 이동속도), 객체 속도에 최적의 셔터값을 산출하고, 이를 통해 자동노출 제어가 이루어지는 순서에 대하여 살펴보았다.

이하, 객체인식, 객체의 평균이동속도 산출, 객체의 평균이동속도에 따른 셔터 스피드 산출, 저조도 구간의 시작점에서 객체의 이동속도에 따른 셔터값 조절에 대하여 보다 구체적으로 설명하기로 한다.

도 5는 본 명세서의 일 실시예에 따라 객체 인식 방법의 일 예를 설명하기 위한 도면이다. 도 6은 본 명세서의 일 실시예에 따라 객체 인식 방법의 다른 예를 설명하기 위한 도면이다. 도 7은 본 명세서의 일 실시예에 따라 인공지능 알고리즘을 이용한 객체 인식 과정을 설명하기 위한 도면이다. 도 8은 도 7에서 인식된 객체의 평균 이동속도를 산출하는 과정을 설명하기 위한 도면이다. 이하 도 5 내지 도 8을 참조하여 AI 알고리즘을 이용하여 객체인식 및 객체의 평균이동속도를 산출하는 과정을 설명한다.

도 5를 참조하면, 감시 카메라의 프로세서(260)는 영상 프레임을 인공 신경망(Artificial Neural Network, 이하 신경망이라 함) 모델에 입력한다(S500).

상기 신경망 모델은 카메라 영상을 입력 데이터로 하고 상기 입력된 영상 데이터에 포함된 객체(사람, 자동차 등)를 인식하도록 훈련된 모델일 수 있다. 전술한 바와 같이 본 명세서의 일 실시예에 따라 상기 신경망 모델은 YOLO 알고리즘이 적용될 수 있다.

프로세서(260)는 신경망 모델의 출력 데이터를 통해 객체의 종류 및 객체의 위치를 인식할 수 있다(S510). 도 7을 참조하면 신경망 모델의 출력 결과 객체인식 결과를 바운딩 박스(B1,B2)로 표시하고, 각 바운딩 박스의 모서리(C11,C12/ C21, C22)의 좌표값을 포함할 수 있다. 프로세서(260)는 상기 바운딩 박스의 모서리 정보를 통해 각 바운딩 박스의 중심 좌표를 산출할 수 있다.

프로세서(260)는 제1 영상 프레임 및 제2 영상 프레임에서 각각 검출된 객체의 좌표를 인식할 수 있다(S520). 프로세서(260)는 객체의 이동속도를 산출하기 위하여 제1 영상 프레임 및 상기 제1 영상 프레임 이후에 획득되는 제2 영상 프레임을 분석할 수 있다.

프로세서(530)는 각 영상 프레임에서의 특정 객체의 좌표 변화를 감지하고, 객체의 움직임 검출 및 이동속도를 산출할 수 있다(S530)

한편, 도 5는 감시 카메라에서 AI 프로세싱 결과를 통해 객체를 인식하는 과정을 설명하였으나, 도 6는 상기 AI 프로세싱 동작을 네트워크 즉 외부 서버를 통해 수행하는 경우를 예시한다.

도 6을 참조하면, 감시 카메라는 영상을 획득한 경우, 획득한 영상 데이터를 네트워크(외부 서버 등)로 전송한다(S600). 여기서 감시 카메라는 영상 데이터 전송과 함께 영상에 포함된 객체의 존재 유무, 객체가 존재하는 경우, 객체의 평균 이동속도 정보를 함께 요청할 수도 있다.

외부 서버는 AI 프로세서를 통해 감시 카메라로부터 수신된 영상 데이터로부터 신경망 모델에 입력할 영상 프레임을 확인하고, AI 프로세서는 상기 영상 프레임을 신경망 모델에 적용하도록 제어할 수 있다(S610). 또한 외부 서버에 포함된 AI 프로세서는 신경망 모델의 출력 데이터를 통해 객체의 종류 및 객체의 위치를 인식할 수 있다(S620).

외부 서버는 신경망 모델의 출력값을 통해 인식된 객체에 대하여 평균 이동속도를 산출할 수 있다(S630). 객체 인식 및 객체의 평균 이동속도 산출은 전술한 바와 같다.

감시 카메라는 외부 서버로부터 객체 인식 결과 및/또는 객체의 평균이동속도 정보를 수신할 수 있다(S650).

감시 카메라는 객체의 평균 이동속도 정보에 기초하여 목표 셔터스피드 산출함수에 적용하고, 목표 셔터값을 산출한다(S650).

감시 카메라는 산출된 셔터 스피드에 따른 자동 노출 제어를 수행할 수 있다(S660).

도 8의 (a)를 참조하면, 프로세서(260)는 신경망 모델을 통해 객체를 인식한 경우 인식된 객체의 테두리에 바운딩 박스를 표시하고, 각 객체들에 대하여 ID를 부여할 수 있다. 이에 따라 프로세스(260)는 인식된 각각의 객체를 ID 및 바운딩 박스의 중심 좌표를 통해 객체 인식 결과를 확인할 수 있다. 상기 객체인식 결과는 상기 제1 영상 프레임 및 제2 영상 프레임 각각에 대하여 제공될 수 있다. 여기서 제2 영상 프레임의 경우, 이전 영상인 제1 영상 프레임에서 인식된 객체가 아닌 신규 객체를 인식한 경우 새로운 ID를 부여하게 되고, 동일하게 바운딩 박스 좌표를 통해 객체의 중심좌표를 획득할 수 있다.

도 8의 (b)를 참조하면, 프로세서(260)는 적어도 둘 이상의 영상 프레임에서 획득된 객체의 중심좌표가 획득되면 상기 중심좌표의 변화를 기준으로 인식된 객체의 이동속도를 산출할 수 있다.

[수학식 1]

여기서, (X1,Y1)은 제1 객체(ID1)의 중심좌표이며, (X2,V2)는 제2 객체(ID2)의 중심좌표이다.

그리고 프로세서(260)는 산출된 객체별 이동 속도에 평균 필터를 적용하여 객체의 평균 이동속도를 산출할 수 있다(아래 수식 참조)

[수학식 2]

프로세서(260)는 감시 카메라로부터 입력되는 모든 영상 프레임 마다 전술한 과정을 통해 객체인식 및 인식된 객체의 평균이동속도를 산출한다. 산출된 평균객체속도는 도 9에서 설명할 목표 셔터 스피드 산출에 활용될 수 있다.

한편, 프로세서(260)는 현재 프레임, 이전 프레임, 다음 프레임 등의 순차적인 영상 프레임을 각각 확인하여 인식된 객체 ID 가 화면에서 사라지게 되면 부여한 객체 ID를 삭제한다. 이에 따라 총 객체수도 감소될 수 있다. 반대로 이전 영상 프레임에서 존재하지 않았던 객체가 새롭게 인식된 경우, 신규 객체 ID를 부여하고, 객체의 평균 이동속도에 포함시키고, 총 객체수도 증가시킨다. 프로세서(260)는 영상 프레임 내에 포함된 객체 ID가 0개인 경우, 획득된 영상 내에 객체가 존재하지 않는 것으로 판단한다.

도 9는 본 명세서의 일 실시예에 따라 자동 노출에 적용할 객체의 평균이동속도와 셔터 스피드의 관계를 설명하기 위한 도면이다.

도 9를 참조하면 셔터 스피드 산출함수와 관련된 그래프가 개시되어 있다.

여기서 객체의 평균 이동속도에 대응하는 셔터 스피드라 함은 자동 노출(AE)에 실질적으로 적용할 목표 셔터 스피드(Target Shutter Speed)를 의미할 수 있다. 상기 객체의 평균 이동속도가 클수록 모션 블러(Motion Blur)가 많아진다. 또한 모션 블러는 일반적으로 저속 셔터(Minimum Shutter Speed)를 사용할 경우 1 프레임 시간 동안 객체가 움직인 거리만큼 발생한다. 따라서, 모션 블러의 정도를 확인하기 위해서는 "1프레임 당 평균 객체 이동량"에 대한 확인이 필요하며 아래 수식(수학식 3) 통해 확인할 수 있다.

[수학식 3]

(단위: 픽셀)

단, 저속셔터에서 프레임은 동영상이 30장이 출력될 경우 1장을 의미한다.

위 수학식 3에서 "1 프레임 당 평균 객체 이동량"을 기준으로 아래 수학식 4와 같이 저속셔터의 노출시간을 줄임으로써, 목표 셔터값을 산출할 수 있다. 객체의 평균 이동속도가 클수록 셔터 노출시간이 더 짧아져서 최종적으로 고속셔터가 목표셔터값이됨을 알 수 있다.

[수학식 4]

여기서, Minimum Shutter Speed는 최저 셔터 속도(ex 1/30 sec)이며, Visual Sensitivity는 영상의 해상도에 따른 시각적 민감도를 의미함.

한편, 상기 수학식 4에 따른 타겟 셔터속도 산출과정은 객체가 인식된 상태 및 인식된 객체의 이동속도가 일정 속도 이상인 경우에 적용될 수 있다.

다만, 객체가 인식되지 않았거나, 인식된 객체의 평균 이동속도가 일정 속도 보다 작은 경우 객체 이동량이 낮아지므로 셔터는 저속 셔터(Minimum Shutter Speed) 값이 적용될 수 있다.

한편, 최소 셔터값은 감시 카메라의 성능에 따라 달라질 수 있으며 본 명세서의 일 실시예에 따르면 셔터 스피드 산출함수에는 감시 카메라의 성능을 반영하는 팩터(factor)를 고려됨을 알 수 있다. 즉, 고화소의 카메라인 경우 모션 블러의 시각적인 민감도가 저화소 카메라 대비 ?宣沮? 수 있기 때문에 카메라 고유의 시각적 민감도(Visual Sensitivity) 값을 적용한다. 실제 동일한 화각 내에서 객체의 이동량은 고화소 카메라 영상이 저화소 카메라 영상 대비 1 프레임 시간 동안의 객체 이동량이 크게 산출된다. 이는 고화소 카메라가 저화소 카메라 대비 화각이 동일해도 더 많은 픽셀수로 영상을 표현해주기 때문이다. 객체 이동량이 크면 목표 셔터가 저화소 카메라 대비 크게 산출되기 때문에 시각적 민감도(Visual Sensitivity) 값을 적용할 필요가 있다.

이상, 인식된 객체의 이동속도(평균 이동속도)에 따라 셔터 스피드값을 산출하는 과정을 설명하였으며, 산출된 셔터 스피드는 자동 노출 제어에 적용될 수 있으며, 이하 감시 카메라 특성을 반영하여 객체의 유무 및/또는 객체의 이동 속도에 따른 자동노출 제어를 보다 구체적으로 설명한다.

도 10은 객체의 존재여부와 관계없이 객체 잔상(motion blur) 만을 고려한 자동 노출 제어 스케줄을 설명하기 위한 도면이다. 도 11은 본 명세서의 일 실시예에 따라 객체의 이동 속도에 따른 셔터속도를 자동노출 제어에 적용 과정을 설명하기 위한 도면이다.

도 10을 참조하면, 일반적으로 자동노출 제어는 밝기 조도에 따라서 셔터(shutter) 및 조리개(iris) 제어방법 및 센서이득 제어 방법을 통해 가능할 수 있다. 밝은 조도 조건에서는 셔터 및 조리개를 사용하여 제어하고(1001 셔터/조리개 제어구간, 이하, 제1 구간이라 함), 이 때는 보통 고속 셔터를 사용하기 때문에 모션 블러(잔상) 문제가 거의 발생되지 않을 수 있다. 그러나, 조도가 상대적으로 낮은 구간(1002 센서이득 제어구간, 이하, 제2 구간이라 함)의 경우 센서이득을 이용하여 제어하며, 상기 제2 구간은 센서이득에 따라 노이즈가 발생하는 구간이다. 따라서, 노이즈만 고려하는 경우 센서이득 구간에서는 셔터를 최대한 저속 셔터(예를 들어, 1/30 sec)를 유지하는 것이 밝기 개선 및 노이즈 억제를 통해 화질면에서 유리할 수 있다. 그러나, 감시 카메라의 경우 저조도 조건에서도 객체의 모션 블러를 최소화하여야 객체 인식이 가능하므로 고속 셔터를 최대한으로 유지할 수밖에 없다.

도 10은 종래의 카메라에서 사용중인 AE 제어 스케줄을 나타낸다. 제2 구간(1002)에서 모션 블러를 고려해서 저속 셔터(1/30 sec)가 아닌 고속 셔터(1010, 1/200 sec)를 사용하고 동시에, 이미지 센서의 이득 증폭양이 많아지는 경우 단계적으로 저속 셔터(1/30 sec)까지 낮추지만 최대한 고속 셔터 구간을 유지하는 것이 일반적이다. 그러나 이와 같은 AE 제어 스케줄은 제2 구간 시작부터 고속셔터(1/200 sec)를 사용하기 ??문에 센서이득 증폭이 더해져서 화며상에 노이즈가 더 많이 발생시키는 문제가 있다. 이는 객체의 존재 여부와 상관없이 모션 블러만을 최우선 고려사항일 때 제2 구간(1002) 시작점부터 최소 셔터 속도를 고속 셔터(1/200 sec)로 제한하기 때문이다.

이에 반해, 도 11을 참조하면, 감시카메라의 프로세서(260)는 제2 구간(1002)에서 노이즈와 모션 블러의 문제점을 동시에 해결하기 위해 평균 객체이동속도에 따라 산출된 목표 셔터 스피드(도 9 참조)를 제2 구간(1002) 시작구간의 초기 시작 셔터값에 가변적으로 적용한다.

도 11을 참조하면, 프로세서(260)는 객체가 존재하고, 움직임 많은 경우 목표 셔터 스피드가 고속 셔터 스피드(예를 들어, 1/300 sec 이상)로 가변시키고, 객체가 없거나 움직임이 적을 경우 목표 스피드를 저속 셔터 스피드(1/30 sec)로 가변하여 제2 구간 제어 시작부터 가변된 셔터 속도를 적용할 수 있다. 상기 고속 셔터값 1/300sec 및 저속 셔터값 1/30sec 는 예시적인 값이며 객체의 이동 속도에 따라 1/300sec 내지 1/30sec 구간에서 셔터값이 동적으로 가변될 수 있다.

이에 따라, 객체가 존재하거나 객체의 평균 이동속도가 높을 경우, 센서이득 제어 시작부터 고속 셔터가 적용됨으로 인해 모션 블러없이 객체를 모니터링할 수 있다. 또한, 객체가 없거나 객체의 평균 이동속도가 낮을 경우, 센서이득 제어 시작부터 저속셔터가 적용됨으로 인해 노이즈가 작은 화질 위주로 모니터링을 할 수 있는 이점이 있다. 즉, 본 명세서의 일 실시에 따르면 객체의 존재여부, 객체가 존재하는 경우 인식된 객체의 움직임 정도(객체의 이동속도)에 따라서 센서이득 제어 시작지점의 목표 셔터 스피드를 가변적으로 적용함으로써, 노이즈도 줄이고 모션 블러도 최소화한 상태에서 모니터링이 가능하다.

도 12는 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법 중 저조도 구간에서 셔터 속도를 제어하는 방법의 흐름도이다.

일 실시예에 따르면, 감시 카메라의 프로세서(260)는 객체의 존재 여부 및/또는 객체의 움직임 정도에 기초하여 셔터 속도를 제어하되, 상기 객체가 인식된 조도 환경에 따라서 셔터 속도를 산출하는 방법을 달리 적용할 수 있다.

도 12를 참조하면, 프로세서(260)는 영상 프레임에서 AI 영상 분석을 통해 객체를 인식한다(S1210). 프로세서(260)는 제1 영상 프레임 및 제2 영상 프레임에서 각각 인식된 객체 정보에 기초하여 객체의 평균 이동속도를 획득한다(S1220). 또한 프로세서(260)는 상기 객체의 평균 이동속도에 대응하는 목표 셔터값을 산출할 수 있다(S1230). 상기 S1210 내지 S1230 은 도 5 내지 도 9를 통해 설명한 바와 동일하게 적용될 수 있다.

프로세서(260)는 감시 카메라가 영상을 촬영할 당시(또는 영상에서 객체를 인식할 시점) 조도 환경을 분석하고, 저조도 구간에서 객체를 인식한 것으로 판단한 경우(S1240: Y) 센서이득 제어구간의 시작점의 셔터값을 제1 셔터값으로 설정할 수 있다(S1250). 여기서 상기 제1 셔터값은 고속 셔터값으로서, 예를 들어, 프로세서(260)는 1/300 sec 이상의 셔터값이 적용되도록 설정할 수 있다. 물론 이 경우에도 프로세서(260)는 객체의 이동속도에 따라 셔터값을 1/200 sec을 최소 셔터값으로 하여 객체의 이동속도에 따라 센서이득 제어구간 시작점의 셔터값을 가변적으로 설정할 수 있다.

그리고 프로세서(260)는 감시 카메라가 영상을 촬영할 당시(또는 영상에서 객체를 인식할 시점) 조도 환경이 고조도 구간인 것으로 판단 경우, 센서이득 제어구간의 시작점의 셔터값을 제2 셔터값으로 설정할 수 있다(S1260). 여기서 상기 제2 셔터값은 상기 제1 셔터값보다 저속의 셔터값이긴 하지만, 객체(또는 객체의 움직임)이 존재하는 상황이므로 모션 블러를 최소화할 정도의 셔터값이 설정될 수 있다(예를 들어, 1/200 sec)

도 13은 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법 중 자동 노출 제어방법의 흐름도이다.

도 13을 참조하면, 프로세서(260)는 영상 프레임에서 AI 영상 분석을 통해 객체를 인식한다(S1310). 프로세서(260)는 제1 영상 프레임 및 제2 영상 프레임에서 각각 인식된 객체 정보에 기초하여 객체의 평균 이동속도를 획득한다(S1320). 또한 프로세서(260)는 상기 객체의 평균 이동속도에 대응하는 목표 셔터값을 산출할 수 있다(S1330). 상기 S1310 내지 S1#30 은 도 5 내지 도 9를 통해 설명한 바와 동일하게 적용될 수 있다.

한편, 프로세서(260)는 센서이득 제어구간으로 진입여부를 확인할 수 있다(S1340). 본 명세서의 일 실시예에 따른 감시 카메라 영상의 처리 방법은, 저조도 환경에서 객체의 움직임에 따라 셔터를 고속으로 유지하는 정도를 달리 적용할 수 있다. 이에 따라, 프로세서(260)는 조도 확인을 통해 센서이득 제어구간으로 진입하는 것으로 판단한 경우, 센서이득 제어구간 시작점의 초기 셔터속도를 객체의 이동속도에 따라서 가변적으로 적용되도록 제어한다(S1350).

한편, 프로세서(260)는 객체의 이동속도가 매우 느린 경우(객체가 존재하지 않는 경우와 마찬가지), 저속 셔터를 사용하여 효율적으로 노이즈와 모션 블러를 제어할 수 있다.

도 14 내지 도 15는 본 명세서의 일 실시예에 따라 센서 이득 제어구간의 초기 셔터값을 객체의 존재 여부에 따라 가변적으로 적용하는 자동 노출 스케줄을 설명하기 위한 도면이다.

도 14는 본 명세서의 일 실시예에 따라 AI 영상 분석을 통해 객체를 인식한 결과, 객체의 움직임이 존재할 때의 제1 자동노출 제어곡선(1430)과 객체가 존재하지 않을 때(객체의 이동속도가 일정값 이하일 때 포함) 제2 자동 노출 제어곡선(1440)을 개시한다. 여기서 자동노출 제어 그래프는 가로축이 조도이고, 세로축이 자동 노출제어에 적용되는 셔터 스피드이다. 상기 가로축은 조도에 따라 셔터/조리개 제어구간(1001)과 센서이득 제어구간(1002)로 구분된다. 본 명세서의 일 실시예에 따른 감시 카메라 영상의 처리 방법은 센서이득 제어구간(1002) 및 셔터/조리개 제어구간(1001) 모두 적용될 수 있지만, 특히 센서이득 제어구간(1002)에서 노이즈 및 모션 블러를 최소화하기 위해 센서이득 제어구간(1001) 시작지점에서의 셔터 스피드를 결정하는데 유용하게 적용될 수 있다.

상기 센서이득 제어구간의 시작점에서의 셔터 속도는 전술한 제1 자동노출 제어곡선(1430) 및 제2 자동노출 제어곡선(1440)을 통해 획득될 수 있다. 감시 카메라 영상에서 객체가 존재하지 않을 경우 센서이득 제어구간 시작점의 셔터스피드는 상기 제2 자동노출 제어곡선(1440)에 따라 최소 셔터값(1420, 예를 들어, 1/30 sec)이 적용된다. 감시 카메라 영상에서 객체가 존재할 경우 센서이득 제어구간 시작점의 셔터스피드는 상기 제1 자동노출 제어곡선(1430)에 따라 최대 고속 셔터값(1410, 예를 들어, 1/300 sec 이상)이 적용될 수 있다.

한편, 감시 카메라 영상에 포함된 객체의 평균이동속도가 가변될 수 있으며, 프로세스(260)는 상기 가변되는 객체의 평균이동속도에 따라 상기 센서이득 제어구간 시작점의 셔터스피드를 상기 제1 자동노출 제어곡선(1430)과 제2 자동노출 제어곡선(1440) 사이의 영역을 가변 범위로 설정하고, 객체의 이동속도가 가변됨에 따라 셔터 스피드가 가변되도록 제어할 수 있다.

한편, 도 15에서 1510는 본 명세서의 일 실시예에 따라 AI 영상 분석을 통해 객체 인식 및 객체의 평균 이동속도를 자동노출 제어에 적용한 셔터값이며, 1520는 AI 영상 분석이 아닌 일반적인 객체인식 알고리즘을 통한 객체 인식 시 셔터값일 수 있다. 즉, 본 명세서의 일 실시예에 따르면 객체 인식 개념을 넘어 인식된 객체의 평균 이동속도가 실시간으로 가변되는 경우, 센서이득 제어구간 시작점의 셔터값을 정교하게 조절함으로써, 노이즈 및 모션 블러 현상을 최소화할 수 있다.

또한, 센서이득 제어구간 시작점에 셔터 속도가 고속인 경우 저조도 환경에서 극저조도까지 상대적으로 고속 셔터가 유지될 수 있다. 또한, 셔터/조리개 제어구간(1001)에서도 상대적으로 고속 셔터가 사용되기 ??문에 모션 블러 현상이 더욱더 개선될 수 있다.

도 16은 본 명세서의 일 실시예에 따라 저조도 구간에서 객체의 움직임 여부에따른 자동 노출제어를 설명하기 위한 도면이고, 도 17은 고조도 구간에서 객체의 움직임 여부에 따른 자동 노출제어를 설명하기 위한 도면이다.

도 16을 참조하면, 프로세서(260)는 센서이득 제어구간 시작점의 셔터값이 1/300sec 인 경우, 센서이득이 40dB 로 증폭되는 시점에서도 저속셔터값(1610, 1/30sec) 보다 고속셔터(1620, 1/200sec)가 유지되도록 제어한다.

도 17을 참조하면, 1710은 객체가 빠르게 움직일 경우 센서이득 제어구간 시작점의 셔터값(1/300 sec)이며, 1720은 밝은 조도 구간에서 객체가 빠르게 움직일 경우 셔터값이며, 1730은 밝은 조도 구간에서 객체의 움직임이 적을 경우 셔터값이다. 즉 프로세스(260)는 저조도 구간 뿐 아니라 밝은 조도 구간에서도 객체의 움직임 정도에 따라 셔터값을 달리 적용할 수 있으며, 객체의 움직임이 있을 경우 고속셔터가 상대적으로 많이 적용되기 때문에 모션블러가 없는 선명한 영상을 획득할 수 있다.

도 18은 본 명세서의 일 실시예에 따라 객체가 존재하지 않거나 객체의 이동속도가 낮을 경우 자동노출 제어를 설명하기 위한 도면이다.

도 18을 참조하면, 1810은 본 명세서의 일 실시예에 따른 감시 카메라 영상의 처리 방법을 적용하지 않는 경우 센서이득 제어구간 시작점의 셔터값(1/200 sec)이다. 즉, 일반적으로 객체의 존재여부 및/또는 객체의 이동속도에 관계없이 센서이득 제어구간 시작점의 셔터값은 감시카메라의 특성을 고려하여 상대적으로 고속 셔터값(1/200 sec)인 고정값이 적용되는데 반해, 본 명세서의 일 실시예에 따르면 AI 영상 분석을 통해 객체가 존재하지 않거나, 존재하더라도 그 속도가 매우 느릴 경우, 센서이득 시작점의 셔터값을 저속 셔터값(1820, 1/30 sec)으로 유지하도록 한다. 이에 따라 이득 증폭량이 상대적으로 적으며, 이는 노이즈가 적게 발생되는 이점이 있으며 영상 전송시 대역폭(Bandwidth) 또한 낮아지는 이점이 있다.

따라서, 객체의 존재 및/또는 객체의 움직임 정도와 무관하게 센서이득 제어구간 시작점의 셔터값을 고정값으로 적용하는 종래의 자동노출 제어와 달리, 본 명세서의 일 실시예에 의하면, 객체의 움직임 속도가 높아지면 상기 센서이득 제어구간 시작점의 셔터값을 상기 고정값보다 더 높게 설정되며, 나아가 객체가 존재하지 않은 경우(객체의 움직임 정도가 매우 느린 경우 포함) 상기 센터이득 제어구간 시작점의 셔터값을 상기 고정값 보다 더 낮게 설정될 수 있다.

도 19는 일반 셔터값을 적용한 경우(a)와 본 명세서의 일 실시예에 따른 AI 자동 객체 인식 및 고속 셔터 사용 결과 촬영된 영상(b)을 비교한 것이다. (b)는 (a) 보다 상대적으로 모션 블러현상이 없으며 노이즈 최소화에 따른 보다 선명한 영상일 수 있다.

이상, 인공 지능 기반의 객체인식을 통해 객체의 유무에 따라, 객체의 이동속도에 따라 셔터속도를 가변적으로 제어함으로써, 노이즈 및 모션 블러 효과를 최소화는 자동 노출 제어 과정에 대하여 설명하였다. 본 명세서는 AI 기반의 객체인식 알고리즘을 적용하는 것으로 설명하였으나, 인식된 객체의 평균 이동속도 값에 따른 목표 셔터값 산출과정에서도 인공지능이 적용될 수 있다. 일 실시예에 따라, 전술한 객체의 평균 이동속도에 따른 목표 셔터값 산출함수는 카메라의 성능정보(영상의 해상도에 따른 시각적 민감도), 1 프레임 시간 동안의 객체의 이동량(객체의 이동속도)을 변수로 가진다. 이에 따라, 본 명세서의 일 실시예에 적용되는 감시 카메라는 카메라 성능정보, 모션 블러 현상 없이 인식 가능한 객체의 속도정보를 학습데이터로 설정하여 학습 모델을 훈련하여 학습 모델을 생성할 수도 있다. 상기 학습 모델은 객체의 이동속도값이 입력 데이터로 입력된 경우, 상기 이동속도에 따른 목표 셔터값을 자동으로 산출할 수 있으며, 상기 목표 셔터값은 조도 조건에 따라 노이즈와 모션 블러를 최소화할 수 있는 셔터값이다.

또한, 일 실시예에 따라 감시 카메라의 프로세서는 전술한 객체의 평균 이동속도가 실시간으로 변함에 따라, 셔터값 설정에 적용되는 자동노출 제어함수(자동노출 제어 곡선)을 실시간으로 변경함으로써 실시간 셔터값 제어가 가능하게 된다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

본 명세서는 감시 영상 카메라, 감시 영상 카메라시스템, 감시 영상 카메라를 이용한 서비스 제공 분야 등에 적용될 수 있다.

Claims (20)

1. 영상 촬영부; 및
   상기 영상 촬영부를 통해 획득한 영상에서 객체를 인식하고, 상기 객체의 이동속도에 대응하는 목표 셔터값을 산출하고, 상기 산출된 목표 셔터값에 기초하여 자동 노출 제어 과정에서 센서이득 제어구간 시작점의 셔터값이 결정되도록 제어하는 프로세서;를 포함하고,
   상기 센서이득 제어구간의 시작점에서의 셔터값은 상기 객체의 이동 속도에 따라 제1 셔터값과 상기 제1 셔터값 보다 작은 제2 셔터값 사이에서 가변되도록 결정되는 것을 특징으로 하는 감시 카메라 영상의 처리 장치.
2. 제 1 항에 있어서,
   상기 프로세서는,
   딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 적용하여 상기 객체를 인식하는 것을 특징으로 하는 감시 카메라 영상의 처리장치.
3. 제 2 항에 있어서,
   상기 프로세서는,
   상기 인식된 객체별로 ID를 부여하고, 상기 객체의 좌표를 추출하고,
   제1 영상 프레임 및 상기 제1 영상 프레임 보다 후순위의 제2 영상 프레임에 포함된 객체의 좌표정보에 기초하여 상기 객체의 평균 이동속도를 산출하는 것을 특징으로 하는 감시 카메라 영상의 처리 장치.
4. 제 3 항에 있어서,
   상기 목표 셔터값은
   상기 감시 카메라의 최저 셔터값(Minimum Shutter Speed)을 기준으로 1 레임 시간 동안의 객체의 이동량 및 상기 감시 카메라 영상의 해상도(resolution)에 기초하여 산출되는 것을 특징으로 하는 감시 카메라 영상의 처리 장치.
5. 제 4 항에 있어서,
   상기 프로세서는,
   상기 감시 카메라 영상의 해상도에 대응하는 성능정보, 모션 블러(motion blur) 현상 없이 인식 가능한 객체의 속도정보를 학습 데이터로 설정하여 학습 모델을 훈련시키고,
   상기 객체의 이동속도를 입력데이터로 하고, 상기 객체의 이동 속도에 따른 상기 목표 셔터값을 자동으로 산출하는 상기 학습모델에 기초하여 상기 목표 셔터값을 산출하는 것을 특징으로 하는 감시 카메라의 영상 처리 장치.
6. 제 1 항에 있어서,
   상기 센서이득 제어구간 시작점에서의 셔터값은
   상기 객체의 이동속도가 빠를수록 상기 제1 셔터값에 수렴되도록 결정되고, 상기 객체의 이동속도가 느릴수록 상기 제2 셔터값에 수렴되도록 결정되는 것을 특징으로 하는 감시 카메라 영상의 처리 장치.
7. 제 1 항에 있어서,
   상기 제1 셔터값은 1/300 sec 이상이고, 상기 제2 셔터값은 1/30 sec 인 것을 특징으로 하는 감시 카메라 영상의 처리 장치.
8. 제 1 항에 있어서,
   상기 자동노출 제어과정은 상기 센서이득 제어구간에 대응하는 저조도 구간과 조리개 및 셔터를 이용하는 고조도 구간에서 셔터 속도를 제어하되, 상기 목표 셔터값은 상기 센서이득 제어구간의 시작점의 셔터값을 통과하여 센서이득 증폭량이 증가함에 따라 반비례하는 자동노출 제어 스케줄에 따라 제어되며,
   상기 자동노출 제어 스케줄은,
   상기 객체의 이동속도가 증가하면 상기 센서이득 제어구간의 시작점의 셔터값이 커지도록 설정되는 것을 특징으로 하는 감시 카메라 영상의 처리 장치.
9. 제 1 항에 있어서,
   통신부;를 더 포함하고,
   상기 프로세서는,
   상기 영상 촬영부를 통해 획득한 영상 데이터를 상기 통신부를 통해 외부 서버로 전송하고, 상기 통신부를 통해 외부 서버로부터 인공지능 기반의 객체 인식결과를 수신하는 것을 특징으로 하는 감시 카메라 영상의 처리 장치.
10. 영상 촬영부; 및
    상기 영상 촬영부에서 획득한 영상에서 객체를 인식하고, 상기 인식된 객체의 이동속도를 산출하고, 상기 객체의 이동속도에 따라 셔터값을 가변적으로 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 영상 촬영부에서 획득한 영상을 입력 데이터로 설정하고, 객체 인식을 출력 데이터로 설정하여 기 학습된 신경망 모델을 적용하여 상기 객체를 인식하는 것을 특징으로 하는 감시 카메라 영상의 처리 장치.
11. 제 10 항에 있어서,
    상기 프로세서는,
    적어도 하나의 객체가 인식된 경우, 상기 객체의 평균 이동속도가 미리 정해진 임계치를 초과하는 경우 최대 셔터값에 대응하는 제1 셔터값을 적용하고,
    객체가 존재하지 않는 경우, 최저 셔터값에 대응하는 제2 셔터값을 적용하는 것을 특징으로 하는 감시 카메라 영상의 처리 장치.
12. 제 11 항에 있어서,
    상기 프로세서는,
    상기 객체의 평균 이동속도에 따라 상기 제1 셔터값과 제2 셔터값 사이의 구간에서 셔터값을 가변적으로 적용하는 것을 특징으로 하는 감시 카메라 영상의 처리 장치.
13. 감시 영역의 영상을 촬영하는 감시 카메라; 및
    통신부를 통해 상기 감시 카메라로부터 촬영된 상기 영상을 수신하고, 상기 영상에서 인공지능 기반의 객체인식 알고리즘을 통해 객체를 인식하고, 상기 인식된 객체의 이동속도에 대응하는 셔터값을 산출하여 상기 감시 카메라로 전송하는 컴퓨팅 장치;를 포함하고,
    상기 셔터값은
    상기 객체의 평균 이동속도에 따라 최저 셔터값에 대응되는 제1 셔터값과 제2 셔터값 사이의 구간에서 가변되는 것을 특징으로 하는 감시 카메라 시스템.
14. 영상 촬영부를 통해 획득된 영상에서 객체를 인식하는 단계;
    상기 인식된 객체의 이동속도에 대응하는 목표 셔터값을 산출하는 단계; 및
    상기 산출된 목표 셔터값에 기초하여 자동 노출 제어 과정에서 센서 이득 제어 시작점의 셔터값이 결정하는 단계;를 포함하되,
    상기 센서이득 제어구간의 시작점에서의 셔터값은 상기 객체의 이동 속도에 따라 제1 셔터값과 상기 제1 셔터값 보다 작은 제2 셔터값 사이에서 가변되도록 결정되는 것을 특징으로 하는 감시 카메라 영상의 처리 방법.
15. 제 14 항에 있어서,
    상기 객체를 인식하는 단계는,
    딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 적용하여 상기 객체를 인식하는 것을 특징으로 하는 감시 카메라 영상의 처리 방법.
16. 제 15 항에 있어서,
    상기 인식된 객체별로 ID를 부여하고, 상기 객체의 좌표를 추출하는 단계;
    제1 영상 프레임 및 상기 제1 영상 프레임 보다 후순위의 제2 영상 프레임에 포함된 객체의 좌표정보에 기초하여 상기 객체의 평균 이동속도를 산출하는 단계;를 더 포함하는 것을 특징으로 하는 감시 카메라 영상의 처리 방법.
17. 제 16 항에 있어서,
    상기 목표 셔터값은
    상기 감시 카메라의 최저 셔터값(Minimum Shutter Speed)을 기준으로 1 레임 시간 동안의 객체의 이동량 및 상기 감시 카메라 영상의 해상도(resolution)에 기초하여 산출되는 것을 특징으로 하는 감시 카메라 영상의 처리 방법.
18. 제 17 항에 있어서,
    상기 목표 셔터값을 산출하는 단계는,
    상기 감시 카메라 영상의 해상도에 대응하는 성능정보, 모션 블러(motion blur) 현상 없이 인식 가능한 객체의 속도정보를 학습 데이터로 설정하여 학습 모델을 훈련시키는 단계; 및
    상기 객체의 이동속도를 입력데이터로 하고, 상기 객체의 이동 속도에 따른 상기 목표 셔터값을 자동으로 산출하는 상기 학습모델에 기초하여 상기 목표 셔터값을 산출하는 단계;
    를 포함하는 것을 특징으로 하는 감시 카메라의 영상 처리 방법.
19. 제 14 항에 있어서,
    상기 센서이득 제어구간 시작점에서의 셔터값은,
    상기 객체의 이동속도가 빠를수록 상기 제1 셔터값에 수렴되도록 결정되고, 상기 객체의 이동속도가 느릴수록 상기 제2 셔터값에 수렴되도록 결정되는 것을 특징으로 하는 감시 카메라 영상의 처리 방법.
20. 제 14 항에 있어서,
    상기 제1 셔터값은 1/300 sec 이상이고, 상기 제2 셔터값은 1/30 sec 인 것을 특징으로 하는 감시 카메라 영상의 처리 방법.

Images