KR20230064959A

KR20230064959A - Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리

Info

Publication number: KR20230064959A
Application number: KR1020210150640A
Authority: KR
Inventors: 박종선; 백정원; 이창민
Original assignee: 한화비전 주식회사
Priority date: 2021-11-04
Filing date: 2021-11-04
Publication date: 2023-05-11
Also published as: WO2023080667A1

Abstract

감시 카메라의 영상 처리 장치가 개시된다. 본 명세서의 일 실시예에 따른 감시 카메라 영상의 처리 장치는, 장노출 영상과 단노출 영상을 합성하여 WDR 영상을 생성한 경우, 인공지능 기반의 객체 인식 알고리즘을 통해 WDR 영상에 포함된 객체에 모션 블러가 발생한 것으로 인식한 경우, 장노출 영상의 노출 시간을 줄여서 두 가지 영상의 시간차를 최소화함으로써 WDR 영상의 모션 블러를 줄일 수 있다. 본 명세서는 감시용 카메라, 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 로봇, 증강현실(Augmented Reality, AR) 장치, 가상 현실(Virtual reality, VT) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

Description

AI 기반 객체인식을 통한 감시카메라 WDR 영상 처리 {Surveillance Camera WDR(Wide Dynamic Range) Image Processing Using Object Detection Based on Artificial Intelligence}

본 명세서는 감시 카메라에서 WDR 영상 처리 장치 및 방법에 관한 것이다.

WDR 기능은 일반적으로 이미지 센서가 갖는 동적 영역(Dynamic Range)를 벗어나는 실내환경과 실외환경이 공존하거나 어두운 영역과 밝은 영역이 공존하는 구역의 효율적인 감시를 위해 활용하는 기능이다. WDR 영상은 시계열에 따라 서로 다른 구 개의 셔터 정보를 갖는 이미지 센서의 출력(밝은 영역에 대한 이미지, 어두운 영역에 대한 이미지)를 합성하여 보정하여 생성된다.

다만, WDR 영상을 생성하는 과정에서 서로 다른 셔터 값을 가지는 이미지 센서의 시차로 인하여 움직이는 피사체의 경우 각각의 이미지에서 피사체의 위치가 다르게 표시될 수 있다. 이에 따라 이미지 합성시 움직임 잔상(Motion Blur)가 나타나는 문제점이 있으며, WDR 영상 합성시 움직임 잔상을 극복하기 위한 다양한 연구가 진행되고 있다.

전술한 문제를 해결하기 위해 본 명세서의 일 실시예는 움직임 잔상이 감지되는 경우 이미지 센서의 셔터값 및 이득값을 제어함으로써 WDR 영상의 화질 개선이 가능한 영상 처리 장치 및 방법을 제공하는 것을 목적으로 한다.

또한, 본 명세서의 일 실시예는 딥러닝 기반의 객체 인식 알고리즘을 적용하여 움직이는 피사체가 감지되면 고속 셔터로 제어하여 단노출 영상과 장노출 영상의 시차를 줄이며, 이미지 센서의 이득값을 제어함으로써 고속 셔터 적용에 따른 밝기 보상이 가능한 영상 처리 장치 및 방법을 제공하는 것을 목적으로 한다.

이에 따라 감시 영역의 밝기 차이가 크고 피사체의 속도 변화가 유동적인 감시 영역에서도 움직임 잔상이 없는 영상을 획득할 수 있는 영상 처리 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 이하의 발명의 상세한 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서의 일 실시예에 따른 영상 처리 장치는, 제1 노출시간 동안 제1 영상을 획득하고, 상기 제1 노출시간 보다 짧은 제2 노출시간 동안 제2 영상을 획득하는 이미지 센서; 상기 제1 영상 및 제2 영상을 합성하여 WDR(Wide Dynamic Range) 영상을 생성하는 프로세서;를 포함하고, 상기 프로세서는, 상기 WDR 영상에 포함된 객체에 대하여 모션 블러(motion blur)를 감지하는 경우, 상기 제1 노출시간을 줄여서 상기 제1 노출시간과 제2 노출시간의 시간차가 최소가 되도록 상기 이미지 센서를 제어한다.

상기 프로세서는 상기 제1 노출시간을 줄여서 제3 노출시간 동안 상기 제1 영상이 획득되도록 제3 셔터값이 적용되도록 상기 이미지 센서에 셔터값을 제어한다.

상기 프로세서는, 상기 제1 노출시간에 대응되는 제1 이득값 보다 큰 제3 이득값이 적용되도록 상기 이미지 센서의 이득값을 제어한다.

상기 프로세서는, 딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 적용하여 상기 WDR 영상에서 분류된 상기 객체의 움직임 정도가 임계치 이상인 경우, 상기 제3 셔터값 및 제3 이득값이 상기 이미지 센서에 입력되도록 제어할 수 있다.

상기 프로세서는, 상기 WDR 영상에 포함된 객체의 움직임 속도를 입력으로 하고, 상기 객체의 움직임 속도에 따라 제어될 셔터값 및 이득값을 출력으로 하는 신경망 모델을 훈련시켜 저장부에 저장할 수 있다.

상기 프로세서는, 딥러닝 알고리즘을 통해 상기 WDR 영상에 포함된 객체를 인식하고, 인식된 객체가 관심 객체인 경우, 상기 신경망 모델의 출력에 따른 상기 셔터값 및 이득값을 상기 이미지 센서에 적용되도록 제어할 수 있다.

상기 프로세서는, 상기 객체의 종류 또는 상기 객체의 움직임 속도 중 적어도 하나에 기초하여, 노출시간의 감소폭 및 이득값 증가폭을 변경할 수 있다.

본 명세서의 다른 예에 따른 영상 처리 장치는, 이미지 센서를 통해 제1 노출시간 동안 장노출 영상을 획득하고, 제2 노출시간 동안 단노출 영상을 획득하는 단계; 상기 장노출 영상 및 단노출 영상을 합성하여 WDR (Wide Dynamic Range) 영상을 생성하는 단계; 딥러닝 기반의 알고리즘을 적용하여 상기 WDR 영상에서 분류된 상기 객체의 움직임 정도가 임계치 이상인 경우, 상기 장노출 영상과 단노출 영상의 시차를 최소화하기 위한 상기 제1 노출시간의 감소폭을 설정하여 셔터값을 재설정하는 단계; 및 상기 재설정된 셔터값을 상기 이미지 센서에 적용하는 단계;를 포함한다.

상기 영상 처리 방법은, 상기 제1 노출시간의 감소폭에 따른 밝기를 보상하기 위해 상기 이미지 센서의 이득값을 재설정하는 단계; 및 상기 재설정된 셔터값 및 이득값을 상기 이미지 센서에 적용하도록 제어하는 단계;를 더 포함할 수 있다.

본 명세서의 일 실시예에 따르면, 움직임 잔상이 감지되는 경우 이미지 센서의 셔터값 및 이득값을 제어함으로써 WDR 영상의 화질 개선이 가능하다.

또한, 본 명세서의 일 실시예에 따르면, 감시 영역의 밝기 차이가 크고 피사체의 속도 변화가 유동적인 감시 영역에서도 움직임 잔상이 없는 영상을 획득할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을도 설명한다.
도 1은 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법을 구현하기 위한 감시 카메라 시스템을 설명하기 위한 도면이다.
도 2는 본 명세서의 일 실시예에 따른 감시 카메라의 개략적인 블록도이다.
도 3은 본 명세서의 일 실시예에 따른 감시 카메라 영상의 분석에 적용되는 AI 장치(모듈)을 설명하기 위한 도면이다.
도 4는 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법의 흐름도이다.
도 5는 본 명세서의 일 실시예에 따른 WDR 영상 처리 과정을 도시화한 기능 블록블럭도.
도 6은 종래의 프레임 WDR 영상 합성시 발생되는 모션 블러 현상을 설명하기 위한 도면이다.
도 7은 본 명세서의 일 실시예에 따른 라인 인터리빙 방식의 WDR 영상 합성을 설명하기 위한 도면이다.
도 8은 본 명세서의 일 실시예에 따른 WDR 영상 처리 과정이 저속 셔터 및 고속 셔터 동작에 각각 적용되는 예를 설명하기 위한 도면이다.
도 9는 본 명세서의 일 실시예에 따른 WDR 영상 처리 과정이 적용된 예시를 설명한다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법을 구현하기 위한 감시 카메라 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 본 명세서의 일 실시예에 따른 영상 관리 시스템(10)은 촬영 장치(100) 및 영상 관리 서버(200)을 포함할 수 있다. 촬영 장치(100)는 특정 장소의 고정된 위치에 배치되는 촬영용 전자 장치일 수도 있고, 일정한 경로를 따라 자 동 또는 수동으로 움직일 수 있는 촬영용 전자 장치일 수도 있고, 사람 또는 로봇 등에 의하여 이동될 수 있는 촬영용 전자 장치일 수도 있다. 촬영 장치(100)는 유무선 인터넷에 연결하여 사용하는 IP 카메라일 수 있다. 촬영 장치(100)는 팬(pan), 틸트(tilt), 및 줌(zoom) 기능을 갖는 PTZ 카메라일 수 있다. 촬영 장치(100)는 감시 하는 영역을 녹화하거나 사진을 촬영하는 기능을 가질 수 있다. 촬영 장치(100)는 감시하는 영역에서 발생하는 소리를 녹음하는 기능을 가질 수 있다. 촬영 장치(100)는 감시하는 영역에서 움직임 또는 소리 등 변화가 발생 할 경우, 이에 대한 알림을 발생시키거나 녹화 또는 사진 촬영을 수행하는 기능을 가질 수 있다.

영상 관리 서버(200)는 촬영 장치(100)를 통하여 촬영된 영상 자체 및/또는 해당 영상을 편집하여 얻어지는 영상을 수신하여 저장하는 장치일 수 있다. 영상 관리 서버(200)는 수신한 용도에 대응되도록 분석할 수 있다. 예를 들어, 영상 관리 서버(200)는 영상에서 객체를 검출하기 위해 객체 검출 알고리즘을 이용하여 객체를 검출할 수 있다. 상기 객체 검출 알고리즘은 AI 기반 알고리즘이 적용될 수 있으며, 미리 학습된 인공신경망 모델을 적용하여 객체를 검출할 수 있다.

한편, 영상 관리 서버(200)는 영상 분석 목적에 맞는 다양한 학습 모델을 저장하고 있을 수 있다. 전술한 객체 검출을 위한 학습 모델 외에, 검출된 객체의 이동 속도를 획득할 수 있는 모델을 저장하고 있을 수도 있다. 여기서 상기 학습된 모델들은 객체의 이동 속도에 대응되는 셔터 속도, 또는 셔터 속도가 제어됨에 따라 밝기를 보상하기 위한 센서의 이득값을 출력하는 학습 모델을 포함할 수도 있다. 또한, 상기 학습된 모델들은 AI 객체 인식 알고리즘을 통해 분석된 객체의 이동속도에 따라 모션 블러 강도를 검출하고, 검출된 모션 블러 강도를 유발하는 촬영 환경에 최적의 셔터속도 및/또는 센서 이득값이 출력되도록 학습된 모델을 통해 구현될 수도 있다.

또한, 영상 관리 서버(200)는 수신한 영상을 분석하여 메타 데이터와 해당 메타 데이터에 대한 인덱스 정보를 생성할 수 있다. 영상 관리 서버(200)는 수신한 영상에 포함된 영상 정보 및 /또는 음향 정보를 함께 또는 별도로 분석하여 메타 데이터와 해당 메타 데이터에 대한 인덱스 정보를 생성할 수 있다.

영상 관리 시스템(10)은 촬영 장치(100) 및/또는 영상 관리 서버(200)와 유무선 통신을 수행할 수 있는 외부 장 치(300)를 더 포함할 수 있다.

외부 장치(300)는 영상 관리 서버(200)로 영상 전체 또는 일부의 제공을 요청하는 정보 제공 요청 신호를 송신 할 수 있다. 외부 장치(300)는 영상 관리 서버(200)로 영상 분석 결과 객체의 존재 여부, 객체의 이동 속도, 객체의 이동 속도에 따른 셔터 속도 조절값, 객체의 이동 속도에 따른 노이즈 제거값, 센서 이득값 등을 요청하는 정보 제공 요청 신호를 송신할 수 있다. 또한 외부 장치(300)는 영상 관리 서버(200)로 영상을 분석하여 얻어진 메타 데이터 및/또는 메타 데이터에 대한 인덱스 정보를 요청하는 정보 제공 요청 신호를 송신할 수 있다.

영상 관리 시스템(10)은 촬영 장치(100), 영상 관리 서버(200), 및/또는 외부 장치(300) 간의 유무선 통신 경로 인 통신망(400)을 더 포함할 수 있다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트 워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 명세서의 범위가 이 에 한정되는 것은 아니다.

도 2는 본 명세서의 일 실시예에 따른 감시 카메라의 개략적인 블록도이다.

도 2는 도 1에 도시된　카메라의 구성을 나타내는 블록도이다. 도 2를 참조하면,카메라(200)는 지능형 영상분석 기능을 수행하여 상기 영상분석 신호를 생성하는 네트워크　카메라임을 그 예로 설명하나, 본 발명의 실시예에 의한 네트워크　감시　카메라　시스템의 동작이 반드시 이에 한정되는 것은 아니다.

카메라(200)는 이미지 센서(210), 인코더(220), 메모리(230), 이벤트 센서(240), 프로세서(240), 및 통신 인터페이스(250)를 포함한다.

이미지 센서(210)는　감시　영역을 촬영하여 영상을 획득하는 기능을 수행하는 것으로서, 예컨대, CCD(Charge-Coupled Device) 센서, CMOS(Complementary Metal-Oxide-Semiconductor) 센서 등으로 구현될 수 있다.

인코더(220)는 이미지 센서(210)를 통해 획득한 영상을 디지털 신호로 부호화하는 동작을 수행하며, 이는 예컨대, H.264, H.265, MPEG(Moving Picture Experts Group), M-JPEG(Motion Joint Photographic Experts Group) 표준 등을 따를 수 있다.

메모리(230)는 영상 데이터, 음성 데이터, 스틸 이미지, 메타데이터 등을 저장할 수 있다. 앞서 언급한 바와 같이, 상기 메타데이터는 상기　감시영역에 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 검출된 위치 정보(좌표, 크기 등)을 포함하는 데이터일 수 있다.

또한, 상기 스틸 이미지는 상기 메타데이터와 함께 생성되어 메모리(230)에 저장되는 것으로서, 상기 영상분석 정보들 중 특정 분석 영역에 대한 이미지 정보를 캡쳐하여 생성될 수 있다. 일 예로, 상기 스틸 이미지는 JPEG 이미지 파일로 구현될 수 있다.

일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 검출된 상기　감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있으며, 이는 상기 메타데이터와 함께 실시간으로 전송될 수 있다.

통신부(240)는 상기 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 영상수신/검색장치(300)에 전송한다. 일 실시예에 따른 통신부(240)는 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 영상수신장치(300)에 실시간으로 전송할 수 있다. 통신 인터페이스(250)는 유무선 LAN(Local Area Network), 와이파이(Wi-Fi), 지그비(ZigBee), 블루투스(Bluetooth), 근거리 통신(Near Field Communication) 중 적어도 하나의 통신 기능을 수행할 수 있다.

AI 프로세서(250)는 인공지능 영상 처리를 위한 것으로서, 본 명세서의 일 실시예에 따라 감시 카메라 시스템을 통해 획득된 영상에서 관심객체로 학습된 딥러닝 기반의 객체 탐지(Objection Detection) 알고리즘을 적용한다. 상기 AI 프로세서(250)는 시스템 전반에 걸쳐 제어하는 프로세서(260)와 하나의 모듈로 구현되거나 독립된 모듈로 구현될 수 있다. 본 명세서의 일 실시예들은 객체 탐지에 있어서 YOLO(You Only Lock Once) 알고리즘을 적용할 수 있다. YOLO은 객체 검출 속도가 빠르기 때문에 실시간 동영상을 처리하는 감시 카메라에 적당한 AI 알고리즘이다. YOLO 알고리즘은 다른 객체 기반 알고리즘들(Faster R-CNN, R_FCN, FPN-FRCN 등)과 달리 한 장의 입력 영상을 리사이즈(Resize)후 단일 신경망을 단 한 번 통과킨 결과로 각 객체의 위치를 인디케이팅하는 바운딩 박스(Bounding Box)와 객체가 무엇인지 분류 확률을 출력한다. 최종적으로 Non-max suppression을 통해 하나의 객체를 한번 인식(detection)한다.

한편, 본 명세서에 개시되는 객체 인식 알고리즘은 전술한 YOLO에 한정되지 않고 다양한 딥러닝 알고리즘으로 구현될 수 있음을 밝혀둔다.

한편, 본 명세서에 적용되는 객체 인식을 위한 학습 모델은 카메라 성능, 감시 카메라에서 모션 블러 현상 없이 인식 가능한 객체의 움직임 속도 정보 등을 학습 데이터로 정의하여 훈련된 모델일 수 있다. 이에 따라 학습된 모델은 입력 데이터가 객체의 이동 속도일 수 있으며, 출력 데이터가 객체의 이동 속도에 최적화된 셔터 속도를 출력 데이터로 할 수 있다. 또는 상기 학습된 모델은 입력 데이터가 장노출 영상 및 단노출 영상을 합성하여 생성되는 WDR 영상 내에서의 객체의 이동 속도일 수 있으며, 출력 데이터가 상기 객체의 이동 속도에 최적화된 셔터 속도 및/센서 이득값을 ?력 데이터로 정의할 수 있다. 또는 상기 학습된 모델은 입력 데이터가 상기 WDR 영상 내에서 특정 객체에 대한 모션 블러 현상이 감지될 경우, 장노출 영상의 셔터값 및 이득값일 수 있으며, 출력 데이터는 상기 특정 객체의 모션 블러 현상을 최소화하기 위하여 상기 장노출 영상 획득 과정에서 변경 적용될 셔터값 및/또는 센서 이득값일 수 있다.

도 3은 본 명세서의 일 실시예에 따른 감시 카메라 영상의 분석에 적용되는 AI 장치(모듈)을 설명하기 위한 도면이다.

도 3을 살펴보면, AI 장치(20)는 AI 프로세싱을 수행할 수 있는 AI 모듈을 포함하는 전자 기기 또는 AI 모듈을 포함하는 서버 등을 포함할 수 있다. 또한, AI 장치(20)는 감시 카메라 또는 영상 관리 서버의 적어도 일부의 구성으로 포함되어 AI 프로세싱 중 적어도 일부를 함께 수행하도록 구비될 수도 있다.

AI 프로세싱은 감시카메라 또는 영상 관리 서버의 제어부와 관련된 모든 동작들을 포함할 수 있다. 예를 들어, 감시 카메라 또는 영상 관리 서버는 획득된 영상 신호를 AI 프로세싱 하여 처리/판단, 제어 신호 생성 동작을 수행할 수 있다.

AI 장치(20)는 AI 프로세싱 결과를 직접 이용하는 클라이언트 디바이스이거나, AI 프로세싱 결과를 다른 기기에 제공하는 클라우드 환경의 디바이스일 수도 있다. AI 장치(20)는 신경망을 학습할 수 있는 컴퓨팅 장치로서, 서버, 데스크탑 PC, 노트북 PC, 태블릿 PC 등과 같은 다양한 전자 장치로 구현될 수 있다.

AI 장치(20)는 AI 프로세서(21), 메모리(25) 및/또는 통신부(27)를 포함할 수 있다.

AI 프로세서(21)는 메모리(25)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(21)는 감시 카메라의 관련 데이터를 인식하기 위한 신경망을 학습할 수 있다. 여기서, 감시 카메라의 관련 데이터를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고 받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고 받을 수 있다. 여기서 신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.

한편, 전술한 바와 같은 기능을 수행하는 프로세서는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)일 수 있다.

메모리(25)는 AI 장치(20)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(25)는 비 휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD) 등으로 구현할 수 있다. 메모리(25)는 AI 프로세서(21)에 의해 액세스되며, AI 프로세서(21)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(25)는 본 발명의 일 실시예에 따른 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥 러닝 모델(26))을 저장할 수 있다.

한편, AI 프로세서(21)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(22)를 포함할 수 있다. 데이터 학습부(22)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(22)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습데이터를 딥러닝 모델에 적용함으로써, 딥러닝 모델을 학습할 수 있다.

데이터 학습부(22)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 장치(20)에 탑재될 수 있다. 예를 들어, 데이터 학습부(22)는 인공지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 장치(20)에 탑재될 수도 있다. 또한, 데이터 학습부(22)는 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 애플리케이션에 의해 제공될 수 있다.

데이터 학습부(22)는 학습 데이터 획득부(23) 및 모델 학습부(24)를 포함할 수 있다.

학습 데이터 획득부(23)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다.

모델 학습부(24)는 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(24)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또는 모델 학습부(24)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(24)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다.

신경망 모델이 학습되면, 모델 학습부(24)는 학습된 신경망 모델을 메모리에 저장할 수 있다. 모델 학습부(24)는 학습된 신경망 모델을 AI 장치(20)와 유선 또는 무선 네트워크로 연결된 서버의 메모리에 저장할 수도 있다.

데이터 학습부(22)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 리소스 또는 시간을 절약하기 위해 학습 데이터 전처리부(미도시) 및 학습 데이터 선택부(미도시)를 더 포함할 수도 있다.

학습 데이터 전처리부는 획득된 데이터가 상황 판단을 위한 학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 예를 들어, 학습 데이터 전처리부는, 모델 학습부(24)가 이미지 인식을 위한 학습을 위하여 획득된 학습 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.

또한, 학습 데이터 선택부는, 학습 데이터 획득부(23)에서 획득된 학습 데이터 또는 전처리부에서 전처리된 학습 데이터 중 학습에 필요한 데이터를 선택할 수 있다.선택된 학습 데이터는 모델 학습부(24)에 제공될 수 있다.

또한, 데이터 학습부(22)는 신경망 모델의 분석 결과를 향상시키기 위하여 모델 평가부(미도시)를 더 포함할 수도 있다.

모델 평가부는, 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(22)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다. 일 예로, 모델 평가부는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정되 임계치를 초과하는 경우, 소정 기준을 만족하지 못한 것으로 평가할 수 있다.

통신부(27)는 AI 프로세서(21)에 의한 AI 프로세싱 결과를 외부 전자 기기로 전송할 수 있다. 예를 들어, 외부 전자 기기는 감시카메라, 블루투스 장치, 자율주행 차량, 로봇, 드론, AR 기기, 모바일 기기, 가전 기기 등을 포함할 수 있다.

한편, 도 3에 도시된 AI 장치(20)는 AI 프로세서(21)와 메모리(25), 통신부(27) 등으로 기능적으로 구분하여 설명하였지만, 전술한 구성요소들이 하나의 모듈로 통합되어 AI 모듈로 호칭될 수도 있음을 밝혀둔다.

본 명세서는 감시용 카메라, 자율주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 로봇, 증강현실(Augmented Reality, AR) 장치, 가상 현실(Virtual reality, VT) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

도 4는 본 명세서의 일 실시예에 따른 감시 카메라의 영상 처리 방법의 흐름도이다. 도 4에 도시된 영상 처리 방법은 도 1 내지 도 3을 통해 설명한 감시 카메라 시스템, 감시 카메라 장치, 감시 카메라 장치에 포함된 프로세서 또는 제어부를 통해 구현될 수 있다. 설명의 편의를 위해 상기 영상 처리 방법은 도 2에 도시된 감시 카메라(200)의 프로세서(260)를 통해 다양한 기능들이 제어될 수 있음을 전제로 설명하나, 본 명세서는 이에 한정되는 것이 아님을 밝혀둔다.

를 참조하면, 감시 카메라(200)는 감시 카메라 영상을 획득한다. 상기 감시 카메라 영상은 동영상을 포함할 수 있다. 감시 카메라(200)는 제1 노출시간 동안 제1 영상을 획득하고, 제2 노출시간 동안 제2 영상을 획득한다(S400). 상기 제2 노출시간은 제1 노출시간 보다 짧은 시간으로 정의되며, 상기 제1 영상을 장노출 영상, 상기 제2 영상을 단노출 영상으로 정의되며 호칭될 수 있다.

프로세서(260)는 상기 제1 영상 및 제2 영상을 합성하여 WDR(Wide Dynamic Range) 영상을 생성할 수 있다. 여기서 상기 제1 영상은 상기 제1 노출시간(또는 제1 셔터값) 동안 제1 이득값이 적용되어 획득된 영상일 수 있다. 또한 상기 제2 영상은 상기 제2 노출시간(또는 제2 셔터값) 동안 제2 이득값이 적용되어 획득된 영상일 수 있다. 보다 구체적으로 상기 제1 영상은 장노출 영상(Long Exposure Time Image)으로 영상 내에서 상대적으로 밝은 영역은 포화될 수 있으며, 상대적으로 어두운 영역에 포함된 객체는 선명하게 보여질 수 있다. 상기 제2 영상은 단노출 영상(Short Exposure Time Image)으로 영상 내에서 상대적으로 어두운 영역에 포함된 객체가 보이지 않을 수 있다.

프로세서(260)는 상기 제1 영상과 제2 영상을 융합하여 WDR 영상을 생성할 수 있다(S410).

상기 제1 영상의 포화 영역의 밝기는 상대적으로 어두워지며, 상기 제2 영상의 어두운 영역의 밝기가 조절되어 상기 어두운 영역에 포함된 객체가 실제 환경의 명암과 유사한 조건에서 보여질 수 있다. 다만, 전술한 바와 같이 상기 제1 영상이 획득되는 제1 노출시간과 상기 제2 영상이 획득되는 제2 노출시간이 다르다. 서로 다른 셔터값을 가지는 이미지 센서의 시차로 인하여 WDR 영상에 포함된 객체가 움직임을 갖는 객체인 경우, 상기 제1 영상과 제2 영상에 표시되는 상기 객체의 위치가 서로 다를 수 있으며, WDR 영상 합성 결과 상기 객체에 대하여 모션 블러가 발생할 수 있다.

프로세서(260)는 상기 WDR 영상 합성 결과 객체의 움직임 잔상(모션 블러)가 존재하는지 여부를 판단할 수 있다(S420).

상기 객체의 움직임 잔상의 존재 여부는 다양한 방법으로 판단될 수 있다. 일 예로, 프로세서(260)는 WDR 합성 영상에 나타난 특정 객체의 선명도에 기초하여 모션 블러 여부를 판단할 수 있다. 또한 일 예로, 프로세서(260)는 제1 노출시간과 제2 노출시간의 시간차이가 미리 정해진 차이 이상인 경우, 제1 영상에서의 특정 객체의 위치와 제2 영상에서의 특정 객체의 위치정보(예를 들어, 좌표정보)에 기초하여 상기 특정 객체에 대한 모션 블러 여부를 판단할 수 있다. 또한 일 예로, 프로세서(260)는 상기 제1 영상이 획득된 이후, 제2 영상이 획득되는 사이의 시간구간이 일정 시간 이상 차이가 나는 경우 모션 블러 여부를 추가적으로 판단할 수 있다. 또한, 일 예로, 프로세서(260)는 본 명세서에 적용되는 AI 기반 객체 인식 알고리즘을 적용하여 WDR 영상의 특정 객체에 대한 모션 블러 여부를 판단할 수 있다. 또한, 일 예로, 프로세서(260)는 상기 WDR 영상 합성 전에 상기 제1 노출시간에 기초하여 상기 WDR 영상 합성 후 WDR 영상 내에서 특정 객체의 모션 블러 여부를 판단할 수도 있다. 상기 제1 노출시간은 장노출 영상을 획득하는데 소요되는 시간으로서, 장노출 시간이 길어지면 길어질수록 단노출 영상과의 시차가 커지므로 WDR 영상 합성시 WDR 영상에 객체가 포함되어 있는 경우 상기 객체에 대한 모션 블러 현상이 빈번하게 발생할 확률이 클 수 있다.

이상, WDR 영상의 모션 블러 존재 여부를 판단하는 다양한 예시를 개시하였으나, 본 명세서는 이에 한정되지 않고 다양한 모션 블러 판단 방법이 적용될 수 있음은 물론이다. 이하, 본 명세서에서는 장노출 시간(long exposure time)과 단노출 시간(shot exposure time)의 시차로 인한 모션 블러 현상을 줄이기 위한 방법을 설명하지만 이는 예시적인 것이며 한정적인 것이 아님을 밝혀둔다.

프로세서(260)는 상기 제1 노출시간을 줄여서 제1 노출시간과 제2 노출시간과의 시간차가 최소가 되도록 상기 제1 영상의 획득을 위한 셔터값을 재설정할 수 있다(S430).

예를 들어, 프로세서(260)는 상기 제1 노출시간을 줄여서 제3 노출시간 동안 상기 제1 영상이 획득되도록 제3 셔터값을 상기 이미지 센서에 적용되도록 제어할 수 있다. 여기서, 제3 노출시간(제3 셔터값에 대응)은 제2 노출시간 보다는 긴 시간으로서, 단노출 대비 일정 수준 이상의 밝기가 확보되는 셔터값일 수 있다. WDR 영상이 밝기의 동적 범위를 확대하기 위한 것이기 때문에, 상기 제1 노출시간과 제2 노출시간의 시간차가 최소가 되도록 하는 제3 셔터값은 상기 제2 노출시간(제2 셔터값)에 의한 영상의 밝기와 비교하여 일정 수준 이상의 밝기가 확보될 수 있는 셔터값일 수 있다. 상기 제3 셔터값은 감시 카메라의 화각 범위 내에서의 조도값에 따라 장노출 영상 획득을 위한 최소 셔터값으로 설정될 수도 있다. 이에 따라 상기 제3 셔터값은 상기 감시 카메라가 위치하는 주변 환경의 조도값에 따라 적응적으로 변경될 수 있다.

프로세서(260)는 재설정된 상기 제3 셔터값을 이미지 센서에 적용되도록 제어할 수 있다(S440). 이후, 감시 카메라를 통해 획득되는 장노출 영상과 단노출 영상의 시차가 줄어듦으로 인해 WDR 합성 영상에서의 객체의 모션 블러 현상이 줄어들 수 있다.

다만, 장노출 시간이 줄어들게 되며 밝기 부족 현상이 생길 수 있으며, 이는 WDR 영상의 품질을 저하시키는 요인이 될 수 있다. 따라서, 본 명세서의 일 실시예는 장노출 영상에 제3 셔터값을 적용하는 대신 이미지 센서의 이득값을 높여서 장노출 영상을 획득할 수 있다. 즉, 프로세서(260)는 상기 제1 노출 시간에 대응하는 제1 이득값 보다 큰 제3 이득값이 적용되도록 상기 이미지 센서의 이득값을 셔터값 제어와 동시에 제어할 수 있다.

일 실시예에 따라, 본 명세서는 딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 적용하여 WDR 영상에서 객체를 분류하고, 분류된 객체에 대하여 움직임 정도(예를 들어, 객체의 이동 속도)가 임계치 이상인 경우, 상기 제3 셔터값 및 제3 센서 이득값이 상기 이미지 센서에 입력되도록 제어할 수 있다.

일 실시예에 따라, 프로세서(260)는 상기 딥러닝 기반의 알고리즘을 영상 분석에 적용하기 위해 객체의 움직임 속도를 입력값으로 하고, 객체의 움직임 속도에 따라 제어될 셔터값 및/또는 센서 이득값을 출력으로 하는 신경망 모델을 훈련시킬 수 있다. 프로세서(260)는 상기 훈련된 신경망 모델을 감시 카메라의 저장부 또는 서버(도 1의 200)에 저장되도록 제어할 수 있다. 이에 따라 감시 카메라는 WDR 영상에 모션 블러가 존재하는 경우, 서버(200)로부터 모션 블러를 제거할 수 있는 장노출값(long exposure time) 및 센서 이득값 정보를 통신부를 통해 수신할 수 있다. 또한, 감시 카메라는 WDR 영상을 분석하여 모션 블러가 존재하는 경우, 감시 카메라에 내장된 AI 모듈로부터 상기 장노출값 및 센서 이득값을 수신할 수 있다.

일 실시예에 따라, 프로세서(260)는 딥러닝 알고리즘을 통해 WDR 합성 영상에 포함된 객체를 인식하고, 인식된 객체가 미리 정해진 관심 객체인지 여부를 판단할 수 있다. WDR 영상에 포함된 객체가 나뭇가지 등 바람에 의해 흔들릴 수 있는 객체인 경우 본 명세서에 의한 셔터값 변경 동작이 수행될 필요가 없다. 즉, 관심 객체가 사람으로 지정된 경우, AI 기반의 객체 인식 결과 WDR 영상(또는 WDR 영상 합성전 장노출영상 및 단노출 영상)에 포함된 객체가 사람인 것으로 판단한 경우, 상기 신경망 모델의 출력에 따른 재설정된 셔터값 및 센서이득값을 이미지 센서에 적용되도록 제어할 수도 있다.

또한, 일 실시예에 따르면, 재설정되는 셔터값 및 이득값을 출력하는 신경망 모델은 객체의 종류 또는 객체의 움직이 속도 중 적어도 하나에 기초하여 노출시간의 감소폭 및/또는 센서 이득값 증가폭이 적응적으로 변경되도록 훈련된 신경망 모델일 수 있다. 예를 들어, 감시 카메라가 주행하는 차량의 번호판을 인식해야 하는 경우, 차량의 움직임이 매우 빠르기 때문에 장노출시간의 감소폭을 가능한 크게 설정하여 단노출과의 시차를 최소화하여 모션 블러의 가능성을 최소화하고, 상기 장노출 시간 감소폭에 대응하여 센서 이득 증가폭을 재설정할 수 있다. 또한, 예를 들어, 감시 카메라를 통해 촬영되는 객체의 평균 움직임 속도가 상대적으로 느린 경우, 장노출시간의 감소폭 및 이득값 증가폭을 줄여서 센서 이득값 증가에 따른 노이즈 현상을 최소화할 수 있다.

즉, 본 명세서에 적용되는 셔터값 및/또는 이득값 재설정을 위한 신경망 모델은 객체의 종류, 객체의 움직임 속도에 기초하여 훈련된 신경망 모델일 수 있다.

도 5는 본 명세서의 일 실시예에 따른 WDR 영상 처리 과정을 도시화한 기능 블록블럭도.

도 5를 참조하면, 이미지 센서는 장노출 영상(501) 및 단노출 영상(502)을 획득하여 ISP로 전달한다. ISP는 상기 장노출 영상(501) 및 단노출 영상(502)을 합성하여 WDR 영상을 생성한다. ISP는 AI 모듈을 내장할 수 있으며, ISP는 상기 합성된 WDR 영상에서 특정 객체에 대한 움직임 잔상이 존재하는지 여부를 판단하고, 움직임 잔상을 최소화하기 위한 셔터값을 산출할 수 있다. 상기 셔터값은 장노출 영상과 단노출 영상의 시차를 최소화할 수 있는 장노출 셔터값일 수 있다. 상기 장노출 셔터값은 처음 셔터값보다 짧은 노출 시간을 가짐으로써, 단노출 영상과의 시차가 줄어들게 된다. 한편, AI 모듈은 장노출 셔터값이 줄어듦으로 인한 장노출 영상 획득을 위한 센서 이득값을 증가시킬 수 있다. 센서 이득값의 증가폭은 장노출 제어 범위에 따라 달라질 수 있다. 예를 들어, 제1 노출시간이 2배로 줄어들게 되면, 센서 이득값은 6dB(6dB=20*log2) 더 큰 값을 입력하여 이미지의 밝기가 유지되도록 제어할 수 있다. 즉, AI 모듈은 전술한 재설정 셔터값 및 재설정 이득값(503)을 이미지 센서로 입력할 수 있다. 이미지 센서는 재설정 셔터값 및 이득값에 기초하여 장노출 영상 및 단노출 영상을 다시 획득하고, ISP는 다시 획득된 두 영상으로부터 WDR 영상을 생성하여 저장부에 저장할 수 있다.

도 6은 종래의 프레임 WDR 영상 합성시 발생되는 모션 블러 현상을 설명하기 위한 도면이다.

도 6의 (a)를 참조하면, 프레임 기반의 WDR 영상의 경우, 제1 프레임의 단노출 영상(601a), 제2 프레임의 장노출 영상(601b), 제2 프레임의 단노출 영상(602a), 제2 프레임의 장노출 영상(602b)이 각각 부분적으로 겹쳐짐이 없으므로 장노출이 종료된 후에 단노출이 시작되는 것이 일반적이다. 이에 따라 장노출 시간이 큰 경우 상대적으로 장노출 영상과 단노출 영상의 시차가 커지고, 그 과정에서 객체의 움직임 또는 움직임 속도에 따라 모션 블러가 발생할 가능성이 크다. 또한, 도 6의 (b)는 상기 프레임 기반의 WDR 영상에서 장노출 영상과 단노출 영상의 시차로 인하여 생기는 블러 현상의 예시이다.

도 7은 본 명세서의 일 실시예에 따른 라인 인터리빙 방식의 WDR 영상 합성을 설명하기 위한 도면이다.

도 7을 참조하면, 프레임 기반의 WDR 영상과 달리 라인 인터리빙 기반의 WDR 영상은 두 프레임(701a 및 701b 또는 702a 및 702b)이 겹쳐지는 현상이 발생하게 되어 한 프레임의 출력이 끝나지 않고 다음 프레임이 출력될 수 있다. 이로 인해 장노출 프레임과 단노출 프레임 간의 시간 각격이 크게 줄어들 수 있다. 이미지 센서의 각 라인은 두 번의 연속적인 장노출과 단노출로 출력될 수 있다.

도 8은 본 명세서의 일 실시예에 따른 WDR 영상 처리 과정이 저속 셔터 및 고속 셔터 동작에 각각 적용되는 예를 설명하기 위한 도면이다.

도 8의 (a)는 인터리빙 기반의 WDR 영상 합성 과정에서 저속 셔터가 적용되는 예시이다. 제1 영상(장노출 영상, 801a)은 제1 노출시간(Exposure 1 period) 동안 제1 이득값(Gain 1)이 적용되며, 제2 영상(단노출 영상, 801b)은 제2 노출시간(Exposure 2 period) 동안 제2 이득값(Gain 2)이 적용된다. 이 때 상기 제1 노출 시간은 저속 셔터이므로 상대적으로 제1 영상과 제2 영상의 시차(810)로 인해 WDR 영상 합성 시 WDR 영상에 움직이는 객체가 존재하는 경우, 모션 블러가 발생할 가능성이 커진다. 도 8의 (b)는 상기 제1 노출시간(Exposure 1 period)을 제1' 노출시간(Exposure 1' period)으로 줄이고, 상기 제1 영상에 적용되는 이득값을 제1 이득값(Gain 1)에서 제1' 이득값(Gain 1')으로 증가시켜 제1 영상(장노출 영상, 802a)을 획득할 수 있다. 이에 따라 재설정된 셔터값 및 이득값이 적용됨에 따라 시차(820)가 줄어들어 WDR 영상 합성 시 움직이는 객체가 존재하더라도 모션 블러 현상을 최소화할 수 있다. 여기서 상기 움직이는 객체의 존재 여부는 AI 기반의 객체 인식 알고리즘을 적용함으로써, 객체를 분류하여 본 명세서의 일 실시예에 따른 WDR 영상 처리 과정이 필요한 객체인지 여부를 확인한다. 예를 들어, 상기 객체가 사람이나 자동차와 같이 특정 객체로 분류된 피사체가 일정 속도 이상으로 움직임이 발생하는 경우, 감시 카메라는 셔터값 및 게인값을 재설정하여 이미지 센서로 입력하여 모션 블러 크기를 줄일 수 있다.

도 9는 본 명세서의 일 실시예에 따른 WDR 영상 처리 과정이 적용된 예시를 설명한다. 도 9의 (a)는 실내환경에서 본 명세서에 개시되는 WDR 영상 처리 방법이 적용되지 않은 경우, WDR 영상에 움직이는 피사체에 나타나는 모션 블러의 예시이며, (b)는 본 명세서에 개시되는 WDR 영상 처리 기술이 적용되어 모션 블러가 줄어든 이미지의 예시이다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

제1 노출시간 동안 제1 영상을 획득하고, 상기 제1 노출시간 보다 짧은 제2 노출시간 동안 제2 영상을 획득하는 이미지 센서;
상기 제1 영상 및 제2 영상을 합성하여 WDR(Wide Dynamic Range) 영상을 생성하는 프로세서;를 포함하고,
상기 프로세서는,
상기 WDR 영상에 포함된 객체에 대하여 모션 블러(motion blur)를 감지하는 경우, 상기 제1 노출시간을 줄여서 상기 제1 노출시간과 제2 노출시간의 시간차가 최소가 되도록 상기 이미지 센서를 제어하는 것을 특징으로 하는 감시 카메라의 영상 처리 장치.
제 1 항에 있어서,
상기 프로세서는 상기 제1 노출시간을 줄여서 제3 노출시간 동안 상기 제1 영상이 획득되도록 제3 셔터값을 상기 이미지 센서에 적용되도록 제어하는 것을 특징으로 하는 영상 처리 장치.
제 2 항에 있어서,
상기 프로세서는,
상기 제1 노출시간에 대응되는 제1 이득값 보다 큰 제3 이득값이 적용되도록 상기 이미지 센서의 이득값을 제어하는 것을 특징으로 하는 감시 카메라의 영상 처리 장치.
제 3 항에 있어서,
상기 프로세서는,
딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 적용하여 상기 WDR 영상에서 분류된 상기 객체의 움직임 정도가 임계치 이상인 경우, 상기 제3 셔터값 및 제3 이득값이 상기 이미지 센서에 입력되도록 제어하는 것을 특징으로 하는 감시 카메라의 영상 처리 장치.
제 3 항에 있어서,
상기 프로세서는,
상기 WDR 영상에 포함된 객체의 움직임 속도를 입력으로 하고, 상기 객체의 움직임 속도에 따라 제어될 셔터값 및 이득값을 출력으로 하는 신경망 모델을 훈련시켜 저장하는 것을 특징으로 하는 감시 카메라의 영상 처리 장치.
제 5 항에 있어서,
상기 프로세서는,
딥러닝 알고리즘을 통해 상기 WDR 영상에 포함된 객체를 인식하고, 인식된 객체가 관심 객체인 경우, 상기 신경망 모델의 출력에 따른 상기 셔터값 및 이득값을 상기 이미지 센서에 적용되도록 제어하는 것을 특징으로 하는 영상 처리 장치.
제 3 항에 있어서,
상기 프로세서는,
상기 객체의 종류 또는 상기 객체의 움직임 속도 중 적어도 하나에 기초하여, 노출시간의 감소폭 및 이득값 증가폭을 변경하는 것을 특징으로 하는 영상 처리 장치.
이미지 센서를 통해 제1 노출시간 동안 장노출 영상을 획득하고, 제2 노출시간 동안 단노출 영상을 획득하는 단계;
상기 장노출 영상 및 단노출 영상을 합성하여 WDR (Wide Dynamic Range) 영상을 생성하는 단계;
딥러닝 기반의 알고리즘을 적용하여 상기 WDR 영상에서 분류된 상기 객체의 움직임 정도가 임계치 이상인 경우, 상기 장노출 영상과 단노출 영상의 시차를 최소화하기 위한 상기 제1 노출시간의 감소폭을 설정하여 셔터값을 재설정하는 단계; 및
상기 재설정된 셔터값을 상기 이미지 센서에 적용하는 단계;
를 포함하는 영상 처리 방법.
제 8 항에 있어서,
상기 제1 노출시간의 감소폭에 따른 밝기를 보상하기 위해 상기 이미지 센서의 이득값을 재설정하는 단계; 및
상기 재설정된 셔터값 및 이득값을 상기 이미지 센서에 적용하도록 제어하는 단계;
를 포함하는 것을 특징으로 하는 영상 처리 방법.