KR20230069342A - 동적프레임이 존재하는 구간의 검출방법 - Google Patents

Abstract

본 발명은 동적프레임이 존재하는 구간의 검출방법으로서, 더욱 상세하게는 실시간 감시 영상을 통해 기록된 데이터의 전체 비트스트림 중에서 I프레임만을 추출하여 디코딩하고, 상기 디코딩한 I프레임을 통해 움직임이 없는 정적 배경과 움직임이 있는 동적 객체가 있는 동영상 프레임을 비교하여 영상 내의 움직임 존재 유무를 판별함으로써, 고화질의 실시간 감시 영상에서 움직임이 존재하는 구간을 검출할 수 있는, 동적프레임이 존재하는 구간의 검출방법에 관한 것이다.

Description

동적프레임이 존재하는 구간의 검출방법{The Method of Detecting Section in which a Movement Frame Exists}

본 발명은 동적프레임이 존재하는 구간의 검출방법으로서, 더욱 상세하게는 실시간 감시 영상을 통해 기록된 데이터의 전체 비트스트림 중에서 I프레임만을 추출하여 디코딩하고, 상기 디코딩한 I프레임을 통해 움직임이 없는 정적 배경과 움직임이 있는 동적 객체가 있는 동영상 프레임을 비교하여 영상 내의 움직임 존재 유무를 판별함으로써, 고화질의 실시간 감시 영상에서 움직임이 존재하는 구간을 검출할 수 있는, 동적프레임이 존재하는 구간의 검출방법에 관한 것이다.

최근에는 범죄예방이나 사후증거 확보 등을 위해 CCTV를 이용하는 영상관제 시스템을 구축하는 것이 일반적이며, 촬영장비 및 촬영 기술의 발전에 따라 CCTV에 사용되는 카메라의 화질도 발전하여, CCTV로 촬영되는 감시 영상의 크기도 비약적으로 증가하였다.

CCTV 감시 영상은 저장공간의 효율을 위해 압축영상을 채택하고 있고, 고화질 CCTV 영상의 경우 H.265 HEVC와 같은 고압축율의 영상압축 기술을 사용하는 것이 일반적이다. 여기서, HEVC(High Efficiency Video Coding)이란, HD 모바일, 홈 시네마, UHD TV와 같이 고화질 응용분야에서 부호화 성능 향상을 목표로 개발된 차세대 영상 압축표준이다.

하지만, 영상데이터를 인식하여 분석하고 추적하는 기술은 상당한 계산량을 요구하는 알고리즘이기 때문에, 즉, 복잡도가 높아서 영상데이터의 크기가 커질수록 연산 장치에 상당한 부하를 주게 된다. 이에 따라, 크기가 커진 영상데이터를 분석하는 시간이 점점 오래 걸리게 된다. 따라서, 영상 정보 분석 시간을 줄일 수 있는 방법이 꾸준히 요구되고 있다.

한편, 종래의 영상데이터에서 움직임을 검출하는 기술로는 한국등록특허 제10-1409826호와 같이 참조프레임 내의 블록들의 움직임 벡터에 대한 히스토그램에 기반하여 참조프레임의 움직임 벡터를 산출하고, 전역 움직임벡터에 기초하여 참조블록의 영역종류를 결정하는 기술이 있다.

그러나, 상술한 종래의 기술은, 영역전체에 대하여 움직임 벡터를 산출하고, 영역 전체에 대하여 히스토그램 데이터를 산출하여야 하기 때문에, 현재의 높은 해상도의 영상에서의 실시간 처리가 가능한 정도의 속도가 나오기 어렵고, 또한, 모든 블록들에 대하여 모션벡터를 고려하여야 하기 때문에, 불필요한 블록에 대해서도 일단 연산을 수행하여야 한다는 문제점이 있다. 또한, 기본적으로 객체 검출과 관련하여 전체 프레임에 대한 처리를 하여야 하기 때문에, 기본적인 연산량이 많이 요구된다는 문제점이 있다.

따라서, 종래의 기술에 비해 연산량을 줄일 수 있고, CCTV로 촬영되는 실시간 감시 영상과 같이 긴 길이의 영상에서 움직임이 존재하는 구간만 검출할 수 있는 기술이 필요한 실정이다.

대한민국 등록특허 제10-1409826호(2014.06.13.)

본 발명은 동적프레임이 존재하는 구간의 검출방법으로서, 더욱 상세하게는 실시간 감시 영상을 통해 기록된 데이터의 전체 비트스트림 중에서 I프레임만을 추출하여 디코딩하고, 상기 디코딩한 I프레임을 통해 움직임이 없는 정적 배경과 움직임이 있는 동적 객체가 있는 동영상 프레임을 비교하여 영상 내의 움직임 존재 유무를 판별함으로써, 고화질의 실시간 감시 영상에서 움직임이 존재하는 구간을 검출할 수 있는, 동적프레임이 존재하는 구간의 검출방법을 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 동적프레임이 존재하는 구간의 검출방법으로서, 영상데이터로부터 NAL 유닛을 검출하고, 상기 NAL 유닛의 헤더를 분석하여 상기 영상데이터의 전체 비트스트림에서 복수의 I프레임만을 구분하고 상기 I프레임만을 디코딩하는 I프레임디코딩단계; 디코딩된 I프레임에 대하여, 인접한 2 개의 I프레임 간의 픽셀 차이에 기초하여 상기 인접한 2 개의 I프레임 사이의 MSE값을 산출하는 MSE산출단계; 상기 MSE값에 기초하여, 상기 I프레임이 움직임이 존재하는 동적프레임인지 판단하는 동적프레임판단단계; 및 상기 영상데이터에서 상기 동적프레임이 존재하는 구간을 검출하는 동적프레임존재구간검출단계;를 포함하는, 동적프레임이 존재하는 구간의 검출방법을 제공한다.

본 발명의 일 실시예에서는, 상기 영상데이터는 HEVC 규약에 따라 인코딩된 영상데이터를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 동적프레임판단단계는, 산출한 모든 MSE값에 대하여 각각의 MSE값을 제1임계치와 각각 비교하는 단계; 상기 제1임계치보다 큰 MSE값을 검출하는 단계; 및 상기 제1임계치보다 큰 MSE값에 해당하는 I프레임을 동적프레임으로 판단하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 제1임계치는, 움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제1기준MSE산출단계; 상기 제1기준MSE산출단계로부터 산출된 MSE값의 평균값을 산출하는 단계; 및 상기 평균값에 기초하여 상기 제1임계치를 결정하는 제1임계치결정단계;에 의하여 결정될 수 있다.

본 발명의 일 실시예에서는, 상기 동적프레임판단단계는, 산출한 MSE값에 대하여 슬라이딩윈도우방식을 적용하여 각각의 윈도우에 포함되는 복수의 MSE값들의 표준편차를 산출하는 단계; 상기 표준편차와 제2임계치를 비교하는 단계; 및 상기 제2임계치보다 큰 표준편차를 가지는 윈도우에 포함되는 상기 복수의 MSE값들에 해당하는 복수의 I프레임을 동적프레임으로 판단하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 제2임계치는, 움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제2기준MSE산출단계; 상기 제2기준MSE산출단계로부터 산출된 MSE값의 표준편차를 산출하는 단계; 및 상기 표준편차에 기초하여 상기 제2임계치를 결정하는 제2임계치결정단계;에 의하여 결정될 수 있다.

본 발명의 일 실시예에서는, 상기 동적프레임판단단계는, 산출한 MSE값에 대하여 슬라이딩윈도우방식을 적용하여 각각의 윈도우에 포함되는 복수의 MSE값들의 표준편차를 산출하는 단계; 상기 표준편차와 제3임계치를 비교하는 단계; 및 N번째 MSE값을 포함하는 1이상의 윈도우에 대해서, 상기 윈도우에 포함된 복수의 MSE값들의 표준편차가 상기 제3임계치보다 큰 윈도우가 존재하면, 상기 N번째 MSE값에 해당하는 I프레임을 동적프레임으로 판단하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 제3임계치는, 움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제3기준MSE산출단계; 상기 제3기준MSE산출단계로부터 산출된 MSE값의 표준편차를 산출하는 단계; 및 상기 표준편차에 기초하여 상기 제3임계치를 결정하는 제3임계치결정단계;에 의하여 결정될 수 있다.

본 발명의 일 실시예에서는, 상기 동적프레임판단단계는, 산출한 MSE값에 대하여 슬라이딩윈도우방식을 적용하여 각각의 윈도우에 포함되는 복수의 MSE값들의 평균값 및 표준편차를 산출하는 단계; 상기 표준편차와 제4임계치를 비교하는 단계; N번째 MSE값을 포함하는 1이상의 윈도우에 대해서, 상기 윈도우에 포함된 복수의 MSE값들의 표준편차가 상기 제4임계치보다 큰 윈도우가 존재하면, 상기 N번째 MSE값에 해당하는 I프레임을 제1예비동적프레임으로 판단하는 제1판단단계; 상기 평균값과 제5임계치를 비교하는 단계; N번째 MSE값을 포함하는 1이상의 윈도우에 대해서, 상기 윈도우에 포함된 복수의 MSE값들의 평균값이 상기 제5임계치보다 큰 윈도우가 존재하면, 상기 N번째 MSE값에 해당하는 I프레임을 제2예비동적프레임으로 판단하는 제2판단단계; 및 상기 제1판단단계에서 제1예비동적프레임으로 판단되고, 상기 제2판단단계에서 제2예비동적프레임으로 판단된 I프레임에 대하여, 상기 I프레임을 동적프레임으로 판단하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 제4임계치는, 움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제4기준MSE산출단계; 상기 제4기준MSE산출단계로부터 산출된 MSE값의 표준편차를 산출하는 단계; 및 상기 표준편차에 기초하여 상기 제4임계치를 결정하는 제4임계치결정단계;에 의하여 결정될 수 있다.

본 발명의 일 실시예에서는, 상기 제5임계치는, 움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제5기준MSE산출단계; 상기 제5기준MSE산출단계로부터 산출된 MSE값의 평균값을 산출하는 제5기준평균값산출단계; 및 상기 제5기준평균값산출단계에서 산출된 평균값에 기초하여 상기 제5임계치를 결정하는 제5임계치결정단계;에 의하여 결정될 수 있다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 움직임이 존재하는 프레임의 검출장치로서, 영상데이터로부터 NAL 유닛을 검출하고, 상기 NAL 유닛의 헤더를 분석하여 상기 영상데이터의 전체 비트스트림에서 I프레임만을 구분하고 상기 I프레임만을 디코딩하는 I프레임디코딩부; 디코딩된 I프레임에 대하여, 인접한 두 I프레임 간의 픽셀 차이에 기초하여 상기 인접한 두 I프레임 사이의 MSE값을 산출하는 MSE산출부; 상기 MSE값에 기초하여, 상기 I프레임이 움직임이 존재하는 동적프레임인지 판단하는 동적프레임판단부; 및 상기 영상데이터에서 상기 동적프레임이 존재하는 구간을 검출하는 동적프레임존재구간검출부;를 포함하는, 동적프레임이 존재하는 구간의 검출장치를 제공한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 하나 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 영상데이터로부터 NAL 유닛을 검출하고, 상기 NAL 유닛의 헤더를 분석하여 상기 영상데이터의 전체 비트스트림에서 복수의 I프레임만을 구분하고 상기 I프레임만을 디코딩하는 I프레임디코딩단계; 디코딩된 I프레임에 대하여, 인접한 2 개의 I프레임 간의 픽셀 차이에 기초하여 상기 인접한 2 개의 I프레임 사이의 MSE값을 산출하는 MSE산출단계; 상기 MSE값에 기초하여, 상기 I프레임이 움직임이 존재하는 동적프레임인지 판단하는 동적프레임판단단계; 및 상기 영상데이터에서 상기 동적프레임이 존재하는 구간을 검출하는 동적프레임존재구간검출단계;를 포함하는 컴퓨터 프로그램을 제공한다.

본 발명의 일 실시예에 따르면, 영상데이터 전체의 비트스트림에서 I프레임만을 구분하여 디코딩함으로써, 종래의 기술보다 적은 시간으로 상기 영상데이터에서 움직임이 존재하는 구간을 검출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 최소한의 프레임에 대해서만 영상 처리를 수행함으로써 요구되는 연산 처리 능력이 종래의 기술보다 적게 요구되는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적은 연산량임에도 불구하고 높은 정확도로 움직임이 존재하는 구간을 고속으로 검출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 움직임이 존재하는 것으로 판단되는 프레임들에 대해서만 객체탐지 및 객체분석 등을 수행할 수 있어 객체 분석 시 처리되는 연산량을 상당수준으로 감소시킬 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 최근 고화질 CCTV 영상에 대한 상당한 연산부하가 요구되나, 움직임이 존재하는 프레임만으로 분석대상 영역을 상당수준으로 감소시킬 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 산출된 MSE값을 패턴화한 뒤 이를 학습함으로써, 객체의 종류를 파악할 수 있고, 학습한 내용을 바탕으로 특정 구역에서의 객체 이동 정보를 획득할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 동적프레임판단부에서 다양한 방법으로 동적프레임을 검출할 수 있고, 동적프레임 검출목적에 따라 상기 다양한 방법을 적용할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 동적프레임이 존재하는 구간의 검출방법의 전체적인 단계들을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 I프레임, B프레임, 및 P프레임을 포함하는 영상데이터를 예시적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 HEVC 표준에서의 코딩 유닛의 SYNTAX를 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 I프레임디코딩단계 및 MSE산출단계를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 동적프레임판단단계를 포함하는, 동적프레임 존재구간 검출방법의 전체적인 수행단계를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 산출된 MSE값에 대한 히스토그램 및 제1임계치를 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 동적프레임판단단계를 포함하는, 동적프레임 존재구간 검출방법의 전체적인 수행단계를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 산출된 MSE값에 대한 히스토그램 및 슬라이딩윈도우를 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 몇 개의 MSE값 및 슬라이딩윈도우를 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 몇 개의 윈도우에 포함되는 MSE값들에 대한 표준편차와 제2임계치를 비교하는 표를 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 동적프레임판단단계를 포함하는, 동적프레임 존재구간 검출방법의 전체적인 수행단계를 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 몇 개의 윈도우에 포함되는 MSE값들에 대한 표준편차와 제3임계치를 비교하는 표를 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 동적프레임판단단계를 포함하는, 동적프레임 존재구간 검출방법의 전체적인 수행단계를 개략적으로 도시한다.
도 14는 본 발명의 일 실시예에 따른 몇 개의 윈도우에 포함되는 MSE값들에 대한 평균값 및 표준편차를 각각 제4임계치 및 제5임계치와 비교하는 표를 개략적으로 도시한다.
도 15는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서 언급되는, "동적프레임"은 움직임이 존재하는 프레임에 해당된다. 영상데이터 전체의 비트스트림을 구성하는 복수의 프레임에 대해서, 인접한 두 프레임 사이의 픽셀차를 수치화할 수 있고, 수치화된 상기 두 프레임 사이의 픽셀차가 기준치 이상 존재하는 경우 상기 두 프레임 사이에 움직임이 있었다고 판단할 수 있으며, 상기 두 프레임이 상기 동적프레임에 해당한다.

한편, 상기 인접한 두 프레임은 반드시 상기 영상데이터 전체의 비트스트림 상에서 인접할 필요는 없으며, 상기 비트스트림에서 기설정된 규칙에 따라 추출된 복수의 프레임 중 인접한 두 프레임에 해당할 수 있다.

도 1은 본 발명의 일 실시예에 따른 동적프레임이 존재하는 구간의 검출방법의 전체적인 단계들을 개략적으로 도시한다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 동적프레임이 존재하는 구간의 검출방법은 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅시스템부(1000)에서 수행된다.

이와 같은 동적프레임이 존재하는 구간의 검출방법은, 영상데이터로부터 NAL 유닛을 검출하고, 상기 NAL 유닛의 헤더를 분석하여 상기 영상데이터의 전체 비트스트림에서 복수의 I프레임만을 구분하고 상기 I프레임만을 디코딩하는 I프레임디코딩단계(S100); 디코딩된 I프레임에 대하여, 인접한 2 개의 I프레임 간의 픽셀 차이에 기초하여 상기 인접한 2 개의 I프레임 사이의 MSE값을 산출하는 MSE산출단계(S200); 상기 MSE값에 기초하여, 상기 I프레임이 움직임이 존재하는 동적프레임인지 판단하는 동적프레임판단단계(S300); 및 상기 영상데이터에서 상기 동적프레임이 존재하는 구간을 검출하는 동적프레임존재구간검출단계(S400);를 포함한다.

본 발명의 일 실시예에서는, 상기 단계 S100, 단계 S200, 단계 S300, 및 단계 S400은 각각 I프레임디코딩부(100), MSE산출부(200), 동적프레임판단부(300) 및 동적프레임존재구간검출부(400)에 의하여 수행된다.

바람직하게는, 상기 영상데이터는 HEVC 규약에 따라 인코딩된 영상데이터를 포함할 수 있다.

도 2는 I프레임, B프레임, 및 P프레임을 포함하는 영상데이터를 예시적으로 도시한다.

일반적인 동영상의 비디오 부분은 I프레임(“I”로 도시한 프레임), P프레임(“P”로 도시한 프레임), 및 B프레임(“B”로 도시한 프레임)으로 구성된다.

상기 I프레임은 키 프레임으로써 전체 이미지를 모두 포함하고, 동영상 파일에 있어서 액세스 포인트로 기능할 수 있으며, 독립적으로 인코딩된 프레임에 해당하며 낮은 압축률을 가지고 있다.

한편, P프레임의 경우, 이전의 I프레임 혹은 P프레임을 참조하여 순방향 예측에 의하여 만들어지는 프레임으로서 독립적으로 인코딩된 프레임에 해당하지 않는다. 이와 같은 상기 P프레임은 상기 I프레임에 비해 높은 압축률을 가지고 있다. 여기서, “이전”의 프레임이라는 것은 바로 전의 프레임뿐만 아니라 해당 프레임 전에 존재하는 복수의 프레임 중 하나를 의미하고, “이후”의 프레임이라는 것은 바로 다음 프레임뿐만 아니라 해당 프레임 다음에 존재하는 복수의 프레임 중 하나를 의미한다.

한편, B프레임의 경우, 이전의 프레임 및 이후의 프레임을 참조하여 순방향 및 역방향 예측에 의하여 만들어지는 프레임으로서 독립적으로 인코딩된 프레임에 해당하지 않는다. 이와 같은 상기 B프레임은 상기 I프레임 및 상기 P프레임에 비해 높은 압축률을 가지고 있다. 따라서, 상기 독립적으로 인코딩된 프레임은 상기 I프레임에 해당하고, 비독립적으로 인코딩된 프레임은 나머지 상기 B프레임 혹은 P프레임에 해당할 수 있다.

도 3은 HEVC 표준에서의 코딩 유닛의 SYNTAX를 도시한다.

개략적으로 도 3의 (a)는 NAL 유닛의 SYNTAX를 도시하고, 도 3의 (b)는 NAL 유닛의 헤더의 SYNTAX를 도시한다.

구체적으로, 도 3의 (a)에 도시된 바와 같이, HEVC 표준문서인 “ITU-T H.265 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (11/2019) SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video”에 따르면 부호화된 H.265 데이터는 Network Abstraction Layer Units(NAL Unit)으로 알려진 일련의 패킷으로 저장되거나 전송된다.

본 발명에 적용된 HEVC/H.265 코덱은 일정구간마다 생성되는 I프레임을 기준으로 이후에 오는 B프레임 및 P프레임을 연산하는 방식으로 압축을 진행한다.

도 3의 (b)에서는, 도 3의 (a)에서 nal_unit이 포함하고 있는 NAL 유닛의 헤더의 SYNTAX를 도시한다. 본 발명에서는 상기 NAL 유닛의 헤더에 포함되는 nal_unit_type을 이용하여 상기 영상데이터 전체의 비트스트림에서 각각의 I프레임만을 구분할 수 있고, 상기 I프레임만을 디코딩한다. 상기 디코딩된 I프레임만을 분석함으로써, 상기 비트스트림 전체를 디코딩할 필요없이 관심대상의 이벤트를 요약할 수 있고, 이를 통해 종래의 기술보다 적은 시간으로 상기 비트스트림에서 동적프레임을 검출할 수 있고, 또한 종래의 기술보다 적은 연산량으로 동적프레임을 검출할 수 있는 효과를 발휘할 수 있다.

도 4는 본 발명의 일 실시예에 따른 I프레임디코딩단계(S100) 및 MSE산출단계(S200)를 개략적으로 도시한다.

개략적으로, 본 발명의 일 실시예로서 이하에서 서술되는 영상데이터는, 도 2를 참고하여, I프레임, B프레임, 및 P프레임을 포함하는 영상데이터에 해당하며, 상기 영상데이터로부터 상기 I프레임만을 추출하여 디코딩하고, 인접한 2 개의 I프레임에 대해 MSE값을 산출하는 과정에 대한 설명을 이하에서 서술한다.

구체적으로, 상기 I프레임디코딩부(100)에서는, 도 3에 대한 설명을 참고하여, 상기 영상데이터의 전체 비트스트림으로부터 상기 NAL 유닛의 헤더에 포함되는 nal_unit_type을 이용하여 상기 영상데이터 전체의 비트스트림에서 각각의 I프레임만을 추출하여 디코딩한다.

상기 I프레임디코딩부(100)에서 추출된 복수의 I프레임은 상기 MSE산출부(200)로 전송되고, 상기 MSE산출부(200)는, 상기 I프레임디코딩부(100)로부터 수신한 복수의 I프레임에 대해 인접한 두 프레임의 픽셀차에 기초하여 MSE값을 산출하는 MSE산출단계(S200)을 수행한다.

상기 MSE값이 클수록 상기 두 프레임 간의 픽셀차가 큰 것을 의미하며, 상기 MSE값이 기설정된 임계치 이상일 경우, 상기 두 프레임 사이에 움직임이 발생했다고 판단할 수 있으며, 상기 두 프레임을 동적프레임으로 판단할 수 있다. 반대의 경우, 상기 두 프레임 간의 픽셀차이가 거의 없는 경우, 상기 두 프레임 사이의 MSE값은 상기 임계치 이하로 산출되며, 상기 두 프레임 사이에는 움직임이 존재하지 않다고 판단할 수 있다.

한편, MSE값은 이하와 같은 방식으로 산출될 수 있다. 인접한 2 개의 프레임에 대해서 서로 상응하는 복수의 픽셀 간의 차이값을 구한 뒤 이를 제곱하고, 상기 차이값의 제곱값들을 모두 합한 뒤, 단일 프레임의 총 픽셀 수로 나눔으로써 상기 MSE값을 구할 수 있다.

도 5는 본 발명의 일 실시예에 따른 동적프레임판단단계(S300)를 포함하는, 동적프레임 존재구간 검출방법의 전체적인 수행단계를 개략적으로 도시한다.

도 5에 도시된 바와 같이, 상기 동적프레임판단단계(S300)는, 산출한 모든 MSE값에 대하여 각각의 MSE값을 제1임계치와 각각 비교하는 단계(S310); 상기 제1임계치보다 큰 MSE값을 검출하는 단계(S311); 및 상기 제1임계치보다 큰 MSE값에 해당하는 I프레임을 동적프레임으로 판단하는 단계(S312);를 포함하고,

상기 제1임계치는, 움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제1기준MSE산출단계; 상기 제1기준MSE산출단계로부터 산출된 MSE값의 평균값을 산출하는 단계; 및 상기 평균값에 기초하여 상기 제1임계치를 결정하는 제1임계치결정단계;에 의하여 결정된다.

구체적으로, 도 5에 도시된 상기 동적프레임판단단계(S300)는 본 발명의 일 실시예로서 수행될 수 있다. 상기 동적프레임판단단계(S300)가 수행되기 전에는, 도 4에 대한 설명을 참고하여, 상기 I프레임디코딩단계(S100) 및 상기 MSE산출단계(S200)가 각각 상기 I프레임디코딩부(100) 및 상기 MSE산출부(200)에 의해 수행된다. 상기 MSE산출단계(S200)를 통해 복수의 MSE값이 산출된 후, 상기 동적프레임판단부(300)에 의해 상기 단계 S310 내지 단계 S312가 수행된다.

상기 제1임계치는 미리 학습영상데이터를 통해 설정될 수 있다. 상기 학습영상데이터는, 본 발명의 일 실시예로서, 움직임이 존재하지 않는 영상구간을 포함하는 영상데이터로부터 생성될 수 있으며, 바람직하게는, 상기 영상데이터는 움직임이 존재하지 않는 영상구간과 움직임이 존재하는 영상구간을 모두 포함할 수 있다. 상기 영상데이터에서 움직임이 존재하지 않는 영상구간의 I프레임을 추출함으로써 상기 학습영상데이터를 생성할 수 있다.

상기 학습영상데이터의 각각의 I프레임에 대하여 MSE값을 산출하는 상기 제1기준MSE산출단계를 수행한 이후에, 상기 학습영상데이터의 모든 MSE값의 평균값을 산출하는 단계를 수행하고, 상기 평균값에 기초하여 상기 제1임계치를 결정하는 상기 제1임계치결정단계를 수행할 수 있다.

한편, 본 발명의 일 실시예로서, 상기 제1임계치는, 상기 움직임이 존재하지 않는 구간의 I프레임에 대한 MSE값의 평균값뿐만 아니라, 상기 영상데이터로부터 움직임이 존재하는 구간의 I프레임에 대한 MSE값의 평균값을 참고하여 설정될 수 있다.

단계 S310에서는, 상기 MSE산출단계(S200)에서 산출된 복수의 MSE값들과 상기 제1임계치를 각각 비교하고, 단계 S311에서는, 상기 제1임계치보다 큰 MSE를 검출한다. 단계 S312에서는, 상기 제1임계치보다 큰 MSE에 해당하는 I프레임들을 동적프레임으로 판단하며, 상기 단계 S310 내지 단계 S312는 상기 동적프레임판단부(300)에 의해 수행될 수 있다. 상기 동적프레임판단부(300)에 의해 동적프레임을 판단한 뒤에, 상기 단계 S400에서는, 상기 동적프레임이 존재하는 구간을 동적프레임이 존재하는 구간, 즉 상기 영상데이터에서 움직임이 존재하는 구간을 검출할 수 있다.

또한, 상기 움직임이 존재하는 구간은, 상술한 도 4에 대한 설명을 참고하면, 상기 제1임계치보다 큰 MSE값에 해당하는 2 개의 I프레임 및 상기 2 개의 I프레임에 종속되는 1 이상의 B프레임 및/또는 1 이상의 P프레임에 해당되는 구간을 포함한다.

도 6은 본 발명의 일 실시예에 따른 산출된 MSE값에 대한 히스토그램 및 제1임계치를 개략적으로 도시한다.

개략적으로, 상기 히스토그램은 상기 MSE산출단계(S200)에서 산출된 복수의 MSE값들을 그래프로 도시한 것이다. 상기 히스토그램의 x축은 상기 MSE값들의 번호를 의미하고, y축은 각각의 MSE값의 번호에 해당하는 MSE값을 의미한다.

상기 MSE값의 번호는, 상기 MSE값들에 대하여 상기 MSE산출부(200)에 의해 부여된 일련번호에 해당하며, 바람직하게는 시간의 순서에 따라 상기 MSE값들에 일련번호를 부여할 수 있다.

한편, 상기 히스토그램은 본 발명에서, 도 5에 대한 설명에서 다룬 실시예의 설명을 위해 도시한 것으로, 실제 본 발명이 적용될 때의 결과와는 상이할 수 있다.

도 6에 도시된 바와 같이, 상기 제1임계치 이하의 MSE값에 해당되는 구간은 움직임이 없는 구간으로 판단되고, 상기 제1임계치 이상의 MSE값에 해당되는 구간은 움직임이 존재하는 구간으로 판단되며, 상기 제1임계치와 상기 MSE값들을 비교하는 단계는, 도 5에 대한 설명을 참고하여, 상기 단계 S310 및 단계 S311에서 수행될 수 있다.

한편, 도 5 내지 도 6에 대한 설명에서 다룬 동적프레임판단단계(S300)의 일 실시예는, 본 발명의 몇 실시예 중 하나에 해당하며, 다른 실시예에 대한 설명은 후술하도록 한다.

도 5 내지 도 6에서 서술한 동적프레임판단단계(S300)의 실시예는, 본 발명의 다양한 실시예 중에서 비교적 로직이 단순하여 구현하기가 쉽지만, 각각의 MSE값을 상기 제1임계치와 비교해야하므로 동적프레임을 검출하기까지의 시간이 후술하는 방법과 비교하여 더 소요될 수 있다. 다만, 상기 제1임계치를 설정하기 위한 상기 학습영상데이터를 적절하게 선택하는 경우 높은 정확도로 영상데이터에서 움직임을 검출할 수 있는 효과를 발휘할 수 있다. 따라서, 도 5 내지 도 6에서의 실시예는 비교적 작은 움직임을 갖는 객체를 기록하는 CCTV영상을 분석하는데 사용하는 것이 바람직하다.

도 7은 본 발명의 일 실시예에 따른 동적프레임판단단계(S300)를 포함하는, 동적프레임 존재구간 검출방법의 전체적인 수행단계를 개략적으로 도시한다.

도 7에 도시된 바와 같이, 상기 동적프레임판단단계(S300)는, 산출한 MSE값에 대하여 슬라이딩윈도우방식을 적용하여 각각의 윈도우에 포함되는 복수의 MSE값들의 표준편차를 산출하는 단계(S320); 상기 표준편차와 제2임계치를 비교하는 단계(S321); 및 상기 제2임계치보다 큰 표준편차를 가지는 윈도우에 포함되는 상기 복수의 MSE값들에 해당하는 복수의 I프레임을 동적프레임으로 판단하는 단계(S322);를 포함하고,

상기 제2임계치는, 움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제2기준MSE산출단계; 상기 제2기준MSE산출단계로부터 산출된 MSE값의 표준편차를 산출하는 단계; 및 상기 표준편차에 기초하여 상기 제2임계치를 결정하는 제2임계치결정단계;에 의하여 결정된다.

한편, 도 7에 도시된 상기 동적프레임판단단계(S300)는 본 발명의 일 실시예로서 수행될 수 있고, 도 5에 대한 설명에서 상술한 실시예와는 다른 실시예로서 수행될 수 있다. 상기 동적프레임판단단계(S300)가 수행되기 전에는, 도 4에 대한 설명을 참고하여, 상기 I프레임디코딩단계(S100) 및 상기 MSE산출단계(S200)가 수행된다.

구체적으로, 단계 S320에서는, 상기 MSE산출단계(S200)에서 산출된 복수의 MSE값들에 대해 슬라이딩윈도우방식을 적용한다. 여기서 윈도우는, 상기 MSE산출단계(S200)에서 산출된 복수의 MSE값들에 대해 각각 일련번호를 부여하고, 상기 일련번호에 따라 기설정된 크기로 그룹화하는 것을 의미한다.

예를 들어, 상기 MSE산출단계(S200)에서 산출된 MSE값이 100개라면 각각의 MSE값에 대해 1부터 100까지의 일련번호를 각각 부여할 수 있고, 상기 일련번호를 부여하는 기준은 시간순으로 설정하는 것이 바람직하다. 1번부터 100번까지의 상기 MSE값들에 대해 크기가 10인 윈도우를 적용한다고 하면, 첫번째 윈도우는 1번 내지 10번에 해당하는 MSE값들을 포함하고, 두번째 윈도우는 2번 내지 11번에 해당하는 MSE값들을 포함하며, 세번째 윈도우는 3번 내지 12번에 해당하는 MSE값들을 포함한다. 상기 슬라이딩윈도우방식에 대한 추가적인 설명은 후술하도록 한다.

이와 같이, 윈도우 크기를 10으로 설정한 뒤 슬라이딩윈도우방식을 적용한다면, 상기 단계 S320에서는, 첫번째 윈도우에 해당하는 1번 내지 10번에 해당하는 MSE의 표준편차를 산출하고, 두번째 윈도우에 해당하는 2번 내지 11번에 해당하는 MSE의 표준편차를 산출함으로써, 각각의 윈도우에 해당하는 표준편차를 산출할 수 있다.

상기 단계 S321에서는, 상기 단계 S320에서 산출된 각각의 윈도우에 해당하는 표준편차와 상기 제2임계치를 각각 비교함으로써 상기 제2임계치보다 높은 표준편차를 가진 윈도우를 검출할 수 있다. 상기 단계 S322에서는, 상기 제2임계치보다 높은 표준편차를 가진 윈도우에 포함되는 MSE값들에 해당하는 I프레임들을 모두 동적프레임으로 판단하며, 상기 단계 S320 내지 단계 322는 상기 동적프레임판단부(300)에 의해 수행될 수 있다. 상기 동적프레임판단부(300)에 의해 동적프레임을 판단한 후에, 상기 단계 S400에서는, 상기 동적프레임이 존재하는 구간을 동적프레임이 존재하는 구간, 즉 상기 영상데이터에서 움직임이 존재하는 구간을 검출할 수 있다.

상술한 방법에 의해 검출되는 동적프레임은 상기 제2임계치보다 높은 표준편차를 가진 윈도우의 첫 번째 MSE값을 산출하기 위한 2 개의 I프레임 가운데 앞 순서의 I프레임 및 해당 윈도우의 마지막 MSE값을 산출하기 위한 2 개의 I프레임 사이에 존재하는 1 이상의 I프레임, 1 이상의 B프레임, 및 1 이상의 P프레임을 포함할 수 있다.

한편, 상기 제2임계치는, 상기 제1임계치와 같이, 상기 학습영상데이터를 통해 설정될 수 있다. 상기 학습영상데이터는, 도 5에 대한 설명을 참고하여, 움직임이 존재하지 않는 영상을 포함하는 영상데이터에서 움직임이 존재하지 않는 구간의 I프레임을 추출하여 생성한 데이터에 해당한다.

상기 학습영상데이터의 각각의 I프레임에 대하여 MSE값을 산출하는 상기 제2기준MSE산출단계를 수행하고, 이후 상기 학습영상데이터의 모든 MSE값의 표준편차를 산출하는 단계를 수행한다. 상기 표준편차를 산출한 이후, 상기 표준편차에 기초하여 상기 제2임계치를 결정하는 상기 제2임계치결정단계를 수행할 수 있다.

한편, 도 7에 대한 설명에서 상술한 상기 동적프레임판단단계(S300)의 실시예는, 도 5에 대한 설명에서 상술한 실시예에 비해 연산속도를 크게 향상시킬 수 있는 효과를 발휘할 수 있다. MSE각각을 개별적으로 비교하지 않고 윈도우로 그룹화하여 비교하기 때문에 동적프레임이 존재하는 구간을 빠르게 검출할 수 있으나, 도 5에서의 실시예에 비해 정확도가 다소 떨어질 수 있다. 따라서, 도 7에서의 실시예는, 예를 들어, 교통량이 적은 교외의 고속도로 혹은 일반도로에서 차량을 촬영하는 CCTV영상을 분석하는데 사용하는 것이 바람직하다.

도 8은 본 발명의 일 실시예에 따른 산출된 MSE값에 대한 히스토그램 및 슬라이딩윈도우를 개략적으로 도시하고, 도 9는 본 발명의 일 실시예에 따른 몇 개의 MSE값 및 슬라이딩윈도우를 개략적으로 도시한다.

개략적으로, 도 8 및 도 9는 상기 슬라이딩윈도우방식을 설명하기 위해 도시한다.

구체적으로, 도 8은, 본 발명의 일 실시예로서, 상기 MSE산출부(200)에서 산출된 복수의 MSE값들의 히스토그램을 도시하고 있으며, 상기 히스토그램에 대해 사이즈가 10인 윈도우를 적용한 실시예를 도시하였다. 도 8에 도시된 바와 같이, 51번 내지 60번에 해당하는 MSE값을 포함하는 윈도우를 실선박스로 도시하였고, 이동간격을 5로 하여 우측으로 윈도우가 5칸씩 이동할 수 있다.

도 9는 본 발명의 일 실시예로서 도시된 히스토그램 및 윈도우이며, 이는 설명을 위해 도시하였으므로, 실제 본 발명이 적용된 결과와는 상이할 수 있다. 도 9에 도시된 윈도우는 크기가 10이며, 상기 히스토그램은 1번 내지 (N+12)번에 해당하는 MSE값을 도시한다.

도 9에 도시된 바와 같이, 각각의 윈도우에 대해서도 일련번호를 부여할 수 있으며, 상기 윈도우의 일련번호는, 상기 윈도우에 포함되는 MSE 번호 중 가장 작은 번호를 따라간다. 즉, 윈도우#1은 1번 내지 10번에 해당하는 MSE값을 포함하고, 윈도우#N은 N번 내지 (N+9)번에 해당하는 MSE값을 포함한다. 이와 같은 방식으로, 윈도우의 순번이 올라감에 따라, 상기 윈도우가 미끄러지듯 한 칸씩 옮겨간다는 의미에서 슬라이딩윈도우라고 명명할 수 있다. 한편, 상술한 N은 1 이상의 임의의 자연수에 해당하며, 이하에서 서술되는 N도 이와 같다.

상기 단계 S320에서는, 도 9에 도시된 바와 같이 MSE의 일련번호에 따라 기설정된 이동간격만큼 오른쪽으로 이동하면서 각각의 윈도우에 포함되는 MSE값들의 표준편차를 산출할 수 있다. 예를 들어, 상기 MSE산출부(200)에서 산출된 MSE값이 1726이고 윈도우의 크기를 10으로 설정하고 윈도우의 이동간격을 1로 설정하는 경우, 상기 동적프레임판단부(300)에서는 윈도우#1 내지 윈도우#1717까지 생성될 수 있으며, 각각의 윈도우에 상응하는 1717개의 표준편차를 산출할 수 있다.

한편, 본 발명의 일 실시예로서, 상기 윈도우의 크기 및 윈도우가 이동하는 간격은 상기 컴퓨팅시스템부(1000)의 운영자에 의해 설정될 수 있다. 윈도우의 크기를 크게 설정할수록 동적프레임이 존재하는 구간의 검출 정확도는 떨어지나 연산속도는 증가하고, 윈도우의 크기를 작게 설정할수록 검출 정확도는 증가하나, 연산속도가 감소하고 연산부하가 증가할 수 있다. 또한 윈도우의 이동간격은 윈도우의 크기 이하로 설정되는 것이 바람직하며, 윈도우의 이동간격이 클수록 연산속도가 증가하고 연산부하를 감소시킬 수 있으나, 검출 정확도가 감소할 수 있고, 윈도우의 이동간격이 작을수록 검출 정확도는 증가하나, 연산속도가 감소하고 연산부하가 증가할 수 있다.

이하에서의 설명에서는 이해를 돕기 위해 윈도우의 크기를 10으로 설정하고 윈도우의 이동간격을 1로 기설정된 것을 바탕으로 서술한다. 다만, 이와 같은 기설정값은 본 발명의 일 실시예일 뿐이며, 본 발명의 다양한 실시예에 따르면, 상기 컴퓨팅시스템부(1000)의 운영자에 의해 다양한 기설정값으로 설정될 수 있다.

도 10은 본 발명의 일 실시예에 따른 몇 개의 윈도우에 포함되는 MSE값들에 대한 표준편차와 제2임계치를 비교하는 표를 개략적으로 도시한다.

도 10에 도시된 바와 같이, 상기 동적프레임판단부(300)에서는, 본 발명의 일 실시예에 따르면, 윈도우#1 내지 윈도우#(N+1) 각각에 해당되는 표준편차와 상기 제2임계치를 비교하고, 비교 결과를 토대로 각각의 윈도우에 동적프레임이 존재하는지 여부를 판단할 수 있다.

한편, 도 10에 도시된 표는 본 발명에서, 도 7에 대한 설명에서 다룬 실시예의 설명을 위해 도시된 것이다.

도 10에 도시된 바와 같이, 본 발명의 일 실시예로서, 윈도우#1에는 1번 내지 10번에 해당하는 MSE값들이 포함되어 있으며, 상기 #1 내지 #10에 해당하는 MSE값들의 표준편차를 산출한 결과값은 3.7이다. 한편, 도 7에 대한 설명을 참고하여 산출된 상기 제2임계치의 값은 19.48이다. 상기 윈도우#1에 해당하는 표준편차가 상기 제2임계치 미만으로 판단되기 때문에 상기 윈도우#1에는 동적프레임이 존재하지 않으며, 즉 1번 내지 10번에 해당하는 MSE값들에 해당하는 I프레임은 동적프레임으로 판단되지 않는다.

마찬가지의 방식으로 윈도우#2에 해당하는 표준편차는, 도 10에 도시된 바와 같이, 상기 제2임계치 미만으로 산출되었기 때문에, 2번 내지 11번에 해당하는 MSE값들에 해당하는 I프레임은 동적프레임으로 판단되지 않는다.

한편, N번째 윈도우에 해당하는 윈도우#N에 포함되는 #N 내지 #(N+9)에 해당하는 MSE값들의 표준편차가 25.1로 산출되는 경우, 상기 제2임계치보다 높은 표준편차가 산출되었기 때문에 #N 내지 #(N+9)에 해당하는 MSE값들에 해당하는 I프레임은 동적프레임으로 판단된다.

또한, 하나의 MSE값에 대하여 동적프레임으로 판단되지 않는 경우와 동적프레임으로 판단되는 경우가 발생하는 경우 즉, 하나의 MSE값이 복수의 윈도우 각각에 포함되고, 상기 복수의 윈도우 가운데 어느 윈도우의 표준편차가 상기 제2임계치 이상이나, 다른 윈도우의 표준편차가 상기 제2임계치 미만인 경우, 해당 MSE값에 해당하는 I프레임은 동적프레임으로 판단된다. 예를 들어, 123번에 해당하는 MSE값의 경우 윈도우#122의 표준편차는 제2임계치미만이지만 윈도우#123의 표준편차는 제2임계치 이상일 수 있다. 이 때, 윈도우#122와 윈도우#123에 모두 포함되는 123번에 해당하는 MSE값에 해당하는 I프레임은 동적프레임으로 판단된다.

도 11은 본 발명의 일 실시예에 따른 동적프레임판단단계(S300)를 포함하는, 동적프레임 존재구간 검출방법의 전체적인 수행단계를 개략적으로 도시한다.

도 11에 도시된 바와 같이, 상기 동적프레임판단단계(S300)는, 산출한 MSE값에 대하여 슬라이딩윈도우방식을 적용하여 각각의 윈도우에 포함되는 복수의 MSE값들의 표준편차를 산출하는 단계(S330); 상기 표준편차와 제3임계치를 비교하는 단계(S331); 및 N번째 MSE값을 포함하는 1이상의 윈도우에 대해서, 상기 윈도우에 포함된 복수의 MSE값들의 표준편차가 상기 제3임계치보다 큰 윈도우가 존재하면, 상기 N번째 MSE값에 해당하는 I프레임을 동적프레임으로 판단하는 단계(S332);를 포함하고,

상기 제3임계치는, 움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제3기준MSE산출단계; 상기 제3기준MSE산출단계로부터 산출된 MSE값의 표준편차를 산출하는 단계; 및 상기 표준편차에 기초하여 상기 제3임계치를 결정하는 제3임계치결정단계;에 의하여 결정된다.

한편, 도 11에 도시된 상기 동적프레임판단단계(S300)는 본 발명의 일 실시예로서 수행될 수 있고, 도 5 및 도 7에서 상술한 실시예와는 다른 실시예로서 수행될 수 있다. 상기 동적프레임판단단계(S300)가 수행되기 전에는, 도 4에 대한 설명을 참고하여, 상기 I프레임디코딩단계(S100) 및 상기 MSE산출단계(S200)가 수행된다.

구체적으로, 단계 S330에서는, 상기 MSE산출단계(S200)에서 산출된 복수의 MSE값들에 대해 슬라이딩윈도우방식을 적용한다. 여기서 적용되는 슬라이딩윈도우방식은 도 8 내지 도 9에 대한 설명에서 상술한 바와 같은 방식으로 진행된다. 상기 슬라이딩윈도우방식을 적용한 뒤, 상기 동적프레임판단부(300)에 의해, N번째 MSE를 포함하는 윈도우에 포함되는 MSE값들의 표준편차를 산출할 수 있다. 예를 들어, 324번째 MSE를 포함하는 윈도우는 윈도우#313 내지 윈도우#324에 해당한다. 즉, 상기 단계 S330에서는 상기 동적프레임판단부(300)에 의해, 상기 윈도우#313 내지 윈도우#324 각각에 포함되는 MSE값들의 표준편차를 구할 수 있다.

단계 S331에서는, 단계 S330에서 산출한 윈도우#(N-9) 내지 윈도우#N에 해당하는 표준편차 중 상기 제3임계치를 넘는 표준편차를 갖는 윈도우를 검출한다. 단계 S332에서는, 만약 상기 윈도우#(N-9) 내지 윈도우#N에 해당하는 표준편차 중 상기 제3임계치를 넘는 표준편차를 갖는 윈도우가 검출되면, N번째 MSE를 동적프레임으로 판단한다.

상술한 바와 같이 도 11에서의 실시예와 도 7에서의 실시예의 가장 큰 차이점은 하나의 MSE값에 대해 해당 MSE값을 포함하는 복수의 윈도우의 결과를 바탕으로 해당 MSE값에 해당하는 I프레임을 동적프레임으로 판단하는 것이다.

즉, 도 7에서의 실시예에서는, 하나의 윈도우에 포함되는 복수의 MSE값에 해당하는 모든 I프레임을 한꺼번에 동적프레임인지를 판단하는 반면, 도 11에서의 실시예에서는 하나의 특정 MSE값을 상기 특정 MSE값을 포함하는 복수의 윈도우 각각의 표준편차와 상기 제3임계치와의 비교 결과에 기초하여 상기 특정 MSE값에 해당하는 I프레임들이 동적프레임인지를 판단한다.

따라서, 도 11에서의 실시예는 도 7에서의 실시예보다 높은 정확도의 결과값을 도출할 수 있으며, 슬라이딩윈도우방식을 사용함으로써 도 5에서의 실시예에 비해 빠른 연산속도를 기대할 수 있는 효과를 발휘할 수 있다. 이와 같은 효과를 바탕으로, 상기 도 11에서의 실시예는, 상기 도 5 및 도 7에서의 실시예와 비교하였을 때 다양한 목적으로 사용될 수 있는 특징을 가진다.

한편, 상기 제3임계치는, 상기 제2임계치와 같이, 상기 학습영상데이터를 통해 설정될 수 있다. 상기 학습영상데이터는, 도 5에 대한 설명을 참고하여, 움직임이 존재하지 않는 영상을 포함하는 영상데이터에서 움직임이 존재하지 않는 구간의 I프레임을 추출하여 생성한 데이터에 해당한다.

상기 학습영상데이터의 각각의 I프레임에 대하여 MSE값을 산출하는 상기 제3기준MSE산출단계를 수행하고, 이후 상기 학습영상데이터의 모든 MSE값의 표준편차를 산출하는 단계를 수행한다. 바람직하게는, 상기 표준편차를 산출하기 이전에 상기 모든 MSE값의 평균을 산출하는 단계를 수행한다. 상기 표준편차를 산출한 이후, 상기 표준편차에 기초하여 상기 제3임계치를 결정하는 상기 제3임계치결정단계를 수행할 수 있다.

도 12는 본 발명의 일 실시예에 따른 몇 개의 윈도우에 포함되는 MSE값들에 대한 표준편차와 제3임계치를 비교하는 표를 개략적으로 도시한다.

도 12에 도시된 바와 같이, 상기 동적프레임판단부(300)에서는, 본 발명의 일 실시예에 따르면, 윈도우#(N-9) 내지 윈도우#N 각각에 해당되는 표준편차와 상기 제3임계치를 비교하고, 비교 결과를 토대로 N번째 MSE가 동적프레임에 해당하는지 여부를 판단할 수 있다. 또한, 도 12에 도시된 표는 도 11에 대한 설명에서 다룬 상기 동적프레임판단단계(S300)의 실시예에 기초하여 도시하였다.

한편, 도 12에 도시된 표는 본 발명에서, 도 11에 대한 설명에서 다룬 실시예의 설명을 위해 도시된 것이다.

도 12에 도시된 바와 같이, 본 발명의 일 실시예로서, 윈도우#(N-9)에는 (N-9)번 내지 N번에 해당하는 MSE값들이 포함되어 있으며, 상기 (N-9)번 내지 N번에 해당하는 MSE값들의 표준편차를 산출한 결과값은 5.12이다. 한편, 도 11에 대한 설명을 참고하여 산출된 상기 제3임계치의 값은 18.36이다. 즉 윈도우#(N-9)에 해당하는 표준편차는 상기 제3임계치 미만의 값을 갖는다. 마찬가지의 방식으로 윈도우#(N-8)에 해당하는 표준편차는, 도 12에 도시된 바와 같이, 6.38로 상기 제3임계치미만으로 산출되었다.

한편, 윈도우#N에 해당하는 표준편차는 23.31로 산출되어 상기 제3임계치 이상에 해당된다. 즉 N번째 MSE값을 포함하는 윈도우 중 제3임계치 이상의 표준편차를 가지는 윈도우가 존재하므로, 상기 N번째 MSE값에 해당되는 I프레임은 동적프레임으로 판단된다.

즉, 예를 들어, 24번에 해당하는 MSE에 해당하는 I프레임이 동적프레임에 해당하는지 판단하기 위해, 상기 동적프레임판단부(300)는 상기 24번에 해당하는 MSE값을 포함하는 모든 윈도우의 표준편차를 산출한다. 이와 같은 경우에는 윈도우#15 내지 윈도우#24가 24번에 해당하는 MSE값을 포함하는 윈도우에 해당한다. 상기 윈도우#15 내지 윈도우#24에 해당하는 각각의 표준편차 중 어느 하나라도 상기 제3임계치 이상이 되는 경우 상기 24번에 해당하는 MSE값에 해당하는 I프레임은 동적프레임에 해당한다. 만약 윈도우#15 내지 윈도우#24에 해당하는 각각의 표준편차가 모두 상기 제3임계치 미만으로 산출되는 경우 상기 24번에 해당하는 MSE값에 해당하는 I프레임은 동적프레임으로 판단되지 않는다.

도 13은 본 발명의 일 실시예에 따른 동적프레임판단단계(S300)를 포함하는, 동적프레임 존재구간 검출방법의 전체적인 수행단계를 개략적으로 도시한다.

도 13에 도시된 바와 같이, 상기 동적프레임판단단계(S300)는, 산출한 MSE값에 대하여 슬라이딩윈도우방식을 적용하여 각각의 윈도우에 포함되는 복수의 MSE값들의 평균값 및 표준편차를 산출하는 단계(S340); 상기 표준편차와 제4임계치를 비교하는 단계(S341); N번째 MSE값을 포함하는 1이상의 윈도우에 대해서, 상기 윈도우에 포함된 복수의 MSE값들의 표준편차가 상기 제4임계치보다 큰 윈도우가 존재하면, 상기 N번째 MSE값에 해당하는 I프레임을 제1예비동적프레임으로 판단하는 제1판단단계(S342); 상기 평균값과 제5임계치를 비교하는 단계(S343); N번째 MSE값을 포함하는 1이상의 윈도우에 대해서, 상기 윈도우에 포함된 복수의 MSE값들의 평균값이 상기 제5임계치보다 큰 윈도우가 존재하면, 상기 N번째 MSE값에 해당하는 I프레임을 제2예비동적프레임으로 판단하는 제2판단단계(S344); 및 상기 제1판단단계에서 제1예비동적프레임으로 판단되고, 상기 제2판단단계에서 제2예비동적프레임으로 판단된 I프레임에 대하여, 상기 I프레임을 동적프레임으로 판단하는 단계(S345);를 포함하고,

상기 제4임계치는, 움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제4기준MSE산출단계; 상기 제4기준MSE산출단계로부터 산출된 MSE값의 표준편차를 산출하는 단계; 및 상기 표준편차에 기초하여 상기 제4임계치를 결정하는 제4임계치결정단계;에 의하여 결정되며,

상기 제5임계치는, 움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제5기준MSE산출단계; 상기 제5기준MSE산출단계로부터 산출된 MSE값의 평균값을 산출하는 제5기준평균값산출단계; 및 상기 제5기준평균값산출단계에서 산출된 평균값에 기초하여 상기 제5임계치를 결정하는 제5임계치결정단계;에 의하여 결정된다.

한편, 도 13에 도시된 상기 동적프레임판단단계(S300)는 본 발명의 일 실시예로서 수행될 수 있고, 도 5, 도7, 및 도 11에 대한 설명에서 상술한 실시예와는 다른 실시예로서 수행될 수 있다. 상기 동적프레임판단단계(S300)가 수행되기 전에는, 도 4에 대한 설명을 참고하여, 상기 I프레임디코딩단계(S100) 및 MSE산출단계(S200)가 수행된다.

구체적으로, 단계 S340에서는 상기 MSE산출단계(S200)에서 산출된 복수의 MSE값들에 대해 슬라이딩윈도우방식을 적용한다. 여기서 적용되는 슬라이딩윈도우방식은 도 8 내지 도 9에 대한 설명에서 상술한 바와 같은 방식으로 진행된다. 상기 슬라이딩윈도우방식을 적용한 뒤, 상기 동적프레임판단부(300)에 의해, N번째 MSE값을 포함하는 윈도우에 포함되는 MSE값들의 평균값 및 표준편차를 산출할 수 있다. 바람직하게는, 상기 표준편차를 산출하기 이전에 상기 MSE값의 평균을 산출하는 단계를 수행한다.

단계 S341에서는, 단계 S340에서 산출한 윈도우#(N-9) 내지 윈도우#N에 해당하는 표준편차 중 상기 제4임계치를 넘는 표준편차를 갖는 윈도우를 검출한다.

단계 S342에서는, 만약 윈도우#(N-9) 내지 윈도우#N에 해당하는 표준편차 중 상기 제4임계치를 넘는 표준편차를 갖는 윈도우가 검출되면, N번째 MSE값에 해당하는 I프레임을 상기 제1예비동적프레임으로 판단하는 상기 제1판단단계가 수행된다. 본 발명의 일 실시예로서, 상기 단계 S340 내지 단계 S342에서 수행되는 상기 제1판단단계는, 도 11에 대한 설명에서 다룬 실시예에서의 동적프레임판단단계(S300)와 동일한 수행단계를 통해 수행될 수 있다.

단계 S343에서는, 상기 단계 S340에서 산출된 윈도우#(N-9) 내지 윈도우#N에 해당하는 평균값 중 상기 제5임계치를 넘는 평균값을 갖는 윈도우를 검출한다.

단계 S344에서는, 만약 윈도우#(N-9) 내지 윈도우#N에 해당하는 평균값 중 상기 제5임계치를 넘는 평균값을 갖는 윈도우가 검출되면, N번째 MSE값에 해당하는 I프레임을 상기 제2예비동적프레임으로 판단하는 상기 제2판단단계가 수행된다.

단계 S345에서는, 상기 제1판단단계에서 상기 제1예비동적프레임으로 판단되고, 상기 제2판단단계에서 상기 제2예비동적프레임으로 판단된 I프레임을 동적프레임으로 판단한다.

상술한 바와 같이, 도 13에 대한 설명에서 상기 동적프레임판단단계(S300)의 실시예는, 상기 도 11에서의 실시예에서 상기 제2판단단계를 더 수행함으로써 보다 더 뚜렷한 움직임이 있는 객체가 있는 구간을 검출할 수 있는 효과를 발휘할 수 있다. 즉, 예를 들어, 사람과 자동차가 같이 다니는 골목길과 같은 곳에 설치된 CCTV로 기록된 영상에 대해서 차량이 지나간 구간만을 검출하고 싶을 때 상기 도 13에서의 실시예를 사용하는 것이 바람직하다.

한편, 상기 제4임계치는, 상기 제3임계치와 같이, 상기 학습영상데이터를 통해 설정될 수 있다. 상기 학습영상데이터는, 도 5에 대한 설명을 참고하여, 움직임이 존재하지 않는 영상을 포함하는 영상데이터에서 움직임이 존재하지 않는 구간의 I프레임을 추출하여 생성한 데이터에 해당하며, 상기 학습영상데이터 각각의 I프레임에 해당하는 복수의 MSE값을 산출하는 상기 제4기준MSE산출단계를 수행하고, 이후 상기 MSE값의 표준편차를 산출하는 단계를 수행한다. 상기 표준편차를 산출한 이후, 상기 표준편차에 기초하여 상기 제4임계치를 결정하는 상기 제4임계치결정단계를 수행할 수 있다.

또한, 상기 제5임계치는, 상기 제1임계치와 같이, 상기 학습영상데이터를 통해 설정될 수 있다. 상기 학습영상데이터는, 도 5에 대한 설명을 참고하여, 움직임이 존재하지 않는 영상을 포함하는 영상데이터에서 움직임이 존재하지 않는 구간의 I프레임을 추출하여 생성한 데이터에 해당하며, 상기 학습영상데이터의 각각의 프레임에 해당하는 복수의 MSE값을 산출하는 상기 제5기준MSE산출단계를 수행한 이후에, 상기 MSE값의 평균값을 산출하는 단계를 수행하고, 상기 제5기준평균값산출단계에서 산출된 평균값에 기초하여 상기 제5임계치를 결정하는 상기 제5임계치결정단계를 수행할 수 있다.

도 14는 본 발명의 일 실시예에 따른 몇 개의 윈도우에 포함되는 MSE값들에 대한 평균값 및 표준편차를 각각 제4임계치 및 제5임계치와 비교하는 표를 개략적으로 도시한다.

개략적으로, 도 14의 (a)는 상기 제1판단단계를 수행하기 위해, 본 발명의 일 실시예로서, 윈도우#(N-9) 내지 윈도우#N 각각에 해당되는 표준편차를 상기 제4임계치와 비교한 표를 도시하고, 도 14의 (b)는 상기 제2판단단계를 수행하기 위해, 본 발명의 일 실시예로서, 윈도우#(N-9) 내지 윈도우#N 각각에 해당되는 평균값을 상기 제5임계치와 비교한 표를 도시한다.

한편, 도 14에 도시된 표는 본 발명에서, 도 13에 대한 설명에서 다룬 실시예의 설명을 위해 도시된 것이다.

도 14의 (a)에 도시된 바와 같이, 본 발명의 일 실시예로서, 윈도우#(N-9)에는 (N-9)번 내지 N번에 해당하는 MSE값들이 포함되어 있으며, 상기 (N-9)번 내지 N번에 해당하는 MSE값들의 표준편차를 산출한 결과값은 5.12이다. 한편, 도 13에 대한 설명을 참고하여 산출된 상기 제4임계치의 값은 18.36이다. 즉, 윈도우#(N-9)에 해당하는 표준편차는 상기 제4임계치 미만의 값을 갖는다. 마찬가지의 방식으로 윈도우#(N-8)에 해당하는 표준편차는, 도 14의 (a)에 도시된 바와 같이, 상기 제4임계치미만으로 산출되었다.

한편, 윈도우#N에 해당하는 표준편차는 23.31로 산출되어 상기 제4임계치 이상에 해당된다. 즉 N번째 MSE값을 포함하는 윈도우 중 제4임계치 이상의 표준편차를 가지는 윈도우가 존재하므로, 상기 N번째 MSE값에 해당되는 I프레임은 제1예비동적프레임으로 판단된다. 만약, 본 발명의 다른 실시예로서, 상기 윈도우#(N-9) 내지 윈도우#N에 해당하는 각각의 표준편차가 모두 상기 제4임계치 미만의 경우, 상기 N번째 MSE값에 해당되는 I프레임은 제1예비동적프레임으로 판단되지 않는다.

도 14의 (b)에 도시된 바와 같이, 본 발명의 일 실시예로서, 윈도우#(N-9)에는 (N-9)번 내지 N번에 해당하는 MSE값들이 포함되어 있으며, 상기 (N-9)번 내지 N번에 해당하는 MSE값들의 평균값을 산출한 결과값은 2.8이다. 한편, 도 13에 대한 설명을 참고하여 산출된 상기 제5임계치의 값은 12.41이다. 즉, 윈도우#(N-9)에 해당하는 평균값은 상기 제5임계치 미만의 값을 갖는다. 마찬가지의 방식으로 윈도우#(N-8)에 해당하는 평균값은, 도 14의 (b)에 도시된 바와 같이, 상기 제5임계치미만으로 산출되었다.

한편, 윈도우#N에 해당하는, 즉 N번 내지 (N+9)번에 해당하는 MSE값들의 평균값은 132.4로 산출되어 상기 제5임계치 이상에 해당된다. 즉 N번째 MSE값을 포함하는 윈도우 중 제5임계치 이상의 표준편차를 가지는 윈도우가 존재하므로, 상기 N번째 MSE값에 해당되는 I프레임은 제2예비동적프레임으로 판단된다.

단계 S345에서 상기 제1판단단계에서의 판단결과 및 상기 제2판단단계에서의 판단결과, 상기 N번째 MSE값에 해당하는 I프레임은 동적프레임으로 판단된다.

도 15는 본 발명의 일 실시예에 따른 컴퓨팅장치(11000)의 내부 구성을 예시적으로 도시한다.

도 1에 도시된 구성요소 전체 혹은 일부는 후술하는 도 15에 도시된 컴퓨팅장치의 구성요소를 포함할 수 있다.

도 15에 도시한 바와 같이, 컴퓨팅장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다.

구체적으로, 상기 메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 상기 메모리(11200)는 상기 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.

이때, 상기 프로세서(11100)나 상기 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 상기 메모리(11200)에 액세스하는 것은 상기 프로세서(11100)에 의해 제어될 수 있다. 상기 프로세서(11100)은 단일 혹은 복수로 구성될 수 있고, 연산처리속도 향상을 위하여 GPU 및 TPU 형태의 프로세서를 포함할 수 있다.

상기 주변장치 인터페이스(11300)는 상기 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 상기 프로세서(11100) 및 상기 메모리 (11200)에 결합시킬 수 있다. 상기 프로세서(11100)는 상기 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 상기 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

상기 입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 상기 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 상기 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 상기 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 상기 입/출력 주변장치들은 상기 입/출력 서브시스템(11400)을 거치지 않고 상기 주변장치 인터페이스(11300)에 결합될 수도 있다.

상기 전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 상기 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

상기 통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다. 또는, 상술한 바와 같이 필요에 따라 상기 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.

이러한 도 15의 실시예는, 상기 컴퓨팅장치(11000)의 일례일 뿐이고, 상기 컴퓨팅장치(11000)는 도 15에 도시된 일부 컴포넌트가 생략되거나, 도 15에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2 개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 15에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 상기 통신 회로(1160)에 다양한 통신방식(Wi-Fi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 상기 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 영상데이터 전체의 비트스트림에서 I프레임만을 구분하여 디코딩함으로써, 종래의 기술보다 적은 시간으로 상기 영상데이터에서 움직임이 존재하는 구간을 검출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 최소한의 프레임에 대해서만 영상 처리를 수행함으로써 요구되는 연산 처리 능력이 종래의 기술보다 적게 요구되는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적은 연산량임에도 불구하고 높은 정확도로 움직임이 존재하는 구간을 고속으로 검출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 움직임이 존재하는 것으로 판단되는 프레임들에 대해서만 객체탐지 및 객체분석 등을 수행할 수 있어 객체 분석 시 처리되는 연산량을 상당수준으로 감소시킬 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 최근 고화질 CCTV 영상에 대한 상당한 연산부하가 요구되나, 움직임이 존재하는 프레임만으로 분석대상 영역을 상당수준으로 감소시킬 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 산출된 MSE값을 패턴화한 뒤 이를 학습함으로써, 객체의 종류를 파악할 수 있고, 학습한 내용을 바탕으로 특정 구역에서의 객체 이동 정보를 획득할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 동적프레임판단부에서 다양한 방법으로 동적프레임을 검출할 수 있고, 동적프레임 검출목적에 따라 상기 다양한 방법을 사용할 수 있는 효과를 발휘할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 표준편차되어서, 표준편차된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

1. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 동적프레임이 존재하는 구간의 검출방법으로서,
   영상데이터로부터 NAL 유닛을 검출하고, 상기 NAL 유닛의 헤더를 분석하여 상기 영상데이터의 전체 비트스트림에서 복수의 I프레임만을 구분하고 상기 I프레임만을 디코딩하는 I프레임디코딩단계;
   디코딩된 I프레임에 대하여, 인접한 2 개의 I프레임 간의 픽셀 차이에 기초하여 상기 인접한 2 개의 I프레임 사이의 MSE값을 산출하는 MSE산출단계;
   상기 MSE값에 기초하여, 상기 I프레임이 움직임이 존재하는 동적프레임인지 판단하는 동적프레임판단단계; 및
   상기 영상데이터에서 상기 동적프레임이 존재하는 구간을 검출하는 동적프레임존재구간검출단계;를 포함하는, 동적프레임이 존재하는 구간의 검출방법.
   
2. 청구항 1에 있어서,
   상기 영상데이터는 HEVC 규약에 따라 인코딩된 영상데이터를 포함하는, 동적프레임이 존재하는 구간의 검출방법.
   
3. 청구항 1에 있어서,
   상기 동적프레임판단단계는,
   산출한 모든 MSE값에 대하여 각각의 MSE값을 제1임계치와 각각 비교하는 단계;
   상기 제1임계치보다 큰 MSE값을 검출하는 단계; 및
   상기 제1임계치보다 큰 MSE값에 해당하는 I프레임을 동적프레임으로 판단하는 단계;를 포함하는, 동적프레임이 존재하는 구간의 검출방법.
   
4. 청구항 3에 있어서,
   상기 제1임계치는,
   움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제1기준MSE산출단계;
   상기 제1기준MSE산출단계로부터 산출된 MSE값의 평균값을 산출하는 단계; 및
   상기 평균값에 기초하여 상기 제1임계치를 결정하는 제1임계치결정단계;에 의하여 결정되는 동적프레임이 존재하는 구간의 검출방법.
   
5. 청구항 1에 있어서,
   상기 동적프레임판단단계는,
   산출한 MSE값에 대하여 슬라이딩윈도우방식을 적용하여 각각의 윈도우에 포함되는 복수의 MSE값들의 표준편차를 산출하는 단계;
   상기 표준편차와 제2임계치를 비교하는 단계; 및
   상기 제2임계치보다 큰 표준편차를 가지는 윈도우에 포함되는 상기 복수의 MSE값들에 해당하는 복수의 I프레임을 동적프레임으로 판단하는 단계;를 포함하는, 동적프레임이 존재하는 구간의 검출방법.
   
6. 청구항 5에 있어서,
   상기 제2임계치는,
   움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제2기준MSE산출단계;
   상기 제2기준MSE산출단계로부터 산출된 MSE값의 표준편차를 산출하는 단계; 및
   상기 표준편차에 기초하여 상기 제2임계치를 결정하는 제2임계치결정단계;에 의하여 결정되는, 동적프레임이 존재하는 구간의 검출방법.
   
7. 청구항 1에 있어서,
   상기 동적프레임판단단계는,
   산출한 MSE값에 대하여 슬라이딩윈도우방식을 적용하여 각각의 윈도우에 포함되는 복수의 MSE값들의 표준편차를 산출하는 단계;
   상기 표준편차와 제3임계치를 비교하는 단계; 및
   N번째 MSE값을 포함하는 1이상의 윈도우에 대해서, 상기 윈도우에 포함된 복수의 MSE값들의 표준편차가 상기 제3임계치보다 큰 윈도우가 존재하면, 상기 N번째 MSE값에 해당하는 I프레임을 동적프레임으로 판단하는 단계;를 포함하는, 동적프레임이 존재하는 구간의 검출방법.
   
8. 청구항 7에 있어서,
   상기 제3임계치는,
   움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제3기준MSE산출단계;
   상기 제3기준MSE산출단계로부터 산출된 MSE값의 표준편차를 산출하는 단계; 및
   상기 표준편차에 기초하여 상기 제3임계치를 결정하는 제3임계치결정단계;에 의하여 결정되는, 동적프레임이 존재하는 구간의 검출방법.
   
9. 청구항 1에 있어서,
   상기 동적프레임판단단계는,
   산출한 MSE값에 대하여 슬라이딩윈도우방식을 적용하여 각각의 윈도우에 포함되는 복수의 MSE값들의 평균값 및 표준편차를 산출하는 단계;
   상기 표준편차와 제4임계치를 비교하는 단계;
   N번째 MSE값을 포함하는 1이상의 윈도우에 대해서, 상기 윈도우에 포함된 복수의 MSE값들의 표준편차가 상기 제4임계치보다 큰 윈도우가 존재하면, 상기 N번째 MSE값에 해당하는 I프레임을 제1예비동적프레임으로 판단하는 제1판단단계;
   상기 평균값과 제5임계치를 비교하는 단계;
   N번째 MSE값을 포함하는 1이상의 윈도우에 대해서, 상기 윈도우에 포함된 복수의 MSE값들의 평균값이 상기 제5임계치보다 큰 윈도우가 존재하면, 상기 N번째 MSE값에 해당하는 I프레임을 제2예비동적프레임으로 판단하는 제2판단단계; 및
   상기 제1판단단계에서 제1예비동적프레임으로 판단되고, 상기 제2판단단계에서 제2예비동적프레임으로 판단된 I프레임에 대하여, 상기 I프레임을 동적프레임으로 판단하는 단계;를 포함하는 동적프레임이 존재하는 구간의 검출방법.
   
10. 청구항 9에 있어서,
    상기 제4임계치는,
    움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제4기준MSE산출단계;
    상기 제4기준MSE산출단계로부터 산출된 MSE값의 표준편차를 산출하는 단계; 및
    상기 표준편차에 기초하여 상기 제4임계치를 결정하는 제4임계치결정단계;에 의하여 결정되는, 동적프레임이 존재하는 구간의 검출방법.
    
11. 청구항 9에 있어서,
    상기 제5임계치는,
    움직임이 없는 것으로 라벨링 된 I프레임을 포함하는 학습영상데이터의 각각의 프레임에 대하여 MSE값을 산출하는 제5기준MSE산출단계;
    상기 제5기준MSE산출단계로부터 산출된 MSE값의 평균값을 산출하는 제5기준평균값산출단계; 및
    상기 제5기준평균값산출단계에서 산출된 평균값에 기초하여 상기 제5임계치를 결정하는 제5임계치결정단계;에 의하여 결정되는 동적프레임이 존재하는 구간의 검출방법.
    
12. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 움직임이 존재하는 프레임의 검출장치로서,
    영상데이터로부터 NAL 유닛을 검출하고, 상기 NAL 유닛의 헤더를 분석하여 상기 영상데이터의 전체 비트스트림에서 I프레임만을 구분하고 상기 I프레임만을 디코딩하는 I프레임디코딩부;
    디코딩된 I프레임에 대하여, 인접한 두 I프레임 간의 픽셀 차이에 기초하여 상기 인접한 두 I프레임 사이의 MSE값을 산출하는 MSE산출부;
    상기 MSE값에 기초하여, 상기 I프레임이 움직임이 존재하는 동적프레임인지 판단하는 동적프레임판단부; 및
    상기 영상데이터에서 상기 동적프레임이 존재하는 구간을 검출하는 동적프레임존재구간검출부;를 포함하는, 동적프레임이 존재하는 구간의 검출장치.
    
13. 하나 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    영상데이터로부터 NAL 유닛을 검출하고, 상기 NAL 유닛의 헤더를 분석하여 상기 영상데이터의 전체 비트스트림에서 I프레임만을 구분하고 상기 I프레임만을 디코딩하는 I프레임디코딩단계;
    디코딩된 I프레임에 대하여, 인접한 두 I프레임 간의 픽셀 차이에 기초하여 상기 인접한 두 I프레임 사이의 MSE값을 산출하는 MSE산출단계;
    상기 MSE값에 기초하여, 상기 I프레임이 움직임이 존재하는 동적프레임인지 판단하는 동적프레임판단단계; 및
    상기 영상데이터에서 상기 동적프레임이 존재하는 구간을 검출하는 동적프레임존재구간검출단계;를 포함하는 컴퓨터 프로그램.
    
    

Images