KR102211858B1 - 요약 비디오를 생성하는 방법 및 장치 - Google Patents

Abstract

본 발명의 일 실시 예는, 따른 비디오 감시 카메라에 의해 생성된 소스 비디오로부터 요약 비디오를 생성하는 방법에 있어서, 상기 비디오 감시 카메라로부터 배경에 대해서 상대적으로 움직이는 2개 이상의 객체들을 나타내는 비디오 프레임들의 연속인 소스 비디오를 획득하는 단계; 상기 소스 비디오로부터 상기 비디오 프레임의 시간 및 상기 비디오 프레임 내 객체의 위치를 요소로 이뤄진 행렬로 표현된 2개 이상의 객체 행렬들을 획득하는 단계; 및 상기 2개 이상의 객체 행렬들을 사용하여 서로 다른 비디오 프레임의 다른 객체들을 동일한 비디오 프레임 내에 배치하는 단계를 포함하는, 요약 비디오를 생성하는 방법을 제안한다.

Description

요약 비디오를 생성하는 방법 및 장치{METHOD AND APPARUTUS FOR GENERATING SUMMARY VIDEO}

본 발명은 요약 비디오를 생성하는 방법 및 장치에 관한 것이다.

최근 들어, 사회적 범죄의 예방, 범인의 검거 등을 위하여 감시 비디오 카메라가 증가하고 있으며, 하루 24 시간 작동하는 수백만 대의 감시 카메라도 증가하고 있다.

감시 카메라에 의해서 녹화된 비디오의 양은 증가함에 따라서 비디오를 시청하거나 검색 및 감독해야 하는데 많은 시간이 소요되므로 대부분의 녹화된 비디오가 감시될 수 없는 문제가 발행하였다.

본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법 및 장치는 다른 시간에서 발생한 여러 객체들의 활동을 동일 시간에서 표시한 요약 비디오를 제공하는 것을 목적으로 한다.

본 발명의 일 실시 예에 따 른요약 비디오를 생성하는 방법 및 장치는 다른 시간에서 발생한 여러 객체들의 활동을 동일 시간에서 표시하여 감독할 비디오의 시간을 더 짧은 기간으로 압축하는 것을 목적으로 한다.

본 발명의 일 실시 예는 비디오 감시 카메라에 의해 생성된 소스 비디오로부터 요약 비디오를 생성하는 방법에 있어서, 상기 비디오 감시 카메라로부터 배경에 대해서 상대적으로 움직이는 2개 이상의 객체들을 나타내는 비디오 프레임들의 연속인 소스 비디오를 획득하는 단계; 상기 소스 비디오로부터 상기 비디오 프레임의 시간 및 상기 비디오 프레임 내 객체의 위치를 요소로 이뤄진 행렬로 표현된 2개 이상의 객체 행렬들을 획득하는 단계; 및 상기 2개 이상의 객체 행렬들을 사용하여 서로 다른 비디오 프레임의 다른 객체들을 동일한 비디오 프레임 내에 배치하는 단계를 포함하는, 요약 비디오를 생성하는 방법을 제안한다.

본 발명의 일 실시 예에서, 상기 2개 이상의 객체 행렬들을 사용하여 서로 다른 비디오 프레임의 다른 객체들을 동일한 비디오 프레임 내에 배치하는 단계는, 상기 2개 이상의 객체 행렬들 중 제1 객체의 제1 객체 행렬과 제2 객체의 제2 객체 행렬의 전치(transpose) 행렬 사이의 곱셈을 계산하는 단계; 상기 곱셈 결과인 행렬에서 주 대각선을 기준으로 각각 대각선의 구성요소들의 합을 계산하는 단계; 및 상기 계산된 대각선 합들에 기초하여 상기 제2 객체를 상기 제1 객체의 비디오 프레임 내에 배치하는 단계를 포함할 수 있다.

본 발명의 일 실시 예에서, 상기 제2 객체는 상기 계산된 대각선 합들 중 가장 작은 값을 가지는 대각선 순서의 값을 오프셋으로 사용하여 상기 제1 객체의 비디오 프레임에 배치될 수 있다.

본 발명의 일 실시 예에서, 상기 제2 객체는 상기 계산된 대각선 합들 중 가장 작은 값을 가지는 복수의 대각선들이 있는 경우 상기 주 대각선에서 가장 가까운 대각선 순서의 값을 오프셋으로 사용하여 상기 제1 객체의 비디오 프레임에 배치될 수 있다.

본 발명의 일 실시 예에서, 상기 제1 객체 또는 상기 제2 객체는 적어도 서로 다른 2개 이상의 객체를 포함할 수 있다.

본 발명의 일 실시 예에서, 상기 2개 이상의 객체의 행렬들은 상기 비디오 프레임 중 기 설정된 기준에 의해 스킵 프레임(skip frame)을 제외한 비디오 프레임들을 사용하여 획득될 수 있다.

본 발명의 일 실시 예에서, 상기 비디오 프레임 내의 객체의 위치는 픽셀 단위 또는 상기 비디오 프레임을 일정한 크기로 분할한 영역 단위를 나타내는 것을 특징으로 할 수 있다.

본 발명의 일 실시 예는 비디오 감시 카메라에 의해 생성된 소스 비디오를 저장하는 메모리; 및 상기 메모리에 전기적으로 연결되며, 상기 소스 비디오로부터 요약 비디오를 생성하는 프로세서를 포함하며, 상기 프로세서는, 상기 비디오 감시 카메라로부터 배경에 대해서 상대적으로 움직이는 2개 이상의 객체들을 나타내는 비디오 프레임들의 연속인 소스 비디오를 획득하고, 상기 소스 비디오로부터 상기 비디오 프레임의 시간 및 상기 비디오 프레임 내 객체의 위치를 요소로 이뤄진 행렬로 표현된 2개 이상의 객체 행렬들을 획득하고, 상기 2개 이상의 객체 행렬들을 사용하여 서로 다른 비디오 프레임의 다른 객체들을 동일한 비디오 프레임 내에 배치하도록 제어하는 요약 비디오를 생성하는 장치를 제안한다.

본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법 및 장치는 다른 시간에서 발생한 여러 객체들의 활동을 동일 시간에서 표시한 요약 비디오를 제공하는 것을 효과로 한다.

본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법 및 장치는 다른 시간에서 발생한 여러 객체들의 활동을 동일 시간에서 표시하여 감독할 비디오의 시간을 더 짧은 기간으로 압축하는 것을 효과로 한다.

도 1 및 도 2는 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법을 도시한 도면이다.
도 3a 내지 도 3e는 시간에 따른 객체의 위치를 도시한 도면이다.
도 4는 시간에 따른 객체의 위치를 사용하여 인스턴스 볼륨이 생성되는 것을 도시한 도면이다.
도 5는 인스턴스 볼륨을 사용하여 최적 솔루션이 생성되는 것을 도시한 도면이다.
도 6a은 새로운 제1 인스턴스 볼륨을 사용하여 제1 최적 솔루션이 생성되는 도면이다.
도 6b는 최적 솔루션에 대한 요약 비디오에서 객체의 위치를 도시한 도면이다.
도 7은 새로운 제2 인스턴스 볼륨을 사용하여 제2 최적 솔루션이 생성되는 도면이다.
도 8 내지 도 10은 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법을 도시화 한 것이다.
도 11은 요약 볼륨과 인스턴스 볼륨 사이의 객체들이 겹치지 않는 예들을 도시한 도면이다.
도 12는 2개 이상의 객체들을 묶어서 인스턴스 볼륨이 생성되는 것에 관한 도면이다.
도 13은 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법에 대한 전체적인 프로세스를 도시한 도면이다.
도 14 내지 도 17은 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법으로서, 실제로 촬영된 소스 비디오를 요약하기 위한 편집에 대한 연산을 효율적으로 하기 위한 방법을 도시한 도면이다.
도 18 및 도 19는 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법을 흐름도를 도시한 도면이다.
도 20은 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 수행하는 전자 장치를 도시한 도면이다. 이하에서 전자 장치의 구성을 상세히 설명한다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈(module)" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니며, 본 발명의 실시 예에 따른 방법을 수행하기 위한 하드웨어 또는 상기 하드웨어를 구동할 수 있는 소프트웨어의 기능적 또는 구조적 결합을 의미할 수 있다.

도 1 및 도 2는 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법을 도시한 도면이다. 이하에서 도 1 및 2를 참조하여 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법을 설명한다.

도 1은 동일한 장소를 촬영하는 감시 카메라에 의해서촬영된 시간에 따른 비디오 영상을 도시한 것이다. 도 1(a) 내지 도 1(c)는 각각 t1, t2, t3 시점에 촬영된 영상이며, 도 1(d)는 t1, t2, t3 시점에 촬영된 사람들을 동일한 시점의 비디오 프레임으로 이동시켜서 나타낸 영상이다.

도 2를 참조하여 시간의 변화에 따라 표현된소스 비디오를 짧은 영상 기간을 가지는 요약 비디오로 생성하는 방법을 설명한다.

본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 감시 카메라에 의해서 생성된 소스비디오로부터 객체들을 추출하여 소스 비디오 보다 짧은 영상 시간을 가지는 요약 비디오에 배치하는 방법을 제안한다.

소스 비디오는 감시 카메라에 의해서 촬영된 영상으로, 특정 시점을 촬영한 복수 개의 비디오 프레임들의 집합으로 볼 수 있다. 도 2에 도시된 바와 같이, 소스 비디오는 걷고 있는 사람을 포함하는 비디오 프레임들(t1~t3), 비활동 주기의 비디오 프레임들(Δt),하늘을 나는 새를 포함하는 비디오 프레임들(T1~T3)로 구성될 수 있다.요약 비디오는 소스 비디오로부터 비활동의비디오 프레임을 제외하고, 걷는 사람 동작과 하늘을 나는 새의 동작을 동일 시간 간격의 비디오 프레임 내에 위치한 것으로,소스 비디오의 영상 시간이 단축될 수 있다.

예를 들어, CCTV를 통해서 촬영을 하면 모든 시간에서 영상이 녹화 된다. 만약, 특정한 인물이나 사물(이하 '객체'라고도 함)을 찾고자 한다면, 녹화된 영상의 모든 시간을 봐야 하므로 비효율적이다. 요약 비디오는 소스 비디오에 비하여 영상의 시간이 짧기 때문에 촬영된 비디오 영상에서 인물 또는 사물을 관찰하는 시청 시간이 단축될 수 있다.

본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 영상에서 출연하는 모든 객체를 겹치지 않도록 하여 영상의 길이(시간)을 최소한으로 줄일 수 있다.예를 들어, 상기 요약 비디오를 생성하는 방법은 10시간 동안의 영상을 1시간으로 줄이면서 10시간 동안 출연한 모든 객체들을 1시간의 영상에 나오게 하는 방법을 제공한다.

도 3a 내지 도 3e는 시간에 따른 객체의 위치를 도시한 도면이다. 도 4는 시간에 따른 객체의 위치를 사용하여 인스턴스 볼륨이 생성되는 것을 도시한 도면이다. 도 5는 인스턴스 볼륨을 사용하여 최적 솔루션이 생성되는 것을 도시한 도면이다.

도 3a 내지 도3e에 도시된 바와 같이,각각의 도면은 객체가 왼쪽에서 오른쪽으로 1초 간격으로 위치가 1만큼 이동하는 경우 객체의 위치를 도시한다. 이는 일정한 시간 간격을 가지는 비디오 프레임들 내의 객체의 위치에 대응될 수 있다.

도 3a 내지 도 3e는 각각 (t=0, p=0), (t=1, p=1), (t=2, p=2), (t=3, p=3), (t=4, p=4)에 대응한다. 객체가 위치할 수 있는 공간은위치(position) 0~4의 범위를 갖을 수 있다. 객체가 위치한 공간은 1로 표시되고 객체가 없는 공간은 0으로 표시될 수 있다.

도 4에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 시간에 따른 객체의 위치를 사용하여 인스턴스 볼륨(I: Instance Volume)을 생성할 수 있다. 상기 인스턴스 볼륨(V)은 시간에 따른 객체의 위치를 사용하여 시간 축(time-axis)을 행(row)으로 위치 축(X-axis)을 열(column)으로 하는 행렬이다.인스턴스 볼륨의 하단 행은 상단 행에 비하여 앞선 시간을 의미할 수 있다. 인스턴스 볼륨의 최하단 행은 비디오 프레임 내에서 객체의 등장 시점을 의미할 수 있다. 인스터스 볼륨의 열은 비디오 프레임 내의 이미지들의 픽셀 또는 특정한 크기의 영역의 위치를 의미할 수 있다.

도 5에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 인스턴스 볼륨(V)을 사용하여 최적 솔루션(O: Probably Optimal Solution)을 생성할 수 있다. 상기 최적 솔루션(O)는 요약 볼륨(S: Summarization Volume)과 인스턴스 볼륨(V)를 합쳐서 생성된다. 요약 볼륨(S)는 요약 비디오의 시간(상영시간)과 위치(프레임의 크기)를 크기로 가지는 행렬이다. 요약 볼륨은 기존에 생성된 요약 비디오의 비디오 프레임의 시간과 비디오 프레임의 공간의 위치를 행과 열로 구현한 행렬이다.

도 6a은 새로운 제1 인스턴스 볼륨을 사용하여 제1 최적 솔루션이 생성되는 도면이다. 도 6b는 최적 솔루션에 대한 요약 비디오에서 객체의 위치를 도시한 도면이다.

도 6a에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 새로운 제1 인스턴스 볼륨(V1)를 사용하여 제1 최적 솔류션(O1)을 생성할 수 있다. 상기 제1 최적 솔루션(O1)은 기존에 생성된 제1 요약 볼륨(S)과 제1 인스턴스 볼륨(V1)을 합쳐서 생성된다. 제1 요약 볼륨(S1)은 도 4의 최적 솔루션(O)으로 설정될 수 있다.

제1 인스턴스 볼륨(V1)은 도 4 및 도 5의 객체(Obj1, 제1 객체)와 다른 객체(Obj2, 제2 객체)의 시간에 따른 위치를 사용하여 생성된 행렬이다.

감시 카메라를 통해서 일정한 장소만 촬영하는 경우에 배경은 언제나 동일하므로 비디오 프레임의 이미지 상에서 객체가 위치할 수 있는 공간은 항상 일정하다. 비디오 프레임의 이미지 상에서 객체가 위치할 수 있는 공간의 크기는 인스턴스 볼륨의 열의 크기에 대응한다. 따라서, 제1 인스턴스 볼륨(V1)의 열의 크기(제2 객체가 이동하는 공간의 크기)는 요약 볼륨(S1)의 열의 크기와 동일하다. 그리고, 제1 인스턴스 볼륨(V1)의 행의 크기(제2 객체가 등장하는 시간 대, 시간 간격)는 요약 볼륨(S1)의 행의 크기와 동일하거나 작게 설정될 수 있다.

상기 제1 인스턴스 볼륨(V1)의 제2 객체는상기 제1 객체의 비디오 프레임 내에 동일한 시간에 위치할 수 있다. 다시 말해서, 제1 객체와 제2 객체는소스 비디오 상에서 등장하는 시간 대가 일부 겹쳐 질 수 있다. 또는 제1 객체의 등장 시간 내에 제2 객체의 등장 시간이 포함될 수 있다.

제1 객체와 제2 객체 사이 등장하는 신이 겹치는 경우, 제2 객체의 인스턴스 볼륨을 생성할 때 제2 객체의시간 축의 시준을 인스턴스 볼륨의 최하단 행으로 조절하지 않을 수 있다. 예를 들어, 도 6a의 제1 인스턴스 볼륨(V1)은 t=3, t=4에서 각각 객체의 위치 p=1, p=0를 표시한 것이다. 제1 객체와 제2 객체는 t=3 및 t=4의 시간대가 겹치므로, 제1 인스턴스 볼륨 내에서 제2 객체의 위치들 [(t=3, p=1), (t=4, p=0)]를 시간 축 상에서 이동 시키지 않을 수 있다. 도시되지 않았지만 제1 인스턴스 볼륨의 제2 객체의 위치들[(t=3, p=1), (t=4, p=0)]은 시간 축상으로 이동되어 [(0,1), (1,0)]으로 표시될 수도 있다.

도 6b를 참조하면, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 최적 솔루션(optimal solution)을 사용하여 소스 비디오를 요약 비디오로 편집할 수 있다. 각 시간 대의 비디오 프레임에서 객체의 위치를 살펴보면, T=0, 1, 2인 비디오 프레임에서 제1 객체의 위치는 각각 0, 1, 2이고, T=3인 비디오 프레임에서 제1 객체의 위치는 3 및 제2 객체의 위치는 1이고, T=4인 비디오 프레임에서 제1 객체의 위치는 4 및 제2 객체의 위치는 0인 것을 알 수 있다. 따라서, 요약 볼륨과 인스턴스 볼륨을 합쳐서 생성된 최적 솔루션에서 객체들 간에 겹침이 없다면, 최적 솔루션을 사용하여 생성된 요약 비디오에서 등장하는 객체들은 공간 상에서 겹치지 않고 등장한다.

만약 2개의 서로 다른 객체가 서로 다른 시간 대에 촬영된 경우 2개의 서로 다른 객체는 동일한 시간 대로 편집되어 동시에 영상에서 등장될 수 있다. 다만, 2개의 서로 다른 객체들이 비디오 프레임 상에 동일한 위치에 존재하여 영상에서 겹쳐서 보이게 되면 객체들 간에 구별되지 않는 문제가 발생할 수 있다. 이하에서 다른 객체들 간에 영상에서 겹쳐지지 않으면서 요약 비디오의 영상 시간을 최소화 하는 방법에 대해서 살펴 본다.

[수학식 1]

상기 수학식 1은요약 비디오의 손실 함수(Loss Function)이며, L_overlap, L_{video length}, L_neighborhood의 값을 조절하여 L_total의 값이 최소화될 때 최적으로 편집된 요약 비디오를 얻을 수 있다.

L_overlap은 요약 비디오에서 객체들 간 겹쳐진 개수를 나타내고, L_{video length}은 요약 비디오의 영상 시간의 길이(또는 인스턴스 볼륨에 적용되는 오프셋의 크기)를 나타낸다.

L_neighborhood은 소스 비디오 상에서 같은 시간에 지나가는 객체가 요약 비디오에서도 같은 시간에 지나가는지를 측정하는 척도를 나타낸다. 소스 비디오 상에서 동일한 시간에 등장하는 2개의 객체가 요약 비디오 상에서 다른 시간에 등장 한다면, 2개의 객체들 간에 관계성(interaction)이 요약 비디오 상에서 사라지는 문제가 발생할 수 있다. 예를 들어, 싸우고 있는 2명의 성인이 각각 다른 시간 대에 등장하도록 편집된다면, 2명의 성인들이 싸우고 있다는 상황을 나타내는 관계성이 소멸할 수 있는 문제가 생길 수 있다.

λ1는 L_{video length}의 비중을 나타내는 양의 계수이다. 예를 들면, λ1의 값이 크다면 요약 비디오의 영상 시간이 길어지면 안되며 어느 정도 객체들 간에 겹쳐지더라도 요약 비디오의 영상 시간을 짧게 편집하는 것이 바람직하다. 반대로, λ1의 값이 작다면 요약 비디오의 영상 시간이 길어져도 되며 객체들 간에 겹침을 최소화 하도록 요약 비디오의 영상 시간을 길게 편집하는 것이 바람직하다.

λ2는 L_neighborhood의 비중을 나타내는 양의 계수이다. 예를 들면, λ2의 값이 크다면 객체들 간의 상호 작용이 비디오 영상의 압축률보다 더 중요시하는 것을 의미한다. 반대로 λ2의 값이 작다면 객체들 간의 상호 작용 보다 비디오 영상의 압축률이 중요시 되는 것을 의미한다. 객체들 간의 상호 작용이 중요한 경우란 소스 비디오에서 동일한 시간 대에 등장하는 객체들이 요약 비디오에서 동일한 시간에 등장하도록 강제될 필요가 있음을 의미한다.

다시 말해, 객체들 간의 상호 작용이 영상의 압축률 (영상 비디오와 소스 비디오의 영상 시간의 비)보다 중요한 경우라면 λ2의 값을 크게 설정할 수 있다. 반대로, 영상의 압축률이 객체의 상호 작용 보다 중요한 경우라면 λ2의 값을 작게 설정할 수 있다.

<L_overlap>

도 7은 새로운 제2 인스턴스 볼륨을 사용하여 제2 최적 솔루션이 생성되는 도면이다.

도 7에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 새로운 제2 인스턴스 볼륨(V2)를 사용하여 제2 최적솔류션(O2)을 생성할 수 있다. 상기 제2 최적 솔루션(O2)은 기존에 생성된 제2 요약 볼륨(S2)과 제2 인스턴스 볼륨(V2)을 합쳐서 생성된다. 제2 요약 볼륨(S2)은 도 6의 제1 최적 솔루션(O1)으로 설정될 수 있다.

도 7에 도시된 바와 같이, 새로운 제2 인스턴스 볼륨(V2)은 제3 객체(Obj3)의 시간에 따른 위치를 행과 열로 나타낸 행렬이다. 제3 객체는 제1 객체 또는 제2 객체와 다른 객체이다. 제3 객체는 제1 객체 또는 제2 객체와 다른 시간 대의 영상에서 등장하며, 제1 객체 또는 제2 객체의 비디오 프레임 상에 등장하지 않는다. 제2 인스턴스 볼륨(V2)은 제3 객체의 시간 축의 기준점을 조절한 것으로, 제3 객체의 등장 시점을 인스턴스 볼륨의 최하단 행으로 설정할 수 있다.

도 7을 참조하면, 제2 인스턴스 볼륨(V2)은구성 (1,3), (2,2), (3,1)에서 1을 가지고 나머지 부분에서 0을 가질 수 있다.

제2 인스턴스 볼륨(V2)가 요약 볼륨(S2)에 합쳐지는 경우 제2 인스턴스 볼륨의 구성(2,2)에서 요약 볼륨과 겹쳐지며, 이는 요약 비디오의 프레임 상에서 제1 객체(Obj1) 및 제3 객체(Obj3)이 동일한 위치에서 서로 겹쳐짐을 의미한다. 이를 방지하기 위하여 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 제2 인스턴스 볼륨(V2)를 시간 축 상으로 시프트 시켜서 제2 인스턴스 볼륨이 요약 볼륨과 겹쳐지지 않도록 제2 인스턴스 볼륨을 요약 볼륨(S2)와 합쳐서 제2 최적 솔루션(O2)를 구할 수 있다. 이로써 요약 비디오의 비디오 프레임 상에서 객체들 간 겹침 현상을 최소화 할 수 있다.

그러나, 객체의 수가 많아지고, 카메라를 통해서 촬영되는 공간이 일정한 상태에서 객체가 이동할 수 있는 경로는 한정되어 있으므로 객체간 겹쳐짐 현상을 방지하기 위해서 요약 비디오의 영상 시간이 늘어날 수 밖에 없다.

도 8 내지 도 10은 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법을 도시화 한 것이다. 이하에서 요약 비디오의 영상 시간을 최소화하는 방법을 설명한다.

본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은요약 볼륨(S)의 행렬과 새로운 객체에 대한 정보를 담고 있는 인스턴스 볼륨(V)의 행렬을 사용하여 서로 다른 비디오 프레임의 다른 객체들을 동일한 비디오 프레임 내에 배치할 수 있다.

도 8에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 요약 볼륨(S)의 행렬에 새로운 객체에 대한 정보를 담고 있는 인스턴스 볼륨(V)의 전치(transpose) 행렬(V^T)을 벡터 곱셈하고, 계산된 결과 행렬(SV)을 구할 수 있다. 인스턴스 볼륨(V)을전치화 하는 것은 요약 볼륨(S)의 열과 전치화된 인스턴스 볼륨(V^T)의 행을 동일하게 맞추기 위함이다.

도 9에 도시된 바와 같이, 결과 행렬(SV)의 대각선 합(d: Diagonal Sum)은, 대각선의 순서가 D=0인 경우 1, D=1인 경우 0, D=2인 경우 3, D=3인 경우 0, D=4인 경우 0로 결정된다. D=0인 경우의 대각선을 주 대각선이라고 하며, 대각선 순서의 기준이 된다.

결과 행렬(SV)의 구성이 0이 아닌 1을 값을 갖는 것은 요약 볼륨의 객체와 인스턴스 볼륨의 객체 사이의 비디오 프레임(이미지) 내에서 위치의 겹침을 의미한다. 결과 행렬(SV)의 대각선 합(d)은 요약 볼륨(S)과 인스턴스 볼륨(V) 사이의 객체들의 위치 겹침의 개수를 의미한다.

결과 행렬(SV)의 대각선의 순서의 값은 인스턴스 볼륨(V)의 시간 축(행의 순서) 방향으로 인스턴스 볼륨이 시프트되는 오프셋을 의미한다. 다시 말해, 인스턴스 볼륨의 시간 축(행의 순서) 상으로 인스턴스 볼륨을 오프셋 만큼 시프트 시키면,요약 볼륨과 시프트된 인스턴스 볼륨 사이의 겹쳐진 객체의 개수는 대각선 순서의 합과 동일하다.

도 10을 참고하면, 오프셋이 1인 경우에는 요약 볼륨(S)과 시프트된 인스턴스 볼륨(V) 사이의 객체들 간 겹침 현상이 없다. 하지만, 오프셋이 2인 경우에는 요약 볼륨(S)과 시프트된인스턴스 볼륨(V) 사이의 객체들 간 (2,2), (3,1), (4,0)에서 3개의 겹침 현상이 발생한다(점선 박스 참조). 따라서 인스턴스 볼륨의 시간 축 상에서 오프셋을 1로 설정한 경우 요약 볼륨(S)과 인스턴스 볼륨(V)들의 객체들은 서로 겹치지 않는다.

도 11은 요약 볼륨과 인스턴스 볼륨 사이의 객체들이 겹치지 않는 예들을 도시한 도면이다.

도 11을 참조하면, 인스턴스 볼륨(V)의 오프셋이 1, 3, 4인 경우 요약 볼륨(S)의 객체와 시프트된인스턴스 볼륨(V)의 객체들 서로서로 겹쳐지지 않고 최적솔류션(O)을 만들 수 있다. 그러나 오프셋의 값이 커질수록 최적 솔루션의 영상 시간은 길어진다. 이는 요약 비디오의 영상 시간이 길어짐을 의미한다. 그러므로 요약 비디오의 영상 시간을 최소화하기 위하여 오프셋의 값은 가장 작은 것으로 설정되는 것이 바람직하다. 도 11의 경우 오프셋은 1로 설정되는 것이 바람직하다.

<L_{video length}>

앞서 설명한 봐와 같이, 요약 비디오의 영상 시간의 길이와요약 비디오 상에서 객체들 사이의 겹쳐진 정도는 서로 트레이드 오프 관계에 있다. 객체들 사이의 겹쳐진 정도를 최소화 하기 위해선 요약 비디오의 영상 시간의 길이가 늘어날 수 있다. 반대로, 요약 비디오의 영상 시간의 길이를 최소로 하기 위해서는 어느 정도 객체들 간의 겹쳐진 정도가 늘어날 수 있다.

아래 수학식 2는 상기 수학식 1에 도 7 내지 도 9에 도시된 케이스를 적용한 것이다.다만, L_neighborhood 부분의 계수가 0인 경우를 가정하였다.

[수학식 2]

본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은, 상기 수학식 2의 우변 L_total의 크기를 최소화할 수 있는 케이스로서, 결과 행렬(SV)의 대각선 합이 영을 갖는 오프셋 1, 3, 4의 케이스로 요약 비디오를 생성할 수 있다. 만약 λ1가 작은 경우에는 오프셋을 1, 3, 4로 설정 가능하지만, λ1가 큰 경우에는 오프셋을 1로 설정하는 것이 바람직하다.

<L_neighborhood>

도 1(a)을 다시 참조하면, 도 1(a)은시간 t1에서 2개의 서로 다른 객체가 촬영되어 있다. 만약 프로세서가 동일한 시간에 등장하는 서로 다른 객체들을 사이에 어떠한 관계성(interaction)이 존재하는 경우에 서로 다른 객체들을 하나의 인스턴스 볼륨으로 생성하는 것이 바람직하다. 또한, 만약 프로세서가 동일한 시간에 등장하는 서로 다른 객체들을 각각 인스턴스 볼륨으로 생성하면 프로세서의 연산이 늘어나는 문제가 있다.

도 12는 2개 이상의 객체들을 묶어서 인스턴스 볼륨이 생성되는 것에 관한 도면이다.

도 12에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 같은 시간에 등장하는 2개 이상의 객체들을 묶어서 하나의 인스턴스 볼륨으로 생성할 수 있다.

도 12의 경우 상기 2개 이상의 객체들은 제1 객체(Obj1), 제2 객체(Obj2), 제3 객체(Obj3), 제4 객체(Obj4)를 포함할 수 있다. 비록 2개 이상의 객체들이 묶어서 하나의 인스턴스 볼륨으로생성되는 경우 각각의 객체에 대한 트레킹이 되지 않고, 비디오 프레임의 이미지에 내에서 각 객체들의 분할이 되지 않을 수 있다. 하지만 동일한 시간에 출연하는 객체들에 대해분할 필요성이 크지 않다. 오히려 각각의 객체들에 대한 인스턴스 볼륨이 생성되고 각각의 인스턴스 볼륨에 대한 행렬 곱셈이 수행되는 것이 프로세서의 부하를 높일 수 있다.

도 13은 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법에 대한 전체적인 프로세스를 도시한 도면이다.

도 13에 도시된 바와 같이, 기 연산되어 메모리에 저장되어 있던 요약 볼륨은 최신의 인스턴스 볼륨의 전치 행렬과 행렬 곱셈이 수행되어 결과 행렬이 구해진다. 상기 결과 행렬의 대각선 합의 최저 값 들 중 주 대각선을 기준으로 대각선 순서의 최저 값이 인스턴스 볼륨의 오프셋(offset)으로 결정된다. 오프셋이 적용되어 시간 시프트된 인스턴스 볼륨은 요약 볼륨과 겹쳐져서 최적 솔루션이 구해진다.최적 솔루션은 새로운 요약 볼륨으로 메모리에 저장된다. 최적 솔루션을 사용하여 소스 비디오는 요약 비디오로 편집된다.

도 14 내지 도 17은 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법으로서, 실제로 촬영된 소스 비디오를 요약 비디오로 편집하는 방법을 도시한 도면이다.

카메라를 통해서 촬영된 소스 비디오의 이미지들은 픽셀을 최소 단위로 특정한 크기의 공간 해상도(Spatial Resolution)를 가질 수 있다. 또한, 소스 비디오의 비디오 프레임의 개수에 따라서 특정한 개수의 시간 해상도(Temporal Resolution)를 가질 수 있다.

각각의 픽셀이 인스턴스 볼륨의 열(위치)에 배치된다면, 도 14에 도시된 바와 같이, 최신의 인스턴스 볼륨은 인스턴스 시간 길이(instance time length)와 이미지 너비(image width)와 이미지 높이(image height)의 곱으로 표현될 수 있다. 다시 말해서, 인스턴스 볼륨은 시간 해상도와 공간 해상도의 곱으로 표현될 수 있다. 요약 볼륨도 요약 볼륨의 시간 길이, 이미지 너비, 이미지 높이의 곱으로 표현될 수 있다. 동일한 카메라를 통해서 촬영된 소스 비디오인 경우라면 요약 볼륨과 인스턴스 볼륨의 이미지 크기(너비*높이)는 동일하다.

도 15에 도시된 바와 같이, 소스 비디오의 이미지의 공간 해상도가 1280*720 (921600)을 가지고, 인스턴스 볼륨의 영상 시간은 300초이고, 요약 볼륨의 영상 시간은 800초 인 경우를 가정해 보자. 이러한 경우 요약 볼륨과 인스턴스 볼륨 사이의 행렬 곱셈은 (8000, 921600) x (921600, 3000)으로 연산 시간이 매우 오래 걸리는 문제가 생길 수 있다. 객체가 등장하는 시간이 길어질수록 각각의 볼륨의 시간 축이 길어지고 공간 해상도가 높아질수록 각각의 볼륨의 위치 축도 길어지므로 연산은 더 오래 걸리게 된다. 이러한 연산은 프로세서에 큰 부하가 될 수 있다.

도 16에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 비디오 프레임 내 이미지를 일정한 크기로 분할하여 분할된 이미지를 단위로 인스턴스 볼륨 및 요약 볼륨을 생성할 수 있다. 다시 말해서 객체의 위치가 픽셀 단위가 아닌 비디오 프레임을 일정한 크기로 분할한 영역 단위로 설정될 수 있다. 이로써 각각의 볼륨의 공간 축 상의 위치 길이는 단축될 수 있다. 또한, 인스턴스 볼륨 및 요약 볼륨의 시간 길이는 비디오 프레임을 선별적으로 사용하여 단축될 수 있다.

도 17을 참조하면, 비디오 프레임의 이미지를 분할하여 분할된 영역의 이미지를 단위로 인스턴스 볼륨 및 요약 볼륨의 공간 축의 길이를 줄일 수 있다.

도 17을 참조하면, 복수의 비디오 프레임들 중에서 기 설정된 기준으로 비디오 프레임을 제외시켜서 인스턴스 볼륨 및 요약 볼륨의 생성시 사용되는 비디오 프레임의 개수를 줄일 수 있다. 즉 인스턴스 볼륨 및 요약 볼륨의 시간 축의 길이를 줄일 수 있다. 상기 제외된 비디오 프레임은 스킵 프레임(skip frame)이라고 한다. 상기 기 설정된 기준은 연속하는 2개의 프레임들 중 하나를 제외하거나 연속하는 3개의 프레임들 중 연속하는 2개의 프레임을 제외하거나 짝수(혹은 홀수)의 프레임을 제외하는 등의 기준 일 수 있다.

결과적으로, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 인스턴스 볼륨 및 요약 볼륨의 행과 열의 크기를 줄일 수 있고 행렬 계산의 복잡도를 낮출 수 있고, 프로세서의 부하를 줄일 수 있다.

도 18 및 도 19는 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법을 흐름도를 도시한 도면이다.

도 18에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은 소스 비디오를 획득하는 단계(S100), 상기 소스 비디오 내의 2개 이상의 객체들에 관련된 행렬을 획득하는 단계(S300), 획득된 행렬을 사용하여 2개 이상의 객체들을 배치하는 단계(S500)를 포함할 수 있다.

단계 S100에서, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은, 상기 비디오 감시 카메라로부터 배경에 대해서 상대적으로 움직이는 2개 이상의 객체들을 나타내는 비디오 프레임들의 연속인 소스 비디오를 획득하는 단계를 포함할 수 있다.

단계 S300에서, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은, 상기 소스 비디오로부터 상기 비디오 프레임의 시간 및 상기 비디오 프레임 내 객체의 위치를 요소로 이뤄진 행렬로 표현된 2개 이상의 객체의 행렬들을 획득하는 단계를 포함할 수 있다.

단계 S500에서, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은, 상기 2개 이상의 객체 행렬들을 사용하여 서로 다른 비디오 프레임의 다른 객체들을 동일한 비디오 프레임 내에 배치하는 단계를 포함할 수 있다. 이로써 동일한 비디오 프레임 내에 2개 이상의 다른 객체들이 등장시킴으로써 전체 비디오 프레임의 수는 단축될 수 있다.

도 19에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 방법은, 상기 2개 이상의 객체 행렬들 중 제1 객체의 제1 객체 행렬과 제2 객체의 제2 객체 행렬의 전치(transpose) 행렬 사이의 곱셈을 계산하는 단계(S510), 상기 곱셈 결과인 행렬에서 주 대각선을 기준으로 각각 대각선의 구성요소들의 합을 계산하는 단계(S530) 및 상기 계산된 대각선 합들에 기초하여 상기 제2 객체를 상기 제1 객체의 비디오 프레임 내에 배치하는 단계(S550)를 포함할 수 있다.상기 제2 객체 행렬의 전치 행렬을 사용하는 이유는 객체 행렬들의 곱셈시 차원을 동일하게 맞추기 위함이다.

상기 제2 객체는 상기 계산된 대각선 합들 중 가장 작은 값을 가지는 대각선 순서의 값을 오프셋으로 사용하여 상기 제1 객체의 비디오 프레임에 배치될 수 있다.

또한, 상기 제2 객체는 상기 계산된 대각선 합들 중 가장 작은 값을 가지는 복수의 대각선들이 있는 경우 상기 주 대각선에서 가장 가까운 대각선 순서의 값을 오프셋으로 사용하여 상기 제1 객체의 비디오 프레임에 배치될 수 있다.

또한, 상기 제1 객체 또는 상기 제2 객체는 적어도 서로 다른 2개 이상의 객체를 포함할 수 있다. 다시 말하자면, 하나의 객체를 정의할 때 동일한 비디오 프레임 내에 복수개의 객체들을 하나의 객체로 정의하여 객체들에 대한 하나의 행렬을 계산함으로써, 하나의 행렬에 대한 계산으로 복수의 객체들에 대한 위치를 조절할 수 있으므로 연산의 수를 줄일 수 있다.

상기 2개 이상의 객체의 행렬들은 상기 비디오 프레임 중 기 설정된 기준에 의해 스킵 프레임(skip frame)을 제외한 비디오 프레임들을 사용하여 획득될 수 있다. 이로써 객체의 행렬의 시간 축(행)의 길이가 짧아져서 연산의 복잡성을 줄일 수 있다.

상기 비디오 프레임 내의 객체의 위치는 픽셀 단위 또는 상기 비디오 프레임을 일정한 크기로 분할한 영역 단위를 나타낼 수 있다. 픽셀 단위가 아닌 비디오 프레임의 이미지를 분할한 영역을 단위로 객체의 위치를 설정한 경우 각 픽셀로 객체의 위치를 설정할 때에 비하여 객체의 행렬의 공간 축(열)의 길이가 짧아져서 연산의 복잡성을 줄일 수 있다.

도 20은 본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 수행하는 전자 장치를 도시한 도면이다. 이하에서 전자 장치의 구성을 상세히 설명한다.

도 20에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(1000)는 메모리(1100), 통신부(1500) 및 프로세서(1300)를 포함할 수 있다. 그러나, 도 20에 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니며, 보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.

메모리(1100)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되는 정보 또는 전자 장치(1000)로부터 출력되는 정보를 저장할 수도 있다.

프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1100)에 저장된 프로그램들을 실행함으로써, 메모리(1100) 및 통신부(1500) 등을 전반적으로 제어할 수 있다.

통신부(1500)는, 전자 장치(1000)가 다른 장치(미도시) 및 서버(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(1000)와 같은 컴퓨팅 장치이거나, 센싱 장치, 카메라(2000)일 수 있으나, 이에 한정되는 것은 아니다.

카메라(2000)는 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 비디오 프레임으로 구성된 소스 비디오를 얻을 수 있다.CCTV와 같은 카메라에서 촬영된 소스 비디오는 통신부(1500)를 통해서 전자 장치(1000)에게 전달될 수 있으며, 메모리(1100)에 저장될 수 있다.

본 발명의 일 실시 예에 따른 요약 비디오를 생성하는 전자 장치(1000)는 비디오 감시 카메라에 의해 생성된 소스 비디오를 저장하는 메모리(1100); 및

상기 메모리에 전기적으로 연결되며, 상기 소스 비디오로부터 요약 비디오를 생성하는 프로세서(1300)를 포함할 수 있다. 상기 프로세서(1300)는, 상기 비디오 감시 카메라(2000)로부터 배경에 대해서 상대적으로 움직이는 2개 이상의 객체들을 나타내는 비디오 프레임들의 연속인 소스 비디오를 획득하고, 상기 소스 비디오로부터 상기 비디오 프레임의 시간 및 상기 비디오 프레임 내 객체의 위치를 요소로 이뤄진 행렬로 표현된 2개 이상의 객체 행렬들을 획득하고, 상기 2개 이상의 객체 행렬들을 사용하여 서로 다른 비디오 프레임의 다른 객체들을 동일한 비디오 프레임 내에 배치하도록 제어할 수 있다.

상기 프로세서(1300)는 상기 2개 이상의 객체 행렬들 중 제1 객체의 제1 객체 행렬과 제2 객체의 제2 객체 행렬의 전치(transpose) 행렬 사이의 곱셈을 계산하고, 상기 곱셈 결과인 행렬에서 주 대각선을 기준으로 각각 대각선의 구성요소들의 합을 계산하고, 상기 계산된 대각선 합들에 기초하여 상기 제2 객체를 상기 제1 객체의 비디오 프레임 내에 배치하도록 제어할 수 있다.

또한, 상기 프로세서(1300)은 상술한 본 발명의 일 실시 에에 따른 요약 비디오를 생성하는 방법을 모두 수행할 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

전자 장치: 1000
메모리: 1100
프로세서: 1300
통신부: 1500

Claims (8)

1. 비디오 감시 카메라에 의해 생성된 소스 비디오로부터 요약 비디오를 생성하는 방법에 있어서,
   상기 비디오 감시 카메라로부터 배경에 대해서 상대적으로 움직이는 2개 이상의 객체들을 나타내는 비디오 프레임들의 연속인 소스 비디오를 획득하는 단계;
   상기 소스 비디오로부터 상기 비디오 프레임의 시간 및 상기 비디오 프레임 내 객체의 위치를 요소로 이뤄진 행렬로 표현된 2개 이상의 객체의 행렬들을 획득하는 단계; 및
   상기 2개 이상의 객체 행렬들을 사용하여 서로 다른 비디오 프레임의 다른 객체들을 동일한 비디오 프레임 내에 배치하는 단계를 포함하는 것으로서,
   상기 2개 이상의 객체 행렬들을 사용하여 서로 다른 비디오 프레임의 다른 객체들을 동일한 비디오 프레임 내에 배치하는 단계는,
   상기 2개 이상의 객체 행렬들 중 제1 객체의 제1 객체행렬과 제2 객체의 제2 객체행렬의 전치(transpose) 행렬 사이의 곱셈을 계산하는 단계;
   상기 곱셈 결과인 행렬에서 주 대각선을 기준으로 각각 대각선의 구성요소들의 합을 계산하는 단계; 및
   상기 계산된 대각선 합들에 기초하여 상기 제2 객체를 상기 제1 객체의 비디오 프레임 내에 배치하는 단계를 포함하는
   요약 비디오를 생성하는 방법.
2. 삭제
3. 제1항에 있어서,
   상기 제2 객체는 상기 계산된 대각선 합들 중 가장 작은 값을 가지는 대각선 순서의 값을 오프셋으로 사용하여 상기 제1 객체의 비디오 프레임에 배치되는 것을 특징으로 하는 요약 비디오를 생성하는 방법.
   
4. 제1항에 있어서,
   상기 제2 객체는 상기 계산된 대각선 합들 중 가장 작은 값을 가지는 복수의 대각선들이 있는 경우 상기 주 대각선에서 가장 가까운 대각선 순서의 값을 오프셋으로 사용하여 상기 제1 객체의 비디오 프레임에 배치되는 것을 특징으로 하는 요약 비디오를 생성하는 방법.
   
5. 제1항에 있어서,
   상기 제1 객체 또는 상기 제2 객체는 적어도 서로 다른 2개 이상의 객체를 포함하는 것을 특징으로 하는 요약 비디오를 생성하는 방법.
   
6. 제1항에 있어서,
   상기 2개 이상의 객체의 행렬들은 상기 비디오 프레임 중 기 설정된 기준에 의해 스킵 프레임(skip frame)을 제외한 비디오 프레임들을 사용하여 획득되는 것을 특징으로 하는 요약 비디오를 생성하는 방법.
   
7. 제1항에 있어서,
   상기 비디오 프레임 내의 객체의 위치는 픽셀 단위 또는 상기 비디오 프레임을 일정한 크기로 분할한 영역 단위를 나타내는 것을 특징으로 하는 요약 비디오를 생성하는 방법.
   
8. 비디오 감시 카메라에 의해 생성된 소스 비디오를 저장하는 메모리; 및
   상기 메모리에 전기적으로 연결되며, 상기 소스 비디오로부터 요약 비디오를 생성하는 프로세서를 포함하며,
   상기 프로세서는, 상기 비디오 감시 카메라로부터 배경에 대해서 상대적으로 움직이는 2개 이상의 객체들을 나타내는 비디오 프레임들의 연속인 소스 비디오를 획득하고, 상기 소스 비디오로부터 상기 비디오 프레임의 시간 및 상기 비디오 프레임 내 객체의 위치를 요소로 이뤄진 행렬로 표현된 2개 이상의 객체 행렬들을 획득하고, 상기 2개 이상의 객체 행렬들을 사용하여 서로 다른 비디오 프레임의 다른 객체들을 동일한 비디오 프레임 내에 배치하도록 제어하는 것으로서,
   상기 2개 이상의 객체 행렬들 중 제1 객체의 제1 객체행렬과 제2 객체의 제2 객체행렬의 전치(transpose)행렬 사이의 곱셉을 계산하고,
   상기 곱셉 결과인 행렬에서 주 대각선을 기준으로 각각 대각선의 구성요소들의 합을 계산하여,
   상기 계산된 대각선 합들에 기초하여 상기 제2 객체를 상기 제1 객체의 비디오 프레임 내에 배치하는 것을 특징으로 하는 요약 비디오를 생성하는 장치.
   

Images