KR102252083B1 - 이벤트의 등장 객체간 관련성 파악이 용이한 비디오 서머리방법 - Google Patents

Abstract

본 발명은 비디오 원본영상을 짧은 시간의 서머리영상으로 생성하는 방법에 관한 것이다. 본 발명에서는 원본영상에서 등장하는 동적객체를 중심으로 서머리영상을 만들되, 원본영상에서 동일 시간대에 등장하는 복수의 객체는 서머리영상에서도 동일 시간대에 함께 등장하도록 한다는데 특징이 있다. 이에 따라 이벤트가 발생시 이벤트의 객체간 관련성을 용이하게 파악할 수 있다는 이점이 있다.

Description

이벤트의 등장 객체간 관련성 파악이 용이한 비디오 서머리방법{VIDEO SUMMARY METHOD}

본 발명은 비디오 서머리 방법으로서, 긴 시간의비디오 원본영상을 등장 객체를 중심으로 짧은 시간으로 요약한 서머리영상으로 만드는 방법에 관한 것이다.

비디오 서머리 기술은 원본 비디오 영상을 짧은 시간으로 압축한 영상을 만드는 방법이다. 짧은 시간으로 압축할 때에는 주로 원본영상에 등장하는 동적 객체(사람, 동물, 차량)에 중심을 둔다. 예컨대, 인적이 드문 골목길에서의 치안 유지를 위해 CCTV를 설치하는 경우, 원본영상에서는 드문드문 사람이 나타나고 대부분의 시간은 배경만 계속적으로 촬영된다. 치안 센터의 관심은 배경이 아니라 사람이다. 원본영상에서 골목길을 지나가는 사람을 확인하려면 원본영상 전체를 다시 재생해야 하는 것은 비경제적이다. 원본영상을 2배속, 3배속으로 재생할 수도 있지만, 역시 원본영상 전체를 재생하는 것이기에 시간이 많이 걸리고 속도를 올리면 영상에 등장하는 객체의 정확한 인식이 어려워진다. 이러한 문제를 해결하고자 비디오 서머리 기술이 제시되었다.

비디오 서머리 기술이 도 1에 도시되어 있다. 도 1의 원본영상에서 XY평면이 비디오 화면이며, t가 시간축이다. 프레임 단위로 설명하면 하나의 XY평면이 하나의 비디오 영상 프레임이 되고, 시간에 따른 프레임들이 모여서 동영상 비디오가 생성된다. 시공간 볼륨으로 이해할 수 있다.

비디오 서머리 기술에서는 먼저 원본영상에서 사람, 동물, 차량 등 동적 객체를 인식한다. 도 1에서는 사람들과 자전거가 인식되었고, 원본영상의 중간 부분에는 배경만 찍혔다고 가정한다. 원본영상의 수 많은 프레임 중에서 동적 객체가 등장하는 프레임만을 선별한다. 그리고 프레임에서 동적 객체가 나오는 영역만을 따로 분리한 후, 이 영역들을 서로 합쳐서 도 1과 같은 서머리영상을 만든다. 자전거와 행인은 원본영상에서 서로 다른 시간에 등장하였지만, 서머리영상에서는 자전거와 행인이 같은 시간에 등장하는 것으로 표현된다. 위의 방법을 통해 원본영상을 압축한 서머리영상을 만들어 낸다. 한편, 서머리영상에서도 동적 객체의 XY 좌표는 그대로 유지한다. 즉 서머리영상에서 객체의 등장시간은 이동 가능하지만 객체의 동선은 실제를 그대로 반영한다. 객체의 동선을 그대로 반영하다 보면, 서로 다른 시간에 등장한 객체의 동선이 서로 겹칠 수 있다. 특히 좁은 골목길을 서로 다른 시간대에 지나가는 행인들이라면 동선이 많이 겹칠 수밖에 없다. 이런 경우 서머리영상에서 행인들이 겹치게 나오므로 객체에 대한 정확한 인식이 불가능해질 수 있다. 따라서 동선이 많이 겹치는 객체라면 서머리영상에서 등장시간을 다르게 배치하여야 한다.

즉, 비디오 서머리에서 기술적 관심은 동적 객체가 빠지지 않고 모두 서머리영상에 등장하되, 서머리영상의 시간을 얼마나 짧게 만들 수 있는지에 관한 것이다. 즉, '등장객체의 손실 정도' 및 '시간 단축 정도'이다. 여기서 '등장객체의 손실'은 원본영상의 등장객체가 서머리영상에서 등장하지 않는 경우는 물론, 서머리영상에서 등장객체들의 동선이 서로 겹쳐서 등장 객체에 대한 인식률이 저하되는 것을 포함한다.

도 2를 참고한다. 도 2의 X축은 거리, 즉 변위를 나타내며, Y축은 시간을 나타낸다. 좌측은 원본영상이고 우측은 서머리영상이다. 원본영상에서는 10:00 AM 부근에 일정 시간 동안 객체 A가 지나갔고(X축을 따라 이동), 또 다른 객체 B는 12:00 AM 근처에 지나갔다. 서머리영상은 우측의 상하에 표시된 것처럼 만들어질 수 있다. 오른쪽의 상측 그림은 서머리영상의 시간을 단축시키기 위하여 객체 A와 객체 B를 서머리영상에서 거의 같은 시간에 등장시킨다. 서머리 시간은 짧아졌지만, 객체 A와 B의 동선이 거의 일치하므로 서머리영상에서 두 객체는 서로 중첩되어 정확한 인식이 힘들어진다. 반면, 아래쪽의 서머리영상에서는 객체 A와 B의 등장시간을 약간 차이를 두어 배치함으로써 객체의 인식률이 올라간다. 물론 시간 차이를 두었기 때문에 서머리영상의 시간은 상측의 서머리영상보다는 약간 더 길어진다.

정리하면, 비디오 서머리 기술은 배경과 동적 객체를 분리하고, 동적 객체의 동선을 탐지하며, 객체들의 동선이 서로 겹치지 않게 하여 서머리영상에 등장시키되 최대한 시간을 압축하는 기술이라고 요약할 수 있다.

상기한 방식으로 만들어진 서머리영상을 캡쳐한 사진이 도 3에 도시되어 있다. 도 3의 프레임 사진의 좌측 하단을 보면 원본영상에서 22:29에 등장한 객체와 22:51분에 등장한 객체가 서머리영상에서는 함께 등장하는 모습을 볼 수 있다. 우측 상단도 마찬가지이다. 동선이 겹치지 않으면서 원본영상의 객체가 등장하고 있다.

그러나 종래의 비디오 서머리 기술은 '객체의 손실' 및' 시간 압축'이라는 기술적 이슈에만 집중한 나머지 비디오 서머리 기술이 현실 세계에서 치안, 안전을 위한 모니터링 시스템으로 활용될 때 가장 중요하게 여기는 점에 대해서 간과하고 있다.

치안 모니터링 시스템에서 가장 중요한 것은 “이벤트의 등장 객체간 관련성”이다. 골목길에서 평화롭게 행인들이 지나가는 영상은 치안 모니터링에서 주요 관심대상이 아니다. 골목길에서 싸움이 났거나, 갑자기 나타난 개에게 사람이 물리거나 하는 등의 이벤트가 주요 관심대상이다. 문제는 기존의 비디오 서머리 기술에서는 시간 압축에만 집중하다 보니, 동적 객체로 인식한 사람과 개의 서머리영상 내에서의 등장시간을 서로 달리할 수 있다는 점이다. 예컨대 서머리영상에서는 개가 달려가다가 잠시 멈춘 후 다시 달려가는 영상이 등장하고, 시간 간격을 두고 행인이 지나가다가 갑자기 서서 아픔을 호소하는 모습이 나타난다. 서머리영상만으로 보면 행인이 개에게 물리는 이벤트를 전혀 파악할 수 없게 된다. 이러한 종래의 기술은 서머리영상의 시간단축에는 유리할 수 있지만, 정작 중요한 사항을 놓쳐 버린다. 치안 모니터링 시스템의 주요 관심사는 이벤트의 파악과, 이벤트에서 등장 객체간의 관련성이다. 이벤트 파악이 용이한 비디오 서머리 기술이 요청된다.

또한, 기존의 서머리 기술은 시간 단축을 위하여 원본영상에 촬영된 객체들의 등장시간의 순서를 고려하지 않는다는 점이다. 서머리 영상의 시간, 공간 최적화를 위해서 객체들의 동선이 겹치지 않는 최적 배열만을 고민한다. 따라서 원본영상에서 늦게 등장하는 사람이 서머리 영상에서는 가장 빨리 나오는 현상이 나타나곤 한다. 비디오 서머리를 위해서는 이러한 현상을 용인할 수밖에 없지만, 가능한 원본영상에서 객체들의 등장 시간의 순서를 고려하는 것이 서머리 영상의 자연스러움과 품질 향상에 바람직하다. 특히 배경과의 관계를 고려하면 이러한 고려는 더욱 의미가 있다. 원본영상에서 밤에 출현한 객체가 서머리 영상에서는 낮에 등장하면 배경이 서로 달라지므로 부자연스럽다.

종래의 이러한 문제점은 비디오 서머리 기술의 실제 활용 환경을 고려하지 않고, 기술적 사항에만 관심을 가졌기 때문이다. 비디오 서머리 기술은 시내 중심가에 있는 도로처럼 동적객체가 매우 분비는 영역에 설치하지 않는다. 오히려 동적 객체가 많이 등장하지 않고 한적한 영역에서 사용한다. 차량과 사람이 분비는 영역은 관심이 집중되는 곳이므로, 인력과 장비를 많이 투입할 수 있다. 그러나 한적한 골목길은 관심이 집중되는 곳이 아니어서 인력과 장비를 투입할 수 없다. 결과적으로 치안의 관점에서는 사각지대에 놓이게 된다. 이에 CCTV 등 무인시스템에 의존하여 안전 모니터링을 수행한다. 결과적으로 비디오 서머리 기술이 적용되는 영역에서는 등장객체가 아주 많지는 않기 때문에 시간압축을 중시하기 보다는 앞에서 설명한 이벤트의 등장인물간 관련성 파악의 용이성에 집중하는 것이 효과적이다. 또한 서머리 영상이 원본영상의 상황을 자연스럽게 반영하는 것이 '품질”의 우수성과 직결된다. 종래의 비디오 서머리 기술은 이러한 점을 간과하고 있다.

한편, 종래의 비디오 서머리 기술에서 또 다른 문제점은 서머리영상의 시간 단축을 위해 실제 현상을 자연스럽지 못하게 표출한다는 점이다. 일종의 왜곡이라고 표현할 수도 있다. 도 4를 참고하여 설명한다. 도 4의 우측은 원본영상이며, 좌측은 서머리영상이다. 앞에서와 마찬가지로 X축은 변위이며, Y축은 시간축이다. 원본영상에서 A 객체가 300번째 프레임부터 1200프레임까지 걸쳐서 등장한다. 이 기간 동안 X1지점으로부터 X4지점까지 이동하였다. 매우 긴 시간 동안에 이동하였기 때문에 그대로 서머리를 하게 되면 서머리 영상이 너무 길어질 수 있다. 이에 종래 기술에서는 A객체를 복수의 부분(A1,A2,A3)으로 잘라서 좌측과 같은 서머리영상을 만든다. 좌측의 서머리영상을 보면 동일한 객체 A가 같은 시점에 각각 X1, X2, X3 시점에 함께 나타난다. 그리고 300프레임 동안 3지점에서 함께 이동한다. 긴 골목길을 상정하면, 골목길의 길이방향을 따라 3지점에서 같은 사람이 동시에 나타나서, 일정 거리만큼 각각 걸은 후 함께 사라지는 형태의 영상이 나타난다. 서머리영상의 시간압축에는 성공적이지만 실제 현상을 왜곡해서 나타내기 때문에 서머리영상이 낯설게 느껴질 수밖에 없다. 비디오 서머리 기술과 서머리영상이 전문가에 의해 운영된다고 해도 실제 현상의 심한 왜곡은 사용자의 인지적 불편함을 불러온다. 더욱이 비디오서머리는 치안 유지를 위해 지자체 등에 설치되서 기술전문가가 아닌 일반인에 의하여 운영되기 때문에 이러한 인지적 불편함은 더욱 클 것이다. 비디오 서머리 기술의 활용성을 높이기 위해서는 시간 단축과 함께 실제 현상을 가능한 왜곡 없이 보여줄 수 있는 기술적 진보가 필요하다.

본 발명은 상기한 문제점을 해결하기 위한 것으로서, 원본영상을 짧게 요약하면서도, 원본영상에 촬영된 등장객체 사이에 발생한 이벤트가 서머리영상에서도 용이하게 파악될 수 있는 비디오 서머리 방법을 제공하는데 그 목적이 있다.

또한 본 발명에서는 원본영상에 촬영된 실제가 서머리영상에서도 왜곡없이 표출시켜 사용자가 서머리영상을 자연스럽게 받아들일 수 있도록 품질이 향항된 비디오 서머리영상을 만드는 방법을 제공하는데 있다.

한편, 본 발명의 명시되지 않은 또 다른 목적들은하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.

상기 목적을 달성하기 위한 본 발명에 따른 비디오 서머리방법은, (a)복수의 프레임으로 이루어진 비디오 원본영상에 등장하는 복수의 움직이는 객체를 탐지하여, 상기 객체의 프레임 내 위치 및 크기를 포함하는 객체정보를 생성하는 단계; (b)복수의 프레임에 등장하는 객체들 중 동일성이 인정되는 객체에 대하여 동일 ID를 부여하는 단계; (c)상기 원본영상에서 상기 객체들이 등장하는 프레임만을 선별하여 프레임세트를 생성하는 단계; (d)기설정된 시간 간격으로 상기 프레임세트를 분할하여 복수의 프레임으로 이루어진 프레임볼륨을 형성하는 단계; 및 (e)상기 프레임볼륨을 조합하여 상기 원본영상보다 재생 시간이 짧은 비디오 서머리 영상을 생성하는 단계;를 포함하는 것에 특징이 있다.

본 발명에 따르면, 상기 서머리 영상을 생성하는 단계는, 상기 복수의 프레임볼륨 중 어느 하나의 프레임볼륨을 서머리 가영상에 편입하고, 나머지 프레임볼륨들을 일정한 순서에 따라 상기 가영상에 순차적으로 편입하여 상기 서머리 가영상을 점진적으로 늘려서 최종 서머리 영상을 만들되, 상기 프레임볼륨을 기작성된 서머리 가영상에 편입할 때 상기 프레임볼륨과 서머리 가영상에 등장하는 객체간 동선의 중복도 및 시간단축도를 비교판단하여, 상기 각 프레임볼륨이 상기 서머리 가영상에 편입되는 시간을 결정하는 것이 바람직하다.

본 발명의 일 예에서, 상기 서머리 영상을 생성할 때, 상기 복수의 프레임볼륨을 상기 원본영상의 시간 순서에 따라 나열한 후, 첫 번쩨 프레임볼륨부터 마지막 프레임볼륨까지 순차적으로 상기 서머리 가영상에 편입해 나가는 것이 바람직하다.

본 발명의 일 예에서, 상기 객체가 복수의 프레임볼륨에 걸쳐서 등장하되, 복수의 프레임볼륨 중 어느 프레임볼륨에서 일정 시간 이하로 등장하는 경우 해당 프레임볼륨으로부터 상기 객체를 삭제한 후 상기 서머리 가영상에 편입할 수 있다.

또는 본 발명의 일 예에서, 상기 서머리 영상을 생성하는 과정에서 기설정된 시간 간격에 따른 상기 프레임볼륨을 상기 서머리 가영상에 편입하되, 일시적으로 상기 프레임세트의 단위 볼륨의 시간 간격을 기설정된 시간 간격보다 더 길거나 짧게 가변가능하다.

본 발명에 따르면, 이벤트의 등장 객체간 관련성 파악이 용이하도록, 상기 원본영상에서 동일한 프레임에 등장하는 복수의 객체는 상기 서머리 영상에서도 동일한 프레임에 함께 등장한다.

본 발명에서는 원본영상을 짧은 시간의 서머리영상으로 생성하는 방법을 제공한다. 본 발명에서는 원본영상에서 동적객체가 등장하는 프레임만을 선별하여 프레임세트를 만들고, 프레임세트를 일정 시간 단위로 분할하여 프레임볼륨을 만들고, 프레임볼륨 단위로 서머리영상을 생성한다.

이에 따라 본 발명에서는 프레임볼륨(넓게는 원본영상)에 함께 등장하는 복수의 객체는 서머리영상에서도 함께 등장하므로, 이벤트 발생시 이벤트의 객체간 관련성을 매우 용이하게 파악할 수 있다.

또한 서머리영상에서도 객체의 등장이 가능한 원본영상과 일치하도록 하여 서머리영상이 자연스러워지며, 사용자의 인지적 불편함을 해소할 수 있다.

또한 본 발명에서는 객체의 일부 삭제를 허용함으로써, 기존에 객체를 분할하여 동시간에 동일 객체가 중복 출현하는 부자연스러움 및 사용자의 인지적 불편함을 해소하여 품질이 향상된다는 이점이 있다.

한편, 여기에서 명시적으로 언급되지 않은 효과라하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

도 1은 비디오 서머리 기술을 설명하기 위한 개략적 도면이다.
도 2는 원본영상에서의 등장객체를 서머리영상에 재배열하는 과정을 설명하기 위한 도면이다.
도 3은 완성된 비디오 서머리영상을 캡쳐한 사진이다.
도 4는 시간 단축을 위해 실제 현상을 왜곡시켜 서머리영상에 표현하는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 일 예에 따른 비디오 서머리방법의 개략적 흐름도이다.
도 6 및 도 7은 원본영상에서 동적객체를 분리하고 객체정보를 생성하는 과정을 설명하기 위한 것이다.
도 8은 동적객체에 대한 트래킹 과정을 설명하기 위한 것이다.
도 9는 서머리 영상을 만드는 알고리즘을 설명하기 위한 것이다.
도 10은 본 발명에서 프레임세트를 생성하고, 프레임볼륨으로 분할하는 과정을 설명하기 위한 것이다.
도 11은 서머리 가영상을 갱신하면서 서머리영상을 만드는 과정을 설명하기 위한 것이다.
도 12는 서머리 가영상을 계속적으로 갱신하여 최종적으로 서머리영상이 만들어진 예를 보여주기 위한 것이다.
도 13은 본 발명에서 프레임볼륨 단위의 서머리영상 생성 방법(서머리영상1)의 장점을 종래의 방법(서머리영상2)과 비교하기 위한 것이다.
도 14는 본 발명에서 객체의 일부 삭제에 따른 서머리영상의 시간단축 효과를 설명하기 위한 것이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.

본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

이하, 첨부된 도면을 참고하여, 본 발명의 일 예에 따른 비디오 서머리방법에 대하여 더욱 상세하게 설명하기로 한다.

도 5는 본 발명의 일 예에 따른 비디오 서머리방법의 개략적 흐름도이다.

도 5를 참고하면, 본 발명의 일 예에 따른 비디오 서머리방법은 비디오 원본영상을 짧게 요약한 서머리영상을 생성하는 방법이다. 여기서 '요약'이란 원본영상에 등장하는 객체, 주로 동적객체를 중심으로 이루어진다. 즉 원본영상에서 동적객체가 등장하지 않는 프레임들은 대부분 삭제되며, 동적객체 중심으로 서머리영상에 등장하게 된다.

소스가 되는 원본영상은 CCTV 등을 이용하여 안전 모니터링이 필요한 지역을 촬영한 영상일 수 있다. 또한 비행기 활주로 등 관제가 필요한 다양한 영역을 촬영한 영상일 수 있다. 차량이 밀집된 도로의 경우 본 발명을 적용하는 것을 배제하지는 않지만, 비디오 서머리로는 적합하지 않을 수 있다.

원본영상은 이미 촬영완료된 것을 다운로드 방식으로 수신할 수도 있으며, 이른바 '스트리밍' 방식으로 촬영과 동시에 실시간으로 수신할 수도 있다.

원본영상을 수신하면, 도 6의 사진에 도시된 바와 같이 원본영상의 각 프레임(좌측)으로부터 동적객체를 탐지하여 분리한다. 원본영상의 N번째 프레임에서 등장한 3명의 사람을 우측 사진과 같이 배경과 분리한다.

이렇게 분리된 객체에 대해서 객체정보를 생성한다. 도 7을 참고하면, 먼저 프레임 내 동적객체가 포함된 영역을 넓게 추출한 후, 추출된 영역 내에서 해당 객체에 대한 정보를 탐지한다. 객체정보에는 프레임 내 좌표(x, y), 폭과 높이, 사람, 동물, 차량 등 객체의 분류를 포함한다. 객체정보는 기설정된 것으로서, 색상, 움직임 방향(좌에서 우로 등) 등을 포함할 수 있다. 동적객체가 나오는 모든 프레임에서 상기한 작업을 수행한다.

객체에 대한 분리 및 탐지가 완료되면, 여러 프레임에 걸쳐서 등장하는 객체의 동일성을 판단하여, 같은 객체로 판단되면 동일한 ID를 부여한다. 도 8을 참고하여 설명한다. 도 8의 좌측은 원본영상을 나타낸 것으로서, X축은 변위(프레임 내 위치-1차원 가정)이고, Y축은 시간(또는 프레임이다). 즉 시간축을 따라 복수의 프레임들이 나열되어 있는 형태이다. 좌표축 안에 있는 파란선(A~D)들은 동적객체를 나타낸다. D객체의 경우 원본영상에 가장 먼저 등장하고, A객체의 경우 나중에 등장하여 가장 오랜시간 원본영상에 등장한다. 객체들은 움직임의 연속성을 가지므로, 동적객체가 나타난 프레임들을 이용하거나, 객체정보를 함께 이용하여, 여러장에 걸쳐서 등장하는 객체의 동일성 여부를 판단할 수 있다. 예컨대 어떤 객체가 100장의 연속되는 프레임에 나타나 있고, 프레임의 순서에 따라 동선의 연속성이 확인되는 경우 동일한 객체로 볼 수 있다. 또한 프레임 내 등장하는 객체별로 만들어진 객체정보를 보면 100장의 프레임에서 확인된 객체의 폭과 높이가 일정 범위 내로 동일하고, 좌표에 연속성이 있는 경우 동일한 객체로 판단할 수 있다. 동일성 판단결과, 오른쪽 그림과 같이 4개의 객체에 대하여 식별 ID를 부여한다.

상기한 바와 같이 동적객체를 분리(segmentation)하는 과정, 객체를 탐지하여 객체정보를 생성하는 과정(detecting) 및 동일성을 판단하여 객체별로 ID를 부여하는 과정(tracking)은 지능형 CCTV 등 영상처리 분야에서 널리 사용되는 기술이므로, 이에 대한 구체적인 설명은 생략하기로 한다.

그리고 본 발명이 분리, 탐지, 트랙킹을 반드시 모두 거쳐야 하는 것은 아니며, 분리과정 없이 원본영상의 프레임에서 곧장 동적객체를 탐지하여 객체정보를 생성할 수도 있다. 이렇게 원본영상에서 동적객체를 직접 탐지하고 객체정보를 생성하는 것도 본 발명에서 배제하지는 않지만, 속도 및 정확도 향상을 위해서는 분리과정을 선행하는 것이 바람직하다. 또한 여러 프레임에 등장하는 객체의 동일성을 판단하고, 객체별로 ID를 부여하는 트래킹 과정 역시 분리과정 후 탐지과정 없이 수행할 수 있으나, 정확도 향상을 위해 탐지과정에서 얻은 결과를 이용하는 것이 바람직하다.

본 실시예에서는 분리(segmentation), 탐지(detection) 및 트래킹(trcking) 과정을 순차적으로 수행하여 컴퓨터 프로세서에서의 처리 속도와 정확성을 향상시킨다.

원본영상에 대한 동적객체의 분리, 탐지 및 트랙킹이 완료되면, 객체정보, 객체 ID를 데이터 베이스에 저장하고, 객체가 등장하는 원본영상의 프레임의 식별번호(ex: 프레임번호)도 데이터베이스에 저장한다.

원본영상에 대한 분석을 통해 객체정보 등의 데이터가 저장되면, 데이터를 이용하여 다양한 서머리 영상을 만들어 낼 수 있다. 사용자가 조건을 설정하면, 이 조건에 따라 서머리 영상을 만든다. 예컨대, 사람은 제외하고 차량만 나오는 서머리 영상을 만들거나, 차량 중에서 우측으로 향하는 차만 나오도록 하거나, 빨간색 옷을 입은 사람만 찾는다거나 하는 등의 조건 설정이 가능하다. 물론 아무런 조건없이 동적객체가 모두 등장하도록 하는 서머리 영상을 만들 수도 있다. 사용자의 목적에 맞게 서머리 영상을 만들 수 있다.

조건이 설정되면, 이 조건에 맞는 프레임세트를 만들어낸다. 즉 원본영상의 프레임들 중에서 조건에 맞는 동적객체가 등장하는 프레임만 선별하여 별도의 프레임세트를 만든다. 예컨대 동적객체가 모두 등장하는 서머리 영상을 만든다고 하고, 원본영상이 10만개의 프레임으로 이루어져 있고, 이 중 동적객체가 등장하는 프레임이 2만개였으면, 이들만 따로 분리하여 프레임세트를 생성한다. 프레임세트에 포함된 모든 프레임에는 동적객체가 나타나 있을 것이다.

프레임세트가 생성되면 서머리 영상을 생성한다. 서머리 영상을 생성하는 것은 본 발명에서 가장 중요한 특징으로서 도 9 내지 도 12를 참고하여 설명한다.

도 9 내지 도 12는 서머리 영상을 만드는 알고리즘을 설명하기 위한 것이다.

도면을 참고하면, 조건 설정에 의하여 선택된 프레임세트를 기설정된 시간 간격으로 분할하여 복수의 프레임볼륨을 생성한다. 본 실시예에서는 먼저 프레임세트(도 9의 우측)를 일단 원본영상의 시간 순서대로 나열한다. 그리고 일정한 시간 간격, 예컨대 300프레임 단위로 프레임세트를 분할한다. 분할된 하나의 단위를 프레임볼륨이라고 한다. 도 9의 좌측을 보면 볼륨1~4의 4개의 프레임볼륨으로 분할한 것을 볼 수 있다. 4개의 프레임볼륨을 분리하여 보면 도 9의 좌측과 같다.

프레임세트에는 A~G의 6개의 객체가 등장한다. 원본영상에서 보면 A와 B객체가 가장 먼저 등장하였다가 사라진다. C의 경우 프레임 내 공간을 대략 300~800 프레임에 걸쳐서 이동한다. 즉 예컨대 거동이 불편한 노인을 상정할 수 있다. 매우 느린 속도로 이동하고 있다. 이에 반하여 F의 경우 매우 짧은 시간 내에 공간을 지나쳐 간다. 골목길을 가정한다면 빠르게 지나가는 오토바이와 같은 객체일 수 있다.

A, B, E, F, G 객체의 경우 하나의 프레임볼륨 내에서만 등장한다. 그러나, C, D 객체는 복수의 프레임볼륨에 걸쳐서 등장한다. 본 실시예에서 프레임볼륨은 객체 단위로 분할한 것이 아니라, 단지 일정한 시간 단위로 분할한 것이다. 물론 모니터링하고자 하는 객체의 특성에 맞게 프레임볼륨의 시간 간격을 처음 설정할 때 조절할 수 있다. 예컨대, 사람을 모니터링하고자 하는 경우, 골목길의 총 길이와 사람의 보행속도를 고려하여 하나의 볼륨 내에서 사람이 골목길을 모두 통과할 수 있도록 조절할 수도 있다. 골목길에서 오토바이를 모니터링하기 위해서라면 보다 짧은 시간 간격으로 프레임볼륨을 설정할 수 있을 것이다. 볼륨 시간 간격 설정이 가지는 의미는 추후 다시 설명하기로 한다.

프레임세트를 복수의 프레임볼륨으로 분할한 후에는 본격적으로 서머리 영상을 만들어간다. 도 10을 참고하면, 비교판단볼륨과 서머리 가영상이 나타나 있다. 시작 단계에서 비교판단볼륨과 서머리가영상은 비어 있는 상태이다. 먼저 복수의 프레임볼륨 중 어느 하나의 프레임볼륨을 선택하여 비교판단볼륨으로 설정한다. 비교판단볼륨은 서머리 가영상과의 비교를 위한 임시볼륨이다. 본 예에서는 원본영상의 순서에 따라 볼륨1을 선택하여 비교판단볼륨으로 특정한다. 서머리 가영상과 비교판단볼륨 사이에 객체의 동선중복도와 시간압축도를 비교하여야 한다. 이러한 비교판단은 딥러닝 분야에서 적용되고 있는 손실함수(loss function)을 이용하는데, 이에 대해서는 공지된 기술인 바 자세한 설명은 생략하기로 한다. 다만 첫 번째 단계에서는 서머리 가영상이 아직 만들어지지 않아 비교대상이 없으므로 비교판단볼륨에 있는 볼륨1이 그대로 서머리 가영상으로 편입된다. 여기서 편입이라는 의미는 볼륨1에 있는 프레임을 그대로 서머리 가영상에 포함시킨다는 의미는 아니고, 볼륨1에서 객체가 포함된 일부 영역(앞의 탐지과정에서 분리된 영역)을 추출해서 서머리 가영상에 카피해서 붙여 넣는 형태이다. 상기한 바와 같이, 첫 번째 단계에서 볼륨1을 서머리 가영상에 편입시키면, 볼륨1이 현재까지의 서머리 가영상이 된다.

두 번째 단계에서는 볼륨2를 비교판단볼륨으로 특정하고 기작성된 서머리 가영상(현재상태는 볼륨1과 동일)과 볼륨2를 비교한다. 볼륨2가 어느 위치에 편입되는 것이 시간압축도와 동선중복도에 유리한지 결정한다. 도 11을 참고하면, 볼륨2는 서머리 가영상보다 약간 높은 위치(Y축-시간축)에 배치시켰다. 다르게 말하면 현재 상태의 서머리 가영상 보다 시간적으로 약간 늦게 볼륨2가 나오도록 하였다. 볼륨2를 기작성된 서머리 가영상과 시간을 일치시키는 경우, 즉 중복시키는 경우, 객체 B,D,E는 동선이 한 점에서만 겹치므로 동선중복이 크지 않다. 이렇다면 서머리영상의 시간 단축을 위해 볼륨2를 볼륨1과 완전히 겹쳐도 된다. 그러나 이렇게 볼륨1과 볼륨2의 시간대를 완전히 겹치게 되면, 즉 볼륨2를 가장 하단까지 시프트 시키면, 객체A와 객체C의 동선이 완전히 겹치게 되므로 서머리영상에서 A와 C를 정확하게 구별할 수 없다. 반대로 볼륨2를 볼륨1과 겹치지 않게 완전히 분리하여 볼륨1의 위쪽에 배치하면 객체의 파악은 분명해지지만, 시간단축이 되지 않으므로 비디오 서머리로서 의미가 없다. 물론 동적객체가 등장하지 않는 프레임은 프레임세트 단계에서 이미 배제했기 때문에 그 자체로 시간이 단축되었지만, 훨씬 더 단축할 필요가 있다. 따라서 객체 또는 볼륨이 편입될 가장 최적의 위치(등장시간의 결정)를 찾는 것이 비디오 서머리 기술의 핵심이다. 본 예의 경우 도 11에 도시된 바와 같이, 볼륨2를 서머리 가영상에 편입할 때 A와 C의 등장시간에 약간의 차이가 나도록 볼륨2를 배치한다. 같은 시간대(Y축)에서 A와 C의 좌표(X축)가 서로 다르므로 둘 사이에 구별이 가능하다. 또한 원래의 볼륨A와 볼륨B의 시간을 합친 것보다 영상의 재생시간이 훨씬 단축되었다. 서머리영상에서는 A와 C가 약간의 간격을 두고 걸어가는 형태로 표출될 것이다. 이제 볼륨1과 볼륨2가 조합된 것이 서머리 가영상이 된다. 즉 하나의 볼륨을 편입시킬 때마다 서머리 가영상이 갱신된다.

상기한 방식으로 복수의 볼륨들을 차례로 비교판단볼륨으로 특정하고, 이전 차수에 갱신된 서머리 가영상과 동선중복도 및 시간단축도를 비교하여 볼륨들을 서머리 가영상에 편입시켜 나가고, 마지막 볼륨이 서머리 가영상에 편입완료되면 서머리 가영상이 최종적인 서머리영상으로 확정된다.

상기한 과정을 반복하여 프레임세트 내 모든 프레임볼륨을 서머리 가영상에 편입하면, 도 12에 도시된 바와 같이 서머리영상이 완성된다. 프레임세트의 총 시간보다 서머리영상의 시간이 단축되는 것을 알 수 있다. 또한 객체간 동선도 거의 중복되지 않는다. 예컨대 G객체의 경우 원본에서는 가장 늦게 등장하는 객체이지만 다른 객체와 동선이 중복되지 않으므로 서머리영상에서는 가장 먼저 등장하게 하여 시간을 단축시킨 것을 알 수 있다. 이와 같이 비디오 서머리에서는 객체들의 동선과 시간단축을 고려하여, 객체들을 서머리영상 내에서 시간적으로 재배치하는 기술이다. 여기서 재배치의 의미는 시간만을 의미하며, 공간적 재배치는 하지 않는다. 좌표는 원본영상의 좌표와 동일하게 구현한다.

본 발명에서 중요한 점은 2가지이다.

첫째, 볼륨 단위로 서머리영상을 만든다는 점이다. 종래에는 개별 객체 단위로 서머리영상을 만들었다. 도 13을 참고하여 설명한다. 도 13에서 서머리영상1은 본 발명과 같이 볼륨 단위로 서머리영상을 만든 예이고, 서머리영상2는 시간단축도를 최대화시키고 개별 객체단위로 서머리영상을 만든 예이다. 서머리영상1,2에서 차이가 나는 부분은 C객체와 F객체이다. 나머지 객체는 동일하다.

도 13의 서머리영상2에서는 F객체가 서머리영상1에 비하여 하단에 배치되어 있다. 또한 C객체의 경우 서머리영상2에서는 C1과 C2로 분리되어 있다. C1과 C2는 동일한 C객체인데 이동속도가 느려서 등장시간이 너무 길기 때문에 시간단축에 방해가 된다. 이에 종래에는 C객체를 시간에 따라 복수 개로 분할하여 서머리영상2를 만들었다. 본 발명에서도 이러한 분할 방법을 배제하지는 않는다. 하나의 객체가 복수의 볼륨에 걸쳐 있는 경우 분할이 이루어진다. 객체를 분할하면 공간활용도가 증가하기 때문에 서머리영상2의 시간은 단축되는 이점이 있다. 그러나 동일한 C객체가 서머리영상2에서는 t1 시점에 X1 지점과 X2 지점에 동시에 나타나서 걸어가는 현상이 나타난다. 시간단축의 측면에서는 유리하지만, 실제 현상을 왜곡해서 나타내므로 인지적인 불편함이 발생한다. 이렇게 하는 이유는 시간단축 때문이다.

한편, C객체를 C1과 C2로 분리하여 하단으로 이동하고 나면 상단에는 F객체(점선)가 남게 되며, F객체는 서머리영상2에서 화살표로 나타낸 것처럼 서머리영상2의 하단으로 이동시킬 수 있다. 이렇게 되면 서머리영상2는 서머리영상1에 비하여 시간이 단축된다.

하지만 문제가 있다. 원본영상에서는 C객체와 F객체는 볼륨3에서 동시에 등장하고 서로 동선이 겹친다. 본 발명을 적용한 서머리영상1에서는 볼륨 단위로 서머리하였으므로, 같은 볼륨(더 엄밀하게는 같은 프레임)에 나타난 복수의 객체는 서머리영상에서도 반드시 같은 시간대에 함께 등장하게 된다. 그러나 서머리영상2에서는 C객체(C1,C2)와 F객체는 같은 시간대에 함께 나타나지 않고 서로 다른 시간대에 등장하게 된다. 예컨대, C객체는 노인이었고, F객체는 오토바이였는데, 원본영상에서 오토바이가 노인을 치고 가는 이벤트(오토바이와 노인의 동선이 겹치는 지점)가 있었다고 하면 서머리영상2의 경우 원본영상에서의 실제 이벤트를 전혀 반영하지 못하는 결과로 귀결된다. 서머리영상2와 같이 만들면 C객체와 F객체가 동시간에 등장하지 않으므로 이벤트 상황이 전혀 파악되지 않는 것이다. 서머리영상2에서는 C객체(C1,C2)가 어느 시점에 혼자 넘어져서 고통스러워 한 후 다시 길을 가는 모습으로만 등장할 것이고, F객체는 어느 시점에서 잠시 움찔거리다가 다시 진행하는 모습으로 나타날 것이다. 앞의 예에서는 C객체를 C1과 C2로 분할하였지만, 분할하지 않은 경우도 마찬가지이다. 위 예에서 C객체를 분할하지 않고 단지 F객체만을 하단으로 내려도 같은 현상이 나타난다. 결국 같은 볼륨에 등장하는 복수의 객체를 개별 객체단위로 파악하여 등장시간대를 변경시키면 객체간 관련성을 파악할 수 없게 된다. 둘 사이의 이벤트는 전혀 파악이 안된다. 비디오 서머리의 활용에 있어서 가장 본질적인 목적, 즉 “이벤트 파악”이 불가능해지며, 단지 기술적 측면에서 시간단축도가 높은 결과물을 도출하게 된다. 개별 객체 단위로 서머리영상을 작성하였기 때문이다.

이에 반하여 본 발명에 따른 서머리영상1에서는 시간단축도는 서머리영상2에 비하여 떨어지지만 C객체와 F객체의 충돌 상황을 서머리영상에서 그대로 확인할 수 있다는 이점이 있다. 비디오 서머리 기술의 본질적 목적에 보다 근접해 있다고 할 수 있다.

본 발명에서 이를 가능하게 한 이유는 프레임볼륨 단위로 서머리영상을 제작하기 때문이다. 이에 따라 원본영상(또는 프레임세트)에서 같은 시간(또는 같은 볼륨 또는 같은 프레임)에 등장하는 객체는 서머리영상에서도 언제나 같은 시간에 등장하게 된다. 즉, 프레임볼륨 단위의 서머리영상 제작이란 “동일 볼륨에 복수의 객체가 등장하면 이 복수의 객체는 하나의 세트로 취급되어 서머리영상에 함께 동시간대에 편입시키는 방법”이라고 정의할 수 있다.

종래기술에서는 원본영상에서 동시간대에 등장하는 객체라고 하더라도, 개별 객체 단위로 서머리영상에서의 등장시간을 재배치하기 때문에, 서머리영상에서 객체간 관련성이 저하될 수 있다.

한편, 본 발명에서는 서머리영상을 만들 때 특정 프레임볼륨을 비교판단볼륨으로 선정한 후 기편집된 서머리 가영상과의 비교를 통해 서머리영상을 갱신해 나간다. 본 발명에서는 원본영상의 시간 순서대로 프레임볼륨을 순차적으로 비교판단볼륨으로 특정해 나가는 것을 선호한다. 시간단축과 동선중복을 고려하면 다른 프레임볼륨을 먼저 서머리영상에 편입하는 것이 좋을 수도 있다. 그러나 원본영상의 시간 순서와 서머리영상의 순서가 가능한 일치하는 것이 자연스럽다. 다만, 본 발명에서 반드시 원본영상의 시간에 따른 프레임볼륨의 순서대로 서머리영상을 갱신해야 하는 것은 아니며, 시간대가 늦은 프레임볼륨을 먼저 이용하여 서머리영상을 제작해 갈 수도 있다는 점을 첨언한다.

한편, 프레임볼륨의 시간 간격은 가변할 수 있다. 프레임 볼륨 단위로 서머리영상을 만들게 되면, 동일 객체가 복수의 프레임볼륨에 걸쳐 있을 수 있고, 제작 과정에서 객체는 분할되어 앞에서의 C객체를 C1과 C2로 나누게 되므로 부자연스러운 현상이 나타날 수도 있다. 본 발명에서 프레임볼륨 단위의 비디오 서머리 알고리즘을 채택하기 때문에 이러한 현상을 용인한다. 하지만, 본 발명의 다른 예에서는 볼륨 단위의 서머리 제조라는 원칙을 깨지 않으면서 서머리영상에서의 객체의 자연스러운 출현을 보장하기 위하여, 프레임 볼륨의 시간 간격을 중간중간 조절할 수 있다. 예컨대, 도 13의 프레임세트에서 객체 C, D는 볼륨2와 볼륨3에 걸쳐 있다. 이 경우 볼륨2와 볼륨3을 통합하여 하나의 볼륨으로 형성한 후 통합된 프레임볼륨에 등장하는 C,D,E,F 객체를 하나의 세트로 설정할 수 있다. 이렇게 되면 객체가 분할되지 않으므로 서머리영상에서 자연스러운 등장이 가능하다. 로스함수를 적용하여 이렇게 볼륨을 통합할 경우 시간단축의 손해가 얼마인지를 파악해서 이를 결정할 수 있다. 또한 기설정된 시간 간격에 따른 프레임볼륨을 통합하는 것 이외에, 임의로 볼륨 사이즈를 조절하는 것으로도 위의 과정을 수행할 수 있다. 프레임볼륨의 시간 간격을 필요에 따라 임의로 조정하여 서머리영상을 갱신하고, 다시 원래의 시간간격으로 프레임볼륨을 되돌려 후속 서머리영상을 계속해서 갱신해 나갈 수 있다.

한편, 본 발명의 2가지 중요한 점 중 두번째 사항에 대하여 설명한다. 이는 앞에서 설명한 객체의 분할, 즉 C객체를 C1과 C2로 분할하는 것과 연관된 것이다. 도 14를 참고한다. 도 14에서도 앞에서 설명한 바와 같이 본 발명에 따라 볼륨1과 볼륨2 및 볼륨3을 순차적으로 편입하여 서머리영상2를 만들고 있는 중이다. 이제 볼륨4를 서머리영상2에 편입시켜야 하는 단계이다. 프레임세트에서 보면 D객체는 볼륨3과 볼륨4에 걸쳐 있고, 볼륨4에 걸친 부분을 D1이라 한다. 현재까지 만들어진 서머리영상2에서는 D객체 중 볼륨3에 등장한 부분만 포함되어 있다. 서머리영상2에서 볼륨4를 서머리영상2의 가장 하단으로 배치하는 경우 G 객체는 문제가 없지만 D1 부분이 C객체의 하단과 완전히 중복되어 버려, 객체C,D가 명확하게 구분되지 않는다. 중복도의 손해 때문에 이러한 배치가 곤란하다. 이에 따라 알고리즘은 로스함수를 계산하여 볼륨4를 다른 위치에 배치하게 되고 결과적으로 시간단축도가 저하된다.

본 발명에서는 시간단축을 위한 방안으로서 객체의 일부 삭제를 허용한다. 즉, 동일 객체가 복수의 프레임볼륨에 걸려 있고, 전체 동선에 비하여 어느 하나의 볼륨에 걸려 있는 동선이 매우 짧다면 이 부분, 즉 도 14에서 D1 부분을 삭제한다. 이렇게 되면 볼륨4에는 G객체만 남게 되고, 서머리영상1과 같이 G객체를 서머리영상의 최하단에 등장시켜 시간단축을 최대화할 수 있고 동선중복도 최소화할 수 있다. 동선이 짧다는 기준은 사용자에 의하여 설정할 수 있는데, 최대로 잡아도 객체의 전체 등장시간의 1/2 미만이 되어야 하며, 바람직하게는 1/3 이하가 바람직하다.

한 가지 유의할 사항은 삭제되는 부분의 프레임에 다른 객체가 함께 등장하지 않는 것이 바람직하다는 점이다. 본 발명의 가장 중요한 특징은 동일 프레임에 등장하는 복수의 객체는 서머리영상에서도 같이 등장하는 것이기 때문이다. 본 케이스의 경우 D1가 G객체는 같은 볼륨에 있지만 프레임 단위로는 함께 등장하지 않기 때문에 D1을 삭제하는 것이 가능하다. 다만, 시간단축을 위해서는 동일 프레임에 복수의 객체가 등장하는 경우에는 특별한 예외를 통해 객체 삭제가 가능하다. 예컨대, 두 개의 객체가 같은 프레임에 등장하지만 소정 거리 이내로 접근하지 않는 경우, 또는 삭제하고자 하는 대상의 등장시간이 시간이 매우 짧은 경우 등 객체간 이벤트가 일어날 확률이 적은 경우라면 객체의 일부를 삭제하는 것을 허용하여 시간단축을 최대화할 수 있다.

지금까지 프레임볼륨 단위로 서머리영상을 생성하는 과정에 대하여 설명하였으며, 프레임볼륨을 서머리영상에 편입할 때 어느 시간에 편입할 것인지에 대하여 현상을 중심으로 설명하였다.

본 발명은 상기한 알고리즘을 수행하도록 되어 있는 소프트웨어가 컴퓨터에 탑재되어, 컴퓨터에 의하여 구현된다. 그리고 시간단축도와 동선중복도를 비교판단 하는 것 역시 컴퓨터 알고리즘에 의하여 이루어지며, 이는 앞에서 언급한 로스함수에 의하여 수행된다.

이상에서 설명한 바와 같이, 본 발명에서는 원본영상을 짧은 시간의 서머리영상으로 생성하는 방법을 제공한다. 본 발명에서는 원본영상에서 동적객체가 등장하는 프레임만을 선별하여 프레임세트를 만들고, 프레임세트를 일정 시간 단위로 분할하여 프레임볼륨을 만든다. 본 발명의 중요한 특징은 프레임볼륨(넓게는 원본영상)에 함께 등장하는 복수의 객체는 서머리영상에서도 함께 등장하도록 하여, 이벤트가 발생시 객체간 관련성을 용이하게 파악할 수 있다.

또한 서머리영상에서도 객체의 등장이 가능한 원본영상과 일치하도록 하여 서머리영상이 자연스러워지며, 사용자의 인지적 불편함을 해소할 수 있다.

또한 본 발명에서는 객체의 일부 삭제를 허용함으로써, 기존에 객체를 분할하여 동시간에 동일 객체가 중복 출현하는 부자연스러움 및 사용자의 인지적 불편함을 해소하여 품질이 향상된다는 이점이 있다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (6)

1. (a)복수의 프레임으로 이루어진 비디오 원본영상에 등장하는 복수의 움직이는 객체를 탐지하여, 상기 객체의 프레임 내 위치 및 크기를 포함하는 객체정보를 생성하는 단계;
   (b)복수의 프레임에 등장하는 객체들 중 동일성이 인정되는 객체에 대하여 동일 ID를 부여하는 단계;
   (c)상기 원본영상에서 상기 객체들이 등장하는 프레임만을 선별하여 프레임세트를 생성하는 단계;
   (d)기설정된 시간 간격으로 상기 프레임세트를 분할하여 복수의 프레임으로 이루어진 프레임볼륨을 형성하는 단계;
   (e)상기 프레임볼륨을 조합하여 상기 원본영상보다 재생 시간이 짧은 비디오 서머리 영상을 생성하는 단계;를 포함하며,
   상기 서머리 영상을 생성하는 단계는,
   상기 복수의 프레임볼륨 중 어느 하나의 프레임볼륨을 서머리 가영상에 편입하고, 나머지 프레임볼륨들을 일정한 순서에 따라 상기 가영상에 순차적으로 편입하여 상기 서머리 가영상을 점진적으로 늘려서 최종 서머리 영상을 만들되,
   상기 프레임볼륨을 기작성된 서머리 가영상에 편입할 때 상기 프레임볼륨과 서머리 가영상에 등장하는 객체간 동선의 중복도를 비교판단하여, 상기 각 프레임볼륨이 상기 서머리 가영상에 편입되는 시간을 결정하며,
   상기 서머리 가영상에서 상기 복수의 프레임볼륨이 상기 서머리 가영상에 편입되는 시간을 서로 중첩되게 함으로써, 상기 원본영상에서 서로 다른 시간대에 등장한 객체가 상기 서머리 가영상에서는 동일 시간대에 함께 등장하는 것을 특징으로 하는 비디오 서머리방법.
2. 삭제
3. 제1항에 있어서,
   상기 서머리 영상을 생성할 때,
   상기 복수의 프레임볼륨을 상기 원본영상의 시간 순서에 따라 나열한 후, 첫 번쩨 프레임볼륨부터 마지막 프레임볼륨까지 순차적으로 상기 서머리 가영상에 편입해 나가는 것을 특징으로 하는 비디오 서머리방법.
4. 제1항에 있어서,
   상기 객체가 복수의 프레임볼륨에 걸쳐서 등장하되, 복수의 프레임볼륨 중 어느 프레임볼륨에서 등장하는 시간이 전체 등장시간에 비하여 소정 비율 이하로 짧게 등장하는 경우 해당 프레임볼륨으로부터 객체를 삭제한 후 상기 서머리 가영상에 편입하는 것을 특징으로 하는 비디오 서머리방법.
5. 제1항에 있어서,
   상기 서머리 영상을 생성하는 과정에서 기설정된 시간 간격에 따른 상기 프레임볼륨을 상기 서머리 가영상에 편입하되,
   일시적으로 상기 프레임세트의 단위 볼륨의 시간 간격을 기설정된 시간 간격보다 더 길거나 짧게 가변시키는 것을 특징으로 하는 비디오 서머리방법.
6. 제1항에 있어서,
   상기 원본영상의 동일한 프레임에 등장하는 복수의 객체는 상기 서머리 영상에서도 동일한 프레임에 함께 등장하는 것을 특징으로 하는 비디오 서머리방법.
   

Images