KR100405818B1

KR100405818B1 - 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법

Info

Publication number: KR100405818B1
Application number: KR10-2000-0050415A
Authority: KR
Inventors: 권용무; 김익재; 송창준
Original assignee: 한국과학기술연구원
Priority date: 2000-08-29
Filing date: 2000-08-29
Publication date: 2003-11-14
Also published as: KR20020017216A

Abstract

본 발명은 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법에 관한 것으로, 더욱 자세하게는 비디오 씬 분할 시 칼라특징뿐만 아니라 모션특징을 같이 이용하는 비디오 씬 분할방법에 관한 것이다.

본 발명은 MPEG비디오신호가 입력되면, 샷의 급격한 분포와 점진적인 분포를 경계로 하여 샷의 경계를 검출한다. 상기 검출된 샷의 특성을 추출하기 위하여 샷의 칼라 특징 추출 및 칼라유사도를 측정하고, 또한, 샷의 모션 특징 추출 및 모션유사도를 추출한다. 상기 추출된 칼라 및 모션 특징을 통해 구한 샷 간의 유사도에 칼라 및 모션에 대해 적응적으로 가중치를 적용하고, 상기 적응적 가중치를 적용받고 IOL(IMPROVED OVERLAPPING LINKS)기법을 이용하여 씬을 분할하는 샷 클러스터링과정을 거쳐(S400B), 씬의 과다분할현상을 보상해주는 후처리과정을 거친다.

본 발명은 샷 내의 칼라분포 변화 정도에 비례하는 대표프레임의 추출로, 처음과 마지막 프레임을 대표프레임으로 이용한 기존의 방법에 비해 칼라유사도 비교시 샷 내의 다양한 칼라 분포를 충실히 반영할 수 있는 효과가 있다.

Description

칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법{METHOD OF VIDEO SCENE SEGMENTATION BASED ON COLOR AND MOTION FEATURES}

동영상데이터의 급격한 증가와 더불어 비디오 구조화 및 특징추출 알고리즘에 대한 연구가 많이 이루어지고 있다. 기존의 비디오 구조화는 주로 비디오 시퀀스에 대해 우선 샷 경계검출을 하고, 각각의 샷 내에서 대표프레임을 추출한다. 이 때 각 샷의 내용은 대표프레임으로 나타낸다. 여기에 각 샷의 대표프레임을 이용해서 칼라 히스토그램과 같은 특징을 바탕으로 유사한 샷끼리 묶어서 샷 그룹추출을 하여 사용자로 하여금 비디오의 내용을 알 수 있도록 한다.

그러나, 위와 같은 샷 또는 샷 그룹 레벨의 비디오 구조화로는 비디오 내의 사건이나 의미를 충분히 반영하지 못하는 단점이 있고, 기존의 씬 분할은 칼라특징만을 이용하기 때문에, 특히 비디오내의 화면 진행이 빠르게 일어나는 동적인 구간에서는 실제 하나의 씬이 여러 씬으로 나뉘는 씬 과다분할현상이 일어나서 좋지 않으며, 또한, 모든 샷 시퀀스에 대해서 유사도를 측정하기 때문에 적용시에 많은 시간이 요구되는 단점이 있다.

상기와 같은 문제점을 해결하기 위해 안출된 본 발명은, 비디오 씬 분할 시 칼라특징 뿐만 아니라 모션특징을 복합적으로 적용함으로써 비디오 내의 의미를 보다 정확하게 반영하고, 씬 과다분할현상을 감소시키는 데에 그 목적이 있다.

본 발명의 다른 목적은 비디오 씬 분할 시 IMPROVED OVERLAPPING LINK(IOL)기법을 이용하여 연산시간을 단축시키는 데에 있다.

본 발명의 또 다른 목적은, 샷과 씬의 계층적 구조를 추출하여 비디오 브라우징 및 검색에 이용할 수 있는 데에 있다.

위와 같은 목적을 달성하기 위한 본 발명은, 비디오의 컬러 및 모션 정보를 이용하여 비디오를 씬(SCENE), 샷(SHOT), 키 프레임(KEY FRAME)으로 표현함에 의해 비디오의 내용을 계층적으로 브라우징하여 볼 수 있게 하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법에 있어서, MPEG비디오신호를 입력받는 단계와, 상기 입력된 비디오신호의 샷 경계를 검출하는 단계와, 상기 샷의 칼라 특징 추출 및 칼라유사도를 측정하고, 또한, 모션 특징 추출 및 모션유사도를 측정하는 단계와, 상기 샷을 적응적 가중치를 가하여 클러스터링하는 단계 및 상기 클러스터링된 샷을 후처리하는 단계로 이루어지는 것을 특징으로 한다.

본 발명은 또한, 상기 샷의 칼라 특징 추출 및 칼라유사도를 측정하는 단계는, 하나의 샷 내에서 일정 프레임 이상의 칼라분포가 유사한 연속적인 프레임으로 구성되는 서브-샷 추출과정과, 상기 서브-샷에서 시간적인 가운데에 위치하는 대표프레임의 추출과정과, 상기 대표프레임들을 수식에 의하여 칼라유사도를 측정하는 과정을 더 포함하는 것을 특징으로 한다.

본 발명은 또한, 상기 모션 특징 추출 및 모션유사도를 측정하는 단계는, 샷 내의 P프레임 내의 매크로블록의 벡터성분을 추출하는 과정과, 상기 추출된 벡터성분을 정규화시키는 과정과, 상기 정규화된 벡터성분을 이용하여 매크로블록의 정규화된 모션크기를 구하는 과정과, 상기 정규화된 모션크기의 평균크기를 구하는 과정과, 두 샷 간의 모션유사도를 추출하는 과정을 더 포함하는 것을 특징으로 한다.

본 발명은 또한, 샷 클러스터링을 하는 단계는, IOL기법을 이용하여 유사 샷을 검색하고 씬의 경계를 분할하는 것을 더 포함하는 것을 특징으로 한다.

본 발명은 또한, 유사 샷 탐색구간의 평균모션을 구하고 이 값을 이용하여 칼라 및 모션가중치를 적용하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명은 또한, 후처리과정에서, 분할된 씬이 τ보다 적은 시간간격에 위치했는지 아닌지를 판별하여 τ보다 적은 시간간격에 위치했을 경우 이웃하는 씬과 모션유사도가 임계값보다 크면, 두 씬을 병합하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명은 또한, 서브-샷으로 분할하기 위해 기준 프레임과 비교 프레임과의 간격을 증가시키며 비교하여 두 프레임간의 비유사도가 정해진 임계값보다 커진다면 이 지점에서부터 새로운 서브-샷으로 분할하는 것을 더 포함하는 것을 특징으로 한다.

본 발명은 또한, 서브-샷 추출과정에 서브-샷 추출시간을 일정시간으로 제한함으로써, 하나의 샷 내에서 추출될 수 있는 대표프레임의 개수를 제한하는 것을 더 포함하는 것을 특징으로 한다.

도 1은 본 발명의 전체적인 구성을 일실시예로 나타낸 것이다.

도 2a는 도 1에서의 칼라특징 추출 및 칼라 유사도측정과정을 상세하게 나타낸 것이다.

도 2b는 도 1에서의 모션특징 추출 및 모션 유사도측정과정을 상세하게 나타낸 것이다.

도 3a는 도 1에서의 적응적 가중치를 구하는 과정을 상세하게 나타낸 것이다.

도 3b는 도 1에서의 샷 클러스터링과정을 상세하게 나타낸 것이다.

도 4는 도 1에서의 후처리과정을 상세하게 나타낸 것이다.

도 5는 본 발명에서의 서브-샷 추출과정을 나타낸 것이다.

도 6a 및 도 6b는 유사 샷 탐색과정을 나타낸 것으로, 6a는 종래의 OL(OVERLAPPING LINKS)기법을, 6b는 본 발명에서의 IOL(IMPROVER OVERLAPPING LINKS)기법을 나타낸 것이다.

도 7은 도 6b의 IOL기법을 이용하여 씬 분할방법을 나타낸 일실시예다.

이하 첨부된 도면을 참조로 하여 본 발명의 바람직한 실시예를 설명하면 다음과 같다.

도 1은 본 발명의 전체 구성을 일실시예로 나타낸 것이다. 도시된 바와 같이, MPEG비디오신호가 입력되면(S100), 샷의 급격한 분포와 점진적인 분포를 경계로 하여 샷의 경계를 검출한다(S200). 검출된 샷의 특성을 추출하기 위하여 샷의 칼라 특징 추출 및 칼라유사도를 측정하고(S300A), 또한, 샷의 모션 특징 추출 및 모션유사도를 추출한다(S300B). 상기 추출된 칼라 및 모션 특징을 통해 구한 샷 간의 유사도에 칼라 및 모션에 대해 적응적으로 가중치를 적용하고(S400A), 상기 적응적 가중치를 적용받고 IOL(IMPROVED OVERLAPPING LINKS)기법을 이용하여 씬을 분할하는 샷 클러스터링과정을 거쳐(S400B), 씬의 과다분할현상을 보상해주는 후처리과정(S500)을 거치는 것을 나타내었다.

도 2a는 도 1에서의 칼라 특징 및 칼라유사도를 측정하는 과정을 상세하게 나타낸 것이다. 샷 간의 칼라유사도를 측정하기 위하여 각 샷 내의 모든 프레임에 대해서 유사도를 측정하는 방법을 이용하지 않고, 각 샷의 대표프레임을 추출하여 이들간의 유사도를 측정하는 방법을 이용한다. 우선, 하나의 샷 내에서 일정 프레임 이상의 연속적인 프레임으로 구성된 칼라 분포가 유사한 그룹인 서브-샷을 추출한다(T1). 서브-샷을 추출하는 과정은 도 5에 나타내었다. 도시된 바와 같이, 하나의 샷 내에서 칼라 분포가 많이 변화할 때 각 프레임의 간격을 증가시키면서 칼라유사도가 비슷한 프레임끼리 묶어서 하나 이상의 서브-샷으로 나눈다.

즉, 하나의 샷 내에서 컬러분포가 바뀌는 경우를 고려하여 본 발명에서는 하나의 샷을 여러 개의 서브-샷으로 분할하는 방법을 제안한다. 실제 하나의 샷 내에서도 카메라 모션이나 오브젝트의 모션이 커지면 샷 내의 컬러분포도 이에 따라 많이 변화하게 된다. 기존 방법의 경우 샷 경계를 검출하기 위해서 이웃하는 프레임간의 컬러 유사도를 비교하는 방법을 사용하지만, 위와 같은 상황에서는 이웃하는 프레임간의 컬러 변화가 서서히 변화게 되어 샷 내에서 컬러 분포가 바뀌는 것을 반영할 수 없다.

본 발명에서는 서브-샷으로 분할하기 위해 기준 프레임과 비교 프레임과의 간격을 증가시키며 비교하는 방법을 제안한다. 만약에 두 프레임간의 비유사도가 정해진 임계값보다 커진다면 이 지점에서부터 새로운 서브 샷이 시작된다. 이 알고리즘의 장점은 적은 연산량을 가지고 샷 내의 컬러 분포를 충분히 반영할 수 있다는 점이다.

위와 같은 방법으로 나눠진 각 서브-샷 내에서 시간적으로 가운데에 위치해 있는 프레임을 대표프레임으로 추출한다(T2). 또한, 각 서브-샷의 최소 지속 시간T를 고려하여 하나의 샷 내에서 검출될 수 있는 대표프레임의 개수를 제한할 수 있다.

각 샷의 대표프레임의 칼라유사도는 다음의 수학식 1 및 수학식 2에 의하여 구한다(T3).

p= 1,2,.......,n:n은 샷i의 서브-샷 개수

q= 1,2,.......,m:m은 샷j의 서브-샷 개수

r _ip 는 샷i의p번째 서브-샷의 대표프레임 인덱스

r _iq 는 샷j의q번째 서브-샷의 대표프레임 인덱스

r _jp 는 샷i의p번째 서브-샷의 대표프레임 인덱스

r _jq 는 샷j의q번째 서브-샷의 대표프레임 인덱스

N _Bin : 칼라유사도 측정시 사용하는 히스토그램의 칼라 빈수

도 2b는 도 1에서의 모션 추출 및 모션 유사도측정을 상세하게 나타낸 것이다. MPEG-1동영상의 프레임 중에서 I나 P프레임과의 움직임 특징이 매크로블록 단위의 벡터형태로 저장되어 있는 P프레임으로부터 각 샷내의 모션 특징을 추출한다. 따라서, P프레임 내의 16×16매크로블록의 모션벡터를 추출하여 x, y방향에 대해 변위를 구한다(R1). 상기 변위를 16으로 나누어 정규화(NORMALIZATION)하여 -1 ∼1사이의 값을 가지게 한다(R2). 이제 각 매크로블록의 정규화된 모션의 크기를 다음 수학식 3을 이용하여 구한다(R3).

는 샷 내에 존재하는 P프레임 중에서k번째의 순방향 매크로블록의 x, y방향에 대한 정규화된 절대 변위를 의미한다.

상기의 블록모션크기를 구한 후 다음의 수학식 4를 이용해서 샷 내의 정규화된 평균 모션크기를 구한다(R4).

N _MB 는 샷 내의 순방향 매크로블록의 총 개수를 의미한다.

상기에서 구해진 평균모션크기를 이용하여 다음의 수학식 5를 통하여i,j번째의 두 샷 간의 모션유사도를 구한다(R5).

샷 간의 유사도를 구하기 위해서는 칼라와 모션 특징을 통해 구한 샷 간의 유사도에 각각 가중치를 주어야 한다. 도 7에 보이는 바와 같이 탐색구간 내에서 유사샷을 찾기 때문에 탐색구간의 특성에 따라 칼라와 모션에 가중치를 부여한다. 도 7에 대한 설명은 다음 도 3b의 설명에서 하기로 한다.

만약, 탐색구간 내의 평균모션이 크다면, 이 구간은 액션 씬과 같이 화면이 빠르게 진행되는 동적 구간이기 때문에 칼라보다는 모션에 더 큰 가중치를 주고, 반대로 탐색범위내의 평균모션이 작다면 이 구간은 정적인 구간이기 때문에 모션보다는 칼라에 더 큰 가중치를 적용해야 한다.

상기 과정은 도 3a에서 상세하게 나타내었다. 도 3a는 도 1에서의 적응적 가중치과정을 상세하게 나타낸 것이다. 도시된 바와 같이, 현재의 샷과 유사샷을 찾기 위해서 탐색구간내에 있는 샷들에 대해 다음 수학식 6을 이용해 평균모션을 구한다(M1).

여기서 I_CS는 샷 유사도 탐색 구간에서 탐색의 기준이 되는 샷의 인덱스를 의미하며, SR(SEARCH RANGE)는 I_CS로부터 탐색할 샷의 개수를 의미한다.

샷 간의 유사도는 모션유사도에 대한 가중치(W_M) 및 칼라유사도에 대한 가중치(W_C)를 이용하여 구한다. 여기서, 모션유사도에 대한 가중치(W_M)는 샷 검색범위내의 평균모션을 이용하였고(M2), 칼라유사도에 대한 가중치W_C는 1에서 모션적용가중치를 뺌으로써 자동적으로 얻을 수 있다(M3).

도 3b는 도 1에서의 샷 클러스터링과정을 상세하게 나타낸 것이다. 도시된 바와 같이, 일정 탐색구간의 처음 샷을 씬의 경계로 하여 시작하고(L1), 구간내에서 유사샷을 탐색하는데(L2), 이 과정은 도 6a와 도6b를 참조로 하여 설명하기로 한다.

도 6a는 종래의 샷 검출방법인 OL(OVERLAPPING LINKS)기법을 나타낸 것이다. 이 기법은 유사 샷 검색시 순방향으로 검색을 하기 때문에 탐색구간내에 있는 모든 샷들에 대해서 유사도를 측정해야하므로 비디오 씬 분할 시 연산시간이 길어지는 단점이 있다.

도 6b는 본 발명에서의 유사 샷 검출방법인 IOL(IMPROVED OVERLAPPING LINKS)기법을 나타내었다. 상기의 기존 OL기법에 비하여, 유사 샷 탐색구간내의 맨 마지막 샷부터 역방향으로 검색을 하므로 예를 들어 탐색구간의 마지막 샷이 유사샷일 경우 단 한번의 유사도 비교과정이 필요하므로 기존의 방법에 비하여 연산시간을 줄일 수 있다.

상기 IOL기법을 이용해 탐색구간에서부터 역 검색과정을 통해 기준 샷과 주어진 임계값을 넘는 유사샷이 최초로 발견되면(L3), 두 샷은 서로 연결 (LINK) 되고(L4), 그 유사샷으로부터 새로운 탐색구간이 설정되어 다시 유사샷을 탐색한다 (L5). 만약, 유사샷이 발견되지 않으면 그대로 씬의 경계가 정해져 씬이 분할된다(L3′).

상기의 방법을 도 7에서 상세하게 나타내었다. 도 7은 도 6b의 IOL기법을 이용하여 씬 분할방법을 나타낸 일실시예다. 도시된 바와 같이, 탐색구간의 시작 샷인 a에서부터 탐색구간의 마지막 샷부터 검색을 시작하여 a에 대한 유사샷 a′가 검색되면, a와 a′샷은 연결되고①, 다시 a′샷부터 일정의 탐색구간내에서 a′샷에 대한 유사샷이 있는지를 검색하여 씬의 경계를 확장시킨다. a′의 유사샷인 a″이 검색되었으므로 a′와 a″샷은 연결되므로 결국 a와 a′과 a″샷은 서로 연결되어 씬의 경계가 확장된다②. a″에 대한 유사샷이 더이상 나오지 않을 때에는 그 이전의 샷들로 이동하면서 유사샷을 검색한다.

a″의 이전 샷인 b는 b′와 유사하기 때문에 서로 연결되고, 비디오씬은 b′까지 확장된다. b′는 탐색구간내에서 유사샷이 없고, b′이전의 샷에 대해서도 더이상의 유사샷이 검출되지 않으므로, b′에서 씬이 분할된다③. 이와 같이 탐색구간내에서 이전 샷들에 대해서도 더 이상의 유사샷이 검출되지 않으면, 다음 샷에서부터 새로운 씬이 시작되고, 상기와 같은 알고리즘이 적용된다.

상기와 같은 씬 분할 알고리즘을 적용해 보면, τ보다 적은 시간 간격을 가지고 있는 씬이 상당수 검출된다. 이러한 씬은 유사샷 탐색구간내에서 칼라특징의 유사도가 낮기 때문에 과다분할되어 발생하게 되는데, 이러한 씬들은 이용자에게 제대로 된 내용을 전달하기 어렵다.

상기와 같은 씬 과다분할현상을 보상하기 위하여 도 4에 나타낸 후처리과정을 거치도록 하여 하나의 씬 내에 있는 샷들은 유사한 모션 특성을 지니는 것을 이용하여 이웃하는 씬과의 모션특징을 비교해서 두 씬을 병합할 수 있도록 한다.

도 4는 도 1에서의 후처리과정을 상세하게 나타낸 것이다. 구해진 각각의 씬에 대하여 도 4의 과정을 수행한다. 우선, 씬의 시간간격이 τ보다 적은지를 비교하여(N1) τ보다 크거나 같은 경우에는 후처리과정을 거칠 필요가 없으므로 종료하고(N1′), τ보다 적을 경우에는 씬의 모션특징을 구한다(N2). 각 씬의 모션 특징은 다음 식을 이용하여 구한다.

I_SS와 I_ES는 각 씬의 처음과 마지막 샷의 인덱스를 나타낸다.

상기수학식 7과 같이 구해진 씬의 모션 특징으로 서로 인접해 있는 두개의 씬간의 모션유사도를 수학식 8로 구하고 임계값과 비교하여(N3), 서로 인접해 있는 두 씬의 모션유사도가 주어진 임계값보다 작으면 씬을 병합하지 않고 종료하고(N3′), 임계값보다 크다면 두 씬은 서로 병합된다 (N4).

이렇게 짧은 씬을 병합함으로서 씬의 과다 분할현상을 줄일 수 있으며, 병합된 씬은 더욱 충실히 의미를 반영할 수 있게 된다.

본 발명은 또한, 탐색구간의 모션처리에 따른 적응적 가중치와 후처리 과정을 통해서 씬의 과다분할현상을 줄이는 효과가 있다.

본 발명은 또한, IMPROVED OVERLAPPING LINK(IOL)기법을 이용하여 기존의 방법을 사용하였을 때보다 연산시간이 훨씬 감소하는 효과가 있으며, 샷과 씬의 계층적인 구조추출은 비디오 검색 또는 브라우징에 사용될 수 있다.

Claims

MPEG 비디오 씬 분할 방법에 있어서,

비디오의 컬러 및 모션정보를 이용하여 비디오를 씬, 샷, 키프레임으로 표현하는 단계와,

비디오의 전체적인 내용을 계층적으로 브라우징하는 단계를 포함하는 컬러 및 모션 정보를 기반으로 하는 비디오 씬 분할 방법.
MPEG 비디오 씬 분할 방법에 있어서,

MPEG비디오신호를 입력받는 단계와,

상기 입력된 비디오신호의 샷 경계를 검출하는 단계와,

상기 샷의 칼라 특징 추출 및 칼라유사도를 측정하고, 또한, 모션 특징 추출 및 모션유사도를 측정하는 단계와,

상기 샷을 적응적 가중치를 가하여 클러스터링하는 단계 및

상기 클러스터링된 샷을 후처리하는 단계를 포함하는 칼라 및 모션특징을 기반으로 하는 비디오 씬 분할 방법
MPEG 비디오 씬 분할 방법에 있어서,

하나의 샷 내에서 일정 프레임이상의 칼라분포가 유사한 연속적인 프레임으로 구성되는 서브-샷 추출과정과,

상기 서브-샷에서 시간적인 가운데에 위치하는 대표프레임의 추출과정과,

상기 대표프레임들의 칼라유사도를 측정하는 과정을 포함하는 프레임에서 신호의 검색단위인 샷의 칼라 특징 추출 및 칼라 유사도를 추출하는 단계를 포함하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.
제 3항에 있어서, 서브-샷으로 분할하기 위해 기준 프레임과 비교 프레임과의 간격을 증가시키며 비교하여 두 프레임간의 비유사도가 정해진 임계값보다 커진다면 이 지점에서부터 새로운 서브-샷으로 분할하는 것을 더 포함하는 것을 특징으로 하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할방법.
제 3항에 있어서, 서브-샷 추출과정에 서브-샷 추출시간을 일정시간으로 제한함으로써, 하나의 샷 내에서 추출될 수 있는 대표프레임의 개수를 제한하는 것을 더 포함하는 것을 특징으로 하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.
제 3항에 있어서, 각 샷의 대표프레임의 칼라유사도는 다음의 수학식 1 및 2에 의하여 구해지는 것을 특징으로 하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.

p= 1,2,.......,n:n은 샷i의 서브-샷 개수

q= 1,2,.......,m:m은 샷j의 서브-샷 개수

r _ip 는 샷i의p번째 서브-샷의 대표프레임 인덱스

r _iq 는 샷j의q번째 서브-샷의 대표프레임 인덱스...[수학식 1]

r _jp 는 샷i의p번째 서브-샷의 대표프레임 인덱스

r _jq 는 샷j의q번째 서브-샷의 대표프레임 인덱스

N _Bin : 칼라유사도 측정시 사용하는 히스토그램의 칼라 빈수...[수학식 2]
MPEG 비디오 씬 분할 방법에 있어서,

샷 내의 P프레임 내의 매크로블록의 벡터성분을 추출하는 과정과,

상기 추출된 벡터성분을 정규화시키는 과정과,

상기 정규화된 벡터성분을 이용하여 매크로블록의 정규화된 모션크기를 구하는 과정과,

상기 정규화된 모션크기의 평균크기를 구하는 과정과,

두 샷 간의 유사도를 추출하는 과정을 포함하는 MPEG 동영상의 I나 P프레임과의 움직임특징이 매크로블록 단위의 벡터형태로 저장되어 있는 P프레임으로부터 각 샷내의 모션 특징 추출 및 모션유사도를 측정하는 단계를 포함하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.
제 7항에 있어서,

추출된 벡터성분을 정규화시키는 과정은, 추출된 벡터성분을 16으로 나누어 -1 ~ 1사이의 값을 가지게 하는 것을 더 포함하는 것을 특징으로 하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.
제 7항에 있어서,

정규화된 모션의 크기는

( 는 샷 내에 존재하는 P프레임 중에서k번째의 순방향 매크로블록의 x, y방향에 대한 정규화된 절대 변위를 의미)...[수학식 3]

상기의 수학식 3을 이용하여 구하고,

샷 내의 정규화된 평균모션크기는

(N _MB 는 샷 내의 순방향 매크로블록의 총 개수를 의미)...[수학식 4]

상기의 수학식 4를 이용하여 구하며,

두 샷 간의 모션유사도는

...[수학식 5]

상기의 수학식 5를 이용하여 구하는 것을 더 포함하는 것을 특징으로 하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.
MPEG 비디오 씬 분할 방법에 있어서,

IOL기법을 이용하여 유사샷을 검색하는 단계와,

씬의 경계를 분할하는 단계를 포함하는 샷 간의 유사도를 구하기 위하여 탐색구간의 특성에 따라 칼라와 모션에 가중치를 부여하는 클러스터링을 하는 단계를 포함하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.
제 10항에 있어서,

유사샷 탐색구간의 평균모션을 구하고 이 값을 이용하여 칼라 및 모션가중치를 적용하는 단계를 더 포함하는 것을 특징으로 하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.
제 11항에 있어서,

현재의 샷과 유사샷을 찾기 위해서 탐색구간내에 있는 샷들에 대해 다음의 수학식 6을 이용해 평균모션을 구하는 것을 더 포함하는 것을 특징으로 하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.

(I_CS는 샷 유사도 탐색 구간에서 탐색의 기준이 되는 샷의 인덱스를 의미, SR(SEARCH RANGE)는 I_CS로부터 탐색할 샷의 개수를 의미)...[수학식 6]
MPEG 비디오 씬 분할 방법에 있어서,

유사 샷 탐색구간내의 마지막 샷부터 역방향으로 유사 샷을 검색하여 서로 유사한 샷끼리 연결하는 과정과, 상기 유사샷이 검출되지 않으면 비디오씬이 분할되고, 탐색구간이 새로 시작되는 단계를 포함하는 프레임 내에서 유사 샷 검출방법인 IOL(IMPROVED OVERLAPPING LINKS)기법을 사용하는 것을 특징으로 하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.
MPEG 비디오 씬 분할 방법에 있어서,

분할된 씬이 τ보다 적은 시간간격에 위치했는지 아닌지를 판별하는 단계와,

상기 τ보다 적은 시간간격에 위치했을 경우 이웃하는 씬과 모션유사도가 임계값보다 크면 두 씬을 병합하는 단계를 포함하는 씬 과다분할현상을 보상하기 위한 후처리과정을 포함하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.
제 14항에 있어서,

상기 τ보다 적을 경우

(I_SS와 I_ES는 각 씬의 처음과 마지막 샷의 인덱스를 나타냄)...[수학식 7]

상기의 수학식 7를 이용하여 모션특징을 구한 후,

...[수학식 8]

상기의 수학식 8을 이용해 인접한 두 씬의 모션유사도를 구하는 것을 더 포함하는 것을 특징으로 하는 칼라 및 모션 특징을 기반으로 하는 비디오 씬 분할 방법.