KR100634671B1

KR100634671B1 - 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법

Info

Publication number: KR100634671B1
Application number: KR1019990046572A
Authority: KR
Inventors: 신의섭; 김혁만; 정민교; 김운경; 권병웅; 김선근
Original assignee: 주식회사 케이티
Priority date: 1999-08-13
Filing date: 1999-10-26
Publication date: 2006-10-13
Also published as: KR20010020091A; US6381278B1

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야

본 발명은 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.

2. 발명이 해결하고자하는 과제

본 발명은 디지털 비디오 라이브러리의 구현을 위한 자동 비디오 분석 장치 등에서 점진적 장면전환을 정확하게 검출하면서 실시간 처리가 가능한 점진적 장면경계 검출기 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

3. 발명의 해결방법의 요지

본 발명은, 외부로부터 입력되는 디지털 비디오신호의 영상 시퀀스(Sequence)를 디코딩하여 벡터화하기 위한 비디오 전처리수단; 상기 비디오 전처리수단으로부터 입력되는 영상 시퀀스의 프레임간 거리를 이용하여 영상 시퀀스의 상태를 판단하여 임시로 디졸브를 선언하고, 상기 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출하기 위한 비디오 주처리수단; 및 상기 비디오 주처리수단에 의해 임시 선언된 디졸브들 간의 간격에 따라 상기 임시 선언된 디졸브를 합병하고, 디졸브의 시작/끝 프레임 간의 거리와 구간에 따라 디졸브로 선언하기 위한 비디오 후처리수단을 포함한다.

4. 발명의 중요한 용도

본 발명은 주문형 비디오, 원격강의, 홈 쇼핑, 홈 뱅킹 등과 같이 영상을 포함하는 모든 멀티미디어 서비스에 이용됨.

점진적 장면경계 검출, 실시간 검출, 비디오 라이브러리, 영상 멀티미디어 서비스

Description

고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법{HIGH ACCURATE AND REAL TIME GRADUAL SCENE CHANGE DETECTOR AND METHOD}

도 1 은 본 발명이 적용되는 비디오 라이브러리의 일실시예 구성도.

도 2 는 도 1 의 비디오 분석 장치의 일실시예 구성도.

도 3 은 도 2 의 장면경계 검출기의 일실시예 구성도.

도 4 는 본 발명에 따른 고정밀도의 실시간 점진적 장면경계 검출기의 일실시예 구성도.

도 5 는 도 4 의 비디오 전처리기의 일실시예 상세 구성도.

도 6 은 도 4 의 비디오 주처리기의 일실시예 상세 구성도.

도 7 은 도 4 의 비디오 후처리기의 일실시예 상세 구성도.

도 8 은 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스1의 예시도.

도 9 는 도 8 의 시퀀스1에 대한 시뮬레이션 결과를 나타내는 특성도.

도 10 은 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스2의 예시도.

도 11 은 도 10 의 시퀀스2에 대한 시뮬레이션 결과를 나타내는 특성도.

도 12 는 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스3의 예시도.

도 13 은 도 12 의 시퀀스3에 대한 시뮬레이션 결과를 나타내는 특성도.

도 14는 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스4의 예시도.

도 15 는 도 14 의 시퀀스4에 대한 시뮬레이션 결과를 나타내는 특성도.

도 16 은 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스5의 예시도.

도 17 은 도 16 의 시퀀스5에 대한 시뮬레이션 결과를 나타내는 특성도.

도 18 은 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스6의 예시도.

도 19 는 도 18 의 시퀀스6에 대한 시뮬레이션 결과를 나타내는 특성도.

도 20 은 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스7의 예시도.

도 21 은 도 20 의 시퀀스7에 대한 시뮬레이션 결과를 나타내는 특성도.

도 22 는 본 발명에 따른 점진적 장면경계 검출기에 대한 광고 시퀀스의 시뮬레이션 결과를 나타내는 특성도.

도 23 은 본 발명에 따른 점진적 장면경계 검출기에 대한 선형패턴 시퀀스의 예시도.

도 24 는 본 발명에 따른 점진적 장면경계 검출기에서의 디졸브 검출 결과의 일예시도.

도 25 는 본 발명에 따른 점진적 장면경계 검출기에서 투영 영상 시퀀스에 대한 검출 결과의 예시도.

도 26 은 본 발명에 따른 점진적 장면경계 검출기에서 대각 스캔 영상 시퀀스에 대한 검출 결과의 일예시도.

* 도면의 주요 부분에 대한 부호의 설명 *

410 : 비디오 전처리기 420 : 비디오 주처리기

430 : 비디오 후처리기 510 : 비디오 디코더

520 : 비디오 벡터화기 610 : 선형 영상 예측기

620 : 제1 프레임 거리 측정기 630 : 제2 프레임 거리 측정기

640 : 가산기 650 : 신호변환 판정기

660 : 누적기 670 : 디졸브 선언 및 프레임 검출기

710 : 디졸브 합병 처리기 720 : 디졸브 선언 처리기

본 발명은 디지털 비디오 라이브러리(Library)의 구성을 위한 자동 비디오 분석 장치 등에 사용되는 점진적 장면경계 검출기 및 그 방법에 관한 것으로서, 특히 점진적 장면전환을 정확하게 검출하면서 실시간 처리가 가능한 점진적 장면경계 검출기 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

일반적으로 비디오 라이브러리는 다량의 영상 및 관련된 각종 영상 인덱싱(Indexing) 정보를 디지털 형태로 저장하여, 사용자들이 인덱싱 정보를 이용해 인터넷 등과 같은 통신망을 통해 원격지에서 필요한 영상을 검색하고, 검색한 영상을 전송받을 수 있도록 하는 시스템이다.

이와 같은 비디오 라이브러리의 개발 및 유지를 위해 필수적 도구인 자동 비디오 분석 장치는 결과로 나타나는 비디오 클립들이 인덱싱되고 비디오 데이터베이스에 저장될 수 있도록 비디오 장면경계를 정확하게 검출할 수 있어야 한다.

이에 따라, 비디오 장면경계를 검출하기 위해 종래에는, 이중 비교 접근법, 서로 떨어져 있는 프레임간의 거리측정법(difference metric)을 이용한 플래토(plateaus) 검출, 영상 분산(image variance)에서의 극소값(valleys) 검출, 그리고 비디오 편집(edit) 모델에 근거한 접근법 등을 사용하였다. 이러한 기술들은 효율성면에서 보면 세밀한 조절을 요하는 특정 파라미터나 임계값의 선택에 많이 좌우되며, 페이드-인(fade in), 페이드-아웃(fade out) 및 디졸브 등을 포함한 점진적 장면경계를 검출하지 못하는 경우가 많았다.

또한, 상기한 바와 같은 종래의 점진적 장면변환(장면전환) 검출 방법의 경우, 점진적 장면경계가 있을 경우에 이를 검출하지 못하거나, 또는 검출이 되더라도 장면경계의 구간을 명확하게 판명하지 못하는 문제점이 있었다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 점진적 장면전환을 정확하게 검출하면서 실시간 처리가 가능한 점진적 장면경계 검출기 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

또한, 본 발명은, 영상을 포함하는 멀티미디어 서비스에 필요한 비디오 라이브러리의 구현에 사용되는 자동 비디오 분석 장치의 성능을 현저히 향상시킬 수 있는 점진적 장면경계 검출기 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 다른 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 장치는, 점진적 장면전환을 검출하기 위한 점진적 장면경계 검출기에 있어서, 외부로부터 입력되는 디지털 비디오신호의 영상 시퀀스(Sequence)를 디코딩하여 벡터화하기 위한 비디오 전처리수단; 상기 비디오 전처리수단으로부터 입력되는 영상 시퀀스의 프레임간 거리를 이용하여 영상 시퀀스의 상태를 판단하여 임시로 디졸브를 선언하고, 상기 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출하기 위한 비디오 주처리수단; 및 상기 비디오 주처리수단에 의해 임시 선언된 디졸브들 간의 간격에 따라 상기 임시 선언된 디졸브를 합병하고, 디졸브의 시작/끝 프레임 간의 거리와 구간에 따라 디졸브로 선언하기 위한 비디오 후처리수단을 포함한다.

한편, 본 발명의 방법은, 점진적 장면전환을 검출하기 위한 점진적 장면경계 검출기에 적용되는 점진적 장면경계 검출 방법에 있어서, 외부로부터 입력되는 디지털 비디오신호의 영상 시퀀스(Sequence)를 디코딩하여 벡터화하는 제 1 단계; 상기 벡터화된 영상 시퀀스의 프레임간 거리를 이용하여 영상 시퀀스의 상태를 판단하여 임시로 디졸브를 선언하고, 상기 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출하는 제 2 단계; 및 상기 임시 선언한 디졸브들 간의 간격에 따라 상기 임시 선언한 디졸브를 합병하고, 디졸브의 시작/끝 프레임 간의 거리와 구간에 따라 디졸브로 선언하는 제 3 단계를 포함한다.

한편, 본 발명은, 프로세서를 구비하는 점진적 장면경계 검출기에, 외부로부터 입력되는 디지털 비디오신호의 영상 시퀀스(Sequence)를 디코딩하여 벡터화하는 제 1 기능; 상기 벡터화된 영상 시퀀스의 프레임간 거리를 이용하여 영상 시퀀스의 상태를 판단하여 임시로 디졸브를 선언하고, 상기 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출하는 제 2 기능; 및 상기 임시 선언한 디졸브들 간의 간격에 따라 상기 임시 선언한 디졸브를 합병하고, 디졸브의 시작/끝 프레임 간의 거리와 구간에 따라 디졸브로 선언하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.

도 1 은 본 발명이 적용되는 비디오 라이브러리(Library)의 일실시예 구성도로서, 비디오 분석 장치(110)와 비디오 저장 장치(120)를 포함한다.

상기와 같은 구조를 갖는 본 발명이 적용되는 비디오 라이브러리의 동작을 설명하면 다음과 같다.

비디오 분석 장치(110)는 입력 영상을 분석하여 비디오 라이브러리 구축에 필요한 각종 영상 인덱싱 정보를 추출하는 기능을 수행하여 비디오 저장 장치(120)에 저장시킨다. 여기서, 추출되는 인덱싱 정보는 영상의 장면 변화가 일어나는 프레임에 대한 정보, 비슷한 장면들에 대한 정보(예를 들어, 결합(clustering) 정보 등), 그리고 각 장면의 대표 화면에 대한 정보 등으로 이루어진다.

이때, 비디오 저장 장치(120)에는 비디오 분석 장치(110)의 분석 과정을 통해, 내용 및 각종 특성 등에 따라 그룹(group) 단위로 분류된 디지털 비디오들이 저장된다. 따라서, 사용자는 비디오 저장 장치(120)를 검색하여, 자신이 원하는 디지털 비디오를 손쉽게 구하여 활용할 수 있게 된다.

도 2 는 도 1 의 비디오 분석 장치의 일실시예 구성도로서, 장면경계 검출기(210)와 분할(Segmentation)기(220)와 결합기(Clustering)(230)와 대표영상 추출기(240)를 구비한다.

사람들이 보는 영상은 촬영한 원시 영상들을 이어 붙이고 편집효과를 주는 편집과정을 거쳐서 제작된다. 편집시에 단순히 원시 영상을 이어 붙이는 커트(cut)의 경우는 장면 변화가 한 프레임에서 갑자기 일어나므로 이러한 장면 변화를 급격한 장면 경계라 하며, 페이드-인, 페이드-아웃 및 디졸브와 같이 여러 프레임에 걸쳐 장면 변화가 일어나는 경우를 점진적 장면 경계라 하는데, 장면경계 검출기(210)는 이러한 장면 변화를 자동으로 검출해내는 기능을 수행한다.

분할기(220)는 장면경계 검출기(210)로부터 입력받은 장면전환 검출 결과를 이용하여 외부로부터 입력되는 하나의 디지털 비디오를 여러 개의 디지털 비디오 조각(segment)으로 나누어주는 기능을 수행한다.

그리고, 각 장면의 길이는 영상의 내용이 영화, 뉴스, 광고 등에 따라 편차가 심하나 일반적으로 5 내지 30초 정도의 시간을 갖는다. 이렇게 짧은 장면들을 비슷한 장면들로 묶어주면 영상을 인덱싱할 때 보다 효율적으로 인덱싱할 수 있다. 따라서, 결합기(230)는 분할기(220)에 의해 분할된 연속한 장면들 중 비슷한 장면들을 자동적으로 묶어주는 기능을 수행한다.

대표영상 추출기(240)는 결합기(230)에 의해 결합된 각 장면을 대표할 수 있는 대표화면을 자동으로 생성하는 기능을 수행한다.

도 3 은 도 2 의 장면경계 검출기의 일실시예 구성도로서, 급격한 장면경계 검출기(310)와 점진적 장면경계 검출기(320)와 카메라 움직임 검출기(330)와 특징 추출기(340)와 판정기(350)를 구비한다.

급격한 장면경계 검출기(310)는 영상 편집 효과 중 커트(cut)를 자동으로 검출하는 기능을 수행한다.

점진적 장면경계 검출기(320)는 영상 편집 효과 중 페이드-인, 페이드-아웃, 디졸브(Dissolve)를 자동으로 검출하는 기능을 수행한다.

카메라 움직임 검출기(330)는 각 장면에 사용된 카메라 움직임(즉, 패닝(panning), 줌밍(zooming) 및 틸팅(tilting) 등이 있음)을 자동으로 검출하는 기능을 수행한다.

특징 추출기(340)는 인덱싱을 수행하는 사용자(즉, 비디오 라이브러리에 영상을 입력하는 사람)가 설정한 기준에 따라 영상을 자동적으로 분류하는 기능을 수행한다. 예를 들어, 사용자가 장면을 풍경(landscape)과 클로즈업(close-up) 또는 모션(motion)이 많은 장면과 모션이 거의 없는 장면으로 분류하고자 한다면, 이에 해당하는 매개 변수(parameter)를 정의하여 이 값을 계산함으로써 자동으로 장면을 분류할 수 있다.

판정기(350)는 급격한 장면경계 검출기(310), 점진적 장면경계 검출기(320), 카메라 움직임 검출기(330) 및 특징 추출기(340)에 의해 처리된 결과들을 종합하여 최종적인 장면전환 검출 결과를 결정하는 기능을 수행한다.

다음에 설명되는 수학식들은 본 발명에 따른 점진적 장면경계 검출기의 장면경계 검출 과정에 이용된다.

먼저, i번째 "m*n" 영상(단, m 및 n은 영상의 종횡크기)을

라고 할 때, 다음의 (수학식 1)과 같은 유사한 정의를 활용하여 영상을 표현한다.

여기서, f(x,y,i)는 i번째 영상의 (x,y)좌표의 화소값을 의미한다. 그리고,

와 상응하는 히스토그램(histogram)정보 H(

)는 Bin개의 빈(bin)을 가지고 있다고 가정하고 다음의 (수학식 2)와 같은 유사한 정의를 활용한다.

여기서, H(

, k )는

(i 번째 영상)의 히스토그램의 k번째 빈(bin)의 값이다.

또한, 시간적으로 연속적인 한 장면내의 영상들의 집합인 영상 시퀀스 F와 F의 히스토그램 시퀀스 H는 다음의 (수학식 3)과 같이 표현한다.

,

여기서, i가 고정되었을 때 영상의 히스토그램(H(

,k))은 영상의 화소값(f(x,y,i ))을 독립적이며, 동일한 분포를 가지는 랜덤 넘버(independent, identically distributed Random Number)로 볼 때, 다음의 (수학식 4)에서와 같이 PMF(Probability Mass Function)의 스케일된 값으로 보인다.

또한, 이미지 히스토그램은 다음의 (수학식 5)와 같은 비선형 성질을 가지고 있다.

그리고, QS[T]는 구간 T에서의 준안정(quasi-stationary)이다. 만약, 다음의 (수학식 6)이 모든 t가 아니라, 단지 다음의 (수학식 7)과 같은 조건에 대해서만 성립할 때, 랜덤 프로세스 f(x,y,i)는 구간 T에서의 준안정이다.

노이즈 시퀀스(Noisy Sequence)는 디졸브 이외의 영상으로 간주한다.

그리고, 영상간의 거리 측정법(Pseudo Metric)은 다음 수학식들을 이용한다.

다음의 (수학식 8)과 같은 제1 거리 측정법( {

})을 통해 픽셀간 차분의 절대치를 구한다.

여기서,

은

-놈(norm)으로서, 만일

이라면, 다음의 (수학식 9)와 같이 된다.

그리고, 다음의 (수학식 10)과 같은 제2 거리 측정법(

)을 통해 히스토그램간 차분의 절대치를 구한다.

그리고, 다음의 (수학식 11)과 같은 제3 거리 측정법( {

})을 통해서는 이진 픽셀간의 배타적논리합(XOR : exclusive OR)을 구한다.

여기서, T(f (x,y,i))는 다음의 (수학식 12)와 같은 조건을 만족한다.

상기 제1 거리 측정법은 픽셀 도메인(pixel domain)에서 직접 빼준 후 절대치를 취하는 것으로서, 영상의 모션 및 영상의 밝기 변화에 민감함을 알 수 있다.

그러나, 상기 제2 거리 측정법은 영상간의 거리를 영상의 PMF 간의 거리로 재는 것으로 볼 수 있는데, 이는 상대적으로 영상의 모션에 덜 민감하며 영상의 전체적인 밝기의 변화를 잘 반영한다.

그리고, 상기 제3 거리 측정법은 영상을 그 영상의 평균값(E[f(x,y,i)])을 이용하여 이진화한 후 불일치하는 점의 수(the number of disagreement)를 합하는 방법으로 영상의 모션에는 민감하나, 전체적인 밝기(brightness) 변화에 덜 민감하다.

상기 제2 거리 측정법의 구체적인 예를 들면, 영상들간에 일정한 배경과 객체의 입출력이 없는 영상내에서 객체가 중첩되지 않는 '2차원 고정된 부분적 모션(2-D rigid local motion)'이 있을 때, 상기 (수학식 10)의

는 '0'의 값을 가지며, 점진적 장면전환과 같은 영상의 시간상에 있어서 선형 패턴의 변화에 대해서는 상기 (수학식 10)의

가 비교적 큰 값을 나타내게 된다.

또한, 상기 (수학식 10)의

는 두 영상간의 통계적 특징들 중에서 평균, 분산의 차이를 통해 대략적인 측정이 가능하며, 이는

가 '가우시안 랜덤 프로세스(gaussian random process)'일 경우 정확한 예측을 할 수 있다.

그리고, 페이드-인, 페이드-아웃 및 디졸브를 포함하는 다음의 (수학식 13)과 같은 점진적인 장면전환 시퀀스의 일반적인 모델은 다음의 (수학식 14)와 같은 형태로 표현할 수 있다.

즉, 다음의 (수학식 15) 및 (수학식 16)과 같은 시퀀스

과

는 QS[3]하고, '0'보다 크거나 같은

은 단조 감소함수, '1'보다 작거나 같은

는 단조 증가함수로서,

은 '1',

는 '0',

는 '0' 그리고

는 '1' 이다.

예를 들어, 페이드-인의 경우 다음의 (수학식 17)과 같고, 페이드-아웃인 경우 다음의 (수학식 18)과 같다.

즉, 페이드-인이나 페이드-아웃은 디졸브의 특별한 경우로 볼 수 있다. 가장 전형적인 점진적 장면전환 모델은 선형 모델로서, 다음의 (수학식 19) 및 (수학식 20)과 같다.

그러나,

과

이 선형이 아니라도 단조 감소 및 증가 함수이기 때문에, 부분적으로 선형에 가까운 모양(piece-wise linear)을 갖는다. 따라서, 이러한 부분 선형성(piece-wise linearity)에 근거하여 점진적 장면전환 중인 시퀀스의 한 영상

에 대해서 모션에 대한 악영향과 계산량을 가장 줄이는 벡터화된 선형 예측 DC(Direct Current) 영상

는 다음의 (수학식 21)과 같다.

, ( or )

즉, 벡터화된 선형 예측 DC(Direct Current) 영상

는 다음의 (수학식 22)와 같이 표현된다.

여기서, 라운드(round)는 반올림 과정이다. 그리고,

를 일반적 영상간 거리 측정법으로 볼 때, 아래의 (수학식 23)은 양측으로부터 계산된 영상인

의 예측 영상

와

간의 거리가 거의 '0'임을 뜻한다. 여기서,

의 예측 영상

는 다음의 (수학식 24)와 같다.

의 예측 영상 =

이와 유사하게 1차와 2차 미분을 이용하는 점진적 장면전환 검출법에서는 상기 (수학식 14)의 모델을 바탕으로 상기

을 이용하여 다음의 (수학식 25)와 같은 식을 유도한다.

또한, 점진적 영상전환 구간에 상기 (수학식 26)의

가 상대적으로 상기 (수학식25)의

보다 크다는 사실에 근거하여 점진적 장면전환을 검출한다.

여기서, 상기한 바와 같은 논리로 상기 (수학식 24) 및 상기 (수학식 25)가 과연 다른 넌디졸브(Nondissolve) 시퀀스(QS[3])에서도 상대적으로 충분한 분별력이 있는가를 거리 측정법(즉,

및

) 위주로 보이고, 그 우위성을 수학적으로 검증하며, 검증한 사실을 토대로 점진적인 장면전환 검출 알고리즘을 설명한다.

그리고, 영상 시퀀스에서의 거리 측정법에 대하여 살펴보면, 상기 (수학식 24)를 이하에서는 두 가지 거리 측정법(즉,

및

)을 이용하여 넌디졸브 및 점진적인 영상전환 시퀀스에서 비교하고자 한다.

먼저, 개략적으로 1차 미분(

)과 2차 미분(

)은 각각 다음의 (수학식 27) 및 (수학식 28)과 같이 쓸 수 있다.

다음의 (수학식 29)와 (수학식 30)을 이용해 상기{

}과 상기 {

}를 비교한다.

상기 (수학식 29)에서

의 삼각부등식(triangular inequality)으로부터 1차 미분과 2차 미분의 상대적인 비교는 넌디졸브 시퀀스 하에서 분별력이 떨어짐을 알 수 있다. 그러나, 상기 (수학식 30)에서

는 크기(norm)가 아니므로 삼각부등식이 성립하지 않는다. 그러면, 다음 수학식들을 통해

의 특성과 몇 가지 정의를 내린다.

여기서, 상기 (수학식 31)의 M(i)는 시퀀스에서 영상간

거리이며, 상기 (수학식 32)의 N(i)는 예측된 프레임

와

간의

거리이다. 전술한 바와 같이,

는 영상들의 통계적 성질중 평균과 분산의 차이를 통해 대략적인 측정이 가능하다. 마지막으로, 상기 (수학식 33)의 Q(i)는 M(i)와 N(i)의 차이값으로 이는 동영상의 상태(즉, 디졸브 및 넌디졸브(QS[3]))를 반영한다.

첫째, 움직임이 없는 시퀀스 또는 물체 움직임과 카메라 움직임을 가진 시퀀스(넌디졸브(QS[3]))에 대하여 다음의 (수학식 34)를 통해 살펴볼 때, 만일 움직임을 가진 시퀀스 F가 평균이

, 분산이

인 QS[3]라고 가정하면, 다음과 같이 나타난다.

먼저, 영상 시퀀스가 영상내 모션이 없을 경우(즉, 정지 영상 시퀀스인 경우) 상기 (수학식 29) 및 (수학식 30)에서와 같이 통계적 성질이 일치하므로, 다음의 (수학식 35)와 (수학식 36)이 되며, 영상 내 모션 및 카메라 모션이 있을 경우(즉, 줌(zoom), 팬(pan) 및 틸트(tilt) 등이 있음)에는,

의 PMF 또는 히스토그램은 부분적으로(즉, 3프레임 동안

) 거의 일정하게 보이게 된다. 이때, M(i)는 프레임들의 평균과 분산이 거의 같기 때문에 '0'에 가까운데 반해 N(i)는 극단적인 경우로서, 급격한 장면경계를 가진 시퀀스의 경우와 같이 명암(intensity) 성분이 유지되면서 모든 픽셀의 랜덤한 움직임이 있을 때, f(x,y,i-1 )과 f(x,y,i+1)이 비상관(uncorrelated)되게 보이면

의 히스토그램과 f_i의 히스토그램의 분산의 차이가 커져 N(i)가 '0'보다 매우 크듯이 N(i)값은 일반적으로

의 히스토그램과

의 히스토그램의 분산 차이로 인해 상대적으로 M(i)에 비해 크게 되어 다음의 (수학식 37)이 성립된다.

즉, 상기 (수학식 35)는 다음의 (수학식 36)과 같다.

둘째, 급격한 장면경계를 가진 시퀀스에 대하여 살펴볼 경우, 만일

가 F 내의 급격한 장면경계이고, 움직임이 있는 부시퀀스 1

과 움직임이 있는 부시퀀스 2

각각의 부시퀀스가 QS[3]일 때는 다음의 (수학식 38)과 같이 표현된다.

,

셋째, 디졸브가 있는 시퀀스에 대하여 살펴볼 경우, 만일 움직임이 있는 시퀀스

이

및

를 가진 QS[3]이고, 움직임이 있는 시퀀스

가

및

를 가진 QS[3]일 때, F가

과

의 디졸브 시퀀스라고 가정하면, 다음의 (수학식 39)와 같이 표현된다.

상기 세 번째 사례의 경우에서와 같이 상기 (수학식 14)의 선형 모델을 바탕으로 한 벡터화된 선형 예측 DC 영상

는 상기 (수학식 24)에서 표현되듯이

와의 거리 N(i)가 거의 '0'인데 반해 히스토그램

와

의 거리 M(i)는 상대적으로 N(i)보다 크다는 사실을 반영하고 있다.

그리고, 상기 (수학식 34)와 (수학식 39)를 이용하여 ML(Maximum Likelihood) 검출에 준하는 논리에 근거하여 다음의 (수학식 40)과 같은 즉각적인 디졸브 검출 방법(Instantaneous Dissolve Detection Rule)을 유도할 수 있다. 가정(Hypotheses)은 디졸브 시퀀스와 넌디졸브의 두가지를 이용한다. 이때, QS[3] 시퀀스(넌디졸브)는

, 그리고 디졸브 시퀀스는

로 가정한다.

Q(i) 0

상기 (수학식 40)은 Q(i)가 '0'보다 크면 디졸브로, '0'보다 작으면 넌디졸브로 판단하는 즉각적인 검출 방법이다. 이러한, Q(i)를 이용한 확률적인 근사치는

에 비해 상대적으로

가 넌디졸브 시퀀스와 디졸브 시퀀스에서도 상당한 분별력을 가지고 있으며, 이를 바꿔 말하면 디졸브와 넌디졸브 간의 조건부 확률의 분포를 떨어뜨려서 에러 확률을 줄일 수 있다. 이러한, 논리를 토대로 Q값의 순간적인 부호 및 크기를 확인함으로써, i번째 영상의 상태를 짐작할 수 있다. 그러나, 실제로는 다음의 (수학식 41)과 같은 조건 때문에, 즉 넌디졸브가 일어날 확률이 디졸브가 일어날 확률보다 훨씬 크나 ML 검출 방법에서의 다음의 (수학식 42)와 같은 가정으로 인한 에러 확률이 높다는 것을 감안할 때, 다음의 다양성(diversity)을 도모하는 Q값의 연속패턴을 반영한 MAP(Maximum Aposteriori)형 D(i)와 후처리 과정이 필연적이다.

또한, 상기한 급격한 장면경계를 가진 시퀀스 경우에서는 급격한 장면경계에서 Q값이 음방향 최고치(negative peak)에서 양방향 최고치(positive peak)로 순간적으로 급격히 변함을 알 수 있는데, 이는 Q값의 미분값이 급격한 장면경계 검출에 이용될 수 있음을 의미한다.

도 4 는 본 발명에 따른 고정밀도의 실시간 점진적 장면경계 검출기의 일실시예 구성도로서, 비디오 전처리기(410)와 비디오 주처리기(420)와 비디오 후처리기(430)를 구비한다.

비디오 전처리기(410)는 외부로부터 입력되는 디지털 비디오의 DC 영상 시퀀스를 부분적으로 디코딩한 후, 디코딩한 DC 영상을 벡터 형태로 만들어 비디오 주처리기(420)로 출력한다. 또는, 비디오 전처리기(410)는 디코딩한 DC 영상을 축소시킨 후, 벡터 형태로 만들어 비디오 주처리기(420)로 출력한다.

비디오 주처리기(420)는 비디오 전처리기(410)에 의해 벡터화된 DC 영상을 입력받아, 임시로 디졸브를 선언하고, 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출한다. 여기서, 비디오 주처리기(420)는 벡터화된 DC 영상의 전체 프레임중에서 임시 선언한 디졸브의 시작 프레임과 끝 프레임이 존재하는 위치를 검출하는 것이다.

이와 같이, 임시 선언된 디졸브와 임시 선언된 디졸브의 시작 프레임 위치와 끝 프레임 위치 검출값은 비디오 후처리기(430)로 전달된다.

비디오 후처리기(430)는 비디오 주처리기(420)에서 임시 선언된 디졸브들 간의 간격이 결합 임계치(

)보다 작은지를 확인하여, 작으면 작은 간격들을 갖는 디졸브들을 하나의 디졸브로 선언한다.

이와 같이, 하나의 디졸브로 선언한 후, 비디오 후처리기(430)는 하나로 선언한 디졸브의 시작 프레임과 끝 프레임 간의 거리가 거리 임계치(

)보다 큰지를 확인하고, 크면 전체 프레임에서 하나로 선언된 디졸브의 시작 프레임 위치와 끝 프레임 위치 간의 거리가 지속구간 임계치(

)보다 큰지를 확인하여, 크면 디졸브로 선언한다. 이와 같은, 조건을 만족하지 않으면, 비디오 후처리기(430)는 하나로 선언된 디졸브를 디졸브로 선언하지 않는다.

만일, 비디오 주처리기(420)에서 임시 선언된 디졸브들 간의 간격이 결합 임계치(

)보다 작지 않으면, 비디오 주처리기(420)에서 임시 선언된 디졸브의 시작 프레임과 끝 프레임 간의 거리가 거리 임계치(

)보다 큰지를 확인하고, 크면 전체 프레임에서 임시 선언된 디졸브의 시작 프레임 위치와 끝 프레임 위치 간의 거리가 지속구간 임계치(

)보다 큰지를 확인하여, 크면 디졸브로 선언한다. 마찬가지로, 이 조건들이 만족되지 못하면, 비디오 후처리기(430)는 임시 선언된 디졸브를 디졸브로 선언하지 않는다.

여기서, 거리 임계치(

)는 하나로 선언된 디졸브나 임시 선언된 디졸브의 시작 프레임과 끝 프레임 간의 거리가 충분히 큰지를 판단하기 위한 기준값 이다. 이러한, 조건이 만족된 상태에서 디졸브 선언을 위해 이용되는 지속구간 임계치(

)는, 하나로 선언된 디졸브나 임시 선언된 디졸브의 시작 프레임 위치와 끝 프레임 위치 간의 거리가 전체 프레임에서 충분히 큰 구간을 차지하고 있는지를 판단하기 위한 기준값이다.

도 5 는 도 4 의 비디오 전처리기의 일실시예 상세 구성도로서, 비디오 디코더(510)와 비디오 벡터화기(520)를 구비한다.

비디오 디코더(510)는 외부로부터 입력되는 디지털 비디오(예를 들어, 엠펙(MPEG), 엠제이펙(MJPEG) 및 비디오 스트림 등이 있음)의 DC 영상 시퀀스를 부분적으로 디코딩(

)하여 비디오 벡터화기(520)로 출력한다. 이는, 디지털 비디오를 장면경계 검출에 이용할 수 있도록, 압축된 비디오의 포맷을 변환시키는 것으로서, 즉 압축을 푸는 것이다.

비디오 벡터화기(520)는 디코딩된 DC 영상 중 해당 DC 영상을 벡터화하여 비디오 주처리기(420)로 전달하거나, 또는 디코딩된 DC 영상을 x방향 및 y방향으로 투영하거나 대각선 방향으로 서브샘플링(subsampling)하여 데이터를 축소시킨 후, 벡터화를 수행한다.

벡터화 과정을 구체적으로 살펴보면, 먼저 투영은 압축 도메인(즉, DC 영상 시퀀스)의 각 영상을 x방향 또는 y방향(즉, 수직방향 임)을 따라 합해서 평균을 내면 1열의 열 벡터를 추출할 수 있다.

예를 들어, y방향에 따른 투영을 구체적으로 표현하면, 다음의 (수학식 43) 과 같이 표현된다.

또한, x방향에 따른 투영도 이와 유사하다. 여기서, round는 반올림 과정으로 p(x,i)를 정수로 만들어 주며, m과 n은 화면의 가로와 세로의 크기이다.

그리고, 열벡터

는 다음의 (수학식 44)와 같이 표현할 수 있다.

이 열 벡터는 일종의 투영된 영상으로 볼 수 있는데, 이러한 투영된 영상은 원래 동영상(3차원 데이터)의 특성(예를 들어, 개략적인 색상 정보 및 영상의 모션, 급격한 장면전환, 점진적인 장면전환 등이 있음)이 잘 유지되며, 투사 영상 열 벡터들을 붙여서 하나의 행렬(2차원 영상) 즉, 이미지(띠 영상)로 보게 되면 그 동영상의 특성이 시각적으로 잘 보이게 된다. 이런 투영된 영상을 이용하면 알고리즘 의 계산 시간과 메모리를 '1/n'에 가깝게 줄여서 훨씬 빠르게 계산이 가능하다.

이와 유사하게, DC 영상의 대각선 성분만을 서브샘플링(subsampling)하여 한 영상 당 하나의 열 벡터로 만든 대각 스캔 영상(Visual Rhythm)은, 상기한 바와 같은 투사 영상 시퀀스의 이점인 3차원 비디오의 특성이 2차원 영상으로 잘 나타날 뿐만 아니라 디코딩 시간을 약 '1/n'로 대폭 줄여서 더욱 빠르게 연산이 가능하나, 그 만큼 원래의 동영상 정보는 잃어버리게 된다.

도 6 은 도 4 의 비디오 주처리기의 일실시예 상세 구성도이다.

도 6 에 도시된 바와 같이, 상기 도 4 의 비디오 주처리기는, 벡터화된 DC 영상의 f_i-1과 f_i+1을 이용하여 f_i와 가장 가까운 거리에 있는 영상의 프레임

를 예측하는 선형 영상 예측기(610)와, 선형 영상 예측기(610)에서 지연된 f_i 를 입력받아 프레임 f_i-1과 f_i 간의 거리를 측정하는 제1 프레임 거리 측정기(620)와, 선형 영상 예측기(610)에 의해 선형 예측된

를 입력받아 프레임 f_i-1과 f_i+1 간의 거리를 측정하는 제2 프레임 거리 측정기(630)와, 제1 및 제2 프레임 거리 측정기(620, 630)에 의해 측정된 거리값 M(i)와 N(i)의 차이를 계산하기 위한 가산기(640)와, 급격한 장면경계 검출기(310)의 급격한 장면경계 검출 여부에 따라, 가산기(640)의 차이값 Q(i)를 그대로 출력할 것인지 아니면 '0'으로 만들어 출력할 것인지를 판단하는 신호변환 판정기(650)와, 신호변환 판정기(650)로부터 출력되는 차이값 Q(i)를 누적하는 누적기(660)와, 누적기(660)의 누적값 D(i)를 입력받아 임시 디졸브를 선언하고, 선언한 임시 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출하는 디졸브 선언 및 프레임 검출기(670)를 구비한다.

상기 선형 영상 예측기(610)는, DC 영상 시퀀스의 프레임을 일정시간 지연하기 위한 지연기(611)와, 지연기(611)에 의해 지연된 프레임을 일정시간 다시 지연하기 위한 지연기(612)와, 벡터화된 DC 영상의 f_i+1과 지연기(612)에 의해 지연되어 전달되는 f_i-1을 가산하기 위한 가산기(613)와, 가산기(613)의 가산값과 입력되는 '1/2'을 승산하기 위한 승산기(614)를 구비한다.

상기 제1 프레임 거리 측정기(620)는, 선형 영상 예측기(610)의 지연기(611)에 의해 지연되어 전달되는 f_i를 입력받아 히스토그램 정보를 벡터 형태로 추출하는 히스토그램 정보 추출기(621)와, 히스토그램 정보 추출기(621)에 의해 추출된 히스토그램 정보를 일정시간 지연하기 위한 지연기(622)와, 히스토그램 정보 추출기(621)에 의해 추출된 히스토그램 정보 H(f_i)와 지연기(622)에 의해 지연되어 전달되는 H(f_i-1) 간의 벡터 거리를 측정하기 위한 벡터 거리 측정기(623)를 구비한다.

상기 제2 프레임 거리 측정기(630)는, 선형 영상 예측기(610)의 승산기(614)로부터 선형 예측된

를 입력받아 히스토그램 정보 H(

)를 추출하기 위한 히스토그램 정보 추출기(631)와, 히스토그램 정보 추출기(631)에 의해 추출된 히스토그램 정보 H()와 제1 프레임 거리 측정기(620)의 히스토그램 정보 추출기(621)에 의해 추출된 히스토그램 정보 H(f_i)를 입력받아 벡터 간의 거리를 측정하기 위한 벡터 거리 측정기(632)를 구비한다.

상기 누적기(660)는, 신호변환 판정기(650)의 출력값을 '0'이나 '1'로 판정하여 출력하는 수치 판정기(661)와, 신호변환 판정기(650)의 출력값과 궤환되는 누적값 D(i-1)를 가산하기 위한 가산기(662)와, 수치 판정기(661)에 의해 판정된 수치와 가산기(662)의 가산값을 승산하여 누적값 D(i)를 출력하는 승산기(663)와, 승산기(663)에 의해 승산된 누적값을 일정시간 지연하여 지연한 누적값 D(i-1)를 가산기(662)로 전달하는 지연기(664)를 구비한다. 여기서, 신호변환 판정기(650)로부터 '0'이 출력되면, 누적기(660)는 '0'을 출력하게 된다.

그리고, 급격한 장면경계 검출기(310)에 의해 급격한 장면경계가 검출되지 않으면, 신호변환 판정기(650)는 가산기(640)의 차이값 Q(i)를 그대로 누적기(660)로 전달하게 되고, 이어 누적기(660)는 차이값 Q(i)를 누적하여 디졸브 선언 및 프레임 검출기(670)로 출력한다.

이렇게, 누적기(660)에 의해 차이값 Q(i)가 누적되면, 디졸브 선언 및 프레임 검출기(670)는 누적값 D(i)를 입력받아 임시 디졸브를 선언하고, 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출한다.

이때, 디졸브 선언 및 프레임 검출기(670)는 누적값 D(i)들 중에서 '0'보다 큰 구간내에 있는 누적값 D(i)의 최대값이 구간 임계치(Th_CLD)보다 큰지를 확인하여, 구간 임계치(Th_CLD)보다 큰 누적값 D(i)를 찾아내고, 찾아낸 이 누적값 D(i)의 구간이 연속 임계치(Th_con)보다 큰지를 확인한다. 이때, 큰 것으로 확인되면, 임시 디졸브로 선언하고, 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치 SD(j)를 검출한다. 이와 같은, 조건을 만족하지 못하면, 디졸브 선언 및 프레임 검출기(670)는 임시 디졸브를 선언하지 않는다.

만일, 급격한 장면경계 검출기(310)에 의해 급격한 장면경계가 검출되면, 신호변환 판정기(650)는 가산기(640)의 차이값 Q(i)를 '0'으로 변환시켜 누적기(660)로 전달하게 되고, 이어 누적기(660)는 '0'을 디졸브 선언 및 프레임 검출기(670)로 출력한다. 이에 따라, 디졸브 선언 및 프레임 검출기(670)는 임시 디졸브를 선언하지 못하게 된다.

전술한 바와 같이, 급격한 장면경계일 때는 디졸브 선언에 착오가 있을 수 있기 때문에, 가산기(640)의 차이값 Q(i)를 '0'으로 만들어줌으로써, 임시 디졸브의 선언을 방지하는 것이다. 즉, 오검출(false-alarm)을 줄이는 데 도움을 준다.

한편, 급격한 장면경계 검출기(310)는 제1 프레임 거리 측정기(620)의 측정값 M(i)와 가산기(640)의 차이값 Q(i)를 입력받아 급격한 장면경계를 검출하게 된다.

일반적으로, 점진적 장면전환은 순간적인 Q값을 보고 판단하기보다는 일반적으로 디졸브의 구간(N)이 약 4 내지 5 프레임 이상의 길이를 갖는 연속성 때문에, Q값의 연속적인 값(즉, 점진적인 장면전환 중 연속적인 양 값의 패턴)을 관찰함으로써 오검출(false-alarm)을 줄일 수 있다. 따라서, 점진적 장면전환의 연속성 및 그 가능성을 보기 위해 누적값 D(i)를 다음의 (수학식 45)와 같이 정의한다.

여기서, S(i)는 다음의 (수학식 46)의 조건을 만족한다.

,

이와 같은 조건을 갖는 누적기(660)의 누적값 D(i) 함수는 점진적 장면전환에서 크게 두 가지 패턴을 보이는데, 먼저 Q(i)의 연속적인 양의 값이 충분히 길면, 이는 D(i)에서 부분적인(local) 길이가 있는 단조 증가함수로 나타나며, 또한 D(i)의 부분적인 최대치(Local Maximum)가 충분히 클 때 잠정적인 점진적 장면전환(예를 들어, j번째 임시 선언된(Suspected) 디졸브 SD(j))으로 선언한다.

즉, D(i)의 부분적인 최대치가 구간 임계치(Th_CLD)보다 크면서, 또한 Q(i)의 부분적인 길이가 D(i)의 부분적인 길이와는 같고 연속 임계치(Th_con)보다는 클 때, 순차적으로 j번째 잠정적 장면전환은 Q(i)의 연속 양의 값의 시작 프레임을 임시 선언된 디졸브의 시작 프레임으로, Q(i)의 연속 양의 값의 끝 프레임을 임시 선언된 디졸브의 끝 프레임으로 결정한다. 이는 다음의 (수학식 47)과 같이 표현된다.

여기서,

는 j번째 임시 선언된 디졸브의 시작 프레임 위치이고, SD(j,"end")는 j번째 임시 선언된 디졸브의 끝 프레임 위치이다.

도 7 은 도 4 의 비디오 후처리기의 일실시예 상세 구성도로서, 디졸브 합병 처리기(710)와 디졸브 선언 처리기(720)를 구비한다.

디졸브 합병 처리기(710)는 비디오 주처리기(420)에서 임시 선언된 디졸브들 간의 간격이 결합 임계치(

)보다 작은지를 확인하여, 작으면 작은 간격들을 갖는 디졸브들을 하나의 디졸브로 합병한다.

디졸브 선언 처리기(720)는 디졸브 합병 처리기(710)에 의해 하나의 디졸브로 합병된 디졸브의 시작 프레임과 끝 프레임 간의 거리가 거리 임계치(

)보다 큰지를 확인하여, 크면 전체 프레임에서 하나로 선언된 디졸브의 시작 프레임 위치와 끝 프레임 위치 간의 거리가 지속구간 임계치(

)보다 큰지를 확인하여, 크면 디졸브로 선언한다. 이와 같은, 조건을 만족하지 않으면, 디졸브 선언 처리기(720)는 디졸브 합병 처리기(710)에 의해 하나로 합병된 디졸브를 디졸브로 선언하지 않는다.

만일, 비디오 주처리기(420)에서 임시 선언된 디졸브들 간의 간격이 결합 임 계치(

)보다 작지 않으면, 디졸브 합병 처리기(710)는 비디오 주처리기(420)에서 임시 선언된 디졸브를 그대로 디졸브 선언 처리기(720)로 전달한다. 이어서, 디졸브 선언 처리기(720)는 디졸브 합병 처리기(710)를 통해 전달되는 임시 선언된 디졸브의 시작 프레임과 끝 프레임 간의 거리가 거리 임계치(

)보다 큰지를 확인하여, 크면 디졸브로 선언한다. 이러한, 조건들이 만족되지 못하면, 디졸브 선언 처리기(720)는 비디오 주처리기(420)에 의해 임시 선언된 디졸브를 디졸브로 선언하지 않는다.

디졸브 합병 처리기(710)는 매우 느린 점진적 장면전환에서는 D(i)가 톱니 모양으로 보이게 되기 때문에, 이를 해결하기 위해서 결합 임계치(

)를 이용하여 임시 선언된 디졸브들 간의 간격이 충분히 작으면, 임시 선언된 디졸브를 서로 연결해서 하나의 디졸브로 합하는 작업을 수행하는 것이다.

k번째 결합된 임시 선언 디졸브(LSD(k))는 곧 SD(j)의 j를 증가시키면서, 다음의 (수학식 48)의 조건을 만족시키면, 현재의 잠정적 장면전환의 시작 프레임을 다음의 (수학식 49)와 같이 반복적으로 재 설정한다.

만약, 다음의 (수학식 50)의 조건을 만족시키면, 그때의 SD(j)를 k번째 LSD(k)로 선언한다.

이와 같이, 디졸브 합병 처리기(710)에 의해 결정된 k 번째 연결된 점진적 장면전환 LSD(k)는 다음의 (수학식 51)과 같이 표현된다.

여기서,

는 k번째 결합된 임시 선언 디졸브의 시작 프레임 위치이 고, "LSD(k,end)" k번째 결합된 임시 선언 디졸브의 끝 프레임 위치이다.

디졸브 선언 처리기(720)는 오검출(false-alarm)을 없애기 위해서 디졸브의 시작 프레임과 끝 프레임의 거리를 영상의 전체적인 밝기 변화에 덜 민감한 거리 측정법(상기 수학식 11 참조)을 이용하여 LSD(k)(k번째 결합된 임시 선언 디졸브)의 시작과 끝 프레임의 거리가 충분하고, LSD(k)의 구간이 충분히 길 때 디졸브로 선언하는 작업을 수행하는 것이다.

다음의 (수학식 52)와 (수학식 53)의 조건을 만족하면, LSD(k)를 k번째 점진적 장면전환으로 최종 선언한다.

전술한 바와 같이, 본 발명은 디졸브를 가진 많은 비디오 클립에 대하여 테스트한 것으로서, 디졸브를 가진 엠펙(MPEG) 시퀀스로부터 추출된 DC 영상과 투영 영상 시퀀스 또는 서브샘플링된 영상 시퀀스에 대해 디졸브를 검출하기 위한 것이다.

한편, 비디오 주처리기(420)와 비디오 후처리기(430)에서,

,

, 그리고

으로 모든 DC 영상에 동일하게 임계치(Global Threshold)를 놓고 시뮬레이션하였다.

시뮬레이션 영상은 기존의 알고리즘을 이용할 경우 검출이 매우 어려운 동영상들을 취사 선택해서 어느 정도의 카메라 모션 및 영상내의 객체의 움직임이 있는 짧은 디졸브 시퀀스들뿐만 아니라 와이프(Wipe)와 급격한 장면경계 등 여러 동영상 효과가 혼합되어 있는 여러 광고 시퀀스에 대해서 테스트한 결과, 대부분의 점진적 장면전환을 오검출(missed-detection 또는 false-alarm)이 거의 없이 성공적으로 검출했다.

도 8 은 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스1의 예시도로서, 88프레임 시퀀스 중 15에서부터 63의 49 프레임 길이의 디졸브에 대한 특성을 나타낸 것이다. 도 8 은 부분적으로 수직방향의 카메라 움직임(tilt)이 있는 시퀀스로서 약 15(두번째 줄의 끝에서 두번째)에서부터 63번째 프레임(여덟번째 줄의 끝에서 두 번째)에 걸쳐 디졸브가 있다.

도 9 는 도 8 의 시퀀스1(악수 시퀀스)에 대한 시뮬레이션 결과를 나타내는 특성도로서, 정확히 그 경계까지 검출해 내고 있다.

도 9 및 다음 도면들에서의 시뮬레이션 결과 출력은 횡축을 프레임 번호로 보고, 1번째 하위 창의 서브플롯(subplot)은 실선이 M(i)값, 점선이 N(i)값이다.

도 9 및 다음 도면들에서, 그래프 상의 '○'은 최종 선언된 디졸브의 시작점이며, '●'은 최종 선언된 디졸브의 끝점을 나타낸다. 두번째 하위 창의 서브플롯(subplot)은 D(i)값, 세번째 하위 창의 서브플롯(subplot)은 판단된 임시 선언된 디졸브(SD)의 검출된 값을 나타내며, 네번째 하위 창의 서브플롯(subplot)은 연결된 임시 선언 디졸브(LSD)이며, 다섯번째 하위 창의 서브플롯(subplot)은 최종 선언된 디졸브를 나타낸다.

여기서, 많은 경우 3 내지 5 하위 창의 결과값이 같게 나오므로, 동일한 결과가 나올 경우 4 또는 5 하위 창은 생략했으며, 이는 곧 후처리없이 대부분을 검출함을 의미한다.

다음은, 비디오 후처리기(430)의 디졸브 합병 처리기(710)의 처리 과정이 요구되는 경우의 시퀀스로 다음 도 10 에 있는 횡방향의 카메라 움직임(pan)이 있는 시퀀스2에 대해 살펴보면 다음과 같다.

도 10 은 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스2의 예시도로서, 72 프레임의 시퀀스 중 10에서부터 65의 56프레임 길이 디졸브에 대한 특성을 나타낸 것이다. 도 10 에서는 디졸브가 열번째 프레임에서부터 63번째 걸쳐 약 2초 동안 일어나고 있음을 알 수 있다.

도 11 은 도 10 의 시퀀스2에 대한 시뮬레이션 결과를 나타내는 특성도로서, 디졸브가 충분히 빠르게 일어나지 않아서 D(i)의 값이 톱니모양으로 나타나고 있다. 따라서, 이를 일단 임시 선언된 디졸브로 검출한 후, 디졸브 합병 처리기(710)를 통해 하나의 디졸브로 합치고 있다.

도 12 는 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스3의 예시도로서, 64 프레임의 시퀀스 중 3에서부터 31의 29프레임 길이 디졸브에 대한 특성을 나타낸 것이다. 도 12 는 세번째 영상에서부터 31번째 영상(다섯번째 열의 끝에서 두번째 영상)까지 29 프레임 길이의 페이드-인을 갖는 시퀀스로서, 카메라의 7시 방향의 움직임이 있으며, 49번째 영상에서는 급격한 장면전환도 포함하고 있다.

도 13 은 상기 도 12 의 시퀀스3에 대한 시뮬레이션 결과를 나타내는 특성도로서, 도 11 과 비슷한 톱니모양을 보이고 있어서 마찬가지로 디졸브 합병 처리기(710)를 통해 하나의 디졸브로 합치고 있다.

다음은, 모션이 심한 경우, 즉 팬(pan)과 줌(zoom)의 두가지 점진적 장면전환의 경우를 살펴보면 다음과 같다.

도 14 는 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스4의 예시도로서, 32 프레임의 시퀀스 중 8에서부터 15까지의 8프레임 길이의 디졸브에 대한 특성을 나타낸 것이다. 도 14 는 여덟번째 영상에서부터(첫번째 줄의 끝 영상) 열다섯번째 영상(두번째 줄의 끝에서 두번째 영상)에 걸쳐 8 프레임의 길이를 갖는 디졸브 시퀀스로서 카메라의 빠른 횡방향 움직임(pan)이 보인다.

도 15 는 상기 도 14 의 시퀀스4에 대한 시뮬레이션 결과를 나타내는 특성도로서, 정확히 검출해 냄을 알 수 있다.

도 16 은 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스5의 예시도로서, 56 프레임의 시퀀스 중 20에서부터 31의 12프레임 길이의 디졸브에 대한 특성을 나타낸 것이다. 도 16 은 20번째 영상(3번째 줄의 4번째 영상)에서부터 31번째 영상(네번째 줄의 끝에서 두번째 영상)에 걸쳐 12 프레임의 길이를 갖는 디졸브 시퀀스로서, 카메라의 줌-인(Zoom-in)이 보인다.

도 17 은 상기 도 16 의 시퀀스5에 대한 시뮬레이션 결과를 나타내는 특성도 로서, 정확히 검출해 냄을 알 수 있다.

도 18 은 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스6의 예시도로서, 40 프레임의 시퀀스 중 12에서부터 21의 10프레임 길이의 디졸브와 26에서부터 38의 13프레임 길이의 디졸브가 같이 있는 시퀀스에 대한 특성을 나타낸 것이다. 도 18 은 비슷한 패턴의 두 개의 디졸브가 같이 있는 경우로서, 첫번째 디졸브에는 12번째 영상(2번째 줄의 4번째 영상)에서부터 21번째 영상(3번째 줄의 5번째 영상)까지 10프레임 길이의 디졸브가 있고, 두번째 디졸브에는 26번째 영상(4번째 줄의 2번째 영상)에서부터 38번째 영상(5번째 줄의 끝에서 3번째 영상)까지 13프레임 길이의 디졸브가 있다.

도 19 는 상기 도 18 의 시퀀스6에 대한 시뮬레이션 결과를 나타내는 특성도이다.

도 20 은 본 발명에 따른 점진적 장면경계 검출기에 대한 시퀀스7의 예시도로서, 88 프레임의 시퀀스 중 10에서부터 32의 23프레임 길이의 디졸브와 60에서부터 72의 13프레임 길이의 선형패턴이 있는 시퀀스에 대한 특성을 나타낸 것이다. 도 20 은 디졸브뿐만 아니라 상기 (수학식 40)의 모델과 같은 디졸브가 아닌 연속된 선형패턴(Linear Pattern)이 나타나는 특별한 경우의 시퀀스로서, 실제 디졸브는 10번째 영상(2번째줄의 2번째 영상)에서부터 32번째 영상(4번째줄의 끝 영상)까지 23프레임의 길이로 있다.

그러나, 60번째 영상(8번째줄의 4번째 영상)에서부터 72번째 영상(9번째줄의 끝에서 3번째 영상)까지 영상의 전체적인 밝기(brightness)가 조금씩 어두워지고 있다. 따라서, 이런 패턴이 임시 선언된 디졸브로 검출되므로(도 21 참조), 디졸브 선언 처리기(720)를 통해 61번째 영상과 71번째 영상의 거리 측정(

)을 측정했을 때, 거리 임계치(

)보다 작게 나오므로 오검출(false-alarm)을 제거할 수 있다.

도 21 은 도 20 의 시퀀스7에 대한 시뮬레이션 결과를 나타내는 특성도이다.

도 22 는 본 발명에 따른 점진적 장면경계 검출기에 대한 광고 시퀀스의 시뮬레이션 결과를 나타내는 특성도로서, 비교적 긴 영상인 광고(30초 정도 소요되는 951 프레임) 시퀀스에 대해 시뮬레이션 한 결과이다. 그리고, 영상이 너무 길기 때문에 전체 영상 시퀀스는 생략했다.

도 23 은 본 발명에 따른 점진적 장면경계 검출기에 대한 선형패턴 시퀀스의 예시도로서, 검출된 결과는 비디오 주처리기(420)에 의해 임시 선언된 디졸브(SD) 11개가 디졸브 합병 처리기(710)에 의해 연결된 임시 선언 디졸브(LSD) 10개, 그리고 최종 선언된 점진적 장면전환은 모두 9개로 모두 성공적으로 검출하고 있다.

도 24 는 본 발명에 따른 점진적 장면경계 검출기에서의 디졸브 검출 결과의 일예시도로서, DC영상의 정확한 디졸브 검출 결과이다.

도 24 는 다음의 투영 영상 시퀀스와 대각 스캔(subsampled) 영상 시퀀스의 시뮬레이션 결과와 비교하기 위해서 원래의 DC 영상에서 점진적 장면전환을 검출한 결과를 투영 영상 시퀀스의 띠 영상의 상단에 시간적 순서로 레벨 번호로 표시한 것이다.

도 25 는 본 발명에 따른 점진적 장면경계 검출기에서 투영 영상 시퀀스에 대한 검출 결과의 예시도로서, 투영 영상 시퀀스(p(x,i)) 상에서도 거의 오검출(false-alarm)없이 성공적으로 점진적 장면전환을 검출함을 알 수 있다.

도 26 은 본 발명에 따른 점진적 장면경계 검출기에서 대각 스캔 영상 시퀀스에 대한 검출 결과의 일예시도이다.

도 26 은 4번째 영상의 디졸브가 검출이 되지 않았으며, 5번째 영상과 6번째 영상의 디졸브는 대각 스캔 과정에서 디졸브 패턴이 사라져서 오검출(missed-detection)되어 있다. 따라서, 도 26 에서는 4번째 영상의 디졸브만 제외하고 모두 검출한 것으로 볼 수 있다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

이상에서 설명한 바와 같이 점진적 장면전환을 검출함으로써, 본 발명은 다음과 같은 효과들을 갖는다.

첫째, 점진적인 장면전환에 대해선 아직 사용자가 만족할 만큼의 검출율을 보이는 영상 편집기가 없다는 점에서, 본 발명에서 제안하는 점진적 장면전환 검출기는 많은 파급효과가 있을 것으로 기대된다.

둘째, 점진적 장면전환 검출시 상당히 우수한 검출율을 나타내고, 이에 따라 영상 편집 분야에 많은 기여를 할 수 있다.

셋째, 자동 비디오 분석 장치의 성능을 향상시켜 더 효율적인 비디오 라이브러리를 개발할 수 있으며, 멀티미디어 서비스의 이용, 개발 및 유지 등을 더욱 편리하도록 할 수 있다. 즉, 본 발명은 텔레비젼 프로그램, 주문형 비디오, 원격강의, 홈 엔터테인먼트, 홈 쇼핑, 홈 뱅킹, 지리정보시스템, 아트 갤러리, 박물관 관리, 아키텍쳐 설계, 엔지니어링 설계 등과 같이 영상을 포함하는 모든 멀티미디어 서비스에 이용될 수 있다.

넷째, 점진적 장면전환의 구간(duration)까지도 거의 정확히 검출하면서 실시간에 계산이 가능한 효율성이 있다.

Claims

점진적 장면전환을 검출하기 위한 점진적 장면경계 검출기에 있어서,

외부로부터 입력되는 디지털 비디오신호의 영상 시퀀스(Sequence)를 디코딩하여 벡터화하기 위한 비디오 전처리수단;

상기 비디오 전처리수단으로부터 입력되는 영상 시퀀스의 프레임간 거리를 이용하여 영상 시퀀스의 상태를 판단하여 임시로 디졸브를 선언하고, 상기 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출하기 위한 비디오 주처리수단; 및

상기 비디오 주처리수단에 의해 임시 선언된 디졸브들 간의 간격에 따라 상기 임시 선언된 디졸브를 합병하고, 디졸브의 시작/끝 프레임 간의 거리와 구간에 따라 디졸브로 선언하기 위한 비디오 후처리수단

을 포함하는 고정밀도의 실시간 점진적 장면경계 검출기.
제 1 항에 있어서,

상기 비디오 전처리수단은,

상기 디지털 비디오신호의 영상 시퀀스를 디코딩하기 위한 비디오 디코딩수단; 및

상기 비디오 디코딩수단에 의해 디코딩된 영상 시퀀스를 벡터화하기 위한 비 디오 벡터화수단

을 포함하는 고정밀도의 실시간 점진적 장면경계 검출기.
제 2 항에 있어서,

상기 비디오 벡터화수단은,

상기 비디오 디코딩수단에 의해 디코딩된 영상 시퀀스를 소정 방향으로 투영하거나 서브샘플링(subsampling)하여 데이터를 축소킨 후에 벡터화하는 것을 특징으로 하는 고정밀도의 실시간 점진적 장면경계 검출기.
제 1 항에 있어서,

상기 비디오 주처리수단은,

상기 비디오 전처리수단에 의해 벡터화된 영상 시퀀스를 입력받아 선형 영상을 예측하기 위한 선형 영상 예측수단;

상기 선형 영상 예측수단으로부터 기준 영상(f₁)을 입력받아 영상 프레임 간의 거리를 측정하기 위한 제1 프레임 거리 측정수단;

상기 선형 영상 예측수단으로부터 선형 예측 영상을 입력받아 영상 프레임 간의 거리를 측정하기 위한 제2 프레임 거리 측정수단;

상기 제1 및 제2 프레임 거리 측정수단에 의해 측정된 제1 거리 측정값(M(i))과 제2 거리 측정값(N(i))의 차이를 구하기 위한 감산수단;

급격한 장면경계 검출 여부에 따라 상기 감산수단의 차이값(Q(i))을 통과시키거나 변환시키기 위한 신호변환수단;

상기 신호변환수단을 통과한 상기 감산수단의 차이값(Q(i))을 누적하거나 상기 신호변환수단의 변환값을 출력하기 위한 누적수단; 및

상기 누적수단의 변환값에 따라 임시 디졸브 선언을 중지하고, 상기 누적수단의 누적값(D(i))을 입력받아 임시 디졸브를 선언하고, 상기 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출하기 위한 디졸브 선언 및 프레임 검출수단

을 포함하는 고정밀도의 실시간 점진적 장면경계 검출기.
제 4 항에 있어서,

상기 신호변환수단은,

급격한 장면경계가 검출되면, 상기 감산수단의 차이값(Q(i))을 '0'으로 변환시켜 상기 누적수단으로 출력하고,

급격한 장면경계가 검출되지 않으면, 상기 감산수단의 차이값(Q(i))을 그대로 상기 누적수단으로 출력하는 것을 특징으로 하는 고정밀도의 실시간 점진적 장면경계 검출기.
제 4 항에 있어서,

상기 선형 영상 예측수단은,

상기 비디오 전처리수단에 의해 벡터화된 영상을 일정시간 지연시키기 위한 제1 지연수단;

상기 제1 지연수단에 의해 지연된 영상을 일정시간 재지연시키기 위한 제2 지연수단;

상기 비디오 전처리수단에 의해 벡터화된 영상(f_i+1)과 상기 제2 지연수단에 의해 재지연된 영상(f_i-1)을 가산하기 위한 가산수단; 및

상기 가산수단으로부터의 출력값과 소정값('1/2')을 승산하여 선형 예측 영상을 출력하기 위한 승산수단

을 포함하는 고정밀도의 실시간 점진적 장면경계 검출기.
제 4 항에 있어서,

상기 제1 프레임 거리 측정수단은,

상기 선형 영상 예측수단에 의해 지연된 기준 영상(f_i)을 입력받아 히스토그램(Histogram) 정보를 추출하기 위한 히스토그램 정보 추출수단;

상기 히스토그램 정보 추출수단에 의해 추출된 히스토그램 정보를 일정시간 지연시키기 위한 지연수단; 및

상기 히스토그램 정보 추출수단에 의해 추출된 히스토그램 정보(H(f_i))와 상기 지연수단에 의해 지연된 히스토그램 정보(H(f_i-1)) 간의 벡터 거리를 측정하기 위한 벡터거리 측정수단

을 포함하는 고정밀도의 실시간 점진적 장면경계 검출기.
제 4 항에 있어서,

상기 제2 프레임 거리 측정수단은,

상기 선형 영상 예측수단에 의해 선형 예측된 영상(
)을 입력받아 히스토그램 정보(H(
))를 추출하기 위한 히스토그램 정보 추출수단; 및

상기 히스토그램 정보 추출수단에 의해 추출된 히스토그램 정보(H(
))와 상기 제1 프레임 거리 측정수단에서 추출한 히스토그램 정보(H(f_i))를 입력받아 벡터 거리를 측정하기 위한 벡터거리 측정수단

을 포함하여 이루어진 고정밀도의 실시간 점진적 장면경계 검출기.
제 4 항에 있어서,

상기 누적수단은,

상기 신호변환수단의 출력신호를 '0'이나 '1'로 판정하기 위한 판정수단;

상기 신호변환수단의 출력신호와 궤환된 누적값(D(i-1))을 가산하기 위한 가산수단;

상기 판정수단의 출력신호와 상기 가산수단의 가산값을 승산하여 누적값(D(i))을 출력하기 위한 승산수단; 및

상기 승산수단에 의해 승산된 누적값을 일정시간 지연하여 상기 가산수단으로 궤환하기 위한 지연수단

을 포함하는 고정밀도의 실시간 점진적 장면경계 검출기.
제 4 항에 있어서,

상기 디졸브 선언 및 프레임 검출수단의 임시 디졸브 선언 과정은,

'0'보다 큰 구간내에 있는 누적값(D(i))의 최대치가 소정의 구간 임계치(Th_CLD)보다 큰 누적값 D(i)를 찾아내고, 상기 찾아낸 누적값 D(i)의 구간이 소정의 연속 임계치(Th_con)보다 큰지를 확인하여 크면 임시 디졸브로 선언하고, 크지 않으면 임시 디졸브를 선언하지 않는 것을 특징으로 하는 고정밀도의 실시간 점진적 장면경계 검출기.
제 1 항 내지 제 10 항 중 어느 한 항에 있어서,

상기 비디오 후처리수단은,

상기 비디오 주처리수단에 의해 임시 선언된 디졸브들 간의 간격이 소정의 결합 임계치보다 작은지를 확인하여 작은 간격들을 갖는 디졸브들을 하나의 디졸브로 합하는 디졸브 합병 처리수단; 및

상기 디졸브의 시작 프레임과 끝 프레임 간의 거리가 소정의 거리 임계치보다 큰지를 확인하고, 상기 디졸브의 시작 프레임 위치와 끝 프레임 위치 간의 거리가 소정의 지속구간 임계치보다 큰지를 확인하여 디졸브로 선언하는 디졸브 선언 처리수단

을 포함하는 고정밀도의 실시간 점진적 장면경계 검출기.
제 11 항에 있어서,

상기 디졸브 합병 처리수단은,

상기 비디오 주처리수단에서 임시 선언된 디졸브들 간의 간격이 상기 소정의 결합 임계치(
)보다 작은지를 확인하여, 작으면 작은 간격들을 갖는 디졸브들을 하나의 디졸브로 합하고, 작지 않으면 상기 임시 선언된 디졸브를 그대로 상기 디졸브 선언 처리수단으로 전달하며,

상기 디졸브 선언 처리수단은,

상기 디졸브 합병 처리수단으로부터 전달받은 디졸브의 시작 프레임과 끝 프레임 간의 거리가 상기 소정의 거리 임계치(
)보다 큰지를 확인하여, 크면 전달받은 디졸브의 시작 프레임 위치와 끝 프레임 위치 간의 거리가 상기 소정의 지속구간 임계치(
)보다 큰지를 확인하여, 크면 디졸브로 선언하고, 그외에는 디졸브로 선언하지 않는 것을 특징으로 하는 고정밀도의 실시간 점진적 장면경계 검출기.
점진적 장면전환을 검출하기 위한 점진적 장면경계 검출기에 적용되는 점진적 장면경계 검출 방법에 있어서,

외부로부터 입력되는 디지털 비디오신호의 영상 시퀀스(Sequence)를 디코딩하여 벡터화하는 제 1 단계;

상기 벡터화된 영상 시퀀스의 프레임간 거리를 이용하여 영상 시퀀스의 상태를 판단하여 임시로 디졸브를 선언하고, 상기 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출하는 제 2 단계; 및

상기 임시 선언한 디졸브들 간의 간격에 따라 상기 임시 선언한 디졸브를 합병하고, 디졸브의 시작/끝 프레임 간의 거리와 구간에 따라 디졸브로 선언하는 제 3 단계

를 포함하는 고정밀도의 실시간 점진적 장면경계 검출 방법.
제 13 항에 있어서,

상기 제 3 단계는,

상기 임시 선언한 디졸브들 간의 간격이 소정의 결합 임계치(
)보다 작은지를 확인하는 제 4 단계;

상기 제 4 단계의 확인 결과, 작으면 작은 간격들을 갖는 디졸브들을 하나의 디졸브로 합하여 전달하고, 작지 않으면 상기 임시 선언한 디졸브를 그대로 전달하는 제 5 단계;

상기 전달받은 디졸브의 시작 프레임과 끝 프레임 간의 거리가 소정의 거리 임계치(
)보다 크고 상기 전달받은 디졸브의 시작 프레임 위치와 끝 프레임 위치 간의 거리가 소정의 지속구간 임계치(
)보다 큰지를 확인하는 제 6 단계; 및

상기 제 6 단계의 확인 결과, 두 조건을 만족하면 디졸브로 선언하고, 그외에는 디졸브로 선언하지 않는 제 7 단계

를 포함하는 고정밀도의 실시간 점진적 장면경계 검출 방법.
프로세서를 구비하는 점진적 장면경계 검출기에,

외부로부터 입력되는 디지털 비디오신호의 영상 시퀀스(Sequence)를 디코딩하여 벡터화하는 제 1 기능;

상기 벡터화된 영상 시퀀스의 프레임간 거리를 이용하여 영상 시퀀스의 상태를 판단하여 임시로 디졸브를 선언하고, 상기 임시 선언한 디졸브의 시작 프레임 위치와 끝 프레임 위치를 검출하는 제 2 기능; 및

상기 임시 선언한 디졸브들 간의 간격에 따라 상기 임시 선언한 디졸브를 합병하고, 디졸브의 시작/끝 프레임 간의 거리와 구간에 따라 디졸브로 선언하는 제 3 기능

을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.