KR20000050805A - 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법 - Google Patents

비디오 스트림의 샷에 대한 키 프레임 개수 할당방법 Download PDF

Info

Publication number
KR20000050805A
KR20000050805A KR1019990000922A KR19990000922A KR20000050805A KR 20000050805 A KR20000050805 A KR 20000050805A KR 1019990000922 A KR1019990000922 A KR 1019990000922A KR 19990000922 A KR19990000922 A KR 19990000922A KR 20000050805 A KR20000050805 A KR 20000050805A
Authority
KR
South Korea
Prior art keywords
shot
frames
frame
histogram
difference
Prior art date
Application number
KR1019990000922A
Other languages
English (en)
Other versions
KR100305965B1 (ko
Inventor
전성배
Original Assignee
구자홍
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자 주식회사 filed Critical 구자홍
Priority to KR1019990000922A priority Critical patent/KR100305965B1/ko
Publication of KR20000050805A publication Critical patent/KR20000050805A/ko
Application granted granted Critical
Publication of KR100305965B1 publication Critical patent/KR100305965B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Abstract

본 발명은 비디오 스트림의 키 프레임 개수 할당에 있어서, 특히 스트림의 샷 장면변화를 고려하여 적절한 키 프레임 개수가 할당될 수 있도록 한 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법에 관한 것이다.
종래 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법은 인접한 프레임간의 차이를 샷 단위로 누적시킨 후 각각의 샷에 대한 키 프레임 개수를 각 샷의 인접한 프레임간의 누적차이(Cumulative inter-frame difference)에 비례하여 할당하는 방식이 일반적이다. 그러므로, 종래의 키 프레임 개수 할당방식은 인접한 프레임간의 영상차만을 기반으로 하기 때문에 샷의 전체적인 정보를 반영하기 어렵기 때문에 적은수의 프레임이 교대로 반복되어 나타나는 샷에 대하여 필요이상으로 많은 수의 키 프레임을 할당하는 경우가 발생한다.
본 발명은 비디오 스트림의 샷의 전체적인 모습을 표현하는 샷-히스토그램의 개념을 제안하고, 이러한 샷-히스토그램과 각 프레임에 대한 칼라 히스토그램과의 차의 합인 누적평균 샷 히스토그램 차(Cumulative Average Shot-histogram Difference)를 구한 다음 이에 비례하여 키 프레임 개수를 할당하는 방법을 제공함으로써, 샷의 전체적인 장면 변화를 고려한 키 프레임 할당방법을 이용하여 비디오 스트림의 각 샷에 대하여 키 프레임의 개수를 적절하게 할당하기 위한 것이다.

Description

비디오 스트림의 샷에 대한 키 프레임 개수 할당방법{Method for allocating number of Key-Frames for a shot of video stream}
본 발명은 비디오 스트림의 샷 전체에 대한 장면변화를 고려하여 키 프레임을 적절하게 할당하기 위한 샷 히스토그램을 제안하고 그 샷에 대한 키 프레임 개수 할당방법에 관한 것이다.
일반적으로 비디오 스트림을 요약하는 방법으로 키 프레임을 디스플레이하는 방식이 널리 사용되고 있으며, 이러한 키 프레임을 이용한 디스플레이방식은 사용자가 키 프레임을 보면서 비디오의 내용과 대략의 줄거리를 상상할수도 있으며 비디오 스트림의 플레이를 쉽게 콘트롤 즉, 인덱싱 및 편집(스프릿, 머지, 특정위치로 건너뛰기등)을 할수 있도록 하기 위한 것이다.
상기와 같은 키 프레임(Key frame)은 사람이 직접 지정할수도 있으며 또 자동 추출 시스템에 의해 추출이 가능하다.
종래 비디오 스트림의 샷에 대한 키 프레임 할당방법으로는, 스매쉬 프로젝트(SMASH Project)에서 사용하는 방식이 일반적이다. 참고; "Visual search in a SMASH System"in the ICIP'96
키 프레임 자동할당을 위한 스매쉬 방법에서는 인접한 프레임간의 영상차이를 측정하고 그 측정된 영상차이로 부터 도 1과 같은 인접 프레임간의 영상차이(Difference)를 구하고, 이 인접 프레임간의 영상차이의 피크점들(Peaks)을 찾아 샷(S1,S2,..,Sm) 정보를 구성하게 된다.
그리고, 도 1에서의 인접한 프레임간의 차이를 샷 단위로 누적(C1,C2,...Cm)시키면 도 2와 같은 누적 프레임 차이 그래프(Cumulative Frame Difference)가 나타나게 된다.
상기와 같은 누적 차이 그래프로 부터 각각의 샷(S1,S2,...,Sm)의 누적 차이에 비례하여 각각의 샷에 대한 키 프레임 개수를 할당한다. 이는 스매쉬 프로젝트의 키 프레임 개수 할당방식이며 일반적으로 대부분의 키 프레임 자동 추출 시스템에서 널리 사용되는 방식이다.
즉, 비디오의 인접프레임간 차이가 많다는 것은 일반적으로 장면변화가 많다는 것을 의미하고 장면변화가 많은 샷에는 누적 프레임 차이가 큰 값으로 표현되므로 키 프레임을 상대적으로 많이 할당하고, 누적 프레임 차이가 적은 값으로 표현될 경우에는 상대적으로 적은 수의 키 프레임을 할당하게 된다.
그러므로, 스매쉬 방식에서의 전체 비디오에 할당할 키 프레임의 개수를 N이라 하고, Ci를 샷(Si)의 누적 프레임 차(Cumulative inter-frame difference)라고 하면 임의의 샷(Si)에 할당할 키 프레임 개수(Ni)는 다음과 같다.
여기서,는 비디오스트림의 전체 샷들(S1,S2,....,Sm)에 대한 누적 프레임 차의 합(SUM)이다.
또한, 다양한 타입의 비디오 스트림에 대한 실험과 분석을 통하여 적절한 키 프레임의 개수 할당을 위한값을 설정할수 있으므로,를 설정하여 자동 키 프레임 개수 할당에 이용할수 있다.
따라서, 비디오 스트림의 샷에 대한 키 프레임 개수는 샷의 누적 프레임 차에 비례한다.
이와같은 스매쉬 방식에 의한 키 프레임 개수 할당방법에 대하여 도 3를 참조하여 설명하면 다음과 같다.
먼저, 스트림 길이(L)를 구하고(f0,f1,...,fL-1), 종료를 알리는 플래그bFinished)는 거짓(False)으로 한 다음 인접프레임간의 스텝 사이즈(S=Step Size), 임계치(T=Threshold), 적절한 키 프레임개수 할당을 위한 F값을 정하고 비교기준 프레임(i=0)과 비교대상 프레임(j=0), 샷의 시작시점(Str=0)을 초기화 시킨다. 도 3의 (1)(2)(3)(4)
이후, 비교기준 프레임(fi)을 캡쳐하여 이에 대한 히스토그램(H(fi))을 구한 다음, 비교대상 프레임(fj)이 존재하는 지를 판단한다. 즉, j+S ＞ L-1이면 인접프레임간 영상차분석이 종료되어 비교대상 프레임이 존재하지 않는 경우이며, j+S ≤ L-1이면 비교대상 프레임이 존재하는 경우이다. 도 3의 (5)(6)(7)
상기 비교결과 비교대상 프레임이 존재하면 비교대상 프레임(fj)에 스텝사이즈(S)를 더하여(j=j+S) 새로운 비교대상 프레임(fj)를 정하고, 그 프레임(fj)을 갭쳐한 후 이(fj)에 대한 히스토그램(H(fj))을 구하게 된다. 도 3의 (8)(9)(10)
그러나, 상기 비교결과(도 3의 7) 비교대상 프레임이 더 이상 존재하지 않으면 키 프레임 할당 프로세스의 종료를 알리는 플래그(bFinished=TRUE)를 설정하는 곳으로 분기한다(도 3의 18).
이후, 상기 비교대상 프레임이 존재하는 경우 두 개의 히스토그램(H(fi), H(fj))간의 차이(Diff[i])를 계산하고, 그 차이(Diff[i])를 임계치(T)와 비교한 후 임계치(T) 보다 큰 경우에는 현재 샷(Sc=[Str,j]) 정보를 기록한 후 현재의 샷에 대한 키 프레임 개수(Nc)를 결정하게 된다. 도 3의 (11)(12)(13)(14)
이때, 현재 샷(Sc)에 할당하는 키 프레임 개수(Nc)는 현재 샷(Sc)의 누적 프레임간 차(Cumulative inter-frame difference)의 합(SUM)을 키 프레임개수 자동할당을 위하여 기 설정된 값(F)으로 나눈 것으로 수학식 1과 같다 (도 3의 14).
이후, 현재 샷(Sc)에 대하여 Nc개의 키 프레임을 찾은 다음 샷의 시작 프레임을 현재 샷의 마지막 비교대상 프레임이었던 fj로 설정하고(Str=j), 키 프레임 할당 프로세스가 종료를 알리는 플래그(bFinished)인가를 판별하게 된다. 도 3의 (15)(16)(17)
상기의 키 프레임 할당 프로세스의 종료를 알리는 플레그가 셋팅된 경우(bFinished=TRUE) 키 프레임 할당 프로세스를 종료하고, 키 프레임 할당 프로세스를 알리는 플래그가 세팅되지 않은 경우에는(bFinished=False) 새로운 비교대상 프레임이 존재하는 지를 판단하기 위하여 분기한다.(도 3의 17)
한편, 두 개의 히스토그램의 차(Diff[i])가 임계치(T) 이하일 경우에는 샷의 변이(transition)가 발생하지 않았으므로 다음의 루프를 위하여 새로운 비교기준 프레임을 이전의 비교대상 프레임으로 설정하고(i=j), 다음의 비교를 위하여 점프한다. (도 3의 19)
그러나, 상기와 같은 방식으로 키 프레임 개수를 할당할 경우, 샷의 전체적인 변화는 적지만 인접 프레임간의 차이가 커서 샷의 누적 프레임차가 크게 축적된 샷에 대하여 필요 이상으로 많은 키 프레임을 할당하는 경우가 있기 때문에 위와 같은 키 프레임개수 할당방법이 모든 샷에 적절하게 적용되는 것이 아니다.
그 예로, 두 개의 샷(S1,S2)의 길이가 같고 하나의 샷(S1)은 인접한 프레임간의 장면변화가 많기는 하지만 실제적으로는 두 개의 프레임이 반복하여 교대로 나타나며, 다른 샷(S2)은 점진적인 장면변화가 발생한다고 가정하자.
즉, S1=[f1,f101] : 두 개의 프레임이 반복하여 교대로 나타나는 샷.
f1=f3=f5=....=f101
f2=f4=f6=....=f100
Diff(H(fi),H(fi+1))=100 (where i=1....100)
Diff(H(S1),H(fi))=50 (where i=1....100)
그리고, S2=[f1,f101] : 점진적인 장면변화가 나타나는 샷.
Diff(H(fi),H(fi+1))=1
Diff(H(f1),H(f101))=100 (where I=1....100)
Diff(H(S2),H(fi))=(where i=1....100)
여기서, 프레임(fi)에 대한 칼라 히스토그램은 H(fi)라고 하며, 두 개의 프레임(fi,fi+1)에 대한 칼라 히스토그램 차이는 Diff(H(fi),H(fi+1))로 표시하기로 한다.
이때, 샷(S1)의 누적 프레임 차(Diff)는 100×100=10,000이며, 샷(S2)의 누적 프레임 차(Diff)는 100이므로, 만약 S2에 한 개의 키 프레임을 할당한다면 S1에는 100개의 키 프레임을 할당해야 한다.
상기의 스매쉬 프로젝트에서와 같은 키 프레임 개수 자동할당 방식을 사용하는 경우에는 S1과 같이 제한된 수의 프레임이 교대로 나오는 샷에 대하여 필요이상으로 많은 키 프레임을 할당하는 문제가 발생한다.
본 발명은 멀티미디어 스트림으로 부터 검출된 샷에 대하여 키 프레임을 할당하는 방법에 있어서, 샷의 전체적인 모습을 표현하는 샷-히스토그램을 그 샷에 속한 프레임 각각의 칼라 히스토그램의 합을 샷에 속한 전체 프레임 개수로 나누어 구하고,
상기 샷-히스토그램과 각 프레임에 대한 칼라 히스토그램 각각의 차들을 합하여 누적평균 샷 히스토그램 차를 구한 다음, 이 누적평균 샷 히스토그램 차에 비례하여 할당할 키 프레임 개수를 계산하도록 함으로써,
샷의 전체적인 장면변화를 고려하여 키 프레임을 적절하게 할당할수 있도록 하는 한편, 샷-히스토그램을 이용하여 인접한 프레임간에 점진적으로 변화는 샷과 급격한 변화를 보인 샷을 판별할수 있도록 한 것이다.
도 1은 인접 프레임 차이의 피크점을 찾아 샷정보를 구성하기 위한 인접 프레임간의 영상차이의 예를 보인 그래프.
도 2는 도 1에 대한 샷 단위의 누적 프레임 차이를 보인 그래프.
도 3은 종래 비디오 스트림의 누적 프레임 차이를 이용한 키 프레임 개수 할당방법를 보인 플로우 챠트.
도 4는 본 발명 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법을 보인 플로우 챠트.
본 발명 비디오 스트림의 샷에 대한 키 프레임 할당방법은, 임의의 샷(Shot)에 속한 프레임 각각의 칼라 히스토그램(Color Histogram)을 구하고, 그 각각의 칼라 히스토그램들을 합한 다음 샷 전체의 프레임 수로 나누어 이를 임의의 샷에 대한 샷-히스토그램(Shot-Histogram)으로 제안하고,
상기 샷-히스토그램과 각 프레임에 대한 칼라 히스토그램과의 차들을 합하여 구해지는 누적평균 샷 히스토그램 차(Cumulative average Shot-histogram Difference)에 비례하여 임의의 샷에 대한 키 프레임 개수를 할당한다.
상기와 같은 비디오 스트림의 샷에 대한 키 프레임 할당방법에 대하여 첨부된 도면을 참조하여 설명하면 다음과 같다.
먼저, 비디오 스트림으로 부터 검출되는 현재의 샷(Shot)에 속한 프레임 각각의 칼라 히스토그램(Color Histogram)을 검출한 후, 그 프레임 각각에 대한 칼라 히스토그램을 합(SUM)하게 된다.
상기 현재의 샷에 속한 프레임 각각의 칼라 히스토그램 합을 샷에 속한 프레임 개수로 나누게 되면, 현재의 샷에 대한 평균 샷-히스토그램(Shot-Histogram)이라고 한다.
즉, 스트림의 현재 샷(Sc) =[fa,fa+1,...,fb-1,fb] 이라 하면, 이에 대한 샷-히스토그램(H(Sc))은 수학식 2와 같이 구할 수 있다.
여기서,은 현재 샷(Sc)에 속한 프레임 각각의 칼라 히스토그램 들의 합(SUM)이며, fa~fb는 샷에 속한 프레임이고, b-a+1은 샷에 속한 전체 프레임 개수이다.
그런 다음, 샷-히스토그램과 각 프레임에 대한 칼라 히스토그램과의 차를 각각 구한 다음 이들을 더하여 현재의 샷에 대한 누적평균 샷 히스토그램 차(Cumulative average shot histogram Difference)를 구하게 된다.
즉, 상기 수학식 2로 부터 구해진 샷(Sc)에 속한 샷-히스토그램(H(Sc))과 각 프레임의 칼라 히스토그램과의 차들을 합하여 누적평균 샷 히스토그램 차(D(Sc))를 구하게 되며, 이는 수학식 3과 같다.
여기서,은 누적평균 샷 히스토그램(H(Sc))과 샷에 속한 각각의 프레임의 칼라 히스토그램간의 차이이며, 이 차의 값들을 모두 합(SUM)한 값이 누적평균 샷 히스토그램 차(D(Sc))가 된다.
그리고, 누적평균 샷 히스토그램 차(D(Sc))는 현재의 샷에 대한 전체적인 장면 변화량을 의미한다.
그러므로, 누적평균 샷 히스토그램 차(D(Sc))에 비례하여 샷의 키 프레임의 개수를 할당하면 샷의 전체적인 장면변화를 고려한 키 프레임 개수 할당방법이 된다.
즉, 상기의 수학식 3으로 부터 구해지는 누적평균 샷 히스토그램 차(D(Sc))로 부터 샷(Sc)에 대한 키 프레임 개수(Nc)는 수학식 4와 같이 구할수 있다.
여기서, N은 비디오 스트림 전체에 할당될 키 프레임 개수이며,은 m개의 샷 각각에 대한 누적평균 샷 히스토그램 차의 합(SUM)이다.
또한,다양한 타입의 비디오 스트림에 대한 실험과 분석을 통하여 장면변화량에 따른 적절한 수의 키 프레임 개수 할당을 위한값을 설정할수 있으므로, 이러한를 설정하면 자동으로 샷에 대한 적절한 키 프레임의 개수를 자동할수 있으며, 이는 수학식 5와 같이 구할수 있다.
상기와 같은 샷에 대한 키 프레임 자동 할당방법에 대하여 도 4를 참조하여 설명하면 다음과 같다.
먼저, 스트림 길이(L)를 구하고(fO,f1,...,fL-1), 종료를 알리는 플래그(bFinished)는 거짓(False)으로 한 다음 인접프레임간의 스텝 사이즈(S=Step Size), 임계치(T=Threshold), 적절한 수의 키 프레임 할당을 위한 F값을 정하고, 비교기준 프레임(i=0)과 비교대상 프레임(j=0), 샷의 시작시점(Str=0)을 초기화 시킨다. 도 4의 (101)~(104)
이후, 비교기준 프레임(fi)을 캡쳐하여 이에 대한 히스토그램(H(fi))을 구한 다음, 비교대상 프레임(fj)의 존재여부를 판단(j+S 와 L-1 비교)하여 키 프레임 할당 프로세스의 종료를 알리는 플래그 설정의 여부를 판단한다. 도 4의 (106)(107)
그리고, 상기 비교결과(도 4의 107) 비교대상 프레임(fj)이 존재하는 경우에는 비교대상 프레임(j=j+S)을 새로 설정하고 이에 대한 히스토그램(H(fj))을 구하여 두 히스토그램(H(fi),H(fj))간의 차이(Diff[i])를 계산하고, 그 차이(Diff[i])가 임계치(T) 보다 큰 경우에는 현재 샷(Sc=[Str,j]) 정보를 기록하고, 현재의 샷에 대한 샷-히스토그램(H(Sc))을 구하게 된다. 도 4의 (108)~(113)
상기 현재의 샷(Sc)에 대한 샷-히스토그램(H(Sc))은 프레임 각각에 대한 칼라 히스토그램을 구하고, 그 칼라 히스토그램들을 모두 합한 다음 전체 프레임 개수로 나누어 구하게 된다.(도 4의 114)
여기에서 사용되는 샷-히스토그램(H(Sc))을 구성하는 프레임들은 스텝 사이즈(S=Step Size)에 의해 결정되며, 현재 샷에서 비교기준 또는 비교대상이 되었던 프레임들이 된다.
그리고, 현재의 샷-히스토그램(H(Sc))과 그 샷에 속한 비교기준 또는 대상 프레임들에 대한 칼라 히스토그램의 차들을 합하여 누적평균 샷 히스토그램 차(Cumulative Average Shot-histogram difference)(D(Sc))를 계산하게 된다. (도 4의 115)
여기서, 누적평균 샷 히스토그램 차(D(Sc))는 샷-히스토그램(H(Sc))과 샷(Sc)내의 각 비교대상 프레임들간의 칼라 히스토그램과의 차들을 모두 합(SUM)한 값이다.
그리고, 현재의 샷(Sc)에 대한 누적평균 샷 히스토그램 차(D(Sc))가 구해지면, 이를 이용하여 현재의 샷에 대한 키 프레임 개수(Nc)를 구할수 있는 데,
이때, 현재의 샷(Sc=[Str,j])에 대한 키 프레임 개수(Nc)는 상기에서 계산된 누적평균 샷 히스토그램 차(D(Sc))를 키 프레임 개수 자동할당을 위하여 기 설정된 값(F)으로 나누어 구할수 있으며, 이는이 된다. (도 4의 116)
이후, 상기와 같이 현재의 샷(Sc)에 대하여 Nc개의 키 프레임을 구한 다음, 현재의 샷(Sc=[Str,j])이 fStr로 부터 fj까지 이므로 다음 샷의 시작시점은 현재 샷(Sc)의 마지막 프레임인 fj가 되므로 다음 샷을 위하여 Str=j로 셋팅한다. 도 4의 (117)(118)
상기의 키 프레임 할당 프로세스의 종료를 알리는 플레그가 셋팅된 경우(bFinished=TRUE) 키 프레임 할당 프로세스를 종료하고, 키 프레임 할당 프로세스를 알리는 플래그가 세팅되지 않은 경우에는(bFinished=False) 새로운 비교대상 프레임이 존재하는 지를 판단하기 위하여 분기한다.(도 4의 119)
한편, 상기 두 히스토그램(H(fi), H(fj))간의 차(Diff[i])가 임계치(T) 이하일 경우에는 비교기준 프레임을 fj로 하고 (i=j)(도 4의 121), 다음의 인접 프레임간 영상차 분석을 위하여 새로운 비교대상 프레임의 존재여부를 판단하게 된다(도 4의 107).
그리고, 새로운 비교대상 프레임이 존재하는 경우에는 새로운 비교대상 프레임을 결정하고(도 4의 108), 새로운 비교대상 프레임이 존재하지 않는 경우에는 키 프레임 할당 프로세스가 종료되어야 함을 알리는 플래그(bFinished=TRUE)를 셋팅(도 4의 120)한 다음 현재의 샷 정보를 기록하는 단계(도 4의 113)로 넘어간다.
상기와 같은 동작으로 스트림 길이에 속한 샷 각각의 키 프레임 개수를 그 샷의 전체적인 장면변화를 고려하여 각각 할당해 주게 되므로, 누적 프레임 차이에 비례하는 키 프레임 개수를 할당하는 방식에서의 문제를 극복하게 된다.
다시말하면, D(S1)= 50 × 100 = 5000 이고, D(S2) =50 + 49 + 48 + ...+ 2 + 1 + 0 + 1 + 2 +...+ 48 + 49 + 50 = 2550 으로 구할수 있으며, 샷(S2)에 한 개의 키 프레임을 할당할 경우 샷(S1)에는 두 개의 키 프레임만을 할당하면 되므로, 장면변화 분포에 따라 적절한 키 프레임을 할당할수 있다.
또한, 누적평균 샷 히스토그램 차는 점진적인 장면변화에 있어서도 인접프레임간 영상차이가 더 큰 샷에서 더 큰 값을 가지는 특성이 있으므로 일반적인 비디오 스트림의 키 프레임 개수 자동할당 방식에 적용할수 있다.
또한, 점진적인 장변변화가 나타나는 샷의 누적평균 샷 히스토그램에 대한 인접한 프레임간 누적 차이의 비율과 소수의 프레임이 교대로 나타나는 샷에서의 누적평균 샷 히스토그램 차에 대한 인접한 프레임간 누적 차이의 비율간에는 상당히 다른 특성분포를 가지게 된다.
즉, 앞선 예제에서 샷(S1)에 대한 두 값의 비율은이고, 샷(S2)에 대한 두 값의 비율은이다. 상기에서 샷(S2)에서의 비율은 샷(S1)에서의 비율에 비해 매우 작다.
이러한 값의 비율은 점진적인 장면변화와 소수의 프레임이 교대로 나타나는 장면변화를 판별하는 요소로 사용이 가능하다.
따라서, 점진적인 장면변화가 발생하는 샷과 인접한 프레임간에는 차이가 있으나 전체적인 장면변화는 적은 소수의 프레임이 교대로 나타나는 샷을 누적평균 샷 히스토그램 차와 기존의 키 프레임 개수 자동할당 방식에서 제공하는 인접 프레임간 누적차이의 비율에 따라 구분할수 있도록 함에 있다.
이상에서 설명한 바와같이, 본 발명은 장면변화가 점진적으로 변화는 샷과 인접한 프레임간에 급격한 변화를 보이지만 전체적인 장면변화는 적은 샷이 같은 비디오 스트림내에 존재하는 경우에도 장면의 전체적인 변화를 고려하여 키 프레임을 할당하는 방식을 제공하므로, 기존의 누적 인접 프레임간의 차이에 비례하여 키 프레임의 개수를 할당하는 방식에 비하여 샷의 전체적인 장면변화 분포를 고려한 키 프레임을 할당할수 있도록 하는 한편, 자동 키 프레임 할당에 그 적용이 가능하며, 또 단계적으로 변화는 샷(gradual)과 소수의 프레임이 교대로 변화는 샷(alternative)의 장면변화를 판별하는 자료로도 활용할수 있는 효과가 있다.

Claims (2)

  1. 비디오 스트림의 샷에 대한 키 프레임 할당방법에 있어서,
    임의의 샷에 속한 프레임 각각에 대한 칼라 히스토그램을 검출하고, 상기 검출된 칼라 히스토그램을 각각 합한 다음 그 샷에 속한 전체 프레임 개수로 나누어 샷에 대한 샷-히스토그램으로 제안하는 것을 특징으로 하는 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법.
  2. 제 1항에 있어서, 상기 샷에 대한 샷-히스토그램과 샷에 속한 프레임 각각의 칼라 히스토그램과의 차들을 합하여 각각의 샷들에 대한 누적평균 샷 히스토그램 차를 구하고, 상기 구해진 누적평균 샷 히스토그램 차에 비례하여 임의의 샷에 할당할 키 프레임 개수를 계산하는 것을 특징으로 하는 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법.
KR1019990000922A 1999-01-15 1999-01-15 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법 KR100305965B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990000922A KR100305965B1 (ko) 1999-01-15 1999-01-15 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990000922A KR100305965B1 (ko) 1999-01-15 1999-01-15 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법

Publications (2)

Publication Number Publication Date
KR20000050805A true KR20000050805A (ko) 2000-08-05
KR100305965B1 KR100305965B1 (ko) 2001-09-26

Family

ID=19571331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990000922A KR100305965B1 (ko) 1999-01-15 1999-01-15 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법

Country Status (1)

Country Link
KR (1) KR100305965B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100411347B1 (ko) * 2001-12-29 2003-12-18 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
KR100850791B1 (ko) * 2006-09-20 2008-08-06 삼성전자주식회사 방송 프로그램 요약 생성 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100411347B1 (ko) * 2001-12-29 2003-12-18 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
KR100850791B1 (ko) * 2006-09-20 2008-08-06 삼성전자주식회사 방송 프로그램 요약 생성 시스템 및 그 방법

Also Published As

Publication number Publication date
KR100305965B1 (ko) 2001-09-26

Similar Documents

Publication Publication Date Title
US6342904B1 (en) Creating a slide presentation from full motion video
US5959697A (en) Method and system for detecting dissolve transitions in a video signal
US6061471A (en) Method and system for detecting uniform images in video signal
US5920360A (en) Method and system for detecting fade transitions in a video signal
US7466365B2 (en) Moving image processing apparatus and method, and computer readable memory
US5778108A (en) Method and system for detecting transitional markers such as uniform fields in a video signal
JP4256940B2 (ja) 可視索引付けシステムのための重要情景検出及びフレームフィルタリング
CN106937114B (zh) 用于对视频场景切换进行检测的方法和装置
US5767923A (en) Method and system for detecting cuts in a video signal
EP0729117A1 (en) Method and apparatus for detecting a point of change in moving images
EP1039757A2 (en) Feature based hierarchical video segmentation
KR100729660B1 (ko) 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법
US7880815B2 (en) Method for detecting and eliminating flash scene in digital video
KR20030026529A (ko) 키프레임 기반 비디오 요약 시스템
JP2001527344A (ja) ビデオーケンスにおける転換の検出
KR20020075081A (ko) 뉴스 비디오 브라우징 시스템에서 앵커 샷 자동 검출 방법
WO2007133667A2 (en) Key-frame extraction from video
JP2006510072A (ja) 一様なカラーセグメントを検出するための方法及びシステム
US20050270428A1 (en) Method and system for scene change detection
KR20060060630A (ko) 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적디스플레이 방법
KR20010020091A (ko) 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법
US6415000B1 (en) Method of processing a video stream
WO2003098549A1 (en) Scene change detector algorithm in image sequence
KR100305965B1 (ko) 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법
US5734735A (en) Method and system for detecting the type of production media used to produce a video signal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070629

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee