KR100920096B1 - Ｍｐｅｇ 비디오 비트스트림에서 씬 컷을 검출하는 방법 - Google Patents

Ｍｐｅｇ 비디오 비트스트림에서 씬 컷을 검출하는 방법

Info

Publication number
KR100920096B1
KR100920096B1 KR1020047004260A KR20047004260A KR100920096B1 KR 100920096 B1 KR100920096 B1 KR 100920096B1 KR 1020047004260 A KR1020047004260 A KR 1020047004260A KR 20047004260 A KR20047004260 A KR 20047004260A KR 100920096 B1 KR100920096 B1 KR 100920096B1
Authority
KR
South Korea
Prior art keywords
frame
delete delete
macroblocks
picture
frames
Prior art date
Application number
KR1020047004260A
Other languages
English (en)
Other versions
KR20040037104A (ko
Inventor
리챠드 매티어 피터슨
에드몬드 샬롬
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20040037104A publication Critical patent/KR20040037104A/ko
Application granted granted Critical
Publication of KR100920096B1 publication Critical patent/KR100920096B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

비디오 비트스트림에서 씬 컷을 검출하기 위해 방법 및 장치가 개시되어 있다. 복수의 잠재적인 씬 컷 각각에 대한 코딩된 매크로블록의 수가 결정된다(309). 복수의 잠재적인 씬 컷 각각에 대한 예측된 매크로블록의 수가 결정된다(310). 잠재적인 씬 컷에 대응하는 복수의 프레임 각각에 대해 코딩된 매크로블록의 수와 예측된 매크로블록의 수의 비가 그 이후 계산된다. 원하는 비를 갖는 프레임이 선택된다(312). 선택된 프레임의 비가 임계치에 비교된다(313). 씬 컷은 선택된 프레임의 비가 임계치를 만족한다고 결정함에 응답하여 검출된 것으로 보고된다(314).

Description

ＭＰＥＧ 비디오 비트스트림에서 씬 컷을 검출하는 방법{METHOD FOR DETECTING SCENE CUTS IN AN MPEG VIDEO BITSTREAM}
관련 출원에 관한 교차 참조
본 출원은 2001년 9월 26일자로 출원된 미국 가특허출원 일련번호 제 60/324,890호의 이익을 청구한다.
본 발명은 MPEG-유형 비디오에 관한 것이며, 좀더 상세하게는 비디오 비트스트림 내의 씬 컷 검출에 관한 것이다.
MPEG-기반 비디오 시퀀스는 그 길이가 1초 미만에서 수 분 또는 그 이상으로 변할 수 있는 씬(scene)으로 분할될 수 있다. 이들 디비전(division) 또는 씬 컷(scene cut)을 검출하면, 폭넓게 다양한 값이 추가된 특성이 가능케 된다. 예컨대, 한 프레임이 비디오 레코딩의 컨텐츠를 요약한 스토리보드(storyboard)를 만들기 위해 각 씬에서 선택될 수 있다. 나아가, 비디오 에디터가 예컨대 씬을 재정렬하고, 씬 내의 각 프레임에 영상-처리 기법을 적용하는 것과 같이 씬 단위로 비디오 레코딩을 조작하는데 사용될 수 있다.
MPEG 비디오 시퀀스는 세 개의 프레임 유형, 즉 인트라-프레임(I), 인터-프레임(P) 및 양방향 프레임(B)을 포함한다. I 프레임은 JPEG 인코딩과 유사한 방법을 사용하여 정지 영상을 인코딩한다. P 프레임은 이전 I 또는 P 프레임으로부터 예측된다. B 프레임은 이전 I 또는 P 프레임 및 그 다음 I 또는 P 프레임 둘 모두로부터 예측된다. 이들 세 유형의 프레임은 이산 코사인 변환(DCT)을 사용하여 인코딩되며, 이러한 DCT는 프레임 사이의 공간 방향의 중복도를 구성한다. 그러나, I 프레임의 경우, DCT 정보가 영상 샘플로부터 바로 유도되는 반면, P 및 B 프레임의 경우, DCT 정보는 예측 이후의 잔류 에러로부터 유도된다.
각 프레임은 복수의 매크로블록으로 분할된다. 각 매크로블록은 예컨대 Y1, Y2, Y3 및 Y4와 같은 복수의 휘도 블록과, 예컨대 YUV 시스템 내의 하나의 U 및 하나의 V와 같은 복수의 색차 블록에 관련된 정보를 포함한다. 이들 블록 각각은 예컨대 8x8 블록과 같은 복수의 화소, 즉 화상 요소를 포함한다.
비디오가 MPEG-유형 비트스트림으로 인코딩되어진 경우, 씬 컷 검출은 비트스트림을 완전히 디코딩하지 않고 수행될 수 있고, 이것은 비디오 처리 속도를 증가시킨다. 매크로블록 인코딩 유형, 움직임 벡터 및 DCT 계수와 같은 추가적인 정보가 또한 비트스트림을 완전히 디코딩하지 않고 비트스트림으로부터 추출될 수 있다.
씬 컷 검출에 대한 하나의 방법이 다음과 같이 수행된다:
1. I 프레임의 경우, DCT 계수 사이의 평균-제곱근 차이가 결정되고;
2. P 프레임의 경우, 제안된 방법은 순방향-예측된 매크로블록의 수를 결정하고;
3. B 프레임의 경우, 순방향-코딩된 매크로블록의 수와 역방향-코딩된 매크로블록의 수 중 더 적은 것이 카운트되며;
4. 그 후, 최소치가 프레임 수 대 이들 수의 하나의 구성(plot)에서 결정된다.
씬 컷 검출에 대한 또 다른 제안된 방법에서: I 프레임의 경우, DC 계수로부터 만들어진 컬러 히스토그램 사이의 차이가 사용되며, 움직임 보상이 없는 매크로블록의 수 대 움직임 보상이 있는 매크로블록의 수의 비에 대한 정보와 결합된다. 제안된 방법은 프레임 수에 대비한 구성에서의 피크치를 조사한다. B 프레임의 경우, 순방향 예측치 대 역방향 예측치의 비가 결정된다. 모든 경우, 국부 적응형 임계 기법(local adaptive threshold technique)이 피크치를 식별하도록 구현된다.
그러나 또 다른 방법은, 움직임 보상을 갖는 이산 코사인(DC) 계수로부터 만들어진, 모든 프레임(I, P 및 B)에 대한 히스토그램을 사용한다.
그러나, 화상 서브그룹(GOP) 내의 모든 예측치에 대한 전역 조사(global examination)를 기초로 한 씬 컷 검출에 대해 알려진 시스템 또는 방법이 현재 존재하지 않는다.
도 1은 본 발명의 원리에 따라 서브-GOP 내의 예시적인 씬 컷을 도시한 도면.
도 2는 본 발명의 원리에 따라 씬 컷 검출에 대한 제 1 방법을 도시한 흐름도.
도 3은 본 발명의 원리에 따라 씬 컷 검출에 대한 제 2 방법을 도시한 흐름도.
씬 컷은 본 발명의 원리에 따라 서브-GOP 내의 모든 예측치에 대한 전역 조사를 기초로 하여 검출된다. 복수의 잠재된 씬 컷 각각에 대한 코딩된 매크로블록의 수가 먼저 검출된다. 복수의 잠재된 씬 컷 각각에 대한 예측된 매크로블록의 수가 그 이후 결정된다. 상기 잠재적인 씬 컷에 대응하는 복수의 프레임 각각에 대해 코딩된 매크로블록의 수 대 예측된 매크로블록의 수에 대한 비가 그 다음에 결정된다. 원하는 비를 갖는 프레임이 선택된다. 이 비는 임계치에 비교된다. 이 비가 임계치를 만족한다고 결정되면, 씬 컷이 검출된다.
본 발명의 바람직한 실시예가 수반하는 도면을 참조하여 이후 좀더 상세하게 기술될 것이다.
본 발명의 원리에 따라, 씬 컷(scene cut) 검출은 각 인터-프레임(P) 또는 양방향(B) 프레임에서 순방향 및 역방향 예측된 매크로블록의 수에 대한 데이터를 수집하고, 이들을 서브-GOP 레벨{선행 B 프레임과 함께 각 앵커(anchor) 프레임이 있음}에 대해 각 프레임을 독립적으로 고려하지 않고 분석함으로써 수행된다. 본 발명이 하드웨어, 소프트웨어, 펌웨어, 특수용도 프로세서, 또는 이들의 결합과 같은 여러 형태로 구현될 수 있다는 점이 이해될 것이다. 한 예시적인 실시예에서, 본 발명은 프로그램 저장 디바이스 상에서 명백하게 구현된 애플리케이션 프로그램으로서 소프트웨어로 구현된다. 이 애플리케이션 프로그램은 임의의 적절한 아키택쳐를 포함하는 기계에 업로드되고, 이 기계에 의해 실행될 수 있다. 바람직하게는, 기계는 하나 이상의 중앙처리장치(CPU), 랜덤 액세스 메모리(RAM) 및 입/출력(I/O) 인터페이스(들)와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 운영체계 및 마이크로-지령 코드를 포함한다. 여기서 기술된 여러 프로세스 및 기능은 마이크로-지령 코드의 일부이거나 또는 운영체계를 통해 실행되는 애플리케이션 프로그램의 일부(또는 이들 코드 및 프로그램의 결합)일 수 있다. 게다가, 추가적인 데이터 저장 디바이스(들) 및 인쇄 디바이스(들)와 같은 여러 다른 주변 디바이스가 컴퓨터 플랫폼에 연결될 수 있다.
도면에 도시된 구성 시스템의 구성요소 및 방법 단계 중 몇몇은 소프트웨어로 구현될 수 있기 때문에, 시스템의 구성요소(또는 프로세스 단계) 사이의 실제 연결, 상호 연결 또는 기능적 관계가 본 발명이 프로그래밍되는 방식에 따라서 다를 수 있음이 더 이해되어야 한다. 여기서 제공된 본 발명의 교훈이 주어진다면, 당업자는 본 발명의 이들 구현 또는 구성 및 이에 유사한 구현 또는 구성을 예상할 수 있을 것이다.
각 P 또는 B 프레임의 경우, 순방향 예측치를 사용하는 매크로블록의 수와, 역방향 예측치를 사용하는 매크로블록의 수(B 프레임에서만 볼 수 있음)가 레코딩된다. 각 앵커 프레임, 인트라-프레임(I) 또는 P 및 모든 바로 선행하는 B 프레임에 대한 데이터가 조사된다.
만약 매크로블록이 부적절하게 예측된다면, 움직임 보상 이후의 잔류 에러가 클 수 있으며, 큰 DCT 계수가 예측치를 보상하기 위해 필요하다. 이들 예측치의 경우, 이 예측치가 틀릴 가능성이 높다(대략 50%를 초과함). 즉, 이 예측치의 기반이 되는 앵커 프레임 매크로블록은 예측된 프레임 내의 매크로블록과 실제로 관련되지 않을 수 있지만, 앵커 프레임은 예측치가 이로부터 만들어질 수 있을 정도로 충분히 유사하다. 이런 이유로, 이러한 매크로블록이 통계치를 수집할 때 무시된다. 좀더 상세하게, 순방향 또는 역방향 예측치로 매크로블록을 카운트할 때, DCT 계수의 총 에너지(엔트로피)가 조사된다. DCT 계수의 총 에너지는 비-DC 계수의 제곱근의 합이다. 만약 이러한 에너지가 임계치를 초과한다면, 매크로블록은 순방향 또는 역방향 예측치의 수(각각 nFwd 및 nBwd임)나 코딩된 매크로블록의 수(nCode)에 대해 카운트되지 않는다. MPEG-2의 경우, 한 예시적인 임계치는 대략 500인 것으로 알려져 왔다.
앵커 프레임의 경우, 서브-GOP의 각 프레임에 대한 예측치 패턴이 분석된다. 두 개의 B 프레임과 하나의 P 프레임을 포함하는 서브-GOP를 도시한 도 1을 고려해보자. 씬 컷의 잠재적인 위치로 프레임(B1)(102)이전, 프레임(B1)(102)과 프레임(B2)(103) 사이 및 프레임(B2)(103)과 프레임(P3)(104) 사이를 들 수 있다. 게다가, 만약 프레임이 인터레이스(interlace)된다면, 씬 컷은 세 프레임(각각, 105 내지 107) 중 임의의 프레임의 필드 사이에서 발생할 수 있다.
본 발명의 실시예에 따라, 만약 씬 컷이 108에서 발생한다면, 프레임{B1(102), B2(103) 또는 P3(104)}에는 순방향-예측된 매크로블록이 거의 없으며, 이는 프레임(1/P0)(101)은 이들 프레임 중 어떤 프레임에도 관련되지 않기 때문이다. 마찬가지로, 만약 씬 컷이 109에서 발생한다면, 프레임(B1)(102)에는 역방향-예측된 매크로블록이 거의 없으며, 이는 프레임{B1(102)}이 이들 예측이 이루어진 프레임(P3)(104)에 관련되지 않기 때문이며; 또한, 프레임{B2(103) 또는 P3(104)}에서 순방향-예측된 매크로블록을 거의 예상하지 않으며, 이는 프레임(1/PO)(101)이 이들 프레임에 관련되지 않기 때문이다.
따라서, 108에서의 씬 컷 가능성에 대한 측정치는 프레임{B1(102), B2(103) 또는 P3(104)}에서의 순방향-예측된 매크로블록의 총 수이다. 109에서의 씬 컷 가능성에 대한 측정치는 프레임(B1)(102)에서의 역방향-예측된 매크로블록의 수에 프레임{B2(103) 및 P3(104)}에서의 순방향-예측된 매크로블록의 수를 더한 것의 총 수이며; 또한, 110에서 씬 컷 가능성에 대해서 유사하게 적용된다. 대응하는 지점에서 씬 컷이 있을 가능성은, 순방향 및 역방향-예측된 매크로블록의 총 수가 감소함에 따라 증가한다.
도 2를 참조하면, 현재의 화상(p)이 P 또는 B 프레임임을 결정하자마자(201), 프레임에서의 코딩된 매크로블록의 총 수(nCode[p])는 energyThresh보다 더 작은 AcEnergy를 갖는 매크로블록의 수로 설정된다(202). 프레임에 대한 순방향 예측된 매크로블록의 총 수(nFwd[p])는 energyThresh 및 순방향 예측치보다 더 작은 AcEnergy를 갖는 매크로블록의 수로서 설정된다(203). 프레임에 대한 역방향 예측된 매크로블록의 총 수(nBwd[p])는 energyThresh 및 역방향 예측치보다 더 작은 AcEnergy를 갖는 매크로블록의 수로서 설정된다(204).
이제 도 3을 참조하면, 단계(301)에 따라, p가 I 또는 P 프레임인지가 결정된다. 만약 p가 I 또는 P 프레임이 아니라면, 단계(302)에 따라 서브-GOP의 끝까지 어떠한 씬 컷도 검출되지 않는다. 단계(303)에 따라, p가 I 프레임인지 및 이전 화상이 I 또는 P 프레임이었는지가 결정된다. 만약 p가 I 프레임이고, 이전 화상이 I 또는 P 프레임이었다고 결정되면, 단계(304)에 따라서, 씬 컷은 이 서브-GOP에서 검출되지 않는다. p가 P 유형임과, 이전 화상이 B 유형임을 결정하자마자, 단계(305 내지 311)에서 데이터는 현재의 서브-GOP에 관련하여 수집된다. 필드(f)와 선행 필드 사이의 잠재적인 씬 컷을 넘어서는 예측치에 대한 카운트(predMBs[f]) 및 이러한 경계를 넘어설 수 있는 예측치를 갖는 매크로블록의 카운트(codedMBs[f])가 단계(305)에 따라서 서브-GOP의 각 필드(f)에 대해 0으로 초기화된다.
서브-GOP의 각 필드(f)의 경우, 이 필드(f)가 I 화상에 있는지가 단계(307)에 따라 결정된다. 만약 이 필드(f)가 I 화상에 있다면, 방법은 단계(308)에 따라서 그 다음 필드에 대해서 계속된다. 상기 필드(f)가 I 화상에 있지 않다고 결정하자마자, 방법은 서브-GOP의 씬 컷을 위한 잠재적인 위치, 즉 두 필드 사이의 각 위치(f')에 걸쳐서 반복된다. codedMBs[f']의 값은 단계(309)에 따라서 서브-GOP에서의 각 잠재적인 씬 컷(f')을 위해 nCode[f]만큼 증가한다. 나아가, predMBs[f']의 값은 단계(310)에 따라 f의 이전에 있거나 f와 같은 각 잠재적인 씬 컷(f')을 위해 nFwd[f]만큼 증가한다.
단계(311)에 따라, 마지막 필드에 도달했는지가 결정되며, 만약 도달하지 않았다면, 단계(308)에 따라, 방법은 그 다음 필드로 진행한다. 마지막 필드에 도달했다고 결정하자마자, 단계(312)에 따라, predMBs[f] 대 codedMBs[f](예컨대, predMBs[f] 대 codedMBs[f])의 비가 최소인 필드(f)가 결정된다. 최소 비를 갖도록 결정된 필드(f)의 경우, 단계(313)에 따라 만약 codedMBs[f]로 나눠진 predMBs[f]가 predRatioTresh보다 더 작다면, 단계(314)에 따라, 방법은 이 필드와 선행 필드 사이의 씬 컷을 검출하고, 보고하며, 그렇지 않다면, 단계(315)에 따라, 서브-GOP에서 어떠한 씬 컷도 검출되지 않는다.
비록 화상이 프레임 화상일지라도, (만약 프레임 화상이 인터레이스된다면) 씬 컷이 프레임 화상의 필드 사이에서 일어날 수 있으므로 예측된 매크로블록(predMBs)과 필드 코딩된 매크로블록(codedMBs)의 수가 각 필드에 대해 결정됨을 주목하기 바란다. 프레임 화상 내의 매크로블록은 predMBs와 codedMBs를 계산할 때 프레임의 각 필드에 인가된다. 즉, nCode[f']는 f'가 프레임의 필드 중 어느 하나를 지칭할 때 프레임 내의 코딩된 매크로블록의 총 수이다. 유사하게, nFwd[f']와 nBwd[f']는 각각 필드[f']에서의 순방향 예측 매크로블록 및 역방향 예측 매크로블록의 수를 나타낸다. f'가 f와 동일한 프레임 화상에 있을 때, predMBs[f]는 nBwd[f]만큼 증가하며, codedMBs[f]는 f가 이 프레임의 제 1 필드일 때에만 nCode[f']만큼 증가한다. 제 2 필드에 대한 어레이는 증가하지 않으며, 이는 순방향 예측치가 제 1 필드에만 적용되고, 역방향 예측치가 제 2 필드에만 적용된다고 가정될 것이기 때문이다. 만약 이러한 가정이 적용되지 않았다면, 프레임 화상의 필드 사이의 씬 컷은 씬의 경계를 횡단하는 예측치에 의해 감춰졌을 것이다.
예측된 비의 임계치(predRatioThresh)에 대한 양호한 값이 실험을 통해 0.05인 것으로 알려졌다. 그러나, 추가적인 실험 및/또는 응용은 이 값이외의 다른 값 또는 가변적인 임계치가 특정한 응용에서 좀더 적절할 수 있음을 결정할 수 있다. 더 나아가, AC 에너지 임계치(AcThresh)를 위해 선택된 특정한 값은 유사하게 여기서 기술된 예시적인 값이 아닐 수 있다. 본 발명의 효율 및 정밀도를 최대로 하기 위해 이들 값 및 다른 값을 추정하고 수정하는 것은 당업자에게는 분명할 것이며, 이러한 수정은 여전히 여기에 기술된 본 발명의 원리를 포함하고 있다.
전술된 특정한 방법은 구현되었고, 테스트되었던 것이다. 이점은 이러한 개시물 또는 여기에 포함된 청구항의 범주를 제한하고자 하는 것은 아니다. 본 발명이 내포하고 있는 원리는 서브-GOP 내의 모든 예측치에 대한 전역 조사를 통해 급속한(sharp) 씬 컷을 정밀하게 검출하는 것이다. 예측치에 이용될 수 있는 모든 정보의 일관성을 유지함으로써, 잘못된 긍정(씬 컷에 대한 틀린 보고)은 줄어들 수 있다.
본 발명의 원리는 I 화상만 있는 경우 및 P 화상 다음에 I 화상이 있는 경우를 다루기 위해 예컨대 히스토그램-기반 접근법에 통합될 수 있으며, 이러한 경우에, 본 방법은 씬 컷을 검출할 수 없다. 히스토그램을 수반하는 확장은 또한 페이드(fade), 디졸브(dissolve) 및 와이프(wipe)와 같은 점진적인(gradual) 씬 컷을 검출하도록 구현될 수 있다.
서브-GOP 내의 모든 예측치에 대한 전역 조사를 통해 씬 컷을 정밀하게 검출하는 실시예를 기술하였지만, 전술된 교훈에 비추어 당업자가 수정 및 변형을 할 수 있음을 주목해야 한다. 그러므로, 첨부된 청구항으로 한정된 본 발명의 범주와 사상 내에 있는 개시된 본 발명의 특정한 실시예에 다양한 변형 및 수정이 있을 수 있다는 점이 이해되어야 한다. 그에 따라, 본 발명을 특허법이 요구하는 상세한 사항 및 특질(the details and particularity)로 기술하였지만, 청구되고 특허증(Letters Patent)에 의해 보호받고자 하는 내용이 첨부된 청구항에 제기되어 있다.
상술된 바와 같이, 본 발명은 MPEG-유형 비디오, 좀더 상세하게는 비디오 비트스트림 내의 씬 컷 검출에 이용된다.

Claims (22)

  1. MPEG 비디오 비트스트림에서 씬 컷을 검출하는 방법으로서,
    (a) 각 프레임이 복수의 필드를 갖는 복수의 프레임에 대해서 각 프레임 내의 복수의 필드 각각에 대한 코딩된 매크로블록의 수를 결정하는 단계로서, 상기 복수의 프레임은 복수의 잠재적인 씬 컷에 대응하는, 코딩된 매크로블록의 수 결정 단계;
    (b) 대응하는 필드가 프레임 내의 제 1 필드임을 결정하자마자, 예측된 매크로블록의 수를 상기 복수의 프레임 각각에 대한 순방향 예측된 매크로블록의 수와 같게 설정하는 단계;
    (c) 상기 대응하는 필드가 상기 프레임 내의 제 2 필드임을 결정하자마자, 상기 예측된 매크로블록의 수를 상기 복수의 프레임 각각에 대한 역방향 예측된 매크로블록의 수와 같게 설정하는 단계로서, 상기 프레임은 상기 제 1 및 제 2 필드를 포함하는, 역방향 예측된 매크로블록의 수와 같게 설정하는 단계;
    (d) 상기 복수의 잠재적인 씬 컷에 대응하는 복수의 프레임 내의 복수의 필드 각각에 대해 상기 예측된 매크로블록의 수 대 상기 코딩된 매크로블록의 수의 비를 결정하는 단계;
    (e) 상기 복수의 필드 중에서 최저인 비를 갖는 필드를 선택하는 단계;
    (f) 상기 최저인 비를 임계치와 비교하는 단계와;
    (g) 상기 최저인 비가 상기 임계치보다 작다는 것을 결정하자마자, 씬 컷을 검출하는 단계로서, 상기 씬 컷은 상기 선택된 필드에 대응하는, 씬 컷 검출 단계를,
    포함하는, MPEG 비디오 비트스트림에서 씬 컷을 검출하는 방법.
  2. 제 1항에 있어서, 상기 복수의 프레임은 프레임 그룹이고, 각 프레임은 두 개의 필드를 포함하고, 상기 프레임 그룹은 화상 서브-그룹을 포함하고, 상기 비디오 비트스트림은 복수의 화상 서브-그룹을 포함하는, MPEG 비디오 비트스트림에서 씬 컷을 검출하는 방법.
  3. 제 2항에 있어서, 단계 (a) 이전에
    화상 서브-그룹의 제 1 화상이 I 화상인지를 결정하는 단계;
    이전 화상이 I 또는 P 화상이었는지를 결정하는 단계와;
    상기 제 1 화상이 I 화상임을 결정하고 상기 이전 화상이 I 또는 P 화상임을 결정함에 응답하여, 그 다음 화상 서브-그룹에 대한 처리를 진행하는 단계를
    더 포함하는, MPEG 비디오 비트스트림에서 씬 컷을 검출하는 방법.
  4. 제 1항에 있어서,
    각 필드에 대해 상기 예측된 매크로블록의 수를 0으로 초기화하는 단계와;
    각 필드에 대해 상기 코딩된 매크로블록의 수를 0으로 초기화하는 단계를
    더 포함하는, MPEG 비디오 비트스트림에서 씬 컷을 검출하는 방법.
  5. 제 1항에 있어서, 상기 복수의 잠재적인 씬 컷 중 적어도 하나는 프레임 내의 비월(interlaced) 필드 사이에 존재하는, MPEG 비디오 비트스트림에서 씬 컷을 검출하는 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
KR1020047004260A 2001-09-26 2002-09-20 Ｍｐｅｇ 비디오 비트스트림에서 씬 컷을 검출하는 방법 KR100920096B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US32489001P 2001-09-26 2001-09-26
US60/324,890 2001-09-26
US10/014,963 US6996183B2 (en) 2001-09-26 2001-12-11 Scene cut detection in a video bitstream
US10/014,963 2001-12-11
PCT/US2002/029883 WO2003028236A1 (en) 2001-09-26 2002-09-20 Scene cut detection in a video bitstream

Publications (2)

Publication Number Publication Date
KR20040037104A KR20040037104A (ko) 2004-05-04
KR100920096B1 true KR100920096B1 (ko) 2009-10-01

Family

ID=26686770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047004260A KR100920096B1 (ko) 2001-09-26 2002-09-20 Ｍｐｅｇ 비디오 비트스트림에서 씬 컷을 검출하는 방법

Country Status (10)

Country Link
US (1) US6996183B2 (ko)
EP (1) EP1430613B1 (ko)
JP (1) JP4173099B2 (ko)
KR (1) KR100920096B1 (ko)
CN (1) CN100525129C (ko)
BR (1) BRPI0212828B1 (ko)
ES (1) ES2385324T3 (ko)
MX (1) MXPA04002923A (ko)
MY (1) MY127481A (ko)
WO (1) WO2003028236A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101043768B1 (ko) * 2009-10-13 2011-06-22 중앙대학교 산학협력단 회화적 렌더링 장치 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100428801C (zh) * 2005-11-18 2008-10-22 清华大学 一种视频场景切换检测方法
JP4719889B2 (ja) * 2006-08-03 2011-07-06 国立大学法人電気通信大学 カット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラム
US20090313546A1 (en) * 2008-06-16 2009-12-17 Porto Technology, Llc Auto-editing process for media content shared via a media sharing service
KR101149522B1 (ko) 2008-12-15 2012-05-25 한국전자통신연구원 장면 전환 검출 시스템 및 방법
CN101534442B (zh) * 2009-04-13 2011-01-12 腾讯科技（深圳）有限公司 视频编码系统及方法
JP5957532B2 (ja) 2011-10-11 2016-07-27 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオシーケンスにおける知覚品質評価のためのシーン変化検出
KR20140110881A (ko) * 2011-11-25 2014-09-17 톰슨 라이센싱 장면 컷 결함들을 고려한 비디오 품질 평가
KR20150046036A (ko) 2012-08-23 2015-04-29 톰슨 라이센싱 비디오 비트스트림에서 점진적 전환 픽쳐를 검출하기 위한 방법 및 장치
CN105075273B (zh) * 2013-02-27 2019-03-26 苹果公司 自适应流式传输技术
US9979970B2 (en) * 2014-08-08 2018-05-22 Qualcomm Incorporated System and method for determining buffer fullness for display stream compression
CN109194955B (zh) * 2018-11-16 2021-04-30 深圳市梦网视讯有限公司 一种场景切换检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642174A (en) * 1996-03-21 1997-06-24 Fujitsu Limited Scene change detecting device
US5731835A (en) * 1996-02-26 1998-03-24 David Sarnoff Research Center, Inc. Dynamic coding rate control in a block-based video coding system
US5751378A (en) * 1996-09-27 1998-05-12 General Instrument Corporation Scene change detector for digital video
US6252905B1 (en) * 1998-02-05 2001-06-26 International Business Machines Corporation Real-time evaluation of compressed picture quality within a digital video encoder

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2294173B (en) 1994-10-11 1998-12-09 Mitsubishi Electric Corp Disk media, and method of and device for recording and playing back information on or from a disk media
US5835149A (en) 1995-06-06 1998-11-10 Intel Corporation Bit allocation in a coded video sequence
US5774593A (en) * 1995-07-24 1998-06-30 University Of Washington Automatic scene decomposition and optimization of MPEG compressed video
US5872598A (en) 1995-12-26 1999-02-16 C-Cube Microsystems Scene change detection using quantization scale factor rate control
US5768537A (en) 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
US5724100A (en) * 1996-02-26 1998-03-03 David Sarnoff Research Center, Inc. Method and apparatus for detecting scene-cuts in a block-based video coding system
JP3244629B2 (ja) 1996-08-20 2002-01-07 株式会社日立製作所 シーン変化点検出方法
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
FR2764156B1 (fr) 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
CN1136734C (zh) 1997-07-29 2004-01-28 皇家菲利浦电子有限公司 可变比特率视频编码方法及相应的视频编码器
US6100940A (en) 1998-01-21 2000-08-08 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
JP3905969B2 (ja) 1998-01-30 2007-04-18 株式会社東芝 動画像符号化装置および動画像符号化方法
US6125147A (en) 1998-05-07 2000-09-26 Motorola, Inc. Method and apparatus for reducing breathing artifacts in compressed video
JP2001266158A (ja) 2000-01-11 2001-09-28 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731835A (en) * 1996-02-26 1998-03-24 David Sarnoff Research Center, Inc. Dynamic coding rate control in a block-based video coding system
US5642174A (en) * 1996-03-21 1997-06-24 Fujitsu Limited Scene change detecting device
US5751378A (en) * 1996-09-27 1998-05-12 General Instrument Corporation Scene change detector for digital video
US6252905B1 (en) * 1998-02-05 2001-06-26 International Business Machines Corporation Real-time evaluation of compressed picture quality within a digital video encoder

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101043768B1 (ko) * 2009-10-13 2011-06-22 중앙대학교 산학협력단 회화적 렌더링 장치 및 방법

Also Published As

Publication number Publication date
JP4173099B2 (ja) 2008-10-29
MXPA04002923A (es) 2004-07-05
BRPI0212828B1 (pt) 2016-05-10
CN100525129C (zh) 2009-08-05
KR20040037104A (ko) 2004-05-04
WO2003028236A1 (en) 2003-04-03
BR0212828A (pt) 2004-10-13
EP1430613B1 (en) 2012-05-02
MY127481A (en) 2006-12-29
EP1430613A4 (en) 2010-05-26
US6996183B2 (en) 2006-02-07
JP2005505165A (ja) 2005-02-17
CN1602592A (zh) 2005-03-30
EP1430613A1 (en) 2004-06-23
ES2385324T3 (es) 2012-07-23
US20030058947A1 (en) 2003-03-27

Similar Documents

Publication Publication Date Title
JP3957915B2 (ja) フェード検出装置及び情報符号化装置
US6449392B1 (en) Methods of scene change detection and fade detection for indexing of video sequences
US6618507B1 (en) Methods of feature extraction of video sequences
JP4373606B2 (ja) 符号化システムを改善するために付随情報を使用する装置及び方法
US7054367B2 (en) Edge detection based on variable-length codes of block coded video
US6327390B1 (en) Methods of scene fade detection for indexing of video sequences
KR100851859B1 (ko) 스케일가능 mpeg-2 비디오 디코더
KR100920096B1 (ko) Ｍｐｅｇ 비디오 비트스트림에서 씬 컷을 검출하는 방법
JPH09261648A (ja) シーンチェンジ検出装置
JP4456867B2 (ja) ビデオ中の異常イベントを検出する方法およびシステム
GB2459671A (en) Scene Change Detection For Use With Bit-Rate Control Of A Video Compression System
JP3714871B2 (ja) サンプリングされたディジタル動画シーケンス中の推移を検出する方法
US20060109902A1 (en) Compressed domain temporal segmentation of video sequences
Gamaz et al. Scene change detection in MPEG domain
JP2869398B2 (ja) カット点検出方法及び装置
JP2002064823A (ja) 圧縮動画像のシーンチェンジ検出装置、圧縮動画像のシーンチェンジ検出方法及びそのプログラムを記録した記録媒体
JP4107544B2 (ja) 画像信号の再符号化装置
JP3711022B2 (ja) 動画像内の特定物体認識方法及び装置
JP2002281508A (ja) スキップ領域検出型動画像符号化装置および記録媒体
JP3339544B2 (ja) ディゾルブ検出方法および装置
KR100249829B1 (ko) 엠펙-2 비트열 상에서 계층적 구조를 갖는 장면전환 검출 방법
JP3407872B2 (ja) 付加情報検出方法及び装置
Fernando et al. DFD based scene segmentation for H. 263 video sequences
JP3571200B2 (ja) 動画像データのカット検出装置及び方法及び記録媒体
WO2006070301A1 (en) Method and apparatus for encoding video data stream

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120821

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130819

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160831

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190918

Year of fee payment: 11