KR20020007915A - 엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집효과 검출 알고리즘 - Google Patents

엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집효과 검출 알고리즘 Download PDF

Info

Publication number
KR20020007915A
KR20020007915A KR1020000041455A KR20000041455A KR20020007915A KR 20020007915 A KR20020007915 A KR 20020007915A KR 1020000041455 A KR1020000041455 A KR 1020000041455A KR 20000041455 A KR20000041455 A KR 20000041455A KR 20020007915 A KR20020007915 A KR 20020007915A
Authority
KR
South Korea
Prior art keywords
intra
coded
wipe
macroblock
frame
Prior art date
Application number
KR1020000041455A
Other languages
English (en)
Other versions
KR100380229B1 (ko
Inventor
전성배
윤경로
Original Assignee
구자홍
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자주식회사 filed Critical 구자홍
Priority to KR10-2000-0041455A priority Critical patent/KR100380229B1/ko
Priority to US09/907,718 priority patent/US7050115B2/en
Publication of KR20020007915A publication Critical patent/KR20020007915A/ko
Application granted granted Critical
Publication of KR100380229B1 publication Critical patent/KR100380229B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 비디오 스트림 편집에 사용되는 점진적 장면 전환 기법 중에서 와이프(wipe) 및 특수효과를 검출하기 위한 알고리즘에 관한 것이다.
본 발명은 MPEG과 같이 프레임간 영상차에 근거한 압축을 이용하는 비디오 스트림의 압축 도메인에서, (a).ICMB(Intra Coded Macro Block)이 집중된 영역이 연속적으로 나타나는 구간을 구하고, 그 구간의 러닝타임이 일정시간 이상일 때 해당 구간을 와이프 및 특수효과에 의한 장면 전환구간으로 판단하거나, (b). ICMB이 집중된 영역이 연속적으로 나타나는 구간의 매크로 블록을 시간축 위에 투사한 이미지에서 ICMB의 갯수가 일정 임계치 이상일 때 해당 구간을 와이프 및 특수효과에 의한 장면 전환구간으로 판단하거나, (c). ICMB들의 비율이 일정 임계치 이상인 연속적인 구간이 일정시간 이상일 때 그 구간을 와이프 및 특수효과에 의한 장면 전환구간으로 판단한다.

Description

엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집 효과 검출 알고리즘{An wipe and special effect detection method for MPEG-Compressed video using spatio-temporal distribution of the macro blocks}
본 발명은 비디오 스트림(video stream)의 편집에 흔히 사용되는 점진적 장면 전환 기법(gradual shot transition method) 중에서 와이프(wipe) 및 특수효과를 검출하기 위한 알고리즘에 관한 것으로서, 특히 엠펙(MPEG)과 같이 프레임간 영상차에 근거한 압축기법을 이용한 비디오 스트림의 압축 도메인(domain)에서 P프레임의 매크로 블록의 시공간상의 분포와 변화특성을 기반으로 하여 와이프 및 특수효과를 검출할 수 있도록 한 와이프 및 특수효과 검출 알고리즘에 관한 것이다.
더욱 상세하게는 본 발명은 프레임간의 영상차에 근거한 비디오 스트림의 압축 도메인에서, 인트라 코딩된 매크로 블록들의 시공간상의 분포특성(변화)이 와이프나 특수효과에 의한 장면전환 구간으로 판단 가능할 만큼 특징적이라는 점을 기반으로 하고, 이 분포 특성으로서; P프레임에서 인트라 코딩된 매크로 블록의 갯수나 비율, 또는 인트라 코딩된 매크로 블록들이 집중된 영역을 검출하여, 상기 검출된 인트라 코딩된 매크로 블록들의 시공간상의 분포특성에 와이프 및 특수효과에 의한 장면전환 여부를 판단하기 위한 시공간적 제한조건(러닝타임의 지속성, 일정 임계치 이상의 조건 만족 여부 등)을 적용해서 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘에 관한 것이다.
[비디오 인덱싱과 비 선형적 브라우징 방법]
디지털 비디오 기술의 발달과 이미지/비디오 인식 기술의 발달로 인하여 사용자들은 원하는 비디오를 원하는 시점에서 원하는 부분만을 검색(searching /filtering)하고 브라우징(browsing) 할 수 있게 되었다. 비선형적인 비디오 브라우징(non-linear video browsing)과 검색을 위하여 가장 기본이 되는 기술은 샷 분할(shot segmentation) 기법과 샷 클러스터링(shot clustering) 기법이며, 이 두 가지 기술은 비디오를 분석(analysis)하는데 있어서 가장 핵심이 되는 기술이다.
따라서 현재까지 많은 연구가 샷 세그멘테이션에 집중되어 있고 샷 클러스터링 기술에 대한 연구가 시작되고 있는 추세이다.
도1은 비선형적인 비디오 브라우징을 위한 사용자 인터페이스의 일례이다.
100은 목차, 101은 디스플레이 화면이고, 102는 특정 구간을 대표하는 프레임일 수 있으며, 103은 브라우징을 위한 기능키 그래픽을 보이고 있다.
도1과 같은 인터페이스(목차 인터페이스 : Table Of Contents : TOC)를 이용하면, 사용자는 비디오를 전체적으로 시청하지 않고 자신이 원하는 부분만을 쉽게 접근할 수 있으므로 디지털 비디오 브라우징 방법에 있어서 매우 유용한 인터페이스 이다. 이러한 비디오 브라우징을 위하여 샷 세그멘테이션 기술과 샷 클러스터링 기술은 매우 중요한 기술로 인식된다.
[샷 세그멘테이션과 샷 클러스터링 간의 관계]
도2는 샷 세그멘테이션 기술과 샷 클러스터링 기술간의 관계를 도식화 한 것이다.
비디오 스트림은 씬 단위(하위 씬으로 더 나뉘기도 한다)로 구분할 수 있고, 각각의 씬은 샷들로 구분할 수 있고, 각각의 샷들은 비디오 프레임들의 시퀀스로 이루어지고 있다.
샷 세그멘테이션이란 비디오를 각각의 개별 샷으로 분할하는 기법을 말하며 샷 클러스터링이란 개별 샷들로부터 시간적/이미지적/모션적/오디오적 유사성에 기반하여 개별 샷들을 비슷한 샷들끼리 묶어내어 논리적인 씬(scene)단위로 비디오 구조를 구성하는 기술을 지칭한다.
[샷 전이(Shot transition) 및 씬(scene)]
샷(shot)이란 방해(interruption) 없이 하나의 카메라로부터 얻어진 비디오 프레임들의 시퀀스(sequence)를 의미하며, 샷은 비디오를 분석(analysis)하거나 구성(construction)하는 가장 기본이 되는 단위이다.
일반적으로 비디오는 수많은 샷의 연결로 구성되며, 샷이 연결될 때 다양한 편집 효과가 사용된다. 이 중에서 가장 널리 사용되는 샷 전이 방법은 하드 컷(hard cut)에 의한 것이다. 비디오의 편집 효과 중에는 크게 갑작스러운 장면 전이(abrupt shot transition : hard cut)와 점진적인 전이가 있다(gradual shottransition). 또한 점진적인 샷 전이 방법에는 페이드(fade), 디졸브(dissolve), 와이프(wipe), 그 밖의 특수 효과(special effects) 등이 있다.
일반적으로 점진적인 장면 전환 기법은 갑작스러운 장면 전환 기법에 비하여 사용되는 횟수가 적다. 그러나 점진적인 장면 전환은 일반적으로 갑작스러운 장면 전환을 사용하는 장면 전환과 다른 특수한 의미를 갖는 경우가 많다.
예를 들면 페이드 인/페이드 아웃 등의 기법은 과거를 회상하거나 새로운 씬의 시작을 의미하는 등의 경우가 대부분이다. 또한 디졸브 편집 효과도 작은 단위의 샷 전이를 위해서도 사용하지만 대부분 큰 단위의 장면 전환인 씬의 전환을 위하여 사용된다.
여기서 씬이란 다수의 샷 또는 하위 씬으로 구성되어 논리적인 이야기의 구성 단위를 의미한다. 와이프나 기타 특수 효과 또한 대부분 씬 단위의 장면 전환에 많이 응용되는 편집 효과(editing effect) 이다.
프로그램의 장르 또는 콘텐트의 특성에 대한 정보를 알 수 있는 경우에 이러한 점진적인 장면 전환을 검출하는 것은 비디오 스트림을 논리적인 이야기 구조의 단위로 분할(segmentation) 하는데 매우 중요한 단서로 이용될 수 있다.
따라서 점진적인 장면 전환의 검출은 비단 샷 세그멘테이션 뿐만 아니라 샷 클러스터링 알고리즘의 개발에 있어서도 매우 중요한 역할을 한다.
[종래 기술 1 : Twin Comparison Method]
여러가지 연구의 결과를 토대로 하여보면 전역적 칼라 분포(Global Color Distribution, Color Histogram Based Method)를 이용한 샷 세그멘테이션이 가장만족할 만한 결과를 나타내는 것으로 보고되고 있다.
그러나 칼라 히스토그램(Color Histogram)에 기반한 전역적 칼라 분포를 이용하는 샷 세그멘테이션 방법은 갑작스런갑작스러운 샷 전이를 검출함에 있어서 매우 우수한 성능을 보이지만 점진적인 샷 전이를 검출하는데 있어서 그 성능이 매우 낮다.
이에 점진적인 샷 전이를 검출하기 위한 몇몇 연구가 진행되었다.
Zhang 등은 갑작스러운 샷 전이와 점진적인 샷 전이를 구별하고 검출하기 위하여 Twin Comparison 방법을 제시하였다. Twin Comparison 알고리즘에서는 두개의 임계치를 설정하고 프레임간 영상차의 크기와 두개의 임계치를 비교하여 갑작스러운 샷 전이와 점진적인 샷 전이를 구분하는 방법을 사용하였다.
그러나 이 방법은 다양한 점진적인 샷 전이 방법을 구분할 수 없으며, 점진적인 샷 전이에 있어서 카메라 모션이나 오브젝트 움직임에 민감하므로 오검출(False alarm)이 많고 또한 미검출(Miss)도 많은 단점이 있다. 그리고 이 방법은 인접한 프레임간 영상차를 계속 필요로 하므로 알고리즘의 수행속도가 느린 단점이 있다.
[종래 기술 2 : Edge Image 영상차 이용 알고리즘]
W.Wolf 등은 픽셀단위의 프로세싱을 거쳐서 얻어진 에지(Edeg) 변화 통계와 픽셀단위의 프레임간 영상차에 기반한 다단계 와이프 샷 전이 검출 알고리즘을 제안 하였다. W.Wolf등이 사용한 알고리즘은 움직임이 발생하는 영역을 검출하고 와이프 장면 전환 기법의 특성을 모델링 한 것과 비교하는 것을 그 특징으로 하고 있다. 그러나 이 방법은 에지 전환을 얻기 위하여 프레임 단위로 이미지가 디코딩 되어 있을 것을 특징으로 하며, 에지를 검출하기 위하여 프레임 데이터 전체를 스캔(Scan) 할 것을 요구하므로 매우 많은 프로세싱이 요구된다.
[종래 기술 3 : Edge change fraction과 그 전환을 이용한 알고리즘]
R. Zabih 등은 새로 나타나는 에지(Entering Edge)와 사라지는 에지(Exiting Edge)의 비율을 조사하고 그 변화율에 근거하여 와이프 및 장면 전환을 검출하고 분류하는 알고리즘을 제안 하였다.
그러나 이 방법 역시 에지 검출을 위하여 모든 프레임이 픽쳐 수준으로 디코딩 되어 있어야 하며 에지를 검출하고, 그 에지가 새로 나타나는 에지인지 사라지는 에지인지 아니면 기존에 존재하는 에지인지를 판단하기 위하여 이미지 단위의 매칭이 필요하므로 속도가 현저히 떨어지는 단점이 있다.
[압축 도메인에서의 프로세싱이 요구되는 이유: 수행 속도 문제]
일반적으로 동영상 데이터의 경우에는 그 용량이 매우 크므로 저장이나 전송에 문제가 있다. 이러한 문제점을 극복하기 위하여 여러가지 이미지 프로세싱 기법을 이용하여 데이터를 압축하고 디코딩 장치를 이용하여 이미지를 복원하는 스킴을 이용하는데, 가장 대표적이며 널리 이용되는 압축 방법이 MPEG이다.
근래에는 이러한 MPEG 스트림의 압축 기법에 사용된 특성을 이용하여 MPEG으로 압축된 비디오를 픽쳐 수준까지 디코딩 하지 않고 압축 도메인에서 바로 샷 세그멘테이션을 수행하는 알고리즘들이 개발 되었다. 압축 도메인에서 샷 세그멘테이션을 수행하는 가장 큰 이유는 실시간 시스템에 응용하기 위해서나 대용량의 멀티미디어 데이터베이스를 빠른 시간 안에 인덱싱 하기 위함이다. 또한 압축 도메인에서의 샷 세그멘테이션 알고리즘은 대부분 비압축 도메인에서의 알고리즘과 성능이 비슷하며 수행 속도가 현저히 빠른 장점이 있다.
[기존 알고리즘의 단점 요약 및 본 발명의 과제 : 수행 속도가 빠르고 성능이 높은 알고리즘]
요약하면, 이전의 연구 결과는 실 시간 환경(real time envrionment)에서 이용되기에는 알고리즘의 수행 속도가 매우 느린 단점이 있어서 실시간 비디오 인덱싱 시스템에 적합하지 않으며 검출 성능이 낮은 단점이 있다.
본 발명에서는 대부분의 프로세싱을 MPEG 압축 도메인에서 수행하여 수행 속도가 매우 빠르며 검출 성능이 매우 높은 와이프 및 특수 효과 검출 알고리즘을 제안하고자 한다. 본 발명에서는 이를 위하여 MPEG과 같이 프레임간 예측을 이용한 비디오 압축 도메인에서 매크로 블록 타입(Macro block type)의 시공간 도메인(Spatio-temporal domain)에서의 분포와 그 변화에 기반한 와이프 및 특수 효과 검출 알고리즘을 제안 한다.
본 발명의 목표는 MPEG과 같은 프레임간 영상차에 근거한 압축을 이용하는 비디오 스트림의 압축 도메인에서의 매크로 블록 타입의 시공간상의 분포와 그 분포 변화의 특성을 이용하여 비디오 스트림내에 존재하는 점진적인 장면전환 중에서 와이프및 특수 효과를 검출하기 위한 효율적인 알고리즘을 제안하여, 비디오의 샷 전이 검출 알고리즘의 전체 성능을 높이고 검출된 와이프와 특수 효과를 비선형적인 비디오 브라우징이나 검색을 위한 비디오 클러스터링의 입력으로 제공하는데 있다.
특히 본 발명은 P 프레임에서 인트라 코딩된 매크로 블록(Intra coded macro block : ICMB)들을 일정한 방향(기본 4방향)으로 투사(Projection) 시켰을 때 인트라 코딩된 매크로 블록을 투사시킨 인트라 코딩된 매크로 블록 히스토 그램(intra coded macro block histogram)에서 인트라 코딩된 매크로 블록의 집중을 나타내는 “인트라 코딩된 매크로 블록들이 집중된 영역”(Intra coded macro block band : ICMBB)이 연속적으로 나타나는 구간[b,e]를 구하고 해당 구간의 러닝 타임이 일정시간 이상일 때 해당 구간을 와이프 및 특수 효과에 의한 장면 전환 구간으로 판단하는 것을 특징으로 하는 와이프 및 특수 효과 검출 알고리즘을 제시한다.
또한 본 발명은 P프레임들에서 인트라 코딩된 매크로 블록이 특정 영역에 집중되어 나타나는 연속적인 P프레임들의 시퀀스가 일정시간 이상 지속되고 해당 P프레임들의 최대 인트라 코딩된 매크로 블록의 최대 연결 요소들을 시간축 위에 투사한 이미지에서 인트라 코딩된 매크로 블록의 갯수가 일정 임계치 이상이면 해당 시퀀스를 와이프 및 특수 효과에 의한 장면 전환으로 판단 하는 것을 특징으로 하는 와이프 및 특수 효과 검출 알고리즘을 제시한다.
또한 본 발명은 인트라 코딩된 매크로 블록들의 비율이 일정 임계치 이상인 연속적인 P프레임의 시퀀스[b,e]가 일정 시간 이상 지속되는 구간을 와이프 및 특수효과에 의한 장면 전환이 발생한 구간으로 판단하는 것을 특징으로 하는 와이프및 특수 효과 검출 알고리즘을 제시한다.
또한 본 발명에서 특히 주장하고자 하는 바는 상기한 3개의 알고리즘을 및/또는(And/Or) 조건으로 사용할 수 있도록 하는 것이다.
도1은 비선형적인 비디오 브라우징 인터페이스의 일예를 나타낸 도면
도2는 샷 세그멘테이션과 샷 클러스터링 간의 관계를 설명하기 위한 도면
도3은 다양한 와이프 및 특수효과에 의한 장면 전환기법을 나타낸 도면
도4는 MPEG 스트림의 GOP구조의 일예를 나타낸 도면
도5는 움직임 벡터와 매크로 블록의 개념을 설명하기 위한 도면
도6은 와이프 영역에서 매크로 블록의 타입분포의 예를 나타낸 도면
도7은 특수효과에 의한 장면전환과 매크로 블록의 분포특성의 예를 나타낸 도면
도8은 4방향 연결 매크로 블록과 8방향 연결 매크로 블록의 개념을 나타낸 도면
도9는 본 발명에서 이루어지는 전처리 과정의 일예를 나타낸 도면
도10은 본 발명에서 매크로 블록타입의 4방향 투사방법을 나타낸 도면
도11은 본 발명에서 인트라 매크로 블록 투사 히스토그램의 2진화 단계를 설명하기 위한 도면
도12는 본 발명에서 후처리 단계를 설명하기 위한 도면
도13은 본 발명에서 ICMBB의 시공간상의 분포를 이용한 와이프 검출의 일예를 나타낸 도면
도14는 본 발명에서 ICMBB의 시간축 투사방법을 설명하기 위한 도면
도15는 인트라 코딩 매크로 블록의 시간축 투사방법을 설명하기 위한 도면
본 발명의 MPEG 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프 및 특수 편집 효과 검출 알고리즘은: 프레임간의 영상차에 근거한 비디오 스트림의 압축 도메인에서 인트라 코딩된 매크로 블록들의 시공간상의 분포특성을 검출하는 단계, 상기 검출된 인트라 코딩된 매크로 블록들의 시공간상의 분포특성에 와이프 및 특수효과에 의한 장면전환 여부를 판단하기 위한 시공간적 제한조건을 적용하는 단계, 상기 적용된 시공간적 제한조건을 만족하는지의 여부로부터 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어진다.
또한 본 발명의 제1특징에 따르는 와이프 및 특수 편집효과 검출 알고리즘은; 프레임간의 영상차에 근거한 비디오 스트림의 압축 도메인의 P프레임에서 인트라 코딩된 매크로 블록들을 압축 도메인상에서 소정의 방향으로 투사하여 인트라 코딩된 매크로 블록들이 집중된 영역을 검출하는 단계, 상기 검출된 매크로 블록들이 집중된 영역을 가지는 연속되는 P프레임들에 시공간적 제약조건을 적용하여 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어지는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘이다.
또한 본 발명의 제2특징에 따르는 와이프 및 특수 편집효과 검출 알고리즘은; 프레임간의 영상차에 근거한 비디오 스트림의 압축 도메인에서 인트라 코딩된매크로 블록들이 집중되어 나타나는 P프레임들의 시퀀스를 검출하는 단계, 상기 검출된 P프레임들의 시퀀스 해당 구간내의 인트라 코딩된 매크로 블록의 최대 연결요소들을 시간축위에 투사하는 단계, 상기 투사한 이미지에서 인트라 코딩된 매크로 블록의 갯수를 일정 임계치와 비교하여 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어지는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘이다.
또한 본 발명의 제3특징에 따르는 와이프 및 특수 편집효과 검출 알고리즘은; 프레임간의 영상차에 근거한 비디오 스트림의 압축 도메인에서 인트라 코딩된 매크로 블록들의 갯수가 일정 임계치 이상인 연속적인 P프레임들의 시퀀스를 검출하는 단계, 상기 검출된 P프레임들의 시퀀스 해당 구간의 러닝타임이 일정 시간 이상 지속되는가의 여부로부터 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어지는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘이다.
이하, 첨부된 도면을 참조하여 본 발명의 MPEG 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프(Wipe) 및 특수 편집 효과 검출 알고리즘을 실시예로서 설명한다.
[와이프 및 특수 효과]
일반적으로 와이프는 하나의 샷으로부터 다른 샷으로 전이 함에 있어서, 다른 샷의 영역이 직선/곡선/도형 등의 형태로 스크린에서 움직이면서 샷을 전이 시키는 기법이다. 또한 이런 유사한 형태의 점진적인 장면 전이 중에서 페이드, 디졸브, 와이프의 범주에 포함 시킬 수 없는 기타의 장면 전환을 특수 효과라고 한다.
도3은 비디오의 편집에 사용되는 다양한 와이프 및 특수 효과들을 나타낸 것이다. 도3에 나타난 바와 같이 와이프나 특수 효과는 형태나 그 진행 방향이 매우 다양하다. 또한 기술의 발전에 따라 와이프나 특수 효과의 종류는 무궁무진하며 계속 전환하는 것이 특징이다.
도3에서 부호 301로 표현된 장면전환 기법은 현재의 영상이 점차 사라지면서 그 위에 다음의 영상의 점차 등장하는 기법이고, 302의 경우는 화면의 왼쪽 상단 모서리로부터 다음 영상이 점차 진행해 들어오는 기법이고, 303의 경우는 화면의 오른쪽에 다음 영상이 점차 확대되어 장면전환이 이루어지는 기법이고, 304의 경우는 화면의 상하 양쪽으로부터 다음 영상이 점차 진행해 들어오는 기법이고, 305?? ??우는 화면의 왼쪽 하단 모서리로부터 마치 책장을 넘기듯이 다음 영상으로 전환되는 기법이고, 306은 휘장을 걷어내듯이 다음 장면으로 전환되는 다양한 기법들을 표현하고 있다.
[ MPEG, H.26x 규격의 프레임 종류와 매크로 블록, 움직임 벡터, 움직임 예측 및 보상]
도4는 본 발명의 알고리즘을 설명하기 위하여 MPEG 스트림의 GOP(Group Of Picture)구조를 디스플레이 순서대로 나타낸 것이다.
MPEG에서는 I,B,P 세가지 타입의 프레임이 존재한다. I 프레임은 다른 프레임에 영향을 받지 않고 순수하게 이미지에 일반적으로 나타나는 공간적 응집도 특성을 이용한 JPEG 압축 기법을 이용하여 인코딩된 프레임 이며, P 프레임은 이전의I 프레임이나 P 프레임을 기준 프레임으로 이용하여 매크로 블록 단위의 움직임 예측과 보상(motion prediction/compensation)을 통하여 인코딩된 프레임이며, B 프레임은 이전과 이후의 I 또는 P프레임을 움직임 벡터 산정의 기준 프레임으로 이용하여 양방향 움직임 예측과 보상(bi-directional motion prediction/compensation)을 통하여 인코딩된 프레임이다.
따라서 MPEG 압축 기법에서 매크로 블록의 타입은 크게 나누어, 인트라(Intra), 순방향 예측(forward predicted), 역방향 예측(backward predicted), 보간(Interpolated)의 네가지가 존재한다.
여기서, I 프레임은 모든 매크로 블록이 인트라 코딩(Intra Coding)되며, P 프레임은 순방향 예측만을 허용하므로 인트라(Intra), 순방향 예측(forward motion predicted)의 두가지 타입의 매크로 블록이 존재하며, B 프레임에는 상기 네가지의 모든 매크로 블록이 존재할 수 있다.
ITU H.26x 계열의 인코딩 방법에서도 매크로 블록을 사용하여 코딩하지만 B 타입의 프레임은 존재하지 않는다.
본 발명에서는 매크로 블록 타입의 시공간 상에서의 분포와 그 변화를 이용해서 와이프와 특수 효과를 검출하는데, I 타입의 프레임이나 B타입의 프레임에 대하여서는 매크로 블록 타입 정보를 이용하지 않고, P 타입의 프레임에서만 매크로 블록의 타입의 분포를 이용하는 것을 특징으로 한다.
따라서 본 발명의 알고리즘은 I,P 타입의 프레임만 존재하는 ITU의 H.26x계열의 비디오에도 적용이 가능하다.
도4에서 본 발명의 알고리즘을 수행을 위하여 접근될 P프레임들을 I프레임이나 B프레임에 비하여 짙은 명암으로 표시하였다.
[P프레임에서 매크로 블록의 타입 결정 방법]
MPEG, H.26x 계열의 인코더(encoder)는 비디오 신호를 입력으로 받아 초당 수프레임 내지 수십 프레임을 인코딩 한다.
각각의 프레임은 매크로 블록이라 불리는 블록 단위로 인코딩이 되며 P 타입 프레임에서는 하나의 매크로 블록을 코딩할 때 바로 이전의 I 또는 P 프레임의 인접 블록들로부터 움직임 예측을 하여 가장 유사한 블록을 매칭된 블록으로 표시하고 해당 블록과 예측에 사용된 블록간의 공간 상에서의 차이를 움직임 벡터로 인코딩하게 된다(순방향 예측 : forward prediction or motion prediction).
이때, 일정 범위 내에 유사한 블록이 없는 경우에는 해당 블록을 인트라 코딩(intra coding)한다.
도5는 MPEG이나 H.26x 계열의 비디오 압축 방법에서의 움직임 예측과 매크로 블록의 개념을 설명한 것이다.
프레임 Fi(P 타입 프레임)에서 굵은 선으로 표시된 사각형은 매크로 블록A를 인코딩 할 때 움직임 예측을 위하여 탐색될 범위(통상 MPEG에서는 fcode로 표현됨) 즉, 탐색 윈도우(501)를 표현한 것이다.
MPEG과 같은 비디오 압축 규격에서는 움직임 예측을 반화소(half pixel)단위로 탐색 범위 내에서 해당 매크로 블록과 가장 가까운 블록을 찾는다.
프레임 Fi의 움직임 예측과 보상을 위하여 기준이 되는 프레임을 Fi-k(I 또는 P타입 프레임)라 하고, Fi(P타입 프레임)의 움직인 예측 및 보상을 위한 탐색 범위 내에서 블록A와 가장 가까운 블록이 블록B라고 가정한다.
이때 블록B와 블록A의 차이가 일정 수준 이내인 경우 해당 매크로 블록(블록A)을 움직임 예측에 의해 코딩되는 블록으로 표시하고 블록B와 블록A의 벡터차를 움직임 벡터로 코딩하고 그 차이를 코딩한다.
그러나 블록B와 블록A의 차이가 일정 수준 이상인 경우에는 해당 매크로 블록(블록A)을 인트라 코딩한다. 본 발명에서는 P 프레임에서 매크로 블록의 다음과 같은 성질을 기본으로 하여 와이프와 특수 효과를 검출하는 알고리즘을 제안 한다.
* P 프레임에는 인트라 코딩된 매크로 블록과 움직임 예측 매크로 블록의 두가지 매크로 블록 타입이 존재한다.
* P 프레임에서 해당 매크로 블록을 코딩함에 있어서 바로 이전의 I 또는 P 타입의 프레임에서 X축과 Y축으로 일정한 범위 이내에 비슷한 매크로 블록이 존재하면 움직임 예측을 이용하고 그렇지 않으면 해당 매크로 블록을 인트라 코딩한다.
[와이프 구간내의 P타입 프레임에서의 매크로 블록의 타입 분포 특성 : ICMBB]
도6은 와이프를 이용한 샷 전이가 발생하는 구간의 P타입 프레임에서 해당 매크로 블록의 분포를 시공간 상에서 나타낸 것이다.
601a는 사선으로 화면의 좌상단에서 우하단 방향으로 와이프가 발생하며602a는 화면의 중앙으로부터 수직으로 갈라지는 형태의 와이프를 나타낸 것이며, 601b는 601a의 인트라 코딩된 매크로 블록들의 분포이고, 602b는 602a의 인트라 코딩된 매크로 블록들의 분포이다.
두개의 와이프를 이용한 장면 전이에서 공통적으로, 새로 나타나는 영역(entering area)에 해당하는 매크로 블록들은 대부분 인트라 코딩되고 나머지는 움직임 예측(motion prediction)을 이용하여 코딩 된다.
그러므로 대부분의 와이프나 특수 효과에서는 인트라 코딩된 블록들이 공간상에서 601b 및 602b와 같이 한 영역(area)에 집중된다. 또한 일반적으로 와이프가 진행될 때 인트라 코딩된 매크로 블록의 띠(Intra Coded Macro Block Band : ICMBB)가 나타나며 해당 ICMBB는 특정한 방향으로 이동하여 와이프가 시작되는 프레임과 종료되는 프레임에서의 ICMBB들을 공간적으로 합치게되면 이미지의 대부분의 영역을 차지하게 된다.
[특수 효과 구간내의 P타입 프레임에서의 매크로 블록의 타입 분포 특성]
도7은 특수 효과(special effect)를 이용한 샷 전이가 발생하는 구간의 P타입 프레임에서 해당 매크로 블록의 분포를 시공간 상에서 나타낸 것이다.
701a에서의 특수 효과는 일반적인 사선 와이프와 매우 유사한 형태로 매크로 블록의 분포 특성이 701b와 같이 나타나며, 702a에서는 새로 나타나는 영역에 해당하는 매크로 블록들이 대부분 인트라 코딩되어 702b와 같은 분포 특성을 보인다.
703a의 특수 효과에서는 특정한 거의 대부분의 매크로 블록들이 인트라 코딩되어 703b와 같이 분포되는 특성을 보인다.
즉, 다양한 형태의 특수효과에서는 정형화 하기 어려운 매크로 블록의 타입 분포가 나타난다. 그러나 이러한 특수 효과를 이용한 샷 전이 구간에서는 각각의 프레임에서 인트라 코딩되는 매크로 블록이 전체 영역을 차지하지는 않지만 시간적으로 연속된 P 타입의 프레임에서의 영역들을 공간적으로 합치면 대부분의 영역을 차지하게 되며, 연속적으로 수 프레임 이상 대부분의 매크로 블록이 인트라 코딩되는 특성을 보인다.
따라서, 본 발명에서는 크게 세가지의 와이프 및 특수 효과 검출 알고리즘을 제안한다. 세가지는 각각 ICMBB의 특성을 이용하는 방법(제1실시예), 인트라 코딩된 매크로 블록의 시간축 투사 방법(제2실시예), 인트라 코딩된 블록에 대한 임계치 적용 방법(제3실시예)이다.
상기 도6이나 도7에서 표현되고 있는 바와같이 와이프나 특수효과에 의한 장면전환시에 인크라 코딩된 매크로 블록들의 시공간상의 분포특성은 대략 다음과 같다고 볼 수 있다.
* P프레임에서, 인트라 코딩된 매크로 블록(ICMB)들이 집중되어 덩어리진 곳이 있고, 이 덩어리가 P프레임 시퀀스(시간진행)에 따라 계속하여 나타난다.
* P프레임에서, 인트라 코딩된 매크로 블록들이 집중되어 덩어리진 곳(ICMBB)이 있고, 이 ICMBB가 P프레임 시퀀스(시간진행)에 따라 특정한 방향으로 이동하는 모습을 보이기도 한다.
* ICMB들을 P프레임 시퀀스(시간진행)에 따라 공간적으로 합치면 P프레임 전역에 걸쳐서 ICMB가 대량 나타나고, P프레임내에서 ICMB들의 갯수(비율)가 매우 높게 나타난다.
* ICMBB가 연속하여 소정 프레임 이상 지속되어 나타난다.
따라서, 본 발명의 와이프 및 특수 편집효과 검출 알고리즘에서 ICMBB의 특성을 이용하는 방법(제1실시예)은 도7의 701a,701b와 같이 ICMBB를 검출하고 이 것의 연속성 특성을 이용한 와이프 및 특수 효과 검출 방법이며, 인트라 코딩 매크로 블록의 시간축 투사 방법(제2실시예)은 702a,702b와 같이 특정 특정 축으로 투사된 ICMBB로는 검출되지 않는 특수 효과들을 검출하기 위한 방법으로, 연속된 P프레임들에서 각각의 P프레임에서는 전체 인트라 코딩 블록들이 대부분 특정 영역에 집중되어 있고, 인트라 코딩된 매크로 블록들을 시간축위에 투사할 경우 대부분의 영역을 차지하게 되는 특성을 이용한 방법이다.
임계치 적용 방법은 703a,703b에서 나타난 바와 같이 대다수의 매크로 블록들이 인트라 코딩되는 P프레임들이 일정 시간이상 연속적으로 나타나는 특성을 이용한 것이다. 이러한 특성은 와이프나 기타 특수 효과가 발생하는 구간에서만 특징적으로 나타나는 특성이다.
본 발명의 와이프 및 특수 효과 검출 알고리즘은 위에서 언급한 세가지의 서브 알고리즘을 모두 채용할 수 있으며 그중의 하나나 둘을 선택적으로 채용할 수 있음을 특징으로 한다.
서브 알고리즘이 동시에 채용될 때 각각의 서브 알고리즘을 동시에 만족시키는 것을 조건으로 할 수 있으며 각각의 서브 알고리즘 중에서 하나만을 만족시키는 것을 와이프나 특수 효과에 의한 장면 전환 검출의 전체 알고리즘으로 구성할 수있다.
[제1실시예]
본 발명의 제1특징에 따르는 와이프 및 특수 편집효과 검출 알고리즘으로서; 프레임간의 영상차에 근거한 비디오 스트림의 압축 도메인의 P프레임에서 인트라 코딩된 매크로 블록들을 압축 도메인상에서 소정의 방향으로 투사하여 인트라 코딩된 매크로 블록들이 집중된 영역을 검출하는 단계, 상기 검출된 매크로 블록들이 집중된 영역을 가지는 연속되는 P프레임들에 시공간적 제약조건을 적용하여 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어지는 것을 특징으로 하며, 전처리 단계, 인트라 매크로 블록 투사단계, 인트라 코딩된 매크로 브록 투사 히스토그램 2진화 단계, 후처리 단계, 시간적 제약조건 적용단계로 진행된다.
여기서 전처리 단계, 후처리 단계는 취사 선택이 가능한 단계이며, 제2실시예와 제3실시예에도 적용 가능하다.
본 발명에서 상기 인트라 코딩된 매크로 블록을 포함하는 프레임이 P프레임이고, 상기 P프레임은 MPEG나 H.26x 계열에서 순방향 예측과 인트라 코딩된 매크로 블록으로만 구성되는 프레임일 수 있다.
본 발명의 전처리 단계에서는 상기 인트라 코딩된 매크로 블록이 집중된 영역을 검출할 때, 인트라 코딩된 매크로 블록에 인접한 매크로 블록을 인트라 코딩된 블록으로 간주한다.
본 발명의 전처리 단계에서는 상기 인트라 코딩된 매크로 블록에 인접한 매크로 블록을 인트라 코딩된 매크로 블록으로 간주할 때, 움직임 예측을 하는 블록중에서 움직임 벡터가 임계치보다 크고 인트라 코딩된 매크로 블록에 인접한 경우를 인트라 코딩된 매크로 블록으로 간주한다.
본 발명에서 상기 인트라 코딩된 매크로 블록이 집중된 영역의 검출은, 인트라 코딩된 매크로 블록을 인트라 코딩된 매크로 블록을 기준으로 압축 도메인(공간)상에서 하나 이상의 방향으로 투사하여 투사 히스토그램을 구하고, 상기 투사 히스토그램에서 투사 방향으로의 인트라 코딩된 매크로 블록의 비율을 계산하여 검출한다.
본 발명에서 상기 인트라 코딩된 매크로 블록이 집중된 영역의 검출은, 인트라 코딩된 매크로 블록을 인트라 코딩된 매크로 블록을 기준으로 압축 도메인(공간)상에서 하나 이상의 방향으로 투사하여 투사 히스토그램을 구하고, 상기 투사 히스토그램을 2진화하여 2진화된 투사 히스토그램 값으로부터 검출한다.
본 발명의 후처리 단계에서는 상기 2진화된 투사 히스토그램에서 아웃라이어(outlier)나 홀(hole)을 제거한다.
본 발명에서 상기 시공간 제약조건으로, 인트라 코딩된 매크로 블록들이 집중된 영역이 연속적으로 나타나는 프레임 시퀀스의 시작 프레임(b)과 종료 프레임(e)의 러닝타임이 임계치를 넘는 경우 그 구간 [b,e]을 와이프나 특수효과에 의한 장면 전환 구간으로 판단한다.
본 발명에서 상기 시공간 제약조건으로, 인트라 코딩된 매크로 블록들이 집중된 영역이 연속적으로 나타나는 프레임 시퀀스 [b,e]에서, 인트라 코딩된 매크로 블록들이 집중된 최대 영역을 시간축에 투사하고, 이 투사된 값이 그 프레임 전체영역에서 차지하는 갯수나 비율이 임계치 이상일 때 그 구간 [b,e]을 와이프나 특수효과에 의한 장면 전환 구간으로 판단한다.
본 발명에서 상기 인트라 코딩된 매크로 블록들이 집중된 영역을 시간축에 투사할 때 같은 인덱스(공간 좌표상의 동일 위치)에 대하여 논리합(OR) 조건으로 투사된다.
본 발명에서 상기 시공간 제약조건으로, 인트라 코딩된 매크로 블록들이 집중된 최대 영역이 연속된 프레임 시퀀스에서 일정한 방향성을 가지고 이동할 때 그 구간 [b,e]을 와이프나 특수효과에 의한 장면 전환 구간으로 판단한다.
본 발명에서 상기 인트라 코딩된 매크로 블록들이 집중된 영역의 이동은, 인트라 코딩된 매크로 블록들이 집중된 영역의 중심점을 택하고 시간축에서 그 중심점의 이동을 해당 인트라 코딩 매크로 블록 집중영역의 이동으로 간주한다.
[전처리 단계]
MPEG과 같은 스트림에서는 이미지의 코딩이 매크로 블록단위로 이루어지고, 코딩의 효율을 높이기 위하여 움직임 벡터를 이용하게 된다.
본 발명에서는 움직임 예측을 하는 블록 중에서 움직임 벡터가 매우 크고(설정된 임계치 이상), 인트라 코딩된 매크로 블록에 인접한 매크로 블록을 인트라 코딩된 블록으로 간주하여 와이프 및 특수 효과를 검출하기 위한 전처리 단계를 사용할 수 있다.
이 [전처리 단계]는 제2실시예 또는 제3실시예 각각의 알고리즘을 수행하기 이전에 처리됨을 특징으로 한다. [전처리 단계]에서는 인트라 코딩된 매크로 블록에 인접한 매크로 블록을 선정하는데, 선정될 매크로 블록은 인트라 코딩된 블록과 4방향 또는 8방향으로 인접한 움직임 매크로 블록중 움직임 벡터가 설정된 임계치 보다 큰 매크로 블록을 의미한다.
도8은 특정블록과 4방향 또는 8방향으로 인접한 매크로 블록을 설명하기 위한 도면이며, 도9는 입력 매크로 블록 이미지를 [전처리 단계]를 거친 이미지로 전환하는 과정을 설명하기 위한 도면이다.
도8에서 801 및 802는 매크로 블록 수준의 이미지이며, 여기서 블록A와 상하좌우 4방향으로 인접한 블록들을 회색으로 표현하였으며, 802에서는 블록A와 8방향으로 인접한 블록들을 회색으로 표현하였다.
도9에서는 인트라 코딩된 블록을 회색으로 처리하였다. 901은 전처리 단계를 거치기 전의 매크로 블록 이미지를 표현한 것이다. 901에서 블록A는 움직임 벡터가 매우 크고, 인트라 코딩된 블록과 인접한 매크로 블록이다. 이러한 매크로 블록이 [전처리 단계]를 거치면 902와 같이 전환된다.
즉, 매크로 블록 수준의 이미지에서 블록A는 인트라 코딩된 블록과 인접한 블록이고 그 움직임 벡터가 임계치 이상일 때 인트라 코딩된 매크로 블록으로 간주하여 전처리 과정을 거친 후의 매크로 블록 수준의 이미지(902)에서는 상기 블록A가 인트라 코딩된 매크로 블록(902a)으로 간주되고 있다.
[제1실시예에서, 인트라 매크로 블록 투사 단계]
도10은 와이프(wipe) 중에서 가장 널리 이용되는 수직/수평/사선 방향의 와이프를 검출하기 위하여 매크로 블록의 타입을 4방향으로 투사(projection) 하는방법을 설명하기 위한 도면이다.
투사될 4방향에 대한 인트라 코딩된 매크로 블록 투사 히스토그램(intra coded macro block projection histogram)이 각각 필요하며, 이 인트라 코딩된 매크로 블록 투사 히스토그램은 해당 방향으로 투사된 매크로 블록중 인트라 코딩된 블록의 비율을 기록하는 자료 구조이다.
히스토그램의 인덱스(index=빈 번호(bin number))는 매크로 블록이 투사될때의 기준 위치에 따라 달라지며, 이는 매크로 블록의 X축 방향 인덱스와 Y축 방향 인덱스로부터 결정된다.
도10에 나타난 바와 같이 X축 방향으로 nX개의 매크로 블록이 존재하고 Y축 방향으로 nY개의 매크로 블록이 존재하는 경우, X축에 수직한 방향으로 투사하는 경우(90도 투사)에는 총 nX개의 빈(Bin)에, Y축에 수직한 방향으로 투사하는 경우(0도 투사)에는 nY개의 빈에, 사선으로 투사하는 경우에는(45도 또는 135도 투사) nX+nY-1의 빈에 투사 된다. 각각의 매크로 블록은 X축 방향과 Y축 방향의 인덱스로 표현이 가능하다. X축으로 x번째, Y축으로 y번째 인덱스에 해당하는 매크로 블록을 M(x,y)(0 ≤x ≤nX-1, 0 ≤y ≤nY-1)라 하면, M(x,y)는 다음과 같이 4방향으로 각각의 해당 빈에 투사된다.
X축에 수직한 방향으로 투사(90도 투사) : index = x
Y축에 수직한 방향으로 투사(0도 투사) : index = y
45도 투사 : index = x+y
135도 투사 : index = x-y+nY-1
또한 각각의 인트라 코딩된 매크로 블록 투사 히스토그램의 인덱스를 i라 할때 투사 방향별로 인트라 코딩된 매크로 블록 투사 히스토그램의 각 빈에 투사될 매크로 블록의 수(Count of Projected Macro Blcok : CPMB)는 다음과 같다.
X축에 수직한 방향으로 투사(90도 투사) : CPMB = nX
Y축에 수직한 방향으로 투사(0도 투사) : CPMB = nY
45도 투사 : CPMB = Min(i+1,nX+nY-1-i,nX,nY)
135도 투사 : CPMB = Min(i+1,nX+nY-1-i,nX,nY)
Min(A,B,C,D)는 A,B,C,D중 최소값을 의미한다.
인트라 코딩된 매크로 블록 투사 히스토그램을 구성하는 알고리즘은 모든 매크로 블록들(M(x,y), (0 ≤x ≤nX-1, 0 ≤y ≤nY-1))을 스캔(scan)하면서 해당 매크로 블록이 인트라 코딩된 매크로 블록이면 네 방향으로 각각 투사한 인덱스를 각각 구하여 히스토그램의 인덱스에 해당되는 값을 증가 시킨다.
1회의 매크로 블록 스캔이 수행되면, 각각의 히스토그램의 각각의 빈은 해당 방향으로의 인트라 코딩된 매크로 블록의 수가 기록된다.
위에서 설명한 바와 같이 각각의 인트라 코딩된 매크로 블록 히스토그램의 빈에 투사될 매크로 블록의 수가 다르므로 각 빈의 값을 인트라 코딩된 매크로 블록 투사 히스토그램의 각 빈에 투사될 매크로 블록의 수(CPMB)로 나누는 방식으로 정규화 하면 인트라 코딩된 블록이 해당 프로젝션 방향으로 나타나는 비율을 얻을 수 있다.
도11에 인트라 매크로 블록 투사 히스토그램의 예(1101)를 나타내었다.
[제1실시예에서, 인트라 코딩된 매크로 블록 투사 히스토그램 2진화(binarization)단계]
상기 [인트라 매크로 블록 투사단계]를 거친후 각 히스토그램에서 특정 빈 값이 일정 임계치를 넘는 빈들을 1로 셋팅하고 나머지를 0으로 셋팅하게 되면 인트라 코딩 블록이 집중되는 부분에 대한 정보를 얻을 수 있다.
도11은 인트라 코딩된 매크로 블록 투사 히스토그램(1101)에 임계치를 적용하는 방법을 설명하기 위한 도면이다.
[전처리 단계]에 의해서 구해진 인트라 매크로 블록 투사 히스토그램(1101)에 임계치를 적용하여, 이 임계치를 넘는 빈들을 1로 세팅하고, 나머지를 0으로 셋팅하여 2진화된 인트라 매크로 블록 투사 히스토그램(1102)을 구하였다.
[제1실시예에서, 후처리 단계]
앞에서 설명한 인트라 매크로 블록 투가 히스토그램 2진화 단계에 의해서도 인트라 코딩된 매크로 블록 투사 히스토그램이 집중된 부분을 검출할 수 있다.
그러나, 보다 정확히 인트라 코딩된 매크로 블록 투사 히스토 그램이 집중된 부분을 검출하기 위하여 [후처리 단계]를 거칠 수 있다. [후처리 단계]는 아웃라이어(outlier)를 제거하는 단계와 홀(hole)을 제거하는 단계로 구분될 수 있다.
[후처리 단계]에서는 아웃라이어(outlier)를 제거하는 단계와 홀(hole)을 제거하는 단계 중에서 하나만을 선택할 수 있으며 경우에 따라서는 두가지 방법을 모두 사용할 수 있다.
두가지 방법을 동시에 사용하는 경우에는 요구에 따라 아웃라이어(outlier)를 제거하는 단계를 먼저 적용할 수 있고 홀(hole)을 제거하는 단계를 먼저 적용할 수 있다.
도12는 [후처리 단계]를 예시한 것이다. 먼저 아웃라이어를 제거하고 홀을 제거하는 방식을 이용하였다. 아웃라이어를 제거하는 방식과 홀을 제거하는 방식은 여러가지 방식으로 수행할 수 있으나 도12에서는 크기가 3인 윈도우(window)를 이용하여 최빈값(most frequently used value)을 선택하는 방식을 이용하였다.
도1201은 이러한 윈도우의 사용 방법을 나타낸 것이고, 도1202는 이러한 윈도우를 이용하여 아웃라이어를 제거하는 방법을 나타낸 것이며, 도1203은 홀을 제거하는 방식을 나타낸 것이다.
아웃라이어는 크기가 3인 윈도우를 적용했을 때 '1'값이 윈도우 중심이고 그 좌우값이 '0'이면 '0'으로 세팅해서 제거하고, 홀은 크기가 3인 윈도우를 적용했을 때 '0'값이 윈도우 중심이고 그 좌우값이 '1'이면 '1'로 세팅해서 제거한다.
[제1실시예에서, 시간적 제약 조건 적용 단계]
도11의 [인트라 코딩된 매크로 블록 투사 히스토그램에 대한 임계치 적용단계] 및/또는 도12의 [후처리 단계]를 거친 인트라 코딩된 매크로 블록 투사 히스토그램은 와이프나 특수 효과를 검출하기 위한 직접적인 자료로 이용된다.
도13은 도11의 [인트라 코딩된 매크로 블록 투사 히스토그램에 대한 임계치 적용단계]를 거친후 와이프 영역에서 나타나는 인트라 코딩된 매크로 블록의 띠(ICMBB)가 나타나는 모양과 ICMBB의 공간 도메인에서의 이동을 프레임 번호(FrmNum)와 함께 나타낸 것이다.
ICMBB는 이미지에서 해당 투사상 방향으로 인트라 코딩된 매크로 블록이 밀집된 부분을 표시한다. 일반적으로 와이프나 특수 효과에서는 이러한 ICMBB가 나타나므로 본 발명은 이러한 성질을 이용하여 ICMBB가 특정 시간 이상 연속적으로 나타나는 경우 해당 구간을 검출하게 된다[시간적 제약 조건 적용 단계].
도13에서는 45도 방향으로 진행되는 두개의 와이프 패턴에 대한 ICMBB를 예시한 것이다.
이러한 특정한 ICMBB가 나타나는 시퀀스가 시작되는 프레임의 번호를 b라 하고 종료되는 프레임의 번호를 e라 하면 [b,e]는 와이프나 특수 효과에 의한 장면 전환이 발생하는 후보 구간으로 선정된다.
본 발명은 ICMBB가 나타나는 구간 [b,e]를 와이프나 특수 효과가 발생한 구간으로 판단한다.
또는 인트라 코딩 블록들을 시간축으로 투사하여 인트라 코딩 블록이 전체영역을 차지하는 특성을 만족하는 경우에 해당 구간 [b,e]를 와이프나 특수 효과에 의한 장면 전환이 발생하는 구간으로 판단한다.
도14는 구간 내의 ICMBB들을 시간축으로 투사하는 방법을 설명한 것이다.
ICMBB들을 시간축으로 투사하는 것은 도14에서와 같이 해당 구간내의 P프레임에서 한번 이상 ICMBB로 검출된 빈을 1로 셋팅하는 과정을 통한다.
또한, 본 알고리즘에서는 검출의 정확성을 높이기 위하여 ICMBB가 구간 [b,e]내에서 일정한 방향으로 이동하는 것을 검출하여 이러한 경우에만 와이프 또는 특수 효과에 의한 장면 전이 구간으로 판단하는 방법을 사용할 수 있는데, 그구체적인 구현 방법은 ICMBB의 중심점을 찾고 그 중심점이 시간축에서 이동하는 방향이 일정함을 검출하는 등의 알고리즘이 이용될 수 있다.
[제2실시예]
본 발명의 제2특징에 따르는 와이프 및 특수 편집효과 검출 알고리즘으로서; 프레임간의 영상차에 근거한 비디오 스트림의 압축 도메인에서 인트라 코딩된 매크로 블록들이 집중되어 나타나는 P프레임들의 시퀀스를 검출하는 단계, 상기 검출된 P프레임들의 시퀀스 해당 구간내의 인트라 코딩된 매크로 블록의 최대 연결요소들을 시간축위에 투사하는 단계, 상기 투사한 이미지에서 인트라 코딩된 매크로 블록의 갯수를 일정 임계치와 비교하여 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어지는 것을 특징으로 한다.
본 발명에서 상기 인트라 코딩된 매크로 블록을 포함하는 프레임이 P프레임이고, 상기 P프레임은 MPEG나 H.26x 계열에서 순방향 예측과 인트라 코딩된 매크로 블록으로만 구성되는 프레임일 수 있다.
본 발명에서 상기 인트라 코딩된 매크로 블록이 집중된 영역을 검출할 때, 인트라 코딩된 매크로 블록에 인접한 매크로 블록을 인트라 코딩된 블록으로 간주하며, 그 방법은 제1실시예와 같다.
본 발명에서 상기 프레임 시퀀스 [b,e]의 검출은, 구간 [b,e]내의 모든 P프레임에서 인트라 코딩된 매크로 블록의 집중도를 적용하여 구하며, 상기 집중도는 해당 프레임에서, 인트라 코딩된 매크로 블록의 최대 연결요소에 속한 매크로 블록의 갯수와 전체 인트라 코딩된 매크로 블록의 갯수의 비율로 판정한다.
본 발명에서 상기 최대 연결요소는 인트라 코딩된 매크로 블록 연결요소내의 인트라 코딩된 매크로 블록의 갯수가 최대인 것을 최대 연결요소로 간주한다.
본 발명에서 상기 인트라 코딩된 매크로 블록의 연결요소들을 시간축 위에 투사할 때, 구간 [b,e]내의 각 프레임에서의 인트라 코딩된 매크로 블록의 최대 연결요소에 해당하는 매크로 블록을 그 블록과 동일한 투사 이미지 좌표 공간상에 투사하여 투사된 이미지를 구한다.
본 발명에서 상기 투사된 이미지는 구간 [b,e]내의 투사 리소스(resource) 즉, 인트라 코딩된 매크로 블록들의 최대 연결요소를 가지는 P프레임 각각의 해당 좌표에 대응하는 인트라 코딩된 매크로 블록들에 대한 논리합(OR) 조건으로 투사된다.
본 발명에서 상기 시공간 제약조건으로, 프레임 시퀀스 [b,e]내의 모든 P프레임에서 최대 연결요소를 투사한 매크로 블록 수준 이미지내의 인트라 코딩된 매크로 블록의 갯수가 임계치를 넘을 때 그 구간 [b,e]을 와이프나 특수효과에 의한 장면 전환 구간으로 판단한다.
본 발명 제2실시예의 알고리즘은 "인트라 코딩된 매크로 블록의 시간축 투사 방법"이며, 첫번째로 인트라 코딩된 블록이 특정 영역에 집중되는 P타입 프레임들의 시퀀스를 검출한다. 인트라 코딩된 매크로 블록이 특정 영역에 집중되는 것은 여러가지 방법에 의해 판단할 수 있으며 간단한 방법으로는 다음과 같은 방법이 사용될 수 있다.
(a). P프레임에서 인트라 코딩된 매크로 블록의 갯수(n)를 구한다.
(b). P프레임에서 인트라 코딩된 매크로 블록의 연결요소(Connected Componet)를 구한다.
(c). P프레임에서 최대 영역을 차지하는 인트라 코딩된 매크로 블록의 연결 요소의 크기를 k라고 하고,
(d). k/n을 일정 임계치(Th)와 비교한다.
(e). 상기 비교 결과 k/n가 임계치(Th)를 넘는 경우 그 프레임을 후보 시퀀스에 포함시킨다.
이 것의 의미는 P프레임에서 인트라 코딩된 매크로 블록이 크게 덩어리진 곳에 대한 정보를 구한다는 것이다.
즉, P프레임에서 인트라 코딩된 블록의 총 갯수가 n개이고, 해당 P프레임에서 인트라 코딩된 블록의 연결요소들 중에서 가장 큰 영역(ICMB의 갯수 기준)을 차지하는 연결요소의 크기(k=가장 크게 덩어리진 ICMBB에 포함되는 ICMB갯수)가 그 P프레임 전체의 매크로 블록들 중에서 얼마만큼이나 차지하는가의 비율(k/n)을 구하고, 이 비율이 일정 임계치(Th) 보다 높다면 그 P프레임안에서 크게 덩어리진 인트라 코딩 매크로 블록(띠)이 존재하는 것으로 판단하는 것이다.
도15는 연속된 P프레임의 인트라 코딩된 블록의 최대 연결 요소를 시간축에서 투사한 이미지를 구성하는 방법을 설명하기 위한 것이다.
구간 [b,e]내의 P프레임들의 최대 인트라 코딩된 매크로 블록의 최대 연결 요소들을 시간축위에 투사한 이미지를 구성하는 방법은 구간내의 각 P프레임에서의 최대 인트라 코딩된 매크로 블록의 최대 연결 요소내의 블록의 좌표에 해당하는 매크로 블록들을 투사된 이미지의 해당 좌표로 투사하여 인트라 코딩되었음으로 표시하는 것이다.
본 발명의 제2실시예인 "인트라 코딩된 매크로 블록의 시간축 투사 방법은" 상기한 바와같이 시간축으로 투사된 이미지를 Fp라 할 때, Fp의 인트라 코딩된 블록의 갯수가 특정 임계치를 넘는 경우에 해당 후보 시퀀스를 와이프 또는 특수 효과가 발생하는 구간으로 선언하는 것을 특징으로 한다.
[제3실시예]
본 발명의 제3특징에 따르는 와이프 및 특수 편집효과 검출 알고리즘으로서 ; 프레임간의 영상차에 근거한 비디오 스트림의 압축 도메인에서 인트라 코딩된 매크로 블록들의 갯수가 일정 임계치 이상인 연속적인 P프레임들의 시퀀스를 검출하는 단계, 상기 검출된 P프레임들의 시퀀스 해당 구간의 러닝타임이 일정 시간 이상 지속되는가의 여부로부터 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어지는 것을 특징으로 하며 인트라 코딩된 매크로 블록에 대한 임계치 적용 방법이다.
본 발명에서 상기 인트라 코딩된 매크로 블록을 포함하는 프레임이 P프레임이고, 상기 P프레임은 MPEG나 H.26x 계열에서 순방향 예측과 인트라 코딩된 매크로 블록으로만 구성되는 프레임일 수 있다.
본 발명에서 상기 인트라 코딩된 매크로 블록을 검출할 때, 인트라 코딩된 매크로 블록에 인접한 매크로 블록을 인트라 코딩된 블록으로 간주하며, 그 방법은 상기 제1실시예 및 제2실시예와 같다.
제3실시예 알고리즘인 "인트라 코딩된 블록에 대한 임계치 적용 방법"에서는 특정한 특수효과에서는 P프레임에서 대부분의 매크로 블록들이 인트라 코딩되며 이러한 P프레임들이 일정 기간 이상 연속적으로 나타남을 특징으로 한다.
예를 들면 도7에서 703의 경우가 좋은 예이다.
다음은 세번째 알고리즘을 위하여 P프레임의 시퀀스에 포함될 P프레임들을 선정하기 위한 방법을 표현한 것이다.
(a). P프레임에서 인트라 코딩된 매크로 블록의 갯수(n)를 구하고,
(b). 상기 P프레임에서 인트라 코딩된 매크로 블록의 갯수(n)를 임계치(TH)와 비교하여,
(c). 인트라 코딩된 매크로 블록의 갯수(n)가 임계치(TH)를 넘는 경우 그 조건을 만족하는 P프레임의 시퀀스 [b,e]를 후보 구간으로 선정한다.
그리고, 위의 해당 조건을 만족하는 P프레임의 시퀀스를 [b,e]라고 할 때, 구간 [b,e]의 러닝타임이 일정 시간 이상이면 해당 구간 [b,e]을 와이프 또는 특수 효과에 의한 장면 전환 구간으로 판단한다.
본 발명 제3실시예 알고리즘은 일반적으로 대부분의 샷 세그멘테이션 알고리즘에서 P프레임에서 대다수의 매크로 블록들이 인트라 코딩 되면 갑작스러운 장면 전환(하드컷 : hard cut)이 발생한 것으로 간주하는데 수초 이내에 하드컷이 연속적으로 많이 발생하지 않는 일반적인 특성을 이용한 것이다.
상기한 본 발명 제1 내지 제3실시예에서 제안하고 있는 알고리즘을 요약해 보면 다음과 같다.
본 발명은 와이프나 특수 효과에 의한 장면 전환이 발생할 때, 연속적인 P타입의 프레임에서 인트라 코딩된 블록들이 일정 영역에 집중되어 나타나는 특성을 이용하거나, 연속적인 P타입의 프레임에서 대부분의 매크로 블록들이 인트라 코딩되는 현상이 나타나는 특성을 이용한 것이다.
본 발명은 모든 프로세싱이 매크로 블록 수준에서 수행되므로 그 알고리즘의 수행 속도가 매우 빠르다.
기존의 샷 세그멘테이션 알고리즘에서 오검출(false alarm)으로 가장 많이 검출되는 것은 오브젝트나 카메라 움직임이 발생하는 구간(object/camera motion) 에 의한 것들이다.
이러한 카메라 움직임 또는 오브젝트의 움직임이 있는 구간에서는 대부분의 매크로 블록들이 움직임 예측을 이용한다.
기존의 와이프 및 특수 효과 검출 알고리즘들은 매크로 블록의 타입 정보나 기존의 대부분의 알고리즘은 움직임 벡터를 이용하지 않으므로 카메라나 오브젝트의 움직임도 와이프나 특수 효과에 의한 장면 전환 구간으로 오검출하는 비율이 매우 높지만, 본 발명은 매크로 블록의 타입과 움직임 벡터를 고려하게 되므로 카메라 또는 오브젝트 움직임에 의한 오검출 비율이 매우 낮다.
본 발명은 MPEG이나 H.26x 계열의 비디오 인코딩 방식에서 카메라나 오브젝트의 모션이 있는 구간은 대부분의 매크로 블록이 움직임 예측에 의해 코딩되는 특성을 이용하므로 오브젝트나 카메라 모션에 의한 오검출 비율이 매우 낮은 장점이 있다.
샷 세그멘테이션 기술과 샷 클러스터링 기술은 비선형적 비디오 브라우징(non-linear video browsing)이나 검색에 있어서 반드시 필요한 요소 기술이며 샷 세그멘테이션 기술은 샷 클러스터링을 위한 요소 기술이다.
본 발명은 비압축 도메인에서 픽셀단위의 프로세싱을 이용하거나 칼라 히스토그램을 이용하거나 밝기 전환을 이용하는 기존의 와이프 효과에 의한 샷 전이(wipe transition) 검출 알고리즘과는 달리, 압축 도메인(compressed domain)에서 순방향 움직임 예측만을 사용하는 P 프레임에서 매크로 블록 타입들의 시공간상에서의 분포 특성을 이용한 와이프 및 특수효과 검출 방법이다.
또한 본 발명은 기존의 와이프 검출 알고리즘과는 달리 여러가지 특수 효과에 의한 장면 전이 구간도 검출이 가능함을 특징으로 한다.
본 발명에서 제안된 와미프 및 특수 효과 검출 방법은 압축 도메인에서 프로세싱이 이루어지므로 속도가 기존의 어떤 알고리즘 보다도 빠르며, 그 성능도 우수하다.
또한 매크로 블록의 타입을 결정하는 대부분의 방법은 카메라/오브젝트 모션을 검출하는 방법과 매우 유사하므로 본 발명에서 제안된 알고리즘은 빠른 카메라 모션 또는 큰 오브젝트의 큰 모션 정보에 대하여 기존의 알고리즘 보다 견고 (robust)하다.
와이프나 특수효과에 의한 장면 전환은 하드컷(hard cut)에 의한 장면 전환과는 달리 비디오 편집자의 특수한 의도(씬 전환 : scene change)등을 포함하는 경우가 대부분이므로 샷 클러스터링 등에 중요한 입력으로 사용될 수 있다.
본 발명에서 제안된 알고리즘은 기본적인 샷 세그멘테이션 알고리즘에서 사용되는 기본 성질들을 이용하므로 기존의 샷 세그멘테이션 알고리즘과 쉽게 합쳐질 수 있으며 샷 클러스터링을 위한 기본 입력으로 사용될 수 있다.

Claims (27)

  1. 시공간적으로 상관성을 가지고 연속되는 프레임으로 이루어지는 비디오 스트림에 대하여, 상기 프레임이 매크로 블록 단위의 정보로 이루어지고 상기 매크로 블록이 인트라 코딩된 매크로 블록을 포함할 때; 상기 매크로 블록을 포함하는 프레임안에서 인트라 코딩된 매크로 블록들이 집중된 영역을 검출하는 단계, 상기 검출된 매크로 블록들이 집중된 영역을 가지는 연속되는 프레임들에 대하여 시공간적 제약조건을 적용하여 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어지는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  2. 제 1 항에 있어서, 상기 인트라 코딩된 매크로 블록을 포함하는 프레임이 P프레임이고, 상기 P프레임은 MPEG나 H.26x 계열에서 순방향 예측과 인트라 코딩된 매크로 블록으로만 구성되는 프레임인 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  3. 제 1 항에 있어서, 상기 인트라 코딩된 매크로 블록이 집중된 영역을 검출할 때, 인트라 코딩된 매크로 블록에 인접한 매크로 블록을 인트라 코딩된 블록으로 간주하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  4. 제 3 항에 있어서, 상기 인트라 코딩된 매크로 블록에 인접한 매크로 블록을인트라 코딩된 매크로 블록으로 간주할 때, 움직임 예측을 하는 블록 중에서 움직임 벡터가 임계치보다 크고 인트라 코딩된 매크로 블록에 인접한 경우를 인트라 코딩된 매크로 블록으로 간주하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  5. 제 3 항 또는 제 4 항에 있어서, 상기 인접한 매크로 블록을 결정하는 방법은 매크로 블록 주변의 상하좌우 4방향이나, 상하좌우 및 사방 모서리를 포함하는 8방향으로 인접한 매크로 블록을 이용하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  6. 제 1 항에 있어서, 상기 인트라 코딩된 매크로 블록이 집중된 영역의 검출은, 인트라 코딩된 매크로 블록을 인트라 코딩된 매크로 블록을 기준으로 압축 도메인(공간)상에서 하나 이상의 방향으로 투사하여 투사 히스토그램을 구하고, 상기 투사 히스토그램에서 투사 방향으로의 인트라 코딩된 매크로 블록의 비율을 계산하여 검출하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  7. 제 6 항에 있어서, 상기 투사방향은 인트라 코딩된 매크로 블록을 기준으로 해당 압축 도메인상에서 0도, 45도, 90도, 135도인 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  8. 제 1 항에 있어서, 상기 인트라 코딩된 매크로 블록이 집중된 영역의 검출은, 인트라 코딩된 매크로 블록을 인트라 코딩된 매크로 블록을 기준으로 압축 도메인(공간)상에서 하나 이상의 방향으로 투사하여 투사 히스토그램을 구하고, 상기 투사 히스토그램을 2진화하여 2진화된 투사 히스토그램 값으로부터 검출하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  9. 제 8 항에 있어서, 상기 2진화는 빈값에 임계치를 적용하여 임계치를 넘는 빈을 '1'로 셋팅하고, 임계치를 넘지 않는 빈을 '0'으로 셋팅하여 2진화하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  10. 제 8 항에 있어서, 상기 2진화된 투사 히스토그램에서 아웃라이어(outlier)나 홀(hole)을 제거하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  11. 제 10 항에 있어서, 상기 아웃라이어나 홀의 제거는, 아웃 라이어나 홀 주변에 크기가 3인 윈도우를 적용하여 그 최빈값을 택하여 제거하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  12. 제 1 항에 있어서, 상기 시공간 제약조건으로, 인트라 코딩된 매크로 블록들이 집중된 영역이 연속적으로 나타나는 프레임 시퀀스의 시작 프레임(b)과 종료 프레임(e)의 러닝타임이 임계치를 넘는 경우 그 구간 [b,e]을 와이프나 특수효과에 의한 장면 전환 구간으로 판단하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  13. 제 1 항에 있어서, 상기 시공간 제약조건으로, 인트라 코딩된 매크로 블록들이 집중된 영역이 연속적으로 나타나는 프레임 시퀀스 [b,e]에서, 인트라 코딩된 매크로 블록들이 집중된 최대 영역을 시간축에 투사하고, 이 투사된 값이 그 프레임 전체 영역에서 차지하는 갯수나 비율이 임계치 이상일 때 그 구간 [b,e]을 와이프나 특수효과에 의한 장면 전환 구간으로 판단하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  14. 제 13 항에 있어서, 상기 인트라 코딩된 매크로 블록들이 집중된 영역을 시간축에 투사할 때 같은 인덱스(공간상의 위치)에 대하여 논리합(OR) 조건으로 투사되는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  15. 제 1 항에 있어서, 상기 시공간 제약조건으로, 인트라 코딩된 매크로 블록들이 집중된 최대 영역이 연속된 프레임 시퀀스에서 일정한 방향성을 가지고 이동할 때 그 구간 [b,e]을 와이프나 특수효과에 의한 장면 전환 구간으로 판단하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  16. 제 15 항에 있어서, 상기 인트라 코딩된 매크로 블록들이 집중된 영역의 이동은, 인트라 코딩된 매크로 블록들이 집중된 영역의 중심점을 택하고 시간축에서 그 중심점의 이동을 해당 인트라 코딩 매크로 블록 집중영역의 이동으로 간주하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  17. 시공간적으로 상관성을 가지고 연속되는 프레임으로 이루어지는 비디오 스트림에 대하여, 상기 프레임이 매크로 블록 단위의 정보로 이루어지고 상기 매크로 블록이 인트라 코딩된 매크로 블록을 포함할 때; 상기 매크로 블록을 포함하는 프레임안에서 인트라 코딩된 매크로 블록들이 집중되어 나타나는 프레임들의 시퀀스 [b,e]를 검출하는 단계, 상기 검출된 프레임 시퀀스의 해당 구간내의 인트라 코딩된 매크로 블록의 연결요소들을 시간축위에 투사하는 단계, 상기 투사된 이미지에 대하여 시공간적 제약조건을 적용하여 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어지는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  18. 제 17 항에 있어서, 상기 프레임 시퀀스 [b,e]의 검출은, 구간 [b,e]내의 모든 P프레임에서 인트라 코딩된 매크로 블록의 집중도를 적용하여 구하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  19. 제 18 항에 있어서, 상기 집중도는 해당 프레임에서, 인트라 코딩된 매크로블록의 최대 연결요소에 속한 매크로 블록의 갯수와 전체 인트라 코딩된 매크로 블록의 갯수의 비율로 판정하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  20. 제 19 항에 있어서, 상기 최대 연결요소는 인트라 코딩된 매크로 블록 연결요소내의 인트라 코딩된 매크로 블록의 갯수가 최대인 것을 최대 연결요소로 간주하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  21. 제 17 항에 있어서, 상기 인트라 코딩된 매크로 블록의 연결요소들을 시간축위에 투사할 때, 구간 [b,e]내의 각 프레임에서의 인트라 코딩된 매크로 블록의 최대 연결요소에 해당하는 매크로 블록을 그 블록과 동일한 투사 이미지 좌표 공간상에 투사하여 투사된 이미지를 구하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  22. 제 21 항에 있어서, 상기 투사된 이미지는 구간 [b,e]내의 투사 리소스들에 대한 논리합(OR) 조건으로 투사되는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  23. 제 17 항에 있어서, 상기 시공간 제약조건으로, 프레임 시퀀스 [b,e]내의 모든 P프레임에서 최대 연결요소를 투사한 매크로 블록 수준 이미지내의 인트라 코딩된 매크로 블록의 갯수가 임계치를 넘을 때 그 구간 [b,e]을 와이프나 특수효과에 의한 장면 전환 구간으로 판단하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  24. 시공간적으로 상관성을 가지고 연속되는 프레임으로 이루어지는 비디오 스트림에 대하여, 상기 프레임이 매크로 블록 단위의 정보로 이루어지고 상기 매크로 블록이 인트라 코딩된 매크로 블록을 포함할 때; 상기 매크로 블록을 포함하는 프레임안에서 인트라 코딩된 매크로 블록의 수가 임계치 이상인 프레임 시퀀스[b,e]를 검출하는 단계, 상기 검출된 P프레임들의 시퀀스 해당 구간의 러닝타임이 일정 시간 이상 지속되는가를 시공간적 제약조건으로 적용하여 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어지는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  25. 프레임간의 영상차에 근거한 비디오 스트림의 압축 도메인에서 인트라 코딩된 매크로 블록들의 시공간상의 분포특성을 검출하는 단계, 상기 검출된 인트라 코딩된 매크로 블록들의 시공간상의 분포특성에 와이프 및 특수효과에 의한 장면전환 여부를 판단하기 위한 시공간적 제한조건을 적용하는 단계, 상기 적용된 시공간적 제한조건을 만족하는지의 여부로부터 와이프 및 특수효과에 의한 장면전환 여부를 판단하는 단계로 이루어진 와이프 및 특수 편집효과 검출 알고리즘.
  26. 제 25 항에 있어서, 상기 인트라 코딩된 매크로 블록들의 시공간상의 분포특성은 (a). 인트라 코딩된 매크로 블록이 집중된 영역이 연속적으로 나타나는 P프레임의 시퀀스 [b,e], (b). 상기 P프레임 시퀀스 [b,e]내의 인트라 코딩된 매크로 블록의 최대 연결요소를 시간축 위에 투사한 이미지, (c). 인트라 코딩된 매크로 블록들의 갯수가 일정 임계치 이상인 연속적인 P프레임 시퀀스, 모두 이거나 그들 중의 어느 하나이고, 상기 검출된 분포특성에 대한 각각의 시공간적 제약조건이 어느 하나 이상을 만족할 때 그 구간[b,e]을 와이프나 특수효과에 의한 장면전환 구간으로 판단하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
  27. 제 26 항에 있어서, 상기 분포특성(a)에 대해서 러닝타임의 지속성 및 인트라 코딩된 매크로 블록의 점유정도, 상기 분포특성(b)에 대해서 최대 연결요소 투사 이미지내의 인트라 코딩된 매크로 블록의 갯수나 비율, 상기 분포특성(c)에 대해서 러닝타임의 지속성을 각각의 시공간적 제약조건으로 하여 와이프나 특수효과에 의한 장면전환 구간을 판단하는 것을 특징으로 하는 와이프 및 특수 편집효과 검출 알고리즘.
KR10-2000-0041455A 2000-07-19 2000-07-19 엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집 효과 검출 방법 KR100380229B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2000-0041455A KR100380229B1 (ko) 2000-07-19 2000-07-19 엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집 효과 검출 방법
US09/907,718 US7050115B2 (en) 2000-07-19 2001-07-19 Wipe and special effect detection method for MPEG-compressed video using spatio-temporal distribution of macro blocks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0041455A KR100380229B1 (ko) 2000-07-19 2000-07-19 엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집 효과 검출 방법

Publications (2)

Publication Number Publication Date
KR20020007915A true KR20020007915A (ko) 2002-01-29
KR100380229B1 KR100380229B1 (ko) 2003-04-16

Family

ID=19678832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0041455A KR100380229B1 (ko) 2000-07-19 2000-07-19 엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집 효과 검출 방법

Country Status (2)

Country Link
US (1) US7050115B2 (ko)
KR (1) KR100380229B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100713501B1 (ko) * 2004-10-05 2007-05-02 삼성전자주식회사 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법
KR100816013B1 (ko) * 2007-01-23 2008-03-21 (주)엑스퍼넷 압축영상의 장면전환 검출장치 및 방법
US7497899B2 (en) 2004-09-21 2009-03-03 Samsung Gwangju Electronics Co., Ltd. Cyclone dust collecting apparatus
US7944975B2 (en) 2004-04-14 2011-05-17 Samsung Electronics Co., Ltd. Inter-frame prediction method in video coding, video encoder, video decoding method, and video decoder

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1754382A (zh) * 2003-02-21 2006-03-29 皇家飞利浦电子股份有限公司 镜头切变检测
JP4520994B2 (ja) * 2004-09-30 2010-08-11 パイオニア株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US8379734B2 (en) * 2007-03-23 2013-02-19 Qualcomm Incorporated Methods of performing error concealment for digital video
EP2216983A1 (en) * 2009-02-05 2010-08-11 Mitsubishi Electric R&D Centre Europe B.V. Detection of wipe transitions in video
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
EP2605469A1 (en) 2011-12-13 2013-06-19 Thomson Licensing Method and apparatus to control a multipath adaptive streaming session
CN104798363A (zh) * 2012-08-23 2015-07-22 汤姆逊许可公司 检测视频比特流中渐变画面的方法和装置
EP2888870B1 (en) * 2012-08-23 2017-08-02 Thomson Licensing Method and apparatus for detecting gradual transition picture in video bitstream
US20150124871A1 (en) * 2013-11-06 2015-05-07 Mitsubishi Electric Research Laboratories, Inc. Visual Perceptual Transform Coding of Images and Videos
US10192319B1 (en) * 2017-07-27 2019-01-29 Nanning Fugui Precision Industrial Co., Ltd. Surveillance method and computing device using the same
EP3648059B1 (en) * 2018-10-29 2021-02-24 Axis AB Video processing device and method for determining motion metadata for an encoded video

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY118360A (en) * 1996-04-30 2004-10-30 Nippon Telegraph & Telephone Scheme for detecting shot boundaries in compressed video data using inter-frame/inter field prediction coding and intra-frame/intra-field coding
JP3895431B2 (ja) * 1996-07-08 2007-03-22 株式会社ハイニックスセミコンダクター 物体境界ブロック合併／分割を利用した映像情報符号化方法
US5987180A (en) * 1997-09-26 1999-11-16 Sarnoff Corporation Multiple component compression encoder motion search method and apparatus
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
US6721454B1 (en) * 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
KR100587280B1 (ko) * 1999-01-12 2006-06-08 엘지전자 주식회사 오류 은폐방법
US6618439B1 (en) * 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
US6600784B1 (en) * 2000-02-02 2003-07-29 Mitsubishi Electric Research Laboratories, Inc. Descriptor for spatial distribution of motion activity in compressed video

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7944975B2 (en) 2004-04-14 2011-05-17 Samsung Electronics Co., Ltd. Inter-frame prediction method in video coding, video encoder, video decoding method, and video decoder
US7497899B2 (en) 2004-09-21 2009-03-03 Samsung Gwangju Electronics Co., Ltd. Cyclone dust collecting apparatus
KR100713501B1 (ko) * 2004-10-05 2007-05-02 삼성전자주식회사 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법
KR100816013B1 (ko) * 2007-01-23 2008-03-21 (주)엑스퍼넷 압축영상의 장면전환 검출장치 및 방법

Also Published As

Publication number Publication date
US7050115B2 (en) 2006-05-23
US20020027616A1 (en) 2002-03-07
KR100380229B1 (ko) 2003-04-16

Similar Documents

Publication Publication Date Title
KR100380229B1 (ko) 엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집 효과 검출 방법
US7054367B2 (en) Edge detection based on variable-length codes of block coded video
Patel et al. Compressed video processing for cut detection
KR100274082B1 (ko) 프레임간/필드간 예측 부호화와 프레임내/필드내 부호화를 사용하는 압축 비디오 데이터에서의 화면 경계 검출 구조
US7027509B2 (en) Hierarchical hybrid shot change detection method for MPEG-compressed video
US6909745B1 (en) Content adaptive video encoder
Pei et al. Efficient MPEG compressed video analysis using macroblock type information
US7277485B1 (en) Computer-readable medium for content adaptive video decoding
US6473459B1 (en) Scene change detector
US6940910B2 (en) Method of detecting dissolve/fade in MPEG-compressed video environment
JP2000224590A (ja) ビデオシ―ケンスの特徴抽出方法
Dimou et al. Scene change detection for H. 264 using dynamic threshold techniques
WO2001015459A1 (en) Time-varying image processor, its method, and recorded medium
US6970513B1 (en) System for content adaptive video decoding
Faernando et al. Scene change detection algorithms for content-based video indexing and retrieval
Kobla et al. Compressed domain video segmentation
KR101149522B1 (ko) 장면 전환 검출 시스템 및 방법
Sugano et al. A fast scene change detection on MPEG coding parameter domain
Calic et al. Towards real-time shot detection in the mpeg compressed domain
Fernando et al. Video segmentation and classification for content-based storage and retrieval using motion vectors
Smeaton et al. An evaluation of alternative techniques for automatic detection of shot boundaries in digital video
Yeo On fast microscopic browsing of MPEG-compressed video
JP2869398B2 (ja) カット点検出方法及び装置
Fernando et al. Sudden scene change detection in MPEG-2 video sequences
JPH10112863A (ja) 動き被写体情報抽出方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20060324

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee