KR100411347B1 - 동영상 비디오의 장면전환 검출 방법 - Google Patents

동영상 비디오의 장면전환 검출 방법 Download PDF

Info

Publication number
KR100411347B1
KR100411347B1 KR10-2001-0088260A KR20010088260A KR100411347B1 KR 100411347 B1 KR100411347 B1 KR 100411347B1 KR 20010088260 A KR20010088260 A KR 20010088260A KR 100411347 B1 KR100411347 B1 KR 100411347B1
Authority
KR
South Korea
Prior art keywords
scene change
frame
condition
scene
color histogram
Prior art date
Application number
KR10-2001-0088260A
Other languages
English (en)
Other versions
KR20030059400A (ko
Inventor
전성배
윤경로
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2001-0088260A priority Critical patent/KR100411347B1/ko
Priority to US10/263,051 priority patent/US20030123541A1/en
Publication of KR20030059400A publication Critical patent/KR20030059400A/ko
Application granted granted Critical
Publication of KR100411347B1 publication Critical patent/KR100411347B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Abstract

본 발명은 동영상 비디오에서 장면전환을 자동으로 검출하는 방법이다.
본 발명의 장면전환 검출방법은 다중 칼라 히스토그램의 차 벡터들을 구하고, 상기 차 벡터가 칼라 히스토그램 차 조건을 만족하는가에 따라 장면 변화를 검출하는 것을 특징으로 한다.
본 발명의 장면전환 검출방법은 제1 프레임과 제2 프레임간의 칼라 히스토그램 차이와, 제2 프레임과 제3프레임간의 칼라 히스토그램 차이와, 제1 프레임과 제3 프레임간의 칼라 히스토그램 차이의 배열 특성을 동시에 이용해서 장면 변화를 검출한다. 또한 본 발명의 장면전환 검출방법은 프레임간의 칼라 히스토그램을 추출하고, 칼라 히스토그램 차이를 이용하는 다중 칼라 히스토그램 비교를 이용하여 장면전환 후보를 검출하고, 상기 후보 구간의 매크로 블록 분포 특성을 이용하여 해당 구간의 장면 전환 여부를 검출한다.

Description

동영상 비디오의 장면전환 검출 방법{SHOT TRANSITION DETECTING ALGORITHM FOR VIDEO STREAM}
본 발명은 비디오 자동 장면 변화 검출 알고리즘에서 다단계 칼라 히스토그램 비교를 이용하여 자동 장면 변화 검출 알고리즘의 오검출(false alarm)을 최소화시키는 방법에 관한 것이다.
비선형적인 비디오 검색 및 브라우징을 위하여 샷 분할기법(샷 세그멘테이션)이 적용되고 있다. 샷(shot)이란 방해(interrupt) 없이 하나의 카메라로부터 얻어진 비디오 프레임들의 시퀀스이다. 비디오는 수많은 샷의 연결로 구성되며, 샷이 연결될 때 다양한 편집 효과가 사용된다.
비디오 편집에 사용되는 편집 효과는 크게 갑작스런 전이(Abrupt shot transition)-하드 컷(hard cut)이라고도 한다-와 점진적인 전이(Gradual shot transition)-페이드(fade), 디졸브(dissolve), 와이프(wipe) 등이 여기에 속한다-가 있다.
여러 가지 연구 결과를 토대로 하여 보면 전역적 칼라 분포(Global Color Distribution, Color Histogram Based Method)를 이용한 샷 세그멘테이션 기법이 만족할 만한 결과를 나타내는 것으로 보고되고 있다. 또한 빠르고 정확한 알고리즘을 위하여 MPEG과 같이 양방향 압축을 이용하는 비디오 코덱에서는 샷 전이 구간의 매크로 블록의 타입 분포 특성을 모델링하여 좀 더 정확한 샷 전이 검출을 도모하기도 한다.
하드 컷이 발생하는 곳에서는 인접한 프레임간의 칼라 분포의 차이가 매우 크기 때문에 이러한 성질을 이용하여 하드 컷을 검출한다. 일반적으로 보다 빠른 장면 전환 검출을 위하여 매 프레임에서 칼라 히스토그램 정보를 추출하지 않고 정해진 몇 프레임 간격으로 칼라 히스토그램 정보를 추출하거나, MPEG과 같은 비디오 코딩 방법에서는 독립적으로 인코딩된 I프레임 단위로 칼라 히스토그램 정보를 추출하여 샷 세그멘테이션 알고리즘에 이용한다. 최근에는 더욱 더 빠른 샷 세그멘테이션 알고리즘을 위하여 DC 이미지 등과 같은 축소된 이미지 또는 서브 샘플링된이미지에서 칼라 히스토그램을 추출하여 샷 세그멘테이션 알고리즘의 입력으로 이용하며, 원본 이미지에서 추출한 칼라 히스토그램과 DC 이미지 히스토그램간에는 큰 차이가 없는 것으로 알려지고 있다.
최근의 샷 세그멘테이션 알고리즘은 칼라 히스토그램 비교를 통하여 얻어진 장면 전환 후보 구간에 대하여 매크로 블록 타입 정보 또는 모션 벡터 정보를 이용하여 해당 구간에서 실제 장면 전환이 발생하였는지와, 장면 전환이 발생한 정확한 위치를 검출하기도 한다.
기존의 샷 전이 검출 알고리즘들은 인접한 두 프레임간, 또는 일정 시간 단위 만큼 떨어진 두 프레임간의 칼라 히스토그램을 샷 세그멘테이션의 중요한 입력으로 사용한다. 그러나 인접한, 또는 일정한 시간 단위 만큼 떨어진 두 프레임간 영상차는 장면 전환 지점에서만 상대적으로 크게 나타나는 것이 아니라, 카메라의 플래쉬, 큰 오브젝트의 빠른 움직임 구간, 빠른 카메라 모션 구간 등에서도 상대적으로 크게 나타나므로 이러한 경우에는 오검출이 일어난다. 또한 이러한 샷 세그멘테이션의 오검출들은 일반적으로 샷 전이 지점에서의 매크로 블록 타입의 분포 특성이 하드 컷과 구별하기 어렵기 때문에 쉽게 제거되지 않는다. 카메라의 플래쉬 등은 인터뷰 장면 등에서 빈번하게 나타나며, 큰 오브젝트의 빠른 움직임은 스포츠 비디오에서 많이 발생하고, 빠른 카메라 모션은 골프 비디오와 같은 스포츠 비디오에서 빈번하며 장르에 관계없이 많이 나타난다. 그러므로 샷 세그멘테이션에서 이러한 오검출을 최소화할 수 있는 알고리즘이 필요하다.
즉, 오검출의 비율을 낮추기 위해서는 칼라 히스토그램 비교 방법이나 매크로 블록 타입 분포의 분석방법을 보다 정교하게 적용해야 하는데, 매크로 블록 타입 분포의 분석은 동영상 인코더마다 다르며, 인코딩 입력 매개 변수에 따라 다르므로 이를 크게 조정하면 다른 오검출이나 미검출(miss)이 발생하므로 샷 세그멘테이션 전체 성능에 있어서 향상을 도모하기 어렵다.
위와 같이 자동 장면 전환 알고리즘에 의해서 검출된 샷은 키프레임으로 대표되어, 스토리 보드(story board)의 형태로 사용자에게 제공되거나 원하는 장면으로 쉽게 이동하는 수단으로 이용되거나, 샷 클러스터링과 같은 알고리즘의 기본 입력으로 사용되므로 높은 수준의 정확도가 요구된다.
본 발명은 다중 칼라 히스토그램 비교 방법을 이용하여 장면 전환을 정확히 검출하는 방법을 제공함으로써, 샷 세그멘테이션의 정확도를 높일 수 있도록 한 샷 전이 검출방법을 제공함을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 장면전환 검출방법은 다중 칼라 히스토그램의 차 벡터들을 구하고, 상기 차 벡터가 칼라 히스토그램 차 조건을 만족하는가에 따라 장면 변화를 검출하는 것을 특징으로 한다.
또한 상기 목적을 달성하기 위하여 본 발명의 장면전환 검출방법은 제1 프레임과 제2 프레임간의 칼라 히스토그램 차이와, 제2 프레임과 제3프레임간의 칼라 히스토그램 차이와, 제1 프레임과 제3 프레임간의 칼라 히스토그램 차이의 배열 특성을 동시에 이용해서 장면 변화를 검출하는 것을 특징으로 한다.
또한 상기 목적을 달성하기 위하여 본 발명의 장면전환 검출방법은 프레임간의 칼라 히스토그램을 추출하고, 칼라 히스토그램 차이를 이용하는 다중 칼라 히스토그램 비교를 이용하여 장면전환 후보를 검출하고, 상기 후보 구간의 매크로 블록 분포 특성을 이용하여 해당 구간의 장면 전환 여부를 검출하는 것을 특징으로 한다.
도1은 MPEG 비디오 시퀀스의 예를 나타낸 도면
도2는 본 발명의 다중 칼라 히스토그램 비교 방법을 도식화한 도면
도3은 본 발명의 장면전환 검출방법을 설명하기 위한 플로우차트
도4a는 하드 컷이 발생한 지점에서의 인트라 코디드 블록의 비율을 예시한 도면
도4b는 하드 컷이 발생한 경우에 매크로 블록의 타입 분포를 나타낸 도면
도5는 MPEG 비디오 시퀀스에서 순방향 예측과 점진적 장면 변화의 관계를 설명하기 위한 도면
도1은 MPEG으로 압축된 비디오 시퀀스의 구조를 설명하기 위한 도면이다. GOP(Group Of Picture)는 본 발명에서 I프레임에서 다음 I프레임까지의 프레임 시퀀스를 의미한다. MPEG 압축 방법에서는 인트라 코딩 블록으로만 구성된 I프레임 외에도 P프레임과 B프레임이 존재한다. P프레임은 순방향 예측을 이용하여 코딩되고, B프레임은 순방향과 역방향 예측을 동시에 이용하여 코딩된다. 앵커 프레임이란 움직임 예측 및 보상의 기준이 되는 프레임으로 P프레임의 경우는 바로 이전의 I프레임 또는 P프레임이 앵커 프레임이 되며, B프레임에 대한 앵커 프레임은 바로 이전과 이후의 I 또는 P프레임이 된다.
도2는 본 발명의 다중 칼라 히스토그램 비교를 이용한 샷 전이 검출의 오류 최소화 방법의 칼라 히스토그램 비교 방법을 도식화한 것이다.
Ij-2프레임과 Ij-1프레임간의 칼라 히스토그램 차 D1, Ij프레임과 Ij-1프레임간의 칼라 히스토그램 차 D2, Ij프레임과 Ij-2프레임간의 칼라 히스토그램 차 D3를 동시에 이용(장면전환의 칼라 히스토그램 차 조건(CHD 조건)을 만족하는지를 검사)하여 보다 견고한 샷 세그멘테이션 엔진을 구현한다. 여기서, Ik(k = ...,j-2,j-1, j,...)는 k번째 I프레임을 의미한다.
일반적으로 Ij-2프레임과 Ij-1프레임 사이에서 하드 컷에 의한 장면 전환이 발생하면 D1이 크고 D2는 상대적으로 작은 값을 나타낸다. D1도 크고 D2도 크면 일반적으로 빠른 카메라 움직임 또는 빠른 오브젝트 움직임에 의한 현상이라고 간주하면 오검출이 상당부분 줄어든다. 그러나 D1도 크고 D2도 큰 경우 중 하드 컷에 의한 장면 전환인 경우가 있는데, 이는 새로 시작되는 샷의 첫 부분이 빠른 오브젝트의 움직임이나 빠른 카메라 움직임으로 시작하는 경우이다.
그러므로 샷 전이에 의하여 D1도 크고 D2도 큰 경우와 순수하게 빠른 오브젝트의 움직임이나 빠른 카메라 움직임에 의해 D1도 크고 D2도 큰 경우를 분리할 필요가 있다. 이 때에는 D3를 이용한다.
일반적으로 하드 컷에 의한 장면 전환인 경우는 D1/D3값이 순수하게 빠른 오브젝트의 움직임이나 빠른 카메라 움직임에 의한 경우보다 크게 나타난다. 또한 순간적인 카메라 플래쉬인 경우에는 D1이 상대적으로 매우 크며 D2도 매우 크지만 D3는 매우 작게 나타난다. 이러한 경우는 하드 컷이 아니므로 순간적인 카메라 플래쉬로 간주해도 무방하다. 따라서, 이러한 성질을 이용하면 카메라 플래쉬에 의한 오검출을 줄일 수 있다. 그러므로 칼라 히스토그램에 대한 D1,D2를 이용하거나, D1,D2,D3를 동시에 이용하면 하드 컷 검출 알고리즘에서 오검출을 최소화할 수 있게 된다.
페이드, 디졸브, 와이프 등의 점진적인 장면 전환방법에서는 이론적으로는 D1+D2의 값이 D3와 거의 유사하게 나타난다. 그러나, 실제적으로는 사용하는 칼라 스페이스(RGB,YCrCb,HSV 등), 양자화 방법에 따라 다르게 나타나므로 실제로 D1+D2=D3로 나타나지는 않는다. 다만 τl<(D1+D2)/D2<τu인 관계가 성립하므로 τl과 τu를 잘 설정하면 점진적 장면 전환의 오검출을 줄일 수 있다.(τx는 임계치)
도3은 제안된 본 발명의 장면전환 검출방법이 적용된 샷 세그멘테이션 알고리즘을 보여준다. 본 발명의 장면전환 검출방법은 크게 나누어 첫번째 준비단계(301-304), 두번째 후보 검출단계(305-308), 세번째 후보 검증단계(309-311)로 이루어진다.
첫번째인 준비단계(301-304)에서는 두개의 I프레임(Ij-2,Ij-1)에 대한 칼라 히스토그램을 추출한다. 두번째인 후보 검출단계(305-308)에서는 현재의 I프레임(Ij)에 대한 칼라 히스토그램을 추출하고(306), 세개의 칼라 히스토그램 차로 이루어진 히스토그램 차 벡터(D1,D2,D3)를 구하고(307), 이 벡터가 장면 전환의 칼라 히스토그램 차 조건(CHD)을 만족하는지를 검사한다(308).
상기 단계(307)에서 CHistDiff(Ij-2,Ij-1)은 Ij-2프레임과 Ij-1프레임간의 칼라 히스토그램 차이(D1)를 구하는 함수이고, CHistDiff(Ij-1,Ij)은 Ij-1프레임과 Ij프레임간의 칼라 히스토그램 차이(D2)를 구하는 함수이고, CHistDiff(Ij-2,Ij)은 Ij-2프레임과 Ij프레임간의 칼라 히스토그램 차이(D3)를 구하는 함수이다.
본 발명에서 장면전환의 칼라 히스토그램 차조건(CHD)은 다음과 같다.
[하드 컷 조건]
1. D1τ1D2< τ2(High Probability)
2. D1τ3D2τ3D1/D3τ4D3τ5(Low Probability)
[점진적 전이 조건]
1. D1τ6D2< τ6D3< τ7(High Probability)
2. D1τ6D2τ6τ8< (D1+D2)/D3< τ9(Low Probability)
[장면 미전이 조건]
Do not Satisfy[하드 컷 조건] [점진적 전이 조건]
상기한 히스토그램 차 벡터(D1,D2,D3)가 칼라 히스토그램 차 조건(CHD 조건)을 만족하면 해당 구간(Ij-2,Ij-1)에 대하여 후보 검증단계(309 이하)를 수행하고, 그렇지 않은 경우는 단계(305)로 분기하여 다음의 구간에 대한 샷 전이 검출 알고리즘을 수행한다.
세번째 단계인 후보 검증단계(309-312)에 대하여 설명한다.
후보 검증단계에서 MBTCond(Ij-2,Ij-1)은 Ij-2프레임과 Ij-1프레임 사이에 존재하는 P프레임과 B프레임들에 대한 매크로 블록 타입 정보를 입력으로 하여 매크로 블록 타입 특성 벡터 MBT(m0,m1,...,mn)를 출력하는 함수이다.
단계(309)에서는 입력 구간(Ij-2,Ij-1)에서의 P/B 프레임의 매크로 블록 타입 분포를 이용하여 매크로 블록 타입 분포 벡터를 구한다. 그 다음 단계(310)에서는 매크로 블록 타입 분포가 샷 검출에 대한 매크로 블록 타입 분포 조건을 만족하는지를 검사하고, 이를 만족시키면 해당 구간(Ij-2,Ij-1)에서 샷 전이가 발생하였음을 표시하고 필요에 따라 정확한 샷 전이 위치를 기록하며(단계 311), 다음 단계(312)에서 더 이상 I프레임이 존재하는지를 검사하여 존재하면 단계(305)로 분기하여 다음의 구간에 대한 샷 전이 검출 알고리즘을 수행하고 그렇지 않으면 종료한다.
그러나, 상기 단계(310)에서 매크로 블록 타입 분포 벡터가 샷 검출에 대한 매크로 블록 타입 분포 조건을 만족하지 않으면 해당 입력 구간(Ij-2,Ij-1)에서 샷 전이가 발생하지 않았다고 간주하고, 단계(305)로 분기하여 다음의 구간에 대한 샷 전이 검출 알고리즘을 수행한다.
도4a,4b와 도5는 세번째 단계인 후보 검증단계의 알고리즘을 도시화한 것이다. 일반적으로 하드 컷이 발생하는 구간에서는 P프레임의 인트라 코딩 블록(Intra Coded Block)의 정점(Peak)이 발생하며 해당 정점과 이전 P 또는 I프레임 사이의 B프레임들에서는 일반적인 구간과는 확실하게 구분되는 참조 패턴(Reference Pattern)을 나타내는 것을 모델링한다.
도4a에서는 해당 GOP 내에 4개의 P프레임이 존재하고(P1,P2,P3,P4) P프레임에서 일정 임계치 이상의 정점이 발생하면(이 예에서는 P3에서 발생하였다고 가정한다) 구간 P2-P3에서 하드 컷이 발생한 경우일 수 있으므로 해당 서브 구간(P2-P3)에 대하여 B프레임의 참조 패턴을 조사하게 된다.
도4b는 하드 컷이 발생한 서브 구간에서 B프레임들이 두개의 앵커 프레임 중 하나의 앵커 프레임에서 극단적으로 많은 수의 매크로 블록을 참조하여 코딩하는 특성이 나타나는 것을 도식화한 것이며, 진하게 표시된 프레임은 샷 경계 지점을 나타낸 것이다. 도4b에서 화살표는 극단적으로 많은 수의 매크로 블록이 참조되는 앵커 프레임을 가리킨다.
도5는 페이드나 디졸브가 발생한 구간 내의 앵커 프레임에 인접한 B프레임의 순방향 예측 비율(FMBR = Mfwd/(Mfwd+Mbwd)(Mfwd : 순방향 참조 매크로 블록의 수, Mbwd : 역방향 참조 매크로 블록의 수)의 특성과 그렇지 않은 구간에서의 순방향 예측 비율의 특성을 도식화한 것이다.
페이드 또는 디졸브를 이용한 장면 전이 구간에서는 앵커 프레임에 인접한 B프레임들에서 일정 기간 이상 FMBR이 크게 진동하며, 그렇지 않은 구간에서는 이러한 특성이 나타나지 않고 있음을 보여준다. 이외에도 와이프나 특수효과(Special Effect)를 이용한 장면 전환도 특징적인 매크로 블록 타입 분포가 나타나므로 이를 이용하여 검출할 수 있다. 상기한 매크로 블록 타입 분포 이외에도 후보 검증단계에서는 움직임 벡터 변환 특성을 이용할 수도 있다.
상기한 세번째 단계인 후보 검증단계에서는 앞서 설명된 칼라 히스토그램 벡터를 이용한 장면 전환 종류에 대한 정보가 추가적인 입력으로 제공되어 칼라 조건 상 하드 컷으로 판명된 구간은 매크로 블록 타입에 대한 하드 컷 조건만을 검사하고, 점진적인 장면 변화로 판명된 부분은 점진적 변화 조건만을 검사할 수 있으며, 가능성이 높은 경우(High Probability)에는 매크로 블록 타입 조건의 임계치를 느슨하게 조정하고, 가능성이 낮은 경우(Low Probability)에는 상대적으로 임계치를 좀더 엄격히 조정하는 적응적인 방법을 이용하면, 전체 장면 전환 검출 알고리즘의 성능을 높일 수 있다.
본 발명은 다단계의 칼라 히스토그램 비교를 통하여 순간적인 카메라 플래쉬, 빠른 오브젝트 움직임, 빠른 카메라 모션에 의한 장면전환 오검출을 줄일 수 있다. 또한 부가적인 프로세스는 칼라 히스토그램 비교 연산이 더 필요하지만 전체 세그멘테이션 엔진에서 볼 때 그 프로세스 증가량은 극히 미미하므로 적용 시의 성능 향상에 기여한다.
본 발명의 장면전환 검출방법을 이용하면, 빠르고 정확한 샷 세그멘테이션 엔진을 구성하여 스토리 보드 등의 키프레임 인터페이스의 성능을 향상시킬 수 있으며, 비선형적 브라우징에서 사용자 만족도를 높이고, 보다 높은 수준의 샷 클러스터링 엔진을 구성할 수 있는 기반을 제공한다.

Claims (15)

  1. 시계열적으로 서로 다른 시점에 놓이는 3개의 프레임간의 칼라 히스토그램의 차를 구하고, 상기 칼라 히스토그램 차이의 배열 특성을 동시에 이용하여 장면 전환을 검출하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  2. 제 1 항에 있어서, 상기 칼라 히스토그램 차이의 배열 특성은, 시계열적으로 제1프레임, 제2프레임, 제3프레임의 선행 순서로 놓이고, 제1프레임과 제2프레임간의 칼라 히스토그램 차(D1)와, 제2프레임과 제3프레임간의 칼라 히스토그램 차(D2)와, 제1프레임과 제3프레임간의 칼라 히스토그램 차(D3)를 이용해서 장면 전환을 검출하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 프레임은 MPEG 또는 H.26x 계열의 방식으로 인코딩된 스트림에 대하여 I프레임인 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  4. 제 2 항에 있어서, 상기 칼라 히스토그램 차 벡터(D1,D2,D3)가 하드 컷 조건을 만족하면 해당 구간을 하드 컷 후보 구간으로 설정하고, 칼라 히스토그램 차 벡터(D1,D2,D3)가 점진적 장면 전환 조건을 만족하면 해당 구간을 점진적 장면 전환 후보 구간으로 설정하고, 하드 컷 조건과 점진적 장면 전환 조건을 만족하지 않으면 해당 구간에서 장면 전환이 발생하지 않았다고 판정하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  5. 제 4 항에 있어서, 상기 장면 전환 후보 여부 이외에 장면 변화의 타입과, 장면 변화의 확률(Probability)을 동시에 출력하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  6. 제 4 항에 있어서, 상기 하드 컷 조건은;
    조건1. D1τ1D2< τ2이나,
    조건2. D1τ3D2τ3D1/D3τ4D3τ5로 설정되는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  7. 제 6 항에 있어서, 상기 조건1에 해당하는 경우를 하드 컷에 대한 확률이 높다(High Probability)고 간주하고, 상기 조건2에 해당하는 경우를 하드 컷에 대한 확률이 낮다(Low Probability)고 간주하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  8. 제 4 항에 있어서, 상기 점진적 장면전환 조건은;
    조건1. D1τ6D2< τ6D3< τ7이나
    조건2. D1τ6D2τ6τ8< (D1+D2)/D3< τ9로 설정되는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  9. 제 8 항에 있어서, 상기 조건1에 해당하는 경우를 점진적 장면전환에 대한 확률이 높다(High Probability)고 간주하고, 상기 조건2에 해당하는 경우를 점진적 장면전환에 대한 확률이 낮다(Low Probability)고 간주하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  10. 시계열적으로 서로 다른 시점에 놓이는 3개 프레임의 칼라 히스토그램을 추출하는 단계, 상기 3개의 인접한 프레임간의 칼라 히스토그램의 차를 구하고, 상기 칼라 히스토그램 차이의 배열 특성을 동시에 이용하여 장면 전환 후보를 검출하는 단계, 상기 후보 구간에서 매크로 블록 타입의 분포를 조사하여 해당 구간에 대한 장면 전환 여부를 검증하는 단계;로 이루어진 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  11. 제 10 항에 있어서, 상기 장면 전환 후보를 검출하는 단계에서는, 3개의 프레임간 히스토그램 차로 이루어진 히스토그램 차 벡터를 생성하고, 이 히스토그램 차 벡터의 각 원소 값의 특성을 이용하여, 해당 구간이 장면 전환 후보 구간인지를판단하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  12. 제 11 항에 있어서, 상기 장면 전환 후보 여부 이외에 장면 변화의 타입과, 장면 변화의 확률(Probability)을 동시에 출력하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  13. 제 10 항에 있어서, 상기 장면 전환 여부를 검증하는 단계에서는, 해당 구간의 P프레임의 매크로 블록 타입과 B프레임의 매크로 블록 타입의 특성을 동시에 이용하여 장면 전환 여부를 검증하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  14. 제 13 항에 있어서, 상기 장면 전환 검출을 위한 해당 GOP내의 소정 프레임에서 인트라 코딩 블록 비율의 정점 존재 여부 및 하드 컷 특성 출현 여부, Fwd 매크로 블록의 비율이나 Bwd 매크로 블록의 비율, 순방향 예측 비율의 진동 특성 등을 이용하여 하드 컷이나 점진적 장면 전환 여부를 검증하여 판단하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
  15. 제 12 항에 있어서, 상기 장면 변화의 타입과 그에 대한 장면 변화의 확률에 따라 장면 전환 여부 판단의 조건을 조정하여 조정하여 적용하는 것을 특징으로 하는 동영상 비디오의 장면전환 검출 방법.
KR10-2001-0088260A 2001-12-29 2001-12-29 동영상 비디오의 장면전환 검출 방법 KR100411347B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2001-0088260A KR100411347B1 (ko) 2001-12-29 2001-12-29 동영상 비디오의 장면전환 검출 방법
US10/263,051 US20030123541A1 (en) 2001-12-29 2002-10-01 Shot transition detecting method for video stream

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0088260A KR100411347B1 (ko) 2001-12-29 2001-12-29 동영상 비디오의 장면전환 검출 방법

Publications (2)

Publication Number Publication Date
KR20030059400A KR20030059400A (ko) 2003-07-10
KR100411347B1 true KR100411347B1 (ko) 2003-12-18

Family

ID=19717927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0088260A KR100411347B1 (ko) 2001-12-29 2001-12-29 동영상 비디오의 장면전환 검출 방법

Country Status (2)

Country Link
US (1) US20030123541A1 (ko)
KR (1) KR100411347B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230176B2 (en) 2012-03-14 2016-01-05 Hanwha Techwin Co., Ltd. Method of detecting camera tampering and system thereof

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1557837A1 (en) * 2004-01-26 2005-07-27 Sony International (Europe) GmbH Redundancy elimination in a content-adaptive video preview system
KR100713400B1 (ko) * 2004-04-30 2007-05-04 삼성전자주식회사 평균 히스토그램 오차 방식을 이용한 ｈ．263/ｍｐｅｇ비디오 인코더 및 그 제어 방법
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
KR100771244B1 (ko) * 2006-06-12 2007-10-29 삼성전자주식회사 동영상 데이터 처리 방법 및 장치
DE102007028175A1 (de) 2007-06-20 2009-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Automatisiertes Verfahren zur zeitlichen Segmentierung eines Videos in Szenen unter Berücksichtigung verschiedener Typen von Übergängen zwischen Bildfolgen
JP4428424B2 (ja) * 2007-08-20 2010-03-10 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび記録媒体
US20090083781A1 (en) * 2007-09-21 2009-03-26 Microsoft Corporation Intelligent Video Player
KR20110032610A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 장면 분할 장치 및 방법
EP2362674A1 (en) * 2010-02-23 2011-08-31 Thomson Licensing Method for evaluating video quality
KR101993010B1 (ko) * 2013-02-28 2019-06-25 고려대학교 산학협력단 시공간 패턴에 기반한 비디오 분석 장치 및 방법
IL228204A (en) * 2013-08-29 2017-04-30 Picscout (Israel) Ltd Efficiently obtaining content-based video
US10349093B2 (en) * 2014-03-10 2019-07-09 Cisco Technology, Inc. System and method for deriving timeline metadata for video content
CN104980625A (zh) * 2015-06-19 2015-10-14 新奥特（北京）视频技术有限公司 视频转场检测的方法和装置
KR101793653B1 (ko) * 2016-06-20 2017-11-03 (주)핑거플러스 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버
US10432987B2 (en) 2017-09-15 2019-10-01 Cisco Technology, Inc. Virtualized and automated real time video production system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000032286A (ko) * 1998-11-13 2000-06-05 정선종 동영상 장면 변환 검출 방법
KR20000050805A (ko) * 1999-01-15 2000-08-05 구자홍 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법
KR20010020091A (ko) * 1999-08-13 2001-03-15 이계철 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법
KR20010060994A (ko) * 1999-12-28 2001-07-07 박호군 내용 기반 동영상 검색 방법
KR20030035716A (ko) * 2001-11-02 2003-05-09 삼성전자주식회사 동영상 데이터에서 장면전환을 자동검출하는 방법 및 그장치
KR20030055962A (ko) * 2001-12-27 2003-07-04 주식회사 엘지이아이 장면 전환 검출 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5719643A (en) * 1993-08-10 1998-02-17 Kokusai Denshin Denwa Kabushiki Kaisha Scene cut frame detector and scene cut frame group detector
US5911008A (en) * 1996-04-30 1999-06-08 Nippon Telegraph And Telephone Corporation Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding
TW303555B (en) * 1996-08-08 1997-04-21 Ind Tech Res Inst Digital data detecting method
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000032286A (ko) * 1998-11-13 2000-06-05 정선종 동영상 장면 변환 검출 방법
KR20000050805A (ko) * 1999-01-15 2000-08-05 구자홍 비디오 스트림의 샷에 대한 키 프레임 개수 할당방법
KR20010020091A (ko) * 1999-08-13 2001-03-15 이계철 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법
KR20010060994A (ko) * 1999-12-28 2001-07-07 박호군 내용 기반 동영상 검색 방법
KR20030035716A (ko) * 2001-11-02 2003-05-09 삼성전자주식회사 동영상 데이터에서 장면전환을 자동검출하는 방법 및 그장치
KR20030055962A (ko) * 2001-12-27 2003-07-04 주식회사 엘지이아이 장면 전환 검출 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230176B2 (en) 2012-03-14 2016-01-05 Hanwha Techwin Co., Ltd. Method of detecting camera tampering and system thereof

Also Published As

Publication number Publication date
KR20030059400A (ko) 2003-07-10
US20030123541A1 (en) 2003-07-03

Similar Documents

Publication Publication Date Title
KR100411347B1 (ko) 동영상 비디오의 장면전환 검출 방법
Yeo et al. A unified approach to temporal segmentation of motion JPEG and MPEG compressed video
CN101072342B (zh) 一种场景切换的检测方法及其检测系统
Pei et al. Efficient MPEG compressed video analysis using macroblock type information
US6940910B2 (en) Method of detecting dissolve/fade in MPEG-compressed video environment
US7027509B2 (en) Hierarchical hybrid shot change detection method for MPEG-compressed video
US7469010B2 (en) Extracting key frames from a video sequence
Porikli et al. Traffic congestion estimation using HMM models without vehicle tracking
US20010016007A1 (en) Extracting key frames from a video sequence
Paul et al. Video coding using the most common frame in scene
Kobla et al. Compressed domain video segmentation
US7050115B2 (en) Wipe and special effect detection method for MPEG-compressed video using spatio-temporal distribution of macro blocks
Zhang et al. Video shot detection using hidden markov models with complementary features
Laumer et al. Moving object detection in the H. 264/AVC compressed domain
Smeaton et al. An evaluation of alternative techniques for automatic detection of shot boundaries in digital video
KR100286742B1 (ko) 압축된 뉴스 영상의 장면전환 및 기사 검출방법
Fernando et al. Sudden scene change detection in MPEG-2 video sequences
Ritch et al. Motion-based video object tracking in the compressed domain
Kiani et al. An effective slow-motion detection approach for compressed soccer videos
Yuan et al. Motion-information-based video retrieval system using rough pre-classification
JP4408330B2 (ja) 動画像内のロールテロップ検出装置および記録媒体
Aygün et al. Stationary Background Generation In Mpeg Compressed Video Sequences.
KR20020040503A (ko) 동영상 비디오 스트림의 장면전환 검출방법
Saoudi et al. Spatio-temporal video slice edges analysis for shot transition detection and classification
Fernando et al. DFD based scene segmentation for H. 263 video sequences

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20080926

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee