KR100392257B1 - 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법 - Google Patents

비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법 Download PDF

Info

Publication number
KR100392257B1
KR100392257B1 KR10-2001-0006806A KR20010006806A KR100392257B1 KR 100392257 B1 KR100392257 B1 KR 100392257B1 KR 20010006806 A KR20010006806 A KR 20010006806A KR 100392257 B1 KR100392257 B1 KR 100392257B1
Authority
KR
South Korea
Prior art keywords
video
event
visual
sports video
visual feature
Prior art date
Application number
KR10-2001-0006806A
Other languages
English (en)
Other versions
KR20020066561A (ko
Inventor
장현성
김재곤
강경옥
김문철
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2001-0006806A priority Critical patent/KR100392257B1/ko
Publication of KR20020066561A publication Critical patent/KR20020066561A/ko
Application granted granted Critical
Publication of KR100392257B1 publication Critical patent/KR100392257B1/ko

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

동적인 형식의 비디오 요약은, 비디오 내 주요구간으로 구성되어 비디오의 내용을 압축적으로 전달하는 한편, 내용 기반의 탐색이나 브라우징에 있어 매우 적합한 표현 방법이다.
본 발명에 의한 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법은, 스포츠 비디오의 종류에 따라 정의된 주요 사건을 자동으로 검출하고, 검출된 각 사건에 기반하여 스포츠 비디오에 대한 요약을 생성한다. 이러한 본 발명은 스포츠 비디오로부터 내부적으로 비쥬얼 특징 추출단계 및 사건 검출단계 등을 거쳐 비디오 내의 주요구간을 검출하는 주요구간 검출단계와; 주요구간을 검출하기 위하여 필요한 일련의 요약 규칙을 정의하는 요약 규칙 정의단계; 그리고 선택적으로는 주요구간 검출단계에서 검출된 스포츠 비디오의 주요구간 정보를 효율적이고 일관적인 기술구조에 맞추어 기술 데이터를 출력하는 비디오 요약 기술단계를 포함하며, 최종적으로 산출되는 결과물을 저장하기 위한 메타데이터 데이터베이스를 포함한다.
이러한 본 발명에 의하면, 스포츠 비디오에 대하여 사건 검출에 기반한 요약 생성규칙을 적용함으로써 각 주요 사건별로 의미있는 비디오 구간을 주요구간으로 검출하여 스포츠 비디오의 내용을 개관하거나 내용 기반으로 탐색, 브라우징하는 데 매우 효과적이다.

Description

비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법 { A Method of Summarizing Sports Video Based on Visual Features }
본 발명은 스포츠 비디오의 내용 기반 요약을 위한 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법에 관한 것으로서, 보다 상세하게 설명하면 주요 내용이 대개 사건 중심으로 구성되는 스포츠 비디오를 입력받아 사전에 정의된 요약 규칙에 따라 주요 사건을 검출하고 사건 중심으로 스포츠 비디오를 하나 이상의 레벨을 갖도록 요약하는 방법에 관한 것이다.
스포츠 비디오 혹은 일반적인 비디오 요약을 위하여 제안되었던 종래의 기술을 살펴보면 다음과 같다.
먼저, 1997년에 M. A. Smith와 K. Kanade가 제안한 "Video Skimming and Characterization through the Combination of Image and Language Understanding Technique" (IEEE Conference on Computer Vision and Pattern Recognition)에서는 영상 분석과 언어 인식 기술 등 비디오의 멀티 모달 특징을 사용한 요약 방식에 관하여 제안하였다. 이 요약 방식은 비디오 신호로부터 카메라 움직임, 얼굴 영역 및 자막 영역을 검출하고, 오디오 신호로부터 음성 인식과정을 통하여 얻어진 대본(transcript)을 색인하여 주요 단어를 추출한 후, 이들을 병합하여 주요 구간으로 취하는 것을 특징으로 한다. 그러나, 이러한 방법은 비쥬얼 혹은 오디오의 특징 구간을 그대로 주요 구간으로 취하므로 의미적인 측면에서의 요약을 보장하지 못하는 단점이 있다.
일례로서, 스포츠 비디오에서 골이나 슛 등의 사건이 발생한 경우 선수에 대한 클로즈-업 및 선수 이름 자막 등이 수반되어 비쥬얼 특징으로 검출될 수 있으나, 상기와 같이 특징 기반의 방식을 그대로 사용하는 경우 실제 골이나 슛 등 사건이 발생한 장면은 요약구간에 포함되지 못하는 경우가 빈번히 발생한다.
1995년에 D. Yow et al.이 제안한 "Analysis and Presentation of Soccer Highlights from Digital Video" (Asian Conference on Computer Vision)에서는 주요 장면의 샷을 구성하는 각 프레임에 대하여 기준 프레임을 중심으로 카메라 움직임을 보상하여 배경 모자이크를 구성하고 이동 객체를 중첩하여 나타내는 샷 모자이킹 기반의 축구 비디오 하이라이트 표현기법이 나타나 있다.
그러나, 이러한 샷 모자이킹 방식을 동적인 형식의 요약에 이용할 경우, 각 샷마다 배경 모자이크 영상의 크기가 가변적이므로 범용의 재생기를 이용할 수 없어 상호운용성의 측면에서 바람직하지 않으며, 정적인 형식의 요약에 이용할 경우 물체의 이동 궤적이 가시적이기는 하지만 궁극적으로 정지 영상에 기반한 정적인 요약방식이므로 정보 전달 능력에 한계가 있다는 단점이 있다. 또한, 주요 장면의 샷을 검출하기 위하여 공, 골대 검출과정과 공 추적과정 등 객체 기반의 세부적인 비쥬얼 특징을 이용하므로 복잡도가 크다는 단점이 있다.
또한, 발명의 명칭이 "효율적인 비디오 개관 및 브라우징을 위한 비디오 요약 기술구조와, 그 기술구조에 따른 요약 비디오 기술 데이터 생성방법 및 시스템" (대한민국 특허출원 제2000-57781)에서는 일반적인 비디오를 대상으로 요약 규칙을 정의하고 요약 구간을 선택하고 요약을 기술하는 방법을 제안하고 있다. 이 특허에서는 상위블록 레벨의 설계를 제공하고는 있으나, 각 블록 내 혹은 블록간의 보다 구체적인 구성방법은 별도로 제시하고 있지는 않다.
따라서, 상기와 같은 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은, 주요 내용이 사건 중심으로 구성되는 스포츠 비디오를 대상으로 요약 규칙에 따라 정의된 주요 사건을 검출하기 위하여 비쥬얼 특징을 이용하고 각 사건 중심으로 주요구간을 선정하여 동적인 형태의 스포츠 비디오 요약 생성방법을 제공하기 위한 것이다.
도 1은 본 발명의 한 실시예에 따른 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법의 전체 구성을 도시한 도면,
도 2는 도 1에 도시된 에피소드 검출단계에서 실행되는 유한 오토마타 모형에 기반한 에피소드 검출과정의 일례를 도시한 도면,
도 3은 도 1에 도시된 사건 검출단계의 개념을 보다 상세히 설명하기 위하여 도시한 도면이다.
※ 도면의 주요 부분에 대한 부호의 설명 ※
110 : 요약 규칙 정의단계 120 : 주요구간 검출단계
130 : 비디오 요약 기술단계 140 : 메타데이터 데이터베이스
121 : 비쥬얼 특징 추출단계 122 : 사건 검출단계
123 : 에피소드 검출단계 124 : 요약 구간 선택단계
상기한 목적을 달성하기 위한 본 발명에 따른, 스포츠 비디오로부터 비쥬얼 특징 분석을 기반으로 주요구간을 자동으로 검출하여 동적인 비디오 요약을 생성하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법은,
스포츠 비디오의 종류에 따라 검출대상이 되는 주요사건들을 정의하고, 상기 주요사건을 검출하기 위한 비쥬얼 특징들을 정의하며, 주요구간 검출을 위하여 필요한 일련의 요약 규칙들을 정의하는 요약 규칙 정의단계와;
스포츠 비디오가 입력되면 상기 요약 규칙 정의단계에서 정의된 주요사건들과 비쥬얼 특징들 및 요약규칙들을 이용하여 상기 스포츠 비디오 내의 요약 구간을 검출하는 주요구간 검출단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따르면 컴퓨터에, 스포츠 비디오로부터 비쥬얼 특징 분석을기반으로 주요구간을 자동으로 검출하여 동적인 비디오 요약을 생성하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 한 실시예에 따른 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법의 전반적인 계통도이다.
도 1을 참조하면, 이 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법은 요약 규칙 정의단계(110)와 주요구간 검출단계(120) 및 비디오 요약 기술단계(130)로 이루어지며, 그 산출 결과는 메타데이터 데이터베이스(140)에 저장된다. 한편, 주요구간 검출단계(120)는 내부적으로 비쥬얼 특징 추출단계(121)와 사건 검출단계(122)와 에피소드 검출단계(123) 및 요약 구간 선택단계(124)로 이루어진다.
요약 규칙 정의단계(110)에서는 스포츠 비디오의 종류에 따라 검출 대상이 되는 주요 사건들을 정의하는 한편, 각 사건들을 검출하기 위하여 사용할 비쥬얼 특징들을 함께 정의한다. 이때, 각 주요 사건을 검출하는 데 사용할 비쥬얼 특징 집합을 구성하기 위하여 아래의 수학식 1과 같이 정의된 베이즈(Bayes) 확률식을 응용한다.
위의 식에서 E 와 F1∼ FN은 각각 검출할 사건 및 이와 관련된 N 개의 비쥬얼 특징들을 나타내며, P(B)는 일반적으로 B가 발생할 확률을 의미하며, P(B｜A)는 A가 발생하는 조건부로 B가 발생할 확률을 의미한다. 예를 들면, 축구 비디오의 경우, 골을 하나의 사건으로 정의할 수 있으며, 그에 관련된 비쥬얼 특징으로 골 이후의 선수이름 자막, 중복 재생에 사용되는 느린 움직임 화면(Slow motion) 등을 고려할 수 있다.
여기서, 아래의 수학식 2와 같이 정의하면, 수학식 1은 아래의 수학식 3과 같이 된다.
이때, P(E)와 P(E｜F1,...,FN)는 각각 일련의 비쥬얼 특징 F1∼FN을 관찰하기 전과 관찰한 후의 해당 사건에 대한 발생 확률값을 의미하므로,는 "비쥬얼 특징 F1∼FN의 관찰 결과로 인하여 얻는 사건 E의 발생확률에 대한 이득"으로 해석될 수 있다.1 이면, 비쥬얼 특징 F1∼FN으로 구성되는 특징 집합은 확률적인 의미에서 사건 E의 발생에 대한 힌트를 제공한다. 따라서, 요약 규칙 정의단계에서 특징 집합을 구성함에 있어서가 큰 비쥬얼 특징 F1∼FN으로 구성하도록 한다.
혹은, 주요 사건을 검출하는 데 사용할 비쥬얼 특징 집합을 구성하기 위하여 사건 E의 발생에 대한 불확실성을 현저히 낮추는 특징 집합을 고려할 수 있다. 샤논의 엔트로피(Shannon's entropy) 개념을 도입하면, 일련의 특징을 관찰하기 전에 사건 E의 발생에 대한 불확실성은 수학식 4와 같이 측정된다.
반면에, 비쥬얼 특징 F1∼FN을 추출하여 관찰한 후에 사건 E의 발생에 대한 불확실성은 평균적으로 아래의 수학식 5가 된다.
따라서, 비쥬얼 특징 F1∼FN을 관찰함으로써, 낮추어지는 사건 E의 발생에 대한 불확실성의 양은 수학식 6과 같이 계산된다.
여기서,는, 사건 E와 비쥬얼 특징집합 {F1,...,FN} 사이의 상호 정보(mutual information)이며, 수식으로 표현하면 수학식 7과 같다.
위의 수학식 7과 같이 계산된의 값이 클수록 사건 E의 발생에 대한 불확실성이 작아지므로 바람직한 비쥬얼 특징 집합 구성방법의 다른 예는 수학식 7이 큰 비쥬얼 특징 F1∼FN으로 특징 집합을 구성하는 것이다.
또한, 요약 규칙 정의단계(110)는 각 주요 사건의 전역적인 이야기 단위인 에피소드(episode) 경계를 검출하기 위하여, 각 사건 별로 유한 오토마타(finite automata) 모형을 구성하여 에피소드 검출단계(123)에 출력한다. 유한 오토마타 모형을 이용한 에피소드 검출단계(123)의 일례가 도 2에 도시되어 있는 바, 이는 후술하기로 한다. 이 유한 오토마타 모형은 특정한) 정규 표현(regular expression)을 상태 천이과정을 거쳐 인식하기 위한 모형으로, 우리는 각 에피소드의 구성 형태을 하나의 정규 표현과 같이 간주하고자 하는 것이다. 이 유한 오토마타 모형은 문헌(Alfred V. Aho, Ravi Sethi, and Jeffrey D. Ullman, Compilers: Principles, Techniques, and Tools, Addison Wesley, 1986, pp.113-144)에 상세하게 기술되어 있다.
주요구간 검출단계(120)는 그 내부적으로 비쥬얼 특징 추출단계(121)와, 사건 검출단계(122), 에피소드 검출단계(123), 및 요약 구간 선택단계(124)로 이루어진다.
비쥬얼 특징 추출단계(121)는 요약 규칙 정의단계(110)에서 정의한 일련의 비쥬얼 특징들을 스포츠 비디오로부터 추출한다. 경우에 따라서는, 각 비쥬얼 특징을 추출함에 있어서 0과 1 사이의 값(0과 1 포함)으로 정규화된 특징 추출 신뢰도를 추정하여 사건 검출단계(122)에 출력한다. 이러한 경우, 비쥬얼 특징 추출단계(121)에서 임의의 방법에 의하여 신뢰도를 별도로 계산한다.
그러나, 별도의 신뢰도 계산과정을 구현하는 것이 불가능하거나 어려운 경우, 비쥬얼 특징 추출 과정을 무조건 신뢰하도록 한다거나(신뢰도 값 = 1), 오프라인(off-line)에서 여러 차례의 모의실험을 통하여 특징 추출신뢰도를 통계적으로 구하여 그 값을 고정하여 사건 검출단계로 출력하도록 구성할 수도 있다.
사건 검출단계(122)는 비쥬얼 특징 추출단계(121)에서 산출되는 결과에 따라서 각 사건의 발생 여부를 판정하는 단계이다. 비쥬얼 특징 추출단계(121)에서 실제 산출되는 결과가 F1=f1, F2=f2, ..., FN=fn일 경우, 사건 검출단계(122)에서는 궁극적으로 어떤 조절 가능한 변수 λ에 대하여 P(E｜F1=f1, ...,FN=fN) ≥λ인지 판단하고, 그러한 경우에 한하여 사건이 발생하였음을 판정한다.
여기서, F는 각각의 비쥬얼 특징 자체를 나타내며, f는 그 비쥬얼 특징으로 실제 나타난 값을 의미한다. 예를 들면, F = 어떤 영상에서 지배적인 색상일 경우, f = 붉은 색, 녹색 등 실제값을 의미한다. 그러므로, 위의 식은 여러 비쥬얼 특징 F1, F2, ... 등의 값을 관찰(추출)한 결과, f1, f2, ... 등으로 나타났을 때 사건 E가 발생했을 확률이 어떤 변수 λ보다 큰 지에 대한 식이다.
실제로 이러한 기능을 구현하는 과정에서는 여러 가지 방법이 가능한 데, 일예로는 F1∼FN공간 내에서 P(E｜F1, ..., FN) ≥λ를 만족시키는 범위를 미리 계산하여 두었다가 실제 비쥬얼 특징 추출 결과가 입력될 때 상기의 범위 내에 있는 지 확인하여 사건의 발생 여부를 판정한다. 다른 일예로 비쥬얼 특징 추출단계(121)에서 특징 추출 신뢰도값을 출력하는 경우, 이를 각 특징 Fi(1 ≤i ≤N)에 대한 P(Fi)값으로 간주하고, 이로부터 베이즈 확률식에 기반한 확률 전파과정(probability propagation process)을 통하여 P(E｜F1, ..., FN)를 계산하고, 그 값을 상기한 변수 λ와 비교하여 사건 발생 여부를 판정할 수 있다.
에피소드 검출단계(123)는 각 주요 사건의 전역적인 이야기 단위인 에피소드 경계를 검출하는 단계이며, 요약 규칙 정의단계(110)에서 구성한 유한 오토마타 모형을 기반으로 각 비쥬얼 특징의 추출 결과에 따라 상태를 천이하다가 목적 상태(destination state)에 도달하면 에피소드의 경계로 검출한다. 유한 오토마타 모형을 이용한 에피소드 검출 과정의 일례를 도 2에 도시하며, 후에 상술하기로 한다.
요약 구간 선택단계(124)는 검출된 사건 및 에피소드를 바탕으로 원 비디오의 내용을 잘 요약할 수 있는 비디오 구간을 선택한다. 이 구간 선택 기준은 요약 규칙 정의단계(110)에서 각 사건별로 미리 정의한 요약 규칙에 따라서 수행하며, 각 요약 구간이 하나 이상 몇 가지 레벨로 분류될 수 있도록 한다. 또한, 비쥬얼 특징 추출단계(121)에서 얻어지는 비디오 샷 경계 정보를 이용하여 요약 구간의 양단(both ends)을 시각적으로 거슬리지 않도록 보정한다.
상술한 바와 같이 주요구간 검출단계(120)는 내부적으로 비쥬얼 특징 추출단계 및 사건 검출단계는 반드시 포함하여야 하지만, 에피소드 검출단계와 요약 구간 선택단계 등은 별도의 블록으로 구성하지 않을 수도 있다. 예를 들면, 에피소드 검출단계를 생략하고 사건 검출단계의 결과만으로 요약 구간을 선택할 수 있으며, 에피소드 경계를 검출하는 과정을 사건 검출단계와 분리하지 않고 공통된 기반 위에서 통합적으로 구성할 수도 있다.
비디오 요약 기술단계(130)는 비쥬얼 특징 추출단계(121)에서 추출된 비디오 샷 경계 정보 및 요약 구간 선택단계에서 선정된 주요구간 정보를 입력받아 다양한 표준화 기구에서 정하는 기술정의언어를 이용하여 기술한다. 이 때, 전술한 바와 같이 주요구간 검출단계(120)에서 검출된 각 주요구간을 그 레벨에 따라 계층적인형태로 기술하며, 각 주요구간 별로 사건 주제 정보를 자동, 반자동 혹은 수동으로 추출하도록 하여 그 정보를 기술 데이터에 포함할 수 있도록 한다.
즉, 축구 비디오에서 각 요약 주요구간 별로 사건 주제 혹은 분류 내용은 "슛/골", "코너킥", "선수 클로즈-업", .... 등이 있다. 위에서 검출된 주요구간 별로 사건 주제 혹은 분류 내용을 표시하여야 하는데, 이때 사건 주제가 자동 추출이 가능한 경우에는 요약 주요구간에 해당하는 사건 주제를 자동으로 부여할 수 있으며, 경우에 따라 주제를 검출하지 못한 요약 구간은 반자동이나 수동적으로 사건 주제를 부여한다.
도 2는 유한 오토마타 모형에 기반한 에피소드 검출의 일례를 도시한 것이다. S1∼S6은 유한 오토마타 모형을 구성하는 상태(state)이며, 상태간의 천이관계는 화살표로 표시한다. 각 상태간의 천이는 비쥬얼 특징의 추출결과에 종속하여 이루어진다. 우선, 특정한 비쥬얼 특징이 관찰되어 예시한 유한 오토마타의 시작 상태(starting state)인 S1에 도달하며, 이후 계속되는 비쥬얼 특징의 관찰 결과에 따라서 S2S3(S3｜S4)*S3(S5)*S5의 상태 천이를 거쳐 S6에 도달하면 S1∼S5(S6직전의 목적상태)에 해당하는 비디오의 구간을 에피소드 구간으로 검출한다. S1∼S5중의 어느 한 상태는 실제로 사건이 발생한 지점에 해당한다. 위의 S2S3(S3｜S4)*S3(S5)*S5는 하나의 정규 표현식(regular expression)이며, 이 표현식에서 '|'는 'OR(또는)'를 의미하고, *는 앞의 상태가 0에서 무한 번 올 수 있음을 의미하고, ()는 묶음 표기이다. 예를 들어, (S3｜S4)*는 S3또는 S4상태가 0 번에서 무한 번 반복될 수 있음을 의미한다.
위의 비쥬얼 특징은 관측가능(observable)한 것인데 반해, 사건 및 상태는 관측가능하지 않은 것일 수 있으며 보다 근본적(개념적)인 것이다. 사건은 실제로 하나의 상태에 해당된다고 볼 수 있으며, 비쥬얼 특징은 실제로 상태에 따라 외부적으로 표출되는 것이다. 전술한 바와 같이, 우리는 각 에피소드의 구성 형태를 특정한 정규 표현식으로 표현될 수 있음을 가정하여 이를 인식하기 위한 유한 오토마타 모형을 구축하고, 관측 가능한 비쥬얼 특징 결과에 따라 에피소드 내 현재 진행상태를 추정하고자 하는 것이다.
도 3은 사건 검출과정의 개념을 보다 상세히 설명하기 위하여 도시한 것이다. 베이즈 척도(Bayes criterion)에 의하면, 사건 검출단계(122)에서 발생하는 위험도(risk) R은 실제로 사건이 발생하였지만(e), 발생하지 않은 것으로(D0) 판정하는 경우(miss)와, 실제로는 사건이 발생하지 않았는데(-e) 발생한 것으로(D1) 판정하는 경우(false alarm)의 확률을 가중하여 수학식 8과 같이 표현된다.
위의 수학식 8을 최소화시키는 최적의 판정방법은 잘 알려진 바와 같이 (H. L. V. Trees, Detection, Estimation, and Modulation Theory, Part 1, John Wiley Sons, 1968 참고) 수학식 9와 같이 표현된다.
여기서,라고 하면, 상기한 사건 검출단계(122)에서 사용한 방법과 동일하다.
위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.
이상과 같이 본 발명에 의하면, 스포츠 비디오에 대하여 사건 검출에 기반한요약 생성규칙을 적용함으로써 각 주요 사건별로 의미있는 비디오 구간을 주요구간으로 검출하여 스포츠 비디오의 내용을 개관하거나 내용 기반으로 탐색, 브라우징하는 데 매우 효과적인 잇점이 있다.

Claims (19)

  1. 스포츠 비디오로부터 비쥬얼 특징 분석을 기반으로 주요구간을 자동으로 검출하여 동적인 비디오 요약을 생성하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법에 있어서,
    스포츠 비디오의 종류에 따라 검출대상이 되는 주요사건들을 정의하고, 상기 주요사건을 검출하기 위한 비쥬얼 특징들을 정의하며, 주요요약구간을 검출하기 위한 주요사건별 요약 규칙들을 정의하는 요약 규칙 정의단계와;
    스포츠 비디오가 입력되면 상기 스포츠 비디오로부터 상기 요약 규칙 정의단계에서 정의된 비쥬얼 특징들을 추출하는 비쥬얼 특징 추출단계와;
    상기 비쥬얼 특징 추출단계에서 추출된 비쥬얼 특징들에 따라서 상기 스포츠 비디오의 주요사건이 발생한 구간을 판정하는 사건 검출단계와;
    상기 사건 검출단계에서 검출된 상기 스포츠 비디오의 주요사건 발생구간을 기술정의언어를 이용하여 기술하여 비디오 요약 기술 데이터를 생성하는 비디오 요약 기술단계를 포함한 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 요약 규칙 정의단계는,
    상기 각 주요사건을 검출하는 데 사용할 비쥬얼 특징집합은 아래의 수식으로 정의되는 확률이득이 큰 비쥬얼 특징들로 이루어지는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
    [수식]
    여기서, E는 검출하고자 하는 주요사건,
    F1∼Fn은 사건 E를 검출하기 위하여 사용할 n 개의 비쥬얼 특징,
    P(Y｜X)는 X의 발생조건에 대한 Y의 발생확률,
    GF(E)는 사건 E를 검출함에 있어서의 특징집합 F={F1, F2,..., Fn}의 확률이득을 의미함.
  4. 제 1 항에 있어서, 상기 요약 규칙 정의단계는,
    상기 각 주요사건을 검출하는 데 사용할 비쥬얼 특징집합은 아래의 수식으로 정의되는 사건과의 상호정보 값이 큰 비쥬얼 특징들로 이루어지는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
    [수식]
    여기서, E는 검출하고자 하는 주요사건,
    F1∼Fn은 사건 E를 검출하기 위하여 사용할 n 개의 비쥬얼 특징,
    P(X)는 X의 발생확률,
    I(E;F1,...,Fn)은 사건 E와 특징집합 {F1,F2,...Fn} 사이의 상호정보임.
  5. 삭제
  6. 제 1 항에 있어서, 상기 사건 검출단계는,
    사건 E의 검출 조건(P(E｜F) ≥ λ)을 만족시키는 비쥬얼 특징값(F)들의 부분공간을 구하고, 상기 비쥬얼 특징 추출단계에서 산출되는 비쥬얼 특징이 상기 부분공간에 포함되면 사건이 검출된 것으로 결정하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  7. 제 1 항에 있어서, 상기 비쥬얼 특징 추출단계는,
    상기 스포츠 비디오로부터 각 비쥬얼 특징을 추출하고, 0 과 1 사이의 값(0과 1 포함)으로 정규화된 특징 추출 신뢰도 P(F)를 계산하여 상기 사건 검출단계에 출력하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  8. 제 7 항에 있어서,
    상기 특징 추출 신뢰도 P(F)는 각 비쥬얼 특징별로 소정의 고정값으로 출력되는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  9. 제 7 항 또는 제 8 항에 있어서, 상기 사건 검출단계는,
    상기 비쥬얼 특징 추출단계에서 출력되는 특징 추출 신뢰도 P(F)로부터 확률전파과정을 통해 P(E｜F)를 계산하고, 그 값을 변수 λ와 비교하여, P(E｜F) ≥ λ이면 사건이 검출된 것으로 결정하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  10. 제 9 항에 있어서,
    상기 확률전파과정은 베이지안 네트워크를 이용하여 구현하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  11. 제 1 항에 있어서,
    상기 사건 검출단계에서 추출된 주요사건의 전역적인 이야기 단위인 에피소드 경계를 검출하기 위한 에피소드 검출단계를 더 포함하고,
    상기 요약 규칙 정의단계는 상기 에피소드 경계를 검출하기 위하여 각 사건 별로 유한 오토마타 모형을 구성하여 상기 에피소드 검출단계에 출력하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  12. 제 11 항에 있어서,
    상기 유한 오토마타 모형은 상기 추출된 비쥬얼 특징에 따라 상태가 천이되도록 하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  13. 제 11 항에 있어서,
    상기 사건 검출단계와 상기 에피소드 검출단계는,
    상기 비쥬얼 특징 추출 결과에 따라 유한 오토마타 모형에서 상태를 천이하는 동시에 사건 발생 확률을 전파하여 사건 검출 및 에피소드 경계 검출이 공통된 기반 내에서 이루어지도록 하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  14. 제 1 항에 있어서,
    상기 사건 검출단계에서 검출된 주요사건별로 상기 요약 규칙에 따라 요약 비디오에 포함되며 하나 이상의 레벨로 분류되는 요약 구간을 선택하는 요약 구간 선택단계를 더 포함하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  15. 제 14 항에 있어서,
    상기 비디오 요약 기술단계는,
    상기 요약 구간 선택단계에서 출력되는 요약 구간 정보를 다양한 표준화 기구에서 정하는 기술정의언어를 이용하여 기술하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  16. 제 15 항에 있어서,
    상기 비쥬얼 특징 추출단계는 상기 스포츠 비디오의 샷 경계를 검출하고, 상기 비디오 요약 기술단계는 요약 구간 정보와 함께 상기 스포츠 비디오 샷 경계 정보를 함께 기술하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법.
  17. 제 15 항에 있어서,
    상기 비디오 요약 기술단계는, 상기 요약 구간 선택단계에서 선택된 각 요약 구간별로 주제 혹은 분류 내용을 추출하여 상기 주제 혹은 분류 내용을 기술 데이터에 포함하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법
  18. 제 15 항에 있어서,
    상기 비디오 요약 기술단계는, 상기 요약 구간 선택단계에서 선정한 요약 구간에 대한 정보를 계층적으로 구성하는 것을 특징으로 하는 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법
  19. 컴퓨터에,
    스포츠 비디오의 종류에 따라 검출대상이 되는 주요사건들을 정의하고, 상기 주요사건을 검출하기 위한 비쥬얼 특징들을 정의하며, 주요요약구간을 검출하기 위한 주요사건별 요약 규칙들을 정의한 상태에서,
    스포츠 비디오가 입력되면 상기 스포츠 비디오로부터 상기 요약 규칙 정의단계에서 정의된 비쥬얼 특징들을 추출하는 비쥬얼 특징 추출단계와;
    상기 비쥬얼 특징 추출단계에서 추출된 비쥬얼 특징들에 따라서 상기 스포츠 비디오의 주요사건이 발생한 구간을 판정하는 사건 검출단계와;
    상기 사건 검출단계에서 검출된 상기 스포츠 비디오의 주요사건 발생구간을 기술정의언어를 이용하여 기술하여 비디오 요약 기술 데이터를 생성하는 비디오 요약 기술단계를 포함한 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2001-0006806A 2001-02-12 2001-02-12 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법 KR100392257B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0006806A KR100392257B1 (ko) 2001-02-12 2001-02-12 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0006806A KR100392257B1 (ko) 2001-02-12 2001-02-12 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법

Publications (2)

Publication Number Publication Date
KR20020066561A KR20020066561A (ko) 2002-08-19
KR100392257B1 true KR100392257B1 (ko) 2003-07-22

Family

ID=27694079

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0006806A KR100392257B1 (ko) 2001-02-12 2001-02-12 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법

Country Status (1)

Country Link
KR (1) KR100392257B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100510098B1 (ko) * 2002-05-08 2005-08-23 한국전자통신연구원 골프 비디오 이벤트 자동 검출 장치 및 그 방법
KR100942377B1 (ko) * 2002-09-28 2010-02-12 주식회사 케이티 장르별 특성 정보를 활용한 퍼지 기반 영상 요약 장치 및그 방법
KR100612862B1 (ko) * 2004-10-05 2006-08-14 삼성전자주식회사 스포츠 동영상의 요약 방법 및 장치
KR102206988B1 (ko) 2019-03-27 2021-01-25 주식회사 지엘에스 듀얼 탭핑장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111630A (ja) * 1993-10-14 1995-04-25 Matsushita Electric Ind Co Ltd 動画像編集装置及びカット統合方法
KR20000009742A (ko) * 1998-07-28 2000-02-15 구자홍 동영상에서의 특정인물 등장구간 검색 시스템
WO2000031741A1 (en) * 1998-11-20 2000-06-02 Koninklijke Philips Electronics N.V. Videotape indexing system
KR20000054561A (ko) * 2000-06-12 2000-09-05 박성환 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오검색 시스템 및 그 운영방법
JP2000339923A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp 映像収集装置および映像収集方法
KR20010019341A (ko) * 1999-08-26 2001-03-15 구자홍 내용기반 동영상 검색 및 브라우징을 위한 동영상 자료 구조
KR20010106975A (ko) * 2000-05-24 2001-12-07 구자홍 멀티미디어 콘텐트에 대한 인덱스 정보 서비스 제공시스템과 제공방법
KR100319158B1 (ko) * 1999-08-26 2001-12-29 구자홍 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111630A (ja) * 1993-10-14 1995-04-25 Matsushita Electric Ind Co Ltd 動画像編集装置及びカット統合方法
KR20000009742A (ko) * 1998-07-28 2000-02-15 구자홍 동영상에서의 특정인물 등장구간 검색 시스템
WO2000031741A1 (en) * 1998-11-20 2000-06-02 Koninklijke Philips Electronics N.V. Videotape indexing system
JP2000339923A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp 映像収集装置および映像収集方法
KR20010019341A (ko) * 1999-08-26 2001-03-15 구자홍 내용기반 동영상 검색 및 브라우징을 위한 동영상 자료 구조
KR100319158B1 (ko) * 1999-08-26 2001-12-29 구자홍 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법
KR20010106975A (ko) * 2000-05-24 2001-12-07 구자홍 멀티미디어 콘텐트에 대한 인덱스 정보 서비스 제공시스템과 제공방법
KR20000054561A (ko) * 2000-06-12 2000-09-05 박성환 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오검색 시스템 및 그 운영방법

Also Published As

Publication number Publication date
KR20020066561A (ko) 2002-08-19

Similar Documents

Publication Publication Date Title
US8006267B2 (en) Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US7184100B1 (en) Method of selecting key-frames from a video sequence
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US7487524B2 (en) Method and apparatus for presenting content of images
KR100687732B1 (ko) 내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치
Truong et al. Scene extraction in motion pictures
KR100717402B1 (ko) 멀티미디어 데이터의 장르를 판단하는 장치 및 방법
JP4979070B2 (ja) 動画像提示システム
US20020126203A1 (en) Method for generating synthetic key frame based upon video text
EP1067786A1 (en) Data describing method and data processor
JP6917210B2 (ja) 要約映像生成装置およびそのプログラム
US6842197B1 (en) Automatic extraction method of the structure of a video sequence
JPH0746517A (ja) 動画像検索方法及び装置
JP5116017B2 (ja) 動画検索方法およびシステム
KR100392257B1 (ko) 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법
Duan et al. Semantic shot classification in sports video
Ahmed et al. Key frame extraction and indexing for multimedia databases
JP3330348B2 (ja) 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体
JP2003224791A (ja) 映像の検索方法および装置
Shih et al. A semantic network modeling for understanding baseball video
Kopf et al. Automatic generation of summaries for the Web
Huayong Content-based tv sports video retrieval based on audio-visual features and text information
Ouyang et al. Interactive key frame selection model
Burget et al. Supervised video scene segmentation using similarity measures
Lu et al. An integrated correlation measure for semantic video segmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080701

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee