KR20030087357A - 골프 비디오 이벤트 자동 검출 장치 및 그 방법 - Google Patents

골프 비디오 이벤트 자동 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR20030087357A
KR20030087357A KR1020020025382A KR20020025382A KR20030087357A KR 20030087357 A KR20030087357 A KR 20030087357A KR 1020020025382 A KR1020020025382 A KR 1020020025382A KR 20020025382 A KR20020025382 A KR 20020025382A KR 20030087357 A KR20030087357 A KR 20030087357A
Authority
KR
South Korea
Prior art keywords
shot
golf
event
feature information
video
Prior art date
Application number
KR1020020025382A
Other languages
English (en)
Other versions
KR100510098B1 (ko
Inventor
남제호
노용만
강경옥
김진웅
김천석
이희경
배빛나라
누엔녹탄
Original Assignee
한국전자통신연구원
학교법인 한국정보통신학원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 학교법인 한국정보통신학원 filed Critical 한국전자통신연구원
Priority to KR10-2002-0025382A priority Critical patent/KR100510098B1/ko
Publication of KR20030087357A publication Critical patent/KR20030087357A/ko
Application granted granted Critical
Publication of KR100510098B1 publication Critical patent/KR100510098B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

본 발명은 골프 비디오 이벤트 자동 검출 장치 및 그 방법에 관한 것으로, 골프 비디오 컨텐츠의 다양한 특성들의 공통점을 분석하여, 시청자가 흥미를 갖을만한 골프 경기의 주요 이벤트를 정의한 후, 상기 이벤트별 특성 분석 결과를 바탕으로 각 이벤트에 해당하는 세그먼트를 자동 추출할 수 있는 골프 비디오 이벤트 자동 검출 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하기 위하여, 임의의 비디오 포맷 양식에 의하여 포맷된 골프 디지털 비디오 데이터를 읽기 위한 비디오 컨텐츠 입력수단; 상기 비디오 컨텐츠 입력수단에서 출력된 비디오 데이터에서 샷 구간을 선정하기 위한 샷 경계 검출수단; 상기 샷 경계 검출수단에서 출력된 샷 구간이 선정된 비디오 데이터에서 기 설정된 이벤트의 추론에 힌트가 되는 키프레임을 선정하기 위한 키프레임 선정수단; 상기 샷 경계 검출수단에서 선정된 샷 구간과 상기 키프레임 선정수단에서 선정된 키프레임 및 대표 참조 이미지를 이용하여 특징정보값을 추출하기 위한 특징정보 추출수단; 상기 특징정보 추출수단에서 추출된 특징정보와 상기 대표 참조 이미지를 이용하여 각 샷 구간 및 키프레임의 의미를 추론하여 시간적으로 인접한 샷들과 통합/분할하는 이벤트 추론 처리수단; 상기 이벤트 추론 처리수단에서 출력된 골프 컨텐츠의 요약문을 생성하고 확장성 생성 언어(XML : Extensible Markup Language) 문서로 저장하기 위한 컨텐츠 요약 생성수단; 및 상기 특징정보 추출수단에서 추출된 특징정보와 상기 대표 참조 이미지를 저장하기위한 저장수단을 포함하며, 디지털 방송 시스템 등에 이용됨.

Description

골프 비디오 이벤트 자동 검출 장치 및 그 방법{Method and Apparatus for Automatic Detection of Golf Video Event}
본 발명은 골프 경기 비디오 컨텐츠에서 영상 특징 정보를 이용하여 자동적으로 주요 골프 이벤트에 해당하는 세그먼트를 추출하고, 추출된 이벤트별 세그먼트를 이용하여 골프 비디오 컨텐츠의 메타데이터를 생성하여 다양한 내용기반 비디오 처리를 할 수 있는 골프 비디오 이벤트 자동 검출 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
최근 골프 스포츠의 대중화에 따라 국내외 골프 경기의 TV 중계 회수의 증가는 물론 골프 강좌와 같은 다양한 골프 관련 컨텐츠의 제작 및 방영의 빈도수도 높아지며 골프 전문 채널도 등장 하였다.
이러한 골프 경기 및 골프 관련 비디오 컨텐츠의 수가 많아지고 방송에서의 방영 빈도가 증가하면서 사용자들이, 상대적으로 방영 시간이 긴 골프 비디오 컨텐츠에서 주요 장면을 검색하거나 하일라이트 위주의 골프 요약 비디오 자동 생성 등이 필요하게 되었다.
이런 비디오 컨텐츠의 요약을 위한 시스템은 기존에 연구되고 있지만, 대부분이 물리적인 샷(shot: 이하 "샷"이라 표기함)에 의해 비디오 컨텐츠의 요약을 수행하고 있다. 이런 이유로 비디오 컨텐츠의 요약을 위해서 별도의 편집 장비나 숙련된 편집 인력 등의 확보가 필요한 실정이다.
또한, 다양한 장르의 비디오 컨텐츠에 대한 의미 기반 비디오 요약 정보 추출 알고리즘이 연구되고 있지만, 각 비디오 컨텐츠는 장르나 분야에 따라서 그 특성 및 구조의 차이가 크기 때문에 각 비디오 장르별로 최적화된 알고리즘의 개발이 요구되며, 이런 이유로 다른 장르의 요약 방법을 골프에 적용하기에는 어려운 문제점이 있었다.
그리고, 다른 스포츠 장르는 경기나 방송사에 따른 방송 기법 및 카메라 촬영 기법이 유사한 반면, 골프는 대회나 방송사에 따른 그 특성의 차이가 발생하므로 보다 일반화된 알고리즘에 대한 연구도 요구되고 있다.
본 발명은, 상기한 바와 같은 문제점을 해결하고, 요구에 부응하기 위하여 제안된 것으로, 골프 비디오 컨텐츠의 다양한 특성들의 공통점을 분석하여, 시청자가 흥미를 갖을만한 골프 경기의 주요 이벤트를 정의한 후, 상기 이벤트별 특성 분석 결과를 바탕으로 각 이벤트에 해당하는 세그먼트를 자동 추출할 수 있는 골프 비디오 이벤트 자동 검출 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명에 따른 골프 비디오 이벤트 자동 검출 장치의 일실시예 구성도.
도 2 는 본 발명에 따른 골프 비디오 이벤트 자동 검출 방법에 대한 일실시예 흐름도.
도 3 은 본 발명에 따른 티샷/세컨드샷 이벤트 추론 과정을 나타낸 일실시예 설명도.
도 4 는 본 발명에 따른 어프로치 샷의 추론 과정을 나타낸 일실시예 설명도.
도 5 는 본 발명에 따른 벙커샷의 추론 과정을 나타낸 일실시예 설명도.
도 6 은 본 발명에 따른 퍼팅 추론 과정을 나타낸 일실시예 설명도.
도 7 은 본 발명에 따른 대표 참조 이미지를 결정하는 과정을 나타낸 일실시예 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
101 : 비디오 컨텐츠 입력부102 : 샷 경계 검출부
103 : 키프레임 선정부104 : 특징정보 추출부
105 : 이벤트 추론 처리부106 : 컨텐츠 요약 생성부
107 : 데이터베이스
상기 목적을 달성하기 위한 본 발명의 장치는, 골프 비디오 이벤트 자동 검출 장치에 있어서, 임의의 비디오 포맷 양식에 의하여 포맷된 골프 디지털 비디오 데이터를 읽기 위한 비디오 컨텐츠 입력수단; 상기 비디오 컨텐츠 입력수단에서 출력된 비디오 데이터에서 샷 구간을 선정하기 위한 샷 경계 검출수단; 상기 샷 경계 검출수단에서 출력된 샷 구간이 선정된 비디오 데이터에서 기 설정된 이벤트의 추론에 힌트가 되는 키프레임을 선정하기 위한 키프레임 선정수단; 상기 샷 경계 검출수단에서 선정된 샷 구간과 상기 키프레임 선정수단에서 선정된 키프레임 및 대표 참조 이미지를 이용하여 특징정보값을 추출하기 위한 특징정보 추출수단; 상기 특징정보 추출수단에서 추출된 특징정보와 상기 대표 참조 이미지를 이용하여 각 샷 구간 및 키프레임의 의미를 추론하여 시간적으로 인접한 샷들과 통합/분할하는 이벤트 추론 처리수단; 상기 이벤트 추론 처리수단에서 출력된 골프 컨텐츠의 요약문을 생성하고 확장성 생성 언어(XML : Extensible Markup Language) 문서로 저장하기 위한 컨텐츠 요약 생성수단; 및 상기 특징정보 추출수단에서 추출된 특징정보와 상기 대표 참조 이미지를 저장하기 위한 저장수단을 포함하는 것을 특징으로 한다.
한편, 본 발명의 방법은, 골프 비디오 이벤트 자동 검출 방법에 있어서, 디지털 골프 비디오 데이터를 입력받아 상기 비디오 데이터에서 샷 구간과 상기 샷구간을 대표하는 대표 키프레임을 생성하는 제 1 단계; 상기 샷 구간과 샷 구간을 대표하는 키프레임에서 특징정보값을 추출하고, 상기 추출된 특징정보값을 기 설정된 대표 참조 이미지와 정합하여 기 설정된 중요 이벤트를 추론하는 제 2 단계; 및 상기 추론에 의해 설정된 샷들을 시간적으로 인접한 것을 모아 분할(Segmentation)하는 제 3 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명은, 골프 비디오 이벤트 자동 검출을 위해, 프로세서를 구비한 골프 비디오 이벤트 자동 검출 장치에, 디지털 골프 비디오 데이터를 입력받아 상기 비디오 데이터에서 샷 구간과 상기 샷 구간을 대표하는 대표 키프레임을 생성하는 제 1 기능; 상기 샷 구간과 샷 구간을 대표하는 키프레임에서 특징정보값을 추출하고, 상기 추출된 특징정보값을 기 설정된 대표 참조 이미지와 정합하여 기 설정된 중요 이벤트를 추론하는 제 2 기능; 및 상기 추론에 의해 설정된 샷들을 시간적으로 인접한 것을 모아 분할(Segmentation)하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 골프 비디오 이벤트 자동 검출 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 골프 비디오 이벤트 자동 검출 장치는, 임의의 비디오 포맷 양식(예를 들면, "MPEG-1" 또는 "MPEG-2" 등)에 의하여포맷된 디지털 비디오 데이터를 읽는 비디오 컨텐츠 입력부(101), 상기 비디오 컨텐츠 입력부(101)에서 출력된 비디오 데이터에서 샷 구간을 선정하는 샷 경계 검출부(102), 상기 샷 경계 검출부(102)에서 출력된 샷 구간이 선정된 비디오 데이터에서 이벤트 추론에 힌트가 되는 키프레임을 선정하는 키프레임 선정부(103), 상기 샷 경계 검출부(102)에서 선정된 샷 구간과 상기 키프레임 선정부(103)에서 선정된 키프레임 및 대표 참조 이미지를 이용하여 특징정보값을 추출하는 특징정보 추출부(104), 상기 특징정보 추출부(104)에서 추출된 특징정보와 대표 참조 이미지를 이용하여 각 샷 구간 및 키프레임의 의미를 추론하여 시간적으로 인접한 샷들과 통합/분할하는 이벤트 추론 처리부(105), 상기 이벤트 추론 처리부(105)에서 출력된 골프 컨텐츠의 요약문을 생성하고 XML 문서로 저장하는 컨텐츠 요약 생성부(106), 그리고 상기 특징정보와 대표 참조 이미지를 저장하는 데이터베이스(107)를 포함한다.
비디오 컨텐츠 입력부(101)는 MPEG-1(Moving Picture Experts Group - 1) 이나 MPEG-2(Moving Picture Experts Group - 2)로 포맷된 디지털 비디오 데이터를 읽는다. 그리고, 비디오 컨텐츠 입력부(101)에서 출력된 비디오 컨텐츠는 샷 구간과 대표 키프레임을 선정하기 위해 샷 경계 검출부(shot boundary dection module)(102)로 들어가 샷 구간을 선정 한다.
샷 구간이 선정 되면 키프레임 선정부(103)에 의해 이벤트 추론에 힌트가 되는 키프레임을 선정한다.
이들 키프레임 위치와 샷 구간 및 대표 참조 이미지를 이용하여 카메라 움직임, 움직임 활동도, 색상, 질감 등의 특징정보값들을 특징정보 추출부(104)에서 추출하여 데이터베이스(107)에 저장해 놓는다.
데이터베이스(107)에 저장된 특징정보 값들과 대표 참조 이미지를 이용하여 선정된 각 이벤트별 샷 추론 방법이 있는 이벤트 추론 처리부(105)에서 각 샷 구간 및 키프레임의 의미를 추론하게 되고, 이렇게 추론된 각 이벤트별 샷들은 시간적으로 인접한 샷들과 통합하는 분할(segmentation) 과정을 거친다. 그리고, 정확도 향상과 에러율 감소를 위해 시간 보상 및 필터링을 한다.
또한, 이들 골프 컨텐츠의 중요 이벤트별 세그먼트를 이용하여, 컨텐츠 요약 생성부(106)에서 골프 컨텐츠의 요약문을 생성하고 이를 확장성 생성 언어(XML : Extensible Markup Language) 문서로 저정한다.
도 2 는 본 발명에 따른 골프 비디오 이벤트 자동 검출 방법에 대한 일실시예 흐름도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 골프 비디오 이벤트 자동 검출 방법은, 먼저 디지털 골프 비디오 데이터를 입력받아 상기 비디오 데이터에서 샷 구간과 상기 샷 구간을 대표하는 대표 키프레임을 생성한다(201).
다음으로, 상기 샷 구간과 샷 구간을 대표하는 키프레임에서 움직임(Motion), 색상(Color), 에지(Edge), 질감(Texture) 등의 특징정보값을 추출하고(203), 상기 추출된 특징정보값을 기 설정된 대표 참조 이미지와 정합하여 기 설정된 중요 이벤트를 추론한다(205). 여기서, 기 설정된 중요 이벤트에는 티샷/세컨드샷(Tee/2nd-Shot), 어프로치샷(Approach-Shot), 벙커샷(Bunker-Shot),퍼팅(Putting) 등이 있다.
이어서, 상기 추론에 의해 설정된 샷들을 모아 분할(Segmentation)한다(207).
상기한 바와 같은 본 발명에 따른 골프 비디오 이벤트 자동 검출 방법을 좀 더 상세히 설명하면 다음과 같다.
먼저, 동영상 압축에 관한 국제 규격인 MPEG-1 또는 MPEG-2 방식의 디지털 골프 비디오 데이터의 내용을 분석하여 이벤트별로 검출하기 위해, 입력되는 비디오 데이터에서 비디오의 샷 구간과 그 샷을 대표하는 키프레임을 생성한다. 그리고, 각 샷 구간의 의미 추출을 위해 움직임(Motion), 색상(Color), 에지(Edge), 질감(Texture) 등의 특징정보 값을 추출하고, 상기 특징정보 값들을 이용하여 미리 정의된 중요 이벤트를 추론하게 된다.
이어서, 이 추론에 의해 설정된 샷들을 모아 분할(segmentation)하게 된다.
한편, 본 발명에 있어 주요 골프 이벤트는 티샷/세컨드샷(Tee/2nd-shot), 어프로치샷(approach-shot), 벙커샷(bunker-shot), 퍼팅(putting)으로 구분, 정의하며, 또한 본 발명에 있어 샷 구간과 대표하는 키프레임의 추출은 색상 정보를 이용하여 결정한다. 이 결정 단계에 있어 대표 키프레임은 이벤트의 의미를 부여 할 수 있는 힌트가 되는 프레임, 예를 들면 하늘, 그린, 숲 등의 이미지를 선정하는 것이다.
한편, 본 발명에 있어 샷 및 대표 키프레임의 선정 과정(201)에서 필요한 특징정보들을 동시에 추출하여 데이터베이스화 한다.
또한, 본 발명에 있어 골프의 각 이벤트 추출을 위해 사용될 특징정보들의 기본 값을 갖는 대표 참조 이미지(Reference image)들을 데이터베이스화 한다. 이들 각 특징정보들의 대표 참조 이미지들과 가장 유사한 이미지(키프레임)를 해당 비디오 컨텐츠의 참조 이미지로 선택하는 것이다.
또한, 본 발명에 있어 상기 언급된 대표 참조 이미지와 각 이미지들(키프레임) 간의 유사도는 특징정보 사이의 벡터 거리를 구한 후 유사도 측정 임계치와 비교함으로써 판정하게 된다.
또한, 분할 단계에서 비디오의 시간적인 순차성에 기준하여 추론에 의해 의미가 결정된 각 샷을 시간 순으로 조합하게 되며, 하나의 특징정보가 아닌 다수의 특징정보들을 조합하여 사용한다.
상기한 바와 같이, 본 발명은 골프 비디오 이벤트의 효율적인 추출을 위해서 특징정보를 이용하여 대표 키프레임(key-frame)을 추출하고, 추출된 대표 키프레임과 특정 구간의 비디오 시퀀스에 움직임(Motion), 색상(Color), 에지(Edge), 질감(Texture) 등의 특징정보값들을 이용하여 각 구간이 어떤 이벤트에 속하는지 결정하게 된다.
결과적으로, 이벤트의 종류와 구간 정보(시작 시간과 종료 시간)가 주어지는데, 이 구간 정보를 이용하여 전체 골프 비디오의 분할(segmentation)을 수행한다. 즉, 특징 정보를 바탕으로 하여 골프 비디오의 이벤트 분할을 수행하는 것이다.
이하, 도 3 내지 도 6을 이용하여 본 발명에 따른 중요 이벤트를 추론하는 과정에 대하여 좀 더 상세히 설명한다.
도 3 은 본 발명에 따른 티샷/세컨드샷 이벤트 추론 과정을 나타낸 일실시예 설명도이다.
티샷/세컨드샷 이벤트 추론 과정은, 먼저 티샷/세컨드샷 데이터를 추출(301)하기 위하여, 이것을 샷의 첫번째 부분(302), 샷의 두번째 부분(303), 샷의 세번째 부분(304)으로 나눈다. 예를 들면, 샷의 첫번째 부분(302)은 스윙, 샷의 두번째 부분(303)은 스윙후 공이 올라간 부분, 그리고 샷의 세번째 부분(304)은 공이 내려오는 부분이라 한다.
샷의 첫번째 부분(302)은 움직임 활동도(305)로 샷 이미지를 구분하여 대표 참조 이미지와 에지 히스토그램 정합(309)하여 추출한다.
샷의 두번째 부분(303)은 질감(Texture)(306)과 하늘을 구분하는 색상(307)으로 샷 이미지를 구분하여 이를 공통으로 만족하는 샷 이미지와 대표 참조 이미지를 에지 히스토그램 정합(310)하여 추출한다.
상기 에지 히스토그램 정합(309, 310)은 상기 구분된 샷 이미지와 대표 참조 이미지의 에지를 비교하여 정합하는 것을 말한다.
샷의 세번째 부분(304)은 카메라 움직임(308)으로 샷 이미지를 구분하여 분석하게 된다.
상기와 같이 구분하여 특징정보 값이 대표 참조 이미지와 유사한 키프레임들을 갖는 샷을 시간대별로 통합하여 티샷/세컨드샷의 분할 검출을 수행한다(311)
퍼팅을 제외한 모든 샷은 일정 크기 이상의 스윙 부분, 스윙 후 공이 올라간 부분, 그리고 공이 내려오는 부분으로 크게 세 부분으로 이루어진다. 이때, 방송중계 방법에 따라 공이 올라가는 모습을 보이거나 또는 내려가는 모습만 보이게 되는 경우도 있다.
이와 같은 퍼팅을 제외한 모든 샷의 중요한 특성은 스윙의 강도를 분석하기 위한 움직임 활동도(Motion activity) 특징정보(305)와 하늘을 구분하는 색상(Color) 특징정보(307), 하늘에 떠 있는 공의 국부 에지(Local Edge) 특징정보, 하늘과 그린의 질감(Texture) 특징정보(306), 그리고 땅에 떨어져 굴러가는 공의 카메라 움직임 특징정보(308)를 사용하여 추출한다. 이들의 특징정보 값이 대표 참조 이미지와 유사한 키프레임들을 갖는 샷을 시간대별로 통합하면, 이벤트별 세그먼트를 얻을 수 있다.
도 4 는 본 발명에 따른 어프로치 샷의 추론 과정을 나타낸 일실시예 설명도이다.
도 4 는 어프로치샷을 추출하는 과정으로 도 3의 과정과 유사하나, 골프 공의 최후 낙하 지점이 그린(Green) 근방이라는 것이 다르다. 공의 그린 낙하 여부를 판단하기 위해 그린의 대표 참조 이미지와 질감 특징정보를 이용하여 이 부분과 중첩되는 구간을 찾아 분할화 한다.
즉, 어프로치샷 추출(401)은, 샷의 첫번째 부분(402), 샷의 두번째 부분(403), 샷의 세번째 부분(404)으로 나눈다. 샷을 나누는 것은 도 3에서 설명한 것과 같다.
샷의 첫번째 부분(402)은 움직임 활동도(405)로 샷 이미지를 구분하여 대표 참조 이미지와 에지 히스토그램 정합(409)하여 추출한다.
샷의 두번째 부분(403)은 질감(Texture)(406)과 하늘을 구분하는 색상(407)으로 샷 이미지를 구분하여 대표 참조 이미지와 에지 히스토그램 정합(410)하여 추출한다.
샷의 세번째 부분(404)은 카메라 움직임(408)으로 구분하고, 그린 위 질감과 정합(411)하게 된다.
상기와 같은 특징정보에 의하여 구분된 샷을 공통적으로 만족하는 키프레임과 대표 참조 이미지를 비교하여 유사한 키프레임들을 갖는 샷을 시간대별로 통합하여 어프로치샷 장면만을 분할 검출을 수행한다(412).
도 5 는 본 발명에 따른 벙커샷의 추론 과정을 나타낸 일실시예 설명도이다.
본 발명에 따른 벙커샷을 추출하는 과정(501)은, 모래를 구분하는 색상 특징정보(503)와 모래의 균질 질감(Homogeneous Texture) 특성을 위한 균질 질감 특징정보(502)를 사용한다.
그리고, 두 특징정보를 모두 만족하는 키프레임이 속한 샷들을 시간적으로 인접한 것끼리 통합함으로써 벙커샷에 속하는 세그먼트를 추출할 수 있다.
즉, 벙커샷 추출(501)은 모래의 균질 질감 특성(502)과 모래 색상 특성(503)을 나타내는 특징정보로 나누어, 상기 두 특징정보를 만족하는 샷을 시간적으로 인접한것 끼리 통합하여(504) 벙커샷 장면만을 분할 검출한다(504).
도 6 은 본 발명에 따른 퍼팅 추론 과정을 나타낸 일실시예 설명도이다.
퍼팅은 그린 위에서 이루어지므로 샷의 평균 색이 녹색(잔디색)인지를 확인하기 위한 GoP(Group of Picture) 색상 특징정보(603), 퍼팅 직후 카메라가 공의움직임 궤적을 따름으로써 생기는 트랙(Track), 줌(Zoom) 등을 이용하기 위한 카메라 움직임 특징정보(602), 그리고 그린 상의 골퍼를 수직 에지로 찾기 위한 에지 특징정보(604)를 사용한다.
GoP 색상 특징정보(603)와 카메라 움직임 특징정보(602)는 샷을 대상으로 하는 특징정보이며, 이들 두 특징정보를 만족하는 샷에 속한 키프레임들을 대상으로 에지 특징정보를 적용한다(604). 그리고, 세 특징정보를 모두 만족하는 키프레임이 속한 샷들을 시간적으로 인접한 것끼리 통합함으로써 퍼팅에 속하는 세그먼트를 추출할 수 있다(605).
즉, 퍼팅 추출(601)은 카메라 움직임 특성(602)과 녹색인지를 확인하기 위한 GOP 색상 특징정보(603)를 이용하여 두 특성이 공통으로 만족하는 샷에 대하여 대표 참조 이미지와 에지 히스토그램 정합(604)을 수행한 후 상기 과정을 만족하는 샷들을 대상으로 시간적으로 인접한 것끼리 통합함으로써 퍼팅 장면만을 분할 검출한다(605).
도 7 은 본 발명에 따른 대표 참조 이미지를 결정하는 과정을 나타낸 일실시예 흐름도이다.
상기한 바와 같이, 골프 경기는 대회, 기후 환경, 그라운드 조건 및 방송사의 중계 방식에 따라 약간의 차이가 발생한다. 따라서, 원하는 동영상이나 이미지를 찾기 위해 사용하는, 원하는 특징정보값을 갖는 대표 참조 이미지의 선택이 중요하다.
도 7에 도시된 바와 같이, 본 발명에 따른 대표 참조 이미지를 결정하는 방법은, 먼저 어느 경기에나 적용되는 공통의 대표 참조 이미지인 베이스 쿼리 이미지를 선정하고(701), 각 특징정보에 대해 상기 대표 참조 이미지에 대해 유사도를 측정하여(702) 유사도가 제일 높은 프레임 이미지를 선정하여(703) 그 이미지를 그 경기의 대표 쿼리 이미지로 선정한다(704).
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 디지털 방송 환경 또는 인터넷 방송 환경하에서 대중화된 스포츠 경기인 골프 경기 비디오의 주요 이벤트를 자동적으로 검출하여 해당 이벤트 구간에 대한 시간 정보를 추출함으로써, MPEG-1/2로 포맷된 골프 비디오에 대하여 내용 기반의 주요 이벤트를 효율적으로 자동 요약 할 수 있으며, 쌍방향 디지털 방송시 방송 편집 뿐만 아니라 사용자 측에서도 골프 비디오 요약이 가능하여 요약 비디오 생성과 주요 장면 색인 등과 같은 다양한 내용기반 비디오 처리 응용분야에 활용할 수 있는 효과가 있다.

Claims (11)

  1. 골프 비디오 이벤트 자동 검출 장치에 있어서,
    임의의 비디오 포맷 양식에 의하여 포맷된 골프 디지털 비디오 데이터를 읽기 위한 비디오 컨텐츠 입력수단;
    상기 비디오 컨텐츠 입력수단에서 출력된 비디오 데이터에서 샷 구간을 선정하기 위한 샷 경계 검출수단;
    상기 샷 경계 검출수단에서 출력된 샷 구간이 선정된 비디오 데이터에서 기 설정된 이벤트의 추론에 힌트가 되는 키프레임을 선정하기 위한 키프레임 선정수단;
    상기 샷 경계 검출수단에서 선정된 샷 구간과 상기 키프레임 선정수단에서 선정된 키프레임 및 대표 참조 이미지를 이용하여 특징정보값을 추출하기 위한 특징정보 추출수단;
    상기 특징정보 추출수단에서 추출된 특징정보와 상기 대표 참조 이미지를 이용하여 각 샷 구간 및 키프레임의 의미를 추론하여 시간적으로 인접한 샷들과 통합/분할하는 이벤트 추론 처리수단;
    상기 이벤트 추론 처리수단에서 출력된 골프 컨텐츠의 요약문을 생성하고 확장성 생성 언어(XML : Extensible Markup Language) 문서로 저장하기 위한 컨텐츠 요약 생성수단; 및
    상기 특징정보 추출수단에서 추출된 특징정보와 상기 대표 참조 이미지를 저장하기 위한 저장수단
    을 포함하는 골프 비디오 이벤트 자동 검출 장치.
  2. 제 1 항에 있어서,
    상기 기 설정된 이벤트는,
    골프에서의 티샷/세컨드샷(Tee/2nd-shot), 어프로치샷(approach-shot), 벙커샷(bunker-shot), 퍼팅(putting)으로 구분하는 것을 특징으로 하는 골프 비디오 이벤트 자동 검출 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 특징정보 추출수단은,
    카메라 움직임, 움직임 활동도, 색상, 에지, 질감의 특징정보값을 추출하는 것을 특징으로 하는 골프 비디오 이벤트 자동 검출 장치.
  4. 골프 비디오 이벤트 자동 검출 방법에 있어서,
    디지털 골프 비디오 데이터를 입력받아 상기 비디오 데이터에서 샷 구간과 상기 샷 구간을 대표하는 대표 키프레임을 생성하는 제 1 단계;
    상기 샷 구간과 샷 구간을 대표하는 키프레임에서 특징정보값을 추출하고, 상기 추출된 특징정보값을 기 설정된 대표 참조 이미지와 정합하여 기 설정된 중요 이벤트를 추론하는 제 2 단계; 및
    상기 추론에 의해 설정된 샷들을 시간적으로 인접한 것을 모아 분할(Segmentation)하는 제 3 단계
    를 포함하는 골프 비디오 이벤트 자동 검출 방법.
  5. 제 4 항에 있어서,
    상기 제 2 단계의 특징정보값은,
    움직임(Motion), 색상(Color), 에지(Edge), 질감(Texture)을 포함하는 것을 특징으로 하는 골프 비디오 이벤트 자동 검출 방법.
  6. 제 4 항에 있어서,
    상기 기 설정된 중요 이벤트는,
    골프에서의 티샷/세컨드샷(Tee/2nd-Shot), 어프로치샷(Approach-Shot), 벙커샷(Bunker-Shot), 퍼팅(Putting)을 포함하는 것을 특징으로 하는 골프 비디오 이벤트 자동 검출 방법.
  7. 제 4 항에 있어서,
    상기 제 2 단계의 상기 샷 구간과 샷 구간을 대표하는 키프레임에서 특징정보값을 추출하는 과정은,
    상기 샷 및 대표 키프레임의 선정과 동시에 상기 특징정보값을 추출하여 데이터베이스화 하는 것을 특징으로 하는 골프 비디오 이벤트 자동 검출 방법.
  8. 제 4 항에 있어서,
    상기 대표 참조 이미지는,
    임의의 골프 경기에 적용되는 공통의 대표 참조 이미지인 베이스 쿼리 이미지를 선정하고, 각 특징정보에 대해 상기 대표 참조 이미지에 대해 유사도를 측정하여 유사도가 제일 높은 최적의 유사도를 가진 프레임 이미지를 선정한 후, 그 이미지를 그 경기의 대표 쿼리 이미지로 선정하여 대표 참조 이미지를 만들고, 골프의 각 이벤트 추출을 위해 사용될 특징정보들의 기본값을 갖으며 데이터베이스화된 것을 특징으로 하는 골프 비디오 이벤트 자동 검출 방법.
  9. 제 4 항에 있어서,
    상기 제 2 단계의 기 설정된 중요 이벤트를 추론하는 과정은,
    상기 대표 참조 이미지와 키프레임 간의 유사도를 이용하며, 상기 유사도는 특징정보 사이의 벡터 거리를 구한 후 유사도 측정 임계치와 비교함으로써 판정하는 것을 특징으로 하는 골프 비디오 이벤트 자동 검출 방법.
  10. 제 4 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 제 3 단계는,
    비디오 데이터의 시간적인 순차성에 기준하여 추론에 의해 의미가 결정된 각 샷을 시간 순으로 조합하게 되며, 하나의 특징정보가 아닌 다수의 특징정보들을 조합하여 사용하는 것을 특징으로 하는 골프 비디오 이벤트 자동 검출 방법.
  11. 골프 비디오 이벤트 자동 검출을 위해, 프로세서를 구비한 골프 비디오 이벤트 자동 검출 장치에,
    디지털 골프 비디오 데이터를 입력받아 상기 비디오 데이터에서 샷 구간과 상기 샷 구간을 대표하는 대표 키프레임을 생성하는 제 1 기능;
    상기 샷 구간과 샷 구간을 대표하는 키프레임에서 특징정보값을 추출하고, 상기 추출된 특징정보값을 기 설정된 대표 참조 이미지와 정합하여 기 설정된 중요 이벤트를 추론하는 제 2 기능; 및
    상기 추론에 의해 설정된 샷들을 시간적으로 인접한 것을 모아분할(Segmentation)하는 제 3 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2002-0025382A 2002-05-08 2002-05-08 골프 비디오 이벤트 자동 검출 장치 및 그 방법 KR100510098B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0025382A KR100510098B1 (ko) 2002-05-08 2002-05-08 골프 비디오 이벤트 자동 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0025382A KR100510098B1 (ko) 2002-05-08 2002-05-08 골프 비디오 이벤트 자동 검출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20030087357A true KR20030087357A (ko) 2003-11-14
KR100510098B1 KR100510098B1 (ko) 2005-08-23

Family

ID=32382061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0025382A KR100510098B1 (ko) 2002-05-08 2002-05-08 골프 비디오 이벤트 자동 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100510098B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100933270B1 (ko) * 2007-12-24 2009-12-22 엔에이치엔(주) 이미지 정보에 기초하여 웹 검색을 수행하기 위한 방법,시스템 및 컴퓨터 판독 가능한 기록 매체

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101205A (ja) * 1999-09-29 2001-04-13 Ricoh Co Ltd 映像構造化装置、映像構造化方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
KR100340030B1 (ko) * 1999-10-14 2002-06-12 이계철 대표이미지를 이용한 요약비디오 생성 시스템 및 그 방법
US6697523B1 (en) * 2000-08-09 2004-02-24 Mitsubishi Electric Research Laboratories, Inc. Method for summarizing a video using motion and color descriptors
KR100370249B1 (ko) * 2000-08-19 2003-01-29 엘지전자 주식회사 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템
KR100392257B1 (ko) * 2001-02-12 2003-07-22 한국전자통신연구원 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법
KR20030017880A (ko) * 2001-08-23 2003-03-04 학교법인 한국정보통신학원 실시간 처리에 의한 디지털 비디오 데이터의 내용기반요약방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100933270B1 (ko) * 2007-12-24 2009-12-22 엔에이치엔(주) 이미지 정보에 기초하여 웹 검색을 수행하기 위한 방법,시스템 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR100510098B1 (ko) 2005-08-23

Similar Documents

Publication Publication Date Title
US8018491B2 (en) Summarization of football video content
US8233708B2 (en) Video scene classification device and video scene classification method
Tjondronegoro et al. Highlights for more complete sports video summarization
CN110381366B (zh) 赛事自动化报道方法、系统、服务器及存储介质
US7143354B2 (en) Summarization of baseball video content
US7120873B2 (en) Summarization of sumo video content
US6931595B2 (en) Method for automatic extraction of semantically significant events from video
US7474698B2 (en) Identification of replay segments
US20040130567A1 (en) Automatic soccer video analysis and summarization
US20040017389A1 (en) Summarization of soccer video content
EP1067800A1 (en) Signal processing method and video/voice processing device
Li et al. A general framework for sports video summarization with its application to soccer
US20060114992A1 (en) AV signal processing apparatus for detecting a boundary between scenes, method, recording medium and computer program therefor
US20050228849A1 (en) Intelligent key-frame extraction from a video
US20020018594A1 (en) Method and system for high-level structure analysis and event detection in domain specific videos
US20080044085A1 (en) Method and apparatus for playing back video, and computer program product
CN103200463A (zh) 一种视频摘要生成方法和装置
US8300894B2 (en) Method for decomposition and rendering of video content and user interface for operating the method thereof
Ren et al. Football video segmentation based on video production strategy
Kijak et al. Temporal structure analysis of broadcast tennis video using hidden Markov models
KR100510098B1 (ko) 골프 비디오 이벤트 자동 검출 장치 및 그 방법
EP1265154A2 (en) Summarization of football video content
KR100963744B1 (ko) 축구 동영상의 이벤트 학습 및 검출방법
KR100707205B1 (ko) 스포츠 동영상의 플레이 구간 검출 방법 및 장치
Maram et al. Asking Graphs" How Did I Play?" Generating Graphs through Images Via Signals

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100802

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee