KR100785076B1 - 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치 - Google Patents

스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치 Download PDF

Info

Publication number
KR100785076B1
KR100785076B1 KR1020060053882A KR20060053882A KR100785076B1 KR 100785076 B1 KR100785076 B1 KR 100785076B1 KR 1020060053882 A KR1020060053882 A KR 1020060053882A KR 20060053882 A KR20060053882 A KR 20060053882A KR 100785076 B1 KR100785076 B1 KR 100785076B1
Authority
KR
South Korea
Prior art keywords
model
event
online
online model
reliability
Prior art date
Application number
KR1020060053882A
Other languages
English (en)
Inventor
정진국
황의현
김지연
문영수
김상균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060053882A priority Critical patent/KR100785076B1/ko
Priority to US11/589,910 priority patent/US20070294716A1/en
Application granted granted Critical
Publication of KR100785076B1 publication Critical patent/KR100785076B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 스포츠 동영상 스트림에서 계산된 온라인 모델의 신뢰도를 검사하는 단계와, 상기 온라인 모델의 신뢰도가 높지 않은 경우, 상기 스포츠 동영상 스트림에서 오프라인 모델을 이용하여 이벤트를 검출하는 단계와, 상기 오프라인 모델을 이용하여 검출된 이벤트를 통해 온라인 모델을 학습하는 단계 및 상기 학습된 온라인 모델의 신뢰도가 높은 경우, 상기 스포츠 동영상 스트림에서 상기 온라인 모델을 이용하여 이벤트를 검출하는 단계를 포함하는 것을 특징으로 하는 실시간 이벤트 검출 방법을 제공한다.
온라인 모델, 오프라인 모델, 이벤트, 실시간, 검출

Description

스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치{Method For Detecting Real Time Event Of Sport Moving Picture And Apparatus Thereof}
도 1은 야구 경기장 내의 서로 다른 필드 색을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 스포츠 동영상에서의 실시간 이벤트를 검출하는 방법의 흐름을 나타내는 도면이다.
도 3은 본 발명에 따른 비디오 관련 온라인 모델 학습 방법의 흐름을 나타내는 도면이다.
도 4는 본 발명에 따른 오디오 관련 온라인 모델 학습 방법의 흐름을 나타내는 도면이다.
도 5는 본 발명에 따른 야구 동영상에서 중요 이벤트를 검출하는 흐름을 나타내는 도면이다.
도 6은 본 발명에 따른 야구 동영상에서 중요 이벤트의 경기 구간 특징을 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 스포츠 동영상에서의 실시간 이벤트 검출 장치의 구성을 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
700: 실시간 이벤트 검출 장치
710: 신뢰도 검사부
720: 제1 이벤트 검출부
730: 온라인 모델 학습부
740: 제2 이벤트 검출부
본 발명은 스포츠 동영상에서의 실시간 이벤트를 검출하는 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 오프라인 모델과 온라인 모델을 결합하여 스포츠 동영상에서의 실시간으로 이벤트를 정확하게 검출하는 방법 및 그 장치에 관한 것이다.
일반적으로 스포츠 동영상에서의 실시간 이벤트를 검출하는 방법은 time shift 기능을 탑재한 디지털 텔레비전(DTV: Digital Television) 또는 개인 비디오 녹화 장치(PVR: Personal Video Recorder)에서 사용 가능하다. 상기 Time shift 기능은 실시간으로 시청 중이던 방송의 재생을 잠시 멈추거나 이미 지나간 방송 내용을 다시 볼 수 있게 해주는 기능으로서, 특히 스포츠와 같이 생방송의 의미가 중요한 장르인 경우 사용자가 생방송의 내용도 놓치지 않으면서 자신이 놓쳤던 지나간 방송 내용을 보고 싶어할 때 유용하게 사용된다. 따라서, 사용자에게 지나간 방송 내용을 보다 효율적으로 시청할 수 있도록 해야 하기 위해 스포츠 동영상에서의 중요 이벤트를 실시간으로 검출하는 방법이 요구된다.
한편, 요약 기능이 탑재된 개인 비디오 녹화 장치는 상기 time shift 기능이 탑재되지 않는 경우에도 녹화 방송에 대한 중요 이벤트로 구성된 요약 정보를 제공함으로써 사용자가 쉽게 네비게이션할 수 있도록 해야 한다. 따라서, 디지털 텔레비전과 모바일 단말 사이에서 방송이 재전송되는 경우에도 모든 스트림을 재전송하는 것이 아니라 중요 이벤트에 해당하는 스트림만 재전송할 수 있도록 하기 위해 이벤트를 검출하는 방안이 요구되고 있다.
종래 동영상에서 발생되는 이벤트를 검출하는 방법은 대표적으로 템플릿을 이용하는 방법, 오프라인 학습 모델을 이용하는 방법 또는 온라인 학습 모델을 이용하는 방법이 있다.
먼저, 종래 템플릿을 이용하여 동영상에서 발생되는 이벤트를 검출하는 방법은 그 예로 야구 컨텐츠 요약에 관한 특허 출원인 미국공개특허 US2003/0034996은 야구 경기 동영상에서 단순한 템플릿을 이용하여 야구 비디오를 분석하고, 분석 결과에 의한 갈색/녹색 비율을 이용하여 야구 경기 시작 지점을 검출하고, 필드가 보이지 않는 샷을 이용하여 야구 경기 끝 지점을 검출하여 검출된 경기 구간을 이용하여 비디오를 요약한다. 하지만, 필드색은 도 1에 도시된 것과 같이 경기 장소, 날씨, 시간 또는 조명 등과 같은 다양한 요소에 의해 서로 다르게 보여진다. 따라서, 종래 템플릿을 이용한 이벤트 검출 방법은 여러 가지 다양한 요소에 의해 색상이 다르게 보이는 필드색을 이용하여 야구 경기 시작 지점 또는 끝 지점을 정확하게 검출할 수 없다.
이와 같이, 종래 템플릿을 이용한 이벤트 검출 방법은 각 비디오마다 여러 가지 요소에 의해 서로 다른 형태를 보이기 때문에 하나의 템플릿을 이용하여 정확한 이벤트를 분석할 수 없는 문제점이 있다.
다음으로 종래 오프라인 학습 모델을 이용하여 이벤트를 검출하는 방법은 일례로 Structure Analysis of Sports Video Using Domain Models ICME 2001에 의하면 학습 기법과 색 정보를 이용하여 오프라인 모델을 형성하고, 생성된 오프라인 모델을 이용하여 후보를 검출하고, 오브젝트 세그먼트/에지 정보를 이용하여 샷을 분석한다. 종래 오프라인 학습 모델을 이용하여 이벤트를 검출하는 방법의 다른 일례로 Extract Highlights from Baseball Game Video With Hidden Markov Models IEEE ICIP 2002에 의하면, Bayes 규칙을 이용하여 야구 샷 타입을 구분하고, 필드의 모양 정보와 에지 정보, 잔디, 모래의 양, 카메라 움직임, 선수 크기를 특징 값으로 이용하여 각 샷 타입의 변화 형태를 HMM(Hidden Markov Model)을 이용하여 학습한 후 이벤트 검출에 이용한다. 종래 오프라인 학습 모델을 이용하여 이벤트를 검출하는 방법의 또 다른 일례로 오디오 신호로부터 스포츠 하이라이트를 요약하는 방법 및 시스템에 관한 미국공개특허 US2004/0130567호는 박수, 환호성, 타격음, 음성, 음악, 음악이 섞인 음성 6가지의 클래스로 오디오를 분류하고, 박수나 환호성으로 분류된 그룹들 중에서 미리 정한 구간 길이보다 긴 그룹들을 하이라이트에 포함시켜 미리 학습된 모델을 이용하여 분류한다.
이와 같이, 종래 오프라인 학습 모델을 이용하여 이벤트를 검출하는 방법은 종래 템플릿을 이용하는 방법과 마찬가지로 하나의 형태의 오프라인 학습 모델을 이용하여 다양한 스포츠 비디오 특성을 반영하기 어렵기 때문에 정확한 분석이 불 가능한 문제점이 있다.
그 다음으로 종래 온라인 학습 모델을 이용한 이벤트 검출 방법은 Online Play Segmentation for Broadcast American Football TV Programs PCM 2004에 의하면, 녹색 비율과 선의 개수를 이용하여 미식 축구 동영상의 경기(play) 구간을 검출하고, 필드 색을 전체 스트림의 주요한 색(dominant color)으로 이용하여 경기마다 적응적으로 적용한다. 하지만, 종래 온라인 학습 모델을 이용한 이벤트 검출 방법은 각 경기마다 적응적으로 모델이 생성되기는 하지만 비디오 전체를 분석한 이후에 생성되기 때문에 실시간으로 이벤트를 검출하는 것이 불가능한 문제점이 있다.
이와 같이, 종래 온라인 학습 모델을 이용한 이벤트 검출 방법은 모델을 생성하기 위해 모든 비디오를 분석하는 경로와 생성된 모델을 이용하여 이벤트를 검출하는 경로의 두 가지 형태로 인해 모델을 형성하기 전에 이벤트를 검출하지 못할 뿐만 아니라 실시간으로 이벤트를 검출하는 것도 불가능한 문제점이 있다.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 스포츠 동영상에서 실시간 이벤트를 검출하는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 스포츠 동영상에서 발생되는 중요한 이벤트를 실시간으로 정확하게 검출하는 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 스포츠 동영상에서 온라인 학습 모델이 생성되기 전에 오프라인 학습 모델을 이용하여 실시간 이벤트를 정확하고 신속하게 검출하는 방법 및 그 장치를 제공하는 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 스포츠 동영상 스트림에서 계산된 온라인 모델의 신뢰도를 검사하는 단계와, 상기 온라인 모델의 신뢰도가 높지 않은 경우, 상기 스포츠 동영상 스트림에서 오프라인 모델을 이용하여 이벤트를 검출하는 단계와, 상기 오프라인 모델을 이용하여 검출된 이벤트를 통해 온라인 모델을 학습하는 단계 및 상기 학습된 온라인 모델의 신뢰도가 높은 경우, 상기 스포츠 동영상 스트림에서 상기 온라인 모델을 이용하여 이벤트를 검출하는 단계를 포함하는 것을 특징으로 하는 실시간 이벤트 검출 방법을 제공한다.
본 발명의 다른 일측에 따르는 실시간 이벤트 검출 장치는, 스포츠 동영상 스트림에서 계산된 온라인 모델의 신뢰도를 검사하는 신뢰도 검사부와, 상기 온라인 모델의 신뢰도가 높지 않은 경우, 상기 스포츠 동영상 스트림에서 오프라인 모델을 이용하여 이벤트를 검출하는 제1 이벤트 검출부와, 상기 오프라인 모델을 이용하여 검출된 이벤트를 통해 온라인 모델을 학습하는 온라인 모델 학습부 및 상기 학습된 온라인 모델의 신뢰도가 높은 경우, 상기 스포츠 동영상 스트림에서 상기 온라인 모델을 이용하여 이벤트를 검출하는 제2 이벤트 검출부를 포함한다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 실시간 이벤트 검출 방법 및 그 장치를 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 스포츠 동영상에서 실시간 이벤트를 검출하는 방법의 흐름을 나타내는 도면이다.
도 2를 참조하면, 단계(S210)에서 이벤트 검출 장치는 현재 스포츠 동영상 스트림(stream)에서 온라인 모델(online model)의 신뢰도를 계산한다.
상기 온라인 모델이 일례로 야구 경기에서 피칭 장면(pitching scene)을 검출하기 위한 피칭 장면 키 프레임 모델인 경우, 상기 온라인 모델의 신뢰도는 상기 온라인 모델의 클러스터(cluster) 내 데이터의 개수로 설정될 수 있다. 그러므로, 상기 피칭 장면 키 프레임 모델에서 상기 클러스터 내 데이터들은 피칭 장면의 가능성이 높을 것이라고 생각되는 데이터로 이루어지기 때문에 상기 온라인 모델 클러스터 내 데이터의 개수가 많을수록 상기 피칭 장면 키 프레임 모델에 대한 온라인 모델의 신뢰도가 높다고 할 수 있다.
상기 온라인 모델이 다른 일례로 야구 경기에서 클로즈업 장면을 검출하기 위한 그라운드(Ground) 색 모델인 경우, 상기 온라인 모델의 신뢰도는 상기 온라인 모델의 클러스터 내 데이터의 밀집도로 설정될 수 있다. 그러므로, 상기 그라운드 색 모델에서 상기 클러스터 내 데이터들이 밀집될수록 상기 그라운드 색 모델에 대한 온라인 모델의 신뢰도가 높다고 할 수 있다.
상기 온라인 모델이 또 다른 일례로 아나운서 고조도 음성 모델인 경우, 상기 온라인 모델의 신뢰도는 처리된 스포츠 동영상 스트림 시간을 이용할 수 있다. 그러므로, 상기 아나운서 고조도 음성 모델에서 상기 처리된 스포츠 동영상 스트림 시간이 길수록 보다 상기 아나운서 고조도 음성 모델에 대한 온라인 모델의 신뢰도 가 높다고 할 수 있다.
단계(S220)에서 상기 이벤트 검출 장치는 계산된 온라인 모델의 신뢰도가 임계값보다 큰지 여부를 판단한다. 상기 임계값은 상기 온라인 모델의 신뢰도가 오프라인 모델(offline model)을 이용하지 않고 상기 온라인 모델만을 사용하더라도 이벤트를 정확하게 검출할 수 있을 정도로 온라인 모델의 신뢰도인지를 판단하기 위한 기준값이다.
상기 온라인 모델의 신뢰도가 상기 임계값보다 크지 않은 경우, 단계(S230)에서 상기 이벤트 검출 장치는 상기 오프라인 모델을 이용하여 스포츠 동영상 스트림에서 발생되는 이벤트를 검출한다. 즉, 상기 온라인 모델의 신뢰도가 높지 않은 경우, 단계(S230)에서 상기 이벤트 검출 장치는 현재 스포츠 동영상 스트림에서 상기 온라인 모델이 정확하게 생성되지 않은 것으로 간주하여 상기 오프라인 모델을 이용하여 상기 스포츠 동영상 스트림에서 발생되는 이벤트를 검출한다.
상기 오프라인 모델이 일례로 야구 경기의 피칭 장면 키 프레임 모델인 경우, 단계(S230)에서 상기 이벤트 검출 장치는 에지(edge)의 분포를 특징(feature)으로 이용하고, SVM(Support Vector Machine)을 이용하여 야구 경기 동영상 스트림에서 피칭 장면 이벤트를 검출한다.
상기 오프라인 모델이 다른 일례로 야구 경기장의 그라운드 색 모델인 경우, 단계(S230)에서 상기 이벤트 검출 장치는 HSV(Hue Saturation Brightness) 색의 분포를 특징으로 이용하고, Bayes Rule을 이용하여 상기 야구 경기 동영상 스트림에서 그라운드 색을 검출한다.
상기 오프라인 모델이 또 다른 일례로 아나운서 고조도 음성 모델인 경우, 단계(S230)에서 상기 이벤트 검출 장치는 상기 아나운서 고조도의 오프라인 모델에 대한 SVM을 이용하여 상기 스포츠 경기 동영상 스트림에서 발생되는 이벤트를 검출할 수 있다.
이와 같이, 본 발명에 따른 이벤트 검출 방법은 스포츠 동영상의 녹화가 시작되면, 온라인 모델의 신뢰도가 신뢰할 수 있을 정도가 되기 전까지 온라인 모델을 이용하지 않고 오프라인 모델을 이용하여 상기 스포츠 동영상 스트림에서 발생되는 이벤트를 검출할 수 있다.
상기 이벤트는 상기 스포츠 동영상이 예를 들어 야구 경기 동영상인 경우, 득점 장면, 홈런, 삼진 등을 포함한다. 상기 야구 경기 동영상에서 중요 이벤트의 비디오 특징은 도 6에 도시된 것과 같이 경기 구간이 피칭 장면(Pitching scene)에서 시작한 후 클로즈업 장면(close up scene)으로 끝나며, 그 길이가 길다는 것이다. 상기 야구 경기 동영상에서 중요 이벤트의 오디오 특징은 아나운서 고조도가 높다는 것이다. 따라서, 상기 이벤트 검출 장치는 상기 스포츠 동영상이 야구 경기 동영상인 경우, 상기 오프라인 모델을 이용하여 이벤트를 검출하기 위해 상기 스포츠 동영상 스트림으로부터 피칭 장면, 클로즈업 장면 또는 아나운서 고조도를 검출한다.
단계(S240)에서 상기 이벤트 검출 장치는 검출된 이벤트가 온라인 모델을 생성하기 위한 조건을 만족하는지를 판단한다. 즉, 단계(S240)에서 상기 이벤트 검출 장치는 상기 검출된 이벤트 데이터가 상기 온라인 모델을 생성하기 위해 필요한 데이터인지의 여부를 검사한다.
상기 온라인 모델이 일례로 피칭 장면 키 프레임 모델인 경우, 단계(S240)에서 상기 이벤트 검출 장치는 상기 오프라인 모델에 의해 피칭 장면이라고 분류되었는지를 판단한다.
또한, 상기 이벤트 검출 장치는 상기 온라인 모델이 다른 일례로 그라운드 색 모델인 경우에도 상기 피칭 장면에 그라운드가 항상 포함되기 때문에 단계(S240)에서 상기 이벤트 검출 장치는 상기 온라인 모델 조건이 상기 피칭 장면에 대한 이벤트 검출 과정을 통해 피칭 장면이라고 분류되었는지를 판단한다.
상기 온라인 모델이 또 다른 일례로 아나운서 고조도 음성 모델인 경우, 단계(S240)에서 상기 이벤트 검출 장치는 비디오 이벤트에 의해 검출될 수 있는 경기 내 장면인지를 판단한다.
상기 검출된 이벤트가 온라인 모델 조건을 만족하는 경우, 단계(S250)에서 상기 이벤트 검출 장치는 상기 검출된 이벤트를 이용하여 온라인 모델을 학습한다. 상기 이벤트 검출 장치는 상기 온라인 모델의 학습 과정을 통해 상기 온라인 모델의 신뢰도를 높일 수 있다. 상기 온라인 모델을 학습하는 방법은 스포츠 동영상 데이터가 비디오 데이터인 경우와 오디오 데이터인 경우에 따라 하기에서 보다 상세하게 설명한다.
도 3은 본 발명에 따른 비디오 관련 온라인 모델 학습 방법의 흐름을 나타내는 도면이다.
도 3을 참조하면, 단계(S310)에서 상기 이벤트 검출 장치는 현재 검출된 이 벤트 데이터가 비디오 데이터인 경우, 상기 온라인 모델 조건에 만족하는 데이터를 입력으로 선택한다.
단계(S320)에서 상기 이벤트 검출 장치는 선택된 데이터를 최소 단위로 나눈다. 즉, 단계(S320)에서 상기 이벤트 검출 장치는 예를 들어 상기 온라인 모델의 단위가 프레임인 경우, 프레임 전체를 하나의 단위로 선정하여 나누고, 픽셀을 이용하여 계산되는 것이라면 각 픽셀 단위로 나눈다. 일례로 상기 온라인 모델의 단위가 프레임인 경우, 상기 이벤트 검출 장치는 전체 프레임을 한 단위로 지정한다. 또한, 다른 일례로 상기 온라인 모델의 단위가 픽셀인 경우, 상기 이벤트 검출 장치는 하나의 픽셀을 한 단위로 지정한다.
단계(S330)에서 상기 이벤트 검출 장치는 현재까지 계산된 클러스터(Cluster)들이 존재하는 경우, 상기 나눈 데이터를 분석하여 이전 클러스터들과의 차이값을 계산한다. 상기 이벤트 검출 장치는 상기 이전 클러스터들과의 차이값을 계산하는데 있어서 색 정보를 이용할 수 있다. 각 경기마다 그라운드 색은 차이가 나지만, 동일한 경기내의 그라운드 색은 동일하기 때문에 상기 이벤트 검출 장치는 각 클러스터의 HSV 히스토그램 평균값과 거리를 계산한다. 따라서, 상기 각 클러스트들의 차이값은 HSV 히스트로그램의 유클리디안 거리(Euclidean Distance)를 이용하여 계산될 수 있다.
단계(S340)에서 상기 이벤트 검출 장치는 상기 차이값이 임계값보다 작은 클러스터가 존재하는지 여부를 판단한다. 즉, 단계(S340)에서 상기 이벤트 검출 장치는 상기 분석된 데이터에 대한 이전 클러스터들과의 차이값을 계산하여 할당할 클러스터가 존재하는지를 검사한다.
상기 차이값이 상기 임계값보다 작은 클러스터가 존재하는 경우, 단계(S350)에서 상기 이벤트 검출 장치는 상기 차이값이 상기 임계값보다 작은 클러스터에 분석된 데이터를 추가적으로 할당한다. 즉, 상기 이벤트 검출 장치는 피칭 장면의 온라인 모델인 경우, 가까운 클러스터가 있으면 상기 클러스터에 상기 분석된 데이터를 포함시킨다.
상기 차이값이 상기 임계값보다 작은 클러스터가 존재하지 않은 경우, 단계(S360)에서 상기 이벤트 검출 장치는 상기 분석된 데이터를 이용하여 새로운 클러스터를 생성한다. 즉, 상기 분석된 데이터가 이전에 분석된 데이터와 차이가 많이 나서 유사한 데이터가 없는 경우, 상기 이벤트 검출 장치는 상기 분석된 데이터를 이용하여 새로운 클러스터를 생성한다.
단계(S370)에서 상기 이벤트 검출 장치는 상기 분석된 데이터가 할당된 클러스터 또는 상기 분석된 데이터에 의해 생성된 클러스터 중에서 실제 모델 생성에 필요한 클러스터일 확률이 가장 높은 클러스터를 선택한다. 즉, 예를 들어 단계(S370)에서 상기 이벤트 검출 장치는 상기 데이터의 수가 가장 많은 클러스터를 선택한다.
단계(S380)에서 상기 이벤트 검출 장치는 선택된 클러스터가 실제 모델 클러스터인지 여부를 판단한다. 상기 이벤트 검출 장치는 상기 실제 모델이 어떤 모델인지에 따라 상기 선택된 클러스터가 상기 실제 모델 클러스터인지를 판단하는 조건이 달라진다. 또한, 상기 이벤트 검출 장치는 예를 들어 상기 실제 모델이 필드 색인 경우 상기 필드 색의 최대 범위를 이용할 수 있고, 상기 실제 모델이 피칭 장면인 경우 반복성을 이용하여 짧은 시간 내에 반복되는 프레임인지 검사할 수 있다.
상기 온라인 모델이 일례로 피칭 장면 키 프레임 모델인 경우, 상기 이벤트 검출 장치는 상기 선택된 클러스터에 포함된 데이터의 수가 임계값 이상이면, 상기 피칭 장면 키 프레임 온라인 모델 클러스터가 존재하는 것으로 판단할 수 있다.
상기 온라인 모델이 다른 일례로 그라운드 색 모델인 경우, 상기 이벤트 검출 장치는 처리한 스트림의 시간이 일정 임계값 이상이면, 상기 그라운드 색 온라인 모델 클러스터가 존재하는 것으로 판단할 수 있다.
상기 선택된 클러스터가 실제 모델 클러스터인 경우, 단계(S390)에서 상기 이벤트 검출 장치는 상기 선택된 클러스터 내에 존재하는 데이터를 이용하여 온라인 모델을 생성한다. 상기 이벤트 검출 장치는 일반적으로 클러스터 내에 존재하는 데이터들이 동종적(homogeneous)이기 때문에 이러한 데이터들에서 추출된 특징(feature)의 대표값 또는 평균, 중앙값(Median) 등을 모델로 이용하여 상기 온라인 모델을 생성할 수 있다.
상기 온라인 모델이 일례로 피칭 장면 키 프레임 모델인 경우, 상기 이벤트 검출 장치는 클러스터링에 사용된 에지(edge)의 분포와 HSV 히스토그램의 평균값을 이용하여 상기 온라인 모델을 생성할 수 있다.
상기 온라인 모델이 다른 일례로 그라운드 색 모델인 경우, 모델 클러스터 내 HSV의 평균값을 이용하여 상기 온라인 모델을 생성할 수 있다.
이와 같이, 본 발명에 따른 이벤트 검출 방법은 스포츠 동영상 중 비디오와 관련된 이벤트를 검출하기 위해 데이터를 분석하여 보다 적합한 온라인 모델을 생성할 수 있다.
따라서, 본 발명에 따른 이벤트 검출 방법 은 하나의 데이터가 추가되면서 바로 그 데이터에 대한 클러스터링이 이루어지기 때문에 실시간 처리에 이용할 수 있는 클러스터링 기반 모델 생성 방안을 제시할 수 있다.
도 4는 본 발명에 따른 오디오 관련 온라인 모델 학습 방법의 흐름을 나타내는 도면이다.
도 4를 참조하면, 단계(S410)에서 상기 이벤트 검출 장치는 상기 스포츠 동영상 중 오디오 프레임을 입력 받는다.
단계(S420)에서 상기 이벤트 검출 장치는 오디오 데이터에 대한 각 프레임의 오디오 에너지값을 계산한다.
단계(S430)에서 상기 이벤트 검출 장치는 지금까지 계산된 에너지 값과 현재 계산된 에너지값을 이용하여 평균 에너지를 계산하고, 상기 평균 에너지를 이용하여 녹음 레벨을 추출한다.
단계(S440)에서 상기 이벤트 검출 장치는 추출된 녹음 레벨에 따라 전체적으로 소리가 크게 녹음되었는지 또는 작게 녹음되었는지를 파악하고, 파악된 정보를 이용하여 온라인 모델을 갱신한다. 즉, 단계(S440)에서 상기 이벤트 검출 장치는 상기 평균 에너지를 반영한 묵음(Silent) 모델을 반영하여 아나운서 고조도 음성 모델을 변형한다. 따라서, 상기 이벤트 검출 장치는 아나운서 고조도 음성 모델을 통해 묵음이라고 판정되는 경우, 아나운서 고조도 이벤트가 발생되지 않았다고 판정되도록 할 수 있다.
이와 같이, 본 발명에 따른 이벤트 검출 방법은 스포츠 동영상 중 오디오와 관련된 이벤트를 정확하게 검출하기 위해서 각 프레임의 오디오 에너지값을 계산하고, 계산된 오디오 에너지값을 이용하여 평균 에너지를 계산하여 녹음 레벨을 추출함으로써 추출된 녹음 레벨에 따라 온라인 모델을 갱신하여 보다 정확하게 이벤트를 검출할 수 있다.
상기 검출된 이벤트가 온라인 모델 조건을 만족하지 않은 경우, 상기 이벤트 검출 장치는 단계(210)부터의 동작을 다시 수행한다.
단계(S260)에서 상기 이벤트 검출 장치는 상기 이벤트 검출 과정 및 상기 온라인 모델 학습 과정이 상기 스포츠 동영상 스트림의 끝까지 수행되었는지 여부를 판단하기 위해 현재 스트림이 상기 스포츠 동영상 스트림의 끝인지를 판단한다.
상기 현재 스트림이 상기 스포츠 동영상 스트림의 끝이 아닌 경우, 상기 이벤트 검출 장치는 단계(210)부터의 동작을 다시 수행한다.
상기 계산된 온라인 모델의 신뢰도가 상기 임계값보다 큰 경우, 단계(S270)에서 상기 이벤트 검출 장치는 상기 온라인 모델을 이용하여 상기 스포츠 동영상의 스트림에서 발생되는 이벤트를 검출한다. 즉, 상기 계산된 온라인 모델의 신뢰도가 상기 임계값보다 큰 경우, 상기 온라인 모델 학습 과정을 통한 상기 온라인 모델의 생성이 완료된 상태이므로 상기 온라인 모델의 신뢰도가 높기 때문에 단계(S270)에서 상기 이벤트 검출 장치는 상기 온라인 모델을 이용하여 상기 스포츠 동 영상 스트림에서 발생되는 이벤트를 검출한다. 이때, 상기 이벤트 검출 장치는 상기 온라인 모델과의 차이를 에지(edge) 분포와 HSV 히스토그램의 가중 유클리디안 거리(Weighted Euclidean Distance)를 이용하여 계산할 수 있다.
상기 온라인 모델이 일례로 그라운드 색 모델인 경우, 상기 이벤트 검출 장치는 프레임 내 각 픽셀이 상기 그라운드 색 온라인 모델과의 거리가 작으면, 그라운드 픽셀이라고 하고, 한 키 프레임 내 그라운드 픽셀의 비율이 작으면 클로즈업 장면이라고 결정한다. 상기 클로즈업 장면은 인물과 연관된 색의 비율이 크고 상대적으로 그라운드 색 비율이 작기 때문에 이러한 특징을 이용하여 검출될 수 있다.
상기 온라인 모델이 다른 일례로 아나운서 고조도 음성 모델인 경우, 상기 이벤트 검출 장치는 상기 온라인 모델을 이용하여 아나운서 고조도 음성인지를 결정한다.
단계(S280)에서 상기 이벤트 검출 장치는 검출된 이벤트 데이터가 포지티브 샘플(positive sample)의 확률이 높기 때문에 이를 이용하여 상기 온라인 모델을 업데이트(update)한다. 이때, 상기 이벤트 검출 장치는 현재 모델과 검출된 이벤트 샘플의 가중치 평균값을 이용하여 상기 온라인 모델을 갱신할 수 있다. 또한, 상기 이벤트 검출 장치는 상기 현재 모델과 상기 검출된 이벤트 샘플의 중앙값(median)을 이용하여 상기 온라인 모델을 갱신할 수도 있다. 또한, 상기 이벤트 검출 장치는 상기 현재 모델과 상기 검출된 이벤트 샘플의 가우시안 혼합(Gaussian Mixture)을 이용하여 상기 온라인 모델을 갱신할 수도 있다.
상기 온라인 모델이 일례로 상기 피칭 장면 키 프레임 모델인 경우, 단계(S280)에서 상기 이벤트 검출 장치는 새로 검출된 피칭 장면 키 프레임의 에지 분포와 HSV 히스토그램을 이용하여 평균값을 갱신하고, 갱신된 평균값을 새로운 온라인 모델로 사용할 수 있다.
상기 온라인 모델이 다른 일례로 상기 그라운드 색 모델인 경우, 단계(S280)에서 상기 이벤트 검출 장치는 만약 클로즈업 장면이라고 판정되는 않은 장면에서 상기 온라인 모델과 거리(distance)가 작은 셀들을 다시 모델에 반영하여 HSV 평균을 다시 계산하여 상기 온라인 모델을 업데이트한다.
상기 온라인 모델이 또 다른 일례로 상기 아나운서 고조도 음성 모델인 경우, 단계(S280)에서 상기 이벤트 검출 장치는 각 오디오 프레임의 에너지값을 이용하여 평균 에너지값을 갱신한다.
이와 같이, 본 발명에 따른 이벤트 검출 방법은 상기 온라인 모델의 신뢰도가 높은 경우, 상기 온라인 모델을 이용하여 이벤트를 검출하고, 검출된 이벤트를 이용하여 상기 온라인 모델을 갱신할 수 있다.
단계(S290)에서 상기 이벤트 검출 장치는 상기 온라인 모델을 이용한 이벤트 검출 및 상기 온라인 모델에 대한 업데이트하는 동작이 수행된 지점이 상기 스포츠 동영상 스트림의 끝인지 여부를 판단한다.
상기 스포츠 동영상 스트림의 끝이 아닌 경우, 상기 이벤트 검출 장치는 단계(210)부터의 동작을 다시 수행한다.
단계(S260) 또는 단계(S290)에서 상기 이벤트 검출 장치는 상기 오프라인 모 델 또는 온라인 모델을 이용한 이벤트 검출 동작이 수행된 지점이 상기 스포츠 동영상 스트림의 끝인 것으로 판단되면, 본 발명에 따른 이벤트 검출 동작을 종료한다.
이와 같이, 본 발명에 따른 스포츠 동영상에서 이벤트를 검출하는 방법은 오프라인 학습 모델과 온라인 학습 모델을 결합한 방식으로서 스포츠 동영상에 대한 녹화가 시작되면, 상기 오프라인 학습 모델을 이용하여 이벤트를 검출하면서 온라인 모델에 대한 학습을 수행하고, 상기 온라인 학습 모델의 신뢰도가 높아지면 상기 온라인 학습 모델을 적용시켜 실시간으로 이벤트를 검출할 수 있다.
또한, 본 발명에 따른 스포츠 동영상에서의 이벤트 검출 방법은 스포츠 경기가 방송되면 바로 이벤트를 실시간으로 검출할 수 있기 때문에 사용자가 이전 이벤트 단위로 time shift시키면서 경기를 시청할 수 있는 이점이 있다.
따라서, 본 발명에 따른 스포츠 동영상에서의 실시간 이벤트 검출 방법은 정확하게 이벤트를 실시간으로 처리가 가능하기 때문에 요약 기능이 탑재될 수 있는 모든 기기에 적용될 수 있다.
또한, 본 발명에 따른 스포츠 동영상에서 이벤트를 검출하는 방법은 경기마다 적응적인 온라인 모델을 생성하고, 생성된 모델을 계속 상황에 맞게 적응시켜 가기 때문에 정확성을 유지할 수 있다. 예를 들어 피칭 장면인 경우, 본 발명에 따른 이벤트 검출 방법은 야구 비디오 15경기에서 P1:0.988의 성능을 나타내고, 종래 이벤트 검출 방법은 야구 비디오 5경기에서 P1:0.957의 성능을 나타낸다. 따라서, 본 발명에 따른 이벤트 검출 방법은 종래에 비해 정확성이 향상됨을 알 수 있 다.
도 5는 본 발명에 따른 야구 동영상에서 중요 이벤트를 검출하는 흐름을 나타내는 도면이다.
도 5를 참조하면, 단계(S510)에서 이벤트 검출 장치는 방송 수신기를 통해 야구 방송 데이터를 수신한다.
단계(S520)에서 상기 이벤트 검출 장치는 역다중화기(DEMUX: demultiplexer)를 통해 수신된 야구 방송 데이터를 오디오 데이터와 비디오 데이터로 역다중화한다.
상기 역다중화된 야구 방송 데이터가 오디오 데이터인 경우, 단계(S530)에서 상기 이벤트 검출 장치는 상기 오디오 데이터로부터 아나운서 고조도를 검출한다.
단계(S540)에서 상기 이벤트 검출 장치는 검출된 아나운서 고조도를 이용하여 오디오 이벤트를 검출한다. 상기 이벤트 검출 장치는 일반적으로 야구 방송 도중에 득점 장면, 홈런, 삼진 등과 같은 중요 이벤트 장면에서 아나운서의 음성 고조가 높아지므로 상기 검출된 아나운서 고조도에 의해 상기 오디오 이벤트를 검출할 수 있다.
상기 역다중화된 야구 방송 데이터가 비디오 데이터인 경우, 단계(S550)에서 상기 이벤트 검출 장치는 상기 비디오 데이터로부터 경기 시작 지점이 검출된 상태인지 여부를 판단한다. 일반적으로 야구 방송에서 경기 구간은 도 6에 도시된 것과 같이 피칭 장면으로 시작한 후 클로즈업 장면으로 끝난다.
상기 경기 시작 지점이 검출되지 않은 상태인 경우, 단계(S560)에서 상기 이 벤트 검출 장치는 상기 비디오 데이터로부터 상기 피칭 장면을 검출한다. 상기 피칭 장면을 검출한 후 상기 이벤트 검출 장치는 단계(S510)부터의 동작을 다시 수행한다.
상기 경기 시작 지점이 검출된 상태인 경우, 단계(S570)에서 상기 이벤트 검출 장치는 상기 비디오 데이터로부터 상기 클로즈업 장면을 검출한다.
단계(S580)에서 상기 이벤트 검출 장치는 상기 비디오 데이터로부터 비디오 이벤트를 검출한다.
단계(S590)에서 상기 이벤트 검출 장치는 검출된 상기 오디오 이벤트 또는 상기 비디오 이벤트를 이용하여 중요 이벤트를 검출한다. 즉, 단계(S590)에서 상기 이벤트 검출 장치는 아나운서 고조도에 의해 검출된 상기 오디오 이벤트, 피칭 장면 또는 클로즈업 장면으로 검출된 상기 비디오 이벤트를 이용하여 중요 이벤트를 검출한다.
도 7은 본 발명의 다른 실시예에 따른 실시간 이벤트 검출 장치의 구성을 나타내는 도면이다.
도 7을 참조하면, 실시간 이벤트 검출 장치(700)는 신뢰도 검사부(710), 제1 이벤트 검출부(720), 온라인 모델 학습부(730) 및 제2 이벤트 검출부(740)를 포함한다.
신뢰도 검사부(710)는 스포츠 동영상 스트림에서 계산된 온라인 모델의 신뢰도를 검사한다. 즉, 신뢰도 검사부(710)는 상기 스포츠 동영상 스트림에서 온라인 모델의 신뢰도를 계산하고, 계산된 온라인 모델의 신뢰도를 임계값과 비교하여 상 기 온라인 모델의 신뢰도를 검사한다.
제1 이벤트 검출부(720)는 상기 온라인 모델의 신뢰도가 높지 않은 경우, 상기 스포츠 동영상 스트림에서 오프라인 모델을 이용하여 이벤트를 검출한다.
온라인 모델 학습부(730)는 상기 오프라인 모델을 이용하여 검출된 이벤트를 통해 온라인 모델을 학습한다.
상기 오프라인 모델을 이용하여 검출된 이벤트가 비디오 데이터인 경우, 온라인 모델 학습부(730)는 상기 비디오 데이터를 최소 단위 프레임으로 나누고, 상기 최소 단위로 나눈 프레임을 분석하여 클러스터를 할당하거나 생성한 후 상기 클러스터 중 실제 모델 생성에 필요한 클러스터를 선택하여 상기 온라인 모델을 생성한다.
상기 오프라인 모델을 이용하여 검출된 이벤트가 오디오 프레임인 경우, 온라인 모델 학습부(730)는 상기 오디오 프레임의 오디오 에너지값을 계산하고, 이전에 계산된 오디오 에너지값과 현재 계산된 오디오 에너지값을 이용하여 평균 에너지를 계산하여 녹음 레벨을 추출하고, 추출된 녹음 레벨을 이용하여 상기 온라인 모델을 갱신한다. 상기 온라인 모델의 신뢰도는 온라인 모델 학습부(730)를 통해 온라인 모델의 학습이 이루어진 후 상기 온라인 모델이 갱신됨에 따라 향상된다.
제2 이벤트 검출부(740)는 상기 온라인 모델의 신뢰도가 높은 경우, 상기 스포츠 동영상에서 상기 온라인 모델을 이용하여 이벤트를 검출한다.
이와 같이, 본 발명에 따른 스포츠 동영상에서의 실시간 이벤트 검출 장치(700)는 오프라인 학습 모델과 온라인 학습 모델을 결합한 방식으로서 스포츠 동영 상에 대한 녹화가 시작되면, 상기 오프라인 학습 모델을 이용하여 이벤트를 검출하면서 온라인 모델에 대한 학습을 수행하고, 상기 온라인 학습 모델의 신뢰도가 높아지면 상기 온라인 학습 모델을 적용시켜 실시간으로 이벤트를 검출할 수 있다.
한편, 본 발명에 따른 스포츠 동영상에서의 실시간 이벤트 검출 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
본 발명에 따르면, 오프라인 학습 모델과 온라인 학습 모델을 결합하여 스포츠 동영상에서의 실시간으로 이벤트를 정확하게 검출하는 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 온라인 모델이 생성되기 전까지 오프라인 모델을 이용하여 이벤트를 검출하기 때문에 어떠한 경우에서도 모델이 존재하므로 이벤트를 검출하는 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 스포츠 동영상에서 경기마다 적응적으로 온라인 모델을 생성하고, 생성된 온라인 모델을 상황에 맞도록 적응적으로 업데이트하므로 정확하게 이벤트를 검출하는 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 스포츠 동영상에서 온라인 모델을 생성할 때 전체 스트림의 정보를 이용하지 않고도 미리 학습된 데이터 및 실시간으로 검출된 정보들을 이용하여 처리 속도가 향상된 이벤트 검출 방법 및 그 장치를 제공할 수 있다.

Claims (12)

  1. 이벤트 검출 장치에서 스포츠 동영상의 실시간 이벤트를 검출하는 방법에 있어서,
    스포츠 동영상 스트림에서 계산된 온라인 모델의 신뢰도를 검사하는 단계;
    상기 온라인 모델의 신뢰도가 높지 않은 경우, 상기 스포츠 동영상 스트림에서 오프라인 모델을 이용하여 이벤트를 검출하는 단계;
    상기 오프라인 모델을 이용하여 검출된 이벤트를 통해 온라인 모델을 학습하는 단계; 및
    상기 학습된 온라인 모델의 신뢰도가 높은 경우, 상기 스포츠 동영상 스트림에서 상기 온라인 모델을 이용하여 이벤트를 검출하는 단계
    를 포함하는 것을 특징으로 하는 실시간 이벤트 검출 방법.
  2. 제1항에 있어서,
    스포츠 동영상 스트림에서 계산된 온라인 모델의 신뢰도를 검사하는 상기 단계는,
    상기 스포츠 동영상 스트림에서 온라인 모델의 신뢰도를 계산하는 단계; 및
    상기 계산된 온라인 모델의 신뢰도를 임계값과 비교하여 상기 온라인 모델의 신뢰도를 검사하는 단계
    를 포함하는 것을 특징으로 하는 실시간 이벤트 검출 방법.
  3. 제1항에 있어서,
    상기 오프라인 모델을 이용하여 검출된 이벤트를 통해 온라인 모델을 학습하는 상기 단계는,
    상기 오프라인 모델을 이용하여 검출된 이벤트가 온라인 모델 조건을 만족하는 경우, 상기 검출된 이벤트를 통해 온라인 모델을 학습하는 것을 특징으로 하는 실시간 이벤트 검출 방법.
  4. 제1항에 있어서,
    스포츠 동영상 스트림에서 상기 온라인 모델을 이용하여 이벤트를 검출하는 상기 단계는,
    상기 온라인 모델을 이용하여 이벤트를 검출한 후 상기 온라인 모델을 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 실시간 이벤트 검출 방법.
  5. 제1항에 있어서,
    상기 오프라인 모델을 이용하여 검출된 이벤트를 통해 온라인 모델을 학습하는 상기 단계는,
    상기 오프라인 모델을 이용하여 검출된 이벤트가 비디오 데이터인 경우, 상기 비디오 데이터를 최소 단위 프레임으로 나누는 단계;
    상기 최소 단위로 나눈 프레임을 분석하여 클러스터를 할당하거나 생성하는 단계; 및
    상기 클러스터 중 실제 모델 생성에 필요한 클러스터를 선택하여 온라인 모 델을 생성하는 단계
    를 포함하는 것을 특징으로 하는 실시간 이벤트 검출 방법.
  6. 제5항에 있어서,
    상기 최소 단위로 나눈 프레임을 분석하여 클러스터를 할당하거나 생성하는 상기 단계는,
    상기 최소 단위로 나눈 프레임을 이용하여 계산된 클러스터들이 있는 경우, 현재 클러스터들과의 차이값을 계산하는 단계;
    차이값이 임계값보다 작은 클러스터가 존재하는 경우, 상기 클러스터에 할당하는 단계; 및
    상기 차이값이 임계값보다 작지 않은 클러스터가 존재하지 않은 경우, 새로운 클러스터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 실시간 이벤트 검출 방법.
  7. 제1항에 있어서,
    상기 오프라인 모델을 이용하여 검출된 이벤트를 통해 온라인 모델을 학습하는 상기 단계는,
    상기 오프라인 모델을 이용하여 검출된 이벤트가 오디오 프레임인 경우, 상기 오디오 프레임의 오디오 에너지 값을 계산하는 단계;
    이전에 계산된 오디오 에너지 값과 현재 계산된 오디오 에너지 값을 이용하 여 평균 에너지를 계산하여 녹음 레벨을 추출하는 단계; 및
    추출된 녹음 레벨을 이용하여 온라인 모델을 갱신하는 단계
    를 포함하는 것을 특징으로 하는 실시간 이벤트 검출 방법.
  8. 제1항 내지 제7항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
  9. 스포츠 동영상 스트림에서 계산된 온라인 모델의 신뢰도를 검사하는 신뢰도 검사부;
    상기 온라인 모델의 신뢰도가 높지 않은 경우, 상기 스포츠 동영상 스트림에서 오프라인 모델을 이용하여 이벤트를 검출하는 제1 이벤트 검출부;
    상기 오프라인 모델을 이용하여 검출된 이벤트를 통해 온라인 모델을 학습하는 온라인 모델 학습부; 및
    상기 학습된 온라인 모델의 신뢰도가 높은 경우, 상기 스포츠 동영상 스트림에서 상기 온라인 모델을 이용하여 이벤트를 검출하는 제2 이벤트 검출부
    를 포함하는 것을 특징으로 하는 실시간 이벤트 검출 장치.
  10. 제9항에 있어서,
    상기 신뢰도 검사부는,
    상기 스포츠 동영상 스트림에서 온라인 모델의 신뢰도를 계산하고, 계산된 온라인 모델의 신뢰도를 임계값과 비교하여 상기 온라인 모델의 신뢰도를 검사하는 것을 특징으로 하는 실시간 이벤트 검출 장치.
  11. 제9항에 있어서,
    상기 온라인 모델 학습부는,
    상기 오프라인 모델을 이용하여 검출된 이벤트가 비디오 데이터인 경우, 상기 비디오 데이터를 최소 단위 프레임으로 나누고, 상기 최소 단위로 나눈 프레임을 분석하여 클러스터에 할당하거나 새로운 클러스터를 생성한 후 상기 클러스터 중 실제 모델 생성에 필요한 클러스터를 선택하여 상기 온라인 모델을 생성하는 것을 특징으로 하는 실시간 이벤트 검출 장치.
  12. 제9항에 있어서,
    상기 온라인 모델 학습부는,
    상기 오프라인 모델을 이용하여 검출된 이벤트가 오디오 프레임인 경우, 상기 오디오 프레임의 오디오 에너지값을 계산하고, 이전에 계산된 오디오 에너지값과 현재 계산된 오디오 에너지값을 이용하여 평균 에너지를 계산하여 녹음 레벨을 추출하고, 추출된 녹음 레벨을 이용하여 상기 온라인 모델을 갱신하는 것을 특징으로 하는 실시간 이벤트 검출 장치.
KR1020060053882A 2006-06-15 2006-06-15 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치 KR100785076B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060053882A KR100785076B1 (ko) 2006-06-15 2006-06-15 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치
US11/589,910 US20070294716A1 (en) 2006-06-15 2006-10-31 Method, medium, and apparatus detecting real time event in sports video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060053882A KR100785076B1 (ko) 2006-06-15 2006-06-15 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR100785076B1 true KR100785076B1 (ko) 2007-12-12

Family

ID=38863003

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060053882A KR100785076B1 (ko) 2006-06-15 2006-06-15 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치

Country Status (2)

Country Link
US (1) US20070294716A1 (ko)
KR (1) KR100785076B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180093582A (ko) 2017-02-14 2018-08-22 한국전자통신연구원 엔드투엔드 학습에 기반한 영상 이벤트 구간 인덱싱 방법 및 장치
KR102201353B1 (ko) 2019-11-22 2021-01-08 연세대학교 산학협력단 배경 프레임 억제를 통한 약한 지도 학습 기반의 행동 프레임 검출 방법 및 장치
WO2021162305A1 (ko) * 2020-02-15 2021-08-19 김지훈 스포츠 동영상 기반 플랫폼 서비스를 제공하는 서버의 동작 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100796392B1 (ko) * 2006-06-15 2008-01-22 삼성전자주식회사 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치
US20100030350A1 (en) * 2008-07-29 2010-02-04 Pvi Virtual Media Services, Llc System and Method for Analyzing Data From Athletic Events
US9141860B2 (en) * 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
US8355910B2 (en) 2010-03-30 2013-01-15 The Nielsen Company (Us), Llc Methods and apparatus for audio watermarking a substantially silent media content presentation
US9112989B2 (en) * 2010-04-08 2015-08-18 Qualcomm Incorporated System and method of smart audio logging for mobile devices
JP5649425B2 (ja) * 2010-12-06 2015-01-07 株式会社東芝 映像検索装置
US8923607B1 (en) 2010-12-08 2014-12-30 Google Inc. Learning sports highlights using event detection
US8914371B2 (en) * 2011-12-13 2014-12-16 International Business Machines Corporation Event mining in social networks
CN103379143B (zh) * 2012-04-18 2017-05-31 腾讯科技（深圳）有限公司 等级体系设置方法和系统
JP6307892B2 (ja) * 2014-01-20 2018-04-11 富士通株式会社 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
JP6303525B2 (ja) * 2014-01-20 2018-04-04 富士通株式会社 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
JP2016107001A (ja) * 2014-12-10 2016-06-20 富士通株式会社 抽出プログラム、方法、及び装置
KR20160104493A (ko) * 2015-02-26 2016-09-05 삼성전자주식회사 방송 수신 장치 및 그 제어 방법
US10572735B2 (en) * 2015-03-31 2020-02-25 Beijing Shunyuan Kaihua Technology Limited Detect sports video highlights for mobile computing devices
CN105681751A (zh) * 2016-01-15 2016-06-15 上海小蚁科技有限公司 用于呈现视频的预览的方法、装置和系统
US20170235828A1 (en) * 2016-02-12 2017-08-17 Microsoft Technology Licensing, Llc Text Digest Generation For Searching Multiple Video Streams
US9984314B2 (en) 2016-05-06 2018-05-29 Microsoft Technology Licensing, Llc Dynamic classifier selection based on class skew
CN108536575A (zh) * 2017-03-02 2018-09-14 中国移动通信有限公司研究院 在线音视频播放的用户体验指标的测试方法及装置
JP7413806B2 (ja) * 2020-02-06 2024-01-16 トヨタ自動車株式会社 バッテリ劣化判定装置、バッテリ劣化判定方法、及びバッテリ劣化判定プログラム
CN115205768B (zh) * 2022-09-16 2023-01-31 山东百盟信息技术有限公司 一种基于分辨率自适应网络的视频分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020059969A (ko) * 2001-01-09 2002-07-16 구자홍 멀티미디어 서비스 제공 방법
KR20040028064A (ko) * 2002-09-28 2004-04-03 주식회사 케이티 장르별 특성 정보를 활용한 퍼지 기반 영상 요약 장치 및그 방법
KR20040074623A (ko) * 2003-02-19 2004-08-25 비브콤 인코포레이티드 생방송 프로그램에 대한 빠른 메타데이터 서비스 제공방법, 하이라이트 실시간 생성 방법 및 방송 프로그램스트림 임의 접근 방법
KR20060028307A (ko) * 2004-09-24 2006-03-29 주식회사 케이티 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보제공 장치 및 그 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7143354B2 (en) * 2001-06-04 2006-11-28 Sharp Laboratories Of America, Inc. Summarization of baseball video content
US7006945B2 (en) * 2003-01-10 2006-02-28 Sharp Laboratories Of America, Inc. Processing of video content
US7764808B2 (en) * 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
US7409407B2 (en) * 2004-05-07 2008-08-05 Mitsubishi Electric Research Laboratories, Inc. Multimedia event detection and summarization
US7526101B2 (en) * 2005-01-24 2009-04-28 Mitsubishi Electric Research Laboratories, Inc. Tracking objects in videos with adaptive classifiers
US7937269B2 (en) * 2005-08-22 2011-05-03 International Business Machines Corporation Systems and methods for providing real-time classification of continuous data streams

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020059969A (ko) * 2001-01-09 2002-07-16 구자홍 멀티미디어 서비스 제공 방법
KR20040028064A (ko) * 2002-09-28 2004-04-03 주식회사 케이티 장르별 특성 정보를 활용한 퍼지 기반 영상 요약 장치 및그 방법
KR20040074623A (ko) * 2003-02-19 2004-08-25 비브콤 인코포레이티드 생방송 프로그램에 대한 빠른 메타데이터 서비스 제공방법, 하이라이트 실시간 생성 방법 및 방송 프로그램스트림 임의 접근 방법
KR20060028307A (ko) * 2004-09-24 2006-03-29 주식회사 케이티 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보제공 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180093582A (ko) 2017-02-14 2018-08-22 한국전자통신연구원 엔드투엔드 학습에 기반한 영상 이벤트 구간 인덱싱 방법 및 장치
KR102201353B1 (ko) 2019-11-22 2021-01-08 연세대학교 산학협력단 배경 프레임 억제를 통한 약한 지도 학습 기반의 행동 프레임 검출 방법 및 장치
WO2021162305A1 (ko) * 2020-02-15 2021-08-19 김지훈 스포츠 동영상 기반 플랫폼 서비스를 제공하는 서버의 동작 방법
US11810352B2 (en) 2020-02-15 2023-11-07 Litiv Inc. Operating method of server for providing sports video-based platform service

Also Published As

Publication number Publication date
US20070294716A1 (en) 2007-12-20

Similar Documents

Publication Publication Date Title
KR100785076B1 (ko) 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치
US10262239B2 (en) Video content contextual classification
JP4532449B2 (ja) マルチモーダル基盤のビデオ要約生成方法およびその装置
EP1850321B1 (en) Systems and methods for classifying sports video
US7327885B2 (en) Method for detecting short term unusual events in videos
US9009054B2 (en) Program endpoint time detection apparatus and method, and program information retrieval system
JP4870087B2 (ja) ビデオの分類方法およびビデオの分類システム
KR100707189B1 (ko) 동영상의 광고 검출 장치 및 방법과 그 장치를 제어하는컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
US20100005485A1 (en) Annotation of video footage and personalised video generation
KR100717402B1 (ko) 멀티미디어 데이터의 장르를 판단하는 장치 및 방법
JP2004229283A (ja) ニュースビデオにおいてニュース司会者の遷移を識別する方法
US20070201764A1 (en) Apparatus and method for detecting key caption from moving picture to provide customized broadcast service
JP2009544985A (ja) コンピュータによって実施されるビデオをセグメント化する方法
JP5620474B2 (ja) アンカーモデル適応装置、集積回路、ＡＶ（ＡｕｄｉｏＶｉｄｅｏ）デバイス、オンライン自己適応方法、およびそのプログラム
KR101128521B1 (ko) 오디오 데이터를 이용한 이벤트 검출 방법 및 장치
KR20080105387A (ko) 스포츠 동영상 요약 방법 및 장치
Merler et al. Automatic curation of golf highlights using multimodal excitement features
TWI518675B (zh) 利用語者識別的切割音視訊片段的方法
Carbonneau et al. Real-time visual play-break detection in sport events using a context descriptor
US20110274411A1 (en) Information processing device and method, and program
JP2011523291A (ja) オーディオ／ビジュアルデータストリームのサマリを生成するための方法及び装置
Adami et al. Overview of multimodal techniques for the characterization of sport programs
US9741345B2 (en) Method for segmenting videos and audios into clips using speaker recognition
KR100796392B1 (ko) 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치
US20240196066A1 (en) Optimizing insertion points for content based on audio and video characteristics

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141127

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee