KR20050014559A - A detecting method and a training method of event for soccer video - Google Patents

A detecting method and a training method of event for soccer video

Info

Publication number
KR20050014559A
KR20050014559A KR1020030053218A KR20030053218A KR20050014559A KR 20050014559 A KR20050014559 A KR 20050014559A KR 1020030053218 A KR1020030053218 A KR 1020030053218A KR 20030053218 A KR20030053218 A KR 20030053218A KR 20050014559 A KR20050014559 A KR 20050014559A
Authority
KR
South Korea
Prior art keywords
event
learning
video
scene
soccer
Prior art date
Application number
KR1020030053218A
Other languages
Korean (ko)
Other versions
KR100963744B1 (en
Inventor
이태연
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020030053218A priority Critical patent/KR100963744B1/en
Publication of KR20050014559A publication Critical patent/KR20050014559A/en
Application granted granted Critical
Publication of KR100963744B1 publication Critical patent/KR100963744B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A method of learning and detecting an event in a soccer moving picture is provided to make a scene where the event arises learned properly to the real circumstances of a national broadcast and automatically detected, by applying a hidden Markov model to soccer moving picture multimedia. CONSTITUTION: It is determined whether an event pattern of a soccer moving picture has to be learned or not(S210). Each of scenes is changed into a symbol when the event pattern is learned(S220). An observation sequence is determined from the changed symbol(S230). An event generation pattern is learned by a hidden Markov model based on the determined observation sequence(S240).

Description

축구 동영상의 이벤트 학습 및 검출방법{A DETECTING METHOD AND A TRAINING METHOD OF EVENT FOR SOCCER VIDEO}Event learning and detection method of soccer video {A DETECTING METHOD AND A TRAINING METHOD OF EVENT FOR SOCCER VIDEO}

본 발명은 동영상 멀티미디어로부터 특정 이벤트를 검색하여 출력하는 것으로, 특히, 축구 동영상 멀티미디어에 은닉 마코프 모델(HIDDEN MARKOV MODEL)을 적용하여 국내 방송 실정에 적합하게 이벤트가 발생하는 장면을 학습시키며 자동 검색 출력하는 축구 동영상의 이벤트 학습 및 검출방법에 관한 것이다.The present invention is to search for and output a specific event from the video multimedia, in particular, by applying the hidden Markov model (HIDDEN MARKOV MODEL) to the soccer video multimedia to learn the scene where the event occurs in accordance with the domestic broadcast situation and automatically search output An event learning and detection method of a soccer video.

컴퓨터의 관련 기술발달과 급격한 성능향상, 망(NETWORK)의 고속화, 대용량 저장장치 개발 등으로, 사람이 쉽게 인지할 수 있고 신속하게 의사 전달할 수 있는, 동영상(VIDEO)의 멀티미디어(MULTIMEDIA) 정보 사용이 늘어나고 있으며 기록 보존의 정확성에서도 그 중요성이 확인되고 있다.Due to the development of computer related technology, rapid performance improvement, network speed, and mass storage device development, it is possible to use multimedia information of video that can be easily recognized and communicated quickly. Increasingly, the importance of record keeping is being confirmed.

상기 멀티미디어 신호는, 디지털(DIGITAL) 신호로 효율적 처리 및 관리하며,데이터 용량이 매우 많으므로, 대용량의 저장장치(STORAGE DEVICE)를 필요로 하고, 상기와 같은 대용량의 멀티미디어 데이터를 관리하기 위한 DVL(DIGITAL VIDEO LIBRARY) 시스템 기술이 개발되고 있으며, 상기와 같은 DVL 기술에 의하여 VOD(VIDEO ON DEMAND) 서비스 등이 제공되고 있다.The multimedia signal is efficiently processed and managed as a digital signal, and since the data capacity is very large, a large storage device (STORAGE DEVICE) is required. DIGITAL VIDEO LIBRARY system technology is being developed, and VOD (VIDEO ON DEMAND) services are provided by the above-described DVL technology.

상기와 같은 멀티미디어 컨텐츠(CONTENTS) 정보들은, 대용량의 저장장치에 기록저장하며, 필요한 경우, 상기와 같이 멀티미디어 정보가 기록된 대용량의 저장장치로부터 원하는 정보를 신속하고 용이하며 정확하게 검색하기 위하여, 인덱싱(INDEXING)을 하여 저장하고 관리하여야 하며, 상기와 같은 인덱싱을 위하여서는 브라우징 툴(BROWSING TOOL)이나 요약 파일을 만들어야 한다.The multimedia contents (CONTENTS) information is recorded and stored in a mass storage device, and, if necessary, indexed to quickly, easily and accurately retrieve desired information from the mass storage device in which the multimedia information is recorded as described above. INDEXING) to store and manage. For indexing as described above, a browsing tool or a summary file should be created.

그러나, 상기와 같은 인덱싱을 사람이 직접 작업하기에는, 매우 많은 노동력을 필요로 하고, 비용도 많이 들어가지만, 객관적이지 못하고, 정확한 결과를 얻지 못하는 문제가 있다.However, in order for a person to work on such indexing directly, there is a problem that requires a lot of labor and is expensive, but it is not objective and does not obtain accurate results.

특히, 동영상 컨텐츠를 저급 분석, 중급 분석, 고급 분석에 의하여 원하는 장면 또는 샷(SHOT)을 정확하게 자동검색하고 필요한 동영상 멀티미디어 정보를 높은 신속하게 검출하여 출력하는 기술의 개발이 필요하다.In particular, it is necessary to develop a technology for automatically searching for a desired scene or shot by video analysis, low level analysis, intermediate analysis, and advanced analysis, and quickly detecting and outputting necessary video multimedia information.

이하, 종래 기술에 의한 축구 동영상의 이벤트 검출방식을 첨부된 도면을 참조하여 설명한다.Hereinafter, an event detection method of a soccer video according to the prior art will be described with reference to the accompanying drawings.

종래 기술을 설명하기 위한 것으로, 도1 은 일반적인 축구 동영상의 이벤트 검출 장치 기능 구성도 이다.For the purpose of illustrating the prior art, Figure 1 is a functional block diagram of an event detection apparatus of a general soccer video.

상기 첨부된 도1을 참조하면, 동영상부(10)로부터 출력되는 축구 동영상의멀티미디어 신호는, 동영상 분석부(20)에 인가되어, 저급 및 중급수준의 각 장면 정보로 분할(SEGMENTATION) 되고, 고급 수준의 각 장면정보 형태로 분류(CLASSIFICATION)하여 각각의 이벤트를 검출한다.Referring to FIG. 1, the multimedia signal of the soccer video output from the video unit 10 is applied to the video analysis unit 20, and is segmented into scene information of low and intermediate levels. Each event is classified by classifying each type of scene information of the level.

상기와 같이 동영상 분석부(20)로부터 저급 및 중급 수준 정보로 분석되어 출력되고 고급 수준 정보로 분석되어 출력되는 각각의 정보들은 디브엘부(30)에 인가되어 저장된다.As described above, each piece of information analyzed and output as low and intermediate level information and analyzed as high level information is output to the DL unit 30 and stored.

상기 디브엘(DVL: DIGITAL VIDEO LIBRARY)부(30)에 연결된 브라우징 툴부(40)는, 상기 저장된 이벤트 정보를 분석하여 원하는 컨텐츠(CONTENTS)를 용이하게 검출하는 제어신호를 검출부(50)에 인가하며, 상기 검출부(50)는 브라우징 툴부(40)로부터 인가되는 제어신호에 의하여 상기 디브엘부(30)의 정보로부터 원하는 이벤트를 검출하여 출력한다.The browsing tool unit 40 connected to the DVL DIGITAL VIDEO LIBRARY unit 30 analyzes the stored event information and applies a control signal to the detection unit 50 to easily detect a desired content CONTENTS. The detection unit 50 detects and outputs a desired event from the information of the DL unit 30 according to a control signal applied from the browsing tool unit 40.

상기와 같은, 종래 기술에 의한 동영상 멀티미디어 정보 분석 기술은, 일 예로, 원거리 동영상 정보, 근거리 동영상 정보, 재연 동영상 정보, 거의 고정된 배경영역 동영상 정보 등등과 같은, 주로, 저급 및 중급 수준의 동영상 정보를 자동 추출하는 것이다.As described above, the conventional video multimedia information analysis technology includes, for example, mainly low and intermediate level video information such as long distance video information, short distance video information, replay video information, almost fixed background region video information, and the like. Will be automatically extracted.

일 예로, 축구 스포츠 경기의 동영상 멀티미디어 정보의 경우, 경기장을 원거리에서 촬영한 장면, 근거리 촬영 장면, 재연 장면, 움직임이 거의 없는 관객석 장면 등등을 검색하고 추출하는 기술은 저급 또는 중급 수준의 기술이 된다.For example, in the case of video multimedia information of a soccer sports game, a technique for searching and extracting a long distance shot of a stadium, a close shot, a replay scene, a scene with almost no movement, etc. becomes a low or intermediate level technology. .

상기 동영상 신호를 저급 수준으로 분석하여 인덱싱에 사용되는 영상 정보로는, 색 정보, 오브젝트 움직임, 에지 히스토그램(EDGE HISTOGRAM) 등과 같은 정보가 있다.Image information used for indexing by analyzing the video signal at a low level may include information such as color information, object motion, and edge histogram.

상기와 같은 저급 분석정보를 이용하여 화면의 확대와 축소, 필드 위치, 카메라의 촬영대상, 재생속도, 그래픽 정보의 사용 여부 등과 같은 중급 수준의 동영상 정보를 추출할 수 있다.By using the low level analysis information as described above, middle level video information such as enlargement and reduction of the screen, field position, camera shooting target, playback speed, and use of graphic information can be extracted.

상기 분석되는 동영상 멀티미디어에는, 일 예로, 일반 흥미위주 동영상, 기록용 동영상, 전쟁 동영상, 스포츠 동영상 등등으로 구분되는 영역(DOMAIN)이 있고, 상기 각 영역(DOMAIN)을 분석하기 위하여서는, 영역지식(DOMAIN KNOWLEDGE)이 있어야 하며, 상기 영역지식을 이용하여 해당 컨텐츠를 모델링하는 동시에 고급 수준으로 각 이벤트 장면을 검색하며, 와이프(WIPE) 또는 디졸브(DISSOLVE) 방법에 의한 점진적 장면 변화로 중요한 이벤트를 강조 표현한다.In the analyzed video multimedia, for example, there is a domain (DOMAIN) divided into a general interest-oriented video, a recording video, a war video, a sports video, and the like. In order to analyze each domain (DOMAIN), domain knowledge ( DOMAIN KNOWLEDGE), using the domain knowledge to model the corresponding content, search each event scene at an advanced level, and highlight important events by gradual scene change by the Wipe or Dissolve method. do.

상기 영상신호를 분석하는 인덱싱(INDEXING) 방법은, 크게 통계적인 방법(STATISTICAL APPROACH)과 슬라이스 방법(SLICE APPROACH)이 있으며, 상기 통계적인 방법(STATISTICAL APPROACH)은, 현재 영상프레임과 앞 영상프레임의 차이를 이용하는 것으로, 프레임 단위의 칼라 히스토그램이나 모션(MOTION) 또는 에지(EDGE)를 검출하여 변화량이 두드러지는 부분을 장면(SHOT)의 경계지점으로 인덱싱(INDEXING)하여 찾아내는 방법이다.The indexing method for analyzing the video signal is largely divided into a statistical method and a slice method, and the statistical method includes a difference between the current video frame and the previous video frame. By detecting the color histogram, motion (MOTION) or edge (EDGE) on a frame-by-frame basis, the area where the amount of change is prominent is indexed to the boundary point of the scene to find it.

상기와 같은 통계적인 방법은 스포츠 영상신호와 같이 일정한 장소에서 이루어지면서도 운동량이 많은 장면의 프레임으로부터 인덱싱을 위한 장면(SHOT) 경계를 찾기 어려운 문제가 있다.The statistical method as described above has a problem in that it is difficult to find a scene boundary for indexing from a frame of a scene having a high momentum while being performed at a predetermined place such as a sports video signal.

상기와 같은 스포츠 영상신호로부터 인덱싱을 위한 장면(SHOT) 경계를 용이하게 찾기 위한 것으로, 상기 영상 프레임을 슬라이스(SLICE)로 나누고, 상기 나누어진 슬라이스들의 응집력 차이를 이용하여 장면의 경계지점을 찾아내는 것으로, 드류(M. S. DREW)가 VIDEO DISSOLVE AND WIPE DETECTION VIA SPATIO-TEMPORAL IMAGE OF CHROMATIC HISTOGRAM DIFFERENCES, PROC OF IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, VOL 3, PP 929-932, 2000에서 제안하고, 네고(C. W. NGO)가 DETECTION OF GRADUAL TRANSITIONS THROUGH TEMPORAL SLICE ANALYSIS, PROC OF IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR'99), PP 36-41, 1999에서 제안한 슬라이스 방법(SLICE APPROACH)이다.In order to easily find a scene boundary for indexing from the sports video signal as described above, dividing the image frame into slices, and finding a boundary point of the scene by using the cohesion difference of the divided slices. , MS DREW proposed by VIDEO DISSOLVE AND WIPE DETECTION VIA SPATIO-TEMPORAL IMAGE OF CHROMATIC HISTOGRAM DIFFERENCES, PROC OF IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, VOL 3, PP 929-932, 2000, DETECTION OF GRADUAL TRANSITIONS THROUGH TEMPORAL SLICE ANALYSIS, PROC OF IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR'99), PP 36-41, 1999.

상기 슬라이스 방법은, 프레임 전체의 변화에 치중하지 않는 동시에 부분적인 변화에 민감하지 않으므로, 축구와 같은 동영상 신호의 분석에 좋은 성능을 나타낸다.Since the slice method is not focused on the change of the whole frame and is not sensitive to the partial change, it shows a good performance for analyzing a video signal such as soccer.

특히, 축구와 같은 스포츠 동영상 멀티미디어에서의 고급 수준 동영상 분석을 이벤트(EVENT) 분석이라 하고, 상기 이벤트에는, 일 예로, 골인, 슛팅, 코너킥, 프리킥, 페널티킥, 반칙 등등이 있다.In particular, high-level video analysis in sports video multimedia such as soccer is called EVENT analysis, which includes, for example, goals, shooting, corners, free kicks, penalty kicks, fouls, and the like.

상기와 같이 이벤트(EVENT)를 검출하여 인덱싱에 사용되는 정보로는, 캡션정보(CLOSED CAPTION), 블러링(BLURRING) 현상, 볼(BALL)과 선수들과 골대(GOAL POST)를 추적(TRACKING), 상태 천이 다이어그램(STATE TRANSITION DIAGRAM)의 4가지가 있다.As the information used for indexing by detecting the event (EVENT) as described above, caption information (CLOSED CAPTION), blurring phenomenon, ball (BALL) and players and goal post (GOAL POST) tracking (TRACKING) There are four types of state transition diagrams.

상기 캡션정보는, 기타하시(T. KITAHASHI)가 2000년 9월에 EXTRACTINGACTORS, ACTIONS AND EVENTS FROM SPORTS VIDEO - A FUNDAMENTAL SPPROACH TO STORY TRACKING, PROC OF IEEE INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION(CIPR'00), VOL 4, BARCELONA, SPAIN, SEPT, 2000에서 제안한 것처럼, 멀티미디어 동영상에 추가적인 매체인 캡션 정보를 이용하는 것으로, 일 예로, 미식축구의 경우에 터치다운(TOUCH DOWN) 단어를 검출하여 이벤트의 위치를 알아내는 방법이다.The caption information is provided by T. KITAHASHI in September 2000, EXTRACTINGACTORS, ACTIONS AND EVENTS FROM SPORTS VIDEO-A FUNDAMENTAL SPPROACH TO STORY TRACKING, PROC OF IEEE INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION , As suggested by BARCELONA, SPAIN, SEPT, 2000, uses caption information, which is an additional medium for multimedia videos. For example, in the case of American football, it is a method of detecting the location of an event by detecting the word TOUCH DOWN. .

상기 블러링 현상 정보는, 슈(X. XU)가 2002년에 CONTENT-BASED ANALYSIS AND INDEXING OF SPORTS VIDEO, PROC OF SPIE CONFERENCE ON STORAGE AND RETRIVAL FOR MEDIA DATABASE, SAN JOSE, USA, JAN 21-23, 2002에서 제안한 것으로, 슛팅이 일어날 때, 동영상 화면이 갑자기 빠른 공(BALL)을 따라가려 하기 때문에 발생하는 블러링 현상을 검출하는 것으로, 슛팅(SOOTING)과 롱패스(LONG PASS)를 검출하는 것이다.The blurring phenomenon information is provided by shoe X. XU in 2002, CONTENT-BASED ANALYSIS AND INDEXING OF SPORTS VIDEO, PROC OF SPIE CONFERENCE ON STORAGE AND RETRIVAL FOR MEDIA DATABASE, SAN JOSE, USA, JAN 21-23, 2002 Proposed by, to detect the blurring that occurs because the video screen suddenly tries to follow the fast ball (BALL) when shooting occurs, it is to detect the shooting (SOOTING) and long pass (LONG PASS).

상기와 같은 블러링 현상에서 마힐드레쓰 제로 크로싱(MARR-HILDRETHS' ZERO CROSSING) 알고리즘을 이용하여 에지(EDGE)를 찾으면 블러링 현상이 발생하는 프레임의 에지 양을 현저히 줄인다.In the blurring phenomenon, when the edge EDGE is found using the MARR-HILDRETHS 'ZERO CROSSING algorithm, the amount of edges of the frame in which the blurring phenomenon occurs is significantly reduced.

또한, 상기 볼과 선수들과 골대를 추적하여 정보로 이용하는 것은, 볼(BALL)이 골대를 지날 때 골인이 일어난다는 것과 같은 다양한 이벤트를 검출하는 것으로, 1995년 보비크(A.F. BOBICK)와 1995년 류(B. LIU)와 2001년 퀴안(R. J. QIAN)이 제안한 것으로, 배경과 선수들을 분리하는 객체분리(OBJECT SEGMENTATION)를 통하여 선수들의 움직임을 찾아내고, 배경의 연속되는 모자이크(MOSAIC)로궤적(TRAJECTORY)을 만들어 경기장에서 각 선수들의 움직임을 추적하는 것이다.In addition, tracking and using the ball, the players, and the goalpost as information detects various events such as a goal when a ball passes the goal, AF BOBICK in 1995 and 1995. Proposed by R. B. LIU and RJ QIAN in 2001, the OBJECT SEGMENTATION that separates the background from the players finds the movements of the players and traces them into a continuous mosaic of the background (MOSAIC). TRAJECTORY to track the movement of each player on the playing field.

상기 마지막의 상태천이 다이어그램은, 믹리오라티(R. MIGLIORATI)가 2002년에 SEMANTIC INDEXING OF MULTIMEDIA DOCUMENTS, IEEE MULTIMEDIA, VOL 9, NO 2, PP 44-51, APR-JUN, 2002에서 제안 한 것으로, 규칙적인 패턴으로 이벤트가 일어난다는 점을 이용하여 골인과 코너킥과 프리킥을 검출하는 알고리즘이다.The last state transition diagram is proposed by R. MIGLIORATI in SEMANTIC INDEXING OF MULTIMEDIA DOCUMENTS, IEEE MULTIMEDIA, VOL 9, NO 2, PP 44-51, APR-JUN, 2002 in 2002. An algorithm that detects goals, corners and free kicks using events that occur in a regular pattern.

즉, 골인이 발생하기 전, 한쪽 팀이 다른 쪽 팀의 골대를 향하여 공격을 하는 경우, 빠른 움직임으로 카메라에 패닝(PANNING)이나 줌(ZOOM)이 발생하고, 다음 순서로 슛(SHOT) 해서 공(BALL)이 골대(GOAL POST)에 들어가는 장면을 잡기 위하여, 카메라(CAMERA)가 움직이지 않고, 골인이 되면 카메라의 다른 각도에서 촬영한 장면을 보여주거나 슛을 찬 선수의 모습을 글로즈 업(CLOSE UP)하기 때문에 샷 컷(SHOT CUT)이 발생한다.In other words, if one team attacks the other team's goal before the goal is scored, the camera will panning or zooming in a fast motion and will shoot in the next order. To catch the scene where (BALL) enters the GOAL POST, when the CAMERA is not moving and the goal is scored, it shows the shot of the player who shot or shot the shot from a different angle of the camera. UP), a shot cut occurs.

상기와 같은 일련의 시퀀스로 골인이 발생하는 것을 알아내기 위하여 사용하는 것이 상태천이 다이어그램이다.The state transition diagram is used to find out that the goal occurs in the above sequence.

그러나, 상기와 같은 종래 기술의 이벤트를 검출하는 것으로, 첫 번째, 캡션정보를 이용하는 것은, 미식축구와 다르게 한국의 현 실정에서, 각 방송국이 축구 스포츠를 중계 또는 방영하는 경우, 캡션(CAPTION) 정보를 제공하지 않으므로, 이용할 수 없는 근본적인 문제가 있다.However, by detecting the above-described prior art events, the first use of caption information is different from football, in the current situation in Korea, when each broadcasting station relays or broadcasts soccer caption information. Since it does not provide, there is a fundamental problem that cannot be used.

상기 두 번째, 블러링 현상을 이용하는 방안은, 슛팅과 롱패스가 발행할 때의 화면의 특징을 사용하기 때문에, 상기 두 가지 이벤트를 구분할 수 있으나, 다른 이벤트는 구분할 수 없다는 문제가 있다.The second method of using the blurring phenomenon is that the two events can be distinguished from each other because they use the characteristics of the screen when shooting and long pass are issued, but there is a problem that other events cannot be distinguished.

상기 세 번째, 볼과 선수들과 골대를 추적하는 방안은, 객체분리(OBJECT SEGMENTATION)와 궤적(TRAJECTORY)을 찾기 위한 이미지(IMAGE) 모자이크(MOSAIC)를 만드는데 지나치게 많은 부하(LOAD)를 소모하며, 원거리 장면에서 발생하는 이벤트만을 검출한다는 제한적인 문제가 있다.The third method of tracking the ball, the players and the goal, consumes too much load to create an IMAGE mosaic (MOSAIC) to find object separation and trajectory, There is a limiting problem of detecting only events that occur in the far scene.

또한, 선수들이 서로 겹치는 현상과 볼(BALL)이 검출하기에 너무 작으며 선수들에게 가려진다는 점이 객체 분리를 어렵게 만드는 동시에, 카메라의 움직임이 많은 축구 동영상 멀티미디어는, 객체 분리에서 움직이는 배경과 전경의 객체 분리가 비교적 어렵다는 큰 문제점이 있다.In addition, the fact that the players overlap each other and that the ball is too small to be detected and obscured by the players makes it difficult to separate objects, while soccer video multimedia with a lot of camera movement can be used for moving backgrounds and foregrounds. There is a big problem that object separation is relatively difficult.

상기 네 번째, 상태천이 다이어그램 방법은, 고급 수준의 정보분석 방법으로, 상태 천이 그래프(STATE TRANSITION GRAPH)를 사용하여 이벤트가 발생할 때 규칙적인 패턴(PATTERN)이 발생한다고 가정하면 좋은 결과의 이벤트 인덱싱을 검출하여 출력한다.The fourth, state transition diagram method is an advanced level of information analysis method. It is assumed that a regular pattern (PATTERN) occurs when an event occurs by using a state transition graph. Detect and output.

그러나, 한가지 이벤트(EVENT)의 패턴(PATTERN)에도 다양한 예외 현상이 발생하는 것이 스포츠 동영상 멀티미디어의 특성이며, 상기와 같이 규칙적이지 못한 패턴이 발생하는 축구 동영상으로부터, 종래 기술을 이용하여, 특히, 고급 수준에 의한 축구 동영상 분석으로 각 이벤트를 검출하는 것은, 좋은 결과를 얻지 못하는 문제가 있다.However, it is a characteristic of sports video multimedia that various exceptions occur even in the pattern of one event EVENT, and from the soccer video in which the irregular pattern as described above occurs, using the prior art, in particular, Detecting each event by football video analysis by level, there is a problem that does not get a good result.

본 발명은 축구 동영상 멀티미디어로부터 장면 타입(SHOT TYPE)을 분류하고, 은닉 마코프 모델(HIDDEN MARKOV MODEL)을 이용하여 시간적인 흐름에서의 통계적학습과 모델화에 의하여 예외 현상을 해결하며, 잡음이나 변형을 흡수하며 이벤트를 자동 검출하는 동시에, 한국 방송 실정에 적합한 축구 동영상의 이벤트 학습 및 검출방법을 제공하는 것이 그 목적이다.The present invention classifies a scene type from a soccer video multimedia, solves an exception phenomenon by statistical learning and modeling in a temporal flow using a hidden markov model, and absorbs noise and deformation. The purpose of the present invention is to automatically detect an event and provide an event learning and detection method of a soccer video suitable for the Korean broadcast situation.

상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 축구 동영상의 이벤트 패턴을 학습할 것인지 판단하는 학습1 과정과; 상기 학습1 과정에서 판단하여 이벤트를 학습하는 경우에 각 장면들을 심볼로 변환하는 학습2 과정과; 상기 학습2 과정에서 변환된 심볼로부터 관찰 시퀀스를 결정하는 학습3 과정과; 상기 학습3 과정에서 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델 학습처리 하는 학습4 과정으로 이루어진 것을 특징으로 한다.The present invention devised to achieve the above object, Learning 1 process for determining whether to learn the event pattern of the soccer video; A learning 2 process of converting each scene into a symbol when the event is learned in the learning 1 process; A learning 3 process of determining an observation sequence from the symbols transformed in the learning 2 process; A learning 4 process of learning the hidden Markov model is performed using the observation sequence determined in the learning 3 process.

또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 축구 동영상의 각 이벤트를 검출할 것인지 판단하는 검출1 과정과; 상기 검출1 과정에서 판단하여 이벤트를 검출하는 경우에 각 장면들을 심볼로 변환하는 검출2 과정과; 상기 검출2 과정에서 변환된 심볼로부터 관찰 시퀀스를 결정하는 검출3 과정과; 상기 검출3 과정에서 결정된 관찰 시퀀스를 이용하고, 은닉 마코프 모델 학습처리 결과로부터 결합확률을 검출하는 검출4 과정으로 이루어진 것을 특징으로 한다.In addition, the present invention devised to achieve the above object, the detection 1 process of determining whether to detect each event of the soccer video; A second detection step of converting each scene into a symbol when the event is detected in the first detection step; A detection step 3 for determining an observation sequence from the symbols transformed in the detection step 2; The detection sequence is determined by using the observation sequence determined in the detection process 3 and detects the coupling probability from the hidden Markov model learning process.

또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 동영상 축구경기의 중요 하이라이트 이벤트를 검출하고 유무선 텔레비전 방송과 멀티미디어 무선통신장비를 통하여 전송하는 것을 특징으로 한다.In addition, the present invention devised to achieve the above object is characterized in that it detects the important highlight event of the video football game and transmits through wired and wireless television broadcasting and multimedia wireless communication equipment.

도1 은 일반적인 축구 동영상의 이벤트 검출 장치 기능 구성도,1 is a functional block diagram of an event detection apparatus of a general soccer video;

도2 는 본 발명에 의한 축구 동영상 이벤트 학습방법 순서도,2 is a flow chart of the soccer video event learning method according to the present invention;

도3 은 본 발명에 의한 축구 동영상 이벤트 검출방법 순서도,3 is a flowchart illustrating a method for detecting a soccer video event according to the present invention;

도4 는 축구 동영상 화면의 확대와 축소정도에 의한 심볼 구분 상태도,4 is a symbol classification state diagram according to the degree of expansion and contraction of the soccer video screen;

도5 는 본 발명 축구 동영상 화면의 필드 위치에 의한 심볼 구분상태도,5 is a state diagram of symbol classification according to field positions of the present invention soccer video screen;

도6 은 축구 동영상의 카메라 촬영대상에 의한 저급수준 정보 상태 도시도,6 is a low level information state diagram by a camera photographing target of a soccer video;

도7 은 2002 피파 월드컵과 2002 부산 아시안 게임 심볼형태 분석값 도시도,7 is a diagram showing the analysis results of the 2002 FIFA World Cup and 2002 Busan Asian Games.

도8 은 본 발명 축구 동영상의 252 심볼 장면형태 분포 도시도,8 is a 252 symbol scene shape distribution diagram of the soccer video of the present invention;

도9 는 본 발명 축구 동영상의 각 시퀀스에 의한 패턴 분석도,9 is a pattern analysis diagram according to each sequence of the soccer video of the present invention;

도10 은 본 발명 축구 동영상의 대표적인 A, B, C 패턴의 일 예 도시도,10 is a diagram showing an example of a representative A, B, C pattern of the present invention soccer video,

도11 은 본 발명 축구 동영상의 각 이벤트 발생 패턴 막대도표 분포도,11 is a distribution chart of each event occurrence pattern bar chart of the present invention soccer video;

도12 는 본 발명 축구 동영상의 이벤트 검출 시스템 구성상태도,12 is a state diagram of an event detection system of the present invention soccer video;

도13 은 본 발명 축구 동영상의 84 가지 심볼형태 분석값 도시도,Fig. 13 is a diagram showing 84 symbolic analysis values of the present invention soccer video.

도14 는 본 발명 축구 동영상의 108 가지 심볼형태 분석값 도시도,14 is a view showing 108 symbolic analysis values of a soccer video of the present invention;

도15 는 축구 동영상의 84가지 심볼과 108 가지 심볼의 분포상태 도시도,Fig. 15 is a diagram showing the distribution of 84 symbols and 108 symbols of a soccer video.

도16 은 본 발명 축구 동영상의 2002년 피파 월드컵 축구와 2002년 부산 아시안 게임을 실험한 슈팅 이벤트 검출 횟수 분석값 도시도,FIG. 16 is a diagram illustrating a shooting event detection frequency analysis value of a 2002 FIFA World Cup soccer game and a 2002 Busan Asian game of the present invention soccer video.

도17은 본 발명의 축구 동영상 이벤트 검출방식과 외국실정에 적합한 이벤트 검출방식의 대비도.Figure 17 is a contrast between the football video event detection method of the present invention and the event detection method suitable for foreign circumstances.

** 도면의 주요 부분에 대한 부호 설명 **** Explanation of symbols on the main parts of the drawing **

10 : 동영상부 20 : 동영상분석부10: video unit 20: video analysis unit

30 : 디브엘부 40 : 브라우징툴부30: DL part 40: browsing tool part

50 : 검출부50: detector

이하, 본 발명에 의한 축구 동영상의 이벤트 검출방법을 첨부된 도면을 참조하여 설명한다.Hereinafter, a method of detecting an event of a soccer video according to the present invention will be described with reference to the accompanying drawings.

본 발명의 설명을 위한 것으로, 도2 는 본 발명에 의한 축구 동영상 이벤트 학습방법 순서도 이며, 도3 은 본 발명에 의한 축구 동영상 이벤트 검출방법 순서도 이고, 도4 는 본 발명 축구 동영상 화면의 확대와 축소정도에 의한 심볼 구분 상태도 이며, 도5 는 본 발명 축구 동영상 화면의 필드 위치에 의한 심볼 구분상태도 이고, 도6 은 본 발명 축구 동영상 화면의 카메라 촬영대상에 의한 저급수준 정보 상태 도시도 이며, 도7 은 본 발명의 2002 피파 월드컵과 2002 부산 아시안 게임 심볼형태 분석값 도시도 이고, 도8 은 본 발명 축구 동영상의 252 심볼 장면형태 분포 도시도 이며, 도9 는 본 발명 축구 동영상의 각 시퀀스에 의한 패턴 분석도 이며, 도10 은 본 발명 축구 동영상의 대표적인 A, B, C 패턴의 일 예 도시도 이며, 도11 은 본 발명 축구 동영상의 각 이벤트 발생 패턴 막대도표 분포도 이고, 도12 는 본 발명 축구 동영상의 이벤트 검출 시스템 구성상태도 이며, 도13 은 본 발명 축구 동영상의 84 가지 심볼형태 분석값 도시도 이고, 도14 는 본 발명 축구 동영상의 108 가지 심볼형태 분석값 도시도 이며, 도15 는 본 발명 축구 동영상의 84가지 심볼과 108 가지 심볼의 분포상태 도시도 이고, 도16 은 본 발명 축구 동영상의 2002년 피파 월드컵 축구와 2002년 부산 아시안게임을 실험한 결과, 슈팅 이벤트 검출 횟수 분석값 도시도 이며, 상기 도17은 본 발명의 축구 동영상 이벤트 검출방식과 외국실정에 적합한 이벤트 검출방식의 대비도 이다.2 is a flowchart illustrating a soccer video event learning method according to the present invention, FIG. 3 is a flowchart illustrating a soccer video event detection method according to the present invention, and FIG. 4 is an enlargement and reduction of the soccer video screen of the present invention. Figure 5 is a symbol classification state diagram according to the degree, Figure 5 is a symbol classification state diagram according to the field position of the soccer video screen of the present invention, Figure 6 is a low-level information state diagram by the camera shooting target of the soccer video screen of the present invention, FIG. 7 is a diagram showing the 2002 FIFA World Cup and 2002 Busan Asian Games symbol form analysis value of the present invention, FIG. 8 is a diagram showing the distribution of 252 symbol scenes of the football video of the present invention, and FIG. FIG. 10 is a diagram showing an example of representative A, B, and C patterns of the soccer video of the present invention, and FIG. 12 is a state diagram of the event detection system of the soccer video of the present invention, FIG. 13 is a diagram showing 84 types of symbol analysis values of the soccer video of the present invention, and FIG. FIG. 15 is a diagram showing the distribution of 84 symbols and 108 symbols of the present invention soccer video, and FIG. 16 is a 2002 FIFA World Cup football and a 2002 Busan Asian film. As a result of experimenting the game, it is a diagram showing the analysis value of the number of shooting event detection, Figure 17 is a contrast between the event detection method suitable for a foreign country and the football video event detection method of the present invention.

상기 도2를 참조하여 본 발명에 의한 축구 동영상 이벤트 학습방법을 설명하면, 축구 동영상의 중요 장면(SHOT)을 구분하는 다양한 이벤트(EVENT) 발생패턴(PATTERN)을 학습(TRAINING)할 것인지 판단하는 학습1 과정(S110)과,Referring to FIG. 2, a method of learning a soccer video event according to the present invention is to learn whether to train various event occurrence patterns (PATTERN) for distinguishing an important scene (SHOT) of a soccer video. 1 course (S110),

상기 학습1 과정(S110)에서 판단하여 이벤트 패턴을 학습하는 경우에 각 장면들을 심볼(SYMBOL)로 변환하는 것으로, 축구 동영상 장면을 확대축소 정도로 3의 값을 주고, 필드위치로 7의 값을 주고, 카메라의 촬영대상 값으로 2의 값을 주고, 재생속도의 값으로 2의 값을 주고, 그래픽 정보의 사용여부 값으로 2의 값을 각각 반영하여 252개 장면형태의 심볼로 분석하는 학습2 과정(S120)과,In the case of learning the event pattern determined in the learning process 1 (S110), each scene is converted into a symbol SYMBOL, and the soccer video scene is enlarged and reduced to a value of 3 and a field position of 7 is given. , Learning 2 process of giving 2 value as camera's shooting target value, giving 2 value as playing speed value, and reflecting 2 value as the value of graphic information. (S120),

상기 학습2 과정(S120)에서 변환된 심볼(SYMBOL)로부터 관찰시퀀스(OBSERVATION SEQUENCE)를 결정하는 것으로, 상기 관찰시퀀스로 현재 이벤트 장면 심볼과 이전 3개 심볼과 이후 3개 심볼을 포함하여 7개의 심볼로 결정하는 학습3 과정(S130)과,Determining an OBSERVATION SEQUENCE from the transformed symbol SYMBOL in the learning process 2 (S120). The observing sequence includes seven symbols including the current event scene symbol, the previous three symbols, and the following three symbols. Learning 3 course to determine with (S130),

상기 학습3 과정(S130)에서 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델(HMM: HIDDEN MARKOV MODEL) 학습처리 하는 것으로, 상기 은닉 마코프 모델(HMM)을 바움(BAUM)의 포워드 처리(FORWARD PROCESS)와 백워드 처리(BACKWARD PROCESS)로 학습(TRAINING)하여 계산량을 줄이는 학습4 과정으로 이루어지는 구성이다.Using the observation sequence determined in the learning process 3 (S130), the event generation pattern is processed by the Hidden Markov Model (HMM: HIDDEN MARKOV MODEL), and the Hidden Markov Model (HMM) is forwarded to the BAUM (FORWARD). PROCESS) and BACKWARD PROCESS to train (TRAINING) to reduce the amount of computation is composed of four processes.

또한, 상기 도3을 참조하여 본 발명에 의한 축구 동영상 이벤트 검출방법을 설명하면, 축구 동영상의 중요 장면을 구분하는 각각의 이벤트를 검출(DETECT)할 것인지 판단하는 검출1 과정(S210)과,In addition, referring to FIG. 3, a method for detecting a soccer video event according to the present invention will be described. A detection process 1 (S210) for determining whether to detect (DETECT) each event that distinguishes an important scene of a soccer video,

상기 검출1 과정(S210)에서 판단하여 이벤트를 검출하는 경우에 각 장면들을 심볼(SYMBOL)로 변환하는 것으로, 축구 동영상 장면의 확대축소 정도로 3의 값을주고, 필드위치로 7의 값을 주고, 카메라의 촬영대상 값으로 2의 값을 주고, 재생속도의 값으로 2의 값을 주고, 그래픽 정보의 사용여부 값으로 2의 값을 각각 반영하여 252개 장면형태의 심볼로 분석하는 검출2 과정(S220)과,In the case of detecting an event determined in the detection process 1 (S210), by converting each scene into a symbol (SYMBOL), a value of 3 is given to the degree of zooming in and out of a soccer video scene, and a value of 7 is given to a field position. Detection 2 process of giving 2 value as camera's shooting target value, 2 as playback speed value, and reflecting 2 value as the use value of graphic information and analyzing them into 252 scene-type symbols ( S220),

상기 검출2 과정(S220)에서 변환된 심볼로부터 관찰시퀀스를 결정하는 것으로, 상기 관찰시퀀스로 현재 이벤트 장면 심볼과 이전 3개 심볼과 이후 3개 심볼을 포함하여 7개의 심볼로 결정하는 검출3 과정(S230)과,The detection sequence 3 determines the observation sequence from the symbol transformed in the detection process 2 (S220), and determines the observation sequence as seven symbols including the current event scene symbol, the previous three symbols, and the subsequent three symbols. S230),

상기 검출3 과정(S230)에서 결정된 관찰시퀀스를 이용하고, 은닉 마코프 모델(HMM) 학습처리 결과로부터 결합확률을 검출하는 검출4 과정(S240)으로 이루어진 구성이다.The detection sequence is determined by using the observation sequence determined in the detection process 3 (S230), and the detection process 4 (S240) detects a coupling probability from the hidden Markov model (HMM) learning process result.

이하, 상기와 같은 구성의 본 발명에 의한 축구 동영상의 이벤트 학습 및 검출방법을 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, an event learning and detection method of a soccer video according to the present invention having the above configuration will be described in detail with reference to the accompanying drawings.

일반적으로 컴퓨터(PC)가 입력되는 신호를 용이하게 처리하기 위하여 변환하는 모델로, 이미 알고있는 또는 확보하고 있는 특정 신호들을 이용하는 결정적 모델(DETERMINISTIC MODEL)과 잡음(NOISE)과 왜곡(DISTORTION)을 효과적으로 해결하는 통계적 모델(STATISTICAL MODEL)의 두 가지가 있다.In general, a computer (PC) is a model that converts the input signal to facilitate processing, it is effective to use the deterministic model (DETERMINISTIC MODEL), the noise (ISE) and the distortion (DISTORTION) using the specific signals already known or secured There are two types of statistical models to solve.

상기 통계적 모델로 마코프 모델(MARKOV MODEL)이 있으나, 관찰할 수 있는(OBSERVABLE) 신호에 대한 처리만이 가능하므로, 응용(APPLICATION)에 많은 제한이 있다.There is a Markov model as a statistical model, but since only processing for an observable signal is possible, there are many limitations in the application.

상기와 같은 문제를 해결한 것이, 이중의 추정통계적(STOCHASTIC) 모델인 은닉 마코프 모델(HMM: HIDDEN MARKOV MODEL)이며, 신호의 패턴이 다양한 클래스 사이에서 패턴의 왜곡과 유사성을 표현할 수 있게 한다.To solve the above problem, the Hidden Markov Model (HMM), which is a dual STOCHASTIC model, enables the signal pattern to express the distortion and similarity of the pattern among various classes.

상기 은닉 마코프 모델(HMM)은, 문제 해결의 정확한 지식을 가지고 있지 못한 경우에도 그 자체의 모델링 능력과 학습 능력으로 적절한 해결책을 제공하며, 잡음(NOISE)과 손실과 왜곡(DISTORTION)을 해소하는 특징이 있다.The Hidden Markov Model (HMM) provides an appropriate solution with its own modeling and learning capabilities, even when it does not have accurate knowledge of problem solving, and eliminates noise, loss and distortion. There is this.

상기 축구 동영상에서, 이벤트 전후의 시간 흐름에 따른 중간 레벨의 정보 패턴이 생기므로, 시간별 구간에 따른 변화를 확률적으로 모델링하기 위하여 은닉 마코프 모델을 사용한다.In the soccer video, since the information pattern of the intermediate level is generated according to the time flow before and after the event, the hidden Markov model is used to probabilistically model the change over time.

상기와 같이 비디오 등에 의한 것으로 이미 촬영되어 확보된 축구 동영상으로부터 다양하게 발생되는 이벤트 패턴(PATTERN)을 학습하고자 하는 경우(S110), 각각의 이벤트 장면을 252 심볼(SYMBOL)로 변환한다(S120).When it is desired to learn various event patterns PATTERN generated from the soccer video already captured and secured by the video as described above (S110), each event scene is converted into 252 symbols (SYMBOL) (S120).

상기 축구 동영상으로부터 발생되는 각 이벤트를 구분하여 심볼로 설정하는 것은, 일 예로, 화면을 원거리(GLOBAL/LONG SHOT)와 근거리(MEDIUM/WOOM-IN SHOT)와 근접(CLOSE-UP SHOT)의 3 개 심볼로 구분하므로 3의 값을 주고, 필드(FIELD)의 위치는, 일 예로, 각 골대(GOAL POST)의 패널티 영역(PENALTY AREA)과 각각의 좌우 코너(CORNER)와 미드필드 영역(MID-FIELD AREA)에 의한 7개 심볼로 구분하므로 7의 값을 준다.For example, each event generated from the soccer video is set as a symbol. For example, three screens, such as GLOBAL / LONG SHOT, MEDIUM / WOOM-IN SHOT, and CLOSE-UP SHOT, may be used. The value is set to 3 because it is divided into symbols, and the location of the field is, for example, a penalty area of each goal post, each of the left and right corners, and the midfield area (MID-FIELD). It is divided into 7 symbols by AREA) and gives a value of 7.

상기와 같이 화면의 확대와 축소정도에 의한 심볼 구분의 실제 상황은 첨부된 도4와 같으며, 필드 위치에 의한 심볼 구분의 실제 상황은 첨부된 도5와 같다.As described above, the actual situation of symbol division based on the enlargement and reduction of the screen is as shown in FIG. 4, and the actual situation of symbol division by field positions is shown in FIG. 5.

또한, 카메라가 촬영하는 대상이 필드(FIELD)인지 선수(PLAYER)인지 관객(AUDIENCE)인지의 3개 심볼로 구분하기 위하여 3의 값을 주고, 재생되는 속도를 모션벡터(MOTION VECTOR) 또는 점진적 장면 변화(GRADUAL SHOT TRANSITION)의 편집효과(EDITING EFFECT)로 판단하는 것으로, 정상속도의 재생과 늦은 속도로 재생하는 재연장면(REPLAY SHOT)의 2개 심볼로 구분하기 위하여 2의 값을 주며, 그래픽 정보의 사용유무를 2개의 심볼로 구분하기 위하여 2의 값을 각각 준다.In addition, a value of 3 is given in order to classify the camera object into three symbols of a field, a player, or an audience, and the playback speed is a motion vector or a gradual scene. It is judged by the editing effect of GRADUAL SHOT TRANSITION, and it is given a value of 2 to divide it into two symbols of the normal speed playback and the replay screen played at a slow speed. The value of 2 is given to separate the use of into two symbols.

상기 카메라가 촬영하고 있는 대상이 무엇인지를 자동으로 판단하기 위한 것으로, 에지(EDGE)의 강도 도수분포(INTENSITY HISTOGRAM)와, 부분길이(SEGMENT LENGTH)와, 방향의 분포와, 색조(HUE)의 도수분포 등을 사용하고, 그래픽 정보의 사용유무는 에지(EDGE) 정보와 고주파(HIGH FREQUENCY) 분포 정도를 이용한다.It is for automatically determining what is being photographed by the camera, and the intensity distribution of edges, the segment length, the distribution of the direction, and the color tone of the hue. The frequency distribution and the like are used, and the presence or absence of graphic information is used by the edge information and the high frequency distribution.

상기 첨부된 도6은, 카메라 촬영대상을 구분하기 위한 저급 수준 정보와 촬영상태 및 그래픽 정보의 에지 히스토그램 추출상태를 도시하고 있고, 도7은 상기와 같은 2002 피파 월드컵과 2002 부산 아시안 게임의 10 경기를 252 개의 심볼형태로 분석한 값을 도시한 것이고, 도8은 축구 동영상의 252 심볼값에 의한 장면형태 분포도 이다.The attached FIG. 6 shows low-level information and an edge histogram extraction state of photographing state and graphic information for distinguishing a camera photographing object, and FIG. 7 shows 10 games of the 2002 FIFA World Cup and 2002 Busan Asian Games. Is a value obtained by analyzing 252 symbols, and FIG. 8 is a scene shape distribution diagram using 252 symbol values of a soccer video.

상기와 같은 축구 동영상에서 발생하는 이벤트로는 골(GOAL), 슛팅(SHOOTING), 코너킥(CORNER KICK), 프리킥(FREE KICK), 페널티킥(PENALTY KICK), 반칙(FOUL) 등이고, 다음 표1은, 일 예로, 10개 축구 동영상 경기로부터 검출한 이벤트 이다.The events that occur in the soccer video above are GOAL, SHOOTING, CORNER KICK, FREE KICK, PENALTY KICK, Foul, etc. For example, the event detected from 10 soccer video games.

(표1)Table 1

이벤트event goal 슛팅Shooting 코너킥corner kick 프리킥free kick 페널티킥Penalty kick 반칙Foul 검출값/10게임Detection value / 10 game 20/1020/10 215/10215/10 108/10108/10 215/10215/10 2/102/10 328/10328/10 평균Average 2/12/1 22/122/1 11/111/1 22/122/1 0-2/10-2 / 1 33/133/1

상기 표1에 의하면, 임의 선정된 10개 축구 경기에서 슈팅 이벤트가 215번 발생하고, 슈팅 이벤트가 발생할 때, 일 예로, 이전의 3개 장면(SHOT)과 이벤트가 발생하는 장면과 이벤트가 일어난 후의 3개 장면을 하나의 관찰시퀀스로 결정한다(S130).According to Table 1, when the shooting event occurs 215 times in 10 randomly selected soccer games, and when the shooting event occurs, for example, the previous three scenes (SHOT) and the scene after the event and the event occurs Three scenes are determined as one observation sequence (S130).

상기 215개의 시퀀스들은, 상기 도9에 도시된 것과 같이 A 패턴과 B 패턴과 C 패턴과 다수이면서 소수인 기타 패턴으로 나타나며, 상기 A, B, C 패턴이 전체 이벤트의 80%이상을 차지하며, 상기 첨부된 도10에 상기와 같이 대표적인 A, B, C 패턴의 일 예를 도시하였다.The 215 sequences are represented by the A pattern, the B pattern, and the C pattern, and a large number of other patterns, as shown in FIG. 9, wherein the A, B, and C patterns occupy 80% or more of the total events. FIG. 10 shows an example of representative A, B, and C patterns as described above.

상기 도10에서, 슈팅 이벤트가 발생할 때 나타나는 A 패턴은, 이벤트가 발생하기 전, 코너 영역에서 경기가 중단되었다가 다시 진행되고, 슈팅 후 슈팅한 선수를 클로즈업(CLOSE-UP) 한 장면이 이어지며, 재연(REPLAY) 장면들이 이어지는 패턴이고, 상기 재연 장면의 경우도, 볼이 골대를 향해 날아가는 장면과 골대 앞에서 볼을 차는 장면과 선수의 모습으로 구성된다.In FIG. 10, the A pattern that appears when the shooting event occurs, the game is interrupted and resumed in the corner area before the event occurs, followed by a close-up of the player who shoots after shooting. The replay scene is a continuous pattern. The replay scene also includes a scene in which the ball flies toward the goal post, a scene in which the player kicks the ball in front of the goal post.

상기 도10 에서 B 패턴은, A 패턴과 유사하지만, 코너킥이 발생한 후 슈팅 이벤트가 발생하는 것으로, 이벤트 후에 슈팅한 선수를 클로즈업하고, 재연장면이 이어진다.In FIG. 10, the B pattern is similar to the A pattern, but a shooting event occurs after a corner corner is generated.

상기 재연장면은 코너킥이 발생하기 전, 골대 앞에서 선수 들 간의 몸싸움을 보여주고, 이어서 코너킥과 이어지는 슈팅 장면을 재연하며, 선수의 모습을 보여주고, 재연장면에 이어서, 경기가 진행되는 모습을 원거리와 근거리에서 볼을 차는선수 모습을 보여준다.The replay shows the players fighting in front of the goalpost before the corner is taken, then replays the shooting scenes following the corner, shows the player, followed by the replay, and shows the progress of the game over a distance. Shows a player kicking a ball from close range.

상기 도10 에서 C 패턴은, 이벤트가 발생하기 전의 패턴이 존재하는데, 골 영역을 원거리에서 촬영하다가, 근거리 장면으로 이어지고, 다시 원거리 장면에서 슈팅이 발생하는 것으로, 상대편 골 영역까지 볼이 패스되고, 공격할 빈틈을 노리다가 슈팅이 이어지는 것을 보여주며, 상기 이벤트가 발생한 후에는, 슈팅한 선수가 클로즈업(CLOSE-UP) 되고, 재연(REPLAY) 장면으로 이어지며, 상기 재연 장면 후에는 경기가 진행되는 모습을 원거리에서 보여준다.In FIG. 10, the C pattern has a pattern before an event occurs, and the goal area is photographed at a long distance, followed by a near scene, and then a shooting occurs at a far scene, and the ball passes to the opponent goal area. After shooting the game, the shooting player is CLOSE-UP, followed by a REPLAY scene, and the game is played after the replay scene. Show you from a distance

상기와 같은 분석을 통하여, A, B, C 패턴은 슈팅이 발생하기 전에 다양한 공격방법으로 진행되고, 이벤트가 발생 한 후에는 어느 정도 일정한 장면이 발생하고 있음을 보여준다.Through the above analysis, A, B, C pattern is progressed by various attack methods before the shooting occurs, and shows that a certain scene occurs to some extent after the event occurs.

상기 첨부된 도11은, 슈팅 이벤트의 각 패턴 분포도를 보여주는 것으로, 축구경기에서 슈팅이 발생하는 패턴은 A, B, C 패턴의 비중이 높으며, 나머지 다수이면서 소수인 패턴은 비중이 아주 작음을 보여준다.FIG. 11 shows the distribution of each pattern of the shooting event. In the soccer game, the pattern in which the shooting occurs has a high specific gravity of the A, B, and C patterns. .

즉, 상기 슈팅 이벤트가 발생할 때 슈팅 이벤트 전후의 시퀀스에서 A, B, C 패턴의 주된 3 가지 패턴과 그 외의 나머지를 하나의 패턴으로 하여, 총 4가지의 패턴이 존재하지만, 이러한 패턴들에서 예외 현상이 많이 발생하는 것을 볼 수 있다.That is, when the shooting event occurs, a total of four patterns exist in the sequence before and after the shooting event, with the main three patterns of the A, B, and C patterns and the rest as one pattern, but there are exceptions in these patterns. It can be seen that a lot of phenomenon occurs.

그러나, 상기 슈팅 이벤트의 패턴과 유사한 시퀀스로 슈팅 이벤트가 발생하지 않는 경우는 많이 존재하지 않는 다는 것을 알 수 있으며, 시간적인 흐름에서 패턴을 학습하고 모델화하는 방법으로서 패턴의 왜곡과 유사성을 표현할 수 있어잡음이나 변형을 흡수하면서 빠른 처리가 가능한 특징을 가지는 은닉 마코프 모델을 사용한다(S140).However, it can be seen that there are not many cases where a shooting event does not occur in a sequence similar to the pattern of the shooting event. As a method of learning and modeling a pattern in a temporal flow, the distortion and similarity of the pattern can be expressed. A hidden Markov model having a feature capable of fast processing while absorbing noise or distortion is used (S140).

상기와 같이 축구 동영상의 이벤트 학습이 완료되면, 이벤트를 검출하는지 판단하고(S210), 상기 판단에서 이벤트를 검출하고자 하는 경우, 상기 이벤트 학습처리의 경우와 동일하게 각 장면들을 심볼(SYMBOL)로 변환하고(S220), 상기 이벤트 학습처리의 경우와 동일하게 관찰 시퀀스를 결정한다(S230).When the event learning of the soccer video is completed as described above, it is determined whether an event is detected (S210), and when the event is to be detected by the determination, each scene is converted into a symbol SYMBOL as in the event learning process. In operation S220, the observation sequence is determined in the same manner as in the event learning process in operation S230.

상기와 같이 관찰 시퀀스가 결정되면(S230), 상기 은닉 마코프 모델에 의한 학습처리 결과를 입력하여, 결합확률을 다음 식과 같이 검출한다.When the observation sequence is determined as described above (S230), the result of the learning process by the hidden Markov model is input, and the coupling probability is detected as follows.

(수학식)(Mathematical formula)

P(O|λ)=P(O1,O2,..,OT|λ)P (O | λ) = P (O 1 , O 2 , .., O T | λ)

λ= {A,B,π}λ = {A, B, π}

A={aij}, aij = P{qj(t+1)|qi(t)} : 상태천이 확률분포A = {aij}, aij = P {qj (t + 1) | qi (t)}: State transition probability distribution

B={bj(k), bj(k) = P{vk(t)|qj(t)} : 상태J에서 관찰심볼 확률분포B = {bj (k), bj (k) = P {vk (t) | qj (t)}: Observation symbol probability distribution in state J

π=(πi}, πi = P{qi(1)} : 초기 상태 확률분포π = (πi}, πi = P {qi (1)}: Initial state probability distribution

상기와 같이, 축구 동영상으로부터 이벤트를 학습하고 검출하는 각각의 처리과정을, 첨부된 도12를 참조하면 좀더 용이하게 알 수 있다.As described above, each process of learning and detecting an event from a soccer video can be more easily understood with reference to FIG. 12.

즉, 학습과정과 검출과정이 각각의 순서에 의하여 처리되고, 최종적으로 학습과정에서 학습한 결과를 이용하여 검출과정에서 이벤트를 검출하고 있음을 보여준다.That is, it shows that the learning process and the detection process are processed according to their respective order, and finally, the event is detected in the detection process using the results learned in the learning process.

상기와 같이 축구 동영상으로부터 각각의 장면을 252가지 심볼(SYMBOL)로 정의하고 있으나, 실제적으로, 카메라의 촬영대상이 관객이거나 벤치인 경우, 장면(SHOT) 형태들을 필드상의 위치정보와 무관하게 하나의 심볼로 정의하고, 선수를 클로즈업하는 장면에서도 필드 상의 위치 정보를 하나의 심볼로 정의하면, 전체의 심볼을 84개 심볼로 정의 할 수 있고, 상기와 같은 심볼의 정의를 첨부된 도13에서 보여준다.As described above, each scene is defined as 252 symbols (SYMBOL) from the soccer video, but in reality, when the shooting target of the camera is an audience or a bench, the shot (SHOT) forms are formed regardless of the position information on the field. If a symbol is defined and position information on a field is defined as one symbol even in a scene of close-up of a player, the entire symbol can be defined as 84 symbols, and the definition of the symbol is shown in FIG.

또한, 선수를 클로즈업한 장면에서 선수의 위치 정보를 알기 힘들지만, 선수가 골키퍼일 때는 골영역이라는 것을 알아낼 수 있고, 골키퍼가 아니더라도, 앞뒤의 장면에서 현재 클로즈업된 선수의 위치를 알아낼 수 있다.In addition, it is difficult to know the position information of the player in the close-up of the player, but when the player is the goalkeeper, it is possible to find out the goal area, and even if not the goalkeeper, it is possible to find the position of the currently close-up player in the front and rear scenes.

이러한 방법으로 252 가지 장면의 심볼을 108 가지 장면의 심볼로 정의할 수 있고, 도14에 도시된 것과 같다,In this way, symbols of 252 scenes can be defined as symbols of 108 scenes, as shown in FIG.

상기와 같이 252 심볼의 경우는, 이용비율이 낮으며, 심볼이 84인 경우와 108 인 경우는 심볼의 이용비율이 높아지면서도 전체적인 분포에는 변함이 없음을 상기 첨부된 도15의 심볼 분포도에서 확인할 수 있다.As described above, in the case of the 252 symbol, the utilization ratio is low, and in the case of the symbols 84 and 108, the utilization ratio of the symbol is high and the overall distribution is not changed. have.

즉, 252 심볼(SYMBOL)을 사용하는 경우보다, 84 심볼 또는 108 심볼을 사용하는 경우가, 이벤트 발생 패턴이 단순하여 해당 처리작업이 간편해 지지만, 이벤트 패턴에는 큰 변화가 없음을 알 수 있다.That is, the case where 84 symbols or 108 symbols are used rather than 252 symbols (SYMBOL) is used, but the processing pattern is simplified because the event occurrence pattern is simple, but it can be seen that there is no significant change in the event pattern.

상기와 같은 본 발명을 이용하여 2002년 피파 월드컵 축구와 2002년 부산 아시안게임을 실험한 결과, 슈팅 이벤트 검출 횟수가, 상기 도16에 도시되어 있다.As a result of experimenting with the 2002 FIFA World Cup Soccer and the 2002 Busan Asian Game using the present invention as described above, the number of shooting events detected is shown in FIG.

종래의 이벤트 검출 방법은 상태 천이 다이어그램을 이용하는 것으로, 스포츠 경기에서 발생하는 예외 현상의 특성을 반영하지 않아, 낮은 검출률을 나타내었으나, 본 발명에서는 은닉 마코프 모델을 사용하여, 국내 방송 실정에 적합한 것으로, 예외 현상을 통계적인 방법으로 학습하므로 시퀀스 인식 문제를 해결하고 검출률을 향상시킨다.Conventional event detection method uses a state transition diagram, which does not reflect the characteristics of exceptions occurring in sports events, and shows a low detection rate. Statistical analysis of exceptions solves sequence recognition problems and improves detection rates.

상기 첨부된 도17에서는 외국의 실정에 적합한 기존의 이벤트 검출방식과 국내 실정에 적합한 이벤트 검출 방식의 대비 도시도로, 본 발명이 국내 방송 실정에 가장 적합한 방법임을 보여준다.The attached FIG. 17 shows a comparison diagram of an existing event detection method suitable for a foreign situation and an event detection method suitable for a domestic situation, and shows that the present invention is the most suitable method for a domestic broadcasting situation.

상기와 같은 본 발명은, 유무선 TV 방송이외에 동영상 통신이 가능한 휴대단말기를 포함하는 다양한 멀디미디어 통신기기에 적용할 수 있다.As described above, the present invention can be applied to various multimedia communication devices including a portable terminal capable of video communication in addition to wired / wireless TV broadcasting.

특히, 본 발명 기술을, 데이터 전송량에 비례하여 통신요금을 부과하는 멀티미디어 휴대단말기에 적용하는 경우, 전체 축구 경기 내용을 전송하는 대신에 주요 하이라이트 이벤트를 검출하여 전송하므로, 짧은 시간에 축구 경기의 전체 내용을 용이하게 파악하도록 하는 동영상 신호 전송이 가능하다.In particular, when the present invention is applied to a multimedia portable terminal that charges a communication fee in proportion to the amount of data transmission, the main highlight event is detected and transmitted instead of the entire soccer game content. It is possible to transmit a video signal to easily understand the contents.

따라서, 멀티미디어 휴대단말기와 같은 통신장비를 이용하는 경우, 하이라이트 이벤트 부분만을 검출하여 전송하므로, 전송되는 데이터의 량이 줄어들고, 통신비용을 적게 지불하므로, 무선통신장비의 서비스 품질과 동영상 처리 기술의 신뢰도를 제고하며 시스템의 유용성과 안정성을 향상시킨다.Therefore, when using a communication device such as a multimedia portable terminal, since only the highlight event portion is detected and transmitted, the amount of data to be transmitted is reduced and communication costs are reduced, thereby improving the quality of service and video processing technology of the wireless communication device. And improve the usability and stability of the system.

상기와 같은 구성의 본 발명은, 은닉 마코프 모델을 사용하여 국내 동영상 방송 실정에 의한 축구 동영상으로부터 이벤트 검출률을 제고하는 산업적 이용효과가 있다.The present invention having the above configuration has an industrial use effect of improving the event detection rate from the soccer video by the domestic video broadcasting situation using the hidden Markov model.

또한, 축구 동영상으로부터 각각의 이벤트를 높은 비율로 검출하여 제공하므로, 축구 경기의 분석을 용이하게 하는 사용상 편리한 효과가 있다.In addition, since each event is detected and provided at a high rate from the soccer video, there is a convenient effect in use to facilitate the analysis of the soccer game.

또한, 축구경기의 중요 하이라이트 이벤트만을 검출하여 짧은 시간에 감상하므로 시간을 절약하고, 멀티미디어 통신장비에 적용하여 전송할 수 있는 사용상 편리한 효과가 있다.In addition, it detects only the important highlight events of the football game and enjoys in a short time, saving time, and has a convenient effect that can be applied to the multimedia communication equipment and transmitted.

또한, 전송 데이터 량에 비례하여 통신요금을 부과하는 멀티미디어 무선통신 방식에서, 최소의 비용과 짧은 시간으로 축구 경기 전체 내용을 용이하게 파악할 수 있는 사용상 편리한 효과가 있다.In addition, in the multimedia wireless communication method that charges a communication fee in proportion to the amount of transmission data, there is a convenient effect that can easily grasp the entire content of the football game with a minimum cost and a short time.

Claims (10)

축구 동영상의 이벤트 패턴을 학습할 것인지 판단하는 학습1 과정과,Learning 1 process to determine whether to learn the event pattern of the football video, 상기 학습1 과정에서 판단하여 이벤트를 학습하는 경우에 각 장면들을 심볼로 변환하는 학습2 과정과,Learning 2 process of converting each scene into a symbol when learning the event determined in the learning 1 process, 상기 학습2 과정에서 변환된 심볼로부터 관찰 시퀀스를 결정하는 학습3 과정과,A learning 3 process of determining an observation sequence from the symbols converted in the learning 2 process; 상기 학습3 과정에서 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델 학습처리 하는 학습4 과정으로 이루어진 것을 특징으로 하는 축구 동영상의 이벤트 학습방법.The event learning method of the soccer video comprising a learning 4 process of learning the hidden Markov model learning process using the observation sequence determined in the learning 3 process. 제1 항에 있어서, 상기 학습2 과정은,The method of claim 1, wherein the learning 2 process comprises: 축구 동영상 장면을 확대축소 정도와 필드위치와 카메라의 촬영대상과 재생속도와 그래픽 정보의 사용여부를 반영하여 252개 장면형태의 심볼로 분석하는 것을 특징으로 하는 축구 동영상의 이벤트 학습방법.A method of learning an event of a football video, characterized by analyzing the football video scene with symbols of 252 scene types, reflecting the zoom level, field position, camera shooting target, playback speed, and use of graphic information. 제1 항에 있어서, 상기 학습3 과정은,According to claim 1, wherein the learning 3 process, 관찰시퀀스로 현재 이벤트 장면 심볼과 이전 3개 심볼과 이후 3개 심볼을 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 학습방법.The event learning method of a soccer video comprising a current event scene symbol, the previous three symbols and the next three symbols as the observation sequence. 제1 항에 있어서, 상기 학습4 과정은,According to claim 1, wherein the learning 4 process, 은닉 마코프 모델을 바움의 포워드 처리와 백워드 처리로 학습하여 계산량을 줄이는 것을 특징으로 하는 축구 동영상의 이벤트 학습방법.A method of learning an event of a football video, characterized by reducing the amount of computation by learning the hidden Markov model by forward processing and backward processing of Baum. 축구 동영상의 각 이벤트를 검출할 것인지 판단하는 검출1 과정과,Detecting 1 process for determining whether to detect each event of the football video, 상기 검출1 과정에서 판단하여 이벤트를 검출하는 경우에 각 장면들을 심볼로 변환하는 검출2 과정과,Detecting 2 process of converting each scene into a symbol when detecting the event determined in the detecting step 1, 상기 검출2 과정에서 변환된 심볼로부터 관찰 시퀀스를 결정하는 검출3 과정과,A detection 3 process of determining an observation sequence from the symbols converted in the detection 2 process; 상기 검출3 과정에서 결정된 관찰 시퀀스를 이용하고, 은닉 마코프 모델 학습처리 결과로부터 결합확률을 검출하는 검출4 과정으로 이루어진 것을 특징으로 하는 축구 동영상의 이벤트 검출방법.And a detection 4 step of detecting a coupling probability from a hidden Markov model learning process result by using the observation sequence determined in the detection 3 step. 제5 항에 있어서, 상기 검출2 과정은,The method of claim 5, wherein the detecting2 process comprises: 동영상 장면의 확대축소 정도와 필드위치와 카메라의 촬영대상과 재생속도와 그래픽 정보의 사용여부를 반영하여 252 개 장면형태의 심볼로 분석하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법.A method of detecting an event of a football video, characterized in that it is analyzed by symbols of 252 scene types, reflecting the degree of zooming in and out of the video scene, field position, camera shooting target, playback speed, and graphic information. 제5 항에 있어서, 상기 검출3 과정은,The method of claim 5, wherein the detecting step 3 comprises: 관찰시퀀스로 현재 이벤트 장면 심볼과 이전 3개 심볼과 이후 3개 심볼을 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법.The event detection method of a soccer video, comprising the current event scene symbol, the previous three symbols and the next three symbols as the observation sequence. 제5 항에 있어서, 상기 검출4 과정은,The method of claim 5, wherein the detecting step 4 comprises: 은닉 마코프 모델 학습처리결과로부터 결합확률을 검출하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법.Detecting the combined probability from the hidden Markov model learning process result. 동영상 축구경기의 중요 하이라이트 이벤트를 검출하고 유무선 텔레비전 방송과 멀티미디어 무선통신장비를 통하여 전송하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법.An event detection method of a soccer video, the method comprising detecting an important highlight event of a video soccer game and transmitting it through wired / wireless television broadcasting and multimedia wireless communication equipment. 제9 항에 있어서, 상기 무선통신장비는,The method of claim 9, wherein the wireless communication device, 멀티미디어 통신용 휴대단말기를 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법.Event detection method of a soccer video comprising a mobile terminal for multimedia communication.
KR1020030053218A 2003-07-31 2003-07-31 A detecting method and a training method of event for soccer video KR100963744B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030053218A KR100963744B1 (en) 2003-07-31 2003-07-31 A detecting method and a training method of event for soccer video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030053218A KR100963744B1 (en) 2003-07-31 2003-07-31 A detecting method and a training method of event for soccer video

Publications (2)

Publication Number Publication Date
KR20050014559A true KR20050014559A (en) 2005-02-07
KR100963744B1 KR100963744B1 (en) 2010-06-14

Family

ID=37225676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030053218A KR100963744B1 (en) 2003-07-31 2003-07-31 A detecting method and a training method of event for soccer video

Country Status (1)

Country Link
KR (1) KR100963744B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102234165B1 (en) * 2020-07-13 2021-03-31 주식회사 스포츠로그 Service providing apparatus and method for match analysis

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180055070A (en) 2016-11-16 2018-05-25 삼성전자주식회사 Method and device to perform to train and recognize material
KR20180066474A (en) 2016-12-09 2018-06-19 한국전자통신연구원 Apparatus and method for soccer event detection based on motion

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100492093B1 (en) * 2001-07-13 2005-06-01 삼성전자주식회사 System and method for providing summary video information of video data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102234165B1 (en) * 2020-07-13 2021-03-31 주식회사 스포츠로그 Service providing apparatus and method for match analysis

Also Published As

Publication number Publication date
KR100963744B1 (en) 2010-06-14

Similar Documents

Publication Publication Date Title
Huang et al. Semantic analysis of soccer video using dynamic Bayesian network
JP5420199B2 (en) Video analysis device, video analysis method, digest automatic creation system and highlight automatic extraction system
US8018491B2 (en) Summarization of football video content
CN110381366B (en) Automatic event reporting method, system, server and storage medium
US20020018594A1 (en) Method and system for high-level structure analysis and event detection in domain specific videos
Ariki et al. Automatic production system of soccer sports video by digital camera work based on situation recognition
JP2002232840A (en) Method for summarizing moving picture
Takagi et al. Sports video categorizing method using camera motion parameters
Oskouie et al. Multimodal feature extraction and fusion for semantic mining of soccer video: a survey
JP4271930B2 (en) A method for analyzing continuous compressed video based on multiple states
Kumar et al. Automatic summarization of broadcast cricket videos
KR100963744B1 (en) A detecting method and a training method of event for soccer video
Nieto et al. An automatic system for sports analytics in multi-camera tennis videos
Jin et al. Hidden markov model based events detection in soccer video
Mei et al. Structure and event mining in sports video with efficient mosaic
JP2003143546A (en) Method for processing football video
Mei et al. Sports video mining with mosaic
Han et al. Feature design in soccer video indexing
Bertini et al. Model checking for detection of sport highlights
CN112287771A (en) Method, apparatus, server and medium for detecting video event
Pandya et al. Frame based approach for automatic event boundary detection of soccer video using optical flow
Su et al. Transition effect detection for extracting highlights in baseball videos
Bertini et al. Highlights modeling and detection in sports videos
Huang et al. Shot and scoring events identification of basketball videos
KR102652647B1 (en) Server, method and computer program for generating time slice video by detecting highlight scene event

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130514

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140523

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150522

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160524

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee