KR100963744B1 - A detecting method and a training method of event for soccer video - Google Patents

A detecting method and a training method of event for soccer video Download PDF

Info

Publication number
KR100963744B1
KR100963744B1 KR1020030053218A KR20030053218A KR100963744B1 KR 100963744 B1 KR100963744 B1 KR 100963744B1 KR 1020030053218 A KR1020030053218 A KR 1020030053218A KR 20030053218 A KR20030053218 A KR 20030053218A KR 100963744 B1 KR100963744 B1 KR 100963744B1
Authority
KR
South Korea
Prior art keywords
event
video
scene
learning
symbol
Prior art date
Application number
KR1020030053218A
Other languages
Korean (ko)
Other versions
KR20050014559A (en
Inventor
이태연
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020030053218A priority Critical patent/KR100963744B1/en
Publication of KR20050014559A publication Critical patent/KR20050014559A/en
Application granted granted Critical
Publication of KR100963744B1 publication Critical patent/KR100963744B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Abstract

본 발명은 축구 동영상 멀티미디어에 은닉 마코프 모델을 적용하여 국내 방송 실정에 적합하게 이벤트 발생을 학습시키고 자동으로 검출하는 방법으로서, 축구 동영상의 이벤트 패턴의 학습여부를 판단하는 과정과, 상기 이벤트 패턴을 학습하는 경우 축구 동영상의 각 장면들을 심볼로 변환하는 과정과; 상기 변환된 심볼로부터 관찰 시퀀스를 결정하는 과정과; 상기 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델 학습처리 하는 과정을 포함한다. 또한, 본 발명은 축구 동영상의 각 이벤트의 검출 여부를 판단하는 과정과; 상기 이벤트를 검출하는 경우 각 장면들을 심볼로 변환하는 과정과; 상기 변환된 심볼로부터 관찰 시퀀스를 결정하는 과정과, 상기 결정된 관찰 시퀀스를 이용하고, 은닉 마코프 모델 학습처리 결과로부터 결합확률을 검출하는 과정을 수행하여, 국내 동영상 방송 실정의 축구 동영상에 적합하게 이벤트 검출률을 제고하고, 축구 경기의 분석을 용이하게 한다. The present invention is a method of learning and automatically detecting an event occurrence in accordance with the domestic broadcast situation by applying a hidden Markov model to a football video multimedia, the process of determining whether to learn the event pattern of the football video, and learning the event pattern Converting each scene of the soccer video into a symbol if the symbol is present; Determining an observation sequence from the transformed symbol; And learning the hidden Markov model by using the determined observation sequence. The present invention also provides a method of determining whether or not each event of a soccer video is detected; Converting each scene into a symbol when detecting the event; Determining the observation sequence from the transformed symbol and using the determined observation sequence, and detecting the combined probability from the hidden Markov model learning process result, so that the event detection rate is suitable for the soccer video of domestic video broadcasting. To improve and facilitate the analysis of the football game.

Description

축구 동영상의 이벤트 학습 및 검출방법{A DETECTING METHOD AND A TRAINING METHOD OF EVENT FOR SOCCER VIDEO} Event learning and detection method of soccer video {A DETECTING METHOD AND A TRAINING METHOD OF EVENT FOR SOCCER VIDEO}

도1 은 일반적인 축구 동영상의 이벤트 검출 장치 기능 구성도, 1 is a functional block diagram of an event detection apparatus of a general soccer video;

도2 는 본 발명에 의한 축구 동영상 이벤트 학습방법 순서도, 2 is a flow chart of the soccer video event learning method according to the present invention;

도3 은 본 발명에 의한 축구 동영상 이벤트 검출방법 순서도, 3 is a flowchart illustrating a method for detecting a soccer video event according to the present invention;

도4 는 축구 동영상 화면의 확대와 축소정도에 의한 심볼 구분 상태도, 4 is a symbol classification state diagram according to the degree of expansion and contraction of the soccer video screen;

도5 는 본 발명 축구 동영상 화면의 필드 위치에 의한 심볼 구분상태도, 5 is a state diagram of symbol classification according to field positions of the present invention soccer video screen;

도6 은 축구 동영상의 카메라 촬영대상에 의한 저급수준 정보 상태 도시도, 6 is a low level information state diagram by a camera photographing target of a soccer video;

도7 은 2002 피파 월드컵과 2002 부산 아시안 게임 심볼형태 분석값 도시도, 7 is a diagram showing the analysis results of the 2002 FIFA World Cup and 2002 Busan Asian Games.

도8 은 본 발명 축구 동영상의 252 심볼 장면형태 분포 도시도, 8 is a 252 symbol scene shape distribution diagram of the soccer video of the present invention;

도9 는 본 발명 축구 동영상의 각 시퀀스에 의한 패턴 분석도, 9 is a pattern analysis diagram according to each sequence of the soccer video of the present invention;

도10 은 본 발명 축구 동영상의 대표적인 A, B, C 패턴의 일 예 도시도, 10 is a diagram showing an example of a representative A, B, C pattern of the present invention soccer video,

도11 은 본 발명 축구 동영상의 각 이벤트 발생 패턴 막대도표 분포도, 11 is a distribution chart of each event occurrence pattern bar chart of the present invention soccer video;

도12 는 본 발명 축구 동영상의 이벤트 검출 시스템 구성상태도, 12 is a state diagram of an event detection system of the present invention soccer video;

도13 은 본 발명 축구 동영상의 84 가지 심볼형태 분석값 도시도, Fig. 13 is a diagram showing 84 symbolic analysis values of the present invention soccer video.

도14 는 본 발명 축구 동영상의 108 가지 심볼형태 분석값 도시도, 14 is a view showing 108 symbolic analysis values of a soccer video of the present invention;

도15 는 축구 동영상의 84가지 심볼과 108 가지 심볼의 분포상태 도시도, Fig. 15 is a diagram showing the distribution of 84 symbols and 108 symbols of a soccer video.                 

도16 은 본 발명 축구 동영상의 2002년 피파 월드컵 축구와 2002년 부산 아시안 게임을 실험한 슈팅 이벤트 검출 횟수 분석값 도시도, FIG. 16 is a diagram illustrating a shooting event detection frequency analysis value of a 2002 FIFA World Cup soccer game and a 2002 Busan Asian game of the present invention soccer video.

도17은 본 발명의 축구 동영상 이벤트 검출방식과 외국실정에 적합한 이벤트 검출방식의 대비도. Figure 17 is a contrast between the football video event detection method of the present invention and the event detection method suitable for foreign circumstances.

** 도면의 주요 부분에 대한 부호 설명 **          ** Explanation of symbols on the main parts of the drawing **

10 : 동영상부 20 : 동영상분석부10: video unit 20: video analysis unit

30 : 디브엘부 40 : 브라우징툴부30: DL part 40: browsing tool part

50 : 검출부 50: detector

본 발명은 동영상 멀티미디어로부터 특정 이벤트를 검색하여 출력하는 것으로, 특히, 축구 동영상 멀티미디어에 은닉 마코프 모델(HIDDEN MARKOV MODEL)을 적용하여 국내 방송 실정에 적합하게 이벤트가 발생하는 장면을 학습시키며 자동 검색 출력하는 축구 동영상의 이벤트 학습 및 검출방법에 관한 것이다. The present invention is to search for and output a specific event from the video multimedia, in particular, by applying the hidden Markov model (HIDDEN MARKOV MODEL) to the soccer video multimedia to learn the scene where the event occurs in accordance with the domestic broadcast situation and automatically search output An event learning and detection method of a soccer video.

컴퓨터의 관련 기술발달과 급격한 성능향상, 망(NETWORK)의 고속화, 대용량 저장장치 개발 등으로, 사람이 쉽게 인지할 수 있고 신속하게 의사 전달할 수 있는, 동영상(VIDEO)의 멀티미디어(MULTIMEDIA) 정보 사용이 늘어나고 있으며 기록 보존의 정확성에서도 그 중요성이 확인되고 있다. Due to the development of computer related technology, rapid performance improvement, network speed, and mass storage device development, it is possible to use multimedia information of video that can be easily recognized and communicated quickly. Increasingly, the importance of record keeping is being confirmed.

상기 멀티미디어 신호는, 디지털(DIGITAL) 신호로 효율적 처리 및 관리하며, 데이터 용량이 매우 많으므로, 대용량의 저장장치(STORAGE DEVICE)를 필요로 하고, 상기와 같은 대용량의 멀티미디어 데이터를 관리하기 위한 DVL(DIGITAL VIDEO LIBRARY) 시스템 기술이 개발되고 있으며, 상기와 같은 DVL 기술에 의하여 VOD(VIDEO ON DEMAND) 서비스 등이 제공되고 있다. The multimedia signal is efficiently processed and managed as a digital signal, and since the data capacity is very large, a large capacity storage device is required, and a DVL (data storage device) for managing such a large amount of multimedia data is required. DIGITAL VIDEO LIBRARY system technology is being developed, and VOD (VIDEO ON DEMAND) services are provided by the above-described DVL technology.

상기와 같은 멀티미디어 컨텐츠(CONTENTS) 정보들은, 대용량의 저장장치에 기록저장하며, 필요한 경우, 상기와 같이 멀티미디어 정보가 기록된 대용량의 저장장치로부터 원하는 정보를 신속하고 용이하며 정확하게 검색하기 위하여, 인덱싱(INDEXING)을 하여 저장하고 관리하여야 하며, 상기와 같은 인덱싱을 위하여서는 브라우징 툴(BROWSING TOOL)이나 요약 파일을 만들어야 한다. The multimedia contents (CONTENTS) information is recorded and stored in a mass storage device, and, if necessary, indexed to quickly, easily and accurately retrieve desired information from the mass storage device in which the multimedia information is recorded as described above. INDEXING) to store and manage. For indexing as described above, a browsing tool or a summary file should be created.

그러나, 상기와 같은 인덱싱을 사람이 직접 작업하기에는, 매우 많은 노동력을 필요로 하고, 비용도 많이 들어가지만, 객관적이지 못하고, 정확한 결과를 얻지 못하는 문제가 있다. However, in order for a person to work on such indexing directly, there is a problem that requires a lot of labor and is expensive, but it is not objective and does not obtain accurate results.

특히, 동영상 컨텐츠를 저급 분석, 중급 분석, 고급 분석에 의하여 원하는 장면 또는 샷(SHOT)을 정확하게 자동검색하고 필요한 동영상 멀티미디어 정보를 높은 신속하게 검출하여 출력하는 기술의 개발이 필요하다. In particular, it is necessary to develop a technology for automatically searching for a desired scene or shot by video analysis, low level analysis, intermediate analysis, and advanced analysis, and quickly detecting and outputting necessary video multimedia information.

이하, 종래 기술에 의한 축구 동영상의 이벤트 검출방식을 첨부된 도면을 참조하여 설명한다. Hereinafter, an event detection method of a soccer video according to the prior art will be described with reference to the accompanying drawings.

종래 기술을 설명하기 위한 것으로, 도1 은 일반적인 축구 동영상의 이벤트 검출 장치 기능 구성도 이다. For the purpose of illustrating the prior art, Figure 1 is a functional block diagram of an event detection apparatus of a general soccer video.

상기 첨부된 도1을 참조하면, 동영상부(10)로부터 출력되는 축구 동영상의 멀티미디어 신호는, 동영상 분석부(20)에 인가되어, 저급 및 중급수준의 각 장면 정보로 분할(SEGMENTATION) 되고, 고급 수준의 각 장면정보 형태로 분류(CLASSIFICATION)하여 각각의 이벤트를 검출한다. Referring to FIG. 1, the multimedia signal of the soccer video output from the video unit 10 is applied to the video analysis unit 20, and is divided into scene information of low and intermediate levels, and advanced. Each event is classified by classifying each type of scene information of the level.

상기와 같이 동영상 분석부(20)로부터 저급, 중급 및 고급 수준의 정보로 분석되어 출력되는 각각의 정보들은 디브엘부(30)에 인가되어 저장된다. As described above, each piece of information analyzed and output as low, intermediate, and advanced levels of information from the video analyzing unit 20 is applied to the DL unit 30 and stored.

상기 디브엘(DVL: DIGITAL VIDEO LIBRARY)부(30)에 연결된 브라우징 툴부(40)는, 상기 저장된 이벤트 정보를 분석하여 원하는 컨텐츠(CONTENTS)를 용이하게 검출하는 제어신호를 검출부(50)에 인가하며, 상기 검출부(50)는 브라우징 툴부(40)로부터 인가되는 제어신호에 의하여 상기 디브엘부(30)의 정보로부터 원하는 이벤트를 검출하여 출력한다. The browsing tool unit 40 connected to the DVL DIGITAL VIDEO LIBRARY unit 30 analyzes the stored event information and applies a control signal to the detection unit 50 to easily detect a desired content CONTENTS. The detection unit 50 detects and outputs a desired event from the information of the DL unit 30 according to a control signal applied from the browsing tool unit 40.

상기와 같은, 종래 기술에 의한 동영상 멀티미디어 정보 분석 기술은, 일 예로, 원거리 동영상 정보, 근거리 동영상 정보, 재연 동영상 정보, 거의 고정된 배경영역의 동영상 정보 등과 같이, 주로, 저급 및 중급 수준의 동영상 정보를 자동 추출하는 것이다. As described above, the video multimedia information analysis technology according to the related art is mainly, for example, low- and intermediate-level video information, such as remote video information, near video information, replay video information, video information of a substantially fixed background area, and the like. Will be automatically extracted.

일 예로, 축구 스포츠 경기의 동영상 멀티미디어 정보의 경우, 경기장을 원거리에서 촬영한 장면, 근거리 촬영 장면, 재연 장면, 움직임이 거의 없는 관객석 장면등을 검색하고 추출하는 기술은 저급 또는 중급 수준의 기술이 된다. For example, in the case of video multimedia information of a soccer sports game, a technique for searching and extracting a long distance shot of a stadium, a close shot, a replay scene, and a spectator scene with little movement becomes a low or intermediate level technology. .

상기 동영상 신호를 저급 수준으로 분석하여 인덱싱에 사용되는 영상 정보로는, 색 정보, 오브젝트 움직임, 에지 히스토그램(EDGE HISTOGRAM) 등과 같은 정보 가 있다. Image information used for indexing by analyzing the video signal at a low level may include information such as color information, object motion, and edge histogram (EDGE HISTOGRAM).

상기와 같은 저급 분석정보를 이용하여 화면의 확대와 축소, 필드 위치, 카메라의 촬영대상, 재생속도, 그래픽 정보의 사용 여부 등과 같은 중급 수준의 동영상 정보를 추출할 수 있다. By using the low level analysis information as described above, middle level video information such as enlargement and reduction of the screen, field position, camera shooting target, playback speed, and use of graphic information can be extracted.

상기 분석되는 동영상 멀티미디어에는, 일 예로, 일반 흥미위주 동영상, 기록용 동영상, 전쟁 동영상, 스포츠 동영상 등으로 구분되는 영역(DOMAIN)이 있고, 상기 각 영역(DOMAIN)을 분석하기 위하여서는, 영역지식(DOMAIN KNOWLEDGE)이 있어야 하며, 상기 영역지식을 이용하여 해당 컨텐츠를 모델링하는 동시에 고급 수준으로 각 이벤트 장면을 검색하며, 와이프(WIPE) 또는 디졸브(DISSOLVE) 방법에 의한 점진적 장면 변화로 중요한 이벤트를 강조 표현한다. In the analyzed video multimedia, for example, there is a domain (DOMAIN) divided into general interesting videos, recording videos, war videos, sports videos, and the like. In order to analyze each domain (DOMAIN), domain knowledge ( DOMAIN KNOWLEDGE), using the domain knowledge to model the corresponding content, search each event scene at an advanced level, and highlight important events by gradual scene change by the Wipe or Dissolve method. do.

상기 영상신호를 분석하는 인덱싱(INDEXING) 방법은, 크게 통계적인 방법(STATISTICAL APPROACH)과 슬라이스 방법(SLICE APPROACH)이 있다. 상기 통계적인 방법(STATISTICAL APPROACH)은, 현재 영상프레임과 앞 영상프레임의 차이를 이용하는 것으로, 프레임 단위의 칼라 히스토그램이나 모션(MOTION) 또는 에지(EDGE)를 검출하여 변화량이 두드러지는 부분을 장면(SHOT)의 경계지점으로 인덱싱(INDEXING)하여 찾아내는 방법이다. The indexing method of analyzing the video signal is largely classified into a statistical method and a slice method. The statistical method uses a difference between the current video frame and the previous video frame, and detects a color histogram, a motion, or an edge of each frame, and shows a portion where the amount of change is prominent. Indexing to the boundary point of the

그런데, 상기와 같은 통계적인 방법은 스포츠 영상신호와 같이 일정한 장소에서 이루어지면서도 운동량이 많은 장면의 프레임으로부터 인덱싱을 위한 장면(SHOT) 경계를 찾기 어려운 문제가 있다. However, the statistical method as described above has a problem in that it is difficult to find a scene boundary for indexing from a frame of a scene having a high momentum while being performed at a certain place such as a sports video signal.

상기 슬라이스 방법은 스포츠 영상신호로부터 인덱싱을 위한 장면(SHOT) 경계를 용이하게 찾기 위한 방법으로서, 상기 영상 프레임을 슬라이스(SLICE)로 나누고, 상기 나누어진 슬라이스들의 응집력 차이를 이용하여 장면의 경계지점을 찾아내는 것으로, 드류(M. S. DREW)가 VIDEO DISSOLVE AND WIPE DETECTION VIA SPATIO-TEMPORAL IMAGE OF CHROMATIC HISTOGRAM DIFFERENCES, PROC OF IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, VOL 3, PP 929-932, 2000에서 제안하고, 네고(C. W. NGO)가 DETECTION OF GRADUAL TRANSITIONS THROUGH TEMPORAL SLICE ANALYSIS, PROC OF IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR'99), PP 36-41, 1999에서 제안되었다. The slice method is a method for easily finding a scene boundary for indexing from a sports video signal, and dividing the image frame into slices, and using the difference in cohesion between the divided slices to determine a boundary point of the scene. Drew (MS DREW) suggests in VIDEO DISSOLVE AND WIPE DETECTION VIA SPATIO-TEMPORAL IMAGE OF CHROMATIC HISTOGRAM DIFFERENCES, PROC OF IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, VOL 3, PP 929-932, 2000 ) Was proposed in DETECTION OF GRADUAL TRANSITIONS THROUGH TEMPORAL SLICE ANALYSIS, PROC OF IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR'99), PP 36-41, 1999.

상기 슬라이스 방법은, 프레임 전체의 변화에 치중하지 않는 동시에 부분적인 변화에 민감하지 않으므로, 축구와 같은 동영상 신호의 분석에 좋은 성능을 나타낸다. Since the slice method is not focused on the change of the whole frame and is not sensitive to the partial change, it shows a good performance for analyzing a video signal such as soccer.

특히, 축구와 같은 스포츠 동영상 멀티미디어에서의 고급 수준 동영상 분석을 이벤트(EVENT) 분석이라 하고, 상기 이벤트에는, 일 예로, 골인, 슛팅, 코너킥, 프리킥, 페널티킥, 반칙등이 있다. In particular, high-level video analysis in sports video multimedia such as soccer is called EVENT analysis, and examples of such events include goal scoring, shooting, corners, free kicks, penalty kicks, and fouls.

상기와 같이 이벤트(EVENT)를 검출하여 인덱싱에 사용되는 정보로는, 캡션정보(CLOSED CAPTION), 블러링(BLURRING) 현상, 볼(BALL)과 선수들과 골대(GOAL POST)를 추적(TRACKING), 상태 천이 다이어그램(STATE TRANSITION DIAGRAM)의 4가지가 있다. As the information used for indexing by detecting the event (EVENT) as described above, caption information (CLOSED CAPTION), blurring phenomenon, ball (BALL) and players and goal post (GOAL POST) tracking (TRACKING) There are four types of state transition diagrams.

상기 캡션정보는, 기타하시(T. KITAHASHI)가 2000년 9월에 EXTRACTING ACTORS, ACTIONS AND EVENTS FROM SPORTS VIDEO - A FUNDAMENTAL SPPROACH TO STORY TRACKING, PROC OF IEEE INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION(CIPR'00), VOL 4, BARCELONA, SPAIN, SEPT, 2000에서 제안한 것처럼, 멀티미디어 동영상에 추가적인 매체인 캡션 정보를 이용하는 것으로, 일 예로, 미식축구의 경우에 터치다운(TOUCH DOWN) 단어를 검출하여 이벤트의 위치를 알아내는 것이다. The caption information is provided by T. KITAHASHI in September 2000, EXTRACTING ACTORS, ACTIONS AND EVENTS FROM SPORTS VIDEO-A FUNDAMENTAL SPPROACH TO STORY TRACKING, PROC OF IEEE INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (CIPR'00), VOL As suggested by 4, BARCELONA, SPAIN, SEPT, 2000, it uses caption information, which is an additional medium for multimedia videos. For example, in the case of American football, it detects the word TOUCH DOWN and locates the event. .

상기 블러링 현상 정보는, 슈(X. XU)가 2002년에 CONTENT-BASED ANALYSIS AND INDEXING OF SPORTS VIDEO, PROC OF SPIE CONFERENCE ON STORAGE AND RETRIVAL FOR MEDIA DATABASE, SAN JOSE, USA, JAN 21-23, 2002에서 제안한 것으로, 슛팅이 일어날 때, 동영상 화면이 갑자기 빠른 공(BALL)을 따라가려 하기 때문에 발생하는 블러링 현상을 검출하는 것으로, 슛팅(SOOTING)과 롱패스(LONG PASS)를 검출하는 것이다. The blurring phenomenon information is provided by shoe X. XU in 2002, CONTENT-BASED ANALYSIS AND INDEXING OF SPORTS VIDEO, PROC OF SPIE CONFERENCE ON STORAGE AND RETRIVAL FOR MEDIA DATABASE, SAN JOSE, USA, JAN 21-23, 2002 Proposed by, to detect the blurring that occurs because the video screen suddenly tries to follow the fast ball (BALL) when shooting occurs, it is to detect the shooting (SOOTING) and long pass (LONG PASS).

상기와 같은 블러링 현상에서 마힐드레쓰 제로 크로싱(MARR-HILDRETHS' ZERO CROSSING) 알고리즘을 이용하여 에지(EDGE)를 찾으면 블러링 현상이 발생하는 프레임의 에지 양을 현저히 줄인다. In the blurring phenomenon, when the edge EDGE is found using the MARR-HILDRETHS 'ZERO CROSSING algorithm, the amount of edges of the frame in which the blurring phenomenon occurs is significantly reduced.

또한, 상기 볼과 선수들과 골대를 추적하여 정보로 이용하는 것은, 볼(BALL)이 골대를 지날 때 골인이 일어난다는 것과 같은 다양한 이벤트를 검출하는 것으로, 1995년 보비크(A.F. BOBICK)와 1995년 류(B. LIU)와 2001년 퀴안(R. J. QIAN)이 제안한 것으로, 배경과 선수들을 분리하는 객체분리(OBJECT SEGMENTATION)를 통하여 선수들의 움직임을 찾아내고, 배경의 연속되는 모자이크(MOSAIC)로 궤적(TRAJECTORY)을 만들어 경기장에서 각 선수들의 움직임을 추적하는 것이다. In addition, tracking and using the ball, the players, and the goalpost as information detects various events such as a goal when a ball passes the goal, AF BOBICK in 1995 and 1995. Proposed by B. LIU and RJ QIAN in 2001, the OBJECT SEGMENTATION that separates the background from the players finds the movements of the players and traces them into a continuous mosaic of the background (MOSAIC). TRAJECTORY to track the movement of each player on the playing field.

상기 마지막의 상태천이 다이어그램은, 믹리오라티(R. MIGLIORATI)가 2002년에 SEMANTIC INDEXING OF MULTIMEDIA DOCUMENTS, IEEE MULTIMEDIA, VOL 9, NO 2, PP 44-51, APR-JUN, 2002에서 제안 한 것으로, 규칙적인 패턴으로 이벤트가 일어난다는 점을 이용하여 골인과 코너킥과 프리킥을 검출하는 알고리즘이다. The last state transition diagram is proposed by R. MIGLIORATI in SEMANTIC INDEXING OF MULTIMEDIA DOCUMENTS, IEEE MULTIMEDIA, VOL 9, NO 2, PP 44-51, APR-JUN, 2002 in 2002. An algorithm that detects goals, corners and free kicks using events that occur in a regular pattern.

즉, 골인이 발생하기 전, 한쪽 팀이 다른 쪽 팀의 골대를 향하여 공격을 하는 경우, 빠른 움직임으로 카메라에 패닝(PANNING)이나 줌(ZOOM)이 발생하고, 다음 순서로 슛(SHOT) 해서 공(BALL)이 골대(GOAL POST)에 들어가는 장면을 잡기 위하여, 카메라(CAMERA)가 움직이지 않고, 골인이 되면 카메라의 다른 각도에서 촬영한 장면을 보여주거나 슛을 찬 선수의 모습을 글로즈 업(CLOSE UP)하기 때문에 샷 컷(SHOT CUT)이 발생한다. In other words, if one team attacks the other team's goal before the goal is scored, the camera will panning or zooming in a fast motion and will shoot in the next order. To catch the scene where (BALL) enters the GOAL POST, when the CAMERA is not moving and the goal is scored, it shows the shot of the player who shot or shot the shot from a different angle of the camera. UP), a shot cut occurs.

상기와 같은 일련의 시퀀스로 골인이 발생하는 것을 알아내기 위하여 사용하는 것이 상태천이 다이어그램이다. The state transition diagram is used to find out that the goal occurs in the above sequence.

그러나, 상기와 같은 종래 기술의 이벤트를 검출하기 위하여 첫 번째, 캡션정보를 이용하는 방안은, 미식축구와 다르게 한국의 현 실정에서, 각 방송국이 축구 스포츠를 중계 또는 방영하는 경우, 캡션(CAPTION) 정보를 제공하지 않으므로, 이용할 수 없는 근본적인 문제가 있다. However, in order to detect the events of the prior art as described above, the first method of using caption information is different from football, in the current situation in Korea, when each broadcasting station broadcasts or broadcasts sports caption information. Since it does not provide, there is a fundamental problem that cannot be used.

상기 두 번째, 블러링 현상을 이용하는 방안은, 슛팅과 롱패스가 발행할 때의 화면의 특징을 사용하기 때문에, 상기 두 가지 이벤트를 구분할 수 있으나, 다른 이벤트는 구분할 수 없다는 문제가 있다. The second method of using the blurring phenomenon is that the two events can be distinguished from each other because they use the characteristics of the screen when shooting and long pass are issued, but there is a problem that other events cannot be distinguished.                         

상기 세 번째, 볼과 선수들과 골대를 추적하는 방안은, 객체분리(OBJECT SEGMENTATION)와 궤적(TRAJECTORY)을 찾기 위한 이미지(IMAGE) 모자이크(MOSAIC)를 만드는데 지나치게 많은 부하(LOAD)를 소모하며, 원거리 장면에서 발생하는 이벤트만을 검출한다는 제한적인 문제가 있다. The third method of tracking the ball, the players and the goal, consumes too much load to create an IMAGE mosaic (MOSAIC) to find object separation and trajectory, There is a limiting problem of detecting only events that occur in the far scene.

또한, 선수들이 서로 겹치는 현상과 볼(BALL)이 검출하기에 너무 작으며 선수들에게 가려진다는 점이 객체 분리를 어렵게 만드는 동시에, 카메라의 움직임이 많은 축구 동영상 멀티미디어는, 객체 분리에서 움직이는 배경과 전경의 객체 분리가 비교적 어렵다는 큰 문제점이 있다. In addition, the fact that the players overlap each other and that the ball is too small to be detected and obscured by the players makes it difficult to separate objects, while soccer video multimedia with a lot of camera movement can be used for moving backgrounds and foregrounds. There is a big problem that object separation is relatively difficult.

상기 네 번째, 상태천이 다이어그램 방법은, 고급 수준의 정보분석 방법으로, 상태 천이 그래프(STATE TRANSITION GRAPH)를 사용하여 이벤트가 발생할 때 규칙적인 패턴(PATTERN)이 발생한다고 가정하면 좋은 결과의 이벤트 인덱싱을 검출하여 출력한다. The fourth, state transition diagram method is an advanced level of information analysis method. It is assumed that a regular pattern (PATTERN) occurs when an event occurs by using a state transition graph. Detect and output.

그러나, 한가지 이벤트(EVENT)의 패턴(PATTERN)에도 다양한 예외 현상이 발생하는 것이 스포츠 동영상 멀티미디어의 특성이며, 상기와 같이 규칙적이지 못한 패턴이 발생하는 축구 동영상으로부터, 종래 기술을 이용하여, 특히, 고급 수준에 의한 축구 동영상 분석으로 각 이벤트를 검출하는 것은, 좋은 결과를 얻지 못하는 문제가 있다. However, it is a characteristic of sports video multimedia that various exceptions occur even in the pattern of one event EVENT, and from the soccer video in which the irregular pattern as described above occurs, using the prior art, in particular, Detecting each event by football video analysis by level, there is a problem that does not get a good result.

본 발명은 축구 동영상 멀티미디어로부터 장면 타입(SHOT TYPE)을 분류하고, 은닉 마코프 모델(HIDDEN MARKOV MODEL)을 이용하여 시간적인 흐름에서의 통계적 학습과 모델화에 의하여 예외 현상을 해결하며, 잡음이나 변형을 흡수하며 이벤트를 자동 검출하는 동시에, 한국 방송 실정에 적합한 축구 동영상의 이벤트 학습 및 검출방법을 제공하는 것이 그 목적이다. The present invention classifies the scene type from the football video multimedia, solves the exception by statistical learning and modeling in the temporal flow using the hidden markov model (HIDDEN MARKOV MODEL), and absorbs noise and deformation The purpose of the present invention is to automatically detect an event and provide an event learning and detection method of a soccer video suitable for the Korean broadcast situation.

상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 축구 동영상의 이벤트 패턴을 학습할 것인지 판단하는 학습1 과정과; 상기 학습1 과정에서 판단하여 이벤트를 학습하는 경우에 각 장면들을 심볼로 변환하는 학습2 과정과; 상기 학습2 과정에서 변환된 심볼로부터 관찰 시퀀스를 결정하는 학습3 과정과; 상기 학습3 과정에서 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델 학습처리 하는 학습4 과정으로 이루어진 것을 특징으로 한다. The present invention devised to achieve the above object, Learning 1 process for determining whether to learn the event pattern of the soccer video; A learning 2 process of converting each scene into a symbol when the event is learned in the learning 1 process; A learning 3 process of determining an observation sequence from the symbols transformed in the learning 2 process; A learning 4 process of learning the hidden Markov model is performed using the observation sequence determined in the learning 3 process.

또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 축구 동영상의 각 이벤트를 검출할 것인지 판단하는 검출1 과정과; 상기 검출1 과정에서 판단하여 이벤트를 검출하는 경우에 각 장면들을 심볼로 변환하는 검출2 과정과; 상기 검출2 과정에서 변환된 심볼로부터 관찰 시퀀스를 결정하는 검출3 과정과; 상기 검출3 과정에서 결정된 관찰 시퀀스를 이용하고, 은닉 마코프 모델 학습처리 결과로부터 결합확률을 검출하는 검출4 과정으로 이루어진 것을 특징으로 한다. In addition, the present invention devised to achieve the above object, the detection 1 process of determining whether to detect each event of the soccer video; A second detection step of converting each scene into a symbol when the event is detected in the first detection step; A detection step 3 for determining an observation sequence from the symbols transformed in the detection step 2; The detection sequence is determined by using the observation sequence determined in the detection process 3 and detects the coupling probability from the hidden Markov model learning process.

또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 동영상 축구경기의 중요 하이라이트 이벤트를 검출하고 유무선 텔레비전 방송과 멀티미디어 무선통신장비를 통하여 전송하는 것을 특징으로 한다. In addition, the present invention devised to achieve the above object is characterized in that it detects the important highlight event of the video football game and transmits through wired and wireless television broadcasting and multimedia wireless communication equipment.

이하, 본 발명에 의한 축구 동영상의 이벤트 검출방법을 첨부된 도면을 참조 하여 설명한다. Hereinafter, a method of detecting an event of a soccer video according to the present invention will be described with reference to the accompanying drawings.

도 2는 본 발명에 의한 축구 동영상 이벤트 학습방법 순서도이다.
도 2에 도시된 바와같이, 본 발명에 의한 축구 동영상 이벤트 학습방법은, 축구 동영상의 중요 장면(SHOT)을 구분하는 다양한 이벤트(EVENT) 발생 패턴 (PATTERN)의 학습(TRAINING) 여부를 판단하는 과정(S110)과, 상기 과정(S110)에서 이벤트 발생 패턴을 학습하는 경우 각 장면들을 심볼(SYMBOL)로 변환하는 과정(S120)을 수행할 수 있다. 상기 과정(S120)에서는 축구 동영상 장면을 확대축소 정도로 3의 값, 필드위치로 7의 값, 카메라의 촬영대상 값으로 2의 값, 재생속도의 값으로 2의 값, 그래픽 정보의 사용여부 값으로 2의 값을 각각 주어, 252개 장면형태의 심볼로 분석하여 학습한다.
그리고, 본 발명에 의한 축구 동영상 이벤트 학습방법은, 상기 과정(S120)에서 변환된 심볼(SYMBOL)로부터 관찰시퀀스(OBSERVATION SEQUENCE)를 결정하는 과정(S130)을 수행하는데, 상기 관찰시퀀스로 현재 이벤트 장면 심볼, 이전 3개 심볼 및 이후의 3개 심볼을 포함하여 7개의 심볼로 결정한다.
또한, 본 발명에 의한 축구 동영상 이벤트 학습방법은, 상기 과정(S130)에서 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델(HMM: HIDDEN MARKOV MODEL) 학습처리 하는 단계를 수행한다. 즉, 상기 과정(S130)에서는 상기 은닉 마코프 모델(HMM)을 바움(BAUM)의 포워드 처리(FORWARD PROCESS)와 백워드 처리(BACKWARD PROCESS)로 학습(TRAINING)하여 계산량을 줄인다.
도 3은 본 발명에 의한 축구 동영상 이벤트 검출방법 순서도이다.
2 is a flowchart illustrating a soccer video event learning method according to the present invention.
As shown in FIG. 2, in the soccer video event learning method according to the present invention, a process of determining whether training of various event occurrence patterns (PATTERN) for distinguishing important shots (SHOT) of a soccer video is determined. In operation S110, when the event occurrence pattern is learned in step S110, a process of converting each scene into a symbol SYMBOL may be performed in operation S120. In the process (S120), the soccer video scene is enlarged and reduced to a value of 3, a field position of 7, a camera shooting target value of 2, a playback speed value of 2, and graphic information use value. Given the value of 2, it is analyzed by 252 scene-type symbols.
In addition, the soccer video event learning method according to the present invention performs a step (S130) of determining an observation sequence (OBSERVATION SEQUENCE) from the converted symbol (SYMBOL) in the step (S120), the current event scene in the observation sequence Seven symbols are determined, including the symbol, the previous three symbols, and the three subsequent symbols.
In addition, the soccer video event learning method according to the present invention performs the process of learning the hidden Markov model (HMM: HIDDEN MARKOV MODEL) using the observation sequence determined in the step (S130). That is, in step S130, the hidden Markov model HMM is trained by FORWARD PROCESS and BACKWARD PROCESS of BAUM to reduce the amount of calculation.
3 is a flowchart illustrating a method for detecting a soccer video event according to the present invention.

삭제delete

삭제delete

삭제delete

삭제delete

도 3에 도시된 바와같이, 본 발명에 의한 축구 동영상 이벤트 검출방법은, 축구 동영상의 중요 장면을 구분하는 각각의 이벤트를 검출(DETECT)할 것인지 판단하는 과정(S210)과, 상기 이벤트를 검출하는 경우 각 장면들을 심볼(SYMBOL)로 변환하는 과정(S220)을 수행한다. 상기 과정(S220)에서는 축구 동영상 장면의 확대축소 정도로 3의 값, 필드위치로 7의 값, 카메라의 촬영대상 값으로 2의 값, 재생속도의 값으로 2의 값, 및 그래픽 정보의 사용여부 값으로 2의 값을 각각 주어, 252개 장면형태의 심볼로 분석한다. As shown in FIG. 3, the method for detecting a soccer video event according to the present invention includes determining whether to detect (DETECT) each event classifying an important scene of a soccer video (S210), and detecting the event. In operation S220, the scenes are converted into symbols SYMBOL. In the process (S220), the degree of zooming in of the soccer video scene is 3, the value of 7 as the field position, the value of 2 as the shooting target value of the camera, the value of 2 as the value of the playback speed, and whether the graphic information is used. We give 2 values each and analyze them as symbols of 252 scenes.

삭제delete

본 발명에 의한 축구 동영상 이벤트 검출방법은, 상기 변환된 심볼로부터 관찰시퀀스를 결정하는 과정(S230)과, 그 결정된 관찰시퀀스를 이용하고, 은닉 마코프 모델(HMM) 학습처리 결과로부터 결합확률을 검출하는 과정(S240)을 수행한다. 상기 과정(S230)에서는 상기 관찰 시퀀스로 현재 이벤트 장면 심볼, 이전 3개 심볼 및 이후의 3개 심볼을 포함하여 7개의 심볼로 결정한다. Soccer video event detection method according to the invention, the step of determining the observation sequence from the transformed symbol (S230), and using the determined observation sequence, detecting the combined probability from the hidden Markov model (HMM) learning processing results The process (S240) is performed. In step S230, the observation sequence determines seven symbols including the current event scene symbol, the previous three symbols, and the three subsequent symbols.

삭제delete

이하, 상기와 같은 구성의 본 발명에 의한 축구 동영상의 이벤트 학습 및 검출방법을 첨부된 도면을 참조하여 상세히 설명한다. Hereinafter, an event learning and detection method of a soccer video according to the present invention having the above configuration will be described in detail with reference to the accompanying drawings.

일반적으로 컴퓨터(PC)가 입력되는 신호를 용이하게 처리하기 위하여 변환하는 모델로, 이미 알고있는 또는 확보하고 있는 특정 신호들을 이용하는 결정적 모델(DETERMINISTIC MODEL)과 잡음(NOISE)과 왜곡(DISTORTION)을 효과적으로 해결하는 통계적 모델(STATISTICAL MODEL)의 두 가지가 있다. In general, a computer (PC) is a model that converts the input signal to facilitate processing, it is effective to use the deterministic model (DETERMINISTIC MODEL), the noise (ISE) and the distortion (DISTORTION) using the specific signals already known or secured There are two types of statistical models to solve.

상기 통계적 모델로 마코프 모델(MARKOV MODEL)이 있으나, 관찰할 수 있는(OBSERVABLE) 신호에 대한 처리만이 가능하므로, 응용(APPLICATION)에 많은 제한이 있다. There is a Markov model as a statistical model, but since only processing for an observable signal is possible, there are many limitations in the application.

상기와 같은 문제를 해결한 것이, 이중의 추정통계적(STOCHASTIC) 모델인 은닉 마코프 모델(HMM: HIDDEN MARKOV MODEL)이며, 신호의 패턴이 다양한 클래스 사 이에서 패턴의 왜곡과 유사성을 표현할 수 있게 한다. The above problem is solved by the Hidden Markov Model (HMM), which is a dual STOCHASTIC model, and allows the signal pattern to express the distortion and similarity between the patterns.

상기 은닉 마코프 모델(HMM)은, 문제 해결의 정확한 지식을 가지고 있지 못한 경우에도 그 자체의 모델링 능력과 학습 능력으로 적절한 해결책을 제공하며, 잡음(NOISE)과 손실과 왜곡(DISTORTION)을 해소하는 특징이 있다. The Hidden Markov Model (HMM) provides an appropriate solution with its own modeling and learning capabilities, even when it does not have accurate knowledge of problem solving, and eliminates noise, loss and distortion. There is this.

상기 축구 동영상에서, 이벤트 전후의 시간 흐름에 따른 중간 레벨의 정보 패턴이 생기므로, 시간별 구간에 따른 변화를 확률적으로 모델링하기 위하여 은닉 마코프 모델을 사용한다. In the soccer video, since the information pattern of the intermediate level is generated according to the time flow before and after the event, the hidden Markov model is used to probabilistically model the change over time.

따라서, 도 1에 도시된 바와같이, 상기와 같이 비디오 등에 의한 것으로 이미 촬영되어 확보된 축구 동영상으로부터 다양하게 발생되는 이벤트 패턴(PATTERN)을 학습하고자 하는 경우(S110), 제어부(미도시)는 각각의 이벤트 장면을 252 심볼(SYMBOL)로 변환한다(S120). Therefore, as shown in FIG. 1, when the user wants to learn various event patterns PATTERN from the soccer video already captured and secured by the video or the like as described above (S110), the controller (not shown) is respectively. The event scene is converted into 252 symbols (SYMBOL) (S120).

상기 축구 동영상으로부터 발생되는 각 이벤트를 구분하여 심볼로 설정하는 것은, 일 예로, 화면을 원거리(GLOBAL/LONG SHOT)와 근거리(MEDIUM/WOOM-IN SHOT)와 근접(CLOSE-UP SHOT)의 3 개 심볼로 구분하므로 3의 값을 주고, 필드(FIELD)의 위치는, 일 예로, 각 골대(GOAL POST)의 패널티 영역(PENALTY AREA)과 각각의 좌우 코너(CORNER)와 미드필드 영역(MID-FIELD AREA)에 의한 7개 심볼로 구분하므로 7의 값을 준다. For example, each event generated from the soccer video is set as a symbol. For example, three screens, such as GLOBAL / LONG SHOT, MEDIUM / WOOM-IN SHOT, and CLOSE-UP SHOT, may be used. The value is set to 3 because it is divided into symbols, and the location of the field is, for example, a penalty area of each goal post, each of the left and right corners, and the midfield area (MID-FIELD). It is divided into 7 symbols by AREA) and gives a value of 7.

상기와 같이 화면의 확대와 축소정도에 의한 심볼 구분의 실제 태는 도 4에 도시되어 있으며, 필드 위치에 의한 심볼 구분의 실제 상태는 도 5에 도시되어 있다. As described above, the actual state of symbol division based on the degree of enlargement and reduction of the screen is shown in FIG. 4, and the actual state of symbol division by field position is shown in FIG. 5.

또한, 카메라가 촬영하는 대상이 필드(FIELD)인지 선수(PLAYER)인지 관객(AUDIENCE)인지의 3개 심볼로 구분하기 위하여 3의 값을 주고, 재생되는 속도 를 모션벡터(MOTION VECTOR) 또는 점진적 장면 변화(GRADUAL SHOT TRANSITION)의 편집효과(EDITING EFFECT)로 판단하는 것으로, 정상속도의 재생과 늦은 속도로 재생하는 재연장면(REPLAY SHOT)의 2개 심볼로 구분하기 위하여 2의 값을 주며, 그래픽 정보의 사용유무를 2개의 심볼로 구분하기 위하여 2의 값을 각각 준다. In addition, a value of 3 is given to classify the symbol into three symbols of a field, a player, or an audience, and the playback speed is a motion vector or a gradual scene. It is judged by the editing effect of GRADUAL SHOT TRANSITION, and it is given a value of 2 to divide it into two symbols of the normal speed playback and the replay screen played at a slow speed. The value of 2 is given to separate the use of into two symbols.

상기 카메라가 촬영하고 있는 대상이 무엇인지를 자동으로 판단하기 위한 것으로, 에지(EDGE)의 강도 도수분포(INTENSITY HISTOGRAM)와, 부분길이(SEGMENT LENGTH)와, 방향의 분포와, 색조(HUE)의 도수분포 등을 사용하고, 그래픽 정보의 사용유무는 에지(EDGE) 정보와 고주파(HIGH FREQUENCY) 분포 정도를 이용한다. It is for automatically determining what is being photographed by the camera, and the intensity distribution of edges, the segment length, the distribution of the direction, and the color tone of the hue. The frequency distribution and the like are used, and the presence or absence of graphic information is used by the edge information and the high frequency distribution.

도 6은 카메라 촬영대상을 구분하기 위한 저급 수준 정보와 촬영상태 및 그래픽 정보의 에지 히스토그램 추출상태를 나타내고, 도 7은 2002 피파 월드컵과 2002 부산 아시안 게임의 10 경기를 252 개의 심볼형태로 분석한 값을 나타내며, 도 8은 축구 동영상의 252 심볼값에 의한 장면형태 분포도를 나타낸다. FIG. 6 is a graph illustrating edge histogram extraction state of low level information and shooting state and graphic information for distinguishing camera shooting targets, and FIG. 7 is a value obtained by analyzing 10 games of the 2002 FIFA World Cup and the 2002 Busan Asian Games in the form of 252 symbols. 8 illustrates a scene shape distribution diagram using 252 symbol values of a soccer video.

축구 동영상에서 발생하는 이벤트로는 골(GOAL), 슛팅(SHOOTING), 코너킥(CORNER KICK), 프리킥(FREE KICK), 페널티킥(PENALTY KICK), 반칙(FOUL) 등이있고, 다음 표1은, 10개 축구 동영상 경기로부터 검출한 이벤트의 예를 나타낸다. Events that occur in soccer videos include GOAL, SHOOTING, CORNER KICK, FREE KICK, PENALTY KICK, and Foul. An example of an event detected from ten soccer video games is shown.

(표1)(Table 1)

이벤트event goal 슛팅Shooting 코너킥corner kick 프리킥free kick 페널티킥Penalty kick 반칙Foul 검출값/10게임Detection value / 10 game 20/1020/10 215/10215/10 108/10108/10 215/10215/10 2/102/10 328/10328/10 평균Average 2/12/1 22/122/1 11/111/1 22/122/1 0-2/10-2 / 1 33/133/1

상기 표1에 의하면, 임의 선정된 10개 축구 경기에서 슈팅 이벤트가 215번 발생하고, 슈팅 이벤트가 발생할 때, 일 예로, 이전의 3개 장면(SHOT), 이벤트가 발생하는 장면 및 이벤트가 일어난 후의 3개 장면을 하나의 관찰 시퀀스로서 결정한다(S130).
도 9에는 축구 동영상의 각 시퀀스에 의한 패턴 분석도가 도시되어 있으며, 도 10에는 축구 동영상의 대표적인 A, B, C 패턴의 일 예가 도시되어 있다.
According to Table 1, when the shooting event occurs 215 times in 10 randomly selected soccer games, and when the shooting event occurs, for example, the previous three scenes (SHOT), the scene where the event occurs and after the event occurs Three scenes are determined as one observation sequence (S130).
FIG. 9 illustrates a pattern analysis diagram according to each sequence of a soccer video, and FIG. 10 illustrates an example of representative A, B, and C patterns of a soccer video.

도 9 및 10에 도시된 것과 같이, 상기 215개의 시퀀스들은, A 패턴, B 패턴, C 패턴 및 다수이면서 소수인 기타 패턴으로 나타나며, 상기 A, B, C 패턴이 전체 이벤트의 80%이상을 차지한다. As shown in Figs. 9 and 10, the 215 sequences are represented by an A pattern, a B pattern, a C pattern, and a large number of other patterns, with the A, B, and C patterns accounting for more than 80% of all events. do.

상기 도 10에서, 슈팅 이벤트가 발생할 때 나타나는 A 패턴은, 이벤트가 발생하기 전, 코너 영역에서 경기가 중단되었다가 다시 진행되고, 슈팅 후 슈팅한 선수를 클로즈업(CLOSE-UP) 한 장면이 이어지며, 재연(REPLAY) 장면들이 이어지는 패턴이고, 상기 재연 장면의 경우도, 볼이 골대를 향해 날아가는 장면과 골대 앞에서 볼을 차는 장면과 선수의 모습으로 구성된다. In FIG. 10, the A pattern that appears when the shooting event occurs, the game is interrupted and resumed in the corner area before the event occurs, followed by a close-up of the shooter after shooting. The replay scene is a continuous pattern. The replay scene also includes a scene in which the ball flies toward the goal post, a scene in which the player kicks the ball in front of the goal post.

상기 도 10에서 B 패턴은, A 패턴과 유사하지만, 코너킥이 발생한 후 슈팅 이벤트가 발생하는 것으로, 이벤트 후에 슈팅한 선수를 클로즈업하고, 재연장면이 이어진다. In FIG. 10, the B pattern is similar to the A pattern, but a shooting event occurs after a corner corner, and closes the player shooting after the event, followed by a re-extension.

상기 재연장면은 코너킥이 발생하기 전, 골대 앞에서 선수 들 간의 몸싸움을 보여주고, 이어서 코너킥과 이어지는 슈팅 장면을 재연하며, 선수의 모습을 보여주고, 재연장면에 이어서, 경기가 진행되는 모습을 원거리와 근거리에서 볼을 차는 선수 모습을 보여준다. The replay shows the players fighting in front of the goalpost before the corner is taken, then replays the shooting scenes following the corner, shows the player, followed by the replay, and shows the progress of the game over a distance. Shows the player kicking the ball at close range.

상기 도 10에서 C 패턴은, 이벤트가 발생하기 전의 패턴이 존재하는데, 골 영역을 원거리에서 촬영하다가, 근거리 장면으로 이어지고, 다시 원거리 장면에서 슈팅이 발생하는 것으로, 상대편 골 영역까지 볼이 패스되고, 공격할 빈틈을 노리다가 슈팅이 이어지는 것을 보여주며, 상기 이벤트가 발생한 후에는, 슈팅한 선수가 클로즈업(CLOSE-UP) 되고, 재연(REPLAY) 장면으로 이어지며, 상기 재연 장면 후에는 경기가 진행되는 모습을 원거리에서 보여준다. In FIG. 10, the C pattern has a pattern before an event occurs, and the goal area is photographed at a long distance, followed by a short distance scene, and then a shooting is generated at a long distance scene. After shooting the game, the shooting player is CLOSE-UP, followed by a REPLAY scene, and the game is played after the replay scene. Show you from a distance

상기와 같은 분석을 통하여, A, B, C 패턴은 슈팅이 발생하기 전에 다양한 공격방법으로 진행되고, 이벤트가 발생 한 후에는 어느 정도 일정한 장면이 발생하고 있음을 보여준다.
도 11은 본 발명에서 축구 동영상의 각 이벤트 발생 패턴 막대도표 분포도로서, 슈팅 이벤트의 각 패턴 분포도를 보여준다.
도 11에서, 축구경기에서 슈팅이 발생하는 패턴은 A, B, C 패턴의 비중이 높으며, 나머지 다수이면서 소수인 패턴은 비중이 아주 작음을 보여준다.
Through the above analysis, A, B, C pattern is progressed by various attack methods before the shooting occurs, and shows that a certain scene occurs to some extent after the event occurs.
FIG. 11 is a distribution chart of each event generation pattern bar chart of a soccer video, and shows distribution patterns of shooting events.
In FIG. 11, the pattern in which the shooting occurs in a soccer game has a high specific gravity of the A, B, and C patterns, and the small number of the remaining large and minor patterns is very small.

삭제delete

즉, 상기 슈팅 이벤트가 발생할 때 슈팅 이벤트 전후의 시퀀스에서 A, B, C 패턴의 주된 3 가지 패턴과 그 외의 나머지를 하나의 패턴으로 하여, 총 4가지의 패턴이 존재하지만, 이러한 패턴들에서 예외 현상이 많이 발생하는 것을 볼 수 있다. That is, when the shooting event occurs, a total of four patterns exist in the sequence before and after the shooting event, with the main three patterns of the A, B, and C patterns and the rest as one pattern, but there are exceptions in these patterns. It can be seen that a lot of phenomenon occurs.

그러나, 상기 슈팅 이벤트의 패턴과 유사한 시퀀스로 슈팅 이벤트가 발생하지 않는 경우는 많이 존재하지 않는 다는 것을 알 수 있으며, 시간적인 흐름에서 패턴을 학습하고 모델화하는 방법으로서 패턴의 왜곡과 유사성을 표현할 수 있어 잡음이나 변형을 흡수하면서 빠른 처리가 가능한 특징을 가지는 은닉 마코프 모델을 사용한다(S140). However, it can be seen that there are not many cases where a shooting event does not occur in a sequence similar to the pattern of the shooting event. As a method of learning and modeling a pattern in a temporal flow, the distortion and similarity of the pattern can be expressed. A hidden Markov model having a feature capable of fast processing while absorbing noise or distortion is used (S140).

상기와 같이 축구 동영상의 이벤트 학습이 완료되면, 도 3에 도시된 바와같이, 축구 동영상 이벤트를 검출하는지 판단한다(S210). 상기 판단에서 이벤트를 검출하고자 하는 경우, 제어부는 상기 이벤트 학습처리의 경우와 동일하게 각 장면들을 심볼(SYMBOL)로 변환하고(S220), 상기 이벤트 학습처리의 경우와 동일하게 관찰 시퀀스를 결정한다(S230). When the event learning of the soccer video is completed as described above, as shown in FIG. 3, it is determined whether a soccer video event is detected (S210). When the event is to be detected in the determination, the controller converts each scene into a symbol SYMBOL in the same manner as in the event learning process (S220), and determines the observation sequence in the same way as in the event learning process (S220). S230).

상기와 같이 관찰 시퀀스가 결정되면(S230), 상기 은닉 마코프 모델에 의한 학습처리 결과를 입력하여, 결합확률을 다음 식과 같이 검출한다.
When the observation sequence is determined as described above (S230), the result of the learning process by the hidden Markov model is input, and the coupling probability is detected as follows.

(수학식)(Mathematical formula)

P(O|λ)=P(O1,O2,..,OT|λ)P (O | λ) = P (O 1 , O 2 , .., O T | λ)

λ= {A,B,π}λ = {A, B, π}

A={aij}, aij = P{qj(t+1)|qi(t)} : 상태천이 확률분포A = {aij}, aij = P {qj (t + 1) | qi (t)}: State transition probability distribution

B={bj(k), bj(k) = P{vk(t)|qj(t)} : 상태J에서 관찰심볼 확률분포B = {bj (k), bj (k) = P {vk (t) | qj (t)}: Observation symbol probability distribution in state J

π=(πi}, πi = P{qi(1)} : 초기 상태 확률분포
π = (πi}, πi = P {qi (1)}: Initial state probability distribution

상기와 같이, 축구 동영상으로부터 이벤트를 학습하고 검출하는 각각의 처리과정을, 첨부된 도 12를 참조하면 좀더 용이하게 알 수 있다.
도 12는 축구 동영상의 이벤트 검출 시시템의 구성 상태도이다.
As described above, each process of learning and detecting an event from a soccer video can be more easily understood with reference to FIG. 12.
12 is a diagram illustrating a configuration of an event detection system of a soccer video.

도 12는 학습과정과 검출과정이 각각의 순서에 의하여 처리되고, 최종적으로 학습과정에서 학습한 결과를 이용하여 검출과정에서 이벤트를 검출하고 있음을 보여준다.
도 13은 본 발명에서 축구 동영상의 84 가지 심볼형태의 분석값 도시한 도면이고, 도 14는 본 발명에서 축구 동영상의 108 가지 심볼형태의 분석값을 나타낸 도면이며, 도 15는 본 발명에서 축구 동영상의 84가지 심볼과 108가지 심볼의 분포상태를 나타낸 도면이다.
상기와 같이 축구 동영상으로부터 각각의 장면을 252가지 심볼(SYMBOL)로 정의하고 있으나, 실제적으로, 카메라의 촬영대상이 관객이거나 벤치인 경우, 장면(SHOT) 형태들을 필드상의 위치정보와 무관하게 하나의 심볼로 정의하고, 선수를 클로즈업하는 장면에서도 필드 상의 위치 정보를 하나의 심볼로 정의하면, 전체의 심볼을 84개 심볼로 정의 할 수 있고, 상기와 같은 심볼의 정의를 첨부된 도 13에서 보여준다.
12 shows that the learning process and the detection process are processed according to their respective order, and finally, the event is detected in the detection process using the results learned in the learning process.
FIG. 13 is a diagram showing an analysis value of 84 symbol types of a soccer video in the present invention, FIG. 14 is a view showing an analysis value of 108 symbol types of a soccer video in the present invention, and FIG. 15 is a football video in the present invention. 84 shows the distribution state of the 108 symbols and 108 symbols.
As described above, each scene is defined as 252 symbols (SYMBOL) from the soccer video, but in reality, when the shooting target of the camera is an audience or a bench, the shot (SHOT) forms are formed regardless of the position information on the field. If the symbol is defined and the position information on the field is defined as one symbol even in a close-up of the athlete, the entire symbol can be defined as 84 symbols, and the definition of the symbol is shown in FIG.

삭제delete

또한, 선수를 클로즈업한 장면에서 선수의 위치 정보를 알기 힘들지만, 선수가 골키퍼일 때는 골영역이라는 것을 알아낼 수 있고, 골키퍼가 아니더라도, 앞뒤의 장면에서 현재 클로즈업된 선수의 위치를 알아낼 수 있다. In addition, it is difficult to know the position information of the player in the close-up of the player, but when the player is the goalkeeper, it is possible to find out the goal area, and even if not the goalkeeper, it is possible to find the position of the currently close-up player in the front and rear scenes.

이러한 방법으로 도 14에 도시된 바와같이, 252 가지 장면의 심볼을 108 가지 장면의 심볼로 정의할 수 있다. In this manner, as illustrated in FIG. 14, the symbols of 252 scenes may be defined as the symbols of 108 scenes.

상기와 같이 252 심볼의 경우는, 이용비율이 낮으며, 심볼이 84인 경우와 108 인 경우는 심볼의 이용비율이 높아지면서도 전체적인 분포에는 변함이 없음을 상기 첨부된 도15의 심볼 분포도에서 확인할 수 있다. As described above, in the case of the 252 symbol, the utilization ratio is low, and in the case of the symbols 84 and 108, the utilization ratio of the symbol is high and the overall distribution is not changed. have.

즉, 252 심볼(SYMBOL)을 사용하는 경우보다, 84 심볼 또는 108 심볼을 사용하는 경우가, 이벤트 발생 패턴이 단순하여 해당 처리작업이 간편해 지지만, 이벤트 패턴에는 큰 변화가 없음을 알 수 있다. That is, the case where 84 symbols or 108 symbols are used rather than 252 symbols (SYMBOL) is used, but the processing pattern is simplified because the event occurrence pattern is simple, but it can be seen that there is no significant change in the event pattern.

도 16에는 본 발명을 이용하여 2002년 피파 월드컵 축구와 2002년 부산 아시안게임을 실험한 결과, 슈팅 이벤트 검출 횟수가 도시되어 있다. FIG. 16 shows the number of shooting events detected as a result of experimenting with the 2002 FIFA World Cup Soccer and the 2002 Busan Asian Game using the present invention.

종래의 이벤트 검출 방법은 상태 천이 다이어그램을 이용하는 것으로, 스포츠 경기에서 발생하는 예외 현상의 특성을 반영하지 않아, 낮은 검출률을 나타내었으나, 본 발명에서는 은닉 마코프 모델을 사용하여, 국내 방송 실정에 적합한 것으로, 예외 현상을 통계적인 방법으로 학습하므로 시퀀스 인식 문제를 해결하고 검출률을 향상시킨다.
도 17은 본 발명의 축구 동영상 이벤트 검출방식과 외국실정에 적합한 이벤트 검출방식의 대비도이다.
Conventional event detection method uses a state transition diagram, which does not reflect the characteristics of the exception occurring in a sporting event, and shows a low detection rate, but in the present invention, using a hidden Markov model, it is suitable for domestic broadcast situation, Statistical analysis of exceptions solves sequence recognition problems and improves detection rates.
17 is a contrast diagram of an event detection method suitable for a foreign country football video event detection method of the present invention.

도 17에서는 외국의 실정에 적합한 기존의 이벤트 검출방식과 국내 실정에 적합한 이벤트 검출 방식의 대비 도시도로, 본 발명이 국내 방송 실정에 가장 적합한 방법임을 보여준다. FIG. 17 is a diagram illustrating a comparison between an existing event detection method suitable for a foreign situation and an event detection method suitable for a domestic situation, and shows that the present invention is the most suitable method for a domestic broadcasting situation.

상기와 같은 본 발명은, 유무선 TV 방송이외에 동영상 통신이 가능한 휴대단말기를 포함하는 다양한 멀디미디어 통신기기에 적용할 수 있다. As described above, the present invention can be applied to various multimedia communication devices including a portable terminal capable of video communication in addition to wired / wireless TV broadcasting.

특히, 본 발명 기술을, 데이터 전송량에 비례하여 통신요금을 부과하는 멀티미디어 휴대단말기에 적용하는 경우, 전체 축구 경기 내용을 전송하는 대신에 주요 하이라이트 이벤트를 검출하여 전송하므로, 짧은 시간에 축구 경기의 전체 내용을 용이하게 파악하도록 하는 동영상 신호 전송이 가능하다. In particular, when the present invention is applied to a multimedia portable terminal that charges a communication fee in proportion to the amount of data transmission, the main highlight event is detected and transmitted instead of the entire soccer game content. It is possible to transmit a video signal to easily understand the contents.

따라서, 멀티미디어 휴대단말기와 같은 통신장비를 이용하는 경우, 하이라이트 이벤트 부분만을 검출하여 전송하므로, 전송되는 데이터의 량이 줄어들고, 통신비용을 적게 지불하므로, 무선통신장비의 서비스 품질과 동영상 처리 기술의 신뢰도를 제고하며 시스템의 유용성과 안정성을 향상시킨다. Therefore, when using a communication device such as a multimedia portable terminal, since only the highlight event portion is detected and transmitted, the amount of data to be transmitted is reduced and the communication cost is paid less, thus improving the quality of service and video processing technology of the wireless communication device. And improve the usability and stability of the system.

상술한 바와같이 본 발명은, 은닉 마코프 모델을 사용하여 국내 동영상 방송 실정에 의한 축구 동영상으로부터 이벤트 검출률을 제고하는 산업적 이용효과가 있다. As described above, the present invention has the industrial use effect of improving the event detection rate from the soccer video by the domestic video broadcasting situation using the hidden Markov model.

또한, 축구 동영상으로부터 각각의 이벤트를 높은 비율로 검출하여 제공하므로, 축구 경기의 분석을 용이하게 하는 사용상 편리한 효과가 있다. In addition, since each event is detected and provided at a high rate from the soccer video, there is a convenient effect in use to facilitate the analysis of the soccer game.

또한, 축구경기의 중요 하이라이트 이벤트만을 검출하여 짧은 시간에 감상하므로 시간을 절약하고, 멀티미디어 통신장비에 적용하여 전송할 수 있는 사용상 편리한 효과가 있다. In addition, it detects only the important highlight events of the football game and enjoys in a short time, saving time, and has a convenient effect that can be applied to the multimedia communication equipment and transmitted.

또한, 전송 데이터 량에 비례하여 통신요금을 부과하는 멀티미디어 무선통신 방식에서, 최소의 비용과 짧은 시간으로 축구 경기 전체 내용을 용이하게 파악할 수 있는 사용상 편리한 효과가 있다. In addition, in the multimedia wireless communication method that charges a communication fee in proportion to the amount of transmission data, there is a convenient effect that can easily grasp the entire content of the football game with a minimum cost and a short time.

Claims (10)

축구 동영상의 이벤트 패턴의 학습여부를 판단하는 과정과, Determining whether or not the event pattern of the football video learning, 상기 이벤트 패턴을 학습하는 경우 축구 동영상의 각 장면들을 축구 동영상 장면의 확대축소 정도, 필드위치, 카메라의 촬영대상, 재생속도, 그래픽 정보의 사용 여부에 따라 대응되는 장면형태의 심볼로 변환하는 과정과; In the case of learning the event pattern, the process of converting each scene of the football video into a scene-shaped symbol corresponding to the degree of expansion and reduction of the football video scene, the field position, the shooting target of the camera, the playback speed, and the use of graphic information; ; 상기 변환된 심볼로부터 관찰 시퀀스를 결정하는 과정과; Determining an observation sequence from the transformed symbol; 상기 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델 학습처리하는 과정을 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 학습방법.And learning to conceal an event generation pattern using the determined observation sequence. 삭제delete 제1 항에 있어서, 상기 결정과정은, The method of claim 1, wherein the determining process, 상기 관찰 시퀀스로서 현재 이벤트 장면 심볼, 이전 3개 심볼 및 이후 3개의 심볼을 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 학습방법. And a current event scene symbol, three previous symbols, and three subsequent symbols as the observation sequence. 제1 항에 있어서, 상기 학습 처리과정은, The method of claim 1, wherein the learning process comprises: 은닉 마코프 모델을 바움의 포워드 처리와 백워드 처리로 학습하여 계산량을 줄이는 것을 특징으로 하는 축구 동영상의 이벤트 학습방법. A method of learning an event of a football video, characterized by reducing the amount of computation by learning the hidden Markov model by forward processing and backward processing of Baum. 축구 동영상의 각 이벤트의 검출 여부를 판단하는 과정과; Determining whether each event of the soccer video is detected; 상기 이벤트를 검출하는 경우 각 장면들을 동영상 장면의 확대축소 정도, 필드위치, 카메라의 촬영대상, 재생속도 및 그래픽 정보의 사용여부를 반영하여 대응되는 장면형태의 심볼로 변환하는 과정과; Converting each scene into a corresponding scene-type symbol by reflecting the extent to which the moving scene is reduced, the field position, the photographing target of the camera, the playback speed, and the use of graphic information when detecting the event; 상기 변환된 심볼로부터 관찰 시퀀스를 결정하는 과정과, Determining an observation sequence from the converted symbol; 상기 결정된 관찰 시퀀스를 이용하고, 은닉 마코프 모델 학습처리 결과로부터 결합확률을 검출하는 과정을 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법.And using the determined observation sequence, detecting a joint probability from a hidden Markov model learning process result. 삭제delete 제5 항에 있어서, 상기 결정과정은, The method of claim 5, wherein the determination process, 관찰시퀀스로 현재 이벤트 장면 심볼, 이전 3개 심볼 및 이후 3개 심볼을 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법. The event detection method of a soccer video, comprising the current event scene symbol, the previous three symbols and the next three symbols in the observation sequence. 제5 항에 있어서, 상기 검출과정은, The method of claim 5, wherein the detecting process, 은닉 마코프 모델 학습처리결과로부터 결합확률을 검출하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법. Detecting the combined probability from the hidden Markov model learning process result. 삭제delete 삭제delete
KR1020030053218A 2003-07-31 2003-07-31 A detecting method and a training method of event for soccer video KR100963744B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030053218A KR100963744B1 (en) 2003-07-31 2003-07-31 A detecting method and a training method of event for soccer video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030053218A KR100963744B1 (en) 2003-07-31 2003-07-31 A detecting method and a training method of event for soccer video

Publications (2)

Publication Number Publication Date
KR20050014559A KR20050014559A (en) 2005-02-07
KR100963744B1 true KR100963744B1 (en) 2010-06-14

Family

ID=37225676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030053218A KR100963744B1 (en) 2003-07-31 2003-07-31 A detecting method and a training method of event for soccer video

Country Status (1)

Country Link
KR (1) KR100963744B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180066474A (en) 2016-12-09 2018-06-19 한국전자통신연구원 Apparatus and method for soccer event detection based on motion
US10607109B2 (en) 2016-11-16 2020-03-31 Samsung Electronics Co., Ltd. Method and apparatus to perform material recognition and training for material recognition

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102234165B1 (en) * 2020-07-13 2021-03-31 주식회사 스포츠로그 Service providing apparatus and method for match analysis

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006644A (en) * 2001-07-13 2003-01-23 삼성전자 주식회사 System and method for providing summary video information of video data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006644A (en) * 2001-07-13 2003-01-23 삼성전자 주식회사 System and method for providing summary video information of video data

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문1
논문2
논문3

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607109B2 (en) 2016-11-16 2020-03-31 Samsung Electronics Co., Ltd. Method and apparatus to perform material recognition and training for material recognition
KR20180066474A (en) 2016-12-09 2018-06-19 한국전자통신연구원 Apparatus and method for soccer event detection based on motion

Also Published As

Publication number Publication date
KR20050014559A (en) 2005-02-07

Similar Documents

Publication Publication Date Title
Huang et al. Semantic analysis of soccer video using dynamic Bayesian network
US6813313B2 (en) Method and system for high-level structure analysis and event detection in domain specific videos
US8018491B2 (en) Summarization of football video content
US6931595B2 (en) Method for automatic extraction of semantically significant events from video
Kokaram et al. Browsing sports video: trends in sports-related indexing and retrieval work
Ariki et al. Automatic production system of soccer sports video by digital camera work based on situation recognition
Takagi et al. Sports video categorizing method using camera motion parameters
US20080269924A1 (en) Method of summarizing sports video and apparatus thereof
Oskouie et al. Multimodal feature extraction and fusion for semantic mining of soccer video: a survey
JP4271930B2 (en) A method for analyzing continuous compressed video based on multiple states
KR100963744B1 (en) A detecting method and a training method of event for soccer video
Chu et al. Explicit semantic events detection and development of realistic applications for broadcasting baseball videos
Jin et al. Hidden markov model based events detection in soccer video
Mei et al. Structure and event mining in sports video with efficient mosaic
JP2003143546A (en) Method for processing football video
Han et al. Feature design in soccer video indexing
Mei et al. Sports video mining with mosaic
Bertini et al. Model checking for detection of sport highlights
Bertini et al. Highlights modeling and detection in sports videos
Pandya et al. Frame based approach for automatic event boundary detection of soccer video using optical flow
Han et al. A general framework for automatic on-line replay detection in sports video
Assfalg et al. Detection and recognition of football highlights using HMM
KR102652647B1 (en) Server, method and computer program for generating time slice video by detecting highlight scene event
Bertini et al. Common visual cues for sports highlights modeling
Chen et al. Event-based segmentation of sports video using motion entropy

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130514

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140523

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150522

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160524

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee