KR100707205B1 - Method and apparatus for detect play section in sports video - Google Patents
Method and apparatus for detect play section in sports video Download PDFInfo
- Publication number
- KR100707205B1 KR100707205B1 KR1020050088235A KR20050088235A KR100707205B1 KR 100707205 B1 KR100707205 B1 KR 100707205B1 KR 1020050088235 A KR1020050088235 A KR 1020050088235A KR 20050088235 A KR20050088235 A KR 20050088235A KR 100707205 B1 KR100707205 B1 KR 100707205B1
- Authority
- KR
- South Korea
- Prior art keywords
- color
- keyframes
- field
- play
- play start
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
본 발명은 야구, 테니스, 배구 등의 스포츠 경기의 동영상에서 플레이가 시작되는 프레임들과 플레이가 종료되는 프레임들을 추출하여, 스포츠 동영상의 플레이 구간을 검출하는 방법 및 장치에 관한 것이다. 그 방법은 스포츠 동영상의 키프레임(keyframe)들 중 플레이 시작 키프레임들을 추출하는 단계; 추출된 플레이 시작 키프레임들로부터 필드(field) 색을 검출하는 단계; 및 검출된 필드 색을 이용하여 스포츠 동영상의 키프레임들 중 플레이 종료 키프레임들을 추출하는 단계를 포함하는 것을 특징으로 한다.The present invention relates to a method and apparatus for detecting a play section of a sports video by extracting frames at which play starts and frames at which play ends from a video of a sports game such as baseball, tennis, and volleyball. The method includes extracting play start keyframes among keyframes of a sports video; Detecting a field color from the extracted play start keyframes; And extracting play-end keyframes among keyframes of the sports video using the detected field color.
본 발명에 의하면, 스포츠의 동영상에서 플레이 구간을 검출하여 동영상 요약 등에 사용하고자 하는 경우, 반복성을 이용하여 동영상으로부터 추출된 플레이 시작 키프레임들을 이용하여 필드색을 검출하고, 상기 검출된 필드색을 이용하여 플레이 종료 키프레임을 추출함으로써, 모든 스포츠 동영상에 적응적이며 정확성이 높은 플레이 구간 검출 방법 및 장치를 제공할 수 있다.According to the present invention, when detecting a play section in a video of a sport and using the video summary, etc., the field color is detected using play start keyframes extracted from the video using repeatability, and the detected field color is used. By extracting the play end keyframe, it is possible to provide a method and apparatus for detecting a play section which is adaptive to all sports videos and has high accuracy.
Description
도 1은 본 발명에 따른 스포츠 동영상의 플레이 구간 검출 장치의 전체적인 구성을 도시한 블록도이다.1 is a block diagram showing the overall configuration of an apparatus for detecting a play section of a sports video according to the present invention.
도 2a, 2b, 2c는 각각 야구, 테니스, 배구 경기 동영상에서의 플레이 구간에 대한 예를 도시한 도면이다.2A, 2B, and 2C are diagrams showing examples of play sections in a baseball, tennis, and volleyball game video, respectively.
도 3은 도 1의 시작프레임추출부에 대한 실시예를 도시한 블록도이다3 is a block diagram illustrating an embodiment of a start frame extractor of FIG. 1.
도 4는 도 3의 후보추출부에 대한 실시예를 도시한 블록도이다.FIG. 4 is a block diagram illustrating an embodiment of the candidate extracting unit of FIG. 3.
도 5는 야구 경기 동영상에서 플레이 시작 키프레임들 간의 반복성을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing repeatability between play start keyframes in a baseball game video.
도 6은 도 4의 시작키프레임군선택부가 복수의 키프레임 군들 중 시작 키프레임 군을 선택하는 방법에 대한 실시예를 도시한 도면이다/FIG. 6 is a diagram illustrating an embodiment of a method in which a start keyframe group selector of FIG. 4 selects a start keyframe group from among a plurality of keyframe groups.
도 7은 도 1의 필드색검출부에 대한 실시예를 도시한 블록도이다.FIG. 7 is a block diagram illustrating an embodiment of the field color detection unit of FIG. 1.
도 8a, 8b, 8c는 각각 배구, 테니스, 야구 동영상에서 필드색을 검출하는 방법에 대한 실시예를 설명하기 위한 도면이다.8A, 8B, and 8C are diagrams for explaining an embodiment of a method of detecting field colors in volleyball, tennis, and baseball videos, respectively.
도 9는 도 1의 종료프레임추출부에 대한 실시예를 도시한 블록도이다.FIG. 9 is a block diagram illustrating an embodiment of the end frame extractor of FIG. 1.
도 10은 도 9의 슬라이스분할부가 프레임을 복수의 슬라이스로 분할하는 방 법에 대한 실시예를 도시한 도면이다.FIG. 10 is a diagram illustrating an embodiment of a method of dividing a frame into a plurality of slices by the slice division of FIG. 9.
도 11은 플레이 종료 키프레임을 추출하는 방법에 대한 실시예를 설명하기 위한 도면이다.11 is a view for explaining an embodiment of a method of extracting a play end keyframe.
도 12는 본 발명에 따른 스포츠 동영상의 플레이 구간 검출 방법을 나타내는 흐름도이다.12 is a flowchart illustrating a method of detecting a play section of a sports video according to the present invention.
도 13은 도 12의 플레이 시작 키프레임 추출 단계에 대한 실시예를 도시한 흐름도이다.FIG. 13 is a flowchart illustrating an embodiment of a play start keyframe extraction step of FIG. 12.
도 14는 도 13의 플레이 시작 후보 키프레임들을 추출하는 단계에 대한 실시예를 도시한 흐름도이다.FIG. 14 is a flowchart illustrating an embodiment of extracting play start candidate keyframes of FIG. 13.
도 15는 도 12의 필드 색을 검출하는 단계에 대한 실시예를 도시한 흐름도이다.FIG. 15 is a flowchart illustrating an embodiment of detecting the field color of FIG. 12.
도 16은 도 12의 플레이 종료 키프레임을 추출하는 단계에 대한 실시예를 도시한 흐름도이다.FIG. 16 is a flowchart illustrating an embodiment of extracting a play end keyframe of FIG. 12.
본 발명은 동영상을 분석하는 방법 및 장치에 관한 것으로서, 특히 야구, 테니스, 배구 등의 스포츠 동영상에서 플레이 구간을 검출하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for analyzing video, and more particularly, to a method and apparatus for detecting a play section in a sports video such as baseball, tennis, and volleyball.
PVR(Personal Video Recorder)와 같은 영상 재생 장치는 일반적으로 저장장 치에 저장된 동영상을 디스플레이 장치를 통해 사용자가 볼 수 있도록 재생하는 것이 주된 용도로서 암호화된 영상 데이터를 복호화 하여 출력하는 기능을 가지며, 최근에는 네트워크, 디지털 저장 장치, 영상 압축 및 복원기술의 발달에 따라, 디지털 영상을 저장 장치에 저장한 후 이를 재생하는 장치가 크게 보급되어 가고있다.Video playback apparatuses such as PVR (Personal Video Recorder) generally have a function of decoding and outputting encrypted video data, which is mainly used for playing a video stored in a storage device for viewing by a user. In accordance with the development of networks, digital storage devices, image compression and decompression technology, devices for storing and reproducing digital images in storage devices have been widely used.
한 경기 당 2시간 이상이 소요되는 야구와 같은 스포츠 경기를 녹화한 동영상의 경우, 동영상 재생 시 상기 동영상 내에서 사용자에게 흥미 있는 투수의 투구 장면, 타자의 스윙 장면 및 야수의 포구 장면 등의 부분, 즉 플레이 구간만을 선택하여 쉽고 빠르게 재생, 편집할 수 있는 기능이 매우 필요하다.For videos recorded on sports events, such as baseball, which require more than two hours per game, such as the pitcher's pitching scene, batter's swing scene, and the beast's muzzle scene, In other words, it is very necessary to select only the play section to play and edit quickly and easily.
본 발명이 이루고자 하는 기술적 과제는, 스포츠 동영상 중 플레이 구간을 검출하여 동영상 요약 등에 이용함에 있어, 모든 스포츠 동영상에 적응적이며 정확성이 높은 플레이 구간 검출 방법 및 장치를 제공하는 것이다.The present invention has been made in an effort to provide a method and apparatus for detecting a play section, which is adaptive to all sports videos and has high accuracy, in detecting a play section of a sports video and using the video summary.
상술한 기술적 과제를 해결하기 위한 본 발명에 의한 스포츠 동영상의 플레이 구간 검출 방법은, 상기 스포츠 동영상의 키프레임(keyframe)들 중 플레이 시작 키프레임들을 추출하는 단계; 상기 추출된 플레이 시작 키프레임들로부터 필드(field) 색을 검출하는 단계; 및 상기 검출된 필드 색을 이용하여 상기 스포츠 동영상의 키프레임들 중 플레이 종료 키프레임들을 추출하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of detecting a play section of a sports video, the method comprising: extracting play start keyframes among keyframes of the sports video; Detecting a field color from the extracted play start keyframes; And extracting play-end keyframes among keyframes of the sports video using the detected field color.
바람직하게는, 상기 플레이 시작 키플레임들을 추출하는 단계는 상기 플레이 시작 키프레임들의 에지 정보 또는 색상 정보의 반복성을 이용하여, 상기 스포츠 동영상의 키프레임들 중 플레이 시작 키프레임들을 추출한다.Preferably, extracting the play start keyframes extracts play start keyframes among keyframes of the sports video by using repeatability of edge information or color information of the playstart keyframes.
상기 플레이 시작 키플레임들을 추출하는 단계는 상기 스포츠 동영상의 키프레임들 중 플레이 시작 후보 키프레임들을 추출하는 단계; 상기 추출된 플레이 시작 후보 키프레임들을 이용하여, 플레이 시작 프레임 모델을 생성하는 단계; 및 상기 생성된 플레이 시작 프레임 모델을 이용하여, 상기 스포츠 동영상의 키프레임들 중 플레이 시작 키프레임들을 추출하는 단계를 포함하는 것이 바람직하다.Extracting the play start keyframes may include extracting play start candidate keyframes among keyframes of the sports video; Generating a play start frame model using the extracted play start candidate keyframes; And extracting play start keyframes among keyframes of the sports video using the generated play start frame model.
바람직하게는, 상기 플레이 시작 후보 키프레임들을 추출하는 단계는 상기 키프레임들의 에지 정보를 이용하여, 상기 스포츠 동영상의 키프레임들을 복수개의 군으로 분류하는 단계; 상기 분류된 복수 개의 군들 각각에 대해 상기 군에 속하는 시간상의 인접 키프레임들 간의 유사도를 계산하고, 상기 복수개의 군들 중 상기 계산된 유사도가 가장 큰 군을 플레이 시작 키프레임 군으로 선택하는 단계; 및 상기 선택된 플레이 시작 키프레임 군에 속하는 키프레임들 중 유사도가 제1 소정 값 이상인 키프레임들을 플레이 시작 후보 키프레임으로 추출하는 단계를 포함한다.Preferably, extracting the play start candidate keyframes comprises: classifying keyframes of the sports video into a plurality of groups using edge information of the keyframes; Calculating a similarity between adjacent keyframes in the group for each of the classified plurality of groups, and selecting a group having the largest calculated similarity among the plurality of groups as a play start keyframe group; And extracting key frames having a similarity or more among key frames belonging to the selected play start key frame group as a play start candidate key frame.
상기 플레이 시작 프레임 모델을 생성하는 단계는 상기 추출된 플레이 시작 후보 키프레임들의 에지 정보 또는 색상 정보가 가지는 값들의 평균값을 이용하여 생성되는 것이 바람직하다.The generating of the play start frame model may be generated using an average value of values of edge information or color information of the extracted play start candidate keyframes.
바람직하게는, 상기 필드 색을 검출하는 단계는 상기 추출된 플레이 시작 키프레임들 각각에 대해, 상기 플레이 시작 키프레임의 소정 하단 영역에 포함된 색 들 중 최대 비율의 색을 검출하는 단계; 상기 플레이 시작 키프레임들 각각에 대해 검출된 최대 비율 색들을 이용하여 상기 필드 색을 계산하는 단계를 포함한다.Preferably, the detecting of the field color comprises: detecting, for each of the extracted play start keyframes, a color of the maximum ratio among colors included in a predetermined lower region of the play start keyframe; Calculating the field color using the detected maximum ratio colors for each of the play start keyframes.
상기 필드 색을 계산하는 단계는 상기 검출된 최대 비율 색들 각각에 대해, 상기 최대 비율 색의 색상 정보와 상기 플레이 시작 키프레임에서 상기 최대 비율 색이 차지하는 비율을 계산하는 단계; 상기 계산된 색상 정보 및 비율을 소정의 기본 필드 색의 색상 정보및 비율과 비교하여, 상기 최대 비율 색들 중 상기 소정의 기본 필드 색과의 유사도가 제2 소정 값 이상인 색들을 후보 필드색으로 추출하는 단계; 및 상기 추출된 후보 필드 색들의 평균을 필드 색으로 검출하는 단계를 포함하는 것이 바람직하다.The calculating of the field color may include calculating, for each of the detected maximum ratio colors, a ratio of color information of the maximum ratio color and the maximum ratio color in the play start keyframe; Comparing the calculated color information and the ratio with the color information and the ratio of a predetermined base field color, extracting colors having a similarity with the predetermined base field color among the maximum ratio colors equal to or greater than a second predetermined value as candidate field colors. step; And detecting the average of the extracted candidate field colors as a field color.
바람직하게는, 상기 플레이 종료 키프레임을 추출하는 단계는 상기 스포츠 동영상의 키프레임들 각각을 복수 개의 슬라이스로 분할하는 단계; 상기 분할된 복수 개의 슬라이스에 포함된 픽셀(pixel)들의 색과 상기 검출된 필드 색을 비교하여, 상기 픽셀의 색과 상기 검출된 필드 색의 유사도가 제3 소정 값 이상인 픽셀을 필드 영역 픽셀로 결정하는 단계; 상기 분할된 복수개의 슬라이스 중 상기 필드 영역 픽셀로 결정된 픽셀이 소정 개수 이상 포함된 슬라이스를 필드 영역 슬라이스로 결정하는 단계; 및 상기 결정된 필드 영역 슬라이스의 개수 또는 필드 영역 슬라이스들 간의 인접도를 이용하여, 상기 스포츠 동영상의 키프레임들 중 플레이 종료 키프레임을 추출하는 단계를 포함한다.Preferably, extracting the play end keyframe comprises: dividing each keyframe of the sports video into a plurality of slices; By comparing the color of the pixels included in the divided plurality of slices with the detected field color, a pixel having a similarity between the color of the pixel and the detected field color equal to or greater than a third predetermined value is determined as a field region pixel. Doing; Determining a slice including a predetermined number of pixels determined as the field region pixels among the divided slices as a field region slice; And extracting a play end keyframe from among keyframes of the sports video by using the determined number of field region slices or proximity between field region slices.
상술한 기술적 과제를 해결하기 위한 본 발명에 의한 스포츠 동영상의 플레이 구간 검출 장치는, 상기 스포츠 동영상의 키프레임들 중 플레이 시작 키프레임 들을 추출하는 시작프레임추출부; 상기 추출된 플레이 시작 키프레임들로부터 필드 색을 검출하는 필드색검출부; 및 상기 검출된 필드 색을 이용하여 상기 스포츠 동영상의 키프레임들 중 플레이 종료 키프레임들을 추출하는 종료프레임추출부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for detecting a play interval of a sports video, including: a start frame extracting unit configured to extract play start keyframes among keyframes of the sports video; A field color detector for detecting a field color from the extracted play start keyframes; And an end frame extracting unit configured to extract play end key frames among key frames of the sports video by using the detected field color.
바람직하게는, 상기 시작프레임추출부는 상기 스포츠 동영상의 키프레임들 중 플레이 시작 후보 키프레임들을 추출하는 후보추출부; 상기 추출된 플레이 시작 후보 키프레임들을 이용하여, 플레이 시작 프레임 모델을 생성하는 시작프레임모델생성부; 및 상기 생성된 플레이 시작 프레임 모델과 상기 스포츠 동영상의 키프레임들을 비교하여, 상기 스포츠 동영상의 키프레임들 중 플레이 시작 키프레임들을 추출하는 모델비교부를 포함한다.Preferably, the start frame extracting unit comprises: a candidate extracting unit extracting play start candidate key frames among key frames of the sports video; A start frame model generator configured to generate a play start frame model using the extracted play start candidate keyframes; And a model comparison unit configured to compare the generated play start frame model with key frames of the sports video to extract play start key frames among the key frames of the sports video.
상기 필드색검출부는 상기 추출된 플레이 시작 키프레임들 각각에 대해, 상기 플레이 시작 키프레임의 소정 하단 영역에 포함된 색들 중 최대 비율의 색을 검출하는 최대비율색검출부; 상기 플레이 시작 키프레임들 각각에 대해 검출된 최대 비율 색들을 이용하여 상기 필드 색을 계산하는 필드색계산부를 포함하는 것이 바람직하다.The field color detector includes: a maximum ratio color detector configured to detect, for each of the extracted play start keyframes, a color having a maximum ratio among colors included in a predetermined lower region of the play start keyframe; And a field color calculator that calculates the field color using the maximum ratio colors detected for each of the play start keyframes.
바람직하게는, 상기 종료프레임추출부는 상기 스포츠 동영상의 키프레임들 각각을 복수 개의 슬라이스로 분할하는 슬라이스분할부; 상기 분할된 복수 개의 슬라이스에 포함된 픽셀(pixel)들의 색과 상기 검출된 필드 색을 비교하여, 상기 픽셀의 색과 상기 검출된 필드 색의 유사도가 제3 소정 값 이상인 픽셀을 필드 영역 픽셀로 결정하는 제1필드픽셀결정부; 상기 분할된 복수개의 슬라이스 중 상기 필드 영역 픽셀로 결정된 픽셀이 소정 개수 이상 포함된 슬라이스를 필드 영역 슬라이스로 결정하는 필드슬라이스결정부; 및 상기 결정된 필드 영역 슬라이스의 개수 또는 필드 영역 슬라이스들 간의 인접도를 이용하여, 상기 스포츠 동영상의 키프레임들 중 플레이 종료 키프레임을 추출하는 슬라이스분석부를 포함한다.Preferably, the end frame extraction unit comprises: a slice dividing unit for dividing each of the key frames of the sports video into a plurality of slices; By comparing the color of the pixels included in the divided plurality of slices with the detected field color, a pixel having a similarity between the color of the pixel and the detected field color equal to or greater than a third predetermined value is determined as a field region pixel. A first field pixel determination unit; A field slice determination unit which determines a slice including a predetermined number or more of pixels determined as the field region pixels among the divided slices as a field region slice; And a slice analyzer configured to extract a play end keyframe from among keyframes of the sports video by using the determined number of field region slices or proximity between field region slices.
상기 스포츠 동영상의 플레이 구간 검출 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.The method for detecting a play section of the sports video may be embodied as a computer-readable recording medium that records a program to be executed in a computer.
이하, 첨부된 도면을 참조하면서 본 발명에 따른 스포츠 동영상의 플레이 구간 검출 방법 및 장치에 대해 상세히 설명한다.Hereinafter, a method and apparatus for detecting a play section of a sports video according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 스포츠 동영상의 플레이 구간 검출 장치의 전체적인 구성을 블록도로 도시한 것으로, 도시된 검출 장치는 샷분할부(100), 키프레임출부(110), 시작프레임추출부(120), 필드색검출부(130) 및 종료프레임추출부(140)를 포함하여 이루어진다. 도 1에 도시된 플레이 구간 검출 장치의 동작을 도 12에 도시된 본 발명에 따른 스포츠 동영상의 플레이 구간 검출 방법을 나타내는 흐름도와 결부시켜 설명하기로 한다.1 is a block diagram showing the overall configuration of the apparatus for detecting a play section of a sports video according to the present invention. The illustrated detection apparatus includes a
샷분할부(100)는 입력 받은 스포츠 동영상의 장면전환을 탐지하여 장면전환 경계시점으로 구분되는 동일장면구간의 시간정보를 얻음으로서 상기 스포츠 동영상을 샷(동일장면구간) 단위로 분할하고(1200단계), 키프레임추출부(110)은 상기 분할된 샷들 각각에 대해 키프레임을 추출한다(1210단계). 키프레임추출부(110)이 샷별 키프레임을 추출하는 방법으로는, 샷의 고정된 위치, 예를들면 샷의 첫 영상, 마지막 영상 또는 중간 영상 등을 선택하여 추출하거나, 움직임이 적은 영상 또는 상이 명료한 영상 또는 얼굴이 또렷이 존재하는 영상을 선택하는 방법 등이 사용될 수 있다.The
스포츠 동영상은 경기가 진행되는 플레이 구간과 경기 외적인 내용을 포함하는 브레이크(break) 구간으로 나뉠 수 있는데, 상기 플레이 구간은 스포츠 경기마다 다르게 정의될 수 있다. 도 2a를 참조하면, 야구 경기의 경우 투수가 공을 던지는 장면이 담긴 프레임(200)으로부터 타자가 스윙한 후 또는 야수가 공을 잡은 클로즈업(close-up) 장면이 담긴 프레임(210)까지를 플레이 구간으로 정의하는 것이 바람직하다.The sports video may be divided into a play section in which a game is played and a break section including content outside the game. The play section may be defined differently for each sport game. Referring to FIG. 2A, in the case of a baseball game, play is performed from the
도 2b, 2c를 참조하면, 테니스 또는 배구 경기의 경우 선수가 서브를 넣는 장면이 담긴 프레임(220, 240)으로부터 한번의 공격이 끝난 후의 클로즈업 장면이 담긴 프레임(230, 250)까지를 플레이 구간으로 정의하는 것이 바람직하다.Referring to FIGS. 2B and 2C, in the case of a tennis or volleyball game, the play section includes
시작프레임추출부(120)는 상기 추출된 키프레임들 중 플레이 구간이 시작되는 플레이 시작 키프레임들을 추출한다(1220단계). 상기 플레이 시작 키프레임들은 동일한 형태 또는 색이 반복되는 특성을 가진다. 따라서 시작프레임추출부(120)는 상기 플레이 시작 키프레임들 간의 에지 정보 또는 색상 정보의 반복성을 이용하여 상기 시작 키프레임들을 추출하는 것이 바람직하다. The
필드색검출부(130)는 상기 추출된 플레이 시작 키프레임들을 이용하여 필드 색을 검출한다(1230단계). 상기 필드 색은 경기장 바닥의 색으로 플레이 시작 키프레임들의 하단에 많이 분포되어 있으므로, 필드색검출부(130)는 상기 추출된 플레 이 시작 키프레임들의 하단 영역을 이용하여 상기 필드 색을 검출하는 것이 바람직하다.The
종료프레임추출부(140)는 상기 검출된 필드 색을 이용하여 상기 키프레임들 중 플레이 구간이 종료되는 플레이 종료 키프레임들을 추출한다(1240단계). 상기 플레이 종료 키프레임은 클로즈업 장면으로 정의되는 것이 바람직하다. 상기 클로즈업 장면은 필드 색과 다른 색을 가지는 비 필드 영역이 차지하는 비율이 높으며 상기 비필드 영역이 밀집되어 있는 특성이 있으므로, 종료프레임추출부(140)는 상기 비 필드 영역의 비율 또는 밀집도를 이용하여 상기 플레이 종료 키프레임들을 추출하는 것이 바람직하다.The
도 3은 도 1의 시작프레임추출부(120)에 대한 실시예를 블록도로 도시한 것으로, 도시된 시작프레임추출부(120)는 후보추출부(300), 시작프레임모델생성부(310) 및 모델비교부(320)를 포함하여 이루어 진다. 도 3에 도시된 시작프레임추출부(120)의 동작을 도 13에 도시된 흐름도와 결부시켜 설명하기로 한다.FIG. 3 is a block diagram illustrating an embodiment of the
후보추출부(300)는 샷별 키프레임들의 에지 정보 및 색상 정보를 이용하여, 상기 키프레임들 중 반복성을 가지는 키프레임들을 플레이 시작 후보 키프레임들로 추출한다(1300단계). 도 5에 도시된 바와 같이, 야구 경기 동영상에서 플레이 시작 키프레임들(500, 510, 520)은 키프레임에 포함된 형상, 즉 에지 정보와 색상 정보가 매우 유사하여 반복성을 가진다. 후보추출부(300)는 상기 키프레임들 사이의 에지 정보 및 색상 정보의 유사도를 계산하여, 상기 계산된 유사도가 미리 정해진 임계치 이상을 가지는 하나의 키프레임 군을 상기 플레이 시작 후보 키프레임들로 추 출하는 것이 바람직하다.The
시작프레임모델생성부(310)는 상기 추출된 플레이 시작 후보 키프레임들을 이용하여 플레이 시작 프레임 모델을 생성한다(1310단계). 시작프레임모델생성부(310)는 상기 플레이 시작 후보 키프레임들의 에지 정보 및 색상 정보의 평균을 계산하여, 상기 계산된 에지 정보 및 색상 정보의 평균 값을 상기 플레이 시작 프레임 모델로 결정하는 것이 바람직하다.The start frame
모델비교부(320)는 상기 생성된 플레이 시작 프레임 모델과 샷별 키프레임들 간의 유사도를 계산하여, 상기 계산된 유사도가 미리 설정된 임계 유사도 값 이상인 경우에는 상기 키프레임을 플레이 시작 키프레임으로 추출한다(1320단계). 시작프레임모델생성부(310)가 상기 플레이 시작 프레임 모델을 에지 정보와 색상 정보로 생성한 경우, 모델비교부(320)는 상기 시작 프레임 모델의 에지 정보 및 색상 정보를 키프레임들의 에지 정보 및 색상 정보와 각각 비교하여, 계산된 2개의 유사도가 모두 미리 설정된 임계 유사도 값 이상인 경우 플레이 시작 키프레임으로 추출하는 것이 바람직하다. 다른 실시예로는, 상기 계산된 2개의 유사도 중 하나라도 미리 설정된 임계 유사도 값 이상인 경우, 상기 키프레임을 플레이 시작 키프레임으로 추출할 수도 있다.The
도 4는 도 3의 후보추출부(300)에 대한 실시예를 블록도로 도시한 것으로, 도시된 후보추출부(300)는 키프레임분류부(400), 시작키프레임군선택부(410) 및 시작후보프레임추출부(420)를 포함하여 이루어진다. 도 4에 도시된 후보추출부(300)의 동작을 도 14에 도시된 흐름도와 결부시켜 설명하기로 한다.4 is a block diagram illustrating an exemplary embodiment of the
키프레임분류부(400)는 샷별 키프레임들의 에지 정보를 이용하여, 서로 유사한 에지 정보를 가지는 키프레임들이 하나의 군에 포함되도록 상기 키프레임들을 복수개의 군으로 분할한다(1400단계). 시작키프레임군선택부(410)는 상기 분할된 키프레임 군들 중 각 군에 포함된 키프레임들 간의 유사도가 가장 큰 키프레임 군을 플레이 시작 키프레임 군으로 선택한다(1410단계).The
도 6은 시작키프레임군선택부(410)가 복수의 키프레임 군들 중 시작 키프레임 군을 선택하는 방법에 대한 실시예를 도시한 것으로, 키프레임들이 4개의 군으로 분할되었다고 가정한 것이다. 상기 분할된 복수의 군들 각각에 대해, 시작키프레임군선택부(410)는 시간상으로 서로 인접한 3개의 키프레임들을 윈도우(window)로 구성하여 상기 윈도우들 각각에 포함된 키프레임들 간의 에지 정보 또는 색상 정보의 유사도를 계산하고, 상기 계산된 유사도들이 미리 설정된 임계 유사도 값보다 큰 윈도우를 유사 윈도우로 결정하여 상기 유사 윈도우들의 개수를 계산한다.FIG. 6 illustrates an embodiment of a method in which the start
도 6을 참조하면, 시작키프레임군선택부(410)는 제 1군의 첫번째 윈도우(600)에 포함된 3개의 키프레임들(620, 630, 640) 사이의 에지 정보 또는 색상 정보의 유사도를 계산하고, 상기 계산된 3개의 유사도가 상기 임계 유사도 값보다 큰 경우에는 상기 첫번째 윈도우(600)를 유사 윈도우로 결정한다. 시작키프레임군선택부(410)는 제 1군의 두번째 윈도우(610)에 대해서도 상기와 같은 방법으로 유사 윈도우 인지 여부를 결정한 후, 상기 제 1군에 포함된 인접안 3개의 키프레임들로 이루어진 모든 윈도우들에 대해서 상기와 같은 방법으로 유사 윈도우 인지 여부를 결정하고, 제 1군에 포함된 유사 윈도우의 개수를 계산한다. 상기와 같은 방법으로, 시작키프레임군선택부(410)는 제 2군, 제 3군, 제 4군 각각에 포함된 유사 윈도우들의 개수를 계산한 후, 상기 계산된 유사 윈도우들의 개수가 가장 큰 키프레임 군을 플레이 시작 키프레임 군으로 선택한다.Referring to FIG. 6, the start key frame
시작후보프레임추출부(420)는 상기 플레이 시작 키프레임 군에 포함된 키프레임들 중, 상기 유사 윈도우에 포함된 키프레임들을 플레이 시작 후보 키프레임으로 선택한다(1420단계).The start candidate
도 7은 도 1의 필드색검출부(130)에 대한 실시예를 블록도로 도시한 것으로, 도시된 필드색검출부(130)는 최대비율색검출부(700), 후보필드색추출부(710) 및 평균계산부(720)를 포함하여 이루어진다. 도 7에 도시된 필드색검출부(130)의 동작을 도 15에 도시된 흐름도와 결부시켜 설명하기로 한다.FIG. 7 is a block diagram illustrating an embodiment of the
도 8a, 8b, 8c에 도시된 바와 같이, 필드 색은 플레이 시작 장면 중 하단에 포함되어 있으므로, 최대비율색검출부(700)는 상기 추출된 플레이 시작 키프레임들 각각에 대해 하단 1/2 영역에 포함된 색들 중 최대 비율의 색을 검출한다(1500단계). 도 8a, 8b, 8c를 참조하면, 최대비율색검출부(700)는 플레이 시작 키프레임의 하단 1/2 영역(800, 810, 820)에 포함된 색들 중 최대 비율의 색을 검출하는 것이 바람직하다.As shown in FIGS. 8A, 8B, and 8C, since the field color is included at the bottom of the play start scene, the maximum ratio
후보필드색추출부(710)는 미리 설정된 기본 필드 색(global field color)의 색상 정보 및 프레임의 하단 1/2 영역에서 차지하는 비율을 저장하고 있다. 후보필드색추출부(710)는 플레이 시작 키프레임들 각각에 대해 검출된 최대 비율 색들의 색상 정보 및 비율을 상기 저장된 기본 필드 색 값(global field color)의 색상 정 보 및 비율과 비교하여, 상기 값들의 유사도가 미리 설정된 임계 유사도 값 이상인 경우에는 상기 최대 비율 색을 후보 필드 색으로 추출한다(1510단계).The candidate
평균계산부(720)는 상기 추출된 후보 필드 색들의 색상 정보의 평균을 계산하여, 상기 계산된 색상 정보 값을 필드 색으로 결정한다(1520단계).The
야구 경기장의 필드는 잔디와 그라운드(ground) 두 부분으로 이루어져 있으므로, 최대비율색검출부(700)는 플레이 시작 키프레임들 각각에 대해 가장 비율이 높은 2개의 최대 비율 색을 검출하며, 후보필드색추출부(710)는 상기 검출된 2개의 최대 비율 색을 2개의 기본 필드 색과 비교하여 상기 2개의 기본 필드 색과 유사한 2개의 후보 필드 색 집합을 추출하고, 평균계산부(720)는 상기 2개의 후보 필드 색 집합 각각에 대해 평균을 계산하여 2개의 필드 색을 결정하는 것이 바람직하다.Since the field of the baseball stadium consists of two parts, the grass and the ground, the maximum ratio
도 9는 도 1의 종료프레임추출부(140)에 대한 실시예를 블록도로 도시한 것으로, 도시된 종료프레임추출부(140)는 슬라이스분할부(900), 필드픽셀결정부(910), 필드슬라이스결정부(920) 및 슬라이스분석부(930)를 포함하여 이루어진다. 도 9에 도시된 종료프레임추출부(140)의 동작을 도 16에 도시된 흐름도와 결부시켜 설명하기로 한다.FIG. 9 is a block diagram illustrating an embodiment of the
종료프레임추출부(140)는 상기 추출된 플레이 시작 키프레임들 중 시간상으로 인접한 2개의 플레이 시작 키프레임들 사이에 위치하는 키프레임들에 대해 다음과 같은 동작을 수행하여 하나의 플레이 종료 키프레임을 추출한다.The
슬라이스분할부(900)는 키프레임들 각각을 복수개의 슬라이스로 분할한다(1600단계). 도 10은 슬라이스분할부(900)가 키프레임을 복수 개의 슬라이스로 분 할한 실시예를 도시한 것이다.The
필드픽셀결정부(910)는 상기 분할된 슬라이스 각각에 대해, 상기 슬라이스에 포함된 픽셀(pixel)들의 색상 정보와 상기 검출된 필드 색의 색상 정보를 비교하여 색상의 유사도가 미리 설정된 임계 유사도 값 이상인 픽셀들을 필드 픽셀로 결정한다(1610단계). 필드픽셀결정부(910)는 상기 픽셀의 색상 정보가 필드색검출부(130)에서 검출된 필드 색과 유사하지 않더라도, 상기 기본 필드 색의 색상 정보와 미리 설정된 임계 유사도 값 이상의 색상 정보를 가지는 경우에는, 상기 픽셀을 필드 픽셀로 결정하는 것이 바람직하다.The field
필드슬라이스결정부(920)는 상기 복수 개의 슬라이스 각각에 포함된 필드 픽셀의 개수가 미리 설정된 임계값 이상인 슬라이스를 필드 슬라이스로 결정한다(1620단계).The
슬라이스분석부(930)는 인접한 슬라이스들을 하나의 윈도우로 구성한 후, 상기 윈도우 각각에 대해 필드 슬라이스에 해당되지 않는 슬라이스, 즉 비 필드 슬라이스가 포함된 비율이 미리 설정된 임계 비율 이상인지 여부를 확인하여, 키프레임에 상기 조건을 만족하는 윈도우가 존재하는 경우 상기 키프레임을 플레이 종료 키프레임으로 추출한다(1630단계).The
도 11은 상기한 플레이 종료 키프레임을 추출하는 방법에 대한 실시예를 도시한 것으로, 키프레임에 포함된 인접한 4개의 슬라이스들을 하나의 윈도우로 구성한 것이다. 슬라이스분석부(930)는 첫번째 윈도우(1100)에 포함된 4개의 슬라이스(1120, 1130, 1140, 1150)가 모두 비 필드 슬라이스인지를 확인하여 그러한 경우 상기 키프레임을 플레이 종료 키프레임으로 추출한다. 슬라이스분석부(930)는 두번째 윈도우(1110) 등 모든 윈도우에 대해 상기와 같은 확인 단계를 수행하여, 상기 키프레임에 포함된 윈도우들 중 포함된 4개의 슬라이스가 모두 비 필드 슬라이스인 윈도우가 있는 경우에는 상기 키프레임을 플레이 종료 키프레임으로 추출하는 것이 바람직하다.FIG. 11 illustrates an embodiment of a method for extracting the play end keyframe, wherein four adjacent slices included in the keyframe are configured as one window. The
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (for example, transmission over the Internet). Include.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. And functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.
이상 본 발명의 바람직한 실시예에 대해 야구, 테니스, 배구 경기 동영상을 중심으로 상세히 기술하였지만, 그 외의 축구, 하키, 핸드볼 등 다른 스포츠 동영상에도 적용 가능하며, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구범위에 정의된 본 발명의 정신 및 범위에 벗어나지 않으면 서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.Although preferred embodiments of the present invention have been described in detail with reference to baseball, tennis, and volleyball game videos, other sports videos such as soccer, hockey, handball, etc. can be applied, and the general knowledge in the art to which the present invention pertains. Those skilled in the art will appreciate that various modifications or changes of the present invention can be made without departing from the spirit and scope of the invention as defined in the appended claims. Accordingly, modifications to future embodiments of the present invention will not depart from the technology of the present invention.
상술한 바와 같이 본 발명에 따른 스포츠 동영상의 플레이 구간 검출 방법 및 장치에 의하면, 반복성을 이용하여 동영상으로부터 추출된 플레이 시작 키프레임들을 이용하여 필드색을 검출하고, 상기 검출된 필드색을 이용하여 플레이 종료 키프레임을 추출함으로써, 모든 스포츠 동영상에 적응적이며 정확성이 높은 플레이 구간 검출 방법 및 장치를 제공할 수 있다.As described above, according to the method and apparatus for detecting a play section of a sports video according to the present invention, the field color is detected using play start keyframes extracted from the video using repeatability, and the play is performed using the detected field color. By extracting the end keyframe, it is possible to provide a method and apparatus for detecting a play section which is adaptive to all sports videos and has high accuracy.
Claims (26)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050088235A KR100707205B1 (en) | 2005-09-22 | 2005-09-22 | Method and apparatus for detect play section in sports video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050088235A KR100707205B1 (en) | 2005-09-22 | 2005-09-22 | Method and apparatus for detect play section in sports video |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070033742A KR20070033742A (en) | 2007-03-27 |
KR100707205B1 true KR100707205B1 (en) | 2007-04-13 |
Family
ID=41623883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050088235A KR100707205B1 (en) | 2005-09-22 | 2005-09-22 | Method and apparatus for detect play section in sports video |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100707205B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116939291B (en) * | 2023-09-13 | 2023-11-28 | 浙江新华移动传媒股份有限公司 | Video quick stripping method and related device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000038290A (en) * | 1998-12-05 | 2000-07-05 | 구자홍 | Moving picture searching method and search data structure based on the case structure |
KR20000060674A (en) * | 1999-03-18 | 2000-10-16 | 이준환 | Method of detecting scene change and article from compressed news video image |
JP2004080615A (en) | 2002-08-21 | 2004-03-11 | Fuji Photo Film Co Ltd | Image-editing apparatus |
JP2004363734A (en) | 2003-06-02 | 2004-12-24 | Casio Comput Co Ltd | Motion picture editing device and its program |
-
2005
- 2005-09-22 KR KR1020050088235A patent/KR100707205B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000038290A (en) * | 1998-12-05 | 2000-07-05 | 구자홍 | Moving picture searching method and search data structure based on the case structure |
KR20000060674A (en) * | 1999-03-18 | 2000-10-16 | 이준환 | Method of detecting scene change and article from compressed news video image |
JP2004080615A (en) | 2002-08-21 | 2004-03-11 | Fuji Photo Film Co Ltd | Image-editing apparatus |
JP2004363734A (en) | 2003-06-02 | 2004-12-24 | Casio Comput Co Ltd | Motion picture editing device and its program |
Also Published As
Publication number | Publication date |
---|---|
KR20070033742A (en) | 2007-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4424590B2 (en) | Sports video classification device | |
US7167809B2 (en) | Processing of video content | |
US7203620B2 (en) | Summarization of video content | |
US6813313B2 (en) | Method and system for high-level structure analysis and event detection in domain specific videos | |
US7143354B2 (en) | Summarization of baseball video content | |
US20100104261A1 (en) | Brief and high-interest video summary generation | |
WO2006009521A1 (en) | System and method for replay generation for broadcast video | |
JP2006148932A (en) | Method and apparatus for summarizing sports moving picture | |
JP2002232840A (en) | Method for summarizing moving picture | |
US20080269924A1 (en) | Method of summarizing sports video and apparatus thereof | |
JP2008283486A (en) | Information processor, information processing method, and program | |
KR100612862B1 (en) | Method and apparatus for summarizing sports video | |
KR20080105387A (en) | Method and apparatus for summarizing moving picture of sports | |
Luo et al. | Pyramidwise structuring for soccer highlight extraction | |
KR100707205B1 (en) | Method and apparatus for detect play section in sports video | |
US20070292112A1 (en) | Searching method of searching highlight in film of tennis game | |
Chu et al. | Explicit semantic events detection and development of realistic applications for broadcasting baseball videos | |
US8542983B2 (en) | Method and apparatus for generating a summary of an audio/visual data stream | |
JP2007174260A (en) | Device for producing digest information | |
KR100963744B1 (en) | A detecting method and a training method of event for soccer video | |
Pandya et al. | Frame based approach for automatic event boundary detection of soccer video using optical flow | |
Choroś | Video shot selection and content-based scene detection for automatic classification of TV sports news | |
US20070291986A1 (en) | Method, medium, and system generating navigation information of input video | |
KR100510098B1 (en) | Method and Apparatus for Automatic Detection of Golf Video Event | |
JP2016100614A (en) | Video processing device, video processing system, video processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |