KR100871012B1 - Method for ground shadow reduction in sport video - Google Patents

Method for ground shadow reduction in sport video Download PDF

Info

Publication number
KR100871012B1
KR100871012B1 KR1020070015293A KR20070015293A KR100871012B1 KR 100871012 B1 KR100871012 B1 KR 100871012B1 KR 1020070015293 A KR1020070015293 A KR 1020070015293A KR 20070015293 A KR20070015293 A KR 20070015293A KR 100871012 B1 KR100871012 B1 KR 100871012B1
Authority
KR
South Korea
Prior art keywords
ground
shadow
equation
value
area
Prior art date
Application number
KR1020070015293A
Other languages
Korean (ko)
Other versions
KR20080075986A (en
Inventor
김창익
고재승
이재호
Original Assignee
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국정보통신대학교 산학협력단 filed Critical 한국정보통신대학교 산학협력단
Priority to KR1020070015293A priority Critical patent/KR100871012B1/en
Publication of KR20080075986A publication Critical patent/KR20080075986A/en
Application granted granted Critical
Publication of KR100871012B1 publication Critical patent/KR100871012B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30228Playing field

Abstract

본 발명은 운동경기 비디오에서의 그라운드 그림자 감소방법에 관한 것으로, 운동경기 비디오의 시청 경험 향상을 위한 그라운드 그림자를 감소하는 방법으로서, 상기 운동경기 비디오의 각 영상 프레임 내에서 RGB 값을 이용하여 그라운드 존재여부를 판단하는 단계와, 상기 그라운드가 존재하는 영상 프레임을 n×n 블록으로 나누어 그라운드 블록 맵을 구축하는 단계와, 상기 구축된 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계를 검출하는 단계와, 상기 검출된 샷 경계에서 원거리 또는 비 원거리 샷을 판정하는 단계와, 상기 원거리 샷으로 판정되면, 해당 영상 프레임 내에 그림자 영역이 존재하는지 판별하는 단계와, 상기 그림자 영역이 존재할 경우, 해당 영상 프레임 내의 YU 값을 이용하여 그림자 영역을 추출하는 단계와, 상기 추출된 그림자 영역 내에서 그림자 성분의 세기에 따라 제1 및 제2 그림자 영역으로 분류하고, 상기 분류된 제1 및 제2 그림자 영역의 강도에 따라 밝기를 조절하여 그림자 성분을 감소시키는 단계를 포함함으로써, 사용자에게 보다 나은 시청 환경을 제공해 줄 수 있는 효과가 있다.The present invention relates to a method for reducing ground shadows in athletics video. The present invention relates to a method for reducing ground shadows for improving the viewing experience of athletics video. The present invention relates to ground shadows using RGB values in each image frame of athletics video. Determining whether or not, dividing an image frame having the ground into n × n blocks, constructing a ground block map, detecting shot boundaries by checking temporal discontinuity of the constructed ground block map; Determining a distant or non-distant shot at the detected shot boundary; determining if there is a shadow region in the corresponding image frame if determined to be the far shot; and if the shadow region exists, YU in the corresponding image frame. Extracting a shadow area using the value, and extracting Classifying the first and second shadow areas according to the intensity of the shadow components within the shadow area, and adjusting the brightness according to the intensity of the classified first and second shadow areas to reduce the shadow components. It has the effect of providing a better viewing experience.

운동경기, 시청 경험, 그림자, 그라운드 블록 맵 Athletics, Watching Experience, Shadow, Ground Block Map

Description

운동경기 비디오에서의 그라운드 그림자 감소방법{METHOD FOR GROUND SHADOW REDUCTION IN SPORT VIDEO}How to reduce ground shadows in athletics video {METHOD FOR GROUND SHADOW REDUCTION IN SPORT VIDEO}

도 1은 운동경기 비디오에 존재하는 세 가지 종류의 샷 타입을 나타내는 도면으로서, (a) 원거리 샷, (b) 중거리 샷, (c) 근거리 샷.1 is a diagram illustrating three types of shot types present in athletic video, including (a) long shots, (b) medium shots, and (c) close shots.

도 2는 운동경기 비디오에 존재하는 그라운드 내에서 그림자가 드리워진 영상을 나타낸 도면.FIG. 2 is a view showing an image in which shadows are cast in the ground existing in the athletic video. FIG.

도 3은 본 발명의 일 실시예에 따른 운동경기 비디오에서의 그라운드 그림자 감소방법을 설명하기 위한 전체적인 흐름도.3 is a general flowchart illustrating a method for reducing ground shadows in athletics video according to an embodiment of the present invention.

도 4는 본 발명에서 그라운드 블록 맵에 존재하는 작은 홀을 채운 후의 모습을 도시한 도면으로서, (a)는 그라운드 블록 맵, (b)는 홀을 채운 후의 모습.4 is a view showing a state after filling a small hole present in the ground block map in the present invention, (a) is a ground block map, (b) is a state after filling the hole.

도 5는 본 발명에서 그림자 영역이 존재하는 그라운드 영상의 각 채널별 상태를 나타낸 도면으로서, (a) 원본 영상, (b) Y 채널, (c) U 채널, (d) V 채널.5 is a view showing a state of each channel of the ground image having a shadow area in the present invention, (a) the original image, (b) Y channel, (c) U channel, (d) V channel.

도 6은 본 발명에서 그림자가 존재하는 영상에서 그라운드로 검출된 영역의 각 채널별 히스토그램을 도시한 도면으로서, (a) Y 채널, (b) U 채널.6 is a diagram illustrating a histogram for each channel of a region detected as ground in an image in which shadow exists in the present invention, (a) Y channel, (b) U channel.

도 7은 본 발명에서 그림자가 존재하는 영상과 추출된 그라운드 위의 그림자 영역을 나타낸 도면.FIG. 7 is a diagram illustrating an image in which shadow exists in the present invention and a shadow area on the extracted ground. FIG.

도 8은 본 발명의 일 실시예에 따른 운동경기 비디오에서의 그라운드 그림자 감소방법을 수행한 결과를 비교하기 위한 도면으로서, (a) 원본영상의 Y 히스토그램, (b) 결과영상의 Y 히스토그램.8 is a view for comparing the results of performing the ground shadow reduction method in the athletic video according to an embodiment of the present invention, (a) Y histogram of the original image, (b) Y histogram of the result image.

도 9는 본 발명에 의한 운동경기 비디오 처리 과정을 보인 도면으로서, (a) 그림자가 존재하는 원본영상, (b) 그림자 영역을 추출한 영상, (c) 그림자를 감소한 영상.9 is a view illustrating a process of processing a sports video according to the present invention, wherein (a) an original image in which a shadow exists, (b) an image extracted from a shadow region, and (c) an image of reduced shadow.

본 발명은 운동경기 비디오에서의 그라운드 그림자 감소방법에 관한 것으로, 보다 상세하게는 필드스포츠에서와 같이 빠른 움직임이 이루어지고 있는 영상 내에서 빠르고 간단한 방법을 통해 실시간으로 그림자 영역을 찾아서 추출된 그림자 영역에 대해 그림자 감소를 수행함으로써, 사용자에게 보다 나은 시청 환경을 제공해 줄 수 있도록 한 운동경기 비디오에서의 그라운드 그림자 감소방법에 관한 것이다.The present invention relates to a method for reducing ground shadows in athletic video. More specifically, the present invention relates to a shadow region extracted by finding a shadow region in real time through a quick and simple method in a fast motion image such as in field sports. The present invention relates to a method of reducing ground shadows in athletics videos that can provide a better viewing experience to a user by performing shadow reduction for the user.

최근 디지털 및 통신 기술의 발달과 더불어 멀티미디어 환경은 다양한 콘텐츠를 시간과 장소의 제약 없이 사용자에게 원하는 서비스를 제공할 수 있는 수준에 이르게 되었다.Recently, with the development of digital and communication technologies, the multimedia environment has reached a level capable of providing a desired service to users without restriction of time and place.

따라서, 지금까지는 사용자에게 안정적으로 서비스를 제공하기 위한 척도로써 서비스품질(Quality of Service, QoS)의 보장이 중요한 이슈였으며, 이를 위해 주어진 대역폭 안에서 끊김이 없으면서 보다 높은 화질의 서비스를 제공하기 위한 많은 노력들이 있어왔다.Therefore, up to now, guaranteeing the Quality of Service (QoS) has been an important issue as a measure for providing a stable service to users, and for this purpose, many efforts have been made to provide a higher quality service without interruption in a given bandwidth. Have been.

그러나, 최근의 디지털 영상기술의 급격한 발전과 소비자들의 높은 기대 수준으로 인해 단순히 선명한 화질과 끊김 없는 전송에 주안점을 두는 서비스품질(QoS)의 보장을 넘어서 시청자에게 TV 시청 시의 편이성과 유쾌한 경험을 제공해 줄 수 있는 디스플레이 기술이 요구되고 있다.However, due to the recent rapid development of digital image technology and high expectations of consumers, it provides viewers with the convenience and pleasant experience of watching TV beyond simply guaranteeing quality of service (QoS), which focuses on clear picture quality and seamless transmission. There is a need for display technology that can give.

이제는 마케팅 산업에서 "고객만족"의 차원을 넘어 "고객감동"을 추구하는 바와 같이, 멀티미디어 콘텐츠 서비스 산업에서도 서비스품질(QoS)의 개념을 넘어서 사용자에게 더욱 쾌적하고 만족스러운 환경을 제공해주고자 하는 노력이 필요한 시점에 이르렀다. 이러한 인식에 힘입어 최근 서비스품질(QoS)의 개념이 확장된 경험품질(Quality of Experience, QoE)이라는 용어가 등장하였다.Now, as the marketing industry pursues "customer satisfaction" beyond the "customer satisfaction", the multimedia content service industry also strives to provide a more pleasant and satisfying environment for users beyond the concept of quality of service (QoS). This has come to the point. Thanks to this recognition, the term quality of experience (QoE) has recently emerged, in which the concept of quality of service (QoS) has been expanded.

이와 같은 패러다임의 변화와 함께 디지털 영상 분야에서도 최근 시청자의 시청경험(Viewing Experience)이나 시청 편의성을 향상시키기 위한 연구가 활발히 진행되고 있다.Along with such a paradigm change, researches to improve viewing experience or viewing convenience of viewers in the digital image field have been actively conducted.

도 1은 운동경기 비디오에 존재하는 세 가지 종류의 샷 타입을 나타내는 도면으로서, (a)는 원거리 샷이고, (b)는 중거리 샷이며, (c) 근거리 샷이다.1 is a diagram illustrating three types of shot types present in a sports video, where (a) is a long shot, (b) is a medium shot, and (c) is a short shot.

도 1을 참조하면, 대표적인 필드스포츠인 축구 경기의 경우, 촬영되는 샷의 형태에 따라 필드에 존재하는 물체들의 크기가 다르게 나타난다. 도 1의 (c)와 같이, 근거리 촬영의 경우에는 큰 문제가 없지만 도 1의 (a)와 같이, 원거리 촬영의 경우에는 화면 내의 물체(예컨대, 선수, 공 등)들이 매우 작아서 사용자가 화면의 내용을 이해하기가 힘든 경우가 종종 발생한다.Referring to FIG. 1, in the case of a soccer game, which is a representative field sport, sizes of objects present in a field are different depending on the type of shot to be shot. As shown in (c) of FIG. 1, there is no big problem in the case of close-up photography, but as in (a) of FIG. 1, the objects (eg, the player, the ball, etc.) in the screen are very small in the case of the long-distance photography. Often the content is difficult to understand.

이러한 문제점을 해결하기 위해서 사용자들이 주로 관심을 가지는 관심영역(Region Of Interest, ROI)만을 확대해서 보여주는 연구가 시도되었다. 즉, 종래에 제안된 방법은 먼저 축구 비디오를 관심영역(ROI)의 추출이 필요한 샷과 필요하지 않은 샷으로 구분하여 관심영역의 추출이 필요한 샷의 프레임에 대해서 관심영역(ROI)을 자동으로 추출, 확대하여 보여주는 지능적 디스플레이 방법이다.In order to solve this problem, a study was attempted to enlarge only a region of interest (ROI) of which users are mainly interested. That is, the conventionally proposed method automatically divides a soccer video into shots that need to extract ROI and shots that do not need to automatically extract ROI for the frames of shots that need to extract ROI. It is an intelligent display method that enlarges and displays.

그리고, 이와 같이 종래 기술의 지능형 디스플레이 방법은 이동형 단말기 상에서의 축구경기 시청 시, 작은 화면 내에서는 점수상자와 같은 부분이 잘 보이지 않거나, 사용자가 원하는 시점에 항시 점수상자가 존재하는 것은 아니기 때문에 경기 내에서 점수상자에 해당하는 부분만을 찾아내어서 확대하여 보여주거나, 실제 화면 상에서는 존재하지 않더라도 이전에 저장된 정보를 기억하여 사용자가 원하는 시점에서 이를 보여줄 수 있는 연구 등도 시도되었다.In this way, the intelligent display method according to the related art does not show the score box in a small screen when watching a soccer game on a mobile terminal, or because the score box does not always exist at a point in time desired by the user. Attempts have been made to find only the part corresponding to the score box and to enlarge it, or to show it at a point in time desired by the user by storing previously stored information even though it does not exist on the actual screen.

상기와 같이 디스플레이 장치의 작은 크기로 인해 발생하는 불편한 시청 경험뿐만 아니라 일반 TV 시청 시에도 발생할 수 있는 쾌적한 시청 환경을 저해하는 문제들의 개선에 관한 연구도 시청 경험 향상을 위해 진행될 필요가 있다.As described above, research on improvement of problems that hinder the comfortable viewing environment that may occur even in general TV viewing as well as an uncomfortable viewing experience caused by the small size of the display device needs to be progressed to improve the viewing experience.

예를 들어 도 2는 운동경기 비디오에 존재하는 그라운드 내에서 그림자가 드리워진 영상을 나타낸 도면으로서, 햇빛이 강렬한 낮에 진행되는 필드스포츠의 경우 관중석으로부터 그라운드에 드리워지는 그림자로 인해 사용자들이 이를 시청하기에 많은 불편함을 느끼게 된다.For example, FIG. 2 is a view showing a shadow cast in a ground existing in an athletic video. In the case of field sports in a daylight with intense sunlight, a shadow cast on the ground from a stands is viewed by users. You will feel a lot of inconvenience.

즉, 그림자 영역 내에서는 물체의 밝기(Luminance)가 대체로 어둡고, 비슷해 서 사용자들이 이를 구분해내기가 쉽지 않기 때문이다. 따라서, 이러한 그림자 성분의 감소는 사용자에게 더욱 쾌적한 시청 환경을 제공해 줄뿐만 아니라, 부가적으로 그림자 영역에서의 물체 추적이나 관심영역 추출을 더욱 용이하게 해주는 장점이 있다.That is, in the shadow area, the brightness of the object is generally dark and similar, so it is not easy for users to distinguish it. Therefore, the reduction of the shadow component not only provides a more comfortable viewing environment for the user, but also additionally facilitates object tracking or extraction of the region of interest in the shadow region.

최근에는 그림자 영역의 개선을 위한 다양한 연구가 시도되었으나 대체로 정지영상에 대한 그림자 영역의 추출과 제거에 관한 연구들이거나, 동영상에 대해서 그림자 영역을 추출만 하거나, 그림자 영역 추출을 통해 제거하기는 하지만 프레임 율이 낮은 영상을 대상으로 하는 연구들에 그치고 있다.Recently, various studies have been attempted to improve shadow areas, but generally, studies on extraction and removal of shadow areas for still images, shadow areas for video only, or removal through shadow area extraction are performed. It is just a study of low-rate images.

그러나, 필드스포츠 경기는 실시간으로 동작하면서 물체의 움직임이 빠르고 섬세하기 때문에 매우 빠르고 강건한 그림자 개선 방법이 요구되고 있는 실정이다.However, field sports competition is required in a very fast and robust shadow improvement method because the movement of the object while moving in real time and fast.

본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 필드스포츠에서와 같이 빠른 움직임이 이루어지고 있는 영상 내에서 빠르고 간단한 방법을 통해 실시간으로 그림자 영역을 찾아서 추출된 그림자 영역에 대해 그림자 감소를 수행함으로써, 사용자에게 보다 나은 시청 환경을 제공해 줄 수 있도록 한 운동경기 비디오에서의 그라운드 그림자 감소방법을 제공하는데 있다.The present invention has been made to solve the above-mentioned problems, an object of the present invention is to find a shadow region extracted in real time through a quick and simple method in the image of the fast movement, such as in field sports, for the extracted shadow region By performing shadow reduction, a method of reducing ground shadow in a sports video that can provide a better viewing environment to a user is provided.

전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 운동경기 비디오의 시청 경험 향상을 위한 그라운드 그림자를 감소하는 방법으로서, (a) 상기 운동경기 비디오의 각 영상 프레임 내에서 RGB 값을 이용하여 그라운드 존재여부를 판단하는 단계; (b) 상기 그라운드가 존재하는 영상 프레임을 n×n 블록으로 나누어 그라운드 블록 맵을 구축하는 단계; (c) 상기 구축된 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계를 검출하는 단계; (d) 상기 검출된 샷 경계에서 원거리 또는 비 원거리 샷을 판정하는 단계; (e) 상기 단계(d)에서 원거리 샷으로 판정되면, 해당 영상 프레임 내에 그림자 영역이 존재하는지 판별하는 단계; (f) 상기 단계(e)에서 상기 그림자 영역이 존재할 경우, 해당 영상 프레임 내의 YU 값을 이용하여 그림자 영역을 추출하는 단계; 및 (g) 상기 추출된 그림자 영역 내에서 그림자 성분의 세기에 따라 제1 및 제2 그림자 영역으로 분류하고, 상기 분류된 제1 및 제2 그림자 영역의 강도에 따라 밝기를 조절하여 그림자 성분을 감소시키는 단계를 포함하는 운동경기 비디오에서의 그라운드 그림자 감소방법을 제공하는 것이다.In order to achieve the above object, a first aspect of the present invention provides a method of reducing ground shadows for improving a viewing experience of a sports video, the method comprising: (a) using RGB values in each image frame of the sports video; Determining whether a ground exists; (b) constructing a ground block map by dividing an image frame having the ground into n × n blocks; (c) detecting shot boundaries by checking temporal discontinuity of the constructed ground block map; (d) determining a distant or non-distant shot at the detected shot boundary; (e) if it is determined in the step (d) that the far shot is made, determining whether a shadow area exists in the corresponding image frame; (f) extracting the shadow area using the YU value in the corresponding image frame when the shadow area exists in the step (e); And (g) classifying the first and second shadow areas into the first and second shadow areas according to the intensity of the shadow components in the extracted shadow area, and adjusting the brightness according to the intensity of the classified first and second shadow areas to reduce the shadow components. To provide a method for reducing ground shadows in athletics video comprising the step of.

본 발명의 제2 측면은, 상술한 운동경기 비디오에서의 그라운드 그림자 감소방법을 실행시키기 위한 프로그램을 기록한 기록매체를 제공한다.According to a second aspect of the present invention, there is provided a recording medium on which a program for executing the method of reducing the ground shadow in the above-described athletic game video is recorded.

이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하 기 위하여 제공되어지는 것이다. 한편, 이하의 실시예에서는 운동경기 비디오 중에서 축구경기 비디오를 대상으로 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the present invention illustrated below may be modified in many different forms, and the scope of the present invention is not limited to the embodiments described below. The embodiments of the present invention are provided to more fully explain the present invention to those skilled in the art. Meanwhile, in the following embodiment, a soccer game video is described as an object.

우선, 축구경기 비디오 내에서 클로즈업이나 중거리 샷과 같은 비원거리 샷의 경우에는 이미 경기내의 사물이 크게 확대되어 화면에 보이게 되므로, 그림자로 인해 시청자가 불편함을 느끼는 경우가 적다.First, in the case of non-distance shots such as close-ups or mid-range shots in a soccer game video, the objects in the game are already magnified and displayed on the screen, so that viewers often feel uncomfortable due to shadows.

하지만, 원거리 샷의 경우에는 전술한 바와 같이 그림자가 존재하는 경우, 시청자가 사물을 제대로 분별하거나 상황을 판단하는데 불편함을 느끼게 된다. 따라서, 그림자 영역을 검출하고 그림자 감소를 수행하기 이전에 입력받은 샷들 중에서 원거리 샷을 분류해내는 과정이 필요하다.However, in the case of a long shot as described above, when a shadow exists, the viewer may feel uncomfortable in properly discriminating an object or determining a situation. Therefore, it is necessary to classify the far shot from the shots received before detecting the shadow area and performing the shadow reduction.

그리고, 샷 분류를 수행한 이후에 원거리 샷으로 판별된 샷 중에서 그림자가 존재하는 샷에 대해서 그림자 검출을 수행하고, 검출된 그림자 성분의 감소를 수행하여 개선된 영상을 제공할 수 있게 된다.After performing the shot classification, the shadow detection may be performed on the shot having the shadow among the shots determined as the far shot, and the improved shadow image may be provided by reducing the detected shadow component.

도 3은 본 발명의 일 실시예에 따른 운동경기 비디오에서의 그라운드 그림자 감소방법을 설명하기 위한 전체적인 흐름도이다.3 is an overall flowchart illustrating a method for reducing ground shadows in a sports video according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 운동경기 비디오에서의 그라운드 그림자 감소방법은, 먼저, 특정 운동경기 비디오의 각 영상프레임 내에서 RGB(Red, Green, Blue) 값을 이용하여 그라운드 존재여부를 판단하여(S100), 상기 그라운드가 존재하는 영상 프레임을 n×n 블록으로 나누어 그라운드 블록 맵을 구 축한다(S200).Referring to FIG. 3, a method of reducing ground shadows in a sports video according to an embodiment of the present invention, first, ground using RGB (Red, Green, Blue) values in each image frame of a specific sports video. In operation S100, a ground block map is constructed by dividing the video frame having the ground into n × n blocks.

다음으로, 상기 단계S200에서 구축된 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계를 검출한 후(S300), 상기 검출된 샷 경계에서 원거리 또는 비 원거리 샷을 판정한다(S400).Next, after detecting the shot boundary by checking the temporal discontinuity of the ground block map constructed in step S200 (S300), a far or non-distant shot is determined at the detected shot boundary (S400).

이후에, 상기 단계S400에서 원거리 샷으로 판정되면, 해당 영상 프레임 내에 그림자 영역이 존재하는지 판별하여(S500), 상기 그림자 영역이 존재할 경우, 해당 영상 프레임 내의 YU(Y: 휘도 신호, U: 휘도 신호와 적색 성분의 차) 값을 이용하여 그림자 영역을 추출한다(S600).Subsequently, when it is determined in the step S400 that the long shot is determined, it is determined whether a shadow region exists in the corresponding image frame (S500). If the shadow region exists, YU (Y: luminance signal, U: luminance signal in the corresponding image frame) exists. The shadow region is extracted using the difference between the and red components) (S600).

다음으로, 상기 추출된 그림자 영역 내에서 그림자 성분의 세기에 따라 제1 및 제2 그림자 영역으로 분류하고(S700), 상기 분류된 제1 및 제2 그림자 영역의 강도에 따라 밝기를 조절하여 그림자 성분을 감소시킨다(S800).Next, the first and second shadow areas are classified according to the intensity of the shadow component in the extracted shadow area (S700), and the brightness is adjusted by adjusting the brightness according to the intensity of the classified first and second shadow areas. Reduce (S800).

이와 같이 구성된 본 발명의 일 실시예에 따른 운동경기 비디오에서의 그라운드 그림자 감소방법을 단계별로 상세히 설명하면 아래와 같다.When the ground shadow reduction method in the athletics video according to an embodiment of the present invention configured as described above is described in detail step by step.

S100 : 그라운드 존재여부 판단 단계S100: Determination of the presence of ground

축구 비디오 분석에서 다양한 환경 아래의 그라운드 픽셀을 판단하는 것은 매우 중요하다. 이는 샷의 경계 검출, 샷의 분류 판정뿐만 아니라 그라운드 위의 그림자 영역을 판단하는데도 매우 중요하다. 그라운드의 색상은 축구 비디오에 따라 조금씩 다른 색을 갖고 있으나, 대체적으로 g>r>b 의 관계가 있음을 알 수 있 다.In football video analysis, it is very important to determine the ground pixels under various environments. This is very important not only for detecting edges of shots and determining classification of shots, but also for determining shadow areas on the ground. The color of the ground has a slightly different color depending on the football video, but it can be seen that g> r> b generally has a relationship.

따라서, 본 발명에서의 그라운드 발견 즉, 존재여부를 판단하는 식은 하기의 수학식 1과 같이 나타낼 수 있다.Therefore, the ground discovery in the present invention, that is, the expression for determining whether the existence can be expressed as Equation 1 below.

Figure 112007013599615-pat00001
Figure 112007013599615-pat00001

여기서, r, g, b는 영상프레임 내의 (x,y) 좌표에서의 RGB 값이며, 0∼255 범위 내의 값을 갖는다. (x,y) 좌표에서 그라운드 여부를 나타내는 G(x,y)는 그라운드에 속할 때 1, 그렇지 않으면 0의 값을 갖는다.Here, r, g, and b are RGB values at (x, y) coordinates in the video frame and have a value in the range of 0 to 255. In the (x, y) coordinates, G (x, y), which indicates whether it is ground, has a value of 1 when it belongs to ground, or 0 otherwise.

I(x,y)를 (x,y) 좌표의 세기(Intensity) 값이라 할 때, I(x,y)값에 따라서 그라운드를 세 가지로 분류한다. 첫째, 세기(Intensity)가 200이상인 경우(CASEⅠ) 매우 밝은 그라운드로, 둘째, 세기(Intensity)가 50이상 200미만인 경우(CASEⅡ) 중간 밝기의 그라운드로, 셋째, 세기(Intensity)가 50미만인 경우(CASEⅢ) 어두운 그라운드로 각각 분류한다.When I (x, y) is the intensity value of the (x, y) coordinate, the ground is classified into three types according to the I (x, y) value. First, when the intensity is above 200 (CASEⅠ), very bright ground; second, when the intensity is above 50 and below 200 (CASE II); and when the intensity is below 50, third, when the intensity is below 50 ( CASEIII) Classify each into dark ground.

또한, 그라운드 색상의 기본 특성인 g>r>b 관계를 이용하며, 잔디로 착각할 수 있는 예외 상황들을 위해서 상기의 수학식 1과 같이 각 r, g, b 값에 가중치(weight)를 주어 비교하였다.In addition, g> r> b relationship, which is the basic characteristic of ground color, is used, and for each exceptional situation that may be mistaken for grass, weights are assigned to each r, g, and b value as shown in Equation 1 above. It was.

예컨대, 노란색 유니폼의 경우에 그라운드 색상과 비슷한 r, g, b 값 관계를 갖지만 g와 b 값의 차이가 매우 크므로, 관찰을 통하여 상기의 수학식 1과 같은 가중치(weight) 값을 결정하였으며, 잔디의 색이 변하여 붉은 색이 띄는 잔디의 경우에 그라운드임에도 r>g>b의 관계를 갖기 때문에, 이를 보완하기 위해서 g 값에는 95, r 값에는 85를 가중치(weight) 값으로 정하고, 그 가중치(weight) 값을 각 r, g 값에 곱해서 차이를 비교하였다. 그리고, 각 밝기에 따라서 조건을 조절하여 밝기에 상관없이 그라운드를 구별할 수 있도록 한다.For example, in the case of the yellow uniform has a r, g, b value relationship similar to the ground color, but the difference between g and b value is very large, the weight value (Equation 1) is determined through observation, In the case of turf that has a red color due to the change of turf color, it has r> g> b relationship even though it is ground, so to compensate for this, set 95 as the g value and 85 as the r value. The differences were compared by multiplying the weight values by the r and g values. Then, the condition is adjusted according to each brightness so that the ground can be distinguished regardless of the brightness.

S200 : 그라운드 블록 맵 구축 단계S200: Ground Block Map Construction Steps

본 발명에서 빠른 샷 경계 검출과 샷 분류를 위하여 전체 프레임을 16×16 크기의 블록으로 나누어 그라운드 블록 맵 GB(i,j)을 구축한다. GB(i,j)을 정의하기 위해 우선 한 블록 내 픽셀의 집합인 Bij를 하기의 수학식 2와 같이 정의한다.In the present invention, for fast shot boundary detection and shot classification, the ground block map GB (i, j) is constructed by dividing the entire frame into 16 × 16 blocks. To define GB (i, j), first, B ij , a set of pixels in one block, is defined as in Equation 2 below.

Figure 112007013599615-pat00002
Figure 112007013599615-pat00002

그리고, 상기의 수학식 2를 이용하여 그라운드 블록 맵 GB(i,j)을 하기의 수학식 3과 같이 정의한다.The ground block map GB (i, j) is defined as in Equation 3 below using Equation 2 above.

Figure 112007013599615-pat00003
Figure 112007013599615-pat00003

본 발명에서는 총 20개의 다른 축구 비디오를 통해서, 얻은 그라운드 블록(Ground Block) 샘플을 테스트한 결과, 그라운드 블록 내에서 그라운드로 판별되는 픽셀 수가 약 50% 이상이면 그라운드 블록임을 알 수 있었으며, 기준값(TGround)을 0.5로 설정한다. 물론, 그라운드 블록을 판단하기 위한 기준값인 50%는 설정값으로서 얼마든지 변화될 수 있다. 그리고, 상기의 결과 얻어진 그라운드 블록 맵은 도 4의 (a)와 같다.In the present invention, as a result of testing ground block samples obtained through a total of 20 different soccer videos, it can be seen that the number of pixels determined as ground in the ground block is about 50% or more, indicating that the ground block is a reference value (T). Ground ) to 0.5. Of course, 50%, which is a reference value for determining the ground block, can be changed as much as the set value. The resulting ground block map is as shown in Fig. 4A.

한편, 상기 그라운드 블록 맵을 형성하면, 도 4의 (a)와 같이 그라운드 위에 선수나 공 등에 의해서 객체(Object) 블록이 존재하게 된다. 본 발명에서는 그라운드 영역과 관중석 등의 그라운드 외부 영역을 구분하고, 이를 샷 종류 판정과 그림자 제거에 이용하기 위해서 그라운드 위에 존재하는 객체(Object) 블록을 홀(Hole)로 규정하고, 이 홀(Hole)들을 채우는 작업이 필요하다.On the other hand, if the ground block map is formed, an object block exists on the ground by a player, a ball, or the like as shown in FIG. In the present invention, the object block existing on the ground is defined as a hole in order to distinguish the ground area from the outside of the ground, such as a spectator seat, and to use it for determining shot types and removing shadows. It is necessary to fill the fields.

따라서, 본 발명에서는 하기의 수학식 4와 같은 조건을 사용하여 현재 그라운드 블록의 위, 아래 블록들을 검사하여 도 4의 (b)와 같이 홀(Hole)을 채워주었다.Therefore, in the present invention, the upper and lower blocks of the current ground block are inspected using the conditions as shown in Equation 4 below to fill the holes as shown in FIG.

Figure 112007013599615-pat00004
Figure 112007013599615-pat00004

S300 : 샷 경계 검출 단계S300: shot boundary detection step

본 발명에서 샷 경계 검출은 비디오 분석의 기본이 되는 과정이다. 샷 경계 에서만 샷을 분류함으로써 계산량을 줄이고, 일시적인 화면 상태 변화로 인한 판정 오류를 줄임으로써 샷 종류 판정의 정확성을 높일 수 있다. 본 발명에서는 샷 경계 검출을 위해 하기의 수학식 5와 같이, 그라운드 블록 맵의 시간적 불연속성(Temporal Block Difference, TBD)을 체크하여 효율적이고 빠르게 샷 경계를 검출한다.In the present invention, shot boundary detection is a basic process of video analysis. By classifying shots only at the shot boundary, the accuracy of shot type determination can be improved by reducing the calculation amount and reducing the determination error due to the temporary screen state change. In the present invention, for detecting the shot boundary, as shown in Equation 5 below, the temporal discontinuity (TBD) of the ground block map is checked to detect the shot boundary efficiently and quickly.

Figure 112007013599615-pat00005
Figure 112007013599615-pat00005

여기서,

Figure 112008041329988-pat00030
는 XOR 연산을 의미하며, i번째 영상프레임과 i-3 번째 영상프레임의 각 그라운드 블록(Ground Block)사이의 XOR 연산 결과의 총 합을 저장한다. 본 발명에서는 TBDi-1 < θSB 이고, TBDi > θSB 일 때, i번째 영상프레임을 샷 경계로 결정하였다. 또한, 샷 경계를 결정하는 임계값 θSB 은 30으로 설정하였다.here,
Figure 112008041329988-pat00030
Denotes an XOR operation, and stores the total sum of the results of the XOR operation between each ground block of the i th video frame and the i-3 th video frame. In the present invention, when TBD i-1 < θ SB and TBD i > θ SB , the i-th image frame is determined as the shot boundary. In addition, the threshold value θ SB for determining the shot boundary was set to 30.

S400 : 샷 종류 판정 단계S400: Shot type determination step

샷 경계가 검출되면 그 지점에서 샷 종류 판정이 수행되어야 한다. 즉, 현재 샷의 종류를 원거리 샷(Long shot)과 비 원거리 샷(Non-Long shot)으로 구분한다. 축구 비디오의 특성상 원거리 샷(Long shot)의 경우, 전체 영상프레임 내에 그라운드 블록의 수가 많이 존재하게 된다. 이를 이용하여 축구 비디오의 중심 영역의 그라운드 컬럼(Column)의 길이를 측정하여 샷 분류를 수행한다.If a shot boundary is detected, shot type determination should be performed at that point. That is, the current shot is classified into a long shot and a non-long shot. In the case of long shots, a large number of ground blocks exist in the entire video frame. The shot classification is performed by measuring the length of the ground column of the center region of the soccer video using the measurement.

그라운드 블록 맵의 각 칼럼에 대해서 가장 긴 녹색 세그먼트(Longest Green Segment, LGS)를 찾아낸다. 영상프레임 내의 가로 방향의 황금 영역(영상을 가로방향으로 3:5:3으로 나눌 때 5에 해당하는 중앙 영역) 범위 내에서 영상 높이의 1/3 보다 작은 LGS가 하나라도 존재하면, 그 샷은 비 원거리 샷(Non-Long shot)으로 판단한다. 즉, 전체 비디오에서 k 번째 영상프레임을 라고 정의할 때, 하기의 수학식 6과 같이 나타낼 수 있다.Find the longest green segment (LGS) for each column in the ground block map. If there is any LGS smaller than 1/3 of the height of the image within the horizontal golden area of the video frame (the center area equal to 5 when the image is divided into 3: 5: 3 horizontally), the shot will be It is determined as a non-long shot. That is, when defining the k-th image frame in the entire video, it can be expressed as Equation 6 below.

Figure 112007013599615-pat00006
Figure 112007013599615-pat00006

여기서, θL=frame height/3 이고, GSLeft=frame width×3/11이며, GSRight=frame width×8/11로 설정하였다. 본 발명에서는 샷 종류 판정을 샷 경계 발견 직후에 수행하였으며, 샷 종류 판정의 오류가 발생하는 상황에 대비해서 샷 종류를 판단한 후 3 frames 이후, 60 frames 이후 다시 한번 샷 종류 판정을 실행하도록 하였다. 이는 샷 판정 오류뿐만 아니라 점진적 샷 변환 시를 대비한 것이다.Here, θ L = frame height / 3, GSLeft = frame width × 3/11, and GSRight = frame width × 8/11. In the present invention, the shot type determination is performed immediately after the shot boundary is detected, and the shot type determination is performed again after 3 frames and after 60 frames after the shot type is determined in preparation for an error in the shot type determination. This is in preparation for gradual shot conversion as well as shot determination error.

S500∼S700 : 그라운드 그림자 성분의 분석과 추출 단계S500-S700: Analysis and Extraction Step of Ground Shadow Components

height×width 크기의 프레임 내의 픽셀의 집합을 R이라 할 때, R={(x,y);0<x<height, 0<y<width}와 같이 표현할 수 있다. 분석한 그림자 성분의 특성을 바탕으로 그림자 영역을 추출한 후, 그림자가 존재하는 그라운드, 그림자가 없는 그라운드, 그라운드가 아닌 영역으로 분류하며, 각각 GS, GNS, NG로 나타내기로 한 다. 즉, P를 R의 분할된 한 형태로 정의하면, P={GS, GNS, NG}로 나타낼 수 있다.When a set of pixels in a height × width frame is R, R = {(x, y); 0 <x <height, 0 <y <width}. After the shadow region is extracted based on the characteristics of the analyzed shadow components, it is classified into the ground where the shadow exists, the ground without the shadow, and the non-ground area, and are represented as G S , G NS , and NG, respectively. That is, if P is defined as a divided form of R, it can be expressed as P = {G S , G NS , NG}.

본 발명에서는 영상을 축구 영상에 한정하므로, 그라운드 위의 그림자 영역 분리가 쉽고, 복호기의 출력에서 바로 얻을 수 있는 영상프레임의 YUV(Y: 휘도 신호, U: 휘도 신호와 적색 성분의 차, V: 휘도 신호와 청색 성분의 차) 색 공간을 이용하여 그라운드 위의 그림자 영역을 추출한다.In the present invention, since the image is limited to the football image, it is easy to separate the shadow area on the ground, and the YUV (Y: luminance signal, U: difference between the luminance signal and the red component, V :) of the image frame obtained directly at the output of the decoder. The shadow area on the ground is extracted using the difference between the luminance signal and the blue component) color space.

도 5는 본 발명에서 그림자 영역이 존재하는 그라운드 영상의 각 채널별 상태를 나타낸 도면으로서, (a) 원본 영상, (b) Y 채널, (c) U 채널, (d) V 채널이고, 도 6은 본 발명에서 그림자가 존재하는 영상에서 그라운드로 검출된 영역의 각 채널별 히스토그램을 도시한 도면으로서, (a) Y 채널이고, (b) U 채널이며, 도 7은 본 발명에서 그림자가 존재하는 영상과 추출된 그라운드 위의 그림자 영역을 나타낸 도면이다.FIG. 5 is a diagram illustrating a state of each channel of a ground image in which a shadow region exists in the present invention, (a) an original image, (b) Y channel, (c) U channel, and (d) V channel, and FIG. Is a histogram for each channel of the area detected as ground in the image in which the shadow exists in the present invention, (a) Y channel, (b) U channel, Figure 7 is a shadow present in the present invention The figure shows the image and the shadow area on the extracted ground.

도 5 내지 도 7을 참조하면, 그림자 영역은 밝은 영역에 비해서 낮은 밝기 값을 갖고 있으므로, 상대적으로 낮은 Y 값을 나타낸다. 그리고, Y와는 반대로 그라운드 위의 그림자 영역은 밝은 영역 보다 상대적으로 높은 U 값을 갖고 있음을 확인 할 수 있으며, V 값에 대해서는 그림자 영역과 밝은 영역 사이에 차이가 없다.5 to 7, the shadow area has a lower brightness value than the bright area, and thus shows a relatively low Y value. And, in contrast to Y, it can be seen that the shadow area on the ground has a higher U value than the bright area, and there is no difference between the shadow area and the bright area for the V value.

본 발명에서는 그림자 영역과 밝은 영역에 대해서 확연한 차이를 보이는 Y와 U 값을 이용하여 그림자 영역을 추출한다.In the present invention, the shadow region is extracted by using Y and U values showing a significant difference between the shadow region and the bright region.

즉, 상기의 수학식 1을 이용하여, 판단된 그라운드 픽셀에 대해서만 도 6과 같이 Y 채널과 U 채널의 히스토그램을 나타내었다. 가로축은 0∼255사이의 Y, U 값의 빈(Bin)을 의미하며, 세로축은 해당 빈(Bin) 값을 갖고 있는 누적 픽셀 개수이다.That is, the histograms of the Y channel and the U channel are shown as shown in FIG. 6 only for the determined ground pixels using Equation 1 above. The horizontal axis represents bins of Y and U values between 0 and 255, and the vertical axis represents the cumulative number of pixels having the corresponding bin values.

히스토그램에서 확인할 수 있듯이 Y 채널과 U 채널의 히스토그램에서는 그림자 영역과 밝은 영역에 대해서 각각의 피크(Peak)가 존재하여 전체적으로 2개의 피크(Peak)가 존재하는 것을 확인할 수 있다.As shown in the histogram, in the histograms of the Y channel and the U channel, each peak is present in the shadow area and the bright area, and thus, two peaks are present.

두 개의 피크(Peak) 중에서, 그림자 영역의 피크(Peak)는 낮은 인덱스(Index) 값을 갖는 쪽으로 위치하게 되며, U 채널의 경우 높은 인덱스(Index) 값을 갖는 피크(Peak)가 그림자 영역에 해당하는 피크(Peak)가 된다. 하기의 수학식 7과 같이, 상기 피크(Peak)들의 위치와 피크(Peak)간 거리를 통해서 그림자가 있는 그라운드와 그림자가 없는 그라운드를 구분한다.Among the two peaks, the peak of the shadow area is located toward the side having the lower index value, and for the U channel, the peak having the high index value corresponds to the shadow area. It becomes peak. As shown in Equation 7 below, the shadowed ground and the shadowless ground are distinguished by the positions of the peaks and the distance between the peaks.

Figure 112007013599615-pat00007
Figure 112007013599615-pat00007

여기서, YPeakBright는 밝은 그라운드 영역에 해당하는 Y 히스토그램의 피크(Peak)의 인덱스(Index) 값을 의미하며, YPeakShadow는 그림자가 드리워진 그라운드 영역에 해당하는 Y 히스토그램에서의 피크(Peak)의 인덱스(Index) 값을 의미한다.Here, YPeak Bright refers to the index value of the peak of the Y histogram corresponding to the bright ground area, and YPeak Shadow refers to the index of the peak in the Y histogram corresponding to the shadowed ground area. (Index) value.

즉, 두 피크(Peak)들의 인덱스(Index)의 차이를 계산하여, 그 차이가 50이상이면 그라운드 내에 일광 조건이 일정하지 않는 것으로 판단하여 그림자 영역이 존재하는 후보 영상프레임으로 분류한다.That is, the difference between the indexes of the two peaks is calculated, and if the difference is 50 or more, it is determined that daylight conditions are not constant in the ground and classified as candidate image frames having shadow areas.

이후에, 본 발명에서는 상기 분류한 그라운드 내에 그림자 영역이 존재한다고 예상되는 후보 영상프레임에서 그라운드 검출 알고리즘과 간단한 그림자 영역내의 픽셀의 특징을 이용하여 하기의 수학식 8과 같이 그라운드 내에서 그림자 영역을 추출할 수 있다.Subsequently, in the present invention, a shadow region is extracted from the ground using a ground detection algorithm and a feature of a pixel in the simple shadow region in a candidate image frame in which the shadow region is expected to exist in the classified ground. can do.

Figure 112007013599615-pat00008
Figure 112007013599615-pat00008

여기서, (x,y)는 현재 픽셀을 의미하고, U(x,y)는 현재 픽셀의 U 값을 의미하며, Y(x,y)는 현재 픽셀의 Y 값을 의미한다. 축구 비디오에서 그라운드 위의 그림자 영역은 도 5에서 볼 수 있듯이, 항상 픽셀의 U 값이 Y 값 보다 높은 것을 확인할 수 있다.Here, (x, y) means the current pixel, U (x, y) means the U value of the current pixel, and Y (x, y) means the Y value of the current pixel. In the soccer video, as shown in FIG. 5, the shadow area on the ground always shows that the U value of the pixel is higher than the Y value.

그림자 영역 픽셀의 이 특성을 이용하여, 상기의 수학식 1을 이용하여 그라운드 픽셀로 판단된 픽셀 중에서, 현재 픽셀의 U 값이 Y 값보다 큰 경우 그림자 영역의 픽셀로 판단한다.Using this property of the shadow area pixel, if the U value of the current pixel is larger than the Y value among the pixels determined as the ground pixel using Equation 1, the shadow area pixel is determined.

S800 : 그림자 성분 감소 단계S800: shadow component reduction stage

본 발명에서는 상기 추출된 그림자를 감소해주기 위하여 우선, 상기 추출된 그림자 영역 내에서 그림자 성분의 세기에 따라 그림자 영역 GS를 하기의 수학식 9와 같이 두 가지 영역으로 구분하기로 한다.In the present invention, in order to reduce the extracted shadow, first, the shadow area G S is divided into two areas according to Equation 9 according to the intensity of the shadow component in the extracted shadow area.

Figure 112007013599615-pat00009
Figure 112007013599615-pat00009

여기서, Y(x,y)는 현재 픽셀의 Y 값을 의미하며, CYPeaks는 도 6의 (a)에서 얻은 Y 채널 히스토그램의 그림자 영역의 피크(Peak) 인덱스와 밝은 영역의 피크(Peak) 인덱스의 중간 인덱스를 의미하며, CYPeaks=(YPeakBright+ YPeakShadow)/2와 같은 방법으로 얻을 수 있다.Here, Y (x, y) means the Y value of the current pixel, and C YPeaks is the peak index of the shadow region and the peak index of the bright region of the Y channel histogram obtained in FIG. It means the middle index of, and can be obtained in the same way as C YPeaks = (YPeak Bright + YPeak Shadow ) / 2.

본 발명에서는 전술한 바와 같이 CYPeaks 값의 75% 이하에 해당하는 Y 값을 갖는 픽셀의 경우 강한 그림자 그라운드 영역(Strong Shadow ground, GSS)으로 분류하며, 75% 이상인 경우에는 약한 그림자 그라운드 영역(Weak Shadow Region, GWS)으로 분류한다. 그리고, 상기 분류된 그림자 영역의 강도에 따라 하기의 수학식 10과 같이 그림자 성분을 감소시켜 줄 수 있다.In the present invention, as described above, a pixel having a Y value corresponding to 75% or less of the C YPeaks value is classified as a strong shadow ground area (G SS ), and when it is 75% or more, a weak shadow ground area ( Weak Shadow Region, G WS ). The shadow component may be reduced according to the intensity of the classified shadow region as shown in Equation 10 below.

Figure 112007013599615-pat00010
Figure 112007013599615-pat00010

본 발명에서는 그림자 영역의 밝기를 높여주기 위하여 전술한 그린 Y, U 히스토그램의 그림자 영역의 피크(Peak)와 밝은 영역의 피크(Peak) 인덱스 값 차이인 YPeakDiff와 UPeakDiff를 이용한다.In the present invention, YPeak Diff and UPeak Diff, which are the difference between the peak of the shadow areas of the green Y and U histograms and the peak index values of the bright areas, are used to increase the brightness of the shadow areas.

그리고, 그림자 영역의 픽셀의 Y 값을 피크(Peak) 인덱스 차이만큼 모두 올려주게 되면, 기존의 밝은 영역과 그림자가 감소된 영역이 매우 부자연스럽게 느껴지게 되므로, α와 β값을 이용하여 밝아지는 정도를 조절하여 자연스러운 영상을 얻을 수 있다.In addition, if the Y value of the pixel of the shadow area is all increased by the difference of the peak index, the existing bright area and the area of which the shadow is reduced are very unnaturally felt, and thus the brightness is brightened using the α and β values. You can get a natural image by adjusting.

이때, α와 β값은 [0, 1]의 범위의 값을 갖게 되며, 강한 그림자 영역은 약한 그림자 영역보다 더 많은 양의 밝기 보정이 필요하므로, 다음의 0<β<α<1의 관계를 갖는다.At this time, the α and β values have a value in the range of [0, 1], and since the strong shadow area needs more brightness correction than the weak shadow area, the following relationship of 0 <β <α <1 Have

그리고, 보다 자연스러운 영상을 얻기 위해서 강한 그림자 픽셀의 경우, 현재 픽셀의 Y 값과 그림자 영역의 피크(Peak) 인덱스의 차이를 더해주어서, 증가된 그림자 영역 픽셀의 Y 값이 히스토그램 상에서 더 넓고 고르게 분포 할 수 있도록 한다.In addition, in order to obtain a more natural image, in the case of a strong shadow pixel, the difference between the Y value of the current pixel and the peak index of the shadow area is added, so that the Y value of the increased shadow area pixel is distributed more widely and evenly on the histogram. To help.

한편, U 값의 경우 Y와는 반대로 밝은 영역 보다 그림자 영역의 U 값이 더 높으므로, 현재 픽셀의 U 값에서 UPeakDiff을 빼서 그림자 픽셀의 U 값을 밝은 영역의 픽셀과 비슷하도록 낮춰준다.On the other hand, in the case of the U value, the U value of the shadow area is higher than that of the bright area, as opposed to Y. Therefore, the U value of the shadow pixel is lowered to be similar to that of the light area by subtracting UPeak Diff from the U value of the current pixel.

도 8은 본 발명의 일 실시예에 따른 운동경기 비디오에서의 그라운드 그림자 감소방법을 수행한 결과를 비교하기 위한 도면으로서, (a) 원본영상의 Y 히스토그램이며, (b) 결과영상의 Y 히스토그램이다.8 is a view for comparing the results of performing the method of reducing the ground shadow in the athletic video according to an embodiment of the present invention, (a) Y histogram of the original image, (b) Y histogram of the result image .

도 8의 (b)에 도시된 바와 같이, 그림자 감소를 처리한 결과 낮은 영역에 존재하던 그림자 영역에 해당하는 픽셀들이 오른쪽으로 이동하여 밝은 영역에 위치하 게 됨을 확인할 수 있다.As shown in (b) of FIG. 8, as a result of processing the shadow reduction, it can be seen that pixels corresponding to the shadow area that existed in the low area move to the right and are located in the bright area.

전술한 바와 같이 구성된 운동경기 비디오에서의 그라운드 그림자 감소방법을 수행하기 위해서 예컨대, Win32 환경에서 비주얼 스튜디오(Visual Studio) 2003을 이용하여 개발하였으며, MPEG 복호화를 위해서는 ffmpeg 라이브러리를 사용하였다.In order to perform the method of reducing the ground shadow in the athletic video constructed as described above, for example, it was developed using Visual Studio 2003 in a Win32 environment, and the ffmpeg library was used for MPEG decoding.

테스트를 위한 영상으로 Test 1, 2, 3, 4 총 4가지 그림자가 존재하는 축구비디오를 사용하였다. 각 영상은 총 5000 프레임으로 구성되어 있으며, 320×240 해상도를 갖고, Xvid를 이용하여 압축하였다.For the test, a soccer video with four shadows, Test 1, 2, 3, and 4, was used. Each video consists of 5000 frames, has 320 × 240 resolution, and is compressed using Xvid.

그라운드 맵 구축, 샷 경계와 종류 판단, 그림자 감소의 모든 과정이 펜티엄(Pentium)-4 3.0 GHz PC에서 약 32fps 이상으로 동작하여, PC 상에서 실시간으로 동작이 가능하였다.Ground map construction, shot boundary and type determination, and shadow reduction all run at around 32 fps or higher on a Pentium-4 3.0 GHz PC, enabling real-time operation on the PC.

하기의 표 1은 아무런 처리과정 없이 화면에 디스플레이만 한 경우와, 샷 경계, 샷 분류 판정 과정과 그림자 감소 과정을 수행한 경우의 프로그램 수행 속도를 측정한 것이다.Table 1 below shows the program execution speed when only the display is performed on the screen without any processing and when the shot boundary, the shot classification determination process, and the shadow reduction process are performed.

Figure 112007013599615-pat00011
Figure 112007013599615-pat00011

도 9는 본 발명에 의한 운동경기 비디오 처리 과정을 보인 도면으로서, (a) 그림자가 존재하는 원본영상이고, (b) 그림자 영역을 추출한 영상이며, (c) 그림자를 감소한 영상이다. 그림자 성분의 감소 시, 상기의 수학식 10의 α값은 0.8, β값은 0.4로 설정하였다.FIG. 9 is a view illustrating a process of processing a sports video according to the present invention, wherein (a) an original image in which shadow exists, (b) an image extracted from a shadow region, and (c) an image in which shadow is reduced. When the shadow component was decreased, the α value of Equation 10 was set to 0.8 and the β value was set to 0.4.

한편, 본 발명의 실시예에 따른 운동경기 비디오에서의 그라운드 그림자 감소방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.On the other hand, the method for reducing the ground shadow in the athletic video according to an embodiment of the present invention can also be implemented as computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a hard disk, a floppy disk, a removable storage device, a nonvolatile memory (Flash memory). Optical data storage, and the like, and also implemented in the form of a carrier wave (eg, transmission over the Internet).

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.The computer readable recording medium can also be distributed over computer systems connected over a computer network so that the computer readable code is stored and executed in a distributed fashion.

전술한 본 발명에 따른 운동경기 비디오에서의 그라운드 그림자 감소방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.Although a preferred embodiment of the method for reducing the ground shadow in the athletic video according to the present invention has been described above, the present invention is not limited thereto, but the scope of the claims and the detailed description of the invention and the accompanying drawings are various. It is possible to carry out the transformation to this also belongs to the present invention.

이상에서 설명한 바와 같은 본 발명의 운동경기 비디오에서의 그라운드 그림자 감소방법에 따르면, 필드스포츠에서와 같이 빠른 움직임이 이루어지고 있는 영상 내에서 빠르고 간단한 방법을 통해 실시간으로 그림자 영역을 찾아서 추출된 그림자 영역에 대해 그림자 감소를 수행함으로써, 사용자에게 보다 나은 시청 환경을 제공해 줄 수 있는 이점이 있다.According to the method of reducing the shadow of the ground in the athletic video of the present invention as described above, the shadow region is found in real time through a quick and simple method in the fast-moving image as in the field sports. By performing the shadow reduction for the user, there is an advantage that can provide a better viewing experience to the user.

Claims (13)

운동경기 비디오의 시청 경험 향상을 위한 그라운드 그림자를 감소하는 방법으로서,As a method of reducing ground shadows to improve the viewing experience of athletic videos, (a) 상기 운동경기 비디오의 각 영상 프레임 내에서 RGB 값을 이용하여 그라운드 존재여부를 판단하는 단계;(a) determining whether there is a ground using an RGB value in each image frame of the athletic video; (b) 상기 그라운드가 존재하는 영상 프레임을 n×n 블록으로 나누어 그라운드 블록 맵을 구축하는 단계;(b) constructing a ground block map by dividing an image frame having the ground into n × n blocks; (c) 상기 구축된 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계를 검출하는 단계;(c) detecting shot boundaries by checking temporal discontinuity of the constructed ground block map; (d) 상기 검출된 샷 경계에서 원거리 또는 비 원거리 샷을 판정하는 단계;(d) determining a distant or non-distant shot at the detected shot boundary; (e) 상기 단계(d)에서 원거리 샷으로 판정되면, 해당 영상 프레임 내에 그림자 영역이 존재하는지 판별하는 단계;(e) if it is determined in the step (d) that the far shot is made, determining whether a shadow area exists in the corresponding image frame; (f) 상기 단계(e)에서 상기 그림자 영역이 존재할 경우, 해당 영상 프레임 내의 YU 값을 이용하여 그림자 영역을 추출하는 단계; 및(f) extracting the shadow area using the YU value in the corresponding image frame when the shadow area exists in the step (e); And (g) 상기 추출된 그림자 영역 내에서 그림자 성분의 세기에 따라 제1 및 제2 그림자 영역으로 분류하고, 상기 분류된 제1 및 제2 그림자 영역의 강도에 따라 밝기를 조절하여 그림자 성분을 감소시키는 단계를 포함하는 운동경기 비디오에서의 그라운드 그림자 감소방법.(g) classifying the first and second shadow areas according to the intensity of the shadow components in the extracted shadow area, and adjusting the brightness according to the intensity of the classified first and second shadow areas to reduce the shadow components. A method for reducing ground shadows in athletics video comprising steps. 제 1 항에 있어서, 상기 단계(a)에서,The method of claim 1, wherein in step (a), 상기 그라운드는 하기의 수학식 1에 의해 판단되는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.The ground is the shadow shadow reduction method of the athletic video, characterized in that determined by the following equation (1). [수학식 1][Equation 1]
Figure 112008041329988-pat00012
Figure 112008041329988-pat00012
여기서, r, g, b는 영상 프레임 내의 (x,y) 좌표에서의 RGB 값이며, 0∼255 범위 내의 값이다. (x,y) 좌표에서 그라운드 여부를 나타내는 G(x,y)는 그라운드에 속할 때 1, 그렇지 않으면 0의 값이다. 그리고, I(x,y)를 (x,y) 좌표의 세기(Intensity) 값이라 할 때, I(x,y)값에 따라 세기(Intensity)가 200이상인 경우(CASEⅠ) 매우 밝은 그라운드로, 세기(Intensity)가 50이상 200미만인 경우(CASEⅡ) 중간 밝기의 그라운드로, 세기(Intensity)가 50미만인 경우(CASEⅢ) 어두운 그라운드로 판단한다.Here, r, g, and b are RGB values at (x, y) coordinates in the video frame, and are values within the range of 0 to 255. In the (x, y) coordinates, G (x, y), which indicates whether it is grounded, is a value of 1 if it belongs to ground, or 0 otherwise. When I (x, y) is called the intensity value of the (x, y) coordinate, and if the intensity is 200 or more according to the value of I (x, y) (CASEⅠ) to a very bright ground, If the intensity is 50 or more and less than 200 (CASE II), the ground is a medium brightness, and if the intensity is less than 50 (CASE III), it is determined to be a dark ground.
제 1 항에 있어서, 상기 단계(b)에서,The method of claim 1, wherein in step (b), 상기 그라운드 블록 맵은 하기의 수학식 2 및 수학식 3에 의해 구축되는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.The ground block map is constructed by the following equations (2) and (3). [수학식 2][Equation 2]
Figure 112008041329988-pat00013
Figure 112008041329988-pat00013
[수학식 3][Equation 3]
Figure 112008041329988-pat00014
Figure 112008041329988-pat00014
여기서, Bij는 한 블록 내 픽셀의 집합이고, GB(i,j)는 그라운드 블록 맵이며, TGround는 0.5이다.Here, B ij is a set of pixels in one block, GB (i, j) is a ground block map, and T Ground is 0.5.
제 1 항에 있어서, 상기 단계(b)이후에,The method of claim 1, wherein after step (b), 상기 그라운드 블록 맵 내에 생성된 홀(Hole)들을 채우는 단계를 더 포함하는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.And filling the holes generated in the ground block map. 제 4 항에 있어서, 상기 홀(Hole)들은 하기의 수학식 4에 의해 현재 그라운드 블록의 위, 아래 블록들을 검사하여 채우는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.5. The method of claim 4, wherein the holes are filled by inspecting and filling blocks above and below a current ground block according to Equation 4 below. 6. [수학식 4][Equation 4]
Figure 112008041329988-pat00015
Figure 112008041329988-pat00015
여기서, GB(i,j)는 그라운드 블록 맵이다.Where GB (i, j) is the ground block map.
제 1 항에 있어서, 상기 단계(c)에서,The method of claim 1, wherein in step (c), 상기 샷 경계는 하기의 수학식 5에 의해 검출하는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.The shot boundary is detected by Equation 5 below. [수학식 5][Equation 5]
Figure 112008041329988-pat00016
Figure 112008041329988-pat00016
여기서,
Figure 112008041329988-pat00031
는 XOR 연산이며, i번째 영상 프레임과 i-3 번째 영상 프레임의 각 그라운드 블록 사이의 XOR 연산 결과의 총 합을 저장한다. 그리고, TBDi-1 < θSB 이고, TBDi > θSB 일 때, i번째 영상 프레임을 샷 경계로 결정하며, θSB 은 30으로 설정한다.
here,
Figure 112008041329988-pat00031
Is an XOR operation, and stores the total sum of the result of the XOR operation between the i th image frame and each ground block of the i-3 th image frame. When TBD i-1 &lt; θ SB and TBD i &gt; θ SB , the i-th image frame is determined as the shot boundary, and θ SB is set to 30.
제 1 항에 있어서, 상기 단계(d)는,The method of claim 1, wherein step (d) (d-1) 상기 그라운드 블록 맵의 각 컬럼에서 상기 그라운드 컬러가 가장 긴 세그먼트를 찾아내는 단계; 및(d-1) finding a segment having the longest ground color in each column of the ground block map; And (d-2) 상기 영상 프레임의 중앙 영역 내에 존재하는 상기 그라운드 컬러가 가장 긴 세그먼트의 길이와 기 설정된 기준값을 비교하여 상기 원거리 샷 또는 비 원거리 샷으로 판정하는 단계를 포함하는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.(d-2) comparing the length of the longest segment with the ground color existing in the center region of the image frame with a predetermined reference value to determine the distance shot or the non-distance shot. How to reduce ground shadows in video. 제 1 항에 있어서, 상기 단계(e)에서,The method of claim 1, wherein in step (e), 상기 그림자 영역은 Y 채널 및 U 채널의 히스토그램에서의 피크(Peak)들의 위치와 피크(Peak)간의 거리를 이용하여 그림자가 있는 그라운드와 그림자가 없는 그라운드를 구분하는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.The shadow area distinguishes the shadowed ground and the shadowless ground by using the positions of the peaks in the histograms of the Y channel and the U channel and the distance between the peaks. How to reduce ground shadows. 제 8 항에 있어서, 상기 그림자 영역은 하기의 수학식 7에 의해 판별하는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.The method of claim 8, wherein the shadow area is determined by Equation 7 below. [수학식 7][Equation 7]
Figure 112008041329988-pat00017
Figure 112008041329988-pat00017
여기서, YPeakBright는 밝은 그라운드 영역에 해당하는 Y 히스토그램의 피크(Peak)의 인덱스(Index) 값이고, YPeakShadow는 그림자가 드리워진 그라운드 영역에 해당하는 Y 히스토그램에서의 피크(Peak)의 인덱스(Index) 값으로서, 두 피크(Peak)들의 인덱스(Index)의 차이를 계산하여 그 차이가 50이상이면, 그라운드 내에 일광 조건이 일정하지 않는 것으로 판단하여 그림자 영역이 존재하는 후보 영상프레임으로 분류한다.Here, YPeak Bright is the index value of the peak of the Y histogram corresponding to the bright ground area, and YPeak Shadow is the index of the peak in the Y histogram corresponding to the shadowed ground area. As a value of), the difference between the indexes of the two peaks is calculated, and if the difference is 50 or more, it is determined that daylight conditions are not constant in the ground and classified as candidate image frames having shadow areas.
제 1 항에 있어서, 상기 단계(f)에서,The method of claim 1, wherein in step (f), 상기 그림자 영역은 하기의 수학식 8에 의해 추출하는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.The shadow area is extracted by the following equation (8), the ground shadow reduction method of the athletic video. [수학식 8][Equation 8]
Figure 112008041329988-pat00018
Figure 112008041329988-pat00018
여기서, (x,y)는 현재 픽셀이고, U(x,y)는 현재 픽셀의 U 값이며, Y(x,y)는 현재 픽셀의 Y 값이다. 그리고, 현재 픽셀의 U 값이 Y 값보다 큰 경우 그림자 영역의 픽셀로 판단한다.Here, (x, y) is the current pixel, U (x, y) is the U value of the current pixel, and Y (x, y) is the Y value of the current pixel. When the U value of the current pixel is larger than the Y value, the pixel is determined to be a pixel of the shadow area.
제 1 항에 있어서, 상기 단계(g)에서,The method of claim 1, wherein in step (g), 상기 추출된 그림자 성분은 하기의 수학식 9에 의해 상기 제1 및 제2 그림자 영역으로 분류하는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.The extracted shadow component is classified into the first and second shadow areas according to Equation 9 below. [수학식 9][Equation 9]
Figure 112008041329988-pat00019
Figure 112008041329988-pat00019
여기서, GS는 그림자 영역을 나타내고, Y(x,y)는 현재 픽셀의 Y 값이며, CYPeaks는 Y 채널 히스토그램의 그림자 영역의 피크(Peak) 인덱스와 밝은 영역의 피크(Peak) 인덱스의 중간 인덱스로서, CYPeaks=(YPeakBright + YPeakShadow)/2이다. 그리고, 상기 제1 및 제2 그림자 영역은 각각 강한 그림자 그라운드 영역(GSS) 및 약한 그림자 그라운드 영역(GWS)이다.Where G S represents the shadow area, Y (x, y) is the Y value of the current pixel, and C YPeaks is the middle of the peak index of the shadow area and the peak index of the bright area of the Y channel histogram. As an index, C YPeaks = (YPeak Bright + YPeak Shadow ) / 2. The first and second shadow areas are the strong shadow ground area G SS and the weak shadow ground area G WS , respectively.
제 1 항에 있어서, 상기 단계(g)에서,The method of claim 1, wherein in step (g), 상기 분류된 제1 및 제2 그림자 영역은 하기의 수학식 10에 의해 그림자 성분을 감소시키는 것을 특징으로 하는 운동경기 비디오에서의 그라운드 그림자 감소방법.The classified first and second shadow areas reduce the shadow component by Equation (10) below. [수학식 10][Equation 10]
Figure 112008041329988-pat00020
Figure 112008041329988-pat00020
여기서, YPeakDiff 및 UPeakDiff는 각각 그린 Y, U 히스토그램의 그림자 영역의 피크(Peak)와 밝은 영역의 피크(Peak) 인덱스 값 차이이고, α와 β값은 [0, 1]의 범위의 값이다.Here, YPeak Diff and UPeak Diff are the difference between peak and shadow index values of the shadow areas of the green Y and U histograms, respectively, and α and β values are in the range of [0, 1]. .
제 1 항 내지 제 12 항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program capable of executing the method of any one of claims 1 to 12.
KR1020070015293A 2007-02-14 2007-02-14 Method for ground shadow reduction in sport video KR100871012B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070015293A KR100871012B1 (en) 2007-02-14 2007-02-14 Method for ground shadow reduction in sport video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070015293A KR100871012B1 (en) 2007-02-14 2007-02-14 Method for ground shadow reduction in sport video

Publications (2)

Publication Number Publication Date
KR20080075986A KR20080075986A (en) 2008-08-20
KR100871012B1 true KR100871012B1 (en) 2008-11-27

Family

ID=39879321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070015293A KR100871012B1 (en) 2007-02-14 2007-02-14 Method for ground shadow reduction in sport video

Country Status (1)

Country Link
KR (1) KR100871012B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473291A (en) * 2009-07-20 2012-05-23 汤姆森特许公司 Method for detecting and adapting video processing for far-view scenes in sports video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970000681B1 (en) * 1993-08-31 1997-01-16 대우전자 주식회사 Ghost cancelling apparatus for video device
JP2005092574A (en) 2003-09-18 2005-04-07 Nippon Telegr & Teleph Corp <Ntt> Method, device and program for generating image and recording medium
KR20060060630A (en) * 2006-03-30 2006-06-05 한국정보통신대학교 산학협력단 An intelligent sport video display method for mobile devices
KR20070027929A (en) * 2005-08-30 2007-03-12 경북대학교 산학협력단 Shadow casting method using symmetric and distance feature of the object region

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970000681B1 (en) * 1993-08-31 1997-01-16 대우전자 주식회사 Ghost cancelling apparatus for video device
JP2005092574A (en) 2003-09-18 2005-04-07 Nippon Telegr & Teleph Corp <Ntt> Method, device and program for generating image and recording medium
KR20070027929A (en) * 2005-08-30 2007-03-12 경북대학교 산학협력단 Shadow casting method using symmetric and distance feature of the object region
KR20060060630A (en) * 2006-03-30 2006-06-05 한국정보통신대학교 산학협력단 An intelligent sport video display method for mobile devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473291A (en) * 2009-07-20 2012-05-23 汤姆森特许公司 Method for detecting and adapting video processing for far-view scenes in sports video
CN102473291B (en) * 2009-07-20 2014-08-20 汤姆森特许公司 Method for detecting and adapting video processing for far-view scenes in sports video
US9020259B2 (en) 2009-07-20 2015-04-28 Thomson Licensing Method for detecting and adapting video processing for far-view scenes in sports video

Also Published As

Publication number Publication date
KR20080075986A (en) 2008-08-20

Similar Documents

Publication Publication Date Title
US7916171B2 (en) Classification apparatus for sport videos and method thereof
JP4720705B2 (en) Program, detection method, and detection apparatus
KR100785952B1 (en) An intelligent sport video display method for mobile devices
US9137562B2 (en) Method of viewing audiovisual documents on a receiver, and receiver for viewing such documents
US10515471B2 (en) Apparatus and method for generating best-view image centered on object of interest in multiple camera images
JP2006510072A (en) Method and system for detecting uniform color segments
US9064189B2 (en) Playfield detection and shot classification in sports video
US8913195B2 (en) Information processing device, information processing method and program
KR20090006068A (en) Method and apparatus for modifying a moving image sequence
US10181192B1 (en) Background modelling of sport videos
KR20070120403A (en) Image editing apparatus and method
CN111970405A (en) Camera shielding detection method, storage medium, electronic device and device
US20090180670A1 (en) Blocker image identification apparatus and method
KR100871012B1 (en) Method for ground shadow reduction in sport video
US8692852B2 (en) Intelligent display method for multimedia mobile terminal
Thomas Real-time camera pose estimation for augmenting sports scenes
KR100249826B1 (en) Digital moving image data automatic dividing device and method
US20060268181A1 (en) Shot-cut detection
Guthier et al. Algorithms for a real-time HDR video system
US20120169937A1 (en) Image processing apparatus and image processing method
Chen et al. Coarse-to-fine moving region segmentation in compressed video
Lavigne et al. Automatic Video Zooming for Sport Team Video Broadcasting on Smart Phones.
CN101594534B (en) Method for quickly detecting compressed video POI
JP4881282B2 (en) Trimming processing apparatus and trimming processing program
WO2022018628A1 (en) Smart overlay : dynamic positioning of the graphics

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee