KR20060060630A - 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적디스플레이 방법 - Google Patents

Abstract

본 발명은 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법에 관한 것으로, 운동경기 비디오에 존재하는 카메라 샷이 원거리 샷인지 판정하는 단계와, 원거리 샷으로 판정되면 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하는 단계와, 비 원거리 샷으로 판정되면 영상 프레임 전체를 이동형 단말에 디스플레이하되 원거리 샷으로 판정되면 관심 영역을 확대하여 이동형 단말에 디스플레이하는 단계를 포함하며, 보다 나은 이해를 제공해주는 효율적인 영상의 시청이 가능한 이점이 있다.

이동형 단말, 운동경기, 축구경기, 관심영역, 확대 재생

Description

멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법{AN INTELLIGENT SPORT VIDEO DISPLAY METHOD FOR MOBILE DEVICES}

도 1은 운동경기가 방송되고 있는 DMB 폰을 나타내는 도면.

도 2는 운동경기 비디오에 존재하는 세 가지 종류의 샷 타입을 나타내는 도면으로서, (a)는 원거리 샷, (b)는 중거리 샷, (c) 근거리 샷.

도 3은 본 발명의 일 실시 예에 따른 운동경기 비디오에서의 지능형 디스플레이 방법을 도시한 흐름도.

도 4는 본 발명에서 운동경기 비디오의 원거리 샷 영상에 대한 HSV 컬러 공간에서의 각 채널별 히스토그램을 도시한 도면으로서, (a)는 색조(Hue), (b)는 채도(Saturation), (c)는 명암(Value).

도 5는 본 발명에서 제안한 방법에 의한 그라운드 색 구분 과정을 보인 도면으로서, (a)와 (c)는 일광이 일정하지 않은 경기 장면, (b)와 (d)는 (a)와 (c)에 존재하는 그라운드 부분을 일광 변화에 강건하게 검정색으로 표시하여 구분한 상태.

도 6은 본 발명에서 그라운드 블록 맵에 존재하는 작은 홀을 채운 후의 모습을 도시한 도면으로서, (a)는 그라운드 블록 맵, (b)는 홀을 채운 후의 모습.

도 7은 본 발명에 의한 운동경기 비디오 처리 과정에서 LGS(Longest Green Segment)를 이용하여 원거리 샷과 비 원거리 샷으로 구분하는 방법을 도시한 도면으로서, (a)는 원거리 샷, (b)는 비 원거리 샷.

도 8은 본 발명에 의한 운동경기 비디오 처리 과정을 보인 도면으로서, (a) 이진화 영상, (b)는 영역 채색 기법을 통해 검출한 물체의 최소 경계 사각형.

도 9는 본 발명에 의한 운동경기 비디오 처리 과정에서 ROI 창의 위치 결정 과정을 보인 도면으로서, (a)는 프레임을 벗어난 ROI 창의 위치, (b)는 변경된 ROI 창의 위치.

도 10은 본 발명에 의한 운동경기 비디오 처리 과정에 의한 결과를 보인 도면으로서, 왼쪽의 원 영상 위에 표시된 노란색의 ROI 창이 오른쪽에서 디스플레이 크기에 맞게 확대된 상태를 보인 도면.

본 발명은 멀티미디어 이동형 단말을 위한 디스플레이 방법에 관한 것으로, 더욱 상세하게는 운동경기 비디오를 이동형 단말에 디스플레이함에 있어서 비 원거리 샷은 프레임 전체를 디스플레이하되 물체가 작게 보이는 원거리 샷은 그 안에 존재하는 관심영역만을 확대하여 디스플레이 하도록 한 운동경기 비디오의 지능적 디스플레이 방법에 관한 것이다.

최근 멀티미디어 신호처리 및 전송기술의 급속한 발전과 DVB-H(Digital Video Broadcasting-Handheld) 및 DMB(Digital Multimedia Broadcasting) 등과 같 은 새로운 형태의 이동형 TV 서비스의 등장으로 인해 작은 LCD 패널을 통해 비디오를 시청하는 현상이 증가하고 있다. 도 1은 DMB 폰에서 축구경기 방송을 수신하여 출력하는 상태를 보여주고 있다. 그런데, 주로 비용상의 이유로, 대부분의 서비스들은 이동형 방송을 위해 기존의 화면 크기를 단지 축소하여 제공하고 있는 실정이다.

이동형 단말기에 크기가 축소된 영상을 디스플레이 하기에 적합한 영상의 화소수와 비트율 등의 조건을 측정하기 위해 Knoche 등에 의해 실시된 실험에 의하면, 『H. Knoche, J. D. McCarthy, and M. A. Sasse, Can small be beautiful?: assessing image resolution requirements for mobile tv, in MULTIMEDIA '05: Proceedings of the 13th annual ACM international conference on Multimedia, pp. 829-838, ACM Press, (New York, NY, USA), 2005.』에 발표된 바와 같이, 소형단말기에서의 디스플레이를 위한 영상의 직접적인 축소는 시각적으로 상세한 부분에 대한 손실을 가져옴을 알 수 있었다. 이러한 손실은 영상의 내용이 필드스포츠인 경우, 특히 축구 비디오일 때, 더욱 심해지고 뮤직비디오, 뉴스, 만화 비디오의 순으로 조금씩 나아짐을 알 수 있었다. 따라서, 특정 내용을 담은 비디오의 경우, 소형 이동 단말기의 시청자들이 관심 영역 (Region of interest, ROI)만이 확대된 화면을 볼 수 있게 하는 지능형 디스플레이 기술의 개발이 필요한 상태다. 여기서 ROI란 사용자들이 화면상에서 가장 관심을 갖게 되는 영역 또는 사용자들이 다른 영역에 비해 더욱 주의를 기울이는 영역으로 정의될 수 있다. 관심 영역은 상황인지 컨텐츠 적응, 트랜스 코딩, 지능형 정보 관리 등에 활용된다. 또한 관심영역의 지정은 비디오 장면(scene)을 의미적으로 분석하는 첫 단계가 될 수 있으므로 영상 분석을 위해서도 매우 중요한 기술이라 할 수 있다.

도 2는 운동경기 비디오에 존재하는 세 가지 종류의 샷 타입을 나타내는 도면으로서, (a)는 원거리 샷, (b)는 중거리 샷, (c) 근거리 샷이다. (a)의 원거리 샷은 ROI를 추출하여 확대 재생할 필요가 있다.

그동안 ROI를 결정하기 위한 여러 방법들이 연구되어 왔다. 『L. Itti, C. Koch, and E. Niebur, A model of saliency-based visual attention for rapid scene analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no.11, pp. 1254-1259, Nov. 1998.』에서는 영상 내에서 시각적으로 눈에 띄는 부분들을 찾아내기 위해 여러 개의 공간적 시각적 특징들을 하나의 특징점 맵(Saliency map)으로 나타낼 수 있는 시각적 주의 모델을 제안하였으나 동영상으로의 확장은 제대로 고려되지 않았다.

『W.-H. Cheng, W.-T. Chu, and J.-L. Wu, A visual attention based region-of-interest determination framework for video sequences, IEICE Transactions on Information and Systems, E-88D, pp. 15781586, 2005.』에서는 명암, 색상 및 모션 정보에 기초하여 비디오에서의 ROI 결정을 연구하였다. 그들의 목표는 중요한 물체는 높은 색상 또는 명암의 대비(contrast)를 갖는다는 가정 하에 비디오의 각 영상 프레임에서 가장 눈에 띄는(salient) 특징점을 가리키는 방법을 제안하였다. 하지만 중요한 물체의 물체가 어둡거나 낮은 대비를 가질 수 있으므로 이 가정은 항상 옳은 것은 아니다.

비디오 스키밍(Skimming)과 요약을 위해 『Y.-F. Ma and H.-J. Zhang, A model of motion attention for video skimming, in Proc. ICIP, pp. 129-132, 2002.』에서는 또 다른 비디오 분석 방법에서는 모션, 스피치, 카메라 동작 및 비디오 편집 정보 등을 이용하여 사용자의 관심 모델이 제시되었다.

이상과 같이 비디오 화면내의 현저한 특징들을 이용하여 ROI들을 추출하는 방법들은 효과적인 해결책을 제시하고는 있으나, 축구 경기 비디오와 같은 필드 스포츠 비디오의 경우에는 일단 ROI의 추출이 필요한 샷과 굳이 필요하지 않은 샷들이 혼재하며, 전자의 경우 화면 안에 현저한 특징을 갖는 작은 물체들이 동시에 여러 개가 존재 할 수 있다. 이 경우 복수개의 ROI가 존재 할 수 있으므로 화면내의 일부만을 뽑아내어 확대해 보여주고자 하는 이동형 단말을 위한 지능형 디스플레이에는 적합하지가 않다.

본 발명은 이와 같은 종래의 문제점을 해결하기 위하여 제안한 것으로, 운동경기 비디오를 이동형 단말에 디스플레이함에 있어서 비 원거리 샷은 프레임 전체를 디스플레이하되 물체가 작게 보이는 원거리 샷은 그 안에 존재하는 관심영역만을 확대하여 디스플레이 해 줌으로써, 시청자들은 보다 나은 이해를 제공해주는 효율적인 영상의 시청이 가능하도록 하는 데 그 목적이 있다.

이와 같은 목적을 실현하기 위한 본 발명에 따른 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법은, 운동경기 비디오에 존재하는 카메라 샷이 원거리 샷인지 판정하는 단계와, 원거리 샷으로 판정되면 운동경기 비 디오의 영상 프레임 내에서 관심 영역을 결정하는 단계와, 비 원거리 샷으로 판정되면 영상 프레임 전체를 이동형 단말에 디스플레이하며, 원거리 샷으로 판정되면 관심 영역을 확대하여 이동형 단말에 디스플레이하는 단계를 포함한다.

이하, 본 발명의 바람직한 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 한편 이하의 실시 예에서는 운동경기 비디오 중에서 축구경기 비디오를 디스플레이 하는 과정을 예로서 설명한다.

우선, 비디오는 아래의 수학식 1과 같이 샷의 시퀀스로 정의할 수 있다. 여기서 샷이란 한번의 카메라 녹화(recording) 과정으로 취득되는 영상 열 (image sequence)을 뜻한다.

샷은 다시 아래의 수학식 2와 같이 일련의 프레임으로 나타낼 수 있다.

여기서

는

의 i번째 프레임을 말하며, N은 샷의 프레임 개수이다. 또한 앞으로 비디오 전체에서 i번째 프레임은

으로 표시하겠다. k번째 샷의 i번째 프레임의 ROI는

로 표시할 수 있다. 샷의 종류에 따라 ROI는 영상 프레임의 전체가 될 수도 있고 일부가 될 수도 있다. 즉 아래의 수학식 3과 같다.

이는 영상 프레임이 원거리 샷에 속하지 않을 때의 ROI는 원 영상과 동일하게 정하며, 원거리 샷에 속할 때의 ROI는 영상 프레임 내의 한 부분으로 정하는 것을 뜻한다.

도 3은 본 발명의 일 실시 예에 따른 운동경기 비디오에서의 지능형 디스플레이 방법을 도시한 흐름도이다.

도 3을 참조하면 본 발명의 지능형 디스플레이 방법은, 운동경기 비디오에 존재하는 카메라 샷이 원거리 샷인지 판정하는 제 1 단계(S101∼S111)와, 원거리 샷으로 판정되면 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하는 제 2 단계(S115∼S117)와, 비 원거리 샷으로 판정되면 영상 프레임 전체를 이동형 단말에 디스플레이하며, 원거리 샷으로 판정되면 관심 영역을 확대하여 이동형 단말에 디스플레이하는 제 3 단계(S119, S121)를 포함한다.

제 1 단계는, 운동경기 비디오에서 그라운드 컬러를 학습하는 제 11 단계(S101∼S105)와, 제 11 단계에서 학습한 그라운드 컬러를 영상 프레임으로부터 추출하여 기 설정된 기준값과의 비교 결과에 따라 원거리 샷 또는 비 원거리 샷을 판정하는 제 12 단계(S107∼S111)를 포함한다.

제 12 단계는 영상 프레임을 n×n 블록으로 나누어 그라운드 블록 맵을 구축하는 제 121 단계(S107)와, 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계를 검출하여 검출된 샷 경계의 그라운드 블록 맵의 각 컬럼에서 그라운드 컬러가 가장 긴 세그먼트를 찾아내는 제 122 단계(S109)와, 영상 프레임의 황금 영역 내에 존재하는 그라운드 컬러가 가장 긴 세그먼트의 길이와 기 설정된 기준값을 비교하여 원거리 샷 또는 비 원거리 샷을 판정하는 제 123 단계(S111)를 포함한다.

제 2 단계는, 영상 프레임에서 공의 위치를 찾는 제 21 단계(S113∼S115)와, 제 21 단계에서 찾은 공의 위치와 이전 디스플레이 창 사이의 거리를 계산한 후 찾은 공의 위치를 중심으로 관심 영역의 위치를 1차로 결정한 후에 계산한 거리에 의거하여 1차로 결정한 위치를 변화시켜 관심 영역의 위치를 최종 결정하는 제 23 단계(S117)를 포함한다.

제 21 단계는, 영상 프레임에 대해 픽셀 단위의 이진화 영상을 구축하고, 이진화 영상에 대해 8방향의 영역 채색 기법을 수행하여 각 물체들의 속성에 따라 각 물체들의 목록을 얻으며, 얻은 물체들의 목록 중에서 공 후보 목록을 유지하면서 새로 찾아낸 물체 중 공으로 분류된 물체를 공 후보 목록에 추가하고, 공 후보 목록 중 여러 프레임에서 공 후보로 계승된 물체의 위치를 공의 위치로 결정한다.

이와 같이 구성된 본 발명에 따른 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 처리 과정을 단계별로 상세히 설명하면 아래와 같다.

S101∼S105 : 그라운드 컬러 학습 단계

축구 비디오 분석에서 그라운드의 컬러는 중요한 역할을 한다. 이는 특히 샷의 종류를 판별하는 데에 중요하다. 본 발명에서는 그라운드 색을 띄는 픽셀의 양이 샷의 종류를 판별하는 중요한 단서가 된다. 비디오 시퀀스에 따라 그라운드의 컬러는 조금씩 다르기 때문에, 시스템의 첫 단계에서 비디오 시퀀스의 그라운드 컬러를 학습(S101)하는 일이 필요하다. 도 4는 일반적인 축구 비디오의 원거리 샷에서 취한 HSV 히스토그램이다. 도면에서 알 수 있듯이 색조(Hue)값의 분포는 노랑-녹색의 영역에 특히 집중되어 있다. 반면에 채도(Saturation)와 명암(Value)은 비디오에 따라 다르다. 이에 따라 본 발명에서는 다음과 같은 그라운드 색 학습 방법을 제안한다.

우선 색조 채널 및 채도 채널에 64개의 빈(bin), 명암에는 256개의 빈을 배정하였다. 이 빈의 개수를 각각 NH, NS, NV라고 하겠다. 따라서 i번째 프레임에 대한 HSV 히스토그램은 다음의 수학식 4와 같이 정의된다.

또한 HSV 히스토그램을 비디오의 첫 30 프레임 동안 축적하여 사용하는데, 이를 각각 HUE, SATURATION, VALUE라 하고 다음의 수학식 5와 같이 정의한다. 물론 HSV 히스토그램을 축적하는 프레임의 수는 설정값에 불과한 것으로 얼마든지 변화될 수 있다.

위의 정의를 이용하여 본 발명에서는 다음의 수학식 6과 수학식 7과 같이 두 가지 값을 정의한다.

ValuePeakIndex는 명암 히스토그램의 피크 값이 있는 빈의 인덱스를 뜻한다. 본 발명에서는 다음의 수학식 8의 조건이 만족되는 경우 그라운드 색의 학습이 성공적으로 이루어졌다고 판정(S103)한다.

이는 9 ≤ i ≤ 21의 범위에서 HUE[i]를 합한 결과가 전체 프레임에 해당하는 픽셀 수의 70%를 넘으면 학습이 제대로 이루어 진 것으로 보는 것이다. 색조값 분포 내 그라운드 색상의 범위는 여러 축구 비디오를 관찰한 결과 9∼21로 정하였 다. 만약 이 조건이 만족하지 않으면 학습에 실패한 것으로 간주하여 다음 30 프레임 동안 같은 작업을 다시 수행한다. 물론 색조값 분포 내 그라운드 색상의 범위와 그라운드 색의 학습이 제대로 이루어진 것을 판단하기 위한 기준값인 70%는 설정값에 불과한 것으로 얼마든지 변화될 수 있다.

많은 축구 경기를 관찰한 결과, 그라운드의 색에는 대체적으로 g〉r〉b 라는 관계가 있음을 발견할 수 있었다. 여기에 공이나 회색의 픽셀이 그라운드로 잘못 판정되는 것을 막기 위해 몇 가지 조건을 추가하였다. 어떤 색의 RGB 값을 HSV 값으로 바꾸어 Saturation S 와 Value V를 구하는 방법은 『J. D. Foley, A. van Dam, S. K. Feiner, J. F. Hughes, Computer Graphics - Principles and Practice, pp. 592,593, Addison-Wesley, 1996.』에 제시된 바와 같이 아래의 수학식 9를 이용할 수 있다.

여기서 R, G, B 값은 0에서 1사이의 값으로 정규화 된 상태이다.

본 발명에서는 그라운드에 해당되는 대부분의 픽셀의 r,g,b 값들이 g〉r〉b의 관계를 갖는 것을 알아냈으며, 이러한 r,g,b의 상관 관계와 수학식 9를 이용할 때,

이고, NV=256이므로 V는 g=G·NV로 표시할 수 있다. 또한

인데 이는

이고

이기 때문이다. 정리하면, rgb 컬러 공간에서 각각의 픽셀이 그라운드에 속하는지 아닌지를 판단하는 식은 아래의 수학식 10과 같이 나타낼 수 있다.

여기서 r,g,b는 (x,y)에서의 RGB 값으로 0-255의 값을 갖는다. θ₁과 θ₂는 각각 NV/6과 NS/4로 설정하였다. 픽셀의 Value 값이 ValuePeakIndex 보다 너무 높거나 Saturation이 SaturationMean 보다 너무 낮은 경우 그 픽셀은 그라운드에 속하지 않는 것으로 판정한다.

이 방법은 판정 속도가 빠르며, 도 5의 (a)와 (c) 처럼 운동장의 일부에 그림자가 드리운 경우에도 제대로 동작하여 (b)와 (d)에서 검정색으로 표시한 바와 같이 그라운드 색을 구분할 수 있는 컬러 정보가 획득(S105)된다.

S107 : 그라운드 블록 맵 구축 단계

앞서 본 발명에서는 각 픽셀이 그라운드에 포함되는지의 여부를 결정할 수 있었다. 빠른 샷 경계 검출과 샷 구분을 위해, 전체 프레임을 16x16 블록으로 나누어 그라운드 블록 맵 GB(i, j)를 만들었다. GB(i, j)을 정의하기 위해 우선 한 블럭 내 픽셀의 집합인 B_ij를 다음과 수학식 11과 같이 정의한다.

이를 이용해 그라운드 블록 맵 GB(i, j)를 다음의 수학식 12와 같이 정의한다.

이는 한 블록 내 픽셀의 20% 이상이 그라운드 컬러를 띠면 그 블록을 그라운드로 본다는 것을 의미한다. 본 발명에서는 이후 과정에서 프레임의 그라운드 블록 맵을 GB(i, j)로 표시할 것이다. 물론 그라운드 컬러를 판단하기 위한 기준값인 20%는 설정값으로서 얼마든지 변화될 수 있다.

S109 : 샷 경계 검출 단계

샷 경계 검출은 비디오 분석의 기본이 되는 과정이다. 샷 경계에서만 샷을 분류함으로써 계산량을 줄이고, 일시적인 화면 상태 변화로 인한 판정 오류를 줄임으로써 샷 종류 판정의 정확성을 높일 수 있다. 본 발명에서는 샷 경계를 검출하기 위해 그라운드 블록 맵의 시간적 불연속성(Temporal Block Difference, TBD)을 체크하여 효율적이고 빠르게 샷 경계를 검출한다.

여기서

는 XOR연산을 뜻한다. 본 발명에서는

이고

일 때 i를 샷의 경계로 지정하였다(

사용). 빠르게 변화하는 장면의 경우

인 상황이 많이 발생하기 때문에

를 함께 두어 경계 검출 오류를 줄였다. 또한 현재 그라운드 블록 맵을 세 프레임 이전의 것과 비교하였는데, 이는 페이드 인/아웃이나 비주얼 효과로 인해 샷이 점진적으로 변하는 경우에 대응하기 위해서이다.

S111 : 샷 종류 판정 단계

샷 경계가 검출되면 그 지점에서 샷 종류 판정이 수행되어야 한다. 원거리 샷과 그렇지 않은 샷을 구분해내기 위해 본 발명에서는 그라운드 블록 맵을 이용하였다. 첫 번째 단계로 도 6의 (a)처럼 선수들로 인해 그라운드 내에 생긴 홀을 (b)와 같이 채우는 작업이 필요하다. 보다 자세히 설명하면 다음과 같다.

이는 세로 방향으로 한 개나 두 블록 높이의 구멍이 있는 경우 이를 채우는 것을 의미한다.

홀을 채우고 나면 그라운드 블록 맵의 각 컬럼 k에 대해 가장 긴 녹색 세그먼트 LGS_k(Longest Green Segment)를 찾아낸다. LGS_k는 도 7 (a), (b)의 각 컬럼에 표시된 LGS의 길이값을 비교하여 알 수 있다. 이제 황금 영역(영상을 가로방향으로 3:5:3으로 나눌 때 5에 해당하는 중앙 영역) 내 LGS의 길이를 측정하여 샷의 종류를 알아낼 수 있다. 도 7에서 볼 수 있듯이 θ_L 보다 작은 LGS가 하나라도 존재하면 그 샷을 원거리 샷이 아닌 것으로 판정한다. 즉 (a)는 원거리 샷으로 판정하며, (b)는 비 원거리 샷으로 판정한다.

여기서 θ_L=BlocksInColumn/3, GSLeft=BlocksInRow×3/11, GSRight=BlocksInRow×8/11로 값을 정하였다.

S113 : 픽셀 단위 물체 분리 단계

샷 종류 판정이 끝나면 각각의 프레임은 수학식 15에 의해 원거리 샷과 그렇지 않은 샷으로 구분된다. 원거리 샷이 아닌 경우, 전체 이미지 프레임보다 작은 ROI를 굳이 설정할 필요가 없다. 사용자에게 프레임 전체를 보여줘도(S121) 사용자에게 충분하기 때문이다. 하지만 원거리 샷에 대해서는 ROI를 지정하여 확대 재생할 필요가 있다. 본 발명에서는 시청자들이 공의 주변 상황에 대해 보다 관심을 갖 는다는 것을 가정하였으며, 이에 따라 ROI를 지정하는 데에 있어 공의 현재 위치 및 과거 위치 정보를 가장 중요하게 취급할 것이다. 공을 찾기 위해서 수학식 10의 Ground(x, y)를 이용하여 픽셀 단위 이진화 영상을 구축하였다.

이를 통해 우리는 도 8의 (a)와 같은 영상을 얻을 수 있다. 이 영상에 대해 8방향의 영역 채색 기법(Connected Component Labeling)을 수행하여 그라운드 내 물체들의 목록을 얻을 수 있다. 도 8의 (b)에 얻어낸 물체들의 최소 영역 사각형(Minimum Bounding Rectangle, MBR)을 노란색으로 표시하였다. 각 물체들의 가로/세로 비, 평균 밝기, 구성 픽셀 수 등의 속성에 따라 각각의 물체를 공, 선수, 공과 비슷한 작은 물체, 기타 물체로 나누었다.

S115 : 공 찾기 단계

물체들의 목록을 얻어냈지만, 한 프레임의 정보만을 이용하여 어느 물체가 진짜 공인지 판단하는 것은 쉽지 않은 일이다. 왜냐하면 운동장 내에는 공으로 오인할 수 있는 선수들의 양말, 신발이나 라인들이 있기 때문이다. 게다가 공은 경기 중에 선수들에 의해 가려지거나 빠른 속도로 인해 모양이 왜곡되기도 한다. 몇몇 프레임에서는 공이 프레임 내에 존재하지 않기도 한다. 그 동안 공을 추적하는 여러 가지 연구들이 있었다. 하지만 『Y. Seo, S. Choi, H. Kim and K. Hong, Where Are the Ball and Players? Soccer Game Analysis with Color Based Tracking and Image Mosaick, in ICIAP '97: Proceedings of the 9th International Conference on Image Analysis and Processing-Volume II, pp. 196203, Springer-Verlag, London, UK,1997.』에서 제시한 방법은 공의 처음 위치를 수동으로 지정해야 하는 단점이 있었다. 『Y. Ohno, J. Miura and Y. Shirai, Tracking Players and a Ball in Soccer Games, in Int. Conf. On Multisensor Fusion and Integration for Intelligent Sys., Taipei, Taiwan, 1999.』에서는 고정된 카메라로 촬영한 축구 영상을 이용하였기 때문에 본 발명의 경우에는 맞지 않다. 『X. Yu, C. Xu, H. W. Leong, Q. Tian, Q. Tang, K. Wan, Trajectory-Based Ball Detection and Tracking with Applications to Semantic Analysis of Broadcast Soccer Video, in MULTIMEDIA '03: Proceedings of the eleventh ACM international conference on Multimedia, pp. 11-20, ACM Press, (New York, NY, USA), 2003.』은 공의 궤적을 얻기 위해 이후 프레임의 정보를 필요로 하므로 실시간으로 동작할 수 없다는 단점이 있다.

본 발명에서는 간단하고 이전 값에만 의존(causal)하여 방송 영상을 실시간으로 처리할 수 있는 방법을 제안한다.

먼저 가장 오랫동안 그라운드 내에서 추적된 공 후보가 공일 확률이 가장 많다라는 가정을 하였다. 이는 일시적인 노이즈의 영향을 줄일 수 있다. 우선 공 후보 목록을 유지하면서 새로 찾아낸 물체 중 공으로 분류된 물체를 공 후보 목록에 추가한다. 공 후보는 다음 프레임에서 위치적으로도 가깝고 속성이 가까운 물체로 계승된다. 계승된 물체가 공인 경우 연차를 증가시키지만, 반대의 경우 그 물체의 연차를 깎는다. 그 결과 가장 연차가 높은 물체가 공일 확률이 가장 높다. 연차가 0보다 작은 물체는 더 이상 추적하지 않는다. 이 방법을 통해 높은 확률로 실제 공을 찾아낼 수 있다. 실제 축구 경기 비디오 내에 공이 존재하지 않거나, 공의 모양이 제대로 분리되지 않는 등의 이유로 공을 찾지 못하는 경우, 가장 최근에 찾은 공의 위치를 현재 공의 위치로 지정한다. 또한 세 프레임 연속으로 공을 찾지 못하는 경우 화면의 중앙을 임의로 공의 위치로 지정한다. 물론 공의 위치를 임의로 지정하기 위한 기준값인 세 프레임은 설정값에 불과하며 얼마든지 변화될 수 있다.

S117 : 관심 영역 결정 단계(ROI 창(window)의 지정)

ROI 창을 배치하는 가장 간단한 방법은 ROI 창의 중심을 공의 위치에 놓는 것이다. 하지만 여러 프레임에 걸쳐 ROI의 중심이 공을 따라가는 경우 화면이 흔들리거나 사용자가 보기에 너무 빠르게 움직일 가능성이 있다. 다시 말해 작은 디스플레이를 사용하는 사용자들이 보기에 편하게 하려면 ROI 창이 부드럽게 움직여야 한다. 또한 공이 빠르게 움직이는 경우를 감안하여 디스플레이 창을 움직이는 방법에는 가속도의 개념이 포함되어야 한다.

어떤 프레임이 샷 종류 결정 단계에서 원거리 샷으로 판정된 경우 ROI 창의 중점은 다음과 같이 그대로 공의 위치로 초기화된다.

여기서는 window_i는 프레임 fⁱ에서 디스플레이 창의 중점을 뜻하며, lob_i는 fⁱ에서의 공의 위치(Location of Ball)를 뜻한다. 또한 disp_i는 fⁱ에서 ROI 창이 실제로 움직여야 할 거리(displacement)를 나타낸다. 계속해서 원거리 샷이 이어지는 경우에는 우선 공의 위치와 이전 디스플레이 창 사이의 거리를 계산하여 이에 따라 다르게 접근한다.

간단한 설명을 위해 가로 방향과 diff≥0인 상황만 고려해도 일반성을 잃지 않는다. 본 발명에서는 다음의 세 가지로 경우를 나누었다(frame.width는 프레임의 너비를 뜻함).

경우 (1) 0≤diff≤disp_i

경우 (1)은 공의 위치와 ROI 창의 중심 사이의 거리가 이전 이동 거리보다 짧은 경우이다. 이 경우, ROI 창의 위치는 변경되지 않는다. 그 대신 disp_i+1의 값에 α를 곱하여 감소시킨다. 이는 수학식 20과 수학식 21과 같다.

경우 (2) disp_i〈diff≤frame.width/2

경우 (2)는 ROI 창을 disp_i만큼 이동한 후, disp_i+1를 수학식 23에 따라 변경한다.

이므로 ROI 창은 쉽게 기존 방향의 반대 방향으로 이동하지 않는다.

경우 (3) frame.width/2〈diff

경우 (3)은 경우 2와 동일하나 공이 빠르게 움직이는 경우에 대응하기 위해 더 큰 가속 파라미터를 갖는 경우이다(0＜a₁＜a₂＜1). 이는 수학식 24와 수학식 25와 같다.

이렇게 디스플레이 창의 위치를 결정하고 나면 마지막으로 도 9와 같은 경우를 처리하여 사용자에게 보여줘야 한다. 디스플레이 창이 (a)로 결정된 경우라도 프레임을 벗어나면 위치를 변경하여 (b)와 같이 프레임 안의 내용을 사용자에게는 보여줘야 한다(S119). 단 위의 과정에서 사용된 window_i는 바꾸지 않는다.

지금까지 본 발명의 일 실시 예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 당연히 포함되는 것으로 해석되어야 할 것이다.

전술한 바와 같이 본 발명은 주어진 비디오 고유의 그라운드 칼라를 학습하여 운동장 영역을 검출하는 방법과, 관심영역의 추출이 필요한 샷의 자동 검출 방법, 관심영역이 필요한 샷에서 관심영역의 자동지정 방법 등의 기술을 이용하여 운동경기 비디오에서 물체가 작게 보이는 영상들을 정확히 집어내어 그 안에 존재하는 관심영역만을 디스플레이 해 줌으로써, 시청자들은 보다 나은 이해를 제공해주는 효율적인 영상의 시청이 가능해지는 효과가 있다.

Claims (12)

1. 운동경기 비디오를 멀티미디어 이동형 단말에 디스플레이하는 방법으로서,

   (a) 상기 운동경기 비디오에 존재하는 카메라 샷이 원거리 샷인지 판정하는 단계와,

   (b) 상기 (a) 단계에서 원거리 샷으로 판정되면 상기 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하는 단계와,

   (c) 상기 (a) 단계에서 비 원거리 샷으로 판정되면 상기 영상 프레임 전체를 상기 이동형 단말에 디스플레이하며, 상기 (a) 단계에서 원거리 샷으로 판정되면 상기 관심 영역을 확대하여 상기 이동형 단말에 디스플레이하는 단계

   를 포함하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.
2. 제 1 항에 있어서,

   상기 (a) 단계는,

   (a1) 상기 운동경기 비디오에서 그라운드 컬러를 학습하는 단계와,

   (a2) 상기 (a1) 단계에서 학습한 그라운드 컬러를 상기 영상 프레임으로부터 추출하여 기 설정된 기준값과의 비교 결과에 따라 상기 원거리 샷 또는 비 원거리 샷을 판정하는 단계

   를 포함하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스 플레이 방법.
3. 제 2 항에 있어서,

   상기 (a1) 단계는, 설정된 개수의 프레임 동안 상기 운동경기 비디오의 HSV 히스토그램을 축적하여 기 설정된 프레임 범위에서 색조값을 합한 결과가 전체 프레임에 해당하는 픽셀수보다 기 설정 퍼센트를 넘으면 상기 그라운드 컬러의 학습이 제대로 이루어진 것으로 판단하는 것

   을 특징으로 하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.
4. 제 3 항에 있어서,

   상기 (a1) 단계는, 상기 그라운드 컬러를 이루는 R, G, B 성분간의 상대적 크기 차이를 고려하는 것

   을 특징으로 하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.
5. 제 2 항에 있어서,

   상기 (a2) 단계는,

   (a21) 상기 영상 프레임을 n×n 블록으로 나누어 그라운드 블록 맵을 구축하는 단계와,

   (a22) 상기 그라운드 블록 맵의 각 컬럼에서 상기 그라운드 컬러가 가장 긴 세그먼트를 찾아내는 단계와,

   (a23) 상기 영상 프레임의 중앙 영역 내에 존재하는 상기 그라운드 컬러가 가장 긴 세그먼트의 길이와 기 설정된 기준값을 비교하여 상기 원거리 샷 또는 비 원거리 샷을 판정하는 단계

   를 포함하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.
6. 제 2 항에 있어서,

   상기 (a2) 단계는, 상기 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계를 검출하여 상기 검출된 샷 경계에서만 상기 원거리 샷 또는 비 원거리 샷을 판정하는 것

   을 특징으로 하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.
7. 제 1 항에 있어서,

   상기 (b) 단계는, 상기 영상 프레임 내에서 공의 위치와 이전 프레임의 관심 영역 위치 정보를 이용하여 상기 관심 영역을 결정하는 것

   을 특징으로 하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.
8. 제 1 항 또는 제 7 항에 있어서,

   상기 (b) 단계는,

   (b1) 상기 영상 프레임에서 공의 위치를 찾는 단계와,

   (b2) 상기 (b1) 단계에서 찾은 공의 위치와 이전 디스플레이 창 사이의 거리를 계산하는 단계와,

   (b3) 상기 (b1) 단계에서 찾은 공의 위치를 중심으로 상기 관심 영역의 위치를 1차로 결정한 후에 상기 (b2) 단계에서 계산한 거리에 의거하여 상기 1차로 결정한 위치를 변화시켜 상기 관심 영역의 위치를 최종 결정하는 단계

   를 포함하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.
9. 제 8 항에 있어서,

   상기 (b1) 단계는, 상기 영상 프레임에 대해 픽셀 단위 영상 분할을 수행하여 상기 공의 위치를 찾는 것

   을 특징으로 하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.
10. 제 8 항에 있어서,

    상기 (b1) 단계는,

    (b11) 상기 영상 프레임에 대해 픽셀 단위의 이진화 영상을 구축하는 단계와,

    (b12) 상기 이진화 영상에 대해 8방향의 영역 채색 기법을 수행하여 각 물체들의 속성에 따라 각 물체들의 목록을 얻는 단계와,

    (b13) 상기 (b12) 단계에서 얻은 물체들의 목록 중에서 공 후보 목록을 유지하면서 새로 찾아낸 물체 중 공으로 분류된 물체를 상기 공 후보 목록에 추가하는 단계와,

    (b14) 상기 공 후보 목록 중 여러 프레임에서 공 후보로 계승된 물체의 위치를 공의 위치로 결정하는 단계

    를 포함하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.
11. 제 8 항에 있어서,

    상기 (b1) 단계는, 기 설정된 수의 프레임 동안 연속으로 공을 찾지 못하면 화면의 중앙을 공의 위치로 지정하는 것

    을 특징으로 하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.
12. 제 1 항에 있어서,

    상기 (c) 단계는, 상기 관심 영역이 상기 영상 프레임을 벗어나면 위치를 변 경하여 상기 영상 프레임 안의 내용을 확대하여 디스플레이하는 것

    을 특징으로 하는 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 방법.

Images