KR100279681B1 - 스포츠 영상효과 처리장치 - Google Patents

Abstract

본 발명은 스포츠 영상효과 처리장치에 관한 것으로, 특히 영상처리부(3)를 스윙 모션 추출부(31)와 공 추적부(32)로 구성하되, 상기 스윙 모션 추출부(31)는 전경 녹화부(311), 배경녹화부(312), 물체영역 추출부(133), 선수영역 추출부(314) 및 스윙출력 제어부(315)로 구성하여 추출한 선수의 각 모션 영역을 중첩 또는 펼침 방법으로 한 화면에 합성 표현하여 골프 선수의 전체적인 스윙동작을 시청자가 쉽게 분석하고 이해할 수 있도록 하고, 공 추적부(32)는 추적물 선택부(321), 추적창 설정부(322), 초기 배경영상 생성부(323), 입력영상 잡음제거부(324), 물체 추출부(325), 추적 중심 설정부(326), 합성 배경영상 생성부(327) 및 추적출력 제어부(328)로 구성하여 공 추적시 방해가 되는 선수의 발이나 운동기구 물체의 배경잡음을 극복하고 추적의 신뢰도를 높일 수 있도록 한 것이다.

Description

스포츠 영상효과 처리장치

본 발명은 스포츠 영상 처리장치에 관한 것으로, 더욱 상세히는 스포츠 중계방송시, 스윙 시간이 짧고 그 자세가 중요한 골프 경기나, 야구경기 또는 볼링 경기나 테니스 경기 등에서 동영상 추출 및 합성방식을 통해 정확히 선수를 추출하여 그 스윙동작을 순차적으로 겹치거나 펼쳐 표현함으로써 일반 시청자들이 선수의 스윙동작을 쉽게 분석하고 이해할 수 있도록 발명한 것이다.

종래에는, 골프 선수의 티샷 스윙이나, 야구선수의 배팅시 스윙자세, 볼링선수의 투구 폼 및 테니스 선수의 폼등을 분석하기 위해 골프 클럽이나 야구 방망이, 볼링 장갑 및 테니스 라켓 등에 마그네틱을 부착하여, 그것을 감지하는 센서와 컴퓨터를 이용하여 골프 클럽 또는 야구 방망이, 볼링 장갑 및 테니스 라켓 등의 위치를 추적하여 스윙동작을 분석하거나 적외선 장비를 사전에 설정된 곳에 설치하여 골프 클럽이나 야구 방망이, 볼링 장갑 및 테니스 라켓 등이 적외선을 지날 때를 감지하여 스윙 속도를 측정하는 장치가 있다.

그러나, 상기와 같이 골프 클럽이나 야구 방망이, 볼링 장갑 및 테니스 라켓등에 특정 장치를 부착하는 것은 각각의 스포츠 경기 진행에 방해가 되며, 적외선장치의 사용은 설치가 힘이 들고 선수의 위치 변화에 대해 유연하게 대처하지 못하는 단점이 있다.

그러므로 이러한 별도의 측정 장치를 사용하는 방법은 제한적이어서 실제 각각의 경기 중계 방송에 적용하기가 어렵다.

이외에도 카메라로부터 입력된 영상에서 특정물체를 추출하는 방법으로는 크로마키(chroma key) 합성법과 매트합성법이 사용되고 있다.

그런데, 전자의 크로마키합성법은, 크로마키백(chroma key back)이라고 불리는 특수한 스크린(대부분 청색이다)을 배경으로 하여 촬영한 화상에서 색정보를 사용하여 특정 물체를 추출하는 방법인데, 이 방법은 크로마키백 내에서만 사용해야한다는 제약이 있음에 따라 실제 경기에 적용하기가 어렵다.

또, 후자의 매트합성법은, 추출하고자하는 물체의 윤곽을 마우스나 타블렛(tablet)등을 사용하여 사람이 손으로 직접 지정하는 방법이므로, 특수한 배경을 필요로 하지 않고 모든 화상에 적용할 수 있는 이점이 있으나 동화상에 대해서는 모든 프레임에 대해 수작업을 하여야 하므로 작업시간이 많이 걸리는 문제점이 있다.

따라서, 본 발명은 상기와 같은 종래 문제점을 해결하기 위하여 안출한 것으로, 골프선수나, 야구선수, 볼링선수 또는 테니스 선수 등의 스윙 모션을 분석하기 위한 부가적인 측정 장비없이 카메라로부터 입력된 그림을 영상처리하여 선수 영역만 추출하여 선수의 스윙동작을 분석하고 교정할 수 있도록 하는 스포츠 영상효과 처리장치를 제공하는데 그 주된 목적이 있다.

본 발명의 다른 목적은, 추출한 선수 영역을 중첩 또는 펼쳐 표현시켜 연속적으로 입력된 선수의 스윙 동작을 한 화면에 합성 표현하여 그 동작을 쉽게 이해할 수 있게 하고 스포츠 중계방송에 효과적으로 적용할 수 있는 스포츠 영상효과 처리장치를 제공하는데 있다.

본 발명의 또 다른 목적은, 각종 경기에 사용되는 공의 추적시 추적 방향성테이블을 적용하여 각종 경기용 공의 추적에 따른 신뢰도를 높일 수 있는 스포츠영상효과 처리장치를 제공하는데 있다.

이러한 본 발명의 목적은, 각종 경기의 상황을 촬상하여 영상 데이터를 출력하는 카메라와; 상기 카메라로부터 입력된 아낱로그 데이터를 영상 처리를 위해서 디지털로 바꾸는 A/D 변환부와; 상기 A/D 변환부를 통해 연속적으로 입력되는 디지털 영상신호에 대해 소정의 알고리듬을 통해 원하는 신호를 추출하는 영상 처리부와, 상기 영상 처리부의 처리결과 정보와 파라메터를 실시간으로 저장하는 영상 및 파라메터 저장부와; 상기 영상 처리부에서 출력되는 디지털 영상 데이터에서 배경영상과 물체영상으로 분리한 후 최종 추출된 물체영상과 배경영상을 합성한 디지털영상을 아날로그 신호로 변환시켜 출력부로 출력시켜 주는 D/A 변환부로 구성하되,

상기 영상 처리부는 선수추출 알고리등을 이용하여 연속적으로 입력된 디지털 영상신호에서 선수만 추출하여 각종 경기중인 선수의 스윙 모션을 추출해내는 스윙 모션 추출부와; 추적 알고리듬을 이용하여 연속적으로 입력된 디지털 영상신호에서 공을 추출하여 공의 가시화에 이용할 수 있도록 하는 공 추적부로 구성하고, 상기 영상 및 파라메터 저장부는 상기 영상 처리부에서 추출한 선수 영상과 선수 영역의 기준점과 공간 위치정보 등의 파라메터를 실시간으로 저장토록 하고,

상기 스욍 모션 추출부는 배경영상만 녹화하여 평활화시키는 배경녹화부와; 선수의 연속적인 스윙동작을 녹화하고 평활화시키는 전경녹화부와; 상기 배경녹화부에서 선택한 참조영상과 전경녹화부에서의 입력영상과의 차영상을 통한 물체영역 추출부와; 상기 물체영역 추출부에서 출력되는 개략적인 물체영역에서 외부 배경잡음을 제거하고 배경과 선수를 분리하는 선수영역 추출부분; 기본 영상처리를 거친후의 물체영역 주위에 붙어있는 배경잡음을 제거하고 순수 선수 영상만을 얻기 위한 선수영역 추출부와; 추출한 선수 영상의 출력 제어를 위한 스윙출력 제어부로 구성하여서된 로 구성된 스포츠 영상 처리장치에 있어서,

상기 공 추적부는 카메라로부터 입력되는 영상에서 추적물을 사용자가 초기선택하는 추적물 선택부와; 선택된 추적물을 중심으로 추적창을 설정하는 추적창 설정부와; 추적창 설정범위 내에서 추적물을 제외한 순수 배경 영상을 생성하는 초기 배경영상 생성부와; 카메라부에서 입력되는 영상에서 전체적인 잡음을 제거하는 입력영상 잡음제거부와; 초기 배경영상과 입력영상 잡음제거부에서 출력되는 입력영상을 이용하여 추적물을 추출하는 물체 추출부와; 추출한 물체의 무게중심을 구하여 새로운 추적창을 생성하는 추적 중심 설정부와; 상기 추적 중심 설정부에서 설정한 새로운 추적창 범위 내에서 다음 입력되는 영상의 추적물을 추출하기 위한 배경 영상을 만드는 합성 배경 영상 생성부와; 상기 물체 추출부의 결과 영역과 파라메터를 이용하여 합성 영상을 위한 화면 제어를 하는 추적출력 제어부로 구성하므로써 달성할 수 있다.

따라서, 스윙 시간이 짧고 그 자세가 중요한 스포츠 경기 중계방송시 동영상 추출 및 합성방식을 통해 정확히 선수를 추출하여 그 스윙동작을 순차적으로 겹치거나 펼쳐 표현할 수 있어, 일반 시청자들이 선수의 스윙동작을 쉽게 분석하고 이해할 수 있는 것이다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.

제1도는 본 발명 장치의 전체 블록 구성도.

제2도는 제1도중 스윙 모션 추출부의 블록 구성도.

제3도는 제1도중 공 추출부의 블록 구성도.

제4(a)-(d)도는 스윙 모션 추출의 결과로써 모니터 상에 나타나는 화면의 예시도.

제5도는 본 발명에 의해 추적창내에서의 초기 배경합성 영상을 생성하는 예시도.

제6도는 본 발명에 의해 골프공의 예상 추적 방향을 설정하는 추적 방향성 테이블 구성도.

제7도(a)-(d)도는 본 발명 장치에 의한 공(예; 골프 공) 추적의 결과로써 모니터상에 나타나는 화면의 예시도.

* 도면의 주요부분에 대한 부호의 설명

1 : 카메라 2 : A/D 변환부

3 : 영상 처리부 4 : 영상 및 파라메터 저장부

5 : D/A 변환부 6 : 출력부

31 : 스윙 모션 추출부 32 : 공 추적부

311 : 전경 녹화부 312 : 배경 녹화부

313 : 물체 영역 추출부 314 : 선수 영역 추출부

315 : 스윙출력 제어부 3131 : 차영상부

3132 : 영역 레이블링부 3133 : 수동 편집부

321 : 추적물 선택부 322 : 추적창 설정부

323 : 초기 배경영상 생성부 324 : 입력 영상 잡음제거부

325 : 물체 추출부 326 : 추적 중심 설정부

327 : 합성 배경영상 생성부 328 : 추적 출력제어부

3251 : 차영상부 3252 : 영역 레이블링부

3253 : 추적 방향성 테이블 적용부 3254 : 형태학 처리부

제1도는 본 발명 장치의 전체 블록 구성도를 나타낸 것이고, 제2도는 제1도중 스윙 모션 추출부의 블록 구성도를 나타낸 것이며, 제3도는 제1도중 공 추출부의 블록 구성도를 나타낸 것이고, 제4(a)-(d)도는 스윙 모션 추출의 결과로써 모니터상에 나타나는 화면의 예시도를 나타낸 것이며, 제5도는 본 발명에 의해 추적창내에서의 초기 배경합성 영상을 생성하는 예시도를 나타낸 것이고, 제6도는 본 발명에 의해 골프공의 예상 추적 방향을 설정하는 추적 방향성 테이블 구성도를 나타낸 것이며, 제7(a)-(d)도는 본 발명 장치에 의한 공(예; 골프 공) 추적의 결과로써 모니터상에 나타나는 화면의 예시도를 나타낸 것이다.

이에 따르면, 각종 경기의 상황을 촬상하여 영상 데이터를 출력하는 카메라(1)와; 상기 카메라(1)로부터 입력된 아날로그 데이터를 영상 처리를 위해서 디지털로 바꾸는 A/D 변환부(2)와; 상기 A/D 변환부(2)를 통해 연속적으로 입력되는 디지털 영상신호에 대해 소정의 알고리듬을 통해 원하는 신호를 추출하는 영상 처리부(3)와; 상기 영상 처리부(3)의 처리결과 정보와 파라메터를 실시간으로 저장하는 영상 및 파라메터 저장부(4)와, 상기 영상 처리부(3)에서 출력되는 디지털 영상 데이터에서 배경영상과 물체영상으로 분리한 후 최종 추출된 물체영상과 배경영상을 합성한 디지털 영상을 아날로그 신호로 변환시켜 출력부(6)로 출력시켜 주는 D/A 변환부(5)로 구성하되,

상기 영상 처리부(3)는 선수추출 알고리듬을 이용하여 연속적으로 입력된 디지털 영상신호에서 선수만 추출하여 각종 경기중인 선수의 스윙 모션을 추출해내는 스윙 모션 추출부(31)와; 추적 알고리듬을 이용하여 연속적으로 입력된 디지털 영상신호에서 공을 추출하여 공의 가시화에 이용할 수 있도록 하는 공 추적부(32)로 구성하고, 상기 영상 및 파라메터 저장부(4)에는 상기 영상 처리부(3)에서 추출한 선수 영상과 선수 영역의 기준점과 공간 위치정보 등의 파라메터가 실시간으로 저장되도록 하고,

상기 스윙 모션 추출부(31)는 카메라(1)의 출력으로부터 선수의 스윙 모션을 촬영하고 영상잡음을 제거하기 위해 입력 영상을 평활화시키는 전경녹화부(311)와; 카메라가 고정된 상태에서 선수가 없는 순수한 배경영상을 촬영하고 평활화시키는 배경녹화부(312)와; 상기 배경녹화부(312)에서 선택한 참조영상과 전경녹화부(311)에서의 입력영상과의 차영상을 통해 물체블럭을 추출하는 물체영역 추출부(313)와; 상기 물체영역 추출부(313)에서 출력되는 개략적인 물체영역에서 외부 배경잡음을 제거하고 배경과 선수를 분리하는 선수영역 추출부(314)와; 상기 선수영역 추출부(314)에서 추출한 선수 영역과 각종 정보의 입출력을 제어하는 스윙출력 제어부(315)로 구성하여서 된 스포츠 영상 처리장치에 있어서,

상기 공 추적부(32)는 카메라(1)로 부터 입력되는 영상에서 추적하고자 하는 물체를 초기에 사용자가 마우스로 선택할 수 있도록 하는 추적물 선택부(321)와; 상기 추적물 선택부(321)에서 선택된 추적물을 중심으로 추적창을 설정하는 추적창 설정부(322)와, 상기 추적창 설정부(322)에서 설정된 추적창 범위 내에서 추적물을 제외한 순수 배경 영상을 생성하는 초기 배경영상 생성부(323)와; 카메라(1)로 부터 입력되는 영상신호에서 전체적인 잡음을 제거하는 입력영상 잡음제거부(324)와; 상기 초기 배경영상 생성부(323)에서 출력되는 초기 배경영상과 입력영상 잡음제거부(324)에서 출력되는 입력영상을 이용하여 추적물을 추출하는 물체 추출부(325)와; 상기 물체 추출부(325)에서 추출한 물체의 무게중심을 구하여 새로운 추적창을 생성하는 추적 중심 설정부(326)와; 상기 추적 중심 설정부(326)에서 설정한 새로운 추적창 범위 내에서 다음에 입력되는 영상의 추적물을 추출하기 위한 배경 영상을 만들어내는 합성 배경영상 생성부(327)와; 상기 물체 추출부(325)의 결과 영역과 파라메터를 이용하여 합성 영상을 위한 화면 제어를 수행하는 추적출력제어부(328)로 구성된 것을 기본적인 특징으로 한다.

한편, 상기 물체영역 추출부(313)는 전경녹화부(311)와 배경녹화부(312)에서 각각 출력되는 전경 영상과 배경 영상의 차성분을 추출하고 이를 이진화하는 차영상부(3131)와; 상기 차영상부(3131)에서 출력되는 이진화 영상을 영역단위로 구분하고 큰 영역들 중에서도 화면 중심에 가까운 영역을 물체영역으로 분류하는 영역 레이블링부(3132)와; 상기 영역 레이블링부(3132)의 결과로 생성되는 물체영역에서 손상되기 쉬운 운동기구 물체부분을 수동 편집할 수 있도록 하는 수동편집부(3133)로 구성된 것을 특징으로 한다.

이때, 물체 추출부(325)는 초기 배경영상 생성부(323) 또는 합성 배경영상 생성부(327)에서 각각 출력되는 배경영상과 입력영상 잡음제거부(324)에서 출력되는 입력 영상과의 차영상을 구해 그것을 이진화한 영상으로 만들어 내는 차영상부(3251)와; 상기 차영상부(3251)에서 출력되는 이진화 영상을 영역단위로 구분하는 영역 레이블링부(3252)와; 상기 영역 레이블링부(3252)의 결과인 물체 영역으로 설정된 영역들 중에서도 선수의 발이나 운동기구 물체의 소정부위 등의 추적잡음을 제거하기 위해 추적물의 방향성 정보를 이용하는 추적 방향성 테이블 적용부(3253)와; 상기 추적 방향성 테이블 적용부(3253)에서 출력되는 추적물에 대한 배경잡음을 제거하는 형태학 처리부(3254)로 구성한 것을 특징으로 한다.

이와같이 구성된 본 발명 장치의 작용효과를 상세히 설명하면 다음과 같다.

먼저, 카메라(1)로부터 입력된 영상신호는 A/D 변화부(2)와 영상처리부(3)를 거쳐 영상 및 파라메터 저장부(4)로 입력된다.

이때 처리시간을 줄이기 위해 카메라(1)로부터 입력되는 영상은 워크스테이션의 메모리에 바로 저장되며 영상 추출 및 추적 알고리듬으로 영상처리를 한 후 영상을 실시간으로 영상 및 파라메터 저장부(4)에 저장시킨다.

상기 영상 및 파라메터 저장부(4)는 실시간 외장형 디스크로써 40MB/sec의 전송속도를 가지며 압축되지 않는 영상테이타에 대해 30프레임/초의 속도를 내므로 스포츠 중계방송에 적합하며, 송출시는 실시간 저장장치에 저장된 영상을 불러 D/A변화부(5)를 거쳐 송출한다.

영상처리부(3)의 스윙 모션 추출부(31)에서는 카메라(1)로부터 선수(예, 골프 또는 야구 선수 등)의 스윙동작을 녹화하고 3×3 평활화 필터를 사용하여 영상잡음을 제거하는 전경녹화부(311)와, 배경영상만 녹화하고 영상잡음을 제거하는 배경녹화부(312)에서 각각 출력되는 영상 출력을 차영상부(3131)에서 이들 영상의 차영상을 구하고 이진화한다.

여기서 입력영상과 배경영상의 화소성분중 배경성분들은 그 화소의 밝기가 비슷할 것이므로 그 차성분은 낮은 값을 가지며 입력 영상에서 선수가 나타난 부분은 비교적 높은 값을 가지게 된다.

그리고 차영상을 구하는데 있어서 단순히 휘도 성분만 이용해서 차영상을 구할 경우 입력영상과 배경영상간의 대조비가 낮은 부분에서는 물체 영역내부에 왜곡이 발생할 수 있음에 따라, 본 발명에서는 휘도성분 뿐만 아니라 R,G,B 화소의 밝기 성분을 이용하여 차영상 생성시 발생할 수 있는 물체 영역내의 왜곡을 감소시켰다.

즉, R,G,B 영상 각각에 대해 합성 배경영상을 만들고 각 화소에서 현재 영상의 R,G,B 영상과의 차값중 가장 큰 차성분을 물체 화소라고 판단하였다.

그리고 본 발명에서는 이진화 임계값을 10으로 하여 그 이상의 차영상의 화소값에 대해서는 물체로 판별하고 그 이하의 화소값에서는 배경 성분으로 판별하여 차영상을 물체와 배경으로 이진화하였다.

이진화의 결과 영상은 실제 배경성분임에도 물체 영역이라고 잘못 인식된 오류 영역들이 많이 있음에 따라, 본 발명에서는 영역 레이블링부(3132)에서 이진화된 영상의 각 영역들에 대해 번호를 붙이고 임계화소 크기 미만의 영역들은 제거시켰다.

여기서 물체 영역 구분을 위한 임계값은 추출하고자하는 물체의 크기에 따라 임의로 설정하였다.

그리고 이 임계화소보다 큰 배경 잡음 영역에 대해서는 운동 선수의 공간적 위치 정보를 이용해서, 화면 중심에서 벗어난 물체의 큰 영역들은 배경성분으로 간주하여 제거하고 추출하고자 하는 선수의 물체 영역을 구하였다.

상기 영역 레이블링부(3132)의 곁과 영역에서는 빠른 속도의 스윙 동작 때문에 운동기구 물체의 소정부위(예를들어 골프 클럽의 헤드)가 물체 영역과 연결되지못하고 분리되어 제거되는 경우가 있다.

이때 수동 편집부(3133)에서는 사용자가 전체 영역들을 보면서 운동기구 영역과 물체영역을 마우스로 연결시켜주는 작업으로 운동기구 영역의 소정부위에 대한 영역 손실을 막았다.

또, 선수 영역 추출부(314)에서는 영역 레이블링부(3132)의 물체 영역 주위에 붙어있는 배경잡음을 제거하기 위해 영상처리 기법중의 하나인 형태학 처리를 하여 물체 영역 내부에 있을 수 있는 구멍들을 채우고 외부에 있는 배경잡음을 제거한 다음 선수 영역에 대한 각종 정보를 생성한다.

하기한 식(1)은 물체 영역 내부의 구멍을 채우고 물체 영역 주위에 붙어있는 배경잡음을 제거하기 위한 형태학 처리를 나타낸 것이다.

여기서, A는 물체 영역이고 B는 형태학 처리를 위한 마스크 블록이며, 3 또는 5라는 숫자는 마스크의 크기를 나타낸다.

선수영역 추출부(314)에서 추출한 영역의 각종 파라메터는 영역의 크기, 선수 영역을 감싸는 최소 경계 사각형의 좌표, 입력 영상열 중에서의 현재 입력영상의 시간적 위치, 스윙의 시작점과 끝점, 그리고 선수의 배열 기준점 등이다.

여기서 배열 기준점은 추출한 선수 영역을 영상 합성할 때 특정한 공간적 위치에 배열하기 위해서 설정한 것으로 예를들어 골프 스윙 모션에서 움직임이 적은 선수 영역의 오른쪽 발 하단을 배열 기준점으로 설정하였다.

스윙출력 제어부(315)에서는 상기 선수 영역 추출부(314)의 결과로 생성되는 선수 영역과 각종 파라메터를 이용하여 비디오 출력을 위한 제어를 한다.

한편, 제4(a)-(d)도는 본 발명 장치에 의해 골프 스윙 모션 추출의 결과를 모니터 상에 나타나는 화면의 예시도로써, (a)도와 (b)도는 추출한 전수 영역을 한 화면에 중첩 표현한 것으로 그 중 (a)도는 한 선수에 대한 중첩 표현이고 (b)도는 두선수를 비교하기 위한 중첩 표현이다.

그리고 제4(c)도와 (d)도는 추출한 선수영역의 펼침 표현을 나타내고 있다.

이것은 첫 번째 추출한 선수영역의 배열 기준점을 시작으로 일정간격을 두고 전수를 펼쳐 표현한 것으로써, (c)도는 한 선수의 펼침 표현이고 (d)도는 두선수를 비교하기 위한 펼침 표현이다.

제4(a)-(d)도와 같이 골프 선수의 스윙 모션을 표현함에 있어서 선수를 추출하여 한 화면에 가시화하는 방법은 선수의 스윙모션을 한눈에 볼 수 있어 시청자에게 선수의 스윙모션을 자세히 알 수 있게 하고 또 골프 연습자에게는 자세 교정용으로 사용할 수 있다.

한편, 공 추적부(32)(예를들어 골프 공 추적부)에서는 먼저 입력영상에 대해 사용자가 추적하고자 하는 물체를 추적물 선택부(321)에서 마우스로 사각형을 그려 선택한다.

이때 추적창 설정부(322)에서는 선택한 추적물을 감싸는 사각형의 3배의 크기를 가지는 추적창을 설정하고 이 범위 안에서 3×3 평활화 필터를 사용해 영상잡음을 제거한다.

초기 배경영상 합성부(323)에서는 선택한 추적물 선택 사각형 내를 외부 배경으로 채워 순수 배경영상을 만든다.

제5도는 추적창의 모양을 보여주며 최외각의 사각형은 추적창의 외각 범위이고 블록(5)는 선택한 추적물을 감싸는 사각형이며, 블록(5)를 제외한 나머지 같은 크기의 블록들은 배경블록들이다.

이때 물체 블록(5)는 각 배경블록들의 화소평균값의 중간값을 가지는 블록으로 대치하여 초기 합성배영 영상을 만든다.

입력 영상 잡음제거부(324)는 카메라(1)로부터 입력되는 영상을 상기 추적창설정부(322)에서 선택한 추적창과 공간적으로 같은 위치에서 3×3 평활화 필터를 사용하여 영상잡음을 제거한다.

또, 물체 추출부(325)의 차영상부(3251)와 영역 레이블링부(3252)는 상기 스윙 모션 추출부(31)의 물체영역 추출부(313)에서 사용한 차영상부(3131) 그리고 영역 레이블링부(3132)와 같은 역할을 한다.

추적방향성 테이블 적용부(3253)는 영역 레이블링부의 결과로 나온 여러 개의 영역 중에서 실제 공, 예를들어 골프공 영역을 찾는 방법으로써 초기 골프공의 진행 방향을 예측하고 진행 방향 내에 있는 물체 영역을 골프 공으로 선택한다.

제6도에 골프공의 추적 방향성 테이블을 나타내었다.

전체 입력영상을 구획 (a)에서 (i)로 나누고 초기 골프공의 추적 시작점이 어느 구획에 있느냐에 따라 골프 공의 예상 추적방향이 결정된다.

하기 식(2)는 각 구획에 해당하는 골프 공의 예상 진행방향이다

공의 예상 진행 방향 테이블을 이용함으로써 예를들어 골프 클럽과 선수의 발등에 의한 추적 오류를 제거할 수 있었다.

추적 방향성 테이블에 의해 추출한 공 블럭은 상기 스윙 모션 추출부(31)의 선수 영역 추출부(314)와 같은 형태학 처리부(3254)에서 배경잡음을 제거한다.

이때 최종 공 영역은 추적 중심 설정부(326)에서 영역의 무게 중심점을 구하고 이 점을 중심으로 초기 선택한 물체 영역크기의 3배 되는 구획을 새로운 추적창으로 선택한다.

또 합성 배경영상 생성부(327)에서는 새로운 추적창 구획에서 추출한 공 영역을 이전 프레임의 그 위치에 있는 배경영역으로 대치하여 합성배경영상을 만든다.

이렇게 함으로써 입력 영상은 바로 이전의 배경영상과 차영상을 구하게 되어 배경잡음을 최대로 줄일 수 있다.

또한, 추적출력 제어부(328)에서는 각 추적물의 영역 크기, 공간적 좌표, 무게 중심점, 추적의 시작점과 끝점 그리고 입력영상의 시작점과 끝점 등의 각종 파라메터를 이용하여 합성영상을 위한 화면제어를 한다.

한편, 제7(a)-(d)도는 본 발명 장치에 의해 골프 공의 추적상태가 모니터상에 나타나는 화면의 예시도로써, (a)도는 추적의 결과를 단순 궤적으로 보여주고있고, (b)도는 궤적과 동시에 타원표시로 추적물을 감싸주고 있으며, (c)도는 추적 과정을 선으로 이어 궤적을 표현한 방법을 나타내고 있고, (d)도는 빠른 속도로 날아가는 골프 공의 궤적을 표현한 것이다.

이와 같이 본 발명 장치에 의하면 공(즉, 골프공이나, 야구공, 볼링공 및 테니스공 등)의 궤적을 한 눈에 볼 수 있어 시청자에게 가시적인 효과를 증가시키며 방향성 테이블을 적용하여 공의 추적에 신뢰성을 높일 수 있다.

이상에서 설명한 바와 같이 본 발명에 의하면, 중계방송용 스윙 모션 분석과공 추적 및 표현하는 방식을 통해 연속적으로 입력되는 빠른 속도의 골프 스윙 동작에서 놓치기 쉬운 동작들을, 골프 선수의 각 동작을 추출하여 중첩 표현 또는 펼침 표현 등으로 한 화면에 재구성함으로써, 그 동작의 시작과 끝을 한눈에 관찰할 수 있고, 또 두선수의 스윙 모션을 동시에 비교할 수도 있어 일반 시청자도 쉽게 이해하고 분석 가능하며, 공의 진행 방향을 가시적으로 표현할 수 있음은 물론 공의 공간적 방향성 테이블을 이용하여 예를들어 골프 클럽과 사람의 발 등, 외부 배경잡음을 쉽게 극복할 수 있어 추적의 신뢰도를 높일 수 있는 것이다.

Claims (4)

1. 각종 경기의 상황을 촬상하여 영상 데이터를 출력하는 카메라(1)와; 상기 카메라(1)로부터 입력된 아날로그 데이터를 영상 처리를 위해서 디지털로 바꾸는 A/D 변환부(2)와; 상기 A/D 변환부(2)를 통해 연속적으로 입력되는 디지털 영상신호에 대해 소정의 알고리듬을 통해 원하는 신호를 추출하는 영상 처리부(3)와; 상기 영상 처리부(3)의 처리결과 정복와 파라메터를 실시간으로 저장하는 영상 및 파라메터 저장부(4)와; 상기 영상 처리부(3)에서 출력되는 디지털 영상 데이터에서 배경영상과 물체영상으로 분리한 후 최종 추출된 물체영상과 배경영상을 합성한 디지털 영상을 아날로그 신호로 변환시켜 출력부(6)로 출력시켜 주는 주는 D/A 변환부(5)로 구성하되, 상기 영상 처리부(3)는 선수추출 알고리듬을 이용하여 연속적으로 입력된 디지털 영상신호에서 선수만 추출하여 각종 경기중인 전수의 스윙 모션을 추출해내는 스윙 모션 추출부(31)와, 추적 알고리듬을 이용하여 연속적으로 입력된 디지털 영상신호에서 공을 추출하여 공의 가시화에 이용할 수 있도록 하는 공 추적부(32)로 구성하고, 상기 영상 및 파라메터 저장부(4)에는 상기 영상 처리부(3)에서 추출한 선수 영상과 선수 영역의 기준점과 공간 위치정보 등의 파라메터가 실시간으로 저장되도록 하고, 상기 스윙 모션 추출부(31)는 카메라(1)의 출력으로부터 선수의 스윙 모션을 촬영하고 영상잡음을 제거하기 위해 입력 영상을 평활화시키는 전경녹화부(311)와; 카메라가 고정된 상태에서 선수가 없는 순수한 배경영상을 촬영하고 평활화시키는 배경녹화부(372)와; 상기 배경녹화부(312)에서 선택한 참조영상과 전경녹화부(311)에서의 입력영상과의 차영상을 통해 물체블럭을 추출하는 물체영역 추출부(313)와; 상기 물체영역 추출부(313)에서 출력되는 개략적인 물체영역에서 외부 배경잡음을 제거하고 배경과 선수를 분리하는 선수영역 추출부(314)와; 상기 선수영역추출부(314)에서 추출한 선수 영역과 각종 정보의 입출력을 제어하는 스윙출력 제어부(315)로 구성하며, 상기 스윙 모션 추출부(31)는 카메라(1)의 출력으로부터 선수의 스윙 모션을 촬영하고 영상잡음을 제거하기 위해 입력 영상을 평활화시키는 전경녹화부(311)와; 카메라가 고정된 상태에서 선수가 없는 순수한 배경영상을 촬영하고 평활화시키는 배경녹화부(312)와, 상기 배경녹화부(312)에서 선택한 참조영상과 전경녹화부(311)에서의 입력영상과의 차영상을 통해 물체블럭을 추출하는 물체영역 추출부(313)와; 상기 물체영역 추출부(313)에서 출력되는 개략적인 물체영역에서 외부 배경잡음을 제거하고 배경과 선수를 분리하는 선수영역 추출부(314)와; 상기 선수영역 추출부(314)에서 추출한 선수 영역과 각종 정보의 입출력을 제어하는 스윙출력 제어부(315)로 구성하여서된 스포츠 영상효과 처리장치에 있어서, 상기 공 추적부(32)는 카메라(1)로 부터 입력되는 영상에서 추적하고자 하는 물체를 초기에 사용자가 마우스로 선택할 수 있도록 하는 추적물 선택부(321)와; 상기 추적물 선택부(321)에서 선택된 추적물을 중심으로 추적창을 설정하는 추적창 설정부(322)와; 상기 추적창 설정부(322)에서 설정된 추적창 범위 내에서 추적물을 제외한 순수 배경 영상을 생성하는 초기 배경영상 생성부(323)와; 카메라(1)로 부터 입력되는 영상신호에서 전체적인 잡음을 제거하는 입력영상 잡음제거부(324)와, 상기 초기 배경영상 생성부(323)에서 출력되는 초기 배경영상과 입력영상 잡음제거부(324)에서 출력되는 입력영상을 이용하여 추적물을 추출하는 물체 추출부(325)와; 상기 물체 추출부(325)에서 추출한 물체의 무게중심을 구하여 새로운 추적창을 생성하는 추적 중심 설정부(326)와; 상기 추적 중심 설정부(326)에서 설정한 새로운 추적창 범위 내에서 다음에 입력되는 영상의 추적물을 추출하기 위한 배경 영상을 만들어내는 합성 배경영상 생성부(327)와; 상기 물체 추출부(325)의 결과 영역과 파라메터를 이용하여 합성한 결과영상을 표현하기 위한 추적출력 제어부(328)로 구성된 것을 특징으로 하는 스포츠 영상효과 처리장치.
2. 청구항 1에 있어서, 상기 물체영역 추출부(313)는 전경녹화부(311)와 배경녹화부(312)에서 각각 출력되는 전경 영상과 배경 영상의 차성분을 추출하고 이를 이진화하는 차영상부(3131)와; 상기 차영상부(3131)에서 출력되는 이진화 영상을 영역단위로 구분하고 큰 영역들 중에서도 화면 중심에 가까운 영역을 물체영역으로 분류하는 영역 레이블링부(3132)와; 상기 영역 레이블링부(3132)의 결과로 생성되는 물체영역에서 손상되기 쉬운 운동기구 물체부분을 수동 편집할 수 있도록 하는 수동 편집부(3133)로 구성된 것을 특징으로 하는 스포츠 영상효과 처리장치.
3. 청구항 1에 있어서, 상기 스윙출력 제어부(315)에서는 선수영역 추출부(314)에서 추출한 각종 정보, 즉 화면 표시때 화면 배열 기준으로 사용하는 선수영역의 배열 기준점, 선수 영역 번호, 선수 영역의 크기 그리고 전체 선수 영역들의 수, 화면 표현시 시작점의 위치와 끝점의 위치 등을 이용하여 선수의 동작을 재합성하여 표현함에 있어서 추출한 선수영역의 배열기준점을 중심으로 선수의 스윙동작을 중첩 표현하거나, 첫 번째 선수블럭의 배열 기준점을 임의 위치에 고정시켜 시작점으로 설정하고 다음 선수 블럭들을 일정간격으로 펼친 모습으로 합성하여 표현하는 것을 특징으로 하는 스포츠 영상효과장치.
4. 청구항 1에 있어서, 상기 물체 추출부(325)는 초기 배경영상 생성부(323) 또는 합성 배경영상 생성부(327)에서 각각 출력되는 배경영상과 입력영상 잡음제거부(324)에서 출력되는 입력 영상과의 차영상을 구해 그것을 이진화한 영상으로 만들어 내는 차영상부(3251)와; 상기 차영상부(3251)에서 출력되는 이진화 영상을 영역단위로 구분하는 영역 레이블링부(3252)와; 상기 영역레이블링부(3252)의 결과로 추출된 여러 영역 중에서 추적하고자하는 공 영역 외에, 선수의 발이나 운동기구 물체 등과 같은 추적잡음을 제거하기 위해 추적물의 방향성 정보를 이용하는 추적 방향성 테이블 적용부(3253)와: 상기 추적 방향성 테이블 적용부(3253)에서 출력되는 추적물에 대한 배경잡음을 제거하는 형태학 처리부(3254)로 구성한 것을 특징으로 하는 스포츠 영상효과 처리장치.