KR100225611B1

KR100225611B1 - 스포츠 영상 효과장치

Info

Publication number: KR100225611B1
Application number: KR1019970023473A
Authority: KR
Inventors: 이재호; 이상길
Original assignee: 박권상; 한국방송공사
Priority date: 1997-06-05
Filing date: 1997-06-05
Publication date: 1999-10-15
Also published as: KR19990000526A

Abstract

본 발명은 스포츠 영상 효과장치에 관한 것으로, 특히 영상 처리부(3)를, 입력영상에서 선수가 처음으로 화면에 나타나는 시작점을 찾아내는 초기창 설정부(31)와; 선수가 처음으로 나타나는 프레임을 찾아내는 시작점 검출부(32)와; 영상신호를 입력받는 현재 영상부(33)와; 시작프레임과 현재 영상과의 차영상으로 사용될 배경성분만 가지는 참조 영상부(34)와; 선수 블록의 위치 및 크기 정보를 추출하는 선수 블록 정보부(35)와; 추출된 선수블록의 정보와 현재 영상 그리고 이전 참조 영상을 이용해서 영상내용이 배경성분만 가지게 하여 새로운 참조 영상을 만들어내는 합성배경 영상부(36)로 구성하므로써, 배경 잡음을 최소화할 수 있을 뿐만 아니라 참조 영상 획득 시간을 대폭 줄일 수 있고, 현재 영상과 참조 영상간의 간격을 최소화한 상태에서도 차영상에 의한 선수를 추출할 수 있어 선수의 움직임 변화가 많지 않은 영상에 대해서도 정확히 선수만을 추출할 수 있으며, 또 선수추출 알고리즘을 적용하여 추출한 선수 블록들을 순차적으로 한 화면에 겹쳐 표현함으로써 선수의 전체 연기동작을 쉽게 분석하고 이해할 수 있는 것이다.

Description

스포츠 영상 효과장치

본 발명의 첫번째 목적은 연속된 입력 영상에서 차영상에 의한 선수 추출시 현재 영상의 바로 이전 영상을 참조 영상으로 하여 배경 잡음을 최소화할 수 있음과 동시에 참조 영상 획득 시간을 줄일 수 있는 스포츠 영상 효과장치를 제공하는 데 있다.

본 발명의 두번째 목적은 현재 영상과 참조 영상간의 간격을 최소화한 상태에서도 차영상에 의한 선수를 추출할 수 있도록 하여 선수의 움직임 변화가 많지 않은 영상에 대해서도 정확히 선수만을 추출할 수 있는 스포츠 영상 효과장치를 제공하는데 있다.

본 발명은 스포츠 영상 처리장치에 관한 것으로, 더욱 상세히는 스포츠 중계방송시, TV 동영상 추출 및 합성방식을 통해 선수의 연기 시간이 짧고 연기 동작이 중요한 체조 경기에서 정확히 선수를 추출하여 순차적으로 그 연기 동작을 한 화면에 겹쳐 표현함으로써 일반 시청자가 선수의 연기 동작을 쉽게 분석하고 이해할 수 있도록 하는 스포츠 영상 효과장치에 관한 것이다.

종래에 있어 일반적으로는, 영상중에서 운동물체(예를들어 선수등)를 추출하는 방법으로 크로마키(chromakey) 합성법과 매트합성법이 사용되고 있다.

그런데, 전자의 크로마키합성법은, 크로마키백이라고 불리우는 특수한 스크린(대부분 청색이다)을 배경으로 하여 촬영한 화상에서 색정보를 사용하여 추출하는 방법인데, 이 방법은 동화상에는 적용할 수 있지만, 크로마키백 이외의 배경에서 촬영된 영상에는 적용할 수 없다고 하는 결점이 있었다.

또, 후자의 매트합성법은, 골라낸 영역의 윤곽을 마우스나 타블렛(tablet) 등을 사용하여 사람의 손으로 지정하는 방법이므로, 특수한 배경을 필요로 하지 않고 모든 화상에 적용할 수 있는 이점과 사람이 납득할 수 있을 때까지 수정할 수 있다는 장점이 있지만, 동화상에 대해서는 모든 프레임에서 지정할 필요가 있으므로 작업시간이 걸린다는 결점이 있었다.

따라서, 최근 들어서는 차영상에 의한 선수 추출시, 순수한 선수 블록만 추출하기 위해, 현재 영상내의 선수의 위치와 입력된 이전 영상들 중에서 선수의 위치가 서로 겹치지 않는 이전 영상을 참조 영상으로 하여 차영상을 구하는 방법을 사용하고 있다.

그런데, 이와 같은 방법은 복잡한 움직임의 배경을 가지는 경우에도, 고속으로 자동적으로 운동물체를 추출할 수 있다는 잇점이 있는 반면, 선수의 연기 진행 속도가 빠르지 않는 곳에서 현재 영상과 참조 영상간의 프레임 간격이 멀어질 수 밖에 없으며 현재 영상과 참조 영상간의 간격이 멀어질수록 그 차영상은 배경에 의한 잡음이 많아지게 되어 정확한 선수 추출의 문제점이 있다.

제1도는 본 발명 장치의 전체 블록 구성도.

제2도는 제1도 중 영상 처리부의 블록 구성도.

제3도는 제2도 중 합성 배경 참조 영상을 획득하기 위한 블록도.

제4a-f도는 본 발명에 의해 기준 프레임을 합성하는 과정을 보인 화상도.

제5a-e도는 본 발명에 의해 선수를 추출하는 상태를 보인 화상도.

제6a-d도는 본 발명 장치의 결과로써 모니터상에 나타나는 화면의 예시도.

* 도면의 주요부분에 대한 부호의 설명

1 : 카메라 2 : A/D 및 D/A변환부

3: 영상 처리부 4 : 영상 저장부

5 : 출력부 31 : 초기창 설정부

32 : 시작점 검출부 33 : 현재 영상부

34 : 참조 영상부 35 : 선수 블록 정보부

36 : 합성배경 영상부 351 : 차영상부

352 : 이진화부 353 : 레이블링부

354 : 선수추출부 361 : 배경부분 영상부

362 : 선수영역 참조 영상부 363 : 순수합성 배경 영상부

상기한 본 발명의 목적은, 영상 데이터를 입력하는 카메라와; 상기 카메라로 부터 입력된 아날로그 데이터를 영상 처리를 위해서 디지털로 바꾸고 최종 추출된 디지털 배경과 영상을 아날로그 신호로 바꾸기 위한 A/D 및 D/A변환부와; 연속적으로 입력된 디지털 영상에서 선수추출 알로리듬을 이용하여 선수만 추출하는 영상처리부와; 이렇게 추출한 선수 영상을 실시간으로 저장할 수 있는 영상 저장 장치부로 구성된 스포츠 영상 처리장치에 있어서, 상기 영상처리부를 선수 추출을 위한 처리범위를 한정하고 연속된 입력 영상에서 선수가 처음으로 화면에 나타나는 시작점을 찾기 위한 초기창 설정부와; 초기창에서 선수가 처음으로 나타나는 프레임을 찾기 위한 시작점 검출부와; 순차적으로 영상이 입력되는 현재 영상부와; 시작점 검출부에서 획득한 시작프레임과 현재 영상과의 차영상으로 사용될 배경성분만 가지는 참조 영상부와; 현재 영상부와 참조 영상부의 출력신호에서 선수 블록의 위치 및 크기 정보를 추출하는 선수 블록 정보부와; 추출된 선수블록의 정보와 현재 영상 그리고 이전 참조 영상을 이용해서 영상내용이 배경성분만 가지게 하는 새로운 참조 영상을 만드는 합성배경 영상부로 구성하므로써 달성할 수 있다.

따라서, 연속된 입력 영상에서 차영상에 의한 선수 추출시 현재 영상의 바로이전 영상을 참조 영상으로 하므로써, 배경 잡음을 최소화할 수 있음은 물론 참조영상 획득 시간을 줄일 수 있고, 또 현재 영상과 참조 영상간의 간격을 최소화한 상태에서도 차영상에 의한 선수를 추출할 수 있으므로 선수의 움직임 변화가 많지 않은 영상에 대해서도 정확히 선수만을 추출할 수 있는 것이다.

이하 본 발명의 바람직한 실시예를 첨부된 도면에 의해 상세히 설명하기로 한다.

도1은 본 발명 장치의 전체 블록 구성도를 나타낸 것이고, 도2는 도1중 영상 처리부의 블록 구성도를 나타낸 것이며, 도3은 도2 중 합성 배경 참조 영상을 획득하기 위한 블록도를 나타낸 것이다.

이에 따르면, 화상을 촬상하여 영상 데이터를 입력하는 카메라(1)와; 상기 카메라(1)로 부터 입력된 아날로그의 영상 데이터를 영상 처리를 위해서 디지털로 바꾸어 영상 처리부(3)로 출력하고 최종 추출된 디지털 배경과 영상을 아날로그 영상신호로 바꾸어 출력부(5)로 출력하는 A/D 및 D/A변환부(2)와; 연속적으로 입력된 디지털 영상에서 선수추출 알로리듬을 이용하여 선수만 추출하는 영상 처리부(3)와; 이렇게 추출한 선수 영상을 실시간으로 저장할 수 있는 영상 저장부(4)로 구성된 스포츠 영상 처리장치에 있어서, 상기 영상 처리부(3)를, 선수 추출을 위한 처리범위를 한정하고 연속된 입력 영상에서 선수가 처음으로 화면에 나타나는 시작점을 찾아내는 초기창 설정부(31)와; 상기 초기창 설정부(31)에서 선수가 처음으로 나타나는 프레임을 찾아내는 시작점 검출부(32)와; 상기 A/D 및 D/A변환부(2)로 부터 순차적으로 영상신호를 입력받는 현재 영상부(33)와; 상기 시작점 검출부(32)에서 획득한 시작프레임과 현재 영상과의 차영상으로 사용될 배경성분만 가지는 참조 영상부(34)와; 현재 영상부(33)와 참조 영상부(34)의 출력신호에서 선수블록의 위치 및 크기 정보를 추출하는 선수 블록 정보부(35)와; 상기 선수 블록정보부(35)에서 추출된 선수블록의 정보와 현재 영상 그리고 이전 참조 영상을 이용해서 영상내용이 배경성분만 가지게 하여 새로운 참조 영상을 만들어내는 합성 배경 영상부(36)로 구성된 것을 기본적인 특징으로 한다.

이때, 상기 선수 블록 정보부(35)는 현재 영상과 참조 영상과의 차성분을 추출하는 차영상부(351)와; 상기 차영상부(351)의 출력신호에서 물체와 배경으로 구분해 내는 이진화부(352)와; 상기 이진화부(352)에서 출력되는 이진화 영상을 블록단위로 구분시켜 분류하는 레이블링부(353)와; 상기 레이블링부(353)에서 레이블링으로 구분된 블록들 중에서 제일 큰 블록을 선택하여 선수블록으로 추출하는 선수추출부(354)로 구성한 것을 특징으로 한다.

또한, 합성배경 영상부(36)는 상기 현재 영상부(33)와 선수 블록 정보부(35)의 출력신호를 입력받아 선수 블록 영역을 제외한 현재 영상의 배경부분만을 추출하는 배경부분 영상부(361)와; 상기 참조 영상부(34)와 선수 블록 정보부(35)의 출력신호를 입력받아 선수 블록 영역에 참조 영상 성분으로 대치시키는 선수 영역 참조 영상부(362)와; 상기 배경부분 영상부(361)와; 선수영역 참조 영상부(362)의 출력신호를 합성하여 순수 합성 배경신호를 추출하는 순수합성 배경 영상부(363)로 구성된 것을 특징으로 한다.

이와 같이 구성된 본 발명 장치의 작용효과를 도4의 a-f 내지 도6의 a-d를 참조하여 설명하면 다음과 같다.

먼저, 카메라(1)로 부터 입력된 영상신호는 A/D 및 D/A변환부(2)와 영상 처리부(3)를 거쳐 영상 저장부(4)로 입력된다.

이때 처리시간을 줄이기 위해 카메라(1)로부터 입력되는 영상을 3프레임씩 샘플링하여 영상 처리부(3)내의 현재 영상부(33)에 있는 메모리에 바로 저장시킨다. 입력된 영상은 워크스테이션의 메모리상에서 영상추출 알고리듬으로 선수를 추출하고 추출된 영상을 실시간 영상 저장부(4)에 저장시킨다.

이 실시간 외장형 디스크는 40MB/second의 전송속도를 가지며 압축되지 않는 영상데이타에 대해 30프레임/초의 속도를 내므로 스포츠 중계방송에 적합하다. 송출시는 실시간 저장장치에 저장된 영상을 불러 A/D 및 D/A변환부(2)를 거쳐 송출한다.

한편, 본 발명의 스포츠 영상효과기에서 연속적으로 입력된 디지털 영상에서 선수추출 알로리듬을 이용하여 선수만 추출하는 영상 처리부(3)내의 초기창 설정부(31)에서는 선수가 처음 화면에 나타나는 부분을 설정하고, 시작점 검출부(32)는 상기 초기창 설정부(31)에서 선수가 처음으로 나타나는 프레임을 찾아낸다.

또, 현재 영상부(33)는 상기 A/D 및 D/A변환부(2)로 부터 순차적으로 출력되는 도4의 a 또는 도5의 a와 같은 영상신호를 입력받고, 참조 영상부(34)에서는 상기 시작점 검출부(32)에서 획득한 시작프레임과 현재 영상과의 차영상으로 사용될 배경성분만 도4의 b 또는 도5의 b와 같이 가지지게 된다.

이어서 선수 블록의 위치 및 크기 정보를 도4의 c와 같이 추출하는 선수 블록 정보부(35)내의 차영상부(351)는 현재 영상과 참조 영상과의 차성분을 도5의 c와 같이 추출하게 되며, 이진화부(352)에서는 상기 차영상부(351)의 출력신호에서 물체와 배경으로 도5의 d와 같이 구분해 내고, 레이블링부(353)에서는 상기 이진화부(352)에서 출력되는 이진화 영상을 블록단위로 구분시켜 분류하게 되므로, 선수추출부(354)에서 상기 레이블링부(353)에 의해 레이블링으로 구분된 블록들 중에서 제일 큰 블록을 선택하여 도5의 e와 같이 선수블록으로 추출하게 된다.

따라서, 상기 선수 블록 정보부(35)에서는 선수 블록의 위치 및 크기 정보가 도4의 c와 같이 추출되어 출력되는 것이다.

또한, 합성배경 영상부(36)에서는 상기 선수 블록 정보부(35)에서 추출된 선수 블록의 정보와 현재 영상 그리고 이전 참조 영상을 이용해서 영상내용이 배경성분만 가지게 하여 도4의 f와 같은 새로운 참조 영상을 만들어내게 되는 것이다.

상기에 있어 초기 추적창은 선수가 처음 화면에 나타나는 부분에 설정하며 시작점 검출은 이곳에서, 이어지는 영상과 차영상을 구하여 그 이진화 화소수로서 시작점을 검출한다. 선수가 나타나지 않는 프레임에 대해서는 그 차영상의 이진화에 의한 선수 블록의 화소수는 약간의 배경의 움직임으로 인한 잡음 성분만 있을 뿐이며 선수가 초기창내에 들어왔을 때는 추출된 선수 블록이 비교적 많은 화소수를 가지므로 상기 시작점 검출부(32)에서 시작프레임을 간단하게 검색할 수 있다.

이때 순수한 배경성분만 있는 프레임을 시작프레임으로 만들기 위해서 선수가 처음 초기 추적창내에 나타나는 바로 이전의 프레임을 시작 프레임으로 설정하였다.

하기한 식(1)은 시작점 검출부(32)에서 초기 추적창내에 선수가 나타났다고 판정하는 조건식을 나타낸 것으로, 여기서 D_n은 n번째 프레임에서의 차영상의 이진화 화소수인데 최소 선수 화소수 MINSIZE를 900으로 설정하였다. 시작 프레임번호는 (1)식을 만족할 때의 n-1이 시작 프레임 번호가 된다.

D_nMINSIZE for n= 0, 1, 2, ----------(1)

이 시작 프레임은 참조 영상부(34)로 출력되어 초기의 참조 영상이 되며 이어지는 차영상부(351)에 의해 현재 영상과의 화소성분 차를 구하여 차영상을 얻는다. 그리고 현재 영상 성분과 참조 영상 성분중 배경성분은 그 화소의 밝기가 비슷할 것이므로 그 차성분은 낮은 값을 가지며 현재 영상에서 선수가 나타난 부분은 배경 성분만 있는 참조 영상과 차를 구할 때 비교적 높은 값을 가지게 된다.

본 발명에서는 이진화 임계값을 10으로 하여 그 이상의 화소값에 대해서는 물체로 판별하고 그 이하의 화소값에서는 배경 성분으로 판별하여 차영상을 물체와 배경으로 이진화하였다.

여기서 차영상을 구하는데 있어서 단순히 휘도 성분만 이용해서 차영상을 구할 경우 현재 영상과 참조 영상간의 대조비가 낮은 부분에서는 선수 블록 내부에 왜곡이 발생할 수 있음에 따라, 본 발명에서는 휘도 성분 뿐만아니라 R,G,B 화소의 밝기 성분을 이용하여 차영상 생성시 발생할 수 있는 선수 블록내의 왜곡 성분을 감소시켰다.

즉, R,G,B영상 각각에 대해 합성 배경영상을 만들고 각 화소에서 현재 영상의 R,G,B 영상과의 차값중 가장 큰 차성분을 선수 화소라고 판단하여 이진화 영상을 도5의 d와 같이 만들었다.

하기한, 식(2)는 각각 R,G, 그리고 B에 대한 n번째 프레임에서 현재 영상과 합성 배경 영상과의 차이다. 여기서 DR_n,DG_n그리고 DB_n은 n번째 프레임에서의 차영상이고 FR_n,FG_n, FB_n은 n 프레임 현재 영상이고 BR_n-1,BG_n-1, BB_n-1은 n-1 프레임에서의 합성 배경 영상이다.

또한, 하기한 식(3)은 R,G,B 각각에 대한 차 성분이 임계값 T를 넘어 설때는 x, y 위치의 화소를 선수블록으로 치환하고 임계값이 T보다 작을 때는 배경으로 함을 나타낸다.

이렇게 선수와 배경으로 이진화부(352)에서 이진화된 영상에서 순수한 물체블록만을 얻기 위해서 레이블링부(353)에서 이진화 영상에 대해 레이블링을 한다.

또한, 선수추출부(354)는 상기 레이블링부(353)에 의해 레이블링된 화소수중화소가 가장 많은 블록을 물체블록으로 선택한다. 이렇게 추출한 물체블록은 합성배경 영상부(36)와 참조 영상부(34)를 통해 배경성분만으로 구성된 참조 영상을 구하기 위한 정보로써 사용된다.

새로운 참조 영상을 생성하기 위한 합성배경 영상부(36)에 대한 세부 사항은 제3도를 참조하여 설명하면 다음과 같다.

먼저, 현재 영상부(33)에는 계속적으로 도4의 a와 같은 영상 데이터가 입력되고, 참조 영상부(34)에서는 초기에 도4의 b와 같이 순수한 배경만 있는 시작프레임을 갖게 되며 참조 영상을 갱신할 때는 합성된 배경 영상이 참조 영상이 된다.

따라서, 현재영상의 배경부분 영상부(361)에서 합성배경 참조 영상을 만들 때에는 현재 영상과 순수한 배경 영상만 있는 참조 영상과의 차영상에서 이를 이진화하고 영역 레이블링을 하여 도 4의 c와 같이 추출한 선수 영역 정보를 가지고 현재 영상에서 추출한 선수 영역을 제외한 나머지 배경 성분만 있는 영상을 도4의 d와 같이 만든다.

그리고 도4의 e와 같은 선수 영역 부분은 선수영역 참조 영상부(362)에서 그 영역의 참조 영상 성분으로 대치시킨다. 이들 현재 영상의 배경 성분과 참조 영상의 선수 블록에서의 배경 성분을 순수합성 배경 영상부(353)에서 합하고 평활화 필터를 취하고 나면 현재 영상과 프레임 간격이 가장 가까운 참조 영상이 도4의 f와 같이 된다.

이렇게 만든 참조 영상은 순수한 배경 성분만 가지게 되며 다음에 입력되는 현재 영상과의 차영상을 구할 때 새로운 참조 영상으로 사용하게 된다. 그리고 이들의 차영상 결과는 현재 영상과 참조 영상간의 간격이 좁음으로 인해 배경의 잡음성분이 줄어들게 된다.

한편, 도6의 a-d는 본 발명 장치의 의해 모니터상에 나타나는 화면의 예시도로써, 이에 따르면 추출한 선수 블록들이 순차적으로 한 화면에 겹쳐 표현할 수 있어 선수의 전체 연기동작을 한눈으로 보고 분석할 수 있는 것이다.

이상에서 설명한 바와 같이 본 발명에 의하면, 연속된 입력 영상에서 차영상에 의한 선수 추출시 현재 영상의 바로 이전 영상을 참조 영상으로 하므로써, 배경 잡음을 최소화할 수 있을 뿐만 아니라 참조 영상 획득 시간을 대폭 줄일 수 있고, 현재 영상과 참조 영상간의 간격을 최소화한 상태에서도 차영상에 의한 선수를 추출할 수 있어 선수의 움직임 변화가 많지 않은 영상에 대해서도 정확히 선수만을 추출할 수 있으며, 또 선수추출 알고리듬을 적용하여 추출한 선수 블록들을 순차적으로 한 화면에 겹쳐 표현함으로써 선수의 전체 연기동작을 쉽게 분석하고 이해할 수 있는 것이다.

Claims

화상을 촬상하여 영상 데이터를 입력하는 카메라(1)와; 상기 카메라(1)로 부터 입력된 아날로그의 영상 데이터를 영상 처리를 위해서 디지털로 바꾸어 영상 처리부(3)로 출력하고 최종 추출된 디지털 배경과 영상을 아날로그 영상신호로 바꾸어 출력부(5)로 출력하는 A/D 및 D/A변환부(2)와; 연속적으로 입력된 디지털 영상에서 선수추출 알로리듬을 이용하여 선수만 추출하는 영상 처리부(3)와; 이렇게 추출한 선수 영상을 실시간으로 저장할 수 있는 영상 저장부(4)로 구성된 스포츠 영상 처리장치에 있어서, 상기 영상 처리부(3)를, 선수 추출을 위한 처리범위를 한정하고 연속된 입력 영상에서 선수가 처음으로 화면에 나타나는 시작점을 찾아내는 초기창 설정부(31)와; 상기 초기창 설정부(31)에서 선수가 처음으로 나타나는 프레임을 찾아내는 시작점 검출부(32)와; 상기 A/D 및 D/A변환부(2)로 부터 순차적으로 영상신호를 입력받는 현재 영상부(33)와; 상기 시작점 검출부(32)에서 획득한 시작프레임과 현재 영상과의 차영상으로 사용될 배경성분만 가지는 참조 영상부(34)와; 현재 영상부(33)와 참조 영상부(34)의 출력신호에서 선수 블록의 위치 및 크기 정보를 추출하는 선수 블록 정보부(35)와; 상기 선수 블록 정보부(35)에서 추출된 선수블록의 정보와 현재 영상 그리고 이전 참조 영상을 이용해서 영상내용이 배경성분만 가지게 하여 새로운 참조 영상을 만들어내는 합성배경 영상부(36)로 구성된 것을 특징으로 하는 스포츠 영상 효과장치.
청구항 1에 있어서, 상기 선수 블록 정보부(35)는 현재 영상과 참조 영상과의 차성분을 추출하는 차영상부(351)와; 상기 차영상부(351)의 출력신호에서 물체와 배경으로 구분해 내는 이진화부(352)와; 상기 이진화부(352)에서 출력되는 이진화영상을 블록단위로 구분시켜 분류하는 레이블링부(353)와; 상기 레이블링부(353)에서 레이블링으로 구분된 블록들 중에서 제일 큰 블록을 선택하여 선수블록으로 추출하는 선수추출부(354)로 구성한 것을 특징으로 하는 스포츠 영상 효과장치.
청구항 1에 있어서, 합성배경 영상부(36)는 상기 현재 영상부(33)와 선수 블록 정보부(35)의 출력신호를 입력받아 선수 블록 영역을 제외한 현재 영상의 배경부분만을 추출하는 배경부분 영상부(361)와; 상기 참조 영상부(34)와 선수 블록 정보부(35)의 출력신호를 입력받아 선수 블록 영역에 영상 성분으로 대치시키는 선수영역 참조 영상부(362)와; 상기 배경부분 영상부(361)와 선수영역 참조 영상부(362)의 출력신호를 합성하여 순수 합성 배경신호를 추출하는 순수합성 배경 영상부(363)로 구성된 것을 특징으로 하는 스포츠 영상 효과장치.