KR20000054304A - 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그제어방법 - Google Patents

Abstract

본 발명은 실시간으로 경기장으로부터 촬상하는 카메라로부터 입력된 영상신호상에 템플릿 탐색창 구조기능을 이용하여 가상 광고삽입위치를 결정하는 서치부와, 이 서치부의 템플릿 탐색창 구조기능에 의해 설정된 가상 광고삽입위치에 광고를 삽입하는 인서션부를 포함하는 방송 중계 영상 화면에 광고를 삽입하는 시스템을 제공한다.

상기과 같은 본 발명은 중계되는 방송의 영상화면을 프레임단위로 읽어들여 템플릿방식으로 광고삽입 위치를 확보한 다음 그 위치에 인위적으로 미리 설정된 광고를 삽입시키도록 됨으로써, 영상화면이 역동적으로 전개되는 영상화면상에서 원하는 위치에 광고신호를 용이하게 삽입시킬 수 있으므로 그에따라 광고 표시 특성을 상당히 향상시킬 수 있음은 물론 역동적인 영상화면의 적절한 위치에 광고신호가 삽입되어 시청자가 항상 그 광고를 주시하게 되므로 그에따라 방송매체를 통한 광고효과를 극대화시킬 수 있다.

Description

방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그 제어방법{system for inserting an advertisement in the broadcast relay picture and controlling method}

본 발명은 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그 제어방법에 관한 것으로, 특히 중계되는 방송의 영상화면을 프레임단위로 읽어들여 템플릿(11A-N)방식으로 광고삽입 위치를 확보한 다음 그 위치에 인위적으로 미리 설정된 광고를 삽입시키도록 됨으로써, 영상화면이 역동적으로 전개되는 영상화면상에서 원하는 위치에 광고신호를 용이하게 삽입시킬 수 있으므로 그에따라 광고 표시 특성을 상당히 향상시킬 수 있는 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그 제어방법에 관한 것이다.

일반적으로 공중파로 전송되는 방송매체 예컨데, 텔레비전과 같은 방송수신매체는 리얼타임(real time)정보를 방송신호로서 시청자들에게 전달해줌으로써 시청자들의 다양한 정보충족욕구를 해소시켜주고 있는데, 특히, 이러한 방송매체는 현지에서 벌어지는 스포츠 경기와 같은 동영상을 리얼타임으로 시청자들에게 제공해주므로써 시청자들에게 생동감이 있는 스포츠정보를 제공해준다.

그런데, 상기와 같은 스포츠경기는 사람들의 관심이 많이 집중되므로 그러한 점을 상품의 광고로 활용하기 위해 경기장의 게시판이나 경기장 주변의 보호벽에 상품광고판을 설치한다. 최근에는 경기장 주변에 직접표시되어 있는 광고를 스포츠방송 중계시 그 부분을 조작하여 임의의 광고로 대체하는 시스템이 널리 사용되고 있다.

여기서, 상기와 같은 발명중 하나가 미국 특허 제 5,436,672호에 개시되어 있다.

그러면, 상기와 같은 종래 방송매체의 광고교체시스템(70)을 도 1을 참고로 살펴보면, 경기장(71)에서 리얼타임으로 벌어지는 동화상을 찍어 디지털신호로 전송한 카메라(72)의 영상신호를 입력받아 가우시안 필터(도시안됨)를 사용하여 블러(BLUR)시킨다음 그 영상신호를 작은 영상으로 나누어 광고삽입영역을 추적하는 필터/데시메이션 모듈부(73)와, 이 필터/데시메이션 모듈부(73)의 입력된 영상화면에서 랜드마크(landmark)라고 하는 광고를 삽입할 주변에 특징이 될 만한 점이나 선들을 찾아서 참조배열(reference array)를 만드는 서치 모듈부(74)와, 이 서치 모듈부(74)로부터 입력된 영상의 랜드마크의 참조배열과 참조영상(reference image)에 대한 참조배열를 서로 비교하여 광고를 삽입할 부분을 찾는 랜드마크 트랙킹부(75)와, 이 랜드마크 트랙킹부(75)의 광고를 삽입할 부분에 예컨데, 사람이나 공과 같은 장애물의 위치를 파악하는 겹침판단부(76)와, 이 겹침판단부(76)의 판단정보를 참고로 하여 광고삽입위치에 광고 영상을 삽입하는 인서션부(77)를 포함한다.

한편, 상기와 같은 종래 방송매체의 광고교체시스템의 동작을 살펴보면, 먼저, 경기장(71)에 설치된 카메라(72)가 실시간의 동화상화면 예컨데, 축구 중계화면을 찍어 디지털신호로 변환한 다음 광고교체시스템(70)의 필터/데시메이션부(73)로 입력시키게 되면, 이 필터/데시메이션부(73)는 입력된 디지털 영상을 가우시안 필터를 이용하여 블러(blur)시킨다. 그런다음 이 필터/데시메이션부(73)는 그 블러시킨 영상신호를 해상도가 예컨데, 1/2씩 작은 영상으로 4개 만든다. 이것은 해상도가 작은 영상에서 광고를 삽입할 영역을 찾는데 시간이 아주 적게 들도록 하기 위해서이다. 따라서, 이 필터/데시메이션부(73)는 해상도가 작은 영상에서 광고를 삽입할 영역을 찾은 후, 해상도가 가장 큰 원래 영상에서 삽입 할 영역을 더 자세히 찾은 다음 서치모듈부(74)가 입력된 영상에서 랜드마크(landmark)라고 하는 광고를 삽입할 주변에 특징이 될 만한 점이나 선들을 찾아서 참조배열(reference array)를 만든다. 예컨데, 참조 배열 또한 해상도에 따라서 4개가 생기게 된다. 그리고, 상기 서치모듈부(74)에 의해 신호처리된 영상신호는 입력된 영상의 랜드마크에 대해서 참조배열이 만들어지면, 랜드마크 트랙킹 모듈부(75)가 참조영상(reference image)에 대한 참조배열과 비교를 하여 광고를 삽입할 부분을 찾게 된다. 이때, 겹침판단부(76,Occlusion module part)는 광고를 삽입할 부분에 사람이나 공과 같은 장애물이 있으면 광고삽입부분을 가리게 되므로 현재의 영상화면에 장애물의 위치를 파악하여 인서션 모듈부(77)로 입력시킨다. 그러면, 이 인서션 모듈부(77)는 광고를 삽입할 부분을 찾은 다음 상기 겹침판단부(76)로부터 입력된 그 삽입할 부분에 대한 장애물 정보를 참고하고로 하여 겹치는 장애물이 없을 경우 기설정된 광고 영상을 삽입한다.

따라서, 상기와 같은 과정을 거처 카메라(72)를 통해 전송되온 동화상의 디지털 영상화면에 광고를 삽입한 후 NTSC형식의 영상신호로 다시 변환하여 방송국에 전송한다. 그러면, 방송국은 이 새로운 교체된 광고신호가 삽입된 동화상 정보 예컨데, 축구경기화면을 각 수용가의 텔레비젼시스템으로 전송한다.

그러나, 상기와 같은 종래 방송매체의 광고교체시스템은 카메라(2)를 통해 실시간으로 전송되는 영상화면이 역동적으로 전개되기 때문에 이 영상화면상에서 원하는 위치에 원하는 광고신호를 용이하게 삽입시킬 수 없었다. 뿐만아니라, 상기와 같은 종래 광고교체시스템은 각 시스템의 모듈마다 하드웨어 보드를 가지고 있으므로 그에따라 시스템의 매우 복잡하였으며, 또한, 광고삽입을 위한 신호처리 동작이 여러단계를 거처 실행시켜야 하므로 그만큼 실화면처리가 용이하지 못하다는 문제점이 있었다.

이에 본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 중계되는 방송의 영상화면을 프레임단위로 읽어들여 템플릿(11A-N)방식으로 광고삽입 위치를 확보한 다음 그 위치에 인위적으로 미리 설정된 광고를 삽입시키도록 됨으로써, 영상화면이 역동적으로 전개되는 영상화면상에서 원하는 위치에 광고신호를 용이하게 삽입시킬 수 있으므로 그에따라 광고 표시 특성을 상당히 향상시킬 수 있는 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그 제어방법을 제공함에 그 목적이 있다.

본 발명의 또 다른 목적은 역동적인 영상화면의 적절한 위치에 광고신호가 삽입되어 시청자가 항상 그 광고를 주시하게 되므로 그에따라 방송매체를 통한 광고효과를 극대화시킬 수 있는 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그 제어방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명은 실시간으로 경기장으로부터 촬상하는 카메라로부터 입력된 영상신호상에 템플릿 탐색창 구조기능을 이용하여 가상 광고삽입위치를 결정하는 서치부와, 이 서치부의 템플릿 탐색창 구조기능에 의해 설정된 가상 광고삽입위치에 광고를 삽입하는 인서션부를 포함하는 방송 중계 영상 화면에 광고를 삽입하는 시스템을 제공한다.

본 발명의 또다른 특징은 광고교체시스템이 방송 중계화면을 입력받아 프레임단위로 메모리부에 저장하는 방송화면처리단계와, 이 방송화면처리단계후에 현 프레임의 화면이 변화지 않았을 경우는 현 프레임상의 화면에서 서로 대칭되는 일정 크기와 형상으로 된 다수개의 템플릿 탐색창을 예상 광고삽입영역 위에 표시하고 대칭되는 다수개의 탐색창이 그 광고삽입영역의 색상 히스토그램을 이전 프레임화면과 비교하여 매칭여부를 실행하는 템플릿 매칭실행단계와, 상기 템플릿 매칭실행단계후에 현재 영상화면상에 표시된 다수개의 탐색창의 템플릿과 이전 프레임화면의 템플릿의 매칭 개수를 판단하여 그 매칭 개수의 여부에 따라 프레임화면를 업데이트시키는 템플리트구조 업데이트실행단계와,이 템플릿구조 업데이트실행단계에 의해 광고삽입위치가 결정되면 광고영상이 수록되어 있는 광고영상 데이터베이스에서 선택된 광고영상을 템플릿간의 위치정보를 이용한 영상변환에 의해 템플릿위치에 삽입하는 광고영상삽입실행단계를 포함하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법을 제공한다.

도 1은 종래 광고교체시스템을 설명하는 볼록도.

도 2는 본 발명 시스템의 볼록도.

도 3은 본 발명의 플로우차트.

도 4a는 축구 경기장의 센터 써클과 같은 원 모양의 광고를 삽입할 때 쓰이는 템플릿 탐색창의 설명도.

도 4b는 테니스 경기장의 바닥이나 야구 경기장의 펜스와 같은 사각형 모양의 광고를 삽입할 때 쓰이는 템플릿 탐색창의 설명도.

도 5a는 축구 경기장의 텔레비전 화면도.

도 5b도는 테니스 경기장의 텔레비전 화면도.

도 6a는 원 모양의 템플릿을 축구 경기장의 쎈터 써클에 적용한 도면.

도 6b는 사각형 모양의 템플릿을 테니스 경기장의 바닥에 적용한 도면.

도 7은 템플릿의 도면.

도 8a는 축구장의 쎈터 써클과 같은 타원형 모양의 영역에 삽입할 수 있는 원형 모양의 광고 도면.

도 8b는 테니스장의 바닥과 같은 직사각형 모양의 영역에 삽입할 수 있는 사각형 모양의 광고 도면.

도 9a는 8a의 광고 영상을 템플릿 탐색창에 맞게 변형시킨 광고 도면.

도 9b는 8b의 광고 영상을 템플릿 탐색창에 맞게 변형시킨 광고 도면.

도 10a는 변형된 광고 영상을 축구 경기장의 영상화면에 삽입한 도면.

도 10b는 변형된 광고 영상을 축구 경기장 영상화면에 삽입한 도면.

도 11a는 축구 경기장의 삽입할 영역 위에서 나타난 장애물을 보여주는 설명도

도 11b는 테니스 코트의 삽입할 영역 위에서 나타난 장애물을 보여주는 설명도

도 12a는 광고가 삽입된 도면.

도 12b는 광고가 삽입된 도면.

<부호의 상세한 설명>

1A,1B : 경기장 2 : 카메라

3 : 메모리부 4 : 마이컴

5 : 서치부 6 : 인서션부

7 : 마우스 8 : 광고영상 데이터베이스

9 : 디스플레이 10A-N: 템플릿 탐색창

11A-N: 템플릿 12: 광고영상

13:삽입위치

이하, 본 발명의 일실예를 첨부된 예시도면에 의거 상세히 설명한다.

본 발명 장치는 도 2에 도시된 바와같이 경기장(1A,1B)에서 리얼타임으로 벌어지는 동화상을 찍어 디지털신호로 전송한 카메라(2)의 영상신호를 입력받아 저장하는 메모리부(3)와, 이 메모리부(3)에 저장된 영상신호상에 광고교체기능을 실행시키고 광고교체시스템의 기능을 전반적으로 제어하는 마이컴(4)과, 이 마이컴(4)의 템플릿 매칭제어신호에 따라 영상신호상에 템플릿 탐색창구조기능을 이용하여 가상 광고삽입위치를 결정하는 서치부(5)와, 이 서치부(5)에 템플릿 탐색창 구조기능에 의해 설정된 가상 광고삽입위치에 광고를 삽입하는 인서션부(6)를 포함한다.

그리고, 상기 마이컴(4)의 일단에는 사용자의 제어명령을 입력시켜주는 마우스(7)가 연결되어 있고, 상기 마이컴(4)과 인서션부(6)의 일단에는 각종 광고영상신호가 저장된 광고영상 데이터베이스(8)가 연결되어 있으며, 상기 서치부(5)와 인서션부(6)에는 영상신호를 표시하는 디스플레이(9)가 연결된다.

다음에는 상기와 같은 구성으로된 본 발명 일실시예의 제어방법을 설명한다.

본 발명 실시예는 실시간의 동화상 예컨데, 스포츠 생방송의 영상신호화면에 가상의 광고를 임의의 위치에 삽입하여, 텔레비전 시청자들이 삽입된 광고가 스포츠 경기장에서 실제로 존재하는 것처럼 느끼게 하므로써 거부감 없이 광고를 보면서 스포츠 경기를 시청하게 한다. 예를 들어, 미국이나 유럽에서 하는 스포츠를 한국에서 중계할 경우 한국의 광고를 삽입하거나, 반면에 한국에서 실시하는 스포츠 경기를 다른 나라로 중계 방송 할 때 그 지역의 광고를 삽입하는 것이다.

즉, 본 발명 실시예는 도 3에 도시된 바와같이 초기상태(S1)에서 방송화면처리단계(S2)로 진행하여 방송 중계화면을 입력받아 프레임단위로 메모리부에 저장한다. 그리고, 상기 방송화면처리단계(S2)후에 카메라 움직임 판단단계(S3)로 진행하여 현 프레임간에 카메라의 움직임이 있었는지를 판단한다. 이때 상기 카메라 움직임 판단단계(S3)중에 판단한 결과 만약 현 프레임간에 카메라의 움직임이 감지되었을 경우는 템플릿위치추적실행단계(S4)로 진행하여 템플릿추적화면으로 광고삽입위치를 추적한다.

그러나, 만약 상기 화면변화 판단단계(S3)중에 판단한 결과 현 프레임의 화면이 변화지 않았을 경우는 템플릿 매칭실행단계(S5)로 진행하여 현 프레임상의 화면에서 서로 대칭되는 일정 크기와 형상으로 된 다수개의 탐색창 예컨데, 서로 대칭되는 4개의 4각형 윈도우 탐색창을 적당한 광고삽입영역 위에 표시하고 대칭되는 다수개의 탐색창이 광고삽입영역의 색상 히스토그램을 이전 프레임화면과 비교하여 매칭여부를 실행한다.

그리고, 상기 템플릿 매칭실행단계(S5)후에 제1 매칭판단단계(S7)로 진행하여 현재 다수개의 탐색창의 템플릿(11A-N)이 이전 프레임화면의 템플릿(11A-N)과 모두 매칭된다면 템플릿구조 업데이트실행단계(S7)로 진행하여 이전 프레임화면의 템플릿(11A-N)을 현재 프레임 화면에 표시된 탐색창의 모든 템플릿(11A-N)으로 업데이트시켜 저장한다.

그러나, 상기 제1 매칭판단단계(S7)중에 판단한 결과 현재 다수개의 탐색창(10A-D)의 템플릿(11A-D)이 이전 프레임화면의 템플릿(11A-D)과 모두 매칭되지 않는다면 제2 매칭판단단계(S8)로 진행하여 현재 다수개의 탐색창의 템플릿(11A-N)이 이전 프레임화면의 템플릿(11A-N)과 일부 예컨데 3개가 매칭될 경우는 템플릿 위치예측 실행단계(S9)로 진행하여 이전 프레임화면의 템플릿(11A-C) 3개와 매칭되는 현 탐색창(10A-C)의 3개의 템플릿(11A-C)은 업데이트시켜 저장하고 매칭되지 않은 나머지 1개의 템플릿(11D) 위치를 이미 매칭된 3개의 템플릿(11A-C)간의 어파인 변환(affine transform)을 이용하여 매칭되지 않은 나머지 1개의 템플릿(11D) 위치를 예측한다음 모두 업데이트 시킨다.

또한, 상기 제2 매칭판단단계(S8)중에 판단한 결과 현재 다수개의 탐색창(10A-D)의 템플릿(11A-D)이 이전 프레임화면의 템플릿(11A-D)과 일정갯수 매칭되지 않는다면 제3 매칭판단단계(S10)로 진행하여 현재 탐색창(10A-D)의 템플릿(11A-D)이 이전 프레임화면의 템플릿(11A-D)과 일부 예컨데 2개가 매칭될 경우는 템플릿 위치예측 실행단계(S9)로 진행하여 이전 프레임화면의 템플릿(11A-B) 2개와 매칭되는 현 탐색창(10A-B)의 2개의 템플릿(11A-B)은 업데이트시켜 저장하고 매칭되지 않은 나머지 2개의 템플릿(11C-D) 위치정보를 그대로 사용한다.

한편, 상기 제3 매칭판단단계(S10)중에 판단한 결과 현재 다수개의 탐색창(10A-D)의 템플릿(11A-D)이 이전 프레임화면의 템플릿(11A-D)과 2개가 매칭되지 않는다면 제4 매칭판단단계(S11)로 진행하여 현재 다수개의 탐색창(10A-D)의 템플릿(11A-D)이 이전 프레임화면의 템플릿(11A-D)과 1개만 매칭될 경우는 템플릿 위치예측 실행단계(S9)로 진행하여 이전 프레임화면의 템플릿(11A) 1개와 매칭되는 현 탐색창(10A)의 1개의 템플릿(11A)만은 업데이트시켜 저장하고 매칭되지 않은 나머지 3개의 템플릿(11C-D) 위치정보를 그대로 사용하고 전체적인 위치는 매칭된 1개의 템플릿(11A)을 이용한다.

그러나, 상기 제4 매칭판단단계(S11)중에 판단한 결과 만약 현재 다수개의 탐색창의 템플릿(11A-N)이 이전 프레임화면의 템플릿(11A-N)과 매칭되는 것이 하나도 없을 경우는 상기 템플릿 위치추적단계(S4)로 복귀하여 템플릿 매칭방법만을 사용할 수가 없으므로 상기 과정의 템플릿 매칭방법과 병행하면서 카메라의 움직임 정보를 추적하고 상기 템플릿구조 업데이트실행단계(S7)로 진행한다.

한편, 상기 템플릿구조 업데이트실행단계(S7)에 의해 광고삽입위치가 결정되면 광고영상삽입실행단계(S12)로 진행하여 광고영상이 수록되어 있는 광고영상 데이터베이스에서 선택된 광고영상을 템플릿(11A-N)간의 위치정보를 이용한 영상변환에 의해 업데이트 템플릿(11A-N)위치에 삽입한다. 그리고, 상기 광고영상삽입실행단계(S12)후에 영상정보전송단계(S13)로 진행하여 새로운 광고가 삽입된 동화상 프레임정보를 방송국으로 전송한다.

즉, 관리자가 도 3에 도시된 바와같이 마우스(7)를 이용하여 마이컴(4)에 광고삽입제어명령을 주게 되면, 마이컴(4)이 이를 인식하여 카메라(2)가 경기장(1A,1B)에서 리얼타임으로 벌어지는 동화상을 찍어 전송한 디지털의 영상신호를 입력받아 저장하는 (3)에 저장시킨다. 그리고, 마이컴(4)은 서치부(5)로 템플릿 매칭제어신호를 입력하게 되고 그에따라 이 서치부(5)가 디스플레이(9)상에서 템플릿 탐색창(10A-D)을 매 프레임단위로 입력되는 카메라(2)의 영상화면상에 표시한다.

여기서, 상기 템플릿 탐색창(10A-D)은 도 4a,4b에 도시된 바와같이 일정형상 예컨데, 사각 영상의 윈도우 탐색창으로 경기장의 경계선들에 보통 표시된다. 또한, 이 템플릿 탐색창은 예컨데, 25x25 크기의 4개의 템플릿(11A-D)으로 이루어져 있으며, 삽입될 경기의 종류와 삽입될 영역의 모양에 따라 여러 종류가 있을 수 있다.

예를들어, 도5a와 도5b는 각각 축구 경기장(1A)과 테니스 경기장(1B)을 텔레비전으로 봤을 때의 화면인데 이러한 화면은 시청자들이 보기 좋은 각도로 보여지도록 촬상한 것이다. 따라서, 광고를 삽입할 수 있는 부분은 축구 경기장(1A)의 센터 써클(I)이나 혹은 골대 주변의 바닥 등이 될 수 있으며, 테니 코트(1B)의 코트 내부의 바닥(I)이나 담장, 네트 등이 될 수 있다. 영상화면의 매 프레임마다 광고를 삽입하기 위해서는 삽입할 영역마다 그 영역만의 특징을 가지고 있어야 한다.

따라서, 상기 서치부(5)는 상기와 같은 경기장(1A,1B)의 프레임 화면상에서 광고를 삽입하기 좋은 위치를 설정하기 위해 먼저, 템플릿(11A-N)의 탐색창의 종류를 정하게 되는데, 예컨데, 축구 경기장(1A)은 도6a와 같이, 테니스 경기장(1B)은 도6b와 같이 템플릿(11A-D)을 위치시킬 수 있다. 그런다음 이 서치부(5)는 입력된 첫 프레임 화면에서 템플릿 탐색창(10A-D)의 모양과 영상에서의 위치를 결정한다. 그러면 템플릿(11A-D)은 디스플레이(9)상에 도 6a,6b에서와 같이 위치 될 수 있다.

여기서, 중요한 점은 템플릿(11A-D)의 중심("C")이 영상신호에서 두 선이 만나는 부분이나 각이 크게 바뀌는 부분에 놓여야 한다는 점이다.

즉, 상기 서치부(5)는 템플릿 탐색창이 정해지면, 현재 입력된 영상 프레임과 템플릿(11A-D)이 매칭되도록 조작한다. 이때, 템플릿 매칭은 4 개의 템플릿(11A-D)에 대해서 각각 실시하는데, 각 템플릿(11A-D)마다 자신의 탐색창(10A-D)을 가지고 있어서, 그 탐색창(10A-D) 안에서 템플릿매칭을 수행한다.

여기서, 상기 템플릿(11A-N)의 매칭 여부는 도 7에 도시된 바와같이 탐색창에서 색상 히스토그램을 비교하여 모든 픽셀("P")과 비교를 한 후, 매칭값이 일정한 한계값 이상 나오는 픽셀들 중에 대해서 가장 큰 값을 갖는 픽셀이 매칭이 된 픽셀이 된다.

이때, 만약 모든 픽셀의 매칭 값이 한계값 보다 작으면 그 탐색창 안에서는 매칭이 실패하게 되며, 이것은 템플릿(11A-N)이 매칭 될 부분에 사람이나 공과 같은 장애물이 들어와서 색상값이 크게 변했기 때문이다.

따라서, 상기 과정과 같이 서치부(5)가 템플릿(11A-N)()의 매칭을 실행한 결과, 템플릿(11A-N)의 매칭 개수에 따라서 템플릿(11A-N)을 업데이트하는 방법이 다음과 같이 5가지로 나뉘어진다.

이때, 상기 템플릿 매칭과정은 전 프레임에서 얻어진 템플릿(11A-N)을 이용하여 현재 프레임에서 하는데, 이것은 두 프레임 사이에 많은 변화가 없다고 가정한 것이다. 따라서, 매칭이 된 순간마다 템플릿(11A-N)을 매칭된 프레임의 템플릿(11A-N)으로 업데이트를 한다.

예를들어, 1) 템플릿(11A-D)이 4개가 모두 매칭 되었을 경우 :

가장 이상적인 경우로, 템플릿(11A-D)이 위치한 곳에 장애물이 하나도 없이 매칭이 된 경우이다. 그러면, 서치부(5)는 바로 템플릿(11A-D) 업데이트단계로 진행하는데, 이때 현재 프레임에서 매칭된 템플릿(11A-D)이 다음 프레임에서 템플릿 매칭때 비교할 템플릿(11A-D)이 된다. 따라서 현재 템플릿(11A-D) 구조체의 모든 템플릿(11A-D)을 현재 프레임에서 매칭된 템플릿(11A-D)으로 바꾼다. 그리고 매칭된 템플릿(11A-D)의 위치에 따라서 템플릿 탐색창(10A-D)을 변형시킨다.

T_t+1 `= T``' _t

T_t+1는 t+1 시간의 템플릿(11A-N).

T``'_t `는 t 시간의 프레임에서 매칭된 템플릿(11A-N).

2) 템플릿 3개가 매칭 되었을 경우 :

이때는 앞의 경우와 비슷하게 3개의 템플릿(11A-C)만 업데이트를 하고, 나머지 하나는 현재의 템플릿(11D)을 그대로 유지한다. 그리고 템플릿 탐색창을 업데이트 해야하는데, 현재 3개는 업데이트가 가능하지만 하나는 매칭되지 않아서 할 수 가 없다. 따라서, 현재 템플릿 탐색창(10A-D)중 매칭된 3개의 템플릿(11A-C)과 현재 프레임에서의 매칭된 3개의 템플릿(11A-C)간의 어파인 변환(affine transform)을 이용하여 템플릿 탐색창(10A-C)간의 변환 식을 구해서 나머지 템플릿(11D)의 위치를 예측한다음 메모리부(3)에 저장한다.

3)템플릿 2개가 매칭 되었을 경우 :

상기 템플릿(11A-D)이 2개만 매칭이 될 경우는 상기 2항의 경우와는 달리 어파인 변환을 이용하여 두 템플릿(11A-N)간의 관계를 구할 수가 없다. 따라서, 우선 매칭된 템플릿(11A-B)을 업데이트하고, 매칭되지 않은 나머지 2개의 템플릿(11C-D)은 현재의 템플릿(11C-D)을 그대로 유지한다. 템플릿의 탐색창또한 매칭된 2 개의 템플릿(11A-B)의 위치만 업데이트를 한다. 여기서는 어파인 변환을 이용할 수 없기 때문에 현재의 템플릿 탐색창(10C-D)의 템플릿(11C-D)간의 위치 정보를 그대로 사용하며, 전체적인 위치는 매칭된 2개의 템플릿(11A-B)을 이용하여 업데이트를 한다.

4)템플릿 1개가 매칭 되었을 경우 :

상기 템플릿(11A-D)이 1개만 매칭이 되었을 경우는 상기 3항의 2개가 매칭 되었을 경우와 비슷한 방법으로 템플릿 탐색창을 예측할 수 있다. 먼저, 매칭된 1개의 템플릿(11A)을 업데이트하고, 매칭되지 않은 나머지 3개의 템플릿(11C-D)은 현재의 템플릿(11C-D)을 그대로 유지한다. 템플릿(11A-D)의 탐색창(10A-D)또한 매칭된 1 개의 템플릿(11A)의 위치만 업데이트를 한채, 현재의 템플릿 탐색창(10C-D)의 템플릿(11C-D)간의 위치 정보를 그대로 사용하며, 전체적인 위치는 매칭된 1개의 템플릿(11A)을 이용한다.

5) 템플릿이 하나도 매칭되지 않았을 경우 :

이 경우는 템플릿(11A-D)도 업데이트를 할 수 없으며, 템플릿 탐색창(10A-D) 또한 알 수 없다. 따라서 이를 대비하여 템플릿(11A-D) 매칭과 병행하여 매 프레임마다 카메라의 움직임 정보를 추적한다. 템플릿(11A-D)의 탐색창(10A-D)은 현재의 템플릿 탐색창(10A-D)을 그대로 사용하며, 그 전체적인 위치만 카메라의 움직임 정보를 이용하여 보정한다. 이때, 이와 같이 템플릿(11A-N)이 매칭을 실패하는 경우는 템플릿(11A-N) 위치에 사람이나 공과 같은 장애물("S")이 있거나 삽입할 영역이 카메라에 모두 들어오지 않았을 경우이다.

여기서, 상기 템플릿(11A-N) 매칭을 할 때 탐색창의 크기는 대략 템플릿(11A-N) 크기의 2~3배 정도로 할 수 있으며, 크기가 작을수록 매칭 속도는 빠르지만, 정확도는 떨어진다. 템플릿 탐색창에 의한 템플릿 매칭 방법을 사용하면, 프레임 간의 카메라 움직임 정보의 사용을 최소화 할 수 있어서, 아주 정확한 매칭을 할 수 있다.

한편, 상기 서치부(5)에 의해 템플릿 탐색창이 매칭과정을 완료할 경우 템플릿(11A-N)의 탐색창이 업데이트되면 마이컴(4)이 이를 인식하여 광고 영상이 수록된 광고영상 데이터베이스(8)에서 삽입할 광고(12)를 선택한다음 이 신호를 인서션부(6)로 입력시킨다. 그러면, 이 인서션부(6)는 광고를 삽입하는 과정을 실행시키는데, 이때, 도 8a,8b에 도시된 바와같이 선택된 광고 영상(16)을 비디오 영상에 삽입하기 위해서 현재 프레임에 대한 템플릿 탐색창을 이용하여 광고 영상을 변환시켜야 한다. 상기 템플릿 탐색창의 템플릿(11A-N)의 위치에 맞게 상기 광고 영상(16)을 도 9a,9b에 도시된 바와같이 카메라 각도에 따른 원근 변환(perspective transform)을 하여 비디오 영상에 바로 삽입을 할 수 있게 만든다. 그리고, 인서션부(6)는 상기와 같이 변환된 광고 영상(12)을 상기 서치부(5)로부터 입력된 영상 프레임의 삽입위치(13)에 삽입을 하면 도 10a, 10b에 도시된 바와같이 자연스럽게 광고가 삽입된 영상화면을 얻을 수 있게된다. 따라서, 상기 본 발명의 광고교체시스템(14)의 인서션부(6)는 광고가 삽입된 방송중계화면을 방송국(15)으로 전송한다.

여기서, 만약 광고를 삽입을 할 때 도 11a, 11b에 도시된 바와같이 선수나 공과 같은 장애물("S")이 삽입할 영역에 위치해 있을 때에는 그 장애물들을 피해서 삽입을 해야 한다. 보통 경기장의 바닥 색깔은 한가지 또는 비슷한 색깔의 두 가지 정도이다. 삽입할 영역에서 바닥색깔에 해당하는 색깔을 크로마키로 놓고 이 크로마키에 해당하는 부분에만 광고 영상을 삽입하면 삽입할 영역 위의 장애물을 피해서 삽입할 수 있다. 도 12a와 도 12b는 경기의 진행에 방해가 되지 않게 광고가 삽입된 영상을 볼 수 있다.

따라서, 상기와 같은 본 발명의 방법에 의하면, 방송중계시 경기장(1A,1B)의 광고를 넣기 어려운 빈 공간에 자연스럽게 삽입하여 시청자들로 하여금 그 광고가 실제로 경기장에 놓여있는 듯이 느끼게 할 수 있어서, 효과적인 광고 효과를 얻을 수 있다.

본 발명에 의하면, 스포츠 경기의 텔레비전 방송 시 광고를 직접 삽입하기 어려분 부분, 예를 들어 축구장의 센터 써클이나 그림 광고만을 삽입 할 수 있는 부분에 에니메이션 광고를 실시간으로 삽입하여 광고의 효과를 극대화 할 수 있다.

이상 설명에서와 같이 본 발명은 중계되는 방송의 영상화면을 프레임단위로 읽어들여 템플릿방식으로 광고삽입 위치를 확보한 다음 그 위치에 인위적으로 미리 설정된 광고를 삽입시키도록 됨으로써, 영상화면이 역동적으로 전개되는 영상화면상에서 원하는 위치에 광고신호를 용이하게 삽입시킬 수 있으므로 그에따라 광고 표시 특성을 상당히 향상시킬 수 있다.

본 발명에 따르면, 역동적인 영상화면의 적절한 위치에 광고신호가 삽입되어 시청자가 항상 그 광고를 주시하게 되므로 그에따라 방송매체를 통한 광고효과를 극대화시킬 수 있는 효과가 있다.

Claims (12)

1. 카메라로부터 실시간으로 중계되는 영상신호상에 광고교체기능을 실행시키는 광고교체시스템에 있어서,

   상기 카메라로부터 입력된 영상신호상에 템플릿 탐색창 구조기능을 이용하여 가상 광고삽입위치를 결정하는 서치부와, 이 서치부의 템플릿 탐색창 구조기능에 의해 설정된 가상 광고삽입위치에 광고를 삽입하는 인서션부를 포함하는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템.
2. 제1항에 있어서, 상기 인서션부의 일단에는 각종 광고영상신호가 저장된 광고영상 데이터베이스가 연결되는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템.
3. 광고교체시스템이 방송 중계화면을 입력받아 프레임단위로 메모리부에 저장하는 방송화면처리단계와, 이 방송화면처리단계후에 현 프레임의 화면이 변화지 않았을 경우는 현 프레임상의 화면에서 서로 대칭되는 일정 크기와 형상으로 된 다수개의 템플릿 탐색창을 예상 광고삽입영역 위에 표시하고 대칭되는 다수개의 탐색창이 그 광고삽입영역의 색상 히스토그램을 이전 프레임화면과 비교하여 매칭여부를 실행하는 템플릿 매칭실행단계와, 상기 템플릿 매칭실행단계후에 현재 영상화면상에 표시된 다수개의 탐색창의 템플릿과 이전 프레임화면의 템플릿의 매칭 개수를 판단하여 그 매칭 개수의 여부에 따라 프레임화면를 업데이트시키는 템플리트구조 업데이트실행단계와,이 템플릿구조 업데이트실행단계에 의해 광고삽입위치가 결정되면 광고영상이 수록되어 있는 광고영상 데이터베이스에서 선택된 광고영상을 템플릿간의 위치정보를 이용한 영상변환에 의해 업데이트 템플릿위치에 삽입하는 광고영상삽입실행단계를 포함하는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법.
4. 제3항에 있어서, 상기 템플릿 탐색창이 서로 대칭되는 4개의 4각형 윈도우 탐색창인 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법.
5. 제3항에 있어서, 상기 템플릿 매칭실행단계후에 현재 다수개의 탐색창의 템플릿이 이전 프레임화면의 템플릿과 모두 매칭된다면 이전 프레임화면의 템플릿을 현재 프레임 화면에 표시된 탐색창의 모든 템플릿으로 업데이트시켜 저장하는 템플릿구조 업데이트실행단계를 더 포함하는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법.
6. 제3항에 있어서, 상기 템플릿 매칭실행단계후에 현재 다수개의 탐색창의 템플릿이 이전 프레임화면의 템플릿과 3개가 매칭될 경우는 이전 프레임화면의 템플릿 3개와 매칭되는 현 탐색창의 3개의 템플릿은 업데이트시켜 저장하고 매칭되지 않은 나머지 1개의 템플릿 위치를 이미 매칭된 3개의 템플릿간의 어파인 변환을 이용하여 매칭되지 않은 나머지 1개의 템플릿 위치를 예측하는 템플릿 위치예측실행단계를 더 포함하는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법.
7. 제3항에 있어서, 상기 템플릿 매칭실행단계후에 현재 탐색창의 템플릿이 이전 프레임화면의 템플릿과 2개가 매칭될 경우는 이전 프레임화면의 템플릿 2개와 매칭되는 현 탐색창의 2개의 템플릿은 업데이트시켜 저장하고 매칭되지 않은 나머지 2개의 템플릿 위치정보를 그대로 사용하는 템플릿 위치예측 실행단계를 더 포함하는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법.
8. 제3항에 있어서, 상기 템플릿 매칭실행단계후에 현재 다수개의 탐색창의 템플릿이 이전 프레임화면의 템플릿과 1개만 매칭될 경우는 이전 프레임화면의 템플릿 1개와 매칭되는 현 탐색창의 1개의 템플릿만은 업데이트시켜 저장하고 매칭되지 않은 나머지 3개의 템플릿 위치정보를 그대로 사용하고 전체적인 위치는 매칭된 1개의 템플릿을 이용하는 템플릿 위치예측실행단계를 더 포함하는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법.
9. 제3항에 있어서, 상기 다수개의 템플릿 탐색창은 광고삽입영역의 색상 히스토그램을 이전 프레임화면과 비교하여 매칭여부를 실행시키는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법.
10. 제3항에 있어서, 상기 방송화면처리단계후에 현프레임과 이전 프레임간에 카메라의 움직임이 있을 경우 템플릿추적화면으로 광고삽입위치를 추적하는 템플릿 위치추적실행단계를 더 포함하는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법.
11. 제3항에 있어서, 상기 템플릿 매칭실행단계후에 다수개의 탐색창의 템플릿이 이전 프레임화면의 템플릿과 매칭되는 것이 하나도 없을 경우는 상기 과정의 템플릿 매칭방법과 병행하면서 카메라의 움직임 정보를 추적하는 템플릿 위치추적단계를 더 포함하는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법.
12. 제3항에 있어서, 상기 템플릿 매칭실행단계중에 템플릿 탐색창의 중심("C")이 영상신호상에서 두 선이 만나는 부분이나 각이 큰 부분에 놓여지도록 설정하는 것을 특징으로 하는 방송 중계 영상 화면에 광고를 삽입하는 시스템의 제어방법.