KR20030090372A - 디지털 방송 중계를 위한 광고 교체 방법 및 그 장치 - Google Patents

Abstract

본 발명은 디지털 방송에 적합한 광고 교체 방법에 관한 것이다.

본 발명에 따른 광고 교체 방법은 (a) 소정 단위의 영상 신호를 입력받는 단계; (b) 상기 입력받은 소정 단위의 영상 신호의 움직임 벡터를 계산하는 단계; 및 (c) 상기 계산된 움직임 벡터에 기초해서 상기 광고를 삽입하기 위한 영역을 예측하여 추적하는 단계를 포함하는 것을 특징으로 한다. 이에 의해 삽입되는 영역을 보다 정확히 탐색할 수 있으며, 또한 탐색된 삽입 영역의 추적을 위한 계산량을 현저히 줄여, 가상 광고의 삽입 영역 결정, 추적, 및 삽입에 소요되는 시간을 감소시키는 것이 가능하다.

Description

디지털 방송 중계를 위한 광고 교체 방법 및 그 장치{Method for replacing advertisement in a digital broadcast and apparatus therefor}

본 발명은 디지털 방송 중계 영상 화면에서의 광고 교체 시스템에 관한 것으로, 보다 상세하게는 디지털 방송 중계 영상 화면에 가상 광고를 효과적으로 삽입하고 관리하기 위한 가상 광고 삽입 영역 결정 및 추적 방법과 그 장치에 관한 것이다.

광고 교체 시스템이란 예를 들어 스포츠 경기 중계 방송 등에서 볼 수 있는 경기장 내의 광고 게시판을 컴퓨터 그래픽으로 만들어진 새로운 그래픽 영상으로 바꾸어 주는 시스템을 의미한다. 이러한 광고 교체 시스템을 방송국에 설치하는 경우, 경기장 안에서 실제로 존재하는 광고 게시판을 운영자가 원하는 광고 게시판으로 교체하거나, 광고가 존재하지 않는 영역에 추가로 가상의 광고를 삽입하는 것이 가능하다. 즉, 방송국으로 전송된 동영상을 처리하여 광고주가 원하는 광고 게시판으로 교체한 영상을 시청자들에게 송출하는 것이 가능하다.

방송 매체에 사용되는 종래의 광고 교체 시스템(100)은 도 1에 도시된 바와 같이, 삽입 영역 탐색부(120), 삽입 영역 추적부(140), 삽입 영역 겹침 판단부(160), 및 가상 광고 삽입부(180)를 포함한다.

삽입 영역 탐색부(120)는 가상 광고가 삽입될 영역을 결정하기 위한 탐색부로서, 가상 광고가 삽입될 영역은 에지/코너 검출(edge/corner detection) 등의 자동적인 방법 또는 사용자가 사용자 인터페이스, 예를 들어 마우스와 같은 입력 장치를 이용하여 가상 광고가 삽입될 영역의 꼭지점을 결정하는 수동적인 방법 등에 의해 결정된다. 이들 방법 중, 자동적인 방법은 원하는 결과를 완벽하게 구현할 수는 없으나, 시간적으로 장점이 있어 실시간 구현에 적합하다는 이점이 있다. 또한, 수동적인 방법은 가상 광고가 삽입될 영역의 특징점을 정확하게 특정하는 것이 가능하다는 장점이 있다.

삽입 영역 추적부(140)에서는 프레임 사이에서 픽셀 기반으로 상관도가 가장 큰 부분을 찾아서, 이전 프레임에서 가상 광고가 삽입된 영역에 대응하는 현재 프레임에서 가상 광고가 삽입될 영역을 추적한다.

삽입 영역 겹칩 판단부(160)에서는 최소 4점 이상의 특징점들이 추적된 경우, 이들 추적된 특징점들에 의해 결정되는 삽입 영역이 사람이나 공 등의 장애물의 위치와 겹치는지 여부를 판단한다.

또한, 가상 광고 삽입부(180)에서는 추적된 특징점들에 의해 결정된 삽입 영역들로부터 움직임 파라미터들을 계산하고, 가상 광고를 변형하여 원 영상에 삽입한다.

종래의 광고 교체 시스템(100)은 경기장에서 벌어지는 경기를 카메라 (도시되지 않음)로 촬영하여 생성한 영상 신호를 카메라로부터 입력받아, 촬영한 영상 신호에 대해 삽입 영역 탐색부(120)를 이용하여 가상 광고를 삽입할 영역을 탐색하여 결정하고, 삽입 영역 추적부(140), 삽입 영역 겹침 판단부(160), 및 가상 광고 삽입부(180)를 이용하여 가상광고를 원영상에 삽입한다.

이와 같이, 종래 방송 매체의 광고 교체 시스템(100)은 카메라로부터 입력된 영상, 예를 들어 축구 경기 화면에 상기와 같은 전처리 과정을 거쳐 가상 광고를 삽입한 후, NTSC 형식의 영상 신호로 다시 변환하여 방송국으로 전송하고, 방송국은 전송 받은 새롭게 교체된 광고 신호가 삽입된 동화상 정보를 각 수용가의 텔레비전 시스템으로 전송하는 방식을 따른다.

하지만, 상기와 같은 종래 방송 매체의 광고 교체 시스템은 실시간으로 전송되는 영상 화면에 가상광고를 삽입하면서 지연(delay)을 발생시킨다. 또한, 아날로그 방송에 사용되는 시스템을 디지털 방송에 그대로 적용하는 경우 새로운 문제점을 발생시킨다.

즉, 디지털 방송 시스템에서는 카메라로부터 입력 받은 동영상을, 예를 들어 MPEG 2 기반의 부호화 장치를 통하여 부호화 하여 전송하고, 디지털 방송 시청자는 상기 부호화된 신호를 복호화 장치를 이용하여 복호화한다.

따라서, 디지털 방송 시스템에 종전의 광고 교체 시스템을 적용하는 경우, 가상 광고를 삽입하기 위한 전처리 단계에서, 카메라로부터 입력 받은 원영상에 픽셀 기반으로 특징점을 결정하고, 추적한 후, 전송하기 전에 MPEG 2 부호화 단계를 부가적으로 거쳐야 하기 때문에, 지연 요소가 추가되는 문제점이 있었다. 특히, 스포츠 중계 등과 같이 입력 영상의 실시간 처리가 강조되는 경우 이러한 문제점을 해결하기 위한 요청이 있어 왔다.

따라서, 본 발명의 목적은 상기에서 언급한 문제를 해결하여 디지털 방송 중계에 적합한 가상 광고 교체 방법 및 그 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 가상 광고 삽입 영역을 보다 정확히 탐색하기 위한 가상 광고 삽입 영역 결정 방법 및 그 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 가상 광고 삽입 영역을 보다 신속히 추적하기 위한 가상 광고 삽입 영역 추적 방법 및 그 장치를 제공하는 것이다.

도 1은 종래의 광고 교체 시스템을 도시하는 블록도

도 2는 본 발명에 따른 광고 교체 시스템을 설명하기 위한 블록도

도 3은 본 발명에 따른 일 실시예를 설명하기 위한 흐름도

도 4(a)(b)는 본 발명에 따른 움직임 벡터를 이용한 가상광고 삽입영역 추적 방식을 설명하기 위한 도면

도 5는 본 발명에 따른 일 실시예를 설명하기 위한 흐름도

도 6(a)(b)(c)(d)은 본 발명에 이용되는 변환 파라미터를 설명하기 위한 참고도

상기 목적을 달성하기 위한 광고 삽입 영역 추적 방법은 (a) 소정 단위의 영상 신호를 입력받는 단계; (b) 상기 입력받은 소정 단위의 영상 신호의 움직임 벡터를 계산하는 단계; 및 (c) 상기 계산된 움직임 벡터에 기초해서 상기 광고를 삽입하기 위한 영역을 예측하여 추적하는 단계를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 바람직한 광고 삽입 영역 추적 방법은 상기 소정 단위의 영상 신호는 프레임 단위의 영상 신호이며, 상기 (b) 단계에서 계산하는 움직임벡터는 이전 프레임에서 광고가 삽입된 영역의 특징점이 포함된 매크로블록에 대한 움직임벡터인 것을 특징으로 한다.

상기 목적을 달성하기 위한 광고 삽입 영역 추적 방법은 상기 (c) 단계에서 이전 프레임에서 광고가 삽입된 영역의 특징점이 포함된 매크로블록과 겹치는 현재 프레임의 복수개의 매크로블록 중, 이전 프레임의 상기 매크로블록과 가장 많이 겹치는 매크로블록을 선택하여, 현재 프레임에서 가상 광고를 삽입하기 위한 영역 중 하나의 특징점으로 선택하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 광고 삽입 영역 결정 방법은 (a) 소정 단위의 영상 신호를 입력받는 단계; (b) 상기 입력받은 소정 단위의 영상 신호를 탐색하여, 광고를 삽입하기 위한 영역을 결정하는 단계; (c) 상기 입력받은 소정 단위의 영상 신호의 움직임 벡터를 계산하는 단계; 및 (d) 상기 계산된 움직임 벡터에 기초해서, 상기 (b) 단계에서 결정된 공고를 삽입하기 위한 영역이 유효한지 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 보다 바람직한 광고 삽입 영역 결정 방법은 (a)단계에서의 상기 소정 단위의 영상 신호는 프레임 단위의 영상 신호인 것을 특징으로 한다.

이와 같이, 본 발명은 종래 기술과 달리, 전처리 단계에서 가상 광고를 교체하는 것이 아니라, 부호화하는 과정, 예를 들어 MPEG-2로 부호화하는 과정에서 발생하는 여러 정보들 중 특히 움직임 벡터 정보를 이용하여, 탐색된 가상 광고를 삽입할 영역의 적합성 여부를 검증하고, 검증된 삽입 영역을 추적하여 삽입하고, 이를 부호화하도록 하여, 가상 광고 삽입 영역의 탐색, 추적, 및 가상 광고의 삽입에 소요되는 시간 및 계산량을 감소시키는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.

도 2는 본 발명에 따른 움직임 벡터(motion vector) 기반의 광고 교체 시스템을 도시하는 블록도이다.

도 2를 참조하면, 본 발명에 따른 가상 광고 삽입 및 부호화 시스템은 움직임벡터 예측부(210), 가상광고 삽입영역 탐색/결정/추적부(220), 가상 광고 삽입부(240), 가상 광고 정보 데이터베이스(240), DCT 변환부(250), 양자화부(260), 및 가변 길이 부호화부(variable length coding: VLC)(270)를 포함한다.

상기 가상 광고 삽입 및 부호화 시스템은 움직임 벡터 예측부(210), DCT 변환부(250), 양자화부(260), 및 가변 길이 부호화부(270)로 이루어진 기존의 MPEG 부호화 장치에, 가상광고 삽입영역 탐색/결정/추적부(220), 가상 광고 삽입부(230), 가상 광고 정보 데이터베이스(240)로 이루어진 움직임 벡터를 기반으로 하는 가상 광고 삽입 장치 (도 2의 빗금친 블록들)를 부가하여, 가상광고 삽입영역의 탐색, 결정, 및 결정된 삽입 영역을 추적하는 경우, 부호화 과정에서 생성되는 움직임 벡터를 사용할 수 있도록 한다.

기존의 MPEG 부호화 장치에서 사용되는 움직임 벡터 예측부(210), DCT 변환부(250), 양자화부(260), 및 가변 길이 부호화부(270)에 대한 상세한 설명은 설명의 간략을 위해 생략한다.

본 발명은 도 2에 도시된 움직임 벡터 기반의 가상 광고 삽입 장치가 추가된 부호화 시스템을 사용하여, 실시간의 동영상, 예를 들어 스포츠 중계의 영상 신호 화면상에 표시된 광고 게시판에 있는 광고를 다른 광고로 교체하거나, 광고가 없는 부분에 새로운 광고를 삽입하여, 텔레비전 시청자들이 그 교체된 광고가 스포츠 경기장에 실제로 존재하는 것처럼 느끼게 하여 거부감없이 광고를 보면서 스포츠 경기를 시청하는 것이 가능하게 한다.

본 발명에 따른 움직임 벡터 기반의 가상 광고 삽입 장치는 예를 들어 미국이나 유럽에서 하는 스포츠를 한국에서 중계하는 경우, 외국의 광고 게시판의 광고를 한국의 광고로 교체하거나, 반면에 한국에서의 스포츠 경기를 다른 나라로 중계 방송하는 경우에는 그 지역의 광고로 교체해주는 경우에 사용될 수 있다.

도 2에서 가상광고 삽입영역 탐색/결정/추적부(220)는 입력 영상 신호, 예를 들어 프레임 단위의 방송 중계 영상에 가상광고를 삽입할 영역을 탐색하고, 탐색된 영역이 적절한 영역인지 여부를 검증하여 결정하고, 움직임 벡터 예측부(210)에서 계산된 움직임 벡터를 이용하여 이전 프레임에서 결정된 가상광고 삽입영역을 현재 프레임에서 추적하기 위한 장치이다. 이에 대한 상세한 설명은 도 3 내지 도 6을참조하여 아래에서 상세히 설명한다.

가상광고 삽입부(230)는 가상광고 삽입영역 탐색/결정/추적부(220)에서 결정되고 추적된 삽입영역에 가상광고 정보 데이터베이스(240)에 저장된 가상광고를 적절히 처리하여, 상기 결정 또는 추적된 삽입 영역에 삽입하기 위한 장치이다. 이에 대한 상세한 설명은 도 3 내지 도 6을 참조하여 아래에서 상세히 설명한다.

도 3은 본 발명에 따른 움직임 벡터 기반의 가상 광고 삽입 방법을 도시하는 플로우차트이다.

단계 320에서는 방송 중계 화면과 같은, 영상 신호를 입력 받아 프레임 단위로 메모리 부에 저장하고, 프레임 단위의 영상 신호를 출력한다. 선택적으로, 상기 영상 신호는 프레임 단위가 아닌 선정된 단위로 저장하여, 처리되도록 하는 것도 가능하다.

단계 322에서는 단계 320에서 저장되고 출력된 프레임 단위의 영상 신호가 소정 시퀀스 범위의 선정된 I 프레임인지 여부를 판단하여, 상기 프레임이 선정된 I 프레임인 경우에는 단계 340으로 진행한다. 한편 상기 프레임이 선정된 I 프레임이 아닌 경우, 즉 시퀀스 중간의 I 프레임 이거나, P 또는 B 프레임인 경우에는 단계 360으로 진행한다. 본 실시예에서는 상기 선정된 I 프레임은 소정 시퀀스 범위에서의 첫 번째 I 프레임이다.

단계 322에서 판단된 프레임 단위의 영상 신호가 선정된 I 프레임인 경우, 단계 340에서는 가상 광고를 삽입하기 위한 삽입 영역을 탐색하여 결정하고, 결정된 삽입 영역의 특징점, 예를 들어 결정된 삽입 영역이 사각형인 경우에는 4개의꼭지점이 포함된 매크로 블록에 대한 정보를 380에 제공하고, 단계 380으로 진행한다. 본 실시예에서는 사용자가 직접 마우스나 입력 장치로 꼭지점을 결정하였으나, 선택적으로 에지/코너 검출 기법 등을 이용한 자동적인 방법을 이용하는 것도 가능하다.

단계 322에서 판단된 프레임 단위의 영상 신호가 선정된 I 프레임이 아닌 경우, 단계 360에서는 상기 삽입 영역에 대한 매크로 블록에 대한 정보로부터 각 매크로 블록 단위로 움직임 벡터 예측을 수행한다.

단계 362에서는 단계 360에서 구해진 움직임 벡터를 이용하여 매크로블록 기반으로 가상 광고 삽입 영역을 추적한다. 본 실시예에서는 상기 단계 340에서 제공된 상기 결정된 삽입 영역의 특징점을 포함하는 4개의 매크로블록들의 움직임 벡터를 이용하여 가상 광고를 삽입하고자 하는 영역의 4 꼭지점이 몇 번째 매크로 블록에 존재하는지를 파악하고, 도 4에 도시된 방법을 사용하여 최종 매크로 블록을 결정한다.

단계 380에서는 단계 340 및 단계 362에서 결정 또는 추적된 삽입 영역에, 각 프레임 사이의 변환 파라미터를 예측하고, 삽입하고자 하는 가상 광고를 변환하여 삽입한다.

단계 382에서는 움직임 벡터 예측 이외의 MPEG-부호기의 나머지 과정인 DCT(discrete cosine transform) 변환 및 양자화 단계를 각 프레임에 대해 수행한다.

단계 384에서는 최종적인 비트 스트림을 생성하기 위해 가변장 부호화(VLC)를 수행하고, 가변장 부호화된 최종 스트림을 출력하고, 단계 320으로 진행한다.

도 4 (a)(b)는 본 발명에 따른 움직임 벡터 기반의 삽입 영역의 특징점 추적 방법을 설명하기 위한 도면이다.

상기에서 설명한 바와 같이, 소정의 시퀀스의 첫 번째 I 프레임에서 삽입 영역이 결정된 경우, 이 삽입 영역의 특징점, 예를 들어 삽입 영역이 사각형인 경우 4개의 꼭지점이 함께 결정되는데, 이 점이 포함된 매크로 블록의 움직임 벡터를 근거로 가상 광고를 삽입하고자 하는 영역을 추적한다.

도 4(a)에 도시된 바와 같이, N 번째 프레임에서 4개의 특징점 중 하나의 특징점이 포함된 매크로블록 각각은 움직임 벡터에 의해서 이전 N-1 번째 프레임에서 도 4(a)에서 처럼 최대 4개의 매크로 블록과 겹치게 된다. 이때, 가장 많이 겹쳐지는 매크로블록이 특징점을 포함하고 있는 매크로블록으로 결정된다.

마찬가지로, N-1 번째 프레임에서 결정된 매크로블록을 기준 매크로블록으로 두고, N-2 번째 프레임에서 가장 많이 겹치는 매크로블록을 탐색한다. 이러한 단계를 반복함으로써, 시간이 경과함에 따라 도 4(b)에서 처럼 매크로블록을 따라 특징점, 즉 특징점을 포함하는 매크로블록이 이동함을 알 수 있다.

이는, 부호화 과정에서 다음 I 프레임이 입력될 때 까지, 또는 선택된 특징점의 매크로블록이 영상 영역 외부로 나갈 때까지 반복된다.

도 5는 본 발명에 따른 움직임 벡터 기반의 가상 광고 교체 방법을 도시하는 플로우차트이다.

단계 520에서는 방송 중계 화면과 같은, 영상 신호를 입력 받아 프레임 단위로 메모리 부에 저장하고, 프레임 단위의 영상 신호를 출력한다.

단계 522에서는 단계 520에서 저장되고 출력된 프레임 단위의 영상 신호가 소정 시퀀스 범위의 선정된 I 프레임인지 여부를 판단하여, 상기 프레임이 선정된 I 프레임인 경우에는 단계 540로 진행한다. 한편 상기 프레임이 선정된 I 프레임이 아닌 경우, 즉 시퀀스 중간의 I 프레임 이거나, P 또는 B 프레임인 경우에는 단계 560으로 진행한다.

단계 540에서는 가상 광고를 삽입하기 위한 삽입 영역을 탐색한다. 본 실시예에서는 사용자가 직접 마우스나 입력 장치로 꼭지점을 결정하였으나, 선택적으로 에지/코너 검출 기법을 이용한 자동적인 방법을 이용하는 것도 가능하다.

단계 542에서는 단계 540에서 탐색된 삽입 영역이 적절한지 여부를 판단한다. 단계 542에서 선택된 삽입 영역이 적절하다고 판단된 경우에는 단계 540으로 진행하며, 단계 540에서 선택된 삽입 영역이 적절하지 않다고 판단된 경우에는 단계 544로 다시 진행하여 삽입 영역을 재 탐색한다. 본 실시예에서는 삽입 영역이 탐색된 프레임의 삽입 영역의 매크로블록과 다음 프레임의 대응 삽입 영역에 해당하는 매크로블록 간의 움직임 벡터값을 이용하여, 움직임 벡터값이 선정된 값 이하인 경우에는 삽입 영역이 유효하다고 판단한다. 본 실시예에서는 상기 움직임 벡터 값은 대응하는 매크로블록 간의 차이값에 따른 SSD(sum of squared difference) 또는 SAD(sum of absolute difference)일 수 있지만, 선택적으로 적절한 기준에 따라 선택된 삽입 영역의 유무효를 결정하는 것도 가능하다.

단계 544는 단계 540에서 판단된 삽입 영역에 대한 매크로 블록에 대한 정보를 단계 560에 제공하고 단계 580으로 진행한다.

단계 560에서는 단계 544로부터 제공된 상기 삽입 영역에 대한 매크로 블록에 대한 정보로부터 각 매크로 블록 단위로 움직임 벡터 예측을 수행한다.

단계 562에서는 단계 560에서 구해진 움직임 벡터를 이용하여 매크로블록 기반으로 가상 광고 삽입 영역을 추적한다. 본 실시예에서는 4개의 매크로블록들의 움직임 벡터를 이용하여 가상 광고를 삽입하고자 하는 영역의 4 꼭지점이 몇 번째 매크로 블록에 존재하는지를 파악하고, 도 4에 도시된 방법을 사용하여 최종 매크로 블록을 결정한다.

단계 564에서는 추적된 삽입 영역이 겹침 영역 인지 여부를 판단한다. 본 실시예에서는 단계 562에서 구해진 각 매크로블록의 움직임 벡터의 값을 비교하여, 이들 값들이 유사한 경우에는 겹침 영역이 없는 것으로 판단하여 단계 580으로 진행한다. 만일, 이들 각 매크로블록의 움직임 벡터의 값이 유사하지 않은 것으로 판단되는 경우에는, 특징점이 포함된 매크로블록이 다른 객체에 의해 가려진, 즉 삽입 영역이 다른 객체와 겹치는 것으로 판단하여 단계 566으로 진행한다.

단계 566에서는 이들 매크로 블록 중 겹침 영역이 발생한 프레임의 이전 및 이후 프레임에서의 움직임 벡터 평균을 구하여 보정하여, 보정된 삽입 영역에 대한 정보를 생성하고, 단계 580으로 진행한다. 또한, 선택적으로 겹침 영역이 발생한 매크로블록 이외의 다른 매크로블록의 움직임 벡터를 이용하여 추가 특징점이 포함된 매크로블록을 예측하도록 하는 것도 가능하다.

단계 580에서는 단계 544 또는 단계 562에서 결정/추적된 삽입 영역에, 각프레임 사이의 변환 파라미터를 예측하고, 삽입하고자 하는 가상 광고를 변환하여 삽입한다. 단계 564에서 겹침 영역이 발생한 것으로 판단되어, 단계 566에서 추가 특징점이 예측된 경우에는, 단계 580에서는 가상 광고가 삽입될 위치에 존재하는 원 영상의 크로마키를 사용하여, 삽입할 가상 광고가 객체와 원 광고판 사이에 존재하도록 조절한다.

단계 582에서는 움직임 벡터 예측 이외의 MPEG-부호기의 나머지 과정인 DCT(discrete cosine transform) 변환 및 양자화 단계를 각 프레임에 대해 수행한다.

단계 584에서는 최종적인 비트 스트림을 생성하기 위해 가변장 부호화(VLC)를 수행하고, 가변장 부호화된 최종 스트림을 출력하고, 단계 520으로 진행한다.

또한, 선택적으로 단계 560에서 처리되는 프레임이 소정 시퀀스 중간에 포함되어 있는 중간 I 프레임인 경우에는, 움직임 벡터의 특성, 즉 "움직임 벡터는 선형적이다"라는 성질을 이용하여 상기 I 프레임의 앞 뒤에 있는 P 또는 B 프레임의 움직임 벡터들의 평균을 이용하여 I 프레임에서의 움직임 벡터를 예측한다.

또한, 선택적으로 다른 기법을 이용하여 I 프레임에서의 움직임 벡터를 예측하는 것도 가능하다.

도 6는 본 발명에 따른 가상 광고 삽입 단계에서 고려되는 카메라 파라미터를 설명하기 위한 도면이다.

매크로블록 단위로 특징점들을 추적하는 경우, 가상 광고 삽입 단계에서는 각 프레임 사이에 카메라 파라미터가 존재하게 되는데, 이 파라미터들을 예측하고이를 삽입하고자 하는 가상 광고에 적용하여 가상 광고를 변형시키고 최종적으로 합성하는 것이 필요하다. 여기서, 카메라 파라미터는 두 영상 사이에 존재하는 변환 파라미터를 의미한다. 도 6(a)(b)(c)(d)는 변환 파라미터의 예를 도시한다. 도 6에서 괄호안에 있는 것은 계산하여야 하는 파라미터들이며, 점선의 도형은 이전 프레임의, 실선의 도형은 이후 프레임의 변환된 후의 모형이다.

도 6의 변환 들을 조합한 변환 모델 들 중에는 평형 이동 모델(translation model), 3-parameter 모델 (translation, rotation, scaling model), 어파인 모델(affine model), 및 원근 모델(perspective model) 등이 있다.

본 실시예에서는 원근 모델을 사용하여 가상광고를 정확히 변환시킨다. 수학식 1 및 2는 원근 모델을 나타내는 수식이다. 여기서, m₀에서 m₈까지의 파라미터를 가상 광고 삽입 단계에서 예측한다. 또한,(x,y)는 이전 프레임에서의 매크로블록 중심, (x',y')는 다음 프레임에서의 매크로블록 중심을 나타낸다.

본 실시예에서는 원근 모델을 이용하여 가상광고를 변환하였지만, 선택적으로 다른 변환 모델을 사용하는 것도 가능하다.

또한, 선택적으로 원근 모델을 사용하여 카메라 파라미터를 구한 후에, 가상광고를 삽입하는 경우에는 투명도 ( α) 개념을 도입하여 삽입하고자 하는 가상 광고를 덧씌우는 것이 아니라, 원 영상과 보다 조화되도록 하는 것도 가능하다.

예를 들어, 원영상 A와 가상광고영상 B가 있다고 가정하는 경우, 합쳐진 영상 C는 C= αA + (1-α)B의 관계로 표현될 수 있다. 이러한 방법에 따르면, 투명도 ( α)를 적절히 조절함으로써, 자연스러운 결과 영상 C를 얻는 것이 가능하다.

상기 가상 광고 삽입 영역을 결정하고, 결정된 삽입 영역을 추적하는 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보 저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 MPEG 방송 프로그램 기록방법을 구현한다. 상기 정보 저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.

이상 설명한 바와 같이 본 발명에 따르면, 비디오 영상이 부호기를 통하여 부호화되는 과정에서 매크로 블록 단위로 생성되는 움직임 벡터 정보를 이용하여 가상 광고가 삽입되는 영역을 결정하고, 이를 추적하여, 가상 광고를 삽입함으로써, 기존의 가상 광고 삽입 방법에 비해 삽입되는 영역을 보다 정확히 탐색할 수 있으며, 또한 탐색된 삽입 영역의 추적을 위한 계산량을 현저히 줄여, 가상 광고의 삽입 영역 결정, 추적, 및 삽입에 소요되는 시간을 감소시킬 수 있다는 효과가 있다.

Claims (10)

1. 광고 삽입 영역 추적 방법에 있어서,

   (a) 소정 단위의 영상 신호를 입력받는 단계;

   (b) 상기 입력받은 소정 단위의 영상 신호의 움직임 벡터를 계산하는 단계; 및

   (c) 상기 계산된 움직임 벡터에 기초해서 상기 광고를 삽입하기 위한 영역을 예측하여 추적하는 단계를 포함하는 것을 특징으로 하는 광고 삽입 영역 추적 방법.
2. 제1항에 있어서, 상기 소정 단위의 영상 신호는 프레임 단위의 영상 신호인 것을 특징으로 하는 광고 삽입 영역 추적 방법.
3. 제2항에 있어서, 상기 (b) 단계에서 계산하는 움직임벡터는 이전 프레임에서 광고가 삽입된 영역의 특징점이 포함된 매크로블록에 대한 움직임벡터인 것을 특징으로 하는 광고 삽입 영역 추적 방법.
4. 제3항에 있어서, 상기 (c) 단계에서 이전 프레임에서 광고가 삽입된 영역의 특징점이 포함된 매크로블록과 겹치는 현재 프레임의 복수개의 매크로블록 중, 이전 프레임의 상기 매크로블록과 가장 많이 겹치는 매크로블록을 선택하여, 현재 프레임에서 가상 광고를 삽입하기 위한 영역 중 하나의 특징점으로 선택하는 것을 특징으로 하는 방법.
5. 제1항에 있어서, (d) 상기 (b) 단계에서 계산된 움직임 벡터값에 기초하여, 영상의 겹침 영역이 있는지 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 방법.
6. 제5항에 있어서, 상기 (d) 단계에서 겹침 영역이 있는 것으로 판단되는 경우, 현재 프레임의 이전 및 이후 프레임에서의 움직임 벡터 평균을 구하여, 현재 프레임에서 광고를 삽입하기 위한 영역에 해당하는 매크로블록을 결정하는 것을 특징으로 하는 방법.
7. 제1항 내지 제6항 중 어느 한 항에 기재된 광고 삽입 영역 추적 방법을 포함하는 것을 특징으로 하는 광고 교체 방법.
8. 광고 삽입 영역 결정 방법에 있어서,

   (a) 소정 단위의 영상 신호를 입력받는 단계;

   (b) 상기 입력받은 소정 단위의 영상 신호를 탐색하여, 광고를 삽입하기 위한 영역을 결정하는 단계;

   (c) 상기 입력받은 소정 단위의 영상 신호의 움직임 벡터를 계산하는 단계; 및

   (d) 상기 계산된 움직임 벡터에 기초해서, 상기 (b) 단계에서 결정된 공고를 삽입하기 위한 영역이 유효한지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 광고 삽입 영역 결정 방법.
9. 제8항에 있어서, 상기 소정 단위의 영상 신호는 프레임 단위의 영상 신호인 것을 특징으로 하는 광고 삽입 영역 결정 방법.
10. 제9항 또는 제10항 중 어느 한 항에 기재된 광고 삽입 영역 결정 방법을 포함하는 것을 특징으로 하는 광고 교체 방법.