PL176135B1

PL176135B1 - Sposób i urządzenie do wprowadzania obrazu do treści obrazu istniejącego

Info

Publication number: PL176135B1
Application number: PL95316621A
Authority: PL
Inventors: Haim Kreitman; Dan Bar-El; Yoel Amir; Ehud Tirosh
Original assignee: Scidel Technologies Ltd
Priority date: 1994-03-14
Filing date: 1995-02-27
Publication date: 1999-04-30
Also published as: TW367452B; EP0750819A1; ZA951403B; AU692529B2; US5491517A; WO1995025399A1; RU2108005C1; AU1933495A; BG62114B1; HUT75487A; IL108957A; DE69524946D1; CN1087549C; HU220409B; LV11716A; BR9507057A; PL316621A1; NZ282275A; NO963811L; CN1144588A

Abstract

1. Sposób wprowadzania obrazu do tresci obrazu istniejacego, znaj- dujacego sie w kazdej ramce wejsciowej sekwencji obrazow ej, i przedsta- wiajacego filmowane przynajmniej przez jedna, ruchom a kam ere telew izyjna dzialania zachodzace w przestrzeni tla o statycznych plaskich pow ierzch- niach, w które w pisuje sie wprowadzany obraz, znam ienny tym , ze niezalez- nie dla kazdej wejsciowej ramki wizyjnej z kamery generuje sie plaski model geometryczny o statycznych pow ierzchniach przestrzeni tla, i majacy okre- slajace go cechy charakterystyczne oraz maske lokalizacji, okreslajaca w y- brana powierzchnie modelu geom etrycznego dla wprowadzanego obrazu, po czym, na podstawie modelu geom etrycznego i maski lokalizacji okresla sie w ybrana powierzchnie w wejsciowej ram ce wizyjnej, w która w pisuje sie wprowadzany obraz, jezeli wybrana powierzchnia znajduje sie w wejsciowej ramce wizyjnej. 26 Urzadzenie do wprowadzania obrazu do tresci obrazu istniejacego, przedstawionego w przestrzeni tla o statycznych powierzchniach i filmowa- nego przynajmniej przez jedna kam ere oraz zaopatrzone w komputerowy uklad sterujacy, znam ienne tym , ze sklada sie z ukladu w ychw ytyw ania ram - ki (10) z sygnalu wizyjnego, i z polaczonego z nim na wyjsciu ukladu w pisy- wania (14) wprowadzanego obrazu (42), polaczonego z komputerowym ukladem sterujacym (16) za pom oca magistrali danych (29) i zaopatrzonego w uklad identyfikacji cech charakterystycznych (60) powierzchni statycznych wejsciowej ramki wizyjnej, w polaczony z nim uklad identyfikacji perspekty- wy (62) do okreslenia transformacji perspektywy miedzy modelem geometry- cznym (50), a cechami charakterystycznymi wejsciowej ramki wizyjnej, oraz w polaczony z ukladem identyfikacji perspektywy (62) przetwornik (64), na któ- rego wyjsciu przylaczony jest mikser (66), polaczony z wejsciem ukladu iden- tyfikacji cech charakterystycznych (60). P L 176135 B 1 FIG . 1 PL PL PL PL

Description

Przedmiotem wynalazku jest sposób wprowadzania obrazu do treści obrazu istniejącego, znajdującego się w każdej ramce wejściowej sekwencji obrazowej, i przedstawiającego filmowane przynajmniej przez jedną, ruchomakamerę telewizyjną działania zachodzące w przestrzeni tła o statycznych płaskich powierzchniach, w które wpisuje się wprowadzany obraz.

Przedmiotem wynalazku jest również urządzenie do wprowadzania obrazu do treści obrazu istniejącego, przedstawionego w przestrzeni tła o statycznych powierzchniach i filmowanego przynajmniej przez jedną kamerę, oraz zaopatrzone w komputerowy układ sterujący.

W czasie filmowania 'przez kamery telewizyjne zawodów sportowych, rozgrywanych na różnego typu stadionach, filmuje się również reklamy, znajdujące się na ścianach stadionu oddzielających przestrzeń rozgrywania zawodów od widowni. Reklamy te, reklamują firmy sponsorujące rozgrywane zawody, i pokazywane są publiczności podczas transmisji tych zawodów. W tym celu, przygotowane uprzednio reklamy wpisuje się do treści filmowanego obrazu telewizyjnego.

Znany sposób wprowadzania reklam do treści obrazu filmowanego w czasie rzeczywistym polega na określeniu docelowej powierzchni stadionu, a następnie na wpisaniu w tę filmowaną powierzchnię reklamy. Podczas zmiany pola widzenia kamery, filmowaną powierzchnię określa się ponownie.

Wpisywanie obrazu do treści obrazu istniejącego wykorzystuje się nie tylko podczas filmowania zawodów sportowych, ale również i podczas montażu obrazu w czasie rzeczywistym. W tym przypadku, obraz wstawia się między sceny wizyjne, przez jego nałożenie w określonym miej scu ramki obrazu telewizyjnego (na przykład znak identyfikacyjny stacj i telewizyjnych), lub też w miejsce obrazów filmowanych przez kamerę.

Z opisu patentowego Stanów Zjednoczonych A. P. nr US 4 806 924 znany jest sposób i urządzenie do wyświetlania informacji reklamowych na panelach wyśw ietlających, rozmieś/.176135 czonych wokół boiska na stadionie. Ruch filmującej kamery, zmieniającej pole widzeniajednego panelu wyświetlającego na inny powoduje automatyczne przeniesienie informacji reklamowej wyświetlanej na tym panelu na panel aktualnie filmowany. Do tego celu stosuje się w filmującej kamerze nadajnik podczerwieni, a w panelach wyświetlających - detektor podczerwieni. Proces wyświetlania informacji reklamowej na panelach sterowany jest przez komputer.

W opisie patentowym Stanów Zjednoczonych A. P. nr US 4 947 526 przedstawione jest urządzenie do tworzenia wizyjnych efektów specjalnych, takich jak zmiana wymiarów·', lokalizacji, obrót i zmiana perspektywy wyświetlanego na monitorze telewizyjnym obrazu. Urządzenie składa się z matrycy źródeł sygnałów video, z generatora sygnałów synchronizacyjnych, oraz z połączonych z nimi przełącznika i cyfrowego układu efektów video. Cyfrowy układ efektów video składa się z modułu przekształcającego wejściowy sygnał video, z połączonego z nim na wejściu układu czasowego, kontrolera i przetwornika analogowo-cyfrowego, zaś na wyjściu - z przetwornikiem cyfrowo-analogowym, na którego wyjściu znajduje się mikser wideo. Sygnał wyjściowy z przetwornika cyfrowo-analogowego kierowany jest do przełącznika i do miksera video, do którego kierowany jest również sygnał wyjściowy z przełącznika, zawierający informacje przekształconego wejściowego sygnału video. Urządzenie umożliwia wstawienie przekształconego wejściowego sygnału video w dowolne miejsce pierwotnego sygnału wejściowego video.

W opisie patentowym Stanów Zjednoczonych A. P. nr US 4 967 276 przedstawione jest urządzenie do mieszania sygnału wizyjnego z kamery wizyjnej z sygnałem podczerwonym pochodzącym z kamery na podczerwień, skierowanej na ten sam przedmiot. Kamera wizyjna jest połączona na wyjściu z układem wyboru sygnału wizyjnego, zaś kamera na podczerwień z układem detekcji poziomu czerni i z mikserem, który połączony jest na wejściu z wyjściem układu wyboru sygnału wizyjnego. Na wyjściu miksera znajduje się monitor telewizyjny. Urządzenie umożliwia więc oglądanie przedmiotujednocześnie w świetle widzialnym, jak i podczerwieni, dając w efekcie pełny jego obraz.

Z opisu patentowego Stanów Zjednoczonych A. P. nr US 4 907 086 znany jest sposób i urządzenie do nakładania obrazu ze źródła zewnętrznego, na przykład z kamery, na część obrazu aktualnie wyświetlanego, na przykład na monitorze telewizyjnym. Urządzenie składa się z układu wyświetlającego, z połączonej z nim na wejściu głównej pamięci buforowej do przechowywania danych obrazu aktualnego, z pierwszego obwodu adresowego, połączonego z główną pamięcią buforową, ze źródła danych obrazu nakładanego, z połączonej z nim na wejściu pomocniczej pamięci buforowej do przechowywania danych obrazu nakładanego, z drugiego obwodu adresowego, połączonego z pomocnicząpamięciąbuforową, oraz z magistrali danych, łączących obydwa obwody adresowe. Sposób nakładania obrazu na część obrazu aktualnie wyświetlanego polega na pobraniu danych aktualnego obrazu z głównej pamięci buforowej, umieszczeniu danych nakładanego obrazu w pomocniczej pamięci buforowej, oraz na przeniesieniu danych nakładanego obrazu z pomocniczej pamięci buforowej do głównej pamięci buforowej.

Analogiczne urządzenie do nakładania obrazu ze źródła zewnętrznego, na część obrazu aktualnie wyświetlanego, przedstawione jest w opisie patentowym Stanów Zjednoczonych A. P. nr US 5 099 331. Pomocnicza pamięć buforowa urządzenia jest zaopatrzona w układ pamięci RAM, który wyposażonyjest w szeregowy port wej ściowy, połączony ze źródłem danych obrazu nakładanego, w macierz adresowanych swobodnie komórek pamięci, oraz w połączony z tą macierzą port o swobodnym dostępie.

Z opisu patentowego Stanów Zjednoczonych A. P. nr US 5 107 252 znane jest urządzenie do przetwarzania obrazu video w przestrzeni trójwymiarowej. Urządzenie to, składa się z ekranu dotykowego, służącego do generacji adresu punktów narożnych wyświetlanego na monitorze czworokąta, z połączonego z nim procesora, do obliczania nowych adresów punktów narożnych · wielokąta podczas jego ruchu w przestrzeni trójwymiarowej, z połączonego z procesorem układu transformacji, przekształcającego adresy pikseli ramki wejściowej sekwencji obrazowej na adresy pikseli ramki wyjściowej sekwencji obrazowej w przestrzeni trójwymiarowej, oraz z pamięci do przechowywania obrazów wejściowych, jak i przetworzonych.

176 135

W opisie patentowym Stanów Zjednoczonych A. P. nr US 5 264 933 przedstawiony jest sposób i urządzenie umożliwiające wstawienie obrazów reklamowych w wybrane miejsca obrazu telewizyjnego, aby stanowiły one część obrazu istniejącego. Obrazy reklamowe wpisuje się do obrazu istniejącego również w odpowiedzi na sygnały dźwiękowe, na przykład na głos komentatora.

Niedogodnością tych wszystkich, przedstawionych powyżej sposobów i urządzeń do wpisywania obrazu w obraz istniejący, względnie do przetwarzania obrazów video, jest brak możliwości wprowadzania obrazu w określony obszar obrazu filmowanego w czasie rzeczywistym na statycznym tle, niezależnie od wejściowych ramek wizyjnych, z uwzględnieniem zmiennych parametrów filmujących kamer, i zmiennego widoku perspektywicznego filmowanego obrazu, oraz zmiennego oświetlenia filmowanego tła. W większości rozwiązań, wprowadzane obrazy zakrywają określony obszar obrazu aktualnie wyświetlanego.

W międzynarodowym zgłoszeniu patentowym nr PCT / FR91 / 00296 przedstawiony jest sposób i urządzenie do modyfikacji sekwencji kolejnych ramek wizyjnych, pochodzących z kamery, filmującej sceny na nieruchomym tle. Sposób ten, umożliwiający wprowadzenie obrazu w obraz filmowany, polega na identyfikacji niezniekształconego obszaru docelowego na statycznym tle, w okolicy którego znajdująsię znaki identyfikacyjne, umożliwiające jego lokalizację, na określeniu położenia i wymiarów tego obszaru docelowego, na przekształceniu uprzednio przygotowanego wprowadzanego obrazu (zapisanego w postaci cyfrowej) w stosunku do obszaru docelowego, oraz na zamianie pikseli z obszaru docelowego na piksele z obrazu wprowadzanego. Znaki identyfikacyjne stanowią dowolne, łatwo rozpoznawalne znaki graficzne, na przykład krzyżyki, które mogą być zlokalizowane w różnych ujęciach. W tym . celu, obszar docelowy statycznego tła i wprowadzany obraz są przechowywane w pamięci w różnych .skalach i położeniach kątowych. Urządzenie do realizacj i tego sposobu składa się z kamery i z połączonego z nim komputera, zaopatrzonego w pamięć obrazową o bardzo dużej pojemności, w połączony z nią procesor i dwa komparatory, w pamięć RAM, połączonąz procesorem i z pierwszym komparatorem, który połączony jest z drugim komparatorem za pomocąpamięci buforowej, oraz w obwód miksujący, połączony na wejściu z obydwoma komparatorami z pierwsząpamięciąmasową, zaś na wyjściu - z drugą pamięcią masową i z monitorem. W pamięci obrazowej znajj^ią^się filmowane ramki wizyjne, zaś w pamięci RAM - znaki identyfikacyjne, które po wyszukaniu przesyłane są przez procesor pierwszego komparatora, a następnie do pamięci buforowej. Po określeniu w drugim komparatorze części obszaru docelowego, niezakrytego przez inne obiekty, obwód miksujący zamienia piksele obszaru docelowego przez piksele obrazu wprowadzanego, przechowywanego w pierwszej pamięci masowej'. Wyjściowy obraz jest przechowywany w drugiej pamięci masowej i wyświetlany na monitorze.

Niedogodnością przedstawionego powyżej sposobu i urządzenia do modyfikacji sekwencji kolejnych ramek wizyjnych są błędy przetwarzania, powstałe w przypadku zmiany tła w kolejnych ramkach wizyjnych sekwencji wejściowej, jak również konieczność stosowania znaków identyfikacyjnych. Ponadto, urządzenie do realizacji tego sposobu jest zaopatrzone w kilka kosztownych pamięci, służących do przechowywania obrazów w różnych operacjach przetwarzania sekwencji obrazowej.

Celem wynalazku jest opracowanie takiego sposobu wprowadzania obrazu do treści obrazu istniejącego, który wyeliminuje niedogodności znanych dotychczas podobnych sposobów.

Cel ten, zrealizowano w sposobie wprowadzania obrazu do treści obrazu istniejącego według wynalazku, który charakteryzuje się tym, że niezależnie dla każdej wejściowej ramki wizyjnej z kamery generuje, się płaski model geometryczny o statycznych powierzchniach przestrzeni tła, i mający określające go cechy charakterystyczne, oraz maskę lokalizacji, określającą wybraną powierzchnię modelu geometrycznego dla wprowadzanego obrazu, po czym, na podstawie modelu geometrycznego i maski lokalizacji, określa 'się wybranąpowierzchnię w wejściowej ramce wizyjnej, w którą wpisuje się wprowadzany obraz, jeżeli wybrana powierzchnia znajduje się w wejściowej ramce wizyjnej.

176 135

Wprowadzany obraz i maskę lokalizacji konstruuje się korzystnie na oddzielnym stanowisku projektowania.

Określenie wybranej powierzchni w wejściowej ramce wizyjnej realizuje się korzystnie przez przeglądanie każdej pojedynczej wejściowej ramki wizyjnej i identyfikację cech charakterystycznych jej statycznych powierzchni, oraz przez określenie transformacji perspektywicznej między modelem geometrycznym a cechami charakterystycznymi każdej wejściowej ramki wizyjnej, przy czym do przeglądania każdej pojedynczej wejściowej ramki wizyjnej i identyfikacji cech charakterystycznychjej statycznych powierzchni wykorzystuje się utworzoną uprzednio maskę tła, określającą lokalizację cech charakterystycznych elementów tła, i maskę planu czołowego, wskazującą obszary tła czołowego nie pokrywanego przez wprowadzany obraz, i którą tworzy się z części danych maski tła.

Maskę tła tworzy się przez przetworzenie, korzystnie za pośrednictwem tablicy przejścia. LUT, kolorów każdej wejściowej ramki wizyjnej na kolor cech charakterystycznych, kolor elementów tła i kolor elementów planu czołowego, przy czym tablicę przejścia LUT tworzy się z kolorów wskazanych przez użytkownika.

Wprowadzany obraz i maskę lokalizacji poddaje się korzystnie transformacji perspektywicznej, po czym miksuje się je z każdą pojedynczą wejściową ramką wizyjną i maską planu czołowego.

Wprowadzany obraz, maskę lokalizacji i utworzoną uprzednio maskę mieszania, poddaje się korzystnie transformacji perspektywicznej, po czym miksuje się je z każdą pojedynczą wejściową ramką wizyjną i maską planu czołowego.

Wykorzystuje się cechy charakterystyczne mające postać korzystnie linii, przy czym identyfikacji cech charakterystycznych dokonuje się przez poddanie linii transformacji Hougha, względnie przez badanie i ciągłe zawężanie otoczenia pikseli, po czym na podstawie znalezionych pikseli określa się współczynniki kierunkowe uzyskanych linii, które określa się przez rzutowanie uzyskanych cech charakterystycznych na płaszczyznę za pomocą funkcji asymptotycznej.

Wykorzystuje się przestrzeń tła będącą korzystnie boiskiem sportowym, przy czym po określeniu współczynników kierunkowych linii określa się liczbę możliwych prostokątów na modelu geometrycznym i lokalizację ich naroży, przez wybranie dwóch poziomych i dwóch pionowych linii ze zidentyfikowanych cech charakterystycznych i określenie ich punktów przecięcia, po czym generuje się macierz transformacji i przekształca się naroża każdego prostokąta modelu geometrycznego na punkty przecięcia się linii z cech charakterystycznych w wejściowej ramce wizyjnej, z wykorzystaniem maski tła do dopasowania każdego przetransformowanego modelu geometrycznego do każdej pojedynczej wejściowej ramki wizyjnej, a następnie, do analizy następnej wejściowej ramki wybiera się tę macierz transformacji, która najlepiej pasuje do cech charakterystycznych wejściowej ramki wizyjnej.

Podczas wprowadzania obrazu do treści obrazu istniejącego określa się korzystnie współrzędne kamer telewizyjnych, po czym oblicza się bieżącą macierz transformacji jako iloczyn macierzy współrzędnych pochylenia, obrotu i długości ogniskowej kamer, a następnie, na podstawie tych macierzy identyfikuje się kamery przez określenie współczynnika dopasowania, i zapamiętuje się parametry zidentyfikowanych kamer, przy czym określenie współrzędnych i identyfikację kamer powtarza się dla każdej wejściowej ramki wizyjnej.

Cel wynalazku zrealizowano również w odmianie sposobu wprowadzania obrazu do treści obrazu istniejącego, który charakteryzuje się tym, że niezależnie dla każdej wejściowej ramki wizyjnej generuje się płaski model geometryczny statycznych powierzchni tła, i zawierający określające te powierzchnie cechy charakterystyczne, po czym, przed wpisaniem w nie wprowadzanego obrazu, płaski model geometryczny przekształca się perspektywicznie.

W modelu geometrycznym wykorzystuje się cechy charakterystyczne stanowiące przynajmniej jedną grupę linii i łuków, które opisane są zależnościami na płaszczyźnie.

Cechy charakterystyczne modelu geometrycznego opisane sąna płaszczyźnie zależnościami wektorowymi.

176 135

Cel wynalazku zrealizowano również w innej odmianie sposobu wprowadzania obrazu do treści obrazu istniejącego, który charakteryzuje się tym, że generuje się płaski model geometryczny o statycznych powierzchniach przestrzeni tła, zawierający określające te powierzchnie cechy charakterystyczne, po czym, model geometryczny wykorzystuje się do perspektywicznego zniekształcenia wprowadzanego obrazu, analogicznie do perspektywy wejściowej ramki wizyjnej, a następnie, dla tej ramki, zawierającej przynajmniej część powierzchni statycznych modelu geometrycznego, tworzy się maskę tła, określającej obszary zmienialne wejściowej ramki wizyjnej, oraz jej powierzchnie stałe, po czym zniekształcony perspektywicznie wprowadzany obraz miksuje się z obszarem zmienialnym maski tła.

Model geometryczny generuje się korzystnie niezależnie od wejściowych ramek wizyjnych.

Do zniekształcenia perspektywicznego wprowadzanego obrazu wykorzystuje się korzystnie macierz transformacji.

Przed perspektywicznym zniekształceniem wprowadzanego obrazu tworzy się korzystnie maskę lokalizacji, określającej położenie wprowadzanego obrazu na modelu geometrycznym, którą zniekształca się perspektywicznie łącznie z wprowadzanym obrazem, przy czym podczas miksowania zniekształconego perspektywicznie wprowadzanego obrazu z obszarem zmienialnym maski tła, miksuje się z nimi maskę lokalizacji, tworząc maskę zezwolenia określającąte piksele w wejściowej ramki wizyjnej, w które wpisuje się kolejne piksele wprowadzanego obrazu.

W procesie wprowadzania obrazu do treści obrazu istniejącego tworzy się korzystnie zniekształconąperspektywicznie maskę mieszania, określającą różne odcienie kolorów wprowadzanego obrazu, którą miksuje się następnie z wprowadzanym obrazem i z maską zezwolenia. Podczas miksowania maski mieszania, maski zezwolenia i wprowadzanego obrazu, każdemu pikselowi z wejściowej ramki wizyjnej o współrzędnych (x, y) przypisuje się wartość koloru korzystnie zgodnie z zależnością: Wyjście(x, y) = β(χ, y) x obraz(x, y) + [ 1-β(χ, y)] x ramka(x, y), gdzie e(x, y) = a(x, y) x P'(x, y), przy czym a(x, y) i P'(x, y) sąwartościami pikseli maski mieszania i maski zezwolenia, zaś obraz(x, y) i ramka(x, y) są odpowiednio wartościami pikseli wprowadzanego obrazu i zmienialnego obszaru wejściowej ramki wizyjnej.

Celem wynalazku jest również opracowanie takiego urządzenia do wprowadzania obrazu do treści obrazu istniejącego, który wyeliminuje niedogodności znanych dotychczas podobnych urządzeń.

Cel ten, zrealizowano w urządzeniu do wprowadzania obrazu do treści obrazu istniejącego według wynalazku, które składa się z układu wychwytywania ramki z sygnału wizyjnego, i z połączonego z nim na wyjściu układu wpisywania wprowadzanego obrazu, połączonego z komputerowym układem sterującym za pomocą magistrali danych i zaopatrzonego w układ identyfikacji cech charakterystycznych powierzchni statycznych wejściowej ramki wizyjnej, w połączony z mm układ identyfikacji perspektywy do określenia transformacji perspektywy między modelem geometrycznym, a cechami charakterystycznymi wejściowej ramki wizyjnej, oraz w połączony z układem identyfikacji perspektywy przetwornik, na którego wyjściu przyłączony jest mikser, połączony z wejściem układu identyfikacji cech charakterystycznych.

Urządzenie zaopatrzone jest korzystnie w oddzielny układ projektowania do konstruowania wprowadzanego obrazu i maski lokalizacji.

Układ identyfikacji cech charakterystycznych połączonyjest korzystnie na wyjściu z mikserem.

Zaletą sposobu i urządzenia do wprowadzania obrazu do treści obrazu istniejącego według wynalazku jest możliwość wprowadzania obrazu w określony obszar obrazu filmowanego w czasie rzeczywistym na statycznym tle, niezależnie od wejściowych ramek wizyjnych, z uwzględnieniem zmiennych parametrów filmujących kamer, i zmiennego widoku perspektywicznego filmowanego obrazu, oraz zmiennego oświetlenia filmowanego tła.

Wynalazekjest przykładowo wyjaśniony na rysunku, na którym fig. 1 przedstawia schemat blokowy urządzenia do wprowadzania obrazu do treści obrazu istniejącego, fig. 2 - schemat obrazu filmowanego kortu tenisowego, do którego wprowadza się obraz, za pomocą urządzenia według fig. 1, fig. 3 - model geometryczny obrazu kortu tenisowego według fig. 2, fig. 4A - schemat obrazu wprowadzanego do modelu geometrycznego obrazu kortu tenisowego, fig. 4B - sche176 135 mat maski lokalizacji, nakładanej na model geometryczny obrazu kortu według fig. 3 z odsłoniętym obszarem na wprowadzany obraz według fig. 4A, fig. 4C - schemat maski mieszania dla wprowadzanego obrazu według fig. 4A i modelu geometrycznego obrazu kortu według fig. 3, fig. 5 - schemat blokowy układu wpisywania obrazu w obraz ramki wizyjnej, stanowiącego część urządzenia według fig. 1, fig. 6 - schemat ramki wizyjnej wejściowej sekwencji obrazowej, fig. 7 - schemat maski tła, utworzonej dla ramki wizyjnej według fig. 6, fig. 8 - algorytm działania układu identyfikacji cech charakterystycznych według fig. 5, fig. 9A - odmiana algorytmu uzyskiwania cech charakterystycznych obrazu istniejącego, fig. 9B - schemat maski tła, stosowanej do uzyskiwania cech charakterystycznych obrazu istniejącego, fig. 9C - histogram wycinków maski tła według fig. 9B, fig. 10 - algorytm działania układu identyfikacji perspektywy, stanowiącego część układu identyfikacji cech charakterystycznych według fig. 5, fig. 11A schemat konstrukcji punktów stykowych cech charakterystycznych uzyskanych z obrazu istniejącego, na podstawie maski tła według fig. 7, fig. 11B - schemat konstrukcji punktów stykowych cech charakterystycznych uzyskanych z obrazu istniejącego, wynikłych z niedokładności obliczeń, fig. 12A i B - schemat rzutu gnomonicznego, stosowanego w układzie identyfikacji perspektywy według fig. 10, fig. 12C - graficzną ilustrację funkcji wykorzystywanej w rzucie gnomonicznym według fig. 12A i 12B, fig. 13 - algorytm działania układu identyfikacji perspektywy według fig. 10, fig. 14A - schemat ramki wizyjnej z modelem obrazu kortu tenisowego, podczas identyfikacji linii tego kortu, fig. 14B - schemat modelu geometrycznego kortu tenisowego z uwidocznionymi czworobokami dla wprowadzanego obrazu, fig. 15 - schematyczną ilustrację macierzy transformacji, fig. 16 - ilustrację procesu dopasowywania czworoboku do modelu geometrycznego kortu, realizowaną w algorytmie według fig. 13, fig. 17 - algorytm działania przetwornika i miksera, stanowiącego część układu identyfikacj i cech charakterystycznych według fig. 5, fig. 18 - algorytm działania układu korekcyjnego, stanowiącego część układu identyfikacji cech charakterystycznych według fig. 5, fig. 19 - schemat kamery i jej parametry, fig. 20 - algorytm tworzenia macierzy transformacji dla zadanych parametrów kamery według fig. 19, fig. 21 - tablicę parametrów kamery według fig. 19, a fig. 22 - algorytm tworzenia macierzy transformacji dla wyliczanych, zmiennych parametrów kamery według fig. 19.

Przedstawione na fig. 1 urządzenie umożliwia wprowadzanie obrazów, na przykład reklam, do obrazu istniejącego, przedstawionego na statycznym tle. Urządzenie składa się z układu wychwytywania ramki 10, przetwarzającego ramki wejściowej sekwencji obrazowej (na przykład grę w tenisa) na kolejne ramki wizyjne, z układu projektowania 12 wprowadzanych obrazów (na przykład reklam) na wybrane powierzchnie obrazu istniejącego, na przykład na statyczny obraz kortu tenisowego widocznego w ramce obrazu istniejącego, z układu wpisywania 14 zaprojektowanego uprzednio wprowadzanego obrazu w ramkę wizyjną obrazu istniejącego, w komputerowy układ sterujący 16, służący do sterowania układem wpisywania 14, oraz z monitora 18.

Komputerowy układ sterujący 16 jest zaopatrzony w centralną jednostkę przetwarzającą 20, w połączoną z nim klawiaturę 22, mysz 24, pamięć dyskową 26, napęd dyskietek 27, oraz monitor 28, sterowany za pomocą karty graficznej stanowiącej część centralnej jednostki przetwarzającej 20. Układ projektowania 12 wprowadzanych obrazów jest zaopatrzony w napęd dyskietek 27, co umożliwia przeniesienie zaprojektowanego w tym układzie 12 obrazu do komputerowego układu sterującego 16. Komputerowy układ sterujący 16 i układ wpisywania 14 wprowadzanego obrazu do treści obrazu istniejącego są połączone za pomocą magistrali danych 29.

Wejściowa sekwencja obrazowa może być odbierana z dowolnego źródła, na przykład z taśmy wizyjnej, telewizji satelitarnej, albo z łącz mikrofalowych. Jeżeli wejściowa sekwencja obrazowa pochodzi z satelity, to proces wprowadzania obrazu w obraz istniejący, realizowany w układzie wpisywania 14 musi pracować z częstotliwościąpowtarzania pól sygnału wizyjnego satelity, o okresie wynoszącym 30 ms. Jeżeli natomiast wejściowa sekwencja obrazowa pochodzi z taśmy, wówczas układ wpisywania 14 może kontrolować częstotliwość powtarzania pól obrazu, i pracować z dowolną szybkością.

Wejściową sekwencję obrazową wytwarza się w miejscu, gdzie odbywa się gra, na przykład gra w tenisa (fig. 2). Wprowadzane obrazy umieszcza się na wybranych obszarach tła

176 135 stanowiącego statyczny kort tenisowy 32. Do filmowania gry w tenisa na korcie tenisowym 32, stosuje się typowo dwie kamery telewizyjne 30, rozmieszczone w określonych miejscach.

Kort tenisowy 32 podzielony jest siatką34 na dwie połowy, z których każda zawiera określoną liczbę obszarów wewnętrznych 36, najczęściej w określonym odcieniu zieleni, oraz z linii 38 wzajemnie równoległych i prostopadłych, najczęściej białych i oddzielających obszary wewnętrzne 36. Zewnętrzny obszar 40 kortu tenisowego 32 ma najczęściej odcień zieleni, ale różniący się od odcienia obszarów wewnętrznych 36.

Kamery 30 filmująkort tenisowy 32 pod określonym kątem, dlatego też, ramki wejściowej sekwencji obrazowej przedstawione są w widoku perspektywicznym, w którym linie 38 nie są ani wzajemnie równoległe, ani prostopadłe, i wyglądaiątak, jakby były zbieżne w odległym punkcie. Kąty widoku perspektywicznego obrazów na wyjściu kamer 30 zmieniaiąsię w zależności od kąta pola widzenia kamer 30, oraz od długości ogniskowej ich obiektywów.

Sposobem według wynalazku można umieścić wprowadzany obraz 42, na przykład obraz ze słowem IMAGE, w dowolnym miejscu na powierzchni tła kortu tenisowego 32, dla dowolnych kątów widoku perspektywicznego kamer 30, oraz długości ogniskowych ich obiektywów. Dla kortu tenisowego 32, możliwe lokalizacje wprowadzanego obrazu 42 znajdują się w dowolnych prostokątnych obszarach wewnętrznych 36, na każdej połowie tego kortu, ograniczonych liniami 38. Umieszczony na obszarze wewnętrznym 36 kortu tenisowego 32 wprowadzany obraz 42 nie przeszkodzi przy tym obserwacji ruchów graczy 44, sprawiając wrażenie, jakby był on namalowany na obszarze wewnętrznym 36 tego kortu.Wprowkdzyoie obrazu 42 w obraz kortu tenisowego 32 dokonuje się z wykorzystaniem modelu geometrycznego tego kortu, którego rzeczywisty kształt i rozmieszczone na nim linie 38 są statyczne. Do realizacji tego procesu konieczna jest znajomość przynajmniej kąta pola widzenia i długości ogniskowej obiektywu kamer 30, jak również widzianych przez te kamery 30 kolorów kortu tenisowego 32, który zmieniają się wraz ze zmianą oświetlenia (naturalnego, lub sztucznego).

Wprowadzany obraz 42 przygotowuje się w układzie projektowania 12, stanowiącym na przykład stanowisko projektowe typu BLAZE (wytwarzane przez Scifex Corporation w Izraelu), z wykorzystaniem modelu geometrycznego 50 kortu tenisowego 32, przedstawionego w widoku z góry na fig. 3.

Model geometryczny 50 zawiera cechy charakterystyczne, mające postać linii 38, lub punktów ich przecięć 54, które są identyfikowane przez układ wpisywania 14. Modele geometryczne innych kortów, albo boisk, mogą zawierać koła, lub inne krzywe.

W układzie projektowania 12 projektant konstruuje wprowadzany obraz 42 (fig. 4A), i określa jeden z obszarów 52 na modelu geometrycznym 50, gdzie ma on być umieszczony. Następnie projektant przygotowywuje maskę lokalizacji 56 (fig. 4B) dla wprowadzanego obrazu 42, która wskazuje miejsce jego umieszczenia na modelu geometrycznym 50. Maska lokalizacji 56 składa się z obszaru rozjaśnionego, dla wprowadzanego obrazu 42, oraz z otaczającego go obszaru zaciemnionego.

Jeżeli wprowadzany obraz 42 ma jaskrawe kolory, które mogą w istotny sposób zakłócić grę na korcie tenisowym 32, wówczas kolory te modyfikuje się odpowiednio. Do tego celu stosuje się przedstawioną na fig. 4C maskę mieszania 58, wskazującą odcienie kolorów wprowadzanego obrazu 42, które mogą być zmieszane z kolorem kortu tenisowego 32, w miejscach wskazanych przez maskę mieszania 58. Maska mieszania 58 może składać się z czterech stref 59, z których każda wskazuje na włączenie we wprowadzany obraz 42 różnej ilości koloru kortu tenisowego 32, przy czym zewnętrzna strefa 59 zawiera najwięcej koloru tego kortu.

Wszystkie dane wprowadzanego obrazu 42, zaprojektowane na podstawie modelu geometrycznego 50, maski lokalizacji 56, oraz ewentualnie maski mieszania 58, przygotowywuje się przed rozpoczęciem meczu tenisowego, a następnie wprowadza się je do układu wpisywania 14, za pomocą przenośnych nośników informacji, na przykład dyskietek, odczytywanych z napędu dyskietek 27 komputerowego układu sterującego 16 (fig. 1), w celu wprowadzenia go w każdą ramkę wizyjną wejściowej sekwencji obrazowej po rozpoczęciu meczu.

Większość wejściowych sekwencji obrazowych z gier transmitowanych na żywo, względnie odtwarzanych z taśmy, rozpoczyna się od sekwencji inicjującej, co umożliwia operatorom stacji telewizyjnych zsynchronizować ich systemy z częstotliwościąwejściowej sekwencji obrazowej. Sekwencję inicjującą odbiera się za pomocą układu wychwytywania ramki 10 (fig. 1), i przekazuje się do komputerowego układu sterującego 1(5. Operator stacji telewizyjnej wybiera ramkę dającą wyraźny obraz pola gry, którą wykorzystuje następnie do uzyskania informacji kalibracyjnej, umożliwiającej identyfikację kortu tenisowego 32 przez układ wpisywania 14, oraz jego cech charakterystycznych, na przykład linii 38. Informacja kalibracyjna obejmuje kolory tła, to jest kolory kortu tenisowego 32, kolory jego cech charakterystycznych, na przykład linii 38, oraz kolory obszaru zewnętrznego 40. Pozostałe kolory, odbierane przez operatora stacji telewizyjnej, lecz nie należące do tła, definiuje się jako kolory planu czołowego. Ilość cech charakterystycznych i kolorów, niezbędnych do identyfikacji filmowanego pola, dobiera się w zależności od rodzaju kortu, lub boiska.

Kolory w informacji kalibracyjnej określa się interaktywnie za pośrednictwem myszy 24 i klawiatury 22, na przykład przez nałożenie na ramkę wyświetlaną na monitorze 28 warstwy złożonej z czterech kolorów. Początkowo, czterokolorowa warstwa składa się tylko z jednego przezroczystego koloru, co umożliwia widzenie początkowej, bieżącej ramki wizyjnej.

Operator stacji telewizyjnej wskazuje początkowo w czterokolorowej warstwie piksele opisujące jedną z trzech cech charakterystycznych kortu tenisowego 32, a mianowicie linie 38, względnie obszary wewnętrzne 36, albo obszar zewnętrzny 40. Wybrane piksele w czterokolorowej warstwie, mające określony kolor, koloruje się pojedynczym, przesuniętym kolorem, który pokrywa odpowiadające im piksele w ramce bieżącej, a następnie zapamiętuje się je. Proces kolorowania czterokolorowej warstwy powtarza się dla wszystkich trzech cech charakterystycznych. Wszystkie nie wybrane kolory z bieżącej ramki przepisuje się do czwartego przesuniętego koloru czterokolorowej warstwy.

Po akceptacji przez operatora wypadkowej czterokolorowej warstwy tworzy się tablicę przejścia LUT, określającą transformację wybranych kolorów ramki bieżącej, a przesuniętymi kolorami czterokolorowej warstwy. W razie potrzeby, wybrane przez operatora piksele zapamiętuje się w komputerowym układzie sterującym 16, co umożliwi dokonywanie korekty tablicy przejścia w czasie rzeczywistym.

W celu identyfikacji cech charakterystycznych w każdej ramce wejściowej sekwencji obrazowej, komputerowy układ sterujący 16 przesyła do układu wpisywania 14 dane każdej ramki, złożone z tablicy przejścia, oraz z pikseli wykorzystywanych do jej utworzenia.

Przedstawiony na fig. 5 układ wpisywania 14 składa się z układu identyfikacji cech charakterystycznych 60 kortu tenisowego 32, występujących w każdej ramce wejściowej sekwencji obrazowej, z układu identyfikacji perspektywy 62 do określenia kąta pola widzenia i ogniskowej aktywnej kamery 30, oraz z przetwornika 64, połączonego z układem 62 i przetwarzającego dane z płaszczyzny modelu geometrycznego 50 na płaszczyznę pola widzenia obrazu w każdej wejściowej ramce wizyjnej. Układ identyfikacji perspektywy 62 służy do określenia transformacji perspektywy między modelem geometrycznym 50, a każdą ramką wizyjną z wejściowej sekwencji obrazowej. Na wyjściu przetwornika 64 znajduje się mikser 66, służący do miksowania danych modelu geometrycznego 50 z danymi każdej ramki wizyjnej z wejściowej sekwencji obrazowej, umożliwiając tym samym wpisanie wprowadzanego obrazu 42 w istniejący obraz kortu tenisowego 32.

Układ identyfikacji cech charakterystycznych 60, wykorzystując tablicę przejścia LUT, tworzy maskę tła dla każdej wejściowej ramki wizyjnej, która to maska wskazuje części wejściowej ramki wizyjnej mające cechy tła (a więc obszary wewnętrzne, linie i obszar zewnętrzny kortu), oraz cechy planu czołowego, które nie podlegają zmianom w trakcie dalszych operacji wprowadzania obrazu do treści obrazu istniejącego.

Na fig. 6 przedstawiona jest ramka wizyjna 68 wejściowej sekwencji obrazowej, a na fig. 7 - odpowiadająca jej maska tła 70. Ramka wizyjna 68 obejmuje dwóch graczy 44, znajdujących się na korcie tenisowym 32. Maska tła 70 określa cztery obszary o czterech różnych kolorach,

176 135 które stanowią: obszar koloru linii 1, obszar koloru kortu wewnętrznego 2, obszar koloru kortu zewnętrznego 3, oraz obszar kolorów pozostałych 4. Obszary zajmowane przez graczy 44 są oznaczone obszarem kolorów pozostałych 4, i zakrywają wszystkie pozostałe obszary, na przykład obszary koloru linii 1.

Z maski tła 70, układ 60 (fig. 5) identyfikuje wszystkie cechy charakterystyczne tła (pola gry). Dlakortu tenisowego 32 tymi cechami charakterystycznymi sąbiałe linie 38. Układ identyfikacji perspektywy 62 porównuje te cechy charakterystyczne z maski tła 70 z odpowiadającymi im cechami modelu geometrycznego 50, i tworzy macierz transformacji, na podstawie której, przetwornik 64 przekształca odpowiednio wszystkie, konieczne do wpisania obrazu dane, a mianowicie: wprowadzany obraz 42, maskę lokalizacji 56 i maskę mieszania 58, dostosowując je do perspektywy wejściowej ramki wizyjnej. Następnie, z wykorzystaniem przetworzonych danych, mikser 66 wprowadza perspektywiczną wersję obrazu 42 w określony obszar tła wejściowej ramki wizyjnej. Po tej operacji, poruszający się po korcie tenisowym 32 gracze 44 zasłaniająnie tylko linie 38, ale również i wprowadzony obraz 42, co sprawia wrażenie, jakby obraz ten rzeczywiście znajdował się na korcie tenisowym 32. W celu zmieszania kolorów wprowadzonego obrazu 42 z kolorami obszaru wewnętrznego 2 kortu tenisowego 32, w który jest on wpisany, stosuje się maskę mieszania 58.

Na fig. 8 przedstawiony jest algorytm działania układu identyfikacji cech charakterystycznych 60. W operacji 72 tworzy się maskę tła 70, przez przetworzenie wielokolorowej wejściowej ramki wizyjnej na obraz czterokolorowy. z wykorzystaniem t aibli cy^z przejścia LUT. Na przykhicL dla kortu tenisowego 32, w tablicy przejścia znajdują się wartości kolorów pikseli mających kolory linii 38, wartości pikseli mających kolor obszarów wewnętrznych 36 kortu 32, wartości pikseli mających kolor obszaru zewnętrznego 40, oraz wartości pikseli mających kolory pozostałe. Tablicę przejścia można utworzyć w dowolny, znany sposób.

Maska tła 70 określa piksele należące do tła, oraz piksele obszarów cech charakterystycznych, na przykład linii 38. W drugiej operacji 74, układ identyfikacji cech charakterystycznych 60 przetwarza maskę tła 70, w celu uzyskania z niej cech charakterystycznych. Tablicę przejścia konstruuje się tak, aby znajdujące się w niej cechy charakterystyczne miały jeden kolor. Dla kortu tenisowego 32, uzyskiwanie cech charakterystycznych wykonuje się przez przeglądanie kolejnych pikseli maski tła 70, i wybranie tych pikseli, które mają wartość koloru obszaru linii 1, a następnie utworzenie z nich prostych odcinków. Operacja 74 może być realizowana przez przekształcenie maski tła 70 za pomocą transformaty Hougha, opisanej na stronach 121-126 książki “Digital Picture Processing” (A. Rosenfeld i A. C. Kak, Academic Press 1981, wydanie drugie).

W wyniku przetworzenia maski tła 70, w operacji 74 powstaje tablica możliwych ech charakterystycznych, obejmująca parametry linii, opisujących odcinki w masce tła 70. Parametry te, obejmują współczynniki kierunkowe równań linii prostych, oraz współczynnik wagowy, określający liczbę pikseli w każdym odcinku prostej.

Odmiana algorytmu uzyskiwania cech charakterystycznych obrazu istniejącego przedstawiona jest na fig. 9A, 9B i 9C. Proces ten, rozpoczyna się od wybrania początkowego piksela 69 (fig. 9B) z maski tła 70, maj ącego określony kolor, na przykład biały, i od przeglądujego najbliższego otoczenia 75, w celu lokalizacji pikseli o tym samym kolorze (piksele zakreskowane na fig. 9B). W tym celu, otoczenie 75 początkowego piksela 69 dzieli się na podobszary 7172,73 i 74 o określonej wielkości, i wykonuje się histogram zawartości w tych podobszarach pikseli o szukanym kolorze (fig. 9C). Podobszar 73, mający wyraźne maksimum na histogramie wybiera się następnie jako obszar do następnego przeszukiwania.

W drugiej operacji określa się inne, przedłużone otoczenie 78, które składa się z wybranego podobszaru 73, oraz z jego przedłużenia. Całkowita długość przedłużonego otoczenia 78 jest dwukrotnie większa od długości otoczenia 75. Przedłużone otoczenie 78 dzieli się następnie na cztery podobszary 76, i operacja wyszukiwania pikseli o żądanym kolorze powtarza się.

Proces wyszukiwania cech charakterystycznych obrazu istniejącego kontynuuje się aż do czasu spełnienia jednego z dwóch kryteriów: podobszar 76 jest na tyle wąski, że może być określony jako linia prosta, lub nie otrzymuje się wyraźnego maksimum na histogramie.

W przypadku spełnienia pierwszego kryterium, zapamiętuje się współczynniki uzyskanej linii prostej, a tworzące jąpiksele koloruje się kolorem z obszaru kolorów pozostałych 4, oraz eliminuje się je z dalszych przeszukiwań. W wyniku operacji uzyskiwania cech charakterystycznych obrazu istniejącego powstaje tablica możliwych cech charakterystycznych, obejmująca cechy zarówno rzeczywiste, jak i błędne.

Na fig. 10, 11A i 11B przedstawione jest działanie układu identyfikacji perspektywy 62, według fig. 5. W operacji 80 układ identyfikacji perspektywy 62 przetwarza możliwe cechy charakterystyczne, określając przy tym cechy najbardziej prawdopodobne. W drugiej operacji 82, układ identyfikacji perspektywy 62 wybiera z cech najbardziej prawdopodobnych minimalny zestaw tych cech, i dopasowuje je do modelu geometrycznego 50. Operacja ta powtarza się do momentu znalezienia dopasowania minimalnego zestawu cech charakterystycznych do cech charakterystycznych modelu geometrycznego 50. W trzeciej operacji 84, dopasowane cechy charakterystyczne wykorzystuje się do generacji , mauerzy tnusfhrmaKjji M , przekształcającej model geometryczny 50 na obraz wejściowej ramki wizyjnej.

W operacji 80, dla kortu tenisowego 32 wykorzystuje się fakt, że linie 38 w modelu geometrycznym 50 sąrównoległe w kierunku poziomym i pionowym, zaś w widoku perspektywicznym (to jest w wejściowej ramce wizyjnej) - są zbieżne w określonej, skończonej odległości. Jest to przedstawione na fig. 11 A, na którym linie 38 kortu tenisowego 32 zostały przedłużone liniami przerywanymi, tworzące linie perspektywy 90, które przecinają się w punkcie 91 leżącym poza zewnętrznymi brzegami wejściowej ramki wizyjnej 92. Jednakże, w wyniku błędów powstałych z przetwarzania sygnału analogowego na cyfrowy może okazać się, że przedłużenia trzech linii perspektywy 90 nie przecinają się w jednym punkcie, lecz w trzech, oddalonych od siebie punktach 96 (fig. 11B).

Podczas przeprowadzania badań stwierdzono, że skoro linie perspektywy są zbieżne w odległych punktach (w przybliżenu w nieskończoności), to ich rzutowanie na płaszczyznę za pomocą funkcji asymptotycznej spowoduje, że przetną się one w punktach znajdujących się blisko siebie. Dlatego też, zgodnie ze sposobem według wynalazku, wybrane odcinki linii rzutuje się na płaszczyznę za pomocą dwuwymiarowej funkcji asymptotycznej. Jeden z takich rzutów znany jest jako rzut gnomoniczny, przedstawiony na fig. 12A i 12B.

W rzucie gnomonicznym, znajdujący się na płaszczyźnie XY 102 punkt 100 przechodzi w punkt 100' na półkuli 104. Odcinek 106 na płaszczyźnie XY 102 przechodzi w rzucie gnomonicznym w duży łuk 106' dużego koła półkuli 104.

Początek układu współrzędnych płaszczyzny XY 102 znajduje się na biegunie południowym 109 półkuli 104, zaś nieskończoność na płaszczyźnie XY 102 reprezentuje w rzucie gnomonicznym równik 108 półkuli 104. Dowolna grupa punktów 110 (fig. 12B) w pobliżu równika 108 przedstawia punkty przecięć linii perspektywy, a rzeczywiste linie posiadające te punkty, są liniami równoległymi.

Przedstawione na fig. 12B wielkie łuki 120a do 120f odpowiadają nieuwidocznionym na rysunku określonym odcinkom linii na płaszczyźnie XY 102. Trzy wielkie łuki 120a, 120bi 120c majątrzy, leżące blisko siebie punkty przecięcia 122, tworząc grupę 110a, znajdującą się w pobliżu równika 108. Wielkie łuki 120d, 120e i 120f również przecinają się w pobliżu równika 108, tworząc grupę 11 Ob. Wszystkie wielkie łuki przecinają się również w innych miejscach, bliżej bieguna południowego 109. Na przykład, wielki łuk 120a i 120e przecinają się w punkcie 122, należącym do grupy 110c.

W operacji 130, przedstawionego na fig. 13 algorytmu tworzy się tablicę wielkich łuków, z tablicy odcinków linii prostych, utworzonych z cech charakterystycznych (operacja 74 na fig. 8). Tablicę wielkich łuków tworzy się z wykorzystaniem rzutu gnomonicznego. W celu znalezienia punktów przecięcia 122, w operacji 132 przeszukuje się obszar wokół równika 108 półkuli 104.

176 135

Każdemu punktowi przecięciaprzypisuje się wartość V_k, która równajest następującemu iloczynowi:

^Vk ^Wlini^aP^xWlⁱnia2^^xf(^Zpunktu przecięcia)’ O) gdzie f(Z_punktu przecięcia) j^est dowolną funkcją asymptotyczną, mającą przebieg korzystnie analogiczny do krzywej 134 przedstawionej na fig. 12C. Większość punktów na tej krzywej 134 ma małe wartości, natomiast punkty znajdujące się w pobliżu równika 108 mająwartości bliskie jedności. Przykładem krzywej 134 może być funkcja f(Zpu_nktt przecięcia)=Z⁵.

W operacji 136 przeszukuje się najbliższe otoczenie każdego punktu przecięcia 122, w celu znalezienia ewentualnie innych punktów przecięcia. Jeżeli w otoczeniu każdego punktu przecięcia 122 znajdują się inne punkty przecięcia, wówczas punkt przecięcia 122, oraz punkty nowoznalezione zapamiętuje się jako grupę 110 (fig. 12B), która może być określona za pomocą wartości progowej funkcji f(Zpunku przecięci.). Grupa 110 może obejmować jeden punkt przecięcia 122 (grupa 110c), lub kilka punktów przecięcia 122 (grupa 110b). Po znalezieniu wszystkich punktów przecięcia 122, określa się położenie każdej z grup 110, przez określenie wyznaczonego przez nie środka ciężkości, określonego przez współczynnik wagowy będący sumą wartości V_kpunktów przecięcia 122. W operacji 138 wybiera się dwie grupy 110 o największych współczynnikach wagowych, na przykład grupy 110a i 110b. W następnej operacji 140 przyjmuje się, że jedna z grup 110a albo 110b reprezentuje linie poziome, a druga linie pionowe, natomiast odcinki linii prostych, odpowiadające wielkim łukom obydwu wybranych grup 110a i 110b, określa się jako linie poziome i pionowe. W operacji 142, ze wszystkich poziomych i pionowych linii wybiera się dwie linie pionowe i dwie linie poziome, o największych współczynnikach wagowych, określonych wartością W_nn_a j.

Wybrane poziome i pionowe linie 146 z linii na fig. 11A przedstawione są na fig. 14A. W operacji 144 (fig. 13) określa się i zapamiętuje punkty narożne A, B, C i D, powstałe z przecięcia się czterech wybranych linii 146, które mogąprzecinać się poza wejściowąramkąwizyjną(fig. 14A).

W operacjach 130 do 144 identyfikuje się rzeczywiste cechy w wejściowej ramce wizyjnej (operacja 80 na fig. 10). Po realizacji operacji 144 uzyskuje się rzeczywiste cechy charakterystyczne wejściowej ramki wizyjnej, służące do dopasowania do modelu geometrycznego 50, co realizuje się w pozostałych operacjach 150, 152, 154, 156, 158, 160, 161, 162 i 164 na fig. 13. Dodatkowo, w tych operacjach określa się transformację przekształcającą model geometryczny 50 na obraz wejściowej ramki wizyjnej (operacja 82 i 84 na fig. 10).

Standardowy kort tenisowy 32 zawiera pięć linii pionowych i cztery linie poziome. Ze względu na identyczność obydwu połówek kortu tenisowego 32, w analizie ważne sąjedynie trzy linie poziome. Liczba różnych czworoboków, które mogą być utworzone z dwóch, z trzech możliwych linii poziomych (trzy kombinacje), oraz z dwóch z pięciu linii pionowych (dziesięć kombinacji) wynosi trzydzieści. Trzydzieści czworoboków może mieć cztery różne konfiguracje, co daje całkowitą liczbę czworoboków 120.

W operacji 150 (fig. 13), z modelu geometrycznego 50 wybiera się jeden ze 120 czworoboków, przez wybór czterech jego punktów narożnych A', B', C' i D' (fig. 14B). W kolejnej operacji 152 określa się macierz transformacji M, która przekształca cztery punkty narożne A', B', C' i D' modelu geometrycznego 50 na cztery punkty narożne A, B, C i D wejściowej ramki wizyjnej (fig. 14A). Macierz transformacji M można przedstawić jako złożenie kilku kolejnych przekształceń prostych, co jest przedstawione na fig. 15.

Czworobok 180' o punktach narożnych A', B', C' i D'jest modelowym czworobokiem na płaszczyźnie XY. Czworobok 182 jest kwadratem jednostkowym o współrzędnych (0,1), (11), (0, 0) i (1,0) na płaszczyźnie TS, zaś czworobok 184 jest czworobokiem w widoku perspektywicznym na płaszczyźnie UV. Transformacja czworoboku modelowego 180' na czworobok perspektywiczny 184 może być przedstawiona jako złożenie dwóch przekształceń: przesunięcia i skalowania czworoboku modelowego 180' na czworobok jednostkowy 182, opisanych macierzą przesunięcia i skalowania T, oraz przeniesienia perspektywicznego czworoboku jednostkowego

176 135

182 na czworobok perspektywiczny 184, opisanego przez macierz perspektywy P. Macierz przesunięcia i skalowania T ma we współrzędnych prostokątnych XY postać:

0 S, 0 ^Ty L (2) gdzie S_x i S_y są współczynnikami skali, a T_x i T_y są współczynnikami przeniesienia w kierunku osi X i Y, określonych równaniem:

(x,y, l)xT = (s, t, 1) (3) dla czterech współrzędnych (x, y, 1) czworoboku modelowego 180' i czterech współrzędnych (s, t, 1) czworoboku jednostkowego 182.

Macierz perspektywy P ma we współrzędnych UV następującą postać:

	«1!	«12	«13
P=	«21	«22	«23
	-«31	«32	«33 -

(4) której elementy określa się z następującego równania:

(s, t, 1) x P = (u, v, w) (5) gdzie (u, v, w) przedstawiają znane współrzędne punktów narożnych A, B, C i D czworoboku 184, przy czym współrzędna w jest zawsze znormalizowana.

Zakładając ajj = 1, można obliczyć pozostałe elementy macierzy perspektywy P następująco:

Z warunku (s, t, 1) - (0, 0, 1) określa się:

^a31 = ^U00 ^{i a}32 = ^V00 (6)

Z warunku (s, t, 1) = (1, 0, 1) określa się:

^a11 + ^a31 = ^U10^(a13 + ^{1) => a}1 = ^Uio(^a13 + O U₀0 ^a12 + a32 = V₁₀(a1₃ + 1) => a22 = V,0(a^ + 11 - V_oo (7)

Z warunku (s, t, 1) = (0, 1, 1) określa się:

a21 + a31 = U0i(a23 + 1) => a21 = U₀|(a23 + 1) - U00 a22 + a32 = V₀1(a23+ 1) => a22 = V0](a23 + 1)- V_oo (8)

Natomiast z warunku (s, t, 1) = (0, 0, 1) określa się: a_n + a21 + a31 = U^a^ + a23 + 1) ^a12 + ^a22 + ^a32 = ^V1l^(a13 + ^a23 + ¹ (9)

176 135

Z równań (7, 8 i 9) uzyskuje się układ dwóch równań z dwiema niewiadomymi, będącymi elementami a_n i a₂3:

^a13^(UW ^Ul0 + ^a23^(U01 ^{- U}11) = ^U11J + ^U00 ^{- U}10 ^{- U}01 ^a13^(VW ^{- V}lÓ + ^a23^(V01 ^{- V}11) = Vu + ^V00 ^- V_lo - ^V01 ⁽¹⁰⁾

Po wyznaczeniu, elementów a_n i a23 macierzy perspektywy P znajduje się pozostałe jej elementy z równań (7) i (8). Macierz transformacji M jest iloczynem macierzy przeniesienia i skalowania T i macierzy perspektywy P, w postaci:

M = T x P (11)

Po odwzorowaniu linii 38 modelu geometrycznego 50 na wejściowej ramce wizyjnej, w wyniku zastosowania macierzy transformacji M, w operacji 154 (fig. 13) otrzymuje się zniekształconą ramkę 156 (fig. 16), mającą wartości boolowskie 1 w miejscach przetworzonych pikseli modelu geometrycznego 50, oraz wartości boolowskie 0 w pozostałych miejscach. Punkty narożne A', B', C' i D' modelu geometrycznego 50 odpowiadają przyporządkowanym im punktom narożnym A, B, C i D wejściowej ramki wizyjnej, a pozostałe punkty tego modelu geometrycznego 50, które nie są dopasowane do wejściowej ramki wizyjnej, nie są uwzględniane w analizie.

W operacji 158 (fig. 13) zniekształconą ramkę 156 (fig. 16) poddaje się, łącznie z maską tła 70A (fig. 7), operacji logicznej EXOR, która daje na wyjściu wartość boolowską 0 w dwu przypadkach, a mianowicie kiedy piksele zniekształconej ramki 156 mają wartość boolowską 1 (kolor linii w wejściowej ramce wizyjnej), oraz kiedy piksele zniekształconej ramki 156 mają wartość boolowską 0, a piksele wejściowej ramki wizyjnej mają inny kolor niż kolor linii w tej ramce wizyjnej. W pozostałych przypadkach, operacja logiczna EXOR daje na wyjściu wartość boolowską 1.

W operacjach 160 i 161 (fig. 13) zlicza się piksele mające wartość boolowską 1, a otrzymana wartość stanowi współczynnik wagowy dla macierzy transformacji M. Po określeniu wszystkich współczynników wagowych dla każdej macierzy· transformacj i M, w operacj i 162 wybiera się· macierz transformacji M o najmniejszym współczynniku wagowym. W operacji 164, współczynnik wagowy wybranej macierzy transformacji M porównuje się z ustaloną wartością progową. Jeżeli współczynnik wagowy wybranej macierzy transformacji M jest większy od wartości progowej, wówczas elementy tej macierzy transformacji M przyjmują wartości zerowe. Ma to na przykład miejsce, kiedy kamery telewizyjne filmują publiczność, a nie kort tenisowy. Zerowe macierze transformacji M pojawiają się również wtedy, gdy wynik poprzedniej operacji jest negatywny, w przeciwnym przypadku, wybrana macierz transformacji M wykorzystywana jest w dalszej analizie.

Na fig. 17 przedstawiony jest algorytm działania przetwornika 64 i miksera 66 z fig. 5. W celu zniekształcenia wprowadzanego obrazu 42, maski lokalizacji 56 i maski mieszania 58, aby dopasować je do wejściowej ramki wizyjnej, w operacji 170 przetwornik 64, wykorzystując wybraną macierz transformacji M, poddaje maskę lokalizacji 56 i maskę tła 70 operacji logicznej AND. Wynikiem tej operacji jest maska zezwolenia, która określa te piksele z wejściowej ramki wizyjnej, które są zarówno pikselami tła, jak i pikselami w rejonie wprowadzanego obrazu 42. Na podstawie maski mieszania 58 i maski zezwolenia, mikser 66 tworzy kombinację zniekształconego wprowadzanego obrazu 42 i wejściowej ramki wizyjnej. Miksowanie to, realizuje się dla każdego piksela o współrzędnych (x, y) zgodnie z zależnością:

Wyjście(x, y) = β(χ, y) x obraz(x, y) + [1-β(χ, y)] x ramka(x, y) β(χ, y) = a(x, y) x P(x, y) (12) (13) gdzie wyjście^, y) stanowi wartość piksela wejściowej ramki wizyjnej, obraz^, y) i ramka(x, y) są odpowiednio wartościami pikseli wprowadzanego obrazu 42 i wejściowej ramki wizyjnej, aa(x, y) jest wkrtościącikseli maski mieszania 58, zaś P (x, y) jest wartościąpikseli maski zezwolenia.

W powyższej operacji zakłada się, że tablica przejścia LUT, tworząca maskę tła 70, pozostaje niezmienna podczas całej gry na korcie tenisowym 32. W przypadku zmiany oświetlenia, co często ma miejsce podczas gry na otwartej przestrzeni, kolory w wejściowej ramce wizyjnej zmieniają się, w wyniku czego maska tła 70 nie określa prawidłowo kolorów elementów tła. Z tego powodu,· okresowo przeprowadza się operację kalibracyanel zilustrowaną na fig. 18.

W operacji kklibracyjoej, punkty testowe, określające cechy charakterystyczne tła (to jest linie kortu tenisowego, obszar wewnętrzny tego kortu, i obszar zewnętrzny) wybierane są przez operatora, a ich lokalizacje, oraz wartości ich kolorów - zapamiętywane. Po określeniu macierzy kolyracyanya wejściowej ramki wizyjnej, lokalizacje punktów testowych przetwarza się z płaszczyzny tej ramki wizyjnej na płaszczyznę modelu geometrycznego 50, przez zastosowanie odwrotnej macierzy transformacji M.

Po określonym czasie, kiedy niezbędna jest ponowna kalibracja, punkty testowe przetwarza się z płaszczyzny modelu geometrycznego 50 na płaszczyznę bieżącej wejściowej ramki wizyjnej. W tym celu, wybiera się znajdujące się w tej ramce wizyjnej zniekształcone punkty testowe i bada się ich otoczenie. Następnie przelicza się charakterystyki koloru każdego otoczenia (na przykład z wykorzystaniem histogramów), a otrzymane wartości porównuje się z charakterystykami koloru zapamiętanymi dla danego punktu testowego.· Jeżeli po tej ponownej kalibracji wystąpi znaczna zmiana koloru, wówczas koryguje się tablicę przejścia LUT, a określone punkty testowe przetwarza się stosownie do modelu geometrycznego 50 i zapamiętuje.

Opisany powyżej proces wprowadzania obrazu w obraz istniejący odnosi się do gier rozgrywanych na statycznym tle, którego cechy są znane. Jeżeli natomiast informacje o tle ulegają zmianom, wtedy proces wprowadzania obrazu w obraz istniejący modyfikuje się, przez wprowadzenie dodatkowej operacji śledzenia, oraz przez uwzględnienie zmiennych parametrów kamery. Jeżeli informacje o położeniu każdej filmującej kamery, kątach ich obrotu, oraz długości ich ogniskowych sąz^ne i sczytywane z zewnątrz, względnie obliczone, wówczas opisany powyżej proces wprowadzania obrazu w obraz istniejący ulega skróceniu, gdyż zmniejsza się liczba stopni swobody macierzy perspektywy P.

Informacje dotyczące położenia, kąta obrotu i długości ogniskowej każdej kamery mogą być zawarte w macierzy perspektywy P, co z kolei umożliwia ponowne określenie zarówno macierzy perspektywy P, jak i macierzy transformacji M, jako funkcję parametrów każdej z kamer, zilustrowanej na fig. 19. Lokalizacja kamery jest określona wektorem 171, mającym współrzędne (x, y, z) w prostokątnym układzie współrzędnych XYZ172, o środku w punkcie 0. Kamera obraca się i pochyla wokół swoich trzech osi U, V i W, w kierunku 173,174 i 175. Ponadto, kamera zmienia swą ogniskową wzdłuż osi V w kierunku 176.

Figury 20,21 i 22 przedstawiają operację identyfikacji kamery, przez określanie, a następnie wykorzystanie parametrów kamery do procesu wprowadzania obrazu w obraz istniejący. W tym przykładzie rozwiązania zakłada się, że: kamera nie obraca się wokół osi V, format piksela w obrazie kamery (to jest stosunek szerokości piksela do jego wysokości) jest kwadratowy i równy jedności, oraz, że kamera nie zmienia swego położenia podczas każdej ramki wizyjnej, ajedynie pochylenie, obrót i długość ogniskowej. Wówczas macierz perspektywy P parametryzuje się jako funkcję położenia (x, y, z) kamery, jej pochylenia, obrotu i długości ogniskowej. Po zidentyfikowaniu nowego ujęcia kamery, całą operację identyfikacji perspektywy (operacja 180 na fig. 20) przeprowadza się na pierwszej ramce wizyjnej tego ujęcia. W operacji. 180 tworzy się elementy ι(ι, j) macierzy perspektywy P. Następnie, operacja przebiega dwukierunkowo. W pierwszym z nich określa się macierz transformacji M (zaczynając od operacji 154 na fig. 13), zaś w drugim - określa się współrzędne kamery (x, y, z) (operacja 184) z macierzy perspektywy P (rozdział 3.4 książki “Three Dimensional Computer Vision: A Feometric Viewcoint”, O. Fangeras, MIT Press 1993).

176 135

Po określeniu współrzędnych (x, y, z) kamery, w operacjach 186 i 188 wykonuje się sprawdzenie dwóch warunków: czy element a₁₃ macierzy perspektywy P jest równy zero (operacja 186), oraz czy format AR pikseli w obrazie kamery jest kwadratowy (operacja 188). Niespełnienie pierwszego warunku oznacza, że kamera nie obraca się w kierunku 174. Jeżeli jeden z tych dwóch warunków nie jest spełniony, wówczas dalszą część procesu anuluje się, zaś w przypadku spełnienia obydwu tych warunków, tworzy się iloczyn następujących macierzy (operacja 190): ogniskowej [f] (stanowiącej macierz rzutu ogniskowej kamery na płaszczyznę XYZ), przeniesienia (stanowiącej macierz przeniesienia położenia ze środka układu współrzędnych do położenia obliczonego (x, y, z)), pochylenia [a] (stanowiącej macierz obrotu kamery wokół osi U o kąt α, oraz obrotu [Θ] (stanowiącej macierz obrotu wokół osi W o kąt Θ).

Z wykorzystaniem parametrów kamery: długości ogniskowej, pochylenia, obrotu i przesunięcia, kalibruje się pierwszą kamerę (operacja 192), ajej parametry wpisuje się do tablicy 194 zidentyfikowanych kamer (fig. 21).

Skrócony algorytm obliczeniowy, przedstawiony na fig. 22, wykonuje się dla wszystkich ramek wizyjnych kamery. W celu określenia podobieństwa bieżącej ramki wizyjnej do poprzednich ramek, każdą bieżącą ramkę bada się w operacji 196, z wykorzystaniem macierzy [a], [0] i [f]. To dopasowanie określa się za pomocą współczynnika dopasowania, będącego 'stosunkiem ilości niezbędnych pikseli w ramce wizyjnej po odwzorowaniu, do ilości pikseli w modelu geometrycznym 50, będącej wartością wyliczoną. Jeżeli uzyskuje się duży współczynnik dopasowania między bieżącąramką wizyjną, a poprzednimi ramkami, to wyliczoną macierz transformacji M stosuje się w procesie wprowadzania obrazu 42 w obraz istniejący (fig. 17). Mała wartość współczynnika dopasowania oznacza, że ta ramka wizyjna może pochodzić z drugiej kamery, której parametry są zawarte w tablicy 194.

W celu zidentyfikowania drugiej kamery przegląda się bieżącą ramkę wizyjną, oraz identyfikuje się jedną z linii i należący do niej punkt charakterystyczny, na przykład punkt przecięcia z inną linią (operacja 198).

W operacji 200, dla każdej kamery, której parametry zawarte są w tablicy 194, określa się współczynnik dopasowania następująco: zidentyfikowaną linię i jej punkt charakterystyczny bieżącej ramki wizyjnej łączy się z odpowiadającąjej linią i punktem charakterystycznym z modelu geometrycznego 50, po czym określa się macierz perspektywy P, a następnie, z wykorzystaniem tej macierzy perspektywy P transformuje się linię i punkt charakterystyczny z modelu geometrycznego 50 na zidentyfikowaną linię i punkt charakterystyczny bieżącej ramki wizyjnej. Każda macierz perspektywy P jest funkcją znanych współrzędnych (x, y, z) kamery, oraz nieznanych macierzy: ogniskowej [f], pochylenia [α] i obrotu [Θ], Wypadkową macierz perspektywy P określa się zatem przez obliczenie tych nieznanych macierzy, przy założeniu, że zidentyfikowana linia i jej punkt charakterystyczny są dopasowane do analogicznej linii i punktu charakterystycznego z modelu geometrycznego 50.

Macierz transformacji M (analogicznie jak na fig. 10) określa się z macierzy perspektywy P, którą wykorzystuje się następnie do przekształcenia (deformacji) modelu geometrycznego 50 na płaszczyznę obrazu w bieżącej ramce wizyjnej. Po dopasowaniu linii modelu geometrycznego 50 do linii w obrazie bieżącej ramki wizyjnej uzyskuje się określoną wartość współczynnika dopasowania.

Operację łączenia zidentyfikowanej linii i jej punktu charakterystycznego w bieżącej ramce wizyjnej z określoną linią i punktem charakterystycznym modelu geometrycznego 50, tworzenie macierzy perspektywy P ze znanych parametrów kamery, oraz określanie wartości współczynnika dopasowania powtarza się dla każdej możliwej kombinacji linii i jej punktu charakterystycznego z modelu geometrycznego 50.

Jeżeli wartości współczynników dopasowania mają wartości znormalizowane, znacznie mniejsze od jedności (co oznacza złe dopasowanie), to operacja dopasowania powtarza się dla bieżącej ramki wizyjnej z drugiej kamery, której współrzędne (x, y, z) sąznane. Największy, obliczony dla każdej kamery współczynnik dopasowania wpisuje się do kolumny 202 tablicy 194 (fig. 21).

176 135

W operacji 204 wybiera się z tablicy 194 kamerę o największym współczynniku dopasowania i porównuje się go z ustaloną wartością progową. Jeżeli współczynnik dopasowania wybranej kamery jest większy od wartości progowej, wówczas uzyskaną macierz perspektywy P wykorzystuje się do algorytmu działania przetwornika i miksera (fig. 17). Największa, lecz mniejsza od wartości progowej wartość współczynnika dopasowania z kolumny 202 tablicy 194 oznacza, że wejściowe ramki obrazowe nie pochodzą z tych kamer. W tym przypadku przeprowadza się operację identyfikacji perspektywy (fig. 10), a następnie operację identyfikacji kamery (fig. 20).

FIG. 3

176 135

FIG. 4A

FIG 4B

FIG.4C

176 135

Wprowadzany obraz

FIG. 5

FIG. 7

177)135

Tablica

LUT

Ramka wejściowa

FIG. 8

Ustalenie otoczenia piksela: kąt początkowy:0° kąt końcowy: 180° odległość: 8 pikseli

W ramce zostały sprawdzone wszystkie piksele

Konstrukcja obszaru otoczenia piksela i jego podział na cztery podobszary

Konstrukcja histogramów dla czterech podobszarów

Wstawienie:

kąt początkowy =» początek podobszaru kąt końcowy = koniec podobszaru odległość = odległość x 2 ^Czy podobszar jest dość wąski*’

TAK

NIE

Przestawienie pierwszego białego piksela na kolor pozostały		•
	Przestawienie wszystkich białych pikseli tworzących ' linię na kolor pozostały	Zapamiętanie współczynników kierunkowych linii proste

176 135

FIG. 9B FIG. 9C

Liczba pikseli

FIG. 10

176 135 s

Β

ι

D

FIG. 11B

176 135

FIG. 12B

176 135

FIG. 12C

Czy istnieje grupa o

FIG. 14A

C’ , B' /V


		\
	D'	A'
		E

FIG. 14B

176 135

FIG. 15

FIG. 16

176 135

Maska tła

wejściowa

Ramka wyjściowa

FIG. 17

Dane użytkownika

Skorygowana tablica LUT

FIG. 18

W

FIG. 20

202

Numer kamery	Stałe współrzędne kamery	Zmienne współrzędne kamery	Współczynnik dopasowania
1	ΧΧΖ	°1 .^Θ1 . ^f1
2
3

N

194

FIG. 21

FIG. 22

176 135

Ramka wejściowa jL

Ramka wyjściowa

-X

Θ27 26

24

FIG. 1

Departament Wydawnictw UP RP. Nakład 70 egz. Cena 6,00 zł.

Claims

Zastrzeżenia patentowe

1. Sposób wprowadzania obrazu do treści obrazu istniejącego, znajdującego się w każdej ramce wejściowej sekwencji obrazowej, i przedstawiającego filmowane przynajmniej przez jedną, ruchomą kamerę telewizyjną działania zachodzące w przestrzeni tła o statycznych płaskich powierzchniach, w które wpisuje się wprowadzany obraz, znamienny tym, że niezależnie dla każdej wejściowej ramki wizyjnej z kamery generuje się płaski model geometryczny o statycznych powierzchniach przestrzeni tła, i mający określające go cechy charakterystyczne oraz maskę lokalizacji, określaj ącąwybranąpowierzchnię modelu geometrycznego dla wprowadzanego obrazu, po czym, na podstawie modelu geometrycznego i maski lokalizacji określa się wybraną powierzchnię w wejściowej ramce wizyjnej, w którą wpisuje się wprowadzany obraz, jeżeli wybrana powierzchnia znajduje się w wejściowej ramce wizyjnej.
2. Sposób według zastrz. 1, znamienny tym, że wprowadzany obraz i maskę lokalizacji konstruuje się na oddzielnym stanowisku projektowania.
3. Sposób według zastrz. 1, znamienny tym, że określenie wybranej powierzchni w wejściowej ramce wizyjnej realizuje się przez przeglądanie każdej pojedynczej wejściowej ramki wizyjnej i identyfikację cech charakterystycznych jej statycznych powierzchni oraz przez określenie transformacji perspektywicznej między modelem geometrycznym a cechami charakterystycznymi każdej wejściowej ramki wizyjnej.
4. Sposób według zastrz. 3, znamienny tym, że do przeglądania każdej pojedynczej wejściowej ramki wizyjnej i identyfikacji cech charakterystycznych jej statycznych powierzchni wykorzystuje się utworzoną uprzednio maskę tła, określającą lokalizację cech charakterystycznych elementów tła, i maskę planu czołowego, wskazującą obszary tła czołowego nie pokrywanego przez wprowadzany obraz, i którą tworzy się z części danych maski tła.
5. Sposób według zastrz. 4, znamienny tym, że maskę tła tworzy się przez przetworzenie, za pośrednictwem tablicy przejścia (LUT), kolorów każdej wejściowej ramki wizyjnej na kolor cech charakterystycznych, kolor elementów tła i kolor elementów planu czołowego.
6. Sposób według zastrz. 5, znamienny tym, że tablicę przejścia (LUT) tworzy się z kolorów wskazanych przez użytkownika.
7. Sposób według zastrz. 4, znamienny tym, że wprowadzany obraz i maskę lokalizacji poddaje się transformacji perspektywicznej, po czym miksuje się je z każdą pojedynczą wejściową ramką wizyjną i maską planu czołowego.
8. Sposób według zastrz. 4, znamienny tym, że wprowadzany obraz, maskę lokalizacji i utworzoną uprzednio maskę mieszania, poddaje się transformacji perspektywicznej, po czym miksuje się je z każdą pojedynczą wejściową ramką wizyjną i maską planu czołowego.
9. Sposób według zastrz. 4, znamienny tym, że wykorzystuje się cechy charakterystyczne mające postać linii.
10. Sposób według zastrz. 9, znamienny tym, że identyfikacji cech charakterystycznych dokonuje się przez poddanie linii transformacji Hougha.
11. Sposób według zastrz. 9, znamienny tym, że identyfikacji cech charakterystycznych dokonuje się przez badanie i ciągłe zawężanie otoczenia pikseli, po czym na podstawie znalezionych pikseli określa się współczynniki kierunkowe uzyskanych linii.
12. Sposób według zastrz. 11, znamienny tym, że współczynniki kierunkowe linii określa się przez rzutowanie uzyskanych cech charakterystycznych na płaszczyznę za pomocą funkcji asymptotycznej.
13. Sposób według zastrz. 9, znamienny tym, że wykorzystuje się przestrzeń tła będącą boiskiem sportowym, przy czym po określeniu współczynników kierunkowych linii określa się liczbę możliwych prostokątów na modelu geometrycznym i lokalizację ich naroży, przez wybranie dwóch poziomych i dwóch pionowych linii ze zidentyfikowanych cech charakterystycznych i określenie ich punktów przecięcia, po czym generuje się macierz transformacji i przekształca się naroża każdego prostokąta modelu geometrycznego na punkty przecięcia się linii z cech charakterystycznych w wejściowej ramce wizyjnej, z wykorzystaniem maski tła do dopasowania każdego przetransformowanego modelu geometrycznego do każdej pojedynczej wejściowej ramki wizyjnej, anastępnie, do analizy następnej wejściowej ramki wybiera się tę macierz transformacji, która najlepiej pasuje do cech charakterystycznych wejściowej ramki wizyjnej.
14. Sposób według zastrz. 13, znamienny tym, że określa się współrzędne kamer telewizyjnych, po czym oblicza się bieżącą macierz transformacji jako iloczyn macierzy współrzędnych pochylenia, obrotu i długości ogniskowej kamer, a następnie, na podstawie tych macierzy identyfikuje się kamery przez określenie współczynnika dopasowania, i zapamiętuje się parametry zidentyfikowanych kamer, przy czym określanie współrzędnych i identyfikację kamer powtarza się dla każdej wejściowej ramki wizyjnej.
15. Sposób wprowadzania obrazu do treści obrazu istniejącego, znajdującego się w każdej ramce wejściowej sekwencji obrazowej, i przedstawiającego filmowane przynajmniej przez jedną, ruchomą kamerę telewizyjną działania zachodzące w przestrzeni tła o statycznych płaskich powierzchniach, w które wpisuje się wprowadzany obraz, znamienny tym, że niezależnie dla każdej wejściowej ramki wizyjnej generuje się płaski model geometryczny statycznych powierzchni tła, i zawierający określające te powierzchnie cechy charakterystyczne, po czym, przed wpisaniem w nie wprowadzanego obrazu, płaski model geometryczny przekształca się perspektywicznie.
16. Sposób według zastrz. 15, znamienny tym, że w modelu geometrycznym wykorzystuje się cechy charakterystyczne stanowiące przynajmniej jedną grupę linii i łuków.
17. Sposób według zastrz. 16, znamienny tym, że linie i łuki modelu geometrycznego opisane są zależnościami na płaszczyźnie.
18. Sposób według zastrz. 15, znamienny tym, że cechy charakterystyczne modelu geometrycznego opisane są na płaszczyźnie zależnościami wektorowymi.
19. Sposób wprowadzania obrazu do treści obrazu istniejącego, znajdującego się w każdej ramce wejściowej sekwencji obrazowej, i przedstawiającego filmowane przynajmniej przez jedną, ruchomą kamerę telewizyjną działania zachodzące w przestrzeni tła o statycznych płaskich powierzchniach, w które wpisuje się wprowadzany obraz, znamienny tym, że generuje się płaski model geometryczny o statycznych powierzchniach przestrzeni tła, zawierający określające te powierzchnie cechy charakterystyczne, po czym modelel geometryczny wykorzystuje się do perspektywicznego zniekształcenia wprowadzanego obrazu, analogicznie do perspektywy wejściowej ramki wizyjnej, a następnie, dla tej ramki, zawierającej przynajmniej część powierzchni statycznych modelu geometrycznego, tworzy się maskę tła, określającej obszary zmienialne wejściowej ramki wizyjnej oraz jej powierzchnie stałe, po czym zniekształcony perspektywicznie wprowadzany obraz miksuje się z obszarem zmienialnym maski tła.
20. Sposób według zastrz. 19, znamienny tym, że generuje się model geometryczny niezależnie od wejściowych ramek wizyjnych.
21. Sposób według zastrz. 19, znamienny tym, że do zniekształcenia perspektywicznego wprowadzanego obrazu wykorzystuje się macierz transformacji.
22. Sposób według zastrz. 19, znamienny tym, że przed perspektywicznym zniekształceniem wprowadzanego obrazu tworzy się maskę lokalizacji, określającej położenie wprowadzanego obrazu na modelu geometrycznym, którą zniekształca się perspektywicznie łącznie z wprowadzanym obrazem.
23. Sposób według zastrz. 22, znamienny tym, że podczas miksowania zniekształconego perspektywicznie wprowadzanego obrazu z obszarem zmienialnym maski tła, miksuje się z nimi maskę lokalizacji, tworząc maskę zezwolenia określającą te piksele w wejściowej ramce wizyjnej, w które wpisuje się kolejne piksele wprowadzanego obrazu.
24. Sposób według zastrz. 23, znamienny tym, że tworzy się zniekształconą perspektywicznie maskę mieszania, określającą różne odcienie kolorów wprowadzanego obrazu, którą miksuje się następnie z wprowadzanym obrazem i z maską zezwolenia.
25. Sposób według zastrz. 24, znamienny tym, że podczas miksowania maski mieszania, maski zezwolenia i wprowadzanego obrazu, każdemu pikselowi z wejściowej ramki wizyjnej o współrzędnych (x, y) przypisuje się wartość koloru zgodnie z zależnością:

(Wyjście)(x, y) = (β)(χ, y) x (obraz)(x, y) + [1-(β)(χ, y)] x (ramka)(x, y), gdzie (β)(χ, y) = (a)(x, y) x (P')(x, y), przy czym («)(x, y) i (P')(x, y) są wartościami pikseli maski mieszania i maski zezwolenia, zaś (obraz)(x, y) i (ramka)(x, y) są odpowiednio wartościami pikseli wprowadzanego obrazu i zmienialnego obszaru wejściowej ramki wizyjnej.
26. Urządzenie do wprowadzania obrazu do treści obrazu istniejącego, przedstawionego w przestrzeni tła o statycznych powierzchniach i filmowanego przynajmniej przez jedną kamerę oraz zaopatrzone w komputerowy układ sterujący, znamienne tym, że składa się z układu wychwytywania ramki (10) z sygnału wizyjnego, i z połączonego z nim na wyjściu układu wpisywania (14) wprowadzanego obrazu (42), połączonego z komputerowym układem sterującym (16) za pomocą magistrali danych (29) i zaopatrzonego w układ identyfikacji cech charakterystycznych (60) powierzchni statycznych wejściowej ramki wizyjnej, w połączony z nim układ identyfikacji perspektywy (62) do określenia transformacji perspektywy między modelem geometrycznym (50), a cechami charakterystycznymi wejściowej ramki wizyjnej, oraz w połączony z układem identyfikacji perspektywy (62) przetwornik (64), na którego wyjściu przyłączony jest mikser (66), połączony z wejściem układu identyfikacji cech charakterystycznych (60).
27. Urządzenie według zastrz. 26, znamienne tym, że jest zaopatrzone w oddzielny układ projektowania (12) do konstruowania wprowadzanego obrazu (42) i maski lokalizacji (56).
28. Urządzenie według zastrz. 26, znamienne tym, że układ identyfikacji cech charakterystycznych (60) połączony jest na wyjściu z mikserem (66).